WO2016111069A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2016111069A1
WO2016111069A1 PCT/JP2015/079177 JP2015079177W WO2016111069A1 WO 2016111069 A1 WO2016111069 A1 WO 2016111069A1 JP 2015079177 W JP2015079177 W JP 2015079177W WO 2016111069 A1 WO2016111069 A1 WO 2016111069A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
action
information
turn
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/079177
Other languages
English (en)
French (fr)
Inventor
荘太 松澤
小形　崇
仁 大久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to US15/523,497 priority Critical patent/US20170312574A1/en
Priority to JP2016568286A priority patent/JPWO2016111069A1/ja
Priority to EP15876942.2A priority patent/EP3243554B1/en
Publication of WO2016111069A1 publication Critical patent/WO2016111069A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/18—Training appliances or apparatus for special sports for skiing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/18—Training appliances or apparatus for special sports for skiing
    • A63B2069/185—Training appliances or apparatus for special sports for skiing for ski-jumping
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/30—Speed
    • A63B2220/34—Angular speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/40—Acceleration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/40—Acceleration
    • A63B2220/44—Angular acceleration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/62—Time or time measurement used for time reference, time stamp, master time or clock signal
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/836—Sensors arranged on the body of the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2244/00—Sports without balls
    • A63B2244/19—Skiing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/558—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history by assessing the players' skills or ranking
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8041—Skating using skis, skates or board
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing method, and a program.
  • Patent Literature 1 has a plurality of behavior determination units specialized for specific behavior among user behaviors recognized by threshold processing of sensor data, and the behavior based on the determination result in each behavior determination unit. An information processing apparatus that generates information is described.
  • Patent Document 1 since various types of actions (actions) occur in the user's life, for example, the technique described in Patent Document 1 does not necessarily detect all the actions of the user, and stores information on the detected actions. It cannot be provided.
  • the present disclosure proposes a new and improved information processing apparatus, information processing method, and program that make it possible to provide information regarding various actions of the user.
  • a sensor data acquisition unit that acquires sensor data provided by a user or a sensor attached to an instrument used by the user, and detects the user action based on the sensor data
  • An action is provided with an information processing apparatus including an action detection unit including a turn and an information generation unit that generates information on the turn.
  • sensor data provided by a user or a sensor attached to an instrument used by the user is acquired, and a processor detects the action of the user based on the sensor data.
  • An information processing method is provided that includes the action including a turn and generating information related to the turn.
  • FIG. 2 is a block diagram illustrating a schematic functional configuration of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart illustrating a first example of a process for detecting a jump included in a user action according to an embodiment of the present disclosure. It is a flowchart which shows the example of the high impact detection process shown in FIG.
  • FIG. 3 is a flowchart showing a first example of free fall detection processing shown in FIG. 2.
  • FIG. 14 is a flowchart illustrating processing in a first example of information generation included in an embodiment of the present disclosure. It is a figure which shows the screen display in the 1st example of the information generation contained in one Embodiment of this indication. 14 is a flowchart illustrating processing in a second example of information generation included in an embodiment of the present disclosure. It is a figure which shows the screen display in the 2nd example of the information generation contained in one Embodiment of this indication. It is a figure which shows the screen display in the 2nd example of the information generation contained in one Embodiment of this indication. 5 is a diagram for conceptually explaining a third example of information generation included in an embodiment of the present disclosure.
  • FIG. 14 is a flowchart illustrating processing in a third example of information generation included in an embodiment of the present disclosure. It is a figure for demonstrating the process of the image
  • FIG. 3 is a block diagram illustrating a hardware configuration example of an information processing apparatus according to an embodiment of the present disclosure. 5 is a diagram for describing calculation of a time-series score for content control in an embodiment of the present disclosure.
  • FIG. 5 is a diagram for describing an example of content control using a time-series score according to an embodiment of the present disclosure.
  • FIG. 5 is a diagram for describing an example of timing defined in relation to an action in an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating a first example of an effect provided at a timing defined in relation to an action in an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating a second example of an effect provided at a timing defined in relation to an action in an embodiment of the present disclosure. It is a figure which shows the 3rd example of the effect provided at the timing defined in relation to the action in one Embodiment of this indication. It is a figure which shows the 4th example of the effect provided at the timing defined in relation to the action in one Embodiment of this indication.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of an information processing apparatus according to an embodiment of the present disclosure.
  • FIG. 1 is a block diagram illustrating a schematic functional configuration of an information processing apparatus according to an embodiment of the present disclosure.
  • an information processing apparatus 100 includes a transmission unit 101, a reception unit 102, a sensor device control unit 103, a sensor data analysis unit 104, an analysis result processing unit 107, and a detection section information holding unit 110.
  • the additional information holding unit 111 and the service control unit 112 are included.
  • the information processing apparatus 100 may be a single device or a collection of devices that configure a server on a network, as shown in some specific examples described later, for example.
  • the information processing apparatus 100 may be a terminal device that communicates with a server via a network or a terminal device that operates alone.
  • the functions of the information processing apparatus 100 may be realized by being distributed to a server and a terminal device that communicate with each other via a network.
  • the hardware configuration of each of the information processing apparatus 100 or a plurality of apparatuses that implement the functions of the information processing apparatus 100 will be described later.
  • the transmission unit 101 and the reception unit 102 are realized by a communication device that communicates with the sensor device by various wired or wireless communication methods, for example.
  • the sensor device includes at least one sensor mounted on a user or an instrument used by the user.
  • the transmission unit 101 transmits a control signal output from the sensor device control unit 103 to the sensor device.
  • the receiving unit 102 receives sensor data and time information (time stamp) from the sensor device, and inputs them to the sensor device control unit 103.
  • the receiving unit 102 realizes a sensor data receiving unit that receives sensor data provided by a user or a sensor attached to an instrument used by the user.
  • the information processing apparatus 100 is a terminal device including at least one sensor, more specifically, a mobile device or a wearable device, a CPU that executes a driver program that receives sensor data from the sensor (
  • the sensor data receiving unit may be realized by a processor such as Central Processing Unit.
  • the information processing apparatus according to the present embodiment may include an acquisition unit that acquires sensor data from an external apparatus including a sensor, for example.
  • the acquisition unit is, for example, a processor such as a CPU that executes “a driver program that receives sensor data from an external device including a sensor via the communication device that implements the transmission unit 101 and the reception unit 102”. It is realized by.
  • the information processing apparatus which concerns on this embodiment can also take the structure which is not provided with a sensor data receiving part.
  • the sensor device control unit 103 is realized by a processor such as a CPU operating according to a program stored in a memory.
  • the sensor device control unit 103 acquires sensor data and time information from the reception unit 102.
  • the sensor device control unit 103 provides these data to the sensor data analysis unit 104 and the analysis result processing unit 107.
  • the sensor device control unit 103 may perform preprocessing of data as necessary.
  • the sensor device control unit 103 outputs a control signal for the sensor device to the transmission unit 101.
  • the sensor device control unit 103 may output a control signal based on feedback of a processing result in the sensor data analysis unit 104 or the analysis result processing unit 107.
  • the sensor data analysis unit 104 is realized by a processor such as a CPU operating according to a program stored in a memory.
  • the sensor data analysis unit 104 performs various analyzes using the sensor data provided from the sensor device control unit 103.
  • the sensor data analysis unit 104 includes a feature amount extraction unit 105 and an action detection unit 106.
  • the feature amount extraction unit 105 extracts various feature amounts from the sensor data.
  • the action detection unit 106 detects a user action based on the feature amount extracted from the sensor data by the feature amount extraction unit 105.
  • the user action detected by the action detection unit 106 includes a user turn and / or jump.
  • the action detection unit 106 may detect other user actions such as walking, running, standing still, and moving by a vehicle.
  • the user's action can be detected in association with time information (time stamp) indicating a section (action section) in which the user action occurred.
  • the sensor data analysis unit 104 stores the analysis result, more specifically, for example, information including a user action section detected by the action detection unit 106 in the detection section information holding unit 110. Further, the sensor data analysis unit 104 provides the analysis result to the analysis result processing unit 107.
  • the analysis result processing unit 107 is realized by a processor such as a CPU operating according to a program stored in a memory. Based on the analysis result of the sensor data analysis unit 104, more specifically, the information of the user action detected by the action detection unit 106, the analysis result processing unit 107 performs various types used by the service control unit 112 in the subsequent stage. Generate additional information.
  • the analysis result processing unit 107 includes a clustering processing unit 108 and a scoring processing unit 109. For example, when the detected user action includes a plurality of actions of the same type, the clustering processing unit 108 may identify these actions as feature amounts (feature amounts extracted by the feature amount extraction unit 105). Or an intermediate feature amount calculated by the action detection unit 106).
  • the scoring processing unit 109 may calculate a score indicating action evaluation based on the feature amount. Further, the clustering processing unit 108 and / or the scoring processing unit 109 may newly calculate a feature amount based on the sensor data provided from the sensor device control unit 103.
  • the analysis result processing unit 107 holds additional information on the processing result, more specifically, the result of clustering by the clustering processing unit 108 and the score information calculated by the scoring processing unit 109 together with time information (time stamp). Stored in the unit 111.
  • the detection section information holding unit 110 and the additional information holding unit 111 are realized by various memories or storage devices, for example.
  • the detection section information holding unit 110 and the additional information holding unit 111 temporarily or permanently store the information provided from the sensor data analysis unit 104 and the analysis result processing unit 107 as described above.
  • the information stored in the detection section information holding unit 110 and the information stored in the additional information holding unit 111 can be associated with each other by, for example, time information (time stamp). Further, the detection section information holding unit 110 and the additional information holding unit 111 may store information regarding each of a plurality of users.
  • the service control unit 112 is realized by a processor such as a CPU operating according to a program stored in a memory.
  • the service control unit 112 controls the service 113 using information stored in the detection section information holding unit 110 and / or the additional information holding unit 111. More specifically, for example, the service control unit 112 generates information provided to the user in the service 113 based on the information read from the detection section information holding unit 110 and / or the additional information holding unit 111.
  • the information stored in the detection section information holding unit 110 and / or the additional information holding unit 111 includes the user action detected by the action detection unit 106 included in the sensor data analysis unit 104. Contains information about.
  • the service control unit 112 realizes an information generation unit that outputs information related to the user action detected by the action detection unit.
  • the information output by the service control unit 112 can be transmitted to the terminal apparatus via the communication apparatus.
  • the information output by the service control unit 112 can be provided to an output device such as a display, a speaker, or a vibrator included in the terminal device.
  • a sensor device including an acceleration sensor, an angular velocity sensor, and the like may be directly attached to a user by being embedded in wear, or incorporated in a wearable terminal device or a mobile terminal device.
  • the sensor device may be mounted on a snowboard tool, such as a board.
  • the action detection process executed in the present embodiment is not limited to jumps and turns that occur on snowboards.
  • the action detection process may be executed on jumps and turns that occur in sports other than snowboarding. Since jumps and turns are actions that can occur in common in various sports, it may be possible to detect jumps and turns regardless of the type of sports by, for example, detection processing described below.
  • an action other than a jump or turn may be detected.
  • various techniques used in the action recognition technique described in, for example, Japanese Patent Application Laid-Open No. 2010-198595 can be applied.
  • FIG. 2 is a flowchart illustrating a first example of a process for detecting a jump included in a user action according to an embodiment of the present disclosure. The illustrated process is executed by, for example, the sensor data analysis unit 104 included in the information processing apparatus 100 described above.
  • the sensor data analysis unit 104 performs a high impact detection process (S110) and a free fall detection process (S120) for each predetermined time frame. Details of these processes will be described later. Based on the results of these processes, the action detection unit 106 included in the sensor data analysis unit 104 determines whether or not a section between two high impact sections (estimated as crossing and landing) has occurred. (S101). When such a section occurs, the action detection unit 106 determines whether or not the duration of the section is between two threshold values (TH1, TH2) (S102). These threshold values are set, for example, for the purpose of excluding sections that are too long or too short for a jump.
  • TH1, TH2 threshold values
  • the action detection unit 106 further determines whether or not the ratio of the free fall section in the section exceeds the threshold (TH) (S103). When the ratio of the free fall section exceeds the threshold, it is detected that the section (section sandwiched between two high impact sections) is a jump section (S104).
  • FIG. 3 is a flowchart showing an example of the high impact detection process (S110) shown in FIG.
  • acceleration D111 included in the sensor data is used.
  • the feature quantity extraction unit 105 included in the sensor data analysis unit 104 calculates a norm of acceleration (S112), and further smoothes the norm with an LPF (Low Pass Filter) (S113).
  • the feature amount extraction unit 105 calculates the power of the amplitude in a predetermined time frame for the smoothed norm of acceleration (S114).
  • the action detection unit 106 determines whether or not the power exceeds the threshold value (TH) (S115), and when the power exceeds the threshold value, detects that the time frame is a high impact section (S116).
  • TH threshold value
  • S116 detects that the time frame is a high impact section
  • FIG. 4 is a flowchart showing a first example of the free fall detection process (S120) shown in FIG.
  • acceleration D121
  • angular velocity D125
  • the feature quantity extraction unit 105 calculates the norm of acceleration (S122), and the action detection unit 106 determines whether or not the norm in each section is below a threshold value (TH) (S123).
  • the action detection unit 106 detects that the section is a free fall section with respect to a section in which the norm of acceleration is below the threshold (S124).
  • the feature quantity extraction unit 105 calculates the norm for the angular velocity (S126), and further calculates the norm variance in a predetermined time frame (S127).
  • the action detection unit 106 determines whether or not the variance of the norm of the angular velocity is lower than the threshold (TH) (S128), and when the variance is lower than the threshold, masks the free fall section detected in S124 (that is, free The determination as a fall section is canceled) (S129).
  • TH threshold
  • S129 masks the free fall section detected in S124 (that is, free The determination as a fall section is canceled)
  • Such a mask process based on angular velocity causes a change in angular velocity when the user jumps, so that the free fall section where the change (dispersion) in angular velocity is small is caused by a cause other than the jump. Based.
  • the mask processing in S126 to S129 does not necessarily have to be executed after the free fall section determination processing in S121 to S124.
  • the action detection unit 106 may perform the mask process in advance, and may not execute the free fall section determination process for the section specified as the section to be masked.
  • the mask process may be executed after the jump section detection process (S104) shown in FIG. 2, and a section once detected as a jump section may be masked.
  • the free fall process (S120) shown in FIG. 4 or the like does not necessarily need to be executed before the section occurrence determination (S101) shown in FIG. Before the determination regarding the ratio of the section (S103), the free fall detection process may be executed for the section.
  • FIG. 5 is a flowchart showing a second example of the free fall detection process (S120) shown in FIG.
  • acceleration D121 included in the sensor data provided by the acceleration sensor mounted on the user or an instrument used by the user is used.
  • the feature amount extraction unit 105 and the action detection unit 106 execute the same process as in the first example, and detect a free fall section.
  • the feature quantity extraction unit 105 extracts the X-axis component and the Y-axis component of acceleration (S132), and further calculates the covariance between the X-axis component and the Y-axis component of acceleration (S132). S133). More specifically, for example, when the user is walking or running on a reference plane (which is not limited to a horizontal plane but may be an inclined plane), the feature amount extraction unit 105 performs coordinate axes of the acceleration sensor.
  • the X axis is the axis closest to the user's direction of travel
  • the Y axis is the axis closest to the normal direction of the reference plane
  • the covariance of acceleration components (X axis component, Y axis component) in these axis directions is calculated.
  • the action detection unit 106 determines whether or not the covariance is lower than the threshold (TH) (S134), and when the covariance is lower than the threshold, masks the free fall section detected in S124 (S129).
  • Such mask processing based on the covariance of acceleration is performed when, for example, the jump to be detected is not a so-called vertical jump with a displacement in the normal direction of the reference plane but a jump with a displacement in the user's traveling direction. It is valid.
  • FIG. 6 is a flowchart illustrating a second example of a process for detecting a jump included in a user action according to an embodiment of the present disclosure. The illustrated process is executed in the sensor data analysis unit 104 included in the information processing apparatus 100, for example, as in the first example.
  • the sensor data analysis unit 104 executes candidate section detection processing (S140). Details of this process will be described later.
  • the action detection unit 106 included in the sensor data analysis unit 104 determines whether a candidate section has occurred (S105). When a candidate section occurs, the action detection unit 106 determines whether or not the duration (duration) of the section is between two threshold values (TH1, TH2), as in the first example ( S102). When the duration is between two threshold values, the action detection unit 106 further determines whether or not the average value (mean) of the acceleration in the vertical direction and the horizontal direction in the section exceeds the respective threshold values (THs) ( S106). When the average value of acceleration exceeds each threshold value, it is detected that the candidate section is a jump section (S104).
  • FIG. 7 is a flowchart showing an example of the candidate section detection process (S140) shown in FIG.
  • the candidate section detection process first, the high impact detection process (S110) described above with reference to FIG. 3, the vertical acceleration calculation process (S141), and the horizontal acceleration calculation process (S142). ) And are executed. Further, the feature amount extraction unit 105 included in the sensor data analysis unit 104 calculates the difference between the vertical acceleration and the horizontal acceleration calculated in S141 and S142 for each section (S143). After that, the action detection unit 106 determines whether or not a section between two high impact sections (estimated as crossing and landing) has occurred (S144).
  • the action detection unit 106 determines whether or not the difference between the vertical acceleration and the horizontal acceleration calculated in S143 exceeds a threshold (TH) in the section (S145). . When the difference exceeds the threshold, it is detected that the section (a section sandwiched between two high impact sections) is a jump section candidate section (S146).
  • FIG. 8 is a flowchart showing an example of the vertical acceleration calculation process (S141) shown in FIG.
  • the acceleration (D151) included in the sensor data is used.
  • the feature amount extraction unit 105 included in the sensor data analysis unit 104 calculates an average value (mean) of acceleration (S152).
  • the average value calculated here can be, for example, a moving average.
  • the feature amount extraction unit 105 executes gravity component acceleration calculation processing (S153). Further, the feature amount extraction unit 105 calculates the norm of the calculated gravity component acceleration (S154).
  • the gravity component acceleration may be calculated based on an average value such as a moving average, or may be calculated using a filter such as an LPF.
  • the feature quantity extraction unit 105 processes the acceleration (D151) by BPF (Band Pass Filter) separately from the processing of S152 to S154 described above (S155).
  • BPF Band Pass Filter
  • the BPF is used for the purpose of removing a DC component (that is, gravity component) included in acceleration by a filter in a low frequency region and further smoothing acceleration by a filter in a high frequency region.
  • the BPF in S155 may be replaced by a combination of other types of filters such as LPF and HPF (High Pass Filter).
  • the feature amount extraction unit 105 calculates the inner product of the acceleration processed by the BPF and the gravity component acceleration calculated in S153 (S156).
  • the feature amount extraction unit 105 divides the inner product calculated in S156 by the norm of the gravity component acceleration calculated in S154 (S157). Thereby, the vertical acceleration (V158) is obtained.
  • the vertical acceleration is calculated by projecting the acceleration from which the gravity component is removed by the BPF (S155) in the direction of the gravity component acceleration.
  • FIG. 9 is a flowchart showing an example of the horizontal acceleration calculation process (S142) shown in FIG.
  • the acceleration (D151) included in the sensor data is also used in the horizontal acceleration calculation process.
  • the vertical acceleration calculated in the vertical acceleration calculation process (S141) described above with reference to FIG. 8 is used.
  • the feature quantity extraction unit 105 included in the sensor data analysis unit 104 squares and uses the vertical acceleration (S161).
  • the feature amount extraction unit acceleration (D151) is processed by the BPF (S162), and the DC component included in the acceleration is removed and the acceleration is smoothed.
  • the BPF in S162 may also be replaced by a combination of other types of filters such as LPF and HPF.
  • the feature amount extraction unit 105 calculates the norm of the acceleration processed by the BPF (S163), and squares it (S164). Further, the feature amount extraction unit 105 calculates a difference between the square of the vertical acceleration calculated in S161 and the square of the horizontal acceleration calculated in S164 (S165), and the square root of the difference (S166). Obtain horizontal acceleration (V167).
  • the jump detection according to the embodiment of the present disclosure is the same as the case where the first example (FIG. 4) is adopted for the free fall detection process in the first example of jump detection (FIG. 2).
  • the second example (FIG. 5) is adopted for the free fall detection process
  • a total of three types Jump detection processing is possible.
  • the sensor data analysis unit 104 including the action detection unit 106 may detect the final jump section based on the results after executing these three types of jump detection processing. More specifically, for example, when a jump section is detected by at least one of the three types of jump detection processing, the action detection unit 106 may detect the section as a final jump section. . Alternatively, the action detection unit 106 may detect the section as a final jump section when a jump section is detected by two or more of the three types of jump detection processing or all three types.
  • FIG. 10 is a flowchart illustrating an example of a process for detecting a turn section included in a user action according to an embodiment of the present disclosure.
  • the illustrated process is executed by, for example, the sensor data analysis unit 104 included in the information processing apparatus 100 described above.
  • the sensor data analysis unit 104 detects rotation included in the user's action (S210), and further detects non-turning rotation included in the rotation (S230).
  • a turn is detected from those other than the rotation (S250).
  • the non-turning rotation includes, for example, rotation generated by swinging the user when the sensor includes a sensor attached to the user's head or an instrument attached to the user's head.
  • the non-turning rotation includes other rotations generated by the user's body movement, more specifically, a sensor that is mounted on the user's arm or a device that is mounted on the user's arm. In some cases, it may include rotation generated by a user's arm swing or arm rotation.
  • the sensor data analysis unit 104 can detect a turn section with higher accuracy by detecting a turn section after removing such non-turning rotation. In this sense, it can be said that the non-turning rotation is noise with respect to the detection target turn.
  • the sensor data analysis unit 104 detects the rotation included in the user action, and further detects the rotation. It can be said that a turn is detected from a noise obtained by detecting noise included in the rotation and removing the noise from the rotation.
  • the sensor data analysis unit 104 executes a rotation section detection process (S210).
  • the rotation section is defined as a section where the angular velocity in the horizontal plane direction exceeds a threshold value.
  • the sensor data analysis unit 104 determines whether a rotation section has occurred (S201). When a rotation section occurs, first, the sensor data analysis unit 104 performs a head shake detection process (S230). Further, the sensor data analysis unit 104 determines whether or not the swing is detected (S203), and when the swing is not detected, further performs a turn detection process (S250).
  • the section generated by the user swinging (for example, when the sensor is mounted on a head-mounted wearable terminal device) is excluded from the rotation section, and the rotation radius or angular velocity is further removed.
  • the turn section in which the duration or the like satisfies a desired condition can be extracted.
  • FIG. 11 is a flowchart showing an example of the rotation section detection process (S210) shown in FIG.
  • acceleration D211
  • angular velocity D214
  • the feature amount extraction unit 105 included in the sensor data analysis unit 104 calculates an average value (mean) of acceleration (S212).
  • the average value calculated here can be, for example, a moving average.
  • the feature amount extraction unit 105 executes gravity component acceleration calculation processing (S213).
  • the feature amount extraction unit 105 calculates the inner product of the gravity component acceleration calculated in S213 and the angular velocity (D214) (S215). Thereby, the projection of the angular velocity in the direction of the gravitational component acceleration, that is, the angular velocity (V216) in the horizontal plane direction (around the vertical axis) is obtained.
  • the feature amount extraction unit 105 temporarily integrates the calculated angular velocity (S217), and calculates the angular displacement (V218) in the horizontal plane direction.
  • the feature amount extraction unit 105 processes the angular displacement with the LPF (S219). Further, the feature amount extraction unit 105 differentiates the angular displacement (S220) to obtain the angular velocity (V221) in the horizontal plane direction.
  • the angular velocity of V221 is once integrated in S217 as compared with the angular velocity of V218, and the angular displacement after integration is smoothed by being processed by the LPF in S219, and noise is removed from the waveform.
  • the action detection unit 106 included in the sensor data analysis unit 104 determines whether or not the angular velocity (V221) in the horizontal plane direction exceeds a threshold (S222), and detects a section where the angular speed exceeds the threshold as a rotation section (S223). .
  • FIG. 12 is a flowchart showing an example of the swing detection process (S230) shown in FIG.
  • the angular velocity (V221) in the horizontal direction after smoothing calculated in the rotation section detection process shown in FIG. 11 is used.
  • the feature amount extraction unit 105 acquires the sign of the angular velocity (S231). Any sign may be defined for the direction of rotation. In the illustrated example, clockwise rotation (V232) and counterclockwise rotation (V233) are defined as signs of angular velocity (V221). To do. Further, the feature amount extraction unit 105 calculates a time interval at which reverse rotation has occurred (S234).
  • the feature amount extraction unit 105 determines the time interval from the occurrence of the clockwise rotation (V232) to the occurrence of the counterclockwise rotation (V233), and the counterclockwise rotation ( The time interval from the occurrence of V233) to the occurrence of clockwise rotation (V232) is calculated.
  • the action detection unit 106 determines whether or not the time interval calculated in S234 is below a threshold value (TH) (S235), and detects that a swing has occurred when the time interval is below the threshold value. (S236).
  • FIG. 13 is a chart showing an example of the turn detection process (S250) shown in FIG.
  • the turn detection process a plurality of feature amounts are calculated by the feature amount extraction unit 105, and the action detection unit 106 performs determination based on each threshold based on each feature amount.
  • FIG. 13 shows a process for the feature quantity extraction unit 105 to calculate each feature quantity.
  • the calculation processing of each feature amount will be described in order, but the processing by the feature amount extraction unit 105 does not necessarily have to be executed in the description order, and the presumed amount is acquired or calculated. If so, the processing can be executed in an arbitrary order.
  • the feature quantity extraction unit 105 calculates a norm of acceleration (D251) included in the sensor data (S252), and further calculates an average value of norms in a predetermined time frame (S253).
  • the acceleration norm average (V254) calculated in this way is used as one of the feature amounts for detecting the turn.
  • the feature amount extraction unit 105 processes the acceleration (D251) with the first LPF (S273), and calculates the gravity component acceleration (V274). Further, the feature amount extraction unit 105 calculates the inner product of the angular velocity (D255) and the gravity component acceleration included in the sensor data (S256). Thereby, the projection of the angular velocity in the direction of the gravitational component acceleration, that is, the angular velocity (V257) in the horizontal plane direction (around the vertical axis) is obtained. The feature quantity extraction unit 105 integrates the calculated angular velocity (S258), and calculates the angular displacement (V259) in the horizontal plane direction. Angular displacement (V259) is also used as one of feature quantities for turn detection.
  • the feature amount extraction unit 105 calculates the angular velocity (V261) based on the angular displacement (V259) and the duration (V260) of the rotation section to be processed.
  • the angular velocity of V261 can be a longer time frame (for example, smoothed over the entire rotation section, for example, compared to the angular speed of D255.
  • the duration of the rotation section (V260) and the angular change rate (V261) are also detected by the turn detection. Is used as one of the feature quantities for
  • the feature quantity extraction unit 105 calculates several feature quantities by analyzing the angular displacement (V259) for a predetermined time frame (S262). More specifically, the feature amount extraction unit 105 determines the maximum value (S263, V268), average value (S264, V269), variance (S265, V270), and kurtosis (S266, V271) in the time frame. , And skewness (S267, V272). These feature amounts are also used as feature amounts for turn detection.
  • the feature quantity extraction unit 105 processes the acceleration (D251) with the second LPF (S275).
  • the first LPF (S273) is used to extract the gravitational component acceleration (V274), which is a DC component included in the acceleration, whereas the second LPF (S275) Used to smooth acceleration by filtering the high frequency region. Therefore, the passband settings of these LPFs can be different.
  • the feature amount extraction unit 105 calculates the inner product of the acceleration smoothed by the second LPF (S275) and the gravity component acceleration (V274) extracted by the first LPF (S273) (S276). Thereby, vertical acceleration (V277) is obtained. Further, the feature amount extraction unit 105 calculates the difference between the acceleration vector obtained by combining the gravity component acceleration (V274) and the vertical acceleration (V277) and the acceleration smoothed by the second LPF (S275) (S278). ). Thereby, horizontal acceleration (V279) is obtained. The feature amount extraction unit 105 calculates the average value of the horizontal acceleration (S280). The average value (V281) of the horizontal acceleration calculated in this way is also used as a feature value for turn detection.
  • the action detection unit 106 determines whether or not a turn has occurred based on the feature amount extracted from the sensor data as described above, for example.
  • the action detection unit 106 includes the duration of the rotation section (V260), the angular displacement in the horizontal plane (V259), the smoothed angular velocity (V261), the acceleration norm average (V254), and the horizontal acceleration average. The determination is performed based on the value (V281), the maximum value (V268) of the angular velocity in the time frame, the average value (V269), the variance (V270), the kurtosis (V271), and the skewness (V272).
  • the feature amount used for the determination is not limited to the above example.
  • a feature amount other than the above example may be used, or a part of the feature amount of the above example may not be used.
  • the type of feature quantity used for turn detection may be determined by principal component analysis based on sensor data when a turn actually occurs.
  • the feature-value used for determination may be determined based on the tendency of the sensor data that appears when a turn actually occurs.
  • the acceleration norm average (V254) and the horizontal acceleration average value (V281) are feature quantities related to the turning radius of the turn.
  • the threshold value of each feature amount applied in the determination by the action detection unit 106 is determined according to the result of machine learning based on sensor data when a turn actually occurs, for example. At this time, whether or not a turn has actually occurred may be determined manually with reference to, for example, an action video acquired simultaneously with the sensor data. Further, not only whether or not a turn has occurred, but a label indicating what kind of turn may be given. More specifically, for example, as a result of referring to the video, a label indicating each attribute of an action determined on the service provider side that the service provider wants to detect as a turn, does not want to detect as a turn, or either may be detected. May be given.
  • the action detection processing executed in the present embodiment is not limited to jumps and turns that occur on snowboards.
  • action detection processing is performed on jumps and turns that occur in sports other than snowboards or scenes other than sports. May be executed.
  • an action other than a jump or turn may be detected.
  • the action detection unit 106 may detect a fall that occurs on a snowboard or the like.
  • the feature amount extraction unit 105 calculates the norm of the acceleration in the same manner as the above-described jump and turn detection, and the action detection unit 106 determines that the acceleration norm is a threshold (for example, large enough not to occur in normal sliding). The occurrence of a fall may be detected when the value exceeds (which may be a value).
  • the scoring processing unit 109 included in the analysis result processing unit 107 may perform the action section including the jump section and / or the turn section detected by the processing described with reference to FIGS. 2 to 13 above.
  • a score (action score) for evaluating the generated action is calculated.
  • the action score can be calculated, for example, by extracting physical quantities (feature quantities) representing good or bad actions and features from sensor data in the action section and weighting and adding them.
  • the service control unit 112 generates information on the action (for example, jump or turn) based on the score calculated in this way.
  • the duration of the section (the angular displacement around the X axis / Y axis / Z axis in the section), the ratio of the free fall section, the magnitude of the impact at the time of crossing / landing, etc. It can be extracted as a feature amount for calculating a score.
  • the duration of the section, the displacement angle, the average value of each speed, the maximum value, and the standard deviation, the maximum value of the angular acceleration and the standard deviation, etc. are the feature quantities for calculating the score. Can be extracted.
  • the weighted addition coefficient can be set according to the nature of the action emphasized in the service 113 provided by the information processing apparatus 100, for example.
  • the method for calculating the action score from the feature amount is not limited to the weighted addition, and other calculation methods may be used.
  • the action score may be calculated by applying a machine learning algorithm such as a linear regression model.
  • the clustering processing unit 108 included in the analysis result processing unit 107 performs an action section including a jump section and / or a turn section detected by the processing described above with reference to FIGS. Then, a clustering algorithm such as the k-means method is applied using the feature amount extracted for scoring, and the detected actions are classified into clusters.
  • a clustering algorithm such as the k-means method is applied using the feature amount extracted for scoring, and the detected actions are classified into clusters.
  • actions may be classified into clusters according to the length of the duration of the section or the magnitude of rotation.
  • the result of clustering is used, for example, to extract action sections so that various types of actions such as jumps and turns are included in the moving image when a digest moving image is provided as a service. Also, by classifying good actions and bad actions into separate clusters, the user may look back on the actions or use them for coaching to improve the actions.
  • the analysis result processing unit 107 may calculate the similarity between the action sections based on the correlation coefficient of the feature amount as the same process as the clustering (action sections with high similarity are classified into the same cluster). It can be treated in the same way as the action section that was made). In addition, for example, the analysis result processing unit 107 prepares a characteristic amount pattern of a typical type of action in advance, and determines which type the newly generated action corresponds to by a k-NN method or the like. May be.
  • FIG. 14 is a block diagram illustrating an example of processing for estimating a sensor mounting state according to an embodiment of the present disclosure. More specifically, the illustrated configuration determines whether a sensor that provides sensor data is mounted directly on the user's body or on an instrument used by the user. The illustrated process is executed by, for example, the sensor data analysis unit 104 included in the information processing apparatus 100 described above. In the illustrated example, the cut-off frequency (Fc) of the filter and the length of the time frame are specifically described. However, these numerical values are examples, and may be appropriately changed according to actual sensor characteristics. Can be done.
  • Fc cut-off frequency
  • the receiving unit 102 of the information processing apparatus 100 receives sensor data provided by a three-axis (u, v, w) acceleration sensor 121.
  • the sensor data analysis unit 104 acquires this sensor data via the sensor device control unit 103.
  • the above-described determination processing is based on the fact that when the sensor is directly attached to the user's body, the high-frequency component of acceleration is attenuated by the body functioning as an LPF.
  • A amplitude of the low frequency component that has passed through the LPF 124)
  • B amplitude of the high frequency component that has passed through the HPF
  • the threshold determination 130 if the value obtained by processing A / B with the HPF 129 is larger than the threshold, it is determined that the sensor is directly attached to the user's body, and if not, the sensor is attached to the instrument. It can be determined that it is attached.
  • the estimation result as described above may be used inside the sensor data analysis unit 104, for example.
  • the sensor data analysis unit 104 changes the threshold value, the filter setting value, and the like depending on whether the sensor is attached to the body or the appliance in the process of detecting the user action as described above. Also good.
  • the estimation result as described above is fed back to the sensor device control unit 103 and used for setting parameters relating to measurement of the sensor device, determining the sensor data preprocessing method by the sensor device control unit 103, and the like. May be.
  • adaptive control related to sensor data processing may be performed based on estimation related to the state of the sensor data providing side, such as estimation of the sensor mounting state described above.
  • the sensor data analysis unit 104 estimates the type of sport in which an action has occurred using an algorithm such as machine learning from the impact strength or movement pattern detected by an acceleration sensor or the like. Also good.
  • the sports may be estimated for each generally recognized event, or may be estimated for each system such as board sports, water sports, bicycle competitions, and motor sports.
  • the sensor data analysis unit 104 estimates the type of device (for example, in the case of skiing, whether it is mounted on a ski or mounted on a stock). May be.
  • the estimation result may be used, for example, for controlling a threshold value or a filter setting value in action detection or the like, or fed back to the sensor device control unit 103 and similar to the sensor mounting state estimation result described above. It may be used for device control and determination of sensor data pre-processing method.
  • FIG. 15 is a flowchart illustrating a process in the first example of information generation included in an embodiment of the present disclosure.
  • the action detection unit 106 included in the sensor data analysis unit 104 detects an action section (S301).
  • the action section may include, for example, a jump section and / or a turn section detected by the processing described above with reference to FIGS.
  • the action section may include a section in which another user action detected based on sensor data such as walking, running, stationary, moving with a vehicle, and the like has occurred.
  • the scoring processing unit 109 included in the analysis result processing unit 107 calculates an action score for the action section detected in S301 (S302). Further, action information related to the action section and action score, and data including user ID, position information, separately acquired action video data, and the like are uploaded (S303).
  • the upload in S303 may be, for example, an upload from a server that implements the functions of the sensor data analysis unit 104 or the analysis result processing unit 107 to a server that implements the service control unit 112. Alternatively, the upload in S303 may be upload from a terminal device that implements the functions of the sensor data analysis unit 104 and the analysis result processing unit 107 to a server that implements the service control unit 112. When these servers or terminal devices are the same, upload is read as registration in an internal database, for example.
  • the service control unit 112 that has received the upload of the action section and action score detected for each user calculates the skill level of the user (S304).
  • the skill level is calculated based on, for example, a history of action scores calculated for each user.
  • a server that implements the service control unit 112 can use a database that holds a history of user action scores.
  • a database holding the skill level of the user may be available, and the service control unit 112 that has calculated the skill level in S304 may update the skill level database.
  • the service control unit 112 can execute several processes using the skill level calculated in S304. For example, the service control unit 112 may search for the skill level of the user based on the input user ID (S305) and provide information on the skill level (S306). Further, the service control unit 112 may calculate ranking information based on the skill level of the target user (S307) and provide this (S308). Or the service control part 112 may determine the user who shares an action image
  • the service control unit 112 searches the location information included in the data uploaded in S303 for the ID of the facility where the action was detected (S311), and the action score of the action detected in the facility, The facility level is calculated based on the distribution with the skill level of the user who executed the action (S312), and the facility data including the facility level information is provided (S313). Details of the facility level calculation process will also be described later. In providing some information described above, the service control unit 112 may share information requested by a user on social media or the Web with other users (S314).
  • each information calculated in the example shown in FIG. 15 will be described more specifically. Note that not all of the information may be calculated, and only a part of the information may be calculated. In addition to or in place of these pieces of information, other types of information may be calculated.
  • the skill level is calculated based on the history of action scores calculated for each user (S304).
  • the skill level may be determined according to a cumulative value of points calculated by an expression including the following variables. ⁇ Total value of action score ⁇ Maximum value of action score ⁇ Distribution of action score ⁇ Variation of action type (The result of clustering mentioned above can be used) -The level of the facility where the action was detected-The variation of the facility where the action was detected-The number of action detections during the most recent period-The total number of action detections-The action detection frequency (total number of action detections / service usage period) ⁇ Difficulty of patterns formed by successive actions ⁇ Target achievement rate
  • the target achievement rate may be, for example, a goal achievement rate set by the user.
  • a target corresponding to the current skill level of the user may be automatically set by the service, and the skill level may be increased by achieving the set target.
  • an automatically set goal may mean, for example, that achieving it is a senior or heavy user of the service, and the achievement itself may be recorded.
  • the ranking is generated based on the skill level of the user (S307). More specifically, the ranking is generated by arranging the skill levels calculated for each user in ascending order.
  • the ranking may be generated for all users (total ranking), a range of users specified by a certain user (friend group ranking), or may be generated for each user attribute such as region and age. Alternatively, it may be generated for each facility where an action is detected.
  • the ranking may be stored in a database on the server and updated in real time when an action is detected.
  • the action video is shared with the user selected based on the ranking information (S309, S310).
  • the action video is generated by cutting out a portion corresponding to the action section from video data captured by an imaging device such as a digital video camera paired with the sensor device.
  • the shared action video can be an action video generated for a plurality of action sections edited in several seconds to several tens of seconds depending on the viewing environment.
  • a video with a higher or lower action score may be extracted, or an action video detected at a facility where the user viewing the action video may be extracted.
  • the generated action image may be used not only for sharing or publishing on social media or the Web, but also for displaying on a public display as an advertisement or for sending to a coach for advice. .
  • the facility level is determined based on the distribution of the action score of the action detected at the facility and the skill level of the user who executed each action. Calculated (S312).
  • a low level (indicating that the difficulty level is low) may be given to a facility where an action with a high score is detected for many users regardless of the skill level.
  • a facility in which an action with a high score is detected only for a user with a high skill level may be given a high level (indicating that the difficulty level is high).
  • the fact that an action such as a fall (indicating that the attempted action has failed) may also be reflected on the facility level.
  • a level indicating the popularity level can be calculated according to the number of users whose actions are detected.
  • the facility can take various forms depending on the type of sport in which the action occurs, such as a course, a court, or a field.
  • facilities can be defined in various units such as a park including a plurality of courses, a specific jumping table in the course, and the like.
  • facilities can be defined in various units.
  • FIG. 16 is a diagram illustrating a screen display in the first example of information generation included in an embodiment of the present disclosure.
  • a user profile 1001 is displayed on the screen 1000.
  • the item of the user profile 1001 includes a skill level 1003.
  • the skill level 1003 is, for example, a skill level calculated by the process of S304 shown in FIG.
  • the user profile 1001 further includes skill points 1005.
  • the skill point 1005 may be a point calculated for determining a skill level, for example, as described above.
  • skill ranking 1007 is displayed on the screen 1000.
  • the skill ranking 1007 is displayed based on the ranking generated by the processing of S307 shown in FIG. 15, for example.
  • the skill ranking 1007 includes an overall ranking, a ranking by region (select and display the tab 1009), a ranking by facility (select and display the tab 1011), and a ranking by age (tab 1013). Display by selecting).
  • a shared action video 1015 is displayed on the screen 1000.
  • the action video 1015 is a video shared by the processing of S309 and S310 shown in FIG. 15, for example.
  • facility information 1019 can be displayed in a pop-up manner for a display relating to the facility (for example, the facility name 1017).
  • the facility information 1019 includes, for example, the facility level 1021 calculated by the processing in S312 illustrated in FIG.
  • the user can share various information with other users. You can check your level and compete with your friends.
  • FIG. 17 is a flowchart illustrating a process in the second example of information generation included in an embodiment of the present disclosure.
  • the service control unit 112 executes a user search by image matching (S321) and / or a user search by position and orientation (S322). These processes are processes for searching for another user (second user) that is close to the user (first user) who wants to receive information.
  • second user the face of the second user included in a captured image (hereinafter also referred to as a view image) corresponding to the view of the first user may be detected.
  • a landmark that is commonly included in the first user's view image and the second user's view image may be detected.
  • a user is searched based on position information acquired by a GPS or the like mounted on the terminal device, and direction information acquired by a geomagnetic sensor or the like. More specifically, in the service control unit 112, the position information acquired by the terminal devices possessed by the first user and the second user are close to each other, and the first user is in the terminal device. The second user may be detected as the target user when the direction estimated to be facing is close to the direction in which the second user is present when viewed from the first user.
  • the service control unit 112 acquires the target user ID for the second user searched in S321 or S322 described above (S323).
  • the second user who can acquire the target user ID can be, for example, another user who uses the same service as the first user or a service linked to the service used by the first user. .
  • the service control unit 112 can execute several processes.
  • the service control unit 112 compares the skill level calculated in S304 between the first user who wants to receive information and the second user detected as the target user (S324). .
  • the service control unit 112 transmits a notification to the first user and / or the second user according to the comparison result (S325).
  • S325 when an action that occurs in a competitive sport is detected in the present embodiment, in S325, if the skill level of the first user is close to the skill level of the second user in the comparison in S324, either Or a notification can be sent to inform both users of their presence or proximity. In this case, it may be a condition that the positions of the first user and the second user are close to each other. As will be described later, in this case, if the first user and the second user consent, navigation may be provided so that these users can meet.
  • the service control unit 112 acquires skill level information of the target second user using the target user ID acquired in S323 (S326).
  • the terminal device worn by the first user who wants to receive information is a HMD (Head Mounted Display) such as a glass type or a goggle type
  • the service control unit 112 acquires the acquired skill level information. Is displayed on the HMD (S327). In this case, the image for displaying the skill level information is displayed, for example, superimposed on the real space image in the HMD.
  • the service control unit 112 may acquire action video data of the second user to be the target using the target user ID acquired in S323 (S328).
  • the action image of the second user can also be displayed on the HMD worn by the first user (S327).
  • similar information may be displayed using the camera and the display of these mobile devices.
  • FIG. 18 is a diagram illustrating a screen display in a second example of information generation included in an embodiment of the present disclosure.
  • a screen 1100 (screens 1100a and 1100b) is displayed by being superimposed on an image R in real space using an HMD.
  • a notification 1101 generated by the process of S325 shown in FIG. 17 is displayed.
  • such a notification 1101 can be displayed, for example, when another user (second user) having a skill level close to that of the user (first user) watching the screen 1100 approaches. .
  • screen 1100b for example, after the notification such as the screen 1100a is displayed, the consent of the first user and the second user is obtained, so that navigation is provided so that these users can meet each other.
  • screen 1100b includes instruction text 1103 for navigation, arrows 1105, orientation 1107, and radar map 1109.
  • FIG. 19 is also a diagram illustrating a screen display in the second example of information generation included in an embodiment of the present disclosure.
  • a screen 1200 (screens 1200a and 1200b) is displayed by being superimposed on an image R in real space using an HMD.
  • another user (second user) U2 slides on the snowboard in the real space image R.
  • the user U2 is identified based on the image acquired by the camera mounted on the HMD (S321 shown in FIG. 17).
  • the user U2 may be identified based on the position and orientation acquired by the HMD and the position (and orientation) acquired by the terminal device carried or worn by the user U2 (FIG. 17). S322).
  • skill level information 1201 of the identified user U2 is displayed (S326, S327 shown in FIG. 17).
  • the past action image 1203 of the user U2 is displayed in addition to the skill level information 1201 of the user U2 (S326, S327, and S328 shown in FIG. 17).
  • FIG. 20 is a diagram for conceptually explaining a third example of information generation included in an embodiment of the present disclosure.
  • a camera 141 installed in the facility acquires an image of a user 143 sliding on the snowboard.
  • the camera 141 has acquired a video that captures the action performed by the user 143 on the course 142.
  • the video acquired by the camera 141 may be useful as a video that captures the user's action from an objective viewpoint.
  • the service control unit 112 extracts an appropriate part of the video based on the action section information and the like. Accordingly, it is possible to appropriately provide a portion of the video desired by the user.
  • the calculation of the action score and skill level as described above may not necessarily be executed.
  • FIG. 21 is a flowchart illustrating processing in the third example of information generation included in an embodiment of the present disclosure.
  • the action section detection (S301) processing by the action detection unit 106 included in the sensor data analysis unit 104 is executed in the same manner as in the first and second examples.
  • a video reception request for an action section is issued (S341).
  • This request may be transmitted, for example, from a server that implements the function of the sensor data analysis unit 104 to a server that implements the service control unit 112.
  • the request in S341 may be transmitted from a terminal device that implements the function of the sensor data analysis unit 104 to a server that implements the service control unit 112.
  • the request may include, for example, information on an action section to be processed, a device ID, and position information indicating a position where an action has occurred.
  • the service control unit 112 Upon receipt of the video reception request in S341, the service control unit 112 determines a target camera from the cameras installed in the facility based on the position information included in the request (S342).
  • the target camera may be, for example, a camera installed at a position closest to the position where the action indicated by the position information included in the request has occurred.
  • the service control unit 112 searches for the action section included in the request from the video data acquired by the target camera (S343), and determines whether there is data about the action section (S344).
  • the service control unit 112 compares the time stamp of the video data with the time stamp of the action section, and determines whether there is video data of a time corresponding to the action section.
  • the service control unit 112 may perform image analysis on the video data in the action section and determine whether or not a moving subject (execution of an action) is reflected.
  • the service control unit 112 When it is determined in S344 that there is target video data, the service control unit 112 further creates a thumbnail image based on the target video data (S345).
  • the thumbnail image is generated by capturing one or a plurality of still images in an action section from, for example, target video data. Therefore, at this time, the processing as described in S349 described later may not be applied to the video data.
  • the service control unit 112 transmits the thumbnail image to the terminal device used by the user (S346), and the terminal device checks whether or not the user accepts the video download (S347).
  • the thumbnail image transmitted to the terminal device is an example of information for notifying the user that there is an image obtained by capturing an action section (for example, a jump section or a turn section).
  • the user determines whether or not to accept the download by an operation input (S348).
  • the service control unit 112 processes the video (S349). More specifically, the service control unit 112 cuts out a section corresponding to the action section from the target video data. Further, the service control unit 112 may perform processing such as down-conversion of video data according to the performance of the terminal device to which the video is provided (display resolution, processor processing capacity, communication speed, etc.). When the processing is completed, the service control unit 112 transmits the processed video to the terminal device used by the user (S350). The service control unit 112 confirms whether or not video reception has been completed at the terminal device (S351), and when video reception is complete, performs billing processing as necessary (S352).
  • the exchange between the terminal device and the server as described above may be performed between the single terminal device and the server, respectively, or a plurality of terminal devices and / or networks used by the user may be used. It may be implemented among a plurality of server devices that cooperate with each other. For example, there is an example in which a request is issued in S341, a download is confirmed in S347, and a video in S350 is received by a single terminal device (for example, a wearable device or a mobile device). sell. On the other hand, as described above, the issue of the request in S341 may be executed by the server.
  • the terminal device that receives the video in S350 is not limited to the wearable device or the mobile device, and may be a terminal device that is away from the user (for example, at home) at that time.
  • FIG. 22 is a diagram for explaining video processing in the process illustrated in the example of FIG.
  • the detected action includes a jump.
  • the service control unit 112 performs a process of cutting out a section corresponding to the action section from the video data.
  • the section 144a cut out from the video 144 is enlarged by a predetermined length or a predetermined ratio than the section 145a detected as the action section (the jump section in the illustrated example) of the user 143 in the action detection result 145.
  • It may be a section that is For example, in the case of a jump section, it is desirable that images before jump crossings and after landing are included in the video. In such a case, the service control unit 112 expands the video section 144a more than the detected action section 145a.
  • FIG. 23 is a diagram for explaining a user interface for downloading a video in the process shown in FIG.
  • the processes of S436, S348, S350, and S351 illustrated in FIG. 21 are illustrated as communication between the server 147 (which may be the information processing apparatus 100) and the terminal device 148.
  • the terminal device 148 a mobile device such as a tablet or a smartphone in the illustrated example
  • the terminal device 148 determines whether or not to accept the download by an operation input via a touch panel provided on the display 149, for example. If the download is accepted, a download request is transmitted from the terminal device 148 to the server 147 (S348).
  • FIG. 24 is a flowchart illustrating a process in the fourth example of information generation included in an embodiment of the present disclosure.
  • information for supporting the improvement of an action for example, playing in sports
  • the action section detection (S301) processing by the action detection unit 106 included in the sensor data analysis unit 104 is executed in the same manner as in the first to third examples.
  • the scoring processor 109 included in the analysis result processor 107 may calculate an action score as in the first and second examples (S302).
  • the analysis result processing unit 107 may generate various physical quantities in the action section or data for visualizing the feature quantities extracted from the physical quantities (S381). The data generated here can be used as useful information for improving the action by, for example, visualizing the statistics related to the action while updating the statistics in real time. Further, the analysis result processing unit 107 may synchronize the sensor data used for action detection with the data of the biosensor attached to the user separately in the action section (S382).
  • the data generated by the analysis result processing unit 107 is uploaded from, for example, a server that implements the function of the analysis result processing unit 107 to a server that implements the service control unit 112 (S383).
  • the upload in S383 may be an upload from a terminal device that implements the function of the analysis result processing unit 107 to a server that implements the service control unit 112.
  • upload is read as registration in an internal database, for example.
  • the service control unit 112 executes generation of coaching information (S384) and / or generation of comparison data (S385).
  • Coaching information generated in S384 is information about uploaded information such as exercise intensity (calculated from pulse rate and respiration rate), pulse rate, respiration rate, motion stability / instability, action score, etc. It is extracted from the transition from the past history data to the latest data. More specifically, the coaching information is used to notify the timing of the break from the transition of the fatigue level (estimated from the action history) and the concentration level, to estimate whether the user is in good or bad condition, It includes information to notify when a superior action is detected.
  • comparison data generated in S385 is, for example, for quantitatively grasping the improvement points by comparing the newly detected action with the user's own past data or other user's data. It is data.
  • comparison data includes, for example, user tilt, direction, height, motion stability / instability, sinking, impact, velocity (vector), acceleration (vector), rotation vector (quaternion), etc. It can be extracted by matching on sequences and deriving correlations and differences.
  • a data request is issued (S386).
  • This request may be transmitted from the server or terminal device that implements the function of the analysis result processing unit 107 that has uploaded information in S383 to the server that implements the service control unit 112, for example.
  • issuing a request is read as issuing an internal command requesting data, for example.
  • the service control unit 112 provides data to the server or terminal device that issued the request (S387).
  • the server may further transfer the provided data to the terminal device.
  • the data provided to the terminal device is output by, for example, a user interface for presenting information displayed on the screen.
  • FIG. 25 is a diagram illustrating a screen display in a fourth example of information generation included in an embodiment of the present disclosure.
  • a screen 1500 includes a user orientation and inclination 1501 detected in real time, a user biometric information (respiration rate and pulse rate) 1503 also detected in real time, and switching between a plurality of viewpoints.
  • a button 1505 an afterimage 1507 of the user in the past portion in the action section, a physical quantity display 1509, a user trajectory 1511 in the action section, a radar chart 1513 of an action score, a statistic 1515, See graph 1517 showing psychological state, time series display 1519 of detected actions, time series display 1521 of degree of instability of movement, time series display 1523 of degree of relaxation / tension, and time series display A seek bar 1525 is displayed.
  • the azimuth and inclination 1501, the physical quantity display 1509, the radar chart 1513, and the statistic 1515 can be generated, for example, by the process of S381 shown in FIG.
  • the physical quantity display 1509 includes a rotation angle display 1509a, a jump height display 1509b, and a speed display 1509c.
  • These display elements visualize various physical quantities in the action section, feature quantities extracted from the physical quantities, and values calculated based on the feature quantities such as action scores. For example, by visualizing the information while updating the information in real time, it becomes easy for the user to grasp the improvement point of the action.
  • the biological information 1503, the graph 1517, and the time series displays 1521 and 1523 can be generated by the process of S382 shown in FIG. 24, for example. These display elements are displayed based on the detection value of the biosensor in the action section and the analysis result, for example. Note that the degree of motion instability is extracted from the detection value of an inertial sensor including an acceleration sensor and an angular velocity sensor. Thus, by feeding back the biological information synchronized with the action section, it becomes easy to grasp the psychological state when the user executes the action and to improve the action.
  • a user profile can be created according to the types of actions detected in the past. For example, a profile of “advanced jump expert” is given to a user whose high action score is stably calculated in the jump action. For a user who has a low jump action score and often detects a fall during the jump, a profile of “beginner of jump” is given.
  • the information generation processing in the present embodiment may be made different using the profile as described above.
  • the user profile may be reflected. More specifically, if the user is a jump expert, the visualized information regarding the jump in which a rare fall has been detected may be provided in more detail. This is because it is natural for advanced players to succeed in jumping, and detailed analysis of rare failures will help them to improve further. Conversely, if the user is a jump beginner, the visualized information about a successful jump may be provided in more detail where no fall is detected. This is because beginners may find hints that enable them to succeed in a stable jump by looking back at a successful jump.
  • FIG. 26 is a block diagram illustrating a hardware configuration example of the information processing apparatus according to the embodiment of the present disclosure.
  • the information processing apparatus 900 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing apparatus 900 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 900 may include a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the information processing device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data and instruct processing operations to the information processing device 900.
  • the output device 917 is configured by a device capable of notifying the acquired information to the user using a sense such as vision, hearing, or touch.
  • the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, an audio output device such as a speaker or headphones, or a vibrator.
  • the output device 917 outputs the result obtained by the processing of the information processing device 900 as video such as text or image, sound such as sound or sound, or vibration.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores, for example, programs executed by the CPU 901 and various data, and various data acquired from the outside.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for connecting a device to the information processing apparatus 900.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 can be, for example, a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), NFC (Near Field Communication), or a communication card for WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a network connected by wire or wireless, and may include, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the imaging device 933 uses various members such as an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), and a lens for controlling the formation of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933 may capture a still image or may capture a moving image.
  • the sensor 935 is various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, an illuminance sensor, a temperature sensor, an atmospheric pressure sensor, a pressure sensor, a distance sensor, or a sound sensor (microphone).
  • the sensor 935 acquires information about the state of the information processing apparatus 900 itself, such as the posture of the information processing apparatus 900, and information about the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900, for example. To do.
  • the sensor 935 may also include a GNSS receiver that receives a GNSS (Global Navigation Satellite System) signal and measures the latitude, longitude, and altitude of the device.
  • GNSS Global Navigation Satellite System
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • an information processing apparatus for example, an information processing apparatus, a system, an information processing method executed by the information processing apparatus or system, a program for causing the information processing apparatus to function, and a program are recorded. It may include tangible media that is not temporary.
  • the service control unit 112 of the information processing apparatus 100 controls the provision of visual or audio content provided in parallel with the progress of an action, for example.
  • content can include, for example, visual effects and sound effects that are provided in real time to a user who performs an action or another user who observes the content using an HMD (Head Mounted Display) or the like.
  • the content may include visual effects, sound effects, and the like that are subsequently played back along with the action video.
  • the content may include the video of the action itself.
  • the service control unit 112 of the information processing apparatus 100 calculates a time-series score for a section including a series of user actions detected by the action detection unit 106, and calculates the score. Use it to control content.
  • FIG. 27 is a diagram for describing calculation of a time-series score for content control according to an embodiment of the present disclosure.
  • the service control unit 112 adds the action scores for the actions detected by the action detection unit 106 included in the sensor data analysis unit 104 by weighting them as necessary.
  • a time series score for such content control is calculated.
  • the time series score S (t1) at a certain time t1 is, for example, based on the score S Action (t1) of each action and the weight W Action set for each action (Action indicates an action name): It is calculated by the following formula 1.
  • the score S Action (t1) of each action may simply indicate whether or not the action has occurred at time t1 (in this case, S Action (t1) may be 0/1). ), Or a score calculated by the scoring processing unit 109 for the action section including the time t1 or the time t1.
  • the scores S Action (t1) of each action may be smoothed and added.
  • the weight W Action of each action can be set according to the importance of each action in snowboarding, for example.
  • the service control unit 112 sets one or a plurality of threshold values (TH1, TH2) for the calculated time series score, and performs content control based on whether or not the time series score exceeds the threshold value. Also good. For example, the service control unit 112 may continuously generate or output some content for a section in which the time series score exceeds the threshold. Alternatively, the service control unit 112 may generate or output some content in at least one of the first and last sections where the time series score exceeds the threshold.
  • TH1, TH2 threshold values
  • the service control unit 112 may extract the highlight of the action video based on the time series score.
  • the action image is, for example, an image of a user who is performing an action, and is acquired in parallel with the sensor data (the sensor device that acquires the sensor data and the imaging device that acquires the action image are different devices). Possible).
  • the service control unit 112 uses, as a highlight video, a section in which a time series score exceeds a threshold value (TH1 or TH2) from an action video continuously shot during snowboarding. It may be extracted. This section is defined by, for example, the timing when the time series score increases and exceeds the threshold when an action occurs, and the timing when the time series score decreases and falls below the threshold.
  • Whether the threshold value TH1 or the threshold value TH2 is used for the determination of extraction is selected according to, for example, the length of the highlight video specified in advance. In the case of the illustrated example, a shorter highlight video is extracted if the threshold TH1 is used for determination, and a longer highlight video is extracted if the threshold TH2 is used for determination.
  • the service control unit 112 may control the playback of the action video based on the time series score. More specifically, the service control unit 112 determines that the time series score is a threshold value according to a user's seek operation or automatically when playing an action video from which highlights are not extracted as in the above example. The action video may be reproduced while skipping the section below (TH1 or TH2). Similarly to the above example, whether to use the threshold value TH1 or the threshold value TH2 for the skip determination is selected according to, for example, a reproduction time specified in advance. In the case of the illustrated example, the action video is reproduced in a shorter time if the threshold value TH1 is used for the determination, and the action video is reproduced in a longer time if the threshold value TH2 is used for the determination.
  • the service control unit 112 may perform content control according to the calculated time-series score value.
  • the service control unit 112 responds to a time series score value (for example, an average value or a maximum value) in a certain section (similar to the above example, this section can also be defined according to the time series score).
  • a time series score value for example, an average value or a maximum value
  • this section can also be defined according to the time series score.
  • the service control unit 112 may select the music to be played along with the action video and the volume thereof according to the value of the time series score. More specifically, the service control unit 112 may play a lively song at a high volume in a section with a high time series score, and may play a quiet song at a low volume in a section with a low time series score.
  • time series scores for content control is applicable not only to the actions of snowboarding users but also to actions that occur in various scenes in other sports or daily life. It is.
  • the time series score may be calculated by adding scores (0/1 indicating occurrence or a calculated score) for a plurality of actions that occur in the scene. The score for a single action may be used as it is as a time series score.
  • a score related to actions other than the action detected based on the sensor data more specifically, a score based on the user's operation input, detection of position information, check-in information (for example, an explicit user's using NFC or the like)
  • You may use for calculation of a time series score with a score.
  • the service control unit 112 may change the content provision control between an action that occurs in sports and an action that does not.
  • FIG. 28 is a diagram for describing an example of content control using a time-series score according to an embodiment of the present disclosure.
  • the playback speed of the action image is continuously controlled based on the time series score.
  • a negative coefficient ⁇ indicates that the playback speed is normal speed (1.0 times) when the time series score is minimum, and the playback speed is half the normal speed when the time series score is maximum ( 0.5 times).
  • the action video can be automatically slow-played at a portion where the time series score is high.
  • the playback speed becomes a normal speed (1.0 times), and as the time series score becomes smaller, the playback speed further increases (> 1.0). By doing so, it is possible to automatically fast forward the action video at a portion where the time series score is not high.
  • the service control unit 112 of the information processing apparatus 100 specifies at least two timings defined in relation to the user action detected by the action detection unit 106, and these The content is controlled according to the timing.
  • FIG. 29 is a diagram for describing an example of timing defined in relation to an action in an embodiment of the present disclosure.
  • the action detection unit 106 executes a detection process as described above with reference to FIG. 10 to detect the user's turn, for example.
  • the action detection unit 106 identifies a clockwise turn (CW) and a counterclockwise turn (CCW) according to the direction of rotation.
  • CW clockwise turn
  • CCW counterclockwise turn
  • the detection timing of these two types of turns is shown in time series.
  • a section in which a clockwise turn and a counterclockwise turn occur regularly and at regular intervals as shown in the illustrated example. Can exist.
  • the service control unit 112 for example, the section s1 including the first timing and the last timing of successive turns, and the direction of rotation
  • the timing interval d1 between turns with different rotations, the timing interval d2 between turns with the same rotation direction, and the like can be defined, and content control can be performed based on these.
  • the service control unit 112 may select music having a tempo corresponding to the interval d1 or the interval d2 and play it along with the action video in a section including at least a part of the section s1. At this time, the service control unit 112 plays the music in a section including at least the section s1. More specifically, for example, the service control unit 112 may start playing the music from the start point (first turn timing) of the section s1, or may start playing the music before that time. Good. Or the service control part 112 may reproduce
  • the service control unit 112 selects and starts playback of a music piece when several intervals d1 or intervals d2 are continuously detected at the beginning of the section s1.
  • the service control unit 112 may end the reproduction of the music by a fade-out or the like at the end point (last turn timing) of the section s1, or after the end of the section s1, for example, until the next turn is detected.
  • the reproduction of the music piece may be continued.
  • the music of the tempo corresponding to the interval d1 or the interval d2 can be, for example, a song that progresses at the reciprocal of the interval d1 or the interval d2, that is, BPM (Beats Per Minute) close to the appearance frequency of the turn.
  • BPM Beats Per Minute
  • the BPM music tempo close to the turn appearance frequency may be finely adjusted to match the turn appearance frequency.
  • the service control unit 112 generates a visual effect (for example, animation, avatar, etc.) or a sound effect that proceeds (for example, repeats) at a timing corresponding to the interval d1 or the interval d2, and at least a part of the interval s1. You may play with an action image
  • a visual effect for example, animation, avatar, etc.
  • content control based on the timing defined in relation to the action as described above is not limited to continuous turns that occur during snowboarding, but can also be applied to continuous jumps, for example. is there. Further, the control as described above can be similarly applied to a case where some action occurs periodically in other sports or daily life. In such a case, the service control unit 112 may change the content provision control between an action that occurs in sports and an action that does not. In such a case, for example, in selecting a music piece as in the above example, higher-order action information of the user estimated based on the detected action and position information, the context before and after the action occurred, etc. May be used. For example, when playing music in accordance with periodic walking actions, higher-level behavioral information such as whether the walking is moving, walking or shopping is used If possible, it is possible to select music that is more suitable for the user's situation.
  • FIG. 30 is a diagram illustrating a first example of effects provided at a timing defined in association with an action according to an embodiment of the present disclosure.
  • a visual effect and a sound effect are provided on the screen 1100 for playing back the action video in accordance with the jump crossing and landing timing. More specifically, in the illustrated example, a visual effect 1101 of the text “Jump !!” is displayed on the screen 1100a at the time of jump crossing. Furthermore, the sound effect SE is output on the screen 1100b at the time of landing of the jump.
  • the provided effect may be changed according to the action score calculated by the scoring processing unit 109 included in the analysis result processing unit 107.
  • the action score calculated by the scoring processing unit 109 included in the analysis result processing unit 107.
  • both the visual effect 1101 and the sound effect SE are provided, but if the action score is low, only the visual effect 1101 may be provided. Furthermore, when the action score is low, the size of the visual effect 1101 may be reduced, or the effect may be plain.
  • Table 1 below shows an example of control of the type of action and the type of effect according to the action score.
  • FIG. 31 is a diagram illustrating a second example of an effect provided at a timing defined in association with an action according to an embodiment of the present disclosure.
  • an animation 1201 which is a type of visual effect
  • the service control unit 112 may change the operation of a series of visual effects and sound effects on the basis of the timing defined in relation to the action. More specifically, the service control unit 112, when two timings (first timing and second timing) are defined, such as jump crossing and landing in the above example, at least one of them. Visual effects and sound effects whose behavior changes can be provided.
  • FIG. 32 is a diagram illustrating a third example of effects provided at a timing defined in association with an action according to an embodiment of the present disclosure.
  • an animation 1301 is displayed on the screen 1300 for playing back an action image based on the jump crossing and landing timing. More specifically, in the illustrated example, an animation 1301a indicating that the counter indicating the jump action score is rotating is displayed on the screen 1300a at the time of jump crossing. Further, on the screen 1300b at the time of landing of the jump, an animation 1301b in which the counter is stopped and the action score is fixed is displayed.
  • the score may randomly change while the user is in a stagnant state, and may stop at the time of landing.
  • a rotating counter of the animation 1301a is displayed immediately after the landing of the jump, and an animation 1301b in which the action score is determined after a predetermined time has elapsed is displayed. May be.
  • the animation 1301 can be displayed in real time using an HMD worn by the user.
  • FIG. 33 is a diagram illustrating a fourth example of effects provided at a timing defined in association with an action according to an embodiment of the present disclosure.
  • the subject (swinging) of the subject (OBJ) present in the real space is matched with the subject (swing).
  • a star visual effect 1401 is displayed around the face of (OBJ).
  • Such a display of the visual effect 1401 is, for example, by detecting the swing action of the subject (OBJ) based on sensor data provided by an acceleration sensor and an angular velocity sensor attached to the subject (OBJ). This is made possible by displaying the visual effect 1401 on the image 1400 at the timing when is detected.
  • the position of the face of the subject (OBJ) can be specified using, for example, a known face detection technique. Animation and sound effects may be output in the same manner as the visual effect 1401.
  • a user profile can be created according to the types of actions detected in the past. For example, a profile of “advanced jump expert” is given to a user whose high action score is stably calculated in the jump action. For a user who has a low jump action score and often detects a fall during the jump, a profile of “beginner of jump” is given.
  • the content control processing in the present embodiment may be made different using the profile as described above.
  • a section to be preferentially extracted may be determined based on the user profile. More specifically, when the user is an advanced jumper, a jump section in which a rare fall is detected may be preferentially extracted. This is because it is natural for advanced players to succeed in jumping, and detailed analysis of rare failures will help them to improve further. Further, since it is considered that the advanced player often enjoys watching a video of a successful jump, a modest effect such as a time lapse effect may be added.
  • a successful jump section in which no fall is detected may be preferentially extracted. This is because beginners may find hints that enable them to succeed in a stable jump by looking back at a successful jump.
  • the extracted videos may be arranged so that they can be reproduced continuously so that a successful jump and a failed jump can be easily compared.
  • flashy effects such as animations, avatars, and sound effects may be added.
  • FIG. 34 is a block diagram illustrating a hardware configuration example of the information processing apparatus according to the embodiment of the present disclosure.
  • the information processing apparatus 900 includes a CPU (Central Processing unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905.
  • the information processing apparatus 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
  • the information processing apparatus 900 may include an imaging device 933 and a sensor 935 as necessary.
  • the information processing apparatus 900 may include a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array) instead of or in addition to the CPU 901.
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • the ROM 903 stores programs and calculation parameters used by the CPU 901.
  • the RAM 905 primarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like.
  • the CPU 901, the ROM 903, and the RAM 905 are connected to each other by a host bus 907 configured by an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 915 is a device operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, and a lever.
  • the input device 915 may be, for example, a remote control device that uses infrared rays or other radio waves, or may be an external connection device 929 such as a mobile phone that supports the operation of the information processing device 900.
  • the input device 915 includes an input control circuit that generates an input signal based on information input by the user and outputs the input signal to the CPU 901. The user operates the input device 915 to input various data and instruct processing operations to the information processing device 900.
  • the output device 917 is configured by a device capable of notifying the acquired information to the user using a sense such as vision, hearing, or touch.
  • the output device 917 can be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, an audio output device such as a speaker or headphones, or a vibrator.
  • the output device 917 outputs the result obtained by the processing of the information processing device 900 as video such as text or image, sound such as sound or sound, or vibration.
  • the storage device 919 is a data storage device configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 includes, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, or a magneto-optical storage device.
  • the storage device 919 stores, for example, programs executed by the CPU 901 and various data, and various data acquired from the outside.
  • the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads information recorded on the attached removable recording medium 927 and outputs the information to the RAM 905.
  • the drive 921 writes a record in the attached removable recording medium 927.
  • the connection port 923 is a port for connecting a device to the information processing apparatus 900.
  • the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE 1394 port, a SCSI (Small Computer System Interface) port, or the like.
  • the connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 925 is a communication interface configured with, for example, a communication device for connecting to the communication network 931.
  • the communication device 925 can be, for example, a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), NFC (Near Field Communication), or a communication card for WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), or a modem for various communication.
  • the communication device 925 transmits and receives signals and the like using a predetermined protocol such as TCP / IP with the Internet and other communication devices, for example.
  • the communication network 931 connected to the communication device 925 is a network connected by wire or wireless, and may include, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, or the like.
  • the imaging device 933 uses various members such as an imaging element such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device), and a lens for controlling the formation of a subject image on the imaging element. It is an apparatus that images a real space and generates a captured image.
  • the imaging device 933 may capture a still image or may capture a moving image.
  • the sensor 935 is various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, an illuminance sensor, a temperature sensor, an atmospheric pressure sensor, a pressure sensor, a distance sensor, or a sound sensor (microphone).
  • the sensor 935 acquires information about the state of the information processing apparatus 900 itself, such as the posture of the information processing apparatus 900, and information about the surrounding environment of the information processing apparatus 900, such as brightness and noise around the information processing apparatus 900, for example. To do.
  • the sensor 935 may also include a GNSS receiver that receives a GNSS (Global Navigation Satellite System) signal and measures the latitude, longitude, and altitude of the device.
  • GNSS Global Navigation Satellite System
  • Each component described above may be configured using a general-purpose member, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed according to the technical level at the time of implementation.
  • an information processing apparatus for example, an information processing apparatus, a system, an information processing method executed by the information processing apparatus or system, a program for causing the information processing apparatus to function, and a program are recorded. It may include tangible media that is not temporary.
  • a sensor data acquisition unit for acquiring sensor data provided by a user or a sensor mounted on an instrument used by the user; Detecting an action of the user based on the sensor data, wherein the action includes an action detecting unit including a turn;
  • An information processing apparatus comprising: an information generation unit that generates information about the turn.
  • the action detection unit detects a rotation included in the user's action, detects a non-turning rotation included in the rotation, and removes the non-turning rotation from the rotation.
  • the information processing apparatus according to (1), wherein the turn is detected.
  • the sensor includes a sensor mounted on the user's head or an instrument mounted on the user's head, The information processing apparatus according to (2), wherein the non-turning rotation includes a rotation generated by a swing of the user.
  • the sensor includes an acceleration sensor and an angular velocity sensor, The information processing apparatus according to any one of (1) to (4), wherein the action detection unit detects the action based on a feature amount extracted from the sensor data.
  • a scoring processing unit for calculating a score for evaluating the turn is further provided, The information processing apparatus according to any one of (1) to (5), wherein the information generation unit generates information regarding the turn based on the score. (7) The information processing apparatus according to (6), wherein the information generation unit generates information including a skill level of the user's turn estimated based on the score. (8) The information processing apparatus according to (7), wherein the information generation unit generates information including a ranking related to the skill of the user's turn, which is determined based on the skill level. (9) The information processing apparatus according to (7) or (8), wherein the information generation unit generates information including an evaluation for each facility where the turn is performed, which is determined based on the skill level. .
  • the user includes a first user and a second user;
  • the information generation unit generates the information about the turn by comparing the skill level between the first user and the second user, any one of (7) to (9)
  • the information generation unit generates information for notifying the first user of the presence of the second user when a skill level is close to the first user and the second user,
  • (12) The information generation unit generates information for notifying the first user of the presence of the second user when the positions of the first user and the second user are close to each other.
  • the information processing apparatus according to (11).
  • the information processing apparatus according to any one of (6) to (12), wherein the scoring processing unit evaluates a statistic of duration, angular displacement, angular velocity, or angular acceleration of the turn. .
  • the action includes the turn, jump or fall, The information processing apparatus according to any one of (1) to (13), wherein the information generation unit generates information regarding the turn and the jump or the fall.
  • a scoring processing unit for calculating a score for evaluating the jump is further provided, The scoring processing unit evaluates the duration of the jump, the angular displacement during the jump, the degree of free fall during the jump, and the impact at the crossing or landing of the jump. The information processing apparatus described.
  • a sensor data receiving unit that receives sensor data provided by a user or a sensor mounted on an instrument used by the user;
  • An action detection unit that detects an action of the user based on the sensor data;
  • An information processing apparatus comprising: a content control unit that controls provision of content related to the action on the basis of a timing defined in relation to the detected action.
  • the information processing apparatus according to (1) wherein the content includes visual or audio content provided in parallel with the progress of the action.
  • the timing includes a first timing and a second timing, The information processing apparatus according to (2), wherein the content control unit provides the content in a section including at least the first timing and the second timing.
  • the information processing apparatus according to (6) or (7), wherein the content control unit generates a visual or audio effect that proceeds at the tempo.
  • the content includes content provided in real time to a user who executes the action or another user who observes the action .
  • the information processing apparatus according to any one of (2) to (8), wherein the content includes content that is reproduced together with the video of the action.
  • the actions include a first action that occurs in sports and a second action that does not, The information processing apparatus according to any one of (1) to (10), wherein the content control unit changes control of provision of the content between the first action and the second action. .
  • the information processing apparatus according to any one of (1) to (11), wherein the content includes a video of the action. (13) The timing includes a first timing and a second timing, The information processing apparatus according to (12), wherein the content control unit extracts an image of the action in a section including at least the first timing and the second timing. (14) The information according to any one of (1) to (13), wherein the content control unit controls provision of the content based further on a profile of the user specified based on the action. Processing equipment. (15) A scoring processing unit for calculating a score for evaluating the action is further provided, The information processing apparatus according to any one of (1) to (14), wherein the content control unit controls provision of the content based further on the score.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザまたは上記ユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを取得するセンサデータ取得部と、上記センサデータに基づいて上記ユーザのアクションを検出し、上記アクションはターンを含むアクション検出部と、上記ターンに関する情報を生成する情報生成部とを備える情報処理装置が提供される。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　例えばユーザに装着されたセンサによって提供されるセンサデータに基づいて、ユーザのさまざまな行動を検出する技術が種々提案されている。例えば、特許文献１には、センサデータの閾値処理によって認識されたユーザの行動のうち特定の行動に特化した複数の行動判定部を有し、それぞれの行動判定部における判定結果に基づいて行動情報を生成する情報処理装置が記載されている。
特開２０１０－１９８５９５号公報
　しかしながら、ユーザの生活の中ではさまざまな種類の行動（アクション）が発生するため、例えば特許文献１に記載されたような技術では、必ずしもユーザのあらゆるアクションを検出し、検出されたアクションに関する情報を提供できるわけではない。
　そこで、本開示では、ユーザのより多様なアクションに関する情報を提供することを可能にする、新規かつ改良された情報処理装置、情報処理方法、およびプログラムを提案する。
　本開示によれば、ユーザまたは上記ユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを取得するセンサデータ取得部と、上記センサデータに基づいて上記ユーザのアクションを検出し、上記アクションはターンを含むアクション検出部と、上記ターンに関する情報を生成する情報生成部とを備える情報処理装置が提供される。
　また、本開示によれば、ユーザまたは上記ユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを取得することと、プロセッサが、上記センサデータに基づいて上記ユーザのアクションを検出し、上記アクションはターンを含むことと、上記ターンに関する情報を生成することとを含む情報処理方法が提供される。
　また、本開示によれば、ユーザまたは上記ユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを取得する機能と、上記センサデータに基づいて上記ユーザのアクションを検出し、上記アクションはターンを含む機能と、上記ターンに関する情報を生成する機能とをコンピュータに実現させるためのプログラムが提供される。
　以上説明したように本開示によれば、ユーザのより多様なアクションに関する情報を提供することができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。 本開示の一実施形態において、ユーザのアクションに含まれるジャンプを検出するための処理の第１の例を示すフローチャートである。 図２に示したハイインパクト検出処理の例を示すフローチャートである。 図２に示した自由落下検出処理の第１の例を示すフローチャートである。 図２に示した自由落下検出処理の第２の例を示すフローチャートである。 本開示の一実施形態において、ユーザのアクションに含まれるジャンプを検出するための処理の第２の例を示すフローチャートである。 図６に示した候補区間検出処理の例を示すフローチャートである。 図７に示した鉛直方向加速度算出処理の例を示すフローチャートである。 図７に示した水平方向加速度算出処理の例を示すフローチャートである。 本開示の一実施形態において、ユーザのアクションに含まれるターン区間を検出するための処理の例を示すフローチャートである。 図１０に示した回転区間検出処理の例を示すフローチャートである。 図１０に示した首振り検出処理の例を示すフローチャートである。 図１０に示したターン検出処理の例を示すチャートである。 本開示の一実施形態において、センサ装着状態を推定するための処理の例を示すブロック図である。 本開示の一実施形態に含まれる情報生成の第１の例における処理を示すフローチャートである。 本開示の一実施形態に含まれる情報生成の第１の例における画面表示を示す図である。 本開示の一実施形態に含まれる情報生成の第２の例における処理を示すフローチャートである。 本開示の一実施形態に含まれる情報生成の第２の例における画面表示を示す図である。 本開示の一実施形態に含まれる情報生成の第２の例における画面表示を示す図である。 本開示の一実施形態に含まれる情報生成の第３の例を概念的に説明するための図である。 本開示の一実施形態に含まれる情報生成の第３の例における処理を示すフローチャートである。 図２１に例に示した処理における映像の加工について説明するための図である。 図２１に示した処理における映像のダウンロードのためのユーザインターフェースについて説明するための図である。 本開示の一実施形態に含まれる情報生成の第４の例における処理を示すフローチャートである。 本開示の一実施形態に含まれる情報生成の第４の例における画面表示を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。 本開示の一実施形態におけるコンテンツ制御のための時系列スコアの算出について説明するための図である。 本開示の一実施形態における時系列スコアを利用したコンテンツ制御の例について説明するための図である。 本開示の一実施形態においてアクションに関連して定義されるタイミングの例について説明するための図である。 本開示の一実施形態においてアクションに関連して定義されるタイミングで提供されるエフェクトの第１の例を示す図である。 本開示の一実施形態においてアクションに関連して定義されるタイミングで提供されるエフェクトの第２の例を示す図である。 本開示の一実施形態においてアクションに関連して定義されるタイミングで提供されるエフェクトの第３の例を示す図である。 本開示の一実施形態においてアクションに関連して定義されるタイミングで提供されるエフェクトの第４の例を示す図である。 本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．情報処理装置の機能構成
　２．アクション検出処理の例
　　２－１．ジャンプの検出－１
　　２－２．ジャンプの検出－２
　　２－３．ターンの検出
　３．付加的な処理の例
　　３－１．アクションスコアの算出
　　３－２．クラスタリング処理
　　３－３．センサ装着状態の推定
　４．情報生成の例
　　４－１．第１の例
　　４－２．第２の例
　　４－３．第３の例
　　４－４．第４の例
　　４－５．ユーザのプロファイルについて
　５．ハードウェア構成
　６．補足
　７．コンテンツ制御の例
　　７－１．時系列スコアによる制御
　　７－２．アクションに関連して定義されるタイミングによる制御
　　７－３．ユーザのプロファイルについて
　８．ハードウェア構成
　９．補足
　（１．情報処理装置の機能構成）
　図１は、本開示の一実施形態に係る情報処理装置の概略的な機能構成を示すブロック図である。図１を参照すると、情報処理装置１００は、送信部１０１と、受信部１０２と、センサデバイス制御部１０３と、センサデータ解析部１０４と、解析結果処理部１０７と、検出区間情報保持部１１０と、付加的情報保持部１１１と、サービス制御部１１２とを含む。
　情報処理装置１００は、例えば後述するいくつかの具体的な例において示されるように、ネットワーク上のサーバを構成する単一の装置、または装置の集合体でありうる。また、情報処理装置１００は、ネットワークを介してサーバと通信する端末装置、または単独で動作する端末装置であってもよい。あるいは、情報処理装置１００の機能は、ネットワークを介して互いに通信するサーバと端末装置とに分散して実現されてもよい。情報処理装置１００、または情報処理装置１００の機能を実現する複数の装置のそれぞれのハードウェア構成については後述する。
　送信部１０１および受信部１０２は、例えば有線または無線の各種通信方式によってセンサデバイスと通信する通信装置によって実現される。センサデバイスは、ユーザまたはユーザによって使用される器具に装着された少なくとも１つのセンサを含む。送信部１０１は、センサデバイス制御部１０３が出力する制御信号をセンサデバイスに送信する。受信部１０２は、センサデバイスからセンサデータおよび時刻情報（タイムスタンプ）を受信し、これらをセンサデバイス制御部１０３に入力する。図示された例において、受信部１０２は、ユーザまたはユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを受信するセンサデータ受信部を実現する。なお、例えば情報処理装置１００が、少なくとも１つのセンサを備える端末装置、より具体的にはモバイルデバイスやウェアラブルデバイスであるような場合には、センサからセンサデータを受信するドライバプログラムを実行するＣＰＵ（Central　Processing　Unit）などのプロセッサによってセンサデータ受信部が実現されてもよい。また、本実施形態に係る情報処理装置は、例えば、センサを備える外部の装置からセンサデータを取得する取得部を備えていてもよい。ここで、取得部は、例えば、“送信部１０１および受信部１０２を実現する上記通信装置などを介して、センサを備える外部の装置からセンサデータを受信するドライバプログラム”を実行するＣＰＵなどのプロセッサによって、実現される。なお、取得部を備える場合、本実施形態に係る情報処理装置は、センサデータ受信部を備えない構成をとることも可能である
　センサデバイス制御部１０３は、例えばＣＰＵなどのプロセッサが、メモリに格納されたプログラムに従って動作することによって実現される。センサデバイス制御部１０３は、受信部１０２からセンサデータおよび時刻情報を取得する。センサデバイス制御部１０３は、これらのデータをセンサデータ解析部１０４および解析結果処理部１０７に提供する。センサデバイス制御部１０３は、必要に応じて、データの前処理を実施してもよい。また、センサデバイス制御部１０３は、センサデバイスの制御信号を送信部１０１に出力する。いくつかの実施形態において、センサデバイス制御部１０３は、センサデータ解析部１０４または解析結果処理部１０７における処理の結果のフィードバックに基づいて、制御信号を出力してもよい。
　センサデータ解析部１０４は、例えばＣＰＵなどのプロセッサが、メモリに格納されたプログラムに従って動作することによって実現される。センサデータ解析部１０４は、センサデバイス制御部１０３から提供されたセンサデータを用いた種々の解析を実行する。図示された例において、センサデータ解析部１０４は、特徴量抽出部１０５と、アクション検出部１０６とを含む。特徴量抽出部１０５は、センサデータから各種の特徴量を抽出する。アクション検出部１０６は、特徴量抽出部１０５によってセンサデータから抽出された特徴量に基づいて、ユーザのアクションを検出する。本実施形態において、アクション検出部１０６が検出するユーザのアクションには、ユーザのターンおよび／またはジャンプが含まれる。さらに、アクション検出部１０６は、歩く、走る、静止する、乗り物で移動するなどといった、その他のユーザのアクションを検出してもよい。ユーザのアクションは、それが発生した区間（アクション区間）を示す時刻情報（タイムスタンプ）に関連付けて検出されうる。センサデータ解析部１０４は、解析結果、より具体的には例えばアクション検出部１０６によって検出されたユーザのアクション区間を含む情報を、検出区間情報保持部１１０に格納する。また、センサデータ解析部１０４は、解析結果を、解析結果処理部１０７に提供する。
　解析結果処理部１０７は、例えばＣＰＵなどのプロセッサが、メモリに格納されたプログラムに従って動作することによって実現される。解析結果処理部１０７は、センサデータ解析部１０４の解析結果、より具体的にはアクション検出部１０６によって検出されたユーザのアクションの情報に基づいて、後段のサービス制御部１１２によって利用される各種の付加的な情報を生成する。図示された例において、解析結果処理部１０７は、クラスタリング処理部１０８と、スコアリング処理部１０９とを含む。例えば、検出されたユーザのアクションが同じ種類の複数のアクションを含む場合、クラスタリング処理部１０８が、これらのアクションをその特徴量（特徴量抽出部１０５によって抽出された特徴量であってもよいし、アクション検出部１０６によって算出された中間的な特徴量であってもよい）に基づいてクラスタリングしてもよい。また、同じ場合、スコアリング処理部１０９が、特徴量に基づいてアクションの評価を示すスコアを算出してもよい。また、クラスタリング処理部１０８および／またはスコアリング処理部１０９は、センサデバイス制御部１０３から提供されたセンサデータに基づいて、新たに特徴量を算出してもよい。解析結果処理部１０７は、処理結果、より具体的にはクラスタリング処理部１０８によるクラスタリングの結果や、スコアリング処理部１０９によって算出されたスコアの情報を、時刻情報（タイムスタンプ）とともに付加的情報保持部１１１に格納する。
　検出区間情報保持部１１０および付加的情報保持部１１１は、例えば各種のメモリまたはストレージ装置によって実現される。検出区間情報保持部１１０および付加的情報保持部１１１は、上記のようにセンサデータ解析部１０４および解析結果処理部１０７から提供された情報を、一時的または永続的に格納する。検出区間情報保持部１１０に格納された情報と、付加的情報保持部１１１に格納された情報とは、例えば時刻情報（タイムスタンプ）によって互いに対応付けることが可能でありうる。また、検出区間情報保持部１１０および付加的情報保持部１１１には、複数のユーザのそれぞれに関する情報が格納されてもよい。
　サービス制御部１１２は、例えばＣＰＵなどのプロセッサが、メモリに格納されたプログラムに従って動作することによって実現される。サービス制御部１１２は、検出区間情報保持部１１０および／または付加的情報保持部１１１に格納された情報を利用して、サービス１１３を制御する。より具体的には、例えば、サービス制御部１１２は、検出区間情報保持部１１０および／または付加的情報保持部１１１から読み出した情報に基づいて、サービス１１３においてユーザに提供される情報を生成する。ここで、上記の通り、検出区間情報保持部１１０および／または付加的情報保持部１１１に格納されている情報には、センサデータ解析部１０４に含まれるアクション検出部１０６によって検出されたユーザのアクションに関する情報が含まれる。つまり、図示された例において、サービス制御部１１２は、アクション検出部によって検出されたユーザのアクションに関する情報を出力する情報生成部を実現する。なお、例えば情報処理装置１００がサーバであるような場合、サービス制御部１１２によって出力された情報は、通信装置を介して端末装置に送信されうる。また、例えば情報処理装置１００が端末装置であるような場合、サービス制御部１１２によって出力された情報は、端末装置が備えるディスプレイ、スピーカ、またはバイブレータなどの出力装置に提供されうる。
　（２．アクション検出処理の例）
　以下では、本開示の一実施形態において実行されるアクション検出処理の例について説明する。これらの例では、ユーザがスノーボードをしている場合に発生するジャンプおよびターンが検出される。例えば、スノーボードの場合、加速度センサおよび角速度センサなどを含むセンサデバイスは、ウェアに埋め込まれたり、ウェアラブル端末装置やモバイル端末装置に組み込まれたりすることによって、ユーザに直接的に装着されてもよい。あるいは、センサデバイスは、スノーボードの用具、例えばボードに装着されてもよい。
　なお、本実施形態で実行されるアクション検出処理はスノーボードで発生するジャンプやターンには限られず、例えばスノーボード以外のスポーツで発生するジャンプやターンについてアクション検出処理が実行されてもよい。ジャンプやターンは、さまざまなスポーツで共通して発生しうるアクションであるため、例えば以下で説明するような検出処理によって、スポーツの種類に関わらずジャンプやターンを検出することが可能でありうる。また、本実施形態で実行されるアクション検出処理では、ジャンプやターン以外のアクションが検出されてもよい。そのようなアクション検出処理には、例えば特開２０１０－１９８５９５号公報などに記載された行動認識の技術において利用されている様々な技術を応用することが可能である。
　（２－１．ジャンプの検出－１）
　図２は、本開示の一実施形態において、ユーザのアクションに含まれるジャンプを検出するための処理の第１の例を示すフローチャートである。図示された処理は、例えば上記の情報処理装置１００に含まれるセンサデータ解析部１０４において実行される。
　まず、センサデータ解析部１０４は、所定のタイムフレームごとに、ハイインパクト検出処理（Ｓ１１０）と、自由落下検出処理（Ｓ１２０）とを実行する。なお、これらの処理の詳細については後述する。これらの処理の結果を受けて、センサデータ解析部１０４に含まれるアクション検出部１０６は、２つのハイインパクト区間（踏み切りおよび着地と推定される）に挟まれた区間が発生したか否かを判定する（Ｓ１０１）。そのような区間が発生した場合、アクション検出部１０６は、区間の持続時間（duration）が２つの閾値（ＴＨ１，ＴＨ２）の間にあるか否かを判定する（Ｓ１０２）。これらの閾値は、例えば、ジャンプとしては長すぎる区間や短すぎると判断される区間を除外する目的で設定される。
　Ｓ１０２の判定において持続時間が２つの閾値の間にあった場合、さらに、アクション検出部１０６は、当該区間における自由落下区間の比率が閾値（ＴＨ）を超えるか否かを判定する（Ｓ１０３）。自由落下区間の比率が閾値を超える場合、当該区間（２つのハイインパクト区間に挟まれた区間）がジャンプ区間であることが検出される（Ｓ１０４）。
　図３は、図２に示したハイインパクト検出処理（Ｓ１１０）の例を示すフローチャートである。図３を参照すると、ハイインパクト検出処理では、センサデータに含まれる加速度（Ｄ１１１）が利用される。まず、センサデータ解析部１０４に含まれる特徴量抽出部１０５が、加速度のノルムを算出し（Ｓ１１２）、さらにノルムをＬＰＦ（Low　Pass　Filter）によってスムージングする（Ｓ１１３）。続いて、特徴量抽出部１０５は、スムージングされた加速度のノルムについて、所定のタイムフレームで振幅のパワーを算出する（Ｓ１１４）。アクション検出部１０６は、パワーが閾値（ＴＨ）を上回るか否かを判定し（Ｓ１１５）、パワーが閾値を上回る場合、当該タイムフレームがハイインパクト区間であることを検出する（Ｓ１１６）。
　なお、本明細書および図面において、ＴＨ、ＴＨ１またはＴＨ２などとして表記される閾値には、それぞれの処理において適切な値が設定される。つまり、これらの閾値がいずれもＴＨなどとして表記されていることは、これらの閾値が同じ値であることを示すものではない。
　図４は、図２に示した自由落下検出処理（Ｓ１２０）の第１の例を示すフローチャートである。図４を参照すると、第１の例に係る自由落下検出処理では、センサデータに含まれる加速度（Ｄ１２１）および角速度（Ｄ１２５）が利用される。まず、特徴量抽出部１０５が加速度のノルムを算出し（Ｓ１２２）、アクション検出部１０６が各区間におけるノルムが閾値（ＴＨ）を下回るか否かを判定する（Ｓ１２３）。アクション検出部１０６は、加速度のノルムが閾値を下回った区間について、当該区間が自由落下区間であることを検出する（Ｓ１２４）。
　一方、特徴量抽出部１０５は、角速度についてもノルムを算出し（Ｓ１２６）、さらに所定のタイムフレームにおけるノルムの分散を算出する（Ｓ１２７）。アクション検出部１０６は、角速度のノルムの分散が閾値（ＴＨ）を下回るか否かを判定し（Ｓ１２８）、分散が閾値を下回る場合、Ｓ１２４において検出された自由落下区間をマスクする（つまり、自由落下区間としての判定を取り消す）（Ｓ１２９）。このような角速度に基づくマスク処理は、ユーザがジャンプした場合には角速度の変化が発生するため、角速度の変化（分散）が小さい自由落下区間はジャンプ以外の原因で発生している、という知見に基づく。
　なお、上記の処理において、Ｓ１２６～Ｓ１２９におけるマスクの処理は、必ずしもＳ１２１～Ｓ１２４における自由落下区間の判定処理の後に実行されなくてもよい。例えば、アクション検出部１０６は、マスクの処理を先行して実行し、マスクする区間として特定された区間については自由落下区間の判定処理を実行しなくてもよい。あるいは、マスクの処理は、図２に示したジャンプ区間の検出処理（Ｓ１０４）の後に実行され、一旦ジャンプ区間として検出された区間がマスクされてもよい。さらにいえば、図４などに示す自由落下処理（Ｓ１２０）は、必ずしも図２に示した区間の発生判定（Ｓ１０１）の前に実行される必要はなく、区間の発生判定の後、例えば自由落下区間の比率に関する判定（Ｓ１０３）の前に、当該区間について自由落下検出処理が実行されてもよい。
　図５は、図２に示した自由落下検出処理（Ｓ１２０）の第２の例を示すフローチャートである。図５を参照すると、第２の例に係る自由落下検出処理では、ユーザまたはユーザによって使用される器具に装着された加速度センサによって提供されるセンサデータに含まれる加速度（Ｄ１２１）が利用される。Ｓ１２２～Ｓ１２４では、特徴量抽出部１０５およびアクション検出部１０６が上記の第１の例と同様の処理を実行し、自由落下区間を検出する。
　一方、本例において、特徴量抽出部１０５は、加速度のＸ軸成分およびＹ軸成分を抽出し（Ｓ１３２）、さらに加速度のＸ軸成分とＹ軸成分との間での共分散を算出する（Ｓ１３３）。より具体的には、例えば、特徴量抽出部１０５は、ユーザが基準面（水平面には限らず、傾斜面であってもよい）上を歩いたり走ったりしている場合に、加速度センサの座標軸のうちユーザの進行方向に最も近い軸をＸ軸、基準面の法線方向に最も近い軸をＹ軸とし、これらの軸方向の加速度成分（Ｘ軸成分、Ｙ軸成分）の共分散を算出する。アクション検出部１０６は、共分散が閾値（ＴＨ）を下回るか否かを判定し（Ｓ１３４）、共分散が閾値を下回る場合、Ｓ１２４において検出された自由落下区間をマスクする（Ｓ１２９）。このような加速度の共分散に基づくマスク処理は、例えば、検出したいジャンプが専ら基準面の法線方向の変位を伴ういわゆる垂直跳びではなく、ユーザの進行方向への変位を伴うジャンプである場合に有効である。
　（２－２．ジャンプの検出－２）
　図６は、本開示の一実施形態において、ユーザのアクションに含まれるジャンプを検出するための処理の第２の例を示すフローチャートである。図示された処理は、上記の第１の例と同様に、例えば情報処理装置１００に含まれるセンサデータ解析部１０４において実行される。
　まず、センサデータ解析部１０４は、候補セクション検出処理（Ｓ１４０）を実行する。なお、この処理の詳細については後述する。処理の結果を受けて、センサデータ解析部１０４に含まれるアクション検出部１０６は、候補区間が発生したか否かを判定する（Ｓ１０５）。候補区間が発生した場合、アクション検出部１０６は、上記の第１の例と同様に、区間の持続時間（duration）が２つの閾値（ＴＨ１，ＴＨ２）の間にあるか否かを判定する（Ｓ１０２）。持続時間が２つの閾値の間にあった場合、さらに、アクション検出部１０６は、区間における鉛直方向および水平方向の加速度の平均値（mean）がそれぞれの閾値（ＴＨｓ）を超えるか否かを判定する（Ｓ１０６）。加速度の平均値がそれぞれの閾値を超える場合、当該候補区間がジャンプ区間であることが検出される（Ｓ１０４）。
　図７は、図６に示した候補区間検出処理（Ｓ１４０）の例を示すフローチャートである。図７を参照すると、候補区間検出処理では、まず、上記で図３を参照して説明したハイインパクト検出処理（Ｓ１１０）と、鉛直方向加速度算出処理（Ｓ１４１）と、水平方向加速度算出処理（Ｓ１４２）とが実行される。さらに、センサデータ解析部１０４に含まれる特徴量抽出部１０５は、各区間について、Ｓ１４１，Ｓ１４２で算出された鉛直方向加速度と水平方向加速度との差分を算出する（Ｓ１４３）。その上で、アクション検出部１０６が、２つのハイインパクト区間（踏み切りおよび着地と推定される）に挟まれた区間が発生したか否かを判定する（Ｓ１４４）。そのような区間が発生した場合、アクション検出部１０６は、Ｓ１４３で算出された鉛直方向加速度と水平方向加速度との差分が、当該区間において閾値（ＴＨ）を超えるか否かを判定する（Ｓ１４５）。差分が閾値を超える場合、当該区間（２つのハイインパクト区間に挟まれた区間）がジャンプ区間の候補区間であることが検出される（Ｓ１４６）。
　図８は、図７に示した鉛直方向加速度算出処理（Ｓ１４１）の例を示すフローチャートである。図８を参照すると、鉛直方向加速度算出処理では、センサデータに含まれる加速度（Ｄ１５１）が利用される。まず、センサデータ解析部１０４に含まれる特徴量抽出部１０５が、加速度の平均値（mean）を算出する（Ｓ１５２）。ここで算出される平均値は、例えば移動平均でありうる。Ｓ１５２で算出された加速度の平均値に基づいて、特徴量抽出部１０５は重力成分加速度算出処理を実行する（Ｓ１５３）。さらに、特徴量抽出部１０５は、算出された重力成分加速度のノルムを算出する（Ｓ１５４）。なお、重力成分加速度は、移動平均などの平均値に基づいて算出されてもよいし、ＬＰＦなどのフィルタを用いて算出されてもよい。
　一方、特徴量抽出部１０５は、上記のＳ１５２～Ｓ１５４の処理とは別に、加速度（Ｄ１５１）をＢＰＦ（Band　Pass　Filter）で処理する（Ｓ１５５）。図示された例において、ＢＰＦは、低周波領域のフィルタによって加速度に含まれるＤＣ成分（つまり、重力成分）を除去し、さらに高周波領域のフィルタによって加速度をスムージングすることを目的として用いられる。なお、Ｓ１５５のＢＰＦは、例えばＬＰＦやＨＰＦ（High　Pass　Filter）など、他の種類のフィルタの組み合わせによって代替されてもよい。特徴量抽出部１０５は、ＢＰＦによって処理された加速度について、Ｓ１５３で算出された重力成分加速度との内積を算出する（Ｓ１５６）。
　さらに、特徴量抽出部１０５は、Ｓ１５６で算出された内積を、Ｓ１５４で算出された重力成分加速度のノルムで割る（Ｓ１５７）。これによって、鉛直方向加速度（Ｖ１５８）が得られる。図示された例において、鉛直方向加速度は、ＢＰＦ（Ｓ１５５）によって重力成分を除去した加速度を、重力成分加速度の方向に射影することによって算出されている。
　図９は、図７に示した水平方向加速度算出処理（Ｓ１４２）の例を示すフローチャートである。図９を参照すると、水平方向加速度算出処理でも、センサデータに含まれる加速度（Ｄ１５１）が利用される。また、水平方向加速度算出処理では、上記で図８を参照して説明した鉛直方向加速度算出処理（Ｓ１４１）において算出された鉛直方向加速度が利用される。より具体的には、センサデータ解析部１０４に含まれる特徴量抽出部１０５は、鉛直方向加速度を２乗して利用する（Ｓ１６１）。
　その一方で、特徴量抽出部加速度（Ｄ１５１）をＢＰＦで処理し（Ｓ１６２）、加速度に含まれるＤＣ成分を除去するとともに加速度をスムージングする。なお、Ｓ１６２のＢＰＦも、例えばＬＰＦやＨＰＦなど、他の種類のフィルタの組み合わせによって代替されてもよい。特徴量抽出部１０５は、ＢＰＦによって処理された加速度のノルムを算出し（Ｓ１６３）、これを２乗する（Ｓ１６４）。さらに、特徴量抽出部１０５は、Ｓ１６１で算出された鉛直方向加速度の２乗と、Ｓ１６４で算出された水平方向加速度の２乗との差分を算出し（Ｓ１６５）、差分の平方根（Ｓ１６６）によって水平方向加速度（Ｖ１６７）を得る。
　以上で説明したような、本開示の一実施形態におけるジャンプ検出では、ジャンプ検出の第１の例（図２）で自由落下検出処理に第１の例（図４）を採用する場合と、同じくジャンプ検出の第１の例（図２）で自由落下検出処理に第２の例（図５）を採用する場合と、ジャンプ検出の第２の例（図６）の場合とで、合計３種類のジャンプ検出処理が可能である。アクション検出部１０６を含むセンサデータ解析部１０４は、これらの３種類のジャンプ検出処理をそれぞれ実行した上で、それらの結果に基づいて最終的なジャンプ区間を検出してもよい。より具体的には、例えば、アクション検出部１０６は、３種類のジャンプ検出処理のうちの少なくとも１つでジャンプ区間が検出された場合に、当該区間を最終的なジャンプ区間として検出してもよい。あるいは、アクション検出部１０６は、３種類のジャンプ検出処理のうちの２つ以上、または３種類すべてでジャンプ区間が検出された場合に、当該区間を最終的なジャンプ区間として検出してもよい。
　（２－３．ターンの検出）
　図１０は、本開示の一実施形態において、ユーザのアクションに含まれるターン区間を検出するための処理の例を示すフローチャートである。図示された処理は、例えば上記の情報処理装置１００に含まれるセンサデータ解析部１０４において実行される。以下の処理では、センサデータ解析部１０４が、ユーザのアクションに含まれる回転を検出し（Ｓ２１０）、さらにその回転に含まれる非ターン性の回転を検出し（Ｓ２３０）、回転から非ターン性の回転を除いたものの中からターンを検出する（Ｓ２５０）。
　ここで、非ターン性の回転は、例えば、センサがユーザの頭部、またはユーザの頭部に装着される器具に装着されるセンサを含む場合に、ユーザの首振りによって発生する回転を含む。非ターン性の回転は、他にも、ユーザの体動によって発生する回転、より具体的には、センサがユーザの腕部、またはユーザの腕部に装着される器具に装着されるセンサを含む場合に、ユーザの腕振りや腕回しによって発生する回転などを含みうる。
　本実施形態では、センサデータ解析部１０４が、このような非ターン性の回転を除いた上でターン区間を検出することで、より精度の高いターン区間の検出が可能になる。そのような意味で、非ターン性の回転は、検出対象であるターンに対するノイズであるともいえ、本実施形態において、センサデータ解析部１０４は、ユーザのアクションに含まれる回転を検出し、さらにその回転に含まれるノイズを検出し、回転からノイズを除いたものの中からターンを検出するともいえる。
　まず、センサデータ解析部１０４は、回転区間検出処理（Ｓ２１０）を実行する。本実施形態において、回転区間は、水平面方向の角速度が閾値を超える区間として定義される。センサデータ解析部１０４は、回転区間が発生したか否かを判定する（Ｓ２０１）。回転区間が発生した場合、まず、センサデータ解析部１０４は、首振り（HEAD　SHAKE）検出処理（Ｓ２３０）を実行する。さらに、センサデータ解析部１０４は、首振りが検出されたか否かを判定し（Ｓ２０３）、首振りが検出されなかった場合に、さらにターン検出処理（Ｓ２５０）を実行する。このような処理によって、回転区間からユーザの首振り（例えば、センサが頭部装着型のウェアラブル端末装置に搭載されている場合などに発生する）によって生じた区間が除かれ、さらに回転半径や角速度、持続時間などが所望の条件を満たすターン区間を抽出することができる。
　図１１は、図１０に示した回転区間検出処理（Ｓ２１０）の例を示すフローチャートである。図１１を参照すると、回転区間検出処理では、センサデータに含まれる加速度（Ｄ２１１）および角速度（Ｄ２１４）が利用される。まず、センサデータ解析部１０４に含まれる特徴量抽出部１０５が、加速度の平均値（mean）を算出する（Ｓ２１２）。ここで算出される平均値は、例えば移動平均でありうる。Ｓ２１２で算出された加速度の平均値に基づいて、特徴量抽出部１０５は重力成分加速度算出処理を実行する（Ｓ２１３）。さらに、特徴量抽出部１０５は、Ｓ２１３で算出された重力成分加速度と、角速度（Ｄ２１４）との内積を算出する（Ｓ２１５）。これによって、重力成分加速度の方向への角速度の射影、つまり水平面方向（鉛直軸回り）の角速度（Ｖ２１６）が得られる。
　ここで、特徴量抽出部１０５は、算出された角速度を一旦積分して（Ｓ２１７）、水平面方向の角変位（Ｖ２１８）を算出する。特徴量抽出部１０５は、角変位をＬＰＦで処理する（Ｓ２１９）。さらに、特徴量抽出部１０５は、角変位を微分して（Ｓ２２０）、水平面方向の角速度（Ｖ２２１）にする。Ｖ２２１の角速度は、Ｖ２１８の角速度と比較して、Ｓ２１７で一旦積分され、さらに積分後の角変位がＳ２１９でＬＰＦによって処理されたことによってスムージングされ、波形からノイズが除去されている。センサデータ解析部１０４に含まれるアクション検出部１０６は、水平面方向の角速度（Ｖ２２１）が閾値を上回るか否かを判定し（Ｓ２２２）、角速度が閾値を上回る区間を回転区間として検出する（Ｓ２２３）。
　図１２は、図１０に示した首振り検出処理（Ｓ２３０）の例を示すフローチャートである。図１２を参照すると、首振り検出処理では、図１１に示した回転区間検出処理で算出された、スムージング後の水平面方向の角速度（Ｖ２２１）を利用する。特徴量抽出部１０５は、角速度の符号を取得する（Ｓ２３１）。回転の向きに対する符号の定義はどのようなものでもよいが、図示された例において、角速度（Ｖ２２１）の符号として、時計回りの回転（Ｖ２３２）と、反時計回りの回転（Ｖ２３３）とを定義する。さらに、特徴量抽出部１０５は、逆向きの回転が発生した時間間隔を算出する（Ｓ２３４）。つまり、図示された例において、特徴量抽出部１０５は、時計回りの回転（Ｖ２３２）が発生してから反時計回りの回転（Ｖ２３３）が発生するまでの時間間隔、および反時計回りの回転（Ｖ２３３）が発生してから時計回りの回転（Ｖ２３２）が発生するまでの時間間隔を算出する。アクション検出部１０６は、Ｓ２３４で算出された時間間隔が閾値（ＴＨ）を下回るか否かを判定し（Ｓ２３５）、時間間隔が閾値を下回る場合に、首振りが発生していることを検出する（Ｓ２３６）。
　図１３は、図１０に示したターン検出処理（Ｓ２５０）の例を示すチャートである。ターン検出処理では、特徴量抽出部１０５によって複数の特徴量が算出され、それぞれの特徴量に基づいてアクション検出部１０６が閾値による判定を実施する。図１３には、特徴量抽出部１０５がそれぞれの特徴量を算出するための処理が示されている。なお、以下の説明ではそれぞれの特徴量の算出の処理を順を追って説明するが、特徴量抽出部１０５による処理は必ずしも説明の順序に実行されなくてもよく、前提になる量が取得または算出されていれば、任意の順序で処理が実行されうる。
　まず、特徴量抽出部１０５は、センサデータに含まれる加速度（Ｄ２５１）のノルムを算出し（Ｓ２５２）、さらに所定のタイムフレームにおけるノルムの平均値を算出する（Ｓ２５３）。このようにして算出された加速度ノルム平均（Ｖ２５４）は、ターン検出のための特徴量の１つとして利用される。
　一方、特徴量抽出部１０５は、加速度（Ｄ２５１）を第１のＬＰＦで処理し（Ｓ２７３）、重力成分加速度（Ｖ２７４）を算出する。さらに、特徴量抽出部１０５は、センサデータに含まれる角速度（Ｄ２５５）と重力成分加速度との内積を算出する（Ｓ２５６）。これによって、重力成分加速度の方向への角速度の射影、つまり水平面方向（鉛直軸回り）の角速度（Ｖ２５７）が得られる。特徴量抽出部１０５は、算出された角速度を積分して（Ｓ２５８）、水平面方向の角変位（Ｖ２５９）を算出する。角変位（Ｖ２５９）も、ターン検出のための特徴量の１つとして利用される。
　さらに、特徴量抽出部１０５は、角変位（Ｖ２５９）と、処理の対象になっている回転区間の持続時間（duration）（Ｖ２６０）とに基づいて、角速度（Ｖ２６１）を算出する。Ｖ２６１の角速度は、例えばＤ２５５の角速度と比べて、より長いタイムフレーム（例えば回転区間全体でスムージングされたものでありうる。回転区間の持続時間（Ｖ２６０）および角変化率（Ｖ２６１）も、ターン検出のための特徴量の１つとして利用される。
　また、特徴量抽出部１０５は、角変位（Ｖ２５９）を所定のタイムフレームについて解析する（Ｓ２６２）ことによって、いくつかの特徴量を算出する。より具体的には、特徴量抽出部１０５は、タイムフレーム内での角速度の最大値（Ｓ２６３，Ｖ２６８）、平均値（Ｓ２６４，Ｖ２６９）、分散（Ｓ２６５，Ｖ２７０）、尖度（Ｓ２６６，Ｖ２７１）、および歪度（Ｓ２６７，Ｖ２７２）を算出する。これらの特徴量も、ターン検出のための特徴量として利用される。
　一方で、特徴量抽出部１０５は、加速度（Ｄ２５１）を第２のＬＰＦで処理する（Ｓ２７５）。図示された例では、第１のＬＰＦ（Ｓ２７３）が、加速度に含まれるＤＣ成分である重力成分加速度（Ｖ２７４）を抽出するために用いられたのに対して、第２のＬＰＦ（Ｓ２７５）は、高周波領域をフィルタすることによって加速度をスムージングするために用いられる。従って、これらのＬＰＦの通過帯域設定は異なりうる。
　特徴量抽出部１０５は、第２のＬＰＦ（Ｓ２７５）によってスムージングされた加速度と、第１のＬＰＦ（Ｓ２７３）によって抽出された重力成分加速度（Ｖ２７４）との内積を算出する（Ｓ２７６）。これによって、鉛直方向加速度（Ｖ２７７）が得られる。さらに、特徴量抽出部１０５は、重力成分加速度（Ｖ２７４）と鉛直方向加速度（Ｖ２７７）とを合成した加速度ベクトルの、第２のＬＰＦ（Ｓ２７５）によってスムージングされた加速度との差分を算出する（Ｓ２７８）。これによって、水平方向加速度（Ｖ２７９）が得られる。特徴量抽出部１０５は、水平方向加速度の平均値を算出する（Ｓ２８０）．このようにして算出された水平方向加速度の平均値（Ｖ２８１）も、ターン検出のための特徴量として利用される。
　アクション検出部１０６は、例えば上記のようにしてセンサデータから抽出された特徴量に基づいて、ターンが発生したか否かの判定を実施する。図示された例において、アクション検出部１０６は、回転区間の持続時間（Ｖ２６０）、水平面方向の角変位（Ｖ２５９）、スムージングされた角速度（Ｖ２６１）、加速度ノルム平均（Ｖ２５４）、水平方向加速度の平均値（Ｖ２８１）、タイムフレーム内での角速度の最大値（Ｖ２６８）、平均値（Ｖ２６９）、分散（Ｖ２７０）、尖度（Ｖ２７１）、および歪度（Ｖ２７２）に基づいて判定を実施する。
　なお、判定に用いられる特徴量は上記の例には限られず、例えば上記の例以外の特徴量が用いられてもよいし、上記の例の特徴量の一部が用いられなくてもよい。例えば、センサデータから抽出可能な様々な種類の特徴量の中から、実際にターンが発生したときのセンサデータに基づく主成分分析によって、ターン検出に使用する特徴量の種類が決定されてもよい。あるいは、実際にターンが発生したときに現れるセンサデータの傾向に基づいて、判定に用いられる特徴量が決定されてもよい。例えば、上記の例のうち、加速度ノルム平均（Ｖ２５４）および水平方向加速度の平均値（Ｖ２８１）は、ターンの回転半径に関係する特徴量である。
　また、アクション検出部１０６による判定において適用される各特徴量の閾値は、例えば、実際にターンが発生した時のセンサデータに基づく機械学習の結果に従って決定される。このとき、実際にターンが発生したか否かは、例えば、センサデータと同時に取得されたアクションの映像を参照してマニュアルで決定されてもよい。また、単にターンが発生したか否かだけではなく、どのようなターンかを示すラベルが与えられてもよい。より具体的には、例えば、映像を参照した結果、サービス提供者側で、ターンとして検出したい、ターンとして検出したくない、またはどちらでもよいと判定されたアクションについて、それぞれの属性を示すラベルが与えられてもよい。
　以上、本開示の一実施形態において実行されるアクション検出処理のいくつかの例について説明した。既に説明した通り、本実施形態で実行されるアクション検出処理はスノーボードで発生するジャンプやターンには限られず、例えばスノーボード以外のスポーツ、またはスポーツ以外のシーンで発生するジャンプやターンについてアクション検出処理が実行されてもよい。また、本実施形態で実行されるアクション検出処理では、ジャンプやターン以外のアクションが検出されてもよい。一例として、アクション検出部１０６は、スノーボードなどで発生する転倒を検出してもよい。この場合、特徴量抽出部１０５が上述したジャンプやターンの検出と同様にして加速度のノルムを算出し、アクション検出部１０６が、加速度のノルムが閾値（例えば、通常の滑走では発生しない程度の大きな値でありうる）を上回った場合に、転倒の発生を検出してもよい。
　（３．付加的な処理の例）
　（３－１．アクションスコアの算出）
　例えば、解析結果処理部１０７に含まれるスコアリング処理部１０９は、上記で図２～図１３を参照して説明したような処理によって検出されるジャンプ区間および／またはターン区間を含むアクション区間について、発生したアクションを評価するスコア（アクションスコア）を算出する。アクションスコアは、例えばアクション区間におけるセンサデータから、アクションの良し悪しや特徴を表す物理量（特徴量）を抽出し、それらを重みづけ加算することによって算出されうる。サービス制御部１１２は、このようにして算出されたスコアに基づいて、アクション（例えばジャンプまたはターン）に関する情報を生成する。
　例えば、ジャンプ区間の場合、区間の持続時間（duration）、区間におけるＸ軸／Ｙ軸／Ｚ軸回りの角変位）、自由落下区間の割合、踏切時／着地時の衝撃の大きさなどが、スコアを算出するための特徴量として抽出されうる。また、例えば、ターン区間の場合、区間の持続時間、変位角、各速度の平均値、最大値、および標準偏差、角加速度の最大値および標準偏差などが、スコアを算出するための特徴量として抽出されうる。
　なお、重みづけ加算の係数は、例えば、情報処理装置１００によって提供されるサービス１１３において重視されるアクションの性質に応じて設定されうる。また、特徴量からアクションのスコアを算出するための方法は重みづけ加算には限られず、他の計算方法が用いられてもよい。例えば、線形回帰モデルなど、機械学習のアルゴリズムを適用することによってアクションスコアを算出してもよい。
　（３－２．クラスタリング処理）
　また、例えば、解析結果処理部１０７に含まれるクラスタリング処理部１０８は、上記で図２～図１３を参照して説明したような処理によって検出されるジャンプ区間および／またはターン区間を含むアクション区間について、スコアリングのために抽出した特徴量などを利用してｋ－ｍｅａｎｓ法などのクラスタリングアルゴリズムを適用し、検出されたアクションをクラスタに分類する。ジャンプ区間やターン区間の場合、例えば、区間の持続時間の長短や、回転の大小によってアクションがクラスタに分類されてもよい。クラスタリングの結果は、例えば、サービスとしてダイジェスト動画を提供するような場合に、様々な種類のジャンプやターンなどのアクションが動画に含まれるようにアクション区間を抽出するために利用される。また、良かったアクションとそうでなかったアクションとを別々のクラスタに分類することによって、ユーザ自身がアクションを振り返ったり、アクションの改善のためのコーチングに役立てたりしてもよい。
　なお、解析結果処理部１０７は、クラスタリングと同様の処理として、特徴量の相関係数に基づいてアクション区間同士の類似度を算出してもよい（類似度が高いアクション区間は、同じクラスタに分類されたアクション区間と同様に扱うことができる）。また、例えば、解析結果処理部１０７は、典型的なタイプのアクションの特徴量パターンを予め用意しておき、ｋ－ＮＮ法などによって、新たに発生したアクションがどのタイプに該当するかを判定してもよい。
（３－３．センサ装着状態の推定）
　図１４は、本開示の一実施形態において、センサ装着状態を推定するための処理の例を示すブロック図である。より具体的には、図示された構成によって、センサデータを提供するセンサがユーザの身体に直接的に装着されているか、ユーザによって使用される器具に装着されているかが判定される。図示された処理は、例えば上記の情報処理装置１００に含まれるセンサデータ解析部１０４において実行される。なお、図示された例では、フィルタの遮断周波数（Ｆｃ）やタイムフレームの長さが具体的に説明されているが、これらの数値は一例であり、実際のセンサの特性などに応じて適宜変更されうる。
　図示された例において、情報処理装置１００の受信部１０２は、３軸（ｕ，ｖ，ｗ）の加速度センサ１２１によって提供されるセンサデータを受信する。センサデータ解析部１０４は、センサデバイス制御部１０３を介してこのセンサデータを取得する。センサデータ解析部１０４は、まず、センサデータに含まれる加速度を１段のＨＰＦ１２２（Ｆｃ＝０．５Ｈｚ）で処理し、その後ノルム算出１２３を実行する。さらに、センサデータ解析部１０４は、ノルムを２段のＬＰＦ１２４（Ｆｃ＝２Ｈｚ）および２段のＨＰＦ（Ｆｃ＝７Ｈｚ）でそれぞれ処理した結果について、タイムフレーム２ｓｅｃでの振幅（最大値と最小値の差）を算出する（１２５，１２７）。これらの結果（ＡおよびＢ）について、Ａ／Ｂを演算する（１２８）。その結果を１段のＨＰＦ１２９（Ｆｃ＝０．２５Ｈｚ）で処理し、閾値判定１３０を実施する。
　上記のような判定の処理は、センサがユーザの身体に直接的に装着されている場合、身体がＬＰＦとして機能することによって加速度の高周波成分が減衰することに基づいている。上記の例におけるＡ（ＬＰＦ１２４を通過した低周波成分の振幅）／Ｂ（ＨＰＦを通過した高周波成分の振幅）は、元の加速度において高周波成分が減衰しているほど大きな値になる。従って、閾値判定１３０では、Ａ／ＢをＨＰＦ１２９で処理した値が閾値よりも大きい場合にはセンサがユーザの身体に直接的に装着されていると判定し、そうでない場合にはセンサが器具に装着されていると判定することができる。
　上記のような推定の結果は、例えば、センサデータ解析部１０４の内部で利用されてもよい。この場合、センサデータ解析部１０４は、上述したようなユーザのアクションの検出の処理において、閾値やフィルタの設定値などを、センサが身体に装着されているか器具に装着されているかによって変更してもよい。あるいは、上記のような推定の結果は、センサデバイス制御部１０３にフィードバックされ、センサデバイスの測定に関するパラメータなどの設定や、センサデバイス制御部１０３によるセンサデータの前処理方法などを決定するために利用されてもよい。
　本実施形態では、例えば上記のセンサ装着状態の推定のように、センサデータの提供側の状態に関する推定に基づいて、センサデータの処理に関する適応的な制御が実施されてもよい。他の例として、センサデータ解析部１０４は、加速度センサなどによって検出された衝撃の強さや動きのパターンなどから、機械学習などのアルゴリズムを用いてアクションが発生しているスポーツの種類を推定してもよい。スポーツは、一般的に認識されている種目ごとに推定されてもよいし、ボードスポーツ、水上スポーツ、自転車競技、モータースポーツなどの系統ごとに推定されてもよい。また、例えば、センサデータ解析部１０４は、センサが器具に装着されている場合に、器具の種類（例えばスキーの場合、スキー板に装着されているか、ストックに装着されているか、など）を推定してもよい。推定の結果は、上記のセンサ装着状態の推定結果と同様に、例えばアクションの検出などにおける閾値やフィルタの設定値の制御に利用されてもよいし、センサデバイス制御部１０３にフィードバックされて、センサデバイスの制御やセンサデータの前処理方法の決定に利用されてもよい。
　（４．情報生成の例）
　以下、本開示の一実施形態に含まれる情報生成のいくつかの例について説明する。
　（４－１．第１の例）
　図１５は、本開示の一実施形態に含まれる情報生成の第１の例における処理を示すフローチャートである。
　図示された例では、まず、センサデータ解析部１０４に含まれるアクション検出部１０６が、アクション区間を検出する（Ｓ３０１）。アクション区間は、例えば、上記で図２～図１３を参照して説明したような処理によって検出されるジャンプ区間および／またはターン区間を含んでもよい。また、アクション区間は、歩く、走る、静止する、乗り物で移動するなどといった、センサデータに基づいて検出されるその他のユーザのアクションが発生した区間を含んでもよい。
　次に、解析結果処理部１０７に含まれるスコアリング処理部１０９が、Ｓ３０１で検出されたアクション区間についてアクションスコアを算出する（Ｓ３０２）。さらに、アクション区間やアクションスコアに関するアクション情報と、ユーザＩＤ、位置情報、別途取得されたアクションの映像データなどを含むデータがアップロードされる（Ｓ３０３）。Ｓ３０３におけるアップロードは、例えば、センサデータ解析部１０４や解析結果処理部１０７の機能を実現するサーバから、サービス制御部１１２を実現するサーバへのアップロードであってもよい。あるいは、Ｓ３０３におけるアップロードは、センサデータ解析部１０４や解析結果処理部１０７の機能を実現する端末装置から、サービス制御部１１２を実現するサーバへのアップロードであってもよい。これらのサーバまたは端末装置が同じものである場合、アップロードは、例えば内部的なデータベースへの登録と読み替えられる。
　Ｓ３０３において、例えば個々のユーザに関して検出されたアクション区間およびアクションスコアのアップロードを受け付けたサービス制御部１１２は、当該ユーザのスキルレベルを算出する（Ｓ３０４）。スキルレベルは、後述するように、例えば各ユーザについて算出されたアクションスコアの履歴に基づいて算出される。従って、図示された例において、サービス制御部１１２を実現するサーバでは、ユーザのアクションスコアの履歴を保持するデータベースが利用可能である。また、このサーバでは、ユーザのスキルレベルを保持するデータベースが利用可能であってもよく、Ｓ３０４でスキルレベルを算出したサービス制御部１１２は、スキルレベルのデータベースを更新してもよい。
　Ｓ３０４で算出されたスキルレベルを利用して、サービス制御部１１２は、いくつかの処理を実行可能である。例えば、サービス制御部１１２は、入力されたユーザＩＤによって当該ユーザのスキルレベルを検索し（Ｓ３０５）、スキルレベルに関する情報を提供してもよい（Ｓ３０６）。また、サービス制御部１１２は、対象になるユーザのスキルレベルに基づいてランキング情報を計算し（Ｓ３０７）、これを提供してもよい（Ｓ３０８）。あるいは、サービス制御部１１２は、ランキング情報に基づいてアクション映像を共有するユーザを決定し（Ｓ３０９）、共有対象のユーザの映像データを取得してもよい（Ｓ３１０）。なお、ランキング情報の計算や、計算されたランキング情報を利用した処理の詳細については後述する。
　また、サービス制御部１１２は、Ｓ３０３でアップロードされたデータに含まれる位置情報から、アクションが検出された施設のＩＤを検索し（Ｓ３１１）、当該施設において検出されたアクションのアクションスコアと、それぞれのアクションを実行したユーザのスキルレベルとの分布に基づいて施設レベルを算出し（Ｓ３１２）、施設レベルの情報を含む施設データを提供する（Ｓ３１３）。なお、施設レベルの算出処理の詳細についても後述する。サービス制御部１１２は、上述したいくつかの情報を提供するにあたり、ソーシャルメディアやＷｅｂ上であるユーザがリクエストした情報を他のユーザとの間で共有してもよい（Ｓ３１４）。
　以下、上記で図１５に示した例で算出されたそれぞれの情報について、さらに具体的に説明する。なお、これらの情報は、必ずしもすべてが算出されなくてもよく、一部だけが算出されてもよい。また、これらの情報に加えて、またはこれに代えて、他の種類の情報が算出されてもよい。
　（スキルレベルの算出）
　上記の図１５の例では、各ユーザについて算出されたアクションスコアの履歴に基づいてスキルレベルが算出される（Ｓ３０４）。具体的な例として、スキルレベルは、以下の変数を含む式によって算出されるポイントの累計値に応じて決定されてもよい。
・アクションスコアの合計値
・アクションスコアの最大値
・アクションスコアの分布
・アクション種類のバリエーション（上述したクラスタリングの結果が利用できる）
・アクションが検出された施設のレベル
・アクションが検出された施設のバリエーション
・直近の期間でのアクション検出回数
・総アクション検出回数
・アクション検出頻度（総アクション検出回数／サービス利用期間）
・連続するアクションによって形成されるパターンの難易度
・目標達成率
　なお、上記の目標達成率は、例えばユーザ自身が設定した目標の達成率であってもよい。あるいは、ユーザの現在のスキルレベルに応じた目標がサービスによって自動的に設定され、設定された目標を達成することによってスキルレベルが上昇してもよい。あるいは、自動的に設定される目標は、例えばそれを達成することが上級者またはサービスのヘビーユーザであることを意味し、達成すること自体が記録として残るものであってもよい。
　（ランキングの生成）
　上記の図１５の例では、ユーザのスキルレベルに基づいてランキングが生成される（Ｓ３０７）。ランキングは、より具体的には、各ユーザについて算出されたスキルレベルを昇順に並べることによって生成される。ランキングは、例えば、全ユーザ（総合ランキング）や、あるユーザによって指定された範囲のユーザ（友人グループ内ランキング）について生成されてもよいし、地域、年代などのユーザの属性ごとに生成されてもよいし、アクションが検出された施設ごとに生成されてもよい。ランキングはサーバ上のデータベースに保存され、アクションが検出された時にリアルタイムで更新されてもよい。
　（映像の共有）
　上記の図１５の例では、ランキング情報に基づいて選択されたユーザとの間で、アクション映像が共有される（Ｓ３０９，Ｓ３１０）。アクション映像は、例えば、センサデバイスとペアリングされたデジタルビデオカメラなどの撮像装置によって撮像された映像データから、アクション区間に対応する部分を切り出すことによって生成される。
　ここで、共有されるアクション映像は、複数のアクション区間について生成されたアクション映像を、視聴環境に応じて数秒～数十秒に編集したものでありうる。例えば、単一のユーザについてのアクション映像を編集する場合、アクションスコア上位または下位の映像を抽出したり、アクション映像を視聴するユーザがいる施設で検出されたアクションの映像を抽出したりしてもよい。また、複数のユーザについてのアクション映像を編集する場合、ランキングが上位のユーザの映像を抽出したり、アクション映像を視聴するユーザがいる施設でのランキングが上位のユーザの映像を抽出したり、アクション映像を視聴するユーザの友人グループに属するユーザの映像を抽出したり、直近の期間にアップロードされた映像を抽出したり、アクション映像を視聴するユーザに近いスキルレベルの他のユーザの映像を抽出したりしてもよい。
　また、映像の編集では、単一のアクション映像を時系列で配列するだけではなく、画面を分割して複数のアクション映像を並行して再生したり、複数の映像を透過的に重畳して表示させたりしてもよい。また、生成されたアクション画像は、ソーシャルメディアやＷｅｂで共有または公開するためだけではなく、例えば広告としてパブリックディスプレイに表示させたり、コーチに送信してアドバイスをもらったりするために利用されてもよい。
　（施設レベルの算出）
　上記の図１５の例では、位置情報に基づいて検索された施設について、当該施設において検出されたアクションのアクションスコアと、それぞれのアクションを実行したユーザのスキルレベルとの分布に基づいて施設レベルが算出される（Ｓ３１２）。施設レベルの算出にあたっては、例えば、スキルレベルに関係なく多くのユーザについてスコアの高いアクションが検出されている施設には、低いレベル（難易度が低いことを示す）が与えられてもよい。一方、スキルレベルの高いユーザだけについてスコアの高いアクションが検出されている施設には、高いレベル（難易度が高いことを示す）が与えられてもよい。また、転倒などのアクション（試みたアクションに失敗したことを示す）が検出されたことも、施設レベルに反映されてもよい。上記のような難易度を示すレベルに限らず、アクションが検出されたユーザの数に応じて人気度を示すレベルを算出することも可能である。
　なお、施設は、例えばコースやコート、フィールドなど、アクションが発生しているスポーツの種類によって様々な形態でありうる。また、スキーの例でいえば、複数のコースを含むパークや、コース内の特定のジャンプ台などのように、様々な単位で施設を定義することができる。他のスポーツについても同様に、様々な単位で施設が定義されうる。
　（画面表示例）
　図１６は、本開示の一実施形態に含まれる情報生成の第１の例における画面表示を示す図である。図１６を参照すると、画面１０００には、ユーザプロファイル１００１が表示される。ユーザプロファイル１００１の項目には、スキルレベル１００３が含まれる。スキルレベル１００３は、例えば図１５に示したＳ３０４の処理で算出されたスキルレベルである。図示された例において、ユーザプロファイル１００１には、スキルポイント１００５がさらに含まれる。スキルポイント１００５は、例えば上記で説明したように、スキルレベルを決定するために算出されたポイントであってもよい。
　また、画面１０００には、スキルランキング１００７が表示される。スキルランキング１００７は、例えば図１５に示したＳ３０７の処理で生成されたランキングに基づいて表示される。図示された例において、スキルランキング１００７は、総合ランキングの他、地域別ランキング（タブ１００９を選択して表示）、施設別ランキング（タブ１０１１を選択して表示）、および年齢別ランキング（タブ１０１３を選択して表示）などについて表示可能である。
　さらに、画面１０００には、共有されたアクション映像１０１５が表示される。アクション映像１０１５は、例えば図１５に示したＳ３０９，Ｓ３１０の処理によって共有される映像である。また、画面１０００では、施設に関する表示（例えば施設名１０１７）について、施設情報１０１９をポップアップ表示させることが可能である。施設情報１０１９には、例えば図１５に示したＳ３１２に処理によって算出される施設レベル１０２１が含まれる。
　例えば上記のような画面１０００を、ソーシャルメディアやＷｅｂサービス、スマートフォンなどのモバイルデバイスやウェアラブルデバイス用のアプリケーションなどを通じて公開することによって、ユーザは他のユーザとの間で様々な情報を共有し、自身のレベルを確認したり、友達などと競い合ったりすることができる。
　（４－２．第２の例）
　図１７は、本開示の一実施形態に含まれる情報生成の第２の例における処理を示すフローチャートである。
　図示された例では、まず、アクション区間検出（Ｓ３０１）、アクションスコア算出（Ｓ３０２）、データアップロード（Ｓ３０３）、およびスキルレベル算出（Ｓ３０４）の処理が、図１５に示した第１の例と同様に実行される。
　ここで、本例において、サービス制御部１１２は、画像マッチングによるユーザ検索（Ｓ３２１）、ならびに／または位置および方位によるユーザ検索（Ｓ３２２）を実行する。これらの処理は、情報の提供を受けようとするユーザ（第１のユーザ）に近接している他のユーザ（第２のユーザ）を検索する処理である。Ｓ３２１では、例えば、第１のユーザの視界に対応する撮像画像（以下、視界画像ともいう）に含まれる第２のユーザの顔が検出されてもよい。あるいは、Ｓ３２１では、例えば、第１のユーザの視界画像と第２のユーザの視界画像とに共通して含まれるランドマークが検出されてもよい。Ｓ３２２では、端末装置に搭載されたＧＰＳなどによって取得される位置情報と、地磁気センサなどによって取得される方位の情報に基づいてユーザが検索される。より具体的には、サービス制御部１１２は、第１のユーザと第２のユーザとがそれぞれ所持している端末装置で取得される位置情報が近接しており、かつ第１のユーザが端末装置を向けていると推定される方位が、第１のユーザからみて第２のユーザがいる方位と近い場合に、第２のユーザが対象ユーザとして検出されてもよい。
　さらに、サービス制御部１１２は、上記のＳ３２１またはＳ３２２において検索された第２のユーザを対象として、対象ユーザＩＤを取得する（Ｓ３２３）。対象ユーザＩＤを取得可能な第２のユーザは、例えば第１のユーザと同じサービス、または第１のユーザが利用しているサービスと連携しているサービスを利用している他のユーザでありうる。Ｓ３２３で取得された対象ユーザＩＤを利用して、サービス制御部１１２は、いくつかの処理を実行可能である。
　例えば、サービス制御部１１２は、情報の提供を受けようとする第１のユーザと、対象ユーザとして検出された第２のユーザとの間で、Ｓ３０４で算出されたスキルレベルを比較する（Ｓ３２４）。サービス制御部１１２は、比較の結果に従って、第１のユーザおよび／または第２のユーザに通知を送信する（Ｓ３２５）。例えば、本実施形態において対戦型のスポーツで発生するアクションが検出される場合、Ｓ３２５では、Ｓ３２４の比較において第１のユーザのスキルレベルと第２のユーザのスキルレベルとが近い場合に、いずれかまたは両方のユーザに互いの存在または接近を知らせる通知が送信されうる。この場合、第１のユーザと第２のユーザとの位置が近接していることが条件とされてもよい。後述するように、この場合、第１のユーザおよび第２のユーザが承諾した場合には、これらのユーザが出会えるようにナビゲーションが提供されてもよい。
　また、例えば、サービス制御部１１２は、Ｓ３２３で取得された対象ユーザＩＤを用いて、対象になる第２のユーザのスキルレベル情報を取得する（Ｓ３２６）。例えば情報の提供を受けようとする第１のユーザが装着している端末装置がグラス型やゴーグル型などのＨＭＤ（Head　Mounted　Display）である場合、サービス制御部１１２は、取得されたスキルレベル情報をＨＭＤに表示させる（Ｓ３２７）。この場合、スキルレベル情報を表示する画像は、例えばＨＭＤにおいて実空間の像に重畳して表示される。さらに、例えば、サービス制御部１１２は、Ｓ３２３で取得された対象ユーザＩＤを用いて、対象になる第２のユーザのアクション映像のデータを取得してもよい（Ｓ３２８）。第２のユーザのアクション映像も、第１のユーザが装着しているＨＭＤで表示されうる（Ｓ３２７）。なお、ＨＭＤに代えて、ユーザがスマートフォンやタブレットなどを実空間にかざしている場合に、これらのモバイルデバイスのカメラとディスプレイとを利用して同様の情報が表示されてもよい。
　（画面表示例）
　図１８は、本開示の一実施形態に含まれる情報生成の第２の例における画面表示を示す図である。図１８を参照すると、画面１１００（画面１１００ａ，１１００ｂ）は、ＨＭＤを用いて、実空間の像Ｒに重畳して表示されている。画面１１００ａでは、上記の図１７に示したＳ３２５の処理によって生成された通知１１０１が表示されている。上述のように、このような通知１１０１は、例えば、画面１１００を見ているユーザ（第１のユーザ）に近いスキルレベルを有する他のユーザ（第２のユーザ）が近接した場合に表示されうる。
　また、画面１１００ｂでは、例えば画面１１００ａのような通知が表示された後に、第１のユーザおよび第２のユーザの承諾が得られたことによって、これらのユーザが出会えるようにナビゲーションが提供されている。図示された例において、画面１１００ｂは、ナビゲーションのためのインストラクションテキスト１１０３、矢印１１０５、方位１１０７、およびレーダーマップ１１０９を含む。
　図１９も、本開示の一実施形態に含まれる情報生成の第２の例における画面表示を示す図である。図１９を参照すると、画面１２００（画面１２００ａ，１２００ｂ）は、ＨＭＤを用いて、実空間の像Ｒに重畳して表示されている。画面１２００ａでは、実空間の像Ｒにおいて、他のユーザ（第２のユーザ）Ｕ２がスノーボードで滑走している。本例では、例えばこのＨＭＤに搭載されたカメラが取得した画像に基づいて、ユーザＵ２が識別される（図１７に示したＳ３２１）。あるいは、このＨＭＤで取得された位置および方位と、ユーザＵ２が携帯または装着している端末装置で取得された位置（および方位）とに基づいて、ユーザＵ２が識別されてもよい（図１７に示したＳ３２２）。図示された例では、識別されたユーザＵ２のスキルレベル情報１２０１が表示されている（図１７に示したＳ３２６，Ｓ３２７）。一方、画面１２００ｂでは、ユーザＵ２のスキルレベル情報１２０１に加えて、ユーザＵ２の過去のアクション画像１２０３が表示されている（図１７に示したＳ３２６，Ｓ３２７，Ｓ３２８）。
　（４－３．第３の例）
　図２０は、本開示の一実施形態に含まれる情報生成の第３の例を概念的に説明するための図である。図２０を参照すると、スノーボードのコース１４２（施設の例）において、施設に設置されたカメラ１４１が、スノーボードで滑走しているユーザ１４３の映像を取得している。このとき、カメラ１４１は、ユーザ１４３がコース１４２上で実行したアクションを捉えた映像を取得している可能性がある。つまり、カメラ１４１が取得した映像は、ユーザのアクションを客観的な視点から捉えた映像として有用である可能性がある。
　しかしながら、カメラ１４１が連続的に撮像している映像の中から、ユーザが所望する部分を適切に抽出することは容易ではない。そこで、本例では、サービス制御部１１２が、アクション区間の情報などに基づいて、映像の適切な部分を抽出する。これによって、ユーザが所望する映像の部分を適切に提供することができる。なお、本例の場合、上述したようなアクションスコアやスキルレベルの算出は、必ずしも実行されなくてもよい。
　図２１は、本開示の一実施形態に含まれる情報生成の第３の例における処理を示すフローチャートである。図示された例では、まず、センサデータ解析部１０４に含まれるアクション検出部１０６によるアクション区間検出（Ｓ３０１）の処理が、上記の第１および第２の例と同様に実行される。次に、アクション区間の映像受信リクエストが発行される（Ｓ３４１）。このリクエストは、例えば、センサデータ解析部１０４の機能を実現するサーバから、サービス制御部１１２を実現するサーバに送信されてもよい。あるいは、Ｓ３４１におけるリクエストは、センサデータ解析部１０４の機能を実現する端末装置から、サービス制御部１１２を実現するサーバに送信されてもよい。これらのサーバまたは端末装置が同じものである場合、リクエストの発行は、例えばデータを要求する内部的なコマンドの発行と読み替えられる。リクエストは、例えば、対象になるアクション区間の情報と、デバイスＩＤと、アクションが発生した位置を示す位置情報とを含みうる。
　Ｓ３４１において映像受信リクエストを受け付けたサービス制御部１１２は、リクエストに含まれる位置情報に基づいて、施設に設置されたカメラの中から対象カメラを決定する（Ｓ３４２）。対象カメラは、例えば、リクエストに含まれる位置情報によって示されるアクションが発生した位置に、最も近い位置に設置されたカメラでありうる。さらに、サービス制御部１１２は、対象カメラによって取得された映像データから、リクエストに含まれるアクション区間を検索し（Ｓ３４３）、アクション区間についてのデータがあるか否か判定する（Ｓ３４４）。ここで、例えば、サービス制御部１１２は、映像データのタイムスタンプとアクション区間のタイムスタンプとを比較し、アクション区間に対応する時間の映像データが存在するか否かを判定する。さらに、サービス制御部１１２は、アクション区間の映像データについて画像解析を実施し、動きのある（アクションを実行している）被写体が映っているか否かを判定してもよい。
　Ｓ３４４において、対象の映像データがあると判定された場合、さらに、サービス制御部１１２は、対象の映像データに基づいてサムネイル画像を作成する（Ｓ３４５）。図示された例において、サムネイル画像は、例えば対象の映像データから、アクション区間において１または複数の静止画像をキャプチャすることによって生成される。従って、この時点では、映像データに対して後述するＳ３４９のような加工は加えられていなくてもよい。サービス制御部１１２は、サムネイル画像をユーザが使用している端末装置に送信し（Ｓ３４６）、端末装置において、ユーザが映像のダウンロードを承諾するか否かの確認が実施される（Ｓ３４７）。ここで端末装置に送信されるサムネイル画像は、ユーザに、アクション区間（例えば、ジャンプ区間やターン区間）を撮影した映像が存在することを通知する情報の例である。端末装置では、ユーザが、操作入力によって、ダウンロードを承諾するか否かを決定する（Ｓ３４８）。
　Ｓ３４８で、ユーザが映像のダウンロードを承諾した場合、サービス制御部１１２は、映像を加工する（Ｓ３４９）。より具体的には、サービス制御部１１２は、対象の映像データから、アクション区間に対応する区間を切り出す。さらに、サービス制御部１１２は、映像が提供される端末装置の性能（ディスプレイの解像度やプロセッサの処理能力、通信速度など）に応じて映像データのダウンコンバートなどの加工を実施してもよい。加工が終了すると、サービス制御部１１２は、加工後の映像を、ユーザが使用する端末装置に送信する（Ｓ３５０）。サービス制御部１１２は、端末装置で映像の受信が完了したか否かを確認し（Ｓ３５１）、映像の受信が完了した場合、必要に応じて課金処理を実行する（Ｓ３５２）。
　ここで、上述したような端末装置とサーバとのやりとりは、それぞれ単一の端末装置とサーバとの間で実施されてもよいし、ユーザによって使用される複数の端末装置、および／またはネットワークを介して協働する複数のサーバ装置の間で実施されてもよい。例えば、Ｓ３４１でのリクエストの発行と、Ｓ３４７でのダウンロードの確認と、Ｓ３５０の映像が受信とが、単一の端末装置（例えば、ウェアラブルデバイスやモバイルデバイスでありうる）で実行される例がありうる。その一方で、上述の通り、Ｓ３４１のリクエストの発行は、サーバで実行されてもよい。また、ユーザが複数のウェアラブルデバイスやモバイルデバイスを装着している場合、リクエストを発行した端末装置とは別の端末装置でダウンロードを確認したり、さらに別の端末装置で映像を受信したりすることが可能でありうる。例えば、Ｓ３４６では複数の端末装置に同時にサムネイル画像が送信され、Ｓ３４７では、その複数の端末装置のうちのいずれか、より具体的にはユーザによる応答が取得された端末装置でダウンロードの確認が実施されてもよい。また、Ｓ３４７でのダウンロードの確認時に、ユーザは、Ｓ３５０で映像を受信する端末装置を選択または指定可能であってもよい。このような場合、Ｓ３５０で映像を受信する端末装置は、ウェアラブルデバイスやモバイルデバイスには限らず、その時点ではユーザから離れている（例えば自宅などにある）端末装置であってもよい。
　図２２は、図２１に例に示した処理における映像の加工について説明するための図である。なお、図示された例において、検出されるアクションはジャンプを含む。図２１に示した処理のＳ３４９において、サービス制御部１１２は、映像データからアクション区間に対応する区間を切り出す加工を実施する。このとき、映像１４４から切り出される区間１４４ａは、アクション検出結果１４５においてユーザ１４３のアクション区間（図示された例ではジャンプ区間）として検出された区間１４５ａよりも所定の長さ、または所定の割合だけ拡大された区間でありうる。例えばジャンプ区間の場合、ジャンプの踏切の前および着地の後についても映像に含まれている方が望ましい。このような場合、サービス制御部１１２は、映像の区間１４４ａを、検出されたアクション区間１４５ａよりも拡大する。
　図２３は、図２１に示した処理における映像のダウンロードのためのユーザインターフェースについて説明するための図である。図２３では、図２１に示したＳ４３６，Ｓ３４８，Ｓ３５０，Ｓ３５１の処理が、サーバ１４７（情報処理装置１００でありうる）と端末装置１４８との間の通信として示されている。例えば、Ｓ３４６の処理でサーバ１４７サムネイル画像を受信した端末装置１４８（図示された例ではタブレットまたはスマートフォンのようなモバイルデバイス）では、ディスプレイ１４９に、サムネイル画像１４９１と、映像のダウンロードを承諾するか否かの確認ダイアログ１４９２が表示される。ここで、ユーザは、例えばディスプレイ１４９上に設けられたタッチパネルなどを介した操作入力によって、ダウンロードを承諾するか否かを決定する。ダウンロードが承諾された場合、端末装置１４８からサーバ１４７にダウンロードのリクエストが送信される（Ｓ３４８）。
　上述の通り、Ｓ３４８でユーザの承諾があったと判定された場合、加工された画像が、サーバ１４７から端末装置１４８にダウンロードされる（Ｓ３５０）。このとき、端末装置１４８のディスプレイ１４９には、ダウンロードされた映像の再生画面１４９３と、ダウンロードの完了を通知するメッセージ１４９４とが表示されてもよい。ダウンロードが完了すると、端末装置１４８からサーバ１４７に受信の完了通知が送信され（Ｓ３５１）、サーバ１４７はその後の課金処理などに移行する。
　（４－４．第４の例）
　図２４は、本開示の一実施形態に含まれる情報生成の第４の例における処理を示すフローチャートである。本例では、検出されたアクション区間の情報に基づいて、アクション（例えばスポーツにおけるプレー）の上達支援のための情報が提供される。
　図示された例では、まず、センサデータ解析部１０４に含まれるアクション検出部１０６によるアクション区間検出（Ｓ３０１）の処理が、上記の第１～第３の例と同様に実行される。次に、解析結果処理部１０７に含まれるスコアリング処理部１０９が、上記の第１および第２の例と同様に、アクションスコアを算出してもよい（Ｓ３０２）。また、解析結果処理部１０７は、アクション区間における各種の物理量、または物理量から抽出される特徴量を可視化するためのデータを生成してもよい（Ｓ３８１）。ここで生成されるデータは、例えば、アクションに関する統計量をリアルタイムに更新しながら可視化することによって、アクションの改善に有用な情報として利用されうる。さらに、解析結果処理部１０７は、アクション区間において、アクション検出に用いられるセンサデータと、別途ユーザに装着された生体センサのデータとを同期させてもよい（Ｓ３８２）。
　上記で解析結果処理部１０７によって生成されたデータは、例えば解析結果処理部１０７の機能を実現するサーバから、サービス制御部１１２を実現するサーバにアップロードされる（Ｓ３８３）。あるいは、Ｓ３８３におけるアップロードは、解析結果処理部１０７の機能を実現する端末装置から、サービス制御部１１２を実現するサーバへのアップロードであってもよい。これらのサーバまたは端末装置が同じものである場合、アップロードは、例えば内部的なデータベースへの登録と読み替えられる。
　Ｓ３８３において、生成された情報のアップロードを受け付けたサービス制御部１１２は、コーチング情報の生成（Ｓ３８４）、および／または比較データの生成（Ｓ３８５）を実行する。Ｓ３８４で生成されるコーチング情報は、アップロードされた情報、例えば運動強度（脈拍数および呼吸数から算出される）、脈拍数、呼吸数、動きの安定度／不安定度、アクションスコアなどについて、ユーザの過去の履歴データから最新のデータに至る推移から抽出される。より具体的には、コーチング情報は、疲労度（アクション履歴から推定される）と集中度の推移から休憩のタイミングを通知したり、ユーザのコンディションの良し悪しを推定したり、過去の履歴データと比較して優れたアクションが検出された場合に通知したりする情報を含む。また、Ｓ３８５で生成される比較データは、例えば、新たに検出されたアクションについて、ユーザ自身の過去のデータや、他のユーザのデータと比較することによって、改善点を定量的に把握するためのデータである。このような比較データは、例えば、ユーザの傾き、方向、高さ、動きの安定度／不安定度、沈み込み、衝撃、速度（ベクトル）、加速度（ベクトル）、回転ベクトル（クォータニオン）などを時系列でマッチングし、相関および差分を導出することによって抽出されうる。
　Ｓ３８４および／またはＳ３８５におけるデータの生成後、データのリクエストが発行される（Ｓ３８６）。このリクエストは、例えば、Ｓ３８３で情報をアップロードした、解析結果処理部１０７の機能を実現するサーバまたは端末装置から、サービス制御部１１２を実現するサーバに送信されてもよい。これらのサーバまたは端末装置が同じものである場合、リクエストの発行は、例えばデータを要求する内部的なコマンドの発行と読み替えられる。リクエストに応じて、サービス制御部１１２は、リクエストを発行したサーバまたは端末装置にデータを提供する（Ｓ３８７）。サーバは、提供されたデータをさらに端末装置に転送してもよい。端末装置に提供されたデータは、例えば、画面に表示される情報提示のためのユーザインターフェースによって出力される。
　（画面表示例）
　図２５は、本開示の一実施形態に含まれる情報生成の第４の例における画面表示を示す図である。図２５を参照すると、画面１５００には、リアルタイムで検出されているユーザの方位および傾き１５０１と、同じくリアルタイムで検出されているユーザの生体情報（呼吸数と脈拍数）１５０３と、複数視点の切り替えボタン１５０５と、アクション区間内の過去の部分におけるユーザの残像１５０７と、物理量表示１５０９と、アクション区間内でのユーザの軌跡１５１１と、アクションスコアのレーダーチャート１５１３と、統計量１５１５と、物理的／心理的な状態を示すグラフ１５１７と、検出されたアクションの時系列表示１５１９と、動きの不安定度の時系列表示１５２１と、リラックス／緊張の度合いの時系列表示１５２３と、時系列表示を参照するためのシークバー１５２５とが表示される。
　例えば、上記の方位および傾き１５０１や物理量表示１５０９、レーダーチャート１５１３、および統計量１５１５は、例えば図２４に示したＳ３８１の処理で生成されうる。図示された例において、物理量表示１５０９は、回転角度表示１５０９ａ、ジャンプ高さ表示１５０９ｂ、および速度表示１５０９ｃを含む。これらの表示要素は、例えばアクション区間における各種の物理量、物理量から抽出される特徴量、およびアクションスコアのように特徴量に基づいて算出される値を可視化する。例えば、これらの情報をリアルタイムに更新しながら可視化することによって、ユーザがアクションの改善点を把握することが容易になる。
　また、上記の生体情報１５０３やグラフ１５１７、時系列表示１５２１，１５２３は、例えば図２４に示したＳ３８２の処理で生成されうる。これらの表示要素は、例えばアクション区間における生体センサの検出値、およびその解析結果に基づいて表示される。なお、動きの不安定度は、加速度センサや角速度センサを含む慣性センサの検出値から抽出される。このように、アクション区間に同期された生体情報がフィードバックされることによって、ユーザがアクションを実行したときの心理状態などを把握し、アクションの改善につなげることが容易になる。
　（４－５．ユーザのプロファイルについて）
　上述したような本開示の一実施形態では、過去に検出されたアクションの種類によって、ユーザのプロファイルを作成することができる。例えば、ジャンプのアクションで、高いアクションスコアが安定的に算出されているユーザについては、「ジャンプの上級者」というプロファイルが与えられる。また、ジャンプのアクションスコアが低く、またジャンプの途中で転倒が検出されることが多いユーザについては、「ジャンプの初級者」というプロファイルが与えられる。
　例えば、上記のようなプロファイルを利用して、本実施形態における情報生成の処理を異ならせてもよい。例えば、図２４および図２５に示した例でユーザの上達支援のための情報を提供するにあたり、ユーザのプロファイルを反映させてもよい。より具体的には、ユーザがジャンプの上級者である場合、まれに発生する転倒が検出されたジャンプに関する可視化された情報を、より詳細に提供してもよい。上級者はジャンプに成功するのが当たり前であるため、まれな失敗を詳細に分析することによって、さらなる上達の支援になると考えられるためである。逆に、ユーザがジャンプの初級者である場合、転倒が検出されない、成功したジャンプに関する可視化された情報を、より詳細に提供してもよい。初級者は、成功したジャンプを振り返ることで、安定してジャンプに成功できるようになるヒントをつかめる可能性があるためである。
　（５．ハードウェア構成）
　次に、図２６を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図２６は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
　情報処理装置９００は、ＣＰＵ（Central　Processing　unit）９０１、ＲＯＭ（Read　Only　Memory）９０３、およびＲＡＭ（Random　Access　Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、またはＦＰＧＡ（Field-Programmable　Gate　Array）などの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral　Component　Interconnect/Interface）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置９１７は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid　Crystal　Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard　Disk　Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、例えばＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置９００に接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal　Serial　Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small　Computer　System　Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線のＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）、またはＷＵＳＢ（Wireless　USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
　撮像装置９３３は、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）またはＣＣＤ（Charge　Coupled　Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、圧力センサ、距離センサ、または音センサ（マイクロフォン）などの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＮＳＳ（Global　Navigation　Satellite　System）信号を受信して装置の緯度、経度および高度を測定するＧＮＳＳ受信機を含んでもよい。
　以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　（６．補足）
　本開示の実施形態は、例えば、上記で説明したような情報処理装置、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
　（４．コンテンツ制御の例）
　以下、本開示の一実施形態に含まれるコンテンツ制御のいくつかの例について説明する。いくつかの例において、情報処理装置１００のサービス制御部１１２は、例えば、アクションの進行に並行して提供される視覚的または音声的なコンテンツの提供を制御する。このようなコンテンツは、例えば、アクションを実行するユーザまたはそれを観察する他のユーザにＨＭＤ（Head　Mounted　Display）などを利用してリアルタイムで提供されるビジュアルエフェクトやサウンドエフェクトなどを含みうる。あるいは、コンテンツは、事後的にアクションの映像とともに再生されるビジュアルエフェクトやサウンドエフェクトなどを含んでもよい。また、他のいくつかの例において、コンテンツは、アクションの映像そのものを含んでもよい。
　（７－１．時系列スコアによる制御）
　第１の例として、本実施形態において、情報処理装置１００のサービス制御部１１２は、アクション検出部１０６によって検出されるユーザの一連のアクションを含む区間について時系列のスコアを算出し、このスコアを利用してコンテンツの制御を実施する。
　図２７は、本開示の一実施形態におけるコンテンツ制御のための時系列スコアの算出について説明するための図である。図示された例では、スノーボードをしているユーザのアクションとして、ジャンプ（例えば、上述した２つの例に係る検出方法によってそれぞれ検出される）、インパクト、（自由）落下、移動、ボードに乗っている状態、および転倒（クラッシュ）が検出されている。サービス制御部１１２は、例えばセンサデータ解析部１０４に含まれるアクション検出部１０６が検出されたアクションのそれぞれについてのアクションスコアを、必要に応じて重みづけして足し合わせることによって、図示された例のようなコンテンツ制御のための時系列スコアを算出する。ある時刻ｔ１における時系列スコアＳ（ｔ１）は、例えば、各アクションのスコアＳＡｃｔｉｏｎ（ｔ１）と、それぞれのアクションに設定された重みＷＡｃｔｉｏｎと（Ａｃｔｉｏｎはアクション名を示す）に基づいて、以下の式１によって算出される。
Figure JPOXMLDOC01-appb-M000001
　ここで、各アクションのスコアＳＡｃｔｉｏｎ（ｔ１）は、単純に時刻ｔ１においてそのアクションが発生していたか否かを示してもよいし（その場合、ＳＡｃｔｉｏｎ（ｔ１）は０／１でありうる）、時刻ｔ１、または時刻ｔ１を含むアクション区間についてスコアリング処理部１０９が算出したスコアであってもよい。例えば、図示された例のように滑らかに変化する時系列スコアを算出する場合、各アクションのスコアＳＡｃｔｉｏｎ（ｔ１）をスムージングした上で足し合わせてもよい。また、各アクションの重みＷＡｃｔｉｏｎは、例えばスノーボードにおけるそれぞれのアクションの重要度に応じて設定されうる。
　例えば、サービス制御部１１２は、算出された時系列スコアについて、１または複数の閾値（ＴＨ１，ＴＨ２）を設定し、時系列スコアが閾値を超えるか否かを基準にしてコンテンツ制御を実施してもよい。例えば、サービス制御部１１２は、時系列スコアが閾値を超えていた区間について、継続的に何らかのコンテンツを生成または出力させてもよい。あるいは、サービス制御部１１２は、時系列スコアが閾値を超えていた区間の最初と最後の少なくともいずれかで、何らかのコンテンツを生成または出力させてもよい。
　より具体的な利用例として、サービス制御部１１２は、時系列スコアに基づいて、アクション映像のハイライトを抽出してもよい。アクション映像は、例えば、アクションを実行しているユーザを撮影した映像であり、センサデータと並行して取得される（センサデータを取得するセンサデバイスと、アクション映像を取得する撮像装置は異なる装置でありうる）。例えば、図示された例において、サービス制御部１１２は、スノーボードの滑走中に継続的に撮影されたアクション映像から、時系列スコアが閾値（ＴＨ１またはＴＨ２）を超えている区間を、ハイライト映像として抽出してもよい。この区間は、例えばアクションが発生したときに、時系列スコアが上昇して閾値を上回ったタイミングと、その後時系列スコアが下降して閾値を下回ったタイミングとによって定義される。抽出の判定に閾値ＴＨ１を利用するか、閾値ＴＨ２を利用するかは、例えば予め指定されたハイライト映像の長さに応じて選択される。図示された例の場合、閾値ＴＨ１を判定に利用すればより短いハイライト映像が抽出され、閾値ＴＨ２を判定に利用すればより長いハイライト映像が抽出される。
　また、他の例として、サービス制御部１１２は、時系列スコアに基づいて、アクション映像の再生を制御してもよい。より具体的には、サービス制御部１１２は、上記の例のようにハイライトが抽出されていないアクション映像を再生するにあたり、ユーザのシーク操作に応じて、または自動的に、時系列スコアが閾値（ＴＨ１またはＴＨ２）を下回っている区間をスキップしてアクション映像を再生してもよい。上記の例と同様に、スキップの判定に閾値ＴＨ１を利用するか、閾値ＴＨ２を利用するかは、例えば予め指定された再生時間に応じて選択される。図示された例の場合、閾値ＴＨ１を判定に利用すればより短い時間でアクション映像が再生され、閾値ＴＨ２を判定に利用すればより長い時間でアクション映像が再生される。
　また、例えば、サービス制御部１１２は、算出された時系列スコアの値に応じてコンテンツ制御を実施してもよい。例えば、サービス制御部１１２は、ある区間（上記の例と同様に、この区間も時系列スコアに応じて定義されうる）における時系列スコアの値（例えば、平均値、または最大値など）に応じて、当該区間でアクション映像の再生時に付加するエフェクトや、スコア自体を表示するか否かを制御してもよい。また、例えば、サービス制御部１１２は、時系列スコアの値に応じて、アクション映像とともに再生する楽曲やその音量を選択してもよい。より具体的には、サービス制御部１１２は、時系列スコアが高い区間では賑やかな曲を大きい音量で再生し、時系列スコアが低い区間では静かな曲を小さい音量で再生してもよい。
　なお、上記のようなコンテンツ制御のための時系列スコアの算出は、スノーボードをしているユーザのアクションに限らず、その他のスポーツ、または日常生活などにおける、さまざまなシーンで発生するアクションについて適用可能である。例えば、上記の例のように、そのシーンで発生する複数のアクションについてのスコア（発生を示す０／１の値、または算出されたスコア）を足し合わせることによって時系列スコアが算出されてもよいし、単一のアクションについてのスコアがそのまま時系列スコアとして利用されてもよい。また、センサデータに基づいて検出されたアクション以外に関するスコア、より具体的にはユーザの操作入力に基づくスコアや、位置情報の検出、チェックイン情報（例えば、ＮＦＣなどを利用したユーザの明示的な操作によるチェックインや、位置情報を利用したジオフェンス、無線ＬＡＮなどの電波の受信範囲、国際公開２０１４／１２５６８９号に記載された無線局クラスタなどによって定義される）などに基づくスコアが、アクションのスコアとともに時系列スコアの算出に用いられてもよい。また、このような場合、サービス制御部１１２は、スポーツにおいて発生するアクションと、そうでないアクションとの間で、コンテンツ提供の制御を変更してもよい。
　図２８は、本開示の一実施形態における時系列スコアを利用したコンテンツ制御の例について説明するための図である。図示された例では、アクション画像の再生速度が、時系列スコアに基づいて連続的に制御されている。より具体的には、サービス制御部１１２は、ある時刻ｔ１における時系列スコアＳ（ｔ１）に所定の係数αをかけることによって、時刻ｔ１における再生スピードＳｐ（ｔ１）を決定してもよい。つまり、
　Ｓｐ（ｔ１）＝α・Ｓ（ｔ１）
であってもよい。図示された例では、マイナスの係数αが、時系列スコアが最小の場合に再生速度が通常の速度（１．０倍）になり、時系列スコアが最大の場合に再生速度が通常の半分（０．５倍）になるように設定されている。これによって、時系列スコアが高い部分でアクション映像を自動的にスロー再生することができる。別の例として、時系列スコアが最大の場合に再生速度が通常の速度（１．０倍）になり、時系列スコアがそれよりも小さくなるにしたがって再生速度がさらに大きくなる（＞１．０倍）ようにすれば、時系列スコアが高くない部分でアクション映像を自動的に早送りすることができる。
　（７－２．アクションに関連して定義されるタイミングによる制御）
　第２の例として、本実施形態において、情報処理装置１００のサービス制御部１１２は、アクション検出部１０６によって検出されるユーザのアクションに関連して定義される少なくとも２つのタイミングを特定し、これらのタイミングに応じてコンテンツの制御を実施する。
　図２９は、本開示の一実施形態においてアクションに関連して定義されるタイミングの例について説明するための図である。図示された例では、アクション検出部１０６が例えば上記で図１０を参照して説明したような検出処理を実行し、ユーザのターンを検出している。本例において、アクション検出部１０６は、回転の向きによって時計回りのターン（ＣＷ）と反時計回りのターン（ＣＣＷ）を識別する。
　図には、これらの２種類のターンの検出タイミングが、時系列で示されている。例えばスノーボードで滑走中のユーザのアクションを検出した場合、図示された例のように、時計回りのターンと反時計回りのターンとがほぼ一定の時間間隔で規則的に連続して発生する区間が存在しうる。このような場合、連続して発生するターンによって定義される一連のタイミングに基づいて、サービス制御部１１２は、例えば連続するターンの最初のタイミングと最後のタイミングとを含む区間ｓ１や、回転の向きが異なるターン同士のタイミングの間隔ｄ１、回転の向きが同じであるターン同士のタイミングの間隔ｄ２などを定義し、これらに基づいてコンテンツの制御を実施することができる。
　例えば、サービス制御部１１２は、間隔ｄ１または間隔ｄ２に対応するテンポの楽曲を選択して、区間ｓ１の少なくとも一部を含む区間でアクション映像とともに再生してもよい。このとき、サービス制御部１１２は、少なくとも区間ｓ１を含む区間で楽曲を再生する。より具体的には、例えば、サービス制御部１１２は、区間ｓ１の始点（最初のターンのタイミング）から楽曲の再生を開始してもよいし、それよりも前から楽曲の再生を開始してもよい。あるいは、サービス制御部１１２は、ユーザの滑走中に、リアルタイムでそのような楽曲を再生してもよい。この場合、サービス制御部１１２は、区間ｓ１の最初に、いくつかの間隔ｄ１または間隔ｄ２が連続して検出された時点で楽曲を選択して再生を開始する。サービス制御部１１２は、区間ｓ１の終点（最後のターンのタイミング）でフェイドアウトなどによって楽曲の再生を終了してもよいし、区間ｓ１の終了後も、例えば次のターンの連続が検出されるまで当該楽曲の再生を継続してもよい。
　ここで、間隔ｄ１または間隔ｄ２に対応するテンポの楽曲は、例えば、間隔ｄ１または間隔ｄ２の逆数、つまりターンの出現周波数に近いＢＰＭ（Beats　Per　Minute）で進行する楽曲でありうる。このとき、ターンの出現周波数にある程度近いＢＰＭの楽曲のテンポを微調整して、ターンの出現周波数に合わせてもよい。
　また、例えば、サービス制御部１１２は、間隔ｄ１または間隔ｄ２に対応するタイミングで進行する（例えば、繰り返される）ビジュアルエフェクト（例えばアニメーションやアバターなど）またはサウンドエフェクトを生成し、区間ｓ１の少なくとも一部を含む区間でアクション映像とともに再生してもよい。上記の楽曲の例と同様に、サービス制御部１１２は、例えばユーザが装着しているＨＭＤなどを用いて、リアルタイムでビジュアルエフェクトやサウンドエフェクトを提供してもよい。
　なお、上記のようなアクションに関連して定義されるタイミングによるコンテンツの制御は、スノーボードの滑走中に発生する連続したターンの場合には限らず、例えば連続したジャンプなどの場合にも適用可能である。また、上記のような制御は、その他のスポーツ、または日常生活などにおいて、何らかのアクションが周期的に発生する場合にも、同様に適用可能である。このような場合、サービス制御部１１２は、スポーツにおいて発生するアクションと、そうでないアクションとの間で、コンテンツ提供の制御を変更してもよい。また、このような場合、例えば上記の例のような楽曲の選択にあたっては、検出されたアクションと位置情報、アクションが発生した前後のコンテキストなどに基づいて推定される、ユーザの高次の行動情報が利用されてもよい。例えば、周期的に発生する歩行のアクションに合わせて楽曲を再生するときに、その歩行が移動中であるのか、散歩中であるのか、買い物中であるのかといったような高次の行動情報が利用できれば、ユーザの状況により適合した楽曲を選択することができる。
　図３０は、本開示の一実施形態においてアクションに関連して定義されるタイミングで提供されるエフェクトの第１の例を示す図である。図示された例では、アクション映像を再生する画面１１００において、ジャンプの踏み切りおよび着地のタイミングに合わせて、ビジュアルエフェクトおよびサウンドエフェクトが提供される。より具体的には、図示された例において、ジャンプの踏み切り時の画面１１００ａでは、「Ｊｕｍｐ！！」というテキストのビジュアルエフェクト１１０１が表示される。さらに、ジャンプの着地時の画面１１００ｂでは、サウンドエフェクトＳＥが出力されている。
　ここで、例えば解析結果処理部１０７に含まれるスコアリング処理部１０９が算出するアクションスコアに応じて、提供されるエフェクトが変更されてもよい。例えば、図３０に示した例ではビジュアルエフェクト１１０１およびサウンドエフェクトＳＥの両方が提供されているが、アクションスコアが低かった場合には、ビジュアルエフェクト１１０１だけが提供されてもよい。さらに、アクションスコアが低かった場合には、ビジュアルエフェクト１１０１のサイズが小さくなったり、エフェクトが地味になったりしてもよい。アクションの種類と、アクションスコアに応じたエフェクトの種類の制御の例を、以下の表１に示す。
Figure JPOXMLDOC01-appb-T000002
　図３１は、本開示の一実施形態においてアクションに関連して定義されるタイミングで提供されるエフェクトの第２の例を示す図である。図示された例では、アクション映像を再生する画面１２００において、ジャンプの踏み切りおよび着地のタイミングを基準にして、ビジュアルエフェクトの一種であるアニメーション１２０１が表示される。より具体的には、図示された例において、ジャンプの踏み切り時の画面１２００ａでは、滞空時間を示すカウンタが回転中であることを示すアニメーション１２０１ａが表示される。さらに、ジャンプの着地時の画面１２００ｂでは、カウンタが止まって滞空時間が確定されたアニメーション１２０１ｂが表示される。より詳細には、アニメーション１２０１ａのカウンタは、踏み切りの後、ユーザが滞空状態にある間にカウントアップされ、着地の時点でストップしてもよい。
　このように、本実施形態において、サービス制御部１１２は、一連のビジュアルエフェクトやサウンドエフェクトの動作を、アクションに関連して定義されるタイミングを基準にして変化させてもよい。より具体的には、サービス制御部１１２は、上記の例におけるジャンプの踏み切りおよび着地のように２つのタイミング（第１のタイミングおよび第２のタイミング）が定義されている場合に、その少なくともいずれかで動作が変化するビジュアルエフェクトやサウンドエフェクトを提供してもよい。
　図３２は、本開示の一実施形態においてアクションに関連して定義されるタイミングで提供されるエフェクトの第３の例を示す図である。図示された例では、上記の第２の例と同様に、アクション画像を再生する画面１３００において、ジャンプの踏み切りおよび着地のタイミングを基準にしてアニメーション１３０１が表示される。より具体的には、図示された例において、ジャンプの踏み切り時の画面１３００ａでは、ジャンプのアクションスコアを示すカウンタが回転中であることを示すアニメーション１３０１ａが表示される。さらに、ジャンプの着地時の画面１３００ｂでは、カウンタが止まってアクションスコアが確定されたアニメーション１３０１ｂが表示される。より詳細には、アニメーション１３０１ａのカウンタでは、踏み切りの後、ユーザが滞空状態にある間にランダムにスコアが変化し、着地の時点でストップしてもよい。あるいは、ジャンプが実行された後に採点される様子を再現するために、ジャンプの着地の直後にアニメーション１３０１ａの回転するカウンタが表示され、所定の時間の経過後にアクションスコアが確定したアニメーション１３０１ｂが表示されてもよい。例えばこのような場合、アニメーション１３０１を、ユーザが装着しているＨＭＤなどを用いてリアルタイムで表示させることも可能である。
　図３３は、本開示の一実施形態においてアクションに関連して定義されるタイミングで提供されるエフェクトの第４の例を示す図である。図示された例では、ＨＭＤなどを用いて実空間の像Ｒに重畳して表示される画像１４００において、実空間に存在する人物の被写体（ＯＢＪ）の振り向き（首振り）に合わせて、被写体（ＯＢＪ）の顔の周辺に星のビジュアルエフェクト１４０１が表示されている。
　このようなビジュアルエフェクト１４０１の表示は、例えば、被写体（ＯＢＪ）に装着された加速度センサおよび角速度センサなどによって提供されるセンサデータに基づいて被写体（ＯＢＪ）の首振りのアクションを検出し、首振りが検出されたタイミングで画像１４００にビジュアルエフェクト１４０１を表示させることによって可能になる。被写体（ＯＢＪ）の顔の位置は、例えば公知の顔検出の技術を利用して特定されうる。ビジュアルエフェクト１４０１と同様にして、アニメーションやサウンドエフェクトが出力されてもよい。
　（７－３．ユーザのプロファイルについて）
　上述したような本開示の一実施形態では、過去に検出されたアクションの種類によって、ユーザのプロファイルを作成することができる。例えば、ジャンプのアクションで、高いアクションスコアが安定的に算出されているユーザについては、「ジャンプの上級者」というプロファイルが与えられる。また、ジャンプのアクションスコアが低く、またジャンプの途中で転倒が検出されることが多いユーザについては、「ジャンプの初級者」というプロファイルが与えられる。
　例えば、上記のようなプロファイルを利用して、本実施形態におけるコンテンツ制御の処理を異ならせてもよい。例えば、図２７に示した例で算出される時系列スコアを利用したハイライト映像の生成において、ユーザのプロファイルに基づいて、優先的に抽出する区間を決定してもよい。より具体的には、ユーザがジャンプの上級者である場合、まれに発生する転倒が検出されたジャンプの区間を優先的に抽出してもよい。上級者はジャンプに成功するのが当たり前であるため、まれな失敗を詳細に分析することによって、さらなる上達の支援になると考えられるためである。また、上級者は、成功したジャンプの映像を観て楽しむことも多いと考えられるため、例えばタイムラプスエフェクトのような控えめなエフェクトを追加してもよい。
　一方、ユーザがジャンプの初級者である場合、転倒が検出されない、成功したジャンプの区間を優先的に抽出してもよい。初級者は、成功したジャンプを振り返ることで、安定してジャンプに成功できるようになるヒントをつかめる可能性があるためである。あるいは、初級者の場合、成功したジャンプと失敗したジャンプとが比較しやすいように、これらが連続して再生されるように抽出された映像を配列してもよい。また、初級者は、ジャンプが成功したことを喜ぶことも多いと考えられるため、例えばアニメーションやアバター、サウンドエフェクトのような、派手なエフェクトを追加してもよい。
　（８．ハードウェア構成）
　次に、図３４を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図３４は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
　情報処理装置９００は、ＣＰＵ（Central　Processing　unit）９０１、ＲＯＭ（Read　Only　Memory）９０３、およびＲＡＭ（Random　Access　Memory）９０５を含む。また、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、通信装置９２５を含んでもよい。さらに、情報処理装置９００は、必要に応じて、撮像装置９３３、およびセンサ９３５を含んでもよい。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ（Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、またはＦＰＧＡ（Field-Programmable　Gate　Array）などの処理回路を有してもよい。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータなどを記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。ＣＰＵ９０１、ＲＯＭ９０３、およびＲＡＭ９０５は、ＣＰＵバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。さらに、ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Peripheral　Component　Interconnect/Interface）バスなどの外部バス９１１に接続されている。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話などの外部接続機器９２９であってもよい。入力装置９１５は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ９０１に出力する入力制御回路を含む。ユーザは、この入力装置９１５を操作することによって、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりする。
　出力装置９１７は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置９１７は、例えば、ＬＣＤ（Liquid　Crystal　Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置９１７は、情報処理装置９００の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。
　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Hard　Disk　Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、例えばＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
　ドライブ９２１は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７のためのリーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されているリムーバブル記録媒体９２７に記録を書き込む。
　接続ポート９２３は、機器を情報処理装置９００に接続するためのポートである。接続ポート９２３は、例えば、ＵＳＢ（Universal　Serial　Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small　Computer　System　Interface）ポートなどでありうる。また、接続ポート９２３は、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）ポートなどであってもよい。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００と外部接続機器９２９との間で各種のデータが交換されうる。
　通信装置９２５は、例えば、通信ネットワーク９３１に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線のＬＡＮ（Local　Area　Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）、またはＷＵＳＢ（Wireless　USB）用の通信カードなどでありうる。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Asymmetric　Digital　Subscriber　Line）用のルータ、または、各種通信用のモデムなどであってもよい。通信装置９２５は、例えば、インターネットや他の通信機器との間で、ＴＣＰ／ＩＰなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置９２５に接続される通信ネットワーク９３１は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信などを含みうる。
　撮像装置９３３は、例えば、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）またはＣＣＤ（Charge　Coupled　Device）などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置９３３は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
　センサ９３５は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、圧力センサ、距離センサ、または音センサ（マイクロフォン）などの各種のセンサである。センサ９３５は、例えば情報処理装置９００の筐体の姿勢など、情報処理装置９００自体の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音など、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９３５は、ＧＮＳＳ（Global　Navigation　Satellite　System）信号を受信して装置の緯度、経度および高度を測定するＧＮＳＳ受信機を含んでもよい。
　以上、情報処理装置９００のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
　（９．補足）
　本開示の実施形態は、例えば、上記で説明したような情報処理装置、システム、情報処理装置またはシステムで実行される情報処理方法、情報処理装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）ユーザまたは前記ユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを取得するセンサデータ取得部と、
　前記センサデータに基づいて前記ユーザのアクションを検出し、前記アクションはターンを含むアクション検出部と、
　前記ターンに関する情報を生成する情報生成部と
　を備える情報処理装置。
（２）前記アクション検出部は、前記ユーザのアクションに含まれる回転を検出し、前記回転に含まれる非ターン性の回転を検出し、前記回転から前記非ターン性の回転を除いたものの中から前記ターンを検出する、前記（１）に記載の情報処理装置。
（３）前記センサは、前記ユーザの頭部、または前記ユーザの頭部に装着される器具に装着されたセンサを含み、
　前記非ターン性の回転は、前記ユーザの首振りによって発生する回転を含む、前記（２）に記載の情報処理装置。
（４）前記アクション検出部は、逆向きの回転が閾値以下の時間間隔で連続する場合に、前記ユーザの首振りによって発生する回転を検出する、前記（３）に記載の情報処理装置。
（５）前記センサは、加速度センサおよび角速度センサを含み、
　前記アクション検出部は、前記センサデータから抽出される特徴量に基づいて前記アクションを検出する、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（６）前記ターンを評価するスコアを算出するスコアリング処理部をさらに備え、
　前記情報生成部は、前記スコアに基づいて前記ターンに関する情報を生成する、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）前記情報生成部は、前記スコアに基づいて推定される、前記ユーザのターンのスキルレベルを含む情報を生成する、前記（６）に記載の情報処理装置。
（８）前記情報生成部は、前記スキルレベルに基づいて決定される、前記ユーザのターンのスキルに関するランキングを含む情報を生成する、前記（７）に記載の情報処理装置。
（９）前記情報生成部は、前記スキルレベルに基づいて決定される、前記ターンが実行される施設ごとの評価を含む情報を生成する、前記（７）または（８）に記載の情報処理装置。
（１０）前記ユーザは、第１のユーザおよび第２のユーザを含み、
　前記情報生成部は、前記スキルレベルを前記第１のユーザと前記第２のユーザとの間で比較することによって前記ターンに関する情報を生成する、前記（７）～（９）のいずれか１項に記載の情報処理装置。
（１１）前記情報生成部は、前記第１のユーザと前記第２のユーザとスキルレベルが近い場合に、前記第２のユーザの存在を前記第１のユーザに通知する情報を生成する、前記（１０）に記載の情報処理装置。
（１２）前記情報生成部は、前記第１のユーザと前記第２のユーザとの位置が近接している場合に、前記第２のユーザの存在を前記第１のユーザに通知する情報を生成する、前記（１１）に記載の情報処理装置。
（１３）前記スコアリング処理部は、前記ターンの持続時間、角変位、または角速度もしくは角加速度の統計量を評価する、前記（６）～（１２）のいずれか１項に記載の情報処理装置。
（１４）前記アクションは前記ターンと、ジャンプまたは転倒とを含み、
　前記情報生成部は、前記ターンと、前記ジャンプまたは前記転倒とに関する情報を生成する、前記（１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）前記ジャンプを評価するスコアを算出するスコアリング処理部をさらに備え、
　前記スコアリング処理部は、前記ジャンプの持続時間、前記ジャンプの間の角変位、前記ジャンプの間の自由落下の度合い、前記ジャンプの踏切時または着地時の衝撃を評価する、前記（１４）に記載の情報処理装置。
（１６）前記ターンを評価するターンスコア、および前記ジャンプを評価するジャンプスコアを算出するスコアリング処理部をさらに備え、
　前記情報生成部は、前記ターンスコアおよび前記ジャンプスコアに基づいて推定される、前記ユーザのスキルレベルを含む情報を生成する、前記（１４）または（１５）に記載の情報処理装置。
（１７）前記情報生成部は、前記ターンを撮影した映像が存在することを前記ユーザに通知する情報を生成する、前記（１）～（１６）のいずれか１項に記載の情報処理装置。
（１８）前記情報生成部は、前記ターンに関する量を時系列で可視化するための情報を生成する、前記（１）～（１７）のいずれか１項に記載の情報処理装置。
（１９）ユーザまたは前記ユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを取得することと、
　プロセッサが、前記センサデータに基づいて前記ユーザのアクションを検出し、前記アクションはターンを含むことと、
　前記ターンに関する情報を生成することと
　を含む情報処理方法。
（２０）ユーザまたは前記ユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを取得する機能と、
　前記センサデータに基づいて前記ユーザのアクションを検出し、前記アクションはターンを含む機能と、
　前記ターンに関する情報を生成する機能と
　をコンピュータに実現させるためのプログラム。
　また、以下のような構成も本開示の技術的範囲に属する。
（１）ユーザまたは前記ユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを受信するセンサデータ受信部と、
　前記センサデータに基づいて前記ユーザのアクションを検出するアクション検出部と、
　前記検出されたアクションに関連して定義されるタイミングを基準にして前記アクションに関連するコンテンツの提供を制御するコンテンツ制御部と
　を備える情報処理装置。
（２）前記コンテンツは、前記アクションの進行に並行して提供される視覚的なまたは音声的なコンテンツを含む、前記（１）に記載の情報処理装置。
（３）前記タイミングは、第１のタイミングと第２のタイミングとを含み、
　前記コンテンツ制御部は、少なくとも前記第１のタイミングと前記第２のタイミングとを含む区間で前記コンテンツを提供する、前記（２）に記載の情報処理装置。
（４）前記コンテンツ制御部は、前記第１のタイミングを始点とする、または前記第２のタイミングを終点とする前記コンテンツを提供する、前記（３）に記載の情報処理装置。
（５）前記コンテンツ制御部は、前記第１のタイミングまたは前記第２のタイミングの少なくともいずれかで動作が変化する前記コンテンツを提供する、前記（３）または（４）に記載の情報処理装置。
（６）前記タイミングは、規則的に連続して発生する前記アクションによって定義される一連のタイミングを含み、
　前記コンテンツ制御部は、その少なくとも一部が前記一連のタイミングに対応したテンポで進行するコンテンツを提供する、前記（２）～（５）のいずれか１項に記載の情報処理装置。
（７）前記コンテンツ制御部は、前記テンポで進行する楽曲を選択する、前記（６）に記載の情報処理装置。
（８）前記コンテンツ制御部は、前記テンポで進行する視覚的または音声的なエフェクトを生成する、前記（６）または（７）に記載の情報処理装置。
（９）前記コンテンツは、前記アクションを実行するユーザまたはそれを観察する他のユーザにリアルタイムで提供されるコンテンツを含む、前記（２）～（８）のいずれか１項に記載の情報処理装置。
（１０）前記コンテンツは、前記アクションの映像とともに再生されるコンテンツを含む、前記（２）～（８）のいずれか１項に記載の情報処理装置。
（１１）前記アクションは、スポーツにおいて発生する第１のアクションと、そうでない第２のアクションとを含み、
　前記コンテンツ制御部は、前記第１のアクションと前記第２のアクションとの間で前記コンテンツの提供の制御を変更する、前記（１）～（１０）のいずれか１項に記載の情報処理装置。
（１２）前記コンテンツは、前記アクションの映像を含む、前記（１）～（１１）のいずれか１項に記載の情報処理装置。
（１３）前記タイミングは、第１のタイミングと第２のタイミングとを含み、
　前記コンテンツ制御部は、少なくとも前記第１のタイミングと前記第２のタイミングとを含む区間で前記アクションの画像を抽出する、前記（１２）に記載の情報処理装置。
（１４）前記コンテンツ制御部は、前記アクションに基づいて特定される前記ユーザのプロファイルにさらに基づいて前記コンテンツの提供を制御する、前記（１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）前記アクションを評価するスコアを算出するスコアリング処理部をさらに備え、
　前記コンテンツ制御部は、前記スコアにさらに基づいて前記コンテンツの提供を制御する、前記（１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）ユーザまたは前記ユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを受信することと、
　前記センサデータに基づいて前記ユーザのアクションを検出することと、
　プロセッサが、前記検出されたアクションに関連して定義されるタイミングを基準にして前記アクションに関連するコンテンツの提供を制御することと
　を含む情報処理方法。
（１７）ユーザまたは前記ユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを受信する機能と、
　前記センサデータに基づいて前記ユーザのアクションを検出する機能と、
　前記検出されたアクションに関連して定義されるタイミングを基準にして前記アクションに関連するコンテンツの提供を制御する機能と
　をコンピュータに実現させるためのプログラム。
　１００　　情報処理装置
　１０１　　送信部
　１０２　　受信部
　１０３　　センサデバイス制御部
　１０４　　センサデータ解析部
　１０５　　特徴量抽出部
　１０６　　アクション検出部
　１０７　　解析結果処理部
　１０８　　クラスタリング処理部
　１０９　　スコアリング処理部
　１１２　　サービス制御部
 

Claims (20)

  1. 　ユーザまたは前記ユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを取得するセンサデータ取得部と、
    　前記センサデータに基づいて前記ユーザのアクションを検出し、前記アクションはターンを含むアクション検出部と、
    　前記ターンに関する情報を生成する情報生成部と
    　を備える情報処理装置。
  2. 　前記アクション検出部は、
    　　前記ユーザのアクションに含まれる回転を検出し、
    　　前記回転に含まれる非ターン性の回転を検出し、
    　　前記回転から前記非ターン性の回転を除いたものの中から前記ターンを検出する、請求項１に記載の情報処理装置。
  3. 　前記センサは、前記ユーザの頭部、または前記ユーザの頭部に装着される器具に装着されたセンサを含み、
    　前記非ターン性の回転は、前記ユーザの首振りによって発生する回転を含む、請求項２に記載の情報処理装置。
  4. 　前記アクション検出部は、逆向きの回転が閾値以下の時間間隔で連続する場合に、前記ユーザの首振りによって発生する回転を検出する、請求項３に記載の情報処理装置。
  5. 　前記センサは、加速度センサおよび角速度センサを含み、
    　前記アクション検出部は、前記センサデータから抽出される特徴量に基づいて前記アクションを検出する、請求項１に記載の情報処理装置。
  6. 　前記ターンを評価するスコアを算出するスコアリング処理部をさらに備え、
    　前記情報生成部は、前記スコアに基づいて前記ターンに関する情報を生成する、請求項１に記載の情報処理装置。
  7. 　前記情報生成部は、前記スコアに基づいて推定される、前記ユーザのターンのスキルレベルを含む情報を生成する、請求項６に記載の情報処理装置。
  8. 　前記情報生成部は、前記スキルレベルに基づいて決定される、前記ユーザのターンのスキルに関するランキングを含む情報を生成する、請求項７に記載の情報処理装置。
  9. 　前記情報生成部は、前記スキルレベルに基づいて決定される、前記ターンが実行される施設ごとの評価を含む情報を生成する、請求項７に記載の情報処理装置。
  10. 　前記ユーザは、第１のユーザおよび第２のユーザを含み、
    　前記情報生成部は、前記スキルレベルを前記第１のユーザと前記第２のユーザとの間で比較することによって前記ターンに関する情報を生成する、請求項７に記載の情報処理装置。
  11. 　前記情報生成部は、前記第１のユーザと前記第２のユーザとスキルレベルが近い場合に、前記第２のユーザの存在を前記第１のユーザに通知する情報を生成する、請求項１０に記載の情報処理装置。
  12. 　前記情報生成部は、前記第１のユーザと前記第２のユーザとの位置が近接している場合に、前記第２のユーザの存在を前記第１のユーザに通知する情報を生成する、請求項１１に記載の情報処理装置。
  13. 　前記スコアリング処理部は、前記ターンの持続時間、角変位、または角速度もしくは角加速度の統計量を評価する、請求項６に記載の情報処理装置。
  14. 　前記アクションは前記ターンと、ジャンプまたは転倒とを含み、
    　前記情報生成部は、前記ターンと、前記ジャンプまたは前記転倒とに関する情報を生成する、請求項１に記載の情報処理装置。
  15. 　前記ジャンプを評価するスコアを算出するスコアリング処理部をさらに備え、
    　前記スコアリング処理部は、前記ジャンプの持続時間、前記ジャンプの間の角変位、前記ジャンプの間の自由落下の度合い、前記ジャンプの踏切時または着地時の衝撃を評価する、請求項１４に記載の情報処理装置。
  16. 　前記ターンを評価するターンスコア、および前記ジャンプを評価するジャンプスコアを算出するスコアリング処理部をさらに備え、
    　前記情報生成部は、前記ターンスコアおよび前記ジャンプスコアに基づいて推定される、前記ユーザのスキルレベルを含む情報を生成する、請求項１４に記載の情報処理装置。
  17. 　前記情報生成部は、前記ターンを撮影した映像が存在することを前記ユーザに通知する情報を生成する、請求項１に記載の情報処理装置。
  18. 　前記情報生成部は、前記ターンに関する量を時系列で可視化するための情報を生成する、請求項１に記載の情報処理装置。
  19. 　ユーザまたは前記ユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを取得することと、
    　プロセッサが、前記センサデータに基づいて前記ユーザのアクションを検出し、前記アクションはターンを含むことと、
    　前記ターンに関する情報を生成することと
    　を含む情報処理方法。
  20. 　ユーザまたは前記ユーザによって使用される器具に装着されたセンサによって提供されるセンサデータを取得する機能と、
    　前記センサデータに基づいて前記ユーザのアクションを検出し、前記アクションはターンを含む機能と、
    　前記ターンに関する情報を生成する機能と
    　をコンピュータに実現させるためのプログラム。
     
PCT/JP2015/079177 2015-01-05 2015-10-15 情報処理装置、情報処理方法、およびプログラム Ceased WO2016111069A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/523,497 US20170312574A1 (en) 2015-01-05 2015-10-15 Information processing device, information processing method, and program
JP2016568286A JPWO2016111069A1 (ja) 2015-01-05 2015-10-15 情報処理装置、情報処理方法、およびプログラム
EP15876942.2A EP3243554B1 (en) 2015-01-05 2015-10-15 Information processing device, information processing method, and program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-000412 2015-01-05
JP2015-000414 2015-01-05
JP2015000414 2015-01-05
JP2015000412 2015-01-05

Publications (1)

Publication Number Publication Date
WO2016111069A1 true WO2016111069A1 (ja) 2016-07-14

Family

ID=56342221

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/079177 Ceased WO2016111069A1 (ja) 2015-01-05 2015-10-15 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US20170312574A1 (ja)
EP (1) EP3243554B1 (ja)
JP (1) JPWO2016111069A1 (ja)
CN (2) CN105749548B (ja)
WO (1) WO2016111069A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019534062A (ja) * 2016-08-31 2019-11-28 グリーンコム カンパニー リミテッドＧｒｅｅｎｃｏｍｍ Ｃｏ．，Ｌｔｄ． フィットネスモニタリングシステム
WO2020050108A1 (ja) * 2018-09-07 2020-03-12 日本電信電話株式会社 スキル情報提示装置、スキル情報提示方法、プログラム
CN111526926A (zh) * 2017-12-28 2020-08-11 株式会社万代南梦宫娱乐 计算机装置及评价控制方法
JP2020124389A (ja) * 2019-02-05 2020-08-20 トッパン・フォームズ株式会社 判別装置、情報提供システム、判別方法、および情報提供方法
JP2023514472A (ja) * 2019-11-22 2023-04-06 ナイキ イノベイト シーブイ 衣服ベースの動的動作スコアリング

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170312574A1 (en) * 2015-01-05 2017-11-02 Sony Corporation Information processing device, information processing method, and program
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体
JP2018101101A (ja) * 2016-12-21 2018-06-28 ソニー株式会社 カメラ制御装置及び撮像装置
JP2019021996A (ja) * 2017-07-12 2019-02-07 パナソニックＩｐマネジメント株式会社 ウェアラブルカメラ、ウェアラブルカメラシステム及び情報記録方法
CN107233718B (zh) * 2017-08-07 2023-04-21 深圳市科创数字显示技术有限公司 配合传感器的虚拟现实滑雪训练系统及方法
JP6989766B2 (ja) * 2017-09-29 2022-01-12 ミツミ電機株式会社 レーダー装置及び物標検出方法
CN108021888B (zh) * 2017-12-05 2021-09-24 电子科技大学 一种跌倒检测方法
JP7051503B2 (ja) * 2018-03-13 2022-04-11 アズビル株式会社 多変量時系列データの同期方法および多変量時系列データ処理装置
US11675617B2 (en) * 2018-03-21 2023-06-13 Toshiba Global Commerce Solutions Holdings Corporation Sensor-enabled prioritization of processing task requests in an environment
JP7237756B2 (ja) * 2019-07-03 2023-03-13 株式会社東芝 電子機器および情報処理システム
US12170148B2 (en) * 2019-07-24 2024-12-17 Janssen Pharmaceuticals, Inc. Learning platform for patient journey mapping
JP7436257B2 (ja) * 2020-03-25 2024-02-21 株式会社日立製作所 行動認識サーバ、行動認識システム、および、行動認識方法
US20240095310A1 (en) * 2020-12-07 2024-03-21 Sony Group Corporation Information processing device, data generation method, grouping model generation method, grouping model learning method, emotion estimation model generation method, and grouping user information generation method
CN112569567B (zh) * 2020-12-11 2022-03-08 简极科技有限公司 护腿板监测方法
KR20230052459A (ko) * 2021-10-13 2023-04-20 라인플러스 주식회사 아바타 콘텐츠 생성 방법 및 시스템
CN113933012B (zh) * 2021-10-14 2024-01-30 西安现代控制技术研究所 基于K-means聚类的螺旋桨转速测量方法
JP7778364B2 (ja) * 2022-04-19 2025-12-02 株式会社Ｉｓホールディングス スキー場における滑走コース運営方法、および、スキー場における滑走コース運営システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10340040A (ja) * 1998-07-07 1998-12-22 Namco Ltd シミュレータ及びこれを用いたゲーム装置
JP2008253470A (ja) * 2007-04-04 2008-10-23 Seiko Epson Corp 水泳距離計測装置及びその制御方法
JP2009050368A (ja) * 2007-08-24 2009-03-12 Masashi Hosoya 水泳量計測装置
JP2010273746A (ja) * 2009-05-27 2010-12-09 Panasonic Corp リハビリ動作の判定装置
JP2011120644A (ja) * 2009-12-08 2011-06-23 Yamaha Corp 回転動作解析装置及びプログラム
JP2012120579A (ja) * 2010-12-06 2012-06-28 Seiko Epson Corp 運動解析装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090029754A1 (en) * 2007-07-23 2009-01-29 Cybersports, Inc Tracking and Interactive Simulation of Real Sports Equipment
US20110301432A1 (en) * 2010-06-07 2011-12-08 Riley Carl W Apparatus for supporting and monitoring a person
WO2011085501A1 (en) * 2010-01-18 2011-07-21 Recon Instruments Inc. Head mounted information systems and related methods
JP2013122725A (ja) * 2011-12-12 2013-06-20 Nikon Corp 電子機器
US8929709B2 (en) * 2012-06-11 2015-01-06 Alpinereplay, Inc. Automatic digital curation and tagging of action videos
JP5959010B2 (ja) * 2013-04-24 2016-08-02 ニチコン株式会社 過電流検出装置
CN104224189A (zh) * 2014-09-22 2014-12-24 青岛蓝图文化传播有限公司市南分公司 一种开关电源供电的行为监控手环
JP6572494B2 (ja) * 2014-10-23 2019-09-11 国立大学法人 筑波大学 評価値算出プログラム、評価値算出方法、情報処理装置
US20170312574A1 (en) * 2015-01-05 2017-11-02 Sony Corporation Information processing device, information processing method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10340040A (ja) * 1998-07-07 1998-12-22 Namco Ltd シミュレータ及びこれを用いたゲーム装置
JP2008253470A (ja) * 2007-04-04 2008-10-23 Seiko Epson Corp 水泳距離計測装置及びその制御方法
JP2009050368A (ja) * 2007-08-24 2009-03-12 Masashi Hosoya 水泳量計測装置
JP2010273746A (ja) * 2009-05-27 2010-12-09 Panasonic Corp リハビリ動作の判定装置
JP2011120644A (ja) * 2009-12-08 2011-06-23 Yamaha Corp 回転動作解析装置及びプログラム
JP2012120579A (ja) * 2010-12-06 2012-06-28 Seiko Epson Corp 運動解析装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019534062A (ja) * 2016-08-31 2019-11-28 グリーンコム カンパニー リミテッドＧｒｅｅｎｃｏｍｍ Ｃｏ．，Ｌｔｄ． フィットネスモニタリングシステム
CN111526926A (zh) * 2017-12-28 2020-08-11 株式会社万代南梦宫娱乐 计算机装置及评价控制方法
WO2020050108A1 (ja) * 2018-09-07 2020-03-12 日本電信電話株式会社 スキル情報提示装置、スキル情報提示方法、プログラム
JP2020039457A (ja) * 2018-09-07 2020-03-19 日本電信電話株式会社 スキル情報提示装置、スキル情報提示方法、プログラム
JP7147390B2 (ja) 2018-09-07 2022-10-05 日本電信電話株式会社 スキル情報提示装置、スキル情報提示方法、プログラム
JP2020124389A (ja) * 2019-02-05 2020-08-20 トッパン・フォームズ株式会社 判別装置、情報提供システム、判別方法、および情報提供方法
JP7164456B2 (ja) 2019-02-05 2022-11-01 トッパン・フォームズ株式会社 判別装置、情報提供システム、判別方法、および情報提供方法
JP2023514472A (ja) * 2019-11-22 2023-04-06 ナイキ イノベイト シーブイ 衣服ベースの動的動作スコアリング
JP7739285B2 (ja) 2019-11-22 2025-09-16 ナイキ イノベイト シーブイ 仮想環境を制御する方法
US12673251B2 (en) 2019-11-22 2026-07-07 Nike, Inc. Method of controlling or augmenting a virtual environment or live video broadcast via sensed motion

Also Published As

Publication number Publication date
CN105749548A (zh) 2016-07-13
CN105749548B (zh) 2020-12-04
EP3243554A4 (en) 2018-07-11
JPWO2016111069A1 (ja) 2017-10-12
EP3243554A1 (en) 2017-11-15
EP3243554B1 (en) 2022-07-20
CN205750721U (zh) 2016-11-30
US20170312574A1 (en) 2017-11-02

Similar Documents

Publication Publication Date Title
CN205750721U (zh) 信息处理装置
JP6658545B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20250295990A1 (en) Method of haptic responses and interacting
US11052321B2 (en) Applying participant metrics in game environments
US11701586B2 (en) Drama engine for dramatizing video gaming
US20170216675A1 (en) Fitness-based game mechanics
US20100271367A1 (en) Method and apparatus for combining a real world event and a computer simulation
US9776088B2 (en) Apparatus and method of user interaction
US11673050B2 (en) Node based world mapping for finite, depth first search
EP4586180A1 (en) Information processing device, information processing method, and program
US20180161624A1 (en) Frameworks and methodologies configured to enable gamification via sensor-based monitoring of physically performed skills, including location-specific gamification
US12248620B2 (en) Metric-driven improvements of virtual reality experiences
JP2018522361A (ja) パフォーマンスセンサユニットから得られるユーザパフォーマンス属性に基づいてメディアデータの自動化された分類及び／又は検索を可能にするように構成されたフレームワーク、デバイス及び方法論
JP2023027017A (ja) ジェスチャベーススキル検索
US20240066410A1 (en) Metric-driven improvements of virtual reality experiences
CN119730930A (zh) 用于预测多玩家游戏会话的持续时间的方法和系统
WO2016092933A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR20190038748A (ko) 성능 모니터링 하드웨어를 통한 사용자 성능 모니터링에 기초하여 기능 훈련 데이터의 실시간 적응 공급을 가능하게 하는 구조 및 방법
US12168175B2 (en) Method and system for automatically controlling user interruption during game play of a video game
US20250021166A1 (en) Controller use by hand-tracked communicator and gesture predictor
JP2024035212A (ja) 仮想現実体験のメトリック駆動型改良
JP2026035478A (ja) システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15876942

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016568286

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15523497

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015876942

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE