WO2010143361A1 - 作業認識システム、作業認識装置および作業認識方法 - Google Patents

作業認識システム、作業認識装置および作業認識方法 Download PDF

Info

Publication number
WO2010143361A1
WO2010143361A1 PCT/JP2010/003419 JP2010003419W WO2010143361A1 WO 2010143361 A1 WO2010143361 A1 WO 2010143361A1 JP 2010003419 W JP2010003419 W JP 2010003419W WO 2010143361 A1 WO2010143361 A1 WO 2010143361A1
Authority
WO
WIPO (PCT)
Prior art keywords
observation
time
user
work
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/003419
Other languages
English (en)
French (fr)
Inventor
水谷研治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2010541638A priority Critical patent/JP4719826B2/ja
Priority to CN201080003376.8A priority patent/CN102227697B/zh
Priority to US13/056,789 priority patent/US8654187B2/en
Publication of WO2010143361A1 publication Critical patent/WO2010143361A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/07—Home care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition

Definitions

  • the present invention relates to a work recognition system and a work recognition apparatus for recognizing a human work based on knowledge learned in advance such as image features.
  • Non-Patent Document 1 discloses a system for recognizing food such as vegetables or meat as a target object for a manual operation of cooking.
  • FIG. 18 shows an outline of processing for recognizing a human manual operation by the system disclosed in Non-Patent Document 1.
  • the designer applies offline the closed caption 102 corresponding to the caption explaining the cooking situation, for the image 101 obtained by photographing the cooking situation with the camera.
  • the system receives the image 101 and the closed caption 102 as inputs.
  • the system identifies the target object of the work by comparing the image 101 with the learned knowledge data at the time when the text is obtained from the closed caption 102.
  • the present invention has been made in consideration of the above circumstances, and an object thereof is to provide a work recognition system that can recognize a user's work in real time.
  • a work recognition device provides a time-series first observation value indicating the movement of a user's hand output by a speed sensor and an angle between the first observation values.
  • An overall observation time determination unit that determines, based on the difference, an overall observation time that is an observation time of the first observation value when a movement of the user's hand shows a predetermined movement from the first observation value;
  • the observation value selection for selecting the second observation value at the overall observation time determined by the overall observation time determination unit from the second observation values in time series indicating the status of the user's work output by the imaging unit A part.
  • This configuration makes it possible to evaluate the knowledge about a part of the second observation value obtained by the imaging unit and recognize the situation. For this reason, the range of the 2nd observation value which should evaluate knowledge data can be narrowed down. Therefore, the amount of calculation for work recognition can be reduced. For this reason, a user's work can be recognized in real time. In addition, it is not necessary to prepare in advance such as preparing closed captions in order to calculate the total observation time.
  • the present invention can be realized not only as a work recognition device including such a characteristic processing unit, but also as a work recognition method including steps executed by the characteristic processing unit included in the work recognition device. Can be realized. It can also be realized as a program for causing a computer to execute characteristic steps included in the work recognition method. Needless to say, such a program can be distributed via a computer-readable recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet.
  • a computer-readable recording medium such as a CD-ROM (Compact Disc-Read Only Memory) or a communication network such as the Internet.
  • the present invention it is possible to recognize work at a high speed by greatly reducing the amount of calculation spent for knowledge evaluation. At the same time, it is possible to reduce the power consumed for useless calculations. Thereby, a user's work can be recognized in real time.
  • FIG. 1 is a diagram illustrating a usage pattern of the manual operation recognition apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a functional block diagram of the manual operation recognition apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a configuration diagram of the first sensor of the manual operation recognition device according to Embodiment 1 of the present invention.
  • FIG. 4 is an internal configuration diagram of the overall observation time determination unit in Embodiment 1 of the present invention.
  • FIG. 5A is a diagram illustrating a relationship between the acceleration a (t) and the gravitational acceleration g.
  • FIG. 5B is a diagram showing an approximate expression of the acceleration magnitude
  • FIG. 5A is a diagram illustrating a usage pattern of the manual operation recognition apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a functional block diagram of the manual operation recognition apparatus according to Embodi
  • FIG. 6A is a diagram for explaining the angle difference.
  • FIG. 6B is a diagram illustrating an angle difference calculation formula used by the angle difference calculation unit according to Embodiment 1 of the present invention.
  • FIG. 7 is a conceptual diagram showing the operation of the time determination unit in Embodiment 1 of the present invention.
  • FIG. 8A is a diagram illustrating changes in magnitude and direction of hand acceleration when the hand picks up an object.
  • FIG. 8B is a diagram illustrating changes in the magnitude and direction of hand acceleration when the hand places an object.
  • FIG. 9 is a conceptual diagram showing a method for determining the overall observation time by the time determination unit in Embodiment 1 of the present invention.
  • FIG. 10 is a flowchart of processing executed by the manual operation recognition device according to Embodiment 1 of the present invention.
  • FIG. 11 is a diagram for describing a second observation value selection process by the observation value selection unit according to Embodiment 1 of the present invention.
  • FIG. 12 is a diagram showing an example of data relating to the color of the foodstuff in the first embodiment of the present invention.
  • FIG. 13 is a diagram illustrating an example of a positive example in which a learning device included in the time determination unit according to Embodiment 2 of the present invention learns.
  • FIG. 14 is a diagram illustrating an example of a negative example that is learned by the learning device included in the time determination unit according to Embodiment 2 of the present invention.
  • FIG. 15 is a flowchart of processing executed by the manual operation recognition device according to Embodiment 2 of the present invention.
  • FIG. 16 is an external view of the manual operation recognition apparatus according to Embodiment 1 or 2 of the present invention.
  • FIG. 17 is a block diagram showing a hardware configuration of the manual operation recognition device according to Embodiment 1 or 2 of the present invention.
  • FIG. 18 is a diagram showing an outline of processing for recognizing a human manual operation disclosed in Non-Patent Document 1.
  • a system is considered in which an action of a user corresponding to a closed caption or an object that the user is to act on is acquired in real time from an image of cooking. At this time, according to the embodiment described below, it is possible to efficiently observe only the image that is characteristic of the cooking operation. For this reason, it is not necessary to evaluate all the images, and the user's action or object can be extracted with good response by increasing the processing speed.
  • FIG. 1 shows a form of use of the present invention in actual manual recognition.
  • the 2nd sensor 202 is image
  • the manual operation recognition device recognizes the operation (places meat on a cutting board). After that, the manual operation recognition device presents the user with a procedure to be followed by the user (cut the meat, immerse it in sauce and let it sleep in the refrigerator for 30 minutes) as a video.
  • the first sensor 201 has a built-in acceleration sensor and is mounted on the user's dominant hand.
  • the second sensor 202 is a camera and images the entire user's work situation.
  • the recognition result in the manual operation recognition device is used as a trigger for processing of the information providing device 203 that provides various information such as presentation of the next work procedure and warning of danger associated with the work.
  • FIG. 2 is a functional block diagram showing the configuration of the manual operation recognition system in Embodiment 1 of the present invention.
  • the manual operation recognition system is a system for recognizing a user's manual operation, and includes a first sensor 201, a second sensor 202, and a manual operation recognition device 300.
  • the manual operation recognition device 300 is a device that recognizes the user's manual operation based on the observation value of the first sensor 201 and the observation value of the second sensor 202.
  • the first sensor 201 outputs the first observation value indicating the movement of the user in time series by observing the movement of the hand of the user who performs the manual operation.
  • the second sensor 202 observes the situation of the user's manual work and outputs second observation values indicating the situation of the manual work in time series.
  • the manual operation recognition apparatus 300 recognizes the user's manual operation based on the first observation value in time series and the second observation value in time series.
  • the manual operation recognition apparatus 300 includes an overall observation time determination unit 303, an observation value selection unit 304, and a situation recognition unit 305.
  • the overall observation time determination unit 303 determines the observation time (hereinafter referred to as “total observation time”) of the first observation value in which the movement of the user's hand shows a predetermined movement based on the first observation value in time series. To do.
  • the observation value selection unit 304 selects the second observation value observed at the overall observation time determined by the overall observation time determination unit 303.
  • the situation recognition unit 305 compares the second observation value selected by the observation value selection unit 304 with knowledge data associated with the user's manual operation when the user shows the predetermined movement, thereby Identify manual work.
  • the situation recognition unit 305 includes a known recognition unit as described in Non-Patent Document 1. That is, for each manual operation of the user, the situation recognition unit 305 calculates the degree of matching between the knowledge data of the image feature learned in advance and the second observation value, and performs the manual operation of the user corresponding to the most suitable knowledge data. , Output as the current manual recognition result.
  • knowledge data is generated by learning the color distribution in the image data.
  • the color of the food is characteristic
  • knowledge data is generated by learning the color distribution in the image data.
  • the temporal change of the color of the food is characteristic
  • knowledge data may be generated by learning the temporal change of the color distribution in the time series of the image data. For example, when the onion is chopped, knowledge data may be generated such that the white area increases with time as a temporal change in the color distribution.
  • FIG. 3 shows the configuration of the first sensor 201.
  • the first sensor 201 includes a triaxial acceleration sensor 401, a wireless data transmission / reception unit 402, and a power supply unit 403.
  • the 3-axis acceleration sensor 401 is a small semiconductor accelerometer manufactured using MEMS (Micro Electro Mechanical Systems) technology.
  • the triaxial acceleration sensor 401 has a standard specification capable of measuring an acceleration of around ⁇ 3G (G is gravitational acceleration) with respect to the three axes x, y, and z.
  • the triaxial acceleration sensor 401 has a specification for outputting data of around 40 samples per second.
  • the wireless data transmission / reception unit 402 transmits the observation value (the first observation value) of the triaxial acceleration sensor 401 to the overall observation time determination unit 303 of the manual operation recognition device 300 in real time. At this time, the wireless data transmission / reception unit 402 transmits the observation value to the overall observation time determination unit 303 using a wireless data transmission standard such as Bluetooth (registered trademark) serial port profile.
  • a wireless data transmission standard such as Bluetooth (registered trademark) serial port profile.
  • the power supply unit 403 is a disposable primary battery or a rechargeable secondary battery that supplies power necessary for these operations to the triaxial acceleration sensor 401 and the wireless data transmission / reception unit 402.
  • the first sensor 201 is of a size that can be worn on a person's arm, and is in close contact with the arm so as to react quickly to the movement of the arm.
  • FIG. 4 shows the internal configuration of the overall observation time determination unit 303.
  • the overall observation time determination unit 303 includes a wireless data transmission / reception unit 504, a magnitude estimation unit 501, an angle difference calculation unit 502, and a time determination unit 503.
  • the wireless data transmission / reception unit 504 receives the acceleration a (t) that is an observation value of the triaxial acceleration sensor 401 transmitted from the wireless data transmission / reception unit 402.
  • the magnitude estimation unit 501 estimates the magnitude
  • gravity acts on the accelerometer (three-axis acceleration sensor 401). Therefore, as shown in FIG. 5A, the acceleration a (t) output from the accelerometer is a vector sum of the gravitational acceleration g and the acceleration ⁇ (t) excluding the gravitational acceleration g.
  • the angle ⁇ formed by the gravitational acceleration g and the acceleration excluding the gravitational acceleration g is unknown. For this reason, it is impossible to accurately remove the gravitational acceleration component.
  • the angle difference calculation unit 502 determines the acceleration a (t) and the acceleration (a (t ⁇ 1)) and the angle formed by. Specifically, as shown in FIG. 6A, an angle formed by the acceleration a (t) at the measurement time t of interest and the acceleration a (t ⁇ 1) at the previous measurement time (t ⁇ 1) ( (Minimum value 0, maximum value ⁇ , unit is radian). That is, the angle difference calculation unit 502 calculates the angle difference ⁇ (t) according to the calculation formula shown in FIG. 6B.
  • the time determination unit 503 sets the measurement time t focused on the calculation of the angle difference ⁇ (t) as the overall observation time when under a predetermined condition.
  • the predetermined conditions are the magnitude
  • the observation value selection unit 304 selects the second observation value at the determined overall observation time.
  • a movement characteristic of placing an object held in the hand after the direction of the hand is stabilized or holding an object placed after the direction of the hand is stabilized is observed. That is, the acceleration of the hand changes sharply after the posture of the hand is stabilized.
  • the time determination unit 503 uses this characteristic to determine the overall observation time. That is, as shown in FIG. 7, the magnitude estimation unit 501 within the predetermined maximum maximum value arrival time Tth immediately after the time Tp when the angle difference ⁇ (t) calculated by the angle difference calculation unit 502 asymptotically approaches 0.
  • the time determination unit 503 determines the time Tp at which the angle difference ⁇ (t) asymptotically approaches 0 as a whole. Determined as observation time.
  • This process is a process that focuses on the change in the magnitude and direction of the hand acceleration as shown in FIG.
  • the processing focuses on the change in the magnitude and direction of the hand acceleration as shown in FIG. 8B.
  • the time determination unit 503 moves in the time axis direction while overlapping the constant observation time width Tw, and sequentially samples the value of the angle difference ⁇ (t) included in the observation time width Tw.
  • the time during which the angle difference ⁇ (t) continuously decreases from the start time of the observation time width Tw exceeds the preset minimum decrease time Td, and the angle difference ⁇ (t)
  • the time determination unit 503 determines the observation time of the minimum value of the angle difference ⁇ (t) as the time Tp.
  • immediately after the time Tp is equal to or shorter than the preset maximum maximum value arrival time Tth, and
  • the time determination unit 503 outputs the time Tp as the overall observation time. More specifically, when
  • Ta ⁇ Tp ⁇ Tth is satisfied and
  • the time determination unit 503 outputs the time Tp as the overall observation time.
  • the minimum decrease time Td, threshold value ⁇ th, maximum maximum value arrival time Tth, and threshold value ⁇ th are determined by actually observing the user's work and fine-tuning them to values that give appropriate results. . Some of these threshold values may not be present. For example, the determination using the threshold value ⁇ th may be omitted.
  • the second sensor 202 is a camera that captures a moving image.
  • the second sensor 202 has a specification for outputting color still image data of about 30 frames per second as the second observation value.
  • the magnitude estimation unit 501 estimates the magnitude
  • the magnitude estimation unit 501 sequentially estimates
  • the angle difference calculation unit 502 calculates the angle (angle difference ⁇ (t) between the acceleration a (t) at the measurement time t of interest and the acceleration a (t ⁇ 1) at the previous measurement time (t ⁇ 1). )) Is calculated (S4).
  • the angle difference calculation unit 502 calculates the angle difference ⁇ (t) sequentially for each measurement time t (S4).
  • the time determination unit 503 uses the magnitude of the acceleration ⁇ (t)
  • the time determination unit 503 sets in advance a time during which the angle difference ⁇ (t) continuously decreases from the start time of the observation time width Tw in the range of the observation time width Tw. It is determined whether or not the minimum decrease time Td is exceeded (S6).
  • the time determination unit 503 determines the angle difference ⁇ (t) included in the observation time width Tw. It is determined whether or not the local minimum value is equal to or less than the threshold value ⁇ th (S8).
  • the time determination unit 503 determines the observation time of the minimum value of the angle difference ⁇ (t) as the time Tp (S10). ).
  • the time determination unit 503 determines that the time from the time Tp to the observation time Ta of the maximum value of
  • the time determination unit 503 determines that the maximum value of
  • the time determination unit 503 When the maximum value of
  • the observation value selection unit 304 selects the second observation value observed by the second sensor 202 at the entire observation time Tp (S18). Thereby, an image as shown in FIG. 11B is selected from an image observed by the second sensor 202 as shown in FIG.
  • the situation recognition unit 305 identifies the user's manual operation by comparing the second observation value selected by the observation value selection unit 304 with the knowledge data associated with the user's manual operation (S20). For example, data relating to the color of the food shown in FIG. 12 is prepared as knowledge data, and the color distribution of the pixels constituting the camera image of the second observation value selected by the observation value selection unit 304 as shown in FIG. And the knowledge data are compared to identify the object. In FIG. 12, the horizontal axis indicates the value of the red component of the pixel, and the vertical axis indicates the normalized frequency. Knowledge data such as “skinned onion” or “skinned onion” may be prepared as data relating to a color obtained by further subdividing the object.
  • the user's action as shown in FIG. 11B may be identified.
  • the object is recognized as “onion” and the action is recognized as “having” by comparison with the knowledge data as described above. Is output.
  • the entire observation time is not calculated and the process ends.
  • the minimum value of the angle difference ⁇ (t) is larger than the threshold value ⁇ th (NO in S8), the entire observation time is not calculated, and the process ends.
  • is equal to or less than the threshold value ⁇ th (NO in S14), the entire observation time is not calculated, and the process ends.
  • the above processing from S6 to S20 is repeatedly executed while moving the observation time width Tw shown in FIG. 9 in the time axis direction.
  • the second sensor 202 outputs a continuous second observation value.
  • the observation value selection unit 304 selects the second observation value to be input to the situation recognition unit 305 as illustrated in FIG. 11B according to the overall observation time Tp determined by the overall observation time determination unit 303.
  • the overall observation time determination unit 303 determines the overall observation time Tp in real time according to the processing described above based on changes in the angle difference ⁇ (t) and the magnitude of acceleration
  • the situation recognition unit 305 calculates the degree of fitness between the second observation value and the knowledge data of the image feature learned in advance for each manual operation of the user only for the given second observation value. Then, based on the degree of matching, the user's manual work corresponding to the most suitable knowledge data is output as a recognition result of the current manual work. Therefore, the situation recognizing unit 305 can significantly reduce the amount of calculation spent for evaluating the learning knowledge for the input observation value by partially evaluating the second observation value. Therefore, the user's action or object can be extracted with high response by increasing the processing speed.
  • Embodiment 2 The manual operation recognition system according to Embodiment 2 is different from the manual operation recognition system according to Embodiment 1 in the method for determining the overall observation time performed by the time determination unit 503. The rest is the same as in the first embodiment. Therefore, detailed description thereof will not be repeated here.
  • the time determination unit 503 has a known learning device such as an SVM (Support Vector Machine), a perceptron, or a neuro discriminator, and uses this learning device to determine a time Tp at which the angle difference ⁇ (t) is minimized.
  • SVM Serial Vector Machine
  • perceptron a perceptron
  • neuro discriminator uses this learning device to determine a time Tp at which the angle difference ⁇ (t) is minimized.
  • FIG. 13 is a diagram illustrating an example of a positive example used for learning.
  • the angle difference ⁇ (t) continuously decreases from the start time of the observation time width Tw to the minimum decrease time Td. Further, the angle difference ⁇ (t) becomes a minimum at the central time (time Tp) of the observation time width Tw, and the minimum value of the angle difference ⁇ (t) becomes equal to or less than a preset threshold value ⁇ th.
  • FIG. 14 is a diagram illustrating an example of an angle difference ⁇ (t) indicating a negative example.
  • the negative example is a waveform of all angle differences ⁇ (t) other than the positive example.
  • the positive condition that the angle difference ⁇ (t) continuously decreases from the start time of the observation time width Tw to the minimum decrease time Td is not satisfied.
  • the condition that the angle difference ⁇ (t) is minimum at the central time of the observation time width Tw and the minimum value of the angle difference ⁇ (t) is equal to or less than a preset threshold value ⁇ th is not satisfied.
  • the time determination unit 503 moves in the time axis direction while overlapping the constant observation time width Tw, and sequentially samples the value of the angle difference ⁇ (t) included in the observation time width Tw.
  • the time determination unit 503 inputs the angle difference ⁇ (t) included in the observation time width Tw to the learning device described above.
  • the time determination unit 503 determines the center time of the observation time width Tw as the time Tp when the output of the learning device indicates a positive example, and determines the time Tp when the output of the learning device indicates a negative example. Does not. Thereafter, the time determination unit 503 determines whether or not the time Ta exists, as in the first embodiment, and outputs the time Tp as the overall observation time when the time Ta exists.
  • the process executed by the manual operation recognition apparatus in the second embodiment is the same as the process executed by the manual operation recognition apparatus in the first embodiment shown in FIG. 10 except that the processes of S32 and S34 are performed instead of the processes of S6 to S10. Execute. Other processes are the same as those in the first embodiment. Therefore, detailed description thereof will not be repeated here.
  • the time determination unit 503 moves in the time axis direction while overlapping the constant observation time width Tw, and sequentially samples the value of the angle difference ⁇ (t) included in the observation time width Tw.
  • the time determination unit 503 inputs the angle difference ⁇ (t) included in the observation time width Tw to the learning device described above.
  • the time determination unit 503 determines the center time of the observation time width Tw as the time Tp (S34), and the output of the learning device indicates a negative example. In this case (NO in S32), the time Tp is not determined.
  • the second sensor 202 outputs a continuous second observation value.
  • the observation value selection unit 304 selects the second observation value to be input to the situation recognition unit 305 as illustrated in FIG. 11B according to the overall observation time Tp determined by the overall observation time determination unit 303.
  • the overall observation time determination unit 303 determines the overall observation time Tp in real time according to the processing described above based on changes in the angle difference ⁇ (t) and the magnitude of acceleration
  • the situation recognition unit 305 calculates the degree of fitness between the second observation value and the knowledge data of the image feature learned in advance for each manual operation of the user only for the given second observation value. Then, based on the degree of matching, the user's manual work corresponding to the most suitable knowledge data is output as a recognition result of the current manual work. Therefore, the situation recognizing unit 305 can significantly reduce the amount of calculation spent for evaluating the learning knowledge for the input observation value by partially evaluating the second observation value. Therefore, the user's action or object can be extracted with high response by increasing the processing speed.
  • the user's manual work is recognized.
  • the recognition target is not limited to the manual work, and is limited to the manual work as long as the work is associated with the movement of the user's hand.
  • the second sensor 202 may image the entire user. Accordingly, the user's motion can be recognized by comparing the second observation value with the knowledge data of the user's motion associated with the user's hand motion. Further, the second sensor 202 may image the user's feet. Thereby, it becomes possible to recognize the work by the user's foot by comparing the second observation value and the knowledge data of the user's foot work associated with the movement of the user's hand.
  • observation value selection unit 304 may select not only the second observation value but also the first observation value observed at the same overall observation time.
  • observation value selection unit 304 may select not only the second observation value at the whole observation time Tp but also the second observation values of several frames before and after the whole observation time Tp.
  • the overall observation time determination unit 303 uses the time Tp as the overall observation time, but may use the time Ta as the overall observation time.
  • the learning device of the time determination unit 503 of the second embodiment determines the time Tp only from the angle difference ⁇ (t), but
  • the time Tp may be determined by sampling together with (t) and using it together with the angle difference ⁇ (t).
  • the operation of the present invention has been described by taking cooking work in a general home as an example, but the present invention is not limited to this.
  • the present invention can be used for manual work other than ordinary homes, such as assembly work of home appliances at a production site, as long as it is a manual work carefully performed by a person.
  • the result of work recognition can be used for production process management and efficiency improvement.
  • the result of work recognition is given to the moving image as an index of moving images accumulated every day. This makes it possible to quickly access a desired work scene when analyzing moving images stored offline later.
  • the second sensor may be a microphone that collects sound caused by manual work.
  • the situation recognizing unit 305 calculates the degree of matching between the knowledge data of acoustic features learned in advance for each manual operation of the user and the current sound, and calculates the manual operation corresponding to the most suitable knowledge data as the current manual operation. You may output as a recognition result of manual work.
  • the second sensor may be a camera that picks up manual work and a microphone that picks up sounds caused by the manual work.
  • the situation recognition unit 305 performs processing based on the degree of matching between the image feature knowledge data and acoustic feature knowledge data learned in advance for each manual operation of the user, and the current image and sound. Also good. Specifically, the manual operation corresponding to the most suitable knowledge data may be output as the recognition result of the current manual operation based on the above-described degree of matching.
  • a sensor having the same configuration as the first sensor 201 is mounted on both the left and right hands, and the entire observation time determination unit 303 is independently provided for each of the left hand and the right hand. It is possible to increase the second observation value.
  • a gyro sensor or an angular velocity sensor in three directions may be integrated into the three-axis acceleration sensor 401 to estimate the attitude of the angular velocity sensor. Accordingly, it is possible to estimate
  • a manual recognition device 300 includes a computer 34, a keyboard 36 and a mouse 38 for giving instructions to the computer 34, a display 32 for presenting information such as calculation results of the computer 34, A CD-ROM (Compact Disc-Read Only Memory) device 40 for reading a program executed by the computer 34 and a communication modem (not shown) are included.
  • a computer 34 includes a computer 34, a keyboard 36 and a mouse 38 for giving instructions to the computer 34, a display 32 for presenting information such as calculation results of the computer 34, A CD-ROM (Compact Disc-Read Only Memory) device 40 for reading a program executed by the computer 34 and a communication modem (not shown) are included.
  • CD-ROM Compact Disc-Read Only Memory
  • a program for recognizing manual work is stored in a CD-ROM 42 which is a computer-readable medium and is read by the CD-ROM device 40. Alternatively, it is read by a communication modem through the computer network 26.
  • FIG. 17 is a block diagram showing a hardware configuration of the manual operation recognition device 300.
  • the computer 34 includes a CPU (Central Processing Unit) 44, a ROM (Read Only Memory) 46, a RAM (Random Access Memory) 48, a hard disk 50, a communication modem 52, and a bus 54.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 44 executes the program read via the CD-ROM device 40 or the communication modem 52.
  • the ROM 46 stores programs and data necessary for the operation of the computer 34.
  • the RAM 48 stores data such as parameters at the time of program execution.
  • the hard disk 50 stores programs and data.
  • the communication modem 52 communicates with other computers via the computer network 26.
  • the bus 54 connects the CPU 44, the ROM 46, the RAM 48, the hard disk 50, the communication modem 52, the display 32, the keyboard 36, the mouse 38, and the CD-ROM device 40 to each other.
  • the system LSI is a super multifunctional LSI manufactured by integrating a plurality of components on one chip, and specifically, a computer system including a microprocessor, a ROM, a RAM, and the like. .
  • a computer program is stored in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • each of the above-described devices may be configured from an IC card or a single module that can be attached to and detached from each device.
  • the IC card or module is a computer system that includes a microprocessor, ROM, RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
  • the present invention provides a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray Disc). (Registered trademark)), or recorded in a semiconductor memory or the like. Further, the digital signal may be recorded on these recording media.
  • a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray Disc). (Registered trademark)), or recorded in a semiconductor memory or the like.
  • the digital signal may be recorded on these recording media.
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, data broadcasting, or the like.
  • the present invention may also be a computer system including a microprocessor and a memory.
  • the memory may store the computer program, and the microprocessor may operate according to the computer program.
  • the program or the digital signal is recorded on the recording medium and transferred, or the program or the digital signal is transferred via the network or the like, and is executed by another independent computer system. It is also good.
  • the manual operation recognition system has high-speed user operation recognition performance, and is useful as an operation trigger for white goods, housework support robots, and the like. It can also be applied to work recognition applications such as cleaning and washing, and monitoring applications such as assembly work in factories.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

　ユーザの作業を認識する作業認識装置は、第１センサ（２０１）が出力するユーザの手の動きを示す時系列の第１観測値の中から、ユーザの手の動きが所定の動きを示すときの第１観測値の観測時刻である全体観測時刻を決定する全体観測時刻決定部（３０３）と、第２センサ（２０２）が出力するユーザの作業の状況を示す第２観測値の中から、全体観測時刻決定部（３０３）で決定された全体観測時刻の第２観測値を選択する観測値選択部（３０４）と、観測値選択部（３０４）で選択された第２観測値と、ユーザの手の動きが上記所定の動きを示す際のユーザの作業に関連付けられた知識データとを比較することにより、ユーザの作業を同定する状況認識部（３０５）とを備える。

Description

作業認識システム、作業認識装置および作業認識方法
　本発明は、画像特徴などの事前に学習された知識に基づいて、人の作業を認識する作業認識システムおよび作業認識装置に関する。
　近年、日常生活における調理、掃除および洗濯などの人が手で行う作業の状況を、カメラなどのセンサで観測し、当該作業を認識する作業認識システムが実現されつつある。この作業認識システムでは、作業対象のオブジェクトや人の作業行動の特徴を予めオフライン学習することにより知識データとして蓄積しておき、当該知識データとセンサの観測値とを比較することにより、オブジェクトまたは行動を認識する。認識された結果は、次の作業手順の提示もしくは作業に伴う危険の警告など様々な情報提供機器へのトリガーとして、または日常生活行動をログデータとして利用する機器への入力として利用される。例えば、非特許文献１には、調理という手作業に関して、野菜または肉などの食品を対象オブジェクトとして認識するシステムが開示されている。
　非特許文献１に開示されているシステムによって人の手作業を認識する処理の概要を図１８に示す。まず、設計者は、カメラで調理状況を撮影した画像１０１について、調理状況を解説する字幕に相当するクローズドキャプション１０２をオフラインで付与する。次に、再度、オフライン処理で、システムは、画像１０１とクローズドキャプション１０２とを入力として受ける。システムは、クローズドキャプション１０２からテキストが得られた時刻において、画像１０１と学習済みの知識データとを比較することにより、作業の対象オブジェクトを同定する。
高野他「テキストからの制約に基づく料理画像中の物体検出」，人工知能学会全国大会２００３（１ページ、図２）
　しかしながら、人の作業状況に応じてリアルタイムに応答するような機器を構築する場合、人の作業をすべてオンラインで認識しなければならない。例えば、料理ガイドシステムなどでは、ある調理作業が完了した瞬間に次の調理作業内容を映像または音声で提示しなければならない。このため、リアルタイム処理では、非特許文献１において、知識評価に費やされる計算処理を削減するために利用されるクローズドキャプション１０２を予め用意しておくことができない。よって、等時間間隔でサンプリングされる全ての画像に対して、常時、知識データとの比較を行わなければならない。そのため、この比較に必要な計算量は、画像のフレームレートもしくは解像度、または知識データの質もしくは量に比例して膨大な量となり、リアルタイム性が著しく低下する。また、時間に対する画像の変化を特徴とする知識データの場合、作業の時間幅が伸縮する可能性がある。このため、伸縮を考慮しながら知識データとの比較を行う必要があり、計算量はさらに膨大になる。
　本発明は、上記事情を考慮してなされたもので、リアルタイムでユーザの作業を認識することができる作業認識システム等を提供することを目的とする。
　上記目的を達成するために、本発明のある局面に係る作業認識装置は、速度センサが出力するユーザの手の動きを示す時系列の第１観測値の大きさと前記第１観測値間の角度差分とに基づき、前記第１観測値の中から、前記ユーザの手の動きが所定の動きを示すときの前記第１観測値の観測時刻である全体観測時刻を決定する全体観測時刻決定部と、撮像部が出力する前記ユーザの作業の状況を示す時系列の第２観測値の中から、前記全体観測時刻決定部で決定された前記全体観測時刻の第２観測値を選択する観測値選択部とを備える。
　本構成によって、撮像部で得られる第２観測値の一部について知識を評価し、状況を認識することができる。このため、知識データを評価すべき第２観測値の範囲を絞り込むことができる。よって、作業の認識のための計算量を削減することができる。このため、リアルタイムでユーザの作業を認識することができる。また、全体観測時刻を算出するために、クローズドキャプションを用意する等の事前の準備が不要である。
　なお、本発明は、このような特徴的な処理部を備える作業認識装置として実現することができるだけでなく、作業認識装置に含まれる特徴的な処理部が実行する処理をステップとする作業認識方法として実現することができる。また、作業認識方法に含まれる特徴的なステップをコンピュータに実行させるためのプログラムとして実現することもできる。そして、そのようなプログラムを、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）等のコンピュータ読取可能な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
　本発明によれば、知識評価に費やされる計算量を大幅に削減されることで、高速に作業を認識することができる。同時に、無駄な計算に費やされる電力を削減することもできる。これにより、リアルタイムでユーザの作業を認識することができる。
図１は、本発明の実施の形態１における手作業認識装置の利用形態を示す図である。 図２は、本発明の実施の形態１における手作業認識装置の機能ブロック図である。 図３は、本発明の実施の形態１における手作業認識装置の第１センサの構成図である。 図４は、本発明の実施の形態１における全体観測時刻決定部の内部構成図である。 図５Ａは、加速度ａ（ｔ）と重力加速度ｇとの関係を示す図である。 図５Ｂは、本発明の実施の形態１におけるマグニチュード推定部が利用する重力加速度を除いた加速度の大きさ｜α（ｔ）｜の近似式を示す図である。 図６Ａは、角度差分を説明するための図である。 図６Ｂは、本発明の実施の形態１における角度差分計算部が利用する角度差分の計算式を示す図である。 図７は、本発明の実施の形態１における時刻決定部の動作を示す概念図である。 図８Ａは、手がオブジェクトを取る場合の、手の加速度の大きさおよび方向の変化について示す図である。 図８Ｂは、手がオブジェクトを置く場合の、手の加速度の大きさおよび方向の変化について示す図である。 図９は、本発明の実施の形態１における時刻決定部による全体観測時刻の決定方法を示す概念図である。 図１０は、本発明の実施の形態１における手作業認識装置が実行する処理のフローチャートである。 図１１は、本発明の実施の形態１における観測値選択部による第２観測値の選択処理を説明するための図である。 図１２は、本発明の実施の形態１における食材の色に関するデータの一例を示す図である。 図１３は、本発明の実施の形態２における時刻決定部が備える学習器に学習させる正例の一例を示す図である。 図１４は、本発明の実施の形態２における時刻決定部が備える学習器に学習させる負例の一例を示す図である。 図１５は、本発明の実施の形態２における手作業認識装置が実行する処理のフローチャートである。 図１６は、本発明の実施の形態１または２における手作業認識装置の外観図である。 図１７は、本発明の実施の形態１または２における手作業認識装置のハードウェア構成を示すブロック図である。 図１８は、非特許文献１に開示されている人の手作業を認識する処理の概要を示す図である。
　以下、本発明の実施の形態について、図面を参照しながら説明する。
　以下に示す実施の形態では、料理を行っている画像から、クローズドキャプションに相当するユーザの行為、またはユーザが行為の対象とするオブジェクトをリアルタイムで獲得するシステムを考える。このとき、以下に示す実施の形態によれば、料理作業で特徴となる画像のみを効率よく観測できる。このため、すべての画像を評価する必要がなく、処理速度を高速化してレスポンス良くユーザの行為またはオブジェクトを抽出することができる。
　（実施の形態１）
　実際の手作業認識における本発明の利用形態を図１に示す。図１では、第２センサ２０２が、ユーザが料理をしている状況を撮影している。手作業認識装置は、その作業（まな板に肉を置く）を認識する。その後、手作業認識装置は、次にユーザがすべき手順（肉を筋切りしてタレに漬け、冷蔵庫で３０分寝かせる）を映像としてユーザに提示する。図１において、第１センサ２０１は、加速度センサを内蔵しており、ユーザの利き手に実装される。第２センサ２０２は、カメラであり、ユーザの作業状況全体を撮像する。手作業認識装置における認識結果は、次の作業手順の提示や作業に伴う危険の警告など様々な情報提供を行う情報提供機器２０３の処理のトリガーとして利用される。
　図２は、本発明の実施の形態１における手作業認識システムの構成を示す機能ブロック図である。
　手作業認識システムは、ユーザの手作業を認識するシステムであり、第１センサ２０１と、第２センサ２０２と、手作業認識装置３００とを含む。
　手作業認識装置３００は、第１センサ２０１での観測値および第２センサ２０２での観測値に基づいて、ユーザの手作業を認識する装置である。
　第１センサ２０１は、手作業を行うユーザの手の動きを観測することにより、当該手の動きを示す第１観測値を時系列で出力する。第２センサ２０２は、ユーザの手作業の状況を観測し、当該手作業の状況を示す第２観測値を時系列で出力する。
　手作業認識装置３００は、時系列の第１観測値および時系列の第２観測値に基づいて、ユーザの手作業を認識する。手作業認識装置３００は、全体観測時刻決定部３０３と、観測値選択部３０４と、状況認識部３０５とを備える。
　全体観測時刻決定部３０３は、時系列の第１観測値に基づいて、ユーザの手の動きが所定の動きを示す第１観測値の観測時刻（以下、「全体観測時刻」という。）を決定する。
　観測値選択部３０４は、全体観測時刻決定部３０３で決定された全体観測時刻において観測された第２観測値を選択する。
　状況認識部３０５は、観測値選択部３０４で選択された第２観測値と、ユーザが前記所定の動きを示す際のユーザの手作業に関連付けられた知識データとを比較することにより、ユーザの手作業を同定する。状況認識部３０５は、非特許文献１に記載されているような、公知の認識手段により構成される。つまり、状況認識部３０５は、ユーザの手作業ごとに、事前に学習した画像特徴の知識データと第２観測値との適合度を計算し、最も適合する知識データに対応するユーザの手作業を、現在の手作業の認識結果として出力する。
　次に、知識データの一例について説明する。例えば、ユーザの手作業が調理作業であれば、食材の色が特徴的であるため、画像データにおける色分布を学習することにより、知識データが生成される。例えば、食材がトマトの場合は、色分布として赤色の領域が多いなどの知識データが生成される。また、調理作業の場合には、食材の色の時間的変化が特徴的であるため、画像データの時系列における色分布の時間的変化を学習することにより知識データを生成してもよい。例えば、玉ねぎをみじん切りにする場合は、色分布の時間的変化として白色の領域が時間と共に増加するなどの知識データを生成してもよい。第２観測値がこれらの知識データのいずれに該当するかを判断することにより、ユーザの手作業が同定される。
　図３に第１センサ２０１の構成を示す。第１センサ２０１は、３軸加速度センサ４０１と、無線データ送受信部４０２と、電源部４０３とを含む。
　３軸加速度センサ４０１は、ＭＥＭＳ（Micro Electro Mechanical Systems）技術を利用して製造された小型の半導体加速度計である。３軸加速度センサ４０１は、ｘ，ｙ，ｚの３軸について±３Ｇ前後（Ｇは重力加速度）の加速度を計測可能な標準的な仕様を有する。また、３軸加速度センサ４０１は、１秒間につき４０サンプル前後のデータを出力する仕様を有する。
　無線データ送受信部４０２は、手作業認識装置３００の全体観測時刻決定部３０３に対して、リアルタイムで、３軸加速度センサ４０１の観測値（上記第１観測値）を送信する。このとき、無線データ送受信部４０２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）シリアルポートプロファイルなどの無線データ伝送規格を用いて、全体観測時刻決定部３０３に観測値を送信する。
　電源部４０３は、３軸加速度センサ４０１および無線データ送受信部４０２に対して、これらの動作に必要な電力を供給する、使い捨ての一次電池または充電可能な二次電池である。
　第１センサ２０１は、図１に示すように、人の腕に装着可能な大きさであり、腕の動作に対して俊敏に反応するように腕に密着させる。
　図４に全体観測時刻決定部３０３の内部構成を示す。全体観測時刻決定部３０３は、無線データ送受信部５０４と、マグニチュード推定部５０１と、角度差分計算部５０２と、時刻決定部５０３とを含む。
　無線データ送受信部５０４は、無線データ送受信部４０２から送信される３軸加速度センサ４０１での観測値である加速度ａ（ｔ）を受信する。
　マグニチュード推定部５０１は、無線データ送受信部５０４が受信した加速度ａ（ｔ）から、重力加速度ｇを除いた加速度α（ｔ）の大きさ｜α（ｔ）｜を推定する。一般に加速度計（３軸加速度センサ４０１）には重力が作用している。このため、図５Ａに示すように、加速度計が出力する加速度ａ（ｔ）は、重力加速度ｇと重力加速度ｇを除いた加速度α（ｔ）とのベクトル和である。加速度計の姿勢が未知である場合は、重力加速度ｇと重力加速度ｇを除いた加速度とのなす角θが未知となる。このため、重力加速度成分を正確に除去することは不可能である。本実施の形態においては、図５Ｂに示す計算式により｜α（ｔ）｜を近似し、重力加速度ｇを除いた加速度α（ｔ）の大きさとして利用する。
　角度差分計算部５０２は、３軸加速度センサ４０１が観測する重力加速度を含む加速度ａ（ｔ）について、加速度ａ（ｔ）と、当該加速度ａ（ｔ）と時間が隣接する加速度（ａ（ｔ－１））とのなす角を計算する。具体的には、図６Ａに示すように、着目している計測時刻ｔにおける加速度ａ（ｔ）と１つ前の計測時刻（ｔ－１）における加速度ａ（ｔ－１）とのなす角（最小値０、最大値π、単位はｒａｄｉａｎ）を計算する。つまり、角度差分計算部５０２は、図６Ｂに示す計算式に従って、角度の差分Δφ（ｔ）を計算する。
　時刻決定部５０３は、所定の条件下にあるとき、角度差分Δφ（ｔ）の計算において着目している計測時刻ｔを、全体観測時刻とする。ここで、所定の条件下とは、マグニチュード推定部５０１により推定される重力加速度ｇを除いた加速度α（ｔ）の大きさ｜α（ｔ）｜と、角度差分計算部５０２により計算される角度差分Δφ（ｔ）とが所定のパターンを示す場合である。なお、上述したように、決定された全体観測時刻における第２観測値が観測値選択部３０４において選択される。
　慎重な手作業においては、手に持ったオブジェクトを手の方向が安定してから置く、または手の方向を安定させてから置かれたオブジェクトを手に持つ動作特性が見られる。つまり、手の姿勢が安定してから手の加速度が急峻に変化する。時刻決定部５０３はこの特性を利用して、全体観測時刻を決定する。つまり、図７に示すように、角度差分計算部５０２で計算された角度差分Δφ（ｔ）が０に漸近した時刻Ｔｐの直後の所定の最大極大値到達時間Ｔｔｈ内に、マグニチュード推定部５０１が出力する加速度の大きさ｜α（ｔ）｜が極大となる場合に（図７では時刻Ｔａで極大）、時刻決定部５０３は、角度差分Δφ（ｔ）が０に漸近した時刻Ｔｐを、全体観測時刻として決定する。この処理は、手でオブジェクトを取る場合には、手の加速度の大きさと方向の変化が図８Ａに示すように変化することに着目した処理である。また、手に持ったオブジェクトを置く場合には、手の加速度の大きさと方向の変化が図８Ｂに示すように変化することに着目した処理である。
　図９を参照して、具体的な全体観測時刻Ｔｐの決定方法について説明する。時刻決定部５０３は、一定の観察時間幅Ｔｗをオーバーラップさせながら時間軸方向に移動させ、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）の値を逐次サンプリングする。観察時間幅Ｔｗの範囲において、観察時間幅Ｔｗの開始時刻から角度差分Δφ（ｔ）が連続的に減少する時間が予め設定されている最小減少時間Ｔｄを超え、かつ角度差分Δφ（ｔ）の極小値が予め設定されている閾値φｔｈ以下となる場合に、時刻決定部５０３は、角度差分Δφ（ｔ）の極小値の観測時刻を時刻Ｔｐとして決定する。そして、時刻Ｔｐから時刻Ｔｐの直後の｜α（ｔ）｜の極大値の観測時刻Ｔａまでの時間が、予め設定されている最大極大値到達時間Ｔｔｈ以下の場合であって、かつ｜α（ｔ）｜の極大値の値が所定の閾値αｔｈを超えた場合に、時刻決定部５０３は、時刻Ｔｐを全体観測時刻として出力する。より具体的には、最大極大値到達時間Ｔｔｈの間、｜α（ｔ）｜が増加あるいは減少を続ける場合には、時刻決定部５０３は、全体観測時刻を出力しない。一方で、｜α（ｔ）｜が時刻Ｔｐから増加を続けて初めて減少に転じた時刻Ｔａに対して、Ｔａ－Ｔｐ≦Ｔｔｈが成立し、かつ｜α（Ｔａ）｜＞αｔｈである場合に、時刻決定部５０３は、時刻Ｔｐを全体観測時刻として出力する。
　定数および閾値である最小減少時間Ｔｄ、閾値φｔｈ、最大極大値到達時間Ｔｔｈおよび閾値αｔｈについては、実際にユーザの作業を観測し、適切な結果が得られる値に微調整することで決定される。なお、これらの閾値のうち、一部はなくても良い。例えば、閾値αｔｈを用いた判断を省略するようにしてもよい。
　第２センサ２０２は動画像を撮像するカメラである。例えば、第２センサ２０２は、１秒間に３０フレーム前後のカラー静止画像データを、上記第２観測値として出力する仕様を有する。
　以上のように構成された手作業認識システムにおける手作業認識装置が実行する処理の流れについて、図１０を参照しながら説明する。
　マグニチュード推定部５０１は、無線データ送受信部５０４が受信した加速度ａ（ｔ）から、重力加速度ｇを除いた加速度α（ｔ）の大きさ｜α（ｔ）｜を推定する（Ｓ２）。マグニチュード推定部５０１は、各計測時刻ｔについて順次、｜α（ｔ）｜を推定する。
　角度差分計算部５０２は、着目している計測時刻ｔにおける加速度ａ（ｔ）と１つ前の計測時刻（ｔ－１）における加速度ａ（ｔ－１）とのなす角（角度差分Δφ（ｔ））を計算する（Ｓ４）。角度差分計算部５０２は、各計測時刻ｔについて順次、角度差分Δφ（ｔ）を計算する（Ｓ４）。
　時刻決定部５０３は、Ｓ２およびＳ４の処理で順次計算される加速度α（ｔ）の大きさ｜α（ｔ）｜および角度差分Δφ（ｔ）を用いて、以下に説明するＳ６～Ｓ１６の処理を実行することにより、全体観測時刻を決定する。
　つまり、時刻決定部５０３は、図９に示すように、観察時間幅Ｔｗの範囲において、観察時間幅Ｔｗの開始時刻から角度差分Δφ（ｔ）が連続的に減少する時間が、予め設定されている最小減少時間Ｔｄを超えるか否かを判断する（Ｓ６）。
　角度差分Δφ（ｔ）が連続的に減少する時間が最小減少時間Ｔｄを超えている場合には（Ｓ６でＹＥＳ）、時刻決定部５０３は、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）の極小値が閾値φｔｈ以下となるか否かを判断する（Ｓ８）。
　角度差分Δφ（ｔ）の極小値が閾値φｔｈ以下である場合には（Ｓ８でＹＥＳ）、時刻決定部５０３は、角度差分Δφ（ｔ）の極小値の観測時刻を時刻Ｔｐとして決定する（Ｓ１０）。
　Ｓ１０の処理の後、時刻決定部５０３は、時刻Ｔｐから時刻Ｔｐの直後の｜α（ｔ）｜の極大値の観測時刻Ｔａまでの時間が、予め設定されている最大極大値到達時間Ｔｔｈ以下であるか否かを判断する（Ｓ１２）。
　時刻Ｔｐから時刻Ｔａまでの時間が最大極大値到達時間Ｔｔｈ以下の場合には（Ｓ１２でＹＥＳ）、時刻決定部５０３は、｜α（ｔ）｜の極大値の値が所定の閾値αｔｈを超えているか否かを判断する（Ｓ１４）。
　｜α（ｔ）｜の極大値の値が閾値αｔｈを超えている場合には（Ｓ１４でＹＥＳ）、時刻決定部５０３は、時刻Ｔｐを全体観測時刻として出力する（Ｓ１６）。
　観測値選択部３０４は、全体観測時刻Ｔｐにおいて第２センサ２０２で観測された第２観測値を選択する（Ｓ１８）。これにより、図１１（ａ）に示すような第２センサ２０２で観測された画像から、図１１（ｂ）に示すような画像が選択される。
　状況認識部３０５は、観測値選択部３０４で選択された第２観測値と、ユーザの手作業に関連付けられた知識データとを比較することにより、ユーザの手作業を同定する（Ｓ２０）。例えば、図１２に示す食材の色に関するデータを知識データとして準備し、図１１（ｂ）に示すような観測値選択部３０４で選択された第２観測値のカメラ映像を構成する画素の色分布と知識データとを比較してオブジェクトを同定する。図１２では、横軸が画素の赤色成分の値、縦軸が正規化した頻度を示している。知識データとして「皮を剥かれた玉ねぎ」または「皮の付いた玉ねぎ」など、さらにオブジェクトを細分化した色に関するデータ準備してもよい。また、人の手の色についても同様に色分布を用意し、さらに人の手の動作（「持つ」、「剥く」など）について、相当する形状を構成する画素の構造を知識データに加えることで、図１１（ｂ）に示すようなユーザの行為を同定してもよい。例えば、図１１(ｂ)の一番左端の第２観測値については、上記のような知識データとの比較により、オブジェクトが「玉ねぎ」と認識され、行為が「持つ」と認識され、この結果が出力される。
　なお、角度差分Δφ（ｔ）が連続的に減少する時間が最小減少時間Ｔｄ以下の場合には（Ｓ６でＮＯ）、全体観測時刻は計算されず、処理を終了する。同様に、角度差分Δφ（ｔ）の極小値が閾値φｔｈよりも大きい場合にも（Ｓ８でＮＯ）、全体観測時刻は計算されず、処理を終了する。さらに、時刻Ｔｐから時刻Ｔａまでの時間が最大極大値到達時間Ｔｔｈよりも大きい場合にも（Ｓ１２でＮＯ）、全体観測時刻は計算されず、処理を終了する。さらにまた、｜α（ｔ）｜の極大値の値が閾値αｔｈ以下の場合にも（Ｓ１４でＮＯ）、全体観測時刻は計算されず、処理を終了する。
　以上のＳ６～Ｓ２０までの処理を、図９に示す観察時間幅Ｔｗを時間軸方向に移動させながら繰り返し実行する。
　かかる構成によれば図１１（ａ）に示すように、第２センサ２０２は連続的な第２観測値を出力する。一方で、観測値選択部３０４は、全体観測時刻決定部３０３により決定された全体観測時刻Ｔｐに従って、図１１（ｂ）に示すような状況認識部３０５の入力となる第２観測値を選択する。この全体観測時刻決定部３０３は角度差分Δφ（ｔ）および加速度の大きさ｜α（ｔ）｜の変化に基づき、上記で述べた処理に従って全体観測時刻Ｔｐをリアルタイムで決定する。これにより、日常生活における調理、掃除、洗濯など人が慎重に手作業を行う場合は、人の手の動作開始、終了、動作中のターニングポイントなど、作業境界の可能性が高い第２観測値だけが抽出される。
　状況認識部３０５は与えられた第２観測値についてのみ、ユーザの手作業ごとに事前に学習した画像特徴の知識データと、第２観測値との適合度を計算する。そして、この適合度に基づき、最も適合する知識データに対応するユーザの手作業を、現在の手作業の認識結果として出力する。したがって、状況認識部３０５は第２観測値を部分的に評価することにより、入力観測値に対する学習知識の評価に費やす計算量を大幅に削減することができる。そのため、処理速度を高速化してレスポンス良くユーザの行為またはオブジェクトを抽出することができる。
　（実施の形態２）
　実施の形態２に係る手作業認識システムは、実施の形態１に係る手作業認識システムと、時刻決定部５０３が行なう全体観測時刻の決定方法が異なる。それ以外については、実施の形態１と同様である。このため、その詳細な説明は、ここでは繰り返さない。
　図１３および図１４を参照して、実施の形態２に係る時刻決定部５０３による全体観測時刻の決定方法について説明する。
　時刻決定部５０３は、ＳＶＭ（Support Vector Machine）、パーセプトロン、またはニューロ識別器など公知の学習器を有し、この学習器を用いて角度差分Δφ（ｔ）が極小となる時刻Ｔｐを決定する。
　時刻Ｔｐの決定のための事前準備として、学習器には、時刻Ｔｐを中心時刻とする観察時間幅Ｔｗ内の角度差分Δφ（ｔ）の波形を正例として大量に収集し、学習させている。図１３は、学習に用いる正例の一例を示す図である。正例では、観察時間幅Ｔｗの範囲において、観察時間幅Ｔｗの開始時刻から最小減少時間Ｔｄの間、角度差分Δφ（ｔ）が連続的に減少する。また、角度差分Δφ（ｔ）が、観察時間幅Ｔｗの中心時刻（時刻Ｔｐ）において極小となり、かつ角度差分Δφ（ｔ）の極小値が予め設定されている閾値φｔｈ以下となる。
　なお、学習器には、負例についても大量に収集し、学習させている。図１４は、負例を示す角度差分Δφ（ｔ）の一例を示す図である。負例とは正例以外のすべての角度差分Δφ（ｔ）の波形のことである。例えば、図１４では、観察時間幅Ｔｗの範囲において、観察時間幅Ｔｗの開始時刻から最小減少時間Ｔｄの間、角度差分Δφ（ｔ）が連続的に減少するという正例の条件を満たしていない。また、角度差分Δφ（ｔ）が、観察時間幅Ｔｗの中心時刻において極小となり、かつ角度差分Δφ（ｔ）の極小値が予め設定されている閾値φｔｈ以下となるという条件も満たしていない。
　時刻決定部５０３は、一定の観察時間幅Ｔｗをオーバーラップさせながら時間軸方向に移動させ、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）の値を逐次サンプリングする。時刻決定部５０３は、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）を上述の学習器へ入力する。時刻決定部５０３は、学習器の出力が正例を示す場合には、観察時間幅Ｔｗの中心時刻を時刻Ｔｐとして決定し、学習器の出力が負例を示す場合には、時刻Ｔｐの決定は行なわない。その後、時刻決定部５０３は、実施の形態１と同様に、時刻Ｔａが存在するか否かの判断を行い、時刻Ｔａが存在する場合には、時刻Ｔｐを全体観測時刻として出力する。
　以上のように構成された手作業認識システムにおける手作業認識装置が実行する処理の流れについて、図１５を参照しながら説明する。
　実施の形態２における手作業認識装置が実行する処理は、図１０に示した実施の形態１における手作業認識装置が実行する処理において、Ｓ６～Ｓ１０の処理の代わりに、Ｓ３２およびＳ３４の処理を実行する。それ以外の処理については、実施の形態１と同様である。このため、その詳細な説明はここでは繰り返さない。
　時刻決定部５０３は、一定の観察時間幅Ｔｗをオーバーラップさせながら時間軸方向に移動させ、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）の値を逐次サンプリングする。時刻決定部５０３は、観察時間幅Ｔｗに含まれる角度差分Δφ（ｔ）を上述の学習器へ入力する。時刻決定部５０３は、学習器の出力が正例を示す場合には（Ｓ３２でＹＥＳ）、観察時間幅Ｔｗの中心時刻を時刻Ｔｐとして決定し（Ｓ３４）、学習器の出力が負例を示す場合には（Ｓ３２でＮＯ）、時刻Ｔｐの決定は行なわない。
　かかる構成によれば図１１（ａ）に示すように、第２センサ２０２は連続的な第２観測値を出力する。一方で、観測値選択部３０４は、全体観測時刻決定部３０３により決定された全体観測時刻Ｔｐに従って、図１１（ｂ）に示すような状況認識部３０５の入力となる第２観測値を選択する。この全体観測時刻決定部３０３は角度差分Δφ（ｔ）および加速度の大きさ｜α（ｔ）｜の変化に基づき、上記で述べた処理に従って全体観測時刻Ｔｐをリアルタイムで決定する。これにより、日常生活における調理、掃除、洗濯など人が慎重に手作業を行う場合は、人の手の動作開始、終了、動作中のターニングポイントなど、作業境界の可能性が高い第２観測値だけが抽出される。
　状況認識部３０５は与えられた第２観測値についてのみ、ユーザの手作業ごとに事前に学習した画像特徴の知識データと、第２観測値との適合度を計算する。そして、この適合度に基づき、最も適合する知識データに対応するユーザの手作業を、現在の手作業の認識結果として出力する。したがって、状況認識部３０５は第２観測値を部分的に評価することにより、入力観測値に対する学習知識の評価に費やす計算量を大幅に削減することができる。そのため、処理速度を高速化してレスポンス良くユーザの行為またはオブジェクトを抽出することができる。
　以上、本発明に係る手作業認識システムについて実施の形態に基づいて説明を行なったが、本発明は、これらの実施の形態に限定されるものではない。
　例えば、上述の実施の形態では、ユーザの手作業を認識するものとしたが、認識対象は手作業には限られず、ユーザの手の動きと関連付けられた作業であれば、手作業には限定されない。例えば、第２センサ２０２がユーザを全体的に撮像するようにしてもよい。これにより、第２観測値とユーザの手の動きと関連付けられたユーザの動作の知識データとを比較することにより、ユーザの動作が認識できるようになる。また、第２センサ２０２がユーザの足下を撮像するようにしてもよい。これにより、第２観測値とユーザの手の動きと関連付けられたユーザの足作業の知識データとを比較することにより、ユーザの足による作業を認識できるようになる。
　また、観測値選択部３０４は、第２観測値だけではなく、同じ全体観測時刻において観測された第１観測値を選択するようにしても良い。
　また、観測値選択部３０４は、全体観測時刻Ｔｐの第２観測値だけではなく、全体観測時刻Ｔｐの前後数フレームの第２観測値を選択するようにしても良い。
　また、全体観測時刻決定部３０３は、時刻Ｔｐを全体観測時刻としたが、時刻Ｔａを全体観測時刻としても良い。
　さらに、実施の形態２の時刻決定部５０３の学習器は、角度差分Δφ（ｔ）のみから時刻Ｔｐの決定を行なったが、観察時間幅Ｔｗに含まれる｜α（ｔ）｜を角度差分Δφ（ｔ）と合わせてサンプリングし、角度差分Δφ（ｔ）と共に用いることにより時刻Ｔｐの決定を行なうようにしてもよい。
　さらにまた、上述の実施の形態において、一般家庭における調理作業を一例として本発明の動作を説明したが、これに限定されるものではない。つまり、人が慎重に行う手作業であれば、例えば生産現場における家電機器の組立て作業など一般家庭以外の手作業に対しても本発明を利用可能である。これにより、作業認識の結果を生産工程の管理や効率化などに利用することができる。例えば、生産現場を動画像カメラで撮影して管理する場合、日々蓄積される動画像のインデックスとして作業認識の結果を、動画像に付与する。これにより、後日オフラインで蓄積された動画像を解析する際に、所望の作業シーンに対して速やかにアクセスすることが可能になる。
　また、上述の実施の形態において、第２センサとして画像を観測するカメラを用いたが、第２センサを手作業に起因する音を収音するマイクとしてもよい。この場合、状況認識部３０５は、ユーザの手作業ごとに事前に学習した音響特徴の知識データと現在の音との適合度を計算し、最も適合する知識データに対応する手作業を、現在の手作業の認識結果として出力してもよい。さらに、第２センサを、手作業を撮像するカメラと手作業に起因する音を収音するマイクとしてもよい。この場合、状況認識部３０５は、ユーザの手作業ごとに事前に学習した画像特徴の知識データおよび音響特徴の知識データと、現在の画像および音と、の間の適合度に基づき処理を行っても良い。具体的には、前述の適合度に基づき、最も適合する知識データに対応する手作業を、現在の手作業の認識結果として出力してもよい。
　また、両手で作業を行なう場合には、左右両方の手に第１センサ２０１と同様の構成のセンサを実装し、左手および右手についてそれぞれ全体観測時刻決定部３０３を独立に備えることで、選択する第２観測値を増やすことが可能である。
　さらに、３方向のジャイロセンサまたは角速度センサを３軸加速度センサ４０１に統合し、角速度センサの姿勢を推定するようにしてもよい。これにより、マグニチュード推定部５０１において｜α（ｔ）｜をより正確に推定し、時刻決定部５０３の精度を向上させることも可能である。
　また、実施の形態１および２で説明した手作業認識装置３００は、コンピュータにより実現することが可能である。図１６を参照して、手作業認識装置３００は、コンピュータ３４と、コンピュータ３４に指示を与えるためのキーボード３６およびマウス３８と、コンピュータ３４の演算結果等の情報を提示するためのディスプレイ３２と、コンピュータ３４で実行されるプログラムを読み取るためのＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）装置４０および通信モデム（図示せず）とを含む。
　手作業を認識するためのプログラムは、コンピュータで読取可能な媒体であるＣＤ－ＲＯＭ４２に記憶され、ＣＤ－ＲＯＭ装置４０で読み取られる。または、コンピュータネットワーク２６を通じて通信モデムで読み取られる。
　図１７は、手作業認識装置３００のハードウェア構成を示すブロック図である。コンピュータ３４は、ＣＰＵ（Central Processing Unit）４４と、ＲＯＭ（Read Only Memory）４６と、ＲＡＭ（Random Access Memory）４８と、ハードディスク５０と、通信モデム５２と、バス５４とを含む。
　ＣＰＵ４４は、ＣＤ－ＲＯＭ装置４０または通信モデム５２を介して読み取られたプログラムを実行する。ＲＯＭ４６は、コンピュータ３４の動作に必要なプログラムやデータを記憶する。ＲＡＭ４８は、プログラム実行時のパラメータなどのデータを記憶する。ハードディスク５０は、プログラムやデータなどを記憶する。通信モデム５２は、コンピュータネットワーク２６を介して他のコンピュータとの通信を行なう。バス５４は、ＣＰＵ４４、ＲＯＭ４６、ＲＡＭ４８、ハードディスク５０、通信モデム５２、ディスプレイ３２、キーボード３６、マウス３８およびＣＤ－ＲＯＭ装置４０を相互に接続する。
　さらに、上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されているとしても良い。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしても良い。ＩＣカードまたはモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。ＩＣカードまたはモジュールは、上記の超多機能ＬＳＩを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ＩＣカードまたはモジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
　また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、前記コンピュータプログラムからなるデジタル信号であるとしても良い。
　さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Blu-ray Disc（登録商標））、半導体メモリなどに記録したものとしても良い。また、これらの記録媒体に記録されている上記デジタル信号であるとしても良い。
　また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
　また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
　また、上記プログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
　さらに、上記実施の形態及び上記変形例をそれぞれ組み合わせるとしても良い。
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
　本発明にかかる手作業認識システムは、高速なユーザ作業認識性能を有し、白物家電、家事支援ロボットの動作トリガー等としても有用である。また掃除、洗濯などの作業認識用途、工場などにおける組立て作業等の監視用途等にも応用できる。
１０１　画像
１０２　クローズドキャプション
２０１　第１センサ
２０２　第２センサ
２０３　情報提供機器
３００　手作業認識装置
３０３　全体観測時刻決定部
３０４　観測値選択部
３０５　状況認識部
４０１　３軸加速度センサ
４０２、５０４　無線データ送受信部
４０３　電源部
５０１　マグニチュード推定部
５０２　角度差分計算部
５０３　時刻決定部

Claims (17)

  1. 　速度センサが出力するユーザの手の動きを示す時系列の第１観測値の大きさと前記第１観測値間の角度差分とに基づき、前記第１観測値の中から、前記ユーザの手の動きが所定の動きを示すときの前記第１観測値の観測時刻である全体観測時刻を決定する全体観測時刻決定部と、
    　撮像部が出力する前記ユーザの作業の状況を示す時系列の第２観測値の中から、前記全体観測時刻決定部で決定された前記全体観測時刻の第２観測値を選択する観測値選択部と、
    　を備える作業認識装置。
  2. 　さらに、前記観測値選択部で選択された前記第２観測値と、ユーザの手の動きが前記所定の動きを示す際のユーザの作業に関連付けられた知識データとを比較することにより、前記ユーザの作業を認識する状況認識部を備える
    　請求項１記載の作業認識装置。
  3. 　前記全体観測時刻決定部は、前記第１観測値の変化量の極小値が観測される時刻の中から、前記全体観測時刻を決定する
    　請求項１または２記載の作業認識装置。
  4. 　前記全体観測時刻決定部は、前記第１観測値の変化量の極小値が観測される時刻である第１の時刻後から所定時刻までの前記第１観測値の大きさに基づき、前記全体観測時刻を決定する
    　請求項１または２記載の作業認識装置。
  5. 　前記全体観測時刻決定部は、前記第１の時刻後から前記所定時刻までに含まれる前記第１観測値の大きさの極大値、または、最大値が観測される時刻の中で、前記第１の時刻に最も近い時刻を、前記全体観測時刻として決定する
    　請求項４記載の作業認識装置。
  6. 　前記速度センサは、３軸加速度センサであり、加速度を前記第１観測値として時系列で出力する
    　請求項１～５のいずれか１項に記載の作業認識装置。
  7. 　前記速度センサは、ユーザの利き手に装着される
    　請求項６記載の作業認識装置。
  8. 　前記全体観測時刻決定部は、時系列の前記第１観測値に基づいて、前記ユーザの手の方向の変化を示す値が極小となった観測時刻の後に、前記ユーザの手の加速度の大きさが極大になった場合に、前記ユーザの手の方向の変化を示す値が極小となった観測時刻を、前記全体観測時刻として決定する
    　請求項６または７に記載の作業認識装置。
  9. 　前記全体観測時刻決定部は、
    　前記速度センサが出力する前記加速度から、重力加速度を除いた加速度の大きさを推定するマグニチュード推定部と、
    　前記速度センサがそれぞれ出力する、ある観測時刻における前記加速度と当該ある観測時刻よりも前の観測時刻における前記加速度とのなす角度を計算する角度差分計算部と、
    　前記マグニチュード推定部により推定される前記加速度の大きさと前記角度差分計算部により計算される前記なす角度とが所定のパターンを示す場合に、前記ある観測時刻を、前記全体観測時刻として決定する時刻決定部と
    　を含む請求項８記載の作業認識装置。
  10. 　前記時刻決定部は、前記角度差分計算部で計算された前記なす角度が０に漸近した時刻の直後の所定時間内に、前記マグニチュード推定部が出力する前記加速度の大きさが極大となる場合に、前記なす角度が０に漸近した時刻を、前記全体観測時刻として決定する
    　請求項９記載の作業認識装置。
  11. 　前記時刻決定部は、前記なす角度が０に漸近する時刻を含む複数の時刻における前記なす角度を学習させた識別器を用いて、前記角度差分計算部で計算された前記なす角度が０に漸近した時刻を決定する
    　請求項１０記載の作業認識装置。
  12. 　前記マグニチュード推定部は、速度センサによって観測される加速度の大きさから重力加速度の大きさを減じることにより、重力加速度を除いた加速度の大きさを近似する
    　請求項９～１１のいずれか１項に記載の作業認識装置。
  13. 　前記撮像部は、前記ユーザの手作業の範囲を撮像するカメラである
    　請求項１～１２のいずれか１項に記載の作業認識装置。
  14. 　速度センサが出力するユーザの手の動きを示す時系列の第１観測値の中から、前記ユーザの手の動きが所定の動きを示すときの前記第１観測値の観測時刻である全体観測時刻を決定する全体観測時刻決定部と、
    　撮像部が出力する前記ユーザの作業の状況を示す時系列の第２観測値の中から、前記全体観測時刻決定部で決定された前記全体観測時刻の第２観測値を選択する観測値選択部と、
    　を備える作業認識装置。
  15. 　ユーザの作業を認識する作業認識システムであって、
    　作業を行うユーザの手の動きを示す第１観測値を時系列で出力する速度センサと、
    　前記ユーザの作業の状況を示す第２観測値を時系列で出力する撮像部と、
    　時系列の前記第１観測値と、時系列の前記第２観測値と、に基づいて、前記ユーザの作業を認識する作業認識装置と
    　を備え、
    　前記作業認識装置は、
    　時系列の前記第１観測値の中から、前記ユーザの手の動きが所定の動きを示す前記第１観測値の観測時刻である全体観測時刻を決定する全体観測時刻決定部と、
    　時系列の前記第２観測値の中から、前記全体観測時刻決定部で決定された前記全体観測時刻の前記第２観測値を選択する観測値選択部と、
    　前記観測値選択部で選択された前記第２観測値と、ユーザの手の動きが前記所定の動きを示す際のユーザの作業に関連付けられた知識データとを比較することにより、前記ユーザの作業を同定する状況認識部と
    　を含む作業認識システム。
  16. 　コンピュータによりユーザの作業を認識する作業認識方法であって、
    　速度センサが出力するユーザの手の動きを示す時系列の第１観測値に基づいて、前記ユーザの手の動きが所定の動きを示す前記第１観測値の観測時刻である全体観測時刻を決定し、
    　撮像部が出力する前記ユーザの作業の状況を示す前記第２観測値の中から、決定された前記全体観測時刻の第２観測値を選択し、
    　選択された前記第２観測値と、ユーザの手の動きが前記所定の動きを示す際のユーザの作業に関連付けられた知識データとを比較することにより、前記ユーザの作業を同定する
    　作業認識方法。
  17. 　ユーザの作業を認識するためのプログラムであって、
    　コンピュータに、
    　速度センサが出力するユーザの手の動きを示す時系列の第１観測値に基づいて、前記ユーザの手の動きが所定の動きを示す前記第１観測値の観測時刻である全体観測時刻を決定させ、
    　撮像部が出力する前記ユーザの作業の状況を示す前記第２観測値の中から、決定された前記全体観測時刻の第２観測値を選択させ、
    　選択された前記第２観測値と、ユーザの手の動きが前記所定の動きを示す際のユーザの作業に関連付けられた知識データとを比較することにより、前記ユーザの作業を同定させるための
    　プログラム。
PCT/JP2010/003419 2009-06-08 2010-05-21 作業認識システム、作業認識装置および作業認識方法 Ceased WO2010143361A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010541638A JP4719826B2 (ja) 2009-06-08 2010-05-21 作業認識装置
CN201080003376.8A CN102227697B (zh) 2009-06-08 2010-05-21 操作识别系统、操作识别装置及操作识别方法
US13/056,789 US8654187B2 (en) 2009-06-08 2010-05-21 Work recognition system, work recognition device, and work recognition method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-137761 2009-06-08
JP2009137761 2009-06-08

Publications (1)

Publication Number Publication Date
WO2010143361A1 true WO2010143361A1 (ja) 2010-12-16

Family

ID=43308624

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/003419 Ceased WO2010143361A1 (ja) 2009-06-08 2010-05-21 作業認識システム、作業認識装置および作業認識方法

Country Status (4)

Country Link
US (1) US8654187B2 (ja)
JP (1) JP4719826B2 (ja)
CN (1) CN102227697B (ja)
WO (1) WO2010143361A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014517384A (ja) * 2011-05-04 2014-07-17 クアルコム，インコーポレイテッド オブジェクトを遠隔制御するためのアドホック近接センサーメッシュを介したジェスチャー認識
JP2019101516A (ja) * 2017-11-29 2019-06-24 ファナック株式会社 作業者管理装置
DE102019007415A1 (de) 2018-10-31 2020-04-30 Fanuc Corporation Anzeigesystem, maschinenlerneinrichtung und anzeigeeinrichtung
JP2021144576A (ja) * 2020-03-13 2021-09-24 株式会社リコー 情報処理装置、情報処理方法およびプログラム
US11443266B2 (en) 2019-08-19 2022-09-13 Fanuc Corporation Machine learning method and machine learning apparatus performing learning relating to work process

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012110190B4 (de) * 2012-10-25 2015-03-26 Mis-Robotics Gmbh Manuell betätigte Robotersteuerung und Verfahren zum Steuern eines Robotersystems
JP5956481B2 (ja) * 2014-02-10 2016-07-27 レノボ・シンガポール・プライベート・リミテッド 入力装置、入力方法、及びコンピュータが実行可能なプログラム
CN104730931B (zh) * 2015-03-12 2019-10-22 青岛海尔智能家电科技有限公司 一种美食交互系统和美食食谱的生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215680A (ja) * 2005-02-02 2006-08-17 Advanced Telecommunication Research Institute International 誤作業警報システム
JP2009110038A (ja) * 2007-10-26 2009-05-21 Advanced Telecommunication Research Institute International 情報提示システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08320920A (ja) 1995-05-24 1996-12-03 Matsushita Electric Ind Co Ltd 手動作認識装置および方法
JP3440641B2 (ja) 1995-07-26 2003-08-25 松下電器産業株式会社 動作開始位置検出方法
US6430997B1 (en) * 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
EP0816986B1 (en) * 1996-07-03 2006-09-06 Hitachi, Ltd. System for recognizing motions
JP3570163B2 (ja) 1996-07-03 2004-09-29 株式会社日立製作所 動作及び行動の認識方法及び装置及びシステム
JPH11174948A (ja) 1997-09-26 1999-07-02 Matsushita Electric Ind Co Ltd 手動作認識装置
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
JP2003281297A (ja) 2002-03-22 2003-10-03 National Institute Of Advanced Industrial & Technology 情報提示装置および情報提示方法
SG115546A1 (en) 2003-06-23 2005-10-28 Affineon Technologies Pte Ltd Computer input device tracking six degrees of freedom
WO2005003945A1 (ja) 2003-07-02 2005-01-13 Ssd Company Limited 情報処理装置、情報処理システム、操作物、情報処理方法、情報処理プログラム、及び、ゲームシステム
JP2006133937A (ja) 2004-11-04 2006-05-25 Fuji Xerox Co Ltd 動作識別装置
JP2007172577A (ja) 2005-11-25 2007-07-05 Victor Co Of Japan Ltd 操作情報入力装置
JP5091591B2 (ja) 2007-08-30 2012-12-05 株式会社東芝 情報処理装置、プログラム及び情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215680A (ja) * 2005-02-02 2006-08-17 Advanced Telecommunication Research Institute International 誤作業警報システム
JP2009110038A (ja) * 2007-10-26 2009-05-21 Advanced Telecommunication Research Institute International 情報提示システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014517384A (ja) * 2011-05-04 2014-07-17 クアルコム，インコーポレイテッド オブジェクトを遠隔制御するためのアドホック近接センサーメッシュを介したジェスチャー認識
JP2019101516A (ja) * 2017-11-29 2019-06-24 ファナック株式会社 作業者管理装置
US11216757B2 (en) 2017-11-29 2022-01-04 Fanuc Corporation Worker management device
DE102019007415A1 (de) 2018-10-31 2020-04-30 Fanuc Corporation Anzeigesystem, maschinenlerneinrichtung und anzeigeeinrichtung
US11119716B2 (en) 2018-10-31 2021-09-14 Fanuc Corporation Display system, machine learning device, and display device
US11443266B2 (en) 2019-08-19 2022-09-13 Fanuc Corporation Machine learning method and machine learning apparatus performing learning relating to work process
JP2021144576A (ja) * 2020-03-13 2021-09-24 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP7167953B2 (ja) 2020-03-13 2022-11-09 株式会社リコー 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
US8654187B2 (en) 2014-02-18
CN102227697B (zh) 2014-12-10
CN102227697A (zh) 2011-10-26
JPWO2010143361A1 (ja) 2012-11-22
US20110128363A1 (en) 2011-06-02
JP4719826B2 (ja) 2011-07-06

Similar Documents

Publication Publication Date Title
JP4719826B2 (ja) 作業認識装置
US20220189211A1 (en) Physical activity quantification and monitoring
JP6745980B2 (ja) 水泳分析のシステム及び方法
Chen et al. A fall detection system based on infrared array sensors with tracking capability for the elderly at home
CN105184325B (zh) 一种移动智能终端
KR101872907B1 (ko) 듀얼 스마트 밴드를 이용한 모션 분석 장치 및 방법
JP6951516B2 (ja) 人の歩調を検出する方法及びシステム
JPWO2018051944A1 (ja) 人流推定装置、人流推定方法およびプログラム
CN111402287B (zh) 用于活动序列的标准化评估的系统和方法
Jensen et al. Classification of kinematic swimming data with emphasis on resource consumption
JP2021030051A (ja) 転倒リスク評価方法、転倒リスク評価装置及び転倒リスク評価プログラム
US11450148B2 (en) Movement monitoring system
US20240057946A1 (en) Sarcopenia evaluation method, sarcopenia evaluation device, and non-transitory computer-readable recording medium in which sarcopenia evaluation program is recorded
Hossain et al. A direction-sensitive fall detection system using single 3D accelerometer and learning classifier
KR20180110443A (ko) 열량 정보 제공 장치 및 방법
KR20180020123A (ko) 비동기 신호 처리 방법
Wu et al. A multi-sensor fall detection system based on multivariate statistical process analysis
US20230127086A1 (en) Behavior recognition device, behavior recognition method, and non-transitory computer-readable recording medium
JP2012524578A (ja) 可動要素の活動を決定するためのシステム及び方法
JP6287827B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2021081804A (ja) 状態認識装置、状態認識方法及び状態認識プログラム
JP2006198073A (ja) 体動検出機および体動検出機を備える携帯端末装置
WO2017154477A1 (ja) 脈拍推定装置、脈拍推定システムおよび脈拍推定方法
JP7091629B2 (ja) 検出システム、検出方法及び検出プログラム
CN120770813A (zh) 用于眼睛凝视指标确定和心理生理状态检测的方法和系统

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080003376.8

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2010541638

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13056789

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10785893

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10785893

Country of ref document: EP

Kind code of ref document: A1