WO2020152879A1 - 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム - Google Patents

動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム Download PDF

Info

Publication number
WO2020152879A1
WO2020152879A1 PCT/JP2019/008946 JP2019008946W WO2020152879A1 WO 2020152879 A1 WO2020152879 A1 WO 2020152879A1 JP 2019008946 W JP2019008946 W JP 2019008946W WO 2020152879 A1 WO2020152879 A1 WO 2020152879A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
series information
worker
division
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/008946
Other languages
English (en)
French (fr)
Inventor
一貴 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to CN201980052728.XA priority Critical patent/CN112602100B/zh
Priority to EP19911704.5A priority patent/EP3916655A4/en
Publication of WO2020152879A1 publication Critical patent/WO2020152879A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0633—Workflow analysis

Definitions

  • the present invention relates to a motion analysis device, a motion analysis method, a motion analysis program, and a motion analysis system.
  • one or more cameras may be installed on the product manufacturing line to record the movements of the worker in images or moving images.
  • an image recognition process is performed on a captured image or moving image to analyze the motion of the worker.
  • reference locus information related to a motion of a reference subject is acquired between break timings of respective motions, characteristic feature locus information at the break timings of respective motions is extracted, and another subject is detected.
  • the comparative trajectory information related to the motion of another subject is acquired from the captured comparative video, the characteristic trajectory information is searched from the comparative trajectory information, the same motion as that set for the reference subject is extracted, and further it is divided into continuous motions.
  • a motion analysis device that aggregates based on timing, measures and displays a time required for each continuous motion.
  • characteristic locus information included in a reference locus is extracted, and similar characteristic locus information is searched for from a locus to be measured. , The time required for each continuous operation may be measured.
  • the characteristic locus included in the reference locus does not always appear in the locus to be measured, and it may be difficult to associate the characteristic locus with multiple timings. Therefore, the operation time may not be accurately measured.
  • the present invention provides a motion analysis device, a motion analysis method, a motion analysis program, and a motion analysis system capable of more accurately measuring the motion time.
  • An operation analysis apparatus includes an acquisition unit that acquires time-series information indicating an operation performed by a worker, and reference time-series information to which one or more pieces of division information indicating an operation division point are added. Based on the time series information corresponding to the reference time series information to which the one or more pieces of division information are associated, and the operation unit is obtained by dividing the operation at the division points. And a measuring unit that measures the operation time of each of the plurality of divided operations.
  • the time-series information indicating the operation performed by the worker is associated with the reference time-series information to which one or more pieces of division information are added, and the operation is divided into a plurality of division operations, thereby making It is possible to more accurately measure the operation time of each of the divided operations.
  • the acquisition unit acquires a plurality of pieces of time-series information indicating the motions of the plurality of parts of the worker, which are recorded when the worker performs the motion, and the corresponding unit, for each of the plurality of parts,
  • the reference time series information may be associated with the time series information so that the time order is maintained.
  • the operation performed by the worker can be divided into a plurality of divided operations for each of a plurality of parts, and the operation time can be measured for each of a plurality of parts.
  • the measurement unit measures the operation time by averaging the operation time calculated based on the time-series information corresponding to the reference time-series information to which one or more pieces of division information are added, for a plurality of parts. May be.
  • the operation time of each of the plurality of divided operations can be measured more stably by averaging the operation times of the plurality of parts.
  • the acquisition unit may acquire a plurality of pieces of time-series information indicating the motions of the left and right parts of the worker.
  • the motion performed by the worker can be divided into a plurality of divided motions for each of the left and right parts of the worker, and the operation time can be measured for each of the left and right parts.
  • the time series information may include a value obtained by adding the magnitudes of the velocities or accelerations of a plurality of parts of the worker.
  • the reference time-series information is prepared for each type of worker, and the corresponding unit sets the reference time-series information regarding the worker of the same type as the type of the worker for whom the time-series information is acquired, in the time order. May be associated with the time-series information so that
  • the operation of each of the plurality of division operations can be performed.
  • the time can be measured more accurately.
  • the correspondence unit may associate the reference time-series information with the time-series information so as to maintain the time order by the dynamic time warping method.
  • the time series information and the reference time series information can be appropriately associated with each other, and the operation time of each of the plurality of division operations can be increased. Can be measured more accurately.
  • a motion analysis method is to acquire time-series information indicating a motion performed by a worker, and reference time-series information to which one or a plurality of pieces of division information indicating a division point of a motion is added. Is associated with time-series information so as to maintain the time order, and the operation is obtained by dividing the operation at the division points based on the time-series information corresponding to the reference time-series information to which one or more pieces of division information are added. Measuring the operation time of each of the plurality of divided operations.
  • the time-series information indicating the operation performed by the worker is associated with the reference time-series information to which one or more pieces of division information are added, and the operation is divided into a plurality of division operations, thereby making It is possible to more accurately measure the operation time of each of the divided operations.
  • a motion analysis program includes a calculation unit provided in a motion analysis apparatus, an acquisition unit that acquires time-series information indicating a motion performed by a worker, and one or a plurality of motion division points. Based on the time series information corresponding to the reference time series information to which one or more pieces of division information is added, And functions as a measurement unit that measures the operation time of each of a plurality of divided operations obtained by dividing the operation at the division points.
  • the time-series information indicating the operation performed by the worker is associated with the reference time-series information to which one or more pieces of division information are added, and the operation is divided into a plurality of division operations, thereby making It is possible to more accurately measure the operation time of each of the divided operations.
  • a motion analysis system includes a shooting unit that shoots a moving image of a worker, an analysis unit that outputs time-series information indicating a motion based on the moving image, and a dividing point of the motion.
  • a measuring unit that measures the operation time of each of a plurality of divided operations obtained by dividing the operation at the division points based on the time-series information.
  • the time-series information indicating the operation performed by the worker is associated with the reference time-series information to which one or more pieces of division information are added, and the operation is divided into a plurality of division operations, thereby making It is possible to more accurately measure the operation time of each of the divided operations.
  • the present invention it is possible to provide a motion analysis device, a motion analysis method, a motion analysis program, and a motion analysis system that can measure the motion time more accurately.
  • the motion analysis system 100 includes a first shooting unit 20a, a second shooting unit 20b, and a third shooting unit 20c that shoot a moving image showing a worker's motion performed in a certain work area R.
  • the work area R in this example is an area including the entire manufacturing line, but the work area R may be an arbitrary area, for example, an area in which a predetermined process is performed or a predetermined element operation is performed. It may be an area.
  • the elemental motion is a unit of motion executed by an operator, and includes, for example, motions such as picking parts, arranging parts, fixing parts, and packing products.
  • three steps are performed in the work area R, and the first shooting unit 20a, the second shooting unit 20b, and the third shooting unit 20c each shoot a moving image of a worker who executes a predetermined process. It may be
  • the first worker A1 can perform operations such as picking, arranging, and fixing the first component
  • the second worker A2 can perform operations such as picking, arranging, and fixing the second component.
  • the first worker A1 and the second worker A2 are collectively referred to as the worker A.
  • the motion analysis system 100 includes a motion analysis device 10.
  • the motion analysis apparatus 10 acquires time-series information indicating a motion of the worker A such as a moving image, and uses, for example, a dynamic time warping method (also referred to as DTW), time-series information and a reference time series. Correlate information.
  • the reference time-series information is provided with one or a plurality of pieces of division information indicating operation division points. By associating the reference time-series information with the time-series information, the operation division points can be obtained for the time-series information. it can. Then, the motion analysis device 10 measures the motion time of each of the plurality of divided motions obtained by dividing the motion indicated by the time-series information at the division points.
  • the display unit 10f displays the time series information, the reference time series information, and the correspondence between the time series information and the reference time series information. Further, the display unit 10f may display the division points of the time-series information, or may display the operation time of each of the plurality of division operations. Furthermore, the display unit 10f may display a moving image showing the motion of the worker A for each of a plurality of divided motions.
  • the time series information indicating the motion performed by the worker A is associated with the reference time series information to which one or a plurality of pieces of division information is assigned, and the motion Is divided into a plurality of division operations, the operation time of each of the plurality of division operations can be measured more accurately.
  • the motion analysis system 100 includes a first imaging unit 20a, a second imaging unit 20b, a third imaging unit 20c, and the motion analysis device 10. Then, the motion analysis device 10 includes an acquisition unit 11, an analysis unit 12, a storage unit 13, a corresponding unit 14, a measurement unit 15, a provision unit 16, and a display unit 10f.
  • the first photographing unit 20a, the second photographing unit 20b, and the third photographing unit 20c may each be configured by a general-purpose camera, and the first worker A1 and the second worker A2 perform operations in the work area R. You may take a video that includes a scene.
  • the first image capturing unit 20a, the second image capturing unit 20b, and the third image capturing unit 20c may each capture a part of the work area R, and may capture a moving image in a smaller area than the work area R. Specifically, a moving image that closes up the operations performed by the first worker A1 and the second worker A2 may be taken.
  • the first image capturing unit 20a, the second image capturing unit 20b, and the third image capturing unit 20c may capture, for example, a moving image that closes up the hands of the first worker A1 and the second worker A2.
  • the first photographing unit 20a, the second photographing unit 20b, and the third photographing unit 20c may photograph a plurality of moving images that photograph a plurality of portions of the work area R, respectively.
  • the first shooting unit 20a mainly shoots a moving image in which the first worker A1 is performing an operation
  • the third shooting unit 20c is mainly moving image in which the second worker A2 is performing an operation.
  • the second image capturing unit 20b may capture both a moving image in which the first worker A1 is performing an operation and a moving image in which the second worker A2 is performing an operation.
  • the first photographing unit 20a, the second photographing unit 20b, and the third photographing unit 20c may photograph moving images in which different steps are performed at a plurality of positions in the work area R, respectively.
  • the acquisition unit 11 acquires time-series information indicating an operation performed by the worker A.
  • the time-series information may be a moving image showing the motion of the worker A.
  • the time-series information is information about coordinate values indicating the motion of the worker A measured by motion capture, or the motion of the worker A measured by mounting the acceleration sensor or the gyro sensor on the worker A. It may be information indicating.
  • the time series information (moving image in this example) acquired by the acquisition unit 11 is transmitted to the storage unit 13 and stored as a moving image history 13a.
  • the acquisition unit 11 may acquire a plurality of pieces of time-series information indicating the motions of a plurality of parts of the worker A, which are recorded when the worker A performs a motion.
  • the plurality of parts of the worker A may be, for example, the head, both eyes, both shoulders, both elbows, both wrists, knuckles of both hands, waist, both knees and both ankles.
  • the acquisition unit 11 may acquire a plurality of pieces of time-series information indicating the motions of the left and right parts of the worker A.
  • the left and right parts of the worker A may be eyes, shoulders, elbows, wrists, knuckles of both hands, knees and ankles.
  • the motion performed by the worker A can be divided into a plurality of divided motions for each of the left and right parts of the worker A.
  • the operation time can be measured for each of the left and right parts.
  • the left and right parts may include both hands of the worker A.
  • the motion performed by the worker A can be divided into a plurality of split motions for both hands of the worker A, and the motion time can be measured for both hands.
  • the analysis unit 12 analyzes a moving image showing the motion of the worker A, and calculates motion information including coordinate values indicating the motion of the worker A.
  • the motion information is an example of time series information.
  • the motion information may be information indicating the displacement of the representative position of the body of the worker A.
  • the representative position of the body of the worker may be one position of the body, but typically, there may be a plurality of positions.
  • the motion information may be information indicating the position of the joint of the worker A by a skeleton model.
  • the analysis unit 12 uses, for example, the technique disclosed by Zhe Cao, three others, “Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields”, arXiv:1611.08050, 2016 to show the motion of the worker A from the moving image.
  • the motion information including the indicated coordinate value may be calculated.
  • the analysis unit 12 calculates motion information including coordinate values indicating the motion of the worker A from the moving image. No processing is required.
  • the analysis unit 12 may calculate motion information including a value obtained by adding together the magnitudes of the velocities or accelerations of a plurality of parts of the worker A.
  • the analysis unit 12 may calculate, for example, motion information including a value obtained by adding the magnitudes of the speed or the acceleration of both hands of the worker A.
  • the storage unit 13 stores the moving image history 13a, the motion information history 13b, and the reference motion information 13c.
  • the moving image history 13a includes a history of moving images shot by the first shooting unit 20a, the second shooting unit 20b, and the third shooting unit 20c.
  • the motion information history 13b includes a history of motion information calculated by the analysis unit 12.
  • the motion information history 13b may be stored for each type of worker.
  • the type of worker is a classification that represents the characteristics of the worker, and for example, skilled and beginners related to work, right-handed and left-handed, male and female, large and small with respect to physique. You can
  • the reference movement information 13c includes a history of reference movement information including time series information indicating a reference movement.
  • the reference operation information is an example of reference time-series information, and includes one or a plurality of pieces of division information indicating operation division points.
  • the correspondence unit 14 associates the reference time-series information, to which one or more pieces of division information indicating the operation dividing points are added, with the time-series information so as to maintain the time order.
  • the handling unit 14 associates the reference motion information, to which one or more pieces of division information indicating the motion division points are added, with the motion information acquired for the worker A so as to maintain the time order.
  • the handling unit 14 may associate the reference time-series information with the time-series information so that the time sequence is maintained for each of a plurality of parts of the worker A.
  • the correspondence unit 14 associates the time series information of the right hand of the worker A with the reference time series information of the right hand, or associates the time series information of the left hand of the worker A with the reference time series information of the left hand. You may attach it. Thereby, the operation performed by the worker A can be divided into a plurality of divided operations for each of a plurality of parts, and the operation time can be measured for each of a plurality of parts.
  • the corresponding unit 14 sets the reference time series information regarding the worker of the same type as the type of the worker A for which the time series information is acquired, It may be associated with the time-series information so that the time sequence is maintained. For example, when the reference time-series information is prepared for the expert and the beginner regarding the work, the correspondence unit 14 associates the time-series information of the expert with the reference time-series information of the expert, The reference time series information of the beginner may be associated with the time series information of the beginner. Further, for example, the corresponding unit 14 may associate the workers of the same type as the workers of the same type with the reference time-series information of the workers of the same type with the acquired time-series information.
  • whether or not the physique is similar may be determined, for example, by comparing the lengths of the joints.
  • the handling unit 14 keeps the reference time-series information about the same worker as the worker A from whom the time-series information is acquired, in chronological order. May be associated with time series information.
  • the correspondence unit 14 may associate the reference time series information with the time series information so as to maintain the time order by the dynamic time warping method.
  • the dynamic time warping method even when the time series information and the reference time series information have different lengths or phases, the time series information and the reference time series information can be appropriately associated with each other, and a plurality of division operations can be performed. It is possible to measure each operation time more accurately.
  • the measuring unit 15 operates each of a plurality of division operations obtained by dividing the operation of the worker A at the division points based on the time series information corresponding to the reference time series information to which one or more pieces of division information is added. Measure time. For example, when the time-series information is a moving image, the measuring unit 15 may calculate the time between the division points based on the frame rate of the moving image and measure the operation time of each of the plurality of division operations.
  • the measurement unit 15 may measure the operation time by averaging the operation time calculated based on the time series information corresponding to the reference time series information to which one or a plurality of pieces of division information is added, for a plurality of parts. ..
  • the measuring unit 15 may measure the total operation time by, for example, averaging the operation times calculated for both hands of the worker A. In this way, by averaging the operation times of a plurality of parts, the operation times of the plurality of divided operations can be measured more stably.
  • the adding unit 16 adds one or more pieces of division information to the reference time series information.
  • the adding unit 16 may extract one or a plurality of feature points included in the reference time-series information and add one or a plurality of pieces of division information based on the one or a plurality of feature points. Further, the adding unit 16 may add one or more pieces of division information to the reference time series information based on the input.
  • the operation analysis device 10 includes a CPU (Central Processing Unit) 10a corresponding to an arithmetic device, a RAM (Random Access Memory) 10b corresponding to the storage unit 13, and a ROM (Read only Memory) 10c corresponding to the storage unit 13. It has a communication unit 10d, an input unit 10e, and a display unit 10f. These respective configurations are connected to each other via a bus so that data can be transmitted and received.
  • a bus so that data can be transmitted and received.
  • the motion analysis device 10 is configured by one computer will be described, but the motion analysis device 10 may be realized by using a plurality of computers.
  • the CPU 10a is a control unit that controls the execution of a program stored in the RAM 10b or the ROM 10c, calculates data, and processes the data.
  • the CPU 10a is an arithmetic unit that executes a program (motion analysis program) that divides time-series information and measures the operation time of a plurality of division operations.
  • the CPU 10a receives various input data from the input unit 10e and the communication unit 10d, displays the calculation result of the input data on the display unit 10f, and stores the calculation result in the RAM 10b and the ROM 10c.
  • the RAM 10b is a data rewritable part of the storage unit 13, and may be composed of, for example, a semiconductor storage element.
  • the RAM 10b stores a motion analysis program executed by the CPU 10a and data such as the moving image history 13a, the motion information history 13b, and the reference motion information 13c.
  • the ROM 10c is a storage unit 13 capable of reading data, and may be composed of, for example, a semiconductor storage element.
  • the ROM 10c stores, for example, a motion analysis program and data that is not rewritten.
  • the communication unit 10d is an interface that connects the motion analysis device 10 to an external device.
  • the communication unit 10d is connected to the first photographing unit 20a, the second photographing unit 20b, and the third photographing unit 20c by, for example, a LAN (Local Area Network), and the first photographing unit 20a, the second photographing unit 20b, and the third photographing unit.
  • the moving image may be received from the unit 20c.
  • the communication unit 10d may be connected to the Internet to receive a moving image or operation information via the Internet.
  • the input unit 10e receives data input from the user, and may include, for example, a keyboard, a mouse, and a touch panel.
  • the display unit 10f is for visually displaying the calculation result by the CPU 10a, and may be configured by, for example, an LCD (Liquid Crystal Display).
  • the operation analysis program may be provided by being stored in a computer-readable storage medium such as the RAM 10b or the ROM 10c, or may be provided via a communication network connected by the communication unit 10d.
  • the CPU 10a executes the motion analysis program, so that the operations of the acquisition unit 11, the analysis unit 12, the corresponding unit 14, the measurement unit 15, and the provision unit 16 described with reference to FIG. 2 are realized.
  • the motion analysis device 10 may include an LSI (Large-Scale Integration) in which the CPU 10a and the RAM 10b and the ROM 10c are integrated.
  • FIG. 4 is a diagram showing an example of association of time series information and reference time series information executed by the operation analysis device 10 according to the present embodiment.
  • a first graph G1 showing time series information
  • a second graph G2 showing reference time series information
  • a third graph G3 showing the correspondence between time series information and reference time series information are shown. There is.
  • the horizontal axis represents time
  • the vertical axis represents the value of the operation information of the worker A, showing the time change of the operation information.
  • the motion information is a value obtained by adding the magnitudes of the speeds of both hands of the worker A. The motion information greatly fluctuates when, for example, the worker A extends his/her hand to grip the component, and becomes substantially constant when the component A is assembled.
  • the horizontal axis (the axis extending in the vertical direction in FIG. 4) represents time
  • the vertical axis (the axis extending in the horizontal direction in FIG. 2) represents the value of the reference motion information of the worker A.
  • the reference motion information is a value obtained by adding up the magnitudes of the speeds of both hands of the worker A.
  • the reference motion information may be, for example, representative motion information among the plurality of motion information acquired when the worker A repeatedly performs a specific motion.
  • the first motion information D1, the second motion information D2, and the third motion information D3 are added to the reference motion information.
  • the standard time-series information is data that serves as a reference for the time-series information
  • the division information is data that indicates the position (that is, time) of the division point.
  • the division information may be included as metadata in the reference time-series information, or may be associated with the reference time-series information in a form that does not become a part of the reference time-series information.
  • the third graph G3 shows a warping path that correlates motion information and reference motion information calculated by the motion analysis device 10 using the dynamic time warping method.
  • the points of the reference motion information are associated with the points of the motion information by the warping path shown in the third graph G3.
  • the correspondence may be one-to-one, one-to-many, or many-to-one.
  • the point to which the first division information D1 is added in the reference motion information is associated with one point of the motion information using the warping path shown in the third graph G3.
  • the point to which the second division information D2 is added in the reference motion information is associated with another point of the motion information by using the warping path shown in the third graph G3.
  • the point to which the third division information D3 is added in the reference motion information is associated with another point of the motion information using the warping path shown in the third graph G3.
  • FIG. 5 is a diagram showing an example of operation time measurement executed by the operation analysis device 10 according to the present embodiment.
  • the operation information in which the first division information D1, the second division information D2, and the third division information D3 are associated by the association illustrated in FIG. 4 is illustrated.
  • the motion analysis device 10 measures the motion time of a plurality of divided motions based on the time interval of the points where the first divided information D1, the second divided information D2, and the third divided information D3 of the motion information are associated. ..
  • the first operation time from the point corresponding to the first division information D1 to the point corresponding to the second division information D2 corresponds to the third division information D3 from the point corresponding to the second division information D2.
  • the second operation time up to the point is measured.
  • the motion analysis device 10 of the present embodiment even when the time series information and the reference time series information have different lengths or phases, the time series information and the reference time series information are appropriately associated with each other. Therefore, the operation time of each of the plurality of divided operations can be measured more accurately.
  • FIG. 6 is a flowchart of a first example of operation time measurement processing executed by the operation analysis system 100 according to the present embodiment.
  • the motion analysis system 100 captures a moving image when the worker A performs a motion (S10).
  • the motion analysis device 10 calculates time series information including a value obtained by adding up the magnitudes of the speeds of both hands of the worker A based on the moving image (S11). Then, the motion analysis device 10 searches the reference time series information of the same worker (S12). In addition, when the reference motion information of the same worker is not stored, the reference time-series information regarding workers having similar physiques may be searched.
  • the motion analysis device 10 associates the reference time series information with the time series information by the dynamic time warping method (S13). Then, the motion analysis device 10 measures the motion time of a plurality of motions based on the time series information corresponding to the reference time series information to which the division information is added (S14). With the above, the first example of the operation time measuring process ends.
  • FIG. 7 is a flowchart of a second example of operation time measurement processing executed by the operation analysis system 100 according to this embodiment.
  • the motion analysis system 100 shoots a moving image when the worker A performs a motion (S20).
  • the motion analysis device 10 calculates the time series information including the X and Y coordinates of both hands of the worker A based on the moving image (S21). Then, the motion analysis device 10 searches the reference time series information of the same worker (S22). In addition, when the reference motion information of the same worker is not stored, the reference time-series information regarding workers having similar physiques may be searched.
  • the motion analysis apparatus 10 associates the reference time series information with the time series information for each of the X and Y coordinates of both hands by the dynamic time warping method (S23). Then, the motion analysis device 10 calculates the time based on the time series information corresponding to the reference time series information to which the division information is added (S24), and averages the times calculated for the X and Y coordinates of both hands. , The operation time is measured (S25). With the above, the second example of the operation time measuring process ends.
  • Embodiments of the present invention may be described as the following supplementary notes. However, the embodiments of the present invention are not limited to the forms described in the following supplementary notes. Further, the embodiments of the present invention may have a form in which the descriptions between the supplementary notes are replaced or combined.
  • a motion analysis device (10) comprising:
  • the acquisition unit (11) acquires a plurality of pieces of time-series information indicating movements of a plurality of parts of the worker, which are recorded when the worker performs the movement,
  • the correspondence unit (14) associates the reference time-series information with the time-series information so as to maintain a time order for each of the plurality of parts.
  • the motion analysis apparatus (10) according to claim 1.
  • the measurement unit (15) averages the operation time calculated based on the time series information corresponding to the reference time series information to which the one or more pieces of division information is added, with respect to the plurality of parts, Measuring the operating time,
  • the motion analysis apparatus (10 according to claim 2.
  • the acquisition unit (11) acquires the plurality of pieces of time-series information indicating motions of the left and right parts of the worker,
  • the motion analysis device (10) according to claim 2 or 3.
  • the time-series information includes a value obtained by adding the magnitudes of the velocities or accelerations of the plurality of parts of the worker, A motion analysis apparatus (10) according to any one of claims 1 to 5.
  • the reference time series information is prepared for each type of the worker,
  • the associating unit (14) associates the reference time-series information related to a worker of the same type as the worker for whom the time-series information is acquired, with the time-series information so as to maintain a time sequence.
  • a motion analysis device (10) according to any one of claims 1 to 6.
  • the associating unit (14) associates the reference time series information with the time series information so as to maintain a time order by a dynamic time warping method.
  • a motion analysis device (10) according to any one of claims 1 to 7.
  • [Appendix 9] To acquire time-series information indicating the actions performed by the worker, Associating the reference time-series information with one or more pieces of division information indicating the division points of the operation with the time-series information so as to maintain the time order; Based on the time-series information corresponding to the reference time-series information provided with the one or more pieces of division information, the operation time of each of a plurality of division operations obtained by dividing the operation at the division points is measured. That A motion analysis method including.
  • the operation unit provided in the motion analysis device (10) An acquisition unit (11) for acquiring time-series information indicating an operation performed by the worker, A corresponding unit (14) that associates the reference time-series information with one or more pieces of division information indicating the division points of the operation with the time-series information so as to maintain the time order, and the one or more pieces of division information.
  • a shooting unit that shoots a moving image of the worker, An analysis unit that outputs time series information indicating the operation based on the moving image, A corresponding section (14) for associating the reference time-series information, to which one or more pieces of division information indicating the division points of the operation have been added, with the time-series information so as to maintain the time order; Based on the time-series information corresponding to the reference time-series information provided with the one or more pieces of division information, the operation time of each of a plurality of division operations obtained by dividing the operation at the division points is measured.
  • a measuring unit (15), A motion analysis system (100) comprising.

Landscapes

  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Operations Research (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Factory Administration (AREA)
  • Image Analysis (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

動作時間の計測をより正確に行うことができる動作分析装置等を提供する。動作分析装置は、作業者が行った動作を示す時系列情報を取得する取得部と、動作の分割点を示す１又は複数の分割情報が付与された基準時系列情報を、時間順序を保つように時系列情報に対応付ける対応部と、１又は複数の分割情報が付与された基準時系列情報に対応する時系列情報に基づいて、動作を分割点において分割して得られる複数の分割動作それぞれの動作時間を計測する計測部と、を備える。

Description

動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
　本発明は、動作分析装置、動作分析方法、動作分析プログラム及び動作分析システムに関する。
　従来、製品の製造ラインに１又は複数のカメラを設置して、作業者の動作を画像や動画で記録することがある。また、撮影した画像や動画について画像認識処理を行って、作業者の動作を解析する場合がある。
　例えば下記特許文献１には、基準被写体の動作にかかる基準軌跡情報を、各動作の区切りタイミング間で取得し、各動作の区切りタイミングにおける特徴的な特徴軌跡情報を抽出して、他の被写体を撮像した比較映像から他の被写体の動作に係る比較軌跡情報を取得し、比較軌跡情報から特徴軌跡情報を検索して基準被写体について設定したものと同じ動作を抽出し、さらにそれを連続動作の区切りタイミングに基づいて集約し、各連続動作の所要時間を計測して表示する動作分析装置が記載されている。
特許第５５２５２０２号
　作業者の動作時間を計測する場合、例えば特許文献１に記載の技術のように基準軌跡に含まれる特徴的な軌跡情報を抽出して、測定対象としている軌跡から同様の特徴軌跡情報を検索し、各連続動作の所要時間を計測することがある。
　しかしながら、基準軌跡に含まれる特徴的な軌跡は、必ずしも測定対象としている軌跡に現れるとは限らないし、特徴的な軌跡が複数のタイミングで現れると対応付けが困難となることがある。そのため、動作時間の計測が正確に行われない場合がある。
　そこで、本発明は、動作時間の計測をより正確に行うことができる動作分析装置、動作分析方法、動作分析プログラム及び動作分析システムを提供する。
　本開示の一態様に係る動作分析装置は、作業者が行った動作を示す時系列情報を取得する取得部と、動作の分割点を示す１又は複数の分割情報が付与された基準時系列情報を、時間順序を保つように時系列情報に対応付ける対応部と、１又は複数の分割情報が付与された基準時系列情報に対応する時系列情報に基づいて、動作を分割点において分割して得られる複数の分割動作それぞれの動作時間を計測する計測部と、を備える。
　この態様によれば、作業者が行った動作を示す時系列情報を、１又は複数の分割情報が付与された基準時系列情報と対応付け、動作を複数の分割動作に分割することで、複数の分割動作それぞれの動作時間の計測をより正確に行うことができる。
　上記態様において、取得部は、作業者が動作を行った場合に記録された、作業者の複数の部位の動作を示す複数の時系列情報を取得し、対応部は、複数の部位毎に、基準時系列情報を、時間順序を保つように時系列情報に対応付けてもよい。
　この態様によれば、作業者が行った動作を、複数の部位毎に複数の分割動作に分割することができ、複数の部位毎に動作時間の計測を行うことができる。
　上記態様において、計測部は、１又は複数の分割情報が付与された基準時系列情報に対応する時系列情報に基づいて算出された動作時間を複数の部位に関して平均して、動作時間を計測してもよい。
　この態様によれば、複数の部位に関して動作時間を平均することで、複数の分割動作それぞれの動作時間をより安定的に計測することができる。
　上記態様において、取得部は、作業者の左右の部位の動作を示す複数の時系列情報を取得してもよい。
　この態様によれば、作業者が行った動作を、作業者の左右の部位毎に複数の分割動作に分割することができ、左右の部位毎に動作時間の計測を行うことができる。
　上記態様において、時系列情報は、作業者の複数の部位の速度又は加速度の大きさを足し合わせた値を含んでもよい。
　この態様によれば、複数の部位に関して速度又は加速度の大きさを足し合わせることで、複数の分割動作それぞれの動作時間をより安定的に計測することができる。
　上記態様において、基準時系列情報は、作業者のタイプ毎に用意され、対応部は、時系列情報が取得された作業者のタイプと同一のタイプの作業者に関する基準時系列情報を、時間順序を保つように時系列情報に対応付けてもよい。
　この態様によれば、時系列情報が取得された作業者のタイプと同一のタイプの作業者に関する基準時系列情報を用いて分割動作の動作時間を計測することで、複数の分割動作それぞれの動作時間の計測をより正確に行うことができる。
　上記態様において、対応部は、動的時間伸縮法によって、基準時系列情報を、時間順序を保つように時系列情報に対応付けてもよい。
　この態様によれば、時系列情報と基準時系列情報の長さや位相が異なる場合であっても、時系列情報と基準時系列情報を適切に対応付けることができ、複数の分割動作それぞれの動作時間の計測をより正確に行うことができる。
　本開示の他の態様に係る動作分析方法は、作業者が行った動作を示す時系列情報を取得することと、動作の分割点を示す１又は複数の分割情報が付与された基準時系列情報を、時間順序を保つように時系列情報に対応付けることと、１又は複数の分割情報が付与された基準時系列情報に対応する時系列情報に基づいて、動作を分割点において分割して得られる複数の分割動作それぞれの動作時間を計測することと、を含む。
　この態様によれば、作業者が行った動作を示す時系列情報を、１又は複数の分割情報が付与された基準時系列情報と対応付け、動作を複数の分割動作に分割することで、複数の分割動作それぞれの動作時間の計測をより正確に行うことができる。
　本開示の他の態様に係る動作分析プログラムは、動作分析装置に備えられた演算部を、作業者が行った動作を示す時系列情報を取得する取得部、動作の分割点を示す１又は複数の分割情報が付与された基準時系列情報を、時間順序を保つように時系列情報に対応付ける対応部、及び１又は複数の分割情報が付与された基準時系列情報に対応する時系列情報に基づいて、動作を分割点において分割して得られる複数の分割動作それぞれの動作時間を計測する計測部、として機能させる。
　この態様によれば、作業者が行った動作を示す時系列情報を、１又は複数の分割情報が付与された基準時系列情報と対応付け、動作を複数の分割動作に分割することで、複数の分割動作それぞれの動作時間の計測をより正確に行うことができる。
　本開示の他の態様に係る動作分析システムは、作業者が動作を行った動画を撮影する撮影部と、動画に基づいて、動作を示す時系列情報を出力する解析部と、動作の分割点を示す１又は複数の分割情報が付与された基準時系列情報を、時間順序を保つように時系列情報に対応付ける対応部と、１又は複数の分割情報が付与された基準時系列情報に対応する時系列情報に基づいて、動作を分割点において分割して得られる複数の分割動作それぞれの動作時間を計測する計測部と、を備える。
　この態様によれば、作業者が行った動作を示す時系列情報を、１又は複数の分割情報が付与された基準時系列情報と対応付け、動作を複数の分割動作に分割することで、複数の分割動作それぞれの動作時間の計測をより正確に行うことができる。
　本発明によれば、動作時間の計測をより正確に行うことができる動作分析装置、動作分析方法、動作分析プログラム及び動作分析システムを提供することができる。
本発明の実施形態に係る動作分析システムの概要を示す図である。 本実施形態に係る動作分析システムの機能ブロックを示す図である。 本実施形態に係る動作分析装置の物理的構成を示す図である。 本実施形態に係る動作分析装置により実行される時系列情報と基準時系列情報の対応付けの一例を示す図である。 本実施形態に係る動作分析装置により実行される動作時間の計測の一例を示す図である。 本実施形態に係る動作分析システムにより実行される動作時間計測処理の第１例のフローチャートである。 本実施形態に係る動作分析システムにより実行される動作時間計測処理の第２例のフローチャートである。
　以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
　§１　適用例
　まず、図１を用いて、本発明が適用される場面の一例について説明する。本実施形態に係る動作分析システム１００は、ある作業領域Ｒにおいて実行される作業者の動作を示す動画を撮影する第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃを備える。本例の作業領域Ｒは、製造ライン全体を含む領域であるが、作業領域Ｒは、任意の領域であってよく、例えば所定の工程が行われる領域であったり、所定の要素動作が行われる領域であったりしてよい。ここで、要素動作とは、作業者により実行される一単位の動作であり、例えば、部品のピッキング、部品の配置、部品の固定、製品の梱包といった動作を含む。本実施形態では、作業領域Ｒにおいて３つの工程が行われ、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、それぞれ所定の工程を実行する作業者の手元の動画を撮影するものであってよい。
　本例では、第１作業者Ａ１及び第２作業者Ａ２が、作業領域Ｒにおいて、予め定められた動作を行う場合について説明する。第１作業者Ａ１は、例えば第１部品のピッキング、配置、固定といった動作を実行し、第２作業者Ａ２は、例えば第２部品のピッキング、配置、固定といった動作を実行することができる。以下では、第１作業者Ａ１及び第２作業者Ａ２を総称して作業者Ａと記載する。
　動作分析システム１００は、動作分析装置１０を含む。動作分析装置１０は、動画等の作業者Ａの動作を示す時系列情報を取得し、例えば動的時間伸縮法（Dynamic Time Warping。ＤＴＷともいう。）を用いて、時系列情報と基準時系列情報を対応付ける。基準時系列情報には、動作の分割点を示す１又は複数の分割情報が付与されており、時系列情報に基準時系列情報を対応付けることで、時系列情報について動作の分割点を求めることができる。そして、動作分析装置１０は、時系列情報が示す動作を分割点で分割して得られる複数の分割動作それぞれの動作時間を計測する。
　表示部１０ｆは、時系列情報、基準時系列情報及び時系列情報と基準時系列情報の対応付けを表示する。また、表示部１０ｆは、時系列情報の分割点を表示してもよいし、複数の分割動作それぞれの動作時間を表示してもよい。さらに、表示部１０ｆは、作業者Ａの動作を示す動画を、複数の分割動作毎に表示してもよい。
　このように、本実施形態に係る動作分析装置１０によれば、作業者Ａが行った動作を示す時系列情報を、１又は複数の分割情報が付与された基準時系列情報と対応付け、動作を複数の分割動作に分割することで、複数の分割動作それぞれの動作時間の計測をより正確に行うことができる。
　§２　構成例
　［機能構成］
　次に、図２を用いて、本実施形態に係る動作分析システム１００の機能構成の一例を説明する。動作分析システム１００は、第１撮影部２０ａ、第２撮影部２０ｂ、第３撮影部２０ｃ及び動作分析装置１０を備える。そして、動作分析装置１０は、取得部１１、解析部１２、記憶部１３、対応部１４、計測部１５、付与部１６及び表示部１０ｆを備える。
　＜撮影部＞
　第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、それぞれ汎用のカメラによって構成されてよく、作業領域Ｒにおいて第１作業者Ａ１及び第２作業者Ａ２が動作を実行している場面を含む動画を撮影してよい。第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、それぞれ作業領域Ｒの一部を撮影してよく、作業領域Ｒよりも狭い領域の動画を撮影してよい。具体的には、第１作業者Ａ１及び第２作業者Ａ２により実行される動作をクローズアップした動画を撮影してよい。第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、例えば、第１作業者Ａ１及び第２作業者Ａ２の手元をクローズアップした動画を撮影してよい。
　また、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、作業領域Ｒの複数の部分をそれぞれ撮影した複数の動画を撮影してよい。例えば、第１撮影部２０ａは、主に第１作業者Ａ１が動作を実行している動画を撮影し、第３撮影部２０ｃは、主に第２作業者Ａ２が動作を実行している動画を撮影し、第２撮影部２０ｂは、第１作業者Ａ１が動作を実行している動画及び第２作業者Ａ２が動作を実行している動画の両方を撮影してよい。また、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃは、作業領域Ｒにおける複数の位置でそれぞれ異なる工程が実行される動画を撮影してよい。
　＜取得部＞
　取得部１１は、作業者Ａが行った動作を示す時系列情報を取得する。ここで、時系列情報は、作業者Ａの動作を示す動画であってよい。もっとも、時系列情報は、モーションキャプチャにより測定された作業者Ａの動作を示す座標値に関する情報であったり、加速度センサやジャイロセンサを作業者Ａに装着させることで測定される作業者Ａの動作を示す情報であったりしてもよい。取得部１１により取得された時系列情報（本例では動画）は、記憶部１３に伝送され、動画履歴１３ａとして記憶される。
　取得部１１は、作業者Ａが動作を行った場合に記録された、作業者Ａの複数の部位の動作を示す複数の時系列情報を取得してよい。作業者Ａの複数の部位は、例えば、頭、両目、両肩、両肘、両手首、両手の各指関節、腰、両膝及び両足首等であってよい。また、取得部１１は、作業者Ａの左右の部位の動作を示す複数の時系列情報を取得してよい。作業者Ａの左右の部位は、両目、両肩、両肘、両手首、両手の各指関節、両膝及び両足首等であってよい。作業者Ａの左右の部位の動作を示す複数の時系列情報を取得することで、作業者Ａが行った動作を、作業者Ａの左右の部位毎に複数の分割動作に分割することができ、左右の部位毎に動作時間の計測を行うことができる。ここで、左右の部位は、作業者Ａの両手を含んでよい。この場合、作業者Ａが行った動作を、作業者Ａの両手について複数の分割動作に分割することができ、両手について動作時間の計測を行うことができる。
　＜解析部＞
　解析部１２は、作業者Ａの動作を示す動画を解析し、作業者Ａの動作を示す座標値を含む動作情報を算出する。動作情報は、時系列情報の一例である。動作情報は、作業者Ａの身体の代表的な位置の変位を示す情報であってよい。作業者の身体の代表的な位置は、身体の１つの位置であってもよいが、典型的には複数あってよい。動作情報は、作業者Ａの関節の位置を骨格モデルによって示す情報であってよい。解析部１２は、例えば、Zhe Cao、外３名、”Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields”, arXiv:1611.08050, 2016により開示された技術を用いて、動画から作業者Ａの動作を示す座標値を含む動作情報を算出してよい。なお、加速度センサやジャイロセンサを作業者Ａに装着させて作業者Ａの動作を示す情報を測定する場合、解析部１２によって動画から作業者Ａの動作を示す座標値を含む動作情報を算出する処理は不要となる。
　解析部１２は、作業者Ａの複数の部位の速度又は加速度の大きさを足し合わせた値を含む動作情報を算出してよい。解析部１２は、例えば、作業者Ａの両手の速度又は加速度の大きさを足し合わせた値を含む動作情報を算出してよい。複数の部位に関して速度又は加速度の大きさを足し合わせることで、複数の分割動作それぞれの動作時間をより安定的に計測することができる。
　＜記憶部＞
　記憶部１３は、動画履歴１３ａ、動作情報履歴１３ｂ及び基準動作情報１３ｃを記憶する。動画履歴１３ａは、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃにより撮影された動画の履歴を含む。動作情報履歴１３ｂは、解析部１２により算出された動作情報の履歴を含む。ここで、動作情報履歴１３ｂは、作業者のタイプ毎に記憶されてもよい。作業者のタイプとは、作業者の特徴を表す分類であり、例えば、作業に関する熟練者と初心者であったり、右利きと左利きであったり、男性と女性であったり、体格に関して大柄と小柄であったりしてよい。基準動作情報１３ｃは、基準となる動作を示す時系列情報を含む基準動作情報の履歴を含む。基準動作情報は、基準時系列情報の一例であり、動作の分割点を示す１又は複数の分割情報を含む。
　＜対応部＞
　対応部１４は、動作の分割点を示す１又は複数の分割情報が付与された基準時系列情報を、時間順序を保つように時系列情報に対応付ける。本実施形態では、対応部１４は、動作の分割点を示す１又は複数の分割情報が付与された基準動作情報を、時間順序を保つように、作業者Ａについて取得された動作情報に対応付ける。
　対応部１４は、作業者Ａの複数の部位毎に、基準時系列情報を、時間順序を保つように時系列情報に対応付けてよい。対応部１４は、例えば、作業者Ａの右手の時系列情報と、右手の基準時系列情報とを対応付けたり、作業者Ａの左手の時系列情報と、左手の基準時系列情報とを対応付けたりしてよい。これにより、作業者Ａが行った動作を、複数の部位毎に複数の分割動作に分割することができ、複数の部位毎に動作時間の計測を行うことができる。
　基準時系列情報が作業者Ａのタイプ毎に用意されている場合に、対応部１４は、時系列情報が取得された作業者Ａのタイプと同一のタイプの作業者に関する基準時系列情報を、時間順序を保つように時系列情報に対応付けてよい。対応部１４は、例えば、作業に関する熟練者と初心者に分けて基準時系列情報が用意されている場合、熟練者の時系列情報に対しては、熟練者の基準時系列情報を対応付けて、初心者の時系列情報に対しては、初心者の基準時系列情報を対応付けてよい。また、対応部１４は、例えば、体格の類似する作業者を同一のタイプの作業者として、取得された時系列情報に対して、同じタイプの作業者の基準時系列情報を対応付けてよい。ここで、体格の類否は、例えば、関節間の長さを比較することで判定されてよい。また、基準時系列情報が作業者Ａ毎に用意されている場合、対応部１４は、時系列情報が取得された作業者Ａと同一の作業者に関する基準時系列情報を、時間順序を保つように時系列情報に対応付けてよい。時系列情報が取得された作業者Ａのタイプと同一のタイプの作業者に関する基準時系列情報を用いて分割動作の動作時間を計測することで、複数の分割動作それぞれの動作時間の計測をより正確に行うことができる。
　対応部１４は、動的時間伸縮法によって、基準時系列情報を、時間順序を保つように時系列情報に対応付けてよい。動的時間伸縮法を用いることで、時系列情報と基準時系列情報の長さや位相が異なる場合であっても、時系列情報と基準時系列情報を適切に対応付けることができ、複数の分割動作それぞれの動作時間の計測をより正確に行うことができる。
　＜計測部＞
　計測部１５は、１又は複数の分割情報が付与された基準時系列情報に対応する時系列情報に基づいて、作業者Ａの動作を分割点において分割して得られる複数の分割動作それぞれの動作時間を計測する。計測部１５は、例えば時系列情報が動画の場合、動画のフレームレートに基づいて分割点間の時間を算出し、複数の分割動作それぞれの動作時間を計測してよい。
　計測部１５は、１又は複数の分割情報が付与された基準時系列情報に対応する時系列情報に基づいて算出された動作時間を複数の部位に関して平均して、動作時間を計測してもよい。計測部１５は、例えば、作業者Ａの両手について算出された動作時間を平均することで、総合的な動作時間を計測してもよい。このように、複数の部位に関して動作時間を平均することで、複数の分割動作それぞれの動作時間をより安定的に計測することができる。
　＜付与部＞
　付与部１６は、基準時系列情報に１又は複数の分割情報を付与する。付与部１６は、基準時系列情報に含まれる１又は複数の特徴点を抽出して、１又は複数の特徴点に基づいて１又は複数の分割情報を付与してよい。また、付与部１６は、入力に基づいて、基準時系列情報に１又は複数の分割情報を付与してもよい。
　［ハードウェア構成］
　次に、図３を用いて、本実施形態に係る動作分析装置１０のハードウェア構成の一例を説明する。動作分析装置１０は、演算装置に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部１３に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部１３に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆとを有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では動作分析装置１０が一台のコンピュータで構成される場合について説明するが、動作分析装置１０は、複数のコンピュータを用いて実現されてもよい。
　ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、時系列情報を分割して複数の分割動作の動作時間を計測するプログラム（動作分析プログラム）を実行する演算装置である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々の入力データを受け取り、入力データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。
　ＲＡＭ１０ｂは、記憶部１３のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行する動作分析プログラムや、動画履歴１３ａ、動作情報履歴１３ｂ及び基準動作情報１３ｃといったデータを記憶する。
　ＲＯＭ１０ｃは、記憶部１３のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば動作分析プログラムや、書き換えが行われないデータを記憶する。
　通信部１０ｄは、動作分析装置１０を外部機器に接続するインターフェースである。通信部１０ｄは、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃと例えばＬＡＮ（Local Area Network）により接続されて、第１撮影部２０ａ、第２撮影部２０ｂ及び第３撮影部２０ｃから動画を受信してよい。また、通信部１０ｄは、インターネットに接続されて、インターネットを介して動画を受信したり、動作情報を受信したりしてもよい。
　入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード、マウス及びタッチパネルを含んでよい。
　表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。
　動作分析プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。動作分析装置１０では、ＣＰＵ１０ａが動作分析プログラムを実行することにより、図２を用いて説明した取得部１１、解析部１２、対応部１４、計測部１５及び付与部１６の動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、動作分析装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。
　§３　動作例
　図４は、本実施形態に係る動作分析装置１０により実行される時系列情報と基準時系列情報の対応付けの一例を示す図である。同図では、時系列情報を示す第１グラフＧ１と、基準時系列情報を示す第２グラフＧ２と、時系列情報と基準時系列情報との対応関係を示す第３グラフＧ３とを図示している。
　第１グラフＧ１は、横軸に時間を示し、縦軸に作業者Ａの動作情報の値を示して、動作情報の時間変化を示している。本例では、動作情報は、作業者Ａの両手の速度の大きさを足し合わせた値である。動作情報は、例えば作業者Ａが部品を把持するために手を伸ばした際に大きく変動し、部品の組立作業等を行う際にほぼ一定となる。
　第２グラフＧ２は、横軸（図４では鉛直方向に延伸する軸）に時間を示し、縦軸（図２では水平方向に延伸する軸）に作業者Ａの基準動作情報の値を示して、基準動作情報の時間変化を示している。本例では、基準動作情報は、作業者Ａの両手の速度の大きさを足し合わせた値である。基準動作情報は、例えば、作業者Ａが特定の動作を繰り返し行った場合に取得された複数の動作情報のうち、代表的な動作情報であってよい。
　基準動作情報には、複数の分割情報が付与されている。本例では、基準動作情報には、第１分割情報Ｄ１、第２分割情報Ｄ２及び第３分割情報Ｄ３が付与されている。
　基準時系列情報は、時系列情報の基準となるデータであり、分割情報は、分割点の位置（すなわち時刻）を示すデータである。分割情報は、例えば、基準時系列情報にメタデータとして含まれていてもよいし、基準時系列情報の一部とならない態様で基準時系列情報に関連付けられていてもよい。
　第３グラフＧ３は、動作分析装置１０により動的時間伸縮法を用いて算出された、動作情報と基準動作情報とを対応付けるワーピングパスを示している。第３グラフＧ３に示されるワーピングパスによって、基準動作情報の点が、動作情報の点に対応付けられる。ここで、対応付けは、一対一となる場合もあるし、一対多となったり、多対一となったりする場合もある。
　基準動作情報のうち第１分割情報Ｄ１が付与された点は、第３グラフＧ３に示されたワーピングパスを用いて、動作情報の一点に対応付けられる。同様に、基準動作情報のうち第２分割情報Ｄ２が付与された点は、第３グラフＧ３に示されたワーピングパスを用いて、動作情報の他の一点に対応付けられる。また、基準動作情報のうち第３分割情報Ｄ３が付与された点は、第３グラフＧ３に示されたワーピングパスを用いて、動作情報の他の一点に対応付けられる。
　図５は、本実施形態に係る動作分析装置１０により実行される動作時間の計測の一例を示す図である。同図では、図４に示す対応付けによって、第１分割情報Ｄ１、第２分割情報Ｄ２及び第３分割情報Ｄ３の対応付けがされた動作情報を図示している。
　動作分析装置１０は、動作情報の第１分割情報Ｄ１、第２分割情報Ｄ２及び第３分割情報Ｄ３の対応付けがされた点の時間間隔に基づいて、複数の分割動作の動作時間を計測する。本例の場合、第１分割情報Ｄ１が対応する点から第２分割情報Ｄ２が対応する点までの第１動作時間と、第２分割情報Ｄ２が対応する点から第３分割情報Ｄ３が対応する点までの第２動作時間とが計測される。
　このようにして、本実施形態に係る動作分析装置１０によれば、時系列情報と基準時系列情報の長さや位相が異なる場合であっても、時系列情報と基準時系列情報を適切に対応付けることができ、複数の分割動作それぞれの動作時間の計測をより正確に行うことができる。
　図６は、本実施形態に係る動作分析システム１００により実行される動作時間計測処理の第１例のフローチャートである。はじめに、動作分析システム１００は、作業者Ａが動作を行う場合の動画を撮影する（Ｓ１０）。
　その後、動作分析装置１０は、動画に基づいて、作業者Ａの両手の速度の大きさを足し合わせた値を含む時系列情報を算出する（Ｓ１１）。そして、動作分析装置１０は、同一作業者の基準時系列情報を検索する（Ｓ１２）。なお、同一作業者の基準動作情報が記憶されていない場合には、体格の類似する作業者に関する基準時系列情報を検索してよい。
　動作分析装置１０は、動的時間伸縮法によって、基準時系列情報を時系列情報に対応付ける（Ｓ１３）。そして、動作分析装置１０は、分割情報が付与された基準時系列情報に対応する時系列情報に基づいて、複数の動作の動作時間を計測する（Ｓ１４）。以上により、動作時間計測処理の第１例が終了する。
　図７は、本実施形態に係る動作分析システム１００により実行される動作時間計測処理の第２例のフローチャートである。はじめに、動作分析システム１００は、作業者Ａが動作を行う場合の動画を撮影する（Ｓ２０）。
　その後、動作分析装置１０は、動画に基づいて、作業者Ａの両手のＸ，Ｙ座標を含む時系列情報を算出する（Ｓ２１）。そして、動作分析装置１０は、同一作業者の基準時系列情報を検索する（Ｓ２２）。なお、同一作業者の基準動作情報が記憶されていない場合には、体格の類似する作業者に関する基準時系列情報を検索してよい。
　動作分析装置１０は、動的時間伸縮法によって、両手のＸ，Ｙ座標それぞれについて、基準時系列情報を時系列情報に対応付ける（Ｓ２３）。そして、動作分析装置１０は、分割情報が付与された基準時系列情報に対応する時系列情報に基づいて、時間を算出し（Ｓ２４）、両手のＸ，Ｙ座標について算出した時間を平均して、動作時間を計測する（Ｓ２５）。以上により、動作時間計測処理の第２例が終了する。
　本発明の実施形態は、以下の付記のようにも記載され得る。ただし、本発明の実施形態は、以下の付記に記載した形態に限定されない。また、本発明の実施形態は、付記間の記載を置換したり、組み合わせたりした形態であってもよい。
　［付記１］
　作業者が行った動作を示す時系列情報を取得する取得部（１１）と、
　前記動作の分割点を示す１又は複数の分割情報が付与された基準時系列情報を、時間順序を保つように前記時系列情報に対応付ける対応部（１４）と、
　前記１又は複数の分割情報が付与された前記基準時系列情報に対応する前記時系列情報に基づいて、前記動作を前記分割点において分割して得られる複数の分割動作それぞれの動作時間を計測する計測部（１５）と、
　を備える動作分析装置（１０）。
　［付記２］
　前記取得部（１１）は、前記作業者が前記動作を行った場合に記録された、前記作業者の複数の部位の動作を示す複数の時系列情報を取得し、
　前記対応部（１４）は、前記複数の部位毎に、前記基準時系列情報を、時間順序を保つように前記時系列情報に対応付ける、
　請求項１に記載の動作分析装置（１０）。
　［付記３］
　前記計測部（１５）は、前記１又は複数の分割情報が付与された前記基準時系列情報に対応する前記時系列情報に基づいて算出された前記動作時間を前記複数の部位に関して平均して、前記動作時間を計測する、
　請求項２に記載の動作分析装置（１０）。
　［付記４］
　前記取得部（１１）は、前記作業者の左右の部位の動作を示す前記複数の時系列情報を取得する、
　請求項２又は３に記載の動作分析装置（１０）。
　［付記５］
　前記左右の部位は、前記作業者の両手を含む、
　請求項４に記載の動作分析装置（１０）。
　［付記６］
　前記時系列情報は、前記作業者の複数の部位の速度又は加速度の大きさを足し合わせた値を含む、
　請求項１から５のいずれか一項に記載の動作分析装置（１０）。
　［付記７］
　前記基準時系列情報は、前記作業者のタイプ毎に用意され、
　前記対応部（１４）は、前記時系列情報が取得された作業者のタイプと同一のタイプの作業者に関する前記基準時系列情報を、時間順序を保つように前記時系列情報に対応付ける、
　請求項１から６のいずれか一項に記載の動作分析装置（１０）。
　［付記８］
　前記対応部（１４）は、動的時間伸縮法によって、前記基準時系列情報を、時間順序を保つように前記時系列情報に対応付ける、
　請求項１から７のいずれか一項に記載の動作分析装置（１０）。
　［付記９］
　作業者が行った動作を示す時系列情報を取得することと、
　前記動作の分割点を示す１又は複数の分割情報が付与された基準時系列情報を、時間順序を保つように前記時系列情報に対応付けることと、
　前記１又は複数の分割情報が付与された前記基準時系列情報に対応する前記時系列情報に基づいて、前記動作を前記分割点において分割して得られる複数の分割動作それぞれの動作時間を計測することと、
　を含む動作分析方法。
　［付記１０］
　動作分析装置（１０）に備えられた演算部を、
　作業者が行った動作を示す時系列情報を取得する取得部（１１）、
　前記動作の分割点を示す１又は複数の分割情報が付与された基準時系列情報を、時間順序を保つように前記時系列情報に対応付ける対応部（１４）、及び
　前記１又は複数の分割情報が付与された前記基準時系列情報に対応する前記時系列情報に基づいて、前記動作を前記分割点において分割して得られる複数の分割動作それぞれの動作時間を計測する計測部（１５）、
　として機能させる動作分析プログラム。
　［付記１１］
　作業者が動作を行った動画を撮影する撮影部と、
　前記動画に基づいて、前記動作を示す時系列情報を出力する解析部と、
　前記動作の分割点を示す１又は複数の分割情報が付与された基準時系列情報を、時間順序を保つように前記時系列情報に対応付ける対応部（１４）と、
　前記１又は複数の分割情報が付与された前記基準時系列情報に対応する前記時系列情報に基づいて、前記動作を前記分割点において分割して得られる複数の分割動作それぞれの動作時間を計測する計測部（１５）と、
　を備える動作分析システム（１００）。

Claims (10)

  1. 　作業者が行った動作を示す時系列情報を取得する取得部と、
    　前記動作の分割点を示す１又は複数の分割情報が付与された基準時系列情報を、時間順序を保つように前記時系列情報に対応付ける対応部と、
    　前記１又は複数の分割情報が付与された前記基準時系列情報に対応する前記時系列情報に基づいて、前記動作を前記分割点において分割して得られる複数の分割動作それぞれの動作時間を計測する計測部と、
    　を備える動作分析装置。
  2. 　前記取得部は、前記作業者が前記動作を行った場合に記録された、前記作業者の複数の部位の動作を示す複数の時系列情報を取得し、
    　前記対応部は、前記複数の部位毎に、前記基準時系列情報を、時間順序を保つように前記時系列情報に対応付ける、
    　請求項１に記載の動作分析装置。
  3. 　前記計測部は、前記１又は複数の分割情報が付与された前記基準時系列情報に対応する前記時系列情報に基づいて算出された前記動作時間を前記複数の部位に関して平均して、前記動作時間を計測する、
    　請求項２に記載の動作分析装置。
  4. 　前記取得部は、前記作業者の左右の部位の動作を示す前記複数の時系列情報を取得する、
    　請求項２又は３に記載の動作分析装置。
  5. 　前記時系列情報は、前記作業者の複数の部位の速度又は加速度の大きさを足し合わせた値を含む、
    　請求項１から４のいずれか一項に記載の動作分析装置。
  6. 　前記基準時系列情報は、前記作業者のタイプ毎に用意され、
    　前記対応部は、前記時系列情報が取得された作業者のタイプと同一のタイプの作業者に関する前記基準時系列情報を、時間順序を保つように前記時系列情報に対応付ける、
    　請求項１から５のいずれか一項に記載の動作分析装置。
  7. 　前記対応部は、動的時間伸縮法によって、前記基準時系列情報を、時間順序を保つように前記時系列情報に対応付ける、
    　請求項１から６のいずれか一項に記載の動作分析装置。
  8. 　作業者が行った動作を示す時系列情報を取得することと、
    　前記動作の分割点を示す１又は複数の分割情報が付与された基準時系列情報を、時間順序を保つように前記時系列情報に対応付けることと、
    　前記１又は複数の分割情報が付与された前記基準時系列情報に対応する前記時系列情報に基づいて、前記動作を前記分割点において分割して得られる複数の分割動作それぞれの動作時間を計測することと、
    　を含む動作分析方法。
  9. 　動作分析装置に備えられた演算部を、
    　作業者が行った動作を示す時系列情報を取得する取得部、
    　前記動作の分割点を示す１又は複数の分割情報が付与された基準時系列情報を、時間順序を保つように前記時系列情報に対応付ける対応部、及び
    　前記１又は複数の分割情報が付与された前記基準時系列情報に対応する前記時系列情報に基づいて、前記動作を前記分割点において分割して得られる複数の分割動作それぞれの動作時間を計測する計測部、
    　として機能させる動作分析プログラム。
  10. 　作業者が動作を行った動画を撮影する撮影部と、
    　前記動画に基づいて、前記動作を示す時系列情報を出力する解析部と、
    　前記動作の分割点を示す１又は複数の分割情報が付与された基準時系列情報を、時間順序を保つように前記時系列情報に対応付ける対応部と、
    　前記１又は複数の分割情報が付与された前記基準時系列情報に対応する前記時系列情報に基づいて、前記動作を前記分割点において分割して得られる複数の分割動作それぞれの動作時間を計測する計測部と、
    　を備える動作分析システム。
PCT/JP2019/008946 2019-01-23 2019-03-06 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム Ceased WO2020152879A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980052728.XA CN112602100B (zh) 2019-01-23 2019-03-06 动作分析装置、动作分析方法、存储介质及动作分析系统
EP19911704.5A EP3916655A4 (en) 2019-01-23 2019-03-06 OPERATIONAL ANALYSIS DEVICE, OPERATIONAL ANALYSIS METHOD, OPERATIONAL ANALYSIS PROGRAM, AND OPERATIONAL ANALYSIS SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-009264 2019-01-23
JP2019009264A JP7061272B2 (ja) 2019-01-23 2019-01-23 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム

Publications (1)

Publication Number Publication Date
WO2020152879A1 true WO2020152879A1 (ja) 2020-07-30

Family

ID=71736279

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008946 Ceased WO2020152879A1 (ja) 2019-01-23 2019-03-06 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム

Country Status (4)

Country Link
EP (1) EP3916655A4 (ja)
JP (1) JP7061272B2 (ja)
CN (1) CN112602100B (ja)
WO (1) WO2020152879A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7169665B2 (ja) * 2019-06-13 2022-11-11 株式会社大一商会 遊技機
JP7591711B2 (ja) * 2020-12-10 2024-11-29 シンフォニアテクノロジー株式会社 異常検知装置
CN113221678B (zh) * 2021-04-26 2024-06-11 深圳市商汤科技有限公司 一种标准工时确定方法、装置、计算机设备及存储介质
WO2026069705A1 (ja) * 2024-09-30 2026-04-02 三菱電機株式会社 情報処理装置、変更方法、及び変更プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5525202B2 (ja) 1972-05-30 1980-07-04
JP2005237494A (ja) * 2004-02-24 2005-09-08 Nihon Knowledge Kk 実技分析システム及びプログラム
JP2008108008A (ja) * 2006-10-24 2008-05-08 Omron Corp 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体
JP2011034234A (ja) * 2009-07-30 2011-02-17 Kozo Keikaku Engineering Inc 動作分析装置、動作分析方法及び動作分析プログラム
US20160239769A1 (en) * 2015-02-12 2016-08-18 Wipro Limited Methods for determining manufacturing waste to optimize productivity and devices thereof
WO2017064766A1 (ja) * 2015-10-14 2017-04-20 株式会社日立製作所 管理装置、管理方法、および、管理プログラム
WO2017150073A1 (ja) * 2016-03-02 2017-09-08 株式会社日立製作所 作業動作解析システム，作業動作解析方法及び作業動作解析プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3637412B2 (ja) * 2000-05-17 2005-04-13 中国電力株式会社 時系列データ学習・予測装置
DE10104163A1 (de) * 2001-01-30 2002-08-14 Rexroth Indramat Gmbh Steuerungs-und/oder Überwachungsanlage von Maschinen und/oder Anlagen mit Aktionskomponenten unterschiedlicher Aktionsgruppen
JP2007094494A (ja) * 2005-09-27 2007-04-12 Ricoh Co Ltd 生産計画支援システム、生産計画支援方法及びプログラム
JP5680160B1 (ja) * 2013-09-05 2015-03-04 株式会社東芝 サービス分析装置及びその動作方法
JP6451142B2 (ja) * 2014-08-20 2019-01-16 オムロン株式会社 品質管理装置および品質管理装置の制御方法
JP6630065B2 (ja) * 2015-06-05 2020-01-15 アズビル株式会社 スケジュール管理システムおよびスケジュール管理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5525202B2 (ja) 1972-05-30 1980-07-04
JP2005237494A (ja) * 2004-02-24 2005-09-08 Nihon Knowledge Kk 実技分析システム及びプログラム
JP2008108008A (ja) * 2006-10-24 2008-05-08 Omron Corp 移動パターン特定装置、移動パターン特定方法、移動パターン特定プログラム、およびこれを記録した記録媒体
JP2011034234A (ja) * 2009-07-30 2011-02-17 Kozo Keikaku Engineering Inc 動作分析装置、動作分析方法及び動作分析プログラム
US20160239769A1 (en) * 2015-02-12 2016-08-18 Wipro Limited Methods for determining manufacturing waste to optimize productivity and devices thereof
WO2017064766A1 (ja) * 2015-10-14 2017-04-20 株式会社日立製作所 管理装置、管理方法、および、管理プログラム
WO2017150073A1 (ja) * 2016-03-02 2017-09-08 株式会社日立製作所 作業動作解析システム，作業動作解析方法及び作業動作解析プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3916655A4
ZHE CAO ET AL.: "Realtime Multi-Person 2D Pose Optimization using Part Affinity Fields", ARXIV: 1611.08050, 2016

Also Published As

Publication number Publication date
JP7061272B2 (ja) 2022-04-28
CN112602100B (zh) 2023-08-01
CN112602100A (zh) 2021-04-02
EP3916655A4 (en) 2022-11-30
JP2020119198A (ja) 2020-08-06
EP3916655A1 (en) 2021-12-01

Similar Documents

Publication Publication Date Title
JP6951685B2 (ja) 動作分析システム、動作分析装置、動作分析方法及び動作分析プログラム
WO2020152879A1 (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
CN108268129B (zh) 对动作捕捉手套上的多个传感器进行校准的方法和装置及动作捕捉手套
JP7339604B2 (ja) 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム
CN118721215B (zh) 基于视觉的仿人机械手臂多模式遥操作抓取方法及系统
WO2016084285A1 (ja) 歩行解析システムおよび歩行解析プログラム
JP7137150B2 (ja) 動作分析装置、動作分析方法及び動作分析プログラム
Oulasvirta et al. Information capacity of full-body movements
CN116740618A (zh) 一种运动视频动作评估方法、系统、计算机设备及介质
CN113850113A (zh) 动作识别系统、方法及存储介质
CN112528957A (zh) 人体运动基础信息检测方法、系统及电子设备
CN115223240A (zh) 基于动态时间规整算法的运动实时计数方法和系统
US11660526B2 (en) Estimation apparatus, estimation method, and program
JP7502849B2 (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
JP2012101284A (ja) 人の動作における意図推定装置
US10545572B2 (en) Motion tracking apparatus and system
US20230126755A1 (en) Information processing apparatus, information processing method, and imaging system
CN105912117A (zh) 运动状态捕捉方法和系统
CN120014037A (zh) 一种手柄的定位方法、装置及头戴式显示设备
CN111002292A (zh) 基于相似性度量的机械臂仿人运动示教方法
CN118537889A (zh) 手势识别方法、装置、设备及存储介质
Lee et al. Video-based automatic wrist flexion and extension classification
JP2024002227A (ja) 情報処理装置、情報処理方法、記憶媒体及びプログラム
JP7851543B2 (ja) 処理装置、処理システム、学習済みモデルの構築方法及びプログラム
Popescu et al. Researches for robotic glove development with application in robotics rehabilitation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19911704

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019911704

Country of ref document: EP

Effective date: 20210823