TW202135902A - 智慧型跑步機 - Google Patents

智慧型跑步機 Download PDF

Info

Publication number
TW202135902A
TW202135902A TW109146021A TW109146021A TW202135902A TW 202135902 A TW202135902 A TW 202135902A TW 109146021 A TW109146021 A TW 109146021A TW 109146021 A TW109146021 A TW 109146021A TW 202135902 A TW202135902 A TW 202135902A
Authority
TW
Taiwan
Prior art keywords
treadmill
aforementioned
belt
endless belt
speed
Prior art date
Application number
TW109146021A
Other languages
English (en)
Inventor
中村仁彥
池上洋介
太田義武
神﨑裕次
古賀大貴
Original Assignee
國立大學法人東京大學
日商大武基礎工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立大學法人東京大學, 日商大武基礎工業股份有限公司 filed Critical 國立大學法人東京大學
Publication of TW202135902A publication Critical patent/TW202135902A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A63B22/0235—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills driven by a motor
    • A63B22/0242—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills driven by a motor with speed variation
    • A63B22/025—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills driven by a motor with speed variation electrically, e.g. D.C. motors with variable speed control
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6895—Sport equipment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A63B22/0292—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills separate for each leg, e.g. dual deck
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A63B2024/0093—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load the load of the exercise apparatus being controlled by performance parameters, e.g. distance or speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/065—Visualisation of specific exercise parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0658—Position or arrangement of display
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/0015—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with an adjustable movement path of the support elements
    • A63B22/0023—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with an adjustable movement path of the support elements the inclination of the main axis of the movement path being adjustable, e.g. the inclination of an endless band
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A63B2220/13—Relative positions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/18—Inclination, slope or curvature
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/30—Speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/803—Motion sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/807—Photo cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/833—Sensors arranged on the exercise apparatus or sports implement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/0057—Means for physically limiting movements of body parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一種跑步機，其具備：框架；無端皮帶；無端皮帶的驅動部；多個攝影機，其設置於框架，且能調整攝影機的姿勢及/或位置；動作資料取得部，其使用由各攝影機圖像所取得之圖像資訊，而以無標記式取得對象的動作資料；動作分析部，其使用前述動作資料而分析對象的動作；以及控制部，其基於前述動作資料而控制前述無端皮帶之驅動部。

Description

智慧型跑步機
本發明涉及跑步機，詳細而言，係關於具備動作捕捉功能及運動解析功能之智慧型跑步機。
跑步機為被廣泛使用於運動訓練或復健的場所之裝置。跑步機有具備測力板或位置檢測感測器者，並且有因應檢測結果而控制跑步機速度者(專利文獻1~9)，但基本上幾乎都為單功能(步行/跑步功能)製品。因此，在解析或評價跑步機上之對象的步行動作之情形，需要將跑步機放置於動作捕捉空間，並測量對象的動作。
作為典型的動作捕捉技術，光學式動作捕捉或使用慣性感測器之動作捕捉已為人所知。光學式動作捕捉係將塗布有復歸性反射材之多個光學式標記安裝於對象的身體，以紅外線攝影機等多個攝影機拍攝對象的動作，藉此從光學式標記的移動軌跡取得對象的動作。使用紅外線光源之光學式動作捕捉需要在不受外界光影響之以攝影機圍繞的空間進行測量，測量空間有所限制。
不論是光學式動作捕捉或是使用慣性感測器之動作捕捉都有下述缺點：需要將多個標記或多個感測器裝設於對象的身體，故動作測量的準備耗費時間或人手，且對象的動作受限制，有妨礙自然的動作之虞。
最近出現所謂的無標記式動作捕捉技術。在本說明書中，「無標記式」意指不使用裝設於對象的身體之標記或感測器。作為無標記式動作捕捉技術，從距離圖像(深度圖像)推定關節位置之手法、或從RGB圖像推定關節位置之手法已為人所知。例如視訊動作捕捉技術(非專利文獻1)為從多台RGB攝影機的影像以完全非拘束方式進行動作捕捉之技術。
[習知技術文獻]
[專利文獻]
[專利文獻1]美國專利第4830021號
[專利文獻2]日本特開2013-226340
[專利文獻3]日本特開2015-107247
[專利文獻4]美國專利第6010465號
[專利文獻5]美國專利第8002672號
[專利文獻6]美國專利第6173608號
[專利文獻7]日本特開平10-243979
[專利文獻8]美國專利第5368532號
[專利文獻9]美國專利第5800314號
[非專利文獻]
[非專利文獻1]
T. Ohashi, Y. Ikegami, K. Yamamoto, W. Takano and Y. Nakamura, Video Motion Capture from the Part Confidence Maps of Multi-Camera Images by Spatiotemporal Filtering Using the Human Skeletal Model, 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, 2018, pp. 4226-4231.
[非專利文獻2]
Openpose. https://github.com/CMU-Perceptual-Computing-Lab/openpose.
[非專利文獻3]
http://cocodataset.org/#keypoints-leaderboard
[非專利文獻4]
Y. Nakamura, K. Yamane, Y. Fujita, and I. Suzuki. Somatosensory computation for man-machine interface from motion-capture data and musculoskeletal human model. Trans. Rob., 21(1):58-66, Feb 2005.
本發明之目的在於藉由組合跑步機與無標記式動作捕捉，而提供一種高機能跑步機。
本發明所採用的技術手段為一種動作捕捉一體型跑步機，係具備：
框架；
無端皮帶，其提供乘載對象之步行面；
皮帶驅動部；
多個攝影機，其設置於框架，且能調整攝影機的姿勢及/或位置；以及
動作資料取得部，其使用由各攝影機圖像所取得之圖像資訊，而以無標記式取得對象的動作資料。
在一態樣中，前述跑步機具備動作分析部，其使用前述動作資料而分析對象的動作。
在一態樣中，前述動作分析部除了前述動作資料，還使用無端皮帶的動作資訊(速度資訊或皮帶之傾斜)而分析對象的動作。
在一態樣中，前述跑步機具備：控制部，其基於前述動作資料而控制該跑步機的動作。
跑步機的動作包含無端皮帶的旋轉、無端皮帶的傾斜。藉由控制無端皮帶之旋轉驅動部、無端皮帶之傾斜驅動部，而可控制無端皮帶的移動速度(皮帶速度)、無端皮帶的傾斜。
在一態樣中，前述控制部具備：
資料生成部，其基於前述動作資料而生成輸入資料；以及
控制訊號生成部，其因應前述輸入資料而生成控制訊號，
前述控制部係將前述控制訊號輸出至前述皮帶驅動部而控制皮帶速度。
在一態樣中，無端皮帶可藉由傾斜驅動部而傾斜，
前述控制部係將前述控制訊號輸出至前驅傾斜驅動部，而控制皮帶傾斜。
在一態樣中，前述動作資料取得部使用由各攝影機圖像所取得之對象的圖像資訊，而取得對象的關節位置的概率之似然度的空間分布，並基於前述似然度的空間分布而取得各框中對象的3D姿勢。
在一態樣中，於前述對象中已得到相鄰之關節間的距離而作為常數，
前述動作資料取得部係使用前述似然度的空間分布，而取得對應各特徵點之一個或多個特徵點之位置候補，
進行基於逆向運動學之最佳化計算，前述逆向運動學是使用前述特徵點的位置候補與前述對象的多關節構造，藉此取得前述對象的各關節角，
使用前述關節角進行正向運動學計算，藉此取得包含前述對象的關節之特徵點的位置。
在一態樣中，前述探索範圍為以前述特徵點的位置為中心並以預定間隔三維狀分布之預定數目的點群。
在一態樣中，前述基於逆向運動學之最佳化計算中係使用前述似然度的空間分布。
在一態樣中，前述處理部利用在一個或多個框所取得之各特徵點而設定特徵點位置候補的探索範圍，並使用在框t+1所取得之似然度的空間分布，而取得框t+1中之各關節位置的一個或多個特徵點位置候補。
在一態樣中，前述處理部係構成為如下：
使用在其他的多個框所取得之多個特徵點的位置，而將前述特徵點的位置在時間方向平滑化，
並進行基於逆向運動學之最佳化計算，前述逆向運動學使用經平滑化之特徵點的位置與前述對象的多關節構造，藉此取得前述對象的各關節角。
本發明之跑步機在對跑步機上步行或跑步中的對象進行動作測量之情形，僅設置多台視訊攝影機，並利用電腦執行預定的演算法，藉此可以更簡單之構成即時地進行動作測量及動作分析，而無須準備在對象安裝標記、或大費周章地設置動作捕捉空間。可大幅減輕裝設標記之對象或物理治療師的負擔，並可以與使用一般跑步機時幾乎相同之準備，而進行對象的動作測量及動作分析。
在本發明中，藉由組合跑步機與無標記式動作捕捉，僅使用一種所謂動作捕捉之手段，就可基於藉由動作捕捉所取得之動作資料而對應各種控制。
基於藉由動作捕捉所測量之動作資料而進行動作分析或跑步機的動作控制，藉此，例如在步行訓練中，可以跑步機的功能對應以往物理治療師以目視進行之作業。
1:前基板
2:左右側框架
3:踩踏基板
4:無端皮帶
4A:第一皮帶
4B:第二皮帶
5:第一支柱
6:第二支柱
7:扶手框架
8:前框架
9:顯示器
10:第一軸
11:第二軸
12:筒狀體
60:延伸部
80:支柱
C1,C2,C3,C4:攝影機
圖1係本實施方式之跑步機(雙皮帶型)的立體圖。
圖1A係本實施方式之跑步機(單皮帶型)的立體圖。
圖2係圖1所示之跑步機的俯視圖及側視圖，並表示攝影機配置之第一方式。
圖3係跑步機之俯視圖及側視圖，並表示攝影機配置之第二方式。
圖4係跑步機之俯視圖及側視圖，並表示攝影機配置之第三方式。
圖5係表示攝影機姿勢的第一安裝構造。
圖6係表示攝影機姿勢的第二安裝構造。
圖7係表示本實施方式之跑步機的構成之方塊圖。
圖7A係本實施方式之跑步機控制系統的方塊圖。
圖7B係雙皮帶型的跑步機之控制系統的方塊圖。
圖8係本實施方式的動作資料取得部的整體圖。
圖9係表示攝影機校準、取得骨架模型的初期姿勢/關節間距離之處理步驟的流程圖。
圖10左圖係表示本實施方式之骨架模型，右圖係表示OpenPose的特徵點。
圖11係表示關節位置候補取得部的處理步驟之流程圖。
圖12係表示使用動作捕捉之動作分析的步驟之流程圖。
圖13係表示本實施方式之攝影機校準的概略圖。
圖14係表示本實施方式之跑步機的動作控制中目標皮帶速度的計算方法之方塊線圖。
[A]智慧型跑步機的整體構成
如圖7所示，本實施方式之智慧型跑步機係由跑步機、多台攝影機、一個或多個電腦，以及顯示器所構成之跑步機系統。跑步機具備：提供乘載對象之步行面之無端皮帶、驅動部及操作部。智慧型跑步機更具備動作資料取得部、動作分析部及控制部，此等係藉由電腦所構成。動作資料取得部例如為無標記式動作捕捉，係藉由動作資料取得部而取得對象在運動時(例如步行時)的3D姿勢的時間序列資料。動作分析部係藉由處理動作資料而輸出分析資料。控制部使用動作資料或/及分析資料，對跑步機的驅動部輸出預定指令，並控制跑步機的動作。
如圖1~圖4所示，跑步機具備：由前基板1及左右側框架2所構成 之基板框架、支撐於左右側框架2間之踩踏基板3、位於踩踏基板3上下並移動之無端皮帶(跑帶)4。無端皮帶4纏繞於可旋轉地設置於基板框架的前方之前輥(驅動輥)及可旋轉地設置於基板框架之後輥(從動輥)，並在無端皮帶4之上側部位形成步行面或跑步面(以下稱為「步行面」)。
圖1、圖2、圖3、圖4所示之態樣中，無端皮帶4具備並行移動之2個無端皮帶(右腳用的第一皮帶4A、左腳用的第二皮帶4B)。跑步機具備使第一皮帶4A驅動之第一馬達(未圖示)及使第二皮帶4B驅動之第二馬達(未圖示)。如這般的雙皮帶型的跑步機為習知，例如揭示於專利文獻2、6、7，具體的構成可參照專利文獻2、專利文獻7的記載。如圖1A所示，無端皮帶4也可為單皮帶。
跑步機具備位於前基板1內且包含馬達之皮帶驅動部，並藉由皮帶驅動部而驅動驅動輥，藉此使無端皮帶4移動。馬達的旋轉速度為可變，藉由改變馬達的旋轉速度，而可調整無端皮帶4的速度。無端皮帶4的速度調整可由操作部(未圖示)來進行操作。操作部例如設置有開始按鈕、停止按鈕、加速按鈕、減速按鈕。操作部可設置傾斜調整按鈕，其用以對無端皮帶4之步行面施加傾斜。例如可藉由踩踏基板3及無端皮帶4的傾斜機構，而執行無端皮帶4之傾斜的調整。藉由來自傾斜調整按鈕的指令使傾斜機構的致動器(例如馬達、油壓、氣壓)運作，並改變踩踏基板3之傾斜，藉此可進行調整。由傾斜機構所致之皮帶的傾斜方向，典型而言為縱方向的傾斜(皮帶的前端與後端的高度相異)，但除此之外或作為取代，也可為橫方向的傾斜(皮帶的左端與右端的高度相異)。無端皮帶4的速度可藉由控制部控制。又，也可藉由控制部控制無端皮帶4的傾斜。
在左右側框架2的前側設置有第一支柱5，且在後側設置有第二支柱6。第一支柱的上端及第二支柱的上端間設置有扶手框架7。在基板框架的前端立設有包含左右支柱80之前框架8，顯示器9被支撐於前框架8。在本說明書中，將跑步機中除了無端皮帶4以外之部位或構造體(前基板1、側框架2、踩踏基板3、第一支柱5、第二支柱6、扶手框架7及前框架8)總稱為框架。
本實施方式之跑步機具備以圍繞步行面之方式配置之4台攝影機C，成為以分別具備相異之視點之4台攝影機拍攝跑帶上的對象。在圖1、圖2所示之態樣中，位於前框架8的左右的支柱80的上端設置有攝影機C1、C2，位於左右的側框架2的後端或踩踏基板3的後端的寬度方向兩側設置有攝影機 C3、C4。在圖3所示之態樣中，於左右的第一支柱5設置有攝影機C1、C2，於左右第二支柱6設置有攝影機C3、C4。在圖4所示之態樣中，左右的第二支柱6具備超過扶手桿7往上方延伸突出之延伸部60，於左右的第一支柱5設置有攝影機C1、C2，於左右的第二支柱6的延伸部60設置有攝影機C3、C4。圖1~圖4所示之攝影機的台數或配置為例示，並不限定於圖示之態樣。攝影機C1~C4係可調整攝影機的姿勢及/或位置地固定於框架。在圖5、圖6例示攝影機之安裝構造。圖5、圖6所表示之攝影機的安裝構造為例示，並不限定於圖示的態樣。
第一方式之攝影機C1、C2(圖1、圖2)是可調節攝影機的姿勢地安裝於前框架8的上端。如圖5所示，相機C2可上下轉動地安裝於第一軸10的上端，而第一軸10係以相對於固定在框架8之圓筒狀的第二軸11可以第一軸10為中心旋轉之方式安裝。攝影機C1、C2可進一步設為可相對於框架8調整高度位置。第一方式之攝影機C3、C4(圖1、圖2)亦可以可容納於側框架2或踩踏基板3(例如容納時與框架上表面成為同平面的平坦狀態)之方式構成。
第二方式、第三方式之攝影機C1、C2(圖3、圖4)係可調整攝影機的姿勢及/高度位置地安裝於第一支柱5。如圖6所示，攝影機C2係可上下轉動地安設於筒狀體12的周面，筒狀體12係以可在周方向旋轉且可在高度方向移動之方式安裝於第一支柱6的外周。第二方式、第三方式之攝影機C3、C4(圖3、圖4)之安裝構造也可採用與上述攝影機C1、C2之安裝構造類似的構造。
在跑步機的無端皮帶4為可傾斜之情形，攝影機安裝設於測量對象的步行動作時不會受到無端皮帶4的傾斜影響之不動部位。例如在將攝影機安裝於第一支柱5、第二支柱6、扶手框架7、前框架8之任一者之情形，即使無端皮帶4及踩踏基板3傾斜，攝影機的姿勢或位置也不會改變。
多台攝影機C1~C4係以可拍攝跑步機的步行面上之對象的全身之方式調整攝影機的姿勢及位置，並安裝於框架。在圖示之態樣中表示4台攝影機C1~C4，但攝影機台數並無限定。並且，可設置鏡子並減少攝影機的台數。攝影機可具備廣角透鏡或魚眼透鏡。在使用廣角透鏡或魚眼透鏡之情形，可適當地應用圖像失真修正，並使用失真修正後之圖像。多台攝影機C1~C4被組入跑步機之框架，故可在與跑步機所占之空間大致相同之空間內執行動作捕捉。
電腦具備：進行資料處理之處理器，及記憶資料之記憶體。電腦 係發揮下述功能：作為從對象的圖像資料取得對象的動作資料(3D姿勢的時間序列資料)之動作資料取得部、藉由動作資料取得部所得到之對象的時間序列資料的記憶部、使用對象的時間序列資料之動作分析部、動作分析部所產生之分析資料的記憶部，及基於分析資料而控制跑步機的控制部。在一態樣中，電腦設置於框架，例如前基板1內。又，電腦可由設置於框架之區域電腦及可在區域電腦之間進行無線資料通訊之電腦或雲端電腦所構成。在一態樣中，可個別準備動作捕捉用電腦、動作分析用電腦及跑步機控制用電腦。
本實施方式之跑步機可位於無端皮帶4的上側部位的下方具備測力板。具備測力板之跑步機為已知，例如揭示於專利文獻1~6。專利文獻1~3中揭示具備使用應變計之測力板的跑步機。專利文獻4、5中揭示具備使用靜電容量式感測器之測力板的跑步機。專利文獻6中揭示具備可三方向檢測之石英振盪器力感測器的跑步機。對象在跑帶上步行或跑步時，以測力板所取得之時間序列資料被記憶於電腦的記憶部。以測力板所取得之資料可用於動作分析部中之動作分析。又，跑步機可具備釋壓裝置。
[B]無標記式動作捕捉
[B-1]無標記式動作捕捉的整體構成
本實施方式之無標記式動作捕捉係由安裝於跑步機的框架之多台視訊攝影機及電腦所構成。如圖8所示，本實施方式之動作捕捉具備：動畫取得部(視訊攝影機)，其取得對象的動作；熱點圖取得部，其基於以動畫取得部所取得之圖像，取得熱點圖資訊，所述熱點圖資訊是以色彩濃度顯示包含關節位置之特徵點(Keypoints)的位置之概率程度；關節位置取得部，其使用以熱點圖取得部所取得之熱點圖資訊，而取得對象的關節位置；平滑化處理部，其將以關節位置取得部所取得之關節位置進行平滑化；記憶部，其記憶對象身體的骨架構造、以動畫取得部所取得之圖像的時間序列資料、以關節位置取得部所取得之關節位置的時間序列資料等；以及顯示器，其顯示以動畫取得部所取得之對象的圖像或對應對象的姿勢之骨架構造等。對象的身體上的特徵點主要為關節，故本說明書及圖式中使用「關節」一詞代表特徵點，須留意「關節」之說明也適用於關節以外的特徵點。
動畫取得部係由同步之多個攝影機所組成，同時刻所取得之各攝影機圖像係被傳送至熱點圖取得部，藉由熱點圖取得部而在各攝影機圖像中生 成熱點圖。熱點圖表示身體上的特徵點的位置的概率之似然度的空間分布。所生成之熱點圖資訊被傳送至關節位置取得部，藉由關節位置取得部而取得關節位置。所取得之關節位置資料係作為關節位置的時間序列資料，而被儲存於記憶部。所取得之關節位置資料被傳送至平滑化處理部，而取得平滑化之關節位置、關節角。藉由經平滑化之關節位置或關節角，以及對象的身體的骨架構造，而決定對象的姿勢，將由姿勢的時間序列資料所構成之對象的動作顯示於顯示器。
在跑步機的步行面上動作之對象具備連結構造或多關節構造。典型而言對象為人類，且前述多關節構造為身體的骨架構造。需要配合對象而準備用於熱點圖取得部之學習資料，但也可適用於人類以外的對象(例如，人類以外的動物)。又，對象例如並不限定於人類的全身，也可為身體的部分。
記憶部中儲存有測量資料或處理資料。例如儲存有藉由動畫取得部所取得之圖像的時間序列資料，及藉由關節位置取得部所取得之關節位置資料、關節角度資料。記憶部中也可進一步儲存藉由平滑化處理部所取得之平滑化關節位置資料、平滑化關節角度資料、藉由熱點圖取得部所生成之熱點圖資料，及在其他處理過程所生成之資料。
記憶部中可進一步儲存決定對象的身體的骨架構造之資料。此資料中包含定義身體的骨架模型之檔案及對象的相鄰之關節間距離資料。從多關節體之骨架模型之各關節的位置，而決定關節角度或對象的姿勢。本實施方式中所使用之骨架模型表示於圖10左圖。圖10左圖所示之骨架模型為40自由度，但此骨架模型為例示。如後述，表示對象的相鄰之關節間的距離之常數可在動作捕捉之初期設定時取得。可以其他手法預先取得對象的各關節間距離，或者，也可使用已取得之關節間距離。本實施方式中使用對象的身體的骨架構造資料，藉此在關節位置的計算中可賦予相鄰之關節間距離不隨時間改變之骨架構造特有的限制條件。
在顯示器顯示藉由動畫取得部所取得之對象的動畫，及顯示藉由動作捕捉所取得之對象的姿勢之時間序列骨架圖像等。例如在電腦的處理部中，使用對象固有的骨架構造、經計算之關節角及關節位置的時間序列資料，對每個框生成骨架圖像(對象的姿勢)資料，並將骨架圖像資料以預定的圖框率輸出，作為動畫顯示於顯示器。
[B-2]熱點圖取得部
熱點圖取得部基於輸入圖像，生成包含各關節位置之身體上之特徵點(keypoints)位置的概率之似然度的二維或三維空間分布，並以熱點圖形式顯示前述似然度的空間分布。在本實施方式中，以熱點圖取得部所取得之似然度係賦予至二維圖像上之各畫素，綜合來自多視角的熱點圖資訊，可得特徵點的三維性存在位置的概率之資訊。熱點圖係將廣布於空間中且變化之值，如溫度分布般地以色彩濃度顯示於空間中者，能夠將似然度可視化。在本實施方式中，熱點圖取得部只要取得包含各關節之身體上的特徵點的位置的概率之似然度的空間分布，亦即，熱點圖資訊(圖像之各畫素保持表示似然度的值)即可，則未必一定要顯示熱點圖。
典型而言，熱點圖取得部使用卷積神經網路(CNN)，從所輸入之單一的圖像而推定對象的身體上之特徵點位置(典型而言為關節位置)作為熱點圖。卷積神經網路(CNN)具備輸入層、中間層(隱藏層)及輸出層，中間層是藉由深度學習而構築，所述深度學習是使用特徵點二維映射至圖像上的存在位置的教師資料。
作為熱點圖取得部，例如可使用開源軟體之OpenPose(非專利文獻2)。OpenPose中設定有身體上的18個特徵點(keypoints)(參照圖10右圖)。具體而言，18個特徵點係由13個關節與鼻、左右眼、左右耳所構成。OpenPose係使用經訓練之卷積神經網路(CNN)，藉此以離線或即時方式從1張RGB圖像生成18個身體上的各特徵點(keypoints)的Part Confidence Maps(PCM)，並以熱點圖形式顯示。在本說明書中，關於身體上的特徵點的位置的概率之似然度的空間分布或熱點圖會有使用PCM一詞之情形，但須留意的是，表示包含各關節位置之身體上的特徵點的位置的概率之似然度的空間分布之指標並不限定於PCM。
對從同步之多個攝影機所取得之各RGB圖像，藉由OpenPose生成18個特徵點的Part Condence Maps(PCM)。熱點圖取得部中也可使用OpenPose以外之其他手法。已有提出各種手法作為取得表示對象的身體上之特徵點的位置的概率之熱點圖之手法。例如可採用在COCO Keypoints challenge(非專利文獻3)中名列前茅之手法。又，也可獨自製作用於熱點圖取得部的學習器，例如可將以裝配於跑步機的框架之攝影機拍攝對象之圖像使用作為學習資料，並構 築卷積神經網路(CNN)。
此外，使用從各攝影機圖像所得到之熱點圖，而推定關節位置的二維座標(熱點圖的重心座標)，並將此等進行三維再構成，藉此可取得各時刻中對象的3D姿勢。本發明並未排除如這般的動作資料取得手法，但因為關節位置的二維座標的錯誤推定等，故難以如光學式動作捕捉般以高精確度進行動作測量。因此，本實施方式中採用使用熱點圖資訊進行關節位置之三維再構成之手法，此為可如光學式動作捕捉般以高精確度進行動作測量之手法。
[B-3]動作捕捉的初期設定
一邊參照圖3，一邊說明本實施方式之動作捕捉系統中之攝影機的校準、取得骨架模型的初期姿勢，及取得對象的關節間距離。
[B-3-1]攝影機校準
為了使用多個攝影機進行動作捕捉，故取得用於多個攝影機圖像三維再構成的攝影機參數。攝影機參數中有焦點距離或光學性中心等內部參數、表示攝影機之姿勢/位置之外部參數，及失真參數。例如使已知形狀或尺寸的校準器具(核對器板或校準杖等)位於跑步機的步行面上的空間，調整姿勢/位置並以固定於框架之多台攝影機拍攝，藉由使用各攝影機圖像之最佳化計算，而可執行用以取得攝影機參數之攝影機校準。失真參數可與內部參數同時取得。使用攝影機參數而可得投影矩陣，所述投影行列係用以將三維空間上的任意點投影至各攝影機的圖像面。使用各攝影機相關之投影矩陣，可得到將三維狀的任意點轉換成攝影機的拍攝面的畫素位置之函數(矩陣)Pi。函數(矩陣)Pi被儲存於記憶部。
在一態樣中，使用兩面具備核對圖案之雙面核對器板進行校準。如圖13所示，核對器板垂直設置於跑步機的步行面(皮帶)上。核對器板例如位於步行面(皮帶)的前後方向的中間並以垂直姿勢設置於立設之支撐框架。核對器板的第一面的第一核對圖案與第二面的第二核對圖案一致。第一核對圖案與第二核對圖案之間的相對位置/姿勢是已決定的。以前方2台攝影機拍攝第一核對圖案，以後方2台攝影機拍攝第二核對圖案。在一態樣中，4台攝影機安裝於跑步機的框架，但4台攝影機亦可為獨立於跑步機者。4台攝影機分為各2台而配置於藉由第一核對圖案、第二核對圖案的各個所形成之2個座標空間Ochk1、Ochk2。藉由第一核對圖案與第二核對圖案之間的相對位置/姿勢而決定齊次轉 換矩陣chk2Rchk1，可使用所述齊次轉換矩陣chk2Rchk1，將座標空間Ochk2中表示為pchk2之點在座標空間Ochk1中之座標pchk1以下式表示。
p chk1=( chk2 R chk1)-1 p chk2
藉由此轉換而可表現/取得相同空間Ochk1中4台攝影機之相對位置/姿勢。進一步，基於核對器板上所設置之核對圖案的高度、以及平板相對於地板垂直設置，可從座標空間Ochk1導出對於設定於地面上之世界座標系統Ofloor之齊次轉換矩陣chk1Rfloor。因此，座標空間Ochk1中表示為pchk1之點在世界座標系統Ofloor中的座標pfloor可以下式表示。
p floor =( chk1 R floor )-1 p chk1
由以上方式，可通過座標空間Ochk1、Ochk2，以世界座標系統Ofloor表示空間內所有點的座標、以及所有攝影機的位置/姿勢。在本實施方式中，如圖7A所示，三維座標係設為下述座標空間：將原點取為跑步機之步行面中央，將沿著跑步機的皮帶的移動方向從後方朝向前方之方向設為y軸，皮帶的寬度方向設為x軸，垂直向上方向設為z軸。可以世界座標定義跑步機的皮帶的位置/姿勢及皮帶上的對象的位置/姿勢。對象的三維關節位置資料除了可定義某一時間點中對象的姿勢，還可定義跑步機的皮帶上之對象的位置資訊。皮帶的速度為沿著y軸之速度。若統整本實施方式之校準裝置，則動作捕捉所使用之多個攝影機包含位於前述無端皮帶的前側之一個或多個前側攝影機，及位於前述無端皮帶的後側之後側攝影機；在前述跑步機能設置校準裝置，前述校準裝置具備核對器板，所述核對器板位於前述無端皮帶的前後方向的中間且垂直設置；在前述核對器板的第一面設置有藉由前述前側攝影機所拍攝之第一核對圖案，在前述核對器板之第二面設置有藉由前述後側攝影機拍攝之第二核對圖案。圖13中表示使用前側2台攝影機及後側2台攝影機而進行動作捕捉之態樣，但在例如僅以前側的2台攝影機、或僅以後側的2台攝影機進行動作捕捉之情形，可使用任一側的面的核對圖案。又，也可單獨使用設置成平行於皮帶平面之水平姿勢的核對器板，或可與雙面核對器板組合使用並進行校準。又，可將雙面核對器板以可在垂直姿勢與水平姿勢之間轉動之方式設置於支撐框架。
[B-3-2]骨架模型與熱點圖所生成之身體上的特徵點的對應
使骨架模型之各關節(圖10左圖)與熱點圖取得部中身體的特徵點(圖10右圖，除去a、o、p、q、r)相對應。對應關係示於表1。
Figure 109146021-A0101-12-0013-1
本實施方式之骨架模型的關節與OpenPose中的18個特徵點並非完全一致。例如骨架模型與骨盆(身體基座)、腰、胸、右鎖骨、左鎖骨、頭對應之特徵點未存在於OpenPose中。又，本實施方式之骨架模型中的關節、OpenPose中的18個特徵點皆為身體上的特徵點之代表性特徵點，並非網羅有可能之所有特徵點者。例如，可進一步設定詳細的特徵點。或者所有身體上的特徵點可為關節。僅以OpenPose之18個特徵點無法決定之關節角度係可決定作為考慮可動範圍等 限制之最佳化結果。又，在骨架模型的關節與似然度的空間分布所取得之特徵點從一開始就對應之情形，則不需此相對應。
[B-3-3]取得骨架模型的初期姿勢/關節間距離
取得成為對象的動作測量的起點之初期姿勢。在本實施方式中，對於初期圖像適用OpenPose，由藉此計算出之特徵點的畫素位置，而求得關節間距離/初期姿勢的推定。例如，將從OpenPose計算出之各特徵點的初期熱點圖的重心畫素位置推定為特徵點的二維位置。使用各攝影機圖像上的對應點的位置、攝影機參數，而推定三維空間上的特徵點之初期位置。在初期位置判斷為錯誤推定之情形，則再次進行初期設定。例如，在將推定之特徵點的3D位置投影至各攝影機圖像時的各座標的PCM計分中設定闕值，藉此判斷錯誤推定。
基於逆向運動學之最佳化計算中，需要相鄰之特徵點間的距離(關節間距離)的常數，亦即需要連結長度，但連結長度會因每個對象而異，故對每個對象計算骨架模型的連結長度。為了使本實施方式之動作捕捉的精確度提高，期望為對每個對象進行定標。骨架模型為人類的標準性骨架構造的模型，將其以全身、或對各部位進行定標，而生成適合對象的體型之骨架模型。
在本實施方式中，以所得的初期姿勢作為基準，並更新骨架模型的各連結的長度。對於骨架模型的初期連結長度，由各特徵點之位置以圖10、表1的對應作為基準，而計算連結長度更新所使用之定標參數。關於圖10左圖中的連結長度之中，1-2、2-3、3-4、3-6、3-10、6-7、10-11的每一個的連結長度，由於不存在對應之特徵點，故尺標參數無法以相同方法決定。因此，使用其他連結長度的尺標參數決定長度。又，在本實施方式中，人體骨架基本上為左右對稱之長度，故以成為左右均等之方式從左右平均而求得各定標參數，又，骨架模型的初期連結長度為左右均等。有關於頭-頸間之定標參數的計算，將兩耳的特徵點位置的中點作為頭關節的存在之處，而進行定標參數的計算。使用所取得之定標參數進行骨架模型的各連結長度之更新。有關於計算鼻/眼/耳的位置，以表2所示之對應關係為基準，而計算各假想關節(鼻、眼、耳)的位置。
[表2]
Figure 109146021-A0101-12-0015-2
又，可以其他手法取得連結長度，亦可使用預先取得者。或者，在得到對象者固有的骨架模型之情形，亦可使用此固有之骨架模型。對象者固有的骨架模型也可用於動作分析部。
[B-4]關節位置取得部
關節位置取得部具備以下特徵：使用從熱點圖取得部所取得之熱點圖資訊而推定關節位置候補，並使用該關節位置候補而執行基於逆向運動學之最佳化計算，藉此更新骨架模型的關節角、關節位置。關節位置取得部具備：關節位置候補取得部，其基於熱點圖資料推定關節位置候補；逆向運動學計算部，其使用關節位置候補，執行基於逆向運動學之最佳化計算，而計算關節角；以及正向運動學計算部，其使用經計算之關節角執行正向運動學計算，而計算關節位置。
本實施方式之關節位置候補取得部使用在一個或多個框取得之各關節的3D位置(例如前框t的關節位置)，設定關節位置候補的探索範圍，將前述探索範圍內的點的全部或一部分轉換至各攝影機圖像平面的畫素位置，並使用在框t+1所取得之似然度的空間分布，取得框t+1中的各關節位置之一個或間接位置候補。
說明使用前框t的關節位置設定探索範圍之情形。一框中關節位置的變化很微小，故若將框t中的關節n之關節位置的三維座標設為tJn，框t+1中的關節位置設為t+1Jn，則認為t+1Jn存在於tJn鄰近處。因此，考慮以tJn為中心擴散之間隔s之(2k+1)3個格子點(k為正整數)，其集合以下式表示。
[數1]
Figure 109146021-A0101-12-0016-3
例如，考慮以tJn為中心之間隔s的11×11×11(k=5)的格子狀的點。
著眼於tJn中所有點是可使用函數Pi而轉換為任意攝影機的投影面的畫素座標。若設將tJn中的一點tJn ab,c轉換成攝影機i之圖像平面之畫素位置之函數為Pi，且設從該畫素位置取得框t+1中的PCM值之函數為t+1Sn i，則由nc個攝影機所計算出的PCM值的和的最大點可視為框t+1中關節n之最高概率存在位置，t+1Jn pred可藉由下式而求得。
Figure 109146021-A0101-12-0016-4
在nj個(OpenPose之情形為18個)關節皆執行此計算。
接著著眼於框t+1的各關節位置t+1Jn為關節角t+1Q的函數，如式(3)所示，藉由基於逆向運動學之最佳化計算而計算關節角t+1Q，並藉由正向運動學計算而計算關節位置t+1Jn。
Figure 109146021-A0101-12-0016-5
又，以基於逆向運動學之最佳化計算中的各關節之加權t+1Wn如下式所定義之方式，使用各關節的預測位置中PCM值的和。
Figure 109146021-A0101-12-0016-6
以關節位置取得部所取得之各關節位置係作為關節位置的時間序列資料而被儲存於記憶部。在本實施方式中，以關節位置取得部所取得各關節位置係藉 由平滑化處理部而被平滑化處理，並生成平滑化關節位置。
在一態樣中，並不只求式(2)中成為最大值之格子點，而是將全格子點之中的多個點(例如7點)作為關節位置點群，而探索PCM計分變高之處，藉此可執行基於逆向運動學之最佳化計算。
如上述，在本實施方式中，作為探索PCM計分成為最大之三維空間上的點之方法，係將三維空間上之點群投影至二維平面，取得其畫素座標的PCM值，並求得其和(PCM計分)，將點群之中PCM計分最高的點作為PCM計分成為最大之三維空間上的點，而作為關節位置候補。將三維上的點投影至各攝影機平面，並計算其PCM之計分之計算較為簡單。本實施方式之關節位置候補的探索係藉由使用前述框的資訊之探索範圍的限定，及將探索範圍內的格子點的三維位置再投影至二維圖像(PCM)，藉此降低計算量，並且使關節位置的推定精確度提高。
[B-5]平滑化處理部
因為在關節位置取得部所使用之PCM的取得、基於逆向運動學之最佳化計算，並未考慮時間序列性的關係，故所輸出之關節位置無法保證時間性平滑。平滑化處理部之平滑化關節位置取得部中，係使用關節的時間序列資訊，而進行考量時間連續性之平滑化處理。例如，在框t+1所取得之關節位置進行平滑化之情形，典型而言，係使用在框t+1所取得之關節位置、在框t所取得之關節位置、在框t-1取得之關節位置。又，在平滑化關節位置取得部不需一定要使用連續之框。為了使計算單純化，首先，不使用身體構造資訊即進行平滑化。因此，相鄰之關節的距離，亦即連結長度未被保存。接著使用平滑化後的關節位置，再次進行基於使用對象的骨架構造之逆向運動學的最佳化計算，取得前述對象的各關節角，藉此進行保存連結長度之平滑化。
平滑化關節位置取得部係藉由低通濾波器進行關節位置時間的平滑化。將由低通濾波器進行的平滑化處理適用於藉由關節位置取得部所取得之關節位置，以平滑化關節位置設為各關節的目標位置，進行基於逆向運動學之最佳化計算。藉此，可在各關節間距離不變之骨架條件之下，生成關節位置的時間變化的平滑度。若藉由低通濾波器所求得之各關節位置作為視訊動作捕捉的輸出，則可得到各關節的時間性平滑度，但會破壞相鄰之關節間距離為常數之條件。在本實施方式中，將適應此低通濾波器後的關節位置重新再置於各 關節之目標關節位置，再次進行基於逆向運動學之最佳化計算。基於逆向運動學之最佳化計算可使用式(3)，但設全關節的加權為均一(但不限定於此)而執行基於逆向運動學之最佳化計算。藉此，可在各關節間距離不變之骨架條件之下，活用已適應低通濾波器之關節位置的時間變化的平滑度。
平滑化處理部的輸出中，例如包含關節角資訊與骨架構造，及可由其二者唯一地計算出之關節位置資訊。例如在CG描繪時，使用關節角資訊及身體的骨架構造檔案，以正向運動學計算描繪身體的運動。可將平滑化處理部的輸出所含之資訊儲存於記憶部。
[B-6]對象的動作資料取得的流程
說明本實施方式之從輸入圖像到取得關節角度、特徵點的位置為止的步驟。藉由多個同步之攝影機拍攝跑步機的步行面上之對象的動作，由各攝影機以預定的圖框率輸出RGB圖像。熱點圖取得部若接收輸入圖像，則在對象的身體上的全特徵點中，基於該輸入圖像生成熱點圖(關節位置的概率之似然度的空間分布)。
在關節位置取得部係使用各圖像的熱點圖資訊進行關節位置候補的探索。在一態樣中，若接收從框t+1的輸入圖像生成之熱點圖，則以框t的關節位置為基準而設定探索範圍，並進行關節位置候補之探索。接著在全關節中執行相同處理，並取得全關節之關節位置候補。
對全關節位置候補執行基於逆向運動學之最佳化計算。關節位置候補與骨架模型的關節係相對應，骨架模型係適合於對象者固有的骨架模型。以特徵點之位置候補及加權為基準，執行基於逆向運動學之最佳化計算、正向運動學計算，而取得關節角、關節位置。
對於所取得特徵點之位置，使用過去的框中的關節位置而執行平滑化處理，藉此使關節位置的時間上的動作平滑化。使用經平滑化的特徵點位置再次執行基於逆向運動學之最佳化計算，以取得對象的關節角，並使用所取得之關節角執行正向運動學計算，以取得對象的關節位置。
本實施方式之動作捕捉係從關節位置考慮人類的骨架的構造及運動的連續性而進行三維再構成，所述關節位置係由多個攝影機之影像使用深度學習而推定，藉此以無標記式取得可與以往的光學式動作捕捉匹敵之平滑運動測量。多個攝影機被組入跑步機之框架，不需設置攝影機或於對象裝設標記 的程序。又，可在與跑步機所占空間大致相同之空間內設置動作捕捉一體型跑步機。
[C]動作分析部
藉由動作資料取得部取得在步行面上步行之對象的3D姿勢的時間序列資料。藉由所有特徵點(關節位置)之三維座標，而指定各框中對象的3D姿勢。在動作分析部係使用對象的3D姿勢的時間序列資料而進行各種動作分析。動作分析部例如執行使用三維動作測量之步行分析。例如，藉由重心位置或重心搖動資料而可判斷對象往前後方向或側邊的搖晃。生成對象的重心位置或身體一部位的位置(例如關節位置)之利薩茹圖形(Lissajous figure)。又，動作分析部推定步行中對象的肌肉張力或肌肉活動，將其可視化並顯示於顯示器。
若示例可藉由動作分析而可得到之資訊，則可舉出對象在各框中的重心位置、對象的重心位置的時間序列資料、對象的重心搖動資料、對象的身體之預定部位的搖動資料、對象的身體之全部或一部分的速度及加速度、對象的身體之預定關節的關節角度的偏差、步寬、左右步寬的差、對象的重心位置或身體的一部位的位置之利薩茹圖形，及以其他現有的步行動作的三維動作分析所得到之資訊。可使用此等資訊的任一者或多個的組合，藉此進行動作分析。
動作分析部除了以動作資料取得部所取得的動作資料，還可使用跑步機的動作資訊進行動作分析。跑步機的動作資訊例如為對象在步行面上步行之際的無端皮帶的移動速度或傾斜角度。對象的動作資料及跑步機的動作資料係同步被儲存於記憶部。
例如，使亦包含對象的手臂或肩膀的動作等上半身的動作之全身的運動與跑步機同步，並詳細地定量化或可視化，藉此可將表現為全身的平滑運動之復健效果數值化。又，可使對象的重心的擺動與腳的動作、跑步機的動作連動並觀察。又，藉由觀察使跑步機的無端皮帶移動速度改變之際對象的全身動作的變化，而可評價僅由跑步機或僅由動作捕捉無法觀察之復健效果。
在跑步機具備測力板之情形，動作分析部可使用以測力板所取得之資訊進行動作分析。例如可檢測腳部的著陸、離開並用於動作分析。又，亦可取得步行時對象的生物資訊(心跳數或氧攝取量等)，並在動作分析部之分析中使用生物資訊。
圖12中例示使用動作捕捉之動作解析的處理步驟。藉由本實施方式的動作捕捉取得步行時對象的關節角及關節位置的時間序列資料。進一步基於此，藉由逆向動力學計算取得關節扭矩，使用前述關節扭矩，藉由最佳化計算(二次規劃法或線性規畫法)取得具備肌肉模擬線之肌肉骨架模型中的線張力，使用前述線張力計算肌肉活動度，生成依照肌肉活動度的程度分配顏色之肌肉骨架圖像，將具有經視覺化之肌肉活動度的肌肉骨架圖像以預定的圖框率輸出，作為動畫顯示於顯示器。以下詳細說明其內容。
以連續函數內插動作捕捉所取得之骨架的全自由度之時間序列的框間位移，藉此計算各框時刻中骨架的全自由度的位移、其時間微分之速度及其時間微分之加速度。將從此等計算出之各連結的位置/角度/速度/角速度/加速度/角加速度送至逆向動力學引擎，而計算隨著已假定質量之骨架的運動之力學資訊，藉此計算整合於運動之關節扭矩。骨架的各區段作為剛體，其質量、重心位置、慣性張量可使用利用體格資訊而從人的各部位的統計性測量資訊推定者。或可從對象的運動資訊藉由識別而推定此等參數。可事前取得用於推定之對象的體格資訊。
使用附有偏差/加權之二次規劃法，計算分布於肌肉模型化之全身的線的張力。此線張力之計算可參照非專利文獻4。預先求得因應已分類之運動而使用拮抗肌之際的力量分布的測量值，使用參考其之偏差、加權，藉此可得更近似實際的肌肉張力之解。亦可在取得肌肉張力時使用肌電圖儀或測力板。
將所取得之肌肉張力除以該肌肉之假定最大肌肉張力的值設為肌肉活動度，配合肌肉活動度生成改變肌肉的顏色之全身肌肉骨架系統的圖像，將其以圖框率(典型而言30FPS)輸出，作為影像而顯示於顯示器。又，生成骨架的姿勢的圖像，並以圖框率輸出，作為影像而顯示於顯示器。進一步，將各變數(例如關節角度、速度、肌肉張力、地板反作用力、重心位置等)的值的變化圖表化並輸出。將此等輸出作為解析結果，以影像或圖表提示，作為運動時肌肉或身體的活動、或身體的各部位之動作的記錄。如此一來，可自動且有效率地從拍攝對象的運動、取得運動時對象的三維姿勢，到推定運動所需的肌肉活動及可視化。
如上述，動作分析部再現在跑步機的步行面上步行或跑步之對象的骨架之3D姿勢的時間序列資訊。並且，執行考慮質量之動力學計算，藉此可 推定運動中的肌肉張力或肌肉活動。藉由使跑步機本身具備動作捕捉功能、運動解析功能，而以往需要大規模測量環境者可僅以跑步機就完成。又，至今係使跑步機、動作捕捉、運動解析等分別的技術者合作以進行運動解析，但藉由將此等一條龍地進行，可關連至省力化、省時間化。藉由使用本實施方式之無標記式動作捕捉，而可大幅減輕裝設標記之對象或物理治療師的負擔，可以與一般跑步機幾乎同樣的準備評價對象的動作，並將分析結果適當地可視化。
[D]跑步機的動作之控制部
如圖7所示，本實施方式之跑步機具備控制部，所述控制部基於藉由動作資料取得部所取得之動作資料(典型而言，為步行時對象的姿勢的時間序列資料)、或/及以動作分析部所取得之分析資料，而控制跑步機的動作。
在本說明書中，動作資料包含對象的姿勢、對象的姿勢的時間序列資料，及基於前述對象的姿勢及/或前述姿勢的時間序列資料所得到之資訊。不排除後者的資訊與動作分析所取得之資訊重複。動作資料例如可為一框中對象的身體的全身或一部位的位置資訊(藉由一個或多個關節位置所指定)。可藉由動作分析所取得之資訊例如為對象在各框中的重心位置，對象的重心位置的時間序列資料、對象的重心搖動資料、對象的身體的預定部位之搖動資料、對象的身體的全部或一部分之速度及加速度、對象的身體之預定關節的關節角度的偏差、步寬、左右步寬的差。
跑步機的動作中包含無端皮帶的旋轉及無端皮帶的傾斜。無端皮帶之旋轉控制係透過驅動部(馬達)而控制旋轉速度(皮帶速度)，並且包含皮帶速度的減速、加速、維持預定速度、減速後的停止、停止及無端皮帶的反轉。又，可獨立控制並行移動之2個無端皮帶的旋轉速度。
無端皮帶的傾斜例如為透過驅動部(馬達)使支撐無端皮帶的上側部位之踩踏基板及無端皮帶傾斜，傾斜的變化包含無端皮帶的傾斜角度增大(有步行面成為上坡之情形、步行面成為下坡之情形)、傾斜角度減少(從傾斜狀態朝向平坦狀態之動作)，及維持傾斜角度(包含平坦狀態)。無端皮帶的傾斜除了縱方向的傾斜，還可包含橫方向的傾斜。
一邊參照圖7A，一邊詳細說明控制跑步機的動作之控制部。控制部具備：輸入資料生成部，其基於動作捕捉所取得之動作資料而生成輸入資料；以及控制訊號生成部，其因應前述輸入資料而生成控制訊號，前述控制訊 號被輸出至驅動部，以得到所求的皮帶速度或傾斜。控制部所進行之控制可遵循被記憶於記憶體之一個或多個控制程式而執行。控制程式定義何種資訊該如何使用並執行何種控制。輸入資料生成部遵循控制程式而生成輸入資料。控制訊號生成部遵循控制程式，因應輸入資料而生成控制訊號。
在一態樣中，控制部在基於動作資料檢測到對象的異常狀態或變異(運動中的對象發生某種事故)之情形，控制前述跑步機的動作。控制程式定義變異檢測所使用之資訊(輸入資料)及用以判定變異的條件。控制程式例如檢測從對象的正常狀態(基於動作資料定義)往異常狀態(基於動作資料定義)之變化或異常狀態的持續，而判定變異。例如，比較對象的姿勢或姿勢變化、重心變化(可從姿勢變化或重心變化檢測到搖晃)與預先決定之參考值或闕值，藉此可檢測對象的變異。檢測到變異時，跑步機的動作控制典型而言為皮帶速度之減速或減速後之停止。
在一態樣中，控制部係在對象過度靠近步行面的前端或後端時，使皮帶速度減速或減速後停止。例如，藉由基於動作資料所檢測到之對象的全身或預定部位的位置資訊，而檢測到對象從固定位置(步行面上的預定區域)往後方(y軸方向)超出，可使皮帶速度緩緩減速。或者，檢測到對象的重心位置從固定位置(步行面上的預定區域)往後方(y軸方向)超出，可使皮帶速度緩緩減速。
例如藉由基於動作資料所檢測到之對象的全身或預定部位的位置資訊，而檢測到對象從固定位置(步行面上的預定區域)往前方(y軸方向)超出，可使皮帶速度緩緩加速。或者，檢測到對象的重心位置從固定位置(步行面上的預定區域)往前方(y軸方向)超出，可使皮帶速度緩緩加速。
如上述將皮帶速度減速後，檢測到對象回歸到固定位置，可加速皮帶速度而回復到原來的速度。同樣地，加速皮帶速度後，檢測到對象回歸到固定位置，可減速皮帶速度並回復到原來的速度。
控制部可進一步藉由基於動作資料所檢測到之對象的全身或預定部位的位置資訊，而檢測到對象從固定位置(步行面上的預定區域)往橫方向(x軸方向)超出，可使皮帶速度緩緩減速或減速後停止。或者，檢測到對象的重心位置從固定位置(步行面上的預定區域)往橫方向(x軸方向)超出，可使皮帶速度緩緩減速或減速後停止。或者，檢測到對象的一部位之加速度資訊 的大小或重心搖動的大小，可使皮帶速度緩緩減速或減速後停止。
控制部可進一步在皮帶為往上傾斜姿勢時，藉由基於動作資料所檢測到之對象的全身或預定部位的位置資訊，而檢測到對象從固定位置(步行面上的預定區域)位於後方時，可重置皮帶的傾斜並緩緩返回平坦狀態，及/或使皮帶速度緩緩減速或減速後停止。
在雙皮帶型的跑步機，可調整任一側或兩側皮帶的移動速度。一邊參照圖7B，一邊說明雙皮帶型的跑步機的動作控制。雙皮帶型的跑步機具備：2條皮帶，其可藉由各皮帶驅動部獨立動作；傾斜驅動部，其使皮帶的傾斜改變；以及操作部，雙皮帶型的跑步機係遵循來自操作部的指示而使皮帶驅動部、傾斜驅動部運作。由傾斜驅動部所致之皮帶的傾斜方向，典型而言為縱方向的傾斜(皮帶的前端與後端的高度相異)，但除此之外或作為取代，也可為橫方向的傾斜(皮帶的左端與右端的高度相異)。雙皮帶型的跑步機例如可使用作為單邊麻痺患者的步行分析系統、步行訓練系統或步行復健支援系統。又，圖7B中表示無標記式動作捕捉及雙皮帶型的跑步機，但因應以動作捕捉所取得之對象的動作資料而控制跑步機的動作之技術思想，並不限定於無標記式動作捕捉及雙皮帶型跑步機。
跑步機具備控制部，所述控制部因應藉由動作捕捉所即時取得之對象的動作資料而控制跑步機的動作。藉由無標記式動作捕捉而取得在雙皮帶上步行之對象的動作資料。典型而言，動作資料為對象的3D姿勢的時間序列資料，從3D姿勢的時間序列資料可得到例如全身的3D位置、部位的3D位置、全身的姿勢、部位的姿勢、全身的動作、部位(肢體或腳等)的動作、對象的身體的全部或一部分的速度、重心的位置、重心搖動及部位的搖動。此等資料為控制部中可使用之資料的例示，所屬技術領域中具有通常知識者可理解因應控制內容，基於3D姿勢的時間序列資料可生成各種資訊。控制部因應遵循預定的控制程式生成之資料的輸入，遵循前述控制程式而控制跑步機的動作。
在一態樣中，前述控制部因應動作資料而獨立控制各皮帶的移動速度。例如，可因應左右腳的動作的速度或左右步寬的差別，而進行一側皮帶的速度調整。在以往單邊麻痺患者的步行復健中，現狀為物理治療師一邊觀察患者的麻痺腳的狀態，一邊改變麻痺側的跑帶的速度。在本實施方式之雙皮帶型的跑步機中，可藉由控制部自動控制配合麻痺腳的動作之跑帶的速度變化(加 速或減速)。又，可因應皮帶上的患者的身體往前傾且患者倒下的動作，使跑帶停止，或適當地加速皮帶，藉此可修正前傾狀態並導引至正確步行。
在一態樣中，前述控制部因應動作資料而控制兩側皮帶的傾斜。例如檢測到表示皮帶上的患者變得前屈之姿勢，可配合姿勢控制傾斜驅動部，藉此調整皮帶的傾斜。
由控制部所致之速度的控制除了加速、減速、停止，還包含無端皮帶的反轉。例如，對於麻痺腳難以往前方踏出之患者，可在麻痺腳往前方踏出之動作時，使跑帶反轉並進行步行支援。
跑步機(不論是單皮帶型、雙皮帶型)在另外具備可動部(例如藉由馬達動作)之情形，也可控制該可動部的動作。例如使扶手桿在前後方向可動，並因應對象的手或臂膀的動作使扶手桿移動。
[E]步行復健支援系統
說明為了步行復健支援而利用跑步機上的患者(對象)的步行運動資料控制跑步機的皮帶速度之手法。第一控制方式為以配合患者的運動能力之速度驅動皮帶。相對於患者的運動能力，若步行速度過慢，則復健效果薄弱，相反地若勉強地進行高速步行，則伴隨跌倒等危險。以本實施方式之皮帶速度控制，可在保證患者安全且不勉強步行之範圍內，盡可能地輸出較大的皮帶速度。第二控制方式為以左右腳運動能力有差異之患者也可保持接近直立之適當步行姿勢之方式進行控制。若因單邊麻痺等原因使兩腳的運動能力產生差異，則會成為以拖著運動能力較差的腳之姿勢步行。對跑步機的皮帶速度附以左右差，藉此補償兩腳的運動能力差。本實施方式中提供組合第一控制方式及第二控制方式之皮帶速度控制手法。
說明第一控制方式。作為第一控制方式，係提出位置控制及速度控制的2種控制。說明位置控制。在皮帶速度較慢且患者尚有餘裕步行之情形，患者會在跑步機上往前方前進。相反地，在皮帶速度較快且患者的步行速度追不上之情形，會因皮帶的動向而使患者被推回至後方。係採用以下手法：藉由將患者的步行位置維持於跑步機的步行面上的預定位置(典型而言為中央附近)，而使皮帶速度配合患者的步行速度。作為表示患者步行位置之指標，係從視訊動作捕捉輸出左右股關節的三維位置推定結果。在本實施方式中，將左右股關節的中點設為「腰部中心」，將腰部中心視為虛擬身體中心。可由時刻t 中的左股關節的y座標yLplv(t)、右股關節的y座標yRplv(t)而求得時刻t中的腰部中心的y座標。在本實施方式中，係以使步行一週期中(例如1秒)的腰部中心的y座標平均值與腰部中心的目標值yref plv的差△yplv(t)接近0之方式進行控制。
Figure 109146021-A0101-12-0025-7
目標值yref plv係遵循校準時所設定之座標系統而設定，本實施方式中為yref plv=0mm。
說明速度控制。皮帶速度與患者的步行速度完全符合時，在跑步機上患者的步行位置會保持於固定。亦即，世界座標系統中患者的移動速度會表示接近0之值。以世界座標系統中的患者的速度成為0之方式調整皮帶速度。時刻t中，在世界座標系統的腰部中心的y方向速度vplv,y(t)在過去c秒中平均之值如下式所示。
Figure 109146021-A0101-12-0025-8
以此值接近0之方式進行控制。
說明第二控制方式。患者的左右腳運動能力有差異，因此患者成為拖著單腳之步行姿勢時，在患者兩腳的運動範圍中會於前後方向(y軸方向)產生偏差。此直接原因為左右的步寬差。對跑步機的皮帶速度附以左右差，藉此補償兩腳的運動能力差，並將兩腳的運動範圍的中心對齊。時刻t中的視訊動作捕捉結果中，患者的左足踝、右足踝的y座標分別被檢測為yL,ank(t)、yR,ank(t)，則左腳、右腳各自關於y方向之運動範圍的中心可用下式求得。
Figure 109146021-A0101-12-0025-9
在此，用以下方式決定△yLRa(t)。
Figure 109146021-A0101-12-0025-10
此△yLRa(t)表示兩腳的運動範圍之y方向中心的偏差，故在第一控制方式中的位置控制或速度控制中，加入使△yLRa(t)接近0之第二控制方式。亦即， 第二控制方式可適用與第一控制方式的位置控制或速度控制組合。又，第一控制方式(位置控制、速度控制)也可用於正常者或運動員的運動。
說明目標皮帶速度之計算手法。表示時刻t中的跑步機的左皮帶目標速度vL,ref(t)、右皮帶目標速度vR,ref(t)之計算方法的方塊線圖係表示於圖14。首先，用以下方式決定兩皮帶的初期速度vL,ref(0)、vR,ref(0)。
v L,ref (0)=v R,ref (0)=3.0km/h
在本實施方式中，使用跑步機上的對象的動作資料，遵循以下更新式在每個f框更新時刻nf秒中的各皮帶速度vL,ref(nf)、vR,ref(nf)。
v L,ref ((n+1)f)=v L,ref (nf)+△v L,ref (nf)
v R,ref ((n+1)f)=v R,ref (nf)+△v R,ref (nf)
在此，△vL,ref(nf)、△vR,ref(nf)為皮帶速度更新用的修正項。
說明△vL,ref(nf)及△vR,ref(nf)的計算方法。首先用以下方式定義e(t)。
Figure 109146021-A0101-12-0026-11
使用2個常數kp1、kp2並用以下方式決定△p(t)。
△p(t)=k p1 e(t)+k p2(e(t)-e(t-f+1))
使用2個常數ks1、ks2並用以下方式決定△s(t)。
△s(t)=k s1△y LRa (t)+k s2(△y LRa (t)-△y LRa (t-f+1))
使用△p(t)、△s(t)並用以下方式決定△vL,ref(nf)、△vR,ref(nf)。
△v L,ref (nf)=△p(nf)+△s(nf)
△v R,ref (nf)=△p(nf)-△s(nf)
kp1、kp2、ks1、ks2的值可由所屬技術領域中具有通常知識者適當地設定。例 如設kp1=1.0、kp2=0.5、ks1=0.3、ks2=0.1。如圖14所示，在本實施方式中，藉由組合跑步機與無標記式動作捕捉，就可僅使用一種所謂動作捕捉之手段，基於動作捕捉所取得之動作資料，而同時進行遵循第一控制方式及第二控制方式之多個控制。
1:前基板
2:左右側框架
3:踩踏基板
4:無端皮帶
4A:第一皮帶
4B:第二皮帶
5:第一支柱
6:第二支柱
7:扶手框架
8:前框架
9:顯示器
80:支柱
C1,C2,C3:攝影機

Claims (28)

  1. 一種動作捕捉一體型跑步機，其具備：
    框架；
    無端皮帶，其提供乘載對象之步行面；
    皮帶驅動部；
    多個攝影機，其設置於框架，且能調整攝影機的姿勢及/或位置；以及
    動作資料取得部，其使用由各攝影機圖像所取得之圖像資訊，而以無標記式取得對象的動作資料。
  2. 如請求項1之跑步機，其中，前述動作資料包含對象的姿勢及對象的姿勢的時間序列資料。
  3. 如請求項2之跑步機，其中，前述動作資料包含基於前述對象的姿勢及/或前述姿勢的時間序列資料所得到之資訊。
  4. 如請求項1或2之跑步機，其中，前述對象的姿勢係作為三維座標值得到，前述三維座標值係由無端皮帶移動方向之第一軸、無端皮帶之寬度方向之第二軸、垂直方向之第三軸所定義。
  5. 如請求項1至4中任一項之跑步機，其中，前述動作資料取得部使用由各攝影機圖像所取得之對象的圖像資訊，而取得對象的關節位置的概率之似然度的空間分布，並基於前述似然度的空間分布而取得各框中對象的三維姿勢。
  6. 如請求項1至5中任一項之跑步機，其具備：動作分析部，其使用前述動作資料而分析對象的動作。
  7. 如請求項6之跑步機，其中，前述動作分析部除了前述動作資料，亦使用無端皮帶的動作資訊而分析對象的動作。
  8. 如請求項1至7中任一項之跑步機，其具備：控制部，其基於前述動作資料而控制該跑步機的動作。
  9. 如請求項8之跑步機，其中，前述控制部具備：
    資料生成部，其基於前述動作資料而生成輸入資料；以及
    控制訊號生成部，其因應前述輸入資料而生成控制訊號，
    前述控制部係將前述控制訊號輸出至前述皮帶驅動部而控制皮帶速度。
  10. 如請求項9之跑步機，其中，無端皮帶能藉由傾斜驅動部而傾斜，
    前述控制部係將前述控制訊號輸出至前驅傾斜驅動部，而控制皮帶傾斜。
  11. 如請求項9或10之跑步機，其中，前述控制部係因應基於對象的姿勢所得到之對象的位置資訊，而控制皮帶速度。
  12. 如請求項11之跑步機，其中，前述控制部係以使對象的預定部位的位置與目標值一致之方式控制皮帶速度。
  13. 如請求項9或10之跑步機，其中，前述控制部係因應基於對象的姿勢的時間序列資料所得到之對象的預定部位的速度，而控制皮帶速度。
  14. 如請求項13之跑步機，其中，前述控制部係以使對象的預定部位在世界座標系統中的移動速度接近0之方式控制皮帶速度。
  15. 如請求項8至14中任一項之跑步機，其中，前述無端皮帶包含：乘載對象的左腳之第一無端皮帶，及乘載對象的右腳之第二無端皮帶，
    前述驅動部具備：第一無端皮帶用的第一驅動部，及第二無端皮帶用的第二驅動部，
    前述控制部係因應前述動作資料而將第一無端皮帶的速度及第二無端皮帶的速度獨立並進行控制。
  16. 如請求項15之跑步機，其中，前述控制部在基於前述動作資料所得到之左右步寬有差異之情形，係以補償該步寬差之方式控制前述第一無端皮帶的速度及前述第二無端皮帶的速度。
  17. 如請求項8至10中任一項之跑步機，其中，前述控制部在基於前述動作資料檢測到前述對象的變異之情形，控制前述跑步機的動作。
  18. 如請求項1之跑步機，其中，在前述跑步機能設置校準裝置，
    前述校準裝置具備：核對器板，其位於前述無端皮帶的前後方向的中間且垂直設置，
    在前述核對器板之第一面設置有第一核對圖案，其能藉由前述多個攝影機之中的一個或多個攝影機拍攝，
    在前述核對器板之第二面設置有第二核對圖案，其能藉由前述多個攝影機之中剩下的一個或多個攝影機拍攝。
  19. 一種跑步機控制系統，其具備：
    無端皮帶；
    皮帶驅動部；
    無標記式動作捕捉，其取得在無端皮帶上運動之對象的動作；以及
    控制部，其控制跑步機的動作，
    前述控制部係因應以前述動作捕捉所取得之對象的動作資料，而控制前述跑步機的動作。
  20. 如請求項19之跑步機控制系統，其中，前述控制部具備：
    資料生成部，其基於前述動作資料而生成輸入資料；以及
    控制訊號生成部，其因應前述輸入資料而生成控制訊號，
    前述控制部係將前述控制訊號輸出至前述皮帶驅動部而控制皮帶速度。
  21. 如請求項20之跑步機控制系統，其中，無端皮帶能藉由傾斜驅動部而傾斜，
    前述控制部係將前述控制訊號輸出至前驅傾斜驅動部，而控制皮帶傾斜。
  22. 如請求項20或21之跑步機控制系統，其中，前述控制部係因應基於對象的姿勢所得到之對象的位置資訊，而控制皮帶速度。
  23. 如請求項22之跑步機控制系統，其中，前述控制部係以使對象的預定部位的位置與目標值一致之方式控制皮帶速度。
  24. 如請求項20或21之跑步機控制系統，其中，前述控制部係因應基於對象的姿勢的時間序列資料所得到之對象的預定部位的速度，而控制皮帶速度。
  25. 如請求項24之跑步機，其中，前述控制部係以使對象的預定部位在世界座標系統中的移動速度接近0之方式控制皮帶速度。
  26. 如請求項19至25中任一項之跑步機控制系統，其中，前述無端皮帶包含：乘載對象的左腳之第一無端皮帶，及乘載對象的右腳之第二無端皮帶，
    前述驅動部具備：第一無端皮帶用的第一驅動部，及第二無端皮帶用的第二驅動部，
    前述控制部係因應前述動作資料而將第一無端皮帶的速度及第二無端皮帶的速度獨立並進行控制。
  27. 如請求項26之跑步機控制系統，其中，前述控制部在基於前述動作資料所得到之左右步寬有差異之情形，係以補償該步寬差之方式控制前述第一無端皮帶的速度及前述第二無端皮帶的速度。
  28. 如請求項19至21中任一項之跑步機控制系統，其中，前述控制部在基於前述動作資料檢測到前述對象的變異之情形，控制前述跑步機的動作。
TW109146021A 2019-12-26 2020-12-24 智慧型跑步機 TW202135902A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019236645 2019-12-26
JP2019-236645 2019-12-26

Publications (1)

Publication Number Publication Date
TW202135902A true TW202135902A (zh) 2021-10-01

Family

ID=76574314

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109146021A TW202135902A (zh) 2019-12-26 2020-12-24 智慧型跑步機

Country Status (7)

Country Link
US (1) US20230031291A1 (zh)
EP (1) EP4082635A4 (zh)
JP (1) JPWO2021132426A1 (zh)
KR (1) KR20220116237A (zh)
CN (1) CN114845785A (zh)
TW (1) TW202135902A (zh)
WO (1) WO2021132426A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI815590B (zh) * 2022-08-04 2023-09-11 和碩聯合科技股份有限公司 跑步機與其速度控制方法
TWI823561B (zh) * 2021-10-29 2023-11-21 財團法人工業技術研究院 多模感知協同訓練系統及多模感知協同訓練方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240355141A1 (en) * 2021-08-26 2024-10-24 Cate Inc. Program, information processing device, and information processing method
JP7047176B1 (ja) 2021-09-10 2022-04-04 株式会社エクサウィザーズ 端末装置、情報処理方法、情報処理システム、及びプログラム
US20230181971A1 (en) * 2021-12-14 2023-06-15 TrackIT Athletes Inc. System and method for analyzing one or movements of a moveable entity
CN114694431A (zh) * 2022-04-02 2022-07-01 浙江广厦建设职业技术大学 一种空中乘务教学用的仪态辅助训练装置
US11954246B2 (en) * 2022-07-06 2024-04-09 Walter L. Terry Smart individual motion capture and spatial translation (SIMCAST) system
US12338078B1 (en) * 2022-07-06 2025-06-24 Walter L. Terry Smart individual motion capture and spatial translation (SIMCAST) system with tensile-flex mesh-tread (TFMT) motion surface
US12551759B2 (en) * 2022-07-11 2026-02-17 Samuel I. Taylor, III Systems and methods for monitoring athletic performance
US20240024735A1 (en) * 2022-07-20 2024-01-25 Michelle Rubio Treadmill with Running Form Detection Device
DE102022120173A1 (de) * 2022-08-10 2024-02-15 Centigrade GmbH Laufbandsystem und Bausatz
CN115501545B (zh) * 2022-10-10 2024-03-08 江苏因特利斯智慧医疗科技研究院有限公司 医疗康复辅助训练装置
US12318661B2 (en) 2022-10-18 2025-06-03 Tonal Systems, Inc. Exercise guidance using multi-modal data
US20240269508A1 (en) * 2023-02-14 2024-08-15 Lana Schlosser Partner Treadmill Device
CN116983584B (zh) * 2023-07-26 2025-10-17 中国疾病预防控制中心慢性非传染性疾病预防控制中心 一种基于步态检测的训练系统及装置
WO2025028199A1 (ja) * 2023-07-31 2025-02-06 株式会社Orgo 情報処理装置、情報処理方法、及び情報処理プログラム
CN117357876B (zh) * 2023-10-09 2025-12-05 哈尔滨工程大学 基于室内滑雪机的滑雪动作捕捉与评估系统及其控制方法
CN117180694B (zh) * 2023-10-09 2026-03-24 中山大学 一种自适应调节裂带双轨跑步机履带速度系统
CN117162116B (zh) * 2023-11-03 2024-01-12 合肥探奥自动化有限公司 一种融合人工智能的模仿人体动作机器人
CN118022254A (zh) * 2024-02-08 2024-05-14 上海途滕智能科技有限公司 一种基于动作捕捉系统的康复运动平台
CN118217605A (zh) * 2024-04-22 2024-06-21 河南翔宇医疗设备股份有限公司 一种基于双跑道的双侧高度自调节训练方法和系统
WO2025239011A1 (ja) * 2024-05-13 2025-11-20 ＡｃｃｅｌｅＢｏｄｙ株式会社 運動状態推定プログラム、運動状態推定プログラムが記録されたコンピュータ読取可能な記録媒体、運動状態推定装置及び運動状態推定方法
GB2637064A (en) * 2024-10-03 2025-07-09 Serin Baraj Treadmill control system

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4416293A (en) * 1981-03-19 1983-11-22 Anderson Blair V Method and apparatus for recording gait analysis in podiatric diagnosis and treatment
US4830021A (en) 1988-08-29 1989-05-16 Thornton William E Monitoring system for locomotor activity
WO1993006779A1 (en) 1991-10-10 1993-04-15 Neurocom International, Inc. Apparatus and method for characterizing gait
US5368532A (en) 1993-02-03 1994-11-29 Diversified Products Corporation Treadmill having an automatic speed control system
FR2730154B1 (fr) 1995-02-08 1997-07-11 Stephanois Rech Dispositif de mesure des efforts exerces lors de la marche
JP3153744B2 (ja) 1995-09-26 2001-04-09 日立テクノエンジニアリング株式会社 走者応答運動装置
JP3584663B2 (ja) 1997-03-05 2004-11-04 株式会社日立製作所 歩行訓練装置
US6626803B1 (en) * 1999-09-07 2003-09-30 Brunswick Corporation Treadmill control system
US6811517B1 (en) * 2003-08-05 2004-11-02 Paul William Eschenbach Polestrider exercise apparatus with dual treads
EP1876412B1 (en) * 2005-04-15 2012-03-28 The University of Tokyo Motion capture system and method for three-dimensional reconfiguring of characteristic point in motion capture system
DE102007049323A1 (de) 2007-10-15 2009-04-23 Zebris Medical Gmbh Vorrichtung und Verfahren zur Ganganalyse unter Einsatz eines Laufbandes
KR101180972B1 (ko) * 2008-09-01 2012-09-07 강성식 온라인 마라톤 연습장치
KR101319314B1 (ko) * 2011-02-24 2013-10-18 한국과학기술원 트레드밀 장치
US9526451B1 (en) * 2012-01-11 2016-12-27 Bertec Corporation Force measurement system
JP5930389B2 (ja) 2012-04-27 2016-06-08 株式会社テック技販 歩行訓練装置
US9770203B1 (en) * 2013-01-19 2017-09-26 Bertec Corporation Force measurement system and a method of testing a subject
US10413230B1 (en) * 2013-01-19 2019-09-17 Bertec Corporation Force measurement system
JP6187208B2 (ja) 2013-12-05 2017-08-30 トヨタ自動車株式会社 歩行リハビリシステム
US9364713B2 (en) * 2014-01-08 2016-06-14 Abdullah Khaled Alsalem Device and method to configure gym exercises
KR101571361B1 (ko) * 2014-10-02 2015-11-24 (주)개선스포츠 시뮬레이션 런닝머신
US9916011B1 (en) * 2015-08-22 2018-03-13 Bertec Corporation Force measurement system that includes a force measurement assembly, a visual display device, and one or more data processing devices
JP6668660B2 (ja) * 2015-09-30 2020-03-18 株式会社リコー 情報処理装置およびシステム
CN105879305B (zh) * 2016-04-12 2018-02-02 中国科学院合肥物质科学研究院 一种基于视频的跑步机自适应调速系统
CN106540407B (zh) * 2016-12-26 2018-11-09 唐小石 跑步机速度控制方法及装置
CN108114405B (zh) * 2017-12-20 2020-03-17 中国科学院合肥物质科学研究院 基于3d深度摄像头和柔性力敏传感器的跑步机自适应系统
CN109646876B (zh) * 2018-12-29 2020-09-15 中国科学院合肥物质科学研究院 一种基于虚拟场景共享的跑步机及其健身方法
JP6573739B1 (ja) * 2019-03-18 2019-09-11 航 梅山 室内用有酸素運動装置、運動システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI823561B (zh) * 2021-10-29 2023-11-21 財團法人工業技術研究院 多模感知協同訓練系統及多模感知協同訓練方法
TWI815590B (zh) * 2022-08-04 2023-09-11 和碩聯合科技股份有限公司 跑步機與其速度控制方法

Also Published As

Publication number Publication date
JPWO2021132426A1 (zh) 2021-07-01
CN114845785A (zh) 2022-08-02
WO2021132426A1 (ja) 2021-07-01
EP4082635A1 (en) 2022-11-02
KR20220116237A (ko) 2022-08-22
US20230031291A1 (en) 2023-02-02
EP4082635A4 (en) 2023-06-14

Similar Documents

Publication Publication Date Title
TW202135902A (zh) 智慧型跑步機
JP7711223B2 (ja) 人体運動インテリジェント測定及びデジタル訓練システム
JP7209333B2 (ja) 関節位置の取得方法及び装置、動作の取得方法及び装置
Noma et al. Design for locomotion interface in a large scale virtual environment ATLAS: ATR locomotion interface for active self motion
US9916011B1 (en) Force measurement system that includes a force measurement assembly, a visual display device, and one or more data processing devices
KR101518857B1 (ko) 고정된 카메라로 운동하는 피사체를 촬영하고 그 촬영 이미지에 기초하여 피사체의 실제의 운동 궤적의 투사 이미지를 획득하기 위한 방법 및 시스템
CN107632698B (zh) 基于影像的动作分析系统与方法
CN108564643B (zh) 基于ue引擎的表演捕捉系统
US20180070864A1 (en) Methods and devices for assessing a captured motion
US20120327194A1 (en) Motion capture from body mounted cameras
US20220143467A1 (en) Automatic control of a single or multi-directional treadmill
CN102323854A (zh) 人体运动捕获装置
JP2016080671A5 (zh)
JP2016140591A (ja) 動作解析評価装置、動作解析評価方法、及びプログラム
US9360932B1 (en) Systems and methods for virtually displaying real movements of objects in a 3D-space by means of 2D-video capture
US20130069939A1 (en) Character image processing apparatus and method for footskate cleanup in real time animation
Kuryło et al. Machine vision system measuring the trajectory of upper limb motion applying the matlab software
CN117529278A (zh) 步态监测方法及机器人
JP2015009032A (ja) 下肢形状変化測定装置、方法及びプログラム
JP2020099541A (ja) ゴルフスイング評価システムおよびゴルフスイング評価方法
CN116092128A (zh) 一种基于机器视觉的单目实时人体跌倒检测方法及系统
KR101837142B1 (ko) 사용자와의 인터렉션을 이용한 트레드밀 콘텐츠 제공 장치 및 그 방법
JP6525180B1 (ja) 対象数特定装置
JP7620372B1 (ja) 運動評価装置、運動評価方法、及び運動評価プログラム
CN120599132A (zh) 人物模型3d扫描与动态姿态捕捉方法及系统