JP2007236602A - 磁気式位置姿勢センサを用いた手指用モーションキャプチャ装置 - Google Patents

磁気式位置姿勢センサを用いた手指用モーションキャプチャ装置 Download PDF

Info

Publication number
JP2007236602A
JP2007236602A JP2006062659A JP2006062659A JP2007236602A JP 2007236602 A JP2007236602 A JP 2007236602A JP 2006062659 A JP2006062659 A JP 2006062659A JP 2006062659 A JP2006062659 A JP 2006062659A JP 2007236602 A JP2007236602 A JP 2007236602A
Authority
JP
Japan
Prior art keywords
sensors
transmitter
motion capture
fingers
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006062659A
Other languages
English (en)
Other versions
JP4465476B2 (ja
Inventor
Noboru Yoshimura
昇 吉村
Kazutaka Mitobe
一孝 水戸部
Hideo Tamamoto
英夫 玉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Akita University NUC
Original Assignee
Akita University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Akita University NUC filed Critical Akita University NUC
Priority to JP2006062659A priority Critical patent/JP4465476B2/ja
Publication of JP2007236602A publication Critical patent/JP2007236602A/ja
Application granted granted Critical
Publication of JP4465476B2 publication Critical patent/JP4465476B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】本発明は、手指の繊細な動きを記録・再現するための磁気式位置姿勢センサを用いた手指用モーションキャプチャ装置を提供することを目的とする。
【解決手段】磁気式三次元位置姿勢システム(Liberty 16 system)は、1個のトランスミッタ(Transmitter)と16個のセンサ(sensors)で構成されており、トランスミッタに対するセンサの相対的な位置(X,Y,Z)および角度(Az,El,Ro)を計測することができる。それぞれのセンサは指に装着し易いようにモールドしており、1本の指に3個のセンサを装着できる。片手あたり手掌部の1個を加え計16個のセンサで手指のモーションキャプチャ(MoCap)を構成しており、あらゆる手の動きを計測することができる。また、トランスミッタと手掌部のセンサを固定するグローブは伸縮性のある面ファスナーを巻きつけて装着し、その他のセンサは伸縮性に富むテーピングを用いて装着する構造である。
【選択図】図1

Description

本発明は、手指の繊細な動きを記録・再現するための磁気式位置姿勢センサを用いた手指用モーションキャプチャ装置に関する。
一般に、動体に装着された光学マーカの位置情報により動体の動きを検出・捕捉する光学式モーションキャプチャ装置と、前記動体に装着された磁気センサの動きを検出・捕捉する磁気式モーションキャプチャ装置と、前記光学式モーションキャプチャ装置にて検出・捕捉した光学データ及び前記磁気式モーションキャプチャ装置にて検出・捕捉した磁気データをキャリブレートするためのキャリブレーション手段と、キャリブレートされた動体の光学データ及び磁気データを用いて、前記動体スケルトンの動作データを生成し、生成された動体スケルトンの動作データを動体キャラクタスケルトンに変換する制御手段とを備えた画像情報処理システムが知られている(特許文献1を参照)。
また、ピアノなどのように手指によって演奏される楽器については、その演奏教習時に実際の手指の運指状態を目視で確認させることは重要な教習方法であり、楽器演奏時の運指を表示してその演奏教習を支援する運指データ作成装置及び運指表示装置が知られている(特許文献2を参照)。
現在、手指のモーションキャプチャ(MoCap)としては、グローブに埋め込まれた光ファイバーが曲がる時に光伝送率が減衰することを機序として手指の動きを測定する製品が主流であるが、手の動きの85%程度しか測定できないし、手の大きさに合わせて買い揃えなければならないなど、精度と汎用性の点で問題が残っていた。
特開2003−106812号公報 特開2000−3171号公報
本発明は、手指の繊細な動きを記録・再現するための磁気式位置姿勢センサを用いた手指用モーションキャプチャ装置を提供することを目的とする。
本発明の磁気式位置姿勢センサを用いた手指用モーションキャプチャ装置は、ケーブルを細線化した小型軽量のトランスミッタと16個のセンサを用いた磁気式3次元位置姿勢センサを用いて手指の動きを計測するものである。
さらに、大きさの異なる手指でもトランスミッタおよび16個のセンサを装着するため、トランスミッタと手掌部のセンサを固定するグローブは伸縮性のある面ファスナーを巻きつけて装着し、その他のセンサは伸縮性に富むテーピングを用いて装着する構造である。
本発明のキャリブレーション手法は、16個のセンサ装着時の位置及び角度のズレを補正するため、トランスミッタの位置と姿勢を固定し、それよりy0離れた位置に平行な直線Lを描き、指を直線Lの左右に揃えることで装着者の手指の形状を測定するものである。
本発明の磁気式位置姿勢センサを用いた手指用モーションキャプチャ装置は、測定できなかった手指の全ての関節における回転成分やズレまでもサブミリ精度で240Hzのサンプリングレートで計測出来る。
本発明の磁気式位置姿勢センサを用いた手指用モーションキャプチャ装置は、小型軽量のトランスミッタと16個のセンサに加え、センサケーブルの細線化により指先などの小さな部位への装着を可能にした。
さらに、手指に16個のセンサを一定の姿勢で安定して装着するために解剖学的知見を踏まえた装着ユニットの技術開発により,汎用性の高い手指のモーションキャプチャを実現した。
また、左右両方の手を同時に測定できるキャプチャ用ソフトウェアの開発,また,リアルタイムで3D-CGを描画するソフトウェアの開発により手指用モーションキャプチャシステムを実現している。
本発明の磁気式位置姿勢センサを用いた手指用モーションキャプチャ装置の一実施例を図面に基づいて、以下に説明する。
図1に示すように、磁気式三次元位置姿勢システム(Liberty 16 system)は、1個のトランスミッタ(Transmitter)と16個のセンサ(sensors)で構成されており、トランスミッタに対するセンサの相対的な位置(X,Y,Z)および角度(Az,El,Ro)を計測することができる。
それぞれのセンサは指に装着し易いようにモールドしており、1本の指に3個のセンサを装着できる。
片手あたり手掌部の1個を加え計16個のセンサで手指のモーションキャプチャ(MoCap)を構成しており、あらゆる手の動きを計測することができる。
また、手の大きさに関わらず装着できることを重視し、トランスミッタと手掌部のセンサを固定するグローブは伸縮性のある面ファスナーを巻きつけて装着し、その他のセンサは伸縮性に富むテーピングを用いて装着する構造である。
指先に装着するセンサと爪との間には液状プラスチックを介することでズレを防ぎ、伸縮性がありべたつかない接着剤(商品名:Kinesiotex)で固体する。
磁気式三次元位置姿勢システムはUSBケーブル経由でコンピュータと接続し、16chを240Hzのサンプリングレートで計測する。
本発明では、磁気式三次元位置姿勢センサのトランスミッタおよび16個のセンサの小型・軽量化とケーブルの細線化により、指先などの小さな部位の測定を可能にした。
さらに、16個のセンサを多チャンネル化することで,両手の手指を同時に計測することが出来る。
また、トランスミッタと16個のセンサの最適な配置を検討し、16個のセンサおよびケーブルの小型軽量化により,従来は不可能であった指先にも装着できるように改良した。
指1本あたり3カ所、片手あたり計15カ所と手掌部1カ所の16カ所の位置(x,y,z)および姿勢(Az,El,Ro)の同時計測を可能にした。
また、16個のセンサを手指に装着するための装着ユニットを開発し,大きさの異なる手でも同一の装着ユニットを着用できるようにした.
手指の動きを再現するためには装着している手指の手骨の大きさ・形状を正確に計測した後,16個のセンサの位置・姿勢に関するキャプチャ・データから変換写像を用いて手骨の位置・姿勢を再現しなければならない。
本発明では、そのために必要な計測手法および変換写像を導出するキャリブレーション手法も提案する。
手首にトランスミッタ、手指にセンサを装着する際、センサの位置は指の中心からずれており、センサと指骨の間の角度に差が生じてしまうため、実物の手指の姿勢・動きの情報と異なったものが計測データとして得られる。
磁気式三次元位置姿勢システムを用いた手指のモーションキャプチャ(MoCap)で記録したデータを3D-CGで再現するとき、指の個々の要素を実際のヒトのそれと一致させる作業、つまりキャリブレーションが必要となる。
図1にある各センサの中心に原点を仮定すると、トランスミッタから見た時それらの位置座標(X,Y,Z)および姿勢を示すオイラー角(Azimuth,Elevation,Roll;Az,El,Ro)の情報が得られ、パソコンにリアルタイムで記録される。
センサにより計測可能なデータは、図2(a)に示しており、X、Y、Zはトランスミッタの座標系を表し、x’、y’、z’はセンサの座標系を示している。
前述のセンサ装着時の位置及び角度のズレをキャリブレーションするため、図2(b)にあるように、トランスミッタの位置と姿勢を固定し、それよりy0離れた位置に平行な直線Lを描き、指を直線Lの左右に揃えることでキャリブレーションを試みた。
ここでは、右手の人差し指の1センサを例に説明する。
指が直線Lの右にあるときのセンサのY座標をYR、左にある場合をYLとするとY座標は指の幅の中心をとり、Y+y0−(YR+YL)/2と変換できる。
ここで、(YR−YL)は指の幅を示す。
同様に、全てのセンサのY座標を修正する。
図2(b)の方法でZ座標およびAz、El、Roのキャリブレーションも可能である。
図3には、手を開いた状態から握るまでの右手センサ位置の変位を3次元空間に描画したCGを示す。
手指用モーションキャプチャ装置の概略を示す構成図である。 センサの位置・姿勢のキャリブレーション例を示す説明図である。 右手指に装着したセンサの変位を示す説明図である。

Claims (3)

  1. ケーブルを細線化した小型軽量のトランスミッタと16個のセンサを用いた磁気式3次元位置姿勢センサを用いて手指の動きを計測することを特徴とするモーションキャプチャ装置。
  2. 大きさの異なる手指でもトランスミッタおよび16個のセンサを装着するため、トランスミッタと手掌部のセンサを固定するグローブは伸縮性のある面ファスナーを巻きつけて装着し、その他のセンサは伸縮性に富むテーピングを用いて装着する構造であることを特徴とする請求項1記載のモーションキャプチャ装置。
  3. 16個のセンサ装着時の位置及び角度のズレを補正するため、トランスミッタの位置と姿勢を固定し、それよりy0離れた位置に平行な直線Lを描き、指を直線Lの左右に揃えることで装着者の手指の形状を測定することを特徴とするキャリブレーション手法。

JP2006062659A 2006-03-08 2006-03-08 磁気式位置姿勢センサを用いた手指用モーションキャプチャ計測方法 Expired - Lifetime JP4465476B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006062659A JP4465476B2 (ja) 2006-03-08 2006-03-08 磁気式位置姿勢センサを用いた手指用モーションキャプチャ計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006062659A JP4465476B2 (ja) 2006-03-08 2006-03-08 磁気式位置姿勢センサを用いた手指用モーションキャプチャ計測方法

Publications (2)

Publication Number Publication Date
JP2007236602A true JP2007236602A (ja) 2007-09-20
JP4465476B2 JP4465476B2 (ja) 2010-05-19

Family

ID=38582740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006062659A Expired - Lifetime JP4465476B2 (ja) 2006-03-08 2006-03-08 磁気式位置姿勢センサを用いた手指用モーションキャプチャ計測方法

Country Status (1)

Country Link
JP (1) JP4465476B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2037710A2 (en) 2007-09-12 2009-03-18 Kabushiki Kaisha Toshiba Mobile communication system, base station control apparatus, mobile terminal and method for controlling handover
JP2010117886A (ja) * 2008-11-13 2010-05-27 Kanto Auto Works Ltd 仮想試作システム及び仮想試作における動作情報の処理方法並びに該処理方法を記録した記録媒体
JP2010131085A (ja) * 2008-12-02 2010-06-17 Waseda Univ 歩行計測装置
JP2010271927A (ja) * 2009-05-21 2010-12-02 Kanto Auto Works Ltd 作業判定システム及び作業判定方法並びに該作業判定方法を記録した記録媒体
EP2354897A1 (en) * 2010-02-02 2011-08-10 Deutsche Telekom AG Around device interaction for controlling an electronic device, for controlling a computer game and for user verification
JP2011200997A (ja) * 2010-03-26 2011-10-13 Kanto Auto Works Ltd ロボットのティーチング装置及びティーチング方法
WO2016026440A1 (zh) * 2014-08-20 2016-02-25 博世(中国)投资有限公司 用于采集手语识别用数据的手套
WO2017029793A1 (ja) * 2015-08-20 2017-02-23 株式会社Jvcケンウッド 頭外定位処理装置、及びフィルタ選択方法
WO2018110925A1 (ko) * 2016-12-17 2018-06-21 이양수 수면 중 뇌졸중 판단 장치
JP2019101945A (ja) * 2017-12-06 2019-06-24 国立大学法人秋田大学 入力システム
WO2020252856A1 (zh) * 2019-06-21 2020-12-24 深圳岱仕科技有限公司 连接机构及手部外骨骼设备
EP3910407A1 (en) 2020-05-08 2021-11-17 Topcon Corporation Eyewear display system and eyewear display method
KR20230078500A (ko) * 2021-11-26 2023-06-02 한국과학기술원 웨어러블 동작인식 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101563298B1 (ko) 2014-07-23 2015-10-26 동서대학교산학협력단 수부 모션인식 기반의 수부 재활치료 시스템

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2037710A2 (en) 2007-09-12 2009-03-18 Kabushiki Kaisha Toshiba Mobile communication system, base station control apparatus, mobile terminal and method for controlling handover
JP2010117886A (ja) * 2008-11-13 2010-05-27 Kanto Auto Works Ltd 仮想試作システム及び仮想試作における動作情報の処理方法並びに該処理方法を記録した記録媒体
JP2010131085A (ja) * 2008-12-02 2010-06-17 Waseda Univ 歩行計測装置
JP2010271927A (ja) * 2009-05-21 2010-12-02 Kanto Auto Works Ltd 作業判定システム及び作業判定方法並びに該作業判定方法を記録した記録媒体
US8376854B2 (en) 2010-02-02 2013-02-19 Deutsche Telekom Ag Around device interaction for controlling an electronic device, for controlling a computer game and for user verification
EP2354897A1 (en) * 2010-02-02 2011-08-10 Deutsche Telekom AG Around device interaction for controlling an electronic device, for controlling a computer game and for user verification
JP2011200997A (ja) * 2010-03-26 2011-10-13 Kanto Auto Works Ltd ロボットのティーチング装置及びティーチング方法
WO2016026440A1 (zh) * 2014-08-20 2016-02-25 博世(中国)投资有限公司 用于采集手语识别用数据的手套
WO2017029793A1 (ja) * 2015-08-20 2017-02-23 株式会社Jvcケンウッド 頭外定位処理装置、及びフィルタ選択方法
WO2018110925A1 (ko) * 2016-12-17 2018-06-21 이양수 수면 중 뇌졸중 판단 장치
JP2019101945A (ja) * 2017-12-06 2019-06-24 国立大学法人秋田大学 入力システム
WO2020252856A1 (zh) * 2019-06-21 2020-12-24 深圳岱仕科技有限公司 连接机构及手部外骨骼设备
EP3910407A1 (en) 2020-05-08 2021-11-17 Topcon Corporation Eyewear display system and eyewear display method
KR20230078500A (ko) * 2021-11-26 2023-06-02 한국과학기술원 웨어러블 동작인식 시스템
KR102883918B1 (ko) * 2021-11-26 2025-11-11 한국과학기술원 웨어러블 동작인식 시스템

Also Published As

Publication number Publication date
JP4465476B2 (ja) 2010-05-19

Similar Documents

Publication Publication Date Title
EP3707584B1 (en) Method for tracking hand pose and electronic device thereof
JP4465476B2 (ja) 磁気式位置姿勢センサを用いた手指用モーションキャプチャ計測方法
CN100489833C (zh) 位置姿势测量方法、位置姿势测量装置
CN106679651B (zh) 声源定位方法、装置和电子设备
US20180143696A1 (en) Body posture detection system, suit and method
Lin et al. Novel assembled sensorized glove platform for comprehensive hand function assessment by using inertial sensors and force sensing resistors
JP6852673B2 (ja) センサ装置、センサシステム及び情報処理装置
US10433725B2 (en) System and method for capturing spatially and temporally coherent eye gaze and hand data during performance of a manual task
US20130158946A1 (en) Modelling of hand and arm position and orientation
CN115023732B (zh) 信息处理装置、信息处理方法和信息处理程序
Maestre et al. Acquisition of violin instrumental gestures using a commercial EMF tracking device
US20120251991A1 (en) Peripheral Probe with Six Degrees of Freedom Plus Compressive Force Feedback
TW201308218A (zh) 移動軌跡校正方法及移動軌跡產生方法
US10884505B1 (en) Systems and methods for transitioning to higher order degree-of-freedom tracking
Moreira et al. Real-time hand tracking for rehabilitation and character animation
KR20210093866A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN114840079B (zh) 一种基于手势识别的高铁模拟驾驶动作虚实交互方法
EP4119308A1 (en) Information processing device, information processing method, and information processing program
Shenoy et al. Design and validation of an IMU based full hand kinematic measurement system
CN112486331A (zh) 基于imu的三维空间手写输入方法和装置
CN118787449A (zh) 基于多模态数据融合的手术器械导航装置及导航方法
US20180216959A1 (en) A Combined Motion Capture System
JP5540583B2 (ja) 位置計測システム、位置計測用演算装置およびプログラム
JP2002336282A (ja) 剛体運動測定方法、剛体運動測定装置、剛体運動測定プログラム、顎運動測定方法、顎運動測定装置および顎運動測定プログラム
JP2014117409A (ja) 身体関節位置の計測方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090127

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20090127

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20090226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090309

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090806

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091001

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100121

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150