JP5545574B2 - 分類推定システムおよび分類推定プログラム - Google Patents

分類推定システムおよび分類推定プログラム Download PDF

Info

Publication number
JP5545574B2
JP5545574B2 JP2011522736A JP2011522736A JP5545574B2 JP 5545574 B2 JP5545574 B2 JP 5545574B2 JP 2011522736 A JP2011522736 A JP 2011522736A JP 2011522736 A JP2011522736 A JP 2011522736A JP 5545574 B2 JP5545574 B2 JP 5545574B2
Authority
JP
Japan
Prior art keywords
value
information
input
values
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011522736A
Other languages
English (en)
Other versions
JPWO2011007569A1 (ja
Inventor
昌彦 森田
浩史 川田
Original Assignee
国立大学法人 筑波大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人 筑波大学 filed Critical 国立大学法人 筑波大学
Priority to JP2011522736A priority Critical patent/JP5545574B2/ja
Publication of JPWO2011007569A1 publication Critical patent/JPWO2011007569A1/ja
Application granted granted Critical
Publication of JP5545574B2 publication Critical patent/JP5545574B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/397—Analysis of electromyograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Fuzzy Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Description

本発明は、選択的不感化ニューラルネットを介して被検体の動作意思を含む分類情報を推定する分類推定システムおよび分類推定プログラムに関する。
近年、人間等の生体の生体情報(生体信号)を用いた機械制御等についての研究・開発等が盛んに行われている。前記機械制御については、例えば、義手・義肢等の介護・福祉機器(自助具、自助器)やロボットスーツ等のパワーアシスト装置といった人間の動作を補助する機器に限定されず、バーチャルリアリティ装置やその他のヒューマンインタフェース装置等のより一般的な制御機器等にも応用されることが期待されている(例えば、非特許文献1等参照)。また、前記機械制御に利用される前記生体情報としては、例えば、脳波や脳血流の変化の情報等の中枢神経系の情報と、筋肉が収縮する際に発生する前記筋肉と前記筋肉の周囲の皮膚との間の電位差である筋電位(筋電、筋活動電位)の変化の情報である筋電位信号(筋電信号、筋活動電位信号、筋電図)等の末梢神経系の情報とが挙げられる(例えば、非特許文献1等参照)。
このうち、前記筋電位信号については、前記筋肉の収縮よりも、30〜100[ms]早く観測されることが知られている(例えば、非特許文献2等参照)。すなわち、前記筋電位信号について、前記筋肉の収縮に対して時間的な遅れが少ない測定をすることが可能である。また、前記筋電位信号の測定装置は、応答性が高く(高感度・高速応答性)、測定値の信頼性が高く、比較的安価で調達できる。このため、前記筋電位信号は、生体情報として機械制御に利用することが現実的であり、特に有望視されている。
ここで、前記筋電位信号の測定方法としては、被験者(被検体、被測定者)の特定の筋繊維に針電極を刺して直接的に特定の筋電位信号を測定する方法と、被験者の肌に電極(表面電極)を貼り付けて、複数の筋繊維が発する筋電位信号の総和、いわゆる、表面筋電位信号(EMG:Electro Myo-Gram)を測定する方法とが一般的に知られている。なお、前記針電極により測定する方法については、被験者の負担が大きいため、被験者の負担が比較的小さい表面電極により測定する方法がより一般的である。
しかしながら、前記表面筋電位信号は、各筋電位信号の総和であって非線形性が強くなるため、被験者の動作(筋活動)との対応関係が複雑になっている。すなわち、前記表面筋電位信号に基づいて、前記動作の識別をすることが困難であることが知られている。
このため、前記表面筋電位信号の測定結果から被験者の動作識別をする場合には、入力と出力との対応関係を表す関数(非線形関数)を分散表現により単純化するニューラルネット(ニューラルネットワーク)の技術が利用されている。
ここで、前記表面筋電位信号に基づく動作識別に関する技術として、例えば、下記の非特許文献1,2に記載の技術が知られている。
非特許文献1には、誤差逆伝播法(BP:Back Propagation、BP法)を用いた多層パーセプトロン(MLP:Multi-Layer Perceptron,Multi-Layered Perceptron)により、3個(3ch、3チャネル、3チャンネル)の電極(表面電極および接地電極)を被験者の前腕に貼り付けて測定した表面筋電位信号を入力して、出力としての10種類の前腕動作が、90[%]の平均識別率で識別できたことが記載されている。また、非特許文献1には、R−LLGMN(Recurrent Log-Linearized Gaussian Mixture Network)により、6chの電極を被験者の前腕に貼り付けて測定した表面筋電位信号を入力して、出力としての6種類の前腕動作が、85[%]の平均識別率で識別できたことが記載されている。
ここで、前記多層パーセプトロンとは、入力層、中間層、出力層がそれぞれ有する素子(ニューロン)によって、入力・出力および関数を分散表現する、いわゆる、層状ニューラルネットのことである。前記多層パーセプトロンでは、入力層と中間層との各素子と、中間層と出力層との各素子とが結合荷重をもってそれぞれ結合され、中間層および出力層の各素子が、結合荷重を通じた入力層および中間層の各素子からの入力の総和として演算されることにより、前記関数が分散表現されている。また、誤差逆伝播法とは、前記多層パーセプトロンの学習に使われる学習アルゴリズムであり、ある学習データ、すなわち、一対の入力と出力とが与えられた際に、多層パーセプトロンによる出力が、学習データの出力と一致するように各層の間の結合荷重を修正するという学習法のことである。なお、誤差逆伝播法を用いた多層パーセプトロンについては、例えば、非特許文献3等に記載されているため、詳細な説明を省略する。
また、LLGMNとは、統計モデルの一例としてのガウス混合モデル(GMM:Gaussian Mixture Model)と、確率モデルの一例としての隠れマルコフモデル(HMM:Hidden Markov Model)とを内包する層状ニューラルネットのことである。なお、ガウス混合モデルとは、ガウス分布(正規分布)の線形結合で表現される統計的モデルのことである。また、マルコフモデルとは、一般にある記号の出現確率が直前のn個の記号によって決定される確率過程、いわゆる、マルコフ過程(マルコフ性をもつ確率過程)に従って記号が出現すると仮定する確率モデルのことをいう。また、隠れマルコフモデルとは、「システムがパラメータ未知のマルコフ過程である」と仮定し、観測可能な情報からその未知のパラメータを推定するマルコフモデルのことをいう。
また、R−LLGMNとは、第1の中間層と第2の中間層との間に1時刻前の出力を考慮可能な結合、いわゆる、リカレント結合を有するLLGMNのことである。なお、R−LLGMNについては、例えば、特開2005−11037号公報や非特許文献4等に記載されているため、詳細な説明を省略する。
また、非特許文献2には、サポートベクターマシン(SVM:Support Vector Machine)により、4chの電極を被験者の前腕に貼り付けて測定した表面筋電位信号に基づいて、7種類の前腕動作(基本姿勢、手首屈曲、手首伸展、握る、開く、手首回内、手首回外)を識別する技術、すなわち、表面筋電位信号を入力することにより、識別結果を出力する技術が記載されている。なお、非特許文献2では、7種類の前腕動作が、93.30[%]の平均識別率で識別できたことが記載されている。
ここで、前記サポートベクターマシンとは、入力層の素子としての複数の線形入力素子(線形しきい素子)を利用した2クラスのパターン識別器である。すなわち、結合荷重(シナプス荷重)を乗算した複数の線形入力素子の値の総和が予め設定された閾値を超えるか否かを示す出力値を出力する層状ニューラルネットである。
具体的には、入力層のn個の素子の値の集合(入力値)としての入力特徴ベクトルをx(x=(x1,x2,…,xn))とし、出力層の1個の素子の値(出力値)をyとし、入力層の各素子と出力層の素子との結合荷重のベクトル(結合荷重ベクトル)をω(ω=(ω1,ω2,…,ωn))とし、結合荷重ベクトルωの転置ベクトルをωTとし、閾値をhとした場合に、出力値yが以下の式(1)により示される。
y=sign(ωTx−h) …式(1)
=sign(x1ω1+x2ω2+…+xnωn−h)
なお、sign(ωTx−h)は、(ωTx−h)>0の場合に+1になり、(ωTx−h)≦0の場合に−1になる符号関数である。すなわち、各ベクトルx,ωの内積が閾値hを超える場合に+1になり、超えない場合に−1になる2値関数である。
また、前記サポートベクターマシンは、学習データ(訓練サンプル)、すなわち、一対の入力特徴ベクトルxおよび出力値yから、各データ点との距離、すなわち、入力特徴ベクトルxとの距離(マージン)が最大となる分離平面(超平面)を求めるマージン最大化という基準により、前記線形入力素子のパラメータを学習、すなわち、結合荷重ベクトルωを更新している。
横井浩史、他1名、「サイボーグの現状と今後」、計測自動制御学会、計測と制御、2008年4月、第47巻、第4号、p.351−358 吉川雅博、他3名、「筋電位信号を利用した手のリアルタイム動作識別と関節角度推定」、電子情報通信学会、電子情報通信学会論文誌D、2009年1月、第J92−D巻、第1号、p.93−103 「誤差逆伝播法」、「online」、九州工業大学、「2009年5月15日検索」、インターネット<URL:http://www.brain.kyutech.ac.jp/~furukawa/note/bp/bp.html> 福田修、他2名、「EMG信号を利用した全方位型ポインティングデバイス」、電子情報通信学会、電子情報通信学会論文誌D−II、2004年10月、第J87−D−II巻、第10号、p.1996−2003
(従来技術の問題点)
前記非特許文献1、2等の技術では、前腕の基本姿勢、手首屈曲、手首伸展、握る、開く、手首回内、手首回外等の動作の種類についての識別を行っているが、同一動作を常に一定速度で動作させた場合の識別しか行っていないという問題があった。このため、前記非特許文献1、2等の技術では、同一の動作を異なる速度で識別できないという問題があった。
また、前記表面筋電位信号は、個人差が大きく、動作識別を精度良く実行するためには、被験者ごとに学習データを学習し、被験者ごとに適合する結合荷重を設定したり、不特定多数の被験者の多数の学習データを学習し、万人に適合する結合荷重を設定したりする必要があった。すなわち、前記非特許文献1、2等の技術は、統計的手法に基づいて動作識別を実行するため、多数の学習データを必要とし、被験者への負担が大きく、実用的ではないという問題があった。
さらに、前記非特許文献1、2等の技術では、さらに多くの動作を識別しようとしたり、動作の速度まで識別しようとしたりすると、増加した動作の種類や速度の特徴を抽出するための複雑な特徴抽出処理を実行する必要がある。このため、前記非特許文献1、2等の技術では、複雑な動作識別になるほど、リアルタイムで実行することが困難になるという問題があった。
よって、前記非特許文献1、2等の技術では、少ない学習データ(学習量、サンプル数)で、多数の動作を、速度と共に、高い識別率で、リアルタイムに識別することができないという問題があった。
本発明は、前述の事情に鑑み、少ない学習量で被検体の動作を識別することを第1の技術的課題とする。また、本発明は、少ない学習量で被検体の動作意思を含む分類情報を推定することを第2の技術的課題とする。
前記技術的課題を解決するために、請求項1記載の発明の分類推定システムは、
第1の情報に基づく第1入力変数の値が入力される複数の入力素子により構成された第1入力素子群と、第2の情報に基づく第2入力変数の値が入力される複数の入力素子により構成された第2入力素子群と、を有する入力素子群と、
前記第1入力素子群の各入力素子の値と、前記第2入力素子群の各入力素子の値に基づいて一部の値がゼロになるように演算された各第1出力感度の値と、予め設定された多重用素子群の各素子の値に基づいて一部の値がゼロになるように演算された各第1多重用出力感度の値と、の積算を少なくとも含む第1の多重不感化がなされて、前記第1入力素子群の各入力素子の値の一部の値がゼロにされた第1中間変数の値が入力される複数の中間素子により構成された第1中間素子群、を有する中間素子群と、
前記第1中間素子群の各中間素子の値と前記各中間素子の値の重視度合いに応じて予め設定された各結合荷重の値とに基づいて演算された出力変数の値が入力される複数の出力素子により構成された出力素子群と、
分類対象としての複数の分類情報と、分類情報ごとに対応する前記出力変数の値と、の対応関係を特定する対応関係情報を記憶する対応関係情報記憶手段と、
前記対応関係情報記憶手段に予め記憶された前記対応関係情報と、演算された前記出力変数の値と、に基づいて、入力された前記第1の情報および前記第2の情報に応じた前記分類情報を推定する分類情報推定手段と、
前記分類情報推定手段によって推定された前記分類情報を表示する分類情報表示手段と、
を備えたことを特徴とする。
請求項2に記載の発明は、請求項1に記載の分類推定システムにおいて、
前記第2入力素子群の各入力素子の値と、前記第1入力素子群の各入力素子の値に基づいて一部の値がゼロになるように演算された各第2出力感度の値と、前記多重用素子群の各素子の値に基づいて一部の値がゼロになるように演算された各第2多重用出力感度の値と、の積算を少なくとも含む第2の多重不感化がなされて、前記第2入力素子群の各入力素子の値の一部の値がゼロにされた第2中間変数の値が入力される複数の中間素子により構成された第2中間素子群、を有する前記中間素子群と、
前記各中間素子群の各中間素子の値と前記各中間素子の値の重視度合いに応じて予め設定された各結合荷重の値とに基づいて演算された前記出力変数の値が入力される前記出力素子群と、
を備えたことを特徴とする。
請求項3に記載の発明は、請求項1または2に記載の分類推定システムにおいて、
前記分類情報推定手段により推定された前記分類情報と、前記分類情報推定手段により前記分類情報が推定される際に入力された前記第1の情報および前記第2の情報が測定された実際の分類情報との相違に基づいて、前記各結合荷重の値を更新することにより、前記各結合荷重の値を学習する結合荷重学習手段と、
を備えたことを特徴とする。
請求項4に記載の発明は、請求項1ないし3のいずれかに記載の分類推定システムにおいて、
前記多重用素子群の各素子の値が、前記第1の情報と、前記第2の情報と、に基づいて演算された
ことを特徴とする。
請求項5に記載の発明は、請求項1ないし4のいずれかに記載の分類推定システムにおいて、
前記分類情報を被検体の動作意思とし、前記第1の情報および前記第2の情報を前記動作意思に伴う前記被検体の生体信号とした場合に、前記被検体に配置された第1測定位置における前記生体信号を測定する第1測定部と、前記被検体に配置された前記第1測定位置と異なる第2測定位置における前記生体信号を測定する第2測定部と、を有する測定部材と、
を備えたことを特徴とする。
請求項6に記載の発明は、請求項5に記載の分類推定システムにおいて、
前記動作意思に伴う前記被検体の筋群の活動である筋活動に基づく電位の変化の情報である筋電位信号のうちの前記被検体の皮膚における前記筋電位信号を表面筋電位信号とし、前記生体信号を前記表面筋電位信号とした場合に、前記皮膚に配置された前記第1測定位置における前記表面筋電位信号を測定する前記第1測定部と、前記皮膚に配置された前記第2測定位置における前記表面筋電位信号を測定する前記第2測定部と、を有する前記測定部材と、
前記第1測定部からの前記表面筋電位信号の積分値である第1積分値を演算すると共に、前記第2測定部からの前記表面筋電位信号の積分値である第2積分値を演算する積分値演算手段と、
予め設定されたフレーム時間内の前記第1積分値の平均値である第1積分平均値を予め設定されたシフト時間ごとに演算すると共に、前記フレーム時間内の前記第2積分値の平均値である第2積分平均値を前記シフト時間ごとに演算する積分平均値演算手段と、
前記第1の情報を前記第1積分平均値とし、前記第2の情報を前記第2積分平均値とした場合に、前記第1積分平均値に基づく前記第1入力変数の値が前記シフト時間ごとに入力される前記第1入力素子群と、前記第2積分平均値に基づく前記第2入力変数の値が前記シフト時間ごとに入力される前記第2入力素子群と、を有する前記入力素子群と、
を備えたことを特徴とする。
請求項7に記載の発明は、請求項5または6に記載の分類推定システムにおいて、
前記動作意思によって特定される動作の種類の情報である種類情報と、前記動作の力の情報である力情報と、を有する前記分類情報を推定する前記分類情報推定手段、
を備えたことを特徴とする。
請求項8に記載の発明は、請求項7に記載の分類推定システムにおいて、
前記動作の速度の情報である速度情報であって、前記力情報に基づく前記速度情報、を有する前記分類情報を推定する前記分類情報推定手段、
を備えたことを特徴とする。
請求項9に記載の発明は、請求項8に記載の分類推定システムにおいて、
前記出力変数の値のうち、第1の動作意思に応じた第1出力変数の値が入力される複数の出力素子により構成された第1出力素子群と、第2の動作意思に応じた第2出力変数の値が入力される複数の出力素子により構成された第2出力素子群と、を有する前記出力素子群と、
前記第1の動作意思の前記種類情報および前記速度情報と前記第1出力変数の値との対応関係と、前記第2の動作意思の前記種類情報および前記速度情報と前記第2出力変数の値との対応関係と、を特定する前記対応関係情報を記憶する前記対応関係情報記憶手段と、
前記対応関係情報記憶手段に記憶された前記対応関係情報と、演算された前記第1出力変数の値と、演算された前記第2出力変数の値と、に基づいて、入力された前記第1の情報および前記第2の情報に応じた前記分類情報の前記種類情報および前記速度情報を推定する前記分類情報推定手段と、
前記分類情報推定手段によって推定された前記分類情報の前記種類情報および前記速度情報を表示する前記分類情報表示手段と、
を備えたことを特徴とする。
前記技術的課題を解決するために、請求項10記載の発明の分類推定プログラムは、
コンピュータを、
第1の情報に基づく第1入力変数の値が入力される複数の入力素子により構成された第1入力素子群と、第2の情報に基づく第2入力変数の値が入力される複数の入力素子により構成された第2入力素子群と、を有する入力素子群について、入力された前記第1入力変数の値および前記第2入力変数の値を記憶する入力値記憶手段、
前記第1入力素子群の各入力素子の値と、前記第2入力素子群の各入力素子の値に基づいて一部の値がゼロになるように演算された各第1出力感度の値と、予め設定された多重用素子群の各素子の値に基づいて一部の値がゼロになるように演算された各第1多重用出力感度の値と、の積算を少なくとも含む第1の多重不感化がなされて、前記第1入力素子群の各入力素子の値の一部の値がゼロにされた第1中間変数の値が入力される複数の中間素子により構成された第1中間素子群、を有する中間素子群について、前記第1中間変数の値を演算する中間値演算手段、
前記第1中間素子群の各中間素子の値と前記各中間素子の値の重視度合いに応じて予め設定された各結合荷重の値とに基づいて演算された出力変数の値が入力される複数の出力素子により構成された出力素子群について、前記出力変数の値を演算する出力値演算手段、
分類対象としての複数の分類情報と、分類情報ごとに対応する前記出力変数の値と、の対応関係を特定する対応関係情報を記憶する対応関係情報記憶手段、
前記対応関係情報記憶手段に予め記憶された前記対応関係情報と、演算された前記出力変数の値と、に基づいて、入力された前記第1の情報および前記第2の情報に応じた前記分類情報を推定する分類情報推定手段、
前記分類情報推定手段によって推定された前記分類情報を表示する分類情報表示手段、
として機能させることを特徴とする。
請求項1、10に記載の発明によれば、第1の情報および第2の情報に基づく各入力変数の値を多重不感化が可能な選択的不感化ニューラルネットに入力することによって分類情報を推定でき、学習能力(汎化能力)が高い前記選択的不感化ニューラルネットを介して分類情報を推定するため、多重不感化が可能な選択的不感化ニューラルネットを介して分類情報を推定しない場合に比べ、少ない学習量で分類情報を推定することができる。
請求項2に記載の発明によれば、多重不感化が可能な選択的不感化ニューラルネットの相互修飾モデルを介して被検体の動作を識別するため、2個の入力変数の値を相互修飾(互いに多重不感化)して2個の中間変数の値を演算でき、2個の入力変数の値を積型修飾(一方のみを多重不感化)して1個の中間変数の値を演算する場合に比べ、多重不感化が可能な選択的不感化ニューラルネットの学習能力を高くでき、より高い識別率で分類情報を推定することができる。
請求項3に記載の発明によれば、学習した各結合荷重の値に基づいて、出力変数の値を演算でき、より高い識別率で分類情報を推定することができる。
請求項4に記載の発明によれば、第1の情報および第2の情報に基づいて演算された多重用素子群の各素子の値が、第1の情報または第2の情報に基づいて演算された多重用素子群の各素子の値に比べて、第1入力素子群の各入力素子の値または第2入力素子群の各入力素子の値と異なる値になる可能性が高く、不感化される入力素子の値が偏り難くなり、多重不感化が効率良く実行されるため、多重不感化が可能な選択的不感化ニューラルネットの学習能力を高くでき、より高い識別率で分類情報を推定することができる。
請求項5に記載の発明によれば、生体信号に基づく各入力変数の値を多重不感化が可能な選択的不感化ニューラルネットに入力することによって被検体の動作意思を推定できる。また、請求項5に記載の発明によれば、被検体が前記動作意思に応じた動作を実行可能な場合には、被検体の動作を認識することができる。
請求項6に記載の発明によれば、シフト時間ごとに演算される表面筋電位信号の積分平均値に基づく入力変数の値を選択的不感化ニューラルネットに入力することによって被検体の動作意思を推定することができ、生体信号として表面筋電位信号やその積分値に基づく入力変数の値を直接入力する場合に比べ、表面筋電位信号のノイズの影響を低減できる。また、請求項6に記載の発明によれば、被検体の動作に伴う表面筋電位信号の変化が、被検体の動作に伴う筋肉の収縮より30[ms]〜100[ms]程度早く観測されるため、シフト時間を、30[ms]より短い時間に設定することにより、リアルタイムで被検体の動作を識別することができる。
請求項7に記載の発明によれば、被検体の動作意思を推定した際に、動作の種類と力とを推定できる。
請求項8に記載の発明によれば、被検体の動作意思を推定した際に、動作の速度を推定できる。
請求項9に記載の発明によれば、第1の動作意思に対応する第1出力変数の値と、第2の動作意思に対応する第2出力変数の値と、を比較して、動作の種類と速度とを推定できる。
図1は本発明の実施例1の動作識別システムの全体説明図である。 図2は本発明の実施例1の動作識別システムが識別する被験者の6種類の前腕動作の説明図である。 図3は本発明の実施例1の動作識別システムを構成する各装置の機能をブロック図(機能ブロック図)で示した説明図である。 図4は本発明の実施例1の積分平均値についての説明図である。 図5は本発明の実施例1の選択的不感化ニューラルネットの説明図である。 図6は本発明の実施例1の動作識別開始画像の説明図である。 図7は本発明の実施例1の対応関係情報の説明図であり、縦軸を電圧[mV]とし横軸を時間[s]とし6種類の動作を実際に順次実行した際の積分平均値の誤差除去値の合計値と動作識別した範囲とを示すグラフである。 図8は本発明の実施例1の動作識別画像の説明図である。 図9は本発明の実施例1の動作識別プログラムの動作識別処理のフローチャートである。 図10は本発明の実施例1の動作識別プログラムの入力値生成処理のフローチャートである。 図11は実験例1の実験結果の説明図であり、縦軸を識別値とし横軸を時間[s]として全18動作の1セットのうちの「動作A」から「動作F」の6動作を被験者が2秒間隔で実際に実行した際の識別値のグラフであり、図11Aは実際の6動作の識別値の正解値のグラフであり、図11Bは実際の6動作のフレームごとの識別値の実測値の平滑化前のグラフであり、図11Cは実際の6動作のフレームごとの識別値の実測値の平滑化後のグラフである。 図12は実験例1の実験結果の説明図であり、縦軸を識別率[%]とし横軸を動作の種類として全18動作の6セットを実行した際の6種類の動作の識別率[%]および各動作の3速度の識別率[%]の折れ線グラフである。 図13は実験例1の実験結果の説明図であり、縦軸を動作の速度の識別率[%]とし横軸を動作の種類として全18動作の6セットを実行した際の6種類の動作の3速度の速度別の識別率[%]の折れ線グラフである。 図14は実験例1の実験結果の説明図であり、縦軸を電圧[mV]とし横軸を時間[s]として6種類の動作を実際に順次実行した際の6chの筋電センサからの表面筋電位のグラフの一例である。 図15は実験例1の実験結果の説明図であり、動作の立ち上がりからの推定遅れを時間の経過に伴う識別率の推移によって示す説明図であり、動作開始からの経過時間による6種類の動作の3速度の識別率の推移をセット別で示した表の説明図である。 図16は縦軸を識別率[%]とし横軸を時間[ms]として図15の表の値に基づく動作開始からの経過時間による6種類の動作の3速度の識別率の推移を示すグラフである。
ωγij μ,ν…結合荷重の値、AP1…分類推定プログラム、C1…積分値演算手段、C5…積分平均値演算手段、C13…入力値記憶手段、C15…中間値演算手段、C17…出力値演算手段、C19…対応関係情報記憶手段、C20…分類情報推定手段、C21…分類情報表示手段、C23…結合荷重学習手段、G1 1〜G8 1,Gi 1,Na…入力素子群、G1 1…第1入力素子群、G2 1…第2入力素子群、G8 1…多重用素子群、G1,2 2〜G7,6 2,Gμ,ν 2,Nb…中間素子群、G1,2 2…第1中間素子群、G2,1 2…第2中間素子群、G1 3〜G6 3,Gγ 3,Nc…出力素子群、G1 3…第1出力素子群、G2 3…第2出力素子群、g1 μ,ν〜g30 μ,ν,gj μ,ν,g1 μ,ν,8〜g30 μ,ν,8,gk μ,ν,8…出力感度の値、g1 1,2〜g30 1,2,gj 1,2…第1出力感度の値、g1 2,1〜g30 2,1,gj 2,1…第2出力感度の値、g1 1,2,8〜g30 1,2,8,gk 1,2,8…第1多重用出力感度の値、g1 2,1,8〜g30 2,1,8,gk 2,1,8…第2多重用出力感度の値、Ni(p),Na(p),Nd(p),(x1 i,x2 i,…,x30 i)…入力変数の値、N1(p),(x1 1,x2 1,…,x30 1)…第1入力変数の値、N2(p),(x1 2,x2 2,…,x30 2)…第2入力変数の値、PC…コンピュータ、S…分類推定システム、SN1〜SN6…測定部、SN1…第1測定部、SN2…第2測定部、s1…第1積分値、s2…第2積分値、T…対応関係情報、U1…測定部材、v1…第1積分平均値、v2…第2積分平均値、x1〜x8,xi…入力変数、x1…第1入力変数、x2…第2入力変数、x1 μ〜x30 μ,x1 1〜x30 1,xi 1,xj 1…第1入力素子群の各入力素子の値、x1 2〜x30 2,xi 2,xj 2…第2入力素子群の各入力素子の値、x1 8〜x30 8,xk 8…多重用素子群の各素子の値、x1,2〜x7,6,xμ,ν…中間変数、x1,2…第1中間変数、x2,1…第2中間変数、x1 μ,ν〜x30 μ,ν,xi μ,ν,xj μ,ν…中間素子の値、x1 1,2〜x30 1,2,xi 1,2,xj 1,2…第1中間素子群の各中間素子の値、x1 2,1〜x30 2,1,xi 2,1,xj 2,1…第2中間素子群の各中間素子の値、(x1 μ,ν,x2 μ,ν,…,x30 μ,ν)…中間変数の値、(x1 1,2,x2 1,2,…,x30 1,2)…第1中間変数の値、(x1 2,1,x2 2,1,…,x30 2,1)…第2中間変数の値、y1〜y6,yγ…出力変数、yi γ…出力変数の値。
次に図面を参照しながら、本発明の実施の形態の具体例(以下、実施例と記載する)を説明するが、本発明は以下の実施例に限定されるものではない。
なお、以下の図面を使用した説明において、理解の容易のために説明に必要な部材以外の図示は適宜省略されている。
図1は本発明の実施例1の動作識別システムの全体説明図である。
図2は本発明の実施例1の動作識別システムが識別する被験者の6種類の前腕動作の説明図である。
図1において、本発明の実施例1の動作識別システム(動作意思推定システム、事象推定システム、分類推定システム)Sは、被検体の一例としての人間、いわゆる、被験者の動作意思(事象)に伴う筋活動(筋群の活動)に基づく筋電位信号(生体信号)を測定する表面筋電位測定装置(測定部材、筋電位信号測定部材)U1と、前記表面筋電位測定装置U1に接続されて前記被験者の動作を識別する動作識別装置本体(動作意思推定装置本体、事象推定装置本体、分類推定装置本体)の一例としての識別用クライアントパソコン(コンピュータ、パーソナルコンピュータ、ユーザが操作可能な端末)PCとを有する。
なお、実施例1では、図2に示す、前記被験者の前腕の「基本姿勢」(「動作なし」、何も動作識別されていない状態)を含む7種類の動作、すなわち、「手首屈曲」(「動作A」)、「手首伸展」(「動作B」)、「手を握る」(「動作C」)、「手を開く」(「動作D」)、「手首回外」(「動作E」)、「手首回内」(「動作F」)の各動作を識別する。
実施例1の前記表面筋電位測定装置U1は、前記被験者の前腕に予め設定された6箇所の測定位置(第1測定位置、第2測定位置、…、第6測定位置)において、前記筋電位信号を測定する6個の筋電センサ(6個の測定部、第1測定部、第2測定部、…、第6測定部)SN1〜SN6を有する。具体的には、前記被験者の橈側手根屈筋、深指屈筋、尺側手根屈筋、指伸筋、長橈側手根屈筋および腕橈骨筋の6種類の筋肉に対応する前記被験者の右腕の肘付近の皮膚の6箇所が、測定位置として設定されている。また、前記被験者の6箇所の皮膚に貼り付けられた6対(6ch)の湿式電極が、前記6個の筋電センサSN1〜SN6として構成されている。なお、前記湿式電極とは、あらかじめ導電性のペーストが電極側に組み込まれた電極のことであり、前記ペーストが組み込まれていない、いわゆる、乾式電極に比べ、皮膚の状態に左右されずに安定した測定が可能となっている。
すなわち、実施例1の前記表面筋電位測定装置U1は、前記6箇所の皮膚に貼り付ける前記6対の湿式電極(SN1〜SN6)により、前記6種類の筋肉に応じた筋電位信号、いわゆる、表面筋電位信号(6種類の生体信号、第1の情報、第2の情報、…、第6の情報)を測定する。
また、実施例1の前記識別用クライアントパソコンPCは、いわゆる、コンピュータ装置により構成されており、コンピュータ本体H1と、ディスプレイH2と、キーボードH3やマウスH4等の入力装置と、図示しないHDドライブ(ハードディスクドライブ)等とにより構成されている。
前記各筋電センサSN1〜SN6を有する前記表面筋電位測定装置U1と、前記測定用クライアントパソコンPCとにより、実施例1の動作識別装置(動作意思推定装置、事象推定装置、分類推定装置)(U1+PC)が構成されている。
(実施例1の制御部の説明)
図3は本発明の実施例1の動作識別システムを構成する各装置の機能をブロック図(機能ブロック図)で示した説明図である。
図3において、前記表面筋電位測定装置U1および前記識別用クライアントパソコンPCのコンピュータ本体H1の制御部は、外部との信号の入出力および入出力信号レベルの調節等を行うI/O(入出力インターフェース)、必要な起動処理を行うためのプログラムおよびデータ等が記憶されたROM(リードオンリーメモリ、記録媒体)、必要なデータ及びプログラムを一時的に記憶するためのRAM(ランダムアクセスメモリ、記録媒体)、前記ROM等に記憶された起動プログラムに応じた処理を行うCPU(中央演算処理装置)、ならびにクロック発振器等を有しており、ROM及びRAM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。実施例1の前記制御部CのROMには、動作識別プログラム(動作意思推定プログラム、事象推定プログラム、分類推定プログラム)AP1が記憶されている。
(表面筋電位測定装置U1の制御部に接続された信号入力要素)
前記表面筋電位測定装置U1の制御部には、次の信号出力要素SN1〜SN6等の出力信号が入力されている。
SN1〜SN6:筋電センサ
6個の筋電センサSN1〜SN6は、6箇所の測定位置において測定された前記6種類の筋肉の表面筋電位信号を前記制御部に入力する。
(表面筋電位測定装置U1の制御部の機能)
前記表面筋電位測定装置U1の制御部は、前記6個の筋電センサSN1〜SN6の出力信号に応じて、前記識別用クライアントパソコンPCに入力する出力信号を演算するために、次の機能実現手段を有している。
C1:積分値演算手段
積分値演算手段C1は、前記6個の筋電センサSN1〜SN6からの前記6種類の表面筋電位信号の積分値(第1積分値s1、第2積分値s2、…、第6積分値s6)、いわゆる、積分表面筋電位信号(積分筋電位、積分筋電図、筋電図積分値、IEMG:Integrated Electro Myo-Gram)(s1〜s6)を演算する。
実施例1の前記積分値演算手段C1は、3[kHz]のサンプリング周波数で取得された前記6種類の表面筋電位信号をそれぞれ全波整流平滑化することにより、6種類の積分表面筋電位信号(s1〜s6)を演算する。具体的には、6種類の表面筋電位信号について、それぞれ、全波整流、すなわち、正負両波を含む交流波を負波が正負対称の正波となる直流波に変換した後、平滑化、すなわち、予め設定された遮断周波数でローパスフィルタリングを実行することにより、6種類の積分表面筋電位信号(s1〜s6)を演算する。なお、実施例1では、前記遮断周波数が2.4[Hz]に設定されている。
C2:積分値送信手段
積分値送信手段C2は、前記積分値演算手段C1により演算された前記6種類の積分表面筋電位信号(s1〜s6)を、前記識別用クライアントパソコンPCのコンピュータ本体H1に送信する。実施例1の前記積分値送信手段C2は、3[kHz]のサンプリング周波数に基づいて、1[ms]に3点((3×103)×10−3=3)の積分表面筋電位信号(s1〜s6)の値を、前記6種類の積分表面筋電位信号(s1〜s6)それぞれについて前記識別用クライアントパソコンPCのコンピュータ本体H1に送信する。
(識別用クライアントパソコンPCのコンピュータ本体H1の制御部の機能)
また、前記表面筋電位測定装置U1の制御部Cは、前記表面筋電位測定装置U1の出力信号、すなわち、積分表面筋電位信号(s1〜s6)に基づいて、前記被験者の動作を識別する前記動作識別プログラムAP1において、次の機能実現手段を有している。
C3:積分値受信手段
積分値受信手段C3は、前記積分値送信手段C2により送信された前記6種類の積分表面筋電位信号(s1〜s6)を受信する。実施例1の前記積分値受信手段C3は、1[ms]に3点の前記積分表面筋電位信号(s1〜s6)の値を、前記6種類の積分表面筋電位信号(s1〜s6)それぞれについて受信する。
C4:積分値記憶手段
積分値記憶手段C4は、前記積分値受信手段C3により受信された前記6種類の積分表面筋電位信号(s1〜s6)を記憶する。実施例1の前記積分値受信手段C3は、1[ms]に3点ずつ受信する前記積分表面筋電位信号(s1〜s6)の値を、前記6種類の積分表面筋電位信号(s1〜s6)それぞれについて記憶する。
C5:積分平均値演算手段
積分平均値演算手段C5は、予め設定されたフレーム時間内の前記6種類の積分表面筋電位信号(s1〜s6)の平均値である積分平均値(第1積分平均値v1、第2積分平均値v2、…、第6積分平均値v6、AIEMG:Average Integrated Electro Myo-Gram)を予め設定されたシフト時間ごとに演算する。
図4は本発明の実施例1の積分平均値についての説明図である。
実施例1の前記積分平均値演算手段C5では、図4に示すように、前記フレーム時間を15[ms]とし、前記シフト時間を10[ms]として、1[ms]に3点ずつ受信した前記6種類の積分表面筋電位信号(s1〜s6)の平均値(v1〜v6)をそれぞれ演算することにより、前記6種類の積分平均値(v1〜v6)を演算する。すなわち、前記積分平均値演算手段C5は、15[ms]の1フレーム内に含まれる45点(3×15=45)の積分表面筋電位信号(s1〜s6)の値の平均値(v1〜v6)を、30点(3×10=30)ずつシフトさせながら、前記6種類の積分表面筋電位信号(s1〜s6)それぞれについて演算してノイズを除去する。
ここで、1フレーム内にQ点の第1積分値s1を受信し、且つ、P点ずつシフトさせながらフレームごとの第1積分平均値v1を演算する際に、q点目の第1積分値s1の各値をIEMG1(q)(q=1,2,…)とし、p番目のフレームの第1積分平均値v1の値をAIEMG1(p)(p=1,2,…)とした場合に、p番目のフレームの第1積分平均値v1の値AIEMG1(p)が、以下の式(2−1)によって示される。なお、実施例1では、Q=45,P=30となるように予め設定されている。
AIEMG1(p)={IEMG1(1+P×(p−1))
+IEMG1(2+P×(p−1))
+…
+IEMG1(Q+P×(p−1))}
/Q …式(2−1)
同様にして、p番目のフレームのその他の各積分平均値(v2〜v6)の値(AIEMG2(p)〜AIEMG6(p))についても、前記式(2−1)と同様に示すことができる。よって、iを各chの番号とした場合に(i=1,2,…,6)、p番目のフレームの各積分平均値viの値AIEMGi(p)が、以下の式(2−2)によって示される。
AIEMGi(p)={IEMGi(1+P×(p−1))
+IEMGi(2+P×(p−1))
+…
+IEMGi(Q+P×(p−1))}
/Q …式(2−2)
C6:最小値記憶手段
最小値記憶手段C6は、前記積分平均値演算手段C5により演算された前記6種類の積分平均値(v1〜v6)の最小値を、前記6種類の積分平均値(v1〜v6)それぞれについて記憶する。なお、実施例1では、前記6種類の積分平均値viのフレームごとの値AIEMGi(p)のうち、1番目からp番目のフレームまでの6種類それぞれの最小値をεiとした場合に、前記最小値εiが、以下の式(3)によって示される。
εi=min[AIEMGi(p)] …式(3)
C7:誤差除去手段
誤差除去手段C7は、前記積分平均値演算手段C5により演算された前記6種類の積分平均値(v1〜v6)から誤差を除去する。実施例1の前記誤差除去手段C7は、前記最小値記憶手段C6に記憶された前記6種類の最小値εiを、前記被験者ごとの誤差、いわゆる、ノイズ(個人差、個体差)とみなして、前記6種類の積分平均値viのフレームごとの値AIEMGi(p)から減算することにより、誤差を除去する。具体的には、前記6種類の積分平均値viの誤差除去値をAIEMGεi(p)とした場合に、前記誤差除去値AIEMGεi(p)が、以下の式(4)によって示される。
AIEMGεi(p)=AIEMGi(p)−εi …式(4)
C8:合計値演算手段
合計値演算手段C8は、前記誤差除去手段C7により誤差が除去された前記6種類の積分平均値(v1〜v6)の合計値を演算する。実施例1の前記合計値演算手段C8は、前記6種類の積分平均値viのフレームごとの誤差除去値AIEMGεi(p)の合計値を演算する。具体的には、前記6種類の積分平均値viのフレームごとの合計値をAIEMGall(p)とした場合に、前記合計値AIEMGall(p)が、以下の式(5)によって示される。
AIEMGall(p)=AIEMGε1(p)
+AIEMGε2(p)
+…
+AIEMGε6(p) …式(5)
C9:合計値記憶手段
合計値記憶手段C9は、前記合計値演算手段C8により演算された前記6種類の積分平均値(v1〜v6)の1フレーム前の合計値AIEMGall(p−1)を記憶する。
C10:差分値演算手段
差分値演算手段C10は、前記合計値演算手段C8により演算された前記6種類の積分平均値(v1〜v6)の合計値AIEMGall(p)のフレームごとの差分値を演算する。実施例1の前記差分値演算手段C10は、前記合計値演算手段C8により演算された合計値(第1合計値)AIEMGall(p)と、前記合計値記憶手段C9に記憶された1フレーム前の合計値(第2合計値)AIEMGall(p−1)との差分値を演算する。具体的には、前記差分値をAIEMGdif(p)とした場合に、前記差分値AIEMGdif(p)が、以下の式(6)によって示される。
AIEMGdif(p)=AIEMGall(p)
−AIEMGall(p−1) …式(6)
C11:最大値記憶手段
最大値記憶手段C11は、前記6種類の積分平均値viの誤差除去値AIEMGεi(p)のうち、1番目からp番目のフレームまでの6種類それぞれの最大値と、前記合計値AIEMGall(p)のうち、1番目からp番目のフレームまでの最大値と、前記差分値AIEMGdif(p)のうち、1番目からp番目のフレームまでの最大値とを記憶する。実施例1の前記最大値記憶手段C11は、前記誤差除去値AIEMGεi(p)の最大値をAIEMGεimaxとし、前記合計値AIEMGall(p)の最大値をAIEMGamaxとし、前記差分値AIEMGdif(p)の最大値をAIEMGdmaxとした場合に、以下の式(7−1)〜(7−3)によって示される8種類の最大値AIEMGεimax,AIEMGamax,AIEMGdmaxを記憶する。
AIEMGεimax=max[AIEMGεi(p)] …式(7−1)
AIEMGamax=max[AIEMGall(p)] …式(7−2)
AIEMGdmax=max[AIEMGdif(p)] …式(7−3)
C12:入力値生成手段
入力値生成手段C12は、正規化手段C12Aと、2値化手段C12Bとを有し、後述する選択的不感化ニューラルネット(SDNN:Selective Desensitization Neural Network)に入力する入力値(入力変数の値)を生成する。
C12A:正規化手段
正規化手段C12Aは、前記6種類の積分平均値viの誤差除去値AIEMGεi(p)と、前記合計値AIEMGall(p)と、前記差分値AIEMGdif(p)とをそれぞれの最大値AIEMGεimax,AIEMGamax,AIEMGdmaxで除算して正規化(normalize)することにより、シフト時間ごとに、すなわち、フレームごとに8種類の入力値を生成する。具体的には、8種類の正規化値(入力値)をNi(p)(i=1,2,…,6),Na(p),Nd(p)とした場合に、前記8種類の正規化値Ni(p),Na(p),Nd(p)が、以下の式(8−1)〜(8−3)によって示される。
Ni(p)=AIEMGεi(p)/AIEMGεimax …式(8−1)
Na(p)=ln(AIEMGall(p)+1)
/ln(AIEMGamax+1) …式(8−2)
Nd(p)=AIEMGdif(p)/AIEMGdmax …式(8−3)
なお、前記式(8−2)に示すように、正規化された合計値Na(p)については、前記合計値AIEMGall(p)と前記最大値AIEMGamaxとの差が大きくなり過ぎる可能性がある。このため、実施例1の正規化された合計値Na(p)は、自然対数(ln:natural logarithm)の値が0以上となる、ln(AIEMGall(p)+1)とln(AIEMGamax+1)とを除算した値をとって、とり得る値を0〜1の範囲に正規化している。また、前記式(8−3)に示す、正規化された差分値Nd(p)については、AIEMGdif(p)<0,Nd(p)<0となる場合には、Nd(p)=0とみなすものとする。
C12B:2値化手段
2値化手段C12Bは、前記正規化手段C12Aにより演算された前記8種類の入力値Ni(p),Na(p),Nd(p)を2値化された表現に変換する。実施例1の前記2値化手段C12Bは、前記8種類の入力値Ni(p),Na(p),Nd(p)を、15個の+1と、15個の−1とを用いて表現された値、すなわち、15個の+1と、15個の−1とをベクトル成分とするベクトル表現(2値パターン)で示すことが可能な値にそれぞれ変換する。具体的には、正規化された入力値Ni(p),Na(p),Nd(p)は、0から1までの値をとり得る(0≦Ni(p)≦1,0≦Na(p)≦1,0≦Nd(p)≦1)。このため、まず、0の場合には、1番目から15番目までの15個のベクトル成分が+1となり、16番目から30番目までの15個のベクトル成分が−1となるように変換する。すなわち、以下の式(9−1)に示すように変換する。
0=(+1,+1,…,+1,−1,−1,…,−1) …式(9−1)
次に、1/15(0.0666…)だけ大きな値になる度に、連続する15個の+1を右側に1つずつシフトさせる。例えば、0.1(1/15<0.1<2/15)の場合には、以下の式(9−2)に示すように右側シフトさせる。
0.1=(−1,+1,+1,…,+1,−1,−1,…,−1)
…式(9−2)
そして、1の場合には(15/15=1)、1番目から15番目までの15個のベクトル成分が−1となり、16番目から30番目までの15個のベクトル成分が+1となるように変換する。すなわち、以下の式(9−3)に示すように変換する。
1=(−1,−1,…,−1,+1,+1,…,+1) …式(9−3)
図5は本発明の実施例1の選択的不感化ニューラルネットの説明図である。
C13:入力値記憶手段
入力値記憶手段(入力値入力手段)C13は、前記入力値生成手段C12で生成された前記8種類の入力値Ni(p),Na(p),Nd(p)を記憶する。実施例1の入力値記憶手段C13は、前記2値化手段C12Bにより、15個の+1と、15個の−1とをベクトル成分とするベクトル表現で示すことが可能な値に変換された前記8種類の入力値Ni(p),Na(p),Nd(p)を記憶する。
ここで、実施例1では、シフト時間ごとに変化する前記8種類の入力値Ni(p),Na(p),Nd(p)を、図5に示す選択的不感化ニューラルネットNに入力することにより、前記被験者の動作を識別する。図5において、実施例1の前記選択的不感化ニューラルネットNは、240個の素子(入力素子)により構成された入力層(入力素子群)Naを有する。
実施例1の前記入力層Naでは、8種類の入力素子群(第1入力素子群G1 1、第2入力素子群G2 1、…、第7入力素子群としての差分用入力素子群G7 1、第8入力素子群としての合計用入力素子群(多重用素子群)G8 1)を有する。また、前記8種類の入力素子群Gi 1(i=1,2,…,8)は、それぞれ30個の素子を有する(8×30=240)。
なお、実施例1の前記入力層Naは、8種類の入力変数(第1入力変数x1、第2入力変数x2、…、第7入力変数x7、第8入力変数x8)の値、すなわち、前記8種類の入力値Ni(p),Na(p),Nd(p)に対応して、前記8種類の入力素子群Gi 1が予め設定されている。
よって、各入力素子群Gi 1の30個の素子の値をx1 i,x2 i,…,x30 iとした場合に、各入力変数xiが、以下の式(10)によって示される。
xi=(x1 i,x2 i,…,x30 i) …式(10)
また、前記8種類の入力値Ni(p),Na(p),Nd(p)をベクトル成分とする8次元の入力ベクトルをxとした場合に、前記入力ベクトルxが、以下の式(11)によって示される。
x=(x1,…,x7,x8)
=(N1(p),…,Nd(p),Na(p)) …式(11)
なお、実施例1の前記各入力素子群Gi 1の30個の素子には、+1または−1の2値(x1 i〜x30 i)を入力(保持)することが可能である。このため、実施例1の前記入力値記憶手段C13では、前記各入力値Ni(p),Na(p),Nd(p)が2値化されたベクトル表現をシフト時間ごとに記憶する(更新する)ことにより、前記各入力素子群Gi 1の30個の素子の値(x1 i〜x30 i)をシフト時間ごとに入力したものとみなすことができる。なお、実施例1では、入力値Ni(p)として、例えば、(+1,+1,…,+1,−1,−1,…,−1)等の30個の素子の値を有する8種類の入力素子群の値、すなわち、合計で240(30×8=240)個の値(−1,+1)が記憶される。
図6は本発明の実施例1の動作識別開始画像の説明図である。
C14:動作識別開始判別手段
動作識別開始判別手段C14は、図6に示す動作識別開始画像1を表示する動作識別開始画像表示手段C14Aを有し、前記被験者の動作識別を開始するか否かを判別する。実施例1の前記動作識別開始判別手段C14は、図6に示す、前記動作識別開始画像1の識別開始釦1aが選択されたか否かを判別することにより、前記被験者の動作識別を開始するか否かを判別する。
C15:中間値演算手段
中間値演算手段C15は、選択的不感化手段C15Aと、二重不感化手段C15Bとを有し、前記動作識別開始判別手段C14によって前記被験者の動作識別を開始すると判別された場合に、前記入力層Naに入力された前記8種類の入力値Ni(p),Na(p),Nd(p)、すなわち、前記入力値記憶手段C13に記憶された前記8種類の入力値Ni(p),Na(p),Nd(p)に基づく中間値(中間変数の値)をシフト時間ごとに演算する。
図5において、実施例1の前記選択的不感化ニューラルネットNは、前記入力層Naの240個の素子と結合された1260個の素子(中間素子)により構成された中間層(中間素子群)Nbを有する。
実施例1の前記中間層Nbでは、42種類の中間素子群(第1中間素子群G1,2 2、第2中間素子群G2,1 2、…、第42中間素子群G7,6 2)を有する。また、前記42種類の中間素子群Gμ,ν 2(μ≠ν,μ=1,2,…,7,ν=1,2,…,7)は、それぞれ30個の素子を有する(42×30=1260)。
なお、実施例1の前記中間層Nbでは、正規化された合計値Na(p)を除く7種類の入力値Ni(p),Nd(p)に対応する7種類の入力素子群(G1 1〜G7 1)のうちの1つを被修飾群Gμ 1(μ=1,2,…,7)とし、前記被修飾群Gμ 1を除く前記6種類の各入力素子群(G1 1〜G7 1)のうちの1つを修飾群Gν 1(ν≠μ,ν=1,2,…,7)とした場合に、前記修飾群Gν 1により積型文脈修飾(積型修飾)された前記被修飾群Gμ 1に基づく合計42種類の中間素子群Gμ,ν 2が予め設定されている。
ここで、各中間素子群Gμ,ν 2(μ≠ν,μ=1,2,…,7,ν=1,2,…,7)の30個の素子の値をx1 μ,ν,x2 μ,ν,…,x30 μ,νとした場合に、各中間変数xμ,νが、以下の式(12)によって示される。
xμ,ν=(x1 μ,ν,x2 μ,ν,…,x30 μ,ν) …式(12)
なお、「積型文脈修飾」とは、前記被修飾群Gμの素子の値x1 μ〜x30 μを前記修飾群Gνの素子の値x1 ν〜x30 νに基づいて変化させる方法である。具体的には、図5の実線に示すように、前記修飾群Gνの素子の値x1 ν〜x30 νに基づいて予め演算された出力感度(ゲイン)の値をg1 μ,ν〜g30 μ,νとした場合に、前記被修飾群Gμの素子の値xi μ(i=1,2,…,30)と前記出力感度の値gj μ,ν(j=1,2,…,30)との積{(gj μ,ν)×(xi μ)}を演算することをいう。
このとき、特に、前記出力感度の値gj μ,νを0にして、前記積{(gj μ,ν)×(xi μ)}が0になること、すなわち、gj μ,ν=0,{(gj μ,ν)×(xi μ)}=0となる場合を「不感化」という。また、前記被修飾群Gμの一部の素子の値xi μ(i=1,2,…,30)をランダムに不感化することを「選択的不感化」という。
なお、修飾群Gν 1による被修飾群Gμ 1の積型修飾については、以降、Gμ 1(Gν 1)と記載する。
さらに、実施例1では、正規化された合計値Na(p)に対応する合計用入力素子群G8 1により、前記積型修飾Gμ 1(Gν 1)をさらに積型文脈修飾する。具体的には、図5の点線に示すように、前記合計用入力素子群G8 1の素子の値(多重用素子群の各素子の値)x1 8〜x30 8に基づいて予め演算された合計用出力感度の値(多重用出力感度の値)をg1 μ,ν,8〜g30 μ,ν,8とした場合に、前記積{(gj μ,ν)×(xi μ)}と前記合計用出力感度の値gk μ,ν,8(k=1,2,…,30)との積を前記中間素子群Gμ,ν 2の素子の値xi μ,ν(i=1,2,…,30)とする。このため、実施例1では、前記中間素子群Gμ,ν 2の素子の値xi μ,νが、以下の式(13)によって示される。
xi μ,ν=(gk μ,ν,8)×(gj μ,ν)×(xi μ) …式(13)
なお、実施例1では、前記各出力感度の値gj μ,ν,gk μ,ν,8が、以下の式(14−1),(14−2),(14−1)′,(14−2)′によって示される。
gj μ,ν=(1+xj ν)/2 …式(14−1)
j=σ(i) …式(14−2)
gk μ,ν,8=(1+xk 8)/2 …式(14−1)′
k=σ′(i) …式(14−2)′
すなわち、各入力素子群Gν 1,G8 1の素子の値xj ν,xk 8が+1の場合には、各出力感度の値gj μ,ν,gk μ,ν,8も+1となるが、−1の場合には、各出力感度の値gj μ,ν,gk μ,ν,8が0となり、不感化される。
ここで、σ(i),σ′(i)は、いわゆる、乱数関数であって、(1,2,…,30)の順列をランダムに置換した順列、例えば、(21,15,…,4),(17,6,…,8)等のi番目の値(1から30までの乱数値)である。
なお、前記乱数関数σ(i),σ′(i)を使用しなければ、前記被修飾群Gμ 1と、前記修飾群Gνまたは前記合計用入力素子群G8 1との相関が強い場合、前記被修飾群Gμ 1の素子のほとんどが選択的不感化されたり、前記素子のほとんどが選択的不感化されなかったり、xi μ=+1となる素子ばかり選択的不感化されたり、xi μ=−1となる素子ばかり選択的不感化されたりする可能性が高く、動作識別の性能が著しく低下する。このため、実施例1では、前記乱数関数σ(i),σ′(i)を使用して、前記各素子群Gμ 1,Gν,G8 1の相関を擬似的に弱くしている。
ここで、前記式(13)に、前記式(14−1),(14−2),(14−1)′,(14−2)′を代入した式(13)′を以下に示す。
xi μ,ν={(1+xσ′(i) 8)/2}
×{(1+xσ(i) ν)/2}×(xi μ) …式(13)′
すなわち、実施例1の前記中間素子群Gμ,ν 2の素子の値xi μ,νは、前記被修飾群Gμ 1の素子の値xi μが、前記出力感度の値gj μ,νによって選択的不感化された後、前記合計用出力感度の値gk μ,ν,8によってさらに選択的不感化(二重不感化、多重不感化)された値である。すなわち、前記被修飾群Gμ 1の適切な数、具体的には、15個以上30個以下の素子の値xi μが不感化された値である。
実施例1では、42種類の出力感度の値(第1出力感度の値gj 1,2、第2出力感度の値gj 2,1、…第42出力感度の値gj 7,6)の集合により、42種類のゲインベクトル(第1ゲインベクトルG1,2 1、第2ゲインベクトルG2,1 1、…第42ゲインベクトルG7,8 1)が構成されており、42種類の合計用出力感度の値(第1合計用出力感度の値(第1多重用出力感度の値)gk 1,2,8、第2合計用出力感度の値(第2多重用出力感度の値)gk 2,1,8、…第42合計用出力感度の値(第42多重用出力感度の値)gk 7,6,8)の集合により、42種類の合計用ゲインベクトル(第1合計用ゲインベクトルG1,2,8 1、第2合計用ゲインベクトルG2,1,8 1、…第42合計用ゲインベクトルG7,6,8 1)が構成されている。
このため、実施例1の前記中間値演算手段C15では、42種類の中間素子群Gμ,ν 2に対応する前記42種類のゲインベクトルGμ,ν 1と前記42種類の合計用ゲインベクトルGμ,ν,8 1とが演算された後、42種類の中間素子群Gμ,ν 2の素子の値xi μ,νが2重不感化によって演算されることにより、42種類の中間変数xμ,ν(μ≠ν,μ=1,2,…,7,ν=1,2,…,7)の値(中間値)が演算される。
よって、実施例1の前記42種類の中間変数xμ,νの値、すなわち、前記中間値は、−1,0,+1の3値をベクトル成分とする30次元ベクトルのベクトル表現(3値パターン)、例えば、(+1,0,0,−1,+1,…,0)等で示すことができる。
C15A:選択的不感化手段
選択的不感化手段C15Aは、前記式(14−1),(14−2)によって前記42種類の出力感度の値gj μ,νを演算する出力感度演算手段C15A1を有し、図5の実線で示すように、前記42種類の出力感度の値gj μ,νにより前記被修飾群Gμ 1の適切な数の素子の値xi μを選択的不感化する。
C15B:二重不感化手段
二重不感化手段(多重不感化手段)C15Bは、前記式(14−1)′,(14−2)′によって前記42種類の合計用出力感度の値gk μ,ν,8を演算する合計用出力感度演算手段C15B1を有し、図5の点線、前記式(13),(13)′で示すように、前記42種類の合計用出力感度の値gk μ,ν,8により前記積型修飾Gμ 1(Gν 1)の適切な数の素子の値、すなわち、前記積{(gj μ,ν)×(xi μ)}を選択的不感化することにより、前記被修飾群Gμ 1の適切な数の素子の値xi μを二重不感化する。
C16:中間値記憶手段
中間値記憶手段(中間値入力手段)C16は、前記中間値演算手段C15で演算された前記42種類の中間値、すなわち、前記42種類の中間変数xμ,ν(μ≠ν,μ=1,2,…,7,ν=1,2,…,7)の値を記憶する。実施例1の中間値記憶手段C16では、前記二重不感化手段C15Bによって演算された前記42種類の中間素子群Gμ,ν 2の素子の値xi μ,ν(μ≠ν,μ=1,2,…,7,ν=1,2,…,7,i=1,2,…,30)をシフト時間ごとに記憶することにより、前記各中間素子群Gμ,ν 2の30個の素子に、−1,0,+1の3値のいずれかがシフト時間ごとに入力(保持)されたものとみなすことができる。なお、実施例1では、前記中間値として、例えば、(+1,0,0,−1,+1,…,0)等の30個の素子の値を有する42種類の中間素子群の値、すなわち、合計で1260(30×42=1260)個の値(−1,0,+1)が記憶される。
C17:出力値演算手段
出力値演算手段C17は、結合荷重記憶手段C17Aを有し、前記中間層Nbに入力された前記42種類の中間値、すなわち、前記42種類の中間変数xμ,ν(μ≠ν,μ=1,2,…,7,ν=1,2,…,7)の値に基づく出力値(出力変数の値)をシフト時間ごとに演算する。
図5において、実施例1の前記選択的不感化ニューラルネットNは、前記中間層Nbの1260個の素子と結合された48個の素子(出力素子)により構成された出力層(出力素子群)Ncを有する。
実施例1の前記出力層Ncは、6種類の出力素子群(第1出力素子群G1 3、第2出力素子群G2 3、…、第6出力素子群G6 3)を有する。また、前記6種類の出力素子群Gγ 3(γ=1,2,…,6)は、それぞれ8個の素子を有する(6×8=48)。
なお、実施例1の前記出力層Ncは、「基本姿勢」を除く6種類の動作に応じて予め設定された6種類の出力変数(「手首屈曲」に対応する第1出力変数y1、「手首伸展」に対応する第2出力変数y2、…、「手首回内」に対応する第6出力変数y6)の値に対応して、前記6種類の出力素子群Gγ 3が予め設定されている。
よって、各出力素子群Gγ 3の8個の素子の値をy1 γ,y2 γ,…,y8 γとした場合に、各出力変数yγが、以下の式(15)によって示される。
yγ=(y1 γ,y2 γ,…,y8 γ) …式(15)
実施例1では、6種類の出力素子群Gγ 3の素子の値yi γ(i=1,2,…,8)が、前記中間層Nbの1260個の素子の値xj μ,ν(j=1,2,…,30)と、前記各値xj μ,νの重視度合いに応じて予め設定された1260個の各結合荷重の値とに基づいて演算される。
ここで、前記各値xj μ,νに応じた前記各結合荷重の値をωγij μ,νとし、前記出力素子群Gi 3の素子の値yi γに応じて予め設定された閾値をhi γとし、0より大きい値が入力されると+1を出力し且つ0以下の値が入力されると0を出力する2値関数をhとした場合に、前記出力素子群Gi 3の素子の値yi γが、以下の数1の式(16)によって示される。

…式(16)
すなわち、実施例1では、前記出力層Ncの48個の素子が、それぞれ結合荷重をもって前記中間層の1260個の素子と結合している。このため、前記出力層Ncの48個の素子の値yi γが、1260個の素子の値xj μ,νとその結合荷重の値ωγij μ,νの積{(ωγij μ,ν)×(xj μ,ν)}の総和に基づいて演算された値(0,+1の2値)になっている。
この結果、実施例1の前記6種類の出力変数yγの値、すなわち、前記出力値は、0,+1の2値をベクトル成分とする8次元ベクトルのベクトル表現(2値パターン)、例えば(0,+1,+1,0,+1,0,0,0)等で示すことができる。
C17A:結合荷重記憶手段
結合荷重記憶手段C17Aは、48種類の閾値hi γを記憶する閾値記憶手段C17A1を有し、前記出力層Ncの48個の素子それぞれについて、前記中間層の1260種類の素子の値xj μ,νに応じた1260個の結合荷重の値ωγij μ,νを記憶する。すなわち、実施例1の前記結合荷重記憶手段C17Aは、合計60480種類の結合荷重の値ωγij μ,νを記憶する(1260×48=60480)。なお、実施例1では、後述する結合荷重学習手段C23によって学習した前記60480種類の結合荷重の値ωγij μ,νおよび前記48種類の閾値hi γを記憶する。
C18:出力値記憶手段
出力値記憶手段(出力値入力手段)C18は、前記出力値演算手段C17で演算された前記6種類の出力値、すなわち、前記6種類の出力変数yγ(γ=1,2,…,6)の値を記憶する。実施例1の出力値記憶手段C18では、前記6種類の出力素子群Gγ 3の素子の値yi γ(i=1,2,…,8)をシフト時間ごとに記憶することにより、前記各出力素子群Gγ 3の8個の素子に、0,+1の2値のいずれかがシフト時間ごとに入力(保持)されたものとみなすことができる。なお、実施例1では、前記出力値として、例えば、(0,+1,+1,0,+1,0,0,0)等の8個の素子の値を有する6種類の出力素子群の値、すなわち、合計で48(8×6=48)個の値(0,+1)が記憶される。
C19:対応関係情報記憶手段
対応関係情報記憶手段C19は、「基本姿勢」を除く6種類の動作(分類対象である複数の分類情報、複数の事象)と、前記各動作時に予め測定された6種類の出力変数yγ(γ=1,2,…,6)の値(分類情報ごとに対応する出力変数の値、事象ごとに対応する出力変数の値)との対応関係を特定する対応関係情報Tを記憶する。実施例1の前記対応関係情報Tは、予め測定された実際の6種類の動作に応じた6種類の出力素子群Gγ 3の素子の値(理想値)py1 γ,py2 γ,…,py8 γについての情報(動作正解情報、動作正解データ、教師信号、辞書情報)である。具体的には、連続する(隣接する)4個の素子が+1、すなわち、発火している(+1,…,+1,0,…,0),(0,+1,…,+1,0,0,0),(0,0,+1,…,+1,0,0),(0,0,0,+1,…,+1,0),(0,…,0,+1,…,+1)の5パターンが予め設定されている。
図7は本発明の実施例1の対応関係情報の説明図であり、縦軸を電圧[mV]とし横軸を時間[s]とし6種類の動作を実際に順次実行した際の積分平均値の誤差除去値の合計値と動作識別した範囲とを示すグラフである。
ここで、実施例1では、前記対応関係情報Tを記憶するために、まず、図7に示すように、前記被験者が前記6種類の動作を、「動作A」から「動作F」の順、すなわち、「手首屈曲」、「手首伸展」、「手を握る」、「手を開く」、「手首回外」、「手首回内」の順に、2秒間隔で実際に実行した際の誤差が除去された前記6種類の積分平均値(v1〜v6)の合計値AIEMGall(p)を演算する。次に、前記被験者の2秒間隔の動作は、誤差を伴うため、前記合計値AIEMGall(p)による動作識別のための閾値を設定する。
具体的には、予め設定された合計用閾値をthとし、前記合計値AIEMGall(p)の最大値AIEMGamaxに対する予め設定された割合をα(0<α<1)とした場合に、前記合計用閾値thと前記最大値AIEMGamaxに前記割合αを乗算した値(α×AIEMGamax)を動作識別のための閾値とする。なお、実施例1では、前記合計用閾値thとして、0.2[mV]が予め設定されている。
次に、前記合計値AIEMGall(p)と前記各閾値th,(α×AIEMGamax)とに基づいて、予め測定された動作を識別する。具体的には、「動作A」から「動作F」の6種類の各動作を識別する際に+1を出力し且つ識別しない際に0を出力する6種類の各識別関数をM1(p),M2(p),…,M6(p)とした場合に、前記各動作の各識別関数Mm′(p),(m′=1,2,…,6)の値を、以下の式(17)によって演算する。
Mm′(p)
=h(AIEMGall(p)−th)
×h(AIEMGall(p)−α×AIEMGamax) …式(17)
すなわち、図7に示すように、最初の2秒間(0[s]〜2[s])で「動作A」を第1の識別関数M1(p)で識別し、次の2秒間(2[s]〜4[s])で「動作B」を第2の識別関数M2(p)で識別する処理を繰り返してゆき、最後の2秒間(10[s]〜12[s])で「動作F」を第6の識別関数M5(p)で識別する。
次に、前記各識別関数Mm′(p),(m′=1,2,…,6)が+1を継続して得たフレーム数(継続フレーム数)を、擬似的な動作速度とする。次に、前記被験者の2秒間隔の6動作を複数回繰り返し、前記継続フレーム数の最大値に基づいて、動作速度の正規化を行う。具体的には、前記継続フレーム数をWm′とし、前記継続フレーム数Wm′の最大値をWm′maxとし、正規化された動作速度をNsp(p)とした場合に、正規化された動作速度Nsp(p)が、以下の式(18)に示される。
Nsp(p)=Wm′/Wm′max …式(18)
そして、前記入力値Ni(p),Na(p),Nd(p)と同様に、正規化された動作速度Nsp(p)(0≦Nsp(p)≦1)を、4個の+1と、4個の0とをベクトル成分とするベクトル表現(2値パターン)で示すことが可能な値にそれぞれ変換する。具体的には、前記正規化された動作速度Nsp(p)と、前記理想値pyi γ(i=1,2,…,8)の5パターンのベクトル表現とが、以下の式(19−1)〜(19−5)によって対応付けられる。
0≦Nsp(p)<0.2の場合:
Nsp(p)=(0,…,0,+1,…,+1) …式(19−1)
0.2≦Nsp(p)<0.4の場合:
Nsp(p)=(0,0,0,+1,…,+1,0) …式(19−2)
0.4≦Nsp(p)<0.6の場合:
Nsp(p)=(0,0,+1,…,+1,0,0) …式(19−3)
0.6≦Nsp(p)<0.8の場合:
Nsp(p)=(0,+1,…,+1,0,0,0) …式(19−4)
0.8≦Nsp(p)≦1の場合:
Nsp(p)=(+1,…,+1,0,…,0) …式(19−5)
C20:動作識別手段
動作識別手段(動作意思推定手段、事象推定手段、分類情報推定手段)C20は、動作種類識別手段C20Aと、動作速度識別手段C20Bとを有し、前記対応関係情報記憶手段C19に予め記憶された前記対応関係情報Tと、前記6種類の出力変数yγの値とに基づいて、前記被験者の動作を識別する(動作意思を推定する、事象を推定する、分類情報を推定する)。
C20A:動作種類識別手段
動作種類識別手段(種類情報推定手段)C20Aは、前記被験者の動作が前記7種類の動作(「基本姿勢」、「手首屈曲」、「手首伸展」、「手を握る」、「手を開く」、「手首回外」、「手首回内」)のいずれであるかを識別する(各動作の種類の情報である種類情報を推定する)。
実施例1の前記動作種類識別手段C20Aは、前記対応関係情報Tである前記式(19−1)〜(19−5)に示す5パターンが、4個の素子が連続して発火しているため、3個以上の素子が予め設定された識別フレーム数Ps以上継続して発火した前記出力素子群Gγ 3(γ=1,2,…,6)がある場合には、前記出力素子群Gγ 3(γ=1,2,…,6)に対応する動作であると識別する。例えば、前記第1出力素子群G1 3が識別フレーム数Ps以上継続して(0,+1,+1,0,+1,0,0,0)等となる場合には、「手首屈曲」と識別する。また、3個以上の素子が識別フレーム数Ps以上継続して発火した前記出力素子群Gγ 3(γ=1,2,…,6)がない間は、「基本姿勢」であると識別する。なお、実施例1では、3個以上の素子が識別フレーム数Ps以上継続した前記出力素子群Gγ 3が複数存在する場合には、対応する複数の動作を同時実行したと識別する。よって、前記動作種類識別手段C20Aは、6種類の出力素子群Gγ 3について、3個以上の素子の発火が継続したフレーム数をpγ(γ=1,2,…,6,0≦pγ≦Ps)とした場合に、pγ=Psとなった出力素子群Gγ 3に応じた動作を実行したと識別し、pγ=Psとなった出力素子群Gγ 3がない間は、「基本姿勢」であると識別する。
C20B:動作速度識別手段
動作速度識別手段(速度情報推定手段、力情報推定手段)C20Bは、「基本姿勢」を除く前記6種類の動作が実行された場合に、実行された動作の速度を識別する(各動作の速度情報を推定する)。実施例1の前記動作速度識別手段C20Bは、前記動作種類識別手段C20Aによって識別された特定の動作に対応する前記出力素子群Gγ 3(γ=1,2,…,6)の素子の発火パターンを数値化した値と、前記式(19−1)〜(19−5)に示す5パターンを数値化した値とを比較して前記動作の速度を識別する。具体的には、まず、特定された前記出力素子群Gγ 3の1から8番目の素子に、1から8の重み付けをし、1から8番目の素子の値yi γ(i=1,2,…,8)と、1から8の重み付けとを乗算した値を、発火素子数で除算した値(識別値)を演算する。
例えば、「手首屈曲」と識別された際の前記第1出力素子群G1 3が(0,+1,+1,0,+1,0,0,0)である場合には、前記識別値が3.3となる({(0×1)+(+1×2)+(+1×3)+(0×4)+(+1×5)+(0×6)+(0×7)+(0×8)}/3=(2+3+5)/3=10/3≒3.3)。また、前記式(19−1)〜(19−5)に示す5パターンの前記識別値を演算すると、2.5((1+2+3+4)/4=2.5)から6.5((5+6+7+8)/4=6.5)となる。
そして、前記識別フレーム数Ps分の前記識別値の平均値を演算した結果、前記式(19−1)〜(19−5)に示す5パターンの前記識別値(2.5〜6.5)のどの範囲に属するかによって、速度を識別する。なお、実施例1では、特定の出力素子群Gγ 3のフレームごとの識別値をdγ(pγ)(γ=1,2,…,6,pγ=1,2,…,Ps)とし、前記識別値dγ(pγ)の平均値をdγ(γ=1,2,…,6,dγ={dγ(1)+dγ(2)+…+dγ(Ps)}/Ps)とした場合に、2.5≦dγ≦3.5となる場合には「速い」と識別し、3.5<dγ<5.5の場合には「普通」と識別し、5.5≦dγ≦6.5の場合には「遅い」と識別する。
なお、実施例1では動作の速度を識別するが、速度の変化に応じて力が発生するため、例えば、動作の速度(速度情報、「速い」、「普通」、「遅い」の各情報)に応じた動作の力(力情報、「強い」、「普通」、「弱い」の各情報)を推定することも可能である。
具体的には、速度の識別の場合と同様に、特定の動作に対応する前記出力素子群Gγ 3(γ=1,2,…,6)の素子の発火パターンとしての前記平均値dγについて、2.5≦dγ≦3.5となる場合には「強い」と識別し、3.5<dγ<5.5の場合には「普通」と識別し、5.5≦dγ≦6.5の場合には「弱い」と識別することにより、動作の力を識別することが可能である。
この場合、実際の動作の速度が0となる場合でも、動作の力を識別することが可能となる。例えば、被験者が「手を握った(動作C)」状態において、被験者が、握る力を「弱く」から「強く」に変化させた場合には、前記第3出力素子群G3 3の素子の発火パターンとしての前記平均値d3が、5.5≦d3≦6.5の範囲の値から2.5≦d3≦3.5の範囲の値に変化するため、動作の力が「弱い」から「強い」に変化したことを識別することが可能となる。また、例えば、障害者の失った手足の動作意思についての動作の種類と力とを推定することも可能となる。例えば、手を失った被験者に対し、実施例1と同様に、前記被験者の前腕の前記6箇所の測定位置に前記6個の筋電センサSN1〜SN6を貼り付けて表面筋電位信号を測定すると、表面筋電位信号が前記被験者の動作意思に応じて変化し、前記平均値dγが変化するため、被験者の動作意思から失った手で行いたかった動作の種類と力とを推定することが可能となる。
さらに、実施例1のように、動作の速度(速度情報)が「速い」、「普通」、「遅い」の3種類程度であれば、動作の力(力情報)が「強い」、「普通」、「弱い」の3種類のいずれかを動作の速度と同時に推定することも可能である。
図8は本発明の実施例1の動作識別画像の説明図である。
C21:動作識別画像表示手段
動作識別画像表示手段(動作意思表示手段、事象表示手段、分類情報表示手段)C21は、前記動作識別手段C20により識別された前記被験者の動作(推定された被検体の動作意思、推定された事象、推定された分類情報)を図8に示す動作識別画像(動作意思推定画像、事象推定画像、分類情報推定画像)2を表示する。図8において、実施例1の前記動作識別画像2は、識別された前記被験者の動作の開始時期、種類および速度を表示する表示部2aと、前記被験者の動作識別を終了するための動作識別終了釦2bとを有する。実施例1の前記動作識別画像表示手段C21は、前記表示部2aに識別された前記動作の開始時期、種類および速度を表示する。
C22:動作識別終了判別手段
動作識別終了判別手段C22は、前記被験者の動作識別を終了するか否かを判別する。実施例1の前記動作識別終了判別手段C22は、前記識別終了釦2bが選択されたか否かを判別することにより、前記被験者の動作識別を終了するか否かを判別する。
C23:結合荷重学習手段
結合荷重学習手段C23は、閾値学習手段C23Aと、初期値設定手段C23Bとを有し、前記動作識別手段C20により識別された7種類の動作(推定された被検体の動作意思、推定された事象、推定された分類情報)と、予め測定された実際の動作(実際の動作意思、実際の事象、実際の分類情報)との相違に基づいて、前記結合荷重を更新することにより、前記各結合荷重を学習する。実施例1の前記結合荷重学習手段C23は、前記動作識別終了判別手段C22によって前記被験者の動作識別を終了すると判別された後に、前記60480種類の結合荷重の値ωγij μ,νを、以下の式(20−1)によって更新する。なお、予め設定された正の値の定数(正定数)をcとする(0<c<1、例えば、c=0.3)。
ωγij μ,ν←ωγij μ,ν+c(pyi γ−yi γ)×(xj μ,ν) …式(20−1)
C23A:閾値学習手段
閾値学習手段C23Aは、前記動作識別終了判別手段C22によって前記被験者の動作識別を終了すると判別された後に、前記48種類の閾値hi γを、以下の式(20−2)によって更新することにより、前記各閾値hi γを学習する。
hi γ←hi γ−c(pyi γ−yi γ) …式(20−2)
C23B:初期値設定手段
初期値設定手段C23Bは、前記60480種類の結合荷重の値ωγij μ,νおよび前記48種類の閾値hi γの初期値を設定する。実施例1の前記初期値設定手段C23Aは、前記対応関係情報記憶手段C19における前記理想値pyi γの設定の際に、測定された前記6種類の積分平均値(v1〜v6)を前記選択的不感化ニューラルネットNに入力して演算された実測値、すなわち、前記中間変数xμ,ν(μ≠ν,μ=1,2,…,7,ν=1,2,…,7)の値と、前記6種類の出力変数yγ(γ=1,2,…,6)の値とに基づいて、前記初期値を設定する。具体的には、図7に示す前記被験者の2秒間隔の6動作において、前記各識別関数Mm′(p),(m′=1,2,…,6)が+1を継続していたフレームの出力値が、前記理想値pyi γとなるように、前記式(20−1),(20−2)によって前記結合荷重の値ωγij μ,νおよび前記閾値hi γを学習する。
例えば、最初の2秒間(0[s]〜2[s])の「動作A」が「速い」であった場合、第1出力素子群G1 3の8個の素子の値については、(y1 1,y2 1,…,y8 1)=(py1 1,py2 1,…,py8 1)=(0,…,0,+1,…,+1)が成立し、他の出力素子群Gγ 3(γ=2,3,…,6)の8個の素子の値については、(y1 γ,y2 γ,…,y8 γ)=(0,0,…,0)が成立するものとする。
この場合において、前記式(13)′によって前記中間層Nbの1260種類の素子の値xj μ,νが二重不感化されて得られた際に、ωγij μ,ν=hi γ=0,c=0.3とすると、第1出力素子群G1 3の8個の素子の実測値について、(y1 1,y2 1,…,y8 1)=(0,0,…,0)が成立するため、前記式(20−1),(20−2)に代入すると、第1出力素子群G1 3の8個の素子に対する10080種類(1260×8)の結合荷重の値ω1ij μ,νおよび8種類の閾値hi 1が、以下の式(20−1−1),(20−2−1)に示すように学習できる。
ω1ij μ,ν←0+0.3×(pyi 1−0)×(xj μ,ν) …式(20−1−1)
hi 1←0−0.3×(pyi 1−0) …式(20−2−1)
よって、例えば、第1出力素子群G1 3の1番目の素子に応じた1260種類の結合荷重の値ω11j μ,νについては、py1 1=0であるため更新されず、前記1番目の素子に応じた閾値h1 1についても更新されない(ω11j μ,ν=0,h1 1=0)。また、例えば、8番目の素子に応じた1260種類の結合荷重の値ω18j μ,νについては、py8 1=1であるため、xj μ,ν=1であれば0.3に更新され、前記8番目の素子に応じた閾値h8 1については−0.3に更新される(ω18j μ,ν=0.3,h8 1=−0.3)。
また、以降の2秒毎に実行される各動作(「動作B」から「動作F」)についても、同様に前記結合荷重の値ωγij μ,νおよび前記閾値hi γを学習できる。
そして、動作速度の正規化のために試行(測定)した回数だけ学習を繰り返した結果、得られた前記60480種類の結合荷重の値ωγij μ,νおよび前記48種類の閾値hi γが前記初期値として設定される。なお、前記初期値として設定された前記結合荷重の値ωγij μ,νおよび前記閾値hi γは、前記結合荷重記憶手段C17Aに記憶される。
(実施例1のフローチャートの説明)
次に、実施例1の制御部Cの関数近似プログラムAP1の処理の流れをフローチャートを使用して説明する。なお、前記対応関係情報Tと、前記60480種類の結合荷重の値ωγij μ,νおよび前記48種類の閾値hi γの初期値とを設定する処理については、前記被験者の2秒間隔の6動作を測定した際に、前記式(17),(18),(19−1)〜(19−5),(20−1),(20−2)によって、理想値および初期値を演算して記憶するだけであるため、フローチャートによる詳細な説明を省略する。
(実施例1の動作識別処理のフローチャートの説明)
図9は本発明の実施例1の動作識別プログラムの動作識別処理のフローチャートである。
図9のフローチャートの各ST(ステップ)の処理は、前記制御部CのROM等に記憶されたプログラムに従って行われる。また、この処理は前記制御部Cの他の各種処理と並行してマルチタスクで実行される。
図9に示すフローチャートは前記表面筋電位測定装置U1および前記識別用クライアントパソコンPCが電源オンした後、前記動作識別プログラムAP1が起動した場合に開始される。
図9のST1において、図6に示す動作識別開始画像1をディスプレイH2に表示する。そして、ST2に移る。
ST2において、動作識別開始画像1の識別開始釦1aが選択されたか否かを判別することにより、図2に示す被験者の7種類の動作を識別する処理を開始するか否かを判別する。イエス(Y)の場合はST3に移り、ノー(N)の場合はST2を繰り返す。
ST3において、以下の(1)〜(3)の処理を実行し、ST4に移る。
(1)6種類の継続フレーム数pγ(γ=1,2,…6)、(6×Ps)種類の識別値dγ(pγ)(γ=1,2,…,6,pγ=1,2,…,Ps)、6種類の平均値dγ(γ=1,2,…,6)に0をセットする(pγ=dγ(pγ)=dγ=0)。
(2)60480種類の結合荷重の値ωγij μ,ν(γ=1,2,…6,i=1,2,…,8,j=1,2,…,8,μ≠ν,μ=1,2,…,7,ν=1,2,…,7)および48種類の閾値hi γ(γ=1,2,…6,i=1,2,…,8)の初期値をセットする。
(3)図8に示す動作識別画像2をディスプレイH2に表示する。
ST4において、後述する図10に示す入力値生成処理を実行して、8種類の入力変数xi(i=1,2,…,8)の値(入力値)を生成する。すなわち、8種類の入力素子群Gi 1(i=1,2,…,8)の30個の素子、すなわち、合計で240(8×30=240)個の素子に−1,+1のいずれかを入力する(240個の値(−1,+1)を記憶する)。そして、ST5に移る。
ST5において、式(13)′に示す二重不感化を実行して、42種類の中間変数xμ,ν(μ≠ν,μ=1,2,…,7,ν=1,2,…,7)の値(中間値)を演算する。すなわち、42種類の中間素子群Gμ,ν 2(μ≠ν,μ=1,2,…,7,ν=1,2,…,7)の30個の素子、すなわち、合計で1260(42×30=1260)個の素子に−1,0,+1のいずれかを入力する(1260個の値(−1,0,+1)を記憶する)。そして、ST6に移る。
ST6において、式(16)に示す、中間層Nbの1260個の素子の値xj μ,ν(j=1,2,…,8,μ≠ν,μ=1,2,…,7,ν=1,2,…,7)と結合荷重の値ωγij μ,νとの積の総和を閾値hi γでフィルタリングする演算を実行して、6種類の出力変数yγの値(出力値)を演算する。すなわち、6種類の出力素子群Gγ 3(γ=1,2,…6)の8個の素子、すなわち、合計で48(6×8=48)個の素子に0,+1のいずれかを入力する(48個の値(0,+1)を記憶する)。そして、ST7に移る。
ST7において、3個以上の素子が発火した出力素子群Gγ 3(出力変数yγの値、出力値、発火パターン)が検出されたか否かを判別する。イエス(Y)の場合はST8に移り、ノー(N)の場合はST12に移る。
ST8において、以下の(1),(2)の処理を実行し、ST9に移る。
(1)継続フレーム数pγに+1を加算する。(pγ=pγ+1)
(2)識別値dγ(pγ)を演算する。
ST9において、継続フレーム数pγが識別フレーム数Psになったか否かを判別する。イエス(Y)の場合はST10に移り、ノー(N)の場合はST13に移る。
ST10において、以下の(1)〜(3)の処理を実行し、ST11に移る。
(1)継続フレーム数pγが識別フレーム数Psになった出力素子群Gγ 3に応じた動作の種類を識別する。
(2)識別された動作に応じた出力素子群Gγ 3の識別値dγ(pγ)の平均値dγを演算して(dγ={dγ(1)+dγ(2)+…+dγ(2)}/Ps)、動作の速度を識別する。すなわち、2.5≦dγ≦3.5ならば「速い」と識別し、3.5<dγ<5.5ならば「普通」と識別し、5.5≦dγ≦6.5ならば「遅い」と識別する。
(3)識別フレーム数Psに達した継続フレーム数pγを0にリセットする(pγ=0)。
ST11において、識別された動作の開始時期・種類・速度を動作識別画像2の表示部2aに表示する(記載する)。そして、ST13に移る。
ST12において、被験者の上腕が「基本姿勢」であると識別し、「基本姿勢」の開始時期を動作識別画像2の表示部2aに表示する(記載する)。そして、ST13に移る。
ST13において、動作識別画像2の識別終了釦2bが選択されたか否かを判別することにより、被験者の動作を識別する処理を終了するか否かを判別する。イエス(Y)の場合はST14に移り、ノー(N)の場合はST4に戻る。
ST14において、式(20−1),(20−2)に示す結合荷重学習処理を実行して、60480種類の結合荷重の値ωγij μ,νと48種類の閾値hi γを学習する(更新する)。そして、ST1に戻る。
(実施例1の入力値生成処理のフローチャートの説明)
図10は本発明の実施例1の動作識別プログラムの入力値生成処理のフローチャートである。
図10のフローチャートの各ST(ステップ)の処理は、前記制御部CのROM等に記憶されたプログラムに従って行われる。また、この処理は前記動作識別処理と同様に前記制御部Cの他の各種処理と並行してマルチタスクで実行される。
図10に示すフローチャートは前記表面筋電位測定装置U1および前記識別用クライアントパソコンPCが電源オンした後、前記動作識別プログラムAP1が起動した場合に開始される。
図10のST101において、表面筋電位測定装置U1の制御部で、図1に示す6個の筋電センサSN1〜SN6からの6種類の表面筋電位信号の積分値である積分表面筋電位信号(s1〜s6)を演算し、識別用クライアントパソコンPCに送信する。そして、ST102に移る。
ST102において、識別用クライアントパソコンPCにおいて、積分表面筋電位信号(s1〜s6)を受信して記憶する。そして、ST103に移る。
ST103において、式(2−1),(2−2)、図4に示すように、6種類の積分表面筋電位信号(s1〜s6)の平均値である積分平均値(v1〜v6)のフレームごとの値AIEMGi(p)(i=1,2,…,6,p=1,2,…)を演算する。そして、ST104に移る。
ST104において、式(3)に示すように、演算された6種類の積分平均値viのフレームごとの値AIEMGi(p)が、現フレーム(p番目のフレーム)までの最小値εi(i=1,2,…,6)であったか否かをそれぞれ判別する。イエス(Y)の場合はST105に移り、ノー(N)の場合はST106に移る。
ST105において、判別された積分平均値(v1〜v6)の最小値(ε1〜ε6)をそれぞれ記憶する。そして、ST106に移る。
ST106において、式(4)に示すように、6種類の積分平均値viのフレームごとの値AIEMGi(p)から誤差としての6種類の最小値εiをそれぞれ減算することにより、誤差除去値AIEMGεi(p)(i=1,2,…,6,p=1,2,…)を演算する。そして、ST107に移る。
ST107において、式(7−1)に示すように、演算された6種類の誤差除去値AIEMGεi(p)が、現フレーム(p番目のフレーム)までの最大値AIEMGεimaxであったか否かをそれぞれ判別する。イエス(Y)の場合はST108に移り、ノー(N)の場合はST109に移る。
ST108において、判別された誤差除去値AIEMGεi(p)の最大値AIEMGεimaxをそれぞれ記憶する。そして、ST109に移る。
ST109において、式(5)に示すように、6種類の誤差除去値AIEMGεi(p)の合計値AIEMGall(p)(p=1,2,…)を演算し、次のフレームの差分値AIEMGdif(p+1)を演算するための1フレーム前の合計値AIEMGall(p)として用いるために一時記憶する。そして、ST110に移る。
ST110において、式(7−2)に示すように、演算された合計値AIEMGall(p)が、現フレーム(p番目のフレーム)までの最大値AIEMGamaxであったか否かを判別する。イエス(Y)の場合はST111に移り、ノー(N)の場合はST112に移る。
ST111において、判別された合計値AIEMGall(p)の最大値AIEMGamaxを記憶する。そして、ST112に移る。
ST112において、式(6)に示すように、合計値AIEMGall(p)のフレームごとの差分値AIEMGdif(p)を演算する。そして、ST113に移る。
ST113において、式(7−3)に示すように、演算された差分値AIEMGdif(p)が、現フレーム(p番目のフレーム)までの最大値AIEMGdmaxであったか否かを判別する。イエス(Y)の場合はST114に移り、ノー(N)の場合はST115に移る。
ST114において、判別された合計値差分値AIEMGdif(p)の最大値AIEMGdmaxを記憶する。そして、ST115に移る。
ST115において、以下の(1),(2)の処理を実行し、ST101に戻る。
(1)式(8−1)〜(8−3)に示す正規化により、8種類の入力値Ni(p)(i=1,2,…,6),Na(p),Nd(p)を演算する(生成する)。
(2)式(9−1)〜(9−3)に示すように、8種類の入力値Ni(p),Na(p),Nd(p)を2値化して記憶することにより、240(8×30=240)個の素子に−1,+1のいずれかを入力する(240個の値(−1,+1)を記憶する)。そして、ST101に戻る。
(実施例1の作用)
前記構成を備えた実施例1の前記動作識別システムSは、被験者の右腕に6個の筋電センサSN1〜SN6を貼り付けた後(図1参照)、動作識別開始画像1の識別開始釦1a(図6参照)を選択することにより、被験者の7種類の動作(図2参照)についての識別を開始する(図9のST2参照)。
また、実施例1の前記動作識別処理(図9参照)では、6個の筋電センサSN1〜SN6からの6種類の表面筋電位信号が、シフト時間ごとに選択的不感化ニューラルネットN(図5参照)の入力値Ni(p)(i=1,2,…,8),Na(p),Nd(p)に変換され、前記選択的不感化ニューラルネットNの入力層Naに入力される(図9のST4、図10のST101〜ST115参照)。この結果、前記選択的不感化ニューラルネットNの入力層Naでは、8種類の入力素子群Gi 1(i=1,2,…,8)の30個の素子、合計240個の素子に−1,+1の2値のいずれかがシフト時間ごとに入力される。
また、前記選択的不感化ニューラルネットNの中間層Nbでは、式(13)′に示す二重不感化により、42種類の中間素子群Gμ,ν 2(μ≠ν,μ=1,2,…,7,ν=1,2,…,7)の30個の素子、合計1260個の素子に−1,0,+1の3値のいずれかが入力される(図9のST5参照)。また、前記選択的不感化ニューラルネットNの出力層Ncでは、式(16)により、6種類の出力素子群Gγ 3(γ=1,2,…6)の8個の素子、合計で48個の素子に0,+1の2値のいずれかが入力される(図9のST6参照)。そして、3個以上の素子が識別フレーム数Ps以上継続して発火した出力素子群Gγ 3が存在する場合には被験者の動作の種類(「手首屈曲」、「手首伸展」、「手を握る」、「手を開く」、「手首回外」、「手首回内」)および速度(「速い」、「普通」、「遅い」)を識別すると共に、存在しない場合には被験者の上腕が「基本姿勢」であると識別する(図9のST7〜ST12参照)。この結果、識別された動作の開始時期・種類・速度が動作識別画像2の表示部2a(図8参照)に表示される(図9のST11参照)。
よって、実施例1の前記動作識別システムSは、同一動作を常に一定速度で実行させた場合の識別しか行っていない前記非特許文献1、2等の技術に比べ、同一動作を異なる速度で実行させた場合の識別をすることができる。
なお、実施例1の前記動作識別システムSは、学習能力(汎化能力)が高い選択的不感化ニューラルネットN(例えば、特開2009−64216号公報等参照)により、前記被験者の動作を識別している。このため、統計的手法に基づいて動作識別を実行する前記非特許文献1、2等の技術に比べ、少ない学習量で被検体の動作を識別することが期待できる。
また、実施例1の前記選択的不感化ニューラルネットNには、実施例1の前記入力値生成処理により、6種類の筋電センサSN1〜SN6からの6種類の表面筋電位信号に基づいてノイズ等が除去された8種類の入力値Ni(p),Na(p),Nd(p)が入力される。なお、前記入力値生成処理は、計算量が少なく、シフト時間(10[ms])ごとに入力値Ni(p),Na(p),Nd(p)を十分に生成できるため、遅延なく前記動作識別処理を実行できる。
ここで、6chの筋電センサSN1〜SN6に応じた6種類の入力値Ni(p)については、0から1の範囲の値に正規化されているため、異なる種類や異なる速度の動作を実行した場合でも、複数の入力値Ni(p)が同じ値となる場合がある。例えば、1ch〜4chの入力値N1(p)〜N4(p)について、N1(p)=N2(p)=N3(p)=N4(p)が成立する可能性がある。この場合、同じ値となる2種類の入力値Ni(p)どうしで相互修飾(互いに選択的不感化)しても、対応する12種類の中間素子群Gμ,ν 2(μ=1,2,3,4、ν=1,2,3,4,μ≠ν)で同じ中間値が複数得られる結果となる可能性が高くなる。すなわち、異なる入力値に対して同じ3値パターン(例えば、(+1,0,0,−1,+1,…,0))となる可能性が高くなる。
そして、異なる入力値に対して同じ3値パターンが多数得られた場合、出力値を演算するための結合荷重の値ωγij μ,νも学習する度に同じ値に近付いてゆくことになる(式(20−1),(20−2)参照)。このような状況を、「1対多対応による結合荷重の平均化」といい、学習効率や識別精度を大きく低下させる原因となる。
これに対して、前記合計値Na(p)は、同じ値となる入力値(1ch〜4chの入力値N1(p)〜N4(p))だけでなく、異なる値となる入力値(5ch,6chの入力値N5(p)〜N6(p))も含む6種類の入力値N1(p)〜N6(p)の合計値を正規化した値である。このため、前記合計値Na(p)は、同じ値となる入力値(1ch〜4chの入力値N1(p)〜N4(p))とは異なる値となる可能性が高くなる。
すなわち、実施例1では、前記6種類の入力値Ni(p)と値が異なる可能性が高い前記合計値Na(p)を入力値として採用している。
また、前記合計値Na(p)については、他の7種類の入力値Ni(p),Na(p)の二重不感化のためにのみ使用されている。よって、実施例1の前記動作識別システムSは、選択的不感化が1回のみ実行(一重不感化)される選択的不感化ニューラルネットに比べ、さらなる学習量の低減や識別精度の向上が期待できる。なお、実施例1の前記動作識別システムSように、二重不感化を行った場合には、二重不感化を行わない場合に比べ、識別精度が2割程度向上することが実験等により確認されている。
(実験例)
ここで、実施例1の前記動作識別システムSが、前記入力値生成処理および前記動作識別処理を実行することにより、少ない学習量で、高い識別率を得られるかを調べるために、次の実験例1を準備した。
(実験例1)
実験例1の動作識別システムSは、実施例1の前記動作識別システムSと同等の構成で作製されており、実施例1の前記入力値生成処理(図10参照)および前記動作識別処理(図9参照)が実行される。なお、前記60480種類の結合荷重の値ωγij μ,νおよび前記48種類の閾値hi γの初期値については、前記被験者の2秒間の6動作を、「速い」、「普通」、「遅い」の3速度で、それぞれ2回(2セット)実行して設定した。すなわち、36(6×3×2)個のサンプルデータで学習した。
また、実験例1の動作識別システムSでは、実際の動作識別として、3速度の6動作、すなわち、全18動作を、6回(6セット)実行した際の動作を識別した。
なお、実験例1では、表面筋電位測定装置U1として、(有限会社)追坂電子機器製の「Personal−EMG」を使用した。
また、実験例1では、各セットの実行後には、結合荷重学習処理(図9のST14参照)を実行せず、前記初期値のまま被験者の動作を識別した。
また、実験例1では、3フレーム連続で3個以上の素子が発火した出力素子群Gγ 3(i=1,2,…,6)を検出した場合に、前記出力素子群Gγ 3に対応する動作の種類・速度を識別すると共に、動作識別後も12フレーム連続で前記出力素子群Gγ 3の識別値dγ(pγ)(γ=1,2,…,6,pγ=1,2,…,Ps)の演算を継続して、前記識別値dγ(pγ)の全15フレーム分の平均値dγをとって平滑化した。すなわち、実験例1では、動作を識別してから15フレームまでは、0以外の識別値dγ(pγ)が得られたフレームだけで平均値dγを演算した。
さらに、実験例1では、動作識別後、10フレーム連続で0が出力された場合に、識別された動作が終了したと判別させている。
(動作の種類の識別率DR(m)について)
ここで、動作の種類の識別率については、6種類の動作のいずれかを実際に実行した際に、実際に実行した動作を正しく検出したフレームの総数を、6動作のいずれかを検出したフレームの総数で除算した値とする。例えば、「手首屈曲」の識別率は、「手首屈曲」を実際に実行した際に、前記第1出力素子群G1 3の3個以上の素子が発火したフレームの総数を、「手首屈曲」を実行する2秒間で3個以上の素子が発火した出力素子群Gγ 3(i=1,2,…,6)を検出したフレームの総数で除算した値とする。
このため、特定の動作を実行する2秒間において、前記特定の動作を正しく検出したフレームの総数をfm(m=1,2,…,6)とし、前記特定の動作以外の動作のいずれかを検出したフレームの総数をfm″(m≠m″,m″=1,2,…,6)とし、前記特定の動作の識別率をDR(m)(m=1,2,…,6)とした場合に、前記特定の動作の識別率DR(m)[%]は、以下の式(21)によって示すことができる。
DR(m)=fm/(fm+fm″)×100 …式(21)
(動作の速度の識別率DRsp(m)について)
また、動作の速度の識別率については、18動作のいずれかを実際に実行した際に、3個以上の素子が発火した出力素子群Gγ 3(i=1,2,…,6)の識別値dγ(pγ)(γ=1,2,…,6,pγ=1,2,…,Ps)が、前記実際の動作に応じた識別値、すなわち、前記対応関係情報Tである5パターンに応じた識別値、すなわち、(2.5),(3.5),(4.5),(5.5),(6.5)の5値のいずれかに、どの程度近似しているかを示す値の識別フレーム数Ps全体の平均値とする。具体的には、前記識別値dγ(pγ)が、実際の18動作に応じた識別値から4以上離れたときの値を0[%]とし、完全に一致したときの値を100[%]とした値の識別フレーム数Ps全体の平均値である。例えば、「手首屈曲」を「速い」で実際に実行した際の前記対応関係情報Tに基づく識別値が2.5であるため、「手首屈曲」の動作識別率が前記第1出力素子群G1 3の識別値d1(1)〜d1(Ps)が全て3.3ならば(d1(1)=3.3)、識別率は80%である({1−(2.5−3.3)/4}×100=80[%])。
このため、特定の動作を3速度のいずれかによって実行する2秒間において、前記特定の動作に応じたフレームごとの識別値(2.5から6.5の5値のいずれかの正解値)をpdγ(pγ)(γ=1,2,…,6,pγ=1,2,…,Ps)とし、前記特定の動作の速度の識別率をDRsp(m)(m=1,2,…,6)とした場合に、前記特定の動作の速度の識別率DRsp(m)[%]は、以下の式(22)によって示すことができる。DRsp(m)
=[{4−(pdγ(1)−dγ(1))}/4×100
+{4−(pdγ(2)−dγ(2))}/4×100
+…
+{4−(pdγ(Ps)−dγ(Ps))}/4×100
]/(fm+fm″) …式(22)
(実験結果)
ここで、実験例1の実験結果について以下に示す。
図11は実験例1の実験結果の説明図であり、縦軸を識別値とし横軸を時間[s]として全18動作の1セットのうちの「動作A」から「動作F」の6動作を被験者が2秒間隔で実際に実行した際の識別値のグラフであり、図11Aは実際の6動作の識別値の正解値のグラフであり、図11Bは実際の6動作のフレームごとの識別値の実測値の平滑化前のグラフであり、図11Cは実際の6動作のフレームごとの識別値の実測値の平滑化後のグラフである。
まず、実験例1の動作の種類の識別、すなわち、グラフの位置・横幅については、図11に示すように、正解値のグラフ(図11A参照)と、実測値のグラフ(図11B、図11C参照)とが、ほぼ識別できていることがわかる。
また、図11Bに示すように、フレーム単位では、「動作A」が、「動作C」の実施直後に誤って識別されていると共に(図11Bの太線参照)、「動作C」が、「動作A」から「動作B」までの間と「動作B」の実施直後と「動作D」の実施直後とに誤って識別されたことが散見できる(図11Bの点線参照)。しかしながら、図11Cに示すように、誤って識別された「動作A」および「動作C」については、15フレーム以下、すなわち150[ms](10×15=150[ms])以下の瞬間的なものであるため、15フレームで平滑化した後には、消滅していることがわかる。
また、実験例1の動作の速度の識別、すなわち、グラフの高さにについても、図11に示すように、「動作B」以外の5動作については、ほぼ識別できていることがわかる。
図12は実験例1の実験結果の説明図であり、縦軸を識別率[%]とし横軸を動作の種類として全18動作の6セットを実行した際の6種類の動作の識別率[%]および各動作の3速度の識別率[%]の折れ線グラフである。
また、図12に示すように、全18動作の6セットを実行した際の実験例1の6種類の動作の識別率DR(m)は、「動作C」が約90[%]であるが(DR(3)≒90[%])、「動作C」以外の5動作(「動作A」、「動作B」、「動作D」〜「動作F」)がほぼ100[%]であることがわかる(DR(m)≒100[%](m=1,2,4,5,6))。なお、6種類の動作の識別率DR(m)の平均値は、98.42[%]であった({DR(1)+…+DR(6)}/6=98.42[%])。
ここで、前記識別率DR(m)の平均値(98.42[%])は、6種類の動作を100回実行した場合に、1、2回誤って識別することを示す値ではなく、動作識別処理を開始してから終了するまでの殆どの時間、正しい動作を識別するが、瞬間的に誤って識別することを示す値である(図11参照)。このため、動作の種類の識別については、実用に十分耐え得るものであることがわかる。
また、6種類の動作の3速度の識別率DRsp(m)は、「動作C」については約70[%]、「動作F」については約60[%]であるが(DRsp(3)≒70[%],DRsp(6)≒60[%])、「動作C」および「動作F」以外の4動作(「動作A」、「動作B」、「動作D」、「動作E」)が約80[%]であることがわかる(DRsp(m)≒80[%](m=1,2,4,5))。なお、6種類の動作の3速度の識別率DRsp(m)の平均値は、76.15[%]であった({DRsp(1)+…+DRsp(6)}/6=76.15[%])。
よって、6種類の動作の3速度の識別率DRsp(m)の平均値(76.15[%])は、6種類の動作の識別率DR(m)の平均値(98.42[%])に比べて、20[%]以上低くなったことがわかる。これは、6種類の動作の3速度の識別率DRsp(m)が、前記識別値の実測値(dγ(1)〜dγ(15))と理想値(pdγ(1)〜pdγ(15))との近似の度合いを示す値であるため(式(22)参照)、出力素子群Gγ 3の8個の素子の値に基づく前記実測値(dγ(1)〜dγ(15))が、前記理想値(pdγ(1)〜pdγ(15))に完全に一致する値とならなかったことが原因と考えられる。
ここで、実験例1では、前記識別率DRsp(m)を演算する前に、前記識別値(dγ(1)〜dγ(15))の全15フレーム分の平均値dγを演算して平滑化する。このため、平滑化された前記実測値(平均値dγ)が前記理想値(pdγ(1)〜pdγ(15))から離れた値になり易くなる。
すなわち、一部の前記実測値(dγ(1)〜dγ(15))が前記理想値(pdγ(1)〜pdγ(15))と完全一致していても、残りの前記実測値(dγ(1)〜dγ(15))が前記理想値(pdγ(1)〜pdγ(15))から大きく離れた値であれば、平均値dγも前記理想値(pdγ(1)〜pdγ(15))から離れた値となる。このため、前記平滑化処理が、前記実測値(dγ(1)〜dγ(15))を前記理想値(pdγ(1)〜pdγ(15))に完全一致させられなかった一因となり、前記識別率DRsp(m)の平均値(76.15[%])が20[%]以上低くなったと考えられる。
図13は実験例1の実験結果の説明図であり、縦軸を動作の速度の識別率[%]とし横軸を動作の種類として全18動作の6セットを実行した際の6種類の動作の3速度の速度別の識別率[%]の折れ線グラフである。
また、図13に示すように、6種類の動作の3速度の速度別の識別率[%]は、「動作F(速い)」が約40[%]であるが、「動作F(速い)」以外の17動作が約60[%]から約90[%]の範囲内であることがわかる。なお、6種類の動作の3速度の速度別の識別率DRsp(m)の平均値は、「速い」が74.12[%]、「普通」が78.30[%]、「遅い」が76.05[%]であった。
図14は実験例1の実験結果の説明図であり、縦軸を電圧[mV]とし横軸を時間[s]として6種類の動作を実際に順次実行した際の6chの筋電センサからの表面筋電位のグラフの一例である。
ここで、図14に示すように、「動作F」を実行した際の6chの筋電センサからの表面筋電位は、3chの最大値が0.5[mV]となる以外に目立つ値がなく、他の5動作を実行した際の6chの筋電センサからの表面筋電位に比べ、相対的に電圧値[mV]が小さいことがわかる。このため、「動作F(速い)」を実行した際の入力値のフレームごとの変化が小さく、識別率[%]が約40[%]と極端に低くなったものと考えられる。
このため、識別率[%]を向上させるためには、「動作F」を実行した際に表面筋電位が変化する他の測定位置に新たな筋電センサを追加することが効果的であると考えられる。
図15は実験例1の実験結果の説明図であり、動作の立ち上がりからの推定遅れを時間の経過に伴う識別率の推移によって示す説明図であり、動作開始からの経過時間による6種類の動作の3速度の識別率の推移をセット別で示した表の説明図である。
図16は縦軸を識別率[%]とし横軸を時間[ms]として図15の表の値に基づく動作開始からの経過時間による6種類の動作の3速度の識別率の推移を示すグラフである。
また、図15、図16に示すように、6セットを実行した際の実験例1の6種類の動作の3速度の識別率DRsp(m)は、各動作の立ち上がり、すなわち、各動作に伴う表面筋電位信号の受信開始から10[ms]後、30[ms]後、50[ms]後、100[ms]後、150[ms]後の各タイミングを経過する度に、高くなっていくことがわかる。すなわち、前記識別率DRsp(m)は、1,3,5,10,15フレーム分のシフト時間が経過する度に、高くなっていくことがわかる。
なお、6種類の動作の3速度の各タイミングごとの識別率DRsp(m)の平均値は、各動作の開始から10[ms]後が11.19[%]、30[ms]後が26.31[%]、50[ms]後が38.16[%]、100[ms]後が58.16[%]、150[ms]後が63.40[%]であった。
よって、100[ms]後から150[ms]後にかけて、識別率DRsp(m)の平均値の変化が緩やかになっており、識別率DRsp(m)の平均値の上昇が収束し始めていることがわかる(図14参照)。なお、上限値となる76.15[%]に対する達成度[%]は、各動作の開始から100[ms]後が76.37[%]((58.16)/(76.15)×100≒76.37[%])、150[ms]後が83.26[%]であった((63.40)/(76.15)×100≒83.26[%])。このため、各動作の開始から100[ms]後には、6種類の動作の3速度の識別をほぼ達成していることがわかる。
ここで、図15に示す表において、DRsp(m)=0[%]以外の動作は、動作の種類の識別率が100[%]である。このため、6種類の動作の各タイミングごとの識別率DR(m)についても演算することができ、各動作の開始から10[ms]後が17.46[%]、30[ms]後が39.68[%]、50[ms]後が53.97[%]、100[ms]後が80.16[%]、150[ms]後が88.09[%]となる。なお、上限値となる98.42[%]に対する達成度[%]は、各動作の開始から100[ms]後が81.45[%]((80.16)/(98.42)×100≒81.45[%])、150[ms]後が89.42[%]であった((88.09)/(98.42)×100≒89.42[%])。
よって、実験例1では、動作開始から100[ms]程度で、動作の種類だけの識別ならば8割程度、動作の速度も同時に識別するならば6割程度の識別率で、識別できることがわかる。すなわち、実験例1では、動作開始から100[ms]程度で、6動作の識別ならば8割程度、6動作3速度の18動作の識別ならば6割程度の識別率で、識別できることがわかる。したがって、実験例1の前記動作識別システムSは、被験者の36個のサンプルデータ(18動作を2セット)という少ない学習量で、高い識別率が得られたことがわかる。
なお、前記表面筋電位信号は、前記被験者の実際の動作に伴う筋肉の収縮より30[ms]〜100[ms]早く観測される。したがって、実験例1の前記動作識別システムSでは、実際の動作に伴う筋肉の収縮開始とほぼ同時、すなわち、リアルタイムに、6動作の識別ならば8割程度、6動作3速度の18動作の識別ならば6割程度の識別率で、識別できることがわかる。
また、実験例1では、各動作の立ち上がりから時間が経過する程、識別率が高くなっていくため、あるタイミングの前後で識別結果が変化した場合、変化前の識別結果より変化後の識別結果のほうが正解である可能性が高いことになる。このため、実験例1の前記動作識別システムSは、例えば、筋肉の収縮前に、18動作を一旦識別した後も動作識別処理を継続し、筋肉の収縮開始直後の識別結果が収縮前の識別結果から変化した場合に、前記収縮前の識別結果が誤りであると判別して、前記収縮開始直後の識別結果に修正をするという方法を採用すれば、リアルタイム性を保持したまま18動作の識別率をさらに向上させることも可能である。
さらに、実験例1では、前記結合荷重学習処理(図9のST14参照)を実行しておらず、前記60480種類の結合荷重の値ωγij μ,νおよび前記48種類の閾値hi γが、初期値のまま被験者の動作を識別している。このため、実施例1のように、前記結合荷重学習処理を実行して、前記初期値を更新してゆけば、前記被験者の18動作を、リアルタイムで、且つ、さらに高い識別率で識別することが可能となる。
この結果、実施例1の前記動作識別システムSは、識別率を高めるための結合荷重の初期値の学習、いわゆる、初期学習に大量の学習量を予め必要とする前記統計的手法に基づいて動作を識別する非特許文献1、2等の技術に比べ、初期学習に予め必要な学習量(提供するサンプル数)を低減することができる。したがって、実施例1の前記動作識別システムSは、非特許文献1、2等の技術に比べ、前記被験者が交代する度に実行される初期学習(再学習)に予め必要な学習量を低減することができ、被験者に対する事前の負担を低減することができる。
なお、実施例1では、学習能力(汎化能力)が高い前記選択的不感化ニューラルネットNにより、前記被験者の動作を識別している。また、実施例1の8種類の入力値Ni(p),Na(p),Nd(p)は、6個の筋電センサSN1〜SN6の出力信号(表面筋電位信号)からノイズ(誤差、個人差、個体差)が除去されて演算されている(図10のST104〜ST106、式(4)等参照)。よって、実施例1の前記動作識別システムSは、万人に適合する結合荷重を設定し易くなっている。このため、実施例1の前記動作識別システムSは、被験者以外の第三者の動作をサンプルとして初期学習しても、被験者の動作を精度良く識別できる可能性がある。すなわち、前記被験者自身の動作をサンプルとして初期学習しなくても、前記被験者の動作を精度良く識別することが期待できる。
また、実施例1の前記動作識別システムSは、6動作の識別ならば、98.42[%]以上の高い識別率で識別でき、100[ms]以内というリアルタイム性を要求しても、8割以上の高い識別率を維持することができ、識別時間という点においても実用的である。また、6動作3速度の18動作の識別ならば、追加学習をしなくても、76.15[%]以上の高い識別率を維持することができ、100[ms]以内というリアルタイム性を要求しても、6割以上の識別率で識別できる。
したがって、実施例1の前記動作識別システムSは、多数の動作や速度を識別しても必要な学習量が急増することがないため、増加した動作の種類や速度の分だけ大量の学習量がさらに必要となる非特許文献1、2等の技術に比べ、少ない学習量で前記被験者の動作を識別することができる。
さらに、実施例1の前記動作識別システムSは、識別する動作の種類や速度が増加しても、増加した動作の種類や速度の特徴を抽出する複雑な特徴抽出処理等を実行する必要がない。
したがって、実施例1の前記動作識別システムSは、多数の動作や速度を識別するための前記特徴抽出処理が複雑化してリアルタイム性を損なう可能性ある非特許文献1、2等の技術に比べ、動作の種類や速度が増加してもリアルタイム性を損なわずに被験者の動作を識別することができる。
これらの結果から、実施例1の前記動作識別システムSは、(1)多数の動作を、(2)速度の推定と共に、(3)高い識別率をもって、(4)少ないサンプル数で、(5)リアルタイムに識別できる。
(変更例)
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例(H01)〜(H017)を下記に例示する。
(H01)前記実施例では、6個の筋電センサSN1〜SN6を使用して(m=6)、選択的不感化ニューラルネットNの入力素子群Gi 1および中間素子群Gμ,ν 2の素子の数をそれぞれ30個とし(n=30)、出力素子群Gγ 3の素子の数を8個とし(n′=8)として、被験者の6種類の動作の種類を識別したが(m′=6、「基本姿勢」を除く)、m,n,m′,n′の値についてはこれに限定されず、任意の値に変更可能である。例えば、被験者の膝の屈曲・伸展を識別する場合には、2個の筋電センサSN1,SN2を使用して(m=2)、選択的不感化ニューラルネットNの入力素子群Gi 1および中間素子群Gμ,ν 2の素子の数をそれぞれ10個とし(n=10)、出力素子群Gγ 3の素子の数を6個とし(n′=6)として、被験者の2種類の動作の種類を識別することも可能である(m′=2、「基本姿勢」を除く)。すなわち、筋電センサを5個以下または7個以上使用したり、各層Na〜Nbの素子数が任意の数の選択的不感化ニューラルネットNに適用したり、5以下または7以上の被験者の動作を識別したりすることも可能である。なお、筋電センサを増やして、より多数の動作を識別する場合でも、前記選択的不感化ニューラルネットNを拡張して識別すれば、筋電センサの増加に対して、計算量の増加が緩やかになり、汎化能力が高く、冗長性も高いため(冗長変数の追加等への耐性も強いため)、少ない学習量、且つ、高い識別率で各動作を識別することが可能である。
(H02)前記実施例では、前記表面筋電位測定装置U1の制御部が、6個の筋電センサSN1〜SN6からの表面筋電位信号の積分表面筋電位信号(s1〜s6)を演算して、前記識別用クライアントパソコンPCのコンピュータ本体H1に送信したが、これに限定されず、識別用クライアントパソコンPCのコンピュータ本体H1の制御部で、6個の筋電センサSN1〜SN6からの表面筋電位信号の積分表面筋電位信号(s1〜s6)を演算することも可能である。すなわち、前記識別用クライアントパソコンPCに前記表面筋電位測定装置U1の機能を包含させることも可能であり、例えば、前記表面筋電位測定装置U1と前記識別用クライアントパソコンPCとを一体的に構成した動作識別装置(U1+PC)を作製することも可能である。
(H03)前記実施例では、前記6種類の積分平均値(v1〜v6)を演算するために(式(2−1),(2−2)参照)、1フレームごとのフレーム時間を15[ms]とし、前記シフト時間を10[ms]としたが、これに限定されず、前記フレーム時間および前記シフト時間を任意に設定することが可能である。なお、前記フレーム時間および前記シフト時間を変更した場合には、実験例1で示す動作の種類および速度の識別率DR(m),DRsp(m)(m=1,2,…,6)に影響する可能性がある。また、前記フレーム時間および前記シフト時間を長くし過ぎると、識別結果が実際の動作より遅れてしまう可能性がある。このため、前記識別結果を利用する処理の用途等を考慮して、各用途の処理で要求される識別率やリアルタイム性に応じて前記フレーム時間および前記シフト時間を設定することが好ましい。
(H04)前記実施例では、前記対応関係情報Tの5パターン(式(19−1)〜(19−5)参照)に基づいて、前記出力素子群Gγ 3(γ=1,2,…,6)の3個以上の素子が識別フレーム数Ps以上継続して発火した場合に、対応する動作を識別したが、動作の識別方法はこれに限定されず、例えば、前記出力素子群Gγ 3が1フレームでも前記5パターンに一致した場合、すなわち、4個の素子が連続して(隣接して)発火した前記出力素子群Gγ 3を検出した場合に、動作識別することも可能である。また、例えば、前記出力素子群Gγ 3の3個以上の素子が識別フレーム数Ps以上継続して発火した場合でも、少なくとも2個の素子が連続して発火した場合のみ動作識別したり、発火した素子が全て連続している場合のみ動作識別したりすることも可能である。
(H05)前記実施例の動作識別システムSでは、複数の動作を同時実行した場合、いわゆる、複合動作を実行した場合には、前記複合動作を1度も学習させていないにも関わらず、どの動作とどの動作の組合せであるかを識別できる可能性がある。例えば、手首を屈曲しながら手を握った場合に、「手首屈曲」と「手を握る」組合せであると識別できる可能性があり、前記複合動作を学習させれば、より高い識別率で前記複合動作を識別させることも期待できる。このため、前記実施例では、3個以上の素子が識別フレーム数Ps以上継続した前記出力素子群Gγ 3が複数存在する場合には、対応する複数の動作を同時実行したと識別させているが、これに限定されず、例えば、対応する複数の動作のどちらを実行したかが不明であるとして、「識別不可」と識別したり、識別せずに「基本姿勢」の状態を維持したりすることも可能である。
(H06)前記実験例1では、18動作(6動作3速度)、2セットの36個のサンプルデータを初期学習するという条件で動作の種類および速度の識別率DR(m),DRsp(m)(m=1,2,…,6)等を測定したが、初期学習するサンプルデータ数はこれに限定されず、例えば、6動作のみの識別であれば、35個以下のサンプルデータを初期学習したり、初期状態から18動作をより高い識別率でしたい場合やより多くの動作や速度を識別したい場合には、37個以上のサンプルデータを初期学習することも可能である。この場合、実用性を考慮して、被験者に対する事前の負担が大きくならない程度にサンプルデータ数を設定することが好ましい。
(H07)前記実施例では、識別された前記被験者の動作の開始時期、種類および速度を、前記動作識別画像2の表示部2a(図8参照)に記載して、前記識別用クライアントパソコンPCのディスプレイH2にリアルタイムで表示したが、これに限定されず、例えば、識別された前記被験者の動作の種類および速度に基づいて、義手・義肢等で識別動作・識別速度をリアルタイムに再現(例えば、義手ならば手を握る等、義肢ならば膝の曲げ伸ばし等)したり、ロボットスーツを着用する着用者(装着者、作業者、作業員)が次に行う動作を識別し、識別した動作を補助するパワーアシスト用のモータ等を作動させるために利用することも可能である。具体的には、識別した動作を行うための特定の関節にトルクを付与する特定の前記モータを判別する処理、すなわち、ロボットスーツが有する複数のモータについて、駆動対象となるモータを特定する処理に利用したり、ロボットスーツで識別動作を識別速度より若干高速(例えば、10[%]〜40[%]程度高速)でリアルタイムに再現(例えば、重い荷物を持ち上げる動作等)して装着者(作業者)の識別動作のパワーアシストをしたりすることも可能である。また、例えば、識別された前記被験者の動作の種類および速度に応じて、バーチャルリアリティ装置としての前記識別用クライアントパソコンPCのディスプレイH2上の画像をリアルタイムに更新する等の制御を実行することも可能である。
(H08)前記実施例では、前記被験者の6動作3速度の18動作(「基本姿勢」を含めると19動作)を識別したが、識別するのは動作の種類および速度に限定されず、例えば、前記出力素子群Gγ 3に動作の角度を識別するための素子を別途追加することにより(例えば、前記出力素子群Gγ 3に6個の素子を追加して12個の素子で構成することにより)、動作の角度についても識別することを期待できる。また、例えば、前記出力素子群Gγ 3に動作の加速度を識別するための素子も同様に別途追加するにより、動作の加速度についても識別することを期待できる。この場合、動作の種類(種類情報)、速度(速度情報)だけでなく、角度(角度情報)や加速度(加速度情報)についても同時に識別することが期待できる。
(H09)前記実施例では、対応関係情報Tの5パターンを、種類の筋電センサSN1〜SN6からの6種類の表面筋電位信号と6動作3速度の18動作とに基づいて設定しているが(式(17),(18),(19−1)〜(19−5),(20−1),(20−2)等参照)、対応関係情報Tの設定方法についてはこれに限定されず、例えば、各動作の速度情報としての速度センサや加速度センサの信号(時間経過により速度・加速度の値が変化する波形)に基づくアナログ値に基づいてより正確に設定することも可能である。この場合、表面筋電位信号と18動作とに基づいて対応関係情報Tの5パターンを設定する場合に比べ、初期学習等の学習効率が向上することが期待でき、識別率をさらに向上させることが期待できる。
(H010)前記実施例では、6種類の筋電センサSN1〜SN6からの6種類の表面筋電位信号に基づく8種類の入力値Ni(p),Na(p),Nd(p)を、選択的不感化ニューラルネットNに入力して、被験者の6動作3速度の18動作を識別したが、入力値については、表面筋電位信号に基づく値に限定されず、例えば、速度センサや加速度センサの信号に基づく入力値も、選択的不感化ニューラルネットNに入力することも可能である。この場合、表面筋電位信号に基づく入力値Ni(p),Na(p),Nd(p)のみで動作を識別する場合に比べ、識別率をさらに向上させることができる可能性がある。
(H011)前記実施例では、識別された動作に応じた出力素子群Gγ 3のフレームごとの識別値dγ(pγ)の平均値dγ(γ=1,2,…,6,dγ={dγ(1)+dγ(2)+…+dγ(Ps)}/Ps)が、2.5≦dγ≦3.5となる場合に「速い」と識別し、3.5<dγ<5.5の場合に「普通」と識別し、5.5≦dγ≦6.5の場合に「遅い」と識別したが、これに限定されず、「速い」と「普通」との識別範囲を分ける境界値(3.5)や、「普通」と「遅い」との識別範囲を分ける境界値(5.5)については任意の値を設定できる。また、動作の速度の識別方法については、「速い」、「普通」、「遅い」の3段階で識別することに限定されず、例えば、2段階や4段階以上で識別することも可能である。例えば、2.5≦dγ<3.5の場合を「高速」、3.5≦dγ<4.5の場合を「やや高速(中高速)」、4.5≦dγ<5.5の場合を「中速」、5.5≦dγ≦6.5の場合を「低速」と識別することにより、4段階で識別することも可能である。また、例えば、前記平均値dγ自体を速度を示す数値として識別したり、前記平均値dγに応じて演算された速度[m/s]を識別することも可能である。
(H012)前記実施例では、式(5)に示す6種類の誤差除去値AIEMGεi(p),(p=1,2,…)の合計値AIEMGall(p)に基づく入力値Na(p)を、多重不感化のための合計用入力素子群G8 1の素子の値x1 8〜x30 8に入力したが、これに限定されず、例えば、6種類の誤差除去値AIEMGεi(p)のノルム(2乗和のルート)に基づく入力値を入力することも可能である。なお、合計値AIEMGall(p)に替わるノルムAIEMGall(p)′については、以下の式(5)′により示される。
AIEMGall(p)′
={(AIEMGε1(p))2
+(AIEMGε2(p))2
+…
+(AIEMGε6(p))2}1/2 …式(5)′
また、例えば、予め設定された2種類の誤差除去値AIEMGεi(p)の差分値に基づく入力値を入力することも可能である。さらに、第1の誤差除去値AIEMGε1(p)を残りの誤差除去値AIEMGεi(p)(i=2,3,…,6)で減算した差分値に基づく入力値を入力することも可能である。なお、前記差分値をAIEMGdif(p)′とした場合、合計値AIEMGall(p)に替わる差分値AIEMGdif(p)′については、以下の式(5)″により示される。
AIEMGdif(p)′=AIEMGε1(p)
−AIEMGε2(p)
−…
−AIEMGε6(p) …式(5)″
(H013)前記実施例では、生体情報の一例としての表面筋電位信号を測定して被験者の動作を識別したが、これに限定されず、例えば、生体情報の一例としての脳波等を測定して被験者の動作を識別することも可能である。
(H014)前記実施例では、多重不感化のための素子群(多重用素子群)を、合計用入力素子群G8 1としたが、これに限定されず、例えば、その他の各入力素子群G1 1〜G7 1や各中間素子群G1,2 2〜G7,6 2のいずれか1つまたは複数とすることも可能である。なお、複数の素子群G1 1〜G8 1,G1,2 2〜G7,6 2を多重用素子群として選択した場合、多重用素子群が複数となり、前記実施例1のような二重不感化でなく、三重不感化以上の多重不感化となる。例えば、二重不感化のための多重用素子群を合計用入力素子群G8 1とし、三重不感化のための多重用素子群を差分用入力素子群G7 1とした場合、入力素子群Gνの素子の値(xi μ)が二重不感化された値{(xi μ)×(gj μ,ν)×(gk μ,ν,8)}と、三重不感化のための差分用出力感度の値(gk′ μ,ν,7),(k′=σ″(i)、すなわち、k′は乱数)との積{(xi μ)×(gj μ,ν)×(gk μ,ν,8)×(gk′ μ,ν,7)}を演算することにより、三重不感化が行われ、四重不感化以上の多重不感化も同様に行うことで可能となる。
(H015)前記実施例では、入力素子群Gνの素子の値(xi μ)と出力感度の値(gj μ,ν)との積{(xi μ)×(gj μ,ν)}を演算して選択的不感化をした後、合計用出力感度の値(gk μ,ν,8)との積{(xi μ)×(gj μ,ν)×(gk μ,ν,8)}を演算して二重不感化したが、式(13)に示すように、演算の順番についてはこれに限定されず、例えば、入力素子群Gνの素子の値(xi μ)と合計用出力感度の値(gk μ,ν,8)との積{(xi μ)×(gk μ,ν,8)}を演算して選択的不感化をした後、出力感度の値(gj μ,ν)との積{(xi μ)×(gk μ,ν,8)×(gj μ,ν)}を演算して二重不感化をしたり、入力素子群Gνの素子の値(xi μ)と、出力感度の値(gj μ,ν)と合計用出力感度の値(gk μ,ν,8)との積{(gj μ,ν)×(gk μ,ν,8)}と、の積{(xi μ)×(gj μ,ν)×(gk μ,ν,8)}を演算して二重不感化をしたり、入力素子群Gνの素子の値(xi μ)と出力感度の値(gj μ,ν)と合計用出力感度の値(gk μ,ν,8)との積{(xi μ)×(gj μ,ν)×(gk μ,ν,8)}を同時に演算して二重不感化をしたりすることも可能である。
(H016)前記実施例の動作識別システムSでは、表面筋電位信号を測定して被験者の動作を識別したが、これに限定されず、例えば、障害者の失った手足の動作の種類と速度とを推定することも可能である。具体的には、手を失った被験者に対し、実施例1と同様に、前記被験者の前腕の前記6箇所の測定位置に前記6個の筋電センサSN1〜SN6を貼り付けて表面筋電位信号を測定することにより、表面筋電位信号は前記被験者の動作意思に応じて変化するため、被験者が失った手で行いたかった動作の種類と速度とを推定することが可能となり、失った手による実際の動作がない場合でも被験者の動作意思を推定することが可能となる。
(H017)前記実施例の動作識別システムSでは、測定された表面筋電位信号から被験者の動作を識別したが、本願発明の分類推定システムが推定可能な分類情報についてはこれに限定されず、例えば、撮像された映像信号から人間・動物の動作を推定したり、測定された脳波信号から静止した人間・動物・植物の意思を推定したり、測定された温湿度から非生物の物体の状態を推定したり、測定された温湿度等から天候や自然現象を推定したり、収集された立地条件等の情報から不動産価格を推定したり、収集された各国の経済指標・金融政策等の情報から為替や株価等を推定したりすることも可能である。すなわち、抽出された情報からあらゆる事象を推定することが可能である。具体的には、実施例1と同様に、時間ごとに値が変化する波形信号としての前記各情報(映像信号、脳波信号、温度・湿度、立地条件、経済指標・金融政策等)の積分値(si)の積分平均値(vi)をシフト時間ごとに演算し、前記積分平均値(vi)の合計値と前記合計値のフレームごとの差分値とを演算して(式(5)、式(6)参照)、積分平均値・差分値・合計値に基づく入力値(Ni(p),Nd(p),Na(p))を演算することにより(式(7−1)〜式(8−3)参照)、表面筋電位信号と同様に、多重不感化が可能な前記選択的不感化ニューラルネットN(図5参照)に入力値(Ni(p),Nd(p),Na(p))を入力することができ、あらゆる事象(動作、意思、状態、天候や自然現象、不動産価格、為替や株価等)を推定することが可能となる。
本発明の前記動作識別システムSおよび前記動作識別プログラムAP1は、例えば、障害者の失った手足による日常の動作を補うために、義手・義肢等で識別動作・識別速度をリアルタイムに再現する場合や、筋肉への負担が大きい作業員(作業者、肉体労働者)等の支援のために、ロボットスーツを着用する前記作業員が次に行う動作を識別し、識別した動作を補助するパワーアシスト用のモータ等を作動させるために利用する場合や、体感型ゲームマシン等のバーチャルリアリティ装置やその他のヒューマンインタフェース装置等の制御にも利用する場合に有用である。

Claims (10)

  1. 第1の情報に基づく第1入力変数の値が入力される複数の入力素子により構成された第1入力素子群と、第2の情報に基づく第2入力変数の値が入力される複数の入力素子により構成された第2入力素子群と、を有する入力素子群と、
    前記第1入力素子群の各入力素子の値と、前記第2入力素子群の各入力素子の値に基づいて一部の値がゼロになるように演算された各第1出力感度の値と、予め設定された多重用素子群の各素子の値に基づいて一部の値がゼロになるように演算された各第1多重用出力感度の値と、の積算を少なくとも含む第1の多重不感化がなされて、前記第1入力素子群の各入力素子の値の一部の値がゼロにされた第1中間変数の値が入力される複数の中間素子により構成された第1中間素子群、を有する中間素子群と、
    前記第1中間素子群の各中間素子の値と前記各中間素子の値の重視度合いに応じて予め設定された各結合荷重の値とに基づいて演算された出力変数の値が入力される複数の出力素子により構成された出力素子群と、
    分類対象としての複数の分類情報と、分類情報ごとに対応する前記出力変数の値と、の対応関係を特定する対応関係情報を記憶する対応関係情報記憶手段と、
    前記対応関係情報記憶手段に予め記憶された前記対応関係情報と、演算された前記出力変数の値と、に基づいて、入力された前記第1の情報および前記第2の情報に応じた前記分類情報を推定する分類情報推定手段と、
    前記分類情報推定手段によって推定された前記分類情報を表示する分類情報表示手段と、
    を備えたことを特徴とする分類推定システム。
  2. 前記第2入力素子群の各入力素子の値と、前記第1入力素子群の各入力素子の値に基づいて一部の値がゼロになるように演算された各第2出力感度の値と、前記多重用素子群の各素子の値に基づいて一部の値がゼロになるように演算された各第2多重用出力感度の値と、の積算を少なくとも含む第2の多重不感化がなされて、前記第2入力素子群の各入力素子の値の一部の値がゼロにされた第2中間変数の値が入力される複数の中間素子により構成された第2中間素子群、を有する前記中間素子群と、
    前記各中間素子群の各中間素子の値と前記各中間素子の値の重視度合いに応じて予め設定された各結合荷重の値とに基づいて演算された前記出力変数の値が入力される前記出力素子群と、
    を備えたことを特徴とする請求項1に記載の分類推定システム。
  3. 前記分類情報推定手段により推定された前記分類情報と、前記分類情報推定手段により前記分類情報が推定される際に入力された前記第1の情報および前記第2の情報が測定された実際の分類情報との相違に基づいて、前記各結合荷重の値を更新することにより、前記各結合荷重の値を学習する結合荷重学習手段と、
    を備えたことを特徴とする請求項1または2に記載の分類推定システム。
  4. 前記多重用素子群の各素子の値が、前記第1の情報と、前記第2の情報と、に基づいて演算された
    ことを特徴とする請求項1ないし3のいずれかに記載の分類推定システム。
  5. 前記分類情報を被検体の動作意思とし、前記第1の情報および前記第2の情報を前記動作意思に伴う前記被検体の生体信号とした場合に、前記被検体に配置された第1測定位置における前記生体信号を測定する第1測定部と、前記被検体に配置された前記第1測定位置と異なる第2測定位置における前記生体信号を測定する第2測定部と、を有する測定部材と、
    を備えたことを特徴とする請求項1ないし4のいずれかに記載の分類推定システム。
  6. 前記動作意思に伴う前記被検体の筋群の活動である筋活動に基づく電位の変化の情報である筋電位信号のうちの前記被検体の皮膚における前記筋電位信号を表面筋電位信号とし、前記生体信号を前記表面筋電位信号とした場合に、前記皮膚に配置された前記第1測定位置における前記表面筋電位信号を測定する前記第1測定部と、前記皮膚に配置された前記第2測定位置における前記表面筋電位信号を測定する前記第2測定部と、を有する前記測定部材と、
    前記第1測定部からの前記表面筋電位信号の積分値である第1積分値を演算すると共に、前記第2測定部からの前記表面筋電位信号の積分値である第2積分値を演算する積分値演算手段と、
    予め設定されたフレーム時間内の前記第1積分値の平均値である第1積分平均値を予め設定されたシフト時間ごとに演算すると共に、前記フレーム時間内の前記第2積分値の平均値である第2積分平均値を前記シフト時間ごとに演算する積分平均値演算手段と、
    前記第1の情報を前記第1積分平均値とし、前記第2の情報を前記第2積分平均値とした場合に、前記第1積分平均値に基づく前記第1入力変数の値が前記シフト時間ごとに入力される前記第1入力素子群と、前記第2積分平均値に基づく前記第2入力変数の値が前記シフト時間ごとに入力される前記第2入力素子群と、を有する前記入力素子群と、
    を備えたことを特徴とする請求項5に記載の分類推定システム。
  7. 前記動作意思によって特定される動作の種類の情報である種類情報と、前記動作の力の情報である力情報と、を有する前記分類情報を推定する前記分類情報推定手段、
    を備えたことを特徴とする請求項5または6に記載の分類推定システム。
  8. 前記動作の速度の情報である速度情報であって、前記力情報に基づく前記速度情報、を有する前記分類情報を推定する前記分類情報推定手段、
    を備えたことを特徴とする請求項7に記載の分類推定システム。
  9. 前記出力変数の値のうち、第1の動作意思に応じた第1出力変数の値が入力される複数の出力素子により構成された第1出力素子群と、第2の動作意思に応じた第2出力変数の値が入力される複数の出力素子により構成された第2出力素子群と、を有する前記出力素子群と、
    前記第1の動作意思の前記種類情報および前記速度情報と前記第1出力変数の値との対応関係と、前記第2の動作意思の前記種類情報および前記速度情報と前記第2出力変数の値との対応関係と、を特定する前記対応関係情報を記憶する前記対応関係情報記憶手段と、
    前記対応関係情報記憶手段に記憶された前記対応関係情報と、演算された前記第1出力変数の値と、演算された前記第2出力変数の値と、に基づいて、入力された前記第1の情報および前記第2の情報に応じた前記分類情報の前記種類情報および前記速度情報を推定する前記分類情報推定手段と、
    前記分類情報推定手段によって推定された前記分類情報の前記種類情報および前記速度情報を表示する前記分類情報表示手段と、
    を備えたことを特徴とする請求項8に記載の分類推定システム。
  10. コンピュータを、
    第1の情報に基づく第1入力変数の値が入力される複数の入力素子により構成された第1入力素子群と、第2の情報に基づく第2入力変数の値が入力される複数の入力素子により構成された第2入力素子群と、を有する入力素子群について、入力された前記第1入力変数の値および前記第2入力変数の値を記憶する入力値記憶手段、
    前記第1入力素子群の各入力素子の値と、前記第2入力素子群の各入力素子の値に基づいて一部の値がゼロになるように演算された各第1出力感度の値と、予め設定された多重用素子群の各素子の値に基づいて一部の値がゼロになるように演算された各第1多重用出力感度の値と、の積算を少なくとも含む第1の多重不感化がなされて、前記第1入力素子群の各入力素子の値の一部の値がゼロにされた第1中間変数の値が入力される複数の中間素子により構成された第1中間素子群、を有する中間素子群について、前記第1中間変数の値を演算する中間値演算手段、
    前記第1中間素子群の各中間素子の値と前記各中間素子の値の重視度合いに応じて予め設定された各結合荷重の値とに基づいて演算された出力変数の値が入力される複数の出力素子により構成された出力素子群について、前記出力変数の値を演算する出力値演算手段、
    分類対象としての複数の分類情報と、分類情報ごとに対応する前記出力変数の値と、の対応関係を特定する対応関係情報を記憶する対応関係情報記憶手段、
    前記対応関係情報記憶手段に予め記憶された前記対応関係情報と、演算された前記出力変数の値と、に基づいて、入力された前記第1の情報および前記第2の情報に応じた前記分類情報を推定する分類情報推定手段、
    前記分類情報推定手段によって推定された前記分類情報を表示する分類情報表示手段、
    として機能させることを特徴とする分類推定プログラム。
JP2011522736A 2009-07-15 2010-07-14 分類推定システムおよび分類推定プログラム Expired - Fee Related JP5545574B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011522736A JP5545574B2 (ja) 2009-07-15 2010-07-14 分類推定システムおよび分類推定プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009167222 2009-07-15
JP2009167222 2009-07-15
PCT/JP2010/004585 WO2011007569A1 (ja) 2009-07-15 2010-07-14 分類推定システムおよび分類推定プログラム
JP2011522736A JP5545574B2 (ja) 2009-07-15 2010-07-14 分類推定システムおよび分類推定プログラム

Publications (2)

Publication Number Publication Date
JPWO2011007569A1 JPWO2011007569A1 (ja) 2012-12-20
JP5545574B2 true JP5545574B2 (ja) 2014-07-09

Family

ID=43449179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011522736A Expired - Fee Related JP5545574B2 (ja) 2009-07-15 2010-07-14 分類推定システムおよび分類推定プログラム

Country Status (3)

Country Link
US (1) US9392954B2 (ja)
JP (1) JP5545574B2 (ja)
WO (1) WO2011007569A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12164280B2 (en) 2021-07-26 2024-12-10 Hyundai Motor Company Method for estimating intention using unsupervised learning

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201121335A (en) * 2009-12-02 2011-06-16 Sunplus Core Technology Co Ltd Method and apparatus for adaptively determining compression modes to compress frames
US9907489B2 (en) * 2012-06-14 2018-03-06 Rehabilitation Institute Of Chicago Systems and methods for hierarchical pattern recognition for simultaneous control of multiple-degree of freedom movements for prosthetics
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
US10152082B2 (en) 2013-05-13 2018-12-11 North Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US12504816B2 (en) 2013-08-16 2025-12-23 Meta Platforms Technologies, Llc Wearable devices and associated band structures for sensing neuromuscular signals using sensor pairs in respective pods with communicative pathways to a common processor
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
WO2015027089A1 (en) * 2013-08-23 2015-02-26 Thalmic Labs Inc. Systems, articles, and methods for human-electronics interfaces
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
US9372535B2 (en) 2013-09-06 2016-06-21 Thalmic Labs Inc. Systems, articles, and methods for electromyography-based human-electronics interfaces
US9483123B2 (en) * 2013-09-23 2016-11-01 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
HK1222733A1 (zh) * 2013-10-24 2017-07-07 苹果公司 使用手腕移動的腕帶設備輸入
EP3104737A4 (en) 2014-02-14 2017-10-11 Thalmic Labs Inc. Systems, articles, and methods for elastic electrical cables and wearable electronic devices employing same
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
JP6458387B2 (ja) * 2014-07-29 2019-01-30 株式会社きもちラボ 生体電気ノイズ同定システム及び生体電気ノイズ除去システム
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
CN107708547B (zh) * 2015-06-12 2021-11-23 皇家飞利浦有限公司 表面肌电图系统、记录器和方法
ITUB20159413A1 (it) * 2015-12-23 2017-06-23 Laboratori Archa Srl Metodo e sistema di rilevazione di movimenti
KR102619981B1 (ko) 2016-02-02 2024-01-02 삼성전자주식회사 근전도 신호를 이용한 동작 분류 방법 및 장치
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
WO2018022602A1 (en) * 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
US12554325B2 (en) 2016-07-25 2026-02-17 Meta Platforms Technologies, Llc Methods and apparatuses for low latency body state prediction based on neuromuscular data
JP6926429B2 (ja) * 2016-09-27 2021-08-25 日本電気株式会社 データ処理装置、データ処理方法、およびプログラム
US11259979B2 (en) * 2017-02-03 2022-03-01 Roam Robotics Inc. System and method for user intent recognition
US11185270B1 (en) * 2017-02-03 2021-11-30 Yongwu Yang Wearable device and method for monitoring muscle tension and other physiological data
US10796599B2 (en) * 2017-04-14 2020-10-06 Rehabilitation Institute Of Chicago Prosthetic virtual reality training interface and related methods
JP6829151B2 (ja) * 2017-05-24 2021-02-10 日本電信電話株式会社 行動推定装置、及び行動推定方法
US10984054B2 (en) * 2017-07-27 2021-04-20 Robert Bosch Gmbh Visual analytics system for convolutional neural network based classifiers
US10481699B2 (en) * 2017-07-27 2019-11-19 Facebook Technologies, Llc Armband for tracking hand motion using electrical impedance measurement
EP3697297A4 (en) 2017-10-19 2020-12-16 Facebook Technologies, Inc. SYSTEMS AND PROCEDURES FOR IDENTIFICATION OF BIOLOGICAL STRUCTURES IN CONNECTION WITH SIGNALS OF NEUROMUSCULAR ORIGIN
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11150730B1 (en) * 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US12579768B2 (en) 2018-01-25 2026-03-17 Meta Platforms Technologies, Llc Wearable electronic devices, extended reality systems including neuromuscular sensors, and methods for generating text from speech input and modifying the generated text based on neuromuscular data
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3843617B1 (en) 2018-08-31 2023-10-04 Facebook Technologies, LLC. Camera-guided interpretation of neuromuscular signals
EP3853698A4 (en) 2018-09-20 2021-11-17 Facebook Technologies, LLC NEUROMUSCULAR TEXT ENTRY, WRITING AND DRAWING IN SYSTEMS WITH EXTENDED REALITY
CN113423341B (zh) * 2018-11-27 2024-12-03 元平台技术有限公司 用于可穿戴电极传感器系统的自动校准的方法和装置
US11583218B2 (en) * 2019-11-20 2023-02-21 Advancer Technologies, Llc EMG device
IL293829B1 (en) 2019-12-13 2026-04-01 Roam Robotics Inc A device that is activated to benefit the wearer while skiing
EP4157198A4 (en) 2020-05-27 2024-06-26 Roam Robotics Inc. ADJUSTMENT AND SUSPENSION SYSTEMS AND METHODS FOR A MOBILE ROBOT
IL298451A (en) 2020-05-27 2023-01-01 Roam Robotics Inc A control system and method for a mobile robot
JP2022137943A (ja) * 2021-03-09 2022-09-22 大王製紙株式会社 使い捨て着用物品におけるサイドシールの破りやすさ評価方法
WO2022195657A1 (ja) * 2021-03-15 2022-09-22 日本電信電話株式会社 筋音抽出方法、筋音抽出装置及びプログラム
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN113222049B (zh) * 2021-05-26 2024-05-10 中国石油天然气股份有限公司 一种特殊螺纹上扣扭矩的分类识别方法及识别设备
CN120354458B (zh) * 2025-06-23 2025-08-19 中南大学 一种多策略数据脱敏方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009064216A (ja) * 2007-09-06 2009-03-26 Univ Of Tsukuba 関数近似装置、強化学習システム、関数近似システムおよび関数近似プログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5269318A (en) * 1982-08-16 1993-12-14 Neurocom International Inc. Apparatus and method for movement coordination analysis
US5645073A (en) * 1989-07-31 1997-07-08 Synectics Medical Ab Method and an apparatus for use in electromyography to determine risk of muscular disorder
US5505208A (en) * 1993-12-10 1996-04-09 Toomin Research Group Method for determining muscle dysfunction
US6496724B1 (en) * 1998-12-31 2002-12-17 Advanced Brain Monitoring, Inc. Method for the quantification of human alertness
US7499745B2 (en) * 2000-02-28 2009-03-03 Barbara Ann Karmanos Cancer Institute Multidimensional bioelectrical tissue analyzer
US6440067B1 (en) * 2000-02-28 2002-08-27 Altec, Inc. System and method for remotely monitoring functional activities
US7148879B2 (en) * 2000-07-06 2006-12-12 At&T Corp. Bioacoustic control system, method and apparatus
JP4885416B2 (ja) * 2001-01-16 2012-02-29 ユニヴェルシテ・ドゥ・モントリオール 筋電的に活性化される呼吸リークシール
JP2002358149A (ja) * 2001-06-01 2002-12-13 Sony Corp ユーザ入力装置
US6643541B2 (en) * 2001-12-07 2003-11-04 Motorola, Inc Wireless electromyography sensor and system
CA2396202A1 (en) * 2002-07-31 2004-01-31 Anthony Michael Galea Sincerity index system and program therefor
US7359750B2 (en) * 2003-02-22 2008-04-15 Chul Gyu Song Apparatus and method for analyzing motions using bio-impedance
GB0306629D0 (en) * 2003-03-22 2003-04-30 Qinetiq Ltd Monitoring electrical muscular activity
JP4078419B2 (ja) 2003-06-18 2008-04-23 独立行政法人産業技術総合研究所 ポインティングデバイス
AU2004290588A1 (en) * 2003-11-18 2005-06-02 Vivometrics, Inc. Method and system for processing data from ambulatory physiological monitoring
WO2005077260A1 (en) * 2004-02-12 2005-08-25 Biopeak Corporation Non-invasive method and apparatus for determining a physiological parameter
US7554549B2 (en) * 2004-10-01 2009-06-30 Sony Corporation System and method for tracking facial muscle and eye motion for computer graphics animation
TWI266217B (en) * 2004-12-28 2006-11-11 Ind Tech Res Inst Methods and devices of a multi-functional operating interface for a nursing machine
WO2006119046A1 (en) * 2005-04-30 2006-11-09 Medtronic, Inc. Impedance-based stimulation adjustment
US20070060830A1 (en) * 2005-09-12 2007-03-15 Le Tan Thi T Method and system for detecting and classifying facial muscle movements
US8280169B2 (en) * 2005-12-21 2012-10-02 Michael Linderman Recordation of handwriting and hand movement using electromyography
US8437844B2 (en) * 2006-08-21 2013-05-07 Holland Bloorview Kids Rehabilitation Hospital Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements
WO2008124079A1 (en) * 2007-04-03 2008-10-16 Nuvasive, Inc. Neurophysiologic monitoring system
JP4367663B2 (ja) * 2007-04-10 2009-11-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US8386025B2 (en) * 2007-04-30 2013-02-26 IctalCare A/S, Delta Device and method for monitoring muscular activity
JP5154558B2 (ja) * 2007-08-31 2013-02-27 公益財団法人東京都医学総合研究所 定量的運動機能評価システム及び運動機能評価用プログラム
CN102065766B (zh) * 2008-06-20 2013-01-02 国立大学法人大阪大学 肌紧张测量装置
US8170656B2 (en) * 2008-06-26 2012-05-01 Microsoft Corporation Wearable electromyography-based controllers for human-computer interface
US8447704B2 (en) * 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
EP2358266A4 (en) * 2008-11-20 2012-10-03 Bodymedia Inc METHOD AND DEVICE FOR DETERMINING CRITICAL CARE PARAMETERS
US8126542B2 (en) * 2008-12-10 2012-02-28 Somaxis, Inc. Methods for performing physiological stress tests
WO2011020446A1 (en) * 2009-08-21 2011-02-24 The Chinese University Of Hong Kong Systems and methods for reproducing body motions via networks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009064216A (ja) * 2007-09-06 2009-03-26 Univ Of Tsukuba 関数近似装置、強化学習システム、関数近似システムおよび関数近似プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12164280B2 (en) 2021-07-26 2024-12-10 Hyundai Motor Company Method for estimating intention using unsupervised learning

Also Published As

Publication number Publication date
US9392954B2 (en) 2016-07-19
US20120209134A1 (en) 2012-08-16
JPWO2011007569A1 (ja) 2012-12-20
WO2011007569A1 (ja) 2011-01-20

Similar Documents

Publication Publication Date Title
JPWO2011007569A1 (ja) 分類推定システムおよび分類推定プログラム
CN112566553B (zh) 实时尖峰检测和识别
Khan et al. Accelerometer signal-based human activity recognition using augmented autoregressive model coefficients and artificial neural nets
CN110337269B (zh) 基于神经肌肉信号推断用户意图的方法和装置
Allard et al. A convolutional neural network for robotic arm guidance using sEMG based frequency-features
Sztyler et al. Online personalization of cross-subjects based activity recognition models on wearable devices
Shin et al. Korean sign language recognition using EMG and IMU sensors based on group-dependent NN models
CN110300542A (zh) 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
Batayneh et al. Comparing the efficiency of artificial neural networks in sEMG-based simultaneous and continuous estimation of hand kinematics
CN119175715B (zh) 一种基于sEMG信号的仿生机械手控制方法、系统、设备和存储介质
CN113974612A (zh) 一种卒中患者上肢运动功能自动化评估方法与系统
JP6656633B2 (ja) 生体信号が表す情報を識別するためのシステム
Chang et al. A hierarchical hand motions recognition method based on IMU and sEMG sensors
Nieuwoudt et al. Investigation of real-time control of finger movements utilizing surface EMG signals
Djemal et al. Real-time model for dynamic hand gestures classification based on inertial sensor
Anam et al. Random forest-based simultaneous and proportional myoelectric control system for finger movements
Krassnig et al. User-friendly system for recognition of activities with an accelerometer
Mekruksavanich et al. Ensemble deep learning network for enhancing performances of sensor-based physical activity recognition based on imu sensor data
Koch et al. Inhomogeneously stacked RNN for recognizing hand gestures from magnetometer data
Chaiyaroj et al. Deep neural network approach for hand, wrist, grasping and functional movements classification using low-cost semg sensors
Fu et al. Identification of finger movements from forearm surface EMG using an augmented probabilistic neural network
Kurzynski et al. Multiple classifier system applied to the control of bioprosthetic hand based on recognition of multimodal biosignals
CN119377648A (zh) 一种基于图神经网络的心律失常检测系统
Borghoff et al. Myo-to-gesture: evolving AI-based innovations in myoelectric signal processing–state-of-the-art survey and research proposal
Orban et al. An approach for accurate pattern recognition of four hand gestures based on sEMG signals

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140502

R150 Certificate of patent or registration of utility model

Ref document number: 5545574

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees