JP5545574B2 - 分類推定システムおよび分類推定プログラム - Google Patents
分類推定システムおよび分類推定プログラム Download PDFInfo
- Publication number
- JP5545574B2 JP5545574B2 JP2011522736A JP2011522736A JP5545574B2 JP 5545574 B2 JP5545574 B2 JP 5545574B2 JP 2011522736 A JP2011522736 A JP 2011522736A JP 2011522736 A JP2011522736 A JP 2011522736A JP 5545574 B2 JP5545574 B2 JP 5545574B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- information
- input
- values
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- RJAIVZQUTXDAQL-UHFFFAOYSA-N C(C1)C2C[O-]C1C2 Chemical compound C(C1)C2C[O-]C1C2 RJAIVZQUTXDAQL-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
- A61B5/397—Analysis of electromyograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6824—Arm or wrist
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Fuzzy Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Description
ここで、前記筋電位信号の測定方法としては、被験者(被検体、被測定者)の特定の筋繊維に針電極を刺して直接的に特定の筋電位信号を測定する方法と、被験者の肌に電極(表面電極)を貼り付けて、複数の筋繊維が発する筋電位信号の総和、いわゆる、表面筋電位信号(EMG:Electro Myo-Gram)を測定する方法とが一般的に知られている。なお、前記針電極により測定する方法については、被験者の負担が大きいため、被験者の負担が比較的小さい表面電極により測定する方法がより一般的である。
このため、前記表面筋電位信号の測定結果から被験者の動作識別をする場合には、入力と出力との対応関係を表す関数(非線形関数)を分散表現により単純化するニューラルネット(ニューラルネットワーク)の技術が利用されている。
ここで、前記表面筋電位信号に基づく動作識別に関する技術として、例えば、下記の非特許文献1,2に記載の技術が知られている。
また、R−LLGMNとは、第1の中間層と第2の中間層との間に1時刻前の出力を考慮可能な結合、いわゆる、リカレント結合を有するLLGMNのことである。なお、R−LLGMNについては、例えば、特開2005−11037号公報や非特許文献4等に記載されているため、詳細な説明を省略する。
ここで、前記サポートベクターマシンとは、入力層の素子としての複数の線形入力素子(線形しきい素子)を利用した2クラスのパターン識別器である。すなわち、結合荷重(シナプス荷重)を乗算した複数の線形入力素子の値の総和が予め設定された閾値を超えるか否かを示す出力値を出力する層状ニューラルネットである。
y=sign(ωTx−h) …式(1)
=sign(x1ω1+x2ω2+…+xnωn−h)
また、前記サポートベクターマシンは、学習データ(訓練サンプル)、すなわち、一対の入力特徴ベクトルxおよび出力値yから、各データ点との距離、すなわち、入力特徴ベクトルxとの距離(マージン)が最大となる分離平面(超平面)を求めるマージン最大化という基準により、前記線形入力素子のパラメータを学習、すなわち、結合荷重ベクトルωを更新している。
前記非特許文献1、2等の技術では、前腕の基本姿勢、手首屈曲、手首伸展、握る、開く、手首回内、手首回外等の動作の種類についての識別を行っているが、同一動作を常に一定速度で動作させた場合の識別しか行っていないという問題があった。このため、前記非特許文献1、2等の技術では、同一の動作を異なる速度で識別できないという問題があった。
また、前記表面筋電位信号は、個人差が大きく、動作識別を精度良く実行するためには、被験者ごとに学習データを学習し、被験者ごとに適合する結合荷重を設定したり、不特定多数の被験者の多数の学習データを学習し、万人に適合する結合荷重を設定したりする必要があった。すなわち、前記非特許文献1、2等の技術は、統計的手法に基づいて動作識別を実行するため、多数の学習データを必要とし、被験者への負担が大きく、実用的ではないという問題があった。
よって、前記非特許文献1、2等の技術では、少ない学習データ(学習量、サンプル数)で、多数の動作を、速度と共に、高い識別率で、リアルタイムに識別することができないという問題があった。
第1の情報に基づく第1入力変数の値が入力される複数の入力素子により構成された第1入力素子群と、第2の情報に基づく第2入力変数の値が入力される複数の入力素子により構成された第2入力素子群と、を有する入力素子群と、
前記第1入力素子群の各入力素子の値と、前記第2入力素子群の各入力素子の値に基づいて一部の値がゼロになるように演算された各第1出力感度の値と、予め設定された多重用素子群の各素子の値に基づいて一部の値がゼロになるように演算された各第1多重用出力感度の値と、の積算を少なくとも含む第1の多重不感化がなされて、前記第1入力素子群の各入力素子の値の一部の値がゼロにされた第1中間変数の値が入力される複数の中間素子により構成された第1中間素子群、を有する中間素子群と、
前記第1中間素子群の各中間素子の値と前記各中間素子の値の重視度合いに応じて予め設定された各結合荷重の値とに基づいて演算された出力変数の値が入力される複数の出力素子により構成された出力素子群と、
分類対象としての複数の分類情報と、分類情報ごとに対応する前記出力変数の値と、の対応関係を特定する対応関係情報を記憶する対応関係情報記憶手段と、
前記対応関係情報記憶手段に予め記憶された前記対応関係情報と、演算された前記出力変数の値と、に基づいて、入力された前記第1の情報および前記第2の情報に応じた前記分類情報を推定する分類情報推定手段と、
前記分類情報推定手段によって推定された前記分類情報を表示する分類情報表示手段と、
を備えたことを特徴とする。
前記第2入力素子群の各入力素子の値と、前記第1入力素子群の各入力素子の値に基づいて一部の値がゼロになるように演算された各第2出力感度の値と、前記多重用素子群の各素子の値に基づいて一部の値がゼロになるように演算された各第2多重用出力感度の値と、の積算を少なくとも含む第2の多重不感化がなされて、前記第2入力素子群の各入力素子の値の一部の値がゼロにされた第2中間変数の値が入力される複数の中間素子により構成された第2中間素子群、を有する前記中間素子群と、
前記各中間素子群の各中間素子の値と前記各中間素子の値の重視度合いに応じて予め設定された各結合荷重の値とに基づいて演算された前記出力変数の値が入力される前記出力素子群と、
を備えたことを特徴とする。
前記分類情報推定手段により推定された前記分類情報と、前記分類情報推定手段により前記分類情報が推定される際に入力された前記第1の情報および前記第2の情報が測定された実際の分類情報との相違に基づいて、前記各結合荷重の値を更新することにより、前記各結合荷重の値を学習する結合荷重学習手段と、
を備えたことを特徴とする。
前記多重用素子群の各素子の値が、前記第1の情報と、前記第2の情報と、に基づいて演算された
ことを特徴とする。
前記分類情報を被検体の動作意思とし、前記第1の情報および前記第2の情報を前記動作意思に伴う前記被検体の生体信号とした場合に、前記被検体に配置された第1測定位置における前記生体信号を測定する第1測定部と、前記被検体に配置された前記第1測定位置と異なる第2測定位置における前記生体信号を測定する第2測定部と、を有する測定部材と、
を備えたことを特徴とする。
前記動作意思に伴う前記被検体の筋群の活動である筋活動に基づく電位の変化の情報である筋電位信号のうちの前記被検体の皮膚における前記筋電位信号を表面筋電位信号とし、前記生体信号を前記表面筋電位信号とした場合に、前記皮膚に配置された前記第1測定位置における前記表面筋電位信号を測定する前記第1測定部と、前記皮膚に配置された前記第2測定位置における前記表面筋電位信号を測定する前記第2測定部と、を有する前記測定部材と、
前記第1測定部からの前記表面筋電位信号の積分値である第1積分値を演算すると共に、前記第2測定部からの前記表面筋電位信号の積分値である第2積分値を演算する積分値演算手段と、
予め設定されたフレーム時間内の前記第1積分値の平均値である第1積分平均値を予め設定されたシフト時間ごとに演算すると共に、前記フレーム時間内の前記第2積分値の平均値である第2積分平均値を前記シフト時間ごとに演算する積分平均値演算手段と、
前記第1の情報を前記第1積分平均値とし、前記第2の情報を前記第2積分平均値とした場合に、前記第1積分平均値に基づく前記第1入力変数の値が前記シフト時間ごとに入力される前記第1入力素子群と、前記第2積分平均値に基づく前記第2入力変数の値が前記シフト時間ごとに入力される前記第2入力素子群と、を有する前記入力素子群と、
を備えたことを特徴とする。
前記動作意思によって特定される動作の種類の情報である種類情報と、前記動作の力の情報である力情報と、を有する前記分類情報を推定する前記分類情報推定手段、
を備えたことを特徴とする。
前記動作の速度の情報である速度情報であって、前記力情報に基づく前記速度情報、を有する前記分類情報を推定する前記分類情報推定手段、
を備えたことを特徴とする。
前記出力変数の値のうち、第1の動作意思に応じた第1出力変数の値が入力される複数の出力素子により構成された第1出力素子群と、第2の動作意思に応じた第2出力変数の値が入力される複数の出力素子により構成された第2出力素子群と、を有する前記出力素子群と、
前記第1の動作意思の前記種類情報および前記速度情報と前記第1出力変数の値との対応関係と、前記第2の動作意思の前記種類情報および前記速度情報と前記第2出力変数の値との対応関係と、を特定する前記対応関係情報を記憶する前記対応関係情報記憶手段と、
前記対応関係情報記憶手段に記憶された前記対応関係情報と、演算された前記第1出力変数の値と、演算された前記第2出力変数の値と、に基づいて、入力された前記第1の情報および前記第2の情報に応じた前記分類情報の前記種類情報および前記速度情報を推定する前記分類情報推定手段と、
前記分類情報推定手段によって推定された前記分類情報の前記種類情報および前記速度情報を表示する前記分類情報表示手段と、
を備えたことを特徴とする。
コンピュータを、
第1の情報に基づく第1入力変数の値が入力される複数の入力素子により構成された第1入力素子群と、第2の情報に基づく第2入力変数の値が入力される複数の入力素子により構成された第2入力素子群と、を有する入力素子群について、入力された前記第1入力変数の値および前記第2入力変数の値を記憶する入力値記憶手段、
前記第1入力素子群の各入力素子の値と、前記第2入力素子群の各入力素子の値に基づいて一部の値がゼロになるように演算された各第1出力感度の値と、予め設定された多重用素子群の各素子の値に基づいて一部の値がゼロになるように演算された各第1多重用出力感度の値と、の積算を少なくとも含む第1の多重不感化がなされて、前記第1入力素子群の各入力素子の値の一部の値がゼロにされた第1中間変数の値が入力される複数の中間素子により構成された第1中間素子群、を有する中間素子群について、前記第1中間変数の値を演算する中間値演算手段、
前記第1中間素子群の各中間素子の値と前記各中間素子の値の重視度合いに応じて予め設定された各結合荷重の値とに基づいて演算された出力変数の値が入力される複数の出力素子により構成された出力素子群について、前記出力変数の値を演算する出力値演算手段、
分類対象としての複数の分類情報と、分類情報ごとに対応する前記出力変数の値と、の対応関係を特定する対応関係情報を記憶する対応関係情報記憶手段、
前記対応関係情報記憶手段に予め記憶された前記対応関係情報と、演算された前記出力変数の値と、に基づいて、入力された前記第1の情報および前記第2の情報に応じた前記分類情報を推定する分類情報推定手段、
前記分類情報推定手段によって推定された前記分類情報を表示する分類情報表示手段、
として機能させることを特徴とする。
請求項2に記載の発明によれば、多重不感化が可能な選択的不感化ニューラルネットの相互修飾モデルを介して被検体の動作を識別するため、2個の入力変数の値を相互修飾(互いに多重不感化)して2個の中間変数の値を演算でき、2個の入力変数の値を積型修飾(一方のみを多重不感化)して1個の中間変数の値を演算する場合に比べ、多重不感化が可能な選択的不感化ニューラルネットの学習能力を高くでき、より高い識別率で分類情報を推定することができる。
請求項4に記載の発明によれば、第1の情報および第2の情報に基づいて演算された多重用素子群の各素子の値が、第1の情報または第2の情報に基づいて演算された多重用素子群の各素子の値に比べて、第1入力素子群の各入力素子の値または第2入力素子群の各入力素子の値と異なる値になる可能性が高く、不感化される入力素子の値が偏り難くなり、多重不感化が効率良く実行されるため、多重不感化が可能な選択的不感化ニューラルネットの学習能力を高くでき、より高い識別率で分類情報を推定することができる。
請求項5に記載の発明によれば、生体信号に基づく各入力変数の値を多重不感化が可能な選択的不感化ニューラルネットに入力することによって被検体の動作意思を推定できる。また、請求項5に記載の発明によれば、被検体が前記動作意思に応じた動作を実行可能な場合には、被検体の動作を認識することができる。
請求項7に記載の発明によれば、被検体の動作意思を推定した際に、動作の種類と力とを推定できる。
請求項8に記載の発明によれば、被検体の動作意思を推定した際に、動作の速度を推定できる。
請求項9に記載の発明によれば、第1の動作意思に対応する第1出力変数の値と、第2の動作意思に対応する第2出力変数の値と、を比較して、動作の種類と速度とを推定できる。
なお、以下の図面を使用した説明において、理解の容易のために説明に必要な部材以外の図示は適宜省略されている。
図2は本発明の実施例1の動作識別システムが識別する被験者の6種類の前腕動作の説明図である。
図1において、本発明の実施例1の動作識別システム(動作意思推定システム、事象推定システム、分類推定システム)Sは、被検体の一例としての人間、いわゆる、被験者の動作意思(事象)に伴う筋活動(筋群の活動)に基づく筋電位信号(生体信号)を測定する表面筋電位測定装置(測定部材、筋電位信号測定部材)U1と、前記表面筋電位測定装置U1に接続されて前記被験者の動作を識別する動作識別装置本体(動作意思推定装置本体、事象推定装置本体、分類推定装置本体)の一例としての識別用クライアントパソコン(コンピュータ、パーソナルコンピュータ、ユーザが操作可能な端末)PCとを有する。
なお、実施例1では、図2に示す、前記被験者の前腕の「基本姿勢」(「動作なし」、何も動作識別されていない状態)を含む7種類の動作、すなわち、「手首屈曲」(「動作A」)、「手首伸展」(「動作B」)、「手を握る」(「動作C」)、「手を開く」(「動作D」)、「手首回外」(「動作E」)、「手首回内」(「動作F」)の各動作を識別する。
すなわち、実施例1の前記表面筋電位測定装置U1は、前記6箇所の皮膚に貼り付ける前記6対の湿式電極(SN1〜SN6)により、前記6種類の筋肉に応じた筋電位信号、いわゆる、表面筋電位信号(6種類の生体信号、第1の情報、第2の情報、…、第6の情報)を測定する。
前記各筋電センサSN1〜SN6を有する前記表面筋電位測定装置U1と、前記測定用クライアントパソコンPCとにより、実施例1の動作識別装置(動作意思推定装置、事象推定装置、分類推定装置)(U1+PC)が構成されている。
図3は本発明の実施例1の動作識別システムを構成する各装置の機能をブロック図(機能ブロック図)で示した説明図である。
図3において、前記表面筋電位測定装置U1および前記識別用クライアントパソコンPCのコンピュータ本体H1の制御部は、外部との信号の入出力および入出力信号レベルの調節等を行うI/O(入出力インターフェース)、必要な起動処理を行うためのプログラムおよびデータ等が記憶されたROM(リードオンリーメモリ、記録媒体)、必要なデータ及びプログラムを一時的に記憶するためのRAM(ランダムアクセスメモリ、記録媒体)、前記ROM等に記憶された起動プログラムに応じた処理を行うCPU(中央演算処理装置)、ならびにクロック発振器等を有しており、ROM及びRAM等に記憶されたプログラムを実行することにより種々の機能を実現することができる。実施例1の前記制御部CのROMには、動作識別プログラム(動作意思推定プログラム、事象推定プログラム、分類推定プログラム)AP1が記憶されている。
前記表面筋電位測定装置U1の制御部には、次の信号出力要素SN1〜SN6等の出力信号が入力されている。
SN1〜SN6:筋電センサ
6個の筋電センサSN1〜SN6は、6箇所の測定位置において測定された前記6種類の筋肉の表面筋電位信号を前記制御部に入力する。
前記表面筋電位測定装置U1の制御部は、前記6個の筋電センサSN1〜SN6の出力信号に応じて、前記識別用クライアントパソコンPCに入力する出力信号を演算するために、次の機能実現手段を有している。
C1:積分値演算手段
積分値演算手段C1は、前記6個の筋電センサSN1〜SN6からの前記6種類の表面筋電位信号の積分値(第1積分値s1、第2積分値s2、…、第6積分値s6)、いわゆる、積分表面筋電位信号(積分筋電位、積分筋電図、筋電図積分値、IEMG:Integrated Electro Myo-Gram)(s1〜s6)を演算する。
C2:積分値送信手段
積分値送信手段C2は、前記積分値演算手段C1により演算された前記6種類の積分表面筋電位信号(s1〜s6)を、前記識別用クライアントパソコンPCのコンピュータ本体H1に送信する。実施例1の前記積分値送信手段C2は、3[kHz]のサンプリング周波数に基づいて、1[ms]に3点((3×103)×10−3=3)の積分表面筋電位信号(s1〜s6)の値を、前記6種類の積分表面筋電位信号(s1〜s6)それぞれについて前記識別用クライアントパソコンPCのコンピュータ本体H1に送信する。
また、前記表面筋電位測定装置U1の制御部Cは、前記表面筋電位測定装置U1の出力信号、すなわち、積分表面筋電位信号(s1〜s6)に基づいて、前記被験者の動作を識別する前記動作識別プログラムAP1において、次の機能実現手段を有している。
C3:積分値受信手段
積分値受信手段C3は、前記積分値送信手段C2により送信された前記6種類の積分表面筋電位信号(s1〜s6)を受信する。実施例1の前記積分値受信手段C3は、1[ms]に3点の前記積分表面筋電位信号(s1〜s6)の値を、前記6種類の積分表面筋電位信号(s1〜s6)それぞれについて受信する。
積分値記憶手段C4は、前記積分値受信手段C3により受信された前記6種類の積分表面筋電位信号(s1〜s6)を記憶する。実施例1の前記積分値受信手段C3は、1[ms]に3点ずつ受信する前記積分表面筋電位信号(s1〜s6)の値を、前記6種類の積分表面筋電位信号(s1〜s6)それぞれについて記憶する。
C5:積分平均値演算手段
積分平均値演算手段C5は、予め設定されたフレーム時間内の前記6種類の積分表面筋電位信号(s1〜s6)の平均値である積分平均値(第1積分平均値v1、第2積分平均値v2、…、第6積分平均値v6、AIEMG:Average Integrated Electro Myo-Gram)を予め設定されたシフト時間ごとに演算する。
実施例1の前記積分平均値演算手段C5では、図4に示すように、前記フレーム時間を15[ms]とし、前記シフト時間を10[ms]として、1[ms]に3点ずつ受信した前記6種類の積分表面筋電位信号(s1〜s6)の平均値(v1〜v6)をそれぞれ演算することにより、前記6種類の積分平均値(v1〜v6)を演算する。すなわち、前記積分平均値演算手段C5は、15[ms]の1フレーム内に含まれる45点(3×15=45)の積分表面筋電位信号(s1〜s6)の値の平均値(v1〜v6)を、30点(3×10=30)ずつシフトさせながら、前記6種類の積分表面筋電位信号(s1〜s6)それぞれについて演算してノイズを除去する。
AIEMG1(p)={IEMG1(1+P×(p−1))
+IEMG1(2+P×(p−1))
+…
+IEMG1(Q+P×(p−1))}
/Q …式(2−1)
AIEMGi(p)={IEMGi(1+P×(p−1))
+IEMGi(2+P×(p−1))
+…
+IEMGi(Q+P×(p−1))}
/Q …式(2−2)
最小値記憶手段C6は、前記積分平均値演算手段C5により演算された前記6種類の積分平均値(v1〜v6)の最小値を、前記6種類の積分平均値(v1〜v6)それぞれについて記憶する。なお、実施例1では、前記6種類の積分平均値viのフレームごとの値AIEMGi(p)のうち、1番目からp番目のフレームまでの6種類それぞれの最小値をεiとした場合に、前記最小値εiが、以下の式(3)によって示される。
εi=min[AIEMGi(p)] …式(3)
誤差除去手段C7は、前記積分平均値演算手段C5により演算された前記6種類の積分平均値(v1〜v6)から誤差を除去する。実施例1の前記誤差除去手段C7は、前記最小値記憶手段C6に記憶された前記6種類の最小値εiを、前記被験者ごとの誤差、いわゆる、ノイズ(個人差、個体差)とみなして、前記6種類の積分平均値viのフレームごとの値AIEMGi(p)から減算することにより、誤差を除去する。具体的には、前記6種類の積分平均値viの誤差除去値をAIEMGεi(p)とした場合に、前記誤差除去値AIEMGεi(p)が、以下の式(4)によって示される。
AIEMGεi(p)=AIEMGi(p)−εi …式(4)
合計値演算手段C8は、前記誤差除去手段C7により誤差が除去された前記6種類の積分平均値(v1〜v6)の合計値を演算する。実施例1の前記合計値演算手段C8は、前記6種類の積分平均値viのフレームごとの誤差除去値AIEMGεi(p)の合計値を演算する。具体的には、前記6種類の積分平均値viのフレームごとの合計値をAIEMGall(p)とした場合に、前記合計値AIEMGall(p)が、以下の式(5)によって示される。
AIEMGall(p)=AIEMGε1(p)
+AIEMGε2(p)
+…
+AIEMGε6(p) …式(5)
合計値記憶手段C9は、前記合計値演算手段C8により演算された前記6種類の積分平均値(v1〜v6)の1フレーム前の合計値AIEMGall(p−1)を記憶する。
C10:差分値演算手段
差分値演算手段C10は、前記合計値演算手段C8により演算された前記6種類の積分平均値(v1〜v6)の合計値AIEMGall(p)のフレームごとの差分値を演算する。実施例1の前記差分値演算手段C10は、前記合計値演算手段C8により演算された合計値(第1合計値)AIEMGall(p)と、前記合計値記憶手段C9に記憶された1フレーム前の合計値(第2合計値)AIEMGall(p−1)との差分値を演算する。具体的には、前記差分値をAIEMGdif(p)とした場合に、前記差分値AIEMGdif(p)が、以下の式(6)によって示される。
AIEMGdif(p)=AIEMGall(p)
−AIEMGall(p−1) …式(6)
最大値記憶手段C11は、前記6種類の積分平均値viの誤差除去値AIEMGεi(p)のうち、1番目からp番目のフレームまでの6種類それぞれの最大値と、前記合計値AIEMGall(p)のうち、1番目からp番目のフレームまでの最大値と、前記差分値AIEMGdif(p)のうち、1番目からp番目のフレームまでの最大値とを記憶する。実施例1の前記最大値記憶手段C11は、前記誤差除去値AIEMGεi(p)の最大値をAIEMGεimaxとし、前記合計値AIEMGall(p)の最大値をAIEMGamaxとし、前記差分値AIEMGdif(p)の最大値をAIEMGdmaxとした場合に、以下の式(7−1)〜(7−3)によって示される8種類の最大値AIEMGεimax,AIEMGamax,AIEMGdmaxを記憶する。
AIEMGεimax=max[AIEMGεi(p)] …式(7−1)
AIEMGamax=max[AIEMGall(p)] …式(7−2)
AIEMGdmax=max[AIEMGdif(p)] …式(7−3)
入力値生成手段C12は、正規化手段C12Aと、2値化手段C12Bとを有し、後述する選択的不感化ニューラルネット(SDNN:Selective Desensitization Neural Network)に入力する入力値(入力変数の値)を生成する。
C12A:正規化手段
正規化手段C12Aは、前記6種類の積分平均値viの誤差除去値AIEMGεi(p)と、前記合計値AIEMGall(p)と、前記差分値AIEMGdif(p)とをそれぞれの最大値AIEMGεimax,AIEMGamax,AIEMGdmaxで除算して正規化(normalize)することにより、シフト時間ごとに、すなわち、フレームごとに8種類の入力値を生成する。具体的には、8種類の正規化値(入力値)をNi(p)(i=1,2,…,6),Na(p),Nd(p)とした場合に、前記8種類の正規化値Ni(p),Na(p),Nd(p)が、以下の式(8−1)〜(8−3)によって示される。
Na(p)=ln(AIEMGall(p)+1)
/ln(AIEMGamax+1) …式(8−2)
Nd(p)=AIEMGdif(p)/AIEMGdmax …式(8−3)
なお、前記式(8−2)に示すように、正規化された合計値Na(p)については、前記合計値AIEMGall(p)と前記最大値AIEMGamaxとの差が大きくなり過ぎる可能性がある。このため、実施例1の正規化された合計値Na(p)は、自然対数(ln:natural logarithm)の値が0以上となる、ln(AIEMGall(p)+1)とln(AIEMGamax+1)とを除算した値をとって、とり得る値を0〜1の範囲に正規化している。また、前記式(8−3)に示す、正規化された差分値Nd(p)については、AIEMGdif(p)<0,Nd(p)<0となる場合には、Nd(p)=0とみなすものとする。
2値化手段C12Bは、前記正規化手段C12Aにより演算された前記8種類の入力値Ni(p),Na(p),Nd(p)を2値化された表現に変換する。実施例1の前記2値化手段C12Bは、前記8種類の入力値Ni(p),Na(p),Nd(p)を、15個の+1と、15個の−1とを用いて表現された値、すなわち、15個の+1と、15個の−1とをベクトル成分とするベクトル表現(2値パターン)で示すことが可能な値にそれぞれ変換する。具体的には、正規化された入力値Ni(p),Na(p),Nd(p)は、0から1までの値をとり得る(0≦Ni(p)≦1,0≦Na(p)≦1,0≦Nd(p)≦1)。このため、まず、0の場合には、1番目から15番目までの15個のベクトル成分が+1となり、16番目から30番目までの15個のベクトル成分が−1となるように変換する。すなわち、以下の式(9−1)に示すように変換する。
0=(+1,+1,…,+1,−1,−1,…,−1) …式(9−1)
0.1=(−1,+1,+1,…,+1,−1,−1,…,−1)
…式(9−2)
そして、1の場合には(15/15=1)、1番目から15番目までの15個のベクトル成分が−1となり、16番目から30番目までの15個のベクトル成分が+1となるように変換する。すなわち、以下の式(9−3)に示すように変換する。
1=(−1,−1,…,−1,+1,+1,…,+1) …式(9−3)
C13:入力値記憶手段
入力値記憶手段(入力値入力手段)C13は、前記入力値生成手段C12で生成された前記8種類の入力値Ni(p),Na(p),Nd(p)を記憶する。実施例1の入力値記憶手段C13は、前記2値化手段C12Bにより、15個の+1と、15個の−1とをベクトル成分とするベクトル表現で示すことが可能な値に変換された前記8種類の入力値Ni(p),Na(p),Nd(p)を記憶する。
ここで、実施例1では、シフト時間ごとに変化する前記8種類の入力値Ni(p),Na(p),Nd(p)を、図5に示す選択的不感化ニューラルネットNに入力することにより、前記被験者の動作を識別する。図5において、実施例1の前記選択的不感化ニューラルネットNは、240個の素子(入力素子)により構成された入力層(入力素子群)Naを有する。
なお、実施例1の前記入力層Naは、8種類の入力変数(第1入力変数x1、第2入力変数x2、…、第7入力変数x7、第8入力変数x8)の値、すなわち、前記8種類の入力値Ni(p),Na(p),Nd(p)に対応して、前記8種類の入力素子群Gi 1が予め設定されている。
よって、各入力素子群Gi 1の30個の素子の値をx1 i,x2 i,…,x30 iとした場合に、各入力変数xiが、以下の式(10)によって示される。
xi=(x1 i,x2 i,…,x30 i) …式(10)
x=(x1,…,x7,x8)
=(N1(p),…,Nd(p),Na(p)) …式(11)
なお、実施例1の前記各入力素子群Gi 1の30個の素子には、+1または−1の2値(x1 i〜x30 i)を入力(保持)することが可能である。このため、実施例1の前記入力値記憶手段C13では、前記各入力値Ni(p),Na(p),Nd(p)が2値化されたベクトル表現をシフト時間ごとに記憶する(更新する)ことにより、前記各入力素子群Gi 1の30個の素子の値(x1 i〜x30 i)をシフト時間ごとに入力したものとみなすことができる。なお、実施例1では、入力値Ni(p)として、例えば、(+1,+1,…,+1,−1,−1,…,−1)等の30個の素子の値を有する8種類の入力素子群の値、すなわち、合計で240(30×8=240)個の値(−1,+1)が記憶される。
C14:動作識別開始判別手段
動作識別開始判別手段C14は、図6に示す動作識別開始画像1を表示する動作識別開始画像表示手段C14Aを有し、前記被験者の動作識別を開始するか否かを判別する。実施例1の前記動作識別開始判別手段C14は、図6に示す、前記動作識別開始画像1の識別開始釦1aが選択されたか否かを判別することにより、前記被験者の動作識別を開始するか否かを判別する。
C15:中間値演算手段
中間値演算手段C15は、選択的不感化手段C15Aと、二重不感化手段C15Bとを有し、前記動作識別開始判別手段C14によって前記被験者の動作識別を開始すると判別された場合に、前記入力層Naに入力された前記8種類の入力値Ni(p),Na(p),Nd(p)、すなわち、前記入力値記憶手段C13に記憶された前記8種類の入力値Ni(p),Na(p),Nd(p)に基づく中間値(中間変数の値)をシフト時間ごとに演算する。
実施例1の前記中間層Nbでは、42種類の中間素子群(第1中間素子群G1,2 2、第2中間素子群G2,1 2、…、第42中間素子群G7,6 2)を有する。また、前記42種類の中間素子群Gμ,ν 2(μ≠ν,μ=1,2,…,7,ν=1,2,…,7)は、それぞれ30個の素子を有する(42×30=1260)。
なお、実施例1の前記中間層Nbでは、正規化された合計値Na(p)を除く7種類の入力値Ni(p),Nd(p)に対応する7種類の入力素子群(G1 1〜G7 1)のうちの1つを被修飾群Gμ 1(μ=1,2,…,7)とし、前記被修飾群Gμ 1を除く前記6種類の各入力素子群(G1 1〜G7 1)のうちの1つを修飾群Gν 1(ν≠μ,ν=1,2,…,7)とした場合に、前記修飾群Gν 1により積型文脈修飾(積型修飾)された前記被修飾群Gμ 1に基づく合計42種類の中間素子群Gμ,ν 2が予め設定されている。
xμ,ν=(x1 μ,ν,x2 μ,ν,…,x30 μ,ν) …式(12)
なお、「積型文脈修飾」とは、前記被修飾群Gμの素子の値x1 μ〜x30 μを前記修飾群Gνの素子の値x1 ν〜x30 νに基づいて変化させる方法である。具体的には、図5の実線に示すように、前記修飾群Gνの素子の値x1 ν〜x30 νに基づいて予め演算された出力感度(ゲイン)の値をg1 μ,ν〜g30 μ,νとした場合に、前記被修飾群Gμの素子の値xi μ(i=1,2,…,30)と前記出力感度の値gj μ,ν(j=1,2,…,30)との積{(gj μ,ν)×(xi μ)}を演算することをいう。
なお、修飾群Gν 1による被修飾群Gμ 1の積型修飾については、以降、Gμ 1(Gν 1)と記載する。
さらに、実施例1では、正規化された合計値Na(p)に対応する合計用入力素子群G8 1により、前記積型修飾Gμ 1(Gν 1)をさらに積型文脈修飾する。具体的には、図5の点線に示すように、前記合計用入力素子群G8 1の素子の値(多重用素子群の各素子の値)x1 8〜x30 8に基づいて予め演算された合計用出力感度の値(多重用出力感度の値)をg1 μ,ν,8〜g30 μ,ν,8とした場合に、前記積{(gj μ,ν)×(xi μ)}と前記合計用出力感度の値gk μ,ν,8(k=1,2,…,30)との積を前記中間素子群Gμ,ν 2の素子の値xi μ,ν(i=1,2,…,30)とする。このため、実施例1では、前記中間素子群Gμ,ν 2の素子の値xi μ,νが、以下の式(13)によって示される。
xi μ,ν=(gk μ,ν,8)×(gj μ,ν)×(xi μ) …式(13)
gj μ,ν=(1+xj ν)/2 …式(14−1)
j=σ(i) …式(14−2)
gk μ,ν,8=(1+xk 8)/2 …式(14−1)′
k=σ′(i) …式(14−2)′
すなわち、各入力素子群Gν 1,G8 1の素子の値xj ν,xk 8が+1の場合には、各出力感度の値gj μ,ν,gk μ,ν,8も+1となるが、−1の場合には、各出力感度の値gj μ,ν,gk μ,ν,8が0となり、不感化される。
ここで、σ(i),σ′(i)は、いわゆる、乱数関数であって、(1,2,…,30)の順列をランダムに置換した順列、例えば、(21,15,…,4),(17,6,…,8)等のi番目の値(1から30までの乱数値)である。
xi μ,ν={(1+xσ′(i) 8)/2}
×{(1+xσ(i) ν)/2}×(xi μ) …式(13)′
すなわち、実施例1の前記中間素子群Gμ,ν 2の素子の値xi μ,νは、前記被修飾群Gμ 1の素子の値xi μが、前記出力感度の値gj μ,νによって選択的不感化された後、前記合計用出力感度の値gk μ,ν,8によってさらに選択的不感化(二重不感化、多重不感化)された値である。すなわち、前記被修飾群Gμ 1の適切な数、具体的には、15個以上30個以下の素子の値xi μが不感化された値である。
よって、実施例1の前記42種類の中間変数xμ,νの値、すなわち、前記中間値は、−1,0,+1の3値をベクトル成分とする30次元ベクトルのベクトル表現(3値パターン)、例えば、(+1,0,0,−1,+1,…,0)等で示すことができる。
選択的不感化手段C15Aは、前記式(14−1),(14−2)によって前記42種類の出力感度の値gj μ,νを演算する出力感度演算手段C15A1を有し、図5の実線で示すように、前記42種類の出力感度の値gj μ,νにより前記被修飾群Gμ 1の適切な数の素子の値xi μを選択的不感化する。
C15B:二重不感化手段
二重不感化手段(多重不感化手段)C15Bは、前記式(14−1)′,(14−2)′によって前記42種類の合計用出力感度の値gk μ,ν,8を演算する合計用出力感度演算手段C15B1を有し、図5の点線、前記式(13),(13)′で示すように、前記42種類の合計用出力感度の値gk μ,ν,8により前記積型修飾Gμ 1(Gν 1)の適切な数の素子の値、すなわち、前記積{(gj μ,ν)×(xi μ)}を選択的不感化することにより、前記被修飾群Gμ 1の適切な数の素子の値xi μを二重不感化する。
中間値記憶手段(中間値入力手段)C16は、前記中間値演算手段C15で演算された前記42種類の中間値、すなわち、前記42種類の中間変数xμ,ν(μ≠ν,μ=1,2,…,7,ν=1,2,…,7)の値を記憶する。実施例1の中間値記憶手段C16では、前記二重不感化手段C15Bによって演算された前記42種類の中間素子群Gμ,ν 2の素子の値xi μ,ν(μ≠ν,μ=1,2,…,7,ν=1,2,…,7,i=1,2,…,30)をシフト時間ごとに記憶することにより、前記各中間素子群Gμ,ν 2の30個の素子に、−1,0,+1の3値のいずれかがシフト時間ごとに入力(保持)されたものとみなすことができる。なお、実施例1では、前記中間値として、例えば、(+1,0,0,−1,+1,…,0)等の30個の素子の値を有する42種類の中間素子群の値、すなわち、合計で1260(30×42=1260)個の値(−1,0,+1)が記憶される。
出力値演算手段C17は、結合荷重記憶手段C17Aを有し、前記中間層Nbに入力された前記42種類の中間値、すなわち、前記42種類の中間変数xμ,ν(μ≠ν,μ=1,2,…,7,ν=1,2,…,7)の値に基づく出力値(出力変数の値)をシフト時間ごとに演算する。
図5において、実施例1の前記選択的不感化ニューラルネットNは、前記中間層Nbの1260個の素子と結合された48個の素子(出力素子)により構成された出力層(出力素子群)Ncを有する。
なお、実施例1の前記出力層Ncは、「基本姿勢」を除く6種類の動作に応じて予め設定された6種類の出力変数(「手首屈曲」に対応する第1出力変数y1、「手首伸展」に対応する第2出力変数y2、…、「手首回内」に対応する第6出力変数y6)の値に対応して、前記6種類の出力素子群Gγ 3が予め設定されている。
よって、各出力素子群Gγ 3の8個の素子の値をy1 γ,y2 γ,…,y8 γとした場合に、各出力変数yγが、以下の式(15)によって示される。
yγ=(y1 γ,y2 γ,…,y8 γ) …式(15)
ここで、前記各値xj μ,νに応じた前記各結合荷重の値をωγij μ,νとし、前記出力素子群Gi 3の素子の値yi γに応じて予め設定された閾値をhi γとし、0より大きい値が入力されると+1を出力し且つ0以下の値が入力されると0を出力する2値関数をhとした場合に、前記出力素子群Gi 3の素子の値yi γが、以下の数1の式(16)によって示される。
…式(16)
すなわち、実施例1では、前記出力層Ncの48個の素子が、それぞれ結合荷重をもって前記中間層の1260個の素子と結合している。このため、前記出力層Ncの48個の素子の値yi γが、1260個の素子の値xj μ,νとその結合荷重の値ωγij μ,νの積{(ωγij μ,ν)×(xj μ,ν)}の総和に基づいて演算された値(0,+1の2値)になっている。
この結果、実施例1の前記6種類の出力変数yγの値、すなわち、前記出力値は、0,+1の2値をベクトル成分とする8次元ベクトルのベクトル表現(2値パターン)、例えば(0,+1,+1,0,+1,0,0,0)等で示すことができる。
結合荷重記憶手段C17Aは、48種類の閾値hi γを記憶する閾値記憶手段C17A1を有し、前記出力層Ncの48個の素子それぞれについて、前記中間層の1260種類の素子の値xj μ,νに応じた1260個の結合荷重の値ωγij μ,νを記憶する。すなわち、実施例1の前記結合荷重記憶手段C17Aは、合計60480種類の結合荷重の値ωγij μ,νを記憶する(1260×48=60480)。なお、実施例1では、後述する結合荷重学習手段C23によって学習した前記60480種類の結合荷重の値ωγij μ,νおよび前記48種類の閾値hi γを記憶する。
C18:出力値記憶手段
出力値記憶手段(出力値入力手段)C18は、前記出力値演算手段C17で演算された前記6種類の出力値、すなわち、前記6種類の出力変数yγ(γ=1,2,…,6)の値を記憶する。実施例1の出力値記憶手段C18では、前記6種類の出力素子群Gγ 3の素子の値yi γ(i=1,2,…,8)をシフト時間ごとに記憶することにより、前記各出力素子群Gγ 3の8個の素子に、0,+1の2値のいずれかがシフト時間ごとに入力(保持)されたものとみなすことができる。なお、実施例1では、前記出力値として、例えば、(0,+1,+1,0,+1,0,0,0)等の8個の素子の値を有する6種類の出力素子群の値、すなわち、合計で48(8×6=48)個の値(0,+1)が記憶される。
対応関係情報記憶手段C19は、「基本姿勢」を除く6種類の動作(分類対象である複数の分類情報、複数の事象)と、前記各動作時に予め測定された6種類の出力変数yγ(γ=1,2,…,6)の値(分類情報ごとに対応する出力変数の値、事象ごとに対応する出力変数の値)との対応関係を特定する対応関係情報Tを記憶する。実施例1の前記対応関係情報Tは、予め測定された実際の6種類の動作に応じた6種類の出力素子群Gγ 3の素子の値(理想値)py1 γ,py2 γ,…,py8 γについての情報(動作正解情報、動作正解データ、教師信号、辞書情報)である。具体的には、連続する(隣接する)4個の素子が+1、すなわち、発火している(+1,…,+1,0,…,0),(0,+1,…,+1,0,0,0),(0,0,+1,…,+1,0,0),(0,0,0,+1,…,+1,0),(0,…,0,+1,…,+1)の5パターンが予め設定されている。
ここで、実施例1では、前記対応関係情報Tを記憶するために、まず、図7に示すように、前記被験者が前記6種類の動作を、「動作A」から「動作F」の順、すなわち、「手首屈曲」、「手首伸展」、「手を握る」、「手を開く」、「手首回外」、「手首回内」の順に、2秒間隔で実際に実行した際の誤差が除去された前記6種類の積分平均値(v1〜v6)の合計値AIEMGall(p)を演算する。次に、前記被験者の2秒間隔の動作は、誤差を伴うため、前記合計値AIEMGall(p)による動作識別のための閾値を設定する。
次に、前記合計値AIEMGall(p)と前記各閾値th,(α×AIEMGamax)とに基づいて、予め測定された動作を識別する。具体的には、「動作A」から「動作F」の6種類の各動作を識別する際に+1を出力し且つ識別しない際に0を出力する6種類の各識別関数をM1(p),M2(p),…,M6(p)とした場合に、前記各動作の各識別関数Mm′(p),(m′=1,2,…,6)の値を、以下の式(17)によって演算する。
Mm′(p)
=h(AIEMGall(p)−th)
×h(AIEMGall(p)−α×AIEMGamax) …式(17)
次に、前記各識別関数Mm′(p),(m′=1,2,…,6)が+1を継続して得たフレーム数(継続フレーム数)を、擬似的な動作速度とする。次に、前記被験者の2秒間隔の6動作を複数回繰り返し、前記継続フレーム数の最大値に基づいて、動作速度の正規化を行う。具体的には、前記継続フレーム数をWm′とし、前記継続フレーム数Wm′の最大値をWm′maxとし、正規化された動作速度をNsp(p)とした場合に、正規化された動作速度Nsp(p)が、以下の式(18)に示される。
Nsp(p)=Wm′/Wm′max …式(18)
0≦Nsp(p)<0.2の場合:
Nsp(p)=(0,…,0,+1,…,+1) …式(19−1)
0.2≦Nsp(p)<0.4の場合:
Nsp(p)=(0,0,0,+1,…,+1,0) …式(19−2)
0.4≦Nsp(p)<0.6の場合:
Nsp(p)=(0,0,+1,…,+1,0,0) …式(19−3)
0.6≦Nsp(p)<0.8の場合:
Nsp(p)=(0,+1,…,+1,0,0,0) …式(19−4)
0.8≦Nsp(p)≦1の場合:
Nsp(p)=(+1,…,+1,0,…,0) …式(19−5)
動作識別手段(動作意思推定手段、事象推定手段、分類情報推定手段)C20は、動作種類識別手段C20Aと、動作速度識別手段C20Bとを有し、前記対応関係情報記憶手段C19に予め記憶された前記対応関係情報Tと、前記6種類の出力変数yγの値とに基づいて、前記被験者の動作を識別する(動作意思を推定する、事象を推定する、分類情報を推定する)。
C20A:動作種類識別手段
動作種類識別手段(種類情報推定手段)C20Aは、前記被験者の動作が前記7種類の動作(「基本姿勢」、「手首屈曲」、「手首伸展」、「手を握る」、「手を開く」、「手首回外」、「手首回内」)のいずれであるかを識別する(各動作の種類の情報である種類情報を推定する)。
動作速度識別手段(速度情報推定手段、力情報推定手段)C20Bは、「基本姿勢」を除く前記6種類の動作が実行された場合に、実行された動作の速度を識別する(各動作の速度情報を推定する)。実施例1の前記動作速度識別手段C20Bは、前記動作種類識別手段C20Aによって識別された特定の動作に対応する前記出力素子群Gγ 3(γ=1,2,…,6)の素子の発火パターンを数値化した値と、前記式(19−1)〜(19−5)に示す5パターンを数値化した値とを比較して前記動作の速度を識別する。具体的には、まず、特定された前記出力素子群Gγ 3の1から8番目の素子に、1から8の重み付けをし、1から8番目の素子の値yi γ(i=1,2,…,8)と、1から8の重み付けとを乗算した値を、発火素子数で除算した値(識別値)を演算する。
そして、前記識別フレーム数Ps分の前記識別値の平均値を演算した結果、前記式(19−1)〜(19−5)に示す5パターンの前記識別値(2.5〜6.5)のどの範囲に属するかによって、速度を識別する。なお、実施例1では、特定の出力素子群Gγ 3のフレームごとの識別値をdγ(pγ)(γ=1,2,…,6,pγ=1,2,…,Ps)とし、前記識別値dγ(pγ)の平均値をdγ(γ=1,2,…,6,dγ={dγ(1)+dγ(2)+…+dγ(Ps)}/Ps)とした場合に、2.5≦dγ≦3.5となる場合には「速い」と識別し、3.5<dγ<5.5の場合には「普通」と識別し、5.5≦dγ≦6.5の場合には「遅い」と識別する。
具体的には、速度の識別の場合と同様に、特定の動作に対応する前記出力素子群Gγ 3(γ=1,2,…,6)の素子の発火パターンとしての前記平均値dγについて、2.5≦dγ≦3.5となる場合には「強い」と識別し、3.5<dγ<5.5の場合には「普通」と識別し、5.5≦dγ≦6.5の場合には「弱い」と識別することにより、動作の力を識別することが可能である。
さらに、実施例1のように、動作の速度(速度情報)が「速い」、「普通」、「遅い」の3種類程度であれば、動作の力(力情報)が「強い」、「普通」、「弱い」の3種類のいずれかを動作の速度と同時に推定することも可能である。
C21:動作識別画像表示手段
動作識別画像表示手段(動作意思表示手段、事象表示手段、分類情報表示手段)C21は、前記動作識別手段C20により識別された前記被験者の動作(推定された被検体の動作意思、推定された事象、推定された分類情報)を図8に示す動作識別画像(動作意思推定画像、事象推定画像、分類情報推定画像)2を表示する。図8において、実施例1の前記動作識別画像2は、識別された前記被験者の動作の開始時期、種類および速度を表示する表示部2aと、前記被験者の動作識別を終了するための動作識別終了釦2bとを有する。実施例1の前記動作識別画像表示手段C21は、前記表示部2aに識別された前記動作の開始時期、種類および速度を表示する。
C22:動作識別終了判別手段
動作識別終了判別手段C22は、前記被験者の動作識別を終了するか否かを判別する。実施例1の前記動作識別終了判別手段C22は、前記識別終了釦2bが選択されたか否かを判別することにより、前記被験者の動作識別を終了するか否かを判別する。
結合荷重学習手段C23は、閾値学習手段C23Aと、初期値設定手段C23Bとを有し、前記動作識別手段C20により識別された7種類の動作(推定された被検体の動作意思、推定された事象、推定された分類情報)と、予め測定された実際の動作(実際の動作意思、実際の事象、実際の分類情報)との相違に基づいて、前記結合荷重を更新することにより、前記各結合荷重を学習する。実施例1の前記結合荷重学習手段C23は、前記動作識別終了判別手段C22によって前記被験者の動作識別を終了すると判別された後に、前記60480種類の結合荷重の値ωγij μ,νを、以下の式(20−1)によって更新する。なお、予め設定された正の値の定数(正定数)をcとする(0<c<1、例えば、c=0.3)。
ωγij μ,ν←ωγij μ,ν+c(pyi γ−yi γ)×(xj μ,ν) …式(20−1)
C23A:閾値学習手段
閾値学習手段C23Aは、前記動作識別終了判別手段C22によって前記被験者の動作識別を終了すると判別された後に、前記48種類の閾値hi γを、以下の式(20−2)によって更新することにより、前記各閾値hi γを学習する。
hi γ←hi γ−c(pyi γ−yi γ) …式(20−2)
初期値設定手段C23Bは、前記60480種類の結合荷重の値ωγij μ,νおよび前記48種類の閾値hi γの初期値を設定する。実施例1の前記初期値設定手段C23Aは、前記対応関係情報記憶手段C19における前記理想値pyi γの設定の際に、測定された前記6種類の積分平均値(v1〜v6)を前記選択的不感化ニューラルネットNに入力して演算された実測値、すなわち、前記中間変数xμ,ν(μ≠ν,μ=1,2,…,7,ν=1,2,…,7)の値と、前記6種類の出力変数yγ(γ=1,2,…,6)の値とに基づいて、前記初期値を設定する。具体的には、図7に示す前記被験者の2秒間隔の6動作において、前記各識別関数Mm′(p),(m′=1,2,…,6)が+1を継続していたフレームの出力値が、前記理想値pyi γとなるように、前記式(20−1),(20−2)によって前記結合荷重の値ωγij μ,νおよび前記閾値hi γを学習する。
この場合において、前記式(13)′によって前記中間層Nbの1260種類の素子の値xj μ,νが二重不感化されて得られた際に、ωγij μ,ν=hi γ=0,c=0.3とすると、第1出力素子群G1 3の8個の素子の実測値について、(y1 1,y2 1,…,y8 1)=(0,0,…,0)が成立するため、前記式(20−1),(20−2)に代入すると、第1出力素子群G1 3の8個の素子に対する10080種類(1260×8)の結合荷重の値ω1ij μ,νおよび8種類の閾値hi 1が、以下の式(20−1−1),(20−2−1)に示すように学習できる。
hi 1←0−0.3×(pyi 1−0) …式(20−2−1)
よって、例えば、第1出力素子群G1 3の1番目の素子に応じた1260種類の結合荷重の値ω11j μ,νについては、py1 1=0であるため更新されず、前記1番目の素子に応じた閾値h1 1についても更新されない(ω11j μ,ν=0,h1 1=0)。また、例えば、8番目の素子に応じた1260種類の結合荷重の値ω18j μ,νについては、py8 1=1であるため、xj μ,ν=1であれば0.3に更新され、前記8番目の素子に応じた閾値h8 1については−0.3に更新される(ω18j μ,ν=0.3,h8 1=−0.3)。
また、以降の2秒毎に実行される各動作(「動作B」から「動作F」)についても、同様に前記結合荷重の値ωγij μ,νおよび前記閾値hi γを学習できる。
そして、動作速度の正規化のために試行(測定)した回数だけ学習を繰り返した結果、得られた前記60480種類の結合荷重の値ωγij μ,νおよび前記48種類の閾値hi γが前記初期値として設定される。なお、前記初期値として設定された前記結合荷重の値ωγij μ,νおよび前記閾値hi γは、前記結合荷重記憶手段C17Aに記憶される。
次に、実施例1の制御部Cの関数近似プログラムAP1の処理の流れをフローチャートを使用して説明する。なお、前記対応関係情報Tと、前記60480種類の結合荷重の値ωγij μ,νおよび前記48種類の閾値hi γの初期値とを設定する処理については、前記被験者の2秒間隔の6動作を測定した際に、前記式(17),(18),(19−1)〜(19−5),(20−1),(20−2)によって、理想値および初期値を演算して記憶するだけであるため、フローチャートによる詳細な説明を省略する。
図9は本発明の実施例1の動作識別プログラムの動作識別処理のフローチャートである。
図9のフローチャートの各ST(ステップ)の処理は、前記制御部CのROM等に記憶されたプログラムに従って行われる。また、この処理は前記制御部Cの他の各種処理と並行してマルチタスクで実行される。
図9に示すフローチャートは前記表面筋電位測定装置U1および前記識別用クライアントパソコンPCが電源オンした後、前記動作識別プログラムAP1が起動した場合に開始される。
ST2において、動作識別開始画像1の識別開始釦1aが選択されたか否かを判別することにより、図2に示す被験者の7種類の動作を識別する処理を開始するか否かを判別する。イエス(Y)の場合はST3に移り、ノー(N)の場合はST2を繰り返す。
ST3において、以下の(1)〜(3)の処理を実行し、ST4に移る。
(1)6種類の継続フレーム数pγ(γ=1,2,…6)、(6×Ps)種類の識別値dγ(pγ)(γ=1,2,…,6,pγ=1,2,…,Ps)、6種類の平均値dγ(γ=1,2,…,6)に0をセットする(pγ=dγ(pγ)=dγ=0)。
(2)60480種類の結合荷重の値ωγij μ,ν(γ=1,2,…6,i=1,2,…,8,j=1,2,…,8,μ≠ν,μ=1,2,…,7,ν=1,2,…,7)および48種類の閾値hi γ(γ=1,2,…6,i=1,2,…,8)の初期値をセットする。
(3)図8に示す動作識別画像2をディスプレイH2に表示する。
ST5において、式(13)′に示す二重不感化を実行して、42種類の中間変数xμ,ν(μ≠ν,μ=1,2,…,7,ν=1,2,…,7)の値(中間値)を演算する。すなわち、42種類の中間素子群Gμ,ν 2(μ≠ν,μ=1,2,…,7,ν=1,2,…,7)の30個の素子、すなわち、合計で1260(42×30=1260)個の素子に−1,0,+1のいずれかを入力する(1260個の値(−1,0,+1)を記憶する)。そして、ST6に移る。
ST7において、3個以上の素子が発火した出力素子群Gγ 3(出力変数yγの値、出力値、発火パターン)が検出されたか否かを判別する。イエス(Y)の場合はST8に移り、ノー(N)の場合はST12に移る。
(1)継続フレーム数pγに+1を加算する。(pγ=pγ+1)
(2)識別値dγ(pγ)を演算する。
ST9において、継続フレーム数pγが識別フレーム数Psになったか否かを判別する。イエス(Y)の場合はST10に移り、ノー(N)の場合はST13に移る。
ST10において、以下の(1)〜(3)の処理を実行し、ST11に移る。
(1)継続フレーム数pγが識別フレーム数Psになった出力素子群Gγ 3に応じた動作の種類を識別する。
(2)識別された動作に応じた出力素子群Gγ 3の識別値dγ(pγ)の平均値dγを演算して(dγ={dγ(1)+dγ(2)+…+dγ(2)}/Ps)、動作の速度を識別する。すなわち、2.5≦dγ≦3.5ならば「速い」と識別し、3.5<dγ<5.5ならば「普通」と識別し、5.5≦dγ≦6.5ならば「遅い」と識別する。
(3)識別フレーム数Psに達した継続フレーム数pγを0にリセットする(pγ=0)。
ST12において、被験者の上腕が「基本姿勢」であると識別し、「基本姿勢」の開始時期を動作識別画像2の表示部2aに表示する(記載する)。そして、ST13に移る。
ST13において、動作識別画像2の識別終了釦2bが選択されたか否かを判別することにより、被験者の動作を識別する処理を終了するか否かを判別する。イエス(Y)の場合はST14に移り、ノー(N)の場合はST4に戻る。
ST14において、式(20−1),(20−2)に示す結合荷重学習処理を実行して、60480種類の結合荷重の値ωγij μ,νと48種類の閾値hi γを学習する(更新する)。そして、ST1に戻る。
図10は本発明の実施例1の動作識別プログラムの入力値生成処理のフローチャートである。
図10のフローチャートの各ST(ステップ)の処理は、前記制御部CのROM等に記憶されたプログラムに従って行われる。また、この処理は前記動作識別処理と同様に前記制御部Cの他の各種処理と並行してマルチタスクで実行される。
図10に示すフローチャートは前記表面筋電位測定装置U1および前記識別用クライアントパソコンPCが電源オンした後、前記動作識別プログラムAP1が起動した場合に開始される。
ST102において、識別用クライアントパソコンPCにおいて、積分表面筋電位信号(s1〜s6)を受信して記憶する。そして、ST103に移る。
ST103において、式(2−1),(2−2)、図4に示すように、6種類の積分表面筋電位信号(s1〜s6)の平均値である積分平均値(v1〜v6)のフレームごとの値AIEMGi(p)(i=1,2,…,6,p=1,2,…)を演算する。そして、ST104に移る。
ST104において、式(3)に示すように、演算された6種類の積分平均値viのフレームごとの値AIEMGi(p)が、現フレーム(p番目のフレーム)までの最小値εi(i=1,2,…,6)であったか否かをそれぞれ判別する。イエス(Y)の場合はST105に移り、ノー(N)の場合はST106に移る。
ST106において、式(4)に示すように、6種類の積分平均値viのフレームごとの値AIEMGi(p)から誤差としての6種類の最小値εiをそれぞれ減算することにより、誤差除去値AIEMGεi(p)(i=1,2,…,6,p=1,2,…)を演算する。そして、ST107に移る。
ST107において、式(7−1)に示すように、演算された6種類の誤差除去値AIEMGεi(p)が、現フレーム(p番目のフレーム)までの最大値AIEMGεimaxであったか否かをそれぞれ判別する。イエス(Y)の場合はST108に移り、ノー(N)の場合はST109に移る。
ST109において、式(5)に示すように、6種類の誤差除去値AIEMGεi(p)の合計値AIEMGall(p)(p=1,2,…)を演算し、次のフレームの差分値AIEMGdif(p+1)を演算するための1フレーム前の合計値AIEMGall(p)として用いるために一時記憶する。そして、ST110に移る。
ST110において、式(7−2)に示すように、演算された合計値AIEMGall(p)が、現フレーム(p番目のフレーム)までの最大値AIEMGamaxであったか否かを判別する。イエス(Y)の場合はST111に移り、ノー(N)の場合はST112に移る。
ST111において、判別された合計値AIEMGall(p)の最大値AIEMGamaxを記憶する。そして、ST112に移る。
ST113において、式(7−3)に示すように、演算された差分値AIEMGdif(p)が、現フレーム(p番目のフレーム)までの最大値AIEMGdmaxであったか否かを判別する。イエス(Y)の場合はST114に移り、ノー(N)の場合はST115に移る。
ST114において、判別された合計値差分値AIEMGdif(p)の最大値AIEMGdmaxを記憶する。そして、ST115に移る。
ST115において、以下の(1),(2)の処理を実行し、ST101に戻る。
(1)式(8−1)〜(8−3)に示す正規化により、8種類の入力値Ni(p)(i=1,2,…,6),Na(p),Nd(p)を演算する(生成する)。
(2)式(9−1)〜(9−3)に示すように、8種類の入力値Ni(p),Na(p),Nd(p)を2値化して記憶することにより、240(8×30=240)個の素子に−1,+1のいずれかを入力する(240個の値(−1,+1)を記憶する)。そして、ST101に戻る。
前記構成を備えた実施例1の前記動作識別システムSは、被験者の右腕に6個の筋電センサSN1〜SN6を貼り付けた後(図1参照)、動作識別開始画像1の識別開始釦1a(図6参照)を選択することにより、被験者の7種類の動作(図2参照)についての識別を開始する(図9のST2参照)。
また、実施例1の前記動作識別処理(図9参照)では、6個の筋電センサSN1〜SN6からの6種類の表面筋電位信号が、シフト時間ごとに選択的不感化ニューラルネットN(図5参照)の入力値Ni(p)(i=1,2,…,8),Na(p),Nd(p)に変換され、前記選択的不感化ニューラルネットNの入力層Naに入力される(図9のST4、図10のST101〜ST115参照)。この結果、前記選択的不感化ニューラルネットNの入力層Naでは、8種類の入力素子群Gi 1(i=1,2,…,8)の30個の素子、合計240個の素子に−1,+1の2値のいずれかがシフト時間ごとに入力される。
なお、実施例1の前記動作識別システムSは、学習能力(汎化能力)が高い選択的不感化ニューラルネットN(例えば、特開2009−64216号公報等参照)により、前記被験者の動作を識別している。このため、統計的手法に基づいて動作識別を実行する前記非特許文献1、2等の技術に比べ、少ない学習量で被検体の動作を識別することが期待できる。
ここで、6chの筋電センサSN1〜SN6に応じた6種類の入力値Ni(p)については、0から1の範囲の値に正規化されているため、異なる種類や異なる速度の動作を実行した場合でも、複数の入力値Ni(p)が同じ値となる場合がある。例えば、1ch〜4chの入力値N1(p)〜N4(p)について、N1(p)=N2(p)=N3(p)=N4(p)が成立する可能性がある。この場合、同じ値となる2種類の入力値Ni(p)どうしで相互修飾(互いに選択的不感化)しても、対応する12種類の中間素子群Gμ,ν 2(μ=1,2,3,4、ν=1,2,3,4,μ≠ν)で同じ中間値が複数得られる結果となる可能性が高くなる。すなわち、異なる入力値に対して同じ3値パターン(例えば、(+1,0,0,−1,+1,…,0))となる可能性が高くなる。
これに対して、前記合計値Na(p)は、同じ値となる入力値(1ch〜4chの入力値N1(p)〜N4(p))だけでなく、異なる値となる入力値(5ch,6chの入力値N5(p)〜N6(p))も含む6種類の入力値N1(p)〜N6(p)の合計値を正規化した値である。このため、前記合計値Na(p)は、同じ値となる入力値(1ch〜4chの入力値N1(p)〜N4(p))とは異なる値となる可能性が高くなる。
また、前記合計値Na(p)については、他の7種類の入力値Ni(p),Na(p)の二重不感化のためにのみ使用されている。よって、実施例1の前記動作識別システムSは、選択的不感化が1回のみ実行(一重不感化)される選択的不感化ニューラルネットに比べ、さらなる学習量の低減や識別精度の向上が期待できる。なお、実施例1の前記動作識別システムSように、二重不感化を行った場合には、二重不感化を行わない場合に比べ、識別精度が2割程度向上することが実験等により確認されている。
ここで、実施例1の前記動作識別システムSが、前記入力値生成処理および前記動作識別処理を実行することにより、少ない学習量で、高い識別率を得られるかを調べるために、次の実験例1を準備した。
(実験例1)
実験例1の動作識別システムSは、実施例1の前記動作識別システムSと同等の構成で作製されており、実施例1の前記入力値生成処理(図10参照)および前記動作識別処理(図9参照)が実行される。なお、前記60480種類の結合荷重の値ωγij μ,νおよび前記48種類の閾値hi γの初期値については、前記被験者の2秒間の6動作を、「速い」、「普通」、「遅い」の3速度で、それぞれ2回(2セット)実行して設定した。すなわち、36(6×3×2)個のサンプルデータで学習した。
また、実験例1の動作識別システムSでは、実際の動作識別として、3速度の6動作、すなわち、全18動作を、6回(6セット)実行した際の動作を識別した。
また、実験例1では、各セットの実行後には、結合荷重学習処理(図9のST14参照)を実行せず、前記初期値のまま被験者の動作を識別した。
また、実験例1では、3フレーム連続で3個以上の素子が発火した出力素子群Gγ 3(i=1,2,…,6)を検出した場合に、前記出力素子群Gγ 3に対応する動作の種類・速度を識別すると共に、動作識別後も12フレーム連続で前記出力素子群Gγ 3の識別値dγ(pγ)(γ=1,2,…,6,pγ=1,2,…,Ps)の演算を継続して、前記識別値dγ(pγ)の全15フレーム分の平均値dγをとって平滑化した。すなわち、実験例1では、動作を識別してから15フレームまでは、0以外の識別値dγ(pγ)が得られたフレームだけで平均値dγを演算した。
さらに、実験例1では、動作識別後、10フレーム連続で0が出力された場合に、識別された動作が終了したと判別させている。
ここで、動作の種類の識別率については、6種類の動作のいずれかを実際に実行した際に、実際に実行した動作を正しく検出したフレームの総数を、6動作のいずれかを検出したフレームの総数で除算した値とする。例えば、「手首屈曲」の識別率は、「手首屈曲」を実際に実行した際に、前記第1出力素子群G1 3の3個以上の素子が発火したフレームの総数を、「手首屈曲」を実行する2秒間で3個以上の素子が発火した出力素子群Gγ 3(i=1,2,…,6)を検出したフレームの総数で除算した値とする。
このため、特定の動作を実行する2秒間において、前記特定の動作を正しく検出したフレームの総数をfm(m=1,2,…,6)とし、前記特定の動作以外の動作のいずれかを検出したフレームの総数をfm″(m≠m″,m″=1,2,…,6)とし、前記特定の動作の識別率をDR(m)(m=1,2,…,6)とした場合に、前記特定の動作の識別率DR(m)[%]は、以下の式(21)によって示すことができる。
DR(m)=fm/(fm+fm″)×100 …式(21)
また、動作の速度の識別率については、18動作のいずれかを実際に実行した際に、3個以上の素子が発火した出力素子群Gγ 3(i=1,2,…,6)の識別値dγ(pγ)(γ=1,2,…,6,pγ=1,2,…,Ps)が、前記実際の動作に応じた識別値、すなわち、前記対応関係情報Tである5パターンに応じた識別値、すなわち、(2.5),(3.5),(4.5),(5.5),(6.5)の5値のいずれかに、どの程度近似しているかを示す値の識別フレーム数Ps全体の平均値とする。具体的には、前記識別値dγ(pγ)が、実際の18動作に応じた識別値から4以上離れたときの値を0[%]とし、完全に一致したときの値を100[%]とした値の識別フレーム数Ps全体の平均値である。例えば、「手首屈曲」を「速い」で実際に実行した際の前記対応関係情報Tに基づく識別値が2.5であるため、「手首屈曲」の動作識別率が前記第1出力素子群G1 3の識別値d1(1)〜d1(Ps)が全て3.3ならば(d1(1)=3.3)、識別率は80%である({1−(2.5−3.3)/4}×100=80[%])。
=[{4−(pdγ(1)−dγ(1))}/4×100
+{4−(pdγ(2)−dγ(2))}/4×100
+…
+{4−(pdγ(Ps)−dγ(Ps))}/4×100
]/(fm+fm″) …式(22)
ここで、実験例1の実験結果について以下に示す。
まず、実験例1の動作の種類の識別、すなわち、グラフの位置・横幅については、図11に示すように、正解値のグラフ(図11A参照)と、実測値のグラフ(図11B、図11C参照)とが、ほぼ識別できていることがわかる。
また、実験例1の動作の速度の識別、すなわち、グラフの高さにについても、図11に示すように、「動作B」以外の5動作については、ほぼ識別できていることがわかる。
また、図12に示すように、全18動作の6セットを実行した際の実験例1の6種類の動作の識別率DR(m)は、「動作C」が約90[%]であるが(DR(3)≒90[%])、「動作C」以外の5動作(「動作A」、「動作B」、「動作D」〜「動作F」)がほぼ100[%]であることがわかる(DR(m)≒100[%](m=1,2,4,5,6))。なお、6種類の動作の識別率DR(m)の平均値は、98.42[%]であった({DR(1)+…+DR(6)}/6=98.42[%])。
ここで、前記識別率DR(m)の平均値(98.42[%])は、6種類の動作を100回実行した場合に、1、2回誤って識別することを示す値ではなく、動作識別処理を開始してから終了するまでの殆どの時間、正しい動作を識別するが、瞬間的に誤って識別することを示す値である(図11参照)。このため、動作の種類の識別については、実用に十分耐え得るものであることがわかる。
ここで、実験例1では、前記識別率DRsp(m)を演算する前に、前記識別値(dγ(1)〜dγ(15))の全15フレーム分の平均値dγを演算して平滑化する。このため、平滑化された前記実測値(平均値dγ)が前記理想値(pdγ(1)〜pdγ(15))から離れた値になり易くなる。
また、図13に示すように、6種類の動作の3速度の速度別の識別率[%]は、「動作F(速い)」が約40[%]であるが、「動作F(速い)」以外の17動作が約60[%]から約90[%]の範囲内であることがわかる。なお、6種類の動作の3速度の速度別の識別率DRsp(m)の平均値は、「速い」が74.12[%]、「普通」が78.30[%]、「遅い」が76.05[%]であった。
ここで、図14に示すように、「動作F」を実行した際の6chの筋電センサからの表面筋電位は、3chの最大値が0.5[mV]となる以外に目立つ値がなく、他の5動作を実行した際の6chの筋電センサからの表面筋電位に比べ、相対的に電圧値[mV]が小さいことがわかる。このため、「動作F(速い)」を実行した際の入力値のフレームごとの変化が小さく、識別率[%]が約40[%]と極端に低くなったものと考えられる。
このため、識別率[%]を向上させるためには、「動作F」を実行した際に表面筋電位が変化する他の測定位置に新たな筋電センサを追加することが効果的であると考えられる。
図16は縦軸を識別率[%]とし横軸を時間[ms]として図15の表の値に基づく動作開始からの経過時間による6種類の動作の3速度の識別率の推移を示すグラフである。
また、図15、図16に示すように、6セットを実行した際の実験例1の6種類の動作の3速度の識別率DRsp(m)は、各動作の立ち上がり、すなわち、各動作に伴う表面筋電位信号の受信開始から10[ms]後、30[ms]後、50[ms]後、100[ms]後、150[ms]後の各タイミングを経過する度に、高くなっていくことがわかる。すなわち、前記識別率DRsp(m)は、1,3,5,10,15フレーム分のシフト時間が経過する度に、高くなっていくことがわかる。
よって、100[ms]後から150[ms]後にかけて、識別率DRsp(m)の平均値の変化が緩やかになっており、識別率DRsp(m)の平均値の上昇が収束し始めていることがわかる(図14参照)。なお、上限値となる76.15[%]に対する達成度[%]は、各動作の開始から100[ms]後が76.37[%]((58.16)/(76.15)×100≒76.37[%])、150[ms]後が83.26[%]であった((63.40)/(76.15)×100≒83.26[%])。このため、各動作の開始から100[ms]後には、6種類の動作の3速度の識別をほぼ達成していることがわかる。
なお、前記表面筋電位信号は、前記被験者の実際の動作に伴う筋肉の収縮より30[ms]〜100[ms]早く観測される。したがって、実験例1の前記動作識別システムSでは、実際の動作に伴う筋肉の収縮開始とほぼ同時、すなわち、リアルタイムに、6動作の識別ならば8割程度、6動作3速度の18動作の識別ならば6割程度の識別率で、識別できることがわかる。
さらに、実験例1では、前記結合荷重学習処理(図9のST14参照)を実行しておらず、前記60480種類の結合荷重の値ωγij μ,νおよび前記48種類の閾値hi γが、初期値のまま被験者の動作を識別している。このため、実施例1のように、前記結合荷重学習処理を実行して、前記初期値を更新してゆけば、前記被験者の18動作を、リアルタイムで、且つ、さらに高い識別率で識別することが可能となる。
なお、実施例1では、学習能力(汎化能力)が高い前記選択的不感化ニューラルネットNにより、前記被験者の動作を識別している。また、実施例1の8種類の入力値Ni(p),Na(p),Nd(p)は、6個の筋電センサSN1〜SN6の出力信号(表面筋電位信号)からノイズ(誤差、個人差、個体差)が除去されて演算されている(図10のST104〜ST106、式(4)等参照)。よって、実施例1の前記動作識別システムSは、万人に適合する結合荷重を設定し易くなっている。このため、実施例1の前記動作識別システムSは、被験者以外の第三者の動作をサンプルとして初期学習しても、被験者の動作を精度良く識別できる可能性がある。すなわち、前記被験者自身の動作をサンプルとして初期学習しなくても、前記被験者の動作を精度良く識別することが期待できる。
したがって、実施例1の前記動作識別システムSは、多数の動作や速度を識別しても必要な学習量が急増することがないため、増加した動作の種類や速度の分だけ大量の学習量がさらに必要となる非特許文献1、2等の技術に比べ、少ない学習量で前記被験者の動作を識別することができる。
したがって、実施例1の前記動作識別システムSは、多数の動作や速度を識別するための前記特徴抽出処理が複雑化してリアルタイム性を損なう可能性ある非特許文献1、2等の技術に比べ、動作の種類や速度が増加してもリアルタイム性を損なわずに被験者の動作を識別することができる。
これらの結果から、実施例1の前記動作識別システムSは、(1)多数の動作を、(2)速度の推定と共に、(3)高い識別率をもって、(4)少ないサンプル数で、(5)リアルタイムに識別できる。
以上、本発明の実施例を詳述したが、本発明は、前記実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内で、種々の変更を行うことが可能である。本発明の変更例(H01)〜(H017)を下記に例示する。
(H01)前記実施例では、6個の筋電センサSN1〜SN6を使用して(m=6)、選択的不感化ニューラルネットNの入力素子群Gi 1および中間素子群Gμ,ν 2の素子の数をそれぞれ30個とし(n=30)、出力素子群Gγ 3の素子の数を8個とし(n′=8)として、被験者の6種類の動作の種類を識別したが(m′=6、「基本姿勢」を除く)、m,n,m′,n′の値についてはこれに限定されず、任意の値に変更可能である。例えば、被験者の膝の屈曲・伸展を識別する場合には、2個の筋電センサSN1,SN2を使用して(m=2)、選択的不感化ニューラルネットNの入力素子群Gi 1および中間素子群Gμ,ν 2の素子の数をそれぞれ10個とし(n=10)、出力素子群Gγ 3の素子の数を6個とし(n′=6)として、被験者の2種類の動作の種類を識別することも可能である(m′=2、「基本姿勢」を除く)。すなわち、筋電センサを5個以下または7個以上使用したり、各層Na〜Nbの素子数が任意の数の選択的不感化ニューラルネットNに適用したり、5以下または7以上の被験者の動作を識別したりすることも可能である。なお、筋電センサを増やして、より多数の動作を識別する場合でも、前記選択的不感化ニューラルネットNを拡張して識別すれば、筋電センサの増加に対して、計算量の増加が緩やかになり、汎化能力が高く、冗長性も高いため(冗長変数の追加等への耐性も強いため)、少ない学習量、且つ、高い識別率で各動作を識別することが可能である。
AIEMGall(p)′
={(AIEMGε1(p))2
+(AIEMGε2(p))2
+…
+(AIEMGε6(p))2}1/2 …式(5)′
また、例えば、予め設定された2種類の誤差除去値AIEMGεi(p)の差分値に基づく入力値を入力することも可能である。さらに、第1の誤差除去値AIEMGε1(p)を残りの誤差除去値AIEMGεi(p)(i=2,3,…,6)で減算した差分値に基づく入力値を入力することも可能である。なお、前記差分値をAIEMGdif(p)′とした場合、合計値AIEMGall(p)に替わる差分値AIEMGdif(p)′については、以下の式(5)″により示される。
AIEMGdif(p)′=AIEMGε1(p)
−AIEMGε2(p)
−…
−AIEMGε6(p) …式(5)″
(H014)前記実施例では、多重不感化のための素子群(多重用素子群)を、合計用入力素子群G8 1としたが、これに限定されず、例えば、その他の各入力素子群G1 1〜G7 1や各中間素子群G1,2 2〜G7,6 2のいずれか1つまたは複数とすることも可能である。なお、複数の素子群G1 1〜G8 1,G1,2 2〜G7,6 2を多重用素子群として選択した場合、多重用素子群が複数となり、前記実施例1のような二重不感化でなく、三重不感化以上の多重不感化となる。例えば、二重不感化のための多重用素子群を合計用入力素子群G8 1とし、三重不感化のための多重用素子群を差分用入力素子群G7 1とした場合、入力素子群Gνの素子の値(xi μ)が二重不感化された値{(xi μ)×(gj μ,ν)×(gk μ,ν,8)}と、三重不感化のための差分用出力感度の値(gk′ μ,ν,7),(k′=σ″(i)、すなわち、k′は乱数)との積{(xi μ)×(gj μ,ν)×(gk μ,ν,8)×(gk′ μ,ν,7)}を演算することにより、三重不感化が行われ、四重不感化以上の多重不感化も同様に行うことで可能となる。
Claims (10)
- 第1の情報に基づく第1入力変数の値が入力される複数の入力素子により構成された第1入力素子群と、第2の情報に基づく第2入力変数の値が入力される複数の入力素子により構成された第2入力素子群と、を有する入力素子群と、
前記第1入力素子群の各入力素子の値と、前記第2入力素子群の各入力素子の値に基づいて一部の値がゼロになるように演算された各第1出力感度の値と、予め設定された多重用素子群の各素子の値に基づいて一部の値がゼロになるように演算された各第1多重用出力感度の値と、の積算を少なくとも含む第1の多重不感化がなされて、前記第1入力素子群の各入力素子の値の一部の値がゼロにされた第1中間変数の値が入力される複数の中間素子により構成された第1中間素子群、を有する中間素子群と、
前記第1中間素子群の各中間素子の値と前記各中間素子の値の重視度合いに応じて予め設定された各結合荷重の値とに基づいて演算された出力変数の値が入力される複数の出力素子により構成された出力素子群と、
分類対象としての複数の分類情報と、分類情報ごとに対応する前記出力変数の値と、の対応関係を特定する対応関係情報を記憶する対応関係情報記憶手段と、
前記対応関係情報記憶手段に予め記憶された前記対応関係情報と、演算された前記出力変数の値と、に基づいて、入力された前記第1の情報および前記第2の情報に応じた前記分類情報を推定する分類情報推定手段と、
前記分類情報推定手段によって推定された前記分類情報を表示する分類情報表示手段と、
を備えたことを特徴とする分類推定システム。 - 前記第2入力素子群の各入力素子の値と、前記第1入力素子群の各入力素子の値に基づいて一部の値がゼロになるように演算された各第2出力感度の値と、前記多重用素子群の各素子の値に基づいて一部の値がゼロになるように演算された各第2多重用出力感度の値と、の積算を少なくとも含む第2の多重不感化がなされて、前記第2入力素子群の各入力素子の値の一部の値がゼロにされた第2中間変数の値が入力される複数の中間素子により構成された第2中間素子群、を有する前記中間素子群と、
前記各中間素子群の各中間素子の値と前記各中間素子の値の重視度合いに応じて予め設定された各結合荷重の値とに基づいて演算された前記出力変数の値が入力される前記出力素子群と、
を備えたことを特徴とする請求項1に記載の分類推定システム。 - 前記分類情報推定手段により推定された前記分類情報と、前記分類情報推定手段により前記分類情報が推定される際に入力された前記第1の情報および前記第2の情報が測定された実際の分類情報との相違に基づいて、前記各結合荷重の値を更新することにより、前記各結合荷重の値を学習する結合荷重学習手段と、
を備えたことを特徴とする請求項1または2に記載の分類推定システム。 - 前記多重用素子群の各素子の値が、前記第1の情報と、前記第2の情報と、に基づいて演算された
ことを特徴とする請求項1ないし3のいずれかに記載の分類推定システム。 - 前記分類情報を被検体の動作意思とし、前記第1の情報および前記第2の情報を前記動作意思に伴う前記被検体の生体信号とした場合に、前記被検体に配置された第1測定位置における前記生体信号を測定する第1測定部と、前記被検体に配置された前記第1測定位置と異なる第2測定位置における前記生体信号を測定する第2測定部と、を有する測定部材と、
を備えたことを特徴とする請求項1ないし4のいずれかに記載の分類推定システム。 - 前記動作意思に伴う前記被検体の筋群の活動である筋活動に基づく電位の変化の情報である筋電位信号のうちの前記被検体の皮膚における前記筋電位信号を表面筋電位信号とし、前記生体信号を前記表面筋電位信号とした場合に、前記皮膚に配置された前記第1測定位置における前記表面筋電位信号を測定する前記第1測定部と、前記皮膚に配置された前記第2測定位置における前記表面筋電位信号を測定する前記第2測定部と、を有する前記測定部材と、
前記第1測定部からの前記表面筋電位信号の積分値である第1積分値を演算すると共に、前記第2測定部からの前記表面筋電位信号の積分値である第2積分値を演算する積分値演算手段と、
予め設定されたフレーム時間内の前記第1積分値の平均値である第1積分平均値を予め設定されたシフト時間ごとに演算すると共に、前記フレーム時間内の前記第2積分値の平均値である第2積分平均値を前記シフト時間ごとに演算する積分平均値演算手段と、
前記第1の情報を前記第1積分平均値とし、前記第2の情報を前記第2積分平均値とした場合に、前記第1積分平均値に基づく前記第1入力変数の値が前記シフト時間ごとに入力される前記第1入力素子群と、前記第2積分平均値に基づく前記第2入力変数の値が前記シフト時間ごとに入力される前記第2入力素子群と、を有する前記入力素子群と、
を備えたことを特徴とする請求項5に記載の分類推定システム。 - 前記動作意思によって特定される動作の種類の情報である種類情報と、前記動作の力の情報である力情報と、を有する前記分類情報を推定する前記分類情報推定手段、
を備えたことを特徴とする請求項5または6に記載の分類推定システム。 - 前記動作の速度の情報である速度情報であって、前記力情報に基づく前記速度情報、を有する前記分類情報を推定する前記分類情報推定手段、
を備えたことを特徴とする請求項7に記載の分類推定システム。 - 前記出力変数の値のうち、第1の動作意思に応じた第1出力変数の値が入力される複数の出力素子により構成された第1出力素子群と、第2の動作意思に応じた第2出力変数の値が入力される複数の出力素子により構成された第2出力素子群と、を有する前記出力素子群と、
前記第1の動作意思の前記種類情報および前記速度情報と前記第1出力変数の値との対応関係と、前記第2の動作意思の前記種類情報および前記速度情報と前記第2出力変数の値との対応関係と、を特定する前記対応関係情報を記憶する前記対応関係情報記憶手段と、
前記対応関係情報記憶手段に記憶された前記対応関係情報と、演算された前記第1出力変数の値と、演算された前記第2出力変数の値と、に基づいて、入力された前記第1の情報および前記第2の情報に応じた前記分類情報の前記種類情報および前記速度情報を推定する前記分類情報推定手段と、
前記分類情報推定手段によって推定された前記分類情報の前記種類情報および前記速度情報を表示する前記分類情報表示手段と、
を備えたことを特徴とする請求項8に記載の分類推定システム。 - コンピュータを、
第1の情報に基づく第1入力変数の値が入力される複数の入力素子により構成された第1入力素子群と、第2の情報に基づく第2入力変数の値が入力される複数の入力素子により構成された第2入力素子群と、を有する入力素子群について、入力された前記第1入力変数の値および前記第2入力変数の値を記憶する入力値記憶手段、
前記第1入力素子群の各入力素子の値と、前記第2入力素子群の各入力素子の値に基づいて一部の値がゼロになるように演算された各第1出力感度の値と、予め設定された多重用素子群の各素子の値に基づいて一部の値がゼロになるように演算された各第1多重用出力感度の値と、の積算を少なくとも含む第1の多重不感化がなされて、前記第1入力素子群の各入力素子の値の一部の値がゼロにされた第1中間変数の値が入力される複数の中間素子により構成された第1中間素子群、を有する中間素子群について、前記第1中間変数の値を演算する中間値演算手段、
前記第1中間素子群の各中間素子の値と前記各中間素子の値の重視度合いに応じて予め設定された各結合荷重の値とに基づいて演算された出力変数の値が入力される複数の出力素子により構成された出力素子群について、前記出力変数の値を演算する出力値演算手段、
分類対象としての複数の分類情報と、分類情報ごとに対応する前記出力変数の値と、の対応関係を特定する対応関係情報を記憶する対応関係情報記憶手段、
前記対応関係情報記憶手段に予め記憶された前記対応関係情報と、演算された前記出力変数の値と、に基づいて、入力された前記第1の情報および前記第2の情報に応じた前記分類情報を推定する分類情報推定手段、
前記分類情報推定手段によって推定された前記分類情報を表示する分類情報表示手段、
として機能させることを特徴とする分類推定プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011522736A JP5545574B2 (ja) | 2009-07-15 | 2010-07-14 | 分類推定システムおよび分類推定プログラム |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009167222 | 2009-07-15 | ||
| JP2009167222 | 2009-07-15 | ||
| PCT/JP2010/004585 WO2011007569A1 (ja) | 2009-07-15 | 2010-07-14 | 分類推定システムおよび分類推定プログラム |
| JP2011522736A JP5545574B2 (ja) | 2009-07-15 | 2010-07-14 | 分類推定システムおよび分類推定プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2011007569A1 JPWO2011007569A1 (ja) | 2012-12-20 |
| JP5545574B2 true JP5545574B2 (ja) | 2014-07-09 |
Family
ID=43449179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011522736A Expired - Fee Related JP5545574B2 (ja) | 2009-07-15 | 2010-07-14 | 分類推定システムおよび分類推定プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9392954B2 (ja) |
| JP (1) | JP5545574B2 (ja) |
| WO (1) | WO2011007569A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12164280B2 (en) | 2021-07-26 | 2024-12-10 | Hyundai Motor Company | Method for estimating intention using unsupervised learning |
Families Citing this family (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201121335A (en) * | 2009-12-02 | 2011-06-16 | Sunplus Core Technology Co Ltd | Method and apparatus for adaptively determining compression modes to compress frames |
| US9907489B2 (en) * | 2012-06-14 | 2018-03-06 | Rehabilitation Institute Of Chicago | Systems and methods for hierarchical pattern recognition for simultaneous control of multiple-degree of freedom movements for prosthetics |
| US10528135B2 (en) | 2013-01-14 | 2020-01-07 | Ctrl-Labs Corporation | Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display |
| US10152082B2 (en) | 2013-05-13 | 2018-12-11 | North Inc. | Systems, articles and methods for wearable electronic devices that accommodate different user forms |
| US12504816B2 (en) | 2013-08-16 | 2025-12-23 | Meta Platforms Technologies, Llc | Wearable devices and associated band structures for sensing neuromuscular signals using sensor pairs in respective pods with communicative pathways to a common processor |
| US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
| US11426123B2 (en) | 2013-08-16 | 2022-08-30 | Meta Platforms Technologies, Llc | Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures |
| US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
| US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
| US10188309B2 (en) | 2013-11-27 | 2019-01-29 | North Inc. | Systems, articles, and methods for electromyography sensors |
| WO2015027089A1 (en) * | 2013-08-23 | 2015-02-26 | Thalmic Labs Inc. | Systems, articles, and methods for human-electronics interfaces |
| US9788789B2 (en) | 2013-08-30 | 2017-10-17 | Thalmic Labs Inc. | Systems, articles, and methods for stretchable printed circuit boards |
| US9372535B2 (en) | 2013-09-06 | 2016-06-21 | Thalmic Labs Inc. | Systems, articles, and methods for electromyography-based human-electronics interfaces |
| US9483123B2 (en) * | 2013-09-23 | 2016-11-01 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
| HK1222733A1 (zh) * | 2013-10-24 | 2017-07-07 | 苹果公司 | 使用手腕移動的腕帶設備輸入 |
| EP3104737A4 (en) | 2014-02-14 | 2017-10-11 | Thalmic Labs Inc. | Systems, articles, and methods for elastic electrical cables and wearable electronic devices employing same |
| US10199008B2 (en) | 2014-03-27 | 2019-02-05 | North Inc. | Systems, devices, and methods for wearable electronic devices as state machines |
| US9880632B2 (en) | 2014-06-19 | 2018-01-30 | Thalmic Labs Inc. | Systems, devices, and methods for gesture identification |
| JP6458387B2 (ja) * | 2014-07-29 | 2019-01-30 | 株式会社きもちラボ | 生体電気ノイズ同定システム及び生体電気ノイズ除去システム |
| US9807221B2 (en) | 2014-11-28 | 2017-10-31 | Thalmic Labs Inc. | Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link |
| US10078435B2 (en) | 2015-04-24 | 2018-09-18 | Thalmic Labs Inc. | Systems, methods, and computer program products for interacting with electronically displayed presentation materials |
| CN107708547B (zh) * | 2015-06-12 | 2021-11-23 | 皇家飞利浦有限公司 | 表面肌电图系统、记录器和方法 |
| ITUB20159413A1 (it) * | 2015-12-23 | 2017-06-23 | Laboratori Archa Srl | Metodo e sistema di rilevazione di movimenti |
| KR102619981B1 (ko) | 2016-02-02 | 2024-01-02 | 삼성전자주식회사 | 근전도 신호를 이용한 동작 분류 방법 및 장치 |
| US11216069B2 (en) | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
| WO2018022602A1 (en) * | 2016-07-25 | 2018-02-01 | Ctrl-Labs Corporation | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors |
| US12554325B2 (en) | 2016-07-25 | 2026-02-17 | Meta Platforms Technologies, Llc | Methods and apparatuses for low latency body state prediction based on neuromuscular data |
| JP6926429B2 (ja) * | 2016-09-27 | 2021-08-25 | 日本電気株式会社 | データ処理装置、データ処理方法、およびプログラム |
| US11259979B2 (en) * | 2017-02-03 | 2022-03-01 | Roam Robotics Inc. | System and method for user intent recognition |
| US11185270B1 (en) * | 2017-02-03 | 2021-11-30 | Yongwu Yang | Wearable device and method for monitoring muscle tension and other physiological data |
| US10796599B2 (en) * | 2017-04-14 | 2020-10-06 | Rehabilitation Institute Of Chicago | Prosthetic virtual reality training interface and related methods |
| JP6829151B2 (ja) * | 2017-05-24 | 2021-02-10 | 日本電信電話株式会社 | 行動推定装置、及び行動推定方法 |
| US10984054B2 (en) * | 2017-07-27 | 2021-04-20 | Robert Bosch Gmbh | Visual analytics system for convolutional neural network based classifiers |
| US10481699B2 (en) * | 2017-07-27 | 2019-11-19 | Facebook Technologies, Llc | Armband for tracking hand motion using electrical impedance measurement |
| EP3697297A4 (en) | 2017-10-19 | 2020-12-16 | Facebook Technologies, Inc. | SYSTEMS AND PROCEDURES FOR IDENTIFICATION OF BIOLOGICAL STRUCTURES IN CONNECTION WITH SIGNALS OF NEUROMUSCULAR ORIGIN |
| US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
| US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
| US10937414B2 (en) | 2018-05-08 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for text input using neuromuscular information |
| US11150730B1 (en) * | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
| US12579768B2 (en) | 2018-01-25 | 2026-03-17 | Meta Platforms Technologies, Llc | Wearable electronic devices, extended reality systems including neuromuscular sensors, and methods for generating text from speech input and modifying the generated text based on neuromuscular data |
| US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
| US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
| US10592001B2 (en) | 2018-05-08 | 2020-03-17 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
| EP3843617B1 (en) | 2018-08-31 | 2023-10-04 | Facebook Technologies, LLC. | Camera-guided interpretation of neuromuscular signals |
| EP3853698A4 (en) | 2018-09-20 | 2021-11-17 | Facebook Technologies, LLC | NEUROMUSCULAR TEXT ENTRY, WRITING AND DRAWING IN SYSTEMS WITH EXTENDED REALITY |
| CN113423341B (zh) * | 2018-11-27 | 2024-12-03 | 元平台技术有限公司 | 用于可穿戴电极传感器系统的自动校准的方法和装置 |
| US11583218B2 (en) * | 2019-11-20 | 2023-02-21 | Advancer Technologies, Llc | EMG device |
| IL293829B1 (en) | 2019-12-13 | 2026-04-01 | Roam Robotics Inc | A device that is activated to benefit the wearer while skiing |
| EP4157198A4 (en) | 2020-05-27 | 2024-06-26 | Roam Robotics Inc. | ADJUSTMENT AND SUSPENSION SYSTEMS AND METHODS FOR A MOBILE ROBOT |
| IL298451A (en) | 2020-05-27 | 2023-01-01 | Roam Robotics Inc | A control system and method for a mobile robot |
| JP2022137943A (ja) * | 2021-03-09 | 2022-09-22 | 大王製紙株式会社 | 使い捨て着用物品におけるサイドシールの破りやすさ評価方法 |
| WO2022195657A1 (ja) * | 2021-03-15 | 2022-09-22 | 日本電信電話株式会社 | 筋音抽出方法、筋音抽出装置及びプログラム |
| US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
| CN113222049B (zh) * | 2021-05-26 | 2024-05-10 | 中国石油天然气股份有限公司 | 一种特殊螺纹上扣扭矩的分类识别方法及识别设备 |
| CN120354458B (zh) * | 2025-06-23 | 2025-08-19 | 中南大学 | 一种多策略数据脱敏方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009064216A (ja) * | 2007-09-06 | 2009-03-26 | Univ Of Tsukuba | 関数近似装置、強化学習システム、関数近似システムおよび関数近似プログラム |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5269318A (en) * | 1982-08-16 | 1993-12-14 | Neurocom International Inc. | Apparatus and method for movement coordination analysis |
| US5645073A (en) * | 1989-07-31 | 1997-07-08 | Synectics Medical Ab | Method and an apparatus for use in electromyography to determine risk of muscular disorder |
| US5505208A (en) * | 1993-12-10 | 1996-04-09 | Toomin Research Group | Method for determining muscle dysfunction |
| US6496724B1 (en) * | 1998-12-31 | 2002-12-17 | Advanced Brain Monitoring, Inc. | Method for the quantification of human alertness |
| US7499745B2 (en) * | 2000-02-28 | 2009-03-03 | Barbara Ann Karmanos Cancer Institute | Multidimensional bioelectrical tissue analyzer |
| US6440067B1 (en) * | 2000-02-28 | 2002-08-27 | Altec, Inc. | System and method for remotely monitoring functional activities |
| US7148879B2 (en) * | 2000-07-06 | 2006-12-12 | At&T Corp. | Bioacoustic control system, method and apparatus |
| JP4885416B2 (ja) * | 2001-01-16 | 2012-02-29 | ユニヴェルシテ・ドゥ・モントリオール | 筋電的に活性化される呼吸リークシール |
| JP2002358149A (ja) * | 2001-06-01 | 2002-12-13 | Sony Corp | ユーザ入力装置 |
| US6643541B2 (en) * | 2001-12-07 | 2003-11-04 | Motorola, Inc | Wireless electromyography sensor and system |
| CA2396202A1 (en) * | 2002-07-31 | 2004-01-31 | Anthony Michael Galea | Sincerity index system and program therefor |
| US7359750B2 (en) * | 2003-02-22 | 2008-04-15 | Chul Gyu Song | Apparatus and method for analyzing motions using bio-impedance |
| GB0306629D0 (en) * | 2003-03-22 | 2003-04-30 | Qinetiq Ltd | Monitoring electrical muscular activity |
| JP4078419B2 (ja) | 2003-06-18 | 2008-04-23 | 独立行政法人産業技術総合研究所 | ポインティングデバイス |
| AU2004290588A1 (en) * | 2003-11-18 | 2005-06-02 | Vivometrics, Inc. | Method and system for processing data from ambulatory physiological monitoring |
| WO2005077260A1 (en) * | 2004-02-12 | 2005-08-25 | Biopeak Corporation | Non-invasive method and apparatus for determining a physiological parameter |
| US7554549B2 (en) * | 2004-10-01 | 2009-06-30 | Sony Corporation | System and method for tracking facial muscle and eye motion for computer graphics animation |
| TWI266217B (en) * | 2004-12-28 | 2006-11-11 | Ind Tech Res Inst | Methods and devices of a multi-functional operating interface for a nursing machine |
| WO2006119046A1 (en) * | 2005-04-30 | 2006-11-09 | Medtronic, Inc. | Impedance-based stimulation adjustment |
| US20070060830A1 (en) * | 2005-09-12 | 2007-03-15 | Le Tan Thi T | Method and system for detecting and classifying facial muscle movements |
| US8280169B2 (en) * | 2005-12-21 | 2012-10-02 | Michael Linderman | Recordation of handwriting and hand movement using electromyography |
| US8437844B2 (en) * | 2006-08-21 | 2013-05-07 | Holland Bloorview Kids Rehabilitation Hospital | Method, system and apparatus for real-time classification of muscle signals from self-selected intentional movements |
| WO2008124079A1 (en) * | 2007-04-03 | 2008-10-16 | Nuvasive, Inc. | Neurophysiologic monitoring system |
| JP4367663B2 (ja) * | 2007-04-10 | 2009-11-18 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| US8386025B2 (en) * | 2007-04-30 | 2013-02-26 | IctalCare A/S, Delta | Device and method for monitoring muscular activity |
| JP5154558B2 (ja) * | 2007-08-31 | 2013-02-27 | 公益財団法人東京都医学総合研究所 | 定量的運動機能評価システム及び運動機能評価用プログラム |
| CN102065766B (zh) * | 2008-06-20 | 2013-01-02 | 国立大学法人大阪大学 | 肌紧张测量装置 |
| US8170656B2 (en) * | 2008-06-26 | 2012-05-01 | Microsoft Corporation | Wearable electromyography-based controllers for human-computer interface |
| US8447704B2 (en) * | 2008-06-26 | 2013-05-21 | Microsoft Corporation | Recognizing gestures from forearm EMG signals |
| EP2358266A4 (en) * | 2008-11-20 | 2012-10-03 | Bodymedia Inc | METHOD AND DEVICE FOR DETERMINING CRITICAL CARE PARAMETERS |
| US8126542B2 (en) * | 2008-12-10 | 2012-02-28 | Somaxis, Inc. | Methods for performing physiological stress tests |
| WO2011020446A1 (en) * | 2009-08-21 | 2011-02-24 | The Chinese University Of Hong Kong | Systems and methods for reproducing body motions via networks |
-
2010
- 2010-07-14 JP JP2011522736A patent/JP5545574B2/ja not_active Expired - Fee Related
- 2010-07-14 WO PCT/JP2010/004585 patent/WO2011007569A1/ja not_active Ceased
-
2012
- 2012-01-13 US US13/350,711 patent/US9392954B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009064216A (ja) * | 2007-09-06 | 2009-03-26 | Univ Of Tsukuba | 関数近似装置、強化学習システム、関数近似システムおよび関数近似プログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12164280B2 (en) | 2021-07-26 | 2024-12-10 | Hyundai Motor Company | Method for estimating intention using unsupervised learning |
Also Published As
| Publication number | Publication date |
|---|---|
| US9392954B2 (en) | 2016-07-19 |
| US20120209134A1 (en) | 2012-08-16 |
| JPWO2011007569A1 (ja) | 2012-12-20 |
| WO2011007569A1 (ja) | 2011-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPWO2011007569A1 (ja) | 分類推定システムおよび分類推定プログラム | |
| CN112566553B (zh) | 实时尖峰检测和识别 | |
| Khan et al. | Accelerometer signal-based human activity recognition using augmented autoregressive model coefficients and artificial neural nets | |
| CN110337269B (zh) | 基于神经肌肉信号推断用户意图的方法和装置 | |
| Allard et al. | A convolutional neural network for robotic arm guidance using sEMG based frequency-features | |
| Sztyler et al. | Online personalization of cross-subjects based activity recognition models on wearable devices | |
| Shin et al. | Korean sign language recognition using EMG and IMU sensors based on group-dependent NN models | |
| CN110300542A (zh) | 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置 | |
| Batayneh et al. | Comparing the efficiency of artificial neural networks in sEMG-based simultaneous and continuous estimation of hand kinematics | |
| CN119175715B (zh) | 一种基于sEMG信号的仿生机械手控制方法、系统、设备和存储介质 | |
| CN113974612A (zh) | 一种卒中患者上肢运动功能自动化评估方法与系统 | |
| JP6656633B2 (ja) | 生体信号が表す情報を識別するためのシステム | |
| Chang et al. | A hierarchical hand motions recognition method based on IMU and sEMG sensors | |
| Nieuwoudt et al. | Investigation of real-time control of finger movements utilizing surface EMG signals | |
| Djemal et al. | Real-time model for dynamic hand gestures classification based on inertial sensor | |
| Anam et al. | Random forest-based simultaneous and proportional myoelectric control system for finger movements | |
| Krassnig et al. | User-friendly system for recognition of activities with an accelerometer | |
| Mekruksavanich et al. | Ensemble deep learning network for enhancing performances of sensor-based physical activity recognition based on imu sensor data | |
| Koch et al. | Inhomogeneously stacked RNN for recognizing hand gestures from magnetometer data | |
| Chaiyaroj et al. | Deep neural network approach for hand, wrist, grasping and functional movements classification using low-cost semg sensors | |
| Fu et al. | Identification of finger movements from forearm surface EMG using an augmented probabilistic neural network | |
| Kurzynski et al. | Multiple classifier system applied to the control of bioprosthetic hand based on recognition of multimodal biosignals | |
| CN119377648A (zh) | 一种基于图神经网络的心律失常检测系统 | |
| Borghoff et al. | Myo-to-gesture: evolving AI-based innovations in myoelectric signal processing–state-of-the-art survey and research proposal | |
| Orban et al. | An approach for accurate pattern recognition of four hand gestures based on sEMG signals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130614 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140430 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140502 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5545574 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |