JP7616366B2 - 力推定装置、力推定方法およびプログラム - Google Patents

Description

本発明は、力推定装置、力推定方法およびプログラムに関する。

音波を利用して筋肉の力を推定する技術が知られている。例えば、非特許文献１には、ユーザの手の甲に２つのピエゾ素子を装着し、一方をスピーカ、他方をマイクとし、超音波を送受信して、周波数解析による特徴量抽出とそれに基づく機械学習アルゴリズムを適用することで、ユーザの力を推定する装置が開示されている。

Kubo, Yuki, et al. "AudioTouch: Minimally Invasive Sensing of Micro-Gestures via Active Bio-Acoustic Sensing." Proceedings of the 21st International Conference on Human-Computer Interaction with Mobile Devices and Services. 2019.

従来、装置を長時間利用し、発熱や体温などの影響でピエゾ素子の温度が変化することによって、音響特性が変化し、力の推定値にドリフト（基線動揺）誤差が生じるという問題がある。

開示の技術は、力の推定値の精度を向上させることを目的とする。

開示の技術は、推定対象の筋肉に関する力を推定するための力推定装置であって、音波を送信する音波送信部と、前記音波を受信する音波受信部と、受信した前記音波を解析して前記推定対象の力の推定値を算出する力推定部と、設定されたオフセット補正値を前記推定値から減算した値を補正後の推定値として算出するオフセット補正部と、を備える、力推定装置であり、前記推定対象が脱力状態であったか否かを判定する脱力判定部と、前記脱力状態と判定された時間的な区間における力の推定値に基づいて、前記オフセット補正値を設定するオフセット補正値設定部と、をさらに備え、前記音波受信部は、受信した音波から可聴域の音波を抽出し、前記脱力判定部は、抽出された前記可聴域の音波の振幅の絶対値を算出し、算出された絶対値を一定窓幅で積分した値が、あらかじめ定められた閾値以下である場合に、前記一定窓幅の区間を脱力状態の区間であったと判定する、力推定装置である。

力の推定値の精度を向上させることができる。

力推定装置の機能構成図である。 力推定処理の流れの一例を示すフローチャートである。 補正値設定処理の流れの一例を示すフローチャートである。 力推定装置のハードウェア構成例を示す図である。 音波の測定結果の一例を示す図である。 力推定の実験結果の一例を示す図である。 コンピュータのハードウェア構成例を示す図である。

以下、図面を参照して本発明の実施の形態（本実施の形態）について説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

本実施の形態に係る力推定装置は、音波を用いて、握力、脚筋力、背筋力、瞬発力等のような推定対象の筋力に関する力を推定する装置である。推定対象は、ユーザまたはユーザ以外のヒトを想定するが、筋肉を有するものであればヒトでなくても良く、犬、猿等のようなヒト科以外の動物であっても良い。以下、推定対象がヒトである前提で説明する。

（力推定装置の機能構成）
図１は、力推定装置の機能構成図である。力推定装置１０は、音波送信部１１と、音波受信部１２と、力推定部１３と、脱力判定部１４と、オフセット補正値設定部１５と、オフセット補正部１６と、を備える。

音波送信部１１は、音波を送信する。送信される音波は、超音波と可聴域の音波とを含み、推定対象の皮膚の表面に近い位置から送信される。

音波受信部１２は、音波を受信する。具体的には、音波受信部１２は、超音波と可聴域の音波とを受信し、受信した音波から超音波または可聴域の音波を抽出する。

力推定部１３は、推定対象の力を推定する。具体的には、力推定部１３は、受信した音波から周波数特徴量を算出し、算出した周波数特徴量を回帰モデルに入力させることによって、力の推定値を得る。

脱力判定部１４は、音波受信部１２が受信した音波に基づいて、推定対象が脱力状態であるか否かを判定する。具体的には、脱力判定部１４は、音波受信部１２によって抽出された可聴域の音波の振幅の絶対値を算出し、算出された絶対値を一定窓幅で積分した値（積分筋音）を算出する。ここで、脱力判定部１４は、積分筋音のＳＮ比を上げるために、カットオフ周波数が１００Ｈｚ程度のローパスフィルタを適用してから積分筋音を計算しても良い。脱力判定部１４は、積分筋音があらかじめ定められた閾値以下の場合は、算出された一定窓幅に相当する区間を、推定対象が脱力状態の区間（脱力区間）と判定する。

オフセット補正値設定部１５は、脱力区間における力の推定値に基づいて、オフセット補正値を設定する。具体的には、オフセット補正値設定部１５は、脱力区間における力の推定値の平均値を算出し、算出された平均値をオフセット補正値として設定する。

オフセット補正部１６は、力推定部１３が算出した力の推定値と、オフセット設定値と、に基づいて、オフセット補正を実行する。具体的には、オフセット補正部１６は、力の推定値からオフセット設定値を減算した値を、補正後の推定値とする。

（力推定装置の動作）
次に、力推定装置１０の動作について、図面を参照して説明する。力推定装置１０は、ユーザの操作等を受けて、力推定処理を開始する。なお、力推定処理の開始時には、後述するオフセット補正値設定処理によって、または実験等の結果に基づいてオフセット補正値が設定されていることを前提とする。

図２は、力推定処理の流れの一例を示すフローチャートである。音波送信部１１は、音波を送信する（ステップＳ１１）。ここで送信される音波は、超音波を含む。例えば、音波送信部１１は、ピエゾ素子を使って超音波帯域（例えば２０－４０ｋＨｚ）のスイープ波を一定間隔（例えば２０ｍｓ間隔）で送信する。

次に、音波受信部１２は、音波を受信する（ステップＳ１２）。例えば、音波受信部１２は、送信に使用されたピエゾ素子とは異なるピエゾ素子を使って超音波を受信する。

次に、力推定部１３は、音波の周波数特徴量に基づいて、回帰モデルを用いて力を推定する（ステップＳ１３）。具体的には、力推定部１３は、ステップＳ１２において受信された音波を一定サンプル数（例えば４，０９６サンプル）ごとに高速フーリエ変換（ＦＦＴ；fast Fourier transform）をかけてパワースペクトラムを算出し、算出されたパワースペクトラムを、周波数特徴量を示すベクトル（特徴量ベクトル）とする。

そして、力推定部１３は、特徴量ベクトルを回帰モデルに入力して、力の推定値を得る。回帰モデルは、例えばＳｕｐｐｏｒｔＶｅｃｔｏｒＲｅｇｒｅｓｓｉｏｎなどの機械学習による学習済みモデルである。これは、超音波が皮膚を伝搬する際、測定対象による力の入れ具合に応じた皮膚の変形などがあると、音響特性が変化することを利用している。

続いて、オフセット補正部１６は、力の推定値からオフセット補正値を減算した値を、
補正後の推定値として出力する（ステップＳ１４）。

次に、オフセット補正値を設定するための補正値設定処理について説明する。補正値設定処理は、力推定処理の開始前に実行される。

図３は、補正値設定処理の流れの一例を示すフローチャートである。音波送信部１１は、音波を送信する（ステップＳ２１）。ここで送信される音波は、超音波と可聴域の音波とを含む。次に、音波受信部１２は、音波を受信し、受信した音波から可聴域の音波を抽出する（ステップＳ２２）。

続いて、力推定部１３は、抽出された可聴域の音波の振幅の絶対値を算出し、算出された絶対値を一定窓幅で積分した値（積分筋音）を算出する（ステップＳ２３）。一定窓幅とは、あらかじめ設定された時間（例えば１秒間等）の時間的な区間である。

次に、脱力判定部１４は、積分筋音が閾値以下であるか否かを判定する（ステップＳ２４）。閾値は実験等の結果に応じてあらかじめ設定されている。脱力判定部１４が、積分筋音が閾値以下でないと判定すると（ステップＳ２４：Ｎｏ）、力推定装置１０は、ステップＳ２１の処理に戻り、次の区間について処理を実行する。

脱力判定部１４が、積分筋音が閾値以下であると判定すると（ステップＳ２４：Ｙｅｓ）、力推定部１３は、当該区間（脱力区間）の音波の周波数特徴量に基づいて、回帰モデルを用いて力を推定する（ステップＳ２５）。このステップＳ２５の処理は、図２に示した力推定処理のステップＳ１３と同様である。

なお、力推定部１３は、脱力判定部１４による判定の前にあらかじめこのステップＳ２４の処理を実行し、実行結果を記憶しておいても良い。

次に、オフセット補正値設定部１５は、力の推定値の当該区間（脱力区間）の平均値を、オフセット補正値として設定する（ステップＳ２６）。

（力推定装置のハードウェア構成）
図４は、力推定装置のハードウェア構成例を示す図である。力推定装置１０は、コンピュータ１０１と、スピーカ１０２と、マイク１０３と、を備える。

コンピュータ１０１は、ＰＣ（Personal Computer）、スマートフォン、サーバ装置等である。スピーカ１０２は、音波を送信する装置である。音波送信部１１は、コンピュータ１０１がスピーカ１０２を制御することによって実現される。

マイク１０３は、音波を受信する装置である。音波受信部１２は、コンピュータ１０１がマイク１０３を制御することによって実現される。

例えば、力推定装置１０は、非特許文献１と同様に、手の甲にスピーカ１０２とマイク１０３の役割を担うピエゾ素子を装着することによって、握力を推定する。例えば、マイク１０３に相当するピエゾ素子の周波数特性が１００Ｈｚ以下の低周波数帯域でも２０－４０ｋＨｚの高周波数帯域でも十分なゲインがある場合は、一つのピエゾ素子で兼用することができる。また、ピエゾ素子がどちらか片側の周波数帯域で大きく減衰するような周波数特性の場合は、それを補完するような異なる周波数特性の音響受信装置を別途装着し、ピエゾ素子と音響受信装置とを併せてマイク１０３として機能させれば良い。

（音波の測定結果）
図５は、音波の測定結果の一例を示す図である。図５は、手の甲に装着したマイクで手の甲の筋音を測定した例を示す。図５の「脱力状態」とは力を込めかった状態であって、「握力あり」の区間が力を込めた状態である。力を込めなかった場合は、音波の振幅が小さいが、力を込めた場合は、筋音の影響で音波の振幅が大きくなっている。

この測定結果から、音波の振幅の大きさによって脱力状態であるか否かを判定する方法が有効であると言える。

（力推定の実験結果）
図６は、力推定の実験結果の一例を示す図である。実験では、オフセット補正処理の前後の握力の推定値を算出した。破線９０１は、補正前の推定値を示す。実線９０２は、正解値を示す。点線９０３は、補正後の推定値を示す。

正解値は、フォースセンサで測定した握力の値である。補正前の推定値は、正解値では０Ｎとなっている区間の握力を約５Ｎと推定し、正解値では５Ｎとなっている区間の握力を約１０Ｎと推定した。

これに対して、オフセット補正後の推定値は、力の推定値からオフセット補正値の５Ｎを減算し、正解値に近い値を推定した。なお、力推定装置１０は、オフセット補正値設定処理の結果、正解値では０Ｎとなっている区間を脱力区間と判定し、オフセット補正値を５Ｎと設定した。

本実験の結果、補正後の推定値が、補正前の推定値よりも正解値に近い結果となった。

（コンピュータのハードウェア構成例）
上述した力推定装置１０の各機能部は、コンピュータ１０１に、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。なお、この「コンピュータ」は、物理マシンであってもよいし、クラウド上の仮想マシンであってもよい。仮想マシンを使用する場合、ここで説明する「ハードウェア」は仮想的なハードウェアである。

上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

図７は、上記コンピュータのハードウェア構成例を示す図である。図７のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該装置に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。なお、上記コンピュータは、ＣＰＵ１００４の代わりにＧＰＵ（Graphics Processing Unit）またはＴＰＵ（Tensor processing unit）を備えていても良く、ＣＰＵ１００４に加えて、ＧＰＵまたはＴＰＵを備えていても良い。その場合、例えば特殊な演算が必要な処理をＧＰＵまたはＴＰＵが実行し、その他の処理をＣＰＵ１００４が実行する、というように処理を分担して実行しても良い。

（本実施の形態の効果）
本実施の形態に係る力推定装置１０によれば、力の推定値からオフセット補正値を減算し、補正後の推定値とする。これによって、力の推定値の精度を向上させることができる。

また、力推定装置１０は、推定対象が脱力状態であったか否かを判定し、脱力状態と判定された時間的な区間における力の推定値に基づいて、オフセット補正値を設定する。これによって、力の推定値に生じている誤差をオフセット補正値として設定し、力の推定値をさらに向上させることができる。

（実施の形態のまとめ）
本明細書には、少なくとも下記の各項に記載した力推定装置、力推定方法およびプログラムが記載されている。
（第１項）
推定対象の筋肉に関する力を推定するための力推定装置であって、
音波を送信する音波送信部と、
前記音波を受信する音波受信部と、
受信した前記音波を解析して前記推定対象の力の推定値を算出する力推定部と、
設定されたオフセット補正値を前記推定値から減算した値を補正後の推定値として算出するオフセット補正部と、を備える、
力推定装置。
（第２項）
前記推定対象が脱力状態であったか否かを判定する脱力判定部と、
前記脱力状態と判定された時間的な区間における力の推定値に基づいて、前記オフセット補正値を設定するオフセット補正値設定部と、をさらに備える、
第１項に記載の力推定装置。
（第３項）
前記音波受信部は、受信した音波から可聴域の音波を抽出し、
前記脱力判定部は、抽出された前記可聴域の音波の振幅の絶対値を算出し、算出された絶対値を一定窓幅で積分した値が、あらかじめ定められた閾値以下である場合に、前記一定窓幅の区間を脱力状態の区間であったと判定する、
第２項に記載の力推定装置。
（第４項）
前記力推定部は、前記脱力状態と判定された区間における前記推定対象の力の推定値を算出し、
前記オフセット補正値設定部は、前記区間における力の推定値の平均値を算出し、算出された前記平均値を前記オフセット補正値として設定する、
第２項または第３項に記載の力推定装置。
（第５項）
前記力推定部は、受信された前記音波を一定サンプル数ごとに高速フーリエ変換をかけてパワースペクトラムを算出し、算出された前記パワースペクトラムを、周波数特徴量を示すベクトルとして回帰モデルに入力して、前記力の推定値を得る、
第１項から第４項のいずれか１項に記載の力推定装置。
（第６項）
コンピュータが実行する力推定方法であって、
音波を送信するステップと、
前記音波を受信するステップと、
受信した前記音波を解析して推定対象の力の推定値を算出するステップと、
設定されたオフセット補正値を前記推定値から減算した値を補正後の推定値として算出するステップと、を備える、
力推定方法。
（第７項）
コンピュータを第１項から第５項のいずれか１項に記載の力推定装置における各部として機能させるためのプログラム。

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ 力推定装置
１１ 音波送信部
１２ 音波受信部
１３ 力推定部
１４ 脱力判定部
１５ オフセット補正値設定部
１６ オフセット補正部
１０１ コンピュータ
１０２ スピーカ
１０３ マイク
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置

Claims (5)

1. 推定対象の筋肉に関する力を推定するための力推定装置であって、
   音波を送信する音波送信部と、
   前記音波を受信する音波受信部と、
   受信した前記音波を解析して前記推定対象の力の推定値を算出する力推定部と、
   設定されたオフセット補正値を前記推定値から減算した値を補正後の推定値として算出するオフセット補正部と、を備える、力推定装置であり、
   前記推定対象が脱力状態であったか否かを判定する脱力判定部と、
   前記脱力状態と判定された時間的な区間における力の推定値に基づいて、前記オフセット補正値を設定するオフセット補正値設定部と、をさらに備え、
   前記音波受信部は、受信した音波から可聴域の音波を抽出し、
   前記脱力判定部は、抽出された前記可聴域の音波の振幅の絶対値を算出し、算出された絶対値を一定窓幅で積分した値が、あらかじめ定められた閾値以下である場合に、前記一定窓幅の区間を脱力状態の区間であったと判定する、
   力推定装置。
2. 前記力推定部は、前記脱力状態と判定された区間における前記推定対象の力の推定値を算出し、
   前記オフセット補正値設定部は、前記区間における力の推定値の平均値を算出し、算出された前記平均値を前記オフセット補正値として設定する、
   請求項１に記載の力推定装置。
3. 前記力推定部は、受信された前記音波を一定サンプル数ごとに高速フーリエ変換をかけてパワースペクトラムを算出し、算出された前記パワースペクトラムを、周波数特徴量を示すベクトルとして回帰モデルに入力して、前記力の推定値を得る、
   請求項１又は２に記載の力推定装置。
4. コンピュータが実行する力推定方法であって、
   音波を送信する音波送信ステップと、
   前記音波を受信する音波受信ステップと、
   受信した前記音波を解析して推定対象の力の推定値を算出する力推定ステップと、
   設定されたオフセット補正値を前記推定値から減算した値を補正後の推定値として算出するオフセット補正ステップと、を備える、力推定方法であり、
   前記推定対象が脱力状態であったか否かを判定する脱力判定ステップと、
   前記脱力状態と判定された時間的な区間における力の推定値に基づいて、前記オフセット補正値を設定するオフセット補正値設定ステップと、をさらに備え、
   前記音波受信ステップにおいて、受信した音波から可聴域の音波を抽出し、
   前記脱力判定ステップにおいて、抽出された前記可聴域の音波の振幅の絶対値を算出し、算出された絶対値を一定窓幅で積分した値が、あらかじめ定められた閾値以下である場合に、前記一定窓幅の区間を脱力状態の区間であったと判定する、
   力推定方法。
5. コンピュータを請求項１から３のいずれか１項に記載の力推定装置における各部として機能させるためのプログラム。

Images