JP7585512B2 - センサデータ予測 - Google Patents

センサデータ予測 Download PDF

Info

Publication number
JP7585512B2
JP7585512B2 JP2023550201A JP2023550201A JP7585512B2 JP 7585512 B2 JP7585512 B2 JP 7585512B2 JP 2023550201 A JP2023550201 A JP 2023550201A JP 2023550201 A JP2023550201 A JP 2023550201A JP 7585512 B2 JP7585512 B2 JP 7585512B2
Authority
JP
Japan
Prior art keywords
data
head
processors
angular velocity
listening device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023550201A
Other languages
English (en)
Other versions
JP2024508125A (ja
Inventor
ホワーン,チイ
イエン,バオリー
リウ,ジーファーン
ルオ,リービン
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2024508125A publication Critical patent/JP2024508125A/ja
Application granted granted Critical
Publication of JP7585512B2 publication Critical patent/JP7585512B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

[関連出願]
本願は、参照により全体がここに組み込まれる、2021年3月19日に出願した国際PCT出願番号第PCT/CN2021/081747号、及び2021年4月21日に出願した米国仮特許出願番号第63/177,441号、の優先権を主張する。
関連分野
本開示は、オーディオ処理の方法に関する。
無線ヘッドフォン技術を利用する場合、従来はスマートフォンやコンピュータなどのプロセッサを搭載した機器からBluetooth(登録商標)技術などを利用して音声をストリーミングしていた。最近の無線ヘッドフォンは、例えばユーザの頭の動きをモニタするために使用される様々なタイプのセンサを備えている。装置からストリーミングされる音声を頭の位置と角度に適応させるために、ヘッドフォン内のセンサが装置にデータを送信し、それがヘッドフォンに送信される音を適応させるために使用される。
本開示は、ヘッドフォンと装置との間の音声データやセンサデータなどの情報の送信に時間がかかり、頭の位置や角度に基づく音声の適応に転送遅延が生じるという理解に基づく。したがって、ヘッドフォン又は同様の頭部搭載リスニング装置からのセンサデータの転送遅延を補償する方法を提供することが望ましい。
本開示の一態様によれば、動きデータの履歴に基づいてユーザの頭部の将来の動きを予測することを含むオーディオ処理の方法が提供される。このような予測をプロセッサに提供することによって、リスニング装置によって提示される音場が将来の動きを補償するように調整され、それによってユーザのリスニング体験が改善される。
予測は、動きデータの履歴に1つ以上のフィルタを適用することを含む。これは、センサ信号ノイズを低減し、より正確な予測を可能にする。
ユーザの頭の動きを表す動きデータは、4元数領域(quaternion domain)で処理される。この領域は、オイラー角やデカルト座標などの従来のセンサ出力と比較して、さらなる自由度を提供する。例えば、加速度と速度の両方を単一の数値体系で表現できることにより、予測を含む動きデータの処理をより効率的かつ正確にすることができる。また、ジンバルロック(Gimbal lock)はオイラー角を使用しないことで防止される。一般的に知られているように、ジンバルロックとは、異なるオイラー軸に沿った2つのジンバル(回転軸)が平行に整列し、それによってシステムが縮退した2次元空間に「ロック」されるために、自由度が失われることである。
本明細書では、Bluetooth遅延の影響を軽減し、ヘッドフォンのリスニング体験を改善するためのセンサデータ予測アルゴリズムを開示している。このセンサデータ予測アルゴリズムは、潜在的な転送遅延を低減するために、履歴情報に基づいて将来の動きデータを推定する。この点で、センサデータ融合とは異なる。このアルゴリズムは、歩く、走る、座るなどのユーザの動作パターンを予測するためには使用されない。角速度と加速度を介して対応する軸の周りの回転角度を予測するために4元数領域で動作する。予測期間は、センサデータ期間の10倍以上を目標としている。これは、センサデータレートが約100ヘルツであるBluetoothイヤホンに取り付けられた典型的な慣性測定ユニット(inertial measurement unit (IMU))の場合、予測期間の目標は約100ミリ秒であることを意味する。このアルゴリズムの助けを借りて、プロセッサは、データ転送遅延の問題を軽減し、ユーザの聴覚体験を向上させることができる。
頭の3D回転は通常、非定常であり、これは、頭の方向がどのように分布するかを記述する統計関数のプロパティが時間と共に変化する可能性があることを意味する。しかし、このシナリオでは、頭はIMUセンサデータ更新レート(頭部追跡のための典型的なセンサデータレートは約100ヘルツであり、角速度は0.5度/ミリ秒未満である)と比較して比較的ゆっくりと移動する。したがって、区分線形システムとしてモデル化することは技術的に有用である。言い換えると、頭部の3D回転は、約100msの予測期間で線形システムとしてモデル化できる。この仮定に基づいて、本明細書に従った予測アルゴリズムはうまく機能する。
センサ融合処理中、入力は加速度計及び/又はジャイロスコープセンサデータであってもよい。処理データ形式は4元数形式(w,x,y,z)に変換できる。なぜなら、この領域ではオイラー角領域と同様にジンバルロックの問題がないからである。提案する方法は4元数表現における3D回転データの特性を利用する。物理的観点から、4元数データは特定の軸の周りの特定の角度として3D剛体物体の動きを表現する。角速度が予測され、推定加速度によって修正される場合、予測された3D回転角度は積分によって達成される。
例として、本発明の実施形態は、添付の図面を参照して以下に説明される。
オーディオ処理の方法の実施形態を示す。
オーディオ処理の方法で使用するためのフィルタの実施形態を示す。
オーディオ処理の方法で使用するためのスライディングウィンドウ角速度平均化ユニットの実施形態を示す。
オーディオ処理の方法の実施形態のフローチャートである。
以下に、音声処理の方法を開示する。この方法は、慣性測定ユニット(IMU)を含む頭部搭載リスニング装置(例えば、ヘッドフォンやイヤホン)によって実施される例として示されているが、本明細書の添付の特許請求の範囲内で他の実施形態が可能である。
オーディオ処理のための方法の使用シナリオの例として、装置(例えば、スマートフォンやコンピュータ)は、頭部搭載リスニング装置を装着したユーザに仮想サウンドスケープをストリーミングしている。仮想サウンドスケープは、ユーザに対して一貫した3Dサウンドスケープを提供することを目的としている。ストリーミング装置は、仮想3Dサウンドスケープに対するユーザの頭の向きを決定するために、頭部搭載リスニング装置のIMUから動きデータを受信し、それに応じてストリームを適応させる。
頭部搭載リスニング装置からストリーミング装置に動きデータを送信し、ストリーミング装置から頭部搭載リスニング装置に仮想サウンドスケープをストリーミングするには時間がかかるため、この仮想サウンドスケープのユーザの頭の向きへの適応に転送遅延が生じる。この目的のために、開示されたオーディオ処理方法は、ユーザの頭の動きの予測を可能にし、例えば、将来の角回転を予測し、それによって遅延を補償する。
図1は、予測アルゴリズムの主要なレイアウトを示し、したがって、オーディオ処理方法の実施形態を示す。図では、生の動きデータは、図の上部に沿ったプロセスでフィルタリングされ、図の下部に沿ったプロセスでユーザの頭部の将来の動きを予測するために処理される。図では、6自由度(6DoF)のIMUセンサ(アクセラレータとジャイロスコープを含む)は、アルゴリズムへの入力として生データを作成する。言い換えると、頭部搭載リスニング装置の1つ以上のセンサ(例えば、アクセラレータやジャイロスコープ)は、ユーザの頭の動きを表す動きデータを出力する。この動きデータは、例えば、6-DoF(アクセラレータからはAx、Ay、Az、ジャイロスコープからはGx、Gy、Gz)のアクセラレータ生データ及び/又はジャイロスコープ生データであってもよい。
この動きデータは、リスニング装置又はスマートフォン又はコンピュータのような別の装置に含まれる1つ以上のプロセッサによって受信される。ダウンサンプリングの後、生データは補完フィルタに入力され、4元数領域で融合される。言い換えると、フィルタを使用して、6DoFの生動きデータを4元数領域(w,x,y,z)に変換することができる。融合データが予測4元数のベースになる。言い換えると、この変換された生の動きデータQは、予測された将来の頭の位置を作成し、図の下部に沿ったプロセスで将来の頭の動きの予測に影響を与える可能性のあるジャイロスコープのドリフトを検証及び/又は修正するために使用される。
図の下部に沿ったプロセスでは、ジャイロスコープの生データは、頭の角速度を計算することによって将来の頭の動きを予測するために使用される。予測期間は、センサデータ期間の10倍以上を目標としている。典型的な頭部搭載リスニング装置に含まれる典型的なIMUの場合、センサデータレートは約100Hzである。目標予測期間は約100msになる。
頭の3D回転は通常、非定常であり、統計関数の特性が時間とともに変化する可能性があることを意味する。しかし、このシナリオでは、頭部の回転はIMUセンサデータ更新レート(ヘッドの典型的な角速度は0.5度/ミリ秒未満であり、100Hzのセンサデータレートに比べて遅い)と比較して比較的遅く移動する。言い換えると、頭部の3D回転は、約100msの予測期間で線形システムとしてモデル化できる。
最初に、ジャイロスコープデータをボディフレームからグローバルフレームに変換する必要がある。角速度はこのモジュールで計算する。その後、FIFOバッファは適切な長さの過去の4元数データを保持し、対応する角速度を計算する。さらに、速度に基づいて、差動プロセスを介して角加速度を計算する。言い換えれば、ジャイロスコープからの生の動きデータは、当技術分野で知られている方法に従って4元数領域に変換される。ジャイロスコープからの生の動きデータは、例えば、オイラー角領域又はデカルト領域における頭部の(又は同様に、頭部搭載リスニング装置の)角速度であってもよい。頭部(又は同様に、頭部搭載リスニング装置の)の角速度は、ジャイロスコープからの変換された生の動きデータを使用して、すなわち、変換された動きデータを使用して計算される。4元数領域で計算された角速度は、先入れ先出し(first in first out (FIFO))バッファメモリに格納される。4元数領域QWの角速度は、次の式で計算される:
Figure 0007585512000001
ここで、Qt-1は回転の前の推定値であり、初期値はQ=(1,0,0,0)に設定される。言い換えると、Qt-1は、以前に計算された角速度、すなわち、以前の角速度と生データに基づいて計算されたQWであり、バッファメモリに格納される可能性がある。
Gw=(0,Gx,Gy,Gz)は、ジャイロスコープの生データ、すなわち、4元数領域内のジャイロスコープから変換された生の動きデータである。ジャイロスコープの動きデータは、この場合、角速度であるが、他のセンサ及び動きデータは、他の実施形態で使用することができる。以下の記号
Figure 0007585512000002
は4元数交差乗算演算子である。
直接的な角加速度データは利用できないため、角加速度は数値微分(Numerical Differentiation)によって作成される。つまり、ジャイロスコープの生データは角加速度を含まず、代わりに、このデータは数値微分によって計算される。角加速度QW は、次の式で計算できる:
Figure 0007585512000003
ここで、QW(t)は時間tにおける角速度であり、t-1はtの直前の時間、すなわち、QWが値を持つ直前の時点であり、Tはセンサデータのサンプリング期間、すなわち約10msである。
角加速度の作成プロセス中に、速度データのノイズが増幅され、結果を直接使用することが困難になる場合がある。したがって、速度データのノイズは、分母が通常1sよりもはるかに小さいため、上記の計算によって増幅される可能性がある。この問題を解決するために、RLSN(Recursive Linear Smoothed Newton)フィルタ又はTV(Total Variation Regularization)フィルタである加速度平滑化フィルタを追加することができる。言い換えると、平滑化フィルタは、角加速度データ内のこのような増幅されたノイズを平滑化するために使用される。
このモジュールの出力は、平滑化された角加速度データQWである。RLSNフィルタの例は、図2を参照してより詳細に開示される。
次に、平滑化された角加速度データを積分(integrated)して、頭部の将来の角方向を予測するために使用される角速度変化値を計算する。積分モジュールは、以下のように、角速度変化値QΔWを作成するために角速度を積分する:
Figure 0007585512000004
頭部の動きを滑らかにする機械的慣性のため、予測速度は履歴速度データを平均化することによって滑らかにする必要がある。基本角速度を予測するためにスライディングウィンドウ平均モジュールを設計する。換言すれば、実際の頭部の動きは、動きを滑らかにする機械的慣性を持つ。この慣性を計算した角速度に組み込むために、バッファメモリに格納された過去の変換された生の角速度データを、平均角速度QW を作成するためのスライディングウィンドウ平均計算で使用する。スライディングウィンドウサイズは、予測された速度平滑性と迅速応答能力の間のバランスをとるために使用できる加速度値によって制御された。換言すれば、スライディングウィンドウ平均計算で使用したスライディングウィンドウのサイズは、高い角加速度に対して有益であるかもしれない迅速反応と、より長いスライディングウィンドウサイズを使用することから生じるより統計的に有意な平均との間のバランスをとるために、計算された角加速度に反比例する。スライディングウィンドウ平均計算は、図3を参照してより詳細に開示される。
角速度は一定又は直線的に変化すると仮定し、加速度データによって繰り返し更新される。換言すれば、前述したように、典型的なIMUセンサデータ更新レートと比較して頭部の典型的な角速度が比較的遅いため、頭部の角速度は一定又は直線的に変化するようにモデル化することができる。多重積分(Multiple Step Intergration)の後、融合した4元数データと組み合わせて、予測された3D回転角度が4元数領域に作成される。言い換えると、角速度変化値QΔWと平均角速度QW を加算し、多重積分ブロック内の積分期間の異なる部分に対して異なる時間積分器を使用して積分し、予測した角変化値Q'を作成する。この予測した角変化値Q'は、次に、図の上部に沿ったプロセスで作成された変換された未加工の動きデータQと結合され、4元数領域Qpに予測3D回転角度を作成する。
予測部分モデルは、データ融合部分と比較して高いデータレート領域で動作するため、データ処理タイミングを一致させるために多重積分モジュールが使用される。言い換えると、図の下部に沿ったプロセスは、図の上部に沿ったプロセスと比較して異なるデータレート領域で動作するため、積分期間の異なる部分に対して異なる時間積分器を使用する多重積分を使用して、Q'のデータレートとQを一致させることができる。融合データを積分して結合した後、予測角度は4元数領域で生成される:
Figure 0007585512000005
頭部追跡シナリオでは通常、動きが滑らかであるため、角度の変化は区分的に線形化されていると仮定できる。将来の速度を予測するための角加速度の助けを借りて、これは予測期間で最も可能性の高い角度の良い推定を可能にする。言い換えれば、4元数領域Qpでの結果として生じる予測された3D回転角度は、ユーザの頭の将来の角度の信頼性の高い正確な予測を可能にする。
図2に、RLSNフィルタの実施形態を示す。このモジュールは、角加速度生成プロセス中に増幅されたセンサ信号ノイズを低減することができる。
図2において、aは重み付け係数であり、例えば0.02又は0.03の値を有することができる。したがって、重み付け係数aは再帰的重みとして使用され、一般に0.01から0.05の間であり得る。Nは移動平均の長さであり、例えば16又は32の値を有し得る。言い換えると、Nは移動平均操作の長さに使用される値であり、8から64の間であり得る。kは計算された角加速度のインデックスであり、後続のインデックスはIMUセンサによる連続測定に対応する。Zは、ボックスとして示される演算子への入力である。
RLSNフィルタは、従来のローパスフィルタと比較して遅延を低減したローパスフィルタとして動作する。加速度は線形としてモデル化されるため、フィルタで計算される第1微分は定数としてモデル化される。したがって、定常状態で信号を遅延させることなく、図2の下部プロセスに沿って移動平均器でフィルタリングすることができる。
追加のローパスフィルタリングは、その平滑化された値による入力の加重平均を実装する再帰構造によって、図2の上部のプロセスに沿って実現される。
RLSNフィルタの代替実装は、添付の特許請求の範囲内でも可能である。さらに、TVフィルタのような他の平滑化フィルタは、記載されているように、RLSNフィルタに加えて、又はRLSNフィルタを置き換えるために使用することができる。
図3は、図1の「角速度FIFO及びスライディングウィンドウ角速度平均」ボックス内のプロセスを示す。本モジュールのロジックは、加速度データに基づいて平均スライディングウィンドウサイズを選択する。つまり、スライディングウィンドウ平均プロセスは、計算された角加速度データを入力として使用し、角加速度の値に反比例するように平均ウィンドウサイズを制御する。加速度が大きい場合は、比較的大きな速度変化が発生する可能性があることを意味し、平均ウィンドウサイズは小さく設定される。つまり、相対的に大きな加速度は速度の変化が比較的大きくなる可能性があるため、逆比例が使用される。これは、比較的小さな平均ウィンドウサイズでモデル化することによって得られる。
図3で、Nは、スライディングウィンドウ平均プロセスのウィンドウサイズを表している。このプロセスでは、バッファメモリから角速度に使用できるN個の最新のデータポイントを使用して、角速度の平均値Qw を計算する。
図4は、オーディオ処理の方法のフローチャートを示す。この方法は、例えばストリーミング装置のプロセッサによって実行され得る多くのステップを含む。
この方法の第1ステップは、動きデータの受信を含む。このステップは、頭部搭載リスニング装置から、ユーザの頭の動きを表す動きデータを受信することを含む。動きデータは、4元数領域であってもなくてもよい。
動きデータが4元数領域で受信されない場合、次のステップは、受信した動きデータを4元数領域に変換することを含む。
この方法は、さらに、頭部の将来の動きを予測することを含む。このステップは、変換された動きデータから角加速度データを作成し、角加速度データに1つ以上の平滑化フィルタを適用することを含み、予測された将来の動きは、4元数領域内の対応する軸の周りの回転角を含む。
予測ステップは、さらに、変換された動きデータから角速度データを作成することを含み、これは、以前に作成された角速度データ及び角速度データに対応する変換された動きデータを使用することを含み得る。
予測するステップは、さらに、角速度データに対して数値微分を実行することによって角加速度データを作成することを含み得る。
予測するステップは、角加速度データに再帰線形平滑ニュートンフィルタを適用することを更に含み得る。これは、作成された角加速度データのノイズを低減する。
予測するステップは、角速度の履歴から角速度のスライディングウィンドウ平均を決定することを更に含む。これは、頭部の慣性の予測を適応させるために使用することができる。
スライディングウィンドウのサイズは、角加速度データによって決定することができる。したがって、スライディングウィンドウ平均は、頭部の加速度に適応し、より信頼性が高い。
この方法は、さらに、頭部の予測された将来の動きを、例えば、ストリーミング装置のプロセッサに提供することを含む。次に、プロセッサは、音場が頭部の予測された動きに従うように、リスニング装置によって提示される音場を調整することができる。それによって、転送遅延を低減することができる。
ここに記載されるシステムの太陽は、デジタル又はデジタルかされたオーディオファイルを処理する適切なコンピュータに基づく音声処理ネットワーク環境で実施されてよい。適応型オーディオシステムの部分は、コンピュータの間で送信されるデータをバッファリング及びルーティングするよう機能する1つ以上のルータ(図示しない)を含む任意の所望の数の個別機械を含む1つ以上のネットワークを含んでよい。このようなネットワークは、種々の異なるネットワークプロトコル上で構築されてよく、インターネット、広域ネットワーク(Wide Area Network (WAN))、ローカルエリアネットワーク(Local Area Network (LAN))、又はそれらの任意の組合せであってよい。
コンポーネント、ブロック、プロセス、又は他の機能的コンポーネントのうちの1つ以上は、システムのプロセッサに基づくコンピューティング装置の実行を制御するコンピュータプログラムを通じて実装されてよい。また、留意すべきことに、ここに開示した種々の機能は、ハードウェア、ファームウェア、及び/又は種々の機械可読若しくはコンピュータ可読媒体の中に具現化されたデータ及び/又は命令として、それらの動作の観点で、レジスタトランスファ、論理コンポーネント、及び/又は他の特性、の任意の数の組合せを用いて記載され得る。このようなフォーマットされたデータ及び/又は命令が具現化されるコンピュータ可読媒体は、限定ではないが、光、磁気、又は半導体記憶媒体のような、種々の形式の物理的(非一時的)不揮発性記憶媒体を含む。
1つ以上の実装が例として、特定の実施形態の観点で記載されたが、1つ以上の実装は、開示された実施形態に限定されないことが理解されるべきである。これに対して、これの実装は、当業者に明らかなように、種々の変形及び同様の構成をカバーすることを意図する。従って、添付の請求の範囲は、全部のこのような変形及び同様の構成を包含するように、最も広く解釈されるべきである。
<列挙される例示的な実施形態>
本発明は、限定ではないが、本発明の幾つかの部分の構造、特徴、及び機能を記載する以下の列挙される例示的な実施形態(Enumerated Example Embodiments (EEEs))を含む本願明細書に記載された形式のうちのいずれかにおいて具現化されてよい。
(EEE1)オーディオ処理の方法であって、
頭部搭載リスニング装置の動きを表す動きデータを受信するステップと、
前記動きデータを4元数領域に変換するステップと、
1つ以上のプロセッサによって、前記頭部搭載リスニング装置の将来の動きを予測するステップであって、変換された動きデータから角加速度データを作成し、前記角加速度データに1つ以上の平滑化フィルタを適用することを含み、予測した将来の動きは、前記4元数領域内の対応する軸の周りの回転角を含む、ステップと、
前記リスニング装置によって提示される音場が前記頭部搭載リスニング装置の予測された動きに従うように前記音場を調整するために、前記頭部搭載リスニング装置の予測された将来の動きをプロセッサに提供するステップと、
を含む方法。
(EEE2)前記予測するステップは、前記角加速度データに再帰線形平滑ニュートンフィルタを適用することを含む、EEE1に記載の方法。
(EEE3)前記予測するステップは、前記変換された動きデータから角速度データを作成することを含む、EEE1又は2に記載の方法。
(EEE4)前記角速度データを作成することは、前記作成した角速度データ及び角速度データに対応する変換された動きデータを使用することを含む、EEE3に記載の方法。
(EEE5)前記角加速度データを作成することは、前記作成した角速度データに数値微分を使用することを含む、EEE3又はEEE4記載の方法。
(EEE6)前記予測するステップは、前記作成した角速度の履歴から前記角速度のスライディングウィンドウ平均を決定することを含む、EEE1~5のいずれか一項に記載の方法。
(EEE7)前記スライディングウィンドウのサイズは、前記角加速度データによって決定される、EEE6に記載の方法。
(EEE8)前記角加速度データは、角速度変化値を作成するために積分される、EEE1~7のいずれか一項に記載の方法。
(EEE9)前記頭部搭載リスニング装置は、再生装置に無線接続された複数のイヤホンを含む、EEE1~8のいずれか一項に記載の方法。
(EEE10)前記予測するステップ及び提供するステップは、前記頭部搭載リスニング装置に前記音場を提供する装置の1つ以上のプロセッサによって実行される、EEE1~9のいずれか一項に記載の方法。
(EEE11)前記受信するステップ及び変換するステップは、前記頭部搭載リスニング装置に前記音場を提供する装置の1つ以上のプロセッサによって実行される、EEE10に記載の方法。
(EEE12)前記受信するステップ及び変換するステップは、前記頭部搭載リスニング装置の1つ以上のプロセッサによって実行される、EEE10に記載の方法。
(EEE13)システムであって、
1つ以上のプロセッサと、
命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、前記1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサにEEE1~12のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体と、
を含むシステム。
(EEE14)命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、前記1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサにEEE1~12のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読媒体。

Claims (14)

  1. オーディオ処理の方法であって、
    頭部搭載リスニング装置の動きを表す動きデータを受信するステップと、
    前記動きデータを4元数領域に変換するステップと、
    1つ以上のプロセッサによって、前記頭部搭載リスニング装置の将来の動きを予測するステップであって、変換された動きデータから角加速度データを作成し、前記角加速度データに1つ以上の平滑化フィルタを適用することを含み、予測した将来の動きは、前記4元数領域における対応する軸の周りの回転角を含む、ステップと、
    前記頭部搭載リスニング装置によって提示される音場が前記頭部搭載リスニング装置の予測された動きに従うように前記音場を調整するために、前記頭部搭載リスニング装置の予測された将来の動きをプロセッサに提供するステップと、
    を含む方法。
  2. 前記予測するステップは、前記角加速度データに再帰線形平滑ニュートンフィルタを適用することを含む、請求項1に記載の方法。
  3. 前記予測するステップは、前記変換された動きデータから角速度データを作成することを含む、請求項1に記載の方法。
  4. 前記角速度データを作成することは、前に作成した角速度データ及び角速度データに対応する変換された動きデータを使用することを含む、請求項3に記載の方法。
  5. 前記角加速度データを作成することは、前記作成した角速度データに数値微分を使用することを含む、請求項3に記載の方法。
  6. 前記予測するステップは、前記作成した角速度の履歴から前記角速度のスライディングウィンドウの平均を決定することを含む、請求項3に記載の方法。
  7. 前記スライディングウィンドウのサイズは、前記角加速度データによって決定される、請求項6に記載の方法。
  8. 前記角加速度データは、角速度変化値を作成するために積分される、請求項1に記載の方法。
  9. 前記頭部搭載リスニング装置は、再生装置に無線接続された複数のイヤホンを含む、請求項1に記載の方法。
  10. 前記予測するステップ及び提供するステップが、前記頭部搭載リスニング装置に前記音場を提供する装置の1つ以上のプロセッサによって実行される、請求項1に記載の方法。
  11. 前記受信するステップ及び変換するステップが、更に、前記頭部搭載リスニング装置に前記音場を提供する装置の1つ以上のプロセッサによって実行される、請求項10に記載の方法。
  12. 前記受信するステップ及び変換するステップは、前記頭部搭載リスニング装置の1つ以上のプロセッサによって実行される、請求項10に記載の方法。
  13. システムであって、
    1つ以上のプロセッサと、
    命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、前記1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに請求項1~12のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体と、
    を含むシステム。
  14. 命令を格納する非一時的コンピュータ可読媒体であって、前記命令は、1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに請求項1~12のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読媒体。
JP2023550201A 2021-03-19 2022-03-18 センサデータ予測 Active JP7585512B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN2021081747 2021-03-19
CNPCT/CN2021/081747 2021-03-19
US202163177441P 2021-04-21 2021-04-21
US63/177,441 2021-04-21
PCT/US2022/020840 WO2022197987A1 (en) 2021-03-19 2022-03-18 Sensor data prediction

Publications (2)

Publication Number Publication Date
JP2024508125A JP2024508125A (ja) 2024-02-22
JP7585512B2 true JP7585512B2 (ja) 2024-11-18

Family

ID=81328281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023550201A Active JP7585512B2 (ja) 2021-03-19 2022-03-18 センサデータ予測

Country Status (5)

Country Link
US (1) US20240147180A1 (ja)
EP (1) EP4309377A1 (ja)
JP (1) JP7585512B2 (ja)
CN (1) CN116941252A (ja)
WO (1) WO2022197987A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN121176040A (zh) * 2023-05-29 2025-12-19 索尼集团公司 信息处理装置、信息处理系统、信息处理方法和程序
WO2025235582A1 (en) * 2024-05-09 2025-11-13 Dolby Laboratories Licensing Corporation Rotation of sound fields

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015233252A (ja) 2014-06-10 2015-12-24 富士通株式会社 音声処理装置、音源位置制御方法及び音源位置制御プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001177889A (ja) * 1999-12-21 2001-06-29 Casio Comput Co Ltd 身体装着型音楽再生装置、及び音楽再生システム
US20080211768A1 (en) * 2006-12-07 2008-09-04 Randy Breen Inertial Sensor Input Device
GB2459012A (en) * 2008-03-20 2009-10-14 Univ Surrey Predicting the perceived spatial quality of sound processing and reproducing equipment
JP5361691B2 (ja) * 2009-12-11 2013-12-04 三菱電機株式会社 自動二輪車のバンク角推定装置及び方法
US9063330B2 (en) * 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
US9906636B2 (en) * 2014-02-23 2018-02-27 Hush Technology Inc. Intelligent earplug system
US20160077166A1 (en) * 2014-09-12 2016-03-17 InvenSense, Incorporated Systems and methods for orientation prediction
US9068843B1 (en) * 2014-09-26 2015-06-30 Amazon Technologies, Inc. Inertial sensor fusion orientation correction
US10979843B2 (en) * 2016-04-08 2021-04-13 Qualcomm Incorporated Spatialized audio output based on predicted position data
US10388027B2 (en) * 2016-06-01 2019-08-20 Kyocera Corporation Detection method, display apparatus, and detection system
KR102246836B1 (ko) * 2016-08-22 2021-04-29 매직 립, 인코포레이티드 가상, 증강, 및 혼합 현실 시스템들 및 방법들
US11202164B2 (en) * 2017-09-27 2021-12-14 Apple Inc. Predictive head-tracked binaural audio rendering
US10194259B1 (en) * 2018-02-28 2019-01-29 Bose Corporation Directional audio selection
CN108957510B (zh) * 2018-07-25 2022-05-24 南京航空航天大学 基于惯性/零速/gps的行人无缝组合导航定位方法
CN111523076B (zh) * 2020-03-24 2021-04-02 中国人民解放军军事科学院评估论证研究中心 基于Fal函数计算角加速度的方法、装置及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015233252A (ja) 2014-06-10 2015-12-24 富士通株式会社 音声処理装置、音源位置制御方法及び音源位置制御プログラム

Also Published As

Publication number Publication date
WO2022197987A1 (en) 2022-09-22
JP2024508125A (ja) 2024-02-22
US20240147180A1 (en) 2024-05-02
EP4309377A1 (en) 2024-01-24
CN116941252A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
JP6913326B2 (ja) 適応基準を用いた頭部追跡
JP7585512B2 (ja) センサデータ予測
CN110132271B (zh) 一种自适应卡尔曼滤波姿态估计算法
CN105892658B (zh) 基于头戴显示设备预测头部姿态的方法和头戴显示设备
US20210051420A1 (en) Method of operating a hearing device, and hearing device
CN108106614A (zh) 一种惯性传感器与视觉传感器数据融算法
JP4427551B2 (ja) ビデオデータを安定させるための方法及びシステム
CN120343415A (zh) 图像数据处理方法、图像采集设备及存储介质
CN120569983A (zh) 利用动态头部跟踪实现的空间化音频
KR20170092359A (ko) 회전 모션센서를 이용한 3축 자세정보 계측 시스템
KR102466996B1 (ko) 눈 위치 예측 방법 및 장치
CN119642804B (zh) 一种惯性测量单元的姿态角减抖方法、装置及遥控器
CN114322991B (zh) 设备的姿态检测方法、装置、电子设备及计算机存储介质
EP4402558B1 (en) Efficient orientation tracking with future orientation prediction
JP7622205B2 (ja) オブジェクトの向きを追跡するための方法、トラッカシステム、およびヘッドまたはヘルメットマウントディスプレイ
CN110827226B (zh) 骨骼点的平滑方法、装置和电子设备
WO2014179449A1 (en) Mapped variable smoothing evolution method and device
US11182930B2 (en) Head tracking with adaptive reference
JP2024044163A5 (ja) 撮像装置及びその制御方法
JP2017532642A (ja) 摂動因子存在下で入力の値を推定する方法及び装置
KR20230048105A (ko) 머리 제스처의 인식을 위한 장치 및 방법
US20250039628A1 (en) Audio processing
CN121560179B (zh) 一种基于自适应滤波与深度学习的高精度手柄交互方法
KR20210022354A (ko) 가상 현실 영상 제공 방법
CN120063286A (zh) 预测头戴显示设备定位的方法、设备、介质及程序产品

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230821

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241106

R150 Certificate of patent or registration of utility model

Ref document number: 7585512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150