JP7155643B2 - 情報処理装置、および情報処理方法、並びにプログラム - Google Patents

Description

本開示は、情報処理装置、および情報処理方法、並びにプログラムに関し、特に、多チャンネルの触覚データを低遅延で送受信できるようにした情報処理装置、および情報処理方法、並びにプログラムに関する。

送信デバイスから送信される触覚データを受信し、ジャケットなどに設けられた振動子を、触覚データに基づいた振動パターンで振動させることにより、ジャケットを装着したユーザに臨場感のある触感を楽しませる装置が提案されている（特許文献１参照）。

特開２０１８－０４５２７０号公報

ところで、特許文献１の技術において、より高い臨場感を与えるべく、ジャケットに、より多くの振動子を設けるようにすることが考えらえる。

しかしながら、振動子の数が増えると、ジャケットに送信される触覚データのチャンネル数が増大し、増大したチャンネル数分の触覚データの送信時間が増大する恐れがある。

本開示は、このような状況に鑑みてなされたものであり、特に、多チャンネルの触覚データを効率よく送受信できるようにするものである。

本開示の第１の側面の情報処理装置および情報処理方法、並びにプログラムは、入力触覚信号を、前記入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データに符号化する符号化部と、前記符号化データに基づく出力触覚信号により触覚提示を行う触覚提示部に触覚提示をさせる受信装置に、前記符号化データを送信する送信部とを含み、前記基底触覚信号のそれぞれを規定するパラメータは、前記基底触覚信号を識別するインデックス、前記基底触覚信号の再生タイミングのオフセットを規定するタイムコード、前記基底触覚信号を再生する全タイミングにおいてゲイン、前記基底触覚信号に基づいた触覚提示をする長さ、および前記基底触覚信号を再生する際のゲインの変化を示す包絡線を識別するインデックスを含む情報処理装置および情報処理方法、並びにプログラムである。

本開示の第１の側面においては、入力触覚信号が、前記入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データに符号化され、前記符号化データに基づく出力触覚信号により触覚提示を行う触覚提示部に触覚提示をさせる受信装置に、前記符号化データが送信され、前記基底触覚信号のそれぞれを規定するパラメータには、前記基底触覚信号を識別するインデックス、前記基底触覚信号の再生タイミングのオフセットを規定するタイムコード、前記基底触覚信号を再生する全タイミングにおいてゲイン、前記基底触覚信号に基づいた触覚提示をする長さ、および前記基底触覚信号を再生する際のゲインの変化を示す包絡線を識別するインデックスが含まれる。

本開示の第２の側面の情報処理装置および情報処理方法、並びにプログラムは、入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データを受信する受信部と、前記受信した符号化データに含まれる前記複数の基底触覚信号を規定するパラメータに基づいて、前記基底触覚信号を合成して出力触覚信号に復号する復号部とを含み、前記基底触覚信号のそれぞれを基底するパラメータは、前記基底触覚信号を識別するインデックス、前記基底触覚信号の再生タイミングのオフセットを規定するタイムコード、前記基底触覚信号を再生する全タイミングにおけるゲイン、前記基底触覚信号に基づいた触覚提示をする長さ、および前記基底触覚信号を再生する際のゲインの変化を示す包絡線を識別するインデックスを含む情報処理装置および情報処理方法、並びにプログラムである。

本開示の第２の側面においては、入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データが受信され、前記受信された符号化データに含まれる前記複数の基底触覚信号を規定するパラメータに基づいて、前記基底触覚信号が合成されて出力触覚信号に復号され、前記基底触覚信号のそれぞれを基底するパラメータには、前記基底触覚信号を識別するインデックス、前記基底触覚信号の再生タイミングのオフセットを規定するタイムコード、前記基底触覚信号を再生する全タイミングにおけるゲイン、前記基底触覚信号に基づいた触覚提示をする長さ、および前記基底触覚信号を再生する際のゲインの変化を示す包絡線を識別するインデックスが含まれる。

本開示の一側面によれば、多チャンネルの触覚データを効率よく送受信することが可能となる。

本開示の概要を説明する図である。 本開示の触覚データの符号化の概要を説明する図である。 本開示の触覚データの復号の概要を説明する図である。 本開示のコンテンツ再生システムの構成例を説明する図である。 ベスト型の触覚提示装置の構成例を説明する図である。 リストバンド型の触覚提示装置の構成例を説明する図である。 ポータブル機器型の触覚提示装置の構成例を説明する図である。 図４の送信装置の構成例を説明する図である。 図４の受信装置の構成例を説明する図である。 触覚データの符号化処理と復号処理を説明する図である。 触覚データの符号化処理と復号処理を説明する図である。 触覚データの符号化処理と復号処理を説明する図である。 多チャンネルの符号化データの表現方法を説明する図である。 多チャンネルの符号化データの表現方法を説明する図である。 多チャンネルの符号化データの表現方法を説明する図である。 再生処理を説明するフローチャートである。 触覚データ符号化処理を説明するフローチャートである。 触覚データ復号処理を説明するフローチャートである。 第１の変形例の再生処理を説明するフローチャートである。 第２の変形例の再生処理を説明するフローチャートである。 第３の変形例の再生処理を説明するフローチャートである。 機械学習を用いた触覚データ符号化処理を説明する図である。 機械学習を用いた触覚データ符号化処理を説明する図である。 学習装置の構成例を説明する図である。 機械学習を用いた触覚データ符号化処理を実現する送信装置の構成例を説明する図である。 図２４の学習装置による学習処理を説明するフローチャートである。 機械学習を用いた触覚データ符号化処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の概要
２．第１の実施の形態
３．第２の実施の形態
４．ソフトウェアにより実行させる例

＜＜１．本開示の概要＞＞
図１を参照して、本開示の概要について説明する。

図１は、本開示の触覚データを含めたコンテンツを再生するコンテンツ再生システムの構成の概要が示されている。

図１のコンテンツ再生システム１は、送信装置１０、受信装置１１、表示装置１２、およびユーザ２１により装着されるベスト型の触覚提示装置１３より構成され、それぞれは、図示しないが有線または無線からなる通信経路が確保されており、相互にデータを授受することができる。

送信装置１０は、動画データ、音声データおよび触覚データを含むコンテンツを受信装置１１に供給する。

受信装置１１は、動画データや音声データからなるコンテンツを表示装置１２に供給して、画像として表示させると共に音声として出力させることでユーザにコンテンツを視聴させる。また、同時に、受信装置１１は、触覚データをユーザ２１が装着する触覚提示装置１３に供給し、触覚データに対応した触覚提示を実現させる。

ベスト型の触覚提示装置１３は、ユーザ２１の体の各種の部位に対して密着する位置に、複数の振動部１３ａを備えており、受信装置１１より供給される振動部１３ａ毎の触覚データに基づいて、それぞれを独立して振動させて、それぞれユーザ２１の身体の対応する部位に触覚提示する（刺激を与える）。

同一のコンテンツに含まれる動画データ、音声データ、および触覚データは、いずれも対応したものである。このため、触覚提示装置１３を装着したユーザ２１は、表示装置１２により表示されるコンテンツの動画や音声を楽しみながら、コンテンツの流れに対応する触覚データに基づいた複数の振動部１３ａの触覚提示により、コンテンツの視聴を、より高い臨場感を持って楽しむことが可能となる。例えばユーザは表示される動画や音声コンテンツの再生経過時間と同期した触覚提示を楽しむことができる。

ところで、図１においては、触覚提示装置１３には、１０個の振動部１３ａが描かれているが、現実には、さらに多くの振動部１３ａが設けられることも考えられる。

振動部１３ａの数を増やすほど、より臨場感を高めることが可能となるが、触覚提示装置１３に供給される触覚データは、振動部１３ａの数に伴ってチャンネル数が増大することになる。このため、送信装置１０から受信装置１１に複数の振動部１３ａに対応する多チャンネルの触覚データを送信するための送信時間が増大する。

結果として、触覚データの送信時間の増大に伴って触覚提示装置１３の振動部１３ａが実際に振動して触覚提示がなされるタイミングが、画像や音声に対して遅延してしまう恐れがある。

したがって、振動部１３ａを増やし、触覚提示装置１３を装着したユーザ２１に対して、より臨場感を高めて表現できるようにするには、触覚データの送受信に係る時間を低減し、複数の振動部１３ａが動画や音声コンテンツに同期して適切なタイミングで触覚提示できるように遅延を抑制する必要がある。

＜触覚データの符号化の概要＞
そこで、本開示においては、触覚データに対応する触覚信号を、周波数分析、パターンマッチング、または機械学習に基づいて得られる推定器を用いた推定により、基底触覚信号群に分割し、分割結果を用いて、触覚データを符号化データに変換して、送受信する。この結果、触覚データは、分割された基底触覚信号を規定する簡単なパラメータで表現することができるので、データ量を圧縮することができ、多チャンネルの触覚データの送受信でも、触覚提示の遅延を抑制することができ、結果として、動画や音声コンテンツと同期して再生することが可能となる。

尚、本明細書において、触覚信号とは、触覚提示装置１３の振動部１３ａが振動することによって、発生される振動を表現する波形信号であり、触覚データは、触覚信号で表現される波形信号に対応する振動を振動部１３ａによって発生させるためのデータである。換言すれば、触覚データは、触覚信号に対応した波形信号の振動を実現させるために触覚提示装置１３の振動部１３ａに供給されるコマンドやパラメータとも考えることができる。従って、振動部１３ａは、触覚データに基づいて振動するが、その振動部１３ａに入力される波形信号及びその振動により生じる波形信号が、触覚信号である。同様に、表示装置１２は、画像データおよび音声データに基づいて、画像を表示すると共に音声を出力する。

また、基底触覚信号群とは、合成することで１つの触覚信号を生成可能な、基底となる複数の触覚信号の群である。例えば基底触覚信号群に属する複数の基底触覚信号のうち、任意の２つの基底触覚信号を抽出した場合、抽出された２つの基底触覚信号は相互に直交関係となる。

換言すれば、基底触覚信号群に属する基底触覚信号は、いずれも相互に独立しており、類似しておらず、すなわち、相互に重複することのない触覚信号である。

また、基底触覚信号群に属する基底触覚信号は、例えば、数百種類程度、予め用意され、同一の長さのものを含んでもよい。望ましくは様々な長さの特定の波形信号からなる触覚信号の群であり、相互に独立している触覚信号である。

所定の触覚データに対応する触覚信号ＴＳは、複数の基底触覚信号の和として表現することができ、例えば、図２で示されるように、基底触覚信号群に属する基底触覚信号ＢＴＳ１、基底触覚信号ＢＴＳ２、基底触覚信号ＢＴＳ３、・・・からなる分割情報ＤＩとして分割することができる。

尚、図２の分割情報ＤＩには、基底触覚信号ＢＴＳ１、基底触覚信号ＢＴＳ２、基底触覚信号ＢＴＳ３、・・・は、それぞれ１種類の基底触覚信号が１個ずつ存在する場合が表現されているが、同一の基底触覚信号が複数に存在することもある。

また、基底触覚信号は、所定時間における特定の波形信号からなる触覚信号であるが、触覚信号ＴＳが分割された分割情報ＤＩにおいては、基底触覚信号のそれぞれに対して振幅の増減となるゲインや、時間方向のオフセットなどが掛けられた状態で分割されることもある。

本開示においては、分割情報Ｄ１に含まれる基底触覚信号ＢＴＳ１、基底触覚信号ＢＴＳ２、基底触覚信号ＢＴＳ３、・・・のそれぞれに対して、それぞれの基底触覚信号を識別するインデックス、それぞれに対して掛けられているゲインや時間方向のオフセットなどからなるパラメータを用いることで、触覚信号を符号化する。

より詳細には、分割情報Ｄ１に含まれる基底触覚信号ＢＴＳ１、基底触覚信号ＢＴＳ２、基底触覚信号ＢＴＳ３、・・・のそれぞれを、基底触覚信号インデックス、ゲイン、オフセット（タイムコード）、および（時間の）長さ等のパラメータで表現すると共に、合成して合成情報ＭＩを生成する。本開示では、この合成情報ＭＩを、触覚信号ＴＳの符号化データとする。

ここで、基底触覚信号インデックスは、対象となる基底触覚信号の識別子である。ゲインは、対象となる基底触覚信号の全期間において付加されるゲインである。オフセット（タイムコード）は、対象となる基底触覚信号に基づいた振動部１３ａによる触覚提示が開始される所定のタイミングからのオフセット時間であり、長さは、対象となる基底触覚信号の長さ（時間）である。

このように、本開示においては、触覚信号ＴＳが、基底触覚信号群に基づいて分割されて、分割された基底触覚信号毎のパラメータが用いられて符号化されることにより、任意の触覚データに対応する触覚信号ＴＳが基底触覚信号群に基づいた合成情報ＭＩからなる符号化データに圧縮される。

＜触覚データの復号の概要＞
符号化データの触覚データへの復号は、上述した符号化方法と逆の処理をすることで実現される。

すなわち、符号化データは、分割情報Ｄ１に含まれる基底触覚信号ＢＴＳ１、基底触覚信号ＢＴＳ２、基底触覚信号ＢＴＳ３、・・・のそれぞれの、基底触覚信号インデックス、ゲイン、オフセット、および長さ等のパラメータが合成された合成情報ＭＩである。そこで、合成情報ＭＩである符号化データを分割して、予め記憶されている基底触覚信号ＢＴＳ１、基底触覚信号ＢＴＳ２、基底触覚信号ＢＴＳ３、・・・のそれぞれを規定するパラメータが抽出されると共に、抽出されたパラメータに基づいた処理が、基底触覚信号ＢＴＳ１、基底触覚信号ＢＴＳ２、基底触覚信号ＢＴＳ３、・・・に施されることで分割情報ＤＩが復元される。

さらに、パラメータにより分割情報ＤＩとして復元された基底触覚信号ＢＴＳ１、基底触覚信号ＢＴＳ２、基底触覚信号ＢＴＳ３、・・・のそれぞれの波形信号を加算することで、元の触覚信号ＴＳ’（触覚信号ＴＳに近い触覚信号ＴＳ’）が復元され、復元された触覚信号ＴＳ’に基づいて触覚データが生成される。

すなわち、触覚信号ＴＳは、基底触覚信号群に基づいて分割情報ＤＩとされ、分割情報ＤＩを構成する基底触覚信号毎に規定されるパラメータが用いられて合成情報ＭＩとして符号化され、符号化データである合成情報ＭＩから分割情報ＤＩが復元されて、触覚信号ＴＳ’が復元されるので、触覚データを高効率に圧縮して送受信することが可能となる。

結果として、多チャンネルの触覚データを送受信するようにしても、一連の処理を高速で実現することが可能となり、複数の振動部１３ａを振動させる構成にしても、振動させるタイミングの遅延を抑制することが可能となるので、動画や音声コンテンツと同期させて振動させることが可能となる。

尚、再生する触覚データによりなされる触覚提示のクオリティや、触覚提示装置１３の処理能力に応じて、基底触覚信号群に属する基底触覚信号の種類を増減させたり、基底触覚信号の長さを調整するようにしてもよい。

すなわち、触覚提示装置１３の処理能力が高く、触覚データによりなされる触覚提示のクオリティを高くできるような場合、基底触覚信号群に含まれる基底触覚信号の種類を多くするようにしたり、基底触覚信号の長さを短くするようにするようにしてもよい。このようにすることで、より多くの種類の基底触覚信号に分割することができるので、処理負荷は高いがハイクオリティな多チャンネルの触覚データでも高速で送受信することが可能となり、触覚提示の遅延を抑制することが可能となる。

逆に、触覚提示装置１３の処理能力が低く、触覚データによりなされる触覚提示のクオリティを低くしてでも高速処理を優先したい場合、基底触覚信号群に含まれる基底触覚信号の数を少なくしたり、基底触覚信号の長さを長くするようにしてもよい。このようにすることで、分割すべき基底触覚信号の種別が少なくなり、処理負荷を低減することが可能となり、処理能力の低い触覚提示装置１３であっても多チャンネルの触覚データを高速に送受信することが可能となり、触覚提示の遅延を抑制することが可能となる。

尚、符号化前の触覚信号ＴＳと、符号化された後、復元された触覚信号ＴＳ’は、厳密には異なる信号となる場合がある。これは、入力された触覚信号ＴＳが分割情報ＤＩに分割される際、有限の基底触覚信号群により分割されることになるためであり、分割情報ＤＩを用いて触覚信号を復元しても、完全な触覚信号ＴＳとはならない場合があるからであり、この場合、触覚信号ＴＳに近い触覚信号ＴＳ’が再現されるためである。

そこで、以降においては、触覚信号について、符号化前と符号化後で、特に区別が必要な場合、入力された符号化前の触覚信号を入力触覚信号と称し、符号化後に復元されて出力される触覚信号を出力触覚信号とも称する。また、同様に、必要に応じて、入力触覚信号に対応する触覚データを入力触覚データとも称し、出力触覚信号に対応する触覚データを出力触覚データとも称する。

＜＜２．第１の実施の形態＞＞
＜コンテンツ配信システムの構成例＞
次に、図４を参照して、本開示の画像データ、音声データ、および触覚データを含めたコンテンツを再生するコンテンツ再生システムの構成例について説明する。

図４のコンテンツ再生システム４１は、送信装置５１、受信装置５２、触覚提示装置５３、および表示装置５４より構成される。

送信装置５１は、図１の送信装置１０に対応する構成であり、無線通信、または、有線通信などにより構成されるLAN（Local Area Network）に代表されるネットワークを介して、受信装置５２に対して、画像データ、および音声データに加えて、触覚データを含むコンテンツのデータを送信する。

受信装置５２は、図１の受信装置１１に対応する構成であり、ブルートゥース（登録商標）等の近距離通信、若しくはWiFi等の無線通信、または、有線通信などにより構成されるLAN（Local Area Network）に代表されるネットワークを介して、触覚提示装置５３に対して、コンテンツデータに含まれる触覚データを送信し、触覚データに応じて振動部などからなる触覚提示部５３ａ－１乃至５３ａ－ｎを振動させることにより触覚提示する。

また、受信装置５２は、WiFi等の無線通信、または、有線通信を介して、表示装置５４にコンテンツデータに含まれる、画像データ、および音声データを表示装置５４に出力して表示させると共に音声として出力させる。

触覚提示装置５３は、例えば、図１の触覚提示装置１３に対応する構成であり、振動部１３ａに対応する複数の触覚提示部５３ａ－１乃至５３ａ－ｎを備えた構成である。触覚提示装置５３は、ユーザに装着されることで、触覚提示部５３ａ－１乃至５３ａ－ｎがユーザの身体の所定の部位に接触する構成とされている。尚、以降において、触覚提示部５３ａ－１乃至５３ａ－ｎを特に区別する必要がない場合、単に、触覚提示部５３ａと称するものとし、それ以外の構成も同様に称する。

触覚提示装置５３は、受信装置５２より供給される、コンテンツの再生状態に対応する触覚データに基づいて、複数の触覚提示部５３ａを振動させて、ユーザの体の所定の部位への触覚提示を実行し、所定の刺激を与える。この結果、ユーザは、表示装置５４で再生されているコンテンツを視聴するとき、再生されるシーンに応じて、触覚提示部５３ａ－１乃至５３ａ－ｎから体の所定の部位に触覚提示がなされることで、臨場感のあるコンテンツの視聴を楽しむことが可能となる。

尚、ここでは、触覚提示部５３ａは、時系列に振動を発生してユーザの所定の部位に対して刺激を与える振動部を例として説明を進めるものとするが、触覚データに基づいて動作するものであれば、それ以外であってもよく、例えば、筋電気刺激や圧力を時系列に掛けるものであってもよい。

表示装置５４は、図１の表示装置１２に対応するものであり、LCD（Liquid Crystal Display）や有機EL（Electro Luminescence:）からなるディスプレイであり、また、スピーカを備えている。表示装置５４は、受信装置５２から供給される画像データに基づいて画像を表示すると共に、音声データに基づいて音声を出力する。

＜触覚提示装置の構成例＞
（ベスト型の触覚提示装置について）
触覚提示装置５３は、例えば、図５で示されるようなベスト型の触覚提示装置５３Ａであってもよい。

図５のベスト型の触覚提示装置５３Ａには、ユーザの体の前面の部位に対して振動により触覚提示を行う触覚提示部５３ａ－１１乃至５３ａ－１６が設けられている。

これらの触覚提示部５３ａ－１１乃至５３ａ－１６は、例えばピエゾ素子アクチュエータなどからなり、受信装置５２より供給された触覚信号に基づいて振動することで、ユーザに対して振動刺激による触覚提示を行う。

（リストバンド型の触覚提示装置について）
また、触覚提示装置５３は、例えば、図６で示されるようにリストバンド型の触覚提示装置５３Ｂとすることもできる。

図６の触覚提示装置５３Ｂは、ユーザの手首近傍の部分に装着される。

触覚提示装置５３Ｂは、触覚提示部５３ａ－２１乃至５３ａ－２４が設けられており、振動することで触覚を提示する機能を有するリストバンド型のデバイスとなっている。

この触覚提示装置５３Ｂには、ユーザの手首近傍の部分に対して振動により触覚提示を行う触覚提示部５３ａ－２１乃至５３ａ－２４が設けられている。

これらの触覚提示部５３－２１乃至５３－２４は、例えばピエゾ素子アクチュエータなどからなり、供給された触覚信号に基づいて振動することで、ユーザに対して振動刺激による触覚提示を行う。

（ポータブル機器型の触覚提示装置について）
さらに、触覚提示装置５３は、例えば、図７に示すようにゲーム機器等のポータブル機器型の触覚提示装置５３Ｃとすることもできる。この場合、触覚提示装置５３に対する表示装置５４とを一体化した構成とするようにしてもよい。

すなわち、図７で示されるように、触覚提示装置５３Ｃは、ユーザが手で持った状態で操作されるポータブル機器とされている。例えばユーザは触覚提示装置５３Ｃの両端を手で持ち、液晶表示パネル等の表示装置５４と同様に機能する表示部Ｄに表示されるコンテンツの画像を見たり、図示せぬスピーカやヘッドフォンなどから出力される音声を聞きながら、触覚提示装置５３Ｃに設けられたボタンＢ１乃至Ｂ４を操作することでゲーム等を行う。

この触覚提示装置５３Ｃの内部の端部分には、表示部Ｄに表示されたコンテンツの画像や出力される音声に応じてユーザに対して触覚提示を行うための触覚提示部５３ａ－３１，５３ａ－３２が設けられている。

これらの触覚提示部５３ａ－３１，５３ａ－３２は、例えばピエゾ素子アクチュエータなどからなり、受信装置５２より供給された触覚データに基づいて振動することで、ユーザに対して振動刺激による触覚提示を行う。なお、図５乃至図７に示した例において、触覚提示装置５３として振動刺激とは異なるカテゴリの触覚提示を行うための触覚提示装置５３が設けられていてもよい。

＜送信装置の構成例＞
次に、図８を参照して、送信装置５１の構成例について説明する。

送信装置５１は、制御部７１、通信部７２、記憶部７３、入力部７４、出力部７５、ドライブ７６、およびリムーバブル記憶媒体７７より構成されており、相互にバス７８を介して接続されており、データやプログラムを送受信することができる。

制御部７１は、プロセッサやメモリから構成されており、送信装置５１の動作の全体を制御する。制御部７１は、コンテンツ処理部９１、および触覚データ処理部９２を備えている。

コンテンツ処理部９１は、記憶部７３に記憶されている画像データ、音声データ、および触覚データを含むコンテンツデータを読み出し、通信部７２を制御して、受信装置５２に送信する。この際、コンテンツ処理部９１は、触覚データを、触覚データ処理部９２に供給し、符号化データに変換させた後、変換された符号化データと、画像データおよび音声データとを併せて受信装置５２に送信させる。

触覚データ処理部９２は、符号化部１０１を備えており、コンテンツ処理部９１より供給されるコンテンツデータのうちの触覚データを入力触覚データとして符号化データに変換させて、コンテンツ処理部９１に出力する。尚、符号化部１０１による触覚データの符号化方法については、図１０，図１１を参照して詳細を後述する。

通信部７２は、制御部７１により制御され、有線（または無線（図示せず））により、LAN（Local Area Network）などに代表される通信ネットワークを介して、受信装置５２との間で各種のデータやプログラムを送受信する。

記憶部７３は、制御部７１により制御され、HDD（Hard Disk Drive）、SSD（Solid State Drive）、または、半導体メモリなどからなり、コンテンツデータを含む各種のデータおよびプログラムを書き込む、または、読み出す。

入力部７４は、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスより構成され、入力された各種の信号を制御部７１に供給する。

出力部７５は、制御部７１により制御され、供給される処理操作画面や処理結果の画像を図示せぬ表示デバイスに出力して表示する。

ドライブ７６は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体７７に対してデータを読み書きする。

＜受信装置の構成例＞
次に、図９を参照して、受信装置５２の構成例について説明する。

受信装置５２は、制御部１３１、通信部１３２、記憶部１３３、入力部１３４、出力部１３５、ドライブ１３６、およびリムーバブル記憶媒体１３７より構成されており、相互にバス１３８を介して接続されており、データやプログラムを送受信することができる。

制御部１３１は、プロセッサやメモリから構成されており、受信装置５２の動作の全体を制御する。制御部１３１は、コンテンツ処理部１５１、および触覚データ処理部１５２を備えている。

コンテンツ処理部１５１は、通信部１３２を介して送信装置５１より供給されてくる画像データ、音声データ、および入力触覚データが符号化された符号化データを含むコンテンツデータを取得する。そして、コンテンツ処理部１５１は、通信部１３２を制御して、画像データ、および音声データを表示装置５４に出力して画像として表示させると共に音声として出力させる。また、コンテンツ処理部１５１は、符号化データを触覚データ処理部１５２に供給し、出力触覚データとして復元させた後、出力触覚データを触覚提示装置５３に供給して、出力触覚データに基づいて触覚提示部５３ａにより触覚提示させる。

触覚データ処理部１５２は、復号部１６１を備えており、コンテンツ処理部１５１より供給される符号化データを復号して、元の触覚データである入力触覚データに対応する出力触覚データとして復元させて、コンテンツ処理部１５１に出力する。尚、復号部１６１による符号化データの出力触覚データへの復元方法については、図１０，図１１を参照して詳細を後述する。

通信部１３２は、制御部１３１により制御され、有線（または無線（図示せず））により、LAN（Local Area Network）などに代表される通信ネットワークを介して、送信装置５１との間で各種のデータやプログラムを送受信する。

記憶部１３３は、制御部１３１により制御され、HDD（Hard Disk Drive）、SSD（Solid State Drive）、または、半導体メモリなどからなり、コンテンツデータを含む各種のデータおよびプログラムを書き込む、または、読み出す。また、記憶部１３３には、復号部１６１が、符号化データを復号する際に必要とされる基底触覚信号群の情報が記憶されている。

入力部１３４は、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスより構成され、入力された各種の信号を制御部１３１に供給する。

出力部１３５は、制御部１３１により制御され、供給される処理操作画面や処理結果の画像を図示せぬ表示デバイスに出力して表示する。

ドライブ１３６は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１３７に対してデータを読み書きする。

＜触覚データの符号化方法および復号方法＞
次に、図１０を参照して、触覚データの符号化方法および復号方法について説明する。

１個の触覚提示部５３ａを振動させるための入力触覚データに基づいた入力触覚信号が、例えば、図１０の右部で示されるような振動波形からなる入力触覚信号である場合について考える。

符号化部１０１は、図１０の右部で示されるような入力触覚信号を、周波数分析、またはパターンマッチング等により、図１０の左部で示されるように、基底触覚信号群に属する複数の基底触覚信号に分割し、分割情報を生成する。

図１０の左部においては、３種類の基底触覚信号ＢＴＳ１乃至ＢＴＳ３に分割されており、それぞれのオフセット（タイムコード）が求められている。

より詳細には、図１０の右部の時刻ｔ１乃至ｔ５１の波形については、図１０の左部における基底触覚信号ＢＴＳ１－１，ＢＴＳ２－１，ＢＴＳ３－１に分割されて、図１０の右部の時刻ｔ２２乃至ｔ５２の波形については、図１０の左部における基底触覚信号ＢＴＳ３－２，ＢＴＳ３－３，ＢＴＳ２－２，ＢＴＳ１－２，ＢＴＳ１－３に分割される。

すなわち、基底触覚信号ＢＴＳ１については、時刻ｔ１乃至ｔ３のそれぞれのオフセット（タイムコード）されたタイミングが、基底触覚信号ＢＴＳ１－１乃至ＢＴＳ１－３の開始タイミングとされている。

また、基底触覚信号ＢＴＳ２については、時刻ｔ１１，ｔ１２のそれぞれのオフセット（タイムコード）されたタイミングが、基底触覚信号ＢＴＳ２－１，ＢＴＳ２－２の開始タイミングとされている。

さらに、基底触覚信号ＢＴＳ３については、時刻ｔ２１乃至ｔ２３のそれぞれのオフセットタイミングにおいて、基底触覚信号ＢＴＳ３－１乃至ＢＴＳ３－３が開始タイミングとされている。

符号化部１０１は、図１０の左部で求められるような分割結果に基づいて、符号化データを生成する。

すなわち、符号化部１０１は、図１０の左部で求められるような分割結果に基づいて、例えば、基底触覚信号を識別する基底触覚信号インデックス、それぞれの基底触覚信号のオフセット（タイムコード）、および長さの情報からなる基底触覚信号に係るパラメータを符号化する。

ここで、基底触覚信号インデックスは、基底触覚信号ＢＴＳ１乃至ＢＴＳ３が３種類であるので、符号化部１０１は、基底触覚信号のそれぞれを対応する１，２，３のいずれかをパラメータとして用いる。

また、オフセット（タイムコード）は、図１０の左部の場合については、時刻ｔ１乃至ｔ３，ｔ１１，ｔ１２，ｔ２１，ｔ２２，ｔ２３のいずれかであるので、符号化部１０１は、対応するオフセットを示すタイムコードをパラメータとして用いる。

さらに、基底触覚信号ＢＴＳ１乃至ＢＴＳ３は、それぞれ予め決められた長さＴ１乃至Ｔ３であるので、符号化部１０１は、その情報をパラメータとして用いる。

結果として、図１０の左部においては、例えば、基底触覚信号ＢＴＳ１－１の場合、符号化部１０１は、（基底触覚信号インデックス、基底触覚信号のオフセットを示すタイムコード、および長さ）＝（１，ｔ１，Ｔ１）のように符号化する。

同様に、基底触覚信号ＢＴＳ１－２，ＢＴＳ１－３の場合、符号化部１０１は、それぞれ（基底触覚信号インデックス、基底触覚信号のオフセットタイミングを示すタイムコード、および長さ）＝（１，ｔ２，Ｔ１），（１，ｔ３，Ｔ１）のように符号化する。

また、基底触覚信号ＢＴＳ２－１，ＢＴＳ２－２の場合、それぞれ（基底触覚信号インデックス、基底触覚信号のオフセットを示すタイムコード、および長さ）＝（２，ｔ１１，Ｔ２），（２，ｔ１２，Ｔ２）のように符号化される。

さらに、基底触覚信号ＢＴＳ３－１乃至ＢＴＳ３－３の場合、それぞれ（基底触覚信号インデックス、基底触覚信号のオフセットを示すタイムコード、および長さ）＝（３，ｔ２１，Ｔ３），（３，ｔ２２，Ｔ３），（３，ｔ２３，Ｔ３）のように符号化される。

そして、符号化部１０１は、このように基底触覚信号毎に求められた符号化結果を、加算して合成することにより、入力触覚データに対応する入力触覚信号の符号化データを生成する。すなわち、図１０の左部で示されるような入力触覚信号の分割情報により、例えば、（１，ｔ１，Ｔ１），（１，ｔ２，Ｔ１），（１，ｔ３，Ｔ１），（２，ｔ１１，Ｔ２），（２，ｔ１２，Ｔ２），（３，ｔ２１，Ｔ３），（３，ｔ２２，Ｔ３）のような、複数の基底触覚信号に対する符号化結果が合成されて、入力触覚信号の符号化データが生成される。

この一連の処理により、入力触覚データに対応する入力触覚信号が符号化データに変換される。

一方、復号部１６１は、上述した入力触覚データを符号化データに変換した処理と逆の処理により符号化データを出力触覚データに変換する。

すなわち、復号部１６１は、上述した様に生成された符号化データ（１，ｔ１，Ｔ１），（１，ｔ２，Ｔ１），（１，ｔ３，Ｔ１），（２，ｔ１１，Ｔ２），（２，ｔ１２，Ｔ２），（３，ｔ２１，Ｔ３），（３，ｔ２２，Ｔ３）が供給されると、合成されている複数の符号化データを分解し、それぞれの基底触覚信号を復元する。

すなわち、例えば、（１，ｔ１，Ｔ１）は、基底触覚信号インデックスが１であり、基底触覚信号のオフセットタイミングを示すタイムコードがｔ１であり、長さがＴ１であるので、復号部１６１は、記憶部１３３に記憶されている基底触覚信号群のうち、基底触覚信号インデックスが１となる基底触覚信号を読み出して、オフセット＝ｔ１に対応する処理を加えて、図１０の左部における基底触覚信号ＢＴＳ１－１を復元する。

同様に、復号部１６１は、（１，ｔ２，Ｔ１），（１，ｔ３，Ｔ１），（２，ｔ１１，Ｔ２），（２，ｔ１２，Ｔ２），（３，ｔ２１，Ｔ３），（３，ｔ２２，Ｔ３），（３，ｔ２３，Ｔ３）の符号化データに基づいて、基底触覚信号ＢＴＳ１－２，ＢＴＳ１－３，ＢＴＳ２－１，ＢＴＳ２－２，ＢＴＳ３－１，ＢＴＳ３－２，ＢＴＳ３－３のそれぞれを、図１０の左部で示されるような信号波形からなる出力触覚信号として復元する。

そして、復号部１６１は、図１０の左部のように求められた復元結果の信号波形を加算して合成することにより、図１０の右部で示されるような、最終的な出力触覚信号の信号波形を復元し、対応する出力触覚データを生成する。より詳細には、図１０の左部で示される基底触覚信号ＢＴＳ１－１，ＢＴＳ２－１，ＢＴＳ３－１が加算されて、図１０の右部における時刻ｔ１乃至ｔ５１で示されるような波形からなる出力触覚信号が復元される。また、図１０の左部で示される基底触覚信号ＢＴＳ３－２，ＢＴＳ３－３，ＢＴＳ２－２，ＢＴＳ１－２，ＢＴＳ１－３が加算されて、図１０の右部における時刻ｔ２２乃至ｔ５２で示されるような波形からなる出力触覚信号が復元される。

以上のような符号化処理、および復号処理により、所定数の基底触覚信号毎のパラメータを用いて表現するだけでよくなるので、触覚データに基づいた触覚信号の波形を、時系列に時刻と波形値とを対応付けて１点ずつデータ化する従来の触覚データよりも高効率に圧縮することが可能となる。

これにより、多チャンネルの触覚データを送受信しても、効率よく送受信することができるので、送受信に係る時間を短縮させることが可能になる。

結果として、多チャンネルの触覚データを送受信するようにしても、送受信に係る時間を低減させることが可能となるので、多チャンネルの触覚データを送受信しても触覚提示に係る遅延の発生を抑制することが可能となり、画像や音声コンテンツと同期して触覚提示することが可能となる。

＜符号化データにおけるパラメータの追加＞
以上においては、符号化データのパラメータとして、基底触覚信号インデックス、基底触覚信号のオフセットを示すタイムコード、および長さが用いられてきたが、さらに、基底触覚信号にアレンジを加えるパラメータを追加するようにしてもよい。

例えば、基底触覚信号の長さで規定される時間内におけるゲインの変化を様々な包絡線で表現し、包絡線の種類をインデックスとしたパラメータを設定するようにしてもよい。

また、例えば、基底触覚信号の長さで規定される全時間内における一定のゲインの変化をパラメータとして設定するようにしてもよい。

すなわち、基底触覚信号の長さで規定される時間内におけるゲインの変化を表現する包絡線とは、例えば、図１１の左部で示されるような包絡線ＥＶ１乃至ＥＶ４である。

包絡線ＥＶ１は、基底触覚信号の長さで既定される時刻ｔｓ乃至ｔｅからなる時間内において、時刻ｔｓ，ｔｅにおいてゲインがゼロとなるが、その間においては基底触覚信号に対して一定のゲインが維持されることを表現している。

包絡線ＥＶ２は、基底触覚信号の長さで既定される時刻ｔｓ乃至ｔｅからなる時間内において、中間時刻ｔｈまでは一定の割合でゲインが上昇し、中間時刻ｔｈ以降は一定の割合でゲインが下降することを表現している。

包絡線ＥＶ３は、基底触覚信号の長さで既定される時刻ｔｓ乃至ｔｅからなる時間内において、中間時刻ｔｈまでは下に凸の波形変化でゲインが上昇し、中間時刻ｔｈ以降は下に凸の波形変化でゲインが下降することを表現している。

包絡線ＥＶ４は、基底触覚信号の長さで既定される時刻ｔｓ乃至ｔｅからなる時間内において、中間時刻ｔｈまでは上に凸の波形変化でゲインが上昇し、中間時刻ｔｈ以降は上に凸の波形変化でゲインが下降することを表現している。

このように包絡線を設定することにより、基底触覚信号のフェードイン、およびフェードアウトを規定することが可能となり、基底触覚信号間の重なり合う部分の割合を適切に表現することが可能となる。

例えば、図１２の左上部で示されるように、基底触覚信号ＢＴＳ１に対して、包絡線ＥＶ２が適用され、全時間帯におけるゲインが０であり、オフセットとなるタイムコードが０である場合、基底触覚信号ＢＴＳ１は、包絡線ＥＶ２により波形全体が上下方向に凸の三角形状に変化して、図１２の中央部の波形で示される基底触覚信号ＢＴＳ１’とされる。

また、例えば、図１２の左下部で示されるように、基底触覚信号ＢＴＳ２に対して、包絡線ＥＶ４が適用され、全時間帯におけるゲインが－６ｄＢであり、オフセットとなるタイムコードが０．５である場合、基底触覚信号ＢＴＳ２は、包絡線ＥＶ４により波形全体が上下方向に凸の曲線状に変化すると共に、全体として波形の波高が小さくなり、さらに、時間方向に０．５だけオフセットされることにより、図１２の中央部の波形で示される基底触覚信号ＢＴＳ２’とされる。

図１２の中央部における基底触覚信号ＢＴＳ１’と基底触覚信号ＢＴＳ２’とが合成されることにより、図１２の右部で示されるような合成波形が得られる。

従って、ゲイン、および包絡線を規定するパラメータを用いるようにすることで、有限の基底触覚信号を組み合わせて表現する触覚信号のバリエーションを広げることが可能となり、より繊細な触覚提示が可能となる。

尚、以降において、触覚信号に対応する触覚データの符号化に当たっては、符号化データとして、基底触覚信号毎に、基底触覚信号インデックス、（基底触覚信号のオフセットタイミングを示す）タイムコード、ゲイン、長さ、包絡線インデックスをパラメータとするものとして説明を進める。

＜多チャンネルの触覚信号の表現＞
以上においては、１個の触覚提示部５３ａの触覚データに対する符号化データについて説明してきたが、現実には、触覚提示部５３ａは複数に存在するため、符号化データは、複数の触覚提示部５３ａのそれぞれに対して１チャンネルずつ符号化データが求められる。

すなわち、ｎ個の触覚提示部５３ａ－１乃至５３ａ－ｎが設けられる場合、図１３で示されるように、ｎチャンネル分の符号化データが求められる。

図１３においては、最上段に触覚提示部５３ａ－１の符号化データとして、触覚提示部１ｃｈの符号化データが記載されており、（基底触覚信号インデックス１，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックス２，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックス３，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックスｍ，タイムコード，ゲイン，長さ，包絡線インデックス）とされている。

また、２段目には、触覚提示部５３ａ－２の符号化データとして、触覚提示部２ｃｈの符号化データが記載されており、（基底触覚信号インデックス１，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックス２，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックス３，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックスｍ，タイムコード，ゲイン，長さ，包絡線インデックス）とされている。

そして、ｎ段目には、触覚提示部５３ａ－ｎの符号化データとして、触覚提示部１ｃｈの符号化データが記載されており、（基底触覚信号インデックス１，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックス２，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックス３，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックスｍ，タイムコード，ゲイン，長さ，包絡線インデックス）とされている。

すなわち、触覚提示部５３ａ毎に各チャンネルについて、基底触覚信号インデックス１乃至ｍのそれぞれの符号化データが設定される。

また、符号化データのうち、パラメータが他のチャンネルと同一であるような場合については、他のチャンネルと同一であることを示す情報を付して、パラメータを記載しないようにしてもよい。

すなわち、例えば、触覚提示部２ｃｈにおける、基底触覚信号インデックス２のタイムコードが、基底触覚信号インデックス１のタイムコードと同一であるような場合については、図１４で示されるように、（基底触覚信号インデックス２，1ch，ゲイン，1ch（tx→ty），包絡線インデックス）と記載し、タイムコードの情報が，触覚提示部１ｃｈと同一であると共に、基底触覚信号の長さが1chと同じであって、同一の範囲が時刻tx乃至tyの範囲であることを表現するようにしてもよい。

また、基底触覚信号インデックスｍのゲインが触覚提示部１ｃｈにおけるゲインより５ｄＢ高いような場合については、図１４で示されるように、（基底触覚信号インデックスｍ，タイムコード、1ch+5，長さ，包絡線インデックス）と記載し、ゲインが触覚提示部１ｃｈにおけるゲインに対して５ｄＢ高いことを表現するようにしてもよい。

さらに、触覚提示部５３ａ－１乃至５３ａ－ｎの符号化データから、基準となる触覚提示基準符号を設定し、各チャンネルの符号化データについては、触覚提示基準符号との差分を符号化データとするようにしてもよい。

触覚提示基準符号は、例えば、図１５の最上段で示されるように、（基底触覚信号インデックス１，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックス２，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックス３，タイムコード，ゲイン，長さ，包絡線インデックス），・・・（基底触覚信号インデックスｍ，タイムコード，ゲイン，長さ，包絡線インデックス）の符号化データから構成される。この符号化データは、例えば、触覚提示部５３ａ－１乃至５３ａ－ｎの符号化データのそれぞれのパラメータの平均値、最小値、または最大値などの値が設定されてもよい。

そして、各チャンネルの触覚提示部５３ａの符号化データは、その差分が設定される。

すなわち、図１５の上から２段目で示されるように、触覚提示部１ｃｈで示される触覚提示部５３ａ－１の符号化データは、（基底触覚信号インデックス１，+5、-2，0，-2），・・・（基底触覚信号インデックス２，-4、0，+110，-2），・・・（基底触覚信号インデックスｍ，+1、-10，0，+1）の符号化データから構成される。

この場合、触覚提示部１ｃｈで示される触覚提示部５３ａ－１の符号化データは、基底触覚信号インデックス１の符号化データのタイムコードが触覚提示基準符号に対して+5msであり、ゲインが触覚提示基準符号に対して-2dBであり、長さが触覚提示基準符号に対して同一であり、包絡線インデックスが触覚提示基準符号に対して-2であることが表されている。

また、基底触覚信号インデックス２の符号化データは、タイムコードが触覚提示基準符号に対して-4msであり、ゲインが触覚提示基準符号に対して同一であり、長さが触覚提示基準符号に対して+110msであり、包絡線インデックスが触覚提示基準符号に対して-2であることが表されている。

さらに、基底触覚信号インデックスｍの符号化データは、タイムコードが触覚提示基準符号に対して+1msであり、ゲインが触覚提示基準符号に対して-10dBであり、長さが触覚提示基準符号に対して同一であり、包絡線インデックスが触覚提示基準符号に対して+1であることが表されている。

また、図１５の上から３段目で示されるように、触覚提示部２ｃｈで示される触覚提示部５３ａ－１の符号化データは、いずれも0であるので、触覚提示基準符号と同一であることが表されている。

さらに、図１５の最下段で示されるように、触覚提示部ｎｃｈで示される触覚提示部５３ａ－ｎの符号化データは、（基底触覚信号インデックス１，+6、-10，110，+2），・・・（基底触覚信号インデックス２，+4、0，+20，-5），・・・（基底触覚信号インデックスｍ，0、-60，+2，-1）の符号化データから構成される。

この場合、触覚提示部ｎｃｈで示される触覚提示部５３ａ－ｎの符号化データは、基底触覚信号インデックス１の符号化データのタイムコードが触覚提示基準符号に対して+6msであり、ゲインが触覚提示基準符号に対して-10dBであり、長さが触覚提示基準符号に対して+110msであり、包絡線インデックスが触覚提示基準符号に対して+2であることが表されている。

また、基底触覚信号インデックス２の符号化データは、タイムコードが触覚提示基準符号に対して+4msであり、ゲインが触覚提示基準符号に対して同一であり、長さが触覚提示基準符号に対して+20msであり、包絡線インデックスが触覚提示基準符号に対して-5であることが表されている。

さらに、基底触覚信号インデックスｍの符号化データは、タイムコードが触覚提示基準符号に対して同一であり、ゲインが触覚提示基準符号に対して-60dBであり、長さが触覚提示基準符号に対して+2msであり、包絡線インデックスが触覚提示基準符号に対して-1であることが表されている。

いずれにおいても、差分情報のみの符号化データとなるので、符号化データをより効率よく圧縮することが可能となり、符号化データの通信速度を向上させることが可能となる。また、図１５の基底触覚信号インデックス２の符号化データのように、全てが触覚提示基準符号と同一になるような場合については、基底触覚信号インデックス２の符号化データが全て、触覚提示基準符号と同一であることを１個の符号で表現するようにしてもよい。

＜再生処理＞
次に、図１６のフローチャートを参照して、図４のコンテンツ再生システムによるコンテンツの再生処理について説明する。

ステップＳ１１において、コンテンツ処理部９１は、記憶部７３に記憶されている画像データ、音声データ、および触覚データ（入力触覚データ）を含むコンテンツデータを読み出す。

ステップＳ１２において、コンテンツ処理部９１は、読み出したコンテンツデータより画像データ、音声データ、および触覚データ（入力触覚データ）を抽出する。

ステップＳ１３において、触覚データ処理部９２は、触覚データ符号化処理を実行して、触覚データ（入力触覚データ）を符号化データに変換する。

＜触覚データ符号化処理＞
ここで、図１７のフローチャートを参照して、触覚データ符号化処理について説明する。

ステップＳ５１において、送信装置５１の制御部７１における触覚データ処理部９２は、コンテンツ処理部９１においてコンテンツデータより抽出された触覚データ（入力触覚データ）を読み出す。

ステップＳ５２において、符号化部１０１は、触覚データ（入力触覚データ）に基づいて、触覚信号（入力触覚信号）を生成させる。ここでいう、触覚信号は、例えば、図１０の右部で示されるような信号波形である。

ステップＳ５３において、符号化部１０１は、信号波形からなる触覚信号（入力触覚信号）を、周波数分析やパターンマッチングに掛けることにより、基底触覚信号群に分割し、分割情報を生成する。すなわち、例えば、図１０の右部で示されるような信号波形からなる触覚信号である場合、符号化部１０１は、図１０の左部で示されるような基底触覚信号群からなる分割情報を生成する。

ステップＳ５４において、符号化部１０１は、分割情報に基づいて、基底触覚信号群のそれぞれについて、パラメータを設定する。より詳細には、符号化部１０１は、図１０の左部で示されるような分割情報に基づいて、基底触覚信号群のそれぞれについて、基底触覚信号インデックス、タイムコード、ゲイン、長さ、および包絡線インデックスのそれぞれに対応するパラメータを設定する。

ステップＳ５５において、符号化部１０１は、分割情報である基底触覚信号群のそれぞれに設定されたパラメータを符号化し、これらを合成して得られる合成情報を符号化データとして出力する。

ここで、図１６のフローチャートの説明に戻る。

ステップＳ１４において、コンテンツ処理部９１は、通信部７２を制御して、符号化データに加えて、画像データおよび音声データからなるコンテンツデータを受信装置５２に送信する。

ステップＳ３１において、受信装置５２の制御部１３１におけるコンテンツ処理部１５１は、通信部１３２を制御して、送信装置５１より送信される、符号化データに加えて、画像データおよび音声データからなるコンテンツデータを受信する。

ステップＳ３２において、触覚データ処理部１５２は、触覚データ復号処理を実行して、コンテンツ処理部１５１により受信されたコンテンツデータのうちの符号化データを触覚データ（出力触覚データ）に復号する。

＜触覚データ復号処理＞
ここで、図１８のフローチャートを参照して、触覚データ復号処理について説明する。

ステップＳ７１において、触覚データ処理部１５２は、コンテンツ処理部１５１により受信されたコンテンツデータのうち符号化データを読み出す。

ステップＳ７２において、復号部１６１は、符号化データに基づいて、基底触覚符号化群毎に設定されたパラメータを読み出す。

ステップＳ７３において、復号部１６１は、読み出されたパラメータに基づいて、基底触覚符号化群毎に設定された分割情報を復元する。すなわち、復号部１６１は、基底触覚信号インデックス、タイムコード、ゲイン、長さ、および包絡線インデックスのそれぞれのパラメータに基づいて、図１０の左部で示されるような基底触覚信号群からなる分割情報を復元する。すなわち、復号部１６１は、基底触覚信号インデックスに対応する基底触覚信号を記憶部１３３より読み出し、タイムコード、ゲイン、長さ、および包絡線インデックスのそれぞれのパラメータに基づいた処理を加えることにより、基底触覚信号毎に分割情報を復元する。

ステップＳ７４において、復号部１６１は、分割情報を合成して触覚信号を（出力触覚信号として）復元する。すなわち、復号部１６１は、図１０の左部で示されるような基底触覚信号群からなる分割情報に基づいて、図１０の右部で示されるような触覚信号を（出力触覚信号として）復元する。

ステップＳ７５において、復号部１６１は、触覚信号（出力触覚信号）に基づいて、触覚データ（出力触覚データ）を生成する。

ここで、図１６のフローチャートの説明に戻る。

ステップＳ３３において、コンテンツ処理部１５１は、画像データおよび音声データを表示装置５４に出力して、コンテンツの画像を表示させると共に、音声を出力させることで再生させる。

ステップＳ３４において、コンテンツ処理部１５１は、復号された触覚データ（出力触覚データ）を、触覚提示装置５３に供給し、触覚提示部５３ａのそれぞれを振動させることで再生させる（触覚提示させる）。

尚、この場合、コンテンツ処理部１５１は、送信されてきた画像データおよび音声データを表示装置５４に供給して再生させる処理と、触覚データ（出力触覚データ）を触覚提示装置５３に供給して触覚提示させる処理とを、それぞれ独立したタイミング制御情報によりタイミングを管理して実行する。

また、ステップＳ１５，Ｓ３５において、終了が指示されたか否かが判定されて、終了が指示されない場合、処理は、ステップＳ１１，Ｓ３１に戻り、それ以降の処理が繰り返される。

そして、ステップＳ１５，Ｓ３５において、終了が指示された場合、再生処理が終了する。

以上の処理により、触覚データ（入力触覚データ）が符号化データに変換されて、圧縮されて送信されて、受信された後、触覚データ（出力触覚データ）が復元されることにより、触覚データを効率よく送受信させることが可能となり、コンテンツの再生において、触覚提示部５３ａによる触覚提示の遅延を抑制することが可能となる。

結果として、触覚提示部５３ａが複数となる多チャンネルの触覚データを送受信するようにしても、効率よく送受信されるので、送受信に係る時間の増大を抑制することが可能となるので、触覚提示の遅延を抑制することが可能となる。

また、以上の処理においては触覚提示部５３ａが１個である場合についての処理として説明したが、触覚提示部５３ａが複数に存在し、多チャンネルの触覚データと対応する符号化データが必要な場合については、それぞれのチャンネルについて、ステップＳ１１乃至Ｓ１３の処理を実行して、処理結果となる符号化データを、例えば、図１３乃至図１５を参照して説明したよう多チャンネル分の纏まった符号化データとして、ステップＳ１４において、受信装置５２に送信されるようにしてもよい。

この場合、ステップＳ３２において、多チャンネル分の符号化データが復号されて、触覚データに変換されて、ステップＳ３４において、複数の触覚提示部５３ａにより触覚提示がなされるようにしてもよい。

これにより、図１４や図１５を参照して説明したように、他のチャンネルの情報と同一の情報について省略することができるので、より効率よく触覚データを送受信することが可能となり、より効率よく触覚提示の遅延を抑制することが可能となる。

＜第１の変形例＞
以上においては、画像データおよび音声データに加えて、触覚データ（入力触覚データ）が符号化された符号化データが、送信装置５１から受信装置５２に送信されて、受信された後、符号化データから触覚データが（出力触覚データとして）復元されて、画像データおよび音声データと、触覚データ（出力触覚データ）とがそれぞれ独立したタイミング制御情報に基づいて再生させる例について説明してきた。

しかしながら、画像データおよび音声データについては、受信装置５２が予め記憶部１３３やリムーバブル記憶媒体１３７に記憶しておき、送信装置５１から受信装置５２に送信するのは、触覚データ（入力触覚データ）が符号化された符号化データのみにするようにしてもよい。

このようにすることで、送信装置５１、および受信装置５２の相互で送受信される情報は、触覚データ（入力触覚データ）が変換された符号化データのみとなるので、送受信に係る処理時間を短縮することが可能となり、触覚データの送受信時間の増大による触覚提示の遅延の発生を抑制することが可能となる。

＜第１の変形例における再生処理＞
次に、図１９のフローチャートを参照して、第１の変形例におけるコンテンツの再生処理について説明する。尚、図１９におけるステップＳ１０１乃至１０３，Ｓ１０６，Ｓ１３５の処理は、図１６のフローチャートを参照して説明したステップＳ１１乃至Ｓ１３，Ｓ１５，Ｓ３５の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ１０１乃至Ｓ１０３において、画像データ、音声データ、および符号化データが用意される。

そして、ステップＳ１０４において、コンテンツ処理部９１は、生成された符号化データに、画像データおよび音声データの再生タイミングに対応するインデックスを付与する。

ステップＳ１０５において、コンテンツ処理部９１は、通信部７２を制御して、インデックスが付与された符号化データのみを受信装置５２に送信する。

ステップＳ１３１において、受信装置５２の制御部１３１におけるコンテンツ処理部１５１は、通信部１３２を制御して、送信装置５１より送信される、インデックスが付与された符号化データを受信する。

ステップＳ１３２において、触覚データ処理部１５２は、触覚データ復号処理を実行して、コンテンツ処理部１５１により受信されたコンテンツデータのうちの符号化データを触覚データ（出力触覚データ）に復号する。この際、復号される前の符号化データに付与されたインデックスを、復号後の触覚データ（出力触覚データ）に付与する。尚、触覚データ復号処理については、図１８のフローチャートを参照して説明した処理と同様であるので、その処理は、省略する。

ステップＳ１３３において、コンテンツ処理部１５１は、記憶部１３３やリムーバブル記憶媒体１３７に記憶された画像データおよび音声データを読み出し、表示装置５４に出力して、コンテンツの画像を表示させると共に、音声を出力させる。

ステップＳ１３４において、コンテンツ処理部１５１は、表示装置５４において再生されている画像データおよび音声データの再生タイミングを示すインデックスに対応する触覚データ（出力触覚データ）を、触覚提示装置５３に供給し、触覚データ（出力触覚データ）に基づいて、触覚提示部５３ａのそれぞれを触覚提示させる。

すなわち、この場合、画像データおよび音声データの再生タイミングに対応するインデックスが付与された符号化データのみが送受信されるので、送受信時間を短縮させることが可能となり、触覚提示部５３ａにおいて触覚提示するタイミングが、画像データおよび音声データが表示装置５４から出力されるタイミングに対して遅延することが防止される。

また、画像データおよび音声データの再生タイミングに対応するインデックスが付与された、触覚データ（出力触覚データ）に基づいた触覚提示部５３ａにおける触覚提示がされるので、画像および音声が再生されるタイミングと、触覚提示がなされるタイミングとを同期させることが可能となる。

さらに、触覚提示部５３ａが複数となる多チャンネルの触覚データを送受信するようにしても、送受信時間の増大を抑制することが可能となるので、触覚提示の遅延を抑制することが可能となる。

＜第２の変形例＞
以上においては、画像データおよび音声データに対応するインデックスが付与された触覚データに対応する符号化データのみが、送信装置５１から受信装置５２に送信されて、受信装置５２において、自ら記憶している画像データおよび音声データが再生されると共に、対応するインデックスが付与された触覚データを同期して再生させる例について説明してきた。

しかしながら、符号化データについては、画像データ、音声データ、および（入力触覚データが符号化された）符号化データがそれぞれ識別可能な状態で１つにまとめられたフォーマット（マルチメディアコンテナフォーマット）からなる転送データに格納され、符号化データから復号された触覚データ（出力触覚データ）と、画像データおよび音声データとの再生を同期させるためのタイムコードが転送データにおけるメタ情報として記録されるようにしてもよい。この場合、画像データ、音声データ、および符号化データに対応する符号化データがそれぞれ識別可能な状態で１つにまとめられたフォーマットからなる転送データは、送信装置５１から受信装置５２に送信され、受信装置５２において、転送データに含まれる符号化データから触覚データ（出力触覚データ）が復号されると、メタ情報として記録されているタイムコードが読み出されて、画像データおよび音声データが再生される際、同期して触覚データ（出力触覚データ）に基づいた触覚提示がなされる。

＜第２の変形例における再生処理＞
次に、図２０のフローチャートを参照して、第２の変形例におけるコンテンツの再生処理について説明する。尚、図２０におけるステップＳ１５１乃至１５３，Ｓ１５６，Ｓ１７５の処理は、図１６のフローチャートを参照して説明したステップＳ１１乃至Ｓ１３，Ｓ１５，Ｓ３５の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ１５１乃至Ｓ１５３において、画像データ、音声データ、および符号化データが用意される。

そして、ステップＳ１５４において、コンテンツ処理部９１は、生成された符号化データ、画像データおよび音声データを、それぞれ識別可能な状態で１つにまとめたフォーマットからなる転送データに格納する。

ステップＳ１５５において、コンテンツ処理部９１は、符号化データから復号された触覚データ（出力触覚データ）と、画像データおよび音声データとを同期して再生するためのタイムコードを、転送データのメタ情報として埋め込む。

ステップＳ１５６において、コンテンツ処理部９１は、通信部７２を制御して、転送データを受信装置５２に送信する。

ステップＳ１７１において、受信装置５２の制御部１３１におけるコンテンツ処理部１５１は、通信部１３２を制御して、送信装置５１より送信される、転送データを受信する。転送データは、上述したように、符号化データ、並びに画像データおよび音声データが識別可能な状態で格納されている。

ステップＳ１７２において、触覚データ処理部１５２は、触覚データ復号処理を実行して、コンテンツ処理部１５１により受信された転送データより符号化データを抽出して、符号化データを触覚データ（出力触覚データ）に復号する。尚、触覚データ復号処理については、図１８のフローチャートを参照して説明した処理と同様であるので、その処理は、省略する。

ステップＳ１７３において、コンテンツ処理部１５１は、画像データおよび音声データを読み出し、表示装置５４に出力して、コンテンツの画像を表示させると共に、音声を出力させる。

ステップＳ１７４において、コンテンツ処理部１５１は、転送データのメタ情報として埋め込まれていたタイムコードを読み出し、タイムコードに基づいて、表示装置５４において再生されている画像データおよび音声データと同期して触覚データ（出力触覚データ）を、触覚提示装置５３に供給し、触覚提示部５３ａのそれぞれを触覚提示させる。

すなわち、この場合、コンテンツ処理部１５１は、メタ情報として埋め込まれたタイムコードに基づいて、表示装置５４に供給して再生させている画像データおよび音声データと同期して、触覚データ（出力触覚データ）を触覚提示装置５３に供給して触覚提示させている。このため、表示装置５４における画像データおよび音声データの再生タイミングと、触覚データ（出力触覚データ）に基づいた触覚提示部５３ａにおける触覚提示するタイミングとを同期させることが可能となる。結果として、触覚提示部５３ａにおいて触覚提示するタイミングが、画像データおよび音声データが表示装置５４から出力されるタイミングに対して遅延することが防止される。

以上の処理により、触覚データが符号化データに変換されて、圧縮されて送受信されることにより、触覚データを効率よく送受信することが可能となり、触覚データの送受信に係る通信時間を短縮させることが可能になり、多チャンネルの触覚データの送受信時間の増大によるコンテンツの再生において触覚提示部５３ａによる触覚提示の遅延を防止することが可能となる。

＜第３の変形例＞
以上においては、触覚データが符号化された符号化データ、画像データおよび音声データが識別可能な状態でまとめられた転送データに、触覚データと、画像データおよび音声データとを同期させて再生させるためのタイムコードをメタ情報として埋め込ませて、送信装置５１から受信装置５２に送信させ、受信装置５２において、画像データおよび音声データが再生されると共に、メタ情報として埋め込まれたタイムコードに基づいて、符号化データから復元された触覚データ（出力触覚データ）が画像データおよび音声データと同期して再生される例について説明してきた。

しかしながら、触覚データについては、受信装置５２において復号可能なもののみが符号化データに変換されるようにして、復号不能なものは、生の触覚データをそのまま画像データおよび音声データと併せて、送信装置５１から受信装置５２に送信されるようにしてもよい。

＜第３の変形例における再生処理＞
次に、図２１のフローチャートを参照して、第３の変形例におけるコンテンツの再生処理について説明する。尚、図２１におけるステップＳ１９１，１９２，Ｓ１９４，Ｓ１９５，Ｓ１９７，Ｓ２０３乃至Ｓ２０６の処理は、図１６のフローチャートを参照して説明したステップＳ１１乃至Ｓ１５，Ｓ３２乃至Ｓ３５の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ１９１，Ｓ１９２において、画像データ、音声データ、および触覚データ（入力触覚データ）が読み出される。

ステップＳ１９３において、触覚データ処理部１５２は、触覚データ（入力触覚データ）を符号化したとき、受信装置５２において、復号不可能であるか否かを判定する。

より詳細には、触覚データ処理部１５２は、例えば、触覚データ（入力触覚データ）を触覚データ符号化処理により一旦符号化データに変換し、その後、触覚データ復号処理により触覚データに（出力触覚データ）復号し、復号結果である出力触覚データと入力触覚データとを比較してどの程度類似するのかに基づいて判定するようにしてもよい。

ステップＳ１９３において、復号不可能ではなく、復号可能であると判定された場合、処理は、ステップＳ１９４に進み、触覚データ符号化処理により触覚データ（入力触覚データ）が符号化データに変換されて、ステップＳ１９５において、画像データおよび音声データに併せて、受信装置５２に送信される。

一方、ステップＳ１９３において、復号不能であるとみなされた場合、処理は、ステップＳ１９６に進む。

ステップＳ１９６において、コンテンツ処理部９１は、通信部７２を制御して、生の触覚データ（入力触覚データ）と画像データおよび音声データとを受信装置５２に送信する。

ステップＳ２０１において、受信装置５２の制御部１３１におけるコンテンツ処理部１５１は、通信部１３２を制御して、送信装置５１より送信される、生の触覚データ（入力触覚データ）、または符号化データ、並びに画像データおよび音声データを受信する。

ステップＳ２０２において、触覚データ処理部１５２は、符号化データが画像データおよび音声データと共に受信されているか否かを判定する。例えば、符号化データが画像データおよび音声データと共に受信されている場合、処理は、ステップＳ２０３に進む。

そして、ステップＳ２０３により触覚データ復号処理により符号化データを触覚データ（出力触覚データ）に復号して、ステップＳ２０４において、画像データおよび音声データに基づいて表示装置５４より画像および音声が出力され、ステップＳ２０５において、触覚データ（出力触覚データ）に基づいて、触覚提示部５３ａより触覚提示がなされる。

また、ステップＳ２０２において、符号化データではなく、生の触覚データ（入力触覚データ）が画像データおよび音声データと共に受信されている場合、ステップＳ２０３の処理がスキップされて、ステップＳ２０４において、画像および音声が出力され、ステップＳ２０５において、生の触覚データ（入力触覚データ）に基づいて、触覚提示部５３ａにより触覚提示がなされる。

すなわち、この場合、コンテンツ処理部１５１は、適切に復号可能な触覚データ（入力触覚データ）についてのみ、符号化データから触覚データ（出力触覚データ）に変換して触覚提示がなされ、復号不可能な触覚データ（入力触覚データ）については、生の触覚データ（入力触覚データ）をそのまま使用して触覚提示するので、触覚データを適切に反映して触覚提示することが可能となる。

以上の処理により、触覚データが符号化データに変換されて、圧縮されて送受信されることにより、触覚データを効率よく送受信することができるので、触覚データの送受信に係る通信時間を短縮させることが可能になると共に、コンテンツの再生において、多チャンネルの触覚データを送受信するようにしても送受信時間の増大による、触覚提示部５３ａによる触覚提示の遅延を抑制しつつ、適切な触覚提示を実現することが可能となる。

尚、触覚データ符号化処理、および触覚データ復号処理については、送信装置５１および受信装置５２間の通信において使用可能な通信帯域によって、使う基底触覚信号の数を変更させるようにしてもよい。

また、受信装置５２において、符号化データの復号結果としての触覚データについては記憶部１３３に記憶しておくようにしてもよい。そして、記憶されている触覚データに類似した触覚データを送信する場合には、送信装置５１からどの触覚データと類似しているのかを特定する触覚データ特定情報だけを送信するようにしてもよい。この場合、受信装置５２においては、記憶部１３３に記憶されている触覚データのうち、触覚データ特定情報に基づいて特定される触覚データを用いるようにしてもよい。

さらに、触覚データについては、符号化データとして送信する、既に記憶されている触覚データを特定する触覚データ特定情報として送信する、および、生の触覚データをそのまま送信するかのいずれかを通信状況に応じて、リアルタイムで切り替えて送受信するようにしてもよいし、それらを組み合わせるようにしてもよい。

また、触覚データは、その一部を音声データから自動生成することが可能であるので、自動生成可能な触覚データとの差分のみを触覚データとして送受信するようにしてもよい。

さらに、送信装置５１、および受信装置５２の処理負荷やバッテリの残量に応じて、触覚データ符号化処理、および触覚データ復号処理が可能であるか否かを判定して、符号化データを送信する場合と、生の触覚データを送信する場合とを切り替えるようにしてもよい。

また、触覚データを再生させるタイミングを指定するコンテンツ上のタイムスタンプを、基底触覚信号毎に付加し、タイムスタンプに合わせて、触覚提示するようにしてもよい。

さらに、触覚データは、コンテンツデータに多重化して送受信するようにしてもよいし、コンテンツデータと触覚データとを別データとして伝送するようにしてもよい。

また、コンテンツデータのヘッダにおいて、触覚データが付加されているか否かや触覚データの形式を示すフラグデータを付加するようにしてもよい。このようにすることで、受信装置５２においては、触覚データの有無や、触覚データの形式を判定することができ、処理を区別して実行することが可能となる。

以上においては、受信装置５２が、送信装置５１より供給されてくるコンテンツデータに含まれる画像データおよび音声データに基づいて、表示装置５４において画像を表示させると共に音声を出力させ、さらに、触覚データに対応する符号化データに基づいて、触覚提示装置５３の触覚提示部５３ａにより触覚提示させる例について説明してきた。しかしながら、画像データおよび音声データに基づいて表示装置５４に画像を表示させると共に音声を出力させる受信装置と、触覚データに対応する符号化データに基づいて、触覚提示装置５３の触覚提示部５３ａにより触覚提示させる受信装置とをそれぞれ別途設けるようにしてもよい。

また、送信装置５１とは別に、コンテンツデータにおける触覚データを符号化データに変換する機能を備えた装置を別途設けるようにして、送信装置５１では、触覚データを別途設けられた装置に触覚データを供給し、変換された符号化データを取得するようにしてもよい。

さらに、受信装置５２とは別に、符号化データを触覚データに復号する機能を備えた装置を設けるようにして、受信装置５５２では、符号化データを別途設けられた装置に供給し、符号化データが復号された触覚データを利用して、触覚提示装置５３の触覚提示部５３ａにより触覚提示させるようにしてもよい。

＜＜３．第２の実施の形態＞＞
＜機械学習を用いた触覚データ符号化処理＞
以上においては、触覚データ（入力触覚データ）に基づいて、触覚信号（入力触覚信号）を周波数分析やパターンマッチングにより基底触覚信号群に分割して、分割情報とし、分割情報に基づいて基底触覚信号毎に設定されるパラメータにより符号化した上で合成し、生成された合成信号を符号化データとして生成して、復号することで触覚データ（出力触覚データ）を復元する例について説明してきた。

しかしながら、触覚データ（入力触覚データ）を基底触覚信号群に分割して分割情報を生成する処理は、機械学習に基づいて生成された推定器を用いた処理にするようにしてもよい。

ここで、機械学習を用いた触覚データ符号化処理について説明する。

機械学習にあたっては、例えば、図２２で示されるように、画像データおよび音声データからなるコンテンツデータ２０１と、対応する触覚信号（入力触覚信号）２０２とが用いられる。尚、ここでいう触覚信号２０２は、コンテンツデータ２０１に対応付けてユーザにより入力される信号である。

次に、コンテンツデータ２０１の画像データおよび音声データに対する音声解析、動態解析、およびテクスチャ解析等による解析結果に基づいて、画像データから抽出される聴覚的特徴からなる多次元特徴ベクトルと、音声データから抽出される視覚的特徴から抽出される多次元特徴ベクトルとからなる特徴データ２０３が生成される。

また、触覚信号（入力触覚信号）２０２が、基底触覚信号群に基づいて分割されることにより分割情報が生成されることで、教師データとなる分割情報２０４が生成される。

そして、この特徴データ２０３と教師データとなる分割情報２０４とが用いられた機械学習により、コンテンツデータ２０１の特徴データ２０３により分割情報を推定する推定器（図２３の推定器２１３）が生成される。

推定器（図２３の推定器２１３）は、上述した一連の機械学習により、特徴データ２０３に基づいて、触覚信号（入力触覚信号）に対する分割信号を推定する。

この結果、図２３で示されるように、機械学習により生成された推定器２１３を用いた触覚データ符号化処理により、コンテンツデータ２１１に含まれる画像データおよび音声データに対する音声解析、動態解析、およびテクスチャ解析等による解析結果に基づいて、画像データの聴覚的特徴が抽出される多次元特徴ベクトルと、音声データの視覚的特徴から抽出される多次元特徴ベクトルとからなる特徴データ２１２が生成される。

そして、機械学習により生成された推定器２１３により、特徴データ２１２に基づいて分割情報が推定されて、推定された分割情報における基底触覚信号群の各パラメータに基づいて、符号化データが生成される。

＜学習装置の構成例＞
次に、図２４を参照して、コンテンツの特徴データに基づいて、分割情報を推定する図２３の推定器２１３を機械学習により生成する学習装置の構成例について説明する。

学習装置２３１は、制御部２５１、通信部２５２、記憶部２５３、入力部２５４、出力部２５５、ドライブ２５６、およびリムーバブル記憶媒体２５７より構成されており、相互にバス２５８を介して接続されており、データやプログラムを送受信することができる。

制御部２５１は、プロセッサやメモリから構成されており、学習装置２３１の動作の全体を制御する。制御部２５１は、推定器２１３を機械学習により学習させる機械学習部２６１を備えている。

機械学習部２６１は、特徴データ抽出部２７１、および教師データ生成部２７２を備えており、図２２を参照して説明したようにコンテンツデータ２０１と、対応する触覚データに基づいた触覚信号（入力触覚信号）２０２を取得して、例えば、ニューラルネットワークや、ガウシアンミクスチャモデルなどにより推定器２１３を学習させる。

より詳細には、特徴データ抽出部２７１は、コンテンツデータ２０１の画像データおよび音声データに対する音声解析、動態解析、およびテクスチャ解析等による解析結果に基づいて、画像データから抽出される聴覚的特徴からなる多次元特徴ベクトルと、音声データから抽出される視覚的特徴から抽出される多次元特徴ベクトルとからなる特徴データ２０３を抽出する。

教師データ生成部２７２は、入力部２５４を介して入力されるコンテンツデータ２０１に対応する触覚データに基づいた触覚信号（入力触覚信号）２０２を分割し、基底触覚信号群からなる分割情報２０４を生成する。

機械学習部２６１は、特徴データ２０３と、教師データとしての分割情報２０４とを用いた機械学習により、特徴データ２０３に基づいて分割情報を推定する推定器２１３を生成する。

通信部２５２は、制御部２５１により制御され、有線（または無線（図示せず））により、LAN（Local Area Network）などに代表される通信ネットワークを介して、各種のデータやプログラムを送受信する。

記憶部２５３は、制御部２５１により制御され、HDD（Hard Disk Drive）、SSD（Solid State Drive）、または、半導体メモリなどからなり、コンテンツデータを含む各種のデータおよびプログラムを書き込む、または、読み出す。

入力部２５４は、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスより構成され、入力された各種の信号を制御部２５１に供給する。

出力部２５５は、制御部２５１により制御され、供給される処理操作画面や処理結果の画像を図示せぬ表示デバイスに出力して表示する。

ドライブ２５６は、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体２５７に対してデータを読み書きする。

＜機械学習を用いた触覚データ符号化処理を実現する送信装置の構成例＞
次に、図２５を参照して、機械学習を用いた触覚データ符号化処理を実現する送信装置の構成例について説明する。

尚、図２５の送信装置５１の構成において、図８の送信装置５１の構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。

すなわち、図２５の送信装置５１において、図８の送信装置５１と異なる点は、符号化部１０１に代えて符号化部２８１を設けた点である。

符号化部２８１は、特徴データ抽出部２９１および推定器２９２を備えており、コンテンツデータに含まれる、画像データ、および音声データに基づいて、触覚データの符号化データを生成する。

より詳細には、特徴データ抽出部２９１は、画像データ、および音声データより特徴データを抽出する。

推定器２９２は、図２３の推定器２１３に対応する構成であり、上述した機械学習に基づいた学習がなされており、特徴データに基づいて、触覚データ（入力触覚データ）に対応する分割情報を推定する。符号化部２８１は、推定された分割情報の基底触覚信号毎のパラメータに基づいて、触覚データ（入力触覚データ）に対応する符号化データを生成する。

尚、受信装置５２の構成については、図９における場合と同様であり、再生処理についても、上述した処理と同様であるので、その説明は、省略する。

＜学習処理＞
次に、図２５のフローチャートを参照して、図２４の学習装置２３１による学習処理について説明する。

ステップＳ２１１において、特徴データ抽出部２７１は、入力部２５４を介して入力されるコンテンツデータ２０１の画像データおよび音声データより特徴データ２０３を抽出する。

ステップＳ２１２において、教師データ生成部２７２は、入力部２５４を介して入力されるコンテンツデータ２０１に対応する触覚データに基づいた触覚信号（入力触覚信号）２０２を分割し、基底触覚信号群からなる分割情報２０４を生成し、教師データとしての分割情報２０４を生成する。

ステップＳ２１３において、機械学習部２６１は、触覚データを併せた特徴データ２０３と、教師データとしての分割情報２０４とを用いた機械学習により推定器２１３を学習させる。

以上の処理により、機械学習によりコンテンツデータの画像データおよび音声データより抽出される特徴データに基づいて、触覚信号（入力触覚信号）の分割情報を推定する推定器２１３を学習させることが可能となる。

＜機械学習を利用した触覚データ符号化処理＞
次に、図２７を参照して、図２５の送信装置５１による機械学習により生成された推定器２１３（図２５の推定器２９２）を利用した触覚データ符号化処理について説明する。

ステップＳ２３１において、符号化部２８１の特徴データ抽出部２９１は、コンテンツデータの画像データおよび音声データより、特徴データを抽出する。

ステップＳ２３２において、推定器２９２は、特徴データに対応する触覚信号（入力触覚信号）の分割情報を推定する。

ステップＳ２３３において、符号化部２８１は、推定器２９２により推定された分割情報に基づいて、基底触覚信号毎のパラメータを設定する。

ステップＳ２３４において、符号化部２８１は、基底触覚信号毎のパラメータに基づいて、触覚信号に対応する符号化データを生成する。

以上の処理により、機械学習により生成された推定器２９２により画像データおよび音声データの特徴データに基づいて、分割情報が推定されて、触覚データ（入力触覚データ）に対応する符号化データが推定されるので、触覚データ（入力触覚データ）をより迅速に符号化データに変換することが可能となる。尚、触覚データ復号処理については、図１８のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。また、以上においては、学習処理および触覚データ符号化処理において、特徴データを、画像データおよび音声データより抽出する例について説明してきたが、画像データおよび音声データに加えて、触覚データ（入力触覚データ）からも抽出するようにしてもよく、さらに、特徴データを増やすことにより、より高精度な推定器の学習が可能となる。

以上の如く、本開示によれば、いずれにおいても、触覚提示部５３ａが複数となる多チャンネルの触覚データを送受信するようにしても、送受信時間の増大を抑制することが可能となるので、触覚提示の遅延を抑制することが可能となる。

＜＜４．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。

図２８は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブル記憶媒体１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブル記憶媒体１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記憶媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記憶媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

尚、図２８におけるCPU１００１が、図８，図２５の制御部７１、図９における制御部１３１、および図２４の制御部２５１の機能を実現させる。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本開示は、以下のような構成も取ることができる。

＜１＞ 入力触覚信号を、前記入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データに符号化する符号化部と、
前記符号化データに基づく出力触覚信号により触覚提示を行う触覚提示部に触覚提示をさせる受信装置に、前記符号化データを送信する送信部とを含む
情報処理装置。
＜２＞ 前記基底触覚信号群を構成する前記基底触覚信号は、相互に直交する触覚信号である
＜１＞に記載の情報処理装置。
＜３＞ 前記触覚提示部は、前記他の情報処理装置において複数に設けられており、前記入力触覚信号は、前記複数の触覚提示部のそれぞれに対応するチャンネル毎に設定される
＜１＞または＜２＞に記載の情報処理装置。
＜４＞ 前記基底触覚信号のそれぞれを規定するパラメータは、前記基底触覚信号を識別するインデックス、前記基底触覚信号の再生タイミングのオフセットを規定するタイムコード、前記基底触覚信号を再生する全タイミングにおいてゲイン、前記基底触覚信号に基づいた触覚提示をする長さ、および前記基底触覚信号を再生する際のゲインの変化を示す包絡線を識別するインデックスを含む
＜１＞乃至＜３＞のいずれかに記載の情報処理装置。
＜５＞ 前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
前記送信部は、前記符号化データと共に、前記コンテンツのコンテンツデータを送信する
＜１＞乃至＜４＞のいずれかに記載の情報処理装置。
＜６＞ 前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
前記送信部は、前記符号化データと、前記コンテンツのコンテンツデータとを独立して前記受信装置に送信する
＜１＞乃至＜４＞のいずれかに記載の情報処理装置。
＜７＞ 前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
前記符号化部は、前記符号化データに、前記コンテンツの再生タイミングを示すインデックスを付与し、
前記送信部は、前記インデックスが付与された前記符号化データを前記受信装置に送信する
＜１＞乃至＜４＞のいずれかに記載の情報処理装置。
＜８＞ 前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
前記符号化部は、前記符号化データと、前記コンテンツとを１つの転送データにまとめ、前記コンテンツと、前記出力触覚信号とを同期して再生させるためのタイムコードを前記転送データのメタ情報として記録し、
前記送信部は、前記メタ情報として前記タイムコードが記録された転送データを前記受信装置に送信する
＜１＞乃至＜４＞のいずれかに記載の情報処理装置。
＜９＞ 前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
前記符号化部は、前記入力触覚信号のうち、前記受信装置で復号可能な入力触覚データを前記符号化データに符号化し、
前記送信部は、前記入力触覚データ、または、前記符号化データを前記受信装置に送信する
＜１＞乃至＜４＞のいずれかに記載の情報処理装置。
＜１０＞ 前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
前記符号化部は、教師データとなる前記入力触覚信号を構成する基底触覚信号群の基底触覚信号に分割された分割情報と、前記コンテンツとを用いた機械学習に基づいた推定により、前記コンテンツから前記分割情報を推定し、前記分割情報に基づいて、前記入力触覚信号を前記符号化データに符号化し、
前記送信部は、前記符号化データを前記受信装置に送信する
＜１＞乃至＜４＞のいずれかに記載の情報処理装置。
＜１１＞ 入力触覚信号を、前記入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データに符号化する符号化処理と、
前記符号化データに基づく出力触覚信号に基づいて、触覚提示を行う触覚提示部に触覚提示させる受信装置に、前記符号化データを送信する送信処理とを含む
情報処理方法。
＜１２＞ 入力触覚信号を、前記入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データに符号化する符号化部と、
前記符号化データに基づく出力触覚信号に基づいて、触覚提示を行う触覚提示部に触覚提示させる受信装置に、前記符号化データを送信する送信部と
してコンピュータを機能させるプログラム。
＜１３＞ 入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データを受信する受信部と、
受信した前記符号化データに含まれる前記複数の基底触覚信号を規定するパラメータに基づいて、前記基底触覚信号を合成して出力触覚信号に復号する復号部と
を含む
情報処理装置。
＜１４＞ 前記復号部は、前記符号化データのパラメータに基づいて、記憶媒体に予め記憶されている前記基底触覚信号を読み出して合成することで、前記出力触覚信号を復号する
＜１３＞に記載の情報処理装置。
＜１５＞ 前記基底触覚信号のそれぞれを基底するパラメータは、前記基底触覚信号を識別するインデックス、前記基底触覚信号の再生タイミングのオフセットを規定するタイムコード、前記基底触覚信号を再生する全タイミングにおけるゲイン、前記基底触覚信号に基づいた触覚提示をする長さ、および前記基底触覚信号を再生する際のゲインの変化を示す包絡線を識別するインデックスを含む
＜１３＞または＜１４＞に記載の情報処理装置。
＜１６＞ 前記出力触覚信号は、コンテンツの再生に同期して再生される信号である
＜１３＞または＜１４＞に記載の情報処理装置。
＜１７＞ 前記受信部は、前記符号化データと、前記コンテンツのコンテンツデータとを独立して受信し、
前記コンテンツが再生されるとき、前記コンテンツの再生とは、非同期で前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
＜１６＞に記載の情報処理装置。
＜１８＞ 前記受信部は、前記コンテンツの再生タイミングを示すインデックスが付与された前記符号化データを受信し、
前記コンテンツが再生されるとき、付与された前記インデックスに対応する前記コンテンツが再生されたタイミングで、前記符号化データに対応する前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
＜１６＞に記載の情報処理装置。
＜１９＞ 前記受信部は、前記符号化データおよび前記コンテンツがまとめられ、メタ情報としてタイムコードが記録された転送データを受信し、
前記コンテンツが再生されるとき、前記転送データのメタ情報として記録されたタイムコードに基づいて、前記コンテンツの再生に同期して前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
＜１６＞に記載の情報処理装置。
＜２０＞ 前記受信部は、前記出力触覚信号、または、前記符号化データを受信し、
前記受信部が前記出力触覚信号を受信した場合、受信した前記出力触覚信号に基づいて触覚提示がなされ、
前記受信部が前記符号化データを受信した場合、前記復号部は、前記符号化データのパラメータに基づいて、前記基底触覚信号を合成して前記出力触覚信号に復号し、
前記復号部により復号された前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
＜１６＞に記載の情報処理装置。
＜２１＞ 前記受信部は、教師データとなる前記入力触覚信号を構成する基底触覚信号群の基底触覚信号に分割された分割情報と、前記コンテンツとを用いた機械学習に基づいて、前記コンテンツから推定された前記分割情報に基づいて符号化された前記符号化データを受信し、
前記復号部は、前記符号化データのパラメータに基づいて、前記基底触覚信号を合成して前記出力触覚信号に復号し、
前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
＜１６＞に記載の情報処理装置。
＜２２＞ 入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データを受信する受信処理と、
前記受信した符号化データに含まれる複数の基底触覚信号を規定するパラメータに基づいて、前記基底触覚信号を合成して出力触覚信号に復号する復号処理とを含む
情報処理方法。
＜２３＞ 入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データを受信する受信部と、
前記受信した符号化データに含まれる前記複数の基底触覚信号を規定するパラメータに基づいて、前記基底触覚信号を合成して出力触覚信号に復号する復号部と
してコンピュータを機能させるプログラム。

４１ コンテンツ再生システム， ５１ 送信装置， ５２ 受信装置， ５３，５３Ａ乃至５３Ｃ 触覚提示装置， ５３ａ，５３ａ－１乃至５３ａ－１６，５３ａ－２１乃至５３ａ－２４，５３ａ－３１，５３ａ－３２ 触覚提示部， ７１ 制御部， ９１ コンテンツ処理部， ９２ 触覚データ処理部， １０１ 符号化部， １３１ 制御部， １５１ コンテンツ処理部， １５２ 復号部， ２３１ 学習装置， ２５１ 制御部， ２７１ 特徴データ抽出部， ２７２ 教師データ生成部， ２８１ 符号化部， ２９１ 特徴データ抽出部， ２９２ 推定部

Claims (21)

1. 入力触覚信号を、前記入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データに符号化する符号化部と、
   前記符号化データに基づく出力触覚信号により触覚提示を行う触覚提示部に触覚提示をさせる受信装置に、前記符号化データを送信する送信部とを含み、
   前記基底触覚信号のそれぞれを規定するパラメータは、前記基底触覚信号を識別するインデックス、前記基底触覚信号の再生タイミングのオフセットを規定するタイムコード、前記基底触覚信号を再生する全タイミングにおいてゲイン、前記基底触覚信号に基づいた触覚提示をする長さ、および前記基底触覚信号を再生する際のゲインの変化を示す包絡線を識別するインデックスを含む
   情報処理装置。
2. 前記基底触覚信号群を構成する前記基底触覚信号は、相互に直交する触覚信号である
   請求項１に記載の情報処理装置。
3. 前記触覚提示部は、前記他の情報処理装置において複数に設けられており、前記入力触覚信号は、複数の触覚提示部のそれぞれに対応するチャンネル毎に設定される
   請求項１に記載の情報処理装置。
4. 前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
   前記送信部は、前記符号化データと共に、前記コンテンツのコンテンツデータを送信する
   請求項１に記載の情報処理装置。
5. 前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
   前記送信部は、前記符号化データと、前記コンテンツのコンテンツデータとを独立して前記受信装置に送信する
   請求項１に記載の情報処理装置。
6. 前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
   前記符号化部は、前記符号化データに、前記コンテンツの再生タイミングを示すインデックスを付与し、
   前記送信部は、前記インデックスが付与された前記符号化データを前記受信装置に送信する
   請求項１に記載の情報処理装置。
7. 前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
   前記符号化部は、前記符号化データと、前記コンテンツとを１つの転送データにまとめ、前記コンテンツと、前記出力触覚信号とを同期して再生させるためのタイムコードを前記転送データのメタ情報として記録し、
   前記送信部は、前記メタ情報として前記タイムコードが記録された転送データを前記受信装置に送信する
   請求項１に記載の情報処理装置。
8. 前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
   前記符号化部は、前記入力触覚信号のうち、前記受信装置で復号可能な入力触覚データを前記符号化データに符号化し、
   前記送信部は、前記入力触覚データ、または、前記符号化データを前記受信装置に送信する
   請求項１に記載の情報処理装置。
9. 前記入力触覚信号は、前記出力触覚信号と同期して再生されるコンテンツに対応する信号であり、
   前記符号化部は、教師データとなる前記入力触覚信号を構成する基底触覚信号群の基底触覚信号に分割された分割情報と、前記コンテンツとを用いた機械学習に基づいた推定により、前記コンテンツから前記分割情報を推定し、前記分割情報に基づいて、前記入力触覚信号を前記符号化データに符号化し、
   前記送信部は、前記符号化データを前記受信装置に送信する
   請求項１に記載の情報処理装置。
10. 入力触覚信号を、前記入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データに符号化する符号化処理と、
    前記符号化データに基づく出力触覚信号に基づいて、触覚提示を行う触覚提示部に触覚提示させる受信装置に、前記符号化データを送信する送信処理とを含み、
    前記基底触覚信号のそれぞれを規定するパラメータは、前記基底触覚信号を識別するインデックス、前記基底触覚信号の再生タイミングのオフセットを規定するタイムコード、前記基底触覚信号を再生する全タイミングにおいてゲイン、前記基底触覚信号に基づいた触覚提示をする長さ、および前記基底触覚信号を再生する際のゲインの変化を示す包絡線を識別するインデックスを含む
    情報処理方法。
11. 入力触覚信号を、前記入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データに符号化する符号化部と、
    前記符号化データに基づく出力触覚信号に基づいて、触覚提示を行う触覚提示部に触覚提示させる受信装置に、前記符号化データを送信する送信部としてコンピュータを機能させ、
    前記基底触覚信号のそれぞれを規定するパラメータは、前記基底触覚信号を識別するインデックス、前記基底触覚信号の再生タイミングのオフセットを規定するタイムコード、前記基底触覚信号を再生する全タイミングにおいてゲイン、前記基底触覚信号に基づいた触覚提示をする長さ、および前記基底触覚信号を再生する際のゲインの変化を示す包絡線を識別するインデックスを含む
    してコンピュータを機能させるプログラム。
12. 入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データを受信する受信部と、
    受信した前記符号化データに含まれる前記複数の基底触覚信号を規定するパラメータに基づいて、前記基底触覚信号を合成して出力触覚信号に復号する復号部とを含み、
    前記基底触覚信号のそれぞれを基底するパラメータは、前記基底触覚信号を識別するインデックス、前記基底触覚信号の再生タイミングのオフセットを規定するタイムコード、前記基底触覚信号を再生する全タイミングにおけるゲイン、前記基底触覚信号に基づいた触覚提示をする長さ、および前記基底触覚信号を再生する際のゲインの変化を示す包絡線を識別するインデックスを含む
    情報処理装置。
13. 前記復号部は、前記符号化データのパラメータに基づいて、記憶媒体に予め記憶されている前記基底触覚信号を読み出して合成することで、前記出力触覚信号を復号する
    請求項１２に記載の情報処理装置。
14. 前記出力触覚信号は、コンテンツの再生に同期して再生される信号である
    請求項１２に記載の情報処理装置。
15. 前記受信部は、前記符号化データと、前記コンテンツのコンテンツデータとを独立して受信し、
    前記コンテンツが再生されるとき、前記コンテンツの再生とは、非同期で前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
    請求項１４に記載の情報処理装置。
16. 前記受信部は、前記コンテンツの再生タイミングを示すインデックスが付与された前記符号化データを受信し、
    前記コンテンツが再生されるとき、付与された前記インデックスに対応する前記コンテンツが再生されたタイミングで、前記符号化データに対応する前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
    請求項１４に記載の情報処理装置。
17. 前記受信部は、前記符号化データおよび前記コンテンツがまとめられ、メタ情報としてタイムコードが記録された転送データを受信し、
    前記コンテンツが再生されるとき、前記転送データのメタ情報として記録されたタイムコードに基づいて、前記コンテンツの再生に同期して前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
    請求項１４に記載の情報処理装置。
18. 前記受信部は、前記出力触覚信号、または、前記符号化データを受信し、
    前記受信部が前記出力触覚信号を受信した場合、受信した前記出力触覚信号に基づいて触覚提示がなされ、
    前記受信部が前記符号化データを受信した場合、前記復号部は、前記符号化データのパラメータに基づいて、前記基底触覚信号を合成して前記出力触覚信号に復号し、
    前記復号部により復号された前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
    請求項１４に記載の情報処理装置。
19. 前記受信部は、教師データとなる前記入力触覚信号を構成する基底触覚信号群の基底触覚信号に分割された分割情報と、前記コンテンツとを用いた機械学習に基づいて、前記コンテンツから推定された前記分割情報に基づいて符号化された前記符号化データを受信し、
    前記復号部は、前記符号化データのパラメータに基づいて、前記基底触覚信号を合成して前記出力触覚信号に復号し、
    前記出力触覚信号に基づいた触覚提示を実行する触覚提示部をさらに含む
    請求項１４に記載の情報処理装置。
20. 入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データを受信する受信処理と、
    前記受信した符号化データに含まれる複数の基底触覚信号を規定するパラメータに基づいて、前記基底触覚信号を合成して出力触覚信号に復号する復号処理とを含み、
    前記基底触覚信号のそれぞれを基底するパラメータは、前記基底触覚信号を識別するインデックス、前記基底触覚信号の再生タイミングのオフセットを規定するタイムコード、前記基底触覚信号を再生する全タイミングにおけるゲイン、前記基底触覚信号に基づいた触覚提示をする長さ、および前記基底触覚信号を再生する際のゲインの変化を示す包絡線を識別するインデックスを含む
    情報処理方法。
21. 入力触覚信号を構成する基底触覚信号群の内の複数の基底触覚信号を規定するパラメータを含む符号化データを受信する受信部と、
    前記受信した符号化データに含まれる前記複数の基底触覚信号を規定するパラメータに基づいて、前記基底触覚信号を合成して出力触覚信号に復号する復号部としてコンピュータを機能させ、
    前記基底触覚信号のそれぞれを基底するパラメータは、前記基底触覚信号を識別するインデックス、前記基底触覚信号の再生タイミングのオフセットを規定するタイムコード、前記基底触覚信号を再生する全タイミングにおけるゲイン、前記基底触覚信号に基づいた触覚提示をする長さ、および前記基底触覚信号を再生する際のゲインの変化を示す包絡線を識別するインデックスを含む
    プログラム。

Images