CN117396830A - 触觉传递系统、触觉传递装置、触觉传递程序以及触觉传递方法 - Google Patents

触觉传递系统、触觉传递装置、触觉传递程序以及触觉传递方法 Download PDF

Info

Publication number
CN117396830A
CN117396830A CN202180098907.4A CN202180098907A CN117396830A CN 117396830 A CN117396830 A CN 117396830A CN 202180098907 A CN202180098907 A CN 202180098907A CN 117396830 A CN117396830 A CN 117396830A
Authority
CN
China
Prior art keywords
vibration
signal
frequency
haptic
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180098907.4A
Other languages
English (en)
Inventor
昆阳雅司
山口公辅
田所谕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tohoku University NUC
Original Assignee
Tohoku University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tohoku University NUC filed Critical Tohoku University NUC
Publication of CN117396830A publication Critical patent/CN117396830A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明是具有触觉传递装置(3)和其他的触觉传递装置(3)的触觉传递系统(100)，具备：振动计测部(31)，对在触觉传递装置(3)中产生的振动进行计测；计算部，计算根据由振动计测部(31)计测出的振动而确定的感知信息；转换部，一边维持由计算部计算出的感知信息，一边将与振动有关的信号转换为规定的频率；和信号输出部，使通过转换部进行了转换的、转换后的信号作为输出振动而输出至其他的触觉传递装置(3)的振子(32)。

Description

触觉传递系统、触觉传递装置、触觉传递程序以及触觉传递 方法
技术领域
本说明书中记载的技术涉及触觉传递系统、触觉传递装置、触觉传递程序以及触觉传递方法。
背景技术
开发了一种电话、视频会议、社交的虚拟现实(Virtual Reality：VR)等即使在远程位置也通过声音、影像进行交流的技术。除了声音、影像，还能通过传递触觉振动来进行比以往更高级的交流。
现有技术文献
非专利文献
非专利文献1：早川裕彦等“高実在感を伴う遠隔コミュニケーションのための双方向型視聴触覚メディア「公衆触覚伝話」の提案(用于伴有高真实感的远程交流的双向型视听触觉媒体“公众触觉传说”的提案)”，TVRSJ Vol.25No.4pp.412-421，2020年12月25日
发明内容
发明要解决的问题
在双向传递用户触摸壳体时产生的振动的触觉通信中，理想的是，将对振动进行计测的振动传感器和生成振动的致动器搭载于相同的壳体。此时，作为输入而施加的用户与壳体的接触振动会以壳体的固有振动的振幅调制波为中心地出现。另一方面，若为了进行触觉呈现而通过致动器使壳体振动来作为输出，则仍然会产生壳体的固有振动附近的振动。
在双向连接有多个这样的触觉的输入输出装置的情况下，传感器信号和环回的致动器的驱动信号在相同的固有振动附近驱动，因此，恐怕会产生鸣音(啸叫)现象。
为了抑制这样的啸叫，在声音信号中使用通过带通滤波器等来抑制固有振动频带的信号的手段，但是，在触觉传递的情况下，要传递的触觉信息也存在于相同的频带，因此，若降低增益，则可能导致接触信息的质量的降低。
在一个方面，本说明书中记载的技术的目的在于，抑制双向触觉传递系统中的接触信号的啸叫和环回。
技术方案
在一个方面，触觉传递系统是具有触觉传递装置和其他的触觉传递装置的触觉传递系统，其中，所述触觉传递系统具备：振动计测部，对在所述触觉传递装置中产生的振动进行计测；计算部，计算根据由所述振动计测部计测出的所述振动而确定的感知信息；转换部，一边维持由所述计算部计算出的所述感知信息，一边将与所述振动有关的信号转换为规定的频率；和信号输出部，使通过所述转换部进行了转换的、转换后的信号作为输出振动而输出至所述其他的触觉传递装置的振子。
有益效果
作为一个方面，能抑制双向触觉传递系统中的接触信号的啸叫和环回。
附图说明
图1是示意性地表示实施方式的双向触觉传递系统的硬件构成例的框图。
图2的(a)、(b)是示意性地表示图1所示的双向触觉传递系统的软件构成例的框图。
图3的(a)是表示图2所示的信号输入处理部的第一例的框图，图3的(b)是表示图2所示的信号输出处理部的第一例的框图。
图4的(a)是表示图2所示的信号输入处理部的第二例的框图，图4的(b)是表示图2所示的信号输出处理部的第二例的框图。
图5的(a)是表示图2所示的信号输入处理部的第三例的框图，图5的(b)是表示图2所示的信号输出处理部的第三例的框图。
图6的(a)～(c)是用于对由图3、图4所示的频率转换部进行的频率转换处理进行说明的图表。
图7是举例示出直通输出(through output)(无处理地输出信号时)中的振幅的计测结果的图表。
图8是举例示出在图1所示的双向触觉传递系统中利用了强度分段调制(Intensity Segment Modulation：ISM)的情况下的啸叫的抑制结果的表。
图9的(a)是举例示出直通输出的情况下的输出振动的计测结果的图表，图9的(b)是举例示出利用了ISM的情况下的输出振动的计测结果的图表。
图10是表示环境设置型的振动输入输出设备的第一例的图。
图11是表示环境设置型的振动输入输出设备的第二例的图。
图12是表示环境设置型的振动输入输出设备的第三例的图。
图13是表示腕带型的振动输入输出设备的图。
图14是表示抱枕型的振动输入输出设备的图。
图15是表示工具装配型的振动输入输出设备的图。
图16是示意性地表示作为实施方式的终端的构成例的框图。
图17的(a)～(c)是对ISM处理简单进行说明的图表。
图18是表示人对振动的辨别可能性的图表。
图19是在为了判断由图18所示的图表表示的辨别可能性而实施的强制三选项辨别实验中使用的振动的采样波形。
图20是表示由图16所示的终端进行的每段的转换前后的信号的波形的图表。
图21是表示用于校正能量的计算的振幅阈值Tf的图表。
图22是表示用于校正能量的计算的指数阈值b的图表。
图23是对图16所示的终端中的窗函数的利用进行说明的图。
图24是对图16所示的终端中的低频和高频的合成例进行说明的图表。
图25是表示由图16所示的终端进行的转换前后的信号的波形的具体例的图表。
图26是对图16所示的终端中的ISM部的功能构成例进行说明的框图。
图27是对图16所示的终端中的振动波形的生成处理的第一实施例进行说明的框图。
图28是对图26所示的能量控制处理的详情进行说明的框图。
图29是作为图16所示的终端中的振动波形的生成处理的第二实施例，对图26所示的能量控制处理中的低频分量的分离处理进行说明的框图。
图30的(a)～(c)是对不强调波形地按照ISM生成振动的例子进行说明的图表。
图31的(a)～(c)是对从声源中强调分离3000Hz以上的高频分量的第一例进行说明的图表。
图32的(a)～(c)是对从声源中强调分离3000Hz以上的高频分量的第二例进行说明的图表。
图33的(a)～(c)是对从声源中强调分离1000Hz以下的低频分量的例子进行说明的图表。
图34是对图26所示的能量控制处理的第一变形例进行说明的框图。
图35是对图26所示的能量控制处理的第二变形例进行说明的框图。
图36是对图26所示的能量合成处理的详情进行说明的框图。
图37是对图26所示的校正后的振动波形的生成处理的详情进行说明的框图。
图38是表示在图1所示的双向触觉传递系统中使用多个振动装置的情况的DAC的构成例的框图。
图39是表示在图1所示的双向触觉传递系统中使用单个振动装置的情况的DAC的构成例的框图。
具体实施方式
以下，参照附图对实施方式进行说明。不过，以下所示的实施方式只不过是示例，没有排除在实施方式中未明示的各种变形例、技术的应用的意图。即，可以在不脱离其主旨的范围内对本实施方式进行各种变形来实施。
此外，各图并不是仅具备图中所示的构成要素的意思，也可以包括其他的构成要素。以下，在图中，只要没有特别说明，标注相同的附图标记的部分就表示相同或同样的部分。
〔A〕实施方式
〔A-1〕触觉的双向传递处理
图1是示意性地表示实施方式的双向触觉传递系统100的硬件构成例的框图。
双向触觉传递系统100示例性地具备两个终端1(换言之，触觉传递装置)、两个USB(Universal Serial Bus：通用串行总线)音频I/F(Interface：接口)2、两个振动输入输出设备3(振动输入输出设备#1、#2)以及两个放大器4。两个振动输入输出设备3分别具备振动传感器31(换言之，振动计测部)和振动器32(换言之，振子)。
在图1中，实线箭头表示在振动输入输出设备#2中产生的振动向振动输入输出设备#1传递时的信号的流动，虚线箭头表示在振动输入输出设备#1中产生的振动向振动输入输出设备#2传递时的信号的流动。
振动传感器31对振动进行计测，经由USB音频I/F2向终端1传输信号。终端1执行ISM处理或直通输出处理，向远程位置的其他的终端1传输信号。远程位置的终端1经由USB音频I/F2和放大器4向振动器32输出根据所传输的信号而生成的振动。需要说明的是，也可以通过配备三组以上的终端1、USB音频I/F2、振动输入输出设备3以及放大器4来在三者之间以上传递触觉。此外，也可以配备为了不想感受到触觉的传递的用户而关闭由振动器32实现的振动的输出的静音功能。
需要说明的是，在后文使用图17～图39等对ISM的详情进行叙述。
图2的(a)、(b)是示意性地表示图1所示的双向触觉传递系统100的软件构成例的框图。
如图2的(a)、(b)所示，双向触觉传递系统100在据点#1、#2分别作为振动计测部211、信号放大部212、信号输入处理部213、信号发送部214、信号接收部215、信号输出处理部216、信号放大部217以及振动呈现部218发挥功能。
可以是，作为振动计测部211和信号放大部212的功能通过图1所示的振动传感器31来实现，作为信号输入处理部213的功能通过用图1所示的USB音频I/F2和在后文使用图16叙述的终端1的CPU11来实现，作为信号发送部214的功能通过在后文使用图16叙述的终端1的通信I/F(未图示)来实现。此外，作为信号接收部215的功能通过在后文使用图16叙述的终端1的通信I/F(未图示)来实现，作为信号输出处理部216的功能通过图1所示的USB音频I/F2和在后文使用图16叙述的终端1的CPU11来实现，作为信号放大部217的功能通过图1所示的放大器4来实现，作为振动呈现部218的功能通过图1所示的振动器32来实现。
振动计测部211对用户接触的壳体的振动进行计测。信号放大部217使由振动计测部211计测出的信号放大。信号输入处理部213实施在后文使用图3～图5等叙述的信号处理。信号发送部214将通过信号输入处理部213实施了处理的信号向其他的据点发送。触觉信号也可以与影像/声音同步发送。此外，触觉信号也可以包括在运动图像等的音频声道中进行传递。
信号接收部215接收从其他的据点发送的信号。信号输出处理部216对通过信号接收部215接收到的信号实施在后文使用图3～图5等叙述的信号处理。信号放大部217使通过信号输出处理部216实施了处理的信号放大。振动呈现部218根据通过信号放大部217放大后的信号使用户接触的壳体振动。
图3的(a)是表示图2所示的信号输入处理部213的第一例的框图，图3的(b)是表示图2所示的信号输出处理部216的第一例的框图。
如图3的(a)所示，信号输入处理部213具备作为AD转换部2131、带阻滤波器2132、均衡器2133以及频率转换部2134的功能。此外，如图3的(b)所示，信号输出处理部216具备作为缓冲部2161和DA转换部2162的功能。
可以是，作为AD转换部2131的功能在图1所示的USB音频I/F2中实现，作为带阻滤波器2132、均衡器2133以及频率转换部2134的功能在后文使用图16叙述的终端1的CPU11中实现。可以是，作为缓冲部2161的功能在后文使用图16叙述的终端1的存储器12或通信I/F(未图示)中实现，作为DA转换部2162的功能在图1所示的USB音频I/F2中实现。
在发送侧，通过AD转换部2131将模拟信号转换为数字信号，通过带阻滤波器2132去除利用于振动呈现的频带，通过均衡器2133对特定的带域的信号进行强调，通过频率转换部2134进行了频率转换之后，将呈现振动向接收侧发送。需要说明的是，也可以省略均衡器2133。
在接收侧，通过缓冲部2161对接收到的呈现振动进行缓冲，通过DA转换部2162将呈现振动的数字信号转换为模拟信号。
图4的(a)是表示图2所示的信号输入处理部213的第二例(参照附图标记213a)的框图，图4的(b)是表示图2所示的信号输出处理部216的第二例(参照附图标记216a)的框图。
如图4的(a)所示，信号输入处理部213a具备作为AD转换部2131、带阻滤波器2132以及均衡器2133的功能。此外，如图4的(b)所示，信号输出处理部216a具备作为缓冲部2161、DA转换部2162以及频率转换部2163的功能。
可以是，作为AD转换部2131的功能在图1所示的USB音频I/F2中实现，作为带阻滤波器2132和均衡器2133的功能在后文使用图16叙述的终端1的CPU11中实现。可以是，作为频率转换部2163的功能在后文使用图16叙述的终端1的CPU11中实现，作为缓冲部2161的功能在后文使用图16叙述的终端1的存储器12中实现，作为DA转换部2162的功能在图1所示的USB音频I/F2中实现。
在发送侧，通过AD转换部2131将模拟信号转换为数字信号，通过带阻滤波器2132去除利用于振动呈现的频带，通过均衡器2133对特定的带域的信号进行强调，向接收侧发送信号。需要说明的是，也可以省略均衡器2133。
在接收侧中，通过频率转换部2163对接收到的信号进行频率转换，通过缓冲部2161对进行了频率转换的呈现振动进行缓冲，通过DA转换部2162将呈现振动的数字信号转换为模拟信号。
图5的(a)是表示图2所示的信号输入处理部213的第三例(参照附图标记213b)的框图，图5的(b)是表示图2所示的信号输出处理部216的第三例(参照附图标记216b)的框图。
如图5的(a)所示，信号输入处理部213b具备作为AD转换部2131、带阻滤波器2132、均衡器2133以及强度计算部2135的功能。此外，如图5的(b)所示，信号输出处理部216b具备作为缓冲部2161、DA转换部2162以及振动波形生成部2164的功能。
可以是，作为AD转换部2131的功能在图1所示的USB音频I/F2中实现，作为带阻滤波器2132、均衡器2133以及强度计算部2135的功能在后文使用图16叙述的终端1的CPU11中实现。可以是，作为振动波形生成部2164的功能在后文使用图16叙述的终端1的CPU11中实现，作为缓冲部2161的功能在后文使用图16叙述的终端1的存储器12中实现，作为DA转换部2162的功能在图1所示的USB音频I/F2中实现。
在发送侧，通过AD转换部2131将模拟信号转换为数字信号，通过带阻滤波器2132去除利用于振动呈现的频带，通过均衡器2133对特定的带域的信号进行强调，通过强度计算部2135进行了振动强度的计算之后，向接收侧发送信号。振动强度只要是与波形信号相比100Hz左右更新速率即可，因此具有削减通信量的效果。需要说明的是，也可以省略均衡器2133。
在接收侧，通过振动波形生成部2164基于接收到的振动强度来进行振动的生成，通过缓冲部2161对进行了频率转换的呈现振动进行缓冲，通过DA转换部2162将呈现振动的数字信号转换为模拟信号。
接着，在以下的(1)～(3)中，对由频率转换部2134、2163进行的频率转换处理进行说明。
(1)频率转换处理例I
图6的(a)～(c)是用于对由图3、图4所示的频率转换部2134、2163进行的频率转换处理进行说明的图表。
频率转换部2134、2163在维持包络线(换言之，感知信息)的情况下以振幅调制波来呈现。图6的(a)中示出原信号v0(t)，图6的(b)中分别以点线示出原信号的上限和下限的包络线信号eup(t)、elow(t)，图6的(c)中示出生成为通过图6的(b)的包络线进行内包的振幅调制波vam(t)。振幅调制波vam(t)通过以下算式表示。
[数式1]
在此，A(t)为振幅调制波的振幅，f为要呈现的振幅调制波的载波频率，voff(t)为振幅调制波的偏移。
载波频率f按与原来的信号的频率分量不同的频率来选定。f选择人容易感觉到的150Hz～400Hz左右的频率为好。由此，能感觉到原信号的包络线的变动。
(2)频率转换处理例II
频率转换部2134、2163可以以刺激的等效主观强度进行映射来实施频率转换处理。设为频率f、振幅A的振动的主观强度通过函数S(A，f)求出。在能对原信号的振动的代表频率f0进行鉴定时，以主观强度S(A0，f0)与频率变化后的振动的主观强度S(A，f)成为等效的方式求出振幅A。成为等效的主观强度函数例如也可以使用通过量级平衡法(magnitudebalance method)获得的振动的等响曲线(equal-loudness curve)。
(3)频率转换处理例III
频率转换部2134、2163也可以仅利用通过以下的数式2表示的感知强度来实施频率转换处理。使用以下算式，求出原信号的代表频率f0的感知强度，以频率转换后的振动的感知强度成为等效的方式求出振幅A。
[数式2]
在此，A为振幅，Tf为频率f中的振幅阈值，bf为依赖于频率f的指数值。
ISM是利用时间分割后的感知强度的方法，可以是在上述的频率转换部2134、2163中的处理中加上时间分割处理的方法。
图7是举例示出直通输出中的振幅的计测结果的图表。
在图1所示的双向触觉传递系统100中，根据以下的条件来实施啸叫的验证。
传感器：压电式振动传感器VS-BV203
振动器：Audio Exciter TEAX09C005-8
USB音频：OCTA-CAPTURE
放大器：SA-36A PRO
设备：纵100mm、横150mm的消光加工后的聚苯乙烯板
如图7所示，在直通输出的情况下，确认了啸叫。另一方面，在实施ISM处理的情况下，即使与直通输出的情况相比提高传感器灵敏度也未产生啸叫。即，确认了频率调制对振动啸叫是有效的。
图8是举例示出在图1所示的双向触觉传递系统100中利用了ISM的情况下的啸叫的抑制结果的表。
使通过ISM转换后的调制频率(fm)变化来验证是否产生啸叫。板的固有频率约为500Hz，fm为200Hz～1000Hz。
在图8中，〇表示即使施加振动也不振荡，Δ表示若稍微施加振动就会振荡，×表示即使不施加振动也会自激振荡。
确认了在fm与板的固有频率相等时，即使不触摸板，由于轻微的振动也会产生啸叫。此外，确认了在作为固有频率的高谐波的2倍时，若对板施加振动就会产生啸叫。另一方面，确认了即使以其他的频率对板施加振动也不会引起啸叫。即，确认了通过ISM将振动转换为远离固有频率的频率，由此能应对啸叫。
图9的(a)是举例示出直通输出的情况下的输出振动的计测结果的图表，图9的(b)是举例示出利用了ISM的情况下的输出振动的计测结果的图表。
能通过ISM将振动转换为任意的载波频率。通过对传感器的计测值应用去除ISM的载波频率分量的滤波器来去除振子所引起的振动。
将通过ISM转换后的频率设为200Hz，通过带阻滤波器2132去除200Hz的频率，呈现脉冲波形来作为初始振动。
如图9的(a)所示，在直通输出的情况下，附图标记G1所示的初始振动一边衰减一边反复进行多次附图标记G2、G3所示的环回。另一方面，如图9的(b)所示，在ISM的情况下，附图标记G4所示的初始振动之后，未产生环回。由此，确认了环回对ISM处理和滤波处理的组合是有效的。
接下来，使用图10～图15对振动输入输出设备3、3a～3e的具体例进行说明。
图10是表示环境设置型的振动输入输出设备3的第一例的图。
在图10所示的振动输入输出设备3中，振动传感器31和振动器32(换言之，振子)配置于接触板301的背面。
振动输入输出设备3基于用户触摸接触板301来进行触觉的检测和呈现。可以是，沿接触板301的背面的两边装配长方体状的两条固定部302，通过固定部302固定于桌子、笔记本电脑型的终端1、键盘(未图示)等。接触板301也可以是通过固定两端部而中间部浮起来形成易于使前表面摆动的结构。也可以是，以与接触板301重合的方式投影影像来显示传递对象的影像等。
图11是表示环境设置型的振动输入输出设备3a的第二例的图。
图11所示的振动输入输出设备3a与图10所示的振动输入输出设备3同样地通过两条固定部302来固定接触板301。振动输入输出设备3a在接触板301的背面具备一个振动传感器31和多个(在图示的例子中为四个)振动器32。此外，也可以另行配置通过用立体摄像机跟踪手的位置的深度摄像机等来检测接触位置的接触位置感测用传感器33(换言之，接触位置检测传感器)。即，也可以在图1所示的振动输入输出设备3中追加配置接触位置感测用传感器33。
如此，可以基于由接触位置感测用传感器33得到的检测结果将振动的移动感觉输出至振动器32。例如，基于与在接触位置感测用传感器33中检测到的接触板301的接触位置有关的信息(例如，坐标信息)将振动分配给接收侧的振动输入输出设备3a的多个振动器32进行输出。通过配置多个振动器32，能根据通信对象的接触位置来调整各振动器32的振动强度、刺激时间差，虚拟地表现接触对象的移动感。
图12是表示环境设置型的振动输入输出设备3b的第三例的图。
图12所示的振动输入输出设备3c与图10和图11所示的振动输入输出设备3、3a同样地通过两条固定部302来固定接触板301。振动输入输出设备3c在接触板301的背面具备多个(在图示的例子中为四个)振动传感器31和多个(在图示的例子中为四个)振动器32。
通过设置多个振动传感器31，可以根据输入强度差来推定接触位置，基于分别来自多个振动传感器31的输入将振动的移动感觉输出至振动器32。此外，也能通过设置多个振动器32来使接触板的整个表面摆动。而且，能通过根据通信对象的接触位置调整各振动的振动强度、时间差来虚拟地表现接触对象的移动感。
图13是表示腕带型的振动输入输出设备3c的图。
图13所示的振动输入输出设备3c在用户装戴于手腕的腕带的内表面具备多个振动传感器31和多个振动器32。需要说明的是，振动输入输出设备3c可以是用户能装戴的各种可穿戴设备。在图13中明示出两个振动传感器31和两个振动器32，但是，振动传感器31和振动器32也可以以围绕用户的手腕的方式配备多个，例如可以在上下左右方向上各配备四个。
将振动传感器31装戴于手腕附近，通过与物体的接触来对从用户的手指传播的振动进行计测。能通过使用多个振动传感器31来获取根据手腕的部位的振动的不同。将振动器32也装戴于手腕附近来呈现从通信对象传递的振动。能通过使用多个振动器32来表现根据部位的振动的不同。
图14是表示抱枕型的振动输入输出设备3d的图。
在图14所示的振动输入输出设备3d中，振动传感器31和振动器32配置于能与用户的身体接触或用户能抓持的抱枕、坐垫等。需要说明的是，振动传感器31和振动器32的数量可以进行各种变更。振动输入输出设备3d能与用户的腹部、腿部等大面积接触，通过振动传感器31对用户的身体的振动进行计测，并且通过振动器32将振动传递至用户的身体。需要说明的是，振动传感器31和振动器32也可以配置于作为用户能抓持的设备的手持的控制器。
图15是表示工具装配型的振动输入输出设备3e的图。
在图15所示的振动输入输出设备3e中，振动传感器31和振动器32配置于扳手、螺丝刀等用户能抓持的工具。需要说明的是，振动传感器31和振动器32的数量可以进行各种变更。通过振动传感器31对传播至工具的振动进行计测，在工具装配振动器32对手进行刺激，通过双向传递刺激，能对远程位置的用户传递操作感等，实施远程的技术指导等。
需要说明的是，在图10～图15中分别示出的振动输入输出设备3、3a～3e中，也可以与振动器32中的转换后的信号的输出同时输出声音、影像或光中的至少任一种。
〔A-2〕终端
图16是示意性地表示作为实施方式的终端1的构成例的框图。
终端1具备中央处理器(Central Processing Unit：CPU)11、存储器12以及存储装置13。
存储器12是包括只读存储器(Read Only Memory：ROM)和随机存取存储器(RandomAccess Memory：RAM)的存储装置。
存储装置13是可读写地存储数据的装置，例如可以使用硬盘驱动器(Hard DiskDrive：HDD)、固态硬盘(Solid State Drive：SSD)、储存级内存(Storage Class Memory：SCM)。存储装置13对所生成的教师数据、学习模型等进行存储。
CPU11是进行各种控制、运算的处理装置，通过执行储存于存储器12的操作系统(Operating System：OS)、程序来实现各种功能。即，如图16所示，CPU11可以作为计算部113A、转换部114A以及信号输出部115A发挥功能。
CPU11是计算机的一个例子，示例性地对整个终端1的动作进行控制。用于对整个终端1的动作进行控制的装置不限定于CPU11，例如也可以是MPU、DSP、ASIC、PLD、FPGA、专用处理器中的任一种。此外，用于对整个终端1的动作进行控制的装置也可以是CPU、MPU、DSP、ASIC、PLD、FPGA以及专用处理器中的两种以上的组合。需要说明的是，MPU是微处理器(Micro Processing Unit)的略称，DSP是数字信号处理器(Digital Signal Processor)的略称，ASIC是应用集成电路(Application Specific Integrated Circuit)的略称。此外，PLD是可编程逻辑器件(Programmable Logic Device)的略称，FPGA是可编程门阵列(FieldProgrammable Gate Array)的略称。
计算部113A计算根据由振动传感器31计测出的振动而确定的感知信息。可以是，计算部113A计算根据由振动传感器31计测出的振动而确定的包络线来作为感知信息。可以是，计算部113A根据由振动传感器31计测出的振动的波形计算刺激的主观强度，来作为感知信息。可以是，计算部113A计算根据由振动传感器31计测出的振动而确定的感知强度(换言之，信号的能量)，来作为感知信息。可以是，计算部113A按每个规定的时间对与由振动传感器31计测出的振动有关的信号进行分割，并按分割出的每个规定时间来计算感知强度。
转换部114一边维持由计算部113A计算出的感知信息，一边将与振动有关的信号转换为规定的频率。可以是，转换部114A将信号转换为除了振动输入输出设备3的壳体的共振频率以外的不同的频率。可以是，转换部114A一边维持由计算部113A计算出的包络线，一边将与振动有关的信号作为以规定的频率成为载波频率的方式进行了转换的振幅调制信号而输出。可以是，转换部114A以维持由计算部113A计算出的主观强度的方式，利用规定的等效主观强度映射将与振动有关的信号转换为规定的频率。可以是，转换部114A一边维持由计算部113A计算出的感知强度，一边将与振动有关的信号转换为具有不同的频率的波形。可以是，转换部114A针对信号的频率分量中的特定的频带的信号，调整感知强度来进行波形的转换，另一方面，针对除了特定的频带以外的信号，一边维持感知强度，一边转换为具有不同的频率的波形。可以是，转换部114A针对基于特定的信号特征量而提取出的信号，调整感知强度来进行波形的转换，另一方面，针对基于特定的特征量而未提取的信号，一边维持感知强度，一边转换为具有其他的频率的波形。可以是，转换部114A通过滤波处理使特定的频带衰减，以抑制在振动器32中输出的振动的环回。需要说明的是，滤波处理可以通过图3～图5所示的带阻滤波器2132来实现。
信号输出部115A使通过转换部114A进行了转换的、转换后的信号作为输出振动而输出至其他的振动输入输出设备3的振动器32。可以是，信号输出部115A将通过转换部114A进行了转换的振幅调制信号输出至其他的振动输入输出设备3的振动器32。
需要说明的是，可以使作为计算部113A、转换部114A以及信号输出部115A的功能中的以下组合中的任一种配备于发送侧的终端1：仅计算部113A的组合；计算部113A和转换部114A的组合；以及计算部113A、转换部114A以及信号输出部115A的组合。此外，也可以使作为计算部113A、转换部114A以及信号输出部115A的功能中的以下组合中的任一种配备于接收侧的终端1：仅信号输出部115A的组合；转换部114A和信号输出部115A的组合；以及计算部113A、转换部114A以及信号输出部115A的组合。
〔A-3〕ISM
图17的(a)～(c)是对用于图1所示的感知强度的分配处理的ISM处理简单进行说明的图表。
ISM是维持高频振动的触感并调制为低频的方法。对图17的(a)所示的原来的信号进行转换，计算图17的(b)所示的每段的振动强度。然后，维持振动强度来生成图17的(c)所示的转换后的波形。
在图17中，转换前为400Hz～600Hz的振动，而转换后为200Hz的波形，但作为转换后的波形能选择任意的频率。
在高频分量信号的生成中，生成与所分配的感知强度等效的振动波形。各振动器32的波形具有相同的频率，因此，也可以简易地将根据分配系数求出的增益值乘以原来波形来进行驱动(与后述的低频分量相同的方法)。但是，一般来说，触觉用的振动器32的响应频带较窄，难以直接生成任意的振动波形。此外，在利用声音信号作为振动源的波形的情况下，包括可听域的频率，因此，存在在通过振动器32进行驱动时产生噪声的问题。
因此，转换为具有适当的载波频率的振幅调制波，以生成被分配的感知强度Ik。由此，要生成的信号的载波频率为一个。载波频率能根据振子的频率响应特性来选定。若考虑人对高频振动的感知特性，则载波频率在150Hz～400Hz的范围是适当的。
考虑到人对高频振动的感知特性，在高频频带中不是着眼于波形本身，而是着眼于与人的感知特性存在相关的振动能量，能通过置换为具有相同的振动能量的其他波形来变更频带。
以考虑到人的感知特性的适当的间隔对连续的任意的振动信号进行时间分割，并按分割后的每段转换为振动能量，由此，能转换为任意的信号波形，使人所感觉到的触觉保持为相同或使其能感觉到难以感觉到的高频频带。
能通过适当地选择转换后的振动的频率来根据振子的响应范围高效地进行驱动，或降低听觉噪音，或者转换为任意的声源。
一般认为人对振动的感知到1kHz左右。因此，1kHz以上的振动经常被无视。另一方面，已知即使是1kHz以上的振动，在其振幅为在人能感觉到的程度的频带中变动的振幅调制波的情况下，也能感知其包络线分量。
另一方面，作为人对振动为100Hz左右以上的高频振动的感知特性，已知一种振动能量模型。由此可知，即使在保持高频振动能量不变地置换振幅调制波的载波频率也无法区分振动。但是，即使保持振动能量，如上所述，有时振动的包络分量能感知为触觉信息的差异，未对其感知范围进行调查。此外，虽然提出了通过时间分割基于振动能量来转换信号的方法，但尚未研究出维持低频分量的方法尚。
图18是表示人对振动的辨别可能性的图表。图19是在为了判断由图18所示的图表表示的辨别可能性而实施的强制三选项辨别实验中使用的振动的采样波形。
若以过去已知的振动能量模型为前提，保持振动能量不变地对人的感知区分特性进行调查，则获得图18所示的图表。图19的附图标记B1和附图标记B2表示相同的波形，图19的附图标记B3表示不同的波形。使受试者对图19的附图标记B1和B2所示的一定振幅振动和附图标记B3所示的振幅调制刺激进行比较，回答振幅调制波是哪一个。在图18中，在强制三选项辨别实验中获得的正确回答率通过作为基于信号检测理论的辨别性能指标的灵敏度(Sensitivity(d’：d-prime))来表示，若d’为1以下，则意味着正确回答率低于约6成。
根据图18的图表，能辨别包络线分量的频率的上限值为80Hz～125Hz左右。此外，表示无需保持该频率上限值以上的包络分量，如果保持振动能量不变地对振幅调制波的载波频率进行置换，则无法区分刺激。
如上所述，即使保持振动能量，在能量在低频域变动的情况下，有时其变动能感知为触觉信息的差异，未对其感知范围进行调查。因此，一边基于发现能感知的低频的变动的上限值在80Hz～125Hz左右，通过两个对策(参照后述的对策[1]和对策[2])来维持低频分量，一边进行振动能量的转换。
图20是表示由图16所示的终端1进行的每段的转换前后的信号的波形的图表。
比起波形本身，人的高频感知多基于振动能量，因此，只要保持振动能量，就能感觉到相同的感觉。不过，在振动能量的变动在80Hz～125Hz左右以下产生的情况下，需要再现该振动能量的变动。
因此，在本实施方式的一个例子中，作为维持规定的频率(例如，80Hz～125Hz左右)以下的振动能量的变动的方法，例如，在80Hz～200Hz左右的区间对振动进行时间分割，按每段求出振动能量，置换为具有不同的载波频率的振动。
在图20所示的例子中，在附图标记C1所示的原来的振动信号和附图标记C2所示的转换后的信号中，在相同的间段内，转换后的信号的能量转换为与原来的振动信号的能量相同。
时间分割的宽度(换言之，分割宽度)只要设定为能表现80Hz～125Hz以下的能量变动的程度(换言之，变动的波峰一致的程度)即可(对策[1])。分割宽度的频率可以为80Hz～125Hz以上，但若分割宽度过短，则比分割宽度长的周期的振动能量的推定精度变差。因此，根据下述的对策[2]，无法推定能量的振动将波形直接输出。
此外，也可以取出规定的频率以下的分量，直接作为刺激振动呈现(对策[2])。需要说明的是，规定的频率可以为80Hz～125Hz以上，但规定的频率分量以上的分量也可以通过第二信号分量的能量控制部113来表现。由此，能使频率选择具有任意性。不过，若将规定的频率设定得过高，则可能产生噪声的问题或者需要宽频带的振动装置。
根据上述对策[1]和对策[2]，规定的频率可以为80Hz～400Hz左右。从噪声问题和振动装置的性能的观点出发，400Hz为上限。
规定的频率的设定也涉及转换振动时的载波频率的选定。人的感知灵敏度变好的振动频率的峰值在200Hz～250Hz左右，作为提高灵敏度并且不会成为噪声的载波频率，150Hz～400Hz左右是实用的。载波频率也可以是分割宽度的常数倍。此外，载波频率也可以使用多个不同的频率，还可以包括400Hz以上的高频域。
此外，也可以不一定使区分低频和高频的规定频率与计算能量的分割宽度的频率一致。
作为为了提高人的感知可能性而校正的振动能量的校正能量通过以下的算式表示。
[数式3]
A为分离后的基底信号gk的振幅。Tf为振幅阈值，是人在频率f的信号中可以感觉到的最小的振幅。bf为指数值，是频率f的信号中的非线性特性。
图21是表示用于校正能量的计算的振幅阈值Tf的图表。
如图21所示，振幅阈值根据频率而不同，在大致102Hz～103Hz的范围内，即使是较小的振幅，人也能感觉到，但在除此以外的范围内，只要不是较大的振幅，人就无法感觉到。
图22是表示用于校正能量的计算的指数值bf的图表。
图22的指数值bf是使用对过去报告的400Hz以下的指数值bf进行线性插值而得到的值的例子。
图23是对图16所示的终端1中的窗函数的利用进行说明的图。
如附图标记D1所示，输入高频域信号H(t)。如附图标记D2所示，高频域信号H(t)按每个帧i、i+1、i+2……分别作为信号hi、hi+1、hi+2……进行帧分割。如附图标记D3所示，分割后的各帧的信号h分离为多个基底信号g1、g2、g3……。如附图标记D4所示，基于基底信号g1、g2、g3……所具有的频率f1、f2、f3……，输出将所有的基底信号g1、g2、g3……的校正能量合成而得到的标量值Ei、Ei+1、Ei+2……。如附图标记D5所示，通过各帧i计算出的振动能量的标量值Ei、Ei+1、Ei+2……转换为具有相同的振动能量但具有其他的载波频率的振动波形，对该波形的振幅ai(t)、ai+1(t)、ai+2(t)……实施使用了窗函数的加窗处理。如附图标记D6所示，对第1～N个帧进行帧合成，输出振动波形的振幅A(t)。如附图标记D7所示，输出具有像振幅为A(t)这样的载波频率的第二振动波形S2(t)。
图24是对图16所示的终端1中的低频和高频的合成例进行说明的图表。
利用图23的窗函数，对由高频域信号H(t)生成的附图标记E1所示的第二振动波形S2(t)与将低频域信号L(t)直接输出的附图标记E2所示的第一振动波形S1(t)进行合成。由此，输出附图标记E3所示的合成波形S1(t)+S2(t)。
图25是表示由图16所示的终端1进行的转换前后的信号的波形的具体例的图表。
在图25中，小提琴的声音的转换前的波形(参照附图标记F1)和转换后的波形(参照附图标记F2)由每个时间的振幅表示。
像小提琴这样的高频振动的声音在以往的触觉振动中会产生很大的听觉噪音，此外，若应用低通滤波器，则人能认知的振动会消失。因此，计算出校正能量，使波形成为每个时间具有低频的载波频率的单个波长。
图26是对图16所示的终端1中的ISM部1000的功能构成例进行说明的框图。
ISM部1000作为时分控制部112、能量控制部113、能量振动转换部114a以及振动生成部114b发挥功能。在本实施方式中，由ISM部1000，通过信号对由振动器32得到的包括100Hz左右以上的高频分量的振动进行控制。将本发明的对包括100Hz以上的高频分量的振动进行控制的方法总称为ISM。
时分控制部112将包括100Hz左右以上的高频分量的振动的信号X(t)时间分割为N个帧，将时间分割后的第i个帧的信号hi输入至能量控制部113。需要说明的是，帧数N可以根据规定的周期和加窗处理的重叠率来确定。
能量控制部113针对第i个帧的信号hi计算校正能量ei，将计算出的校正能量输入至能量振动转换部114a。
能量振动转换部114a生成将第1～N个帧的校正能量e1～eN各自合成而得到的信号A(t)，输入至第二振动生成部114b。
振动生成部114b基于合成后的信号A(t)来输出信号波形S(t)。
按照图27所示的框图(步骤S1～S7),对图16所示的终端1中的振动波形的生成处理的第一实施例进行说明。
信号去除部111a从获取到的转换前的信号X(t)中去除规定的频率以下的分量来生成高频域信号H(t)，输入至时分控制部112(步骤S1)。
时分控制部112将高频域信号H(t)时间分割为N个帧，将时间分割后的第i个帧的信号hi输入至能量控制部113(步骤S2)。需要说明的是，帧数N可以根据规定的周期和加窗处理的重叠率来确定。
能量控制部113针对第i个帧的信号hi计算校正能量ei，将计算出的校正能量输入至能量振动转换部114a(步骤S3)。
能量振动转换部114a生成将第1～N个帧的校正能量e1～eN各自合成而得到的信号A(t)，输入至第二振动生成部114b(步骤S4)。
第二振动生成部114b基于合成后的信号A(t)来输出第二振动波形S2(t)(步骤S5)。
另一方面，低通滤波器111b将从获取到的转换前的信号X(t)中过滤规定的频率以下的分量之后的低频域信号L(t)输入至第一振动生成部114c(步骤S6)。
第二振动生成部114c基于低频域信号L(t)来输出第一振动波形S1(t)(步骤S7)。
接着，按照图28所示的框图(步骤S11～S14)，对图27的步骤S3所示的能量控制处理的详情进行说明。
如图28所示，能量控制部113作为基底信号分离控制部113a、频率计算部113b、能量校正参数计算部113c以及校正能量计算部113d发挥功能。
基底信号分离控制部113a将作为输入信号的时间分割后的第i个帧的信号hi分离为多个基底信号g，将分离出的第k个基底信号gk输入至频率计算部113b(步骤S11)。例如，可以通过短时间傅立叶解析、小波解析、经验模态分解(Empirical Mode Decomposition：EMD)法等来对信号进行分离。
频率计算部113b例如通过离散傅立叶解析、希尔伯特谱(Hilbert Spectrum)解析等来计算第k个基底信号gk的频率fk，输入至能量校正参数计算部113c(步骤S12)。
能量校正参数计算部113c基于频率fk来计算使用图21和图22进行了说明的指数值bk和振幅阈值Tk，输入至校正能量计算部113d(步骤S13)。
校正能量计算部113d基于指数值bk和振幅阈值Tk，按照数式3所示的公式，按每个基底信号gk计算校正能量Ipc，输出将所有的基底信号gk的校正能量合计后的标量值ei(步骤S14)。
接着，按照图29所示的框图(步骤S101～S105)，作为图16所示的终端1中的振动波形的生成处理的第二实施例，对图26所示的能量控制处理中的低频分量的分离处理进行说明。
如图29所示，可以是，能量控制部113作为基底信号分离控制部113a、频率计算部113b、能量校正参数计算部113c以及校正能量计算部113d发挥功能，并且具有向低频分量合成部113g分离低频分量的功能。
基底信号分离控制部113a将作为输入信号的时间分割后的第i个帧的信号hi分离为多个基底信号g，将分离出的第k个基底信号gk输入至频率计算部113b(步骤S101)。例如，可以通过短时间傅立叶解析、小波解析、EMD法等来对信号进行分离。
频率计算部113b例如通过离散傅立叶解析、希尔伯特谱解析等来计算第k个基底信号gk的频率fk，输入至能量校正参数计算部113c(步骤S102)。
能量校正参数计算部113c基于频率fk来计算使用图21和图22进行了说明的指数值bk和振幅阈值Tk，输入至校正能量计算部113d(步骤S103)。
校正能量计算部113d基于指数值bk和振幅阈值Tk，按照数式3所示的公式，按每个基底信号gk计算校正能量Ipc，输出将所有的基底信号gk的校正能量合计后的标量值ei(步骤S104)。
低频分量合成部113g合成基底信号gk的频率fk小于规定的频率的基底信号，生成低频分量L(t)(步骤S105)。
针对包括多个频带的信号的声源，有时想要强调特定的频带的振动能量来呈现为振动。在这样的情况下，使用图30～图35，对作为在对存在于预先确定的频带的基底信号的能量进行调整来进行波形的转换时所应用的变形例的能量控制部1131和能量控制部1132进行说明。
图30的(a)～(c)是对不强调波形地按照ISM生成振动的例子进行说明的图表。在图30中，从钢琴三重奏的乐曲中示出与高频分量的钹(鼓)的波形对应的频带以及与钢琴和贝司的波形对应的频带。在图30的(a)～(c)中，横轴表示时间[s]，纵轴表示频率[Hz]，表示较浓地表示的频谱的功率大而较淡地表示的频谱的功率小。
图30的(a)中，作为声源频谱的分布，示出由虚线表示的高频分量的钹的波形和由单点划线表示的低频分量的钢琴和贝司的波形。
图30的(b)中示出通过ISM进行转换时的频谱分布(200Hz中心)。在图30的(b)中，在ISM的效果下，提取出钹、钢琴以及贝司的全部作为强度。
图30的(c)中示出不基于强度转换为具有200Hz的频率的信号，而使用基底信号的代表频率转换为信号的例子。由此，使强调了哪个频带可视化。
图31的(a)～(c)是对从声源中强调分离高频分量的第一例进行说明的图表。在图31中示出从钢琴三重奏的乐曲中强调分离高频分量的钹(鼓)的例子。在图31的(a)～(c)中，横轴表示时间[s]，纵轴表示频率[Hz]，表示较浓地表示的频谱的功率大而较淡地表示的频谱的功率小。
图31的(a)中，作为声源频谱的分布，示出由虚线表示的高频分量的钹的波形和由单点划线表示的低频分量的钢琴和贝司的波形。
图31的(b)中示出通过ISM进行转换时的频谱分布(200Hz中心)。在图31的(b)中，仅限3000Hz以上的强度+20dB(100倍)。
图31的(c)中示出不基于强度转换为具有200Hz的频率的信号，而使用基底信号的代表频率转换为信号的例子。由此，使强调了哪个频带可视化。在图31的(c)中，钹的频谱的功率变大。
图32的(a)～(c)是对从声源中强调分离高频分量的第二例进行说明的图表。在图32中示出从钢琴三重奏的乐曲中强调分离高频分量的钹(鼓)的例子。在图32的(a)～(c)中，横轴表示时间[s]，纵轴表示频率[Hz]，表示较浓地表示的频谱的功率大而较淡地表示的频谱的功率小。
图32的(a)中，作为声源频谱的分布，示出由虚线表示的高频分量的钹的波形和由单点划线表示的低频分量的钢琴和贝司的波形。
图32的(b)中示出通过ISM进行转换时的频谱分布(200Hz中心)。在图32的(b)中，3000Hz以上的强度+20dB(100倍)，另一方面1000Hz以下的强度-10dB(1/10倍)。
图32的(c)中示出不基于强度转换为具有200Hz的频率的信号，而使用基底信号的代表频率转换为信号的例子。由此，使强调了哪个频带可视化。在图32的(c)中，钹的频谱的功率变大。
图33的(a)～(c)是对从声源中强调分离低频分量的例子进行说明的图表。在图33中示出从钢琴三重奏的乐曲中强调分离低频分量的钢琴和贝司的例子。在图33的(a)～(c)中，横轴表示时间[s]，纵轴表示频率[Hz]，表示较浓地表示的频谱的功率大而较淡地表示的频谱的功率小。
图33的(a)中，作为声源频谱的分布，示出由虚线表示的高频分量的钹的波形和由单点划线表示的低频分量的钢琴和贝司的波形。
图33的(b)中示出通过ISM进行转换时的频谱分布(200Hz中心)。在图33的(b)中，1000Hz以下的强度+10dB(10倍)。
图33的(c)中示出不基于强度转换为具有200Hz的频率的信号，而使用基底信号的代表频率转换为信号的例子。由此，使强调了哪个频带可视化。在图33的(c)中，钢琴和贝司的频谱的功率变大。
图30～图33所示的强调分离任意的频率分量的处理也能在图1所示的双向触觉传递系统100中应用。即，可以对信号的频率分量中的特定的频带的信号调整能量来进行波形的转换，另一方面，对特定的频带以外的信号一边维持能量一边转换为具有不同的频率的波形。此外，也可以针对基于特定的信号特征量而提取出的信号，调整能量来进行波形的转换，另一方面，针对基于特定的特征量而未提取的信号，一边维持能量一边转换为具有不同的频率的波形。
按照图34所示的框图(步骤S41～S45)，对图26所示的能量控制处理的第一变形例进行说明。
如图34所示，除了图28所示的基底信号分离控制部113a、频率计算部113b、能量校正参数计算部113c以及校正能量计算部113d以外，能量控制部1131还作为增益计算部113e发挥功能。
基底信号分离控制部113a将作为输入信号的时间分割后的第i个帧的信号hi分离为多个基底信号g，将分离出的第k个基底信号gk输入至频率计算部113b(步骤S41)。例如，可以通过短时间傅立叶解析、小波解析、EMD法等来对信号进行分离。
频率计算部113b例如通过离散傅立叶解析、希尔伯特谱解析等来计算第k个基底信号gk的频率fk，输入至能量校正参数计算部113c(步骤S42)。
能量校正参数计算部113c基于频率fk来计算使用图21和图22进行了说明的指数值bk和振幅阈值Tk，输入至校正能量计算部113d(步骤S43)。
增益计算部113e根据计算出的基底信号gk的频率fk来输出预先确定的每个频带的增益值Gk(步骤S44)。在想要强调能量的情况下设定为Gk>1，在想要抑制能量的情况下设定为0≤Gk<1。通过强调或抑制进行的能量的调整可以对一个频带实施，也可以对多个频带实施。此外，能量的调整也可以对输入至能量控制部1131的整个频带实施。
校正能量计算部113d按照以下的数式2所示的公式，针对分离出的基底信号gk的振幅A，按每个基底信号gk计算增益调整后的校正能量Ipc，输入将所有的基底信号gk的校正能量合计后的标量值ei(步骤S45)。
[数式4]
按照图35所示的框图(步骤S51～S56)，对图26所示的能量控制处理的第二变形例进行说明。
如图35所示，除了图28所示的基底信号分离控制部113a、频率计算部113b、能量校正参数计算部113c以及校正能量计算部113d以外，能量控制部1132还作为增益计算部113e和信号源识别部113f发挥功能。
基底信号分离控制部113a将作为输入信号的时间分割后的第i个帧的信号hi分离为多个基底信号g，将分离出的第k个基底信号gk输入至频率计算部113b(步骤S51)。例如，可以通过短时间傅立叶解析、小波解析、EMD法等来对信号进行分离。
频率计算部113b例如通过离散傅立叶解析、希尔伯特谱解析等来计算第k个基底信号gk的频率fk，输入至能量校正参数计算部113c(步骤S52)。
能量校正参数计算部113c基于频率fk来计算使用图21和图22进行了说明的指数值bk和振幅阈值Tk，输入至校正能量计算部113d(步骤S53)。
信号源识别部113f基于所设定的信号特征，根据输入信号hi和hi的履历等来推定识别候选，识别基底信号gk属于哪个信号源，通过ID(标识符)等输出识别结果(步骤S54)。信号源识别部113f可以通过机器学习等预先准备识别器。例如，可以通过深度学习学习许多乐器的特征，推定当前的输入信号hi(或在输入信号hi过短的情况下为各多个输入信号hi的履历)中包括哪个乐器的候选组(例如，钢琴、贝司、鼓)，识别基底信号gk包括于哪个乐器。
增益计算部113e根据由信号源识别部113f确定的ID来输出预先确定的每个频带的增益值Gk(步骤S55)。在想要强调能量的情况下设定为Gk>1，在想要抑制能量的情况下设定为0≤Gk<1。通过强调或抑制进行的能量的调整可以对一个频带实施，也可以对多个频带实施。此外，能量的调整也可以对输入至能量控制部1132的整个频带实施。
校正能量计算部113d按照数式4所示的公式，针对分离出的基底信号gk的振幅A，按每个基底信号gk计算增益调整后的校正能量Ipc，输入将所有的基底信号gk的校正能量合计后的标量值ei(步骤S56)。
接着，按照图36所示的框图(步骤S21～S23)，对图26的步骤S4所示的能量合成处理的详情进行说明。
能量振动转换部114a作为能量等效转换部1141a、加窗处理部1142a以及帧合成部1143a发挥功能。
如图36所示，能量等效转换部1141a将通过各帧i计算出的振动能量的标量值ei转换为具有相同的振动能量但具有其他的载波频率的振动波形，并将该波形的振幅ai(t)对加窗处理部1142a输出(步骤S21)。
加窗处理部1142a对被输入的各帧i的振幅ai(t)进行使用了图23所示的窗函数的加窗处理，将处理结果输入至帧合成部1143a(步骤S22)。
帧合成部1143a对来自针对第1～N个帧的加窗处理部1142a的输入进行帧合成，输出振动波形的振幅A(t)(步骤S23)。
接着，按照图37所示的框图(步骤S31和S32)，对图26的步骤S5所示的校正后的振动波形的生成处理的详情进行说明。
如图37所示，第二振动生成部114b作为振幅振动转换部1141b和波形输出部1142b发挥功能。第二振动生成部114b输出具有被输入的信号A(t)，具有载波频率的正弦波。所生成的波形可以控制相位，使振动顺利地连接。
振幅振动转换部1141b将被输入的振幅A(t)转换为振动(步骤S31)。
波形输出部1142b输出具有载波频率的正弦波S2(t)，使振幅成为A(t)(步骤S32)。
〔B〕效果
根据实施方式的一个例子中的双向触觉传递系统100、触觉传递程序以及触觉传递方法，例如，能起到以下的作用效果。
振动传感器31对在振动输入输出设备3中产生的振动进行计测。计算部113A计算根据由振动传感器31计测出的振动而确定的感知信息。转换部114A一边维持由计算部113A计算出的感知信息，一边将与振动有关的信号转换为规定的频率。信号输出部115A使通过转换部114A进行了转换的、转换后的信号作为输出振动而输出至其他的振动输入输出设备3的振动器32。
由此，能抑制双向触觉传递系统100中的接触信号的啸叫和环回。具体而言，通过一边维持感知信息一边将致动器的信号调制为具有与壳体的固有振动不同的频率的信号进行驱动，能抑制由双向通信产生的啸叫。此外，能通过以与壳体的固有振动不同的载波频率将致动器的驱动信号保持为固定，并从传感器信号中去除具有该载波频率的信号，能防止对传感器信号的干扰，抑制环回。
〔C〕其他
公开的技术不限定于上述的各实施方式，也可以在不脱离各实施方式的主旨的范围内进行各种变形来实施。各实施方式的各构成和各处理可以根据需要进行取舍选择，或者也可以适当地组合。
图38是表示在图1所示的双向触觉传递系统100中使用多个振动装置310、320的情况的DAC的构成例的框图。
在图38所示的例子中，图3～图5所示的DA转换部2162作为高频域增益调整器21a、低频域增益调整器21b、高频域用振动装置驱动电路22a以及低频域用振动装置驱动电路22b发挥功能。此外，图1所示的振动器32作为高频域用振动装置310和低频域用振动装置320发挥功能。
高频域增益调整器21a经由高频域用振动装置驱动电路22a将从终端1输入的第二振动波形S2(t)输出至高频域用振动装置310。此外，低频域增益调整器21b经由低频域用振动装置驱动电路22b将从终端1输入的第一振动波形S1(t)输出至低频域用振动装置320。
图39是表示在图1所示的双向触觉传递系统100中使用单个振动装置的情况的DAC的构成例的框图。
在图39所示的例子中，图3～图5所示的DA转换部2162作为高频域增益调整器21a、低频域增益调整器21b以及振动装置驱动电路22发挥功能。此外，图1所示的振动器32作为振动装置30发挥功能。
高频域增益调整器21a和低频域增益调整器21b分别经由共同的振动装置驱动电路22将从终端1输入的第二振动波形S2(t)和第一振动波形S1(t)输出至共同的振动装置30。
附图标记说明
100：双向触觉传递系统；
1：终端；
11：CPU；
1000：ISM部；
111：频率去除控制部；
111a：信号去除部；
111b：低通滤波器；
111d：校正能量计算部；
112：时分控制部；
113A：计算部；
113、1131、1132：能量控制部；
113a：基底信号分离控制部；
113b：频率计算部；
113c：能量校正参数计算部；
113d：校正能量计算部；
113e：增益计算部；
113f：信号源识别部；
113g：低频分量合成部；
114A：转换部；
114a：能量振动转换部；
114b：第二振动生成部；
114c：第一振动生成部；
1141a：能量等效转换部；
1142a：加窗处理部；
1143a：帧合成部；
1141b：振幅振动转换部；
1142b：波形输出部；
115A：信号输出部；
12：存储器；
13：存储装置；
2：USB音频I/F；
21a：高频域增益调整器；
21b：低频域增益调整器；
211：振动计测部；
212、217：信号放大部；
213：信号输入处理部；
2131：AD转换部；
2132：带阻滤波器；
2133：均衡器；
2134、2163：频率转换部；
2135：强度计算部；
214：信号发送部；
215：信号接收部；
216：信号输出部；
2161：缓冲部；
2162：DA转换部；
2164：振动波形生成部；
22：振动装置驱动电路；
22a：高频域用振动装置驱动电路；
22b：低频域用振动装置驱动电路；
3、3a～3e：振动输入输出设备；
301：接触板；
302：固定部；
31：振动传感器；
310：高频域用振动装置；
32：振动器；
320：低频域用振动装置；
33：接触位置感测用传感器；
4：放大器。

Claims (35)

1.一种触觉传递系统，所述触觉传递系统是具有触觉传递装置和其他的触觉传递装置的触觉传递系统，其中，
所述触觉传递系统具备：
振动计测部，对在所述触觉传递装置中产生的振动进行计测；
计算部，计算根据由所述振动计测部计测出的所述振动而确定的感知信息；
转换部，一边维持由所述计算部计算出的所述感知信息，一边将与所述振动有关的信号转换为规定的频率；和
信号输出部，使通过所述转换部进行了转换的、转换后的信号作为输出振动而输出至所述其他的触觉传递装置的振子。
2.根据权利要求1所述的触觉传递系统，其中，
所述转换部将所述信号转换为除了所述触觉传递装置的壳体的共振频率以外的频率，来作为所述规定的频率。
3.根据权利要求1或2所述的触觉传递系统，其中，
所述计算部计算根据由所述振动计测部计测出的所述振动而确定的包络线，来作为所述感知信息，
所述转换部一边维持由所述计算部计算出的所述包络线，一边将与所述振动有关的信号作为以所述规定的频率成为载波频率的方式进行了转换的振幅调制信号而输出，
所述信号输出部将通过所述转换部进行了转换的所述振幅调制信号输出至所述其他的触觉传递装置的振子。
4.根据权利要求1或2所述的触觉传递系统，其中，
所述计算部根据由所述振动计测部计测出的所述振动的波形计算刺激的主观强度，来作为所述感知信息，
所述转换部以维持由所述计算部计算出的所述主观强度的方式，利用规定的等效主观强度映射将与所述振动有关的信号转换为所述规定的频率。
5.根据权利要求1或2所述的触觉传递系统，其中，
所述计算部计算根据由所述振动计测部计测出的所述振动而确定的感知强度，来作为所述感知信息，
所述转换部一边维持由所述计算部计算出的所述感知强度，一边将与所述振动有关的信号转换为具有与所述信号不同的频率的波形。
6.根据权利要求5所述的触觉传递系统，其中，
所述计算部按每个规定时间对与由所述振动计测部计测出的所述振动有关的信号进行分割，并按分割出的每个所述规定时间来计算所述感知强度。
7.根据权利要求5或6所述的触觉传递系统，其中，
所述转换部针对所述信号的频率分量中的特定的频带的信号，调整所述感知强度来进行所述波形的转换，另一方面，针对除了所述特定的频带以外的信号，一边维持所述感知强度，一边转换为具有与所述信号不同的频率的波形。
8.根据权利要求5或6所述的触觉传递系统，其中，
所述转换部针对所述信号中基于特定的信号特征量而提取出的信号，调整所述感知强度来进行所述波形的转换，另一方面，针对基于所述特定的特征量而未提取的信号，一边维持所述感知强度，一边转换为具有与所述信号不同的频率的波形。
9.根据权利要求1至8中任一项所述的触觉传递系统，其中，
所述转换部通过滤波处理使特定的频带衰减，以抑制在所述振子中输出的振动的环回。
10.根据权利要求1至9中任一项所述的触觉传递系统，所述触觉传递系统还具备：
接触位置检测传感器，对用户与所述触觉传递装置的壳体的接触位置进行检测，
所述信号输出部基于由所述接触位置检测传感器得到的检测结果，使振动的移动感觉输出至所述振子。
11.根据权利要求1至9中任一项所述的触觉传递系统，其中，
所述触觉传递系统具备多个所述振动计测部，
所述信号输出部基于分别来自所述多个振动计测部的输入，使振动的移动感觉输出至所述振子。
12.根据权利要求1至11中任一项所述的触觉传递系统，其中，
所述信号输出部在输出所述振子中的所述转换后的信号的同时，使声音、影像或光输出至所述其他的触觉传递装置。
13.根据权利要求1至12中任一项所述的触觉传递系统，其中，
所述振动计测部和所述振子配置于接触板，所述接触板设置于环境侧，并且通过接触用户的身体来传递振动。
14.根据权利要求1至12中任一项所述的触觉传递系统，其中，
所述振动计测部和所述振子配置于能装戴于用户的身体的可穿戴设备。
15.根据权利要求1至12中任一项所述的触觉传递系统，其中，
所述振动计测部和所述振子配置于供用户抓持的设备配置有所述振动计测部和所述振子。
16.一种触觉传递装置，所述触觉传递装置是在如权利要求1至15中任一项所述的触觉传递系统中使用的所述触觉传递装置，其中，
所述触觉传递装置具备所述振动计测部、所述计算部、所述转换部以及所述信号输出部中的以下组合中的任一种：仅所述振动计测部的组合；所述振动计测部和所述计算部的组合；所述振动计测部、所述计算部和所述转换部的组合；以及所述振动计测部、所述计算部、所述转换部以及所述信号输出部的组合。
17.一种触觉传递装置，所述触觉传递装置是在如权利要求1至15中任一项的触觉传递系统中使用的所述其他的触觉传递装置，其中，
所述其他的触觉传递装置具备所述计算部、所述转换部以及所述信号输出部中的以下组合中的任一种：仅所述信号输出部的组合；所述转换部和所述信号输出部的组合；以及所述计算部、所述转换部以及所述信号输出部的组合。
18.一种触觉传递程序，使具有触觉传递装置和其他的触觉传递装置的触觉传递系统中的计算机执行以下处理：
对在所述触觉传递装置中产生的振动进行计测，
计算根据计测出的所述振动而确定的感知信息，
一边维持计算出的所述感知信息，一边将与所述振动有关的信号转换为规定的频率，
使转换后的信号作为输出振动而输出至所述其他的触觉传递装置的振子。
19.根据权利要求18所述的触觉传递程序，使所述计算机执行以下处理：
将所述信号转换为除了所述触觉传递装置的壳体的共振频率以外的频率，来作为所述规定的频率。
20.根据权利要求18或19所述的触觉传递程序，使所述计算机执行以下处理：
计算根据计测出的所述振动而确定的包络线，来作为所述感知信息，
一边维持计算出的所述包络线，一边将与所述振动有关的信号作为以所述规定的频率成为载波频率的方式进行了转换的振幅调制信号而输出，
将进行了转换的所述振幅调制信号输出至所述其他的触觉传递装置的振子。
21.根据权利要求18或19所述的触觉传递程序，使所述计算机执行以下处理：
根据计测出的所述振动的波形来计算刺激的主观强度，来作为所述感知信息，
以维持计算出的所述主观强度的方式，利用规定的等效主观强度映射将与所述振动有关的信号转换为所述规定的频率。
22.根据权利要求18或19所述的触觉传递程序，其中，
计算根据计测出的所述振动而确定的感知强度，来作为所述感知信息，
一边维持计算出的所述感知强度，一边将与所述振动有关的信号转换为具有与所述信号不同的频率的波形。
23.根据权利要求22所述的触觉传递程序，使所述计算机执行以下处理：
按每个规定时间对与计测出的所述振动有关的信号进行分割，并按分割出的每个所述规定时间来计算所述感知强度。
24.根据权利要求22或23所述的触觉传递程序，使所述计算机执行以下处理：
针对所述信号的频率分量中的特定的频带的信号调整所述感知强度来进行所述波形的转换，另一方面，针对除了所述特定的频带以外的信号，一边维持所述感知强度，一边转换为具有与所述信号不同的频率的波形。
25.根据权利要求22或23所述的触觉传递程序，使所述计算机执行以下处理：
针对所述信号中基于特定的信号特征量而提取出的信号，调整所述感知强度来进行所述波形的转换，另一方面，针对基于所述特定的特征量而未提取的信号，一边维持所述感知强度，一边转换为具有与所述信号不同的频率的波形。
26.根据权利要求18至25中任一项所述的触觉传递程序，使所述计算机执行以下处理：
通过滤波处理使特定的频带衰减，以抑制在所述振子中输出的振动的环回。
27.一种触觉传递方法，所述触觉传递方法是具有触觉传递装置和其他的触觉传递装置的触觉传递系统中的触觉传递方法，其中，
所述触觉传递方法执行以下处理：
对在所述触觉传递装置中产生的振动进行计测，
计算根据计测出的所述振动而确定的感知信息，
一边维持计算出的所述感知信息，一边将与所述振动有关的信号转换为规定的频率，
使转换后的信号作为输出振动而输出至所述其他的触觉传递装置的振子。
28.根据权利要求27所述的触觉传递方法，其中，
将所述信号转换为除了所述触觉传递装置的壳体的共振频率以外的频率，来作为所述规定的频率。
29.根据权利要求27或28所述的触觉传递方法，其中，
计算根据计测出的所述振动而确定的包络线，来作为所述感知信息，
一边维持计算出的所述包络线，一边将与所述振动有关的信号作为以所述规定的频率成为载波频率的方式进行了转换的振幅调制信号而输出，
将进行了转换的所述振幅调制信号输出至所述其他的触觉传递装置的振子。
30.根据权利要求27或28所述的触觉传递方法，其中，
根据计测出的所述振动的波形来计算刺激的主观强度，来作为所述感知信息，
以维持计算出的所述主观强度的方式，利用规定的等效主观强度映射将与所述振动有关的信号转换为所述规定的频率。
31.根据权利要求29或30所述的触觉传递方法，其中，
计算根据计测出的所述振动而确定的感知强度，来作为所述感知信息，
一边维持由计算出的所述感知强度，一边将与所述振动有关的信号转换为具有与所述信号不同的频率的波形。
32.根据权利要求31所述的触觉传递方法，其中，
按每个规定时间对与计测出的所述振动有关的信号进行分割，并按分割出的每个所述规定时间来计算所述感知强度。
33.根据权利要求31或32所述的触觉传递方法，其中，
针对所述信号的频率分量中的特定的频带的信号，调整所述感知强度来进行所述波形的转换，另一方面，针对除了所述特定的频带以外的信号，一边维持所述感知强度，一边转换为具有与所述信号不同的频率的波形。
34.根据权利要求31或32所述的触觉传递方法，其中，
针对所述信号中基于特定的信号特征量而提取出的信号，调整所述感知强度来进行所述波形的转换，另一方面，针对基于所述特定的特征量而未提取的信号，一边维持所述感知强度，一边转换为具有与所述信号不同的频率的波形。
35.根据权利要求27至34中任一项所述的触觉传递方法，其中，
通过滤波处理使特定的频带衰减，以抑制在所述振子中输出的振动的环回。
CN202180098907.4A 2021-06-04 2021-06-04 触觉传递系统、触觉传递装置、触觉传递程序以及触觉传递方法 Pending CN117396830A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/021468 WO2022254733A1 (ja) 2021-06-04 2021-06-04 触覚伝達システム，触覚伝達装置，触覚伝達プログラム及び触覚伝達方法

Publications (1)

Publication Number Publication Date
CN117396830A true CN117396830A (zh) 2024-01-12

Family

ID=84322961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180098907.4A Pending CN117396830A (zh) 2021-06-04 2021-06-04 触觉传递系统、触觉传递装置、触觉传递程序以及触觉传递方法

Country Status (4)

Country Link
US (1) US12360603B2 (zh)
JP (2) JP7556609B2 (zh)
CN (1) CN117396830A (zh)
WO (1) WO2022254733A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12576432B2 (en) * 2022-02-22 2026-03-17 Foster Electric Company, Limited Vibration device
WO2025053267A1 (ja) * 2023-09-08 2025-03-13 国立大学法人東北大学 振動提示システム、振動再現方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8665216B2 (en) * 2008-12-03 2014-03-04 Tactile World Ltd. System and method of tactile access and navigation for the visually impaired within a computer system
US9001032B2 (en) * 2010-03-30 2015-04-07 Korea Institute Of Science And Technology Tactile transmission system using glove type actuator device and method thereof
JPWO2012073733A1 (ja) * 2010-12-03 2014-05-19 日本電気株式会社 提示装置、コミュニケーションシステム、および感性提示方法
JP2012168775A (ja) * 2011-02-15 2012-09-06 Nikon Corp 電子装置、信号変換方法およびプログラム
US10268286B2 (en) * 2014-12-23 2019-04-23 Immersion Corporation Controlling power distribution to haptic output devices
US10109161B2 (en) * 2015-08-21 2018-10-23 Immersion Corporation Haptic driver with attenuation
US20170193767A1 (en) * 2015-12-30 2017-07-06 Parihug Haptic communication device and system for transmitting haptic interaction
JP2017182496A (ja) * 2016-03-30 2017-10-05 ソニー株式会社 制御装置、制御方法およびプログラム
CN109661638B (zh) * 2016-09-09 2022-04-15 索尼公司 终端装置、服务器和信息处理系统
JP7367671B2 (ja) * 2018-05-23 2023-10-24 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP2020201749A (ja) * 2019-06-11 2020-12-17 日本電産コパル株式会社 振動発生装置及び電子機器
JP7383226B2 (ja) * 2019-09-26 2023-11-20 Ｔｏｐｐａｎホールディングス株式会社 触覚情報生成プログラム、触覚情報入力装置、および、触覚情報通信システム
WO2021085506A1 (ja) 2019-10-28 2021-05-06 国立大学法人東北大学 振動制御装置，振動制御プログラム及び振動制御方法

Also Published As

Publication number Publication date
JP7840072B2 (ja) 2026-04-03
US12360603B2 (en) 2025-07-15
JP7556609B2 (ja) 2024-09-26
WO2022254733A1 (ja) 2022-12-08
JP2024166245A (ja) 2024-11-28
JPWO2022254733A1 (zh) 2022-12-08
US20250013305A1 (en) 2025-01-09

Similar Documents

Publication Publication Date Title
JP7840072B2 (ja) 触覚伝達システム，触覚伝達装置，触覚伝達プログラム及び触覚伝達方法
US20100040249A1 (en) Ultrasonic and multimodality assisted hearing
US20260065759A1 (en) Vibration control apparatus, vibration control program, and vibration control method
EP4147229A1 (en) System and method for data augmentation for multi-microphone signal processing
WO2022260707A1 (en) System and method for aiding hearing
JP2017090888A (ja) 楽器の特性をモデル化する方法
JP7055406B2 (ja) 振動制御装置，振動制御プログラム，振動制御方法及び振動制御プログラムを記録したコンピュータ読み取り可能な記録媒体
CN112969409A (zh) 用于认知障碍筛查和治疗的纯音频干扰训练
CN103688555A (zh) 减少失真
JP7319608B2 (ja) 振動体感装置，方法，振動体感装置用プログラム及び振動体感装置用プログラムを記録したコンピュータ読み取り可能な記録媒体
JP7212925B2 (ja) 音声伝達環境評価システム及び感覚刺激提示装置
WO2017135350A1 (ja) 記録媒体、音響処理装置および音響処理方法
JP7495728B2 (ja) 振動制御装置，振動制御プログラム及び振動制御方法
JP2008072600A (ja) 音響信号処理装置、音響信号処理プログラム、音響信号処理方法
JP2022021931A (ja) パラメトリックスピーカの音圧改善方法、及び、パラメトリックスピーカ
KR101102405B1 (ko) 스펙트럼 변조를 이용한 유사청각 전달 장치 및 방법
US10651026B2 (en) Method and apparatus for acoustic or tactile presentation of chemical spectrum data
HK40078484A (zh) 振动控制装置、振动控制程式以及振动控制方法
Braasch et al. Telehaptic interfaces for interpersonal communication within a music ensemble

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination