CN108161994B

CN108161994B - 一种多模态触觉感知装置

Info

Publication number: CN108161994B
Application number: CN201711385291.0A
Authority: CN
Inventors: 孙富春; 方斌; 薛红香; 张春; 胡传波; 刘华平; 夏子炜
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2017-12-20
Filing date: 2017-12-20
Publication date: 2020-07-10
Anticipated expiration: 2037-12-20
Also published as: CN108161994A

Abstract

本发明提供一种多模态触觉感知装置，属于机器人传感器技术领域。包括外壳，该外壳内部设有图像采集摄像头、多阵列压力传感器、多个支撑结构组件以及透明弹性体，且该透明弹性体上部凸出于外壳顶部；图像采集摄像头通过摄像头支撑板与外壳底部固连；多阵列压力传感器位于图像采集摄像头上方且由外壳底部支撑，该多阵列压力传感器设有透光孔，且上表面设置用于支撑透明弹性体的透明支撑块；透明弹性体的下部四周设有均布的发光器；透明弹性体凸出于外壳顶部的四周设有温度传感器。本发明在同一感知装置中集成受力、纹理、温度等多模态信息的测量，具有结构简单紧凑、测量精度高、可重复使用、适用范围广等优点。

Description

一种多模态触觉感知装置

技术领域

本发明涉及一种多模态触觉感知装置，属于机器人传感器技术领域。

背景技术

机器人灵巧手需要能够执行各种抓取、移动、捏抱或固定物体等操作，在操作过程中须通过灵巧手的触觉反馈实现对操作力量的精确控制，避免对被操作物体造成破坏。常规的灵巧手传感器有多种，有压阻式、电容式、光电式等，即通过电阻、电容、光强度在作用力下的变化量判断力强弱。但是这些传感器都有一些不足，如基于电压或电容变化的传感器对噪声、温度变化比较敏感，而且只能检测垂直方向力，不能检测剪切力。

为了克服以上问题，于21世纪初提出了基于视觉的触觉传感装置。最初的装置是由东京大学tachi团队研发的，该装置包括从下至上依次设置的摄像头、透明块体和透明弹性体，透明弹性体内部沿竖向设有两排不同颜色(红色和蓝色)的标记点，且上下排标记点交错设置；根据底部摄像头获得弹性体内标记点的位移求解该装置的受力情况。基于相同原理其团队在2010年设计了一款放于灵巧手指尖的基于视觉的触觉传感装置，将该装置应用于机器人灵巧手，但还仅限于机器人灵巧手手指受力的测量。2014年，MIT的EdwardH.Adelson团队基于Gelsight(弹性体材料)设计了一款仅可获得物体表面纹理的传感装置。而后该团队在Gelsight材料里加入了一层较密集的不规则黑色标记点，由于其标记点的不规则性、较密集性导致其纹理信息部分损失，经过处理标记点的位移变化得到传感装置的受力、滑觉等信息，但不能获得物体的纹理信息。

综上所述，现今基于视觉的触觉传感装置均只能获得单模态信息，采集到的信息过于单一，机器人获得的相关信息较少，从而严重降低了机器人感知动作的智能化程度。

发明内容

本发明的目的是为解决已有触觉传感器只能获取单模态信息的问题，从而提供了一种多模态触觉感知装置。该装置可以得到三维接触力、接触物体表面的温度及纹理等多种模态信息，通过采集这些信息可以获得机器人手与物体的接触状态、接触物体的表面性质，为后续控制端提高机器人手感知操作的精细度、稳定性等提供基础。

本发明为解决上述问题采取的技术方案是：

一种多模态触觉感知装置，其特征在于，包括外壳，该外壳内部设有图像采集摄像头、多阵列压力传感器、多个支撑结构组件以及透明弹性体，且该透明弹性体上部凸出于外壳顶部；其中，所述图像采集摄像头通过摄像头支撑板与外壳底部固连；所述多阵列压力传感器位于图像采集摄像头上方且由固定在外壳底部四个角部的台肩支撑，该多阵列压力传感器设有透光孔；所述多阵列压力传感器上表面设置用于支撑透明弹性体的透明支撑块，该透明支撑块的上部四周通过中部固定板限位，该中部固定板支撑于外壳侧壁上；所述透明弹性体的下部四周设有均布的发光器，且该发光器由所述中部固定板支撑；透明弹性体凸出于外壳顶部的四周设有温度传感器，且该温度传感器嵌固在外壳顶部；所述图像采集摄像头的镜头、多阵列压力传感器的透光孔、透明支撑块和透明弹性体均共光轴设置。

可选地，所述透明弹性体由透明材料聚二甲基硅氧烷(PDMS)制成，该透明弹性体凸出于顶盖的上表面通过先溅射厚度2000A的金属铝再激光打点的方式设置8*8的标记点阵列，然后在该标记点阵列和透明弹性体上表面的其他区域溅射一层厚度为2000A的铜膜，用于获取接触物体的表面纹理。

本发明的特点及有益效果：

1、本装置打破了传统触觉感知装置单模态信息采集的现状，可在同一感知装置中集成受力、纹理、温度等信息的测量，实现了多模态信息的测量，并将这些信息综合到对一个物体的识别、抓取操作中，使机器人更加智能化、人性化；

2、通过本触觉感知装置中多阵列压力传感器与透明弹性体的标记点位移配合，可检测三维接触力；

3、本触觉感知装置中的透明弹性体可获得高精度的接触纹理信息，该透明弹性体上表面溅射的铜模具有以下优点：1)便于标记点的识别；2)可保护标记点被磨损；3)具有较强的延展性、防反射性，从而得到非常细微的物体纹理，且使透明弹性体不易产生裂痕；

4、本触觉感知装置结构简单、紧凑，制作成本低，可重复使用；

5、可以根据任务需求调整透明弹性体的硬度使本触觉感知装置具有所需的灵敏度；

6、本触觉感知装置可以应用于机器人手以及其他复杂环境场景下的触觉信号检测。

附图说明

图1是本发明的多模态触觉感知装置的整体结构示意图。

图2是本发明的基于视觉的触觉传感器中带标记弹性体上标记点示意图。

图3是本发明的基于视觉的触觉传感器中的弹性体与毛巾表面接触并发生形变的图像。

图4为本发明实施例的多阵列压力传感器本体的结构示意图。

图5为图4的俯视图。

其中，1、顶盖，2、透明弹性体，3、温度传感器，4、发光器，5、中部固定块，6、透明支撑块，7、U型底座，8、摄像头支撑板，9、图像采集摄像头，10、多阵列压力传感器。

具体实施方式

本发明提出的一种多模态触觉感知装置结合附图及实施例详细说明如下：

本发明提出的一种多模态触觉感知装置的整体结构如图1所示，该触觉感知装置佩戴在机器人灵巧手的指尖处，包括由U型底座7和顶盖1构成的外壳，该外壳内部设有图像采集摄像头9、多阵列压力传感器10、多个支撑结构组件以及透明弹性体2，且该透明弹性体2上部凸出于顶盖1；其中，图像采集摄像头9通过摄像头支撑板8与底座7固连，多阵列压力传感器10位于图像采集摄像头9上方且由固定在底座7四个角部的台肩7-1支撑，多阵列压力传感器10结构上设有透光孔10-1，多阵列压力传感器10上表面设置用于支撑透明弹性体2的透明支撑块6，该透明支撑块6的上部四周通过中部固定板5限位，中部固定板5支撑于底座7的侧壁上；透明弹性体2的下部四周设有均布的发光器4，且该发光器4由中部固定板5支撑；透明弹性体2凸出于顶盖1的四周设有温度传感器3，且该温度传感器3嵌固在顶盖1表面；图像采集摄像头的镜头、多阵列压力传感器的透光孔10-1、透明支撑块6和透明弹性体2均共光轴设置，且透明弹性体与图像采集摄像头的距离满足成像要求。

以下结合附图及实施例对多模态触觉感知装置的具体结构进行详细说明：

透明弹性体2，用于模仿人体手指的触感及受力情况，其俯视图如图2所示，该透明弹性体由透明材料聚二甲基硅氧烷(PDMS)制成，通过混合不同比例的PDMS基本组分和固化剂来得到不同柔软度的弹性体(具体制作工艺为本领域的公知技术)，该弹性体具有低弹性模量、高重复性及金属附着性；透明弹性体凸出于顶盖1的上表面通过先溅射厚度2000A(10A＝1nm)的金属铝再激光打点的方式设置8*8的标记点阵列2-1，共计64个标记点，然后在该标记点阵列和透明弹性体上表面的其他区域溅射一层厚度为2000A的金属膜(可采用铜等具有良好延展性的金属)2-2，来获取接触物体的表面纹理，该透明弹性体具有制作方便快捷、容易修改、且空间分辨率高的特点。溅射铜膜的作用如下：1)金属铜与溅射的金属铝标记点颜色差别较明显，从使标记点较容易识别；2)保护金属铝标记点，防止被磨损；3)具有较强的延展性、防反射性，从而得到非常细微的物体纹理，且使透明弹性体不易产生裂痕。当透明弹性体受力后，各标记点会发生相应的位移变化，从而能够较好的完成本感知装置受力信息的传递。本实施例透明弹性体呈长方体，长13mm、宽13mm、高8mm，每个标记点直径0.4mm、相邻标记点的间距是1mm。本实施例弹性体获取毛巾表面的纹理图如图3所示，从图中可明显看出毛巾布料的细微纹理以及纹理的走向，该装置获得的纹理的细微程度甚至超过了人眼观察纹理的程度。

图像采集摄像头9，用于透过透明支撑块6获取透明弹性体2上各标记点的位置及透明弹性体表面金属膜的图像，本实施例采用USB摄像头模组，焦距为20-25mm，尺寸27mm*7mm*6mm，每秒产生30帧画面，图像采集摄像头9将采集的图像通过USB接口实时发送到外部控制端。

发光器4采用LED灯及配套的电路板，本实施例采用8个均匀布置在透明弹性体2四周且总电压不超过4V的贴片式白色LED灯。发光器负责给透明弹性体2提供稳定统一的光照，避免由于自然光的亮度变化造成的检测偏差。

多阵列压力传感器采用电容式多阵列传感器，包括PCB电路板(该PCB电路板在图4中未示意出)和固定在该PCB电路板上的多阵列压力传感器本体，PCB电路板与U型底座7固连。多阵列压力传感器本体的结构如图4所示，包括上感应极板Ⅰ-1、下感应极板Ⅰ-2、以及固定于上下感应极板之间的若干个柔性微针Ⅰ-3(为了更清楚地示意柔性微针的排布方式，图4将柔性微针从中部截开，分为了上下两段，实际中连接上下感应极板的各柔性微针为一个整体)。其中，上、下感应极板的结构相同，均在1cm²单元内集成25个触觉感知点，所述25个触觉感知点包括1个用于检测透明弹性体2中部所受压力大小的主感应点10-2和24个用于检测透明弹性体2四周所受压力大小的次感应点(10-3～10-26)，主感应点10-2是一个半径为6mm且中心处设有透光孔10-1(该透光孔直径为5mm)的圆形金属板；24个次感应点为均匀布设在主感应点外围的共心扇形金属板，即逆时针每15°设有一个次感应点，依次标号为10-3～10-26，如图5所示，所有感应点均与外部控制端的数模接口连接。所述柔性微针采用聚二甲基硅氧烷(PDMS)通过常规的翻模工艺制成，PDMS具有良好的弹性,当感应极板受压时会使柔性微针变弯,而当感应极板没有压力存在的时候柔性微针会很快的恢复原状,使上、下感应极板之间的间距恢复到原来程度。利用此柔性微针，可提高电容式多阵列传感器的灵敏度。上、下感应级板均由聚二甲基硅氧烷柔性衬底包裹，使用该材料包裹感应极板可屏蔽静电干扰，同时可防止感应极板的氧化。上感应极板和下感应极板之间通过氧等离子填充处理后键合，利用分子间的化学键作用使上、下感应极板间贴合，保证了所述电容式多阵列传感器的可伸缩性和柔软性。该电容式多阵列传感器的工作原理为：上感应极板和下感应极板之间构成了平板电容器，当施加在该多阵列传感器上的压力值发生变化时，通过柔性微针的变形使得上、下感应极板间距发生改变，从而导致电容值改变，本装置通过监测平板电容器的电容值的变化来推断触觉力的大小。

温度传感器为接触式温度传感器，当机械手进行抓取时，弹性体受力凹陷，温度传感器接触到物体，可迅速测量物体表面的温度。本实施例采用型号为LM71的温度传感器，包括5引脚的SOT-23分装盒和6引脚无回拉的封装，测量的温度范围为-40℃—150℃，温度精度为：-10℃—65℃时最大误差为±1.5℃，-40℃—150℃时最大误差为+3/-2℃。

支撑结构组件，包括摄像头支撑板8、透明支撑块6和中部固定板5；其中，摄像头支撑板8用来固定和定位图像采集摄像头9，该摄像头支撑板通过螺钉固定于外壳的底座7上；透明支撑块6的下表面与多阵列压力传感器10的上表面贴合，透明支撑块6的上表面与透明弹性体2的下表面贴合，通过透明支撑块6对透明弹性体进行支撑，同时使得发光器产生的光线更加均匀，便于提高摄像头采集图像的清晰度，从而保证图像的采集质量；中部固定板5用于固定透明支撑块6并支撑发光器4。本实施例的透明支撑块6选用亚克力板材料，具有92％以上的高透光性，其余支撑结构组件均由树脂经3D打印而成，加工效率高、成本低。

外壳用于容纳和支撑本发明实施例的各组成器件，可以根据实际使用场景的要求采用不同形状。本实施例外壳为密闭的方形小盒，由树脂材料经3D打印而成，加工成本低，长宽高为49mm、24mm、23mm。

以下结合附图，介绍本发明提出的多模态触觉感知装置的工作过程：

当传感器的透明弹性体2与物品接触时，垂直方向的压力、水平方向的剪切力会造成该透明弹性体发生形变，透明弹性体上的标记点会相应的发生位移，环绕透明弹性体的发光器(LED灯)4由控制电路提供激励，提供稳定的光源，由图像采集摄像头9透过透光支撑块6捕捉标记点位移前后的图像信息，由外部控制端计算标记点的位移信息，得到物体表面受到的水平方向上的剪切力(具体计算过程可采用本领域的常规技术予以实现，不属于本发明的保护范畴)；透明弹性体2受力后会给多阵列压力传感器10传递压力，多阵列传感器10向外部的控制端输出在垂直方向上的受力。当透明弹性体2凹陷时，温度传感器3接触到物体表面，向外部控制端输出物体表面的温度。而后将这些受力、纹理、温度信息综合在外部控制端上显现出来。

Claims

1.一种多模态触觉感知装置，其特征在于，包括外壳，该外壳内部设有图像采集摄像头、多阵列压力传感器、多个支撑结构组件以及透明弹性体，且该透明弹性体上部凸出于所述外壳；其中，所述图像采集摄像头通过摄像头支撑板与外壳底部固连；所述多阵列压力传感器位于图像采集摄像头上方且由固定在外壳底部四个角部的台肩支撑，该多阵列压力传感器设有透光孔；所述多阵列压力传感器上表面设置用于支撑透明弹性体的透明支撑块，该透明支撑块的上部四周通过中部固定板限位，该中部固定板支撑于外壳侧壁上；所述透明弹性体的下部四周设有均布的发光器，且该发光器由所述中部固定板支撑；透明弹性体凸出于外壳顶部的四周设有温度传感器，且该温度传感器嵌固在外壳顶部；所述图像采集摄像头的镜头、多阵列压力传感器的透光孔、透明支撑块和透明弹性体均共光轴设置；

所述透明弹性体由透明材料聚二甲基硅氧烷(PDMS)制成，该透明弹性体凸出于外壳的上表面通过先溅射厚度2000A的金属铝再激光打点的方式设置8*8的标记点阵列，然后在该标记点阵列和透明弹性体上表面的其他区域溅射一层厚度为2000A的铜膜，用于获取接触物体的表面纹理。

2.根据权利要求1所述的多模态触觉感知装置，其特征在于，所述透明弹性体呈长方体，长13mm、宽13mm、高8mm，每个标记点直径0.4mm，相邻标记点的间距是1mm。

3.根据权利要求1所述的多模态触觉感知装置，其特征在于，所述图像采集摄像头的焦距为20-25mm。

4.根据权利要求1所述的多模态触觉感知装置，其特征在于，所述发光器采用LED灯及配套的电路板，该发光器的总电压不超过4V。

5.根据权利要求1所述的多模态触觉感知装置，其特征在于，所述多阵列压力传感器包括一PCB电路板和固定在该PCB电路板上的多阵列压力传感器本体，所述PCB电路板与外壳底部固连；其中，所述多阵列压力传感器本体包括上感应极板、下感应极板以及固定于上、下感应极板间的若干个柔性微针，上、下感应极板之间通过填充的等离子的化学键键合；上、下感应极板的结构相同，均在1cm²单元内集成25个触觉感知点，所述25个触觉感知点包括1个用于检测透明弹性体中部所受压力大小的主感应点和24个用于检测透明弹性体四周所受压力大小的次感应点，主感应点是一个半径为0.4cm且中心处设有所述透光孔的圆形金属板；24个次感应点为均匀布设在主感应点外围的共心扇形金属板，所有感应点均与外部控制端的数模接口连接。

6.根据权利要求1所述的多模态触觉感知装置，其特征在于，所述温度传感器为接触式温度传感器。

7.根据权利要求1所述的多模态触觉感知装置，其特征在于，所述外壳为密闭的方形小盒，由树脂材料经3D打印而成，长、宽、高分别为49mm、24mm、23mm。