CN118552995A - 多模态情感识别服务机器人系统及方法 - Google Patents

Abstract

本发明涉及服务机器人技术领域，具体涉及一种多模态情感识别服务机器人系统及方法，包括数据采集装置、分析处理装置、筛选装置、匹配装置和情感识别装置，通过图像采集模块和语音采集模块来同时获取用户的脸部图像信息和语音信息，从而增强了语音信息和脸部图像信息表征目标对象实时情感的真实性，进而提高了现有情感识别结果的准确度，通过图像筛选模块和语音筛选模块来分别对所采集到的图像信息和语音信息进行筛选，从而避免了所采集的表情图像的情感存在可识别性低、冗余性大的缺点而导致后续情感识别研究中所训练与学习的模型性能不佳的情况。

Description

多模态情感识别服务机器人系统及方法

技术领域

本发明涉及服务机器人技术领域，尤其涉及一种多模态情感识别服务机器人系统及方法。

背景技术

随着科技的不断发展，机器人被广泛应用于人们的生产生活中，而服务机器人对用户情感具有认知能力，并根据用户情感状态提供高质量的服务，因此被广泛应用于服务行业中。

现有的服务机器人系统在对用户的情感进行识别时，大多采用单一的识别方式，对于自我控制能较强的人来说，其面部图像是能够进行伪装掩饰的，从而使得现有情感识别结果的准确度较低，因此通过同时获取用户的语音和脸部图像信息，从而增强了语音信息和脸部图像信息表征目标对象实时情感的真实性，进而提高了现有情感识别结果的准确度。

在对用户的情感进行识别时，需要对用户的面部表情进行采集，但是现有的服务机器人系统对用户的面部表情进行采集的采集方式大多是直接将用户的面部表情全部采集下来，并未进行区分和筛选，从而使得所采集的表情图像的情感可识别性低、冗余性大，进而导致后续情感识别研究中所训练与学习的模型性能不佳。

发明内容

本发明的目的在于提供一种多模态情感识别服务机器人系统及方法，解决了现有的服务机器人系统对用户的面部表情进行采集的采集方式大多是直接将用户的面部表情全部采集下来，并未进行区分和筛选，从而使得所采集的表情图像的情感可识别性低、冗余性大，进而导致后续情感识别研究中所训练与学习的模型性能不佳的技术问题。

为实现上述目的，本发明提供了一种多模态情感识别服务机器人系统，包括数据采集装置、分析处理装置、筛选装置、匹配装置和情感识别装置，所述数据采集装置用于对用户的情感信息进行采集，所述分析处理装置与所述数据采集装置相连接，用于对采集到的情感信息进行分析处理，所述筛选装置与所述分析处理装置相连接，用于对分析处理后的信息进行筛选，以便于将无用的信息筛选出去，所述匹配装置与所述筛选装置相连接，用于将筛选出来的有用信息与数据库内存储的信息进行匹配，所述情感识别装置与所述匹配装置相连接，用于对匹配结果进行分析，并输出情感识别结果。

其中，所述数据采集装置包括图像采集模块和语音采集模块，所述图像采集模块用于对图像信息进行采集；所述语音采集模块用于对语音信息进行采集。

其中，所述分析处理装置包括图像处理模块和语音处理模块，所述图像处理模块用于对采集到的图像信息进行分析处理；所述语音处理模块用于对采集到的语音信息进行分析处理。

其中，所述筛选装置包括图像筛选模块和语音筛选模块，所述图像筛选模块用于对分析处理后的图像信息进行筛选；所述语音筛选模块用于对分析处理后的语音信息进行筛选。

其中，所述匹配装置包括图像匹配模块和语音匹配模块，所述图像匹配模块用于将筛选得到的图像信息与数据库中的图像信息进行匹配；所述语音匹配模块用于将筛选得到的语音信息与数据库中的语音信息进行匹配。

其中，所述多模态情感识别服务机器人系统还包括存储装置，所述存储装置与所述匹配装置相连接，用于进行图像信息与语音信息的数据库的存储。

本发明还提供了一种多模态情感识别服务机器人系统的识别方法，包括以下步骤：

采集不同人群的脸部状态、脸部的微表情、所处的环境图像以及语音情况，并分别创建图像数据库和语音数据库，再将所述图像数据库和所述语音数据库分别存储到存储装置内；

在需要使用服务机器人系统时，让供电装置为整个所述服务机器人系统内的电气元件的运行进行供电；

之后采用图像采集模块和语音采集模块分别对图像信息和语音信息进行采集，并在采集后将所述图像信息和所述语音信息分别传输给图像处理模块和语音处理模块；

通过所述图像处理模块和所述语音处理模块分别对采集到的所述图像信息和所述语音信息进行分析处理，并在分析处理后将所述图像信息和所述语音信息分别传输给图像筛选模块和语音筛选模块；

通过所述图像筛选模块和所述语音筛选模块分别对分析处理后的所述图像信息和所述语音信息进行筛选，以便于将无用的所述图像信息和所述语音信息筛选出去；

在筛选后，将有用的所述图像信息和所述语音信息分别传输给图像匹配模块和语音匹配模块，并调用所述存储装置内的所述图像数据库和所述语音数据库进行匹配；

在匹配后，将匹配结果传输给情感识别装置，所述情感识别装置会对所述匹配结果进行分析，并输出情感识别结果，完成情感识别的全过程。

本发明的一种多模态情感识别服务机器人系统及方法，本发明通过所述图像采集模块和所述语音采集模块来同时获取用户的脸部图像信息和语音信息，从而增强了语音信息和脸部图像信息表征目标对象实时情感的真实性，进而提高了现有情感识别结果的准确度，通过所述图像筛选模块和所述语音筛选模块来分别对所采集到的图像信息和语音信息进行筛选，从而避免了所采集的表情图像的情感存在可识别性低、冗余性大的缺点而导致后续情感识别研究中所训练与学习的模型性能不佳的情况。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1是本发明第一实施例的多模态情感识别服务机器人系统的整体的结构示意图。

图2是本发明第二实施例的多模态情感识别服务机器人系统的识别方法的流程步骤图。

图中：101-数据采集装置、102-分析处理装置、103-筛选装置、104-匹配装置、105-情感识别装置、106-存储装置、107-供电装置、108-图像采集模块、109-语音采集模块、110-图像处理模块、111-语音处理模块、112-图像筛选模块、113-语音筛选模块、114-图像匹配模块、115-语音匹配模块。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

第一实施例：

请参阅图1，图1是本发明第一实施例的多模态情感识别服务机器人系统的整体的结构示意图，本发明提供一种多模态情感识别服务机器人系统，包括数据采集装置101、分析处理装置102、筛选装置103、匹配装置104、情感识别装置105、存储装置106和供电装置107，所述数据采集装置101包括图像采集模块108和语音采集模块109，所述分析处理装置102包括图像处理模块110和语音处理模块111，所述筛选装置103包括图像筛选模块112和语音筛选模块113，所述匹配装置104包括图像匹配模块114和语音匹配模块115。

在本实施方式中，本发明通过所述图像采集模块108和所述语音采集模块109来同时获取用户的脸部图像信息和语音信息，从而增强了语音信息和脸部图像信息表征目标对象实时情感的真实性，进而提高了现有情感识别结果的准确度，通过所述图像筛选模块112和所述语音筛选模块113来分别对所采集到的图像信息和语音信息进行筛选，从而避免了所采集的表情图像的情感存在可识别性低、冗余性大的缺点而导致后续情感识别研究中所训练与学习的模型性能不佳的情况。

其中，所述数据采集装置101用于对用户的情感信息进行采集，所述分析处理装置102与所述数据采集装置101相连接，用于对采集到的情感信息进行分析处理，所述筛选装置103与所述分析处理装置102相连接，用于对分析处理后的信息进行筛选，以便于将无用的信息筛选出去，所述匹配装置104与所述筛选装置103相连接，用于将筛选出来的有用信息与数据库内存储的信息进行匹配，所述情感识别装置105与所述匹配装置104相连接，用于对匹配结果进行分析，并输出情感识别结果。

其次，所述数据采集装置101所采集的情感信息包括图像信息和语音信息，所述图像采集模块108用于对图像信息进行采集；所述语音采集模块109用于对语音信息进行采集，所述图像采集模块108所采集的用户的脸部图像信息包括用户脸部状态、用户脸部的微表情以及用户所处的环境信息。

再次，所述图像处理模块110用于对采集到的图像信息进行分析处理；所述语音处理模块111用于对采集到的语音信息进行分析处理。

同时，所述图像筛选模块112用于对分析处理后的图像信息进行筛选；所述语音筛选模块113用于对分析处理后的语音信息进行筛选。

另外，所述图像匹配模块114用于将筛选得到的图像信息与数据库中的图像信息进行匹配；所述语音匹配模块115用于将筛选得到的语音信息与数据库中的语音信息进行匹配。

此外，所述存储装置106与所述匹配装置104相连接，用于进行图像信息与语音信息的数据库的存储。

最后，所述供电装置107用于为整个服务机器人系统的运行进行供电。

使用本实施例的一种多模态情感识别服务机器人系统时，采集不同人群的脸部状态、脸部的微表情、人群所处的环境图像以及人群所发出的不同的语音信息，并分别创建图像数据库和语音数据库，再将创建的图像数据库和语音数据库分别存储到所述存储装置106内，当需要使用服务机器人系统时，让所述供电装置107为整个服务机器人系统内的电气元件的运行进行供电，之后采用所述图像采集模块108和所述语音采集模块109分别对图像信息和语音信息进行采集，并在采集后将图像信息和语音信息分别传输给所述图像处理模块110和所述语音处理模块111，通过所述图像处理模块110和所述语音处理模块111分别对采集到的图像信息和语音信息进行分析处理，并在分析处理后将图像信息和语音信息分别传输给所述图像筛选模块112和所述语音筛选模块113，通过所述图像筛选模块112和所述语音筛选模块113分别对分析处理后的图像信息和语音信息进行筛选，以便于将无用的图像信息和语音信息筛选出去，在筛选后，将有用的图像信息和语音信息分别传输给所述图像匹配模块114和所述语音匹配模块115，并调用所述存储装置106内的图像数据库和语音数据库来进行图像信息和语音信息的匹配，在匹配后，将匹配结果传输给所述情感识别装置105，从而使得所述情感识别装置105会对匹配结果进行分析，并输出情感识别结果，最后根据情感识别结果来对用户输出相对应的动作或语音，完成情感识别的全过程。

综上所述，本发明通过所述图像采集模块108和所述语音采集模块109来同时获取用户的脸部图像信息和语音信息，从而增强了语音信息和脸部图像信息表征目标对象实时情感的真实性，进而提高了现有情感识别结果的准确度，通过所述图像筛选模块112和所述语音筛选模块113来分别对所采集到的图像信息和语音信息进行筛选，从而避免了所采集的表情图像的情感存在可识别性低、冗余性大的缺点而导致后续情感识别研究中所训练与学习的模型性能不佳的情况。

第二实施例：

在第一实施例的基础上，请参阅图2，图2是本发明第二实施例的多模态情感识别服务机器人系统的识别方法的流程步骤图，本发明还提供一种多模态情感识别服务机器人系统的识别方法，包括以下步骤：

S101、采集不同人群的脸部状态、脸部的微表情、所处的环境图像以及语音情况，并分别创建图像数据库和语音数据库，再将所述图像数据库和所述语音数据库分别存储到存储装置106内；

S102、在需要使用服务机器人系统时，让供电装置107为整个所述服务机器人系统内的电气元件的运行进行供电；

S103、之后采用图像采集模块108和语音采集模块109分别对图像信息和语音信息进行采集，并在采集后将所述图像信息和所述语音信息分别传输给图像处理模块110和语音处理模块111；

S104、通过所述图像处理模块110和所述语音处理模块111分别对采集到的所述图像信息和所述语音信息进行分析处理，并在分析处理后将所述图像信息和所述语音信息分别传输给图像筛选模块112和语音筛选模块113；

S105、通过所述图像筛选模块112和所述语音筛选模块113分别对分析处理后的所述图像信息和所述语音信息进行筛选，以便于将无用的所述图像信息和所述语音信息筛选出去；

S106、在筛选后，将有用的所述图像信息和所述语音信息分别传输给图像匹配模块114和语音匹配模块115，并调用所述存储装置106内的所述图像数据库和所述语音数据库进行匹配；

S107、在匹配后，将匹配结果传输给情感识别装置105，所述情感识别装置105会对所述匹配结果进行分析，并输出情感识别结果，完成情感识别的全过程。

使用本实施例的一种多模态情感识别服务机器人系统的识别方法时，采集不同人群的脸部状态、脸部的微表情、人群所处的环境图像以及人群所发出的不同的语音信息，并分别创建图像数据库和语音数据库，再将创建的图像数据库和语音数据库分别存储到所述存储装置106内，当需要使用服务机器人系统时，让所述供电装置107为整个服务机器人系统内的电气元件的运行进行供电，之后采用所述图像采集模块108和所述语音采集模块109分别对图像信息和语音信息进行采集，并在采集后将图像信息和语音信息分别传输给所述图像处理模块110和所述语音处理模块111，通过所述图像处理模块110和所述语音处理模块111分别对采集到的图像信息和语音信息进行分析处理，并在分析处理后将图像信息和语音信息分别传输给所述图像筛选模块112和所述语音筛选模块113，通过所述图像筛选模块112和所述语音筛选模块113分别对分析处理后的图像信息和语音信息进行筛选，以便于将无用的图像信息和语音信息筛选出去，在筛选后，将有用的图像信息和语音信息分别传输给所述图像匹配模块114和所述语音匹配模块115，并调用所述存储装置106内的图像数据库和语音数据库来进行图像信息和语音信息的匹配，在匹配后，将匹配结果传输给所述情感识别装置105，从而使得所述情感识别装置105会对匹配结果进行分析，并输出情感识别结果，最后根据情感识别结果来对用户输出相对应的动作或语音，完成情感识别的全过程。

以上所揭露的仅为本申请一种或多种较佳实施例而已，不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于本申请所涵盖的范围。

Claims (7)

1.一种多模态情感识别服务机器人系统，其特征在于，

包括数据采集装置、分析处理装置、筛选装置、匹配装置和情感识别装置，所述数据采集装置用于对用户的情感信息进行采集，所述分析处理装置与所述数据采集装置相连接，用于对采集到的情感信息进行分析处理，所述筛选装置与所述分析处理装置相连接，用于对分析处理后的信息进行筛选，以便于将无用的信息筛选出去，所述匹配装置与所述筛选装置相连接，用于将筛选出来的有用信息与数据库内存储的信息进行匹配，所述情感识别装置与所述匹配装置相连接，用于对匹配结果进行分析，并输出情感识别结果。

2.如权利要求1所述的多模态情感识别服务机器人系统，其特征在于，

所述数据采集装置包括图像采集模块和语音采集模块，所述图像采集模块用于对图像信息进行采集；所述语音采集模块用于对语音信息进行采集。

3.如权利要求1所述的多模态情感识别服务机器人系统，其特征在于，

所述分析处理装置包括图像处理模块和语音处理模块，所述图像处理模块用于对采集到的图像信息进行分析处理；所述语音处理模块用于对采集到的语音信息进行分析处理。

4.如权利要求1所述的多模态情感识别服务机器人系统，其特征在于，

所述筛选装置包括图像筛选模块和语音筛选模块，所述图像筛选模块用于对分析处理后的图像信息进行筛选；所述语音筛选模块用于对分析处理后的语音信息进行筛选。

5.如权利要求1所述的多模态情感识别服务机器人系统，其特征在于，

所述匹配装置包括图像匹配模块和语音匹配模块，所述图像匹配模块用于将筛选得到的图像信息与数据库中的图像信息进行匹配；所述语音匹配模块用于将筛选得到的语音信息与数据库中的语音信息进行匹配。

6.如权利要求1所述的多模态情感识别服务机器人系统，其特征在于，

所述多模态情感识别服务机器人系统还包括存储装置，所述存储装置与所述匹配装置相连接，用于进行图像信息与语音信息的数据库的存储。

7.一种多模态情感识别服务机器人系统的识别方法，应用于权利要求1至权利要求6中任一项所述的多模态情感识别服务机器人系统，其特征在于，包括以下步骤：

采集不同人群的脸部状态、脸部的微表情、所处的环境图像以及语音情况，并分别创建图像数据库和语音数据库，再将所述图像数据库和所述语音数据库分别存储到存储装置内；

在需要使用服务机器人系统时，让供电装置为整个所述服务机器人系统内的电气元件的运行进行供电；

之后采用图像采集模块和语音采集模块分别对图像信息和语音信息进行采集，并在采集后将所述图像信息和所述语音信息分别传输给图像处理模块和语音处理模块；

通过所述图像处理模块和所述语音处理模块分别对采集到的所述图像信息和所述语音信息进行分析处理，并在分析处理后将所述图像信息和所述语音信息分别传输给图像筛选模块和语音筛选模块；

通过所述图像筛选模块和所述语音筛选模块分别对分析处理后的所述图像信息和所述语音信息进行筛选，以便于将无用的所述图像信息和所述语音信息筛选出去；

在筛选后，将有用的所述图像信息和所述语音信息分别传输给图像匹配模块和语音匹配模块，并调用所述存储装置内的所述图像数据库和所述语音数据库进行匹配；

在匹配后，将匹配结果传输给情感识别装置，所述情感识别装置会对所述匹配结果进行分析，并输出情感识别结果，完成情感识别的全过程。