CN119007714A - 多屏控制系统、方法、装置、电子设备及车辆 - Google Patents

多屏控制系统、方法、装置、电子设备及车辆 Download PDF

Info

Publication number
CN119007714A
CN119007714A CN202310564848.6A CN202310564848A CN119007714A CN 119007714 A CN119007714 A CN 119007714A CN 202310564848 A CN202310564848 A CN 202310564848A CN 119007714 A CN119007714 A CN 119007714A
Authority
CN
China
Prior art keywords
screen
service
micro
management module
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310564848.6A
Other languages
English (en)
Inventor
张新猛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Co Wheels Technology Co Ltd
Original Assignee
Beijing Co Wheels Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Co Wheels Technology Co Ltd filed Critical Beijing Co Wheels Technology Co Ltd
Priority to CN202310564848.6A priority Critical patent/CN119007714A/zh
Publication of CN119007714A publication Critical patent/CN119007714A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for programme selection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供一种多屏控制系统、方法、装置、电子设备及车辆，涉及控制技术领域，该多屏控制系统包括仲裁模块以及会话管理模块；所述冲裁模块与所述会话管理模块连接，所述冲裁模块用于获取屏幕客户端发送的语义指令的语义信息，在预先注册的屏幕服务端上的所有微服务中，确定与所述语义信息匹配的目标微服务，以及利用所述会话管理模块控制所述屏幕服务端按照所述语音指令运行所述目标微服务。

Description

多屏控制系统、方法、装置、电子设备及车辆
技术领域
本申请涉及控制技术领域，尤其涉及到一种多屏控制系统、方法、装置、电子设备及车辆。
背景技术
随着汽车产业以及车辆智能控制的快速迭代发展，人车智能交互或将成为未来的发展方向。对于一块屏幕上的安卓(Android)系统，内部有数量众多的车机软件，包括语音、导航、天气、音乐、视频、电台、收音机等，而且一辆车可能拥有多块屏幕，多块屏幕对应的多个系统，分别搭载一套完整的车机软件。在多屏且车机软件数量众多的情况下，更好的用语音统一控制多屏软件也成为了一大关键点和难点。
目前传统的语音多屏控制方式是通过屏幕间传递请求报文，即车载系统的第一屏幕A，第一屏幕A与至少一个第二屏幕B之间通信连接。第一屏幕可以根据用户的语音指令使得第一屏幕A与至少一个第二屏幕B进入多屏交互状态，在该多屏交互状态下，确认至少一个第二屏幕B，并向其发送交互授权认证请求。之后接收至少一个第二屏幕的发送的授权认证成功响应，并向至少一个第二屏幕B传递语音信息，实现第一屏幕A中的语音信息可以传递给至少一个第二屏幕B。第二屏幕B拿到第一屏幕A的语音信息后，再去控制第二屏幕B的软件，比如传递给导航、车控、音视频应用软件(Application，App)，第二屏幕B的软件App再执行相关的指令，例如导航、控制车窗、音视频的播控等。
然而，这种多屏控制实现方式，不具备统一管理的能力，且需要语音跨屏通信，导致通信效率低下，用户跨屏控制的体验效果不佳。
发明内容
有鉴于此，本申请提供了一种多屏控制系统、方法、装置、电子设备及车辆，主要目的在于解决多屏控制实现方式，不具备统一管理的能力，且需要语音跨屏通信，导致通信效率低下，用户跨屏控制的体验效果不佳的技术问题。
根据本公开的第一个方面，提供了一种多屏控制系统，包括：仲裁模块以及会话管理模块；
所述冲裁模块与所述会话管理模块连接，所述冲裁模块用于获取屏幕客户端发送的语义指令的语义信息，在预先注册的屏幕服务端上的所有微服务中，确定与所述语义信息匹配的目标微服务，以及利用所述会话管理模块控制所述屏幕服务端按照所述语音指令运行所述目标微服务。
根据本公开的第二个方面，提供了一种多屏控制方法，该方法包括：
获取语音指令中的语义信息，所述语音指令为屏幕客户端发送的，用于指示进行跨屏微服务控制的控制指令；
在预先注册的屏幕服务端上的所有微服务中，确定与所述语义信息匹配的目标微服务；
利用会话管理模块控制所述屏幕服务端按照所述语音指令运行所述目标微服务。
根据本公开的第三个方面，提供了一种多屏控制装置，该装置包括：
获取模块，用于获取语音指令中的语义信息，所述语音指令为屏幕客户端发送的，用于指示进行跨屏微服务控制的控制指令；
确定模块，用于在预先注册的屏幕服务端上的所有微服务中，确定与所述语义信息匹配的目标微服务；
发送模块，用于利用会话管理模块控制所述屏幕服务端按照所述语音指令运行所述目标微服务。
根据本公开的第四个方面，提供了一种电子设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现前述第二方面的方法。
根据本公开的第五个方面，提供了一种车辆，包括：如第三方面所述的车窗控制装置、或如第四方面所述的电子设备。
本公开提供的多屏控制系统、方法、装置、电子设备及车辆，可预先注册屏幕服务端上的所有微服务，当屏幕客户端发送语音指令时，仲裁模块可获取语义指令的语义信息，在预先注册的屏幕服务端上的所有微服务中，确定与语义信息匹配的目标微服务，进而利用会话管理模块控制屏幕服务端按照语音指令运行目标微服务。相比于通过屏幕间传递请求报文进行语音多屏控制的方式，本公开中的技术方案，可统一集成并注册多屏下的所有微服务，实现对多屏控制的统一管理，方便跨屏语音调用，进而能够提高通信效率，提升用户跨屏控制的体验效果。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。应当理解的是，附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本公开实施例所提供的一种多屏控制系统的系统结构示意图；
图2为本公开实施例所提供的一种多屏控制系统的系统结构示意图；
图3为本公开实施例所提供的一种多屏控制系统的系统结构示意图；
图4为本公开实施例所提供的一种多屏微服务管理模块的注册和获取过程的实例示意图；
图5为本公开实施例所提供的一种屏幕注册与验证过程的流程示意图；
图6为本公开实施例所提供的一种微服务注册与验证过程的流程示意图；
图7为本公开实施例所提供的一种语音对话管理模块的模块功能示意图；
图8为本公开实施例所提供的一种仲裁模块的模块功能示意图；
图9为本公开实施例所提供的一种会话管理模块的模块功能示意图；
图10为本公开实施例所提供的一种多屏控制的实例示意图；
图11为本公开另一实施例所提供的一种多屏控制方法的流程示意图；
图12为本公开实施例提供的一种多屏控制装置的结构示意图；
图13为本公开实施例提供的示例电子设备的示意性框图；
图1至3中：
1-语音对话管理模块；
2-业务管理模块；
3-屏幕管理模块；
4-会话管理模块；
5-白名单模块；
6-仲裁模块；
7-多屏微服务管理模块；
8-多屏驱动模块；
9-身份验证模块(图中未示出)。
具体实施方式
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
目前传统的语音多屏控制方式是通过屏幕间传递请求报文，即车载系统的第一屏幕A，第一屏幕A与至少一个第二屏幕B之间通信连接。第一屏幕可以根据用户的语音指令使得第一屏幕A与至少一个第二屏幕B进入多屏交互状态，在该多屏交互状态下，确认至少一个第二屏幕B，并向其发送交互授权认证请求。之后接收至少一个第二屏幕的发送的授权认证成功响应，并向至少一个第二屏幕B传递语音信息，实现第一屏幕A中的语音信息可以传递给至少一个第二屏幕B。第二屏幕B拿到第一屏幕A的语音信息后，再去控制第二屏幕B的软件，比如传递给导航、车控、音视频应用软件(Application，App)，第二屏幕B的软件App再执行相关的指令，例如导航、控制车窗、音视频的播控等。然而，这种多屏控制实现方式，不具备统一管理的能力，且需要语音跨屏通信，导致通信效率低下，用户跨屏控制的体验效果不佳。
为进行上述技术问题的解决，本公开提供一种多屏控制系统、方法、装置、电子设备及车辆，能够实现对多屏控制的统一管理，方便跨屏语音调用。进而能够提高通信效率，提升用户跨屏控制的体验效果。下面结合图1描述根据本发明一些实施例的多屏控制系统。
对于本公开实施例，从屏幕角度来看屏幕间通信统计过程控制(Screen ProcessCommunication，SPC)机制，可将屏幕空间划分为用户空间(User Space)、内核空间(KernelSpace)、微服务空间(Micro Service Space)。在具体的应用场景中，每个Android进程，只能运行在自己进程所拥有的虚拟地址空间。例如，对应一个4GB的虚拟地址空间，其中3GB是用户空间，0.5GB是内核空间，0.5GB是微服务空间，内核空间和微服务空间的大小是可以通过参数配置调整的。不同屏幕之间用户空间、微服务空间是不能共享的，而内核空间是可共享的。屏幕客户端向屏幕服务端通信，是利用屏幕间可共享的内核空间来完成底层通信工作的。屏幕客户端与屏幕服务端进程往往采用IOC等方法与内核空间的驱动进行交互；(IO是设备驱动程序中设备控制接口函数，一个字符设备驱动通常会实现设备打开、关闭、读、写等功能，在一些需要细分的情境下，如果需要扩展新的功能，通常以增设IOC()命令的方式实现。)需要说明的是，只有系统调用才能操作内核空间，内核空间可以访问微服务空间和用户空间。对于本公开实施例，通过内核空间，可以实现系统之间的数据共享，减少IO带来的多次拷贝问题，提升通信效率。
在具体的应用场景中，作为一种可能的应用场景，本发明实施例提供的一种多屏控制系统，如图1所示，多屏控制系统可包括：仲裁模块6以及会话管理模块4；其中，会话管理模块4可用于维护和管理语音与各微服务的生命周期，是否创建连接和销毁，当前会话的状态，例如地图的状态、车控的状态、音视频的媒体信息，播控状态等；仲裁模块6可用于收集每个屏幕服务端和微服务的状态，结合屏幕服务端和微服务的状态和语音语义，决策指令应发到哪个屏幕服务端上，哪个微服务来执行。具体的，冲裁模块6与会话管理模块4连接，冲裁模块6用于获取屏幕客户端发送的语义指令的语义信息，在预先注册的屏幕服务端上的所有微服务中，确定与语义信息匹配的目标微服务，以及利用会话管理模块4控制屏幕服务端按照语音指令运行目标微服务。其中，屏幕服务端上的所有微服务可以预先注册在冲裁模块6或者会话管理模块4中，通过统一集成并注册多屏下的所有微服务，可实现对多屏控制的统一管理，方便跨屏语音调用，进而能够提高通信效率，提升用户跨屏控制的体验效果。
相应的，作为一种可能的应用场景，本发明实施例提供的一种多屏控制系统，如图2所示，多屏控制系统可包括：语音对话管理模块1、会话管理模块4、仲裁模块6以及多屏微服务管理模块7，其中，语音对话管理模块1可用于负责对话管理，单轮、多轮对话业务管理，离在线处理，上下文维护，对话状态追踪等；多屏微服务管理模块7可用于：(1)、注册微服务(addService)：指定屏幕服务端，将该屏幕服务端内的微服务注册到多屏微服务管理器。该过程：各个屏幕服务端是客户端，多屏微服务管理器是服务端。(2)获取微服务(getService)：屏幕客户端使用某个微服务前，须先向多屏微服务管理器中获取相应的微服务。该过程：屏幕客户端是客户端，多屏微服务管理器是服务端。(3)使用微服务：基于获取服务，屏幕客户端会根据得到的微服务信息建立与微服务所在的屏幕服务端进行通信的通路，然后就可以直接与微服务交互。该过程：屏幕客户端是客户端，微服务和微服务管理器都是服务端。
具体的，语音对话管理模块1与冲裁模块6连接，语音对话管理模块1用于接收屏幕客户端发送的语音指令，提取语音指令中的语义信息，并将语义信息发送至冲裁模块6；仲裁模块6与多屏微服务管理模块7连接，多屏微服务管理模块7中注册有屏幕服务端上的所有微服务，仲裁模块6用于在多屏微服务管理模块7中已注册的所有微服务中，确定屏幕服务端上与语义信息匹配的目标微服务；会话管理模块4与仲裁模块6连接，会话管理模块4用于在内核空间创建屏幕客户端与屏幕服务端之间的微服务会话通信，微服务会话通信用于支持屏幕服务端响应于语音指令运行目标微服务。其中，会话管理模块4用于维护每个微服务的微服务状态信息；仲裁模块4具体用于在会话管理模块4中获取微服务空间中每个微服务的微服务状态信息，以及在多屏微服务管理模块7中，基于微服务状态信息确定屏幕服务端上与语义信息匹配的目标微服务。
对于本公开实施例，如图3所示，多屏控制系统还可包括多屏驱动模块8、屏幕管理模块3，多屏驱动模块8可用于负责在不同屏幕系统之间的局域网通信，如可使用mmap-socket通信方式；屏幕管理模块3可用于维护和管理各个屏幕服务端的生命周期，是否连接，是否验证，是否激活等。具体的，多屏驱动模块8与多屏微服务管理模块7连接；多屏驱动模块8用于在微服务空间中创建新注册的屏幕服务端和新注册微服务的服务节点，并将服务节点发送至多屏微服务管理模块7；多屏微服务管理模块7用于创建包含服务节点的多屏微服务配置表。在具体的应用场景中，多屏微服务管理模块7基于多屏微服务配置表可实现对屏幕服务端和微服务的动态更新，当需要新增屏幕服务端时，可以通过屏幕管理模块3动态申请微服务空间，上架屏幕服务端所有的微服务，并将微服务对应的服务节点更新至多屏微服务配置表；当屏幕服务端需要拆除、屏幕服务端损坏的时候，可以在多屏微服务配置表中取消注册该屏幕服务端对应的微服务，保证快速下架；当某一个微服务需要安装、卸载时，可以通过更新多屏微服务配置表，或者取消注册该微服务，保证快速上下架。
示例性的，如图4所示，每个屏幕服务端启动后，可使用MGR_REGISTER_MUTI_SCREEN命令，透过多屏驱动装置(即多屏驱动模块8)，将自身注册到微服务管理器(即多屏微服务管理模块7)；同时，Client屏(即屏幕客户端)和Server屏(即屏幕服务端)可通过多屏驱动模块8向多屏微服务管理模块7中注册该屏幕服务端下的所有微服务，表明可以对外提供微服务。多屏驱动模块8为这个微服务在微服务空间创建服务节点，将服务节点打包传给多屏微服务管理模块7，多屏微服务管理模块7将其填入多屏微服务配置表。在具体进行微服务跨屏控制时，Client屏可首先获取Server屏上的语音微服务地址，通过多屏微服务管理可以获取到Server屏的语音微服务2的微服务信息(如微服务进程地址):2x0001。Client屏通过微服务进程地址，在多屏驱动装置的帮助下从多屏微服务管理器中获取到Server屏语音微服务的服务节点，通过这个服务节点就能实现和Server屏进行通信。进而使用语音微服务，通过查询Server屏上的导航微服务进程地址，获取导航微服务实体2x0002的服务节点；结合微服务导航协议，语音微服务2x0001会与导航微服务2x0002进行会话，从而调用导航功能。Server屏执行完导航任务，通过多屏微服务管理器，将结果回调给Client屏。其中，屏幕客户端为由用户直接控制的车载屏幕，可用于生成用户的控制指令，如语音指令等；屏幕服务端为用于需要通过屏幕客户端进行跨屏控制的车载屏幕，可用于执行用户上传的控制指令。如车辆上共包含中控屏、副驾屏、后排屏A以及后排屏B，当用户在中控屏录入语音指令“在副驾屏导航回家”，在此种情况下，中控屏可作为屏幕客户端，副驾屏可作为响应语音指令执行导航动作的屏幕服务端。
相应的，上述示例对应的代码描述可为：
中控屏query“在后排屏导航回家”程序跨屏幕调用导航服务，实现后排屏导航回家的代码：
//获取后排屏的屏幕管理对象
ScreenManager screenManager＝
(ScreenManager).getSystemService(REAR，,MULT_SCREEN_SERVICE)；
//获取后排屏的语音微服务对象
VoiceMicroService voiceService＝
(VoiceMicroService)screenManager.getMicroService(VOICE)；
//调用后排屏的导航回家功能
voiceService.navigationToHome()；
//详细描述注册、获取和使用服务：
对于本公开实施例，如图3所示，多屏控制系统还可包括身份验证模块9，身份验证模块9可用于在进行屏幕服务端和微服务注册之前，对新注册的屏幕服务端和新注册微服务进行身份验证，只有通过身份验证时，才允许注册至多屏微服务管理模块7。具体的，屏幕管理模块3与多屏微服务管理模块7连接，屏幕管理模块3上注册有第一广播拦截器，第一广播拦截器用于拦截第一广播事件，第一广播事件用于指示注册或卸载屏幕服务端，屏幕管理模块3用于响应于第一广播事件，在多屏微服务管理模块中注册或卸载屏幕服务端。屏幕管理模块3在多屏微服务管理模块中注册(安装)屏幕服务端时，如图5所示，可首先利用身份验证模块9对新注册的屏幕服务端进行第一身份验证，在新注册的屏幕服务端通过第一身份验证时，将新注册的屏幕服务端注册至多屏微服务管理模块7。其中，第一身份验证可包括屏幕国际移动设备识别码(International Mobile Equipment Identity，IMEI)验证和token验证，在进行屏幕IMEI验证时，可获取云端配置的屏幕白名单，如果屏幕白名单中包含新注册的屏幕服务端的屏幕IMEI，则将新注册的屏幕服务端的屏幕信息传递给多屏微服务管理模块7继续注册；如果屏幕白名单中不包含新注册的屏幕服务端的屏幕IMEI，则返回；白名单验证通过，则进入token校验阶段，具体可结合屏幕型号，签名，IMEI，通过信息摘要算法5(Message-Digest Algorithm 5，MD5)，生成令牌T；token校验模块将屏幕型号，签名，IMEI进行认证，并保留令牌T，予以通过和不通过。若通过上述身份验证，则将新注册的屏幕服务端注册到多屏微服务管理模块7，下次屏幕持有令牌T可以直接访问多屏微服务管理模块7；若未通过上述身份验证，则不将新注册的屏幕服务端注册到多屏微服务管理模块7。其中，屏幕的三个指标作为车载微服务架构识别屏幕服务端的依据，如下表1所示；
表1：
字段名称 描述
屏幕型号 这里一般采用指定屏幕名称的形式来定义
屏幕IMEI 该屏幕的唯一标识
屏幕签名 描述屏幕的签名
相应的，如图3所示，多屏控制系统还可包括白名单模块5，白名单模块5可用于存储屏幕服务端的唯一标示白名单，微服务白名单，未在白名单的不能注册和连接。具体的，白名单模块5与多屏微服务管理模块7连接，白名单模块5上注册有第二广播拦截器，第二广播拦截器用于拦截第二广播事件，第二广播事件用于指示注册或卸载微服务；白名单模块5用于响应于第二广播事件，在多屏微服务管理模块中注册或卸载微服务。白名单模块5在多屏微服务管理模块中注册(安装)微服务时，如图6所示，可首先利用身份验证模块9对新注册微服务进行第二身份验证，在新注册微服务通过第二身份验证时，将新注册微服务注册至多屏微服务管理模块7。其中，第二身份验证可包括包名验证和token验证，在进行包名验证时，可获取云端配置的微服务白名单，如果微服务白名单包含新注册微服务的包名，则将微服务的应用信息传递给多屏微服务管理模块7继续注册；如果微服务白名单中不包含安装的包名，则返回；白名单验证通过，则进入token校验阶段，具体可结合屏幕id，微服务的屏幕id，包名，版本号，签名，通过MD5摘要算法，生成令牌X；token校验模块将包名，版本号，签名，屏幕id进行认证，并保留令牌X，予以通过和不通过。若通过上述身份验证，则将新注册微服务注册到多屏微服务管理模块7，下次屏幕持有令牌X可以直接访问多屏微服务管理模块7；若未通过上述身份验证，则不将新注册微服务注册到多屏微服务管理模块7。其中，微服务的四个指标作为车载微服务架构识别微服务的依据，如下表2所示；
表2：
字段名称 描述
微服务唯一标识 这里一般采用包名的形式来定义
微服务版本号 用来做版本管理
微服务屏幕id 该服务所属的屏幕id
微服务应用签名 描述应用的签名
对于本公开实施例，通过采用白名单+token验证的方式，可保证接入屏幕服务端和微服务的安全性；并且可从协议本身支持对通信双方做身份校检，实现多重校验逻辑，从而大大提升了安全性；以及提供准确的多屏双向签名校验机制，屏幕与服务管理中心之间是双向验证的逻辑，保证用户车辆不被外来系统影响。
对于本公开实施例，在具体语音跨屏控制的过程中，语音对话管理模块1可用于接收屏幕客户端发送的语音指令，并提取语音指令中的语义信息。具体的，如图7所示，语音引擎可基于自然语言理解(Natural Language Understanding,NLU)采集用户上传的语音指令，并将语音指令输入至语音对话管理模块1，由语音对话管理模块1对语音指令依次进行前置语义处理、指令处理(单轮、多轮)、业务技能分发管理、离在线处理，对话状态追踪、车机状态管理、多人模式管理等；仲裁模块6与语音对话管理模块1和多屏微服务管理模块7连接，多屏微服务管理模块7中注册有屏幕服务端上的所有微服务，仲裁模块6用于在多屏微服务管理模块7中，确定屏幕服务端上与语义信息匹配的目标微服务。如图8所示，仲裁模块6可结合屏幕和微服务的状态和语音语义，决策指令应发到哪个屏幕服务端上，哪个微服务来执行。具体的，会话管理模块4可用于维护每个微服务的微服务状态信息，仲裁模块6可用于在会话管理模块4中获取微服务空间中每个微服务的微服务状态信息，以及在多屏微服务管理模块7中，基于微服务状态信息确定屏幕服务端上与语义信息匹配的目标微服务；会话管理模块4与仲裁模块6连接，会话管理模块4作为微服务会话的核心功能模块，可控制屏幕服务端每一个微服务的生命周期，通过连接、销毁、状态记录的方式将多屏下的微服务的状态进行维护和管理，具体可在确定出目标微服务以及目标微服务所在的屏幕服务端后，在内核空间临时创建屏幕客户端与屏幕服务端之间的微服务会话通信，微服务会话通信用于支持屏幕服务端按照语音指令运行目标微服务，在目标微服务运行结束后，会话管理模块4可结束该微服务会话通信，以释放资源占用空间，降低通信资源损耗。
其中，如图9所示，会话管理模块4在创建微服务会话时，可从多屏微服务管理器查询到指定屏幕的微服务浏览器MicroBrowser后，MicroBrowser会调用connect方法去连接目标微服务MicroService，连接成功后会有相应的回调结果。MicroBrowser会话负责与微服务的所有通信。它会定义对应用的其他部分隐藏API。系统只能从控制播放器的微服务会话中调用微服务；会话管理模块4在进行微服务状态管理时，可维护各种微服务的状态，例如导航会维护车速，导航状态，媒体会维护播放器状态(播放/暂停)，媒体信息，播放列表，播放模式等相关信息。以及管理器状态管理统计工作，根据监听各音频微服务实现适配器，并将导航状态，播放状态，焦点状态，连接状态进行传递；在进行微服务指令分发和回调时，会话管理模块4可通过MicroBrowser的订阅方法进行订阅或者执行命令，微服务收到订阅和执行指令后，去执行相应的动作，并给MicroBrowser传递执行结果。相应的，会话管理模块4还可用于维护每个微服务的微服务状态信息，仲裁模块6可用于在会话管理模块4中获取微服务空间中每个微服务的微服务状态信息，以及在多屏微服务管理模块7中，基于微服务状态信息确定屏幕服务端上与语义信息匹配的目标微服务。
对于本公开实施例，如图3所示，多屏控制系统还可包括业务管理模块2。业务管理模块2可用于管理语音具体的业务，衔接语音助手和三方应用，通过适配语音的通讯协议来接入语音能力，从而调用微服务能力，例如去控制媒体、导航、车控等服务等。具体的，在创建微服务会话时，会话管理模块4可用于在多屏微服务配置表中，获取屏幕客户端上语音微服务的第一服务节点和目标微服务的第二服务节点，以及基于第一服务节点和第二服务节点，创建屏幕客户端和屏幕服务端的微服务会话通信。相应的，业务管理模块2与会话管理模块4连接，业务管理模块2用于获取会话管理模块4临时创建的屏幕客户端与屏幕服务端之间的微服务会话通信，并基于微服务会话通信向屏幕服务端发送语音指令，以使屏幕服务端响应于语音指令运行目标微服务。
为便于对本方案的理解，以下特举具体的实例对本公开中的技术方案进行说明，但并不构成具体的限定。如图10所示：
1.当语音说“在后排导航回家”，首先会从多屏微服务管理器(即多屏微服务管理模块)查询后排屏幕对应屏幕服务端的语音微服务，如果有后排屏幕对应屏幕服务端的语音微服务，则可以获取到后排屏幕语音微服务的代理对象(即服务节点)。
2.拿到后排屏幕语音微服务的的代理对象，需要再次从多屏微服务管理器获取后排屏的导航微服务代理对象。
3.通过后排屏幕导航的代理对象，生成一次语音微服务和导航微服务之间的会话。该过程通过多屏驱动进行通讯，并与后排屏幕导航微服务建立联系，并调用导航接口navigationToHome()方法。
4.后排屏幕对应屏幕服务端的导航微服务收到回家指令后，会调用自身的navigationToHome方法，规划回家路线，然后开始导航。
5.导航微服务的执行结果通过会话的机制，结合回调callback的方式反馈给语音微服务，语音微服务再同步给中控屏。
需要说明的是，在本公开中的上述实施例步骤中，以在用户空间配置语音对话管理模块1、业务管理模块2、屏幕管理模块3、会话管理模块4、白名单模块5、仲裁模块6以及身份验证模块9，以及在内核空间配置多屏微服务管理模块7以及多屏驱动模块8为例，对本公开中的技术方案进行说明，但并不构成具体的限定。
通过本实施例提供的多屏控制系统，可预先注册屏幕服务端上的所有微服务，当屏幕客户端发送语音指令时，仲裁模块可获取语义指令的语义信息，在预先注册的屏幕服务端上的所有微服务中，确定与语义信息匹配的目标微服务，进而利用会话管理模块控制屏幕服务端按照语音指令运行目标微服务。相比于通过屏幕间传递请求报文进行语音多屏控制的方式，本公开中的技术方案，可利用多屏微服务管理模块集成并注册多屏下的所有微服务，实现对多屏控制的统一管理。在此基础上，车载任意屏幕的语音，都可以拿到当前屏幕和其他屏幕语音微服务代理，调用指定屏幕上的语音微服务能力，提升用户跨屏控制(如导航控制，媒体控制，车控，仪表显示等)体验效果。此外，通过采用白名单+token验证的方式，可保证接入屏幕和微服务的安全性。
本发明提供的一种多屏控制方法，如图11所示，可包括如下步骤：
步骤101、获取语音指令中的语义信息，语音指令为屏幕客户端发送的，用于指示进行跨屏微服务控制的控制指令。
其中，屏幕客户端为由用户直接控制的车载屏幕，可用于生成用户的控制指令，如语音指令等。通过语音指令的控制，可获取任意屏幕的任意媒体微服务，调用指定屏幕指定音视频的播放控制能力和数据浏览的能力，提升用户跨屏控制(如硬按键控制，语音控制，场景控制，推荐控制，仪表显示等)体验。
对于本公开实施例的执行主体可为多屏控制系统中的仲裁模块，在多屏控制系统中可包括语音对话管理模块、业务管理模块、屏幕管理模块、会话管理模块、身份验证模块、仲裁模块、多屏微服务管理模块以及多屏驱动模块。对于本公开实施例，仲裁模块可接收语音对话管理模块提取的语音指令中的语义信息，其中，语音对话管理模块可在接收语音引擎采集的上传的语音指令后，对语音指令进行前置语义处理，提取出语音指令中包含的语义信息，并将语义信息发送至冲裁模块。相应的，仲裁模块可接收到语音对话管理模块发送的语音指令中的语义信息。对于本公开实施例，在获取语音指令中的语义信息时，作为一种可能的应用方式，实施例步骤可包括：接收语音对话管理模块发送的语音指令中的语义信息。
步骤102、在预先注册的屏幕服务端上的所有微服务中，确定与语义信息匹配的目标微服务。
其中，微服务屏幕服务端上的所有微服务可以预先注册在冲裁模块或者会话管理模块或者多屏微服务管理模块中，在本公开中的下述实施例步骤中，以微服务预先注册在多屏微服务管理模块中为例，对本公开中的技术方案进行说明，但并不构成具体的限定。通过统一集成并注册多屏下的所有微服务，可实现对多屏控制的统一管理，方便跨屏语音调用，进而能够提高通信效率，提升用户跨屏控制的体验效果。
相应的，在多屏微服务管理模块中预先注册微服务时，实施例步骤可包括：利用身份验证模块对新注册的屏幕服务端进行第一身份验证，在所述新注册的屏幕服务端通过所述第一身份验证时，将所述新注册的屏幕服务端注册至所述多屏微服务管理模块；和/或利用身份验证模块对新注册微服务进行第二身份验证，在所述新注册微服务通过所述第二身份验证时，将所述新注册微服务注册至所述多屏微服务管理模块。通过对新注册屏幕服务端和新注册微服务预先进行身份验证，可保证所注册屏幕服务端和微服务的安全性。
对于本公开实施例，仲裁模块结合屏幕和微服务的状态和语音语义，决策指令应发到哪个屏幕上，由哪个微服务来执行。具体可在多屏微服务管理模块中确定屏幕服务端，以及确定屏幕服务端上与语义信息匹配的目标微服务的微服务信息，其中，微服务信息可为微服务进程地址。相应的，实施例步骤可包括：在所述会话管理模块中获取每个微服务的微服务状态信息，以及在所述多屏微服务管理模块中，基于所述微服务状态信息确定屏幕服务端上与所述语义信息匹配的目标微服务，以及目标微服务的微服务信息。
步骤103、利用会话管理模块控制屏幕服务端按照语音指令运行目标微服务。
对于本公开实施例，仲裁模块可将目标微服务的微服务信息发送至会话管理模块，会话管理模块可根据微服务信息在多屏微服务管理模块中获取目标微服务的服务节点，进而基于服务节点在内核空间创建屏幕客户端与屏幕服务端之间的微服务会话通信，以及利用业务管理模块基于微服务会话通信向屏幕服务端发送语音指令，以使屏幕服务端响应于语音指令运行目标微服务。
通过本实施例提供的多屏控制方法，可预先注册屏幕服务端上的所有微服务，当屏幕客户端发送语音指令时，仲裁模块可获取语义指令的语义信息，在预先注册的屏幕服务端上的所有微服务中，确定与语义信息匹配的目标微服务，进而利用会话管理模块控制屏幕服务端按照语音指令运行目标微服务。相比于通过屏幕间传递请求报文进行语音多屏控制的方式，本公开中的技术方案，可统一集成并注册多屏下的所有微服务，实现对多屏控制的统一管理，方便跨屏语音调用，进而能够提高通信效率，提升用户跨屏控制的体验效果。
基于上述图12方法的具体体现，本实施例提供了一种多屏控制装置，如图12所示，该装置包括：获取模块31、确定模块32、发送模块33；
获取模块31，可用于获取语音指令中的语义信息，语音指令为屏幕客户端发送的，用于指示进行跨屏微服务控制的控制指令；
确定模块32，可用于在预先注册的屏幕服务端上的所有微服务中，确定与语义信息匹配的目标微服务；
发送模块33，可用于利用会话管理模块控制屏幕服务端按照语音指令运行目标微服务。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开的实施例，可预先在多屏微服务管理模块中注册屏幕服务端上的所有微服务，当屏幕客户端发送语音指令时，仲裁模块可在多屏微服务管理模块中，确定屏幕服务端上与语音指令对应语义信息匹配的目标微服务，进而利用会话管理模块在内核空间创建屏幕客户端与屏幕服务端之间的微服务会话通信，微服务会话通信用于支持屏幕服务端按照语音指令运行目标微服务。本公开中的技术方案，可利用多屏微服务管理模块集成并注册多屏下的所有微服务，实现对多屏控制的统一管理，方便跨屏语音调用，进而能够提高通信效率，提升用户跨屏控制的体验效果。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图13示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如车辆的车机系统，其还可能是具有显示屏幕的智能终端，例如手机、平板电脑、TV、智能车载系统、膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的具有车窗控制的设备。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图13所示，设备500包括计算单元501，其可以根据存储在ROM(Read-OnlyMemory，只读存储器)502中的计算机程序或者从存储单元508加载到RAM(Random AccessMemory，随机访问/存取存储器)503中的计算机程序，来执行各种适当的动作和处理。在RAM503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。I/O(Input/Output，输入/输出)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505，包括：输入单元505，例如触摸输入屏、语音输入等；输出单元505，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于CPU(Central Processing Unit，中央处理单元)、GPU(Graphic Processing Units，图形处理单元)、各种专用的AI(Artificial Intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、DSP(Digital SignalProcessor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如数据管理方法。例如，在一些实施例中，数据管理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行前述车窗控制方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、FPGA(Field Programmable Gate Array，现场可编程门阵列)、ASIC(Application-Specific Integrated Circuit，专用集成电路)、ASSP(Application Specific StandardProduct，专用标准产品)、SOC(System On Chip，芯片上系统的系统)、CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、RAM、ROM、EPROM(Electrically Programmable Read-Only-Memory，可擦除可编程只读存储器)或快闪存储器、光纤、CD-ROM(Compact Disc Read-Only Memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode-Ray Tube，阴极射线管)或者LCD(Liquid Crystal Display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：LAN(LocalArea Network，局域网)、WAN(Wide Area Network，广域网)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
本公开的实施例还提供一种车辆，其可以包括上述多屏控制装置，或包括上述电子设备，或其包括如上的至少一个处理器以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开前述车窗控制方法。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (11)

1.一种多屏控制系统，其特征在于，包括：仲裁模块以及会话管理模块；
所述冲裁模块与所述会话管理模块连接，所述冲裁模块用于获取屏幕客户端发送的语义指令的语义信息，在预先注册的屏幕服务端上的所有微服务中，确定与所述语义信息匹配的目标微服务，以及利用所述会话管理模块控制所述屏幕服务端按照所述语音指令运行所述目标微服务。
2.根据权利要求1所述的多屏控制系统，其特征在于，所述多屏控制系统还包括：语音对话管理模块、多屏微服务管理模块；
所述语音对话管理模块与所述冲裁模块连接，所述语音对话管理模块用于接收屏幕客户端发送的语音指令，提取所述语音指令中的语义信息，并将所述语义信息发送至所述冲裁模块；
所述仲裁模块与所述多屏微服务管理模块连接，所述多屏微服务管理模块中注册有屏幕服务端上的所有微服务，所述仲裁模块用于在所述多屏微服务管理模块中已注册的所有微服务中，确定所述屏幕服务端上与所述语义信息匹配的目标微服务；和/或
所述会话管理模块与所述仲裁模块连接，所述会话管理模块用于在内核空间创建所述屏幕客户端与所述屏幕服务端之间的微服务会话通信，所述微服务会话通信用于支持所述屏幕服务端响应于所述语音指令运行所述目标微服务。
3.根据权利要求2所述的多屏控制系统，其特征在于，所述多屏控制系统还包括：屏幕管理模块、白名单模块；
所述屏幕管理模块与所述多屏微服务管理模块连接，所述屏幕管理模块上注册有第一广播拦截器，所述屏幕管理模块用于响应于所述第一广播拦截器拦截的第一广播事件，在所述多屏微服务管理模块中注册或卸载所述屏幕服务端，其中，所述第一广播事件用于指示注册或卸载屏幕服务端；和/或
所述白名单模块与所述多屏微服务管理模块连接，所述白名单模块上注册有第二广播拦截器，所述屏幕管理模块用于响应于所述第二广播拦截器拦截的第二广播事件，在所述多屏微服务管理模块中注册或卸载所述微服务，其中，所述第二广播事件用于指示注册或卸载微服务。
4.根据权利要求3所述的多屏控制系统，其特征在于，所述多屏控制系统还包括：身份验证模块；
所述屏幕管理模块与所述身份验证模块连接；
所述屏幕管理模块用于利用所述身份验证模块对新注册的屏幕服务端进行第一身份验证，在所述新注册的屏幕服务端通过所述第一身份验证时，将所述新注册的屏幕服务端注册至所述多屏微服务管理模块；和/或
所述屏幕管理模块用于利用所述身份验证模块对新注册微服务进行第二身份验证，在所述新注册微服务通过所述第二身份验证时，将所述新注册微服务注册至所述多屏微服务管理模块。
5.根据权利要求1所述的多屏控制系统，其特征在于，所述多屏控制系统还包括：多屏驱动模块；
所述会话管理模块用于在多屏微服务配置表中，获取所述屏幕客户端上语音微服务的第一服务节点和所述目标微服务的第二服务节点，以及基于所述第一服务节点和所述第二服务节点，创建所述屏幕客户端和所述屏幕服务端的微服务会话通信；和/或
多屏驱动模块与多屏微服务管理模块连接，多屏驱动模块用于在微服务空间中创建新注册的屏幕服务端和新注册微服务的服务节点，并将所述服务节点发送至所述多屏微服务管理模块，所述多屏微服务管理模块用于创建包含所述服务节点的多屏微服务配置表。
6.根据权利要求2所述的多屏控制系统，其特征在于，所述会话管理模块用于维护每个微服务的微服务状态信息；
所述仲裁模块用于在所述会话管理模块中获取微服务空间中每个微服务的微服务状态信息，以及在所述多屏微服务管理模块中，基于所述微服务状态信息确定屏幕服务端上与所述语义信息匹配的目标微服务。
7.根据权利要求2所述的多屏控制系统，其特征在于，所述多屏控制系统还包括：业务管理模块；
所述业务管理模块与所述会话管理模块连接，所述业务管理模块用于获取所述会话管理模块创建的所述屏幕客户端与所述屏幕服务端之间的微服务会话通信，并基于所述微服务会话通信向所述屏幕服务端发送所述语音指令，以使所述屏幕服务端响应于所述语音指令运行所述目标微服务。
8.一种多屏控制方法，其特征在于，所述方法包括：
获取语音指令中的语义信息，所述语音指令为屏幕客户端发送的，用于指示进行跨屏微服务控制的控制指令；
在预先注册的屏幕服务端上的所有微服务中，确定与所述语义信息匹配的目标微服务；
利用会话管理模块控制所述屏幕服务端按照所述语音指令运行所述目标微服务。
9.一种多屏控制装置，其特征在于，包括：
获取模块，用于获取语音指令中的语义信息，所述语音指令为屏幕客户端发送的，用于指示进行跨屏微服务控制的控制指令；
确定模块，用于在预先注册的屏幕服务端上的所有微服务中，确定与所述语义信息匹配的目标微服务；
发送模块，用于利用会话管理模块控制所述屏幕服务端按照所述语音指令运行所述目标微服务。
10.一种电子设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求8中所述的方法。
11.一种车辆，其特征在于，包括：如权利要求9所述的多屏控制装置、或如权利要求10所述的电子设备。
CN202310564848.6A 2023-05-18 2023-05-18 多屏控制系统、方法、装置、电子设备及车辆 Pending CN119007714A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310564848.6A CN119007714A (zh) 2023-05-18 2023-05-18 多屏控制系统、方法、装置、电子设备及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310564848.6A CN119007714A (zh) 2023-05-18 2023-05-18 多屏控制系统、方法、装置、电子设备及车辆

Publications (1)

Publication Number Publication Date
CN119007714A true CN119007714A (zh) 2024-11-22

Family

ID=93478843

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310564848.6A Pending CN119007714A (zh) 2023-05-18 2023-05-18 多屏控制系统、方法、装置、电子设备及车辆

Country Status (1)

Country Link
CN (1) CN119007714A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180324173A1 (en) * 2017-05-03 2018-11-08 International Business Machines Corporation Stateful session manager
WO2022135493A1 (zh) * 2020-12-25 2022-06-30 广州橙行智动汽车科技有限公司 语音交互方法、服务器、语音交互系统和存储介质
CN114879923A (zh) * 2022-04-21 2022-08-09 中国第一汽车股份有限公司 一种多屏幕控制方法、装置、电子设备和存储介质
EP4064713A1 (en) * 2019-12-31 2022-09-28 Huawei Technologies Co., Ltd. Voice control method and apparatus, server, terminal device, and storage medium
CN116132143A (zh) * 2023-01-04 2023-05-16 中国第一汽车股份有限公司 一种车载媒体微服务架构的多屏控制系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180324173A1 (en) * 2017-05-03 2018-11-08 International Business Machines Corporation Stateful session manager
EP4064713A1 (en) * 2019-12-31 2022-09-28 Huawei Technologies Co., Ltd. Voice control method and apparatus, server, terminal device, and storage medium
WO2022135493A1 (zh) * 2020-12-25 2022-06-30 广州橙行智动汽车科技有限公司 语音交互方法、服务器、语音交互系统和存储介质
CN114879923A (zh) * 2022-04-21 2022-08-09 中国第一汽车股份有限公司 一种多屏幕控制方法、装置、电子设备和存储介质
CN116132143A (zh) * 2023-01-04 2023-05-16 中国第一汽车股份有限公司 一种车载媒体微服务架构的多屏控制系统及方法

Similar Documents

Publication Publication Date Title
US11050683B2 (en) System for providing dialog content
US11238860B2 (en) Method and terminal for implementing speech control
CN107851217A (zh) 可穿戴个人通信节点的智能代理特征
CN108156268A (zh) 设备标识的获取方法及服务器、终端设备
CN107835979B (zh) 智能音频路由管理
EP3635533B1 (en) Electronic apparatus for processing user utterance for controlling an external electronic apparatus and controlling method thereof
WO2021043062A1 (zh) 一种跨网络唤醒的方法以及相关设备
CN115883669A (zh) 一种数据分发方法、系统、设备和介质
CN112328318B (zh) 专有云平台自动规划的方法、装置及存储介质
CN117813612A (zh) 用于实现用于垂直ai和水平ai的集成的联邦学习引擎的系统和方法
CN114221985A (zh) 设备控制方法、装置、电子设备和计算机可读存储介质
CN108111374B (zh) 同步设备列表的方法、装置、设备和计算机存储介质
CN116319644A (zh) 会话菜单的处理方法、装置及电子设备
CN103023704A (zh) 虚拟网络服务设备接入方法及系统
KR102254821B1 (ko) 대화형 콘텐츠 제공 시스템
CN114036218A (zh) 一种数据模型切换方法、装置、服务器和存储介质
CN119007714A (zh) 多屏控制系统、方法、装置、电子设备及车辆
WO2025081900A1 (zh) 一种交互方法、装置、设备和存储介质
CN118784463A (zh) 局部网络协同控制方法、装置、设备及存储介质
US11463329B2 (en) Method for using an extended workstation, and an associated system for using an extended workstation
CN113744728B (zh) 一种语音处理方法、装置、设备及存储介质
CN110096543A (zh) 应用程序的数据操作方法、装置、服务器和介质
CN110198266B (zh) 实时数据流处理方法及系统
CN112953754A (zh) 差异化业务的配置方法、装置、电子设备及存储介质
CN111427529B (zh) 交互方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination