JP7347324B2 - エージェント連携装置 - Google Patents

エージェント連携装置 Download PDF

Info

Publication number
JP7347324B2
JP7347324B2 JP2020086957A JP2020086957A JP7347324B2 JP 7347324 B2 JP7347324 B2 JP 7347324B2 JP 2020086957 A JP2020086957 A JP 2020086957A JP 2020086957 A JP2020086957 A JP 2020086957A JP 7347324 B2 JP7347324 B2 JP 7347324B2
Authority
JP
Japan
Prior art keywords
agent
voice
control unit
music
sound output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020086957A
Other languages
English (en)
Other versions
JP2021182051A (ja
Inventor
幸輝 竹下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020086957A priority Critical patent/JP7347324B2/ja
Priority to US17/213,959 priority patent/US11740865B2/en
Priority to CN202110346177.7A priority patent/CN113689062B/zh
Publication of JP2021182051A publication Critical patent/JP2021182051A/ja
Application granted granted Critical
Publication of JP7347324B2 publication Critical patent/JP7347324B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3343—Query execution using phonetics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11—Instrument graphical user interfaces or menu aspects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1434—Touch panels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/164—Infotainment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/589—Wireless data transfers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephonic Communication Services (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本発明は、複数のエージェントが提供するサービスを利用可能なエージェント連携装置に関する。
特許文献１には、２つのエージェントのサービスを利用するための音声対話方法として、エージェントを識別するキーワード等のエージェント情報に基づいて、２つのエージェントの何れかで対応するかを決定することが開示されている。具体的には、家エージェントである音声対話エージェントは、入力音声信号を受け付け、入力音声信号に対して音声認識処理を行い音声認識処理の結果と、エージェント情報とに基づいて、当該入力音声信号に基づく処理を、家エージェントと、他の車エージェントとのいずれで行うかを決定する。決定において、家エージェントで行うと決定された場合、音声認識処理の結果に基づく処理を行い、当該処理に係る応答音声信号を生成して出力する。一方、車エージェントで行うと決定された場合、入力音声信号を車エージェントサーバへ転送する。
特開２０１８－１８９９８４号公報
しかしながら、特許文献１では、複数のエージェントのサービスを利用することができるが、複数のエージェントのサービスを同時に利便的に利用するためには、改善の余地がある。
本発明は、上記事実を考慮して成されたもので、複数のエージェントが提供するサービスを同時に利便的に利用可能なエージェント連携装置を提供することを目的とする。
上記目的を達成するために請求項１に記載のエージェント連携装置は、それぞれ異なるエージェントサーバに対応して設けられて、音声対話により前記エージェントサーバが提供する予め定めたサービスを音声対話により指示可能な複数のエージェントからの指示による音出力を制御する音出力部と、前記複数のエージェントのうち１つのエージェントが前記サービスとしてオーディオブック及び音楽のうち一方を再生中に、他のエージェントが前記サービスとしてオーディオブック及び音楽のうち他方を再生する場合に、音楽再生の音量を減少してオーディオブックを再生するように、前記音出力部を制御する制御部と、を含み、前記制御部は、前記１つのエージェントが前記一方を再生中に、前記他のエージェントに対する音声対話が行われて前記他のエージェントが音声対話に対する応答音声を出力する際に、再生中の音を減少または停止してから、前記応答音声を出力して利用者の意思を確認し、前記１つのエージェントによる前記一方の再生の継続が指示された場合に、音楽再生の音量を減少してオーディオブックを再生するように、前記音出力部を制御する。
請求項１に記載の発明によれば、音出力部では、それぞれ異なるエージェントサーバに対応して設けられて、音声対話により前記エージェントサーバが提供する予め定めたサービスを音声対話により指示可能な複数のエージェントからの指示による音出力が制御される。
そして、制御部では、複数のエージェントのうち１つのエージェントがサービスとしてオーディオブック及び音楽のうち一方を再生中に、他のエージェントがサービスとしてオーディオブック及び音楽のうち他方を再生する場合に、音楽再生の音量を減少してオーディオブックを再生するように、前記音出力部が制御される。これにより、音楽を背景音楽としてオーディオブックを再生することができ、複数のエージェントが提供するサービスを同時に利便的に利用することが可能となる。
また、制御部は、１つのエージェントがオーディオブック及び音楽のうち一方を再生中に、他のエージェントに対する音声対話が行われて他のエージェントが音声対話に対する応答音声を出力する際に、再生中の音を減少または停止してから応答音声を出力して利用者の意思を確認するように、音出力部を制御する。これにより、オーディオブックまたは音楽を再生中に、エージェントと対話を聞き易くすることが可能となる。
さらに、制御部は、１つのエージェントによる一方の再生の継続が指示された場合に、音楽再生の音量を減少してオーディオブックを再生するように、音出力部を制御する。これにより、利用者の意思を反映して音楽再生とオーディオブックの再生とを同時に行うことが可能となる。
更に、制御部は、請求項２に記載の発明のように、利用者の意思を確認し、オーディオブックの非継続が指示された場合は、オーディオブックの再生を停止して音楽を再生するように、音出力部を制御してもよい。これにより、背景音楽が不要な場合はオーディオブックのみの再生が可能となる。
以上説明したように本発明によれば、複数のエージェントが提供するサービスを同時に利便的に利用可能なエージェント連携装置を提供できる、という効果がある。
本実施形態に係るエージェント連携装置の概略構成を示すブロック図である。 本実施形態に係るエージェント連携装置における音声検知部で行われる処理の流れの一例を示すフローチャートである。 本実施形態に係るエージェント連携装置におけるＡ２Ａ連携制御部で行われる具体的な処理の流れの一例を示すフローチャートである。 応答出力処理の一例を示すフローチャートである。 第２エージェントによりオーディオブックを再生中に、第１エージェントに対して音楽再生を指示する場合のシーケンス図である。
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本実施形態に係るエージェント連携装置の概略構成を示すブロック図である。
本実施形態に係るエージェント連携装置１０は、車載器として搭載されたヘッドユニット（Ｈ／Ｕ）に実装された例を一例として説明する。
エージェント連携装置１０は、通信装置１６を介して、複数のエージェントサーバに接続されている。本実施形態では、エージェント連携装置１０は、一例として、第１エージェントサーバ１２と第２エージェントサーバ１４の２つのエージェントサーバに接続されている。エージェント連携装置１０は、２つのエージェントサーバと通信を行うことで、各エージェントサーバが提供するサービスを利用者に提供する。また、エージェント連携装置１０は、各エージェントサーバからの音出力を制御する機能を有する。
第１エージェントサーバ１２及び第２エージェントサーバ１４の各々は、所謂、ＶＰＡ（Virtual Personal Assistant）と称される音声対話アシスタントの機能を提供する。具体的には、音声対話により、音楽再生、オーディオブック再生、天気予報等の予め定めたサービスをエージェント連携装置１０を介して利用者に提供する。詳細な構成については周知の種々の技術が適用可能であるため、説明を省略する。
通信装置１６は、本実施形態では、車両専用の通信機とされ、エージェント連携装置１０と第１エージェントサーバ１２との通信、及び、エージェント連携装置１０と第２エージェントサーバ１４との通信を行う。例えば、各々の通信は、携帯電話などの無線通信網を介して通信を行う。一例としては、ＤＣＭ（Data Communication Module）と称される通信装置が適用される。
エージェント連携装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等を含む一般的なマイクロコンピュータで構成され、音出力部の一例としての音出力制御部１８、制御部の一例としてのＡ２Ａ連携制御部２０、及び、音声検知部２６の機能を有する。
音出力制御部１８は、スピーカ２８に接続され、第１エージェントサーバ１２及び第２エージェントサーバ１４からの音出力を制御する。
Ａ２Ａ連携制御部２０は、タッチパネル３０、音出力制御部１８、及び音声検知部２６に接続され、それぞれと情報の授受を行う。また、Ａ２Ａ連携制御部２０は、第１エージェント２２及び第２エージェント２４の機能を有する。第１エージェント２２は、第１エージェントサーバ１２に対応して設けられ、第１エージェントサーバ１２とのやり取りを制御する。また、第２エージェント２４は、第２エージェントサーバ１４に対応して設けられ、第２エージェントサーバ１４とのやり取りを制御する。Ａ２Ａ連携制御部２０は、各エージェントサーバから音声対話に関する情報を受信した場合、音出力制御部１８に通知する。これにより、音出力制御部１８は、音声対話に関する情報に基づくスピーカ２８からの音出力を制御する。
音声検知部２６は、マイク３２に接続され、マイク３２から得られる音声情報を検知して、検知結果をＡ２Ａ連携制御部２０に通知する。例えば、音声検知部２６は、各エージェントを起動するためのウェイクアップワードを検知する。
続いて、上述のように構成された本実施形態に係るエージェント連携装置１０の各部で行われる具体的な動作の一例について説明する。
本実施形態に係るエージェント連携装置１０では、音声検知部２６がウェイクアップワードを検知して、Ａ２Ａ連携制御部２０に通知し、Ａ２Ａ連携制御部２０が対応するエージェントサーバに通信装置１６を介して接続する。
音出力制御部１８は、各エージェントサーバからの音出力（音声対話、音楽、オーディオブック等）の要求に応じてスピーカ２８からの音の出力を制御する。
Ａ２Ａ連携制御部２０は、第１エージェント２２及び第２エージェント２４の何れか一方のエージェントがオーディオブック及び音楽のうち一方を再生中に、他方のエージェントがオーディオブック及び音楽のうち他方を再生する場合に、音楽再生の音量を減少してオーディオブックを再生するように、音出力制御部１８を制御する。
続いて、本実施形態に係るエージェント連携装置１０の各部で行われる具体的な処理について説明する。
まず、音声検知部２６で行われる処理について説明する。図２は、本実施形態に係るエージェント連携装置１０における音声検知部２６で行われる処理の流れの一例を示すフローチャートである。なお、図２の処理は、例えば、音声検知部２６にマイク３２から音声が入力された場合に開始する。
ステップ１００では、音声検知部２６が、音声検出を行ってステップ１０２へ移行する。すなわち、マイク３２から入力された音声を検出する。
ステップ１０２では、音声検知部２６が、ウェイクアップワードを検出したか否かを判定する。該判定は、第１エージェント２２を起動するための予め定めたウェイクアップワード、または第２エージェント２４を起動するための予め定めたウェイクアップワードを検出したか否かを判定する。該判定が肯定された場合にはステップ１０４へ移行し、否定された場合には一連の処理を終了する。
ステップ１０４では、音声検知部２６が、ウェイクアップワードに対応するエージェントが起動中であるか否かを判定する。該判定が否定された場合にはステップ１０６へ移行し、肯定された場合にはステップ１１２へ移行する。
ステップ１０６では、音声検知部２６が、検出したウェイクアップワードが第１エージェント用であるか否かを判定する。該判定が肯定された場合にはステップ１０８へ移行し、第２エージェント用のウェイクアップワードが検出されて否定された場合にはステップ１１０へ移行する。
ステップ１０８では、音声検知部２６が、第１エージェント２２に起動を通知してステップ１１２へ移行する。
一方、ステップ１１０では、音声検知部２６が、第２エージェント２４に起動を通知してステップ１１２へ移行する。
ステップ１１２では、音声検知部２６が、予め定めた時間内に音声を検知したか否かを判定する。該判定が否定された場合、すなわち、予め定めた時間内に音声を検知しなかった場合には、一連の処理を終了し、該判定が肯定された場合にはステップ１１４へ移行する。
ステップ１１４では、音声検知部２６が、検知した音声を対応するエージェントに通知して一連の処理を終了する。すなわち、第１エージェント２２のウェイクアップワード検知後に予め定めた時間以内に音声を検知した場合には、検知した音声を第１エージェントに通知する。一方、第２エージェント２４のウェイクアップワード検知後に予め定めた時間以内に音声を検知した場合には、検知した音声を第２エージェントに通知する。
次に、Ａ２Ａ連携制御部２０で行われる処理について説明する。図３は、本実施形態に係るエージェント連携装置１０におけるＡ２Ａ連携制御部２０で行われる具体的な処理の流れの一例を示すフローチャートである。なお、図３の処理は、音声検知部２６からエージェントの起動通知を受信した場合に開始する。
ステップ２００では、Ａ２Ａ連携制御部２０が、エージェント起動通知を受信してステップ２０２へ移行する。すなわち、図２のステップ１０８またはステップ１１０によるエージェントの起動通知を受信する。
ステップ２０２では、Ａ２Ａ連携制御部２０が、音声検知部２６から受信したエージェントの起動通知が第１エージェント２２の起動通知であるか否かを判定する。該判定が肯定された場合にはステップ２０４へ移行し、否定された場合にはステップ２０６へ移行する。
ステップ２０４では、第１エージェント２２を起動してステップ２０８へ移行する。具体的には、第１エージェント２２と第１エージェントサーバ１２との通信を確立して第１エージェントサーバ１２からのサービス提供が可能な状態に移行する。
一方、ステップ２０６では、第２エージェント２４を起動してステップ２０８へ移行する。具体的には、第２エージェント２４と第２エージェントサーバ１４との通信を確立して第２エージェントサーバ１４からのサービス提供が可能な状態に移行する。
ステップ２０８では、Ａ２Ａ連携制御部２０が、予め定めた時間内に音声検知部２６から音声通知を受信したか否かを判定する。該判定は、上述のステップ１１４により音声の通知を受信したか否かを判定する。該判定が肯定された場合にはステップ２１０へ移行し、否定された場合には一連の処理を終了する。
ステップ２１０では、Ａ２Ａ連携制御部２０が、対応するエージェントから対応するエージェントサーバに音声情報を送信してステップ２１２へ移行する。すなわち、第１エージェント２２が起動されて音声通知を受信した場合には、第１エージェント２２が第１エージェントサーバ１２に音声情報を送信する。一方、第２エージェント２４が起動されて音声通知を受信した場合には、第２エージェント２４が第２エージェントサーバ１４に音声情報を送信する。
ステップ２１２では、Ａ２Ａ連携制御部２０が、エージェントサーバから音声情報を受信してステップ２１４へ移行する。例えば、ステップ２１０において、オーディオブックや音楽を再生する内容の音声情報をエージェントサーバに送信した場合には、エージェントサーバが音声情報に基づいて意図理解を行って対応するオーディオブックや音楽を再生する音声情報を受信する。
ステップ２１４では、Ａ２Ａ連携制御部２０が、他のエージェントが起動中であるか否かを判定する。該判定は、第１エージェント２２及び第２エージェント２４の一方が音声情報を受信した場合に、第１エージェント２２及び第２エージェント２４の他方が起動中であるか否かを判定する。該判定が否定された場合にはステップ２１６へ移行し、肯定された場合にはステップ２１８へ移行する。
ステップ２１６では、Ａ２Ａ連携制御部２０が、エージェントサーバからの応答を出力して一連の処理を終了する。すなわち、エージェントサーバから受信した応答音声や、オーディオブックの音声、音楽の音声をスピーカ２８から出力するように、音出力制御部１８を制御する。
一方、ステップ２１８では、Ａ２Ａ連携制御部２０が、先に起動しているエージェントによる音出力の音量を減少してステップ２２０へ移行する。すなわち、Ａ２Ａ連携制御部２０が、音出力制御部１８に対して先に起動しているエージェントによる音出力（例えば、オーディオブックや音楽等）の音量の減少を指示する。これにより、既に出力されている音源の音量が減少され、エージェントとの対話が聞き易くなる。なお、ステップ２１８は、音量の減少ではなく、対話中の音出力を一時停止するようにしてもよい。
ステップ２２０では、Ａ２Ａ連携制御部２０が、応答出力処理を行って一連の処理を終了する。応答出力処理は、利用者からの対話に対する応答を行う処理であり、例えば、図４で示す処理が行われる。図４は、応答出力処理の一例を示すフローチャートである。なお、本実施形態では、一方のエージェントがオーディオブック及び音楽のうち一方を再生中に他方のエージェントにオーディオブック及び音楽のうち他方の再生を要求または要求して途中で要求をキャンセルする場合を一例として説明する。
すなわち、ステップ３００では、Ａ２Ａ連携制御部２０が、先に起動しているエージェントによる音出力（オーディオブックまたは音楽の再生）を終了するか否かのメッセージを出力してステップ３０２へ移行する。例えば、Ａ２Ａ連携制御部２０が、音出力制御部１８を制御して、先に起動しているエージェントによる音量減少中の音出力を終了するか否かのメッセージを音声出力してもよい。或いは、Ａ２Ａ連携制御部２０が、タッチパネル３０に先に起動しているエージェントによる音量減少中の音出力を終了するか否かのメッセージを表示してもよい。
ステップ３０２では、Ａ２Ａ連携制御部２０が、先に起動しているエージェントによる音量減少中の音出力を終了するか否かを判定する。該判定は、例えば、Ａ２Ａ連携制御部２０が、音声検知部２６による音声の検知結果を取得して、対話によって終了を表す音声を検知したか否か判定してもよい。或いは、Ａ２Ａ連携制御部２０が、タッチパネル３０を介して終了を表す操作が入力されたか否かを判定してもよい。該判定が肯定された場合にはステップ３０４へ移行し、否定された場合にはステップ３０８へ移行する。
ステップ３０４では、Ａ２Ａ連携制御部２０が、再生中の音源を停止してステップ３０６へ移行する。例えば、オーディオブックや音楽が再生されていた場合には再生されているオーディオブックや音楽を停止してステップ３０６へ移行する。
ステップ３０６では、Ａ２Ａ連携制御部２０が、後から起動されたエージェントに要求した音を、対応するエージェントサーバから取得して再生し、図４の処理をリターンして一連の処理を終了する。
一方、ステップ３０８では、Ａ２Ａ連携制御部２０が、後から起動されたエージェントに要求した音の再生をキャンセルするか否かを判定する。該判定は、例えば、ステップ３０２と同様に、利用者との音声対話または利用者によるタッチパネル３０の操作によって要求の音再生がキャンセルされたか否かを判定する。該判定が肯定された場合にはステップ３１０へ移行し、否定された場合にはステップ３１２へ移行する。
ステップ３１０では、Ａ２Ａ連携制御部２０が、音出力制御部１８を制御して、出力中の再生の音量を低減する前の状態に復元して図４の処理をリターンして一連の処理を終了する。
一方、ステップ３１２では、Ａ２Ａ連携制御部２０が、音楽の音量を減少しながらオーディオブックを再生するように、音出力制御部１８を制御して図４の処理をリターンして一連の処理を終了する。
ここで、図４の応答出力処理について、具体例を挙げて説明する。図５は、第２エージェント２４によりオーディオブックを再生中に、第１エージェント２２に対して音楽再生を指示する場合のシーケンス図である。
図５に示すように、第２エージェント２４がオーディオブックを再生しているときに、利用者が第１エージェント２２のウェイクアップワードである「Hey Toyota」を発話する。これにより、音声検知部２６では、上述のステップ１００により音声が検出されてステップ１０２が肯定され、ステップ１０４が否定される。そして、ステップ１０６が肯定されてステップ１０８により第１エージェント２２に起動が通知される。第１エージェント２２の起動が通知されるとＡ２Ａ連携制御部２０では、上述のステップ２００により起動通知を受信して、ステップ２０２の判定が肯定されてステップ２０４により第１エージェント２２が起動される。
また、ウェイクアップワードに続いて予め定めた時間内に「音楽かけて」と発話すると、音声検知部２６では、ステップ１１２の判定が肯定されてステップ１１４により第１エージェント２２に音声を通知する。音声が通知されるとＡ２Ａ連携制御部２０では、上述のステップ２０８の判定が肯定されてステップ２１０により第１エージェントサーバ１２に発話音声が送信される。そして、第１エージェントサーバ１２により意図理解が行われて、ステップ２１２によりＡ２Ａ連携制御部２０の第１エージェント２２が応答を受信する。ここで、他のエージェントである第２エージェント２４が起動中であるので、ステップ２１４の判定が肯定されてステップ２１８により第２エージェント２４によるオーディオブックの再生の音量が減少されてステップ２２０により応答処理が行われる。
応答処理では、上述のステップ３００で第１エージェント２２により「オーディオブックの再生を停止しますか？」のように終了の要否のメッセージが出力される。ここで、図５の例では、利用者が「継続して」のように発話することにより、ステップ３０２及びステップ３０８の判定が否定され、ステップ３１２により第１エージェント２２による音楽の音量を減少しながら第２エージェント２４によるオーディオブックの再生が行われる。
このように、本実施形態に係るエージェント連携装置１０では、２つのエージェントのうち一方のエージェントがオーディオブック及び音楽のうち一方を再生中に、他方のエージェントがオーディオブック及び音楽のうち他方を再生する場合に、音楽再生の音量を減少してオーディオブックが再生される。これにより、複数のエージェントが提供するサービスを同時に利便的に利用することが可能となる。
なお、上記の実施形態では、第１エージェント２２と第２エージェント２４の２つのエージェントを有する例を説明したが、これに限るものではなく、３以上の複数のエージェントを有してもよい。この場合、Ａ２Ａ連携制御部２０が、複数のエージェントのうち１つのエージェントがオーディオブック及び音楽のうち一方を再生中に、他のエージェントがオーディオブック及び音楽のうち他方を再生する場合に、音楽再生の音量を減少してオーディオブックを再生するように、音出力制御部を制御すればよい。
また、上記の各実施形態におけるエージェント連携装置１０で行われる処理は、プログラムを実行することにより行われるソフトウエア処理として説明したが、これに限るものではない。例えば、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、及びＦＰＧＡ（Field-Programmable Gate Array）等のハードウエアで行う処理としてもよい。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ソフトウエアの処理とした場合には、プログラムを各種記憶媒体に記憶して流通させるようにしてもよい。
さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
１０ エージェント連携装置
１２ 第１エージェントサーバ
１４ 第２エージェントサーバ
１８ 音出力制御部（音出力部）
２０ Ａ２Ａ連携制御部（制御部）
２２ 第１エージェント
２４ 第２エージェント
２６ 音声検知部
２８ スピーカ
３２ マイク

Claims (2)

  1. それぞれ異なるエージェントサーバに対応して設けられて、音声対話により前記エージェントサーバが提供する予め定めたサービスを音声対話により指示可能な複数のエージェントからの指示による音出力を制御する音出力部と、
    前記複数のエージェントのうち１つのエージェントが前記サービスとしてオーディオブック及び音楽のうち一方を再生中に、他のエージェントが前記サービスとしてオーディオブック及び音楽のうち他方を再生する場合に、音楽再生の音量を減少してオーディオブックを再生するように、前記音出力部を制御する制御部と、
    を含み、
    前記制御部は、前記１つのエージェントが前記一方を再生中に、前記他のエージェントに対する音声対話が行われて前記他のエージェントが音声対話に対する応答音声を出力する際に、再生中の音を減少または停止してから、前記応答音声を出力して利用者の意思を確認し、前記１つのエージェントによる前記一方の再生の継続が指示された場合に、音楽再生の音量を減少してオーディオブックを再生するように、前記音出力部を制御するエージェント連携装置。
  2. 前記制御部は、利用者の意思を確認し、オーディオブックの非継続が指示された場合は、オーディオブックの再生を停止して音楽を再生するように、前記音出力部を制御する請求項１に記載のエージェント連携装置。
JP2020086957A 2020-05-18 2020-05-18 エージェント連携装置 Active JP7347324B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020086957A JP7347324B2 (ja) 2020-05-18 2020-05-18 エージェント連携装置
US17/213,959 US11740865B2 (en) 2020-05-18 2021-03-26 Agent coordination device, agent coordination method and recording medium
CN202110346177.7A CN113689062B (zh) 2020-05-18 2021-03-31 智能体协调装置，智能体协调方法以及记录有智能体协调程序的记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020086957A JP7347324B2 (ja) 2020-05-18 2020-05-18 エージェント連携装置

Publications (2)

Publication Number Publication Date
JP2021182051A JP2021182051A (ja) 2021-11-25
JP7347324B2 true JP7347324B2 (ja) 2023-09-20

Family

ID=78512417

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020086957A Active JP7347324B2 (ja) 2020-05-18 2020-05-18 エージェント連携装置

Country Status (3)

Country Link
US (1) US11740865B2 (ja)
JP (1) JP7347324B2 (ja)
CN (1) CN113689062B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
JP7264139B2 (ja) * 2020-10-09 2023-04-25 トヨタ自動車株式会社 車両用エージェント装置、車両用エージェントシステム、及び車両用エージェントプログラム
US12211498B2 (en) * 2021-05-18 2025-01-28 Apple Inc. Siri integration with guest voices

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058198A (ja) 2001-08-21 2003-02-28 Canon Inc 音声出力装置、音声出力方法、及び、プログラム
JP2007226642A (ja) 2006-02-24 2007-09-06 Honda Motor Co Ltd 音声認識機器制御装置
JP2012098100A (ja) 2010-10-31 2012-05-24 Alpine Electronics Inc 誘導経路音声案内出力オーディオ制御装置
JP2017535823A (ja) 2014-10-01 2017-11-30 エクスブレイン・インコーポレーテッド 音声および接続プラットフォーム
WO2019172943A1 (en) 2018-03-08 2019-09-12 Google Llc Mitigation of client device latency in rendering of remotely generated automated assistant content

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3678115B2 (ja) * 2000-05-22 2005-08-03 日本ビクター株式会社 携帯端末の通信方法
JP2007210462A (ja) 2006-02-09 2007-08-23 Mitsubishi Motors Corp 車両用表示制御装置および車両用表示システム
JP5803132B2 (ja) * 2011-02-18 2015-11-04 日本電気株式会社 音声切替装置、プログラム及び方法
WO2014057356A2 (en) * 2012-10-12 2014-04-17 Spotify Ab Systems and methods for multi-context media control and playback
CN108806690B (zh) 2013-06-19 2023-05-09 松下电器（美国）知识产权公司 声音对话方法及声音对话代理服务器
CN104898446A (zh) * 2015-05-29 2015-09-09 四川长虹电器股份有限公司 一种控制方法及智能家居控制设备
US10783883B2 (en) * 2016-11-03 2020-09-22 Google Llc Focus session at a voice interface device
CN108650406A (zh) * 2018-04-11 2018-10-12 上海福宇龙汽车科技有限公司 智能车载终端
CN109101212B (zh) * 2018-07-20 2025-03-07 深圳市信受奉行信息技术有限公司 一种智能音箱的播放方法及系统
US11152003B2 (en) * 2018-09-27 2021-10-19 International Business Machines Corporation Routing voice commands to virtual assistants
US10514888B1 (en) * 2018-10-05 2019-12-24 Oracle International Corporation User-adaptive volume selection
CN109614252B (zh) * 2018-12-10 2020-06-05 苏州思必驰信息科技有限公司 用于智能故事机的音频播放调度方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058198A (ja) 2001-08-21 2003-02-28 Canon Inc 音声出力装置、音声出力方法、及び、プログラム
JP2007226642A (ja) 2006-02-24 2007-09-06 Honda Motor Co Ltd 音声認識機器制御装置
JP2012098100A (ja) 2010-10-31 2012-05-24 Alpine Electronics Inc 誘導経路音声案内出力オーディオ制御装置
JP2017535823A (ja) 2014-10-01 2017-11-30 エクスブレイン・インコーポレーテッド 音声および接続プラットフォーム
WO2019172943A1 (en) 2018-03-08 2019-09-12 Google Llc Mitigation of client device latency in rendering of remotely generated automated assistant content

Also Published As

Publication number Publication date
JP2021182051A (ja) 2021-11-25
CN113689062A (zh) 2021-11-23
US20210357179A1 (en) 2021-11-18
US11740865B2 (en) 2023-08-29
CN113689062B (zh) 2024-07-26

Similar Documents

Publication Publication Date Title
JP7347324B2 (ja) エージェント連携装置
JP7053687B2 (ja) ラストマイル等化
CN112911065A (zh) 终端的播放音频方法、装置、电子设备及存储介质
JPWO2018034077A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2023165326A1 (zh) 基于车辆的信息交互方法、车机端、存储介质和车辆
CN108804070A (zh) 音乐播放方法、装置、存储介质及电子设备
CN115691456A (zh) 车载音频播放方法、装置、多媒体主机及存储介质
JP2014219617A (ja) 音声案内システム及び音声案内方法
CN110400582A (zh) 一种音频管理方法、音频管理系统和车载系统
CN113162964B (zh) 代理系统、终端装置以及代理程序
JP2001042891A (ja) 音声認識装置、音声認識搭載装置、音声認識搭載システム、音声認識方法、及び記憶媒体
CN115373623A (zh) 音频处理方法、音频播放控制设备、移动设备以及车辆
JPWO2014141574A1 (ja) 音声制御システム、音声制御方法、音声制御用プログラムおよび耐雑音音声出力用プログラム
JP2019117324A (ja) 音声出力装置、音声出力方法、及び音声出力プログラム
JP7474548B2 (ja) オーディオデータの再生の制御
JP2021182052A (ja) エージェント連携装置
CN115804108B (zh) 通话环境生成方法、通话环境生成装置、计算机程序产品
CN113687731B (zh) 智能体控制装置、智能体控制方法以及非临时性的记录介质
CN118588092A (zh) 基于声音生物识别的虚拟助手无意中自调用的缓解
JP2005024869A (ja) 音声応答装置
US20050262256A1 (en) Method and device for multimedia processing
JP2020052145A (ja) 音声認識装置、音声認識方法、及び音声認識プログラム
TW202614604A (zh) 線上會議系統及其方法
WO2024009465A1 (ja) 音声認識装置、プログラム、音声認識方法、及び音声認識システム
JP3636896B2 (ja) 音声信号加算装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230821

R151 Written notification of patent or utility model registration

Ref document number: 7347324

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151