JP5893217B2 - 音声認識装置および表示方法 - Google Patents

音声認識装置および表示方法 Download PDF

Info

Publication number
JP5893217B2
JP5893217B2 JP2015515745A JP2015515745A JP5893217B2 JP 5893217 B2 JP5893217 B2 JP 5893217B2 JP 2015515745 A JP2015515745 A JP 2015515745A JP 2015515745 A JP2015515745 A JP 2015515745A JP 5893217 B2 JP5893217 B2 JP 5893217B2
Authority
JP
Japan
Prior art keywords
display
importance
display area
unit
operation button
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015515745A
Other languages
English (en)
Other versions
JPWO2015125212A1 (ja
Inventor
友紀 古本
友紀 古本
博紀 坂下
博紀 坂下
政信 大沢
政信 大沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP5893217B2 publication Critical patent/JP5893217B2/ja
Publication of JPWO2015125212A1 publication Critical patent/JPWO2015125212A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3608Destination input or retrieval using speech input, e.g. using speech recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221Announcement of recognition results
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Description

この発明は、ユーザにより発話された音声を認識して認識結果に対応する表示物を表示する音声認識装置およびその表示物を表示装置に表示させる表示方法に関するものである。
従来より、音声認識の方法として、ユーザにより発話された音声を認識してその認識結果を表示する方法が知られている。
例えば特許文献1には、ユーザが発話した音声を認識し、その認識結果を表示する音声認識装置であって、ユーザが発話するとその音声の認識結果であるショートカットボタンが表示画面に表示され、当該ショートカットボタンをユーザが押下することで、ショートカット機能が実行されることが記載されている。
特開2008−14818号公報
しかしながら、例えば特許文献1のような従来の音声認識装置では、認識結果に基づいて作成される表示物の表示位置を考慮していないため、利用者にとって重要な地図上の情報が表示されている上からその表示物が表示され、利用者が重要な情報を取得することを阻害してしまう、という課題があった。
この発明は、上記のような課題を解決するためになされたものであり、音声認識結果に対応する表示物を表示する領域の重要度に応じて、当該表示物の表示位置や表示形態を変更して表示する音声認識装置およびその表示物を表示装置に表示させる表示方法を提供することを目的とする。
上記目的を達成するため、この発明は、ユーザにより発話された音声を認識して認識結果に対応する機能が割り当てられた操作ボタンを表示する音声認識装置において、ユーザにより発話された音声を検知して取得する音声取得部と、音声取得部により取得された音声データを認識し、認識結果を出力する音声認識部と、音声認識部により出力された認識結果に対応する操作ボタンを生成する表示物生成部と、複数の表示領域を有する表示部と、表示部における複数の表示領域ごとの重要度を計算する表示領域重要度計算部と、表示領域重要度計算部により計算された重要度に基づいて、表示物生成部により生成された操作ボタンを表示すべき表示領域または操作ボタンの表示形態の少なくとも一方を決定する表示物表示態様決定部と、表示物表示態様決定部により決定された表示領域または表示形態に基づいて、操作ボタンを表示するよう表示部に対して指示出力する表示物描画部とを備え、表示物表示態様決定部は、複数の表示領域の中からあらかじめ指定された表示領域の重要度があらかじめ定められた閾値以下である場合は、あらかじめ指定された表示領域を操作ボタンを示すべき表示領域に決定し、あらかじめ指定された表示領域の重要度があらかじめ定められた閾値より大きい場合は、他の表示領域を操作ボタンを表示すべき表示領域に決定することを特徴とする。
この発明の音声認識装置によれば、音声認識結果に対応する機能が割り当てられた操作ボタンを表示する表示領域の重要度に応じて、操作ボタンを表示する表示領域または表示形態を変更することができるため、操作ボタンの表示により、ユーザにとって重要な他の情報の取得を阻害することがなくなり、ユーザの利便性を向上させることができる。
実施の形態1による音声認識装置を適用したナビゲーション装置の一例を示すブロック図である。 表示部に地図画面が表示されている状態において、表示部上の複数の表示領域を示す図である。 地図画面、自車の進行方向、および、複数の表示領域の位置関係を示す図である。 自車の進行方向上または進行予定方向上の情報と表示領域の重要度との対応の一例を示す表である。 表示部に地図画面が表示されている状態において、駐車場などの施設アイコンが表示領域に表示されている画面例を示す図である。 施設アイコンの個数と表示領域の重要度との対応を示す表である。 道路種別ごとの表示領域の重要度の一例を示す表である。 地域種別ごとの表示領域の重要度の一例を示す表である。 地図の表示スケールごとの表示領域の重要度の一例を示す表である。 表示部に地図画面が表示されている状態において、案内情報または警告情報が表示領域に表示されている画面例を示す図である。 案内情報/警告情報と表示領域の重要度との対応の一例を示す表である。 自車の走行状況と表示領域の重要度との対応の一例を示す表である。 自車の周辺環境状況と表示領域の重要度との対応の一例を示す表である。 表示物の内容と表示されている表示画面との組合せに対する、表示領域の重要度の一例を示す表である。 表示部に地図画面が表示されている状態において、他の表示物が表示領域に表示されている画面例を示す図である。 表示モードと表示領域の重要度との対応の一例を示す表である。 実施の形態1における、表示物を表示すべき表示領域の決定の処理を示すフローチャートである。 実施の形態1における、表示物の生成と表示の処理を示すフローチャートである。 実施の形態1における、表示部に既に表示されている表示物の表示領域の変更の処理を示すフローチャートである。 表示部に地図画面が表示されている状態において、施設アイコンと表示領域に表示される表示物との関係による画面遷移例を示す図(1)である。 表示部に地図画面が表示されている状態において、施設アイコンと表示領域に表示される表示物との関係による画面遷移例を示す図(2)である。 実施の形態1において、あらかじめ表示領域が指定されていない場合に表示物を表示すべき表示領域の決定の処理を示すフローチャートである。 表示部に地図画面が表示されている状態において、施設アイコンと表示領域に表示される表示物との関係による画面遷移の別の例を示す図である。 表示領域の重要度と表示物の透過度との関係の一例を示す図である。 表示領域の重要度と表示物の表示時間との関係の一例を示す図である。 表示物の情報量の変化の一例を示す図である。 実施の形態2における、表示物の表示すべき表示領域の決定と表示物の透過度の決定の処理を示すフローチャートである。 実施の形態2における、表示物の生成と表示の処理を示すフローチャートである。 実施の形態2における、表示部に既に表示されている表示物の表示領域の変更と表示物の透過度の変更の処理を示すフローチャートである。 実施の形態3におけるナビゲーションシステムの概要を示す図である。
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
この発明は、ユーザにより発話された音声を認識して認識結果に対応する表示物を表示する音声認識装置である。なお、音声認識処理については、ユーザによる音声認識処理開始の指示により行うものであってもよいし、その指示がなくても、常時、音声を認識するものであってもよい。なお、以下の実施の形態では、この発明の音声認識装置を車両等の移動体に搭載されるナビゲーション装置に適用した場合を例に挙げて説明するが、車両以外の他の移動体用のナビゲーション装置であってもよいし、ナビゲーションシステムのサーバに適用してもよい。また、スマートフォン、タブレットPC、携帯電話等の携帯情報端末等にインストールされるナビゲーションシステムのアプリケーション等に適用してもよい。
実施の形態1.
図1は、この発明の実施の形態1による音声認識装置を適用したナビゲーション装置の一例を示すブロック図である。このナビゲーション装置は、制御部1、現在位置検出部2、交通情報送受信部3、地図情報格納部4、地図情報取得部5、経路計算部6、誘導案内部7、マイク8、音声取得部9、音声認識部10、指示入力部11、表示制御部12、表示部13、音声制御部14、スピーカ15、走行状況取得部16、周辺環境状況取得部17を備えており、表示部13に地図を表示して車両等の移動体の道案内を行う。
制御部1は、ナビゲーション装置全体の動作を制御する。
現在位置検出部2は、例えばGPS受信機等により、自車両の現在位置と進行方向を検出する。
交通情報送受信部3は、FM多重放送、電波ビーコン、光ビーコンにより提供される交通情報(VICS(Vehicle Information & Communication System/登録商標)に代表される)やDSRC(Dedicate Short Range Communication)により提供される渋滞情報などを受信する。また、自車両に関する情報、例えば現在位置などのプローブ情報を送信する。
地図情報格納部4は、例えば、道路に関する「道路情報」、施設に関する「施設情報」(種別、名称、位置等)、「各種文字情報」(地名、施設名、交差点名、道路名など)、および施設・道路番号などを表す「各種アイコン情報」、誘導案内部で用いるための誘導用情報(所定の要所の位置情報、当該要所での描画情報、更には音声案内情報など)などのデータを格納している。地図情報格納部は、例えば、HDD(Hard Disk Drive)、半導体素子を用いたSDカードなどのメモリでもよいし、ネットワーク上に存在し、通信ネットワークを介して道路データなどの情報を取得できる構成(地図データ取得部)であってもよい。
地図情報取得部5は、地図情報取得指示や施設情報取得指示などを受けると、地図情報格納部4を検索して必要な情報を取得する。
経路計算部6は、後述する指示入力部11や音声操作によりユーザにより設定された地点と、現在位置検出部2により検出された位置情報と、地図情報取得部5により取得された地図情報とに基づいて、現在位置から当該設定された地点までの最適な経路(以下、「推奨経路」と呼ぶ)を計算する。
誘導案内部7は、地図情報取得部5により取得された地図情報に基づき、経路計算部6により計算された経路に沿って車両が移動する際に案内を行うための誘導案内図及び誘導案内メッセージを生成する。
マイク8は、ユーザが発話した音声を取得(集音)する。マイク8には、例えば、全指向性(または無指向性)のマイクや、複数の全指向性(または無指向性)のマイクをアレイ状に配列して指向特性を調整可能としたアレイマイクや、一方向のみに指向性を有しており、指向特性を調整できない単一指向性マイクなどがある。
音声取得部9は、マイク8により取得されたユーザ発話、すなわち、入力された音声を取り込み、例えばPCM(Pulse Code Modulation)によりA/D(Analog/Digital)変換する。
なお、以下の説明においては、上述のとおりマイク8と音声取得部9が別個のものであるとするが、マイク8に音声取得部9が内蔵されているものであってもよい。
音声認識部10は、音声取得部9によりデジタル化された音声信号から、ユーザが発話した内容に該当する音声区間を検出し、該音声区間の音声データの特徴量を抽出し、その特徴量に基づいて音声認識辞書を用いて認識処理を行い、認識結果を出力する。なお、認識処理としては、例えばHMM(Hidden Markov Model)法のような一般的な方法を用いて行えばよい。
ここで、音声認識の手法としては、文法に基づく単語認識、キーワードスポッティング、大語彙連続音声認識やその他の周知の手法のいずれを用いるとしてもよい。
また、音声認識部10は、周知の意図理解処理を含むものとし大語彙連続音声認識による認識結果からユーザの意図を推定したり検索したりした結果を、認識結果として出力するとしてもよい。
ところで、カーナビゲーションシステム等に搭載されている音声認識機能においては、ユーザが発話の開始をシステムに対して明示(指示)するのが一般的である。そのために、音声認識開始を指示するボタン(以下、「音声認識開始指示部」と呼ぶ)が、タッチパネルに表示されたりハンドルに設置されたりしている。そして、ユーザにより音声認識開始指示部が押下された後に発話された音声を認識する。すなわち、音声認識開始指示部は音声認識開始信号を出力し、音声認識部は当該信号を受けると、当該信号を受けた後に音声取得部により取得された音声データから、ユーザが発話した内容に該当する音声区間を検出し、上述した認識処理を行う。
この実施の形態1における音声認識部10は、上述したようなユーザによる音声認識開始指示により音声認識を行うものであってもよいし、そのような指示がなくても、常に、ユーザが発話した内容を認識するものであってもよいが、ここでは常時音声認識を行うものとして説明する。すなわち、音声認識部10は、音声認識開始信号を受けなくても、常時、音声取得部9により取得された音声データから、ユーザが発話した内容に該当する音声区間を検出し、該音声区間の音声データの特徴量を抽出し、その特徴量に基づいて音声認識辞書を用いて認識処理を行い、音声認識結果を出力する処理を繰り返し行う。以下の実施の形態においても同様である。
指示入力部11は、ユーザの手動による指示を入力するものである。当該指示は、例えばナビゲーション装置に設けられたハードウェアのスイッチ、後述する表示部13に設定され表示されるタッチセンサ、あるいはハンドル等に設置されたリモコンもしくは別体のリモコン、ジェスチャ操作による指示を認識する認識装置等が挙げられる。
表示制御部12は、地図描画部21、表示物生成部22、表示領域重要度計算部23、表示物表示態様決定部24、表示物描画部25により構成されており、現在位置検出部2、交通情報送受信部3、地図情報取得部5、経路計算部6、誘導案内部7、音声認識部10から必要な情報を取得し、取得した情報を用いて、後述する表示部13に描写すべき描画情報(地図および音声認識結果に対応する表示物)を生成し、表示部13に対して当該描画情報(地図および表示物)を表示するよう指示出力する。
ここで、地図描画部21は、現在位置検出部2により検出された現在位置情報、交通情報送受信部3により受信された交通情報、経路計算部6により計算された経路情報、誘導案内部7により出力された案内情報、地図情報取得部5により取得された情報などを用いて、表示部13に通常のナビゲーション画面などの地図画面を表示させる。
なお、表示物生成部22、表示領域重要度計算部23、表示物表示態様決定部24、表示物描画部25については、後述する。
表示部13は、表示一体型のタッチパネルであり、例えばLCD(Liquid Crystal Display)とタッチセンサから構成されている。なお、タッチパネルには、感圧方式、電磁誘導方式、静電容量方式、あるいはこれらを組み合わせた方式などのうち、いずれを用いてもよい。また、LCDの代わりに有機ELディスプレイを用いてもよい。
また、表示部13は、複数の表示領域を有し、後述する表示物描画部25からの指示に基づいて、後述する表示物生成部22により生成された表示物が、複数の表示領域のうちのいずれかの領域に表示される。
音声制御部14は、誘導案内部7からの誘導用の音声情報を出力するようスピーカ15に出力指示する。
スピーカ15は、音声制御部14の指示に基づき音声を出力する。
走行状況取得部16は、各種センサ等により、自車両の走行速度、加速中か否か、右折または左折のウィンカーを出しているか否か等の車両の走行状況を取得する。
周辺環境状況取得部17は、各種センサ等により、現在時間、自車両の周囲の明るさ、天候、自車両の周囲の渋滞状況など、車両の周辺環境状況を取得する。
ここで、以降の説明で用いる、音声認識部10により出力される認識結果、認識結果に対応する表示物(以下、「表示物」と呼ぶ)、表示物が表示される表示領域(以下、「表示領域」と呼ぶ)、表示領域の重要度(以下、「重要度」と呼ぶ)について説明する。
まず、音声認識部10により出力される認識結果について説明する。
音声認識部10は、ユーザ発話を認識し、例えば「レストラン」「コンビニ」「ガソリンスタンド」のような、施設が属するジャンル名(以下、「施設ジャンル名」と呼ぶ)を認識結果として出力する。
なお、この実施の形態1では、認識結果として施設ジャンル名が出力されるものとして説明するが、それに限定するものではない。例えば、アーティスト名、アルバム名、曲タイトル名、カーナビゲーションシステムを操作するためのコマンドや、「寒い」などの感情を表す単語などを認識結果として出力するとしてもよい。
次に、表示物について説明する。表示物とは、例えば、音声認識部10により出力された認識結果の文字列と認識結果に対応する図形との組み合わせで表されるものであり、認識結果に対応する機能が割り当てられているもの、すなわち、例えば操作ボタンである。ユーザは当該操作ボタンを押下することで、その操作ボタンに割り当てられた機能を実行することができる。
例えば、音声認識部10により出力された認識結果が「レストラン」「コンビニ」「ガソリンスタンド」のような施設ジャンル名である場合、表示物は、その施設ジャンル名である「レストラン」や「コンビニ」や「ガソリンスタンド」という文字列と、それに対応するアイコン等の図形との組み合わせで表され、その施設を検索する機能が割り当てられた操作ボタンである。
なお、この実施の形態1では、表示物は上述したものであるものとして説明するが、これに限定するものではない。例えば、表示物は、図形か文字列のいずれか一方のみで表されてもよいし、認識結果に対応する動画や静止画などのコンテンツやキャラクタであってもよい。また、機能が割り当てられていないものであってもよい。
また、認識結果が例えば「寒い」などの感情を表す単語である場合には、その「寒い」という文字列などをそのまま表示物として表示するのではなく、「寒い」という感情の意図を解釈して、例えばエアコンのコントロールボタンなどを示す図形とその機能を割り当てた操作ボタンを表示物としてもよい。
次に、表示領域について説明する。表示領域は、表示物が表示される表示部13上の領域であり、例えば、図2に示すように複数の表示領域41,42,43,44があらかじめ定められている。なお、この実施の形態1では、表示部13の表示画面に表示される表示領域の数や位置は、図2に示すような4つであるものとして説明するが、これに限定するものではない。
次に重要度について説明する。重要度は、表示領域重要度計算部23により各表示領域ごとに計算されるものであり、例えば、表示領域に渋滞情報や案内情報等の表示物以外の情報であって、ユーザにとって必要な情報が表示されるほど、その表示領域の重要度は大きくなる。そして、重要度が大きい表示領域ほど、表示物が表示されにくくなる。
表示物生成部22は、音声認識部10により出力された認識結果に対応する表示物を生成する。
表示領域重要度計算部23は、現在位置検出部2により検出された現在位置情報、交通情報送受信部3により受信された交通情報、経路計算部6により計算された経路情報、誘導案内部7により出力された案内情報、地図情報取得部5により取得された情報などを用いて、表示領域ごとの重要度を計算する。
なお、この実施の形態1では、表示領域重要度計算部23は、常時、重要度を計算するものとして説明するが、所定の間隔で計算するとしてもよいし、所定の指示があった場合に計算するとしてもよい。
表示物表示態様決定部24は、表示領域重要度計算部23により計算された各表示領域の重要度に基づいて、表示物を表示すべき一または複数の表示領域を決定し、表示物描画部25に対して、決定した表示領域に表示物を表示するよう指示出力する。
なお、この実施の形態1では、重要度は0から100の値をとるものとするが、これに限られるものではない。
さらに、この実施の形態1においては、重要度の計算結果が上限を越える場合、重要度は100とする。
表示物描画部25は、表示物表示態様決定部24により決定された表示領域に、表示物生成部22により生成された表示物を表示するよう、表示部13に対して指示出力する。また、表示物描画部25は、当該表示領域への表示物の表示時間や、最大表示個数を管理しており、表示時間を経過した表示物を消去したり、当該表示領域における表示物の個数が最大表示個数を超える場合は、例えば、表示されている時間が最も長い表示物を削除する等、新たに生成された表示物を表示したりするよう表示部13に対して指示出力する。
次に、表示領域重要度計算部23による各表示領域の重要度の計算について説明する。
表示領域重要度計算部23は、後述する(1)から(12)の少なくとも1つ以上の項目を検討し、各項目において決定した重要度の合計を表示領域の重要度として算出する。これを、各表示領域において行う。なお、表示領域重要度計算部23により検討される項目はあらかじめ決められていてもよいし、ユーザが任意に選択できるようにしてもよい。
(1)「自車の進行方向上または進行予定方向上にある表示領域であるか否か」
まず初めに、表示領域重要度計算部23が、表示部13に表示された「自車31の進行方向または進行予定方向」と表示領域との位置関係に基づいて、重要度を計算する場合について説明する。
図3は、地図画面、自車31の進行方向または進行予定方向、および、複数の表示領域41,42,43,44の位置関係を示す図である。
表示部13に地図が北基準で表示されている場合、進行方向は「実際に進行している方角」を意味する。ここで、図3(a)に示すように、地図が北基準で自車31が西方向に進行している場合、自車の進行方向上にある表示領域は「表示領域41」となる。
また、表示部13に地図が自車基準で表示されている場合、進行方向は「表示画面の上方」を意味する。ここで、図3(b)に示すような場合、自車31の進行方向上にある表示領域は「表示領域42」となる。
また、自車31に対して右折(または左折)の指示がなされている場合は、「右折(または左折)後の実際の方角」または「右折(または左折)後の表示画面上の向き」をこれから進行していく方向、すなわち、「進行予定方向」とする。
ここで、図3(c)に示すような場合、自車31の進行予定方向上にある表示領域は「表示領域41」となる。
なお、ナビゲーション機能による経路案内を行っている最中であれば、その経路により車両の進行予定方向を把握することができるので、それに基づいて右折(または左折)地点までの距離があらかじめ定めた所定の距離(例えば、100メートルなど)以内になったら「右折(または左折)後の表示画面上の向き」を進行予定方向としてもよい。
表示領域重要度計算部23は、現在位置検出部2から自車の現在の進行方向または進行予定方向を取得し、当該進行方向上または進行予定方向上にある表示領域を特定する。
なお、表示領域重要度計算部23には、あらかじめ、各表示領域の表示部13における位置および範囲に関する情報が記憶されているものとしてもよいし、他の構成要素に記憶されており、そこから取得するとしてもよい。
ここで、図4(a)の表に、自車の進行方向上または進行予定方向上の表示領域の重要度の一例を示す。この図4(a)を参照して、表示領域重要度計算部23は、自車の進行方向上または進行予定方向上にあると特定した表示領域の重要度を決定する。
例えば図3(a)に示すように、地図が北基準で表示されており、自車31の進行方向が西向きである場合、図4(a)の表を参照して、表示領域41の重要度を「20」と決定する。
次に、表示領域重要度計算部23が、表示領域における地図上の交通情報の表示状況に基づいて、重要度を計算する場合について説明する。
表示領域重要度計算部23は、当該交通情報を交通情報送受信部3から取得し、自車の進行方向または進行予定方向の道路上に交通情報が表示されていると判断した場合、表示されている交通情報を考慮して重要度を決定してもよい。交通情報は、例えば、渋滞していること、工事中であること、事故が起きていることなどの交通情報や、その他の交通情報を表すものである。
図4(b)は、自車の進行方向または進行予定方向の道路上の情報と表示領域の重要度との対応の一例を示す表である。
例えば、図3(d)に示すように、自車31の進行方向の道路上に渋滞情報の表示32がなされている場合、表示領域重要度計算部23は、図4(b)の表を参照して、表示領域41の重要度を「25」と決定する。
なお、図4(b)の表では、渋滞情報、工事情報、事故情報の3項目の重要度を同じにしているが、これに限られるものではない。また、この3項目以外の項目を有していてもよい。
(2)「表示領域に表示されている施設アイコンの有無とその個数」
この項目では、表示領域重要度計算部23が、表示領域における地図上のアイコンの表示状況に基づいて、重要度を計算する場合について説明する。
図5は、表示部13に地図画面が表示されている状態において、駐車場などの施設アイコン33が表示領域41〜44に表示されている画面例を示す図である。
表示領域重要度計算部23は、例えば、地図描画部21により生成される地図情報を取得し、それぞれの表示領域に対応する範囲について、施設アイコン33に関する情報の有無やその個数を判定する。
そして、表示領域重要度計算部23は、表示領域に施設アイコン33が存在する場合、その表示領域の重要度を、例えば「10」と決定する。
また、図6は、表示領域における施設アイコン33の個数と表示領域の重要度との対応を示す表である。
この図6に示すように、施設アイコン33の個数の増加に伴って重要度を変化させるようにしてもよい。
例えば、施設アイコン数に応じて表示領域の重要度を決定する場合は、表示領域44については、その領域内に施設アイコン33が1つあるので、図6を参照して、重要度を「10」と決定する。同様にして、表示領域42については施設アイコン33が2つあるので重要度を「20」、表示領域41については施設アイコン33が3つあるので重要度を「30」と決定する。
(3)「表示領域に表示されているユーザにより設定された地点の有無とその個数」
この項目では、表示領域重要度計算部23が、表示領域に表示されているユーザにより設定された地点の有無やその個数に基づいて、重要度を計算する場合について説明する。
表示領域重要度計算部23は、例えば、地図描画部21により生成される地図情報を取得し、表示領域に対応する範囲について、ユーザにより設定された目的地、経由地、登録地など(以下、「設定地点アイコン」と呼ぶ)の有無やその個数を判定する。
例えば、表示領域に設定地点アイコンが存在する場合、表示領域重要度計算部23は、重要度を例えば「10」と決定する。また、前述の(2)と同様に、設定地点アイコンの個数の増加に伴って、重要度を増加させるようにしてもよい。
(4)「走行中の道路種別」
この項目では、表示領域重要度計算部23が、自車31が走行中の道路種別に基づいて、重要度を計算する場合について説明する。ここで、道路種別としては、例えば「高速道路」「一般道」「トンネル」などがある。
表示領域重要度計算部23は、例えば、現在位置検出部2により検出された自車位置情報を取得し、当該自車位置情報を用いて、地図情報格納部4から地図情報取得部5が取得した、自車が走行中の道路の道路種別を取得する。
図7は、道路種別ごとの表示領域の重要度の一例を示す表である。
表示領域重要度計算部23は、図7の表を参照して、取得した道路種別に対応する重要度を各表示領域の重要度として決定する。
なお、図7においては、ユーザにとって一般道を走行中の方が他の道路走行中よりも、表示されている地図情報の重要度は高いとして、表示領域の重要度を大きく設定しているが、これに限られるものではない。
(5)「走行中の地域」
この項目では、表示領域重要度計算部23が、自車31が走行中の地域種別に基づいて、重要度を計算する場合について説明する。ここで、地域種別としては、例えば「市街地」「市外」「山中」「海上」などがある。
表示領域重要度計算部23は、現在位置検出部2により検出された自車位置情報を取得し、当該自車位置情報を用いて、地図情報格納部4から地図情報取得部5が取得した、自車が走行中の地域の地域種別を取得する。
図8は、各地域種別に対する重要度の一例を示す表である。
表示領域重要度計算部23は、図8の表を参照して、取得した地域種別に対応する重要度を各表示領域の重要度として決定する。
なお、図8においては、市街地走行中は、地図上に表示される情報が多いため、「市街地」に対応する重要度を大きくし、市街地より地図上に表示される情報が少ない「市外」では、対応する重要度を市街地より小さくし、さらに地図上に表示される情報が少ない山中や海上(例えば、橋上を走行中や、海岸線を走行中で表示領域が海上)では、最も重要度を小さくしているが、これに限られるものではない。
(6)「地図の表示スケール」
この項目では、表示領域重要度計算部23が、表示部13に表示されている地図の表示スケールに基づいて、重要度を計算する場合について説明する。ここで、表示スケールとしては、基準となる縮尺が相当する距離として、例えば、「25m」「50m」「100m」・・・「500m」「1km」「3km」「5km」などが設定されている。
表示領域重要度計算部23は、例えば、ユーザによる各種設定を記憶した設定記憶部(図示しない)などから現在の地図の表示スケールを取得する。
図9は、各表示スケールに対する重要度の一例を示す表である。
表示領域重要度計算部23は、図9の表を参照して、取得した表示スケールに対応する重要度を各表示領域の重要度として決定する。
なお、図9においては、表示スケールが小さい(地図が拡大されている)程、表示されている地図情報の重要度が高くなるとして、表示スケールの減少に伴って重要度を大きくしているが、これに限られるものではない。
(7)「表示領域における案内情報/警告情報表示の有無」
この項目では、表示領域重要度計算部23が、表示領域における案内情報/警告情報の表示状況に基づいて、重要度を計算する場合について説明する。
図10は、表示部13に地図画面が表示されている状態において、案内情報34や警告情報35が表示領域に表示されている画面例を示す図である。
表示領域重要度計算部23は、例えば、地図描画部21により生成される地図情報、交通情報送受信部3により受信された情報、誘導案内部7により生成される情報を取得し、表示領域に対応する範囲について、図10(a)に示すような交差点案内表示や図10(b)に示すような警告表示などの案内情報34または警告情報35が出力されているか判定する。
図11は、案内情報/警告情報と重要度との対応の一例を示す表である。
表示領域重要度計算部23は、表示領域に案内情報34または警告情報35が出力されている場合、図11の表を参照して、案内情報34または警告情報35に対応する重要度を決定する。
案内情報/警告情報と表示領域の重要度は図11の内容に限られるものではなく、項目数が増えたものでもよいし、項目ごとの重要度が異なるものであってもよい。
(8)「自車の走行状況」
この項目では、表示領域重要度計算部23が、自車31の走行状況に基づいて、重要度を計算する場合について説明する。
図12は、車両の走行状況と表示領域の重要度との対応の一例を示す表である。
例えば、自車の走行速度があらかじめ定めた所定速度以上である、加速中である、右折または左折のウィンカーを出している等の場合には、ユーザが車両の運転に集中しなければいけない走行状況であると判断し、表示領域の重要度を大きくし、その他の場合には重要度を小さくするように、車両の走行状況に基づいて重要度を決定する。
図12に示す例では、自車の走行速度があらかじめ定めた所定速度(例えば、60km/h)以上である場合には重要度を20、自車が加速中である場合には重要度を25、自車が右折または左折のウィンカーを出している場合には重要度を25としているが、例えば自車の走行速度が60km/h以上80km/h未満である場合には重要度を20、走行速度が80km/h以上である場合には重要度を30とする等、車両の走行状況に応じて重要度を段階的に変更してもよい。
(9)「自車の周辺環境状況」
この項目では、表示領域重要度計算部23が、自車31の周辺環境状況に基づいて、重要度を計算する場合について説明する。
図13は、車両の周辺環境状況と表示領域の重要度との対応の一例を示す表である。
例えば、自車が走行中の現在時間が夜間(19:00〜6:00の間)である、周辺の照度(明るさ)があらかじめ定めた所定の閾値以下である、天候が雨または雪である、自車の周辺が渋滞している等の場合には、ユーザにとって周囲が見にくいとか車両の運転に集中しなければいけない周辺環境状況であると判断し、表示領域の重要度を大きくし、その他の場合には重要度を小さくするように、車両の周辺環境状況に基づいて重要度を決定する。
図13に示す例では、自車が走行中の現在時間が19:00〜6:00の夜間の時間帯である場合には重要度を10、自車の周辺の照度(明るさ)があらかじめ定めた所定の閾値以下である場合には重要度を10、自車の周辺の天候が雨または雪である場合には重要度を20、自車の周辺が渋滞中である場合には重要度を25としているが、例えば自車の周辺の天候が雨または雪である場合には重要度を20、天候が曇りである場合には重要度を10とする等、車両の周辺環境状況に応じて重要度を段階的に変更してもよい。
(10)「表示物の内容と表示画面の関連性」
この項目では、表示領域重要度計算部23が、表示領域に表示される表示物の内容と表示部13に表示されている表示画面との関連性に基づいて、重要度を計算する場合について説明する。
ここでは、例えば、アーティスト名、アルバム名、曲タイトル名など、音声認識の対象が曲に関連した語彙であるものとして説明する。この場合、それらの語彙が音声認識されると、その認識結果に対応する表示物の内容もまた、曲に関連した語彙であり、アーティスト名の表示物、アルバム名の表示物、曲名の表示物などが表示される。
この時、表示部13に表示されている表示画面が、AV画面(曲の再生画面)である場合には、ユーザは音楽を聴いている状態であり、曲の再生に関連する表示物が表示されても、邪魔になることはないと考えられるため、表示領域の重要度は小さくてもよい。
一方、表示部13に表示されている表示画面が、通常の地図画面である場合には、ユーザは道案内に関する地図情報を見たい状態であり、音声認識結果に対応する表示物として曲の再生に関連する操作ボタンが表示されると、運転の邪魔になると考えられるため、表示領域の重要度を大きくする必要がある。
図14は、表示物の内容と表示されている表示画面との組合せに対する、表示領域の重要度の一例を示す表である。
このように、表示物の内容と、表示部13に実際に表示されている表示画面との関連性に応じて、表示物がその時のユーザにとって重要な情報であれば、表示物が表示されやすくするために重要度を小さくしており、表示物がその時のユーザにとって重要でない状態であると考えられる場合には、表示物が表示されにくくするために重要度を大きくしている。
(11)「表示領域に表示されている他の表示物の有無とその個数」
この項目では、表示領域重要度計算部23が、表示領域に表示されている他の表示物の有無やその個数に基づいて、重要度を計算する場合について説明する。ここで、他の表示物とは、例えば、図15に示すようなオーディオ操作画面や電話画面など他の画面に遷移するためのボタン36であって、この発明が搭載される装置に固有のボタンである。
表示領域重要度計算部23は、認識結果に対応する表示物以外の表示物(以下、「他の表示物」と呼ぶ)に関する情報を取得し、表示領域に対応する範囲について、他の表示物の有無やその個数を判定する。
この場合、他の表示物は、ユーザがナビゲーション装置(この発明における音声認識装置が搭載される装置)を操作する上で必要なものであるため、表示領域重要度計算部23は、表示領域に他の表示物が有ると判定した場合には、重要度を例えば「30」と決定する。また、前述の(2)と同様に、他の表示物の個数の増加に伴って、重要度が増加するようにしてもよい。
(12)「表示画面の表示モード」
この項目では、表示領域重要度計算部23が、表示部13に表示されている表示画面の表示モードに基づいて、重要度を計算する場合について説明する。 ここで、画面表示モードとしては、「1画面表示」「2画面表示」「3D表示」「昼間時表示」「夜間時表示」などがある。
表示領域重要度計算部23は、例えば、ユーザによる各種設定を記憶した設定記憶部(図示しない)などから現在の画面表示モードを取得する。
図16は、表示モードと表示領域の重要度との対応の一例を示す表である。
表示領域重要度計算部23は、図16の表を参照して、取得した表示画面モードに対応する重要度を、各表示領域の重要度として決定する。
ここで、図5のような状況において、地図が自車基準で表示されており、自車が走行中の地域は「市街地」であり、表示領域重要度計算部23における検討項目が(1)(2)(5)の3つである場合を例に、具体的に説明する。
まず、表示領域44ついては、自車31の進行方向上の表示領域でないため、表示領域重要度計算部23による(1)の検討結果の重要度は「0」となり、アイコンが1つ表示されているため、(2)の検討結果の重要度は「10」となる。そして、走行中の地域が「市街地」であるため、(5)の検討結果の重要度は「15」となる。
その結果、表示領域44の重要度=0+10+15=25と計算される。同様にして、表示領域43における重要度=0+0+15=15、表示領域42における重要度=20+20+15=55、表示領域41における重要度=0+30+15=45と計算される。
次に、表示物表示態様決定部24が、表示領域重要度計算部23により算出された各表示領域の重要度に基づいて、表示物生成部22により生成された表示物を表示すべき表示領域を決定する方法について説明する。
ここで、この実施の形態1においては、システムまたはユーザによって、あらかじめ一の表示領域が指定されているものとする。以下、「システム等によってあらかじめ指定された表示領域」と呼ぶ。
表示物表示態様決定部24には、あらかじめ所定の閾値(表示領域決定用閾値。以下、「第1の閾値」と呼ぶ)が設定されており、システム等によってあらかじめ指定された表示領域の重要度が当該第1の閾値以下(または、第1の閾値より小さい値)である場合、あらかじめ指定された表示領域を、表示物を表示すべき表示領域に決定する。
一方、システム等によってあらかじめ指定された表示領域の重要度があらかじめ定められた第1の閾値より大きい値(または、第1の閾値以上)である場合、当該第1の閾値以下の(または、第1の閾値より小さい)重要度である他の表示領域であって、かつ、最も重要度が小さい表示領域を、表示物を表示すべき表示領域に決定する。
なお、他の複数の表示領域の重要度が同値である場合は、その中からランダムに決定した表示領域を表示物を表示すべき表示領域に決定してもよいし、あらかじめ、同値となった場合の優先順位を定めておき、当該優先順位に従って優先順位の一番高い表示領域を表示物を表示すべき表示領域に決定するとしてもよい。また、表示物の種類に対応した優先順位を定めておいてもよい。
なお、各表示領域におけるあらかじめ定められた所定の閾値は同一であってもよいし、異なっていてもよい。
次に図17〜図19に示すフローチャートを用いて、実施の形態1によるナビゲーション装置の処理を説明する。
図17は、この実施の形態1における、表示物を表示すべき表示領域の決定の処理を示すフローチャートである。
まず、表示領域重要度計算部23は、あらかじめ決定されている、または、ユーザにより選択された大項目(前述の項目(1)〜(10)の1つ以上)について、表示領域重要度を計算するために必要な情報を取得し(ステップST01)、取得した情報に基づいて、各表示領域の重要度を計算する(ステップST02)。
次に、表示物表示態様決定部24は、システム等によってあらかじめ指定されている表示領域の重要度があらかじめ定められた第1の閾値以下か否か判定する(ステップST03)。
そして、第1の閾値以下である場合(ステップST03の「YES」の場合)は、当該指定されている表示領域を、表示物を表示すべき表示領域に決定し(ステップST04)、決定した表示領域を表示物描画部25に対して指示出力する(ステップST06)。
一方、第1の閾値より大きい場合(ステップST03の「NO」の場合)は、第1の閾値以下の重要度である他の表示領域であって、かつ、最も表示領域重要度が小さい表示領域を、表示物を表示すべき表示領域に決定し(ステップST05)、決定した表示領域を表示物描画部25に対して指示出力する(ステップST06)。
図18は、この実施の形態1における、表示物の生成と表示の処理を示すフローチャートである。
まず、音声取得部9は、マイク8により集音されたユーザ発話、すなわち、入力された音声を取込み、例えばPCMによりA/D変換する(ステップST11)。
次に、音声認識部10は、音声取得部9により取込まれてデジタル化された音声信号から、ユーザが発話した内容に該当する音声区間を検出し、該音声区間の音声データの特徴量を抽出し、その特徴量に基づいて音声認識辞書を参照して認識処理を行う(ステップST12)。
そして、表示物生成部22は、音声認識部10によって出力された認識結果に対応する表示物を生成する(ステップST13)。
その後、表示物描画部25は、表示物生成部22により生成された表示物を、表示物表示態様決定部24によって決定され指示されている表示領域に表示するよう表示部13に対して指示出力する(ステップST14)。
図19は、この実施の形態1における、表示部13に既に表示されている表示物の表示領域の変更の処理を示すフローチャートである。
表示物描画部25は、表示物表示態様決定部24によって決定され指示されている表示領域を確認し(ステップST21)、指示されている表示領域へ表示物を表示するよう表示部13に対して指示出力する(ステップST22)。
ここで、図20および図21を参照しながら、具体的な例を挙げて説明する。
図20および図21は、表示部13に地図画面が表示されている状態において、施設アイコン33と表示領域に表示される表示物との関係による画面遷移例を示す図である。
なお、表示領域の重要度を算出するための項目として、前述した大項目(2)が選択されているものとする。そして、施設アイコン33の個数と重要度との関係は図6に示すものとする。また、システム等によってあらかじめ指定されている表示領域を表示領域41とする。さらに、表示物表示態様決定部24に設定されている第1の閾値は「25」とする。
まず、大項目(2)が判定項目であるため、図17のステップST01において重要度を計算するために必要な情報とは、各表示領域41〜44の範囲情報、地図情報(施設アイコン情報を含む)であり、表示領域重要度計算部23は、それらの情報を取得する(図17のステップST01)。
図20(a)の場合、表示領域41〜44のいずれにも施設アイコン33が存在しないため、表示領域重要度計算部23は、すべての表示領域の重要度を「0」と計算する(図17のステップST02)。
次に、あらかじめ指定されている表示領域41の重要度があらかじめ定められた第1の閾値(25)以下であるため、表示物表示態様決定部24は、表示領域41を表示物を表示すべき表示領域に決定し、表示物描画部25に対して指示出力する(図17のステップST03の「YES」の場合、ステップST04、ステップST06)。
この状況において、ユーザが「近くにレストランないかな」と発話したとすると、まず初めに、音声取得部9が、この「近くにレストランないかな」という音声を取込み、例えばPCMによりA/D変換する(図18のステップST11)。次に、音声認識部10が、取込まれた音声の認識処理を行い、認識結果として「レストラン」を出力する(ステップST12)。
そして、表示物生成部22が、認識結果「レストラン」に対応する表示物としてレストランの操作ボタンを生成し(ステップST13)、表示物描画部25が、表示物表示態様決定部24により決定され指示されている表示領域41に、その生成された操作ボタンを表示するよう、表示部13に対して指示出力する(ステップST14)。
その結果、図20(b)に示すように、表示領域41に操作ボタン45が表示される。
続いて、自車31が前進し、図20(c)に示すように、表示領域41に施設アイコン33が1つ存在する状況となった場合、表示物の表示領域である表示領域41に施設アイコン33が1つ存在するため、表示領域重要度計算部23は、表示領域41の重要度を「10」と計算する(図17のステップST01、ステップST02)。
この場合、表示領域41の重要度があらかじめ定められた第1の閾値(25)以下であるため、表示物表示態様決定部24は、表示領域41を、表示物を表示すべき表示領域に決定し、表示物描画部25に対して指示出力する(図17のステップST03の「YES」の場合、ステップST04、ステップST06)。
そして、表示物描画部25は、表示物表示態様決定部24により指示されている表示領域が表示領域41であることを確認し、表示部13に対して表示領域41に表示物を表示するよう指示出力する(図19のステップST21、ステップST22)。
さらに、自車31が前進し、図20(d)に示すように、表示領域41に施設アイコン33が3つ存在し、表示領域42に施設アイコン33が2つ存在し、表示領域43に施設アイコン33が存在せず、表示領域44に施設アイコン33が1つ存在する状況となった場合、表示領域重要度計算部23は、表示領域41,42,43,44の各重要度を、「30」「20」「0」「10」と計算する(図17のステップST01、ステップST02)。
この場合、表示物表示態様決定部24は、表示領域41の重要度があらかじめ定められた第1の閾値(25)より大きいため、重要度が第1の閾値以下であって、かつ、最も重要度が小さい表示領域43を、表示物を表示すべき表示領域に決定し、表示物描画部25に対して指示出力する(図17のステップST03の「NO」の場合、ステップST05、ステップST06)。
このとき、表示物表示態様決定部24から出力される指示出力が、表示領域41から表示領域43に変わるので、表示物描画部25は、操作ボタン45を表示領域43に表示するよう表示部13に対して指示出力する(図19のステップST21、ステップST22)。
その結果、図20(d)に示すように、表示領域43に操作ボタン45が表示される。
図21(a)は、図20(d)と同じ表示画面である。
この状況において、ユーザが「やっぱりコンビニにしようかな」と発話したとすると、図18のステップST11とステップST12の処理が行われ、音声認識部10が、認識結果として「コンビニ」を出力する。
次に、表示物生成部22が、認識結果「コンビニ」に対応する操作ボタンを生成し(ステップST13)、表示物描画部25が、表示物表示態様決定部24により指示されている表示領域43に、その生成された操作ボタンを表示するよう、表示部13に対して指示出力する(ステップST14)。
その結果、図21(b)に示すように、表示領域43に表示されている操作ボタン45に加えて操作ボタン46が表示される。
その後、自車31が前進し、図21(c)に示すように、いずれの表示領域41〜44にも施設アイコン33が存在しない状況となった場合、表示領域重要度計算部23は、表示領域41,42,43,44の各重要度を「0」「0」「0」「0」と計算し、あらかじめ指定されていた表示領域41を、表示物を表示すべき表示領域に決定し、表示物描画部25に対して指示出力する。
このとき、表示物表示態様決定部24から出力される指示出力が、表示領域43から表示領域41に変わるので、表示物描画部25は、操作ボタン45と操作ボタン46を表示領域41に表示するよう表示部13に対して指示出力する(図19のステップST21、ステップST22)。
その結果、図21(d)に示すように、表示領域41に操作ボタン45と操作ボタン46が表示される。
このようにして、表示領域の重要度に応じて表示物の表示領域を変更するようにしたため、表示物の表示により、ユーザにとって重要な他の情報の取得を阻害することがなくなり、利便性が向上する。
なお、システム等によってあらかじめ表示領域が指定されていない場合には、重要度が第1の閾値以下の表示領域であって、かつ、重要度が最も小さい表示領域に表示物を表示するとしてもよい。
この場合、表示物を表示すべき表示領域の決定の処理を示すフローチャートは図22のようになる。
図22は、この実施の形態1において、あらかじめ表示領域が指定されていない場合に表示物を表示すべき表示領域の決定の処理を示すフローチャートである。
ステップST31とステップST32の処理については、図17のステップST01とステップST02と同一であるので説明を省略する。
表示物表示態様決定部24は、表示領域重要度計算部23により算出された各表示領域の重要度に基づいて、表示領域重要度が第1の閾値以下であり、かつ、最も表示領域重要度が小さい表示領域を、表示物を表示すべき表示領域に決定する(ステップST33)。そして、表示物描画部25に対して、決定した表示領域を指示出力する(ステップST34)。
ここで、図23を参照しながら、具体的な例を挙げて説明する。図23は、図22のフローチャートにより処理された場合に、表示部13に地図画面が表示されている状態において、施設アイコン33と表示領域に表示される表示物との関係による画面遷移例を示す図である。
なお、重要度を決定するための項目、重要度の決定のために必要な情報、各表示領域におけるあらかじめ定められた第1の閾値は、図20および図21の説明において使用したものと同様とする。すなわち、表示領域の重要度を算出するための項目として、前述した大項目(2)が選択されているものとし、施設アイコン33の個数と重要度との関係は図6に示すものとする。また、表示物表示態様決定部24に設定されている各表示領域の重要度に関する第1の閾値は「25」とする。
まず、表示領域重要度計算部23は、重要度の決定のために必要な情報を取得する(図22のステップST31)。
次に、表示領域重要度計算部23は、図23(a)における各表示領域の重要度を計算する(ステップST32)。図23(a)においては、表示領域41に施設アイコン33が1つ存在し、表示領域42にも施設アイコン33が1つ存在し、表示領域43には施設アイコン33が存在せず、表示領域44には施設アイコン33が2つ存在している。
その結果、表示領域41,42,43,44の各重要度は「10」「10」「0」「20」と計算される。そして、表示物表示態様決定部24は、重要度が最も小さい表示領域43を、表示物を表示すべき表示領域に決定し(ステップST33)、表示物描画部25に対して指示出力する(ステップST34)。
そして、この状況において、ユーザが「近くにレストランないかな」と発話したとすると、図23(b)に示すように「レストラン」に対応する操作ボタン45が表示領域43に表示される。
続いて、自車31が前進し、図23(c)に示すように、表示領域41には施設アイコン33が2つ存在し、表示領域42には施設アイコン33が1つ存在し、表示領域43には施設アイコンが2つ存在し、表示領域44には施設アイコン33が存在しない状況となった場合、表示領域41,42,43,44の各重要度は「20」「10」「20」「00」と計算される。
その結果、図23(d)に示すように、表示領域43に既に表示されていた操作ボタン45は表示領域44に表示される。
なお、既に表示されている操作ボタン45の表示領域を変更する場合に、図23(c)から図23(d)に遷移したように、操作ボタン45を表示領域43から表示領域44にすぐに移動させて表示するようにしてもよいし、既に表示されている操作ボタン45はそのままとし、次にまた別の操作ボタンが表示される場合に、変更後の表示領域44に表示されるようにしてもよい。
また、すべての表示領域の重要度があらかじめ定められた第1の閾値より大きい(または、第1の閾値以上である)場合は、生成された表示物を表示しないとしてもよい。この場合、表示物表示態様決定部24は、表示物を表示すべき表示領域がないことを決定して、表示物描画部25に対してその旨を指示出力し、表示物描画部25は、当該指示がある場合は、表示部13に対して、表示物を表示しないよう指示出力すればよい。
このようにすることで、表示物の表示により、ユーザにとって重要な他の情報の取得を阻害することがなくなり、利便性が向上する。
また、すべての表示領域の重要度があらかじめ定められた第1の閾値より大きい(または、第1の閾値以上となった)場合は、既に表示されている表示物を消去する、または、表示物が表示されている表示領域の重要度が第1の閾値より小さくなるまで消去するようしてもよい。この場合、表示物表示態様決定部24は、表示されている表示物を消去する、または、表示物が表示されている表示領域の重要度が第1の閾値より小さくなるまで消去することを決定して、表示物描画部25に対して表示領域の表示物を消去すべき指示出力をし、表示物描画部25は、当該指示がある場合は、表示部13に対して、表示物を消去するよう指示出力をするようにすればよい。
さらに、少なくとも1つの表示領域の重要度があらかじめ定められた第1の閾値以下に(または、第1の閾値より小さく)なった場合は、消去された表示物を当該表示領域に再表示するとしてもよい。
なお、表示物が表示されている表示領域の重要度が第1の閾値以下に(または、第1の閾値より小さく)なるまで消去しておく場合など、ここで言う「消去」には、表示されている表示物を完全に消去するのではなく、他の重要な情報が表示(上書き表示)されたことにより一時的に消去されたように見えるだけで、画面上には存在している場合も含むものとする。
このようにすることで、表示物の表示により、ユーザにとって重要な他の情報の取得を阻害することがなくなり、利便性が向上する。
また、表示物を表示すべき表示領域の決定または変更後、あらかじめ定められた所定時間が経過するまでは、当該表示領域の変更を行わない(表示部13に対して指示出力しない)ようにしてもよい。この場合、表示物描画部25は、図19のフローチャートにおいて、表示物表示態様決定部24により指示されている表示領域が前回確認時と異なっている場合は、前回確認時から所定時間が経過しているか否かを判定し、所定時間が経過していなければ、表示部13に対して何も指示出力せず、所定時間が経過していれば、表示部13に対して変更後の表示領域に表示物を表示する指示出力をするとすればよい。
このようにすることで、表示物の表示位置が頻繁に変わることによる、ユーザの混乱を軽減することができる。
以上のように、この実施の形態1によれば、音声認識結果に対応する表示物を表示する表示領域の重要度に応じて、表示物を表示する位置を変更することができるため、表示物の表示により、ユーザにとって重要な他の情報の取得を阻害することがなくなり、ユーザの利便性を向上させることができる。
なお、制御部1、交通情報送受信部3、経路計算部6、誘導案内部7、音声取得部9、音声認識部10、表示制御部12および音声制御部14は、音声認識装置が適用されるナビゲーション装置のマイクロコンピュータが、この発明に特有な処理に関するプログラムを実行することにより、ハードウェアとソフトウェアとが協働した具体的な手段として実現される。以下の実施の形態においても、同様である。
実施の形態2.
この発明の実施の形態2による音声認識装置を適用したナビゲーション装置の一例を示すブロック図は、実施の形態1において示した図1と同じであるため、図示および説明を省略する。以下に示す実施の形態2では、実施の形態1と比べると、表示物表示態様決定部24が、表示領域の重要度に応じて表示物の表示形態を決定し、表示物描画部25に対して指示出力する点が異なる。
すなわち、この実施の形態2における表示物表示態様決定部24は、表示物を表示すべき表示領域だけではなく、表示物の表示形態を決定する。なお、この実施の形態2では、表示物表示態様決定部24が、実施の形態1と同様に表示領域を決定するとともに、表示物の表示形態を決定するものとして説明するが、表示領域は固定とし、表示物表示態様決定部24は表示形態のみを決定するものとしてもよい。
ここで、表示物の表示形態とは、表示物の透過度、表示物の大きさ、表示物の表示領域における表示時間、表示物の表示領域における最大表示個数、表示物の情報量など、表示物を表示領域に表示させた際のユーザによる見た目の違いを表すものである。
図24は、表示領域の重要度と表示物の透過度との関係の一例を示す図である。
図24(a)では、表示領域の重要度が大きいほど、その表示領域に表示される表示物の透過度が大きくなっている。すなわち、重要度と透過度は正の相関を有している。
なお、図24(b)に示すように、表示物の透過度が表示領域の重要度に応じて段階的に増加するようにしてもよい。
また、図24(c)に示すように、表示領域の重要度があらかじめ定められた所定の閾値(表示形態決定用閾値。以下、「第2の閾値」と呼ぶ)(例えば、40)以下(または、第2の閾値より小さい値)の場合には、表示物の透過度を一定にし、第2の閾値より大きい値(または、第2の閾値以上)の場合には、重要度に応じて表示物の透過度を増加させるようにしてもよい。
図25は、表示領域の重要度と表示物の表示時間との関係の一例を示す図である。
図25(a)では、表示領域の重要度が大きいほど、その表示領域に表示される表示物の表示時間が短くなっている。すなわち、重要度と表示時間は負の相関を有している。
なお、図25(b)に示すように、表示物の表示時間が表示領域の重要度に応じて段階的に減少するようにしてもよい。
表示物の大きさ、表示物の最大表示個数についても、表示物の表示時間と同様に、重要度と負の相関を有するものとする。すなわち、表示領域の重要度が大きいほど、その表示領域に表示される表示物の大きさを小さく、または、段階的に減少するようにしたり、表示領域の重要度が大きいほど、その表示領域に表示される表示物の最大表示個数を少なく、または、段階的に減少するようにすればよい。
図26は、表示物の情報量の変化の一例を示す図である。表示物表示態様決定部24は、表示領域の重要度があらかじめ定められた第2の閾値より大きい値(または、第2の閾値以上)となった場合に、例えば、図26(a)のようにアイコンと文字列とから成る表示物を、図26(b)のようにアイコンのみから成る表示物に変更するよう指示出力する。
そして、表示物描画部25は、表示物の表示形態を表示物表示態様決定部24により決定され指示されている表示形態(透過度、大きさ、表示時間、最大表示個数、情報量など)に変更し、表示部13に対して表示物表示態様決定部24により指示されている表示領域に表示するよう指示出力する。
また、表示物の表示形態として表示時間(例えば、2秒など)が指示されているときに、表示部13に表示物が表示されている時間が、表示物表示態様決定部24により指示されている表示時間より大きく(または、指示されている表示時間以上に)なった場合は、表示物描画部25は、当該表示物を消去するよう表示部13に対して指示出力をする。
また、表示物の表示形態として最大表示個数(例えば、4個など)が指示されているときに、表示部13に表示されている表示物の個数が、表示物表示態様決定部24により指示されている最大表示個数より大きく(または、指示されている最大表示個数以上に)なった場合は、表示物描画部25は、表示されている時間が最も長い表示物を削除して、新たに生成された表示物を表示するよう表示部13に対して指示出力をする。
次に図27〜図29に示すフローチャートを用いて、実施の形態2によるナビゲーション装置の処理を説明する。なお、ここでは、表示領域の重要度に応じて表示物の透過度を変化させる場合を例に説明する。
図27は、この実施の形態2における、表示物を表示すべき表示領域の決定と透過度の決定の処理を示すフローチャートである。
ステップST41〜ステップST45の処理については、図17のステップST01〜ステップST05と同様であるので、説明を省略する。
表示物表示態様決定部24は、例えば図24(a)に示す重要度と透過度との関係に従って、決定した表示領域の重要度に対応する透過度を計算する(ステップST46)。そして、決定した表示領域と当該表示領域における透過度を、表示物描画部25に対して指示出力する(ステップST47)。
図28は、この実施の形態2における、表示物の生成と表示の処理を示すフローチャートである。
ステップST51〜ステップST53の処理については、図18のステップST11〜ステップST13と同様であるので、説明を省略する。
表示物描画部25は、表示物生成部22により生成された表示物の透過度を、表示物表示態様決定部24により決定され指示出力されている透過度に変更する(ステップST54)。そして、当該変更した透過度の表示物を、表示物表示態様決定部24により指示出力されている表示領域に表示するよう、表示部13に対して指示出力する(ステップST55)。
図29は、この実施の形態2における、表示部13に既に表示されている表示物の表示領域の変更と透過度の変更の処理を示すフローチャートである。
表示物描画部25は、表示物表示態様決定部24によって決定され指示されている表示領域と透過度を確認する(ステップST61)。
そして、表示物描画部25は、既に表示されている表示物の透過度を、指示されている透過度に変更(ステップST62)した後、指示されている表示領域へ変更した透過度の表示物を表示するよう表示部13に対して指示出力する(ステップST63)。
なお、表示物の表示形態の変更後、あらかじめ定められた所定時間が経過するまでは、当該表示形態の変更を行わない(表示部13に対して指示出力しない)ようにしてもよい。
このようにすることで、表示物の表示形態が頻繁に変わることによる、ユーザの混乱を軽減することができる。
以上のように、この実施の形態2によれば、ユーザにとって重要である情報が音声認識結果に対応する表示物によって隠されることになる場合であっても、その表示物を表示する表示領域の重要度に応じて、表示物の表示形態を変更することができるため、表示物の表示により、ユーザにとって重要な他の情報の取得を阻害することが少なくなり、ユーザの利便性を向上させることができる。
実施の形態3.
以上の実施の形態1,2では、この発明における音声認識装置を、車両等の移動体に搭載されるナビゲーション装置に適用した場合を例に説明したが、適用するのは車両用のナビゲーション装置に限らず、人、車両、鉄道、船舶または航空機等を含む移動体用のナビゲーション装置であってもよいし、音声認識システムのサーバやナビゲーションシステムのサーバに適用してもよい。また、スマートフォン、タブレットPC、携帯電話等の携帯情報端末等にインストールされる音声認識システムのアプリケーションやナビゲーションシステムのアプリケーション等、どのような形態のものにも適用することができる。
図30は、この発明の実施の形態3におけるナビゲーションシステムの概要を示す図である。このナビゲーションシステムは、車載装置100が、スマートフォンなどの携帯情報端末101およびサーバ102の少なくとも一方と連携して音声認識処理およびナビゲーション処理を行ったり、スマートフォンなどの携帯情報端末101およびサーバ102の少なくとも一方が音声認識処理およびナビゲーション処理を行い、車載装置100に認識結果や地図情報を表示させる等、様々な形態をとることができる。以下、当該ナビゲーションシステムの構成態様について説明する。
実施の形態1,2では、この発明の音声認識装置の機能を、図30に示す車載装置100がすべて備えるものとして説明したが、この実施の形態3におけるナビゲーションシステムでは、サーバ102が音声認識処理を行い、その認識結果に対応する表示物を車載装置100に表示させることによりユーザに提供する場合、および、携帯情報端末101がサーバ102と連携して音声認識処理を行い、その認識結果に対応する表示物を車載装置100に表示させることによりユーザに提供する場合について説明する。
まず、サーバ102が音声認識処理を行い、その認識結果に対応する表示物を車載装置100に表示させる場合、すなわち、音声認識機能を有するサーバ102と連携して、車載装置100が表示装置として機能する場合について説明する。
この構成においては、車載装置100がサーバ102と直接通信するか、または、車載装置100が携帯情報端末101を経由してサーバ102と通信する場合が考えられる。サーバ102は、上記実施の形態1,2で説明した音声認識部や表示制御部を備えた音声認識装置として機能する。また、車載装置100は、サーバ102による認識結果に対応する表示物をユーザに提供するための表示部13を少なくとも備える表示装置として機能する。
この場合、車載装置100は基本的に通信機能および表示機能のみを有し、サーバ102による音声認識結果に対応する表示物(表示領域や表示形態の情報を含む)を受信してユーザに提供する。
すなわち、サーバ102が、マイク8や音声取得部9、指示入力部11、表示部13、スピーカ15以外を備える音声認識装置であり、この音声認識装置であるサーバ102が、ユーザにより発話された音声を認識して認識結果に対応する表示物を表示装置である車載装置100に表示させる。
このように構成しても、実施の形態1,2と同様の効果を得ることができる。
また、携帯情報端末101がサーバ102と連携して音声認識処理を行い、その認識結果に対応する表示物を車載装置100がユーザに提供する場合について説明する。
この構成においては、車載装置100が携帯情報端末101を経由してサーバ102と通信する場合が考えられ、携帯情報端末101のアプリケーションが、サーバ102と連携して音声認識処理を行う。また、車載装置100は、携帯情報端末101とサーバ102による認識結果に対応する表示物をユーザに提供するための表示部13を少なくとも備える表示装置として機能する。
この場合にも、車載装置100は基本的に通信機能および表示機能のみを有し、携帯情報端末101とサーバ102との連携による音声認識結果に対応する表示物(表示領域や表示形態の情報を含む)を受信してユーザに提供する。
すなわち、携帯情報端末101のアプリケーションにより、ユーザにより発話された音声を認識した認識結果に対応する表示物を表示装置である車載装置100に表示させる。
このように構成しても、実施の形態1,2と同様の効果を得ることができる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
この発明の音声認識装置は、車両等の移動体に搭載されるナビゲーション装置や、車載情報提供システムのサーバや、スマートフォン、タブレットPC、携帯電話等の携帯情報端末等にインストールされるナビゲーションシステムのアプリケーション等に適用することができる。
1 制御部、2 現在位置検出部、3 交通情報送受信部、4 地図情報格納部、5 地図情報取得部、6 経路計算部、7 誘導案内部、8 マイク、9 音声取得部、10 音声認識部、11 指示入力部、12 表示制御部、13 表示部(ディスプレイ)、14 音声制御部、15 スピーカ、16 走行状況取得部、17 周辺環境状況取得部、21 地図描画部、22 表示物生成部、23 表示領域重要度計算部、24 表示物表示態様決定部、25 表示物描画部、31 自車、32 渋滞情報の表示、33 施設アイコン、34 案内情報、35 警告情報、36 他の表示物(他の画面に遷移するためのボタン)、40 41,42,43,44 表示物40の表示領域、45,46 認識結果の表示物(操作ボタン)、100 車載装置、101 携帯情報端末、102 サーバ。

Claims (28)

  1. ユーザにより発話された音声を認識して認識結果に対応する機能が割り当てられた操作ボタンを表示する音声認識装置において、
    前記ユーザにより発話された音声を検知して取得する音声取得部と、
    前記音声取得部により取得された音声データを認識し、認識結果を出力する音声認識部と、
    前記音声認識部により出力された前記認識結果に対応する操作ボタンを生成する表示物生成部と、
    複数の表示領域を有する表示部と、
    前記表示部における複数の表示領域ごとの重要度を計算する表示領域重要度計算部と、
    前記表示領域重要度計算部により計算された重要度に基づいて、前記表示物生成部により生成された操作ボタンを表示すべき表示領域または前記操作ボタンの表示形態の少なくとも一方を決定する表示物表示態様決定部と、
    前記表示物表示態様決定部により決定された表示領域または表示形態に基づいて、前記操作ボタンを表示するよう前記表示部に対して指示出力する表示物描画部と
    を備え
    前記表示物表示態様決定部は、前記複数の表示領域の中からあらかじめ指定された表示領域の重要度があらかじめ定められた閾値以下である場合は、前記あらかじめ指定された表示領域を前記操作ボタンを示すべき表示領域に決定し、前記あらかじめ指定された表示領域の重要度が前記あらかじめ定められた閾値より大きい場合は、他の表示領域を前記操作ボタンを表示すべき表示領域に決定する
    ことを特徴とする音声認識装置。
  2. 前記表示物表示態様決定部は、前記表示領域重要度計算部により計算された重要度が最も小さい表示領域を、前記操作ボタンを表示すべき表示領域に決定する
    ことを特徴とする請求項1記載の音声認識装置。
  3. 前記表示物表示態様決定部は、前記他の表示領域が複数ある場合は、重要度があらかじめ定められた閾値以下であり、かつ、最も重要度が小さい表示領域を、前記操作ボタンを表示すべき表示領域に決定する
    ことを特徴とする請求項記載の音声認識装置。
  4. 前記表示物表示態様決定部は、前記他の表示領域が複数ある場合であって、当該他の表示領域の重要度が同値である場合は、ランダムに決定した表示領域、または、あらかじめ定められた優先順位に従って当該優先順位の一番高い表示領域を、前記操作ボタンを表示すべき表示領域に決定する
    ことを特徴とする請求項記載の音声認識装置。
  5. 前記表示物表示態様決定部は、前記複数の表示領域のうちのすべての表示領域の重要度があらかじめ定められた閾値より大きい場合は、前記操作ボタンを表示すべき表示領域がないことを決定し、
    前記表示物描画部は、前記表示物表示態様決定部による決定に基づいて、前記操作ボタンを表示しないよう前記表示部に対して指示出力する
    ことを特徴とする請求項1記載の音声認識装置。
  6. 前記表示物表示態様決定部は、前記複数の表示領域のうちのすべての表示領域の重要度があらかじめ定められた閾値より大きい場合は、前記表示領域に表示されている操作ボタンを消去する、または、前記表示領域に表示されている操作ボタンをその表示領域の重要度が前記あらかじめ定められた閾値以下になるまで消去することを決定し、
    前記表示物描画部は、前記表示物表示態様決定部による決定に基づいて、前記操作ボタンを消去するよう前記表示部に対して指示出力する
    ことを特徴とする請求項1記載の音声認識装置。
  7. 前記表示物描画部は、前記表示物表示態様決定部により決定された表示領域または表示形態の少なくとも一方に基づいて、前記操作ボタンを表示するよう前記表示部に指示出力した後、あらかじめ定められた時間が経過するまでは、前記表示部に対して指示出力しない
    ことを特徴とする請求項1記載の音声認識装置。
  8. 前記表示物表示態様決定部は、前記操作ボタンが表示される表示領域の重要度に応じて前記操作ボタンの大きさを決定する
    ことを特徴とする請求項1記載の音声認識装置。
  9. 前記表示物表示態様決定部は、前記操作ボタンが表示される表示領域の重要度に応じて当該表示領域における前記操作ボタンの最大表示個数を決定する
    ことを特徴とする請求項1記載の音声認識装置。
  10. 前記表示物表示態様決定部は、前記操作ボタンが表示される表示領域の重要度に応じて前記操作ボタンの透過度を決定する
    ことを特徴とする請求項1記載の音声認識装置。
  11. 前記表示物表示態様決定部は、前記操作ボタンが表示される表示領域の重要度に応じて前記操作ボタンの情報量を決定する
    ことを特徴とする請求項1記載の音声認識装置。
  12. 前記表示物表示態様決定部は、前記操作ボタンが表示される表示領域の重要度に応じて前記操作ボタンの前記表示領域における表示時間を決定する
    ことを特徴とする請求項1記載の音声認識装置。
  13. 前記表示物表示態様決定部は、前記操作ボタンが表示される表示領域の重要度があらかじめ定められた閾値より大きい場合は、当該重要度に応じて前記操作ボタンの表示形態を決定する
    ことを特徴とする請求項1記載の音声認識装置。
  14. 前記音声認識装置は、前記表示部に地図を表示して移動体の道案内を行うナビゲーション装置に適用されるものであり、
    前記表示領域重要度計算部は、前記表示部に表示された前記移動体の進行方向または進行予定方向と前記表示領域との位置関係に基づいて、前記重要度を計算する
    ことを特徴とする請求項1記載の音声認識装置。
  15. 前記音声認識装置は、前記表示部に地図を表示して移動体の道案内を行うナビゲーション装置に適用されるものであり、
    前記表示領域重要度計算部は、前記表示領域における前記地図上の交通情報の表示状況に基づいて、前記重要度を計算する
    ことを特徴とする請求項1記載の音声認識装置。
  16. 前記音声認識装置は、前記表示部に地図を表示して移動体の道案内を行うナビゲーション装置に適用されるものであり、
    前記表示領域重要度計算部は、前記表示領域における前記地図上のアイコンの表示状況に基づいて、前記重要度を計算する
    ことを特徴とする請求項1記載の音声認識装置。
  17. 前記音声認識装置は、前記表示部に地図を表示して移動体の道案内を行うナビゲーション装置に適用されるものであり、
    前記表示領域重要度計算部は、前記移動体が走行中の道路種別に基づいて、前記重要度を計算する
    ことを特徴とする請求項1記載の音声認識装置。
  18. 前記音声認識装置は、前記表示部に地図を表示して移動体の道案内を行うナビゲーション装置に適用されるものであり、
    前記表示領域重要度計算部は、前記移動体が走行中の地域種別に基づいて、前記重要度を計算する
    ことを特徴とする請求項1記載の音声認識装置。
  19. 前記音声認識装置は、前記表示部に地図を表示して移動体の道案内を行うナビゲーション装置に適用されるものであり、
    前記表示領域重要度計算部は、前記表示部に表示されている地図の表示スケールに基づいて、前記重要度を計算する
    ことを特徴とする請求項1記載の音声認識装置。
  20. 前記音声認識装置は、前記表示部に地図を表示して移動体の道案内を行うナビゲーション装置に適用されるものであり、
    前記表示領域重要度計算部は、前記表示領域における案内情報/警告情報の表示状況に基づいて、前記重要度を計算する
    ことを特徴とする請求項1記載の音声認識装置。
  21. 前記音声認識装置は、前記表示部に地図を表示して移動体の道案内を行うナビゲーション装置に適用されるものであり、
    前記表示領域重要度計算部は、前記移動体の走行状況または前記移動体の周辺環境状況に基づいて、前記重要度を計算する
    ことを特徴とする請求項1記載の音声認識装置。
  22. 前記表示領域重要度計算部は、前記表示領域に表示される操作ボタンの内容と前記表示部に表示されている表示画面との関連性に基づいて、前記重要度を計算する
    ことを特徴とする請求項1記載の音声認識装置。
  23. 前記表示領域重要度計算部は、前記表示領域に表示されている他の操作ボタンに基づいて、前記重要度を計算する
    ことを特徴とする請求項1記載の音声認識装置。
  24. 前記表示領域重要度計算部は、前記表示部に表示されている表示画面の表示モードに基づいて、前記重要度を計算する
    ことを特徴とする請求項1記載の音声認識装置。
  25. 前記音声認識部は、ユーザによる音声認識処理開始の指示がなくても常時、前記音声取得部により取得された音声データを認識して認識結果を出力する
    ことを特徴とする請求項1記載の音声認識装置。
  26. 前記操作ボタンは、ナビゲーション装置を操作する機能、エアコンを操作する機能、または曲の再生に関連する機能を実行するものであることを特徴とする請求項1記載の音声認識装置。
  27. ユーザにより発話された音声を認識して認識結果に対応する機能が割り当てられた操作ボタンを複数の表示領域を有する表示装置に表示させる音声認識装置であって、
    前記ユーザにより発話された音声を検知して取得する音声取得部と、
    前記音声取得部により取得された音声データを認識し、認識結果を出力する音声認識部と、
    前記音声認識部により出力された前記認識結果に対応する操作ボタンを生成する表示物生成部と、
    前記表示装置における複数の表示領域ごとの重要度を計算する表示領域重要度計算部と、
    前記表示領域重要度計算部により計算された重要度に基づいて、前記表示物生成部により生成された操作ボタンを表示すべき表示領域または前記操作ボタンの表示形態の少なくとも一方を決定する表示物表示態様決定部と、
    前記表示物表示態様決定部により決定された表示領域または表示形態に基づいて、前記操作ボタンを表示するよう前記表示装置に対して指示出力する表示物描画部と
    を備え
    前記表示物表示態様決定部は、前記複数の表示領域の中からあらかじめ指定された表示領域の重要度があらかじめ定められた閾値以下である場合は、前記あらかじめ指定された表示領域を前記操作ボタンを示すべき表示領域に決定し、前記あらかじめ指定された表示領域の重要度が前記あらかじめ定められた閾値より大きい場合は、他の表示領域を前記操作ボタンを表示すべき表示領域に決定する
    ことを特徴とする音声認識装置。
  28. 音声認識装置が、ユーザにより発話された音声を認識して認識結果に対応する機能が割り当てられた操作ボタンを複数の表示領域を有する表示装置に表示させる表示方法であって、
    音声取得部が、前記ユーザにより発話された音声を検知して取得するステップと、
    音声認識部が、前記音声取得部により取得された音声データを認識し、認識結果を出力するステップと、
    表示物生成部が、前記音声認識部により出力された前記認識結果に対応する操作ボタンを生成するステップと、
    表示領域重要度計算部が、前記表示装置における複数の表示領域ごとの重要度を計算するステップと、
    表示物表示態様決定部が、前記表示領域重要度計算部により計算された重要度に基づいて、前記表示物生成部により生成された操作ボタンを表示すべき表示領域または前記操作ボタンの表示形態の少なくとも一方を決定するステップと、
    表示物描画部が、前記表示物表示態様決定部により決定された表示領域または表示形態に基づいて、前記操作ボタンを表示するよう前記表示装置に対して指示出力するステップと
    を備え
    前記表示物表示態様決定部は、前記複数の表示領域の中からあらかじめ指定された表示領域の重要度があらかじめ定められた閾値以下である場合は、前記あらかじめ指定された表示領域を前記操作ボタンを示すべき表示領域に決定し、前記あらかじめ指定された表示領域の重要度が前記あらかじめ定められた閾値より大きい場合は、他の表示領域を前記操作ボタンを表示すべき表示領域に決定する
    ことを特徴とする表示方法。
JP2015515745A 2014-02-18 2014-02-18 音声認識装置および表示方法 Expired - Fee Related JP5893217B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/053768 WO2015125212A1 (ja) 2014-02-18 2014-02-18 音声認識装置および表示方法

Publications (2)

Publication Number Publication Date
JP5893217B2 true JP5893217B2 (ja) 2016-03-23
JPWO2015125212A1 JPWO2015125212A1 (ja) 2017-03-30

Family

ID=53877753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015515745A Expired - Fee Related JP5893217B2 (ja) 2014-02-18 2014-02-18 音声認識装置および表示方法

Country Status (5)

Country Link
US (1) US9864577B2 (ja)
JP (1) JP5893217B2 (ja)
CN (1) CN105008859B (ja)
DE (1) DE112014000297T5 (ja)
WO (1) WO2015125212A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105026890B (zh) * 2013-03-01 2016-11-02 三菱电机株式会社 车辆位置显示控制装置及车辆位置确定方法
KR101770187B1 (ko) * 2014-03-27 2017-09-06 한국전자통신연구원 음성 대화를 통한 네비게이션 제어 장치 및 방법
JP2017067528A (ja) * 2015-09-29 2017-04-06 アイシン・エィ・ダブリュ株式会社 情報提供システム、情報提供方法及びコンピュータプログラム
CN105912187A (zh) * 2015-12-30 2016-08-31 乐视致新电子科技(天津)有限公司 语音控制方法及其设备
US11176930B1 (en) * 2016-03-28 2021-11-16 Amazon Technologies, Inc. Storing audio commands for time-delayed execution
KR102480728B1 (ko) * 2017-11-10 2022-12-23 삼성전자주식회사 전자장치 및 그 제어방법
KR102446637B1 (ko) * 2017-12-28 2022-09-23 삼성전자주식회사 음향 출력 시스템 및 음성 처리 방법
US11120593B2 (en) 2019-05-24 2021-09-14 Rovi Guides, Inc. Systems and methods for dynamic visual adjustments for a map overlay
US11674818B2 (en) * 2019-06-20 2023-06-13 Rovi Guides, Inc. Systems and methods for dynamic transparency adjustments for a map overlay
CN110509931B (zh) * 2019-08-28 2021-02-19 广州小鹏汽车科技有限公司 语音问答的信息展示方法、装置和系统
US12061841B2 (en) * 2021-11-18 2024-08-13 International Business Machines Corporation Dynamic display accommodations for multiple voice commands
CN119851664B (zh) * 2024-12-26 2025-09-30 科大讯飞股份有限公司 一种语音识别方法、装置、存储介质及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09243381A (ja) * 1996-03-12 1997-09-19 Fujitsu Ten Ltd ナビゲーションシステムの表示装置
JPH113032A (ja) * 1997-06-11 1999-01-06 Toyota Motor Corp 地図上の情報表示方法
JP2006178898A (ja) * 2004-12-24 2006-07-06 Mitsubishi Electric Corp 地点検索装置
JP2013231660A (ja) * 2012-04-27 2013-11-14 Toyota Motor Corp 情報提示装置及び情報配信システム、並びに情報提示方法及び情報配信方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006145494A (ja) * 2004-11-24 2006-06-08 Matsushita Electric Ind Co Ltd 目的地設定支援装置
DE102005020151A1 (de) 2005-04-29 2006-11-02 Volkswagen Ag Verfahren zum Steuern einer Anzeigevorrichtung in einem Kraftfahrzeug und Anzeigevorrichtung
KR100819234B1 (ko) * 2006-05-25 2008-04-02 삼성전자주식회사 네비게이션 단말의 목적지 설정 방법 및 장치
JP2008004818A (ja) 2006-06-23 2008-01-10 Fujifilm Corp 固体撮像素子及びこれを備えたデジタルカメラ
JP4736982B2 (ja) 2006-07-06 2011-07-27 株式会社デンソー 作動制御装置、プログラム
US20090182562A1 (en) * 2008-01-14 2009-07-16 Garmin Ltd. Dynamic user interface for automated speech recognition
JP4670937B2 (ja) * 2008-11-04 2011-04-13 トヨタ自動車株式会社 ナビゲーション装置
JP4973722B2 (ja) * 2009-02-03 2012-07-11 株式会社デンソー 音声認識装置、音声認識方法、及びナビゲーション装置
US20110283226A1 (en) 2010-05-15 2011-11-17 International Business Machines Corporation Window display management in a graphical user interface
EP2761419A1 (en) * 2011-09-30 2014-08-06 Van Der Westhuizen, Willem Morkel Method for human-computer interaction on a graphical user interface (gui)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09243381A (ja) * 1996-03-12 1997-09-19 Fujitsu Ten Ltd ナビゲーションシステムの表示装置
JPH113032A (ja) * 1997-06-11 1999-01-06 Toyota Motor Corp 地図上の情報表示方法
JP2006178898A (ja) * 2004-12-24 2006-07-06 Mitsubishi Electric Corp 地点検索装置
JP2013231660A (ja) * 2012-04-27 2013-11-14 Toyota Motor Corp 情報提示装置及び情報配信システム、並びに情報提示方法及び情報配信方法

Also Published As

Publication number Publication date
US9864577B2 (en) 2018-01-09
JPWO2015125212A1 (ja) 2017-03-30
DE112014000297T5 (de) 2015-11-12
US20160011854A1 (en) 2016-01-14
CN105008859B (zh) 2017-12-05
CN105008859A (zh) 2015-10-28
WO2015125212A1 (ja) 2015-08-27

Similar Documents

Publication Publication Date Title
JP5893217B2 (ja) 音声認識装置および表示方法
JP5921722B2 (ja) 音声認識装置および表示方法
US10949886B2 (en) System and method for providing content to a user based on a predicted route identified from audio or images
JP5762660B2 (ja) 音声認識装置、認識結果表示装置および表示方法
US9644985B2 (en) Navigation device that evaluates points of interest based on user utterance
JP6214297B2 (ja) ナビゲーション装置および方法
JP2001027536A (ja) ナビゲーション装置
JP2020106997A (ja) 車載装置、通信システム
JP2004125572A (ja) ナビゲーション装置
JP4985505B2 (ja) 音出力装置及びプログラム
JP2007241122A (ja) 音声認識装置、音声認識方法、音声認識プログラム、および記録媒体
KR102559681B1 (ko) 에이브이엔 장치 및 이를 포함하는 차량, 에이브이엔 장치의 제어방법
JP2008145234A (ja) ナビゲーション装置及びプログラム
JP2008224444A (ja) ナビゲーション装置
JP2011227002A (ja) 車載用ナビゲーション装置
KR100759835B1 (ko) 네비게이션 시스템에서 터치스크린을 이용한 우회영역설정방법
JP2007003602A (ja) 音声認識装置及びこれを備えた車両用走行誘導装置
JP4641851B2 (ja) 走行地点案内装置および走行地点案内方法
JP2009210529A (ja) 地図表示装置
WO2007123104A1 (ja) 経路誘導装置、経路誘導方法、経路誘導プログラム、および記録媒体
WO2007116712A1 (ja) 音声認識装置、音声認識方法、音声認識プログラム、および記録媒体
JP2010257417A (ja) 表示制御装置、表示制御方法、表示制御プログラムおよび記録媒体
JP2007278721A (ja) 情報処理装置、情報処理方法、情報処理プログラムおよびコンピュータに読み取り可能な記録媒体
JP2006195909A (ja) 施設検索装置
JP2005077372A (ja) 音声認識装置、ナビゲーション装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150325

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160223

R150 Certificate of patent or registration of utility model

Ref document number: 5893217

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees