JPH07295784A - 音声による情報処理装置 - Google Patents
音声による情報処理装置Info
- Publication number
- JPH07295784A JPH07295784A JP6086168A JP8616894A JPH07295784A JP H07295784 A JPH07295784 A JP H07295784A JP 6086168 A JP6086168 A JP 6086168A JP 8616894 A JP8616894 A JP 8616894A JP H07295784 A JPH07295784 A JP H07295784A
- Authority
- JP
- Japan
- Prior art keywords
- information
- voice
- input
- candidate
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Document Processing Apparatus (AREA)
- Processing Or Creating Images (AREA)
- Digital Computer Display Output (AREA)
- Position Input By Displaying (AREA)
Abstract
(57)【要約】 （修正有）
【目的】 音声入力の誤認識エラーを簡便に処理するこ
とにより、ユーザにとって使い勝手のよい図形編集、画
像編集等のインタフェースを提供する。 【構成】 ポインティング領域読み込みプログラム１
４、タッチパネル５、及びパネル制御装置３により、ユ
ーザが、ディスプレイ４上に表示されている画面を参照
してポインティングジェスチャ或いはペン等を用いてポ
インティングしながら、音声を入力できるようにし、ま
ず、音声認識結果の確度第１位の候補によって決定され
る処理あるいは表示を行ない、第２位以下の複数の音声
認識結果の候補は画面上にメニュー表示し、確度第１位
の候補による処理或いは表示が誤りであった場合、或い
はユーザが誤入力した場合には、第２位以下の認識候補
が表示されたメニューより、指やペン等によって該候補
から正しい入力候補を選択し、それに伴う処理操作、あ
るいは表示を再度行なうエラー処理を行なう。
とにより、ユーザにとって使い勝手のよい図形編集、画
像編集等のインタフェースを提供する。 【構成】 ポインティング領域読み込みプログラム１
４、タッチパネル５、及びパネル制御装置３により、ユ
ーザが、ディスプレイ４上に表示されている画面を参照
してポインティングジェスチャ或いはペン等を用いてポ
インティングしながら、音声を入力できるようにし、ま
ず、音声認識結果の確度第１位の候補によって決定され
る処理あるいは表示を行ない、第２位以下の複数の音声
認識結果の候補は画面上にメニュー表示し、確度第１位
の候補による処理或いは表示が誤りであった場合、或い
はユーザが誤入力した場合には、第２位以下の認識候補
が表示されたメニューより、指やペン等によって該候補
から正しい入力候補を選択し、それに伴う処理操作、あ
るいは表示を再度行なうエラー処理を行なう。
Description
【０００１】
【産業上の利用分野】本発明は、パソコン、ワークステ
ーション、ワープロ等のＯＡ機器に搭載された音声を利
用した図形編集システムや、表示画面を有する音声応用
システム等のユーザインタフェースに関し、ユーザにと
って簡便なエラー処理手段を提供する。
ーション、ワープロ等のＯＡ機器に搭載された音声を利
用した図形編集システムや、表示画面を有する音声応用
システム等のユーザインタフェースに関し、ユーザにと
って簡便なエラー処理手段を提供する。
【０００２】
【従来の技術】従来、音声認識確度に応じて処理をする
システムの例に、JR品川駅にある、音声認識とタッチパ
ネルを利用した券売機がある。その券売機では入力され
た音声の認識結果の確度第一位の候補の認識確度が高い
場合には、処理を実行する。また、入力された音声の認
識結果の確度第一位の候補の認識確度が低い場合には、
確度第一位の候補だけでなく、その他の候補も提示して
ユーザに候補から正しい認識結果を選択させたり、再度
入力させたりしていた。
システムの例に、JR品川駅にある、音声認識とタッチパ
ネルを利用した券売機がある。その券売機では入力され
た音声の認識結果の確度第一位の候補の認識確度が高い
場合には、処理を実行する。また、入力された音声の認
識結果の確度第一位の候補の認識確度が低い場合には、
確度第一位の候補だけでなく、その他の候補も提示して
ユーザに候補から正しい認識結果を選択させたり、再度
入力させたりしていた。
【０００３】
【発明が解決しようとする課題】上記の従来技術は、ユ
ーザに対する確認処理や再度入力が入り、情報入力に時
間が掛かり過ぎるという問題があった。さらに認識確度
は低いがユーザの意図と合っている場合にもユーザへの
確認を求めることにより逆に煩わしいという問題があっ
た。本発明の目的はは、音声入力とその他の入浴方法
（例えばタッチパネルによる指示入力、キーボードを用
いた入力、マウスによる入力）を複数種類用いたときの
音声入力の誤認識エラーを、他の入力情報に影響を与え
ずに簡便に処理できる、図形編集、画像編集等のインタ
フェースを提供することにある。特に音声認識動作を伴
う図形編集、画像編集等に用いて好適なインターフェー
スを提供することにある。
ーザに対する確認処理や再度入力が入り、情報入力に時
間が掛かり過ぎるという問題があった。さらに認識確度
は低いがユーザの意図と合っている場合にもユーザへの
確認を求めることにより逆に煩わしいという問題があっ
た。本発明の目的はは、音声入力とその他の入浴方法
（例えばタッチパネルによる指示入力、キーボードを用
いた入力、マウスによる入力）を複数種類用いたときの
音声入力の誤認識エラーを、他の入力情報に影響を与え
ずに簡便に処理できる、図形編集、画像編集等のインタ
フェースを提供することにある。特に音声認識動作を伴
う図形編集、画像編集等に用いて好適なインターフェー
スを提供することにある。
【０００４】
【課題を解決するための手段】上記の問題を解決するた
めに、少なくとも、情報を表示する情報表示手段と、ユ
ーザがポインティングジェスチャ等により連続した位置
情報を入力する位置情報入力手段と、音声情報を入力す
る音声情報入力手段と、前記入力手段により入力された
位置情報及び音声情報を記憶する記憶手段と、音響標準
パタンもしくは単語情報もしくは文法情報のうちの少な
くとも１つの情報を記憶する標準パタン情報記憶手段
と、前記入力手段により入力された音声を前記標準パタ
ン情報記憶手段に記憶されている音響標準パタンもしく
は単語情報もしくは文法情報のうちの少なくとも１つの
情報を用いて尤度を算出する音声情報解析手段を有する
情報処理装置において、まず、音声認識結果の確度第１
位の候補によって決定される処理あるいは表示を行な
い、第２位以下の複数の音声認識結果の候補は画面上に
メニュー表示し、確度第１位の候補による処理或いは表
示が誤りであった場合、或いはユーザが誤入力した場合
には、表示されたメニューより、指やペン等によって第
２位以下の候補から正しい入力候補を選択し、それに伴
う処理操作、あるいは表示を再度行なうエラー処理手段
を備えた。
めに、少なくとも、情報を表示する情報表示手段と、ユ
ーザがポインティングジェスチャ等により連続した位置
情報を入力する位置情報入力手段と、音声情報を入力す
る音声情報入力手段と、前記入力手段により入力された
位置情報及び音声情報を記憶する記憶手段と、音響標準
パタンもしくは単語情報もしくは文法情報のうちの少な
くとも１つの情報を記憶する標準パタン情報記憶手段
と、前記入力手段により入力された音声を前記標準パタ
ン情報記憶手段に記憶されている音響標準パタンもしく
は単語情報もしくは文法情報のうちの少なくとも１つの
情報を用いて尤度を算出する音声情報解析手段を有する
情報処理装置において、まず、音声認識結果の確度第１
位の候補によって決定される処理あるいは表示を行な
い、第２位以下の複数の音声認識結果の候補は画面上に
メニュー表示し、確度第１位の候補による処理或いは表
示が誤りであった場合、或いはユーザが誤入力した場合
には、表示されたメニューより、指やペン等によって第
２位以下の候補から正しい入力候補を選択し、それに伴
う処理操作、あるいは表示を再度行なうエラー処理手段
を備えた。
【０００５】音声認識候補を選択する場合に、訂正にあ
たってポインティング情報などの音声による入力以外の
情報を再度入力する必要がないように、既に入力されて
いるポインティング情報などを記憶しておくエラー処理
手段を備えた。
たってポインティング情報などの音声による入力以外の
情報を再度入力する必要がないように、既に入力されて
いるポインティング情報などを記憶しておくエラー処理
手段を備えた。
【０００６】表示されたメニュー中に正しい候補が無か
った場合には、必要な情報のみ再度音声入力することに
よって訂正することを可能とするエラー処理手段を備え
た。
った場合には、必要な情報のみ再度音声入力することに
よって訂正することを可能とするエラー処理手段を備え
た。
【０００７】再度音声入力の場合は、音声認識結果第一
候補とメニューに表示した第二位以下の候補を認識対象
からはずす手段を備えた。
候補とメニューに表示した第二位以下の候補を認識対象
からはずす手段を備えた。
【０００８】確度第一位の候補によって決定される処理
或いは表示を実行すると共に、認識結果の内容そのもの
を画面に表示したり、該内容を音声にて出力する機能を
備えた。
或いは表示を実行すると共に、認識結果の内容そのもの
を画面に表示したり、該内容を音声にて出力する機能を
備えた。
【０００９】ユーザが“移動”、“複写”等のコマンド
を音声入力し、さらに指やペン等で対象物や移動位置等
を指示することによって編集操作を行なう画像編集シス
テム等において、情報が入力されると、音声認識第一候
補であるコマンドによる操作を行ない、音声認識第二候
補以下をメニュー表示し、音声認識第一候補による操作
が誤りであった場合やユーザが誤入力した場合には、既
に入力されているポインティング情報等音声以外の情報
を記憶することにより、メニュー表示されている音声認
識候補第二位以下の複数のコマンドを指やペン等で選択
することのみで、それに伴う処理操作、あるいは表示を
再度行なうエラー処理手段を備えた。
を音声入力し、さらに指やペン等で対象物や移動位置等
を指示することによって編集操作を行なう画像編集シス
テム等において、情報が入力されると、音声認識第一候
補であるコマンドによる操作を行ない、音声認識第二候
補以下をメニュー表示し、音声認識第一候補による操作
が誤りであった場合やユーザが誤入力した場合には、既
に入力されているポインティング情報等音声以外の情報
を記憶することにより、メニュー表示されている音声認
識候補第二位以下の複数のコマンドを指やペン等で選択
することのみで、それに伴う処理操作、あるいは表示を
再度行なうエラー処理手段を備えた。
【００１０】
【作用】ユーザが音声と他の入力手段により情報を入力
すると、前記装置は、音声認識結果の確度第１位の候補
によって決定される処理あるいは表示を行ない、第２位
以下の複数の音声認識結果の候補を画面上にメニュー表
示する。確度第１位の候補による処理或いは表示が誤り
であった場合、或いはユーザが誤入力した場合には、表
示されたメニューより、指やペン等によって第２位以下
の候補から正しい入力候補を選択し、それに伴う処理操
作、あるいは表示を再度行なうエラー処理を行なうとい
った様に動作し、エラー処理を簡便に行なうことが可能
になる。また、音声認識候補を選択する場合に、訂正に
あたってポインティング情報などの音声による入力以外
の情報を再度入力する必要がないように、既に入力され
ているポインティング情報などを記憶しておくエラー処
理手段を備えることにより、ユーザが音声入力とともに
音声以外の情報を入力していた場合に正確に入力された
情報を再度入力する必要がなく、誤っている情報のみ入
力することが可能になる。また、表示されたメニュー中
に正しい候補が無かった場合には、音声認識結果第一候
補とメニューに表示した第二位以下の候補を認識対象か
らはずし、必要な情報のみ再度音声入力することによっ
て誤認識を訂正するエラー処理を行ない、認識候補をし
ぼって認識確度を高めることが可能になる。また、ユー
ザが“移動”、“複写”等のコマンドを音声入力し、さ
らに指やペン等で対象物や移動位置等を指示することに
よって編集操作を行なう画像編集システム等において、
情報が入力されると、音声認識第一候補であるコマンド
による操作を行ない、音声認識第二候補以下をメニュー
表示し、音声認識第一候補による操作が誤りであった場
合やユーザが誤入力した場合には、既に入力されている
ポインティング情報等音声以外の情報を記憶することに
より、メニュー表示されている音声認識候補第二位以下
の複数のコマンドを指やペン等で選択することのみで、
それに伴う処理操作、あるいは表示を再度行なうエラー
処理を行ない、エラー処理の工数を軽減することが可能
になる。さらに、確度第一位の候補によって決定される
処理或いは表示を実行すると共に、認識結果の内容その
ものを画面に表示したり、該内容を音声にて出力する機
能を備えることにより、ユーザが認識結果を確認するこ
とが可能になる。
すると、前記装置は、音声認識結果の確度第１位の候補
によって決定される処理あるいは表示を行ない、第２位
以下の複数の音声認識結果の候補を画面上にメニュー表
示する。確度第１位の候補による処理或いは表示が誤り
であった場合、或いはユーザが誤入力した場合には、表
示されたメニューより、指やペン等によって第２位以下
の候補から正しい入力候補を選択し、それに伴う処理操
作、あるいは表示を再度行なうエラー処理を行なうとい
った様に動作し、エラー処理を簡便に行なうことが可能
になる。また、音声認識候補を選択する場合に、訂正に
あたってポインティング情報などの音声による入力以外
の情報を再度入力する必要がないように、既に入力され
ているポインティング情報などを記憶しておくエラー処
理手段を備えることにより、ユーザが音声入力とともに
音声以外の情報を入力していた場合に正確に入力された
情報を再度入力する必要がなく、誤っている情報のみ入
力することが可能になる。また、表示されたメニュー中
に正しい候補が無かった場合には、音声認識結果第一候
補とメニューに表示した第二位以下の候補を認識対象か
らはずし、必要な情報のみ再度音声入力することによっ
て誤認識を訂正するエラー処理を行ない、認識候補をし
ぼって認識確度を高めることが可能になる。また、ユー
ザが“移動”、“複写”等のコマンドを音声入力し、さ
らに指やペン等で対象物や移動位置等を指示することに
よって編集操作を行なう画像編集システム等において、
情報が入力されると、音声認識第一候補であるコマンド
による操作を行ない、音声認識第二候補以下をメニュー
表示し、音声認識第一候補による操作が誤りであった場
合やユーザが誤入力した場合には、既に入力されている
ポインティング情報等音声以外の情報を記憶することに
より、メニュー表示されている音声認識候補第二位以下
の複数のコマンドを指やペン等で選択することのみで、
それに伴う処理操作、あるいは表示を再度行なうエラー
処理を行ない、エラー処理の工数を軽減することが可能
になる。さらに、確度第一位の候補によって決定される
処理或いは表示を実行すると共に、認識結果の内容その
ものを画面に表示したり、該内容を音声にて出力する機
能を備えることにより、ユーザが認識結果を確認するこ
とが可能になる。
【００１１】
【実施例】以下、本発明の実施例を図を用いて説明す
る。ここでは、図形編集システムを想定して説明を行な
う。ただし、本発明は、該システムに限らず、ＣＡＤシ
ステム、画像処理システム、情報検索システム一般への
応用が可能である。
る。ここでは、図形編集システムを想定して説明を行な
う。ただし、本発明は、該システムに限らず、ＣＡＤシ
ステム、画像処理システム、情報検索システム一般への
応用が可能である。
【００１２】図１は、本発明の一実施例を示すブロック
図である。図１において、ディスク上のシステムプログ
ラム１１、図形編集プログラム１２、音声認識プログラ
ム１３、ポインティング領域読み込みプログラム１４、
情報統合プログラム１５、音声標準パタンデータ１６、
単語辞書１７は、システム立ち上げ時に、主記憶装置２
にロードされる。図２は、主記憶装置２にロードされた
図形編集プログラム１２を通じてディスプレイ４に表示
された図形編集画面の一例である。同図においては、円
２個、三角形２個、長方形３個が、図形編集プログラム
１２によって主記憶装置２に記憶された図形描画テーブ
ル（図３）に基づいてグラフィックモードで描かれてい
る。ユーザは、画面上の表示物のうちから対象物を１つ
指定し、編集作業を行なうこととする。まず、情報処理
装置１は、主記憶装置２上の音声認識プログラム１３を
起動し、さらにポインティング領域読み込みプログラム
１４を起動する。音声認識プログラム１３は、図４に示
すように、音声入力プログラム１３１、特徴抽出プログ
ラム１３２、標準パタンマッチングプログラム１３３、
辞書マッチングプログラム１３４より構成されている。
音声認識プログラム１３が起動されると、最初に、音声
入力プログラム１３１が起動される。ユーザは、タッチ
パネル５上で対象物、移動位置等を指示しながら同時に
マイク４を用いて音声で操作を指示する。その結果、該
図形編集システムは、ユーザの意図を理解し、図形編集
を行なう。本実施例では、図５の様に、ユーザが、マイ
ク４に向かって「この円をこちらにコピーして。」など
と発声しながら、同時にタッチパネル５上で、対象物で
ある円の近傍と複写位置を指示する場合について述べ
る。入力された音声は、音声入力プログラム１３１によ
って、Ａ／Ｄ変換装置７に取り込まれ、ディジタル信号
に変換された後、主記憶装置２に送られる。続いて、特
徴抽出プログラム１３２が起動され、該ディジタル信号
を、１０ｍｓのフレーム周期で、特徴ベクトルとして、
例えば、斉藤、中田「音声情報処理の基礎」（オーム
社、昭５６）記載のＬＰＣケプストラム係数の時系列に
変換される。このとき、主記憶装置２上のバッファメモ
リＰ及びＱをゼロリセットする。ポインティング領域読
み込みプログラム１４は、ユーザの指先或いはペン等
が、タッチパネル５に触れた時の接触座標をパネル制御
装置３を通じて取り込み、座標を取り込む毎にＰをイン
クリメントし、さらに主記憶装置２のポインティング領
域テーブル中に、取り込んだｘ座標を配列メモリＸ
［Ｐ］へ、ｙ座標を配列メモリＹ［Ｐ］へ、座標入力時
刻を配列メモリＴ［Ｐ］へ書き込む。該ポインティング
領域テーブルは、図６に示すように、座標番号２００、
ｘ座標２０１、ｙ座標２０２より構成されており、指が
パネルに触れた時の入力時刻、ｘ座標及びｙ座標データ
が、入力された順序で座標番号“１”から格納されてい
く。また指先或いはペン等が、タッチパネル５を離れて
から或る一定時間Ｔｏが経過すると書き込みを終了す
る。
図である。図１において、ディスク上のシステムプログ
ラム１１、図形編集プログラム１２、音声認識プログラ
ム１３、ポインティング領域読み込みプログラム１４、
情報統合プログラム１５、音声標準パタンデータ１６、
単語辞書１７は、システム立ち上げ時に、主記憶装置２
にロードされる。図２は、主記憶装置２にロードされた
図形編集プログラム１２を通じてディスプレイ４に表示
された図形編集画面の一例である。同図においては、円
２個、三角形２個、長方形３個が、図形編集プログラム
１２によって主記憶装置２に記憶された図形描画テーブ
ル（図３）に基づいてグラフィックモードで描かれてい
る。ユーザは、画面上の表示物のうちから対象物を１つ
指定し、編集作業を行なうこととする。まず、情報処理
装置１は、主記憶装置２上の音声認識プログラム１３を
起動し、さらにポインティング領域読み込みプログラム
１４を起動する。音声認識プログラム１３は、図４に示
すように、音声入力プログラム１３１、特徴抽出プログ
ラム１３２、標準パタンマッチングプログラム１３３、
辞書マッチングプログラム１３４より構成されている。
音声認識プログラム１３が起動されると、最初に、音声
入力プログラム１３１が起動される。ユーザは、タッチ
パネル５上で対象物、移動位置等を指示しながら同時に
マイク４を用いて音声で操作を指示する。その結果、該
図形編集システムは、ユーザの意図を理解し、図形編集
を行なう。本実施例では、図５の様に、ユーザが、マイ
ク４に向かって「この円をこちらにコピーして。」など
と発声しながら、同時にタッチパネル５上で、対象物で
ある円の近傍と複写位置を指示する場合について述べ
る。入力された音声は、音声入力プログラム１３１によ
って、Ａ／Ｄ変換装置７に取り込まれ、ディジタル信号
に変換された後、主記憶装置２に送られる。続いて、特
徴抽出プログラム１３２が起動され、該ディジタル信号
を、１０ｍｓのフレーム周期で、特徴ベクトルとして、
例えば、斉藤、中田「音声情報処理の基礎」（オーム
社、昭５６）記載のＬＰＣケプストラム係数の時系列に
変換される。このとき、主記憶装置２上のバッファメモ
リＰ及びＱをゼロリセットする。ポインティング領域読
み込みプログラム１４は、ユーザの指先或いはペン等
が、タッチパネル５に触れた時の接触座標をパネル制御
装置３を通じて取り込み、座標を取り込む毎にＰをイン
クリメントし、さらに主記憶装置２のポインティング領
域テーブル中に、取り込んだｘ座標を配列メモリＸ
［Ｐ］へ、ｙ座標を配列メモリＹ［Ｐ］へ、座標入力時
刻を配列メモリＴ［Ｐ］へ書き込む。該ポインティング
領域テーブルは、図６に示すように、座標番号２００、
ｘ座標２０１、ｙ座標２０２より構成されており、指が
パネルに触れた時の入力時刻、ｘ座標及びｙ座標データ
が、入力された順序で座標番号“１”から格納されてい
く。また指先或いはペン等が、タッチパネル５を離れて
から或る一定時間Ｔｏが経過すると書き込みを終了す
る。
【００１３】ユーザによるポインティングや発声が終了
すると、標準パタンマッチングプログラム１３３と辞書
マッチングプログラム１３４が起動される。辞書マッチ
ングプログラム１３４起動時に用いられる単語辞書１８
は、図７に示す様に、単語１９１と、単語内容１９２、
概念番号１９３よりなる。該概念番号は、意味が類似し
ている単語を分類した識別番号である。まず、先程求め
られた特徴ベクトルと音声標準パタンデータ１６とのマ
ッチングが、例えば、北原他「音声入力による情報検索
システムにおける口語文受理方法の検討」（日本音響学
会、3-5-7、平３）に記載の方法で行われ、その結果、入
力音声は文字列に変換される。例えば、“この えん
を こちら に いどう して。"となる。この時、各
形態素ごとに確度が算出され、候補の順位づけが行なわ
れる。さらに、前記文字列は、従来から行われている方
法、例えば、相沢他「計算機によるカナ漢字変換」(NHK
技術研究、25、5、昭４８)に記載されているような最長一
致法を用いて形態素解析され、さらに単語辞書とのマッ
チングが行われた結果、（この、指示詞、８０３）、
（円、名詞、５０１）、（を、格助詞、８０４）、（こ
ちら、名詞、９０１）、（に、格助詞、８０５）、（移
動して、動詞、３０１）の様な形態素情報が得られる。
動詞は、認識確度の高い順にコマンド番号Ｃｏｍ［ｉ］
（ｉ＝１〜ｎ）が与えられ、本例では、“移動”はＣｏ
ｍ［１］＝３０１となる。次に、情報統合プログラム１
５が起動され、例えば、北原他「複合形態入力方式（特
願平04−221234号）」に記載のように、５ＸＸ番の名詞
と９ＸＸ番の名詞の入力順序と複数のポインティングの
入力順序の時間的な対応づけを行なう。本例では、物体
名詞が先に入力されていることから、座標番号１が対象
物を示し、座標番号２が移動位置を指示している。次
に、主記憶装置２上に記憶した表示図形知識テーブルの
番号と名詞番号“の上３桁とがマッチングされ、候補図
形が抽出される。本実施例では、円描画テーブル中の番
号5011、5012が抽出される。次に、主記憶装置２上の座
標番号“１”（Ｘ１，Ｙ１）から最も近い中心座標を持
つ円を指示対象図形として図形の輪郭が点滅する。本例
の場合は、5011が候補図形として認識される。また、既
に記憶されている対象物情報や複写位置情報は、次に図
形編集領域にポインティングが入力されるまで記憶され
ている。次に、形態素情報である動詞の認識候補の確度
が、“移動”、“複写”、“交換”といった順で順位づ
けされた場合、コマンド番号が、Ｃｏｍ［１］＝３０
１、Ｃｏｍ［２］＝３０２という様に入力される。ま
ず、Ｃｏｍ［１］＝３０１により“移動”操作が行なわ
れ、選択された円は、指示された位置である主記憶装置
２上の座標番号“２”（Ｘ２，Ｙ２）に移動される。ま
たこの時、図８に示す様に、前記操作と同時に、操作コ
マンド名を表示し、さらに、画面上に確度第二位以下の
認識候補をメニュー表示する。本例の場合のように、ユ
ーザが“複写”を要求していた場合には、該メニューか
らユーザは自分の意図するコマンドである“複写”をタ
ッチパネル５上で選択する。メニューが選択されると、
メニューの各項目の座標領域とポインティング位置が照
合され、Ｃｏｍ［２］＝３０２が選択される。次に、先
に行なわれた“移動”操作はキャンセルされ、Ｃｏｍ
［２］＝３０２により“複写”操作が行なわれて、主記
憶装置２上の座標番号“２”（Ｘ２，Ｙ２）に対象物が
複写される。また、メニュー中にもコマンドの該当候補
がなかった場合には、再度、音声コマンドのみを発声す
ると、先に画面表示された認識確度第一位の候補とメニ
ュー表示された認識確度第二位以下の候補は、認識候補
から外され、再度発声されたコマンドは、表示された認
識候補以外のコマンド群から選択されることになる。
すると、標準パタンマッチングプログラム１３３と辞書
マッチングプログラム１３４が起動される。辞書マッチ
ングプログラム１３４起動時に用いられる単語辞書１８
は、図７に示す様に、単語１９１と、単語内容１９２、
概念番号１９３よりなる。該概念番号は、意味が類似し
ている単語を分類した識別番号である。まず、先程求め
られた特徴ベクトルと音声標準パタンデータ１６とのマ
ッチングが、例えば、北原他「音声入力による情報検索
システムにおける口語文受理方法の検討」（日本音響学
会、3-5-7、平３）に記載の方法で行われ、その結果、入
力音声は文字列に変換される。例えば、“この えん
を こちら に いどう して。"となる。この時、各
形態素ごとに確度が算出され、候補の順位づけが行なわ
れる。さらに、前記文字列は、従来から行われている方
法、例えば、相沢他「計算機によるカナ漢字変換」(NHK
技術研究、25、5、昭４８)に記載されているような最長一
致法を用いて形態素解析され、さらに単語辞書とのマッ
チングが行われた結果、（この、指示詞、８０３）、
（円、名詞、５０１）、（を、格助詞、８０４）、（こ
ちら、名詞、９０１）、（に、格助詞、８０５）、（移
動して、動詞、３０１）の様な形態素情報が得られる。
動詞は、認識確度の高い順にコマンド番号Ｃｏｍ［ｉ］
（ｉ＝１〜ｎ）が与えられ、本例では、“移動”はＣｏ
ｍ［１］＝３０１となる。次に、情報統合プログラム１
５が起動され、例えば、北原他「複合形態入力方式（特
願平04−221234号）」に記載のように、５ＸＸ番の名詞
と９ＸＸ番の名詞の入力順序と複数のポインティングの
入力順序の時間的な対応づけを行なう。本例では、物体
名詞が先に入力されていることから、座標番号１が対象
物を示し、座標番号２が移動位置を指示している。次
に、主記憶装置２上に記憶した表示図形知識テーブルの
番号と名詞番号“の上３桁とがマッチングされ、候補図
形が抽出される。本実施例では、円描画テーブル中の番
号5011、5012が抽出される。次に、主記憶装置２上の座
標番号“１”（Ｘ１，Ｙ１）から最も近い中心座標を持
つ円を指示対象図形として図形の輪郭が点滅する。本例
の場合は、5011が候補図形として認識される。また、既
に記憶されている対象物情報や複写位置情報は、次に図
形編集領域にポインティングが入力されるまで記憶され
ている。次に、形態素情報である動詞の認識候補の確度
が、“移動”、“複写”、“交換”といった順で順位づ
けされた場合、コマンド番号が、Ｃｏｍ［１］＝３０
１、Ｃｏｍ［２］＝３０２という様に入力される。ま
ず、Ｃｏｍ［１］＝３０１により“移動”操作が行なわ
れ、選択された円は、指示された位置である主記憶装置
２上の座標番号“２”（Ｘ２，Ｙ２）に移動される。ま
たこの時、図８に示す様に、前記操作と同時に、操作コ
マンド名を表示し、さらに、画面上に確度第二位以下の
認識候補をメニュー表示する。本例の場合のように、ユ
ーザが“複写”を要求していた場合には、該メニューか
らユーザは自分の意図するコマンドである“複写”をタ
ッチパネル５上で選択する。メニューが選択されると、
メニューの各項目の座標領域とポインティング位置が照
合され、Ｃｏｍ［２］＝３０２が選択される。次に、先
に行なわれた“移動”操作はキャンセルされ、Ｃｏｍ
［２］＝３０２により“複写”操作が行なわれて、主記
憶装置２上の座標番号“２”（Ｘ２，Ｙ２）に対象物が
複写される。また、メニュー中にもコマンドの該当候補
がなかった場合には、再度、音声コマンドのみを発声す
ると、先に画面表示された認識確度第一位の候補とメニ
ュー表示された認識確度第二位以下の候補は、認識候補
から外され、再度発声されたコマンドは、表示された認
識候補以外のコマンド群から選択されることになる。
【００１４】
【発明の効果】ユーザが音声と他の入力手段により情報
を入力すると、前記装置は、音声認識結果の確度第１位
の候補によって決定される処理あるいは表示を行ない、
第２位以下の複数の音声認識結果の候補を画面上にメニ
ュー表示する。確度第１位の候補による処理或いは表示
が誤りであった場合、或いはユーザが誤入力した場合に
は、表示されたメニューより、指やペン等によって第２
位以下の候補から正しい入力候補を選択し、それに伴う
処理操作、あるいは表示を再度行なうエラー処理を行な
うといった様に動作し、エラー処理を簡便に行なうこと
が可能になった。また、音声認識候補を選択する場合
に、訂正にあたってポインティング情報などの音声によ
る入力以外の情報を再度入力する必要がないように、既
に入力されているポインティング情報などを記憶してお
くエラー処理手段を備えることにより、ユーザが音声入
力とともに音声以外の情報を入力していた場合に正確に
入力された情報を再度入力する必要がなく、誤っている
情報のみ入力することが可能になった。また、表示され
たメニュー中に正しい候補が無かった場合には、音声認
識結果第一候補とメニューに表示した第二位以下の候補
を認識対象からはずし、必要な情報のみ再度音声入力す
ることによって誤認識を訂正するエラー処理を行ない、
認識候補をしぼって認識確度を高めることが可能になっ
た。また、ユーザが“移動”、“複写”等のコマンドを
音声入力し、さらに指やペン等で対象物や移動位置等を
指示することによって編集操作を行なう画像編集システ
ム等において、情報が入力されると、音声認識第一候補
であるコマンドによる操作を行ない、音声認識第二候補
以下をメニュー表示し、音声認識第一候補による操作が
誤りであった場合やユーザが誤入力した場合には、既に
入力されているポインティング情報等音声以外の情報を
記憶することにより、メニュー表示されている音声認識
候補第二位以下の複数のコマンドを指やペン等で選択す
ることのみで、それに伴う処理操作、あるいは表示を再
度行なうエラー処理を行ない、エラー処理の工数を軽減
することが可能になった。さらに、確度第一位の候補に
よって決定される処理或いは表示を実行すると共に、認
識結果の内容そのものを画面に表示したり、該内容を音
声にて出力する機能を備えることにより、ユーザが認識
結果を確認することが可能になった。
を入力すると、前記装置は、音声認識結果の確度第１位
の候補によって決定される処理あるいは表示を行ない、
第２位以下の複数の音声認識結果の候補を画面上にメニ
ュー表示する。確度第１位の候補による処理或いは表示
が誤りであった場合、或いはユーザが誤入力した場合に
は、表示されたメニューより、指やペン等によって第２
位以下の候補から正しい入力候補を選択し、それに伴う
処理操作、あるいは表示を再度行なうエラー処理を行な
うといった様に動作し、エラー処理を簡便に行なうこと
が可能になった。また、音声認識候補を選択する場合
に、訂正にあたってポインティング情報などの音声によ
る入力以外の情報を再度入力する必要がないように、既
に入力されているポインティング情報などを記憶してお
くエラー処理手段を備えることにより、ユーザが音声入
力とともに音声以外の情報を入力していた場合に正確に
入力された情報を再度入力する必要がなく、誤っている
情報のみ入力することが可能になった。また、表示され
たメニュー中に正しい候補が無かった場合には、音声認
識結果第一候補とメニューに表示した第二位以下の候補
を認識対象からはずし、必要な情報のみ再度音声入力す
ることによって誤認識を訂正するエラー処理を行ない、
認識候補をしぼって認識確度を高めることが可能になっ
た。また、ユーザが“移動”、“複写”等のコマンドを
音声入力し、さらに指やペン等で対象物や移動位置等を
指示することによって編集操作を行なう画像編集システ
ム等において、情報が入力されると、音声認識第一候補
であるコマンドによる操作を行ない、音声認識第二候補
以下をメニュー表示し、音声認識第一候補による操作が
誤りであった場合やユーザが誤入力した場合には、既に
入力されているポインティング情報等音声以外の情報を
記憶することにより、メニュー表示されている音声認識
候補第二位以下の複数のコマンドを指やペン等で選択す
ることのみで、それに伴う処理操作、あるいは表示を再
度行なうエラー処理を行ない、エラー処理の工数を軽減
することが可能になった。さらに、確度第一位の候補に
よって決定される処理或いは表示を実行すると共に、認
識結果の内容そのものを画面に表示したり、該内容を音
声にて出力する機能を備えることにより、ユーザが認識
結果を確認することが可能になった。
【図１】本発明のシステム構成図の一例である。
【図２】ディスプレイ表示画面の一例である。
【図３】図形描画テーブルの一例である。
【図４】音声認識プログラムの構成の一例である。
【図５】ディスプレイ表示画面の一例である。
【図６】ポインティング領域テーブルのデータ構造の一
例である。
例である。
【図７】単語辞書１７のデータ構造の一例である。
【図８】ディスプレイ表示画面の一例である。
１…情報処理装置、２…主記憶装置、３…パネル制御装
置、４…ディスプレイ、５…タッチパネル、６…表示制
御装置、７…A/D変換装置、８…マイク、１１…システ
ムプログラム、１２…図形編集プログラム、１３…音響
認識プログラム、１４…ポインティング座標読み込みプ
ログラム、１５…情報統合プログラム、１６…音響標準
パタンデータ、１７…単語辞書。
置、４…ディスプレイ、５…タッチパネル、６…表示制
御装置、７…A/D変換装置、８…マイク、１１…システ
ムプログラム、１２…図形編集プログラム、１３…音響
認識プログラム、１４…ポインティング座標読み込みプ
ログラム、１５…情報統合プログラム、１６…音響標準
パタンデータ、１７…単語辞書。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 17/22 Ｇ０６Ｔ 1/00 Ｇ１０Ｌ 3/00 ５６１ Ｅ Ｃ Ｄ (72)発明者 松田 泰昌 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像メディア研究所内 (72)発明者 大條 成人 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像メディア研究所内 (72)発明者 長谷川 司 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所映像メディア研究所内
Claims (6)
- 【請求項１】少なくとも、情報を表示する情報表示手段
と、ユーザがポインティングジェスチャ等により連続し
た位置情報を入力する位置情報入力手段と、音声情報を
入力する音声情報入力手段と、前記入力手段により入力
された位置情報及び音声情報を記憶する記憶手段と、音
響標準パタンもしくは単語情報もしくは文法情報のうち
の少なくとも１つの情報を記憶する標準パタン情報記憶
手段と、前記入力手段により入力された音声を前記標準
パタン情報記憶手段に記憶されている音響標準パタンも
しくは単語情報もしくは文法情報のうちの少なくとも１
つの情報を用いて尤度を算出する音声情報解析手段を有
する情報処理装置において、まず、音声認識結果の確度
第１位の候補によって決定される処理あるいは表示を行
ない、第２位以下の複数の音声認識結果の候補は画面上
にメニュー表示し、確度第１位の候補による処理或いは
表示が誤りであった場合、或いはユーザが誤入力した場
合には、表示されたメニューより、指やペン等によって
第２位以下の候補から正しい入力候補を選択し、それに
伴う処理操作、あるいは表示を再度行なうエラー処理手
段を有することを特徴とする音声による情報処理装置。 - 【請求項２】請求項１記載の音声による情報処理装置に
おいて、音声認識候補を選択する場合に、訂正にあたっ
てポインティング情報などの音声による入力以外の情報
を再度入力する必要がないように、既に入力されている
ポインティング情報などを記憶しておくことを特徴とす
るエラー処理手段。 - 【請求項３】請求項１記載の音声による情報処理装置に
おいて、表示されたメニュー中に正しい候補が無かった
場合には、必要な情報のみ再度音声入力することによっ
て訂正することを可能とするエラー処理手段。 - 【請求項４】請求項１記載の音声による情報処理装置に
おいて、再度音声入力の場合は、音声認識結果第一候補
とメニューに表示した第二位以下の候補を認識対象から
はずすことを特徴とした音声による情報処理装置。 - 【請求項５】請求項１記載の音声による情報処理装置に
おいて、確度第一位の候補によって決定される処理或い
は表示を実行すると共に、認識結果の内容そのものを画
面に表示したり、該内容を音声にて出力する機能を持つ
ことを特徴とする音声による情報処理装置。 - 【請求項６】請求項１記載の音声による情報処理装置を
含み、ユーザが“移動”、“複写”等のコマンドを音声
入力し、さらに指やペン等で対象物や移動位置等を指示
することによって編集操作を行なう画像編集システム等
において、情報が入力されると、音声認識第一候補であ
るコマンドによる操作を行ない、音声認識第二候補以下
をメニュー表示し、音声認識第一候補による操作が誤り
であった場合やユーザが誤入力した場合には、既に入力
されているポインティング情報等音声以外の情報を記憶
することにより、メニュー表示されている音声認識候補
第二位以下の複数のコマンドを指やペン等で選択するこ
とのみで、それに伴う処理操作、あるいは表示を再度行
なうエラー処理手段を有することを特徴とする音声によ
る情報処理装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08616894A JP3267047B2 (ja) | 1994-04-25 | 1994-04-25 | 音声による情報処理装置 |
| EP95105941A EP0680035B1 (en) | 1994-04-25 | 1995-04-20 | Erroneous input processing method and apparatus in an information processing system using composite input |
| CN95104565A CN1115057A (zh) | 1994-04-25 | 1995-04-24 | 复合输入的信息处理装置中误输入的处理方法及装置 |
| US08/935,299 US5864808A (en) | 1994-04-25 | 1997-09-22 | Erroneous input processing method and apparatus in information processing system using composite input |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08616894A JP3267047B2 (ja) | 1994-04-25 | 1994-04-25 | 音声による情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07295784A true JPH07295784A (ja) | 1995-11-10 |
| JP3267047B2 JP3267047B2 (ja) | 2002-03-18 |
Family
ID=13879233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08616894A Expired - Fee Related JP3267047B2 (ja) | 1994-04-25 | 1994-04-25 | 音声による情報処理装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5864808A (ja) |
| EP (1) | EP0680035B1 (ja) |
| JP (1) | JP3267047B2 (ja) |
| CN (1) | CN1115057A (ja) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5999895A (en) * | 1995-07-24 | 1999-12-07 | Forest; Donald K. | Sound operated menu method and apparatus |
| US6005549A (en) * | 1995-07-24 | 1999-12-21 | Forest; Donald K. | User interface method and apparatus |
| JP2000200094A (ja) * | 1998-12-16 | 2000-07-18 | Internatl Business Mach Corp <Ibm> | ディスプレイ上にフィ―ドバックを表示する方法および装置 |
| US6160536A (en) * | 1995-03-27 | 2000-12-12 | Forest; Donald K. | Dwell time indication method and apparatus |
| JP2002073080A (ja) * | 2000-09-01 | 2002-03-12 | Fujitsu Ten Ltd | 音声対話システム |
| US6564185B1 (en) | 1998-09-08 | 2003-05-13 | Seiko Epson Corporation | Continuous speech recognition method and program medium with alternative choice selection to confirm individual words |
| US7895534B2 (en) | 2003-12-11 | 2011-02-22 | Canon Kabushiki Kaisha | Information processing apparatus, control method therefor, and program |
| US20130239015A1 (en) * | 1995-03-27 | 2013-09-12 | Donald K. Forest | User Interface Apparatus and Method |
| JP2015055773A (ja) * | 2013-09-12 | 2015-03-23 | 株式会社アドバンスト・メディア | 情報処理装置、情報処理方法及びプログラム |
| CN104978964A (zh) * | 2014-04-14 | 2015-10-14 | 美的集团股份有限公司 | 语音控制指令纠错方法和系统 |
| US9299053B2 (en) | 2003-12-17 | 2016-03-29 | West View Research, Llc | Portable computerized wireless apparatus |
| US9412367B2 (en) | 1999-06-10 | 2016-08-09 | West View Research, Llc | Computerized information and display apparatus |
| US10083003B2 (en) | 2014-10-17 | 2018-09-25 | Hyundai Motor Company | Audio video navigation (AVN) apparatus, vehicle, and control method of AVN apparatus |
| JP2020166729A (ja) * | 2019-03-29 | 2020-10-08 | 京セラドキュメントソリューションズ株式会社 | 表示制御装置、表示制御方法、及び表示制御プログラム |
| JP2020170051A (ja) * | 2019-04-01 | 2020-10-15 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| WO2022030036A1 (ja) * | 2020-08-05 | 2022-02-10 | 株式会社インタラクティブソリューションズ | 音声に基づいて画像を変更するためのシステム |
| JP2022031086A (ja) * | 2020-08-05 | 2022-02-18 | 株式会社インタラクティブソリューションズ | 音声に基づいて画像を変更するためのシステム |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19804047C2 (de) * | 1998-02-03 | 2000-03-16 | Deutsche Telekom Mobil | Verfahren und Einrichtung zur Erhöhung der Erkennungswahrscheinlichkeit von Spracherkennungssystemen |
| AT414325B (de) * | 1998-02-18 | 2007-07-15 | Teamaxess Ticketing Gmbh | Anordnung zum verkauf von berechtigungen |
| US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
| US6950534B2 (en) * | 1998-08-10 | 2005-09-27 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
| US20010008561A1 (en) * | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
| US6681031B2 (en) | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
| JP2000163196A (ja) * | 1998-09-25 | 2000-06-16 | Sanyo Electric Co Ltd | ジェスチャ認識装置及びジェスチャ認識機能を有する指示認識装置 |
| US6321198B1 (en) * | 1999-02-23 | 2001-11-20 | Unisys Corporation | Apparatus for design and simulation of dialogue |
| GB0029573D0 (en) * | 2000-12-02 | 2001-01-17 | Hewlett Packard Co | Activation of voice-controlled apparatus |
| GB0031596D0 (en) | 2000-12-22 | 2001-02-07 | Barbara Justin S | A system and method for improving accuracy of signal interpretation |
| US7533014B2 (en) | 2000-12-27 | 2009-05-12 | Intel Corporation | Method and system for concurrent use of two or more closely coupled communication recognition modalities |
| US6600475B2 (en) | 2001-01-22 | 2003-07-29 | Koninklijke Philips Electronics N.V. | Single camera system for gesture-based input and target indication |
| JP2003173237A (ja) * | 2001-09-28 | 2003-06-20 | Ricoh Co Ltd | 情報入出力システム、プログラム及び記憶媒体 |
| US6791529B2 (en) * | 2001-12-13 | 2004-09-14 | Koninklijke Philips Electronics N.V. | UI with graphics-assisted voice control system |
| US20030112277A1 (en) * | 2001-12-14 | 2003-06-19 | Koninklijke Philips Electronics N.V. | Input of data using a combination of data input systems |
| US6990639B2 (en) | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
| JP3896868B2 (ja) * | 2002-02-27 | 2007-03-22 | 日本電気株式会社 | パターンの特徴選択方法及び分類方法及び判定方法及びプログラム並びに装置 |
| US7684985B2 (en) * | 2002-12-10 | 2010-03-23 | Richard Dominach | Techniques for disambiguating speech input using multimodal interfaces |
| US7665041B2 (en) | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
| US8745541B2 (en) | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
| GB2402507A (en) * | 2003-06-03 | 2004-12-08 | Canon Kk | A user input interpreter and a method of interpreting user input |
| US20060004574A1 (en) * | 2004-06-30 | 2006-01-05 | Microsoft Corporation | Semantic based validation information in a language model to detect recognition errors and improve dialog performance |
| JPWO2006083020A1 (ja) * | 2005-02-04 | 2008-06-26 | 株式会社日立製作所 | 抽出された音声データを用いて応答音声を生成する音声認識システム |
| US10437459B2 (en) | 2007-01-07 | 2019-10-08 | Apple Inc. | Multitouch data fusion |
| DE102007024110A1 (de) * | 2007-05-22 | 2008-12-11 | Deutsche Telekom Ag | Verfahren zur Beeinflussung der Interpretation multimodaler Eingaben |
| DE102008051756A1 (de) | 2007-11-12 | 2009-05-14 | Volkswagen Ag | Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen |
| US20090210233A1 (en) * | 2008-02-15 | 2009-08-20 | Microsoft Corporation | Cognitive offloading: interface for storing and composing searches on and navigating unconstrained input patterns |
| CN102105929B (zh) * | 2008-07-30 | 2015-08-19 | 三菱电机株式会社 | 声音识别装置 |
| JP5598232B2 (ja) * | 2010-10-04 | 2014-10-01 | ソニー株式会社 | 情報処理装置、情報処理システムおよび情報処理方法 |
| US20120306741A1 (en) * | 2011-06-06 | 2012-12-06 | Gupta Kalyan M | System and Method for Enhancing Locative Response Abilities of Autonomous and Semi-Autonomous Agents |
| US8811938B2 (en) | 2011-12-16 | 2014-08-19 | Microsoft Corporation | Providing a user interface experience based on inferred vehicle state |
| CN102646016B (zh) * | 2012-02-13 | 2016-03-02 | 百纳（武汉）信息技术有限公司 | 显示手势语音交互统一界面的用户终端及其显示方法 |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US9318128B1 (en) * | 2013-01-08 | 2016-04-19 | Google Inc. | Methods and systems for determining instructions for applications that are recognizable by a voice interface |
| KR102053820B1 (ko) | 2013-07-02 | 2019-12-09 | 삼성전자주식회사 | 서버 및 그 제어방법과, 영상처리장치 및 그 제어방법 |
| CN104345880B (zh) * | 2013-08-08 | 2017-12-26 | 联想(北京)有限公司 | 一种信息处理的方法及电子设备 |
| US9858039B2 (en) * | 2014-01-28 | 2018-01-02 | Oracle International Corporation | Voice recognition of commands extracted from user interface screen devices |
| US10430156B2 (en) * | 2014-06-27 | 2019-10-01 | Nuance Communications, Inc. | System and method for allowing user intervention in a speech recognition process |
| CN105573534A (zh) * | 2014-10-09 | 2016-05-11 | 中兴通讯股份有限公司 | 操作对象的处理方法及装置 |
| CN106569771A (zh) * | 2015-10-09 | 2017-04-19 | 百度在线网络技术（北京）有限公司 | 对象控制方法及装置 |
| CN110603586B (zh) * | 2017-05-09 | 2020-09-22 | 苹果公司 | 用于校正识别错误的用户界面 |
| DK201770383A1 (en) | 2017-05-09 | 2018-12-14 | Apple Inc. | USER INTERFACE FOR CORRECTING RECOGNITION ERRORS |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| CN109739425B (zh) * | 2018-04-19 | 2020-02-18 | 北京字节跳动网络技术有限公司 | 一种虚拟键盘、语音输入方法、装置及电子设备 |
| CN108597511A (zh) * | 2018-04-28 | 2018-09-28 | 深圳市敢为特种设备物联网技术有限公司 | 基于物联网的信息展示方法、控制终端及可读存储介质 |
| JP6966979B2 (ja) * | 2018-06-26 | 2021-11-17 | 株式会社日立製作所 | 対話システムの制御方法、対話システム及びプログラム |
| JP7099126B2 (ja) * | 2018-07-25 | 2022-07-12 | セイコーエプソン株式会社 | 表示制御装置および表示制御プログラム |
| US11257491B2 (en) * | 2018-11-29 | 2022-02-22 | Adobe Inc. | Voice interaction for image editing |
| CN111415412B (zh) * | 2020-03-18 | 2023-08-04 | 北京山维科技股份有限公司 | 一种立体测图采编系统和方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4726065A (en) * | 1984-01-26 | 1988-02-16 | Horst Froessl | Image manipulation by speech signals |
| US4811243A (en) * | 1984-04-06 | 1989-03-07 | Racine Marsh V | Computer aided coordinate digitizing system |
| US4783803A (en) * | 1985-11-12 | 1988-11-08 | Dragon Systems, Inc. | Speech recognition apparatus and method |
| US5022081A (en) * | 1987-10-01 | 1991-06-04 | Sharp Kabushiki Kaisha | Information recognition system |
| US5027406A (en) * | 1988-12-06 | 1991-06-25 | Dragon Systems, Inc. | Method for interactive speech recognition and training |
| JP3088739B2 (ja) * | 1989-10-06 | 2000-09-18 | 株式会社リコー | 音声認識システム |
| US5329609A (en) * | 1990-07-31 | 1994-07-12 | Fujitsu Limited | Recognition apparatus with function of displaying plural recognition candidates |
| US5133011A (en) * | 1990-12-26 | 1992-07-21 | International Business Machines Corporation | Method and apparatus for linear vocal control of cursor position |
| US5386494A (en) * | 1991-12-06 | 1995-01-31 | Apple Computer, Inc. | Method and apparatus for controlling a speech recognition function using a cursor control device |
| KR950003390B1 (ko) * | 1992-05-30 | 1995-04-12 | 정호선 | 음식 인식 시스템 및 이를 이용한 음성분석 데이타 추출방법 |
| GB2267494B (en) * | 1992-06-02 | 1995-09-20 | Ciba Geigy Ag | Trisamidodithionodiphosphates |
| JPH0668140A (ja) * | 1992-08-20 | 1994-03-11 | Hitachi Ltd | 電子翻訳方式 |
-
1994
- 1994-04-25 JP JP08616894A patent/JP3267047B2/ja not_active Expired - Fee Related
-
1995
- 1995-04-20 EP EP95105941A patent/EP0680035B1/en not_active Expired - Lifetime
- 1995-04-24 CN CN95104565A patent/CN1115057A/zh active Pending
-
1997
- 1997-09-22 US US08/935,299 patent/US5864808A/en not_active Expired - Lifetime
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130239015A1 (en) * | 1995-03-27 | 2013-09-12 | Donald K. Forest | User Interface Apparatus and Method |
| US9535494B2 (en) * | 1995-03-27 | 2017-01-03 | Donald K. Forest | Apparatus and method for selecting from a display |
| US6160536A (en) * | 1995-03-27 | 2000-12-12 | Forest; Donald K. | Dwell time indication method and apparatus |
| US6005549A (en) * | 1995-07-24 | 1999-12-21 | Forest; Donald K. | User interface method and apparatus |
| US5999895A (en) * | 1995-07-24 | 1999-12-07 | Forest; Donald K. | Sound operated menu method and apparatus |
| US6564185B1 (en) | 1998-09-08 | 2003-05-13 | Seiko Epson Corporation | Continuous speech recognition method and program medium with alternative choice selection to confirm individual words |
| JP2000200094A (ja) * | 1998-12-16 | 2000-07-18 | Internatl Business Mach Corp <Ibm> | ディスプレイ上にフィ―ドバックを表示する方法および装置 |
| US9412367B2 (en) | 1999-06-10 | 2016-08-09 | West View Research, Llc | Computerized information and display apparatus |
| US9715368B2 (en) | 1999-06-10 | 2017-07-25 | West View Research, Llc | Computerized information and display apparatus with rapid convergence algorithm |
| US9710225B2 (en) | 1999-06-10 | 2017-07-18 | West View Research, Llc | Computerized information and display apparatus with automatic context determination |
| US9709972B2 (en) | 1999-06-10 | 2017-07-18 | West View Research, Llc | Computerized information and display apparatus with remote environment control |
| JP2002073080A (ja) * | 2000-09-01 | 2002-03-12 | Fujitsu Ten Ltd | 音声対話システム |
| US7895534B2 (en) | 2003-12-11 | 2011-02-22 | Canon Kabushiki Kaisha | Information processing apparatus, control method therefor, and program |
| US9299053B2 (en) | 2003-12-17 | 2016-03-29 | West View Research, Llc | Portable computerized wireless apparatus |
| US9424547B2 (en) | 2003-12-17 | 2016-08-23 | West View Research, Llc | Methods of transport of one or more items between locations |
| US9396450B2 (en) | 2003-12-17 | 2016-07-19 | West View Research, Llc | Computerized apparatus and methods for transfer between locations |
| US9607280B2 (en) | 2003-12-17 | 2017-03-28 | West View Research, Llc | Methods for shipping element processing |
| US9349112B2 (en) | 2003-12-17 | 2016-05-24 | West View Research, Llc | Computerized apparatus for transfer between locations |
| US11870778B2 (en) | 2003-12-17 | 2024-01-09 | West View Research, Llc | Computerized apparatus and methods for user authentication and object handling |
| US10686784B2 (en) | 2003-12-17 | 2020-06-16 | West View Research, Llc | Computerized apparatus and methods for location-based service provision |
| US9781110B2 (en) | 2003-12-17 | 2017-10-03 | West View Research, Llc | Computerized methods for location-based service provision |
| US10057265B2 (en) | 2003-12-17 | 2018-08-21 | West View Research, Llc | Computerized vehicular apparatus for location-based service provision |
| US11240238B2 (en) | 2003-12-17 | 2022-02-01 | West View Research, Llc | Computerized apparatus and methods for location-based service provision |
| JP2015055773A (ja) * | 2013-09-12 | 2015-03-23 | 株式会社アドバンスト・メディア | 情報処理装置、情報処理方法及びプログラム |
| CN104978964A (zh) * | 2014-04-14 | 2015-10-14 | 美的集团股份有限公司 | 语音控制指令纠错方法和系统 |
| US10083003B2 (en) | 2014-10-17 | 2018-09-25 | Hyundai Motor Company | Audio video navigation (AVN) apparatus, vehicle, and control method of AVN apparatus |
| JP2020166729A (ja) * | 2019-03-29 | 2020-10-08 | 京セラドキュメントソリューションズ株式会社 | 表示制御装置、表示制御方法、及び表示制御プログラム |
| JP2020170051A (ja) * | 2019-04-01 | 2020-10-15 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| WO2022030036A1 (ja) * | 2020-08-05 | 2022-02-10 | 株式会社インタラクティブソリューションズ | 音声に基づいて画像を変更するためのシステム |
| JP2022029864A (ja) * | 2020-08-05 | 2022-02-18 | 株式会社インタラクティブソリューションズ | 音声に基づいて画像を変更するためのシステム |
| JP2022031086A (ja) * | 2020-08-05 | 2022-02-18 | 株式会社インタラクティブソリューションズ | 音声に基づいて画像を変更するためのシステム |
| US11568877B2 (en) | 2020-08-05 | 2023-01-31 | Interactive Solutions Corp. | System to change image based on voice |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1115057A (zh) | 1996-01-17 |
| EP0680035A1 (en) | 1995-11-02 |
| US5864808A (en) | 1999-01-26 |
| EP0680035B1 (en) | 1999-09-15 |
| JP3267047B2 (ja) | 2002-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH07295784A (ja) | 音声による情報処理装置 | |
| JP7105695B2 (ja) | デジタルインク対話性のためのシステムおよび方法 | |
| US6570588B1 (en) | Editing support system including an interactive interface | |
| JP4560062B2 (ja) | 筆跡判定装置、方法およびプログラム | |
| KR102677199B1 (ko) | 그래픽 객체를 선택하기 위한 방법 및 대응하는 디바이스 | |
| JPH06131437A (ja) | 複合形態による操作指示方法 | |
| JP2002269492A (ja) | ディジタル・ペンを使用してコモン・ミュージック・ノテーション（ｃｍｎ）を書くための方法およびシステム | |
| JP3476007B2 (ja) | 認識単語登録方法、音声認識方法、音声認識装置、認識単語登録のためのソフトウエア・プロダクトを格納した記憶媒体、音声認識のためのソフトウエア・プロダクトを格納した記憶媒体 | |
| CN101465074A (zh) | 一种手写汉字布局评价方法 | |
| JP2001184088A (ja) | コンピュータ読取自在の記録媒体、及びバックグランド・オーディオ・リカバリー・システム | |
| JP2002116796A (ja) | 音声処理装置、音声処理方法及び記憶媒体 | |
| WO2014015201A1 (en) | Speech and gesture recognition enhancement | |
| CN1092371C (zh) | 汉字书法练习装置 | |
| JPH08166866A (ja) | 対話型インターフェースを具備した編集支援システム | |
| Suhm | Multimodal interactive error recovery for non-conversational speech user interfaces | |
| JP7626566B2 (ja) | ポインティングに基づく情報提供方法およびシステム | |
| CN101488044B (zh) | 一种语音和单笔混合式计算机汉字输入法 | |
| JPH0883092A (ja) | 情報入力装置及び情報入力方法 | |
| JP3170103B2 (ja) | 複合形態による対象物指示方法 | |
| JPS60146327A (ja) | 計算機対話方法 | |
| KR102305184B1 (ko) | 다양한 입력 방식 전환을 통한 전자문서 표시 방법 및 장치 | |
| US20250190690A1 (en) | Merging text blocks | |
| JPH0689158A (ja) | 複合形態情報入力方法 | |
| WO2024110354A1 (en) | Setting font size in an unconstrained canvas | |
| JP2003099791A (ja) | 図形作成装置とその方法およびその処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080111 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080111 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090111 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090111 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100111 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |