JPH06131108A - 情報入力装置 - Google Patents
情報入力装置Info
- Publication number
- JPH06131108A JPH06131108A JP30629092A JP30629092A JPH06131108A JP H06131108 A JPH06131108 A JP H06131108A JP 30629092 A JP30629092 A JP 30629092A JP 30629092 A JP30629092 A JP 30629092A JP H06131108 A JPH06131108 A JP H06131108A
- Authority
- JP
- Japan
- Prior art keywords
- input
- microphone
- pen
- tablet
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006870 function Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 31
- 238000003058 natural language processing Methods 0.000 claims description 11
- 238000012217 deletion Methods 0.000 claims description 7
- 230000037430 deletion Effects 0.000 claims description 7
- 238000003780 insertion Methods 0.000 claims description 7
- 230000037431 insertion Effects 0.000 claims description 7
- 230000005236 sound signal Effects 0.000 claims description 6
- 101000579646 Penaeus vannamei Penaeidin-1 Proteins 0.000 abstract description 21
- 238000000034 method Methods 0.000 abstract description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000012905 input function Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000414 obstructive effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Abstract
(57)【要約】
【目的】 ペン入力と音声入力とを融合させ、使い勝手
のよいヒューマンインタフェースとしての情報入力装置
を提供する。 【構成】 マイク１ａおよびこのマイク１ａにより採取
した音声信号を有線あるいは無線によりコンピュータ本
体に送信する機能を有した入力ペン１と、この入力ペン
１の接触を検出するディスプレイ兼用のタブレット２
と、マイク１ａからの音声信号に対して音声認識処理お
よび自然言語処理を行う手段５，６，７と、タブレット
２からの入力信号に対して文字認識処理、画像認識処理
および位置認識処理を行う手段８，９，１０，１１と、
マイク１ａからの入力とタブレット２からの入力とを組
み合わせてオペレーティングシステム１８もしくはアプ
リケーションプログラム１９に対してデータもしくはコ
マンドを与える手段１５とを備えている。
のよいヒューマンインタフェースとしての情報入力装置
を提供する。 【構成】 マイク１ａおよびこのマイク１ａにより採取
した音声信号を有線あるいは無線によりコンピュータ本
体に送信する機能を有した入力ペン１と、この入力ペン
１の接触を検出するディスプレイ兼用のタブレット２
と、マイク１ａからの音声信号に対して音声認識処理お
よび自然言語処理を行う手段５，６，７と、タブレット
２からの入力信号に対して文字認識処理、画像認識処理
および位置認識処理を行う手段８，９，１０，１１と、
マイク１ａからの入力とタブレット２からの入力とを組
み合わせてオペレーティングシステム１８もしくはアプ
リケーションプログラム１９に対してデータもしくはコ
マンドを与える手段１５とを備えている。
Description
【０００１】
【産業上の利用分野】本発明はパーソナルコンピュー
タ，ワードプロセッサ等においてユーザがデータ，コマ
ンド等の情報を入力するための情報入力装置に関するも
のである。
タ，ワードプロセッサ等においてユーザがデータ，コマ
ンド等の情報を入力するための情報入力装置に関するも
のである。
【０００２】
【従来の技術】この種の情報入力装置としては、昔から
キーボードが使われているが、最近ではタブレット上を
ペンでなぞり、文字や図形を入力するタイプも使われ始
めている。また、音声認識技術の向上により、音声入力
によるものも実現が可能となってきている。
キーボードが使われているが、最近ではタブレット上を
ペンでなぞり、文字や図形を入力するタイプも使われ始
めている。また、音声認識技術の向上により、音声入力
によるものも実現が可能となってきている。
【０００３】
【発明が解決しようとする課題】上述したように情報の
入力形態として種々のものが登場してきているが、従来
はそれぞれ単独に用いられていた。例えば、ペン入力機
能と音声入力機能とを備えた装置であっても、ペン入力
と音声入力とは独立しており、ペンで入力する項目と音
声で入力する項目とは区別されていた。また、互いの入
力が直接に関連することもなかった。
入力形態として種々のものが登場してきているが、従来
はそれぞれ単独に用いられていた。例えば、ペン入力機
能と音声入力機能とを備えた装置であっても、ペン入力
と音声入力とは独立しており、ペンで入力する項目と音
声で入力する項目とは区別されていた。また、互いの入
力が直接に関連することもなかった。
【０００４】一方、音声を入力するためのマイクがコン
ピュータ本体に取り付けられているかコードを介して接
続されていたため、配線が邪魔になると共に、コンピュ
ータ本体の近傍でしか使用することができなかった。ま
た、コンピュータ本体の電源が投入され、音声の受け入
れが可能な状態となっていなければマイクからの音声入
力を使用することができなかった。
ピュータ本体に取り付けられているかコードを介して接
続されていたため、配線が邪魔になると共に、コンピュ
ータ本体の近傍でしか使用することができなかった。ま
た、コンピュータ本体の電源が投入され、音声の受け入
れが可能な状態となっていなければマイクからの音声入
力を使用することができなかった。
【０００５】本発明は上記の点に鑑み提案されたもので
あり、その目的とするところは、ペン入力と音声入力と
を融合させ、使い勝手のよいヒューマンインタフェース
としての情報入力装置を提供することにある。
あり、その目的とするところは、ペン入力と音声入力と
を融合させ、使い勝手のよいヒューマンインタフェース
としての情報入力装置を提供することにある。
【０００６】
【課題を解決するための手段】本発明は上記の目的を達
成するため、マイクおよびこのマイクにより採取した音
声信号を有線あるいは無線によりコンピュータ本体に送
信する機能を有した入力ペンと、この入力ペンの接触を
検出するディスプレイ兼用のタブレットと、前記マイク
からの音声信号に対して音声認識処理および自然言語処
理を行う手段と、前記タブレットからの入力信号に対し
て文字認識処理、画像認識処理および位置認識処理を行
う手段と、前記マイクからの入力と前記タブレットから
の入力とを組み合わせてオペレーティングシステムもし
くはアプリケーションプログラムに対してデータもしく
はコマンドを与える手段とを備えるようにしている。
成するため、マイクおよびこのマイクにより採取した音
声信号を有線あるいは無線によりコンピュータ本体に送
信する機能を有した入力ペンと、この入力ペンの接触を
検出するディスプレイ兼用のタブレットと、前記マイク
からの音声信号に対して音声認識処理および自然言語処
理を行う手段と、前記タブレットからの入力信号に対し
て文字認識処理、画像認識処理および位置認識処理を行
う手段と、前記マイクからの入力と前記タブレットから
の入力とを組み合わせてオペレーティングシステムもし
くはアプリケーションプログラムに対してデータもしく
はコマンドを与える手段とを備えるようにしている。
【０００７】例えば、マイクからの入力とタブレットか
らの入力とが同じ対象に関する入力である場合、オペレ
ーティングシステムもしくはアプリケーションプログラ
ムに対して与えるデータもしくはコマンドとして、認識
度の高い方を採用するようにする。また、マイクからデ
ータを入力させ、入力ペンにより挿入・削除等の編集コ
マンドをジェスチャによって入力させるようにする。
らの入力とが同じ対象に関する入力である場合、オペレ
ーティングシステムもしくはアプリケーションプログラ
ムに対して与えるデータもしくはコマンドとして、認識
度の高い方を採用するようにする。また、マイクからデ
ータを入力させ、入力ペンにより挿入・削除等の編集コ
マンドをジェスチャによって入力させるようにする。
【０００８】一方、入力ペンに、マイクで採取した音声
信号を蓄積するメモリを備えるようにすることもでき
る。
信号を蓄積するメモリを備えるようにすることもでき
る。
【０００９】更に、コンピュータ本体から入力ペンに対
して音声信号を送信し、マイクで音響を再生するように
することもできる。
して音声信号を送信し、マイクで音響を再生するように
することもできる。
【００１０】
【作用】本発明の情報入力装置にあっては、ユーザが手
に持った入力ペンに向かって話すと、その音声が入力ペ
ンに内蔵されたマイクにより採取され、コンピュータ本
体に有線あるいは無線で送信される。また、入力ペンで
ディスプレイ兼用のタブレットをなぞると、その情報が
入力される。
に持った入力ペンに向かって話すと、その音声が入力ペ
ンに内蔵されたマイクにより採取され、コンピュータ本
体に有線あるいは無線で送信される。また、入力ペンで
ディスプレイ兼用のタブレットをなぞると、その情報が
入力される。
【００１１】コンピュータ本体の内部では、入力ペンの
マイクからの音声信号に対して音声認識処理および自然
言語処理が行われると共に、タブレットからの入力信号
に対して文字認識処理、画像認識処理および位置認識処
理が行われる。
マイクからの音声信号に対して音声認識処理および自然
言語処理が行われると共に、タブレットからの入力信号
に対して文字認識処理、画像認識処理および位置認識処
理が行われる。
【００１２】そして、マイクからの入力とタブレットか
らの入力とは適切に組み合わせられ、オペレーティング
システムもしくはアプリケーションプログラムに対して
データもしくはコマンドとして与えられる。例えば、マ
イクからの入力とタブレットからの入力とが同じ対象に
関する入力である場合、認識度の高い方が採用され、デ
ータもしくはコマンドとして与えられる。また、マイク
から入力されたデータに対し、ユーザが入力ペンにより
挿入・削除等の編集コマンドを入力することができる。
らの入力とは適切に組み合わせられ、オペレーティング
システムもしくはアプリケーションプログラムに対して
データもしくはコマンドとして与えられる。例えば、マ
イクからの入力とタブレットからの入力とが同じ対象に
関する入力である場合、認識度の高い方が採用され、デ
ータもしくはコマンドとして与えられる。また、マイク
から入力されたデータに対し、ユーザが入力ペンにより
挿入・削除等の編集コマンドを入力することができる。
【００１３】一方、入力ペンに、マイクで採取した音声
信号を蓄積するメモリを備えた場合には、コンピュータ
本体が稼働状態にない時や、コンピュータ本体から離れ
て作業している場合にも音声を入力することができ、後
に一括してコンピュータ本体に音声信号を送信すること
ができる。
信号を蓄積するメモリを備えた場合には、コンピュータ
本体が稼働状態にない時や、コンピュータ本体から離れ
て作業している場合にも音声を入力することができ、後
に一括してコンピュータ本体に音声信号を送信すること
ができる。
【００１４】更に、コンピュータ本体から入力ペンに対
して音声信号を送信し、マイクで音響を再生するように
することもできる。
して音声信号を送信し、マイクで音響を再生するように
することもできる。
【００１５】
【実施例】以下、本発明の実施例につき、図面を参照し
て説明する。
て説明する。
【００１６】図１は本発明の情報入力装置の一実施例を
示す構成図である。
示す構成図である。
【００１７】図１において、本実施例は、ユーザが手に
持って使用する入力ペン１と、入力ペン１を押し当てて
文字，図形等を描くディスプレイ兼用のタブレット２
と、入力ペン１，タブレット２からの信号を処理すると
共に、これらに信号を与えまたは制御を行う複数の回路
部（ハードウェア，ソフトウェアの両者を含む。）と、
コンピュータ本体内の全体的な制御を司るオペレーティ
ングシステム１８と、所定の作業を行うアプリケーショ
ンプログラム１９とから構成されている。
持って使用する入力ペン１と、入力ペン１を押し当てて
文字，図形等を描くディスプレイ兼用のタブレット２
と、入力ペン１，タブレット２からの信号を処理すると
共に、これらに信号を与えまたは制御を行う複数の回路
部（ハードウェア，ソフトウェアの両者を含む。）と、
コンピュータ本体内の全体的な制御を司るオペレーティ
ングシステム１８と、所定の作業を行うアプリケーショ
ンプログラム１９とから構成されている。
【００１８】また、入力ペン１には、タブレット２をな
ぞり、その軌跡を情報として与えるという基本的な機能
の他に、音声を採取するためのマイク１ａと、このマイ
ク１ａで採取された音声信号を蓄積するメモリ１ｂと、
マイク１ａで採取されあるいはメモリ１ｂで蓄積された
音声信号をコンピュータ本体に送信すると共に、マイク
１をスピーカとして働かせる際の音声信号をコンピュー
タ本体から受信する送受信部１ｃとが設けられている。
なお、メモリ１ｂはディジタルあるいはアナログのいず
れの方式で蓄積するものでもよい。また、入力ペン１と
受信部３，送信部４との間は無線だけでなく、有線で接
続することも可能である。
ぞり、その軌跡を情報として与えるという基本的な機能
の他に、音声を採取するためのマイク１ａと、このマイ
ク１ａで採取された音声信号を蓄積するメモリ１ｂと、
マイク１ａで採取されあるいはメモリ１ｂで蓄積された
音声信号をコンピュータ本体に送信すると共に、マイク
１をスピーカとして働かせる際の音声信号をコンピュー
タ本体から受信する送受信部１ｃとが設けられている。
なお、メモリ１ｂはディジタルあるいはアナログのいず
れの方式で蓄積するものでもよい。また、入力ペン１と
受信部３，送信部４との間は無線だけでなく、有線で接
続することも可能である。
【００１９】一方、入力ペン１，タブレット２からの信
号を処理すると共にこれらに信号を与えまたは制御を行
う複数の回路部としては、大別して、入力ペン１と通信
を行う部分（受信部３，送信部４）と、入力された音声
から文字・コマンドを抽出する部分（音声認識部５，自
然言語処理部６，文字・コマンド入力部７）と、タブレ
ット２への入力ペン１の接触の軌跡から文字，画像，位
置等を抽出する部分（画像処理部８，文字認識部９，画
像認識部１０，ジェスチャ入力部１１，位置認識部１
２，位置入力部１３，画像入力部１４）と、入力ペン１
に与える音声信号を生成する部分（音声生成部１６）
と、タブレット２の表示を制御する部分（表示制御部１
７）と、全体の制御を行う部分（総合処理部１５）とか
ら構成されている。なお、自然言語処理部６および文字
・コマンド入力部７はタブレット２から入力された手書
文字に対する処理にも使用される。
号を処理すると共にこれらに信号を与えまたは制御を行
う複数の回路部としては、大別して、入力ペン１と通信
を行う部分（受信部３，送信部４）と、入力された音声
から文字・コマンドを抽出する部分（音声認識部５，自
然言語処理部６，文字・コマンド入力部７）と、タブレ
ット２への入力ペン１の接触の軌跡から文字，画像，位
置等を抽出する部分（画像処理部８，文字認識部９，画
像認識部１０，ジェスチャ入力部１１，位置認識部１
２，位置入力部１３，画像入力部１４）と、入力ペン１
に与える音声信号を生成する部分（音声生成部１６）
と、タブレット２の表示を制御する部分（表示制御部１
７）と、全体の制御を行う部分（総合処理部１５）とか
ら構成されている。なお、自然言語処理部６および文字
・コマンド入力部７はタブレット２から入力された手書
文字に対する処理にも使用される。
【００２０】次に上記の実施例の動作を説明する。
【００２１】先ず、ユーザはオペレーティングシステム
１８と対話可能な状態になっているか、所望の業務を遂
行するために適当なアプリケーションプログラム１９を
起動しているものとする。アプリケーションプログラム
１９は、例えば、ワードプロセッサ等である。
１８と対話可能な状態になっているか、所望の業務を遂
行するために適当なアプリケーションプログラム１９を
起動しているものとする。アプリケーションプログラム
１９は、例えば、ワードプロセッサ等である。
【００２２】ユーザはオペレーティングシステム１８あ
るいはアプリケーションプログラム１９の機能に従い、
データあるいはコマンドを入力するが、この際、データ
あるいはコマンドの入力の方法として音声入力とペン入
力とが利用できる。なお、コンピュータ本体にキーボー
ドが接続されている場合には当然にキーボードからの入
力も行うことができる。
るいはアプリケーションプログラム１９の機能に従い、
データあるいはコマンドを入力するが、この際、データ
あるいはコマンドの入力の方法として音声入力とペン入
力とが利用できる。なお、コンピュータ本体にキーボー
ドが接続されている場合には当然にキーボードからの入
力も行うことができる。
【００２３】ユーザが入力ペン１に向かって発話する
と、この音声はマイク１ａによって採取され、送受信部
１ｃによって無線によりコンピュータ本体側に送信され
る。なお、録音モードとすることにより、音声信号を一
時的にメモリ１ｂに蓄積しておき、後にコンピュータ本
体側に一括して送信することができる。この場合、入力
ペン１があれば発話時にコンピュータ本体のそばにいる
必要はなく、また、コンピュータ本体が稼働状態になく
てもよい。
と、この音声はマイク１ａによって採取され、送受信部
１ｃによって無線によりコンピュータ本体側に送信され
る。なお、録音モードとすることにより、音声信号を一
時的にメモリ１ｂに蓄積しておき、後にコンピュータ本
体側に一括して送信することができる。この場合、入力
ペン１があれば発話時にコンピュータ本体のそばにいる
必要はなく、また、コンピュータ本体が稼働状態になく
てもよい。
【００２４】コンピュータ本体側では、受信部３によっ
て入力ペン１からの音声信号を受信し、復調して音声認
識部５に渡す。
て入力ペン１からの音声信号を受信し、復調して音声認
識部５に渡す。
【００２５】音声認識部５では受け取った音声信号に対
して、周知の解析処理（音声区間検出，音響分析，特徴
抽出，セグメント化，音素認識等）を行い、音素の列を
示すデータを出力する。
して、周知の解析処理（音声区間検出，音響分析，特徴
抽出，セグメント化，音素認識等）を行い、音素の列を
示すデータを出力する。
【００２６】自然言語処理部６では音素の列に対し、機
械翻訳の分野で周知の解析処理（単語照合，構文解析，
意味解析等）を行い、抽出された文字列を出力する。
械翻訳の分野で周知の解析処理（単語照合，構文解析，
意味解析等）を行い、抽出された文字列を出力する。
【００２７】文字・コマンド入力部７では自然言語処理
部６から与えられた文字列をデータあるいはコマンドと
して所定のフォーマットに整えて総合処理部１５に与え
る。
部６から与えられた文字列をデータあるいはコマンドと
して所定のフォーマットに整えて総合処理部１５に与え
る。
【００２８】総合処理部１５では文字・コマンド入力部
７から与えられたデータあるいはコマンドをオペレーテ
ィングシステム１８に与え、オペレーティングシステム
１８は自己に対するコマンドであればそれを受け入れ、
アプリケーションプログラム１９に対するものはアプリ
ケーションプログラム１９に引き渡す。
７から与えられたデータあるいはコマンドをオペレーテ
ィングシステム１８に与え、オペレーティングシステム
１８は自己に対するコマンドであればそれを受け入れ、
アプリケーションプログラム１９に対するものはアプリ
ケーションプログラム１９に引き渡す。
【００２９】一方、ユーザが入力ペン１によってタブレ
ット２上をなぞって文字，図形等を描いた場合、タブレ
ット２への接触の状態は画像処理部８により検出され
る。
ット２上をなぞって文字，図形等を描いた場合、タブレ
ット２への接触の状態は画像処理部８により検出され
る。
【００３０】文字認識部９では描かれたものが文字であ
るか否かを判別し、認識できる文字がある場合には自然
言語処理部６に認識した文字を渡す。自然言語処理部６
から以後の動作は音声入力の場合と同様である。
るか否かを判別し、認識できる文字がある場合には自然
言語処理部６に認識した文字を渡す。自然言語処理部６
から以後の動作は音声入力の場合と同様である。
【００３１】また、画像認識部１０ではタブレット２上
に描かれたものがジェスチャ（挿入，削除等の所定のコ
マンドに対応して規定されたペンの動き。）であるか否
かを判別し、認識できるジェスチャがある場合にはジェ
スチャ入力部１１にそれを伝える。
に描かれたものがジェスチャ（挿入，削除等の所定のコ
マンドに対応して規定されたペンの動き。）であるか否
かを判別し、認識できるジェスチャがある場合にはジェ
スチャ入力部１１にそれを伝える。
【００３２】ジェスチャ入力部１１ではジェスチャに対
応するデータあるいはコマンドを総合処理部１５に与え
る。
応するデータあるいはコマンドを総合処理部１５に与え
る。
【００３３】総合処理部１５ではジェスチャ入力部７か
ら与えられたデータあるいはコマンドをオペレーティン
グシステム１８に与え、オペレーティングシステム１８
はアプリケーションプログラム１９に対するデータ，コ
マンドであればアプリケーションプログラム１９に引き
渡す。
ら与えられたデータあるいはコマンドをオペレーティン
グシステム１８に与え、オペレーティングシステム１８
はアプリケーションプログラム１９に対するデータ，コ
マンドであればアプリケーションプログラム１９に引き
渡す。
【００３４】また、位置認識部１２ではタブレット２上
の入力ペンの接触位置を認識し、その情報を位置入力部
１３に与える。
の入力ペンの接触位置を認識し、その情報を位置入力部
１３に与える。
【００３５】位置入力部１３は位置を示すデータを所定
のフォーマットに整え、総合処理部１５に渡す。
のフォーマットに整え、総合処理部１５に渡す。
【００３６】総合処理部１５では位置入力部１３から与
えられたデータをオペレーティングシステム１８に与
え、オペレーティングシステム１８はアプリケーション
プログラム１９に対するデータであればアプリケーショ
ンプログラム１９に引き渡す。
えられたデータをオペレーティングシステム１８に与
え、オペレーティングシステム１８はアプリケーション
プログラム１９に対するデータであればアプリケーショ
ンプログラム１９に引き渡す。
【００３７】また、画像入力部１４は、タブレット２に
描かれた軌跡そのものを画像データとして総合処理部１
５に与え、総合処理部１５はオペレーティングシステム
１８に与え、アプリケーションプログラム１９に対する
データについてはアプリケーションプログラム１９に引
き渡す。
描かれた軌跡そのものを画像データとして総合処理部１
５に与え、総合処理部１５はオペレーティングシステム
１８に与え、アプリケーションプログラム１９に対する
データについてはアプリケーションプログラム１９に引
き渡す。
【００３８】一方、入力ペン１のマイク１ａをスピーカ
として動作させる場合、総合処理部１５は音声のデータ
を音声生成部１６に与える。
として動作させる場合、総合処理部１５は音声のデータ
を音声生成部１６に与える。
【００３９】音声生成部１６では音声合成等を行い、音
声信号を生成し、送信部４に与え、送信部４は無線によ
り入力ペン１に送信する。
声信号を生成し、送信部４に与え、送信部４は無線によ
り入力ペン１に送信する。
【００４０】入力ペン１側では送受信部１ｃがこれを受
信すると、復調して音声信号とし、マイク１ａに与えて
音響に変換する。
信すると、復調して音声信号とし、マイク１ａに与えて
音響に変換する。
【００４１】また、表示制御部１７は、総合処理部１５
の制御のもと、ディスプレイ兼用となっているタブレッ
ト２に表示する内容を制御する。
の制御のもと、ディスプレイ兼用となっているタブレッ
ト２に表示する内容を制御する。
【００４２】これまでは音声入力とペン入力の基本動作
について説明してきたが、実際には双方の入力が互いに
密接に関連して行われる。すなわち、総合処理部１５は
入力ペン１のマイク１ａからの入力とタブレット２から
の入力とを適切に組み合わせ、データもしくはコマンド
としてオペレーティングシステム１８，アプリケーショ
ンプログラム１９に与えるものである。
について説明してきたが、実際には双方の入力が互いに
密接に関連して行われる。すなわち、総合処理部１５は
入力ペン１のマイク１ａからの入力とタブレット２から
の入力とを適切に組み合わせ、データもしくはコマンド
としてオペレーティングシステム１８，アプリケーショ
ンプログラム１９に与えるものである。
【００４３】例えば、マイク１ａからの入力とタブレッ
ト２からの入力とが同じ対象に関する入力である場合
（具体例として、アプリケーションプログラム１９があ
る項目のデータ入力を要求している場合等）、総合処理
部１５はオペレーティングシステム１８もしくはアプリ
ケーションプログラム１９に対して与えるデータもしく
はコマンドとして、認識度の高い方を採用する。なお、
認識度は音声認識部５，自然言語処理部６，文字認識部
９，画像認識部１０等における認識の処理の過程におい
て採取できる値である。このようにすることにより、認
識の精度を大幅に高めることができる。
ト２からの入力とが同じ対象に関する入力である場合
（具体例として、アプリケーションプログラム１９があ
る項目のデータ入力を要求している場合等）、総合処理
部１５はオペレーティングシステム１８もしくはアプリ
ケーションプログラム１９に対して与えるデータもしく
はコマンドとして、認識度の高い方を採用する。なお、
認識度は音声認識部５，自然言語処理部６，文字認識部
９，画像認識部１０等における認識の処理の過程におい
て採取できる値である。このようにすることにより、認
識の精度を大幅に高めることができる。
【００４４】また、マイク１ａからデータを入力しなが
ら、入力ペン１とタブレット２により挿入・削除等の編
集コマンドをジェスチャによって入力させることによ
り、文章等の入力をスムースに行うことができる。
ら、入力ペン１とタブレット２により挿入・削除等の編
集コマンドをジェスチャによって入力させることによ
り、文章等の入力をスムースに行うことができる。
【００４５】例えば、図２に示すように、マイク１ａか
ら音声で「ＢＴＡ」と入力されたが（）、本来は「Ｄ
ＡＴＡ」と入力したかった場合には、誤っている部分
「Ｂ」に「×」を描く削除のジェスチャを入力ペン１に
よりタブレット２上で行う（）。
ら音声で「ＢＴＡ」と入力されたが（）、本来は「Ｄ
ＡＴＡ」と入力したかった場合には、誤っている部分
「Ｂ」に「×」を描く削除のジェスチャを入力ペン１に
よりタブレット２上で行う（）。
【００４６】これにより、「Ｂ」が消去され、「ＴＡ」
が前に１文字つまる（）。
が前に１文字つまる（）。
【００４７】次いで、「ＴＡ」の前に挿入のジェスチャ
「∨」を行い（）、マイク１ａから「ＤＡ」を音声で
入力すると、「ＤＡＴＡ」となる（）。
「∨」を行い（）、マイク１ａから「ＤＡ」を音声で
入力すると、「ＤＡＴＡ」となる（）。
【００４８】なお、図２では削除の際に後ろの文字が前
につまるようにしていたが、削除された文字を空白にす
るだけで、後ろの文字はそのままとし、新たに文字が挿
入された場合に必要に応じて後ろの文字がずれるように
してもよい。
につまるようにしていたが、削除された文字を空白にす
るだけで、後ろの文字はそのままとし、新たに文字が挿
入された場合に必要に応じて後ろの文字がずれるように
してもよい。
【００４９】
【発明の効果】以上説明したように、本発明の情報入力
装置にあっては、次のような効果がある。
装置にあっては、次のような効果がある。
【００５０】音声入力とペン入力とを適切に組み合わ
せてデータもしくはコマンドの入力を行えるため、ヒュ
ーマンインタフェースとしての使い勝手が非常に良くな
る。
せてデータもしくはコマンドの入力を行えるため、ヒュ
ーマンインタフェースとしての使い勝手が非常に良くな
る。
【００５１】音声入力にしてもペン入力にしても認識
精度の点で不充分な点があるが、同じ対象に関して双方
からの入力があった場合、認識度が高い方を採用するた
め、認識精度を大幅に高めることができる。
精度の点で不充分な点があるが、同じ対象に関して双方
からの入力があった場合、認識度が高い方を採用するた
め、認識精度を大幅に高めることができる。
【００５２】音声によりデータを入力しながら、入力
ペンのジェスチャによって挿入・削除等の編集コマンド
が入力できるため、スムースな文書作成等が行える。
ペンのジェスチャによって挿入・削除等の編集コマンド
が入力できるため、スムースな文書作成等が行える。
【００５３】入力ペンのマイクとコンピュータ本体と
を無線で接続することができるため、邪魔な配線がな
く、快適な作業環境とすることができる。
を無線で接続することができるため、邪魔な配線がな
く、快適な作業環境とすることができる。
【００５４】入力ペン内に音声信号を蓄積するメモリ
を設けているため、コンピュータ本体が稼働状態にない
場合や、コンピュータ本体から離れて作業している場合
等においても、入力ペンを携帯していれば、その場で文
書データ等を入力し、後に一括してコンピュータ本体に
送信することができ、思いついたアイデア等を忘れない
ですむ。
を設けているため、コンピュータ本体が稼働状態にない
場合や、コンピュータ本体から離れて作業している場合
等においても、入力ペンを携帯していれば、その場で文
書データ等を入力し、後に一括してコンピュータ本体に
送信することができ、思いついたアイデア等を忘れない
ですむ。
【図１】本発明の情報入力装置の一実施例を示す構成図
である。
である。
【図２】文字の音声入力およびジェスチャによる編集の
様子を示す図である。
様子を示す図である。
１……入力ペン １ａ…マイク １ｂ…メモリ １ｃ…送受信部 ２……タブレット ３……受信部 ４……送信部 ５……音声認識部 ６……自然言語処理部 ７……文字・コマンド入力部 ８……画像処理部 ９……文字認識部 １０…画像認識部 １１…ジェスチャ入力部 １２…位置認識部 １３…位置入力部 １４…画像入力部 １５…総合処理部 １６…音声生成部 １７…表示制御部 １８…オペレーティングシステム １９…アプリケーションプログラム
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 3/16 Ｂ 7165−5Ｂ
Claims (5)
- 【請求項１】 マイクおよびこのマイクにより採取した
音声信号を有線あるいは無線によりコンピュータ本体に
送信する機能を有した入力ペンと、 この入力ペンの接触を検出するディスプレイ兼用のタブ
レットと、 前記マイクからの音声信号に対して音声認識処理および
自然言語処理を行う手段と、 前記タブレットからの入力信号に対して文字認識処理、
画像認識処理および位置認識処理を行う手段と、 前記マイクからの入力と前記タブレットからの入力とを
組み合わせてオペレーティングシステムもしくはアプリ
ケーションプログラムに対してデータもしくはコマンド
を与える手段とを備えたことを特徴とする情報入力装
置。 - 【請求項２】 マイクからの入力とタブレットからの入
力とが同じ対象に関する入力である場合、オペレーティ
ングシステムもしくはアプリケーションプログラムに対
して与えるデータもしくはコマンドとして、認識度の高
い方を採用することを特徴とした請求項１記載の情報入
力装置。 - 【請求項３】 マイクからデータを入力させ、入力ペン
により挿入・削除等の編集コマンドをジェスチャによっ
て入力させることを特徴とした請求項１または２記載の
情報入力装置。 - 【請求項４】 入力ペンに、マイクで採取した音声信号
を蓄積するメモリを備えたことを特徴とする請求項１、
２または３記載の情報入力装置。 - 【請求項５】 コンピュータ本体から入力ペンに対して
音声信号を送信し、マイクで音響を再生することを特徴
とした請求項１、２、３または４記載の情報入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30629092A JPH06131108A (ja) | 1992-10-20 | 1992-10-20 | 情報入力装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30629092A JPH06131108A (ja) | 1992-10-20 | 1992-10-20 | 情報入力装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06131108A true JPH06131108A (ja) | 1994-05-13 |
Family
ID=17955319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30629092A Pending JPH06131108A (ja) | 1992-10-20 | 1992-10-20 | 情報入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06131108A (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08180022A (ja) * | 1994-12-22 | 1996-07-12 | Matsushita Electric Ind Co Ltd | 情報記憶変換装置 |
| US5850058A (en) * | 1995-11-17 | 1998-12-15 | Hitachi, Ltd. | Information processor |
| WO1999060465A1 (en) * | 1998-05-20 | 1999-11-25 | Fonix Corporation | Apparatus and method for processing handwritten and hand-drawn input and speech input |
| EP1014252A3 (en) * | 1998-12-24 | 2001-11-07 | Canon Kabushiki Kaisha | Information processing apparatus and method capable of processing plurality type of input information |
| US6438523B1 (en) | 1998-05-20 | 2002-08-20 | John A. Oberteuffer | Processing handwritten and hand-drawn input and speech input |
| KR20030021395A (ko) * | 2001-09-06 | 2003-03-15 | 정현열 | 에치엠엠 기반의 음성/문자 공용 인식 장치 및 그 방법 |
| US6628267B2 (en) | 1998-03-27 | 2003-09-30 | International Business Machines Corporation | Flexibly interfaceable portable computing device |
| KR100444985B1 (ko) * | 2001-09-03 | 2004-08-21 | 삼성전자주식회사 | 복합 스타일러스 및 그 구동 방법 |
| KR100454688B1 (ko) * | 2001-04-25 | 2004-11-05 | 지버노트 코포레이션 | 무선 펜 입력 장치 |
| EP0926588A3 (en) * | 1997-12-24 | 2004-12-15 | Sharp Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium containing a program for controlling information processing apparatus |
| JP2005071073A (ja) * | 2003-08-25 | 2005-03-17 | Ricoh Co Ltd | 文字入力装置およびその方法 |
| US7233321B1 (en) * | 1998-12-15 | 2007-06-19 | Intel Corporation | Pointing device with integrated audio input |
| KR100834623B1 (ko) * | 2001-09-26 | 2008-06-02 | 삼성전자주식회사 | 무선 헤드셋 전자펜을 이용한 통신 단말기의 동작 제어방법 및 그를 위한 무선 헤드셋 전자펜 |
| CN110308800A (zh) * | 2019-06-24 | 2019-10-08 | 北京百度网讯科技有限公司 | 输入方式的切换方法、装置、系统及存储介质 |
-
1992
- 1992-10-20 JP JP30629092A patent/JPH06131108A/ja active Pending
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08180022A (ja) * | 1994-12-22 | 1996-07-12 | Matsushita Electric Ind Co Ltd | 情報記憶変換装置 |
| US5850058A (en) * | 1995-11-17 | 1998-12-15 | Hitachi, Ltd. | Information processor |
| EP0926588A3 (en) * | 1997-12-24 | 2004-12-15 | Sharp Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium containing a program for controlling information processing apparatus |
| US6727894B1 (en) | 1998-03-27 | 2004-04-27 | International Business Machines Corporation | Flexibly interfaceable portable computing device |
| US6628267B2 (en) | 1998-03-27 | 2003-09-30 | International Business Machines Corporation | Flexibly interfaceable portable computing device |
| WO1999060465A1 (en) * | 1998-05-20 | 1999-11-25 | Fonix Corporation | Apparatus and method for processing handwritten and hand-drawn input and speech input |
| US6438523B1 (en) | 1998-05-20 | 2002-08-20 | John A. Oberteuffer | Processing handwritten and hand-drawn input and speech input |
| US7233321B1 (en) * | 1998-12-15 | 2007-06-19 | Intel Corporation | Pointing device with integrated audio input |
| US7656397B2 (en) | 1998-12-15 | 2010-02-02 | Intel Corporation | Pointing device with integrated audio input and associated methods |
| US7804494B2 (en) | 1998-12-15 | 2010-09-28 | Intel Corporation | Pointing device with integrated audio input and associated methods |
| EP1014252A3 (en) * | 1998-12-24 | 2001-11-07 | Canon Kabushiki Kaisha | Information processing apparatus and method capable of processing plurality type of input information |
| US7523031B1 (en) | 1998-12-24 | 2009-04-21 | Canon Kabushiki Kaisha | Information processing apparatus and method capable of processing plurality type of input information |
| KR100454688B1 (ko) * | 2001-04-25 | 2004-11-05 | 지버노트 코포레이션 | 무선 펜 입력 장치 |
| KR100444985B1 (ko) * | 2001-09-03 | 2004-08-21 | 삼성전자주식회사 | 복합 스타일러스 및 그 구동 방법 |
| KR20030021395A (ko) * | 2001-09-06 | 2003-03-15 | 정현열 | 에치엠엠 기반의 음성/문자 공용 인식 장치 및 그 방법 |
| KR100834623B1 (ko) * | 2001-09-26 | 2008-06-02 | 삼성전자주식회사 | 무선 헤드셋 전자펜을 이용한 통신 단말기의 동작 제어방법 및 그를 위한 무선 헤드셋 전자펜 |
| JP2005071073A (ja) * | 2003-08-25 | 2005-03-17 | Ricoh Co Ltd | 文字入力装置およびその方法 |
| CN110308800A (zh) * | 2019-06-24 | 2019-10-08 | 北京百度网讯科技有限公司 | 输入方式的切换方法、装置、系统及存储介质 |
| CN110308800B (zh) * | 2019-06-24 | 2023-11-10 | 北京百度网讯科技有限公司 | 输入方式的切换方法、装置、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3624733B2 (ja) | 手話メール装置及び手話情報処理装置 | |
| JP3335178B2 (ja) | 音声サンプルを音声作動データ処理システムに伝送するための方法及び装置 | |
| JP3725566B2 (ja) | 音声認識インターフェース | |
| US6353809B2 (en) | Speech recognition with text generation from portions of voice data preselected by manual-input commands | |
| JPH06131108A (ja) | 情報入力装置 | |
| US6570588B1 (en) | Editing support system including an interactive interface | |
| US5533141A (en) | Portable pen pointing device and a processing system with pen pointing device | |
| US5526407A (en) | Method and apparatus for managing information | |
| US5818800A (en) | Voice recording device having portable and local modes of operation | |
| US20080015857A1 (en) | USB Dictation Device | |
| JP3844874B2 (ja) | マルチモーダルインタフェース装置およびマルチモーダルインタフェース方法 | |
| US6952676B2 (en) | Voice recognition peripheral device | |
| JP2006515073A (ja) | 音声認識を実行するための方法、システム、及びプログラミング | |
| JP2002125050A (ja) | 音声通訳サービス方法および音声通訳サーバ | |
| JPH08339446A (ja) | 対話装置 | |
| JP2003076389A (ja) | タッチスクリーン又は音声認識を通じて動作制御される情報端末及びその命令実行方法 | |
| KR20190099347A (ko) | 입력 표시 장치, 입력 표시 방법, 및 프로그램 | |
| CN106941001A (zh) | 自动翻页方法及装置 | |
| WO1995025326A1 (en) | Voice/pointer operated system | |
| JPH07222248A (ja) | 携帯型情報端末における音声情報の利用方式 | |
| JP2010197669A (ja) | 携帯端末、編集誘導プログラムおよび編集装置 | |
| EP0472193A2 (en) | Translation device based on voice recognition and voice synthesis | |
| JP2001071289A (ja) | 情報処理装置および方法、並びにプログラム格納媒体 | |
| JP2002101315A (ja) | リモコン装置および遠隔制御方法 | |
| JPH04311222A (ja) | 電子ドキュメントを音声処理するポータブル・コンピュータ装置 |