JP2003302995A - 音声認識文法の更新方法、情報処理装置及びコンピュータ・プログラム - Google Patents

Abstract

(57)【要約】 【課題】 音声認識を利用して情報検索を行なうユーザ
端末（クライアント側の情報処理装置）に格納されてい
る音声認識文法を、サーバ側に格納されている音声認識
文法に、効率良く容易に更新する。 【解決手段】 ユーザ端末ＵＴとサーバＳＶとにより構
成される情報検索システムにおいて、入力されたユーザ
の音声を、ユーザ端末ＵＴに格納されている第１音声認
識文法に基づいて認識すると共に、その音声に含まれる
未知語を検出する。その際、未知語が検出された場合に
は、サーバＳＶにおいて、第１音声認識文法のバージョ
ン情報と、当該サーバに格納されている第２音声認識文
法のバージョン情報とに従って、それら２種類の音声認
識文法の差分情報を生成する。ユーザ端末ＵＴでは、第
１音声認識文法を、サーバＳＶにて生成された差分情報
を利用して、第２音声認識文法に更新する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声を用いて所望
の情報を検索する情報検索処理の分野に関する。

【０００２】

【従来の技術】従来より、各種の情報が予め蓄積されて
いるサーバに対して、インターネット等の通信回線を介
してユーザ端末（クライアント）を接続すると共に、接
続されたサーバを利用して、ユーザ端末から所望の情報
を検索するサービスが普及しており、近年においては、
このような情報検索を、ユーザ端末にて入力した音声を
用いて行ないたいという要求がある。

【０００３】ユーザ端末における音声入力に応じて、サ
ーバを利用して情報検索を行なう場合、従来のシステム
では、以下に説明する手順が一般的である。

【０００４】図１６は、音声入力を利用した情報検索シ
ステムにおけるユーザ端末の情報検索処理を示すフロー
チャートである。

【０００５】同図において、まず、ステップＳ１００１
において、ユーザ端末に保持されている音声認識文法の
バージョン情報を取得する。次に、ステップＳ１００２
において、ステップＳ１００１で取得された音声認識文
法のバージョン情報を、インターネット等の通信回線を
介してサーバに送信する。

【０００６】次に、ステップＳ１００３において、サー
バ上の情報を適切に検索するために必要な音声認識文法
と、自端末に保持されている音声認識文法との差分情報
を受信する。そして、ステップＳ１００４において、自
端末に保持されている音声認識文法と、ステップＳ１０
０３にてサーバから受信した音声認識文法の差分情報と
により、自端末内の音声認識文法を再構成する。

【０００７】次に、ステップＳ１００５において、ユー
ザにより発声された音声を入力し、ステップＳ１００６
では、入力された音声を、ステップＳ１００４にて再構
成された音声認識文法を用いて認識する。

【０００８】そして、ステップＳ１００７では、ステッ
プＳ１００６における認識結果を、検索用のキーワード
として、サーバに送信する。

【０００９】ステップＳ１００８では、ステップＳ１０
０７にて送信したキーワードに対応する情報をサーバよ
り受信し、受信した情報を、ステップＳ１００９におい
て自端末にて出力し、ステップＳ１００１に戻る。

【００１０】次に、上記のユーザ端末の動作に対応する
サーバ側の処理について、図４を用いて説明する。

【００１１】図４は、情報提供を行なうサーバの制御処
理を示すフローチャートである。

【００１２】同図において、まず、ステップＳ８０１に
おいて、通信やユーザ入力といったイベントが発生する
まで待機する。イベントが検知された場合にはステップ
Ｓ８０２に処理を移す。

【００１３】ステップＳ８０２では、ステップＳ８０１
で検知されたイベントが音声認識文法のバージョン情報
の受信を表わすイベントであるかどうかを判定し、文法
バージョン情報の受信であるならばステップＳ８０３に
処理を移し、そうでなければステップＳ８０６に処理を
移す。

【００１４】ステップＳ８０３では、ユーザ端末から認
識文法のバージョンを受信し、ステップＳ８０４では、
受信した認識文法のバージョン、後述するステップＳ８
０７で作成された認識文法、並びにステップＳ８０８で
作成された認識文法差分作成情報を用いて、認識文法の
差分情報を作成する。

【００１５】次に、ステップＳ８０５において、ステッ
プＳ８０４で作成した認識文法の差分情報をユーザ端末
に送信し、ステップＳ８０１に戻る。

【００１６】ステップＳ８０６では、ステップＳ８０１
で検知されたイベントが、検索対象となる情報の追加・
削除といったデータベースの更新であるかどうかを判定
し、データベースの更新であるならばステップＳ８０７
に処理を移し、そうでなければステップＳ８０９に処理
を移す。

【００１７】ステップＳ８０７では、検索対象となる情
報を検索するのに必要な音声認識文法を作成する。次
に、ステップＳ８０８において、認識文法の差分を作成
する際に必要となる情報を作成する。認識文法の差分情
報を作成する際に必要となる情報として、認識文法のバ
ージョン情報、各バージョンに対応する認識文法のバッ
クアップ等がある。

【００１８】ステップＳ８０９では、ステップＳ８０１
で検知されたイベントが、キーワードの受信であるか判
定し、キーワードの受信であるならば、ステップＳ８１
０に処理を移し、そうでなければステップＳ８０１に処
理を移す。

【００１９】ステップＳ８１０では、ユーザ端末よりキ
ーワードを受信する。次に、ステップＳ８１１におい
て、ステップＳ８１０で受信したキーワードに対応する
データをデータベースより検索する。次に、ステップＳ
８１２において、ステップＳ８１１で検索したデータを
ユーザ端末に送信し、ステップＳ８０１に処理を移す。

【００２０】

【発明が解決しようとする課題】しかしながら、上記従
来例には、以下の問題点がある。

【００２１】即ち、ユーザ端末上で適切に音声認識を行
なうためには、そのユーザ端末に保持されている音声認
識文法が適切なバージョンである必要があるが、そのユ
ーザ端末自身が音声認識文法を更新するタイミングを決
定することは困難である。

【００２２】理想的には、ステップＳ８０７にて認識文
法を作成する際に、ユーザ端末上の音声認識文法を更新
すれば良いが、サーバとユーザ端末とは常に通信回線で
接続されているとは限らず、サーバ上の認識文法作成の
タイミングと同期することは困難である。

【００２３】また、多くの場合、サーバとユーザ端末を
結ぶ通信回線容量は小さく、サーバ上で音声認識文法が
更新される度にユーザ端末に対して差分を送信するシス
テム構成は合理的でない。特に、稀にしか検索対象にな
らないデータの変更の場合、ユーザ端末の音声認識文法
を更新する必要性は小さい。

【００２４】そこで本発明は、音声認識を利用して情報
検索を行なうユーザ端末（クライアント側の情報処理装
置）に格納されている音声認識文法を、サーバ側に格納
されている音声認識文法に、効率良く容易に更新するこ
とを目的とする。

【００２５】

【課題を解決するための手段】上記の目的を達成するた
め、本発明に係る音声認識文法の更新方法は、以下の構
成を特徴とする。

【００２６】即ち、ユーザ端末とサーバとにより構成さ
れる情報検索システムにおける音声認識文法の更新方法
であって、入力されたユーザの音声を、前記ユーザ端末
に格納されている第１音声認識文法に基づいて認識する
と共に、その音声に含まれる未知語を検出する音声認識
工程と、前記音声認識工程にて未知語が検出された際
に、前記第１音声認識文法のバージョン情報と、前記サ
ーバに格納されている第２音声認識文法のバージョン情
報とが異なる場合に、前記ユーザ端末において、前記第
１音声認識文法を、前記第２音声認識文法に更新する更
新工程とを有することを特徴とする。

【００２７】或いは、ユーザ端末とサーバとにより構成
される情報検索システムにおける音声認識文法の更新方
法であって、入力されたユーザの音声を、前記ユーザ端
末に格納されている第１音声認識文法に基づいて認識す
ると共に、その音声に含まれる未知語を検出する音声認
識工程と、前記音声認識工程にて未知語が検出された際
に、前記第１音声認識文法のバージョン情報と、前記サ
ーバに格納されている第２音声認識文法のバージョン情
報とに従って、前記第１音声認識文法と前記第２音声認
識文法との差分情報を、前記サーバにおいて生成する差
分生成工程と、前記差分生成工程にて生成された差分情
報を利用して、前記ユーザ端末において、前記第１音声
認識文法を、前記第２音声認識文法に更新する更新工程
とを有することを特徴とする。

【００２８】好適な実施形態において、前記差分生成工
程では、第ｎバージョンの音声認識文法と、第（ｎ−
１）バージョンの音声認識文法との差分情報を、全ての
ｋ（＜ｎ）について作成することにより、第ｎバージョ
ンの音声認識文法と、第（ｎ−ｋ）バージョンの音声認
識文法との差分情報が生成されると良い。

【００２９】また、例えば前記音声認識工程では、前記
未知語を検出された場合に、前記更新工程にて取得した
前記第２音声認識文法に基づいて、前記音声を再認識す
る良い。

【００３０】或いは、同目的を達成するための情報検索
用のサーバに接続可能なユーザ端末における音声認識文
法の更新方法であって、入力されたユーザの音声を、前
記ユーザ端末に格納されている第１音声認識文法に基づ
いて認識すると共に、その音声に含まれる未知語を検出
する音声認識工程と、前記音声認識工程にて未知語が検
出された際に、前記第１音声認識文法のバージョン情報
を前記サーバに送信すると共に、そのバージョン情報の
送信に応じて前記サーバから取得した差分情報を利用し
て、前記第１音声認識文法を、前記サーバに格納されて
いる第２音声認識文法に更新する更新工程とを有するこ
とを特徴とする。

【００３１】尚、同目的は、上記の各構成を有する音声
認識文法の更新方法を、通信機能を有するコンピュータ
によって実現するプログラムコード、及びそのプログラ
ムコードが格納されている、コンピュータ読み取り可能
な記憶媒体によっても達成される。

【００３２】

【発明の実施の形態】以下、本発明に係る情報検索シス
テムの一実施形態を、図面を参照して詳細に説明する。

【００３３】［第１の実施形態］図１は、第１の実施形
態における情報検索システムのシステム構成図である。

【００３４】同図において、ユーザ端末ＵＴとサーバＳ
Ｖとは、電話回線やインターネット等の通信回線を介し
て、一般的な手順によって、所謂サーバ・クライアント
環境を構成し、双方向通信可能に接続される。本実施形
態において、ユーザは、ユーザ端末ＵＴに接続された音
声入力装置Ｈ３０５を用いて音声を入力し、サーバＳＶ
に接続された外部記憶装置Ｈ１２に記憶された情報を検
索することができる。サーバＳＶにて検索された情報
は、ユーザ端末ＵＴにおいて音声及び／または表示によ
ってユーザに報知される。

【００３５】図２は、第１の実施形態において情報検索
システムを構成するユーザ端末及びサーバのハードウェ
ア構成を示すブロック図である。

【００３６】同図に示すユーザ端末ＵＴにおいて、Ｈ１
は、数値演算・制御等の処理を行なう中央処理装置（Ｃ
ＰＵ）であり、後述する情報検索処理の手順に従って演
算を行なう。Ｈ２は、ユーザに対して情報を、音声及び
／または表示によって提示するスピーカやディスプレイ
等の出力装置であり、音声認識結果やデータベース検索
結果などをユーザに提示する。

【００３７】Ｈ３は、ユーザがユーザ端末ＵＴに対して
動作の指示を与え、あるいは情報を入力する入力装置で
ある。入力装置Ｈ３は、タッチパネルやキーボード等の
汎用入力装置であり、認識ボタンＨ３０１、選択ボタン
Ｈ３０２、方向ボタンＨ３０３、ダイアルＨ３０４、並
びに音声を入力するマイクロホン等の音声入力装置Ｈ３
０５を含む。

【００３８】Ｈ４は、ディスク装置や不揮発メモリ等の
記憶装置であり、後述する情報検索処理のソフトウエア
・プログラム、サーバＳＶとのデータ通信用プログラ
ム、音声認識文法及びそのバージョン情報等が格納され
ている。Ｈ５は、読み取り専用の記憶装置（ＲＯＭ）で
あり、ブートプログラム等の固定データが格納される。
Ｈ６は、ＲＡＭ等の一時情報を保持する記憶装置であ
り、一時的なデータや各種フラグ等が保持される。

【００３９】そしてＨ７は、モデム、ＬＡＮカード、Ｐ
ＨＳカード等のデータ通信装置であり、サーバＳＶとの
通信に用いられる。上述したユーザ端末ＵＴの各構成
は、内部バスによって接続されている。

【００４０】尚、図１に示すユーザ端末ＵＴは、一例と
して、所謂ＰＤＡ（携帯情報端末）の形状を有するが、
本実施形態及び後述する第２の実施形態において説明す
る情報検索システムには、ユーザ端末ＵＴとして、有線
及び／または無線通信機能を有するパーソナル・コンピ
ュータを採用することもできる。

【００４１】次に、図２に示すサーバＳＶにおいて、Ｈ
８は、数値演算・制御等の処理を行なう中央処理装置
（ＣＰＵ）であり、後述する制御処理の手順に従って演
算を行なう。Ｈ９は、ユーザに対して情報を提示するデ
ィスプレイ等の出力装置である。

【００４２】Ｈ１０は、ユーザが本装置に対して動作の
指示を与え、あるいは情報を入力する入力装置である。
Ｈ１１は、モデム、ＬＡＮカード、ＰＨＳカード等のデ
ータ通信装置であり、クライアント（ユーザ端末ＵＴ）
との通信に用いられる。

【００４３】Ｈ１２は、ディスク装置や不揮発メモリ等
の記憶装置であり、データベース・音声認識文法・認識
文法差分作成情報などが保持される。Ｈ１３は、読み取
り専用の記憶装置（ＲＯＭ）であり、ブートプログラム
や端末識別用の固定的なデータ等が格納される。

【００４４】そしてＨ１４は、ＲＡＭ等の一時情報を保
持する記憶装置であり、一時的なデータや各種フラグ等
が保持される。上述したサーバＳＶの各構成は、内部バ
スによって接続されている。

【００４５】次に、上述した情報検索システムにおい
て、ユーザ端末ＵＴとサーバＳＶとにおいて実行される
処理について説明する。

【００４６】図３は、第１の実施形態においてユーザ端
末ＵＴが行なう情報検索処理を示すフローチャートであ
り、中央処理装置（ＣＰＵ）Ｈ１が行なう処理の手順を
示す。

【００４７】同図において、まず、ステップＳ７０１に
おいて、ユーザにより発声された音声を、音声入力装置
Ｈ３０５を介して入力し、ステップＳ７０２では、入力
された音声を、音声認識ステップＳ2において、外部記
憶装置Ｈ４に保持された音声認識文法を用いて認識す
る。

【００４８】ステップＳ７０３では、ステップＳ７０１
において入力された音声中の未知語、即ちステップＳ７
０２にて認識に用いた音声認識文法に含まれていない語
を検出する。

【００４９】次に、ステップＳ７０４では、ステップＳ
７０３において未知語が検出されたかどうかを判定し、
その結果、未知語が検出されていればステップＳ７０８
に進み、そうでなければステップＳ７０５に進む。

【００５０】ステップＳ７０５では、ステップＳ７０２
における認識結果をキーワードとして、通信装置Ｈ７を
利用してサーバＳＶに送信し、ステップＳ７０６では、
係るキーワードの送信に応じて、当該キーワードに対応
する情報を、サーバＳＶから受信する。そして、受信し
た情報は、ステップＳ７０７において出力装置Ｈ２に出
力され、その後、処理はステップＳ７０１に戻る。

【００５１】一方、ステップＳ７０４において未知語が
検出された場合には、ステップＳ７０８において、外部
記憶装置Ｈ４に現在格納されている音声認識文法（第１
音声認識文法）を更新すべきか否かを判定し、その結
果、現在の文法を更新すべきと判定された場合にはステ
ップＳ７０９に進み、そうでなければステップＳ７０５
に進む。

【００５２】ここで、音声認識文法を更新すべきか否か
は、既に音声認識文法が更新されているか、或いはユー
ザによって文法更新が禁止されるかによって判定する。
即ち、既に音声認識文法が更新されたにも関わらず再度
同じ未知語が検出された場合、或いは、音声認識文法の
更新を禁止するユーザの設定指示が予め行われている場
合等には、既に外部記憶装置Ｈ４に格納されてる音声認
識文法の更新は行なわない。

【００５３】ステップＳ７０９では、外部記憶装置Ｈ４
に現在保持されている音声認識文法（第１音声認識文
法）のバージョン情報を読み出し、ステップＳ７１０で
は、読み出したバージョン情報を、通信装置Ｈ７を利用
してサーバＳＶに送信する。

【００５４】ステップＳ７１１では、ステップＳ７１０
にてバージョン情報を送信するのに応じて、外部記憶装
置Ｈ４に現在保持されている音声認識文法との差分情報
を、サーバＳＶから受信する。次に、ステップＳ７１２
では、外部記憶装置Ｈ４に現在保持されている音声認識
文法と、サーバＳＶから受信した差分情報とにより、音
声認識文法を、サーバＳＶが保持する第２音声認識文法
と同じ音声認識文法に再構成し、ステップＳ７０２に戻
る。ここで、音声認識文法の再構成の手順は、現在では
一般的なものを採用することができるので、本実施形態
における説明は省略する。

【００５５】次に、上記のユーザ端末ＵＴの動作に対応
するサーバＳＶの処理については、上述した図４に示す
制御処理を採用することができるので、説明を省略す
る。

【００５６】このような本実施形態に係る情報検索シス
テムによれば、ユーザ端末ＵＴ上の音声認識文法を更新
するタイミングを自動的に決定することができ、その音
声認識文法が更新されるタイミングは、ユーザ端末ＵＴ
に現在格納されている音声認識文法以外の単語をユーザ
が発声した場合に限られる。これにより、図１６を参照
して説明した情報検索処理がクライアント側にて実行さ
れるシステム構成と比較して、ユーザ端末ＵＴ・サーバ
ＳＶ間の通信回数を削減することができるので、通信回
線の容量が比較的小さい場合であっても、音声認識文法
を効率良く更新することができる。

【００５７】＜第１の実施形態の変形例＞上述した第１
の実施形態において、ステップＳ７１１及びステップＳ
８０５で認識文法の差分を送受信しているが、場合によ
っては、認識文法全体を送受信しても良い。例えば、ス
テップＳ８０３においてサーバＳＶが受信した認識文法
バージョンが非常に古い場合には認識文法全体を送信す
るものとする。その際、送信内容が認識文法全体である
旨を示す情報を共に送信することにより、ユーザ端末Ｕ
ＴがステップＳ７１２において認識文法を総書き換え可
能に構成する。このようなシステム構成を採用すれば、
ステップＳ８０８で作成される認識文法のバックアップ
等の情報の量を抑えることができ、好適である。

【００５８】［第２の実施形態］次に、上述した第１の
実施形態に係る情報検索システムを基本とする第２の実
施形態を説明する。以下の説明においては、第１の実施
形態と同様な構成を採用可能なシステム構成（図１及び
図２）については説明を省略し、上述したシステム構成
において、ユーザ端末ＵＴとサーバＳＶとにおいて実行
される処理について説明する。

【００５９】図５乃至図９は、第２の実施形態において
ユーザ端末ＵＴが行なう情報検索処理を示すフローチャ
ートであり、中央処理装置（ＣＰＵ）Ｈ１が行なう処理
の手順を示す。尚、本実施形態において、係る情報検索
処理のソフトウエア・プログラムは、イベント駆動型プ
ログラムとして記述されており、入力装置Ｈ３からのユ
ーザの入力操作等の割り込み・並行動作するサブルーチ
ンとの同期情報等はイベントとして発行される。

【００６０】同図において、まず、ステップＳ１におい
て、新たなイベントを取得し、ステップＳ２では、ステ
ップＳ１で取得したイベントがユーザによる認識ボタン
Ｈ３０１の押下によるものであるかを判定し、認識ボタ
ンＨ３０１の押下であるならばステップＳ３に処理を移
し、認識ボタンＨ３０１の押下でなければステップＳ４
に処理を移す。

【００６１】ステップＳ３では、音声入力装置Ｈ３０５
を介して入力されるユーザの音声認識を開始した後、ス
テップＳ１に処理を移す。ここで、本実施形態における
音声認識は、図５乃至図９の各フローチャートに示され
る処理とは非同期に動作し、音声入力装置Ｈ３０５から
音声が入力されるのに従って一般的な音声認識が実行さ
れる。そして、本ステップにおいて音声認識結果が確定
した場合には、音声認識終了を示すイベントが発行され
る。

【００６２】ステップＳ４では、ステップＳ１で取得し
たイベントが、ユーザによる認識ボタンＨ３０１の解除
操作によるものであるかを判定し、認識ボタンＨ３０１
の解除であるならばステップＳ５に処理を移し、認識ボ
タンＨ３０１の解除でなければステップＳ６に処理を移
す。

【００６３】ステップＳ５では、ステップＳ３で開始さ
れた音声認識の実行を中止し、ステップＳ１に処理を移
す。

【００６４】ステップＳ６では、ステップＳ１で取得し
たイベントが音声認識終了を示すイベントであるかを判
定し、音声認識の終了であるならばステップＳ１０１に
処理を移し、音声認識の終了でなければステップＳ７に
処理を移す。

【００６５】ステップＳ７では、ステップＳ１で取得し
たイベントがユーザによるダイアルＨ３０４の操作によ
るものであるかを判定し、ダイアルＨ３０４の操作であ
るならばステップＳ２０１に処理を移し、ダイアルＨ３
０４の操作でなければステップＳ８に処理を移す。

【００６６】ステップＳ８では、ステップＳ１で取得し
たイベントがユーザによる選択ボタンＨ３０２の押下に
よるものであるかを判定し、選択ボタンＨ３０２の押下
であるならばステップＳ３０１に処理を移し、選択ボタ
ンＨ３０２の押下でなければステップＳ１に処理を移
す。

【００６７】ステップＳ１０１では、音声認識によって
得られた結果を取得し、ステップＳ１０２では、ステッ
プＳ１０１で得られた認識結果に対応する入力音声を取
得する。

【００６８】次に、ステップＳ１０３では、ステップＳ
１０１で得られた音声認識結果に未知語が含まれている
か判定し、未知語が含まれているならばステップＳ１０
４に処理を移し、未知語が含まれていないならばステッ
プＳ１１２に処理を移す。

【００６９】ステップＳ１０４では、外部記憶装置Ｈ４
に現在格納されている音声認識文法（第１音声認識文
法）を更新するかどうかを判定し、文法更新の必要があ
ればステップＳ１０５に処理を移し、文法更新の必要が
なければステップＳ１１２に処理を移す。例えば、音声
認識文法を更新しない旨のユーザによる入力指示がある
場合等には、文法更新の必要無しと判断する。

【００７０】ステップＳ１０５では、「認識文法の要
求」を意味するデータを、サーバＳＶに送信し、ステッ
プＳ１０６では、自端末にて現在音声認識に用いている
文法のバージョン情報を取得する。

【００７１】次に、ステップＳ１０７では、ステップＳ
１０６で得られた音声認識文法のバージョン情報をサー
バＳＶに送信し、ステップＳ１０８では、そのバージョ
ン情報の送信に応じて、サーバＳＶから、当該サーバに
格納されている音声認識文法（第２音声認識文法）との
差分情報を受信する。

【００７２】次に、ステップＳ１０９では、ステップＳ
１０８で得られた差分情報と自端末にて現在音声認識に
用いている音声認識文法により、第２音声認識文法と同
じ新たな音声認識文法を再構成する。

【００７３】次に、ステップＳ１１０では、新たな文法
のバージョン情報を、サーバＳＶより受信する。

【００７４】次に、ステップＳ１１１では、ステップＳ
１０２で取得した音声に対して、ステップＳ１０９で新
たに構成された音声認識文法を適用して音声認識を行な
い、ステップＳ１１２に処理を移す。

【００７５】ステップＳ１１２では、ステップＳ１０１
あるいはステップＳ１１１で得られた音声認識結果を、
出力装置Ｈ２に出力する。

【００７６】次に、ステップＳ１１３では、ステップＳ
１１２で出力装置Ｈ２に表示（出力）されたリスト中の
第一位認識結果（例えば、図１２の表示例において反転
表示された「金閣寺」に相当）を選択し、ステップＳ１
に処理を移す。

【００７７】ステップＳ２０１では、ダイアルＨ３０４
に対して行われるユーザの入力操作の方向を判定し、操
作方向が上方向であるならばステップＳ２０２に処理を
移し、操作方向が上方向でないならばステップＳ２０３
に処理を移す。

【００７８】ステップＳ２０２では、ユーザによる選択
対象の認識結果を、一つ上方向の認識結果に移す。すな
わち、ｎ番目の認識結果が選択されていたならば、（ｎ
−１）番目の認識結果が選択され、その後、ステップＳ
１に処理を移す。

【００７９】ステップＳ２０３では、ユーザによる選択
対象の認識結果を一つ下方向の認識結果に移す。すなわ
ち、ｎ番目の認識結果が選択されていたならば、（ｎ＋
１）番目の認識結果を選択し、その後、ステップＳ１に
処理を移す。

【００８０】ステップＳ３０１では、選択されている認
識結果を取得し、ステップＳ３０２では、「画像データ
の要求」を意味するデータをサーバＳＶに送信する。そ
して、ステップＳ３０３では、自端末に受信する画像の
最大数をサーバＳＶに送信する。

【００８１】次に、ステップＳ３０４では、ステップＳ
３０１で認識結果として取得した選択内容を、サーバＳ
Ｖに送信する。

【００８２】次に、ステップＳ３０５では、ステップＳ
３０４で送信した認識結果に対応する画像の数をサーバ
ＳＶより受信し、ステップＳ３０６では、ステップＳ３
０５で受信した画像数が０でないか判定し、画像数が０
ならばステップＳ３０７に処理を移し、画像数が０でな
いならばステップＳ３０８に処理を移す。

【００８３】ステップＳ３０７では、画像データが存在
しない旨を、出力装置Ｈ２によってユーザに警告し、ス
テップＳ１に処理を移す。画像データが存在しない旨の
警告の例を図１５に示す。

【００８４】ステップＳ３０８では、ステップＳ３０５
で受信した画像数がステップＳ３０３でサーバＳＶに対
して送信した最大受信画像数より多いかを判定し、画像
数が最大受信画像数より多ければステップＳ３０９に処
理を移し、画像数が最大受信画像数より少なければステ
ップＳ３１３に処理を移す。

【００８５】ステップＳ３０９では、ステップＳ３０１
で認識結果として取得した選択内容に対応するところ
の、サーバＳＶから取得可能な画像が、最大受信画像数
よりも多い旨をユーザに警告する。画像データが最大受
信画像数よりも多い旨の警告の例を図１４に示す。

【００８６】次に、ステップＳ３１０では、ステップＳ
３０１で認識結果として取得した選択内容に対応する画
像を一意に同定する固有キーワードのリストを、サーバ
ＳＶより受信し、ステップＳ３１１では、ステップＳ３
１０で受信した固有キーワードリストを出力装置Ｈ２に
出力する。そして、ステップＳ３１２では、出力されて
いる固有キーワードのうち、最初のキーワードを選択
し、ステップＳ１に処理を移す。

【００８７】ステップＳ３１３では、選択された認識結
果に対応する画像の内、一番目の画像データをサーバＳ
Ｖより受信し、ステップＳ４０１では、ステップＳ３０
５で受信した画像数が１より大きいか判定し、画像数が
１より大ならばステップＳ４０２に処理を移し、画像数
が１より大でないならばステップＳ４０３に処理を移
す。

【００８８】ステップＳ４０２では、二番目以降の画像
データを、図９に示すフローチャートの処理とは非同期
に、サーバＳＶより受信する。非同期受信を開始した
後、ステップＳ４０３に処理を移す。

【００８９】ステップＳ４０３では、出力装置Ｈ２の画
面を画像表示用の画面に切り替え、ステップＳ４０４で
は、ステップＳ３１３で受信した画像データを、例えば
図１３に例示する如く表示する。

【００９０】次に、ステップＳ４０５では、イベントを
取得し、ステップＳ４０６では、ステップＳ４０５で取
得したイベントがユーザによるダイアルＨ３０４の操作
によるものであるか判定し、ダイアルＨ３０４の操作で
あるならばステップＳ４１１に処理を移し、ダイアルＨ
３０４の操作でなければ、ステップＳ４０７に処理を移
す。

【００９１】ステップＳ４０７では、ステップＳ４０５
で取得したイベントがユーザによる認識ボタンＨ３０１
の押下によるものであるか判定し、認識ボタンＨ３０１
の押下であるならばステップＳ４０８に処理を移し、認
識ボタンＨ３０１の操作でなければステップＳ４０５に
処理を移す。

【００９２】ステップＳ４０８では、ステップＳ４０２
で開始した非同期の画像データ受信を中止し、ステップ
Ｓ４０９では、出力装置Ｈ２の画面を、例えば図１２に
例示する如く元の画面に切り替える。

【００９３】次に、ステップＳ４１０では、ステップＳ
３と同様に音声認識を開始し、イベント取得すべくステ
ップＳ１に処理を移す。

【００９４】ステップＳ４１１では、ユーザによるダイ
アルＨ３０４の操作に応じて、対象画像を変更する。ｎ
番目の画像が現在の対象画像となっている場合、ダイア
ルＨ３０４の操作が上方向ならば（ｎ−１）番目の画像
を対象画像とし、ダイアルＨ３０４の操作が下方向なら
ば（ｎ＋１）番目の画像を対象画像とする。

【００９５】次に、ステップＳ４１２では、ステップＳ
４１１で変更された対象画像が既にサーバＳＶより受信
されて自端末内に存在するかを判定する。対象画像が既
に受信されているならばステップＳ４１４に処理を移
し、対象画像が既に受信されていないならばステップＳ
４１３に処理を移す。

【００９６】ステップＳ４１３では、ステップＳ４１１
で変更された対象画像が、ステップＳ４０２で開始され
た非同期の画像データ受信によって受信されるまで待機
し、ステップＳ４１１で変更された対象画像が受信され
たらステップＳ４１４に処理を移す。ステップＳ４１４
では、ステップＳ４１１で変更された対象画像を表示
し、ステップＳ４０５に処理を移す。

【００９７】次に、本実施形態におけるサーバＳＶの動
作について説明する。

【００９８】図１０及び図１１は、第２の実施形態にお
いてサーバＳＶが行なう制御処理を示すフローチャート
であり、中央処理装置（ＣＰＵ）Ｈ８が行なう処理の手
順を示す。尚、本実施形態において、係る制御処理のソ
フトウエア・プログラムは、イベント駆動型プログラム
として記述されており、入力装置Ｈ１０からの入力等の
割り込みおよびクライアント（ユーザ端末ＵＴ）からの
データ受信等はイベントとして発行される。

【００９９】同図において、まず、ステップＳ５０１に
おいて、新たなイベントを取得し、ステップＳ５０２で
は、ステップＳ５０１で取得したイベントがユーザ端末
ＵＴからのデータ受信であるか判定し、ユーザ端末ＵＴ
からのデータ受信であるならばステップＳ５０６に処理
を移し、ユーザ端末ＵＴからのデータ受信でなければス
テップＳ５０３に処理を移す。

【０１００】ステップＳ５０３では、ステップＳ５０１
で取得したイベントが画像データの追加・削除等といっ
た外部記憶装置Ｈ１２内のデータベースの更新の通知で
あるか判定し、データベースの更新の通知であればステ
ップＳ５０４に処理を移し、データベースの更新の通知
でなければステップＳ５０１に処理を移す。

【０１０１】ステップＳ５０４では、更新後のデータベ
ースに合わせた音声認識文法（第２音声認識文法）を作
成する。例えば、データが追加された場合には対応する
語を追加し、データが削除された場合には語を削除す
る。

【０１０２】次に、ステップＳ５０５では、ステップＳ
５０４で作成した文法と、過去の文法との差分を作成す
るのに必要な情報を作成する。具体的には、全てのｎ
（ｎは自然数）について、ｎ回目に作成された文法（即
ち、第ｎバージョンの音声認識文法）と（ｎ−１）回目
に作成された文法（即ち、第（ｎ−１）バージョンの音
声認識文法）の差分を作成すれば良い。これにより、全
てのｋ（＜ｎ）について、ｎ回目の文法と（ｎ−ｋ）回
目の文法との差分を作成することができる。本ステップ
において認識文法の差分作成情報が作成後、ステップＳ
５０１に処理を移す。

【０１０３】ステップＳ５０６では、ユーザ端末ＵＴで
あるユーザ端末ＵＴから受信したデータが、前述したス
テップＳ３０２（図８）における「画像データの要求」
を意味するデータであるか判定し、「画像データの要
求」を意味するデータであればステップＳ６０１に処理
を移し、「画像データの要求」を意味するデータでなけ
ればステップＳ５０７に処理を移す。

【０１０４】ステップＳ５０７では、受信したデータ
が、前述したステップＳ１０５（図６）における「認識
文法の要求」を意味するデータであるか判定し、「認識
文法の要求」を意味するデータであればステップＳ５０
８に処理を移し、「認識文法の要求」を意味するデータ
でなければステップＳ５０１に処理を移す。

【０１０５】ステップＳ５０８では、ユーザ端末ＵＴに
保持されている認識文法のバージョン情報を、サーバＳ
Ｖに受信する。

【０１０６】次に、ステップＳ５０９では、ステップＳ
５０９で受信した音声認識文法（第１音声認識文法）の
バージョン情報と、ステップＳ５０５で作成した認識文
法差分作成情報とにより、認識文法の差分情報を作成す
る。そして、ステップＳ５１０では、ステップＳ５０９
で作成した認識文法の差分情報を、ユーザ端末ＵＴに送
信する。更にステップＳ５１１では、現在の音声認識文
法（第２音声認識文法）のバージョン情報をユーザ端末
ＵＴに送信し、ステップＳ５０１に処理を移す。

【０１０７】ステップＳ６０１では、ユーザ端末ＵＴに
送る画像データ数の上限を受信し、ステップＳ６０２で
は、データベース検索用のキーワードを、当該クライア
ント（ユーザ端末ＵＴ）から受信する。

【０１０８】次に、ステップＳ６０３では、受信したキ
ーワードに対応するデータを、外部記憶装置Ｈ１２内の
データベースより検索し、ステップＳ６０４では、検索
の結果得られたデータの個数を、ユーザ端末ＵＴに送信
する。

【０１０９】次に、ステップＳ６０５では、検索結果得
られたデータの個数が、ステップＳ６０１で受信したユ
ーザ端末ＵＴに送る画像データ数の上限よりも多いか判
定し、当該検索結果として得られたデータの個数がステ
ップＳ６０１で受信したユーザ端末ＵＴに送る画像デー
タ数の上限よりも多い場合には、ステップＳ６０７に処
理を移し、当該検索結果として得られたデータの個数が
ステップＳ６０１で受信したユーザ端末ＵＴに送る画像
データ数の上限よりも少ない場合には、ステップＳ６０
６に処理を移す。

【０１１０】ステップＳ６０６では、ステップＳ６０３
における検索の結果得られたデータをユーザ端末ＵＴに
送信し、ステップＳ５０１に処理を移す。

【０１１１】ステップＳ６０７では、ステップＳ６０３
における検索の結果得られたデータを同定するためのキ
ーワードリストを作成する。固有キーワードの例として
は、人手により一意性を考慮して付与したキーワード、
データに付与されている全キーワードの連結等がある。
また、必ずしも一意に同定する必要はなく、前記最大送
信画像数以下に絞り込めるキーワードであれば良い。

【０１１２】そして、ステップＳ６０８では、ステップ
Ｓ６０７で作成した固有キーワードリストをユーザ端末
ＵＴに送信し、ステップＳ５０１に処理を移す。

【０１１３】＜第２の実施形態の変形例＞上述した第２
の実施形態において、ユーザ端末ＵＴでは、ステップＳ
３１１にて固有キーワードリストを出力装置Ｈ２にて表
示した後、音声認識文法を、固有キーワードのみで構成
される認識文法にしても良く、この場合、初期画面を表
示するステップＳ４０９の実行後に、全キーワードを認
識する文法に切り替えれば良い。

【０１１４】また、上述した第２の実施形態では、外部
記憶装置Ｈ１２内のデータベースに格納されている複数
枚の画像データを検索対象として説明したが、上述した
情報検索システムの検索対象は画像に限られるものでは
なく、音声データその他の任意の検索対象に適用しても
良い。

【０１１５】また、上述した第２の実施形態では、ユー
ザ端末ＵＴにおいて、上向きの方向ボタンＨ３０３の操
作をダイアルＨ３０４の上向きの操作、下向きの方向ボ
タンＨ３０３の操作をダイアルＨ３０４の下向きの操作
とみなせば、方向ボタンＨ３０３による操作も可能とな
る。

【０１１６】このような本実施形態及びその変形例に係
る情報検索システムによれば、ユーザ端末ＵＴ上の音声
認識文法を更新するタイミングを自動的に決定すること
ができ、その音声認識文法が更新されるタイミングは、
ユーザ端末ＵＴに現在格納されている音声認識文法以外
の単語をユーザが発声した場合に限られる。これによ
り、図１６を参照して説明した情報検索処理がクライア
ント側にて実行されるシステム構成と比較して、ユーザ
端末ＵＴ・サーバＳＶ間の通信回数を削減することがで
きるので、通信回線の容量が比較的小さい場合であって
も、音声認識文法を効率良く更新することができる。

【０１１７】

【他の実施形態】尚、本発明の目的は、前述した実施形
態の機能を実現するソフトウェア・プログラムコードを
記録した記憶媒体（または記録媒体）を、上述したユー
ザ端末ＵＴとして動作する通信機能を有するパーソナル
・コンピュータ等の情報処理装置、及びサーバＳＶとし
て動作するサーバコンピュータに供給し、それらシステ
ムあるいは装置のコンピュータ（またはCPUやMPU）が記
憶媒体に格納されたプログラムコードを読み出し実行す
ることによっても達成される。この場合、記憶媒体から
読み出されたプログラムコード自体が前述した実施形態
の機能を実現することになり、そのプログラムコードを
記憶した記憶媒体、並びに電気通信回線等を介してコン
ピュータプログラム製品として取得した当該プログラム
コードは、本発明を構成することになる。

【０１１８】また、コンピュータが読み出したプログラ
ムコードを実行することにより、前述した実施形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼働しているオペレーテ
ィングシステム(OS)等が実際の処理の一部または全部を
行い、その処理によって前述した実施形態の機能が実現
される場合も含まれる。

【０１１９】更に、記憶媒体から読み出されたプログラ
ムコードが、コンピュータに挿入された機能拡張カード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張カードや機能拡張ユニットに備わ
るCPU等が実際の処理の一部または全部を行い、その処
理によって前述した実施形態の機能が実現される場合も
含まれる。

【０１２０】

【発明の効果】以上説明した本発明によれば、音声認識
を利用して情報検索を行なうユーザ端末（クライアント
側の情報処理装置）に格納されている音声認識文法を、
サーバ側に格納されている音声認識文法に、効率良く容
易に更新することができる。

【図面の簡単な説明】

【図１】第１の実施形態における情報検索システムのシ
ステム構成図である。

【図２】第１の実施形態において情報検索システムを構
成するユーザ端末及びサーバのハードウェア構成を示す
ブロック図である。

【図３】第１の実施形態においてユーザ端末ＵＴが行な
う情報検索処理を示すフローチャートである。

【図４】情報提供を行なうサーバの制御処理を示すフロ
ーチャートである。

【図５】第２の実施形態においてユーザ端末ＵＴが行な
う情報検索処理を示すフローチャートである。

【図６】第２の実施形態においてユーザ端末ＵＴが行な
う情報検索処理を示すフローチャートである。

【図７】第２の実施形態においてユーザ端末ＵＴが行な
う情報検索処理を示すフローチャートである。

【図８】第２の実施形態においてユーザ端末ＵＴが行な
う情報検索処理を示すフローチャートである。

【図９】第２の実施形態においてユーザ端末ＵＴが行な
う情報検索処理を示すフローチャートである。

【図１０】第２の実施形態においてサーバＳＶが行なう
制御処理を示すフローチャートである。

【図１１】第２の実施形態においてサーバＳＶが行なう
制御処理を示すフローチャートである。

【図１２】ユーザ端末ＵＴの出力装置Ｈ２において複数
の認識結果をリスト表示する場合の表示画面を例示する
図である。

【図１３】ユーザ端末ＵＴの出力装置Ｈ２において認識
結果に対応する画像を表示する表示画面を例示する図で
ある。

【図１４】サーバＳＶ上の画像データ数がユーザ端末Ｕ
Ｔの最大受信画像数よりも多い場合に、ユーザ端末ＵＴ
においてユーザに対して警告するためのガイダンス画面
を例示する図である。

【図１５】サーバＳＶ上に該当する画像データが存在し
ないことを、ユーザ端末ＵＴにおいてユーザに対して警
告するためのガイダンス画面を例示する図である。

【図１６】音声入力を利用した情報検索システムにおけ
るユーザ端末の情報検索処理を示すフローチャートであ
る。

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 15/00 Ｇ１０Ｌ 3/00 ５３７Ｊ 15/18 ５５１Ａ 15/20 ５７１Ｋ 15/28 ５３１Ｐ

Claims (8)

【特許請求の範囲】
1. 【請求項１】 ユーザ端末とサーバとにより構成される
   情報検索システムにおける音声認識文法の更新方法であ
   って、 入力されたユーザの音声を、前記ユーザ端末に格納され
   ている第１音声認識文法に基づいて認識すると共に、そ
   の音声に含まれる未知語を検出する音声認識工程と、 前記音声認識工程にて未知語が検出された際に、前記第
   １音声認識文法のバージョン情報と、前記サーバに格納
   されている第２音声認識文法のバージョン情報とが異な
   る場合に、前記ユーザ端末において、前記第１音声認識
   文法を、前記第２音声認識文法に更新する更新工程と、
   を有することを特徴とする音声認識文法の更新方法。
2. 【請求項２】 ユーザ端末とサーバとにより構成される
   情報検索システムにおける音声認識文法の更新方法であ
   って、 入力されたユーザの音声を、前記ユーザ端末に格納され
   ている第１音声認識文法に基づいて認識すると共に、そ
   の音声に含まれる未知語を検出する音声認識工程と、 前記音声認識工程にて未知語が検出された際に、前記第
   １音声認識文法のバージョン情報と、前記サーバに格納
   されている第２音声認識文法のバージョン情報とに従っ
   て、前記第１音声認識文法と前記第２音声認識文法との
   差分情報を、前記サーバにおいて生成する差分生成工程
   と、 前記差分生成工程にて生成された差分情報を利用して、
   前記ユーザ端末において、前記第１音声認識文法を、前
   記第２音声認識文法に更新する更新工程と、を有するこ
   とを特徴とする音声認識文法の更新方法。
3. 【請求項３】 前記差分生成工程では、第ｎバージョン
   の音声認識文法と、第（ｎ−１）バージョンの音声認識
   文法との差分情報を、全てのｋ（＜ｎ）について作成す
   ることにより、第ｎバージョンの音声認識文法と、第
   （ｎ−ｋ）バージョンの音声認識文法との差分情報が生
   成されることを特徴とする請求項２記載の音声認識文法
   の更新方法。
4. 【請求項４】 前記音声認識工程では、前記未知語を検
   出された場合に、前記更新工程にて取得した前記第２音
   声認識文法に基づいて、前記音声を再認識することを特
   徴とする請求項２または請求項３記載の音声認識文法の
   更新方法。
5. 【請求項５】 情報検索用のサーバに接続可能なユーザ
   端末における音声認識文法の更新方法であって、 入力されたユーザの音声を、前記ユーザ端末に格納され
   ている第１音声認識文法に基づいて認識すると共に、そ
   の音声に含まれる未知語を検出する音声認識工程と、 前記音声認識工程にて未知語が検出された際に、前記第
   １音声認識文法のバージョン情報を前記サーバに送信す
   ると共に、そのバージョン情報の送信に応じて前記サー
   バから取得した差分情報を利用して、前記第１音声認識
   文法を、前記サーバに格納されている第２音声認識文法
   に更新する更新工程と、を有することを特徴とする音声
   認識文法の更新方法。
6. 【請求項６】 情報検索用のサーバに接続可能な情報処
   理装置であって、 入力されたユーザの音声を、前記情報処理装置に格納さ
   れている第１音声認識文法に基づいて認識すると共に、
   その音声に含まれる未知語を検出する音声認識手段と、 前記音声認識手段によって未知語が検出された際に、前
   記第１音声認識文法のバージョン情報を前記サーバに送
   信すると共に、そのバージョン情報の送信に応じて前記
   サーバから取得した差分情報を利用して、前記第１音声
   認識文法を、前記サーバに格納されている第２音声認識
   文法に更新する更新手段と、を備えることを特徴とする
   情報処理装置。
7. 【請求項７】 請求項５記載の音声認識文法の更新方法
   を、通信機能を備えるコンピュータによって実現可能な
   動作指示をなすことを特徴とするコンピュータ・プログ
   ラム。
8. 【請求項８】 請求項６記載の情報処理装置として、通
   信機能を備えるコンピュータを動作させる指示をなすこ
   とを特徴とするコンピュータ・プログラム。