JPH04365125A - 画面生成方法および音声出力方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声出力機能をもつ画
面生成の方法および、その画面での音声出力方法に係り
、特に複数の音声出力域をもつ場合に好適な、画面の生
成方法ならびにその音声出力方法に関する。

【０００２】

【従来の技術】音声合成装置を用いた文字列データの読
み上げにおいては、文字列データとして表現された漢字
かな混じりの文書や数値データを日本語音声で出力する
装置が報告され実際に市販もされている。

【０００３】これら市販されている音声合成装置の機能
は以下に示すものである。

【０００４】（１）　指定したファイルの内容を読み上
げる。

【０００５】（２）　画面上に表示されたテキストを行
単位で指定して読み上げる。

【０００６】（３）　画面上に表示されたテキストを矩
形域で指定して読み上げる。

【０００７】（４）　画面上に表示されたテキストの指
定範囲を読み上げる。

【０００８】（５）　また、単一画面上にテキストを表
示しながら、同期をとって読み上げる。

【０００９】この公知例としては、市販されている日本
語音声合成装置（ＡＳＣＩＩ　ＶＯＩＣＥ　ＭＡＫＥＲ
：アスキー社商品名）があげられる。

【００１０】

【発明が解決しようとする課題】上記の従来方法では、
利用者が起動したユーザプログラムの表示画面において
、その特定の出力領域に表示される数値やメッセージを
ユーザプログラムの実行にともなってリアルタイムで読
み上げることができない。すなわち、リアルタイム性を
要求される情報システムでのアラーム機能や、常に利用
者が表示画面の監視をする必要のあるシステムでの警告
メッセージ等を音声出力する場合に、特定の文字列表示
域に対してだけ音声出力させたいとか、異なる文字列表
示領域で異なる音声で出力させたいという要求を満たせ
ないことになる。

【００１１】このように従来方法は、複数の文字列表示
領域に音声出力機能を付けて、より木目細やかにテキス
ト読み上げをすることに対して十分な考慮がされてなく
、効果的な音声出力情報を利用者に提供できないという
問題があった。

【００１２】本発明の目的は係る問題を解決して、利用
者により木目細やかで効果的な音声出力情報を与える音
声出力方法および、その音声出力機能を有す画面の生成
方法を提供することである。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に、本発明の方法は、入力されたコマンドが音声出力域
の設定用コマンドである場合、音声出力域の場所情報を
入力し、この場所情報に対応する画面上の文字列入出力
域を求め、さらにこの音声出力域に対する出力音声の属
性情報を入力し、求めた文字列入出力域とこの出力音声
の属性情報を対応づけて記憶し、これら処理を繰り返し
適用するものである。

【００１４】また、これら記憶した文字列入出力域と出
力音声の属性情報を利用して、ユーザプログラムから文
字列入出力域に対して、文字列の出力または文字列の入
力要求が行われた場合に、要求があった入出力域を識別
し、識別した入出力域に音声出力に関する設定がなされ
ているか否かを判定し、音声出力に関する設定がなされ
ていれば、該出力音声の属性情報を取り出し、該属性情
報に応じた音声合成で前記出力または入力した文字列を
音声出力し、音声出力に関する設定がなされていない場
合には、特に音声出力を行わずに、出力または入力した
文字列を該文字列入出力域に表示するものである。

【００１５】

【作用】入力されたコマンドが音声出力域の設定用コマ
ンドである場合、音声出力域の場所情報を入力して、こ
の場所情報に対応する画面上の文字列入出力域を求める
ことで、画面上の任意の文字列入出力域を音声出力域と
して指定が出来る。さらにこの音声出力域に対する出力
音声の属性情報を入力し、求めた文字列入出力域とこの
出力音声の属性情報を対応づけて記憶することで、画面
上の任意の文字列入出力域に対して設定した出力音声の
種別を保持することが出来る。そしてこれら処理を繰り
返し適用することにより、画面上の複数の文字列入出力
域に対して個別に出力音声の種別を設定でき、この情報
を保持できる。

【００１６】また、これら記憶した文字列入出力域と出
力音声の属性情報を利用して、ユーザプログラムから文
字列入出力域に対して、文字列の出力または文字列の入
力要求が行われた場合に、要求があった入出力域を識別
し、識別した入出力域に音声出力に関する設定がなさせ
ているか否かを判定し、音声出力に関する設定がなされ
ていれば、該出力音声の属性情報を取り出すことで、画
面に対して文字列の入出力が要求されたとき、その文字
列入出力域に対して設定されている音声出力の種別を取
り出すことができる。そして、該属性情報に応じた音声
合成で出力または入力した文字列を音声出力することで
、入出力要求のあった文字列入出力域に応じた音声種別
で文字列を読み上げることができる。

【００１７】

【実施例】以下、本発明の一実施例を説明する。本発明
は、計算機装置で実行されるプログラムがディスプレイ
へ出力する画面において、そこで行う計算機と利用者と
のインタフェース処理に音声を利用するものである。

【００１８】本発明の効果が顕著に現われるケースとし
ては、実行されるプログラムが多種多様の情報を入出力
する比較的複雑な画面を有し、さらにそのプログラムの
実行結果やメッセージが出力されるタイミングが重要と
なる場合があげられる。例えば、プラント等のリアルタ
イム故障診断システムや、株や債券などの取引売買のタ
イミングを知らせてくれるシステムである。このような
システムにおいては、利用者は常に画面を観察しておく
必要がある。重要なメッセージや出力結果を見逃すこと
は事故をまねき、ビジネスチャンスを逃すこととなる。 しかしながら、ずっと画面に注視することも利用者にと
って大きな負担となる。

【００１９】そのため警告やアラームを発して利用者に
注意を促すわけであるが、この警告やアラームを音声出
力で行ない、よりきめ細やかに利用者への情報提示をさ
せようというのが本発明の目的である。

【００２０】そこで本実施例として、株の売買タイミン
グを知らせてくれるシステムをあげて説明するものとす
る。

【００２１】図１，図２および図３は本発明の処理手順
の一実施例を示すフローチャートである。図１はプログ
ラムが提示する画面を対話的に生成するユーザインター
フェース構築時の音声出力域の設定の処理手順を示すも
ので、図２および図３は実際のユーザプログラム実行に
おける音声出力の処理手順を示すものである。

【００２２】図４は本発明を実施する計算機装置のハー
ドウエア構成の一実施例である。また図５は記憶装置４
０６に記憶されるインタフェース画面の情報を格納した
インタフェース画面情報テーブル４０７の構造を示すも
のである。

【００２３】図４において、ディスプレイ４０１はユー
ザインタフェース構築時あるいは、実際のユーザプログ
ラム実行での対話画面を生成して、システムからのメッ
セージや実行結果，入力要求を促す各種メニューや入力
エリアを表示するための出力装置である。キーボード４
０２はシステムからの入力要求に対する回答を数字や文
字列で入力するための入力装置。マウス４０３はディス
プレイ４０１の画面上を指示して領域を指定したり、各
種のメニュー選択して処理起動の情報を入力するポイン
ティング型の入力装置である。記憶装置４０６は入力装
置から入力した情報や処理装置で演算・加工された各種
情報を保持するための情報記憶媒体であり、インタフェ
ース画面情報テーブル４０７等が記憶される。処理装置
４０４はこれら各装置の制御を司るもので、各装置から
のデータ読出し、各装置へのデータ書き込み、およびデ
ータの検査や演算処理を内部に格納されたプログラム４
０５によって行う。

【００２４】では図１に従いユーザインタフェース構築
時における音声出力領域の設定手順について説明する。

【００２５】まず、ユーザインタフェース構築用の対話
画面をディスプレイ４０１に表示する。ここで表示する
画面の出力例は図６に示したものである。６０１はユー
ザインタフェース画面に対して各種領域の生成・削除や
移動等の指示をするための、ユーザインタフェース構築
用のコマンド表示領域である。６０２はユーザプログラ
ムの実行時に表示される生成途中のユーザインタフェー
ス画面である。もちろん画面生成直後は、本ユーザイン
タフェース画面６０２には何も表示されていない。コマ
ンド表示領域６０１の主なコマンドには次のものがある
。

【００２６】文字列入出力域生成コマンド６０３：ユー
ザプログラムの実行において実行結果やメッセージ等の
文字列データを表示したり、利用者からのキーボード入
力を受付け、その文字列をエコー表示するための領域を
作成するためのコマンド領域である。本コマンドエリア
をマウス４０３を用いてピックした後、ユーザインタフ
ェース画面６０２上の任意の場所をマウス４０３を用い
て指定することで、本領域の生成ができる。さらに生成
した文字列入出力領域に対して、ＩＤ名称をキーボード
４０２を用いて入力する。ユーザプログラムの実行では
、このＩＤを指定して文字列情報の表示，入力を行なう
。なお本コマンドの実行により、インタフェース画面情
報テーブル４０７への書き込みが行なわれる。この４０
７のテーブル構造は図５に示すものである。生成した文
字列入出力域の各々に対応して、５０１にはＩＤ名称を
、５０２には生成領域の左上角のＸ座標値（画面左側が
座標“０”とする）を、５０３には同様にＹ座標値（画
面上部が座標“０”とする）を、５０４には表示可能な
文字列の行数を、５０５には表示可能な横方向の文字列
数を格納するのである。本処理は図１のステップ１０７
に含まれるものである。

【００２７】文字列入出力域削除コマンド６０４：上記
コマンド６０３によって生成した文字列入出力領域をユ
ーザインタフェース画面６０２から削除するもので、本
領域をマウス４０３で指示した後、さらにマウス４０３
を用いてユーザインタフェース画面６０２上のすでに生
成された文字列入出力域を指定して削除する。本処理も
ステップ１０７に含まれるものである。

【００２８】音声出力域設定コマンド６０５：上記文字
列入出力域生成コマンドで生成した領域に対して、ユー
ザプログラム実行時に文字列の表示の他に音声出力も行
なうことを設定するためのコマンド。詳細は後ほど説明
する。

【００２９】音声出力域解除コマンド６０６：上記音声
出力域設定コマンド６０５で文字列入出力領域に対して
付加した音声出力機能を解除するためのコマンド領域で
ある。本領域をマウス４０３でピックした後、ユーザイ
ンタフェース画面６０２上の対象となる文字列入出力域
をさらにマウス４０３でピックすることで本機能を実行
する。本処理もステップ１０７に含まれる。

【００３０】ガイダンスメッセージ表示領域６０７：ユ
ーザインタフェース構築用の各種コマンドの実行時にそ
の操作方法やエラーメッセージ等を利用者に対して提示
する出力域である。あるいは利用者からのキーボード入
力を受け付けるための入力領域にもなる。

【００３１】また、ユーザインタフェース画面６０２に
表示している画面例は、ユーザプログラム実行において
、そのプログラム実行結果や読み出し情報を表示する各
種の領域を、上記ユーザインタフェース構築用コマンド
を用いて作成している途中過程のある状態を示すもので
ある。

【００３２】例えば、６２４の領域は、株価の予想を行
なうユーザプログラムのうち、ローソク足チャートと呼
ばれる株価変動図を用いた予想手法での予想結果を表示
する文字列出力域である。同様に領域６２３は移動平均
線チャートからの予想結果、領域６２２はＰＦチャート
からの予想結果、６２１はニューロ手法を用いた予想結
果をそれぞれ表示する文字列出力域である。

【００３３】また、領域６２５はロイター等の情報提供
社からオンラインで送られてくるニュース情報等を表示
する文字列出力域である。同様にオンラインで受信した
各種取引指標である外国為替，ダウ平均，債券先物の取
引価格の情報を表示する領域６２６，６２７，６２８も
ある。

【００３４】このようなユーザインタフェース画面をユ
ーザインタフェース構築用のコマンド６０１を用いて構
築するのである。これら処理は図１に示すフローチャー
トではステップ１０７の他コマンドの処理で行なわれる
ものである。表示領域の生成手順についての概要は、上
記の６０３のコマンド領域の詳細に記述した通りである
。では図６で示すユーザインタフェース画面６０２の生
成を既に完了したものとして説明を続ける。

【００３５】利用者はマウス４０３を用いてコマンド表
示領域６０１から任意のコマンドをピックする。システ
ムはこのピックされた領域から、入力されたコマンドの
種別が何であるかを識別する（１０２）。

【００３６】識別したコマンドが音声出力域の設定コマ
ンド（６０５のコマンドをピックしたとき）であると判
定（１０３）された場合は、どの文字列入出力域に音声
出力機能を付加するかを指定するための入力を行なう（
１０４）。この入力は、マウス４０３を用いて、ユーザ
インタフェース画面６０２をピックすることで行なう。 入力された座標（Ｘ、Ｙ）として、ユーザインタフェー
ス画面情報テーブル４０７のＸ座標値５０２，Ｙ座標値
５０３をおよび表示行数５０４，表示文字数５０５を順
次取り出して、以下の条件を満たすかどうかを判定する
。

【００３７】・入力されたマウス座標のＸ軸，Ｙ軸方向
の座標をそれぞれＸ、Ｙとする。 ・５０２に格納された文字列入出力域の左上角のＸ座標
値をｘ０とする。 ・５０３に格納された文字列入出力域の左上角のＹ座標
値をｙ０とする。 ・５０４に格納された文字列入出力域の表示行数をｊと
する。 ・５０５に格納された文字列入出力域の表示文字数をｉ
とする。 ・判定条件１：ｘ０≦Ｘ≦ｘ０＋（ｉ＊２４）・判定条
件２：ｙ０≦Ｙ≦ｙ０＋（ｊ＊２４）上記判定条件１と
２を両方とも満すユーザインタフェース画面情報テーブ
ル４０７の行がピックした文字列入出力域である。なお
上記判定条件の“２４”は一文字の表示に要する画面ピ
クセル数である。すなわち一文字の表示には２４＊２４
の矩形領域が必要であることを示す。

【００３８】このように、音声出力機能を付加する文字
列入出力域を求めた後は、出力音声の属性情報を入力す
る（１０６）。この属性情報の入力は図７に示した出力
音声属性入力画面７００を表示した後に、キーボード４
０２とマウス４０３を用いて、同画面７００から入力す
る。まずステップ１０４で求めた音声出力対象となる文
字列入出力域のＩＤ名称５０１を対象文字列入出力域７
０１へ表示する。その後、出力音声の種類を音声種類メ
ニュー７０２よりマウス４０３を用いて選択入力する。 また出力音声の音量も音量メニュー７０３をマウス４０
３を用いて選択入力する。また、出力音声の繰返し回数
をキーボード４０２を用いてリピート回数入力域７０４
へ行なう。また、前読み上げ文字をキーボード４０２を
用いて前読み上げ文字入力域７０５に対して入力する。

【００３９】図７の例では、対象となる文字列入出力域
のＩＤは“ニュース”、その出力音声の種類は男声の高
い合成音声として、音量は“３”、リピート回数は“１
”回である。そしてこの文字列入出力域に対してユーザ
プログラムから文字列の表示があった場合、表示文字を
音声出力する前に、前置きとして読み上げる文字として
、“ニュースです”を入力していることが分かる。 そしてこれら入力した属性情報は、ユーザインタフェー
ス画面情報テーブル４０７に格納される。すなわち、対
象の文字列入出力域ＩＤをもつテーブルの行の音声種類
５０６，音量５０７，リピート回数５０８，前読み上げ
文字列５０９の格納エリアへ、画面７００で入力した情
報を書き込むのである。

【００４０】その後、ステップ１０２へ戻り、ユーザイ
ンタフェース構築用のコマンドを入力する。

【００４１】一方、ステップ１０３の判定処理で、選択
されたコマンドが音声出力域の設定コマンドではなかっ
た場合は、ユーザインタフェース画面作成の終了コマン
ド（図６の例では、終了コマンド６０８をマウスピック
したとき）であるかどうかを判定し（１０５）、もしそ
うであれば本処理を終了する。また本コマンドでもなけ
れば、選択したコマンドに応じた処理を実行し（１０７
）、ステップ１０２へ戻る。

【００４２】以上、ユーザインタフェース構築時におけ
る音声出力域の設定方法について説明した。本実施例に
よれば、ユーザプログラムで使用するインターフェース
画面を対話的に作成する段階で、複数の文字列入出力域
に対し、異なる音声出力情報を予め設定でき、これを蓄
えておくことができる。そしてユーザプログラム実行時
には、作成した画面と同様のレイアウトを有すインタフ
ェース画面を再現することが可能となるのである。

【００４３】では、次に上記実施例で設定し、蓄えたユ
ーザインタフェース画面情報４０７を利用した実際のユ
ーザプログラム実行時の処理手順を図２のフローチャー
トに従い説明する。

【００４４】なおユーザプログラムの実行では各種のプ
ログラムの命令が実行されるが、ユーザインタフェース
画面への入出力に関係ない命令については特に述べる必
要もないので、ここではユーザプログラムの実行におい
て、ユーザインタフェース画面６０２への入出力に関係
した命令を取り出した（２０１）後の処理手順について
記述する。従って図２の処理手順はユーザプログラムの
構造に基づき、何度でも実行される処理である。

【００４５】ステップ２０１で取り出した命令が、文字
列出力命令であるかどうかを調べ（２０２）、もしそう
なら、実際の画面６０２への表示および音声出力を行な
い（２０３）、処理を終了する。本ステップ２０３につ
いての詳細は、後ほど図３のフローチャートに従い説明
する。またステップ２０１で取り出した命令がユーザイ
ンタフェース画面の生成命令と判定（２０４）されれば
、ユーザインタフェース画面情報テーブル４０７を参照
して、ユーザインタフェース画面構築時に作成したユー
ザインタフェース画面６０２と同様のものをディスプレ
イ４０１へ表示し（２０５）、処理を終了する。なお本
処理２０５がユーザプログラムから呼びだされるタイミ
ングは、ステップ２０３が呼びだされる前でなくてはな
らない。また文字列表示命令でもなく、画面生成命令で
もない、画面への入出力命令である場合、例えばグラフ
を出力したり、イメージを出力したりするといった命令
の場合には、それぞれの命令に応じた処理を実行し（２
０６）、処理を終了する。

【００４６】では図３に従い、文字列のユーザインタフ
ェース画面６０２への表示と音声出力（ステップ２０３
）の処理手順について説明する。その前に、文字列出力
用の命令の記述例を図８に示したので説明しておく。 “ｐｒｉｎｔ＿ｓｔｒｉｎｇ”８０１は、引数を二つ持
つ文字列の画面表示用の関数であり、引数には、出力先
の文字列入出力域のＩＤ名称８０２と、表示文字列デー
タ８０３をもつ。この関数がユーザプログラムから呼び
出されるのである。

【００４７】まず、ユーザプログラムから実行された文
字列出力用の命令に記載された出力先文字列入出力域Ｉ
Ｄ名称８０２を取り出す（３０１）。そして、この取り
出した出力先文字列入出力域ＩＤ名称８０２と、ユーザ
インタフェース画面情報テーブル４０７の文字列入出力
域ＩＤ名称５０１が一致する行を見つけ、その行の音声
種類５０６に出力音声の種類が設定されているか否かを
調べる（３０２）。出力音声の種別が設定されていれば
、文字列出力用の命令８０１の出力文字列データ８０３
を取り出し、この文字列８０３の解析・格納・音声出力
を行ない（３０３）、該出力文字列データ８０３を対応
するユーザインタフェース画面６０２上の文字列入出力
域に出力表示する（３０４）。また判定処理３０２で出
力音声の種類が設定されていなければ、ステップ３０３
を行なわずにステップ３０４へ進む。ステップ３０３の
出力文字列の解析・格納・音声出力の処理手順の詳細を
図９のフローチャートに従い説明する。

【００４８】ユーザインタフェース画面情報テーブル４
０７の文字列入出力域ＩＤ名称５０１が出力先文字列入
出力域ＩＤ名称８０２と一致する行の格納文字列５１０
に格納された文字列データを取り出す（９０１）。

【００４９】次に表示文字列データ８０３の最後の文字
が“．”かどうかを調べて（９０２）、そうでなければ
、表示文字列データ８０３を現格納文字列５１０につな
げて同記憶領域５１０に格納する（９０３）。また、表
示文字列の最後の文字が“．”であれば、前読上げ文字
列５０９を取り出し（９０４）、この前読上げ文字列５
０９と現格納文字列５１０とさらに表示文字列８０３を
つなぎ合わせた文字列データを作成する（９０５）。次
にテーブル４０７の該行の音声種類５０６，音量５０７
，リピート回数５０８，前読上げ文字列５０９を取り出
し（９０６）、これら出力音声の属性である音声種類５
０６，音量５０７，リピート回数５０８を、音声合成装
置４０８に対して設定する（９０７）。そしてステップ
９０５でつなぎ合わせた文字列データの読み上げ命令を
リピート回数５０８の回数だけ、音声合成装置４０８に
対して発行して、実際の音声出力を行なう（９０８）。 その後、格納文字列域５１０の該当行の記憶領域をクリ
アする（９０９）、処理を終了する。

【００５０】以上説明した本実施例によれば、ユーザプ
ログラムで表示するユーザインタフェース画面の対話的
な構築時に、画面上に作成した複数の文字列入出力域の
それぞれに対して、音声出力機能を設定することができ
る。この音声出力機能の設定では、前読上げ文字列，読
み上げ繰返し回数等を各々の文字列入出力域に対して個
別に設定できる。そして実際のユーザプログラムの起動
時において、文字列表示が行なわれれば、その表示文字
列を文字列入出力域に設定された音声出力機能に応じて
読み上げることができる。画面のどこに表示するかとい
った違いに応じて、表示文字列の読み上げの前に特定の
言葉を発することで、利用者に対してメッセージの違い
を音声でも容易に区別できるようになり、メッセージの
重要度において、読み上げ回数を多くしたり、音量を大
きくしたりすることができ、よりきめ細やかな音声出力
を提供できる。そして、本発明を金融業でのディーリン
グやプラントの監視システム等の、人間による表示画面
の観察が重要視される対象に用いることで、その負荷を
低減することが可能となる。

【００５１】また、本実施例に変形を加えることでさら
に、高機能な音声出力サービスを提供できるので、以下
この変形実施例について説明する。

【００５２】本変形実施例は、図９に示したフローチャ
ートのステップ９０９に後に、図１０に示したフローチ
ャートの処理手順を追加するものである。

【００５３】追加する処理手順は、まず制御装置４０４
が有す内蔵時計より現在の時刻を取り出し（１００１）
、この時刻と、図３のステップ３０１で取り出した出力
先文字列入出力域ＩＤ名称８０２と、ステップ９０５で
つなぎ合わせた文字列データを組にして、読み上げ文字
列履歴ファイル１１００へ追加書き込みする（１００２
）。読み上げ文字列履歴ファイル１１００は、図１１に
示すように、時刻１１０１，出力先文字列入出力域ＩＤ
名称１１０２，読み上げ文字列１１０３から構成される
。これにより、ユーザプログラムの実行中に音声合成装
置４０８が読み上げた文字列の履歴を読み上げ時刻およ
び画面の入出力域情報とともに保存することができる。

【００５４】こうして読み上げ文字列履歴ファイル１１
００を作成しておき、これまで説明してきた処理手順と
は別プログラムで、文字列再読み上げ処理を実施をする
のが本変形実施例である。以下これを説明する。

【００５５】図１３のフローチャートにこの別処理プロ
グラムの処理手順を示す。

【００５６】まず再読み上げ指定画面１２００をディス
プレイ４０１へ表示する（１３０１）。本画面の出力例
を図１２に示す。画面中には、再読み上げ実行用のコマ
ンド域１２０１，読み上げモードメニューとしての、全
読み上げモード指定域１２０２，個別読み上げ指定域１
２０３，個別読み上げでの文字列入出力域ＩＤ名称表示
域１２０４、そして読み上げ期間の開始時刻入力域１２
０５、読み上げ期間の終了時刻入力域１２０６，読み上
げ期間の終了時刻を現在とするための指定域１２０７が
表示されている。

【００５７】その後この再読み上げ指定画面１２００の
読み上げモードメニュー１２０２および１２０３のいず
れかをマウス４０３を用いて指定する（１３０２）。１
２０２の全読み上げモードとは、再読み上げする文字列
をユーザプログラム実行で読み上げした全てに対して行
なわせるためのもので、個別読み上げモード１２０３は
ユーザインタフェース画面６０２上の特定の文字列入出
力域に対してのみ出力された文字列を再読み上げするも
のである。

【００５８】したがって、マウス入力した読み上げモー
ドが全読み上げモード（１３０２をマウスで指定）であ
るか否かを判定し（１３０３）、そうでなければ（個別
読み上げモード１３０２をマウス入力した場合）、ユー
ザインタフェース画面６０２の任意の文字列入出力域を
マウスで指定し、このマウス指定した文字列入出力域の
ＩＤ名称を特定し、個別読み上げでの文字列入出力域Ｉ
Ｄ名称表示域に表示する（１３０４）。判定処理１３０
３で全読み上げモードであった場合には、特にステップ
１３０４は行なわない。

【００５９】そして、再読み上げを行なう期間データを
画面１２００の読み上げ期間開始時刻１２０５および終
了時刻１２０６に対してキーボード４０２を用いて入力
し（１３０５）、この再読み上げ期間データおよび個別
読み上げモード時の文字列入出力域ＩＤ名称１２０４の
データに基づいて、再読み上げ文字列履歴ファイル１１
００を検索し、該当する文字列を再読み上げする（１３
０６）。

【００６０】ステップ１３０６の詳細を図１４のフロー
チャートに従い説明する。

【００６１】読み上げ文字列履歴ファイル１１００の先
頭行へ着目行を設定し（１４０１）、この着目行の履歴
データを取り出す（１４０２）。そして履歴データが存
在するかどうかを調べ（１４０３）、もし存在しなけれ
ば本処理を終了する。また履歴データが存在すれば、ス
テップ１３０２での入力した読み上げモードが全読み上
げモードかどうかを判定し（１４０４）、そうであれば
ステップ１４０４へ進み、そうでなければステップ１４
０５へ進む。ステップ１４０５は入力した読み上げモー
ドが個別読み上げの場合に、ステップ１４０２で読み込
んだ読み上げ文字列履歴ファイル１１００上の一行が個
別読み上げでの指定文字列入出力域ＩＤ名称１２０４に
一致しているかどうかを判定するものである。もし一致
すればステップ１４０４へ進み、一致しなければ読み上
げ文字列履歴ファイル１１００の着目行を次行へと進め
（１４０９）、ステップ１４０２へ戻り次の行の読込み
を行う。

【００６２】ステップ１４０６は、読込んだ読み上げ文
字列履歴ファイル１１００の一行のデータにおいて、そ
の読み上げ時刻１１０１を取り出し、この値がステップ
１３０５で入力した読み上げ期間開始時刻１２０５と読
み上げ期間終了時刻１２０６との値内にあるかどうかを
判定するものである。このときステップ１３０５におい
て、終了時刻の入力として、１２０７の“現在”を指定
している場合には、単に履歴ファイルの読み上げ時刻１
１０１の値が読み上げ期間開始時刻１２０５よりも大き
な値、すなわち時間的にあとのものであれば、本判定は
成立するものとする。そして本判定処理が成立すれば、
該読み込み行の出力先文字列入出力域ＩＤ名称１１０２
の出力音声属性情報をユーザインタフェース画面情報テ
ーブル４０７から取り出し、音声合成装置４０８へと設
定する（１４０７）。本１４０７の処理は、ステップ９
０６および９０７の処理と同様のものである。

【００６３】この後、該履歴ファイルの一行の読みあげ
文字列を１１０３を取り出し、音声合成装置によって読
み上げる（１４０８）。その後履歴ファイルの着目行を
次行とし（１４０９）、ステップ１４０２へ戻る。また
判定処理１４０６において読み上げ期間内でないと判定
された場合には、ステップ１４０９へ進み、ステップ１
４０２へ戻る。

【００６４】以上変形実施例について説明した。本実施
例によれば、ユーザプログラムの実行において、画面に
出力表示した文字列の読み上げをきめ細かにできるだけ
でなく、利用者が画面から離れたり、出力音声を聞きの
がした場合に、読み上げ期間を指定することで、再び音
声出力を再現することができ、システムの実行結果や操
作指示について事後確認することができる。

【００６５】また、本変形実施例でのステップ１４０８
の再読み上げ処理で、読み上げの時刻１１０１を取り出
して、この数値データを年月日時分秒に分解して文字列
を組み立て、これを音声合成装置で読み上げることで、
再読み上げした文字列が読み上げられた具体的時刻も利
用者に知らせることができる。

【００６６】なお以上説明した実施例では、音声出力す
る文字列は、ユーザプログラムの実行において、プログ
ラムから出力表示された文字列についてのものであった
。このように音声出力するものは、出力文字列のみとは
限らずとも、入力文字列であっても構わない。すなわち
音声出力機能が付加された文字列入出力域において、そ
こから入力された文字列を実施例で述べてきた出力文字
列と同様に扱うことで、容易に入力の読み上げや読み上
げや、履歴ファイルの作成ができる。

【００６７】

【発明の効果】本発明によれば、ユーザプログラムで表
示するユーザインタフェース画面の対話的な構築時に、
画面上に作成した複数の文字列入出力域のそれぞれに対
して、音声出力機能を設定することができる。ユーザプ
ログラムの起動時においては、文字列表示に伴い、その
表示文字列を文字列入出力域に設定された音声出力機能
に応じて読み上げることができる。画面のどこに表示す
るかといった違いに応じて、出力音声を差別化して読み
上げることができる。すなわち画面上で区別された出力
結果やメッセージを音声的にも区別して読み上げるとい
う、より木め細やかな音声出力を提供できる。そして、
本発明を金融業でのディーリングやプラントの監視シス
テム等の、人間による表示画面の観察が重要視される対
象に用いることで、画面への注視という利用者の負担を
軽減することができる。

【図面の簡単な説明】

【図１】本発明の一実施例を示すフローチャートであり
、ユーザインタフェース画面構築時の処理手順を示す。

【図２】本発明の一実施例を示すフローチャートであり
、ユーザプログラム実行時におけるユーザインタフェー
ス画面での入出力処理手順を示す。

【図３】ユーザプログラム実行時における文字列読み上
げ処理手順を示すフローチャート図。

【図４】本発明の一実施例を実現するハードウェア構成
図。

【図５】ユーザインタフェース画面情報テーブルの説明
図。

【図６】ユーザインタフェース画面構築用の画面出力例
図。

【図７】ユーザインタフェース画面構築時の音声出力域
設定画面の出力例図。

【図８】ユーザプログラム中の文字列出力命令の表現形
式の説明図。

【図９】ユーザプログラム実行時の表示文字列の格納，
解析，音声出力の処理手順を示すフローチャート図。

【図１０】本発明の変形実施例を示す読み上げ文字列履
歴ファイルの作成手順を示すフローチャート図。

【図１１】読み上げ文字列履歴ファイルの説明図。

【図１２】再読み上げ指定画面の画面出力例図。

【図１３】再読み上げ処理手順を示すフローチャート図
。

【図１４】再読み上げ処理における読み上げ文字列履歴
ファイルの検索および、音声出力方法を示すフローチャ
ート図。

【図１５】本発明を実施するハードウェア装置の構成図
。

【符号の説明】

４０１…ディスプレイ装置、４０２…キーボード入力装
置、４０３…マウス入力装置、４０４…処理装置、４０
５…プログラム格納装置、４０６…記憶装置、４０７…
ユーザインタフェース画面情報テーブル、４０８…音声
合成装置。

Claims (12)

【特許請求の範囲】
1. 【請求項１】計算機を用いたユーザインタフェース画面
   の生成方法において、前記ユーザインタフェース画面を
   対話的に生成するための画面に音声出力域設定用のコマ
   ンドを受け付けるようにしておき、（ａ）　入力された
   コマンドが前記音声出力域の設定用コマンドである場合
   、前記音声出力域の場所情報を入力し、（ｂ）　前記場
   所情報に対応する画面上の文字列入出力域を求め、（ｃ
   ）　前記入力された音声出力域に対する出力音声の属性
   情報を入力し、前記音声出力域に対応した文字列入出力
   域と前記出力音声の属性情報を対応づけて記憶し、（ｄ
   ）　前記ステップ（ａ）〜（ｃ）を繰り返し適用して、
   複数の音声出力域に関する情報を設定することを特徴と
   する画面生成方法。
2. 【請求項２】ユーザインタフェース画面生成処理によっ
   て作成されたユーザインタフェース画面に対して、ユー
   ザプログラムから実際に入出力を行う処理において、上
   記特許請求の範囲第１項によって記憶した前記文字列入
   出力域と出力音声の属性情報を利用して音声出力を行う
   方法であって、（Ａ）　ユーザプログラムから前記文字
   列入出力域に対して、文字列の出力または文字列の入力
   要求が行われた場合に、（Ｂ）　前記出力また入力要求
   があった入出力域を識別し、（Ｃ）　前記識別した入出
   力域に音声出力に関する設定がなさせているか否かを判
   定し、（Ｄ）　前記判定処理（Ｃ）において音声出力に
   関する設定がなされていれば、該出力音声の属性情報を
   取り出し、該属性情報に応じた音声合成で前記出力また
   は入力した文字列を音声出力し、（Ｅ）　前記判定処理
   （Ｃ）において音声出力に関する設定がなされていない
   場合には、　　前記音声出力処理（Ｄ）を行わず、（Ｆ
   ）　前記出力または入力した文字列を該文字列入出力域
   に表示することを特徴とする音声出力方法。
3. 【請求項３】上記特許請求の範囲第１項におけるステッ
   プ（ｃ）での入力する出力音声の属性情報は、音声出力
   の繰り返し回数に関する情報を含むことを特徴とする画
   面生成方法。
4. 【請求項４】上記特許請求の範囲第１項におけるステッ
   プ（ｃ）での入力する出力音声の属性情報は、音声出力
   の際に固定的に読み上げる音声に関する情報を含ことを
   特徴とする画面生成方法。
5. 【請求項５】上記特許請求の範囲第２項におけるステッ
   プ（Ｄ）は、前記入力または出力した文字列を音声出力
   する前あるいは後に該文字列入出力域に設定されている
   固定の文字列を音声出力することを特徴とする音声出力
   方法。
6. 【請求項６】上記特許請求の範囲第２項のステップ（Ｄ
   ）にて音声出力した文字列を、前記ステップ（Ａ）で識
   別した入出力域に関する情報と対応させて時系列で記憶
   し、再読み出し要求を受け付けた後に、前記時系列で記
   憶した文字列を取り出して音声出力をすることを特徴と
   する音声出力方法。
7. 【請求項７】上記特許請求の範囲第６項の再読み出し要
   求を受け付けた後に出力音声出力する文字列は、指定し
   た時間内に前記時系列に記憶されたものであることを特
   徴とする音声出力方法。
8. 【請求項８】上記特許請求の範囲第６項の再読み出し要
   求を受け付けた後に出力音声出力する文字列は、指定し
   た時間内に前記時系列に記憶され、かつ指定した文字列
   入出力域のものに限ることを特徴とする音声出力方法。
9. 【請求項９】画面上の文字列の表示場所ごとに音声出力
   に関する情報を記憶しておき、画面上へ文字列表示が行
   われる際に、該表示場所の音声出力に関する情報を取り
   出して、この情報に応じた音声出力で前記画面上へ表示
   する文字列を読み上げることを特徴とする音声出力方法
   。
10. 【請求項１０】上記特許請求の範囲第９項の画面上の文
    字列の表示場所ごとに記憶した音声出力に関する情報は
    、音声出力の際に読み上げる固定文字列に関する情報を
    含み、画面上へ表示する文字列の読み上げの前または後
    に、前記固定文字列に関する情報を取り出して読み上げ
    ることを特徴とする音声出力方法。
11. 【請求項１１】計算機装置を用いた音声出力方法であっ
    て、ディスプレイ装置上の表示域別に過去において表示
    した文字列に関する情報を蓄えておき、入力装置から前
    記表示域を特定する情報を入力し、前記特定した表示域
    の前記過去において表示した文字列を取り出して読み上
    げを行なうことを特徴とする音声出力方法。
12. 【請求項１２】計算機を用いた過去の音声出力の再読み
    上げを行なう方法であって、過去読み上げた音声情報を
    読み上げ時刻と対応させて記憶し、入力装置から再読み
    上げの期間に関する情報を入力し、この期間情報に適合
    する読み上げ時刻をもつ前記過去の読み上げ音声情報を
    出力することを特徴とする音声出力方法。