JPH113249A - 操作性評価支援装置 - Google Patents
操作性評価支援装置Info
- Publication number
- JPH113249A JPH113249A JP15337497A JP15337497A JPH113249A JP H113249 A JPH113249 A JP H113249A JP 15337497 A JP15337497 A JP 15337497A JP 15337497 A JP15337497 A JP 15337497A JP H113249 A JPH113249 A JP H113249A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- time
- input
- recorded
- identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Debugging And Monitoring (AREA)
Abstract
(57)【要約】
【課題】 プロトコル解析法による操作性評価実験を支
援する装置を提供することを目的とする。 【解決手段】 被験者の機器操作履歴を監視、記録する
イベント記録部114と、被験者の発話音声を記録する
発話音声記録部115とを備え、イベント記録部114
では、操作時刻とイベントの組として記録し、発話音声
記録部115では被験者の発話データも時刻と発話音声
との組として格納することにより、後の解析が容易な、
被験者の操作履歴データが得られる。
援する装置を提供することを目的とする。 【解決手段】 被験者の機器操作履歴を監視、記録する
イベント記録部114と、被験者の発話音声を記録する
発話音声記録部115とを備え、イベント記録部114
では、操作時刻とイベントの組として記録し、発話音声
記録部115では被験者の発話データも時刻と発話音声
との組として格納することにより、後の解析が容易な、
被験者の操作履歴データが得られる。
Description
【0001】
【発明の属する技術分野】本発明は、ウィンドウシステ
ムなどを使用した情報処理装置用ユーザインタフェース
の開発において、操作性の評価や設計の支援を行う操作
性評価支援装置に関する。
ムなどを使用した情報処理装置用ユーザインタフェース
の開発において、操作性の評価や設計の支援を行う操作
性評価支援装置に関する。
【0002】
【従来の技術】パーソナルコンピュータ(以下、PCと
略す)などの高度情報処理装置の普及に伴い、主にハー
ドウェア性能であるプロセッサや記憶容量などの基本的
性能の高さだけでなく、主にソフトウェアによるマン・
マシン・インタフェース(以下、MMIと略す)の使い
易さが求められるようになってきた。ところが使い易い
MMIが望まれながらも、使い易いMMIを明示する方
法は曖昧であり、試行錯誤による繰り返し設計により開
発されているのが現状である。この繰り返し設計とは、
最初にMMIの設計を行い、次に試作し、その後に試作
した試作機を被験者に使わせて問題点を見つけ、次の設
計と開発はこの点を改良するように行い、その後の評価
では問題点が解決されたかどうかを確かめる方法であ
る。このような繰り返し設計においては、設計、試作、
評価のループが短いほどよく、実際の開発の現場では納
期などの時間的制約もあって、特に評価は素早く行うこ
とが望まれている。
略す)などの高度情報処理装置の普及に伴い、主にハー
ドウェア性能であるプロセッサや記憶容量などの基本的
性能の高さだけでなく、主にソフトウェアによるマン・
マシン・インタフェース(以下、MMIと略す)の使い
易さが求められるようになってきた。ところが使い易い
MMIが望まれながらも、使い易いMMIを明示する方
法は曖昧であり、試行錯誤による繰り返し設計により開
発されているのが現状である。この繰り返し設計とは、
最初にMMIの設計を行い、次に試作し、その後に試作
した試作機を被験者に使わせて問題点を見つけ、次の設
計と開発はこの点を改良するように行い、その後の評価
では問題点が解決されたかどうかを確かめる方法であ
る。このような繰り返し設計においては、設計、試作、
評価のループが短いほどよく、実際の開発の現場では納
期などの時間的制約もあって、特に評価は素早く行うこ
とが望まれている。
【0003】この評価では対象のMMIの問題点を効率
良く抽出することが最大の課題となる。被験者を用い
ず、評価の専門家が試作機を検査することにより問題点
を抽出する方法では、ヒューリスティク・エバリュエー
ション(HeuristicEvaluation)や
カグニティブ・ウォークスルー(CognitiveW
alkthrough)などの方法が提案されている
(例えば、J.Nielsenら:“Heuristi
c Evaluation of UserInter
face”,CHI’90 Conference P
roceedingsやC.Lewisら:“Test
ing a WalkthroughMonthodo
logy for Theory−Based Des
ign of Walk−up−and−Use In
terfaces”,CHI’90 Conferen
ce Proceedingsなど)。
良く抽出することが最大の課題となる。被験者を用い
ず、評価の専門家が試作機を検査することにより問題点
を抽出する方法では、ヒューリスティク・エバリュエー
ション(HeuristicEvaluation)や
カグニティブ・ウォークスルー(CognitiveW
alkthrough)などの方法が提案されている
(例えば、J.Nielsenら:“Heuristi
c Evaluation of UserInter
face”,CHI’90 Conference P
roceedingsやC.Lewisら:“Test
ing a WalkthroughMonthodo
logy for Theory−Based Des
ign of Walk−up−and−Use In
terfaces”,CHI’90 Conferen
ce Proceedingsなど)。
【0004】しかし、最終的にはユーザを被験者として
実際に操作させて問題点を抽出せねばならず、このため
にはプロトコル解析という実験方法が通常用いられる。
これは、被験者に考えていることを自分で発話させなが
ら試作機を操作させ、この時得られた発話内容をデータ
として収集し、その後、行動と照らし合わせて操作中の
思考過程を調べることにより試作機の問題点を抽出、分
析するというものである。この実験方法は、実際のユー
ザを被験者に採用して実験が行えるため、ユーザのニー
ズを把握しやすいという長所があるが、発話データ採
取、聴きおこし、データの整理、情報抽出の手間がかか
ることと、データの解析は経験豊かな専門家が行う必要
があることなどが短所である。
実際に操作させて問題点を抽出せねばならず、このため
にはプロトコル解析という実験方法が通常用いられる。
これは、被験者に考えていることを自分で発話させなが
ら試作機を操作させ、この時得られた発話内容をデータ
として収集し、その後、行動と照らし合わせて操作中の
思考過程を調べることにより試作機の問題点を抽出、分
析するというものである。この実験方法は、実際のユー
ザを被験者に採用して実験が行えるため、ユーザのニー
ズを把握しやすいという長所があるが、発話データ採
取、聴きおこし、データの整理、情報抽出の手間がかか
ることと、データの解析は経験豊かな専門家が行う必要
があることなどが短所である。
【0005】実験の手順の概略は以下に示すようなもの
である。実験者はビデオカメラなどを用いて、被験者が
試作機を使用している状態を撮影し、同時に録音機を用
いて被験者の発話を記録してデータを収集する。もちろ
んビデオカメラで映像と発話音声とを同時に記録して構
わない。続いてデータの発話音声を文章に書き下し、被
験者の操作状態や試作機の動作状態ごとに文章を分割
し、それぞれの状態に対応させて整理してデータベース
を作成する。その後データベースを分析して、被験者が
誤操作を行った部分について発話データをチェックして
被験者の状態を調べたり、逆に操作が行き詰まったり操
作が解らないなどの発話データの存在する部分を見つ
け、対応するこの時の試作機の状態に問題点が含まれて
いるどうかをチェックするなどで、試作機の問題点を抽
出する。
である。実験者はビデオカメラなどを用いて、被験者が
試作機を使用している状態を撮影し、同時に録音機を用
いて被験者の発話を記録してデータを収集する。もちろ
んビデオカメラで映像と発話音声とを同時に記録して構
わない。続いてデータの発話音声を文章に書き下し、被
験者の操作状態や試作機の動作状態ごとに文章を分割
し、それぞれの状態に対応させて整理してデータベース
を作成する。その後データベースを分析して、被験者が
誤操作を行った部分について発話データをチェックして
被験者の状態を調べたり、逆に操作が行き詰まったり操
作が解らないなどの発話データの存在する部分を見つ
け、対応するこの時の試作機の状態に問題点が含まれて
いるどうかをチェックするなどで、試作機の問題点を抽
出する。
【0006】前述したように、評価実験は素早く行わね
ばならないので、評価実験の作業を支援する装置が望ま
れている。発話データの処理装置として例えば特開平5
−189480号公報などがある。これは操作者(被験
者)の発話データだけでなく、操作者の質問としての発
話データとそれに答える教示者の回答としての発話デー
タをテキストに書き表して格納し、このデータを操作者
の動作と対応付けて表示し、実験者による解析の支援を
するものである。
ばならないので、評価実験の作業を支援する装置が望ま
れている。発話データの処理装置として例えば特開平5
−189480号公報などがある。これは操作者(被験
者)の発話データだけでなく、操作者の質問としての発
話データとそれに答える教示者の回答としての発話デー
タをテキストに書き表して格納し、このデータを操作者
の動作と対応付けて表示し、実験者による解析の支援を
するものである。
【0007】また、動作の行われた時刻を検出せねばな
らないが、被験者の動作履歴を記録するためにビデオカ
メラなどを使用した場合は実験者が記録された映像をモ
ニタしながら測定するので正確な値を求めるのは困難で
ある上、その作業には長い時間を要する。これを解消す
るためには対話履歴作成装置などが考案されており、例
えば特開平2−41531号公報や特開平5−4059
3号公報などがある。これらは試作機自身にユーザの動
作を記録する機構を設けて自動的にデータ収集を行い、
後にそのデータを使って被験者の操作履歴を再現するこ
とにより誤操作部分を容易に発見できるようにしてい
る。
らないが、被験者の動作履歴を記録するためにビデオカ
メラなどを使用した場合は実験者が記録された映像をモ
ニタしながら測定するので正確な値を求めるのは困難で
ある上、その作業には長い時間を要する。これを解消す
るためには対話履歴作成装置などが考案されており、例
えば特開平2−41531号公報や特開平5−4059
3号公報などがある。これらは試作機自身にユーザの動
作を記録する機構を設けて自動的にデータ収集を行い、
後にそのデータを使って被験者の操作履歴を再現するこ
とにより誤操作部分を容易に発見できるようにしてい
る。
【0008】
【発明が解決しようとする課題】しかしながら、上に示
した従来技術には実現する際に次のような問題点が含ま
れている。
した従来技術には実現する際に次のような問題点が含ま
れている。
【0009】まず、発話データ処理装置では、前記の従
来例は予め実験者が発話音声データを聴きながらテキス
トに書き下してデータを作成せねばならず、データベー
ス作成に手間がかかってしまうという問題があった。
来例は予め実験者が発話音声データを聴きながらテキス
トに書き下してデータを作成せねばならず、データベー
ス作成に手間がかかってしまうという問題があった。
【0010】また、試作機自身でユーザの動作履歴を記
録する装置を用いた場合、この装置単体で例えばキーボ
ード操作、マウス操作などのユーザの動作を収集するだ
けの場合は問題はないが、プロトコル解析に用いる場合
は被験者の発話データも記録する。分析時には被験者の
発話データと被験者の動作との対応をとることが困難
で、どの動作においてどの発話が行われたのかを簡単に
示すことができないという問題があった。
録する装置を用いた場合、この装置単体で例えばキーボ
ード操作、マウス操作などのユーザの動作を収集するだ
けの場合は問題はないが、プロトコル解析に用いる場合
は被験者の発話データも記録する。分析時には被験者の
発話データと被験者の動作との対応をとることが困難
で、どの動作においてどの発話が行われたのかを簡単に
示すことができないという問題があった。
【0011】そこで本発明は、前記の問題点を解決し、
被験者の発話データと被験者の動作履歴とを対応付けな
がら、容易に評価実験のできる操作性評価支援装置を提
供することを目的とする。
被験者の発話データと被験者の動作履歴とを対応付けな
がら、容易に評価実験のできる操作性評価支援装置を提
供することを目的とする。
【0012】
【課題を解決するための手段】上記の目的を達成するた
めに本発明の操作性評価支援装置は、キーボードやマウ
スなどの入力デバイス群と、イベント記録部と、音声収
録部と、処理部とからなり、オペレータが入力デバイス
で評価対象の機器を操作した場合、イベント記録部はそ
の操作が行われた時刻と入力デバイスの種類やその操作
内容などとからなるイベントを記録し、同時に音声収録
部はオペレータの発話音声を収録し、その収録が行われ
た時刻情報もイベント記録部に送信して、イベントとし
て記録し、処理部は得られたイベントなどの情報の表示
やその整理などを行うように構成したものである。
めに本発明の操作性評価支援装置は、キーボードやマウ
スなどの入力デバイス群と、イベント記録部と、音声収
録部と、処理部とからなり、オペレータが入力デバイス
で評価対象の機器を操作した場合、イベント記録部はそ
の操作が行われた時刻と入力デバイスの種類やその操作
内容などとからなるイベントを記録し、同時に音声収録
部はオペレータの発話音声を収録し、その収録が行われ
た時刻情報もイベント記録部に送信して、イベントとし
て記録し、処理部は得られたイベントなどの情報の表示
やその整理などを行うように構成したものである。
【0013】これにより、被験者の発話データと被験者
の動作履歴とを対応付けながら、容易に評価実験のでき
る操作性評価支援装置が得られる。
の動作履歴とを対応付けながら、容易に評価実験のでき
る操作性評価支援装置が得られる。
【0014】
【発明の実施の形態】本発明は、少なくとも、入力手段
と、前記入力手段の操作状態を検出してその情報を格納
する入力手段記録部と、音声を記録する音声記録部とを
備える操作性評価支援装置としたものであり、前記入力
手段記録部は入力手段が操作された場合、その操作が行
われた時刻と前記入力手段の識別子とその操作方法とを
対応させて記録し、前記音声記録部は音声の入力があっ
た場合、その音声入力が行われた時刻と前記音声とを対
応させて記録するという作用を有する。
と、前記入力手段の操作状態を検出してその情報を格納
する入力手段記録部と、音声を記録する音声記録部とを
備える操作性評価支援装置としたものであり、前記入力
手段記録部は入力手段が操作された場合、その操作が行
われた時刻と前記入力手段の識別子とその操作方法とを
対応させて記録し、前記音声記録部は音声の入力があっ
た場合、その音声入力が行われた時刻と前記音声とを対
応させて記録するという作用を有する。
【0015】以下、本発明の実施の形態について、図面
を用いて説明する。まず、図1は本発明の一実施の形態
における操作性評価支援装置の構成図である。102は
入力手段としてのキーボード、103は同じく入力手段
としてのマウスで、それぞれオペレータが操作を行うた
めのものである。オペレータの操作結果はこれらのデバ
イスよりそれぞれ文字情報や座標情報としてパーソナル
コンピュータなどの情報処理装置105に入力される。
情報処理装置105内には、ソフトウェアとしてのオペ
レーティングシステム108を動作させる。前述したキ
ーボード102やマウス103からの信号はそれぞれキ
ーボードドライバ110やマウスドライバ111を介し
てオペレーティングシステム108に入力される。オペ
レーティングシステム108上ではアプリケーションプ
ログラム106を動作させれば、情報処理装置105は
ワードプロセッサなどの装置として使用できるようにな
るが、オペレータが操作するキーボード102やマウス
103の操作結果、すなわち文字情報や座標情報そのま
まではアプリケーションプログラム106を操作するこ
とはできない。そこで、ユーザインタフェースプログラ
ム107を付け加え、操作結果をアプリケーションプロ
グラム106が実行することのできるコマンド体系に変
換する処理を行わせる。アプリケーションプログラム1
06からの処理結果はオペレーティングシステム108
を介して、ディスプレイドライバ109で映像信号に変
換されてディスプレイ101上に表示され、オペレータ
に対して可視情報として呈示される。
を用いて説明する。まず、図1は本発明の一実施の形態
における操作性評価支援装置の構成図である。102は
入力手段としてのキーボード、103は同じく入力手段
としてのマウスで、それぞれオペレータが操作を行うた
めのものである。オペレータの操作結果はこれらのデバ
イスよりそれぞれ文字情報や座標情報としてパーソナル
コンピュータなどの情報処理装置105に入力される。
情報処理装置105内には、ソフトウェアとしてのオペ
レーティングシステム108を動作させる。前述したキ
ーボード102やマウス103からの信号はそれぞれキ
ーボードドライバ110やマウスドライバ111を介し
てオペレーティングシステム108に入力される。オペ
レーティングシステム108上ではアプリケーションプ
ログラム106を動作させれば、情報処理装置105は
ワードプロセッサなどの装置として使用できるようにな
るが、オペレータが操作するキーボード102やマウス
103の操作結果、すなわち文字情報や座標情報そのま
まではアプリケーションプログラム106を操作するこ
とはできない。そこで、ユーザインタフェースプログラ
ム107を付け加え、操作結果をアプリケーションプロ
グラム106が実行することのできるコマンド体系に変
換する処理を行わせる。アプリケーションプログラム1
06からの処理結果はオペレーティングシステム108
を介して、ディスプレイドライバ109で映像信号に変
換されてディスプレイ101上に表示され、オペレータ
に対して可視情報として呈示される。
【0016】113は本発明の中心となる評価支援プロ
グラムであるが、これも原則的にオペレーティングシス
テム108上で実行させるものである。ここで入力手段
記録部としてのイベント記録部114はオペレーティン
グシステム108とユーザインタフェースプログラム1
07間のデータを監視し、キーボード102やマウス1
03などの操作があった(イベントが発生した)場合に
は、その旨を操作履歴(あるいは、イベントファイル)
として格納する。また、104はマイクロホンであり、
オペレータの発した音声を収録する。収録音声はサウン
ドドライバ112、オペレーティングシステム108を
介して発話音声記録部115に格納される。図面では簡
略にするために省略したが、実施時にはマイクロホン1
04からの出力はA/D変換器によりディジタル信号に
変換されてからサウンドドライバ112に出力されるよ
うにしている。
グラムであるが、これも原則的にオペレーティングシス
テム108上で実行させるものである。ここで入力手段
記録部としてのイベント記録部114はオペレーティン
グシステム108とユーザインタフェースプログラム1
07間のデータを監視し、キーボード102やマウス1
03などの操作があった(イベントが発生した)場合に
は、その旨を操作履歴(あるいは、イベントファイル)
として格納する。また、104はマイクロホンであり、
オペレータの発した音声を収録する。収録音声はサウン
ドドライバ112、オペレーティングシステム108を
介して発話音声記録部115に格納される。図面では簡
略にするために省略したが、実施時にはマイクロホン1
04からの出力はA/D変換器によりディジタル信号に
変換されてからサウンドドライバ112に出力されるよ
うにしている。
【0017】試作したプログラムの操作性を評価する場
合は、アプリケーションプログラム106およびユーザ
インタフェースプログラム107の部分を評価対象のプ
ログラムに置き換えて動作させることになる。
合は、アプリケーションプログラム106およびユーザ
インタフェースプログラム107の部分を評価対象のプ
ログラムに置き換えて動作させることになる。
【0018】図2はイベントファイルにおける操作履歴
の記録の例である。時刻とはイベントの発生した時刻、
すなわち操作の行われた時刻であり、ここではアプリケ
ーションプログラム106あるいは評価支援プログラム
113の実行開始時からの経過時間を1/10秒単位の
整数にして記録している。続いてウィンドウIDとは操
作の行われた対象のウィンドウの識別子であり、この番
号はウィンドウが作成される時点でオペレーションシス
テム108が割り付ける識別番号に相当する。イベント
とは操作デバイスとその方法の識別子で、続くパラメー
タと組み合わせてオペレータによる操作を表現する。
の記録の例である。時刻とはイベントの発生した時刻、
すなわち操作の行われた時刻であり、ここではアプリケ
ーションプログラム106あるいは評価支援プログラム
113の実行開始時からの経過時間を1/10秒単位の
整数にして記録している。続いてウィンドウIDとは操
作の行われた対象のウィンドウの識別子であり、この番
号はウィンドウが作成される時点でオペレーションシス
テム108が割り付ける識別番号に相当する。イベント
とは操作デバイスとその方法の識別子で、続くパラメー
タと組み合わせてオペレータによる操作を表現する。
【0019】例えば、WM_MOUSEMOVEとはマ
ウスが移動され、パラメータの0000はマウス移動時
のキーの状態をあらわし、440は移動先のX座標の
値、376は移動先のY座標の値を示している。同様に
WM_LBUTTONDOWNはマウスの左ボタンが押
されたイベント、WM_LBUTTONUPはマウスの
右ボタンが押されたイベントを表している。また、イベ
ントALOUDはマイクロホン104よりオペレータの
発話音声が入力された事を示すイベントで、この時のパ
ラメータ00000001は収録された発話音声を記録
したファイルの識別子である。従って、イベントファイ
ルにより、オペレータはいつ、どのような操作を行い、
いつ、どのような発話を行ったのかを知ることができ
る。発話音声が入力された事を示すイベントのパラメー
タとして入力音声をA/D変換したデータの時系列をそ
のまま記録しても構わないが、前述したように入力音声
は別なファイルとして格納し、そのファイル名等の識別
子を用い、識別子により音声ファイルのアドレスを参照
するようにすればイベントファイルの形式が煩雑になら
ないですむ。
ウスが移動され、パラメータの0000はマウス移動時
のキーの状態をあらわし、440は移動先のX座標の
値、376は移動先のY座標の値を示している。同様に
WM_LBUTTONDOWNはマウスの左ボタンが押
されたイベント、WM_LBUTTONUPはマウスの
右ボタンが押されたイベントを表している。また、イベ
ントALOUDはマイクロホン104よりオペレータの
発話音声が入力された事を示すイベントで、この時のパ
ラメータ00000001は収録された発話音声を記録
したファイルの識別子である。従って、イベントファイ
ルにより、オペレータはいつ、どのような操作を行い、
いつ、どのような発話を行ったのかを知ることができ
る。発話音声が入力された事を示すイベントのパラメー
タとして入力音声をA/D変換したデータの時系列をそ
のまま記録しても構わないが、前述したように入力音声
は別なファイルとして格納し、そのファイル名等の識別
子を用い、識別子により音声ファイルのアドレスを参照
するようにすればイベントファイルの形式が煩雑になら
ないですむ。
【0020】また、イベント収録後には音声の内容を文
字列に変換してファイルを作成しておき、このファイル
名を識別子としてパラメータとして格納しておき、適宜
その文字列を表示するようにしておけば、後の解析にお
いて音声を再生してその内容を聞き取らなくてもその内
容を理解する事ができる。この時、音声の内容を文字列
に変換するには、実験者がその音声を聞き取って、文字
列として入力するが、音声から文字列への自動変換を行
う音声認識装置が利用できるならば、それを用いてもも
ちろん構わない。
字列に変換してファイルを作成しておき、このファイル
名を識別子としてパラメータとして格納しておき、適宜
その文字列を表示するようにしておけば、後の解析にお
いて音声を再生してその内容を聞き取らなくてもその内
容を理解する事ができる。この時、音声の内容を文字列
に変換するには、実験者がその音声を聞き取って、文字
列として入力するが、音声から文字列への自動変換を行
う音声認識装置が利用できるならば、それを用いてもも
ちろん構わない。
【0021】なお、イベントは時刻順に収録、保存すれ
ば、オペレータの操作履歴をそのまま表現することにな
るので、後の解析において有効である。
ば、オペレータの操作履歴をそのまま表現することにな
るので、後の解析において有効である。
【0022】また、オペレータの発話音声収録に関して
であるが、アプリケーションプログラム106を実行さ
せ、オペレータの操作開始時より連続的に記録してお
き、結果として1個の連続した音声ファイルができてし
まっては、後に実験者がそのファイルを再生しながら発
話内容をテキストに書き起して一連の単位に分割してそ
れぞれに時刻情報を付与してデータ整理を行わねばなら
ず、これでは従来のプロトコル解析実験における作業と
殆ど変わらなくなってしまう。自動的に一定の長さごと
に音声を分割してそれぞれに時刻情報を付与してデータ
収集ができれば、大幅な作業の削減が見込める。
であるが、アプリケーションプログラム106を実行さ
せ、オペレータの操作開始時より連続的に記録してお
き、結果として1個の連続した音声ファイルができてし
まっては、後に実験者がそのファイルを再生しながら発
話内容をテキストに書き起して一連の単位に分割してそ
れぞれに時刻情報を付与してデータ整理を行わねばなら
ず、これでは従来のプロトコル解析実験における作業と
殆ど変わらなくなってしまう。自動的に一定の長さごと
に音声を分割してそれぞれに時刻情報を付与してデータ
収集ができれば、大幅な作業の削減が見込める。
【0023】図3はオペレータの発話音声を分割しなが
らデータ収集を行う場合の発話音声記録部115の動作
を示したフローチャートであり、以下、図を参考しなが
らその処理を説明する。
らデータ収集を行う場合の発話音声記録部115の動作
を示したフローチャートであり、以下、図を参考しなが
らその処理を説明する。
【0024】まず、二つの変数の初期化として、カウン
タ=0、T1=0を実行する(ステップ1、図ではS1
と示し、以下同様とする)。続いて現在入力されている
音声の振幅値を検出して、これが予め定められた値A以
上かどうかを調べる(ステップ2)。A以上であれば音
声が開始されたと判定し、音声データをファイルに記録
開始し(ステップ3)、この時の時刻をT1として保存
する(ステップ4)。もし振幅値がAに満たなかった場
合はステップ2を繰り返し、音声が開始するのを待機す
る。ステップ4の後、再び振幅値がA以上かどうかを調
べ(ステップ5)、カウンタ=0に保ちながら(ステッ
プ6)、音声の記録を続け(ステップ7)、音声の振幅
値がAよりも小さくなるまで続けられる。音声の振幅値
がAよりも小さくなった場合は音声が中断された可能性
がある。そこでカウンタの値を1だけ増加させ(ステッ
プ8)、カウンタの値がT_OFF(発音の区切りを決
定するための閾値)以上かどうかを調べる(ステップ
9)。ここでカウンタの値が予め決められた値T_OF
F未満であれば、まだ音声が中断されたとは確定せず、
ステップ7に戻って音声記録を続ける。
タ=0、T1=0を実行する(ステップ1、図ではS1
と示し、以下同様とする)。続いて現在入力されている
音声の振幅値を検出して、これが予め定められた値A以
上かどうかを調べる(ステップ2)。A以上であれば音
声が開始されたと判定し、音声データをファイルに記録
開始し(ステップ3)、この時の時刻をT1として保存
する(ステップ4)。もし振幅値がAに満たなかった場
合はステップ2を繰り返し、音声が開始するのを待機す
る。ステップ4の後、再び振幅値がA以上かどうかを調
べ(ステップ5)、カウンタ=0に保ちながら(ステッ
プ6)、音声の記録を続け(ステップ7)、音声の振幅
値がAよりも小さくなるまで続けられる。音声の振幅値
がAよりも小さくなった場合は音声が中断された可能性
がある。そこでカウンタの値を1だけ増加させ(ステッ
プ8)、カウンタの値がT_OFF(発音の区切りを決
定するための閾値)以上かどうかを調べる(ステップ
9)。ここでカウンタの値が予め決められた値T_OF
F未満であれば、まだ音声が中断されたとは確定せず、
ステップ7に戻って音声記録を続ける。
【0025】ステップ5において音声の振幅値がA未満
である状態が続くと、やがてステップ9においてカウン
タの値がT_OFF以上となる。この時、音声が終了し
たと確定し、音声記録を終了する(ステップ10)。こ
こで一定の時間長をもった音声のファイルが作成される
が、このファイルの音声長がDUR(予め定められたフ
ァイルの有効無効を決定する閾値)以上であるかどうか
を調べ(ステップ11)、DUR以上であれば、ステッ
プ4で記録しておいた音声開始時刻T1の情報を付与し
てファイルを格納して(ステップ12)、全処理を終了
する。ステップ11において音声長がDURに満たなか
った場合は、オペレータの言いよどみや咳払い、あるい
は周辺の雑音の可能性が高いのでこのファイルは破棄す
る(ステップ13)。
である状態が続くと、やがてステップ9においてカウン
タの値がT_OFF以上となる。この時、音声が終了し
たと確定し、音声記録を終了する(ステップ10)。こ
こで一定の時間長をもった音声のファイルが作成される
が、このファイルの音声長がDUR(予め定められたフ
ァイルの有効無効を決定する閾値)以上であるかどうか
を調べ(ステップ11)、DUR以上であれば、ステッ
プ4で記録しておいた音声開始時刻T1の情報を付与し
てファイルを格納して(ステップ12)、全処理を終了
する。ステップ11において音声長がDURに満たなか
った場合は、オペレータの言いよどみや咳払い、あるい
は周辺の雑音の可能性が高いのでこのファイルは破棄す
る(ステップ13)。
【0026】この動作で用いられるさまざまな定数は、
本装置を動作させる環境などによって適当な値に変更・
調整するのが望ましい。すなわち、Aの値は暗雑音とオ
ペレータの発話音声とを区別するための閾値であるか
ら、オペレータが発話を行っていない時の入力音声レベ
ルよりも高く、オペレータの発話音声のレベルよりも低
い値になるよう設定する。また、T_OFFは発話の区
切りを決定するための閾値であり、この値が大きすぎる
と発話が分割されず、逆に小さすぎると発話音声にオペ
レータの息継ぎや話調のたて直しによる僅かな無音ごと
にファイルが分割されがちになる。また、DURもオペ
レータの発話の内、言いよどみや咳払いを取り除くため
の閾値であり、この値が大きすぎると、必要な発話デー
タが破棄されるし、逆に小さすぎると、不必要な音声デ
ータが多く保存されてしまい、後にこれらのデータを取
り除く作業が大変なものとなる。入力された一連の音声
情報の中から、音声開始位置と終了位置とを検出して、
オペレータの発話音声のみを保存する方法は、前記に説
明した方法に限らず、他の方法を使用しても構わない。
本装置を動作させる環境などによって適当な値に変更・
調整するのが望ましい。すなわち、Aの値は暗雑音とオ
ペレータの発話音声とを区別するための閾値であるか
ら、オペレータが発話を行っていない時の入力音声レベ
ルよりも高く、オペレータの発話音声のレベルよりも低
い値になるよう設定する。また、T_OFFは発話の区
切りを決定するための閾値であり、この値が大きすぎる
と発話が分割されず、逆に小さすぎると発話音声にオペ
レータの息継ぎや話調のたて直しによる僅かな無音ごと
にファイルが分割されがちになる。また、DURもオペ
レータの発話の内、言いよどみや咳払いを取り除くため
の閾値であり、この値が大きすぎると、必要な発話デー
タが破棄されるし、逆に小さすぎると、不必要な音声デ
ータが多く保存されてしまい、後にこれらのデータを取
り除く作業が大変なものとなる。入力された一連の音声
情報の中から、音声開始位置と終了位置とを検出して、
オペレータの発話音声のみを保存する方法は、前記に説
明した方法に限らず、他の方法を使用しても構わない。
【0027】また、前述の方法でデータを収録した後
に、記録された音声データの分割が希望通りにいかなか
った場合、すなわち、T_OFFの値が大きすぎた場合
などは、記録後の音声データに前述の方法を再実行して
ファイルを更新することも可能であるから、最初はAの
値を小さめ、T_OFFの値を大きめ、DURの値を小
さめにして、余裕をもって音声データを収録し、後に上
記の方法を再実行して、ファイルを分割するのも効果的
である。例えば、分割にあたって1つのファイルAをフ
ァイルB、ファイルCに分割した場合、ファイルBの音
声開始時刻はファイルAの音声開始時刻と同一なので、
そのまま値を代入すればよいが、ファイルCの音声開始
時刻は、ファイルAの音声開始時刻よりファイルBの長
さの時間だけ遅れた値を付与しなければならない。
に、記録された音声データの分割が希望通りにいかなか
った場合、すなわち、T_OFFの値が大きすぎた場合
などは、記録後の音声データに前述の方法を再実行して
ファイルを更新することも可能であるから、最初はAの
値を小さめ、T_OFFの値を大きめ、DURの値を小
さめにして、余裕をもって音声データを収録し、後に上
記の方法を再実行して、ファイルを分割するのも効果的
である。例えば、分割にあたって1つのファイルAをフ
ァイルB、ファイルCに分割した場合、ファイルBの音
声開始時刻はファイルAの音声開始時刻と同一なので、
そのまま値を代入すればよいが、ファイルCの音声開始
時刻は、ファイルAの音声開始時刻よりファイルBの長
さの時間だけ遅れた値を付与しなければならない。
【0028】なお、ファイルの分割は前述のように自動
的に行うのではなく、オペレータがマウスなどの入力装
置(図示せず)を操作して指定させるようにしても構わ
ない。
的に行うのではなく、オペレータがマウスなどの入力装
置(図示せず)を操作して指定させるようにしても構わ
ない。
【0029】図4は情報記録部(図示せず)に記録され
た、前述の方法で収録したオペレータの操作履歴と発話
音声のデータとを表示する実施例の画面表示である。
た、前述の方法で収録したオペレータの操作履歴と発話
音声のデータとを表示する実施例の画面表示である。
【0030】401は表示ウィンドウでこれを表示部と
してのディスプレイ101上に表示する。402は時刻
軸で、下方向に時刻の経過を示している。403、40
4はマウスムーブイベントの表示、405はマウス左ボ
タンダウンイベントの表示、406はマウス左ボタンア
ップイベントの表示、407は発話イベントの表示であ
る。408は発話文字列で、ここでは発話イベントの場
合、その発話の文字列を図のように表示させておく。こ
うすれば、操作中に被験者が発話で指摘した問題点など
を探し出すのに都合が良い。もちろん画面上が煩雑にな
るのが気になるならば、文字列を表示させず、文字列を
記録したアドレスへの識別子として適当な記号(図示せ
ず)だけを表示させ、オペレータより指示があった場合
のみ文字列が格納されたアドレスにアクセスして文字列
を表示させるようにしても良い。同様に発話音声を記録
したアドレスへの識別子として適当な記号(図示せず)
だけを表示させてもよい。
してのディスプレイ101上に表示する。402は時刻
軸で、下方向に時刻の経過を示している。403、40
4はマウスムーブイベントの表示、405はマウス左ボ
タンダウンイベントの表示、406はマウス左ボタンア
ップイベントの表示、407は発話イベントの表示であ
る。408は発話文字列で、ここでは発話イベントの場
合、その発話の文字列を図のように表示させておく。こ
うすれば、操作中に被験者が発話で指摘した問題点など
を探し出すのに都合が良い。もちろん画面上が煩雑にな
るのが気になるならば、文字列を表示させず、文字列を
記録したアドレスへの識別子として適当な記号(図示せ
ず)だけを表示させ、オペレータより指示があった場合
のみ文字列が格納されたアドレスにアクセスして文字列
を表示させるようにしても良い。同様に発話音声を記録
したアドレスへの識別子として適当な記号(図示せず)
だけを表示させてもよい。
【0031】発話文字列408あるいは前記記号をマウ
スカーソル409で指定することにより、音声の格納さ
れたアドレスにアクセスして音声データを獲得し、これ
をD/A変換してスピーカ(図示せず)より相当する音
声データが出力されるようにすることも可能である。4
09はマウスカーソルで、オペレータはマウスでこのマ
ウスカーソル409をウィンドウ401で操作して操作
を行う。410はスクロールバーであり、マウスカーソ
ル409でこのスクロールバーの上下の三角印を指定す
ることにより、表示範囲を上下にスクロールさせる。
スカーソル409で指定することにより、音声の格納さ
れたアドレスにアクセスして音声データを獲得し、これ
をD/A変換してスピーカ(図示せず)より相当する音
声データが出力されるようにすることも可能である。4
09はマウスカーソルで、オペレータはマウスでこのマ
ウスカーソル409をウィンドウ401で操作して操作
を行う。410はスクロールバーであり、マウスカーソ
ル409でこのスクロールバーの上下の三角印を指定す
ることにより、表示範囲を上下にスクロールさせる。
【0032】以上のように、本実施の形態によれば、ソ
フトウェアの操作履歴再現と、オペレータの発音とを同
期して得られるので、操作性の問題点の抽出が容易にな
る。また、評価実験そのものも容易に行えるようにな
る。
フトウェアの操作履歴再現と、オペレータの発音とを同
期して得られるので、操作性の問題点の抽出が容易にな
る。また、評価実験そのものも容易に行えるようにな
る。
【0033】
【発明の効果】以上詳細に説明したように、本発明によ
れば、オペレータの操作履歴が手軽に行えるため、機器
操作の問題点抽出が容易となり、操作性の評価実験の時
間を短縮し、開発コストを下げることができる。
れば、オペレータの操作履歴が手軽に行えるため、機器
操作の問題点抽出が容易となり、操作性の評価実験の時
間を短縮し、開発コストを下げることができる。
【図1】本発明の実施の形態による操作性評価支援装置
の構成を示すブロック図
の構成を示すブロック図
【図2】同操作性評価支援装置の操作履歴を記録したイ
ベントファイルの例を示す概念図
ベントファイルの例を示す概念図
【図3】同操作性評価支援装置の発話音声記録部の動作
を示したフローチャート
を示したフローチャート
【図4】同操作性評価支援装置のオペレータの操作履歴
と発話音声のデータとの表示部での表示例を示す画面構
成概念図
と発話音声のデータとの表示部での表示例を示す画面構
成概念図
101 ディスプレイ 102 キーボード 103 マウス 104 マイクロホン 105 情報処理装置 106 アプリケーションプログラム 107 ユーザインタフェースプログラム 108 オペレーティングシステム 109 ディスプレイドライバ 110 キーボードドライバ 111 マウスドライバ 112 サウンドドライバ 113 評価支援プログラム 114 イベント記録部 115 発話音声記録部
Claims (14)
- 【請求項1】 入力手段と、前記入力手段の操作状態を
検出してその情報を格納する入力手段記録部と、音声を
記録する音声記録部とを具備し、 前記入力手段記録部は入力手段が操作された場合、その
操作が行われた時刻と前記入力手段の識別子とその操作
方法とを対応させて記録し、 前記音声記録部は音声の入力があった場合、その音声入
力が行われた時刻と前記音声とを対応させて記録するこ
とを特徴とする操作性評価支援装置。 - 【請求項2】 対応させて記録された前記操作が行われ
た時刻と前記入力手段の識別子とその操作方法と、対応
させて記録された前記音声入力が行われた時刻と前記音
声とは、それぞれの時刻の順に記録することを特徴とす
る請求項1記載の操作性評価支援装置。 - 【請求項3】 前記音声入力が行われた時刻と前記音声
を記憶したアドレスへの識別子とを対応させて記録する
ことを特徴とする請求項1記載の操作性評価支援装置。 - 【請求項4】 前記音声の内容を文字列として表現し、
前記音声入力が行われた時刻と前記文字列を記憶したア
ドレスへの識別子とを対応させて記録することを特徴と
する請求項1記載の操作性評価支援装置。 - 【請求項5】 前記音声記録部は、入力された音声の振
幅値があらかじめ定められた値を超えた場合に動作を開
始し、その時の時刻を上記音声入力が行われた時刻とし
て記録することを特徴とする請求項1記載の操作性評価
支援装置。 - 【請求項6】 前記音声記録部は、入力された音声の振
幅値があらかじめ定められた値を下回った状態が、あら
かじめ定められた時間を超えた場合に、動作を終了する
ことを特徴とする請求項1記載の操作性評価支援装置。 - 【請求項7】 分割手段を具備し、前記分割手段は、前
記音声を時間軸方向に2個以上の音声に分割し、分割さ
れた前記音声にはそれぞれの音声の先頭の時刻に対応す
る時刻をその音声入力が行われた時刻として前記音声と
を対応させて記録することを特徴とする請求項1記載の
操作性評価支援装置。 - 【請求項8】 分割手段を具備し、前記分割手段は、前
記音声を時間軸方向に2個以上の音声に分割し、分割さ
れた前記音声にはそれぞれの音声の先頭の時刻に対応す
る時刻をその音声入力が行われた時刻として前記音声を
記録したアドレスへの識別子とを対応させて記録するこ
とを特徴とする請求項3記載の操作性評価支援装置。 - 【請求項9】 分割手段を具備し、前記分割手段は、前
記音声を時間軸方向に2個以上の音声に分割し、分割さ
れた前記音声にはそれぞれの音声の先頭の時刻に対応す
る時刻をその音声入力が行われた時刻として前記音声の
内容を表現した文字列を記録したアドレスへの識別子と
を対応させて記録することを特徴とする請求項4記載の
操作性評価支援装置。 - 【請求項10】 前記分割を行う位置を指定する指定手
段を具備したことを特徴とする請求項7ないし9のいず
れかに記載の操作性評価支援装置。 - 【請求項11】 前記分割手段は、入力された音声の振
幅値があらかじめ定められた値を下回った状態が、あら
かじめ定められた時間を超えた位置で分割を行うするこ
とを特徴とする請求項7ないし9のいずれかに記載の操
作性評価支援装置。 - 【請求項12】 入力手段と、表示部と、情報記録部と
を具備し、前記情報記録部は、前記入力手段の操作が行
われた時刻と前記入力手段の識別子とその操作方法と、
音声の入力が行われた時刻と前記音声とを格納し、前記
表示部は前記時刻順に、前記入力手段の識別子とその操
作方法と、前記音声を記録したアドレスへの識別子とを
表示することを特徴とする操作性評価支援装置。 - 【請求項13】 前記情報記録部は、対応させて記録さ
れた前記操作が行われた時刻と前記入力手段の識別子と
その操作方法と、対応させて記録された前記音声入力が
行われた時刻と前記音声の内容を表現した文字列へのア
ドレスとを、それぞれの時刻の順に情報を格納し、前記
表示部は前記時刻順に、前記入力手段の識別子とその操
作方法と、前記音声の内容を表現した前記文字列を記録
したアドレスへの識別子とを表示することを特徴とする
請求項12記載の操作性評価支援装置。 - 【請求項14】 前記表示部は、前記時刻順に、前記入
力手段の識別子とその操作方法と、前記音声の内容を表
現した前記文字列とを表示することを特徴とした請求項
12記載の操作性評価支援装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15337497A JPH113249A (ja) | 1997-06-11 | 1997-06-11 | 操作性評価支援装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15337497A JPH113249A (ja) | 1997-06-11 | 1997-06-11 | 操作性評価支援装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH113249A true JPH113249A (ja) | 1999-01-06 |
Family
ID=15561070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15337497A Pending JPH113249A (ja) | 1997-06-11 | 1997-06-11 | 操作性評価支援装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH113249A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001051876A (ja) * | 1999-08-09 | 2001-02-23 | Fuji Xerox Co Ltd | ユーザビリティ評価装置 |
| JP2001166785A (ja) * | 1999-12-10 | 2001-06-22 | Fujitsu Ltd | 音声対話コーパスの作成装置及び方法 |
| US6529747B1 (en) | 1999-02-23 | 2003-03-04 | Nec Corporation | Open/close-type portable telephone |
| JP2008040560A (ja) * | 2006-08-01 | 2008-02-21 | Sharp Corp | 履歴情報の表示装置および方法 |
-
1997
- 1997-06-11 JP JP15337497A patent/JPH113249A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6529747B1 (en) | 1999-02-23 | 2003-03-04 | Nec Corporation | Open/close-type portable telephone |
| JP2001051876A (ja) * | 1999-08-09 | 2001-02-23 | Fuji Xerox Co Ltd | ユーザビリティ評価装置 |
| JP2001166785A (ja) * | 1999-12-10 | 2001-06-22 | Fujitsu Ltd | 音声対話コーパスの作成装置及び方法 |
| JP2008040560A (ja) * | 2006-08-01 | 2008-02-21 | Sharp Corp | 履歴情報の表示装置および方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6728680B1 (en) | Method and apparatus for providing visual feedback of speed production | |
| US5526407A (en) | Method and apparatus for managing information | |
| US8805929B2 (en) | Event-driven annotation techniques | |
| CN111711834B (zh) | 录播互动课的生成方法、装置、存储介质以及终端 | |
| KR20060128022A (ko) | 사용성 테스트를 실시하기 위한 자동화 시스템 및 방법 | |
| JP6280312B2 (ja) | 議事録記録装置、議事録記録方法及びプログラム | |
| JP2001014319A (ja) | ハイパーテキストアクセス装置 | |
| WO2007132690A1 (ja) | 音声データ要約再生装置、音声データ要約再生方法および音声データ要約再生用プログラム | |
| JPH0651930A (ja) | 計算機 | |
| JP2011102862A (ja) | 音声認識結果管理装置および音声認識結果表示方法 | |
| Arons | Interactively skimming recorded speech | |
| WO2010024426A1 (ja) | 録音装置 | |
| JP3896760B2 (ja) | 対話記録編集装置、方法及び記憶媒体 | |
| JPH11259501A (ja) | 発言構造検出表示装置 | |
| JPH113249A (ja) | 操作性評価支援装置 | |
| JP2006251898A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| US7353175B2 (en) | Apparatus, method, and program for speech synthesis with capability of providing word meaning immediately upon request by a user | |
| KR20250048809A (ko) | 동기 통신을 위한 오디오 합성 | |
| JP3813132B2 (ja) | プレゼンテーション用プログラム及びプレゼンテーション用装置 | |
| JPH08249343A (ja) | 音声情報取得装置及び音声情報取得方法 | |
| JPH08153118A (ja) | 音声データ処理装置 | |
| JP4270854B2 (ja) | 音声記録装置、音声記録方法、音声記録プログラム及び記録媒体 | |
| JP2007329794A (ja) | 音声録音装置 | |
| JP2008243079A (ja) | 情報管理装置、情報管理方法及び情報管理プログラム | |
| JPH02223983A (ja) | プレゼンテーション支援システム |