JPH10275094A - プログラム評価システム - Google Patents

Abstract

(57)【要約】 【解決手段】 ホストコンピュータ４からの疑似的な入
力情報に基づいて、試験装置２６に格納された評価対象
プログラムのエミュレーション動作を実行し、結果を出
力情報として取得することによりプログラムの評価試験
を行うプログラム評価システムにおいて、評価試験を実
行するための疑似的な入出力情報を記述したテストケー
スを複数記述したテストケース群５から指定されたテス
トケースを解析するテストケース解析部６と、前記指定
されたテストケースの疑似的な入出力情報を受け取り前
記試験装置２６を制御する試験装置制御部１４と、評価
試験中断時にその中断時の実行情報を取得し、評価試験
再実行時に前記中断時の実行情報を前記試験装置にロー
ドする再試験実行部２１とを備えたものである。 【効果】 再試験実施時に試験項目の初めから実行する
必要が無く、試験中断時点の試験項目からの試験がで
き、評価時間を短縮することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、機器制御を行う
マイクロコンピュータの組み込み型プログラムの評価を
行うプログラム評価システムに関するものである。特
に、評価対象プログラムが使用するメモリ上の入力情報
及び出力情報に着目した評価試験の実施方法と評価試験
の自動実行可能なプログラム評価システムに関するもの
である。

【０００２】

【従来の技術】従来のプログラム評価システムについて
説明する。例えば、特開平６−１６１８２４号公報で
は、マイクロコンピュータのピンに対する入出力信号を
発生、及びトレースする専用の評価システムを用いて、
入力デバイスを操作した時に生じる信号パターンを評価
システム本体で発生させ、その結果として生じる出力信
号をトレースして、期待値と比較することにより、実際
に周辺デバイスを操作又は目視による動作確認を行うこ
となく試験を自動的に実行している。

【０００３】このような従来のプログラム評価システム
は、プログラムの開始から終了までの一連の動作を確認
する試験（複数の試験項目からなる試験）などを行う場
合、試験を中断した際には試験項目の初めからやり直す
ことにより再試験を実行していた。

【０００４】また、特開昭６４−５８０２７号公報で
は、中断時のレジスタ内容をメモリに記憶、表示する機
能により中断時の実行状態の確認のみが行われていた。

【０００５】さらに、評価対象プログラムの変数値を評
価するだけでなく、その変数値の範囲を評価するプログ
ラム評価システムとしては、特開平６−１４８２８３号
公報に示すように、メモリ評価パターンのアドレススキ
ャン範囲を指定し、指定された範囲のデータを表示する
メモリテスタによって実現し、評価試験実施者は表示さ
れたデータを目視により評価していた。

【０００６】

【発明が解決しようとする課題】上述したような従来の
プログラム評価システムでは、プログラムの開始から終
了までの試験を行うような複数の試験項目から構成され
るテストシーケンスなどの試験を中断した場合、中断し
た以降の試験項目を行うには、再びテスト項目の初めか
ら実施しなければならないため、無駄な評価時間が発生
してしまうという問題点があった。

【０００７】また、他の従来のプログラム評価システム
は、試験中断時のレジスタ内容をメモリに記憶し、表示
する機能は持っているが、この情報を試験の再実行に利
用することができないという問題点があった。

【０００８】さらに、他の従来のプログラム評価システ
ムは、試験の期待値として評価対象プログラムの変数値
を評価することができるが、変数値の範囲の評価につい
てはデータ表示機能により目視によってのみ行われてい
るため、評価ミスが発生しやすいという問題点があっ
た。

【０００９】この発明は、前述した問題点を解決するた
めになされたもので、試験を途中で中止した後の再試験
実行において、試験項目を初めから行うのではなく、試
験中断時点以降からの試験を行うことができるプログラ
ム評価システムを得ることを目的とする。

【００１０】また、この発明は、評価対象プログラムの
変数値の評価だけでなく、変数値の範囲の評価を行うこ
とができるプログラム評価システムを得ることを目的と
する。

【００１１】

【課題を解決するための手段】この発明に係るプログラ
ム評価システムは、ホストコンピュータからの疑似的な
入力情報に基づいて、試験装置に格納された評価対象プ
ログラムのエミュレーション動作を実行し、結果を出力
情報として取得することによりプログラムの評価試験を
行うプログラム評価システムにおいて、前記ホストコン
ピュータは、評価試験を実行するための疑似的な入出力
情報を記述したテストケースを複数記述したテストケー
ス群から指定されたテストケースを解析するテストケー
ス解析部と、前記指定されたテストケースの疑似的な入
出力情報を受け取り前記試験装置を制御する試験装置制
御部と、評価試験中断時にその中断時の実行情報を取得
し、評価試験再実行時に前記中断時の実行情報を前記試
験装置にロードする再試験実行部とを備えたものであ
る。

【００１２】また、この発明に係るプログラム評価シス
テムは、前記再試験実行部が、評価試験中断時にその中
断時の実行情報を取得する実行状況取得部と、前記実行
情報を実行情報記憶手段に格納する実行状況格納部と、
評価試験再実行時に前記格納された中断時の実行情報を
前記試験装置にロードする実行状況ロード部とを含み、
評価試験再実行時には評価試験中断時以降の試験項目か
ら行うものである。

【００１３】また、この発明に係るプログラム評価シス
テムは、前記試験装置が、前記ホストコンピュータと通
信を行うホストコンピュータ通信Ｉ／Ｆと、前記評価対
象プログラムを格納するエミュレーションメモリ部とを
含むものである。

【００１４】また、この発明に係るプログラム評価シス
テムは、前記試験装置を、対象とするマイクロコンピュ
ータのＩＣＥとしたものである。

【００１５】また、この発明に係るプログラム評価シス
テムは、前記ホストコンピュータが、さらに、前記試験
装置を制御して取得した出力情報の範囲と前記指定され
たテストケースに記述された期待値の範囲とを比較して
評価試験の合否を判定する試験結果範囲判定部を備えた
ものである。

【００１６】また、この発明に係るプログラム評価シス
テムは、前記ホストコンピュータが、さらに、前記指定
されたテストケースに記述されたトレースタイミングに
基づいて割込みを発生し、その時のトレース情報を取得
してレポートするデータトレース部を備えたものであ
る。

【００１７】また、この発明に係るプログラム評価シス
テムは、前記データトレース部が、前記指定されたテス
トケースに記述された出力情報のトレースタイミングに
基づいて割込みを発生する割込み制御部と、割込み発生
時にトレースしたデータを取得するデータ取得部と、前
記トレースしたデータをトレース情報としてトレース情
報記憶手段に格納するデータ格納部と、前記格納された
トレース情報をレポートするデータレポート部とを含む
ものである。

【００１８】また、この発明に係るプログラム評価シス
テムは、前記ホストコンピュータが、さらに、前記試験
装置を制御して取得した出力情報と前記指定されたテス
トケースに記述された期待値とを比較して評価試験を行
う試験結果判定部と、前記評価試験の結果を試験履歴と
して作成蓄積し、この蓄積した試験履歴を必要に応じて
レポートする試験履歴情報生成部とを備えたものであ
る。

【００１９】さらに、この発明に係るプログラム評価シ
ステムは、前記試験履歴情報生成部が、前記評価試験の
結果を試験履歴として作成する試験履歴作成部と、前記
作成した試験履歴を格納する試験履歴格納部と、前記格
納した試験履歴をレポートする試験履歴レポート部とを
含むものである。

【００２０】

【発明の実施の形態】

実施の形態１．この発明の実施の形態１に係るプログラ
ム評価システムの構成について図１を参照しながら説明
する。図１は、この発明の実施の形態１の構成を示すブ
ロック図である。なお、各図中、同一符号は同一又は相
当部分を示す。

【００２１】図１において、１は入力手段、２は表示手
段、３はプリンタである。入力手段１は、入力情報の変
更タイミングや変更アドレス、変更値、出力情報の取得
タイミング、参照アドレス、期待値、メモリサイズが記
述された後述するテストケース群や実行すべきテストケ
ースの組合せと実行回数を入力する。また、表示手段２
は、後述するホストコンピュータから評価試験の実行結
果を表示する。さらに、プリンタ３は、評価試験の結果
に関する情報を出力する。

【００２２】また、同図において、４はホストコンピュ
ータ、５はテストケース群、６はテストケース解析部、
７は試験結果判定部、８は試験結果範囲判定部である。
テストケース群５は、評価試験の入力に相当する入力情
報のメモリ変更タイミング、変更アドレスと変更値、そ
の入力により発生する出力に相当する出力情報の取得タ
イミングと参照アドレス、期待値の組、メモリサイズか
らなるテストケースを複数記述したものである。テスト
ケース解析部６は、テストケース群５から指定されたテ
ストケースを解析し、評価試験の実行を制御する。ま
た、試験結果判定部７は、後述する評価対象機器のメモ
リから、後述する試験装置を制御して取得した出力情報
と、テストケースに記述された期待値を受け取り、両者
を比較することによってテストの合否を判定する。さら
に、試験結果範囲判定部８は、評価値だけでなく結果デ
ータの値の範囲を判定する。

【００２３】また、同図において、９は試験履歴情報生
成部、１０は試験履歴作成部、１１は試験履歴格納部、
１２は試験履歴レポート部である。試験履歴作成部１０
は、試験結果判定部７または試験結果範囲判定部８によ
って判定された結果を取得し、試験実施日時や試験結果
をまとめた試験履歴情報として作成する。また、試験履
歴格納部１１は、作成した試験履歴情報を格納する。さ
らに、試験履歴レポート部１２は、蓄積された試験履歴
情報からバグの収束レポートや過去の試験履歴の表示を
行う。

【００２４】また、同図において、１３は記憶手段、１
４は試験装置制御部である。記憶手段１３は、試験履歴
格納部１１により試験履歴情報を蓄積する。試験装置制
御部１４は、テストケース解析部６から、入力情報変更
のためのタイミング、アドレス、変更値、出力情報取得
のためのタイミングとアドレス、期待値、メモリサイズ
を受け取り、後述する試験装置を制御する。

【００２５】また、同図において、１５はデータトレー
ス部、１６は割込み制御部、１７はデータ取得部、１８
はデータレポート部、１９はデータ格納部、２０は記憶
手段である。割込み制御部１６は、指定した評価対象プ
ログラムの変数やラベルを一定時間毎にトレースする。
データ取得部１７は、割込み発生時にトレース情報を取
得する。また、データレポート部１８は、取得したトレ
ース情報から平均値や最大値、最小値などをレポートす
る。データ格納部１９は、取得したトレース情報を格納
する。さらに、記憶手段２０は、トレース情報を格納す
る。

【００２６】また、同図において、２１は再試験実行
部、２２は実行状況取得部、２３は実行状況ロード部、
２４は実行状況格納部、２５は記憶手段である。実行状
況取得部２２は、試験中断時に中断時の実行状態（メモ
リやレジスタの内容）を保持する。また、実行状況ロー
ド部２３は、試験再実行時に試験中断時の情報を後述す
るエミュレーションメモリ部にロードする。実行状況格
納部２４は、実行状況を格納する。さらに、記憶手段２
５は、実行状況を実行情報として格納する。

【００２７】また、同図において、２６は後述する評価
対象機器に接続された試験装置、２７はホストコンピュ
ータ通信Ｉ／Ｆ、２８はエミュレーションメモリ部であ
る。ホストコンピュータ通信Ｉ／Ｆ２７は、ホストコン
ピュータ４と通信を行う。エミュレーションメモリ部２
８は、後述する評価対象機器中にある評価対象プログラ
ムとそのプログラムが使用する変数などを格納するメモ
リをエミュレーションする。

【００２８】また、同図において、２９は入力情報、３
０は出力情報、３１は評価対象プログラム、３２は入力
ドライバ部、３３はプログラム本体部、３４は出力ドラ
イバ部である。入力ドライバ部３２は、後述する入力デ
バイスからの信号をプログラム本体部３３で使用できる
入力情報２９に変換してメモリ上に配置する。また、プ
ログラム本体部３３は、プログラムの機能の本質（仕様
部分）を実現する。さらに、出力ドライバ部３４は、プ
ログラム本体部３３の処理結果としてメモリ上に配置さ
れた出力情報を後述する出力デバイスに出力するための
信号に変換する。

【００２９】さらに、同図において、３５は評価対象機
器、３６はマイクロコンピュータ、３７は入力デバイ
ス、３８は出力デバイスである。

【００３０】つぎに、この実施の形態１に係るプログラ
ム評価システムにおける作業の動作手順について図２を
参照しながら説明する。図２は、この発明の実施の形態
１における評価試験実行の再試験実行に関する動作手順
を示すフローチャートである。

【００３１】まず、ステップＳ１０１において、評価試
験実施者は、評価試験の入力に相当する入力情報のメモ
リ変更タイミング、変更アドレスと変更値、その入力に
より発生する出力に相当する出力情報の取得タイミング
と参照アドレス、期待値の組、メモリサイズからなるテ
ストケース群５を、ホストコンピュータ４の入力手段１
から入力する。

【００３２】次に、ステップＳ１０２において、ホスト
コンピュータ４は、入力されたテストケース群５を解析
する。

【００３３】次に、ステップＳ１０３において、ホスト
コンピュータ４は、テストケースに基づき試験装置２６
を制御してメモリ中の入力情報２９の変更や出力情報３
０の照合を行い、評価試験を実行する。

【００３４】次に、ステップＳ１０４において、ホスト
コンピュータ４は、何らかの事情により入力手段１から
試験中止の指示が出されたか否かを判断する。試験中止
の指示が出されない場合は処理を終了し、試験中止の指
示が出された場合には次のステップへ進む。

【００３５】次に、ステップＳ１０５において、ホスト
コンピュータ４の再試験実行部２１内の実行状況取得部
２２は、もし、何らかの事情により入力手段１から試験
中止の指示が出された場合には、指定されたメモリサイ
ズに基づき、プログラムの実行状況をエミュレーション
メモリ部２８から取得する。

【００３６】次に、ステップＳ１０６において、ホスト
コンピュータ４の再試験実行部２１内の実行状況格納部
２４は、取得したデータ（実行状況）をハードディスク
などの２次記憶装置（記憶手段）２５に実行情報として
格納する。

【００３７】次に、ステップＳ１０７において、ホスト
コンピュータ４は、入力手段１から試験再実行の指示が
出されたか否かを判断する。試験再実行の指示が出され
ない場合は処理を終了し、試験再実行の指示が出された
場合には次のステップへ進む。

【００３８】次に、ステップＳ１０８において、ホスト
コンピュータ４の再試験実行部２１内の実行状況ロード
部２３は、入力手段１から試験再実行の指示が出された
場合には、プログラムの実行状況を記憶手段２５から読
み出し、エミュレーションメモリ部２８上にロードす
る。

【００３９】最後に、ステップＳ１０９において、ホス
トコンピュータ４は、試験装置２６を制御して、評価対
象プログラムを実行し、再試験を開始する。

【００４０】この実施の形態１に係るプログラム評価シ
ステムは、入力デバイス３７からの信号を処理し、結果
を出力デバイス３８に出力して機器制御を行うために、
メモリ内容の参照タイミングと変更タイミングに基づい
て試験装置２６に対しメモリ内容の変更と参照を指示す
るホストコンピュータ４と、試験装置２６とから構成さ
れている。

【００４１】ホストコンピュータ４は、評価試験の入力
に相当する入力情報であるメモリ変更タイミング、変更
アドレス、変更値、該入力情報からの出力である出力情
報のメモリ参照タイミングと参照アドレス、及び期待値
の組、メモリサイズを記述したテストケース群５を解析
するテストケース解析部６と、試験装置２６を制御する
試験装置制御部１４等とを備え、試験装置２６は、ホス
トコンピュータ４との通信を行うホストコンピュータ通
信Ｉ／Ｆ２７と、エミュレーションメモリ部２８とを備
える。

【００４２】エミュレーションメモリ部２８は、ホスト
コンピュータ通信Ｉ／Ｆ２７を介して評価対象プログラ
ム間で入出力される入出力情報２９、３０と、マイクロ
コンピュータ機器（評価対象機器３５）の入力デバイス
３７からの信号をプログラム本体部３３で識別可能な入
力情報に変換してメモリ上に配置する入力ドライバ部３
２と、プログラム本体部３３による処理結果を出力デバ
イス３８において出力制御するための信号に変換する出
力ドライバ部３４と、評価対象となるマイクロコンピュ
ータ機器のプログラム本体部３３とを含む。

【００４３】また、ホストコンピュータ４は、試験中断
時に中断時の実行状態（メモリやレジスタの内容）を保
持するための実行状況取得部２２と、実行状況を格納す
るための実行状況格納部２４と、試験再実行時に試験中
断時の実行情報をエミュレーションメモリ部２８にロー
ドするための実行状況ロード部２３とを含む再試験実行
部２１をさらに備える。

【００４４】すなわち、この実施の形態１は、試験中断
時に中断時の実行状態（メモリやレジスタの内容）を保
持し、再試験の実行時に先に保持しておいた実行状態を
エミュレーションメモリ部２８にロードすることによ
り、再試験実施時に試験項目の初めから実行する必要が
無く、試験中断時点の試験項目からの試験が可能にな
り、評価時間を短縮することができる。

【００４５】実施の形態２．この発明の実施の形態２に
係るプログラム評価システムは、上記実施の形態１の試
験装置２６をＩＣＥ（In Circuit Emulator）に代えた
ものである。

【００４６】この場合、ホストコンピュータ４は、入力
されたテストケース群５を解析し、ＩＣＥを制御してメ
モリ中の入力情報の変更や出力情報の照合を行い、評価
試験を実行する。これにより、評価対象機器３５の操作
及び動作確認試験を市販のツールによっても実施するこ
とができる。

【００４７】この実施の形態２は、試験装置２６として
対象とするマイクロコンピュータのＩＣＥを使用し、試
験中断時に中断時の実行状態（メモリやレジスタの内
容）を保持し、再試験の実行時に先に保持しておいた実
行状態をエミュレーションメモリ部２８にロードするこ
とにより、再試験実施時に試験項目の初めから実行する
必要が無く、試験中断時点の試験項目からの試験が可能
になる。

【００４８】この実施の形態２によれば、試験装置２６
の代わりにＩＣＥを使用することにより、入手が容易な
既存ツールによっても、試験中断時に中断時の実行状態
（メモリやレジスタの内容）を保持し、再試験実行時に
試験中断時の情報をエミュレーションメモリ部２８にロ
ードすることにより、試験中断時点からの評価試験を行
うことができる。このため、柔軟性のあるプログラム評
価システムを構築することができる。

【００４９】実施の形態３．この発明の実施の形態３に
係るプログラム評価システムについて図３を参照しなが
ら説明する。図３は、この発明の実施の形態３における
評価試験実行の変数値の範囲についての評価に関する動
作手順を示すフローチャートである。なお、構成は上記
実施の形態１と同様である。

【００５０】まず、ステップＳ２０１において、評価試
験実施者は、評価試験の入力に相当する入力情報のメモ
リ変更タイミング、変更アドレスと変更値、その入力に
より発生する出力に相当する出力情報の取得タイミング
と参照アドレス、期待値の範囲などから構成されたテス
トケースを複数記述したテストケース群５を、ホストコ
ンピュータ４の入力手段１から入力する。

【００５１】次に、ステップＳ２０２において、ホスト
コンピュータ４は、入力されたテストケース群５を解析
する。

【００５２】次に、ステップＳ２０３において、ホスト
コンピュータ４は、テストケース群５に基づき試験装置
２６を制御してメモリ中の入力情報２９の変更を行い、
評価対象プログラムを実行する。

【００５３】次に、ステップＳ２０４において、ホスト
コンピュータ４の試験装置制御部１４は、入力により発
生した出力情報を取得タイミングと参照アドレスに基づ
いて試験装置２６を制御することにより取得する。

【００５４】次に、ステップＳ２０５において、ホスト
コンピュータ４の試験結果範囲判定部８は、取得したデ
ータと期待値の範囲を比較することにより評価を行う。

【００５５】ここで行う評価としては、期待値として１
つ、または２つの値を指定し、その値の範囲と実行結果
を比較することによって行う。例えば、期待値をＡとＢ
の範囲内として指定したとすると、評価試験の入力によ
って発生した出力情報が、この範囲内なら試験合格、そ
うでなければ試験不合格として判定される。

【００５６】評価内容としては他に、範囲内の指定以外
にＡとＢの範囲外、Ａより小さい、Ａより小さいかまた
は等しい、Ａと等しい、Ａより大きいかまたは等しい、
Ａより大きい、Ａに等しくない、などの範囲指定ができ
る。

【００５７】このように、評価試験を変数値の範囲を指
定することにより、評価対象プログラム実行時に指定し
た変数値の範囲である上限値や下限値についての評価を
行うことができる。

【００５８】この実施の形態３は、評価試験を評価対象
プログラムの変数値の範囲を指定することにより、評価
対象プログラム実行時に指定した変数値の範囲を検証す
る試験結果範囲判定部８をホストコンピュータ４に備え
たものである。

【００５９】この実施の形態３によれば、評価試験を変
数値の範囲を指定することにより、評価対象プログラム
の指定した変数値の範囲である上限値や下限値について
の評価を行うことができる。

【００６０】実施の形態４．この発明の実施の形態４に
係るプログラム評価システムについて図４を参照しなが
ら説明する。図４は、この発明の実施の形態４における
評価試験実行のプログラムの変数やラベルを一定時間毎
にトレースする評価に関する動作手順を示すフローチャ
ートである。なお、構成は上記実施の形態１と同様であ
る。

【００６１】まず、ステップＳ３０１において、評価試
験実施者は、評価試験の入力に相当する入力情報のメモ
リ変更タイミング、変更アドレスと変更値、その入力に
より発生する出力に相当する出力情報をトレースするタ
イミングとトレースするアドレスなどから構成されたテ
ストケースを複数記述したテストケース群５を、ホスト
コンピュータ４の入力手段１から入力する。

【００６２】次に、ステップＳ３０２において、ホスト
コンピュータ４は、入力されたテストケース群５を解析
する。

【００６３】次に、ステップＳ３０３において、ホスト
コンピュータ４は、テストケース群５に基づき試験装置
２６を制御してメモリ中の入力情報２９の変更を行い、
評価対象プログラムを実行する。

【００６４】次に、ステップＳ３０４において、ホスト
コンピュータ４のデータトレース部１５内の割込み制御
部１６は、テストケース群５で記述された出力情報のト
レースタイミングに基づいて割り込みを発生する。

【００６５】次に、ステップＳ３０５において、ホスト
コンピュータ４のデータトレース部１５内のデータ取得
部１７は、トレースするデータを取得する。

【００６６】トレースするタイミングとしては、時間単
位または取得する変数が評価対象プログラムによりアク
セスされる毎にトレースする単位の指定を行うことがで
きる。

【００６７】次に、ステップＳ３０６において、ホスト
コンピュータ４のデータトレース部１５内のデータ格納
部１９は、トレースしたデータをハードディスクなどの
２次記憶装置（記憶手段）２０にトレース情報として格
納する。

【００６８】そして、ステップＳ３０７において、ホス
トコンピュータ４のデータトレース部１５内のデータレ
ポート部１８は、記憶手段２０に格納されたトレース情
報を、表示手段２またはプリンタ３からトレースした
値、平均値、最大値、最小値の表示、印刷を行う。

【００６９】この実施の形態４は、指定した評価対象プ
ログラムの変数やラベルを一定時間毎にトレースするた
めの割込み制御部１６と、割込み発生時にデータを取得
するデータ取得部１７と、取得したデータを格納するた
めのデータ格納部１９と、取得したトレース情報をレポ
ートするデータレポート部１８とを含むデータトレース
部１５をホストコンピュータ４に備えたものである。

【００７０】この実施の形態４によれば、指定した評価
対象プログラムの変数やラベルの値を一定時間毎にトレ
ースすることにより、トレースした値の平均値や最大
値、最小値をレポートすることができる。

【００７１】実施の形態５．この発明の実施の形態５に
係るプログラム評価システムについて図５を参照しなが
ら説明する。図５は、この発明の実施の形態５における
評価試験実行の試験履歴作成に関する動作手順を示すフ
ローチャートである。なお、構成は上記実施の形態１と
同様である。

【００７２】まず、ステップＳ４０１において、評価試
験実施者は、評価試験の入力に相当する入力情報のメモ
リ変更タイミング、変更アドレスと変更値、その入力に
より発生する出力に相当する出力情報の取得タイミング
と参照アドレス、期待値の組などから構成されたテスト
ケースを複数記述したテストケース群５を、ホストコン
ピュータ４の入力手段１から入力する。

【００７３】次に、ステップＳ４０２において、ホスト
コンピュータ４は、入力されたテストケース群５を解析
する。

【００７４】次に、ステップＳ４０３において、ホスト
コンピュータ４は、テストケース群５に基づき試験装置
２６を制御してメモリ中の入力情報２９の変更を行い、
評価対象プログラムを実行する。

【００７５】次に、ステップＳ４０４において、ホスト
コンピュータ４の試験装置制御部１４は、入力の結果発
生した出力情報をテストケース群５に記述されている取
得タイミングと参照アドレスに基づいて取得し、試験結
果判定部７又は試験結果範囲判定部８によって、テスト
ケース群５に記述された期待値と取得された出力情報と
を比較することにより評価試験を実行する。

【００７６】次に、ステップＳ４０５において、ホスト
コンピュータ４の試験履歴情報生成部９内の試験履歴作
成部１０は、試験結果を試験履歴として作成する。

【００７７】上記試験履歴は、試験実施日時や試験合否
情報、試験内容、エラー情報（期待値、結果）が記述さ
れた情報であり、試験実行毎に試験履歴情報１３が更新
（追加）され、過去に実施した試験履歴が蓄積される。

【００７８】次に、ステップＳ４０６において、ホスト
コンピュータ４の試験履歴情報生成部９内の試験履歴格
納部１１は、作成された試験履歴をハードディスクなど
の２次記憶装置（記憶手段）１３に試験履歴情報として
格納する。

【００７９】次に、ステップＳ４０７において、ホスト
コンピュータ４の試験履歴情報生成部９内の試験履歴レ
ポート部１２は、格納された試験履歴情報を表示手段２
あるいはプリンタ３により表示あるいは印刷する。

【００８０】従って、ステップＳ４０８〜Ｓ４０９にお
いて、評価試験実施者は、表示あるいは印刷された試験
結果がＯＫか否かを判断する。すなわち、評価試験実施
者は、試験結果を見ることにより、プログラムが正常に
動作しているかを確認することができる。もし、出力情
報が期待するものと異なっていた場合には評価対象プロ
グラムを修正する。

【００８１】このような手順を複数の試験項目に対して
繰り返して行うことでプログラムの評価試験を実行す
る。また、ここで、作成した試験実施日時を蓄積するこ
とによってバグの収束レポートや試験成績書などのドキ
ュメント作成に利用することができる。

【００８２】この実施の形態５は、試験実行結果を試験
履歴として作成する試験履歴作成部１０と、作成した試
験履歴を格納する試験履歴格納部１１と、蓄積した試験
履歴情報からバグの収束レポートや過去の試験履歴の出
力を行う試験履歴レポート部１２とを含む試験履歴情報
生成部９を備えたものである。

【００８３】この実施の形態５によれば、試験実行結果
を試験履歴として作成し、試験履歴情報を蓄積すること
により、評価対象プログラムのバグの収束レポートや過
去の試験履歴の出力（表示、印刷）を行うことができ
る。また、試験履歴出力により試験履歴情報を試験成績
書などのドキュメント作成に利用することができる。

【００８４】

【発明の効果】この発明に係るプログラム評価システム
は、以上説明したとおり、ホストコンピュータからの疑
似的な入力情報に基づいて、試験装置に格納された評価
対象プログラムのエミュレーション動作を実行し、結果
を出力情報として取得することによりプログラムの評価
試験を行うプログラム評価システムにおいて、前記ホス
トコンピュータは、評価試験を実行するための疑似的な
入出力情報を記述したテストケースを複数記述したテス
トケース群から指定されたテストケースを解析するテス
トケース解析部と、前記指定されたテストケースの疑似
的な入出力情報を受け取り前記試験装置を制御する試験
装置制御部と、評価試験中断時にその中断時の実行情報
を取得し、評価試験再実行時に前記中断時の実行情報を
前記試験装置にロードする再試験実行部とを備えたの
で、再試験実施時に試験項目の初めから実行する必要が
無く、試験中断時点の試験項目からの試験ができ、評価
時間を短縮することができるという効果を奏する。

【００８５】また、この発明に係るプログラム評価シス
テムは、以上説明したとおり、前記再試験実行部が、評
価試験中断時にその中断時の実行情報を取得する実行状
況取得部と、前記実行情報を実行情報記憶手段に格納す
る実行状況格納部と、評価試験再実行時に前記格納され
た中断時の実行情報を前記試験装置にロードする実行状
況ロード部とを含み、評価試験再実行時には評価試験中
断時以降の試験項目から行うので、再試験実施時に試験
項目の初めから実行する必要が無く、試験中断時点の試
験項目からの試験ができ、評価時間を短縮することがで
きるという効果を奏する。

【００８６】また、この発明に係るプログラム評価シス
テムは、以上説明したとおり、前記試験装置が、前記ホ
ストコンピュータと通信を行うホストコンピュータ通信
Ｉ／Ｆと、前記評価対象プログラムを格納するエミュレ
ーションメモリ部とを含むので、再試験実施時に試験項
目の初めから実行する必要が無く、試験中断時点の試験
項目からの試験ができ、評価時間を短縮することができ
るという効果を奏する。

【００８７】また、この発明に係るプログラム評価シス
テムは、以上説明したとおり、前記試験装置を、対象と
するマイクロコンピュータのＩＣＥとしたので、柔軟性
のあるシステムを構築することができるという効果を奏
する。

【００８８】また、この発明に係るプログラム評価シス
テムは、以上説明したとおり、前記ホストコンピュータ
が、さらに、前記試験装置を制御して取得した出力情報
の範囲と前記指定されたテストケースに記述された期待
値の範囲とを比較して評価試験の合否を判定する試験結
果範囲判定部を備えたので、評価対象プログラムの変数
値の範囲について上限値や下限値の評価を行うことがで
きるという効果を奏する。

【００８９】また、この発明に係るプログラム評価シス
テムは、以上説明したとおり、前記ホストコンピュータ
が、さらに、前記指定されたテストケースに記述された
トレースタイミングに基づいて割込みを発生し、その時
のトレース情報を取得してレポートするデータトレース
部を備えたので、トレースした変数の値、平均値、最大
値、最小値等をレポートすることができるという効果を
奏する。

【００９０】また、この発明に係るプログラム評価シス
テムは、以上説明したとおり、前記データトレース部
が、前記指定されたテストケースに記述された出力情報
のトレースタイミングに基づいて割込みを発生する割込
み制御部と、割込み発生時にトレースしたデータを取得
するデータ取得部と、前記トレースしたデータをトレー
ス情報としてトレース情報記憶手段に格納するデータ格
納部と、前記格納されたトレース情報をレポートするデ
ータレポート部とを含むので、トレースした変数の値、
平均値、最大値、最小値等をレポートすることができる
という効果を奏する。

【００９１】また、この発明に係るプログラム評価シス
テムは、以上説明したとおり、前記ホストコンピュータ
が、さらに、前記試験装置を制御して取得した出力情報
と前記指定されたテストケースに記述された期待値とを
比較して評価試験を行う試験結果判定部と、前記評価試
験の結果を試験履歴として作成蓄積し、この蓄積した試
験履歴を必要に応じてレポートする試験履歴情報生成部
とを備えたので、評価対象プログラムのバグの収束レポ
ートや過去の試験履歴の表示を行うことができ、また、
試験成績書などのドキュメント作成に利用することがで
きるという効果を奏する。

【００９２】さらに、この発明に係るプログラム評価シ
ステムは、以上説明したとおり、前記試験履歴情報生成
部が、前記評価試験の結果を試験履歴として作成する試
験履歴作成部と、前記作成した試験履歴を格納する試験
履歴格納部と、前記格納した試験履歴をレポートする試
験履歴レポート部とを含むので、評価対象プログラムの
バグの収束レポートや過去の試験履歴の表示を行うこと
ができ、また、試験成績書などのドキュメント作成に利
用することができるという効果を奏する。

【図面の簡単な説明】

【図１】 この発明の実施の形態１に係るプログラム評
価システムの構成を示す図である。

【図２】 この発明の実施の形態１の評価試験実施の作
業手順を示すフローチャートである。

【図３】 この発明の実施の形態３の評価試験実施の作
業手順を示すフローチャートである。

【図４】 この発明の実施の形態４の評価試験実施の作
業手順を示すフローチャートである。

【図５】 この発明の実施の形態５の評価試験実施の作
業手順を示すフローチャートである。

【符号の説明】

１ 入力手段、２ 表示手段、３ プリンタ、４ ホス
トコンピュータ、５テストケース群、６ テストケース
解析部、７ 試験結果判定部、８ 試験結果範囲判定
部、９ 試験履歴情報生成部、１０ 試験履歴作成部、
１１ 試験履歴格納部、１２ 試験履歴レポート部、１
３ 記憶手段（試験履歴情報）、１４試験装置制御部、
１５ データトレース部、１６ 割込み制御部、１７
データ取得部、１８ データレポート部、１９ データ
格納部、２０ 記憶手段（トレース情報）、２１ 再試
験実行部、２２ 実行状況取得部、２３ 実行状況ロー
ド部、２４ 実行状況格納部、２５ 記憶手段（実行情
報）、２６ 試験装置、２７ ホストコンピュータ通信
Ｉ／Ｆ、２８ エミュレーションメモリ部、２９入力情
報、３０ 出力情報、３１ 評価対象プログラム、３２
入力ドライバ部、３３ プログラム本体部、３４ 出
力ドライバ部、３５ 評価対象機器、３６ マイクロコ
ンピュータ、３７ 入力デバイス、３８ 出力デバイ
ス。

Claims (9)

【特許請求の範囲】
1. 【請求項１】 ホストコンピュータからの疑似的な入力
   情報に基づいて、試験装置に格納された評価対象プログ
   ラムのエミュレーション動作を実行し、結果を出力情報
   として取得することによりプログラムの評価試験を行う
   プログラム評価システムにおいて、 前記ホストコンピュータは、 評価試験を実行するための疑似的な入出力情報を記述し
   たテストケースを複数記述したテストケース群から指定
   されたテストケースを解析するテストケース解析部と、 前記指定されたテストケースの疑似的な入出力情報を受
   け取り前記試験装置を制御する試験装置制御部と、 評価試験中断時にその中断時の実行情報を取得し、評価
   試験再実行時に前記中断時の実行情報を前記試験装置に
   ロードする再試験実行部とを備えたことを特徴とするプ
   ログラム評価システム。
2. 【請求項２】 前記再試験実行部は、 評価試験中断時にその中断時の実行情報を取得する実行
   状況取得部と、 前記実行情報を実行情報記憶手段に格納する実行状況格
   納部と、 評価試験再実行時に前記格納された中断時の実行情報を
   前記試験装置にロードする実行状況ロード部とを含み、 評価試験再実行時には評価試験中断時以降の試験項目か
   ら行うことを特徴とする請求項１記載のプログラム評価
   システム。
3. 【請求項３】 前記試験装置は、 前記ホストコンピュータと通信を行うホストコンピュー
   タ通信Ｉ／Ｆと、 前記評価対象プログラムを格納するエミュレーションメ
   モリ部とを含むことを特徴とする請求項２記載のプログ
   ラム評価システム。
4. 【請求項４】 前記試験装置は、対象とするマイクロコ
   ンピュータのＩＣＥであることを特徴とする請求項１記
   載のプログラム評価システム。
5. 【請求項５】 前記ホストコンピュータは、さらに、 前記試験装置を制御して取得した出力情報の範囲と前記
   指定されたテストケースに記述された期待値の範囲とを
   比較して評価試験の合否を判定する試験結果範囲判定部
   を備えたことを特徴とする請求項１又は４記載のプログ
   ラム評価システム。
6. 【請求項６】 前記ホストコンピュータは、さらに、 前記指定されたテストケースに記述されたトレースタイ
   ミングに基づいて割込みを発生し、その時のトレース情
   報を取得してレポートするデータトレース部を備えたこ
   とを特徴とする請求項１又は４記載のプログラム評価シ
   ステム。
7. 【請求項７】 前記データトレース部は、 前記指定されたテストケースに記述された出力情報のト
   レースタイミングに基づいて割込みを発生する割込み制
   御部と、 割込み発生時にトレースしたデータを取得するデータ取
   得部と、 前記トレースしたデータをトレース情報としてトレース
   情報記憶手段に格納するデータ格納部と、 前記格納されたトレース情報をレポートするデータレポ
   ート部とを含むことを特徴とする請求項６記載のプログ
   ラム評価システム。
8. 【請求項８】 前記ホストコンピュータは、さらに、 前記試験装置を制御して取得した出力情報と前記指定さ
   れたテストケースに記述された期待値とを比較して評価
   試験を行う試験結果判定部と、 前記評価試験の結果を試験履歴として作成蓄積し、この
   蓄積した試験履歴を必要に応じてレポートする試験履歴
   情報生成部とを備えたことを特徴とする請求項１又は４
   記載のプログラム評価システム。
9. 【請求項９】 前記試験履歴情報生成部は、 前記評価試験の結果を試験履歴として作成する試験履歴
   作成部と、 前記作成した試験履歴を格納する試験履歴格納部と、 前記格納した試験履歴をレポートする試験履歴レポート
   部とを含むことを特徴とする請求項８記載のプログラム
   評価システム。