JPH0713809A - プログラム評価方式 - Google Patents

プログラム評価方式

Info

Publication number
JPH0713809A
JPH0713809A JP5181896A JP18189693A JPH0713809A JP H0713809 A JPH0713809 A JP H0713809A JP 5181896 A JP5181896 A JP 5181896A JP 18189693 A JP18189693 A JP 18189693A JP H0713809 A JPH0713809 A JP H0713809A
Authority
JP
Japan
Prior art keywords
program
expected value
evaluation
input data
scenario
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5181896A
Other languages
English (en)
Other versions
JP2606085B2 (ja
Inventor
三男 ▲高▼木
Mitsuo Takagi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP5181896A priority Critical patent/JP2606085B2/ja
Publication of JPH0713809A publication Critical patent/JPH0713809A/ja
Application granted granted Critical
Publication of JP2606085B2 publication Critical patent/JP2606085B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

(57)【要約】 【目的】 固定的でないシミュレーションデータの生成
(評価対象プログラムの柔軟な評価)を可能とし、処理
結果の自動的な判定を可能とする。 【構成】 シナリオ格納部204は、評価対象プログラ
ム100の評価順序の大要を定めるシナリオを格納す
る。入力データ格納部202は、各イベントに対応する
入力データセットを格納する。期待値格納部205は、
各イベントに対応する期待値セットを格納する。実行手
段201は、シナリオ格納部204および入力データ格
納部202を参照してシミュレーションデータを生成
し、そのシミュレーションデータを評価対象プログラム
100の入力として与える。判定手段203は、評価対
象プログラム100から出力される処理結果と当該処理
結果に対応する期待値とを比較し、当該処理結果が当該
期待値に適合するか否かを判定する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、計算機システム上で動
作するプログラムの評価を行うプログラム評価方式に関
する(評価の対象となるプログラムを「評価対象プログ
ラム」という)。
【0002】
【従来の技術】図4は、従来のプログラム評価方式の一
例の構成を示すブロック図である。
【0003】図4に示す従来のプログラム評価方式は、
評価対象プログラム400と、実行手段501,入力デ
ータ格納部502および表示手段503を有するシミュ
レーションプログラム500とを含んで構成されてい
る。
【0004】シミュレーションプログラム500は、評
価対象プログラム400が処理を実行するために必要な
データの入力に関するインタフェースと処理結果の出力
に関するインタフェースとを有する外部プログラムを模
擬するものである。
【0005】このように構成された従来のプログラム評
価方式は、次のような処理を行っていた。
【0006】シミュレーションプログラム500内の実
行手段501は、入力データ格納部502に格納されて
いる入力データ群(評価対象プログラム400の入力と
なるデータを時系列的に有する固定的なデータ群)から
各入力データを順次に引き出し、各入力データをシミュ
レーションデータとして評価対象プログラム400に与
える(評価対象プログラム400はこのシミュレーショ
ンデータを入力する)。
【0007】評価対象プログラム400は、そのシミュ
レーションデータに基づいて処理を実行し、シミュレー
ションプログラム500に対して処理結果を出力する。
【0008】シミュレーションプログラム500内の表
示手段503は、評価対象プログラム400から出力さ
れた処理結果を順次に表示(ハードコピー出力を含む)
する。
【0009】従来のプログラム評価方式では以上のよう
な処理が行われているので、評価対象プログラム400
の処理結果が正しかったか誤っていたか等の評価対象プ
ログラムに関する評価は、表示手段503による表示に
基づく解析員による解析に任されていた。
【0010】
【発明が解決しようとする課題】上述した従来のプログ
ラム評価方式では、評価対象プログラムが入力するデー
タ(シミュレーションデータ)は固定的なものであるの
で、評価対象プログラムの柔軟な評価が困難になるとい
う問題点があった。
【0011】また、評価対象プログラムが出力する処理
結果の評価に関しては、処理結果が表示されるのみであ
り、処理結果の解析を後に人(解析員)が行う必要があ
るので、評価対象プログラムを評価するために多くの人
手(労力)を要し、評価対象プログラムの誤りについて
直ちに対応することができないという問題点があった。
【0012】本発明の目的は、上述の点に鑑み、シナリ
オ格納部の導入により固定的でないシミュレーションデ
ータを設定(生成)することが可能となり(評価対象プ
ログラムの柔軟な評価が可能となり)、期待値格納部と
判定手段との導入により処理結果の自動的な判定(評
価)が可能となるプログラム評価方式を提供することに
ある。
【0013】なお、プログラムの評価の自動化等に関す
る従来技術としては、「特開平2−281339号(デ
ータ処理装置の自動評価方式)」や「特開昭62−23
9241号(会話型データ処理プログラム自動評価方
式)」が公表されている。しかし、これらの従来技術
は、本発明のように「シミュレーションプログラムを利
用した評価対象プログラムの評価」を前提とはしておら
ず、本発明とは着眼点を異にするものである。
【0014】
【課題を解決するための手段】本発明のプログラム評価
方式は、外部プログラムから与えられるデータを入力し
て処理を実行し処理結果を再び外部プログラムに出力す
る評価対象プログラムと、評価順序の大要を定めるシナ
リオを格納するシナリオ格納部と、各イベントに対応す
る入力データセットを格納する入力データ格納部と、各
イベントに対応する期待値セットを格納する期待値格納
部と、前記シナリオ格納部および前記入力データ格納部
を参照してシミュレーションデータを生成してそのシミ
ュレーションデータを前記評価対象プログラムの入力と
して与える実行手段と、前記評価対象プログラムから出
力される処理結果と前記期待値格納部内の期待値セット
中の期待値であって当該処理結果に対応する期待値とを
比較して当該処理結果が当該期待値に適合するか否かを
判定する判定手段とを有する。
【0015】
【実施例】次に、本発明について図面を参照して詳細に
説明する。
【0016】図1は、本発明のプログラム評価方式の一
実施例の構成を示すブロック図である。
【0017】本実施例のプログラム評価方式は、外部プ
ログラム(評価対象プログラム100と同一の計算機シ
ステム上で動作するプログラムであってもよいし異なる
計算機システム上で動作するプログラムであってもよ
い)から与えられるデータを入力して処理を実行し処理
結果を再び外部プログラムに出力する評価対象プログラ
ム100と、評価対象プログラム100を評価するプロ
グラムであり上述の外部プログラムを模擬するプログラ
ムであるシミュレーションプログラム200とを含んで
構成されている。
【0018】シミュレーションプログラム200は、シ
ミュレーションデータを生成してそのシミュレーション
データを評価対象プログラム100の入力として与える
実行手段201と、各イベントに対応する入力データセ
ットを格納する入力データ格納部202と、評価対象プ
ログラム100から出力される処理結果と期待値格納部
205内の期待値(当該処理結果と対応する期待値)と
を比較して当該処理結果が当該期待値に適合するか否か
を判定する判定手段203と、評価順序の大要を定める
シナリオを格納するシナリオ格納部204と、各イベン
トに対応する期待値セットを格納する期待値格納部20
5とを含んで構成されている。
【0019】図2は、評価対象プログラム100がシミ
ュレーションデータを入力する際の本実施例のプログラ
ム評価方式の動作を説明するためのブロック図である。
【0020】図3は、評価対象プログラム100が処理
結果を出力する際(その処理結果をシミュレーションプ
ログラム200が判定する際)の本実施例のプログラム
評価方式の動作を説明するためのブロック図である。
【0021】次に、このように構成された本実施例のプ
ログラム評価方式の動作について説明する。
【0022】第1に、図2を参照して、評価対象プログ
ラム100がシミュレーションデータを入力する際の動
作について説明する。
【0023】シミュレーションプログラム200内のシ
ナリオ格納部204は、評価対象プログラム100の評
価に必要なシナリオ評価順序の大要を定める情報)をあ
らかじめ格納している。シナリオは、あるイベント(評
価対象プログラム100が一連のデータ群を入力する契
機となる事象、すなわち評価対象プログラム100によ
るデータ入力過程の大要を画する事象)が発生するタイ
ミングを示すイベント発生時刻と、そのイベントを識別
する情報であるイベント番号とからなるレコード(イベ
ント発生時刻とイベント番号との対応情報)を、いくつ
かのイベントに関して時系列的に有している。なお、シ
ナリオの内容は、評価順序の大要を定める情報であれ
ば、このような構成に限られるものではない。
【0024】このようなシナリオはあくまでも評価順序
に関する大要、すなわち枠組みを示す情報であるので、
1つの評価対象プログラム100に対していくつかの態
様のシナリオを自由に設定することが可能となる。した
がって、本実施例ひいては本発明のプログラム評価方式
では、固定的ではなく多様なシミュレーションデータを
設定(生成)することができる。
【0025】入力データ格納部202は、シナリオに記
述されるイベント番号に対応した入力データの集合(入
力データセット)をイベントの数だけ格納している。入
力データセットの内容は、入力データが時系列的に揃え
られているものであり、また入力データ間の時間間隔
(各入力データをシミュレーションデータとして評価対
象プログラム100に与える時刻を示すための時間間
隔)も記録されている。
【0026】なお、入力データセットの内容は、評価内
容等に合わせて調整することが可能である。このこと
も、固定的ではないシミュレーションデータを設定する
ために寄与することとなる。
【0027】実行手段201は、評価対象プログラム1
00の評価を実行する際に、シナリオ格納部204から
評価対象プログラム100に対するシナリオ(評価対象
プログラム100に対する複数のシナリオがある場合に
はその中のいずれか)を読み出す。
【0028】実行手段201は、当該シナリオの内容に
基づいて、各イベントを時系列的に順次認識する。すな
わち、当該シナリオ内の各レコード(イベント発生時刻
とイベント番号との対応情報)を順次読み出す。
【0029】さらに、実行手段201は、読み出したレ
コード中のイベント番号をキーとして、入力データ格納
部202からそのイベント番号に対応した入力データセ
ットを読み出す。
【0030】その後、実行手段201は、イベント発生
時刻に合わせて入力データセット中の最初の入力データ
をシミュレーションデータとして評価対象プログラム1
00に与え、入力データセット内に規定されている入力
データ間の時間間隔に基づいて順次以降の各入力データ
をシミュレーションデータとして評価対象プログラム1
00に与える(このような処理を、当該入力データセッ
ト中の最後の入力データを評価対象プログラム100が
入力し終わるまで続ける)。
【0031】実行手段201は、当該シナリオにおける
最初のイベントから最後のイベントまで、以上のような
処理を繰り返す。
【0032】第2に、図3を参照して、評価対象プログ
ラム100が処理結果を出力する際の動作について説明
する。
【0033】シミュレーションプログラム200内の期
待値格納部205は、あらかじめ、入力データ格納部2
02内の各入力データセットに対応した各期待値セット
(その入力データセット中の各入力データに基づく評価
対象プログラム100の各処理結果に対応する各期待値
の集合)を格納している。すなわち、各入力データセッ
トに対応した各イベント番号に対応する各期待値セット
を格納している。
【0034】判定手段203は、上述の実行手段201
の処理に係る「最初の入力データセット」に対する評価
対象プログラム100の評価を実行する際に、実行手段
201からの指示を受け、最初の入力データセットに対
応する期待値セットを期待値格納部205より読み出し
ておく。
【0035】評価対象プログラム100が最初の入力デ
ータセット中の最初の入力データに関する処理を行いそ
の処理結果をシミュレーションプログラム200内の判
定手段203に対して出力すると、判定手段203はそ
の処理結果と所定の期待値(先に読み出しておいた期待
値セット中の期待値のうちの最初の入力データに対応す
る期待値)とを比較する。
【0036】判定手段203は、この比較に基づいて、
当該処理結果が当該期待値に適合するか否かを判定し、
その判定の結果を記録する(この記録は評価対象プログ
ラム100の評価内容としてシミュレーションプログラ
ム200によって出力される)。なお、この判定の態様
の一例としては、期待値が「一定の値の範囲を示す情
報」であるものとし、処理結果の値が期待値により示さ
れる範囲に属するか否かが判定され、属すれば「当該処
理結果が当該期待値に適合する」と判定されるという態
様が考えられる。
【0037】その後、判定手段203は、最初の入力デ
ータセット中の以降の入力データに関する処理に対する
処理結果に関する判定を順次行い、最初の入力データセ
ット中の最後の入力データに対応する処理結果に関する
判定を行うまで同様の処理を続ける。
【0038】さらに、判定手段203は、最初の入力デ
ータセットに対応する処理結果群に関する判定が終了す
ると、次の入力データセットに対応する期待値セットを
期待値格納部205より読み出して上述と同様の処理を
繰り返す。そして、このような処理を、最後の入力デー
タセットに対応する処理結果群に関する判定が完了する
まで行う。
【0039】
【発明の効果】以上説明したように本発明は、シミュレ
ーションプログラムを利用して評価対象プログラムの評
価を行う場合に、評価対象プログラムが入力するデータ
(シミュレーションデータ)をシナリオに応じて柔軟か
つ多様に生成し、そのシミュレーションデータに基づく
処理結果を期待値セット中の期待値と比較することによ
って評価対象プログラムの評価を実行することにより、
評価対象プログラムの評価を自動的かつ高速に行うこと
ができ、短時間で高品質なプログラムの評価を実現する
ことができるという効果を有する。
【図面の簡単な説明】
【図1】本発明のプログラム評価方式の一実施例の構成
を示すブロック図である。
【図2】評価対象プログラムがシミュレーションデータ
を入力する際の図1に示すプログラム評価方式の動作を
説明するためのブロック図である。
【図3】評価対象プログラムが処理結果を出力する際の
図1に示すプログラム評価方式の動作を説明するための
ブロック図である。
【図4】従来のプログラム評価方式の一例の構成を示す
ブロック図である。
【符号の説明】
100 評価対象プログラム 200 シミュレーションプログラム 201 実行手段 202 入力データ格納部 203 判定手段 204 シナリオ格納部 205 期待値格納部

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 外部プログラムから与えられるデータを
    入力して処理を実行し処理結果を再び外部プログラムに
    出力する評価対象プログラムと、 評価順序の大要を定めるシナリオを格納するシナリオ格
    納部と、 各イベントに対応する入力データセットを格納する入力
    データ格納部と、 各イベントに対応する期待値セットを格納する期待値格
    納部と、 前記シナリオ格納部および前記入力データ格納部を参照
    してシミュレーションデータを生成してそのシミュレー
    ションデータを前記評価対象プログラムの入力として与
    える実行手段と、 前記評価対象プログラムから出力される処理結果と前記
    期待値格納部内の期待値セット中の期待値であって当該
    処理結果に対応する期待値とを比較して当該処理結果が
    当該期待値に適合するか否かを判定する判定手段とを有
    することを特徴とするプログラム評価方式。
  2. 【請求項2】 イベント発生時刻とイベント番号との対
    応情報を各イベントについて時系列的に有するシナリオ
    を格納する前記シナリオ格納部を有することを特徴とす
    る請求項1記載のプログラム評価方式。
JP5181896A 1993-06-28 1993-06-28 プログラム評価方式 Expired - Fee Related JP2606085B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5181896A JP2606085B2 (ja) 1993-06-28 1993-06-28 プログラム評価方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5181896A JP2606085B2 (ja) 1993-06-28 1993-06-28 プログラム評価方式

Publications (2)

Publication Number Publication Date
JPH0713809A true JPH0713809A (ja) 1995-01-17
JP2606085B2 JP2606085B2 (ja) 1997-04-30

Family

ID=16108785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5181896A Expired - Fee Related JP2606085B2 (ja) 1993-06-28 1993-06-28 プログラム評価方式

Country Status (1)

Country Link
JP (1) JP2606085B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001097035A1 (en) * 2000-06-14 2001-12-20 Seiko Epson Corporation Automatic evaluation method and automatic evaluation system and storage medium storing automatic evaluation program
WO2001097034A1 (en) * 2000-06-14 2001-12-20 Seiko Epson Corporation Automatic evaluation method and automatic evaluation system and storage medium storing automatic evaluation program
WO2005064473A1 (ja) * 2003-12-25 2005-07-14 H & T Corporation 安全性試験支援システムおよび方法ならびにプログラム
JP2013149291A (ja) * 2013-05-02 2013-08-01 Ricoh Co Ltd 情報処理装置、プログラム制御方法、及び制御プログラム
JP2019075035A (ja) * 2017-10-19 2019-05-16 株式会社日立製作所 ソフトウェアテスト装置および方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63116248A (ja) * 1986-11-05 1988-05-20 Nippon Atom Ind Group Co Ltd プログラムテスト装置
JPH03209542A (ja) * 1990-01-11 1991-09-12 Nec Corp 通信制御プログラムの連動テストデータ自動生成方式及びその装置
JPH04184545A (ja) * 1990-11-20 1992-07-01 Mitsubishi Electric Corp イベントシユミレーシヨンテストツールシステム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63116248A (ja) * 1986-11-05 1988-05-20 Nippon Atom Ind Group Co Ltd プログラムテスト装置
JPH03209542A (ja) * 1990-01-11 1991-09-12 Nec Corp 通信制御プログラムの連動テストデータ自動生成方式及びその装置
JPH04184545A (ja) * 1990-11-20 1992-07-01 Mitsubishi Electric Corp イベントシユミレーシヨンテストツールシステム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001097035A1 (en) * 2000-06-14 2001-12-20 Seiko Epson Corporation Automatic evaluation method and automatic evaluation system and storage medium storing automatic evaluation program
WO2001097034A1 (en) * 2000-06-14 2001-12-20 Seiko Epson Corporation Automatic evaluation method and automatic evaluation system and storage medium storing automatic evaluation program
WO2005064473A1 (ja) * 2003-12-25 2005-07-14 H & T Corporation 安全性試験支援システムおよび方法ならびにプログラム
JP2013149291A (ja) * 2013-05-02 2013-08-01 Ricoh Co Ltd 情報処理装置、プログラム制御方法、及び制御プログラム
JP2019075035A (ja) * 2017-10-19 2019-05-16 株式会社日立製作所 ソフトウェアテスト装置および方法
US11055210B2 (en) 2017-10-19 2021-07-06 Hitachi, Ltd. Software test equipment and software testing method

Also Published As

Publication number Publication date
JP2606085B2 (ja) 1997-04-30

Similar Documents

Publication Publication Date Title
US5347647A (en) Method of predicting the performance of an emulated computer system
US5467462A (en) Event driven logic simulator for partial simulation
JPH10320234A (ja) ソフトウェアの自動テスト方法
JP2606085B2 (ja) プログラム評価方式
CN114116469B (zh) 一种基于机器学习的代码质量提升方法及系统
JPH0895826A (ja) プログラムテスト方法
JPH0926897A (ja) プログラム解析装置及びプログラム解析方法
JP2525393B2 (ja) 論理シミュレ−ションのテストカバレ−ジ方式
JP3212157B2 (ja) 論理回路検証装置
JP2746180B2 (ja) プログラムテスト支援管理装置及びプログラムテスト支援管理方法
JP3213792B2 (ja) 論理シミュレ−ション検証方式
JP2001051864A (ja) データ処理装置の試験実行方式
JPH0675816A (ja) ループ処理誤り検出装置
JPH07114485A (ja) シミュレーションテストシステム実行方法
WO2025069869A1 (ja) テストケース生成装置及びテストケース生成方法
CN117171001A (zh) 基于智能探索的自动化测试
JPH06149561A (ja) ソフトウェア開発装置
JP2001022610A (ja) データ処理装置の論理シミュレーション方式
JPH05120069A (ja) コンピユータプログラムのテスト検証方法
JPH05233349A (ja) プログラムモジュールの自動試験ツール
JPH0561935A (ja) 論理シミユレーシヨン方式
JPH0713795A (ja) データ処理試験装置
JPH11353206A (ja) テスト支援システム
JPH07134669A (ja) 警告メッセージ処理方式
JPH08202430A (ja) エキスパートシステムの試験装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080213

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090213

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100213

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100213

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110213

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110213

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120213

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120213

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130213

Year of fee payment: 16

LAPS Cancellation because of no payment of annual fees