JPH02230434A - 試験プログラムの性能検査方法 - Google Patents

試験プログラムの性能検査方法

Info

Publication number
JPH02230434A
JPH02230434A JP1051211A JP5121189A JPH02230434A JP H02230434 A JPH02230434 A JP H02230434A JP 1051211 A JP1051211 A JP 1051211A JP 5121189 A JP5121189 A JP 5121189A JP H02230434 A JPH02230434 A JP H02230434A
Authority
JP
Japan
Prior art keywords
test
test program
program
performance
items
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1051211A
Other languages
English (en)
Inventor
Eiji Oguchi
小口 栄治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP1051211A priority Critical patent/JPH02230434A/ja
Publication of JPH02230434A publication Critical patent/JPH02230434A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概要〕 計算機システムの試験プログラムの性能を評価するテス
1・カハレージの測定方法に関し、試験プログラムのテ
ストカパレージを的確に測定することができる試験プロ
グラムの性能検査方法を提供することを目的とし、 計算機システムの機能を試験する試験プログラムの性能
を検査する性能検査方法であって、該試験プログラムが
試験対象とする計算機システムを模擬的に代行する模擬
システム生成手段の管理下で該試験プログラムを実行さ
せ、該試験プログラムの各実行ステップを実行する際に
、そのステップ実行に係わる入力情報と実行結果の出力
情報を収集し、該収集された入出力情報による該計算機
システムの試験対象の機能項目を照合すると共に、その
照合された項目に係わる属性を検証し、該計算機システ
ムの試験対象に設定された機能項目と属性に対し、該試
験プロクラムの試験可能な機能項目の比率と属性限界を
検査するように構成する。
〔産業」−の利用分野] 本発明は、計算機システムの試験プログラJ・の性能を
評価するテス1・カハレーシの測定方法に関する。
近年、計算機によるデータ処理が社会のあらゆる分野に
浸透し、計算機システムの性能、機能が増強されるに伴
い、その性能、機能を十分に試験し、検証することがで
きる試験プログラムが益々、重要になってきている。試
験プ1:1グラムの性能を把握するためには、計算機ハ
ードウエアの全機能の中、試験プログラムがどの範囲ま
で試験し得るかの度合(以下、テスI・カハレーソとい
う)を客観的に測定する必要があり、このテスI・カハ
レージを向上して、計算機ハードウェア機能を遍く試験
できるように試験プログラムを改良することか要求され
る。従って、試験プログラ1、のテス1・カハレージを
客観的に測定するだめの検査方法が望まれでいる。
〔従来の技術〕
従来のデス[・カハレージの測定方法は、試験プロクラ
ム作成の前段階の、どの機能をどのように試験するかを
決定する機能設計において抽出した試験項l]と、計算
機命令、割込み機構等の機能を規定したハードウエア論
理仕様の範囲との比較により試験プログラムのテス1一
カハレーシの概略値を設定していた。
〔発明が解決しようとする課題〕
」一記のように従来方法によると、機能設計において抽
出した試験項目と、ハードウェア論理仕様の範囲との比
較により試験プログラムのテス1ヘカハレーソを設定す
るので、実際に作成した試験プログラムが論理仕様に規
定された機能に対して実際のハードウェア上でどのよう
な事象を、どのような範囲にわたって発生させ、従って
、ハードウエア機能のどの範囲までの試験を網羅してい
るかが客観的に測定できない。特に、動作モード、命令
、機能等が増強される大型計算機システムにおいて試験
プログラムのテスI・カハレーシの測定が益々、困難と
なり、試験漏れによってハードウェアの設計誤り及び故
障を検出することができないという問題点があった。
本発明は、試験プログラムのテス1・カハレーシを的確
に測定することができる試験プログラムの性能検査方法
を提供することを目的とする。
〔課題を解決するための手段] 第1図は本発明の原理フローチャートを示す。
図において、 ■試験対象の計算機システムを模擬的に代行する模擬シ
ステム生成千段1の管理下で試験対象となる計算機シス
スJ,の複数種の命令を所定の順序で配列した試験プロ
グラム9を実行させる。
■模擬システム生成手段1は試験プログラム9の1実行
ステップを実行する際に、実行に係わる入力情報と実行
結果の出力情報2を収集する。
■収集した入出力情報2による計算機システムの試験対
象の機能項目5を照合し、 ■その照合された機能項目5に係わる属性3を検証し、 ■計算機システムの試験対象に設定された機能項1]5
と属性3に対し、試験プログラム9の試験可能な機能項
目の比率と属性限界4を検査する。
[作用] 本発明によれば、試験対象計算機の模擬システム生成千
段1の管理下で試験プログラム9を実行させて、実行ス
テップごとに実行に係わる入力情報と実行結果の出力情
報2を収集し、収集した入出力情報2による試験対象の
機能項目5を照合し、機能項目5に係わる属性3を検証
し、試験対象の機能項目5と属性3に対し、試験プログ
ラム9の試験可能な機能項目の比率と属性限界4を検査
することにより、試験プログラム9の性能を検査するこ
とができる。
〔実施例〕
以下、本発明の実施例を第2図〜第5図を参照して説明
する。全国をilIして同−符−リ3は同−・対象物を
示す。第2図で第1図に対応ずるものは−・点鎖線で囲
んである。
第2図において、 試験プログラム9aは、試験対象の計算機システム又は
同等の機能、環境を備えるシステムにロードされて実行
し、そのハートウェア機能を試験一づる。即ち、ハード
ウェア論理仕様Cこ規定された機能を遍く試験するため
にすべての命令について夫々、アトレス指定方法、使用
するレシスタ、オペランドの値等の指定や組合一已を種
々、変化させた命令を実行し、演算結果とJり1待値と
をLL較し−Cハードウェア機能を試験する。
シミュレータ1aば、試験対象の謂算機ハー1・ウェア
の機能を、別の計算機システムで実行されるプログラム
で生成して実現したものであって、試験対象の計W:機
で実行されるよ・うに作成されたプログラム、例えば、
試験プロクラム9aを模擬的に実行ずろ。
収集部2aは、シミュレータ1aの−・部として構成さ
れ、試験プ[1グラl、9aの1命令を実行する過程に
おげるハー1・ウlアの状態を発生事象として収集し、
事象ファイル21]に格納する。即ち、例えば試験プロ
クラム9,)に含まれている加算(Δdd)命令を実行
した際には第4図の事象データエy集例に示すようなデ
ータを収集し、実行した命令コーl・について試験回数
、演算結果を反映ずる状態コ−トCC(0〜;3)の発
生回数、汎用レジスタ( G 11? 0〜GR]5)
の使用回数及び格納された最犬/最小値、オペランドの
値、プログラム割込みの発生回数、その割込のコード等
を収集する。
デークヘース3aは、ハートウェア論理仕様に基づいて
命令別6こ、その実行によって発生し得るすべての事象
の項目データが格納されている。即ち、第5図に示すよ
うに命令別に、(1)命令コード、CCの取り得る値、
C”. R O−GR15の取り得る範囲及び最犬/最
小値、演算結果及びオペランドの最大/最小値、割込め
種別ごとに発η二の有無及び割込のコー1・等、並びQ
こ(2)システムを制御するプログラム状態詔(psW
)、システム制御レジスタ(CRO〜C R n ) 
、記憶保護制御レシスタの取り得る内容等が格納され′
ζいる。
検査部4aは、−・運の試験プログラム9aの実行が終
了したとき、データヘース3aの事象項目データに丞づ
いて事象ファイル2bの事象データから命令コード別に
、事象項L1ごとに発生した事象データ、最犬/最小値
やその発41月=L率を計算して出力部旧)に表示又は
印字出力する。
第3図のフローチャ−1・を参照して本実施例の作用を
説明する。
■シミュレータ1aの制御下で試験プログラム9aを実
行し、 ■試験プログラム9a中の、例えば八dd命令を実行し
、 ■プし1グラム例外等の割込みが発生したとき収集部2
aば、第4図に示すようにプmlグラム割込みの回数を
累計し、その割込み′:フードを収集する。
■割込みが発生しないとき収集部2aは、第4図6こ示
すようにAlcl命令について実行回数、CC(0〜!
})の発生回数、GRO−GR15の使用回数及び格納
された最犬/最小値、オペランドの値等を収集し、集計
する。
■曲記■〜■の処理を試験プログラJ、9aが終了ずる
まで実行ずる。
■試験プロクラム9aの実行が終了したとき、データヘ
ース3aの事象項目データに基づいて検査部4aは、事
象ファイル2bに収集された事象データについて、すべ
てのCCO値が発生しているか、オペランドはずべての
G R O〜GR15を使用しているか、テス1・デー
タは指定可能な最犬/最小値を使用しているかなどを評
価し、CC1〜3の発生率、オペランドで使用したGR
O〜3の使用率、テス1〜データ及び演算結果、テス1
−データの最大/最小値の発η二率、61i算結果の最
犬/最小値の発生率、プログラム割込みの割込みコート
別の発生率等を計算する。
■検査部4aは上記の発生率や使用率を出力部4bに表
示又は印字出力する。
従って、試験プログラム9aをシミュレータ18の制御
下で実行し、収集部2aば発生した事象を収集し、検査
部4aはハー1・ウェア論理仕様に基づいて網羅した発
生(又は使用)し得る全事象に栽づいて、収集部2aが
収集した事象データの発生比率を計算して試験プログラ
ムのテス1・カハレージを測定するように構成されてい
る。
〔発明の効果〕
以上説明したように本発明によれば、試験プログラム9
aのシミュレータ1aによるデハグ時に、そのテストカ
ハレーシを測定ずることができるので、テスI・不足の
項目が明確になり、この不足を補うことによりテス1・
カハレージを向−1ニして試験プログラム9aの性能を
向上ずることができ、ユーザへ計算機を出荷する前にハ
ートウェアの設計誤り、故障を修正、修復するができる
という効果があり、また、従来、ユーザ元でシステム運
用中に設計過誤によるハードウェア障害に伴って発見さ
れた試験プログラム9aの不足、不備をユーザへ計算機
を出荷する前に改良するごとによって、試験プログラム
9aの開発工数を著しく減少することができるという効
果がある。
【図面の簡単な説明】
第]図は本発明の原理フローチャート、第2図は本発明
の実施例を示すブロンク図、第3図は本発明の実施例の
フローチャ−1・、第4図は事象データの収集例、 第5図はデータベースの内容例である。 Hにおいて、 1はシミフ,レート手段、 1aはシミュレータ部、 2は収隼丁段、 2aは収集部、 2bは事象ファイル、 3は記憶手段、 3aぱデータヘース、 4は検査手段、 4aは検査部、 4bは出力部、 9、9aは試験プログラム を示す。

Claims (1)

  1. 【特許請求の範囲】 計算機システムの機能を試験する試験プログラム(9)
    の性能を検査する性能検査方法であって、該試験プログ
    ラム(9)が試験対象とする計算機システムを模擬的に
    代行する模擬システム生成手段(1)の管理下で該試験
    プログラム(9)を実行させ、該試験プログラム(9)
    の各実行ステップを実行する際に、そのステップ実行に
    係わる入力情報と実行結果の出力情報(2)を収集し、 該収集された入出力情報(2)による該計算機システム
    の試験対象の機能項目(5)を照合すると共に、その照
    合された機能項目(5)に係わる属性(3)を検証し、 該計算機システムの試験対象に設定された機能項目(5
    )と属性(3)に対し、該試験プログラム(9)の試験
    可能な機能項目の比率と属性限界(4)を検査すること
    を特徴とする試験プログラムの性能検査方法。
JP1051211A 1989-03-03 1989-03-03 試験プログラムの性能検査方法 Pending JPH02230434A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1051211A JPH02230434A (ja) 1989-03-03 1989-03-03 試験プログラムの性能検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1051211A JPH02230434A (ja) 1989-03-03 1989-03-03 試験プログラムの性能検査方法

Publications (1)

Publication Number Publication Date
JPH02230434A true JPH02230434A (ja) 1990-09-12

Family

ID=12880585

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1051211A Pending JPH02230434A (ja) 1989-03-03 1989-03-03 試験プログラムの性能検査方法

Country Status (1)

Country Link
JP (1) JPH02230434A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08235025A (ja) * 1995-02-24 1996-09-13 Nec Corp プログラムテスト支援管理装置及びプログラムテスト支援管理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63257839A (ja) * 1987-04-16 1988-10-25 Nec Corp 試験プログラムのデバツグ方式
JPH01314343A (ja) * 1988-06-14 1989-12-19 Nec Corp 試験プログラム評価方式

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63257839A (ja) * 1987-04-16 1988-10-25 Nec Corp 試験プログラムのデバツグ方式
JPH01314343A (ja) * 1988-06-14 1989-12-19 Nec Corp 試験プログラム評価方式

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08235025A (ja) * 1995-02-24 1996-09-13 Nec Corp プログラムテスト支援管理装置及びプログラムテスト支援管理方法

Similar Documents

Publication Publication Date Title
US5548718A (en) Method and system for determining software reliability
Hutchins et al. Experiments on the effectiveness of dataflow-and control-flow-based test adequacy criteria
US20080244536A1 (en) Evaluating static analysis results using code instrumentation
US6058493A (en) Logging and reproduction of automated test operations for computing systems
US8386851B2 (en) Functional coverage using combinatorial test design
JP4266226B2 (ja) 選択的に有効にされるチェッカーを用いた設計検証システムおよび方法
US7954009B2 (en) Test executive system with memory leak detection for user code modules
US7613954B2 (en) Test executive with stack corruption detection
KR20000075835A (ko) 컴퓨터 시스템에서 에러를 보정하기 위한 방법과 장치
US20050028146A1 (en) Systems and methods for software and firmware testing using checkpoint signatures
CN105589993A (zh) 微处理器功能验证设备及微处理器功能验证方法
Schroeder et al. Generating expected results for automated black-box testing
US6779135B1 (en) Interleaving based coverage models for concurrent and distributed software
CN117892661A (zh) 一种基于risc-v处理器验证的模拟器比对系统
CN108572895A (zh) 一种Linux下自动检查软硬件配置的稳定性测试方法
US9842044B2 (en) Commit sensitive tests
US20070079288A1 (en) System and method for capturing filtered execution history of executable program code
US7246333B2 (en) Apparatus and method for unified debug for simulation
Gavrilov et al. A practical, principled measure of fuzzer appeal: A preliminary study
US10579761B1 (en) Method and system for reconstructing a graph presentation of a previously executed verification test
Xie et al. Rapid" crash testing" for continuously evolving GUI-based software applications
JPH02230434A (ja) 試験プログラムの性能検査方法
CN115292760B (zh) 芯片验证系统、方法及计算机可读存储介质
CN106656684B (zh) 一种网格资源可靠性监控方法及装置
US20070169026A1 (en) Software program with alternative function libraries