JPH02230434A - 試験プログラムの性能検査方法 - Google Patents
試験プログラムの性能検査方法Info
- Publication number
- JPH02230434A JPH02230434A JP1051211A JP5121189A JPH02230434A JP H02230434 A JPH02230434 A JP H02230434A JP 1051211 A JP1051211 A JP 1051211A JP 5121189 A JP5121189 A JP 5121189A JP H02230434 A JPH02230434 A JP H02230434A
- Authority
- JP
- Japan
- Prior art keywords
- test
- test program
- program
- performance
- items
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔概要〕
計算機システムの試験プログラムの性能を評価するテス
1・カハレージの測定方法に関し、試験プログラムのテ
ストカパレージを的確に測定することができる試験プロ
グラムの性能検査方法を提供することを目的とし、 計算機システムの機能を試験する試験プログラムの性能
を検査する性能検査方法であって、該試験プログラムが
試験対象とする計算機システムを模擬的に代行する模擬
システム生成手段の管理下で該試験プログラムを実行さ
せ、該試験プログラムの各実行ステップを実行する際に
、そのステップ実行に係わる入力情報と実行結果の出力
情報を収集し、該収集された入出力情報による該計算機
システムの試験対象の機能項目を照合すると共に、その
照合された項目に係わる属性を検証し、該計算機システ
ムの試験対象に設定された機能項目と属性に対し、該試
験プロクラムの試験可能な機能項目の比率と属性限界を
検査するように構成する。
1・カハレージの測定方法に関し、試験プログラムのテ
ストカパレージを的確に測定することができる試験プロ
グラムの性能検査方法を提供することを目的とし、 計算機システムの機能を試験する試験プログラムの性能
を検査する性能検査方法であって、該試験プログラムが
試験対象とする計算機システムを模擬的に代行する模擬
システム生成手段の管理下で該試験プログラムを実行さ
せ、該試験プログラムの各実行ステップを実行する際に
、そのステップ実行に係わる入力情報と実行結果の出力
情報を収集し、該収集された入出力情報による該計算機
システムの試験対象の機能項目を照合すると共に、その
照合された項目に係わる属性を検証し、該計算機システ
ムの試験対象に設定された機能項目と属性に対し、該試
験プロクラムの試験可能な機能項目の比率と属性限界を
検査するように構成する。
〔産業」−の利用分野]
本発明は、計算機システムの試験プログラJ・の性能を
評価するテス1・カハレーシの測定方法に関する。
評価するテス1・カハレーシの測定方法に関する。
近年、計算機によるデータ処理が社会のあらゆる分野に
浸透し、計算機システムの性能、機能が増強されるに伴
い、その性能、機能を十分に試験し、検証することがで
きる試験プログラムが益々、重要になってきている。試
験プ1:1グラムの性能を把握するためには、計算機ハ
ードウエアの全機能の中、試験プログラムがどの範囲ま
で試験し得るかの度合(以下、テスI・カハレーソとい
う)を客観的に測定する必要があり、このテスI・カハ
レージを向上して、計算機ハードウェア機能を遍く試験
できるように試験プログラムを改良することか要求され
る。従って、試験プログラ1、のテス1・カハレージを
客観的に測定するだめの検査方法が望まれでいる。
浸透し、計算機システムの性能、機能が増強されるに伴
い、その性能、機能を十分に試験し、検証することがで
きる試験プログラムが益々、重要になってきている。試
験プ1:1グラムの性能を把握するためには、計算機ハ
ードウエアの全機能の中、試験プログラムがどの範囲ま
で試験し得るかの度合(以下、テスI・カハレーソとい
う)を客観的に測定する必要があり、このテスI・カハ
レージを向上して、計算機ハードウェア機能を遍く試験
できるように試験プログラムを改良することか要求され
る。従って、試験プログラ1、のテス1・カハレージを
客観的に測定するだめの検査方法が望まれでいる。
従来のデス[・カハレージの測定方法は、試験プロクラ
ム作成の前段階の、どの機能をどのように試験するかを
決定する機能設計において抽出した試験項l]と、計算
機命令、割込み機構等の機能を規定したハードウエア論
理仕様の範囲との比較により試験プログラムのテス1一
カハレーシの概略値を設定していた。
ム作成の前段階の、どの機能をどのように試験するかを
決定する機能設計において抽出した試験項l]と、計算
機命令、割込み機構等の機能を規定したハードウエア論
理仕様の範囲との比較により試験プログラムのテス1一
カハレーシの概略値を設定していた。
」一記のように従来方法によると、機能設計において抽
出した試験項目と、ハードウェア論理仕様の範囲との比
較により試験プログラムのテス1ヘカハレーソを設定す
るので、実際に作成した試験プログラムが論理仕様に規
定された機能に対して実際のハードウェア上でどのよう
な事象を、どのような範囲にわたって発生させ、従って
、ハードウエア機能のどの範囲までの試験を網羅してい
るかが客観的に測定できない。特に、動作モード、命令
、機能等が増強される大型計算機システムにおいて試験
プログラムのテスI・カハレーシの測定が益々、困難と
なり、試験漏れによってハードウェアの設計誤り及び故
障を検出することができないという問題点があった。
出した試験項目と、ハードウェア論理仕様の範囲との比
較により試験プログラムのテス1ヘカハレーソを設定す
るので、実際に作成した試験プログラムが論理仕様に規
定された機能に対して実際のハードウェア上でどのよう
な事象を、どのような範囲にわたって発生させ、従って
、ハードウエア機能のどの範囲までの試験を網羅してい
るかが客観的に測定できない。特に、動作モード、命令
、機能等が増強される大型計算機システムにおいて試験
プログラムのテスI・カハレーシの測定が益々、困難と
なり、試験漏れによってハードウェアの設計誤り及び故
障を検出することができないという問題点があった。
本発明は、試験プログラムのテス1・カハレーシを的確
に測定することができる試験プログラムの性能検査方法
を提供することを目的とする。
に測定することができる試験プログラムの性能検査方法
を提供することを目的とする。
〔課題を解決するための手段]
第1図は本発明の原理フローチャートを示す。
図において、
■試験対象の計算機システムを模擬的に代行する模擬シ
ステム生成千段1の管理下で試験対象となる計算機シス
スJ,の複数種の命令を所定の順序で配列した試験プロ
グラム9を実行させる。
ステム生成千段1の管理下で試験対象となる計算機シス
スJ,の複数種の命令を所定の順序で配列した試験プロ
グラム9を実行させる。
■模擬システム生成手段1は試験プログラム9の1実行
ステップを実行する際に、実行に係わる入力情報と実行
結果の出力情報2を収集する。
ステップを実行する際に、実行に係わる入力情報と実行
結果の出力情報2を収集する。
■収集した入出力情報2による計算機システムの試験対
象の機能項目5を照合し、 ■その照合された機能項目5に係わる属性3を検証し、 ■計算機システムの試験対象に設定された機能項1]5
と属性3に対し、試験プログラム9の試験可能な機能項
目の比率と属性限界4を検査する。
象の機能項目5を照合し、 ■その照合された機能項目5に係わる属性3を検証し、 ■計算機システムの試験対象に設定された機能項1]5
と属性3に対し、試験プログラム9の試験可能な機能項
目の比率と属性限界4を検査する。
[作用]
本発明によれば、試験対象計算機の模擬システム生成千
段1の管理下で試験プログラム9を実行させて、実行ス
テップごとに実行に係わる入力情報と実行結果の出力情
報2を収集し、収集した入出力情報2による試験対象の
機能項目5を照合し、機能項目5に係わる属性3を検証
し、試験対象の機能項目5と属性3に対し、試験プログ
ラム9の試験可能な機能項目の比率と属性限界4を検査
することにより、試験プログラム9の性能を検査するこ
とができる。
段1の管理下で試験プログラム9を実行させて、実行ス
テップごとに実行に係わる入力情報と実行結果の出力情
報2を収集し、収集した入出力情報2による試験対象の
機能項目5を照合し、機能項目5に係わる属性3を検証
し、試験対象の機能項目5と属性3に対し、試験プログ
ラム9の試験可能な機能項目の比率と属性限界4を検査
することにより、試験プログラム9の性能を検査するこ
とができる。
以下、本発明の実施例を第2図〜第5図を参照して説明
する。全国をilIして同−符−リ3は同−・対象物を
示す。第2図で第1図に対応ずるものは−・点鎖線で囲
んである。
する。全国をilIして同−符−リ3は同−・対象物を
示す。第2図で第1図に対応ずるものは−・点鎖線で囲
んである。
第2図において、
試験プログラム9aは、試験対象の計算機システム又は
同等の機能、環境を備えるシステムにロードされて実行
し、そのハートウェア機能を試験一づる。即ち、ハード
ウェア論理仕様Cこ規定された機能を遍く試験するため
にすべての命令について夫々、アトレス指定方法、使用
するレシスタ、オペランドの値等の指定や組合一已を種
々、変化させた命令を実行し、演算結果とJり1待値と
をLL較し−Cハードウェア機能を試験する。
同等の機能、環境を備えるシステムにロードされて実行
し、そのハートウェア機能を試験一づる。即ち、ハード
ウェア論理仕様Cこ規定された機能を遍く試験するため
にすべての命令について夫々、アトレス指定方法、使用
するレシスタ、オペランドの値等の指定や組合一已を種
々、変化させた命令を実行し、演算結果とJり1待値と
をLL較し−Cハードウェア機能を試験する。
シミュレータ1aば、試験対象の謂算機ハー1・ウェア
の機能を、別の計算機システムで実行されるプログラム
で生成して実現したものであって、試験対象の計W:機
で実行されるよ・うに作成されたプログラム、例えば、
試験プロクラム9aを模擬的に実行ずろ。
の機能を、別の計算機システムで実行されるプログラム
で生成して実現したものであって、試験対象の計W:機
で実行されるよ・うに作成されたプログラム、例えば、
試験プロクラム9aを模擬的に実行ずろ。
収集部2aは、シミュレータ1aの−・部として構成さ
れ、試験プ[1グラl、9aの1命令を実行する過程に
おげるハー1・ウlアの状態を発生事象として収集し、
事象ファイル21]に格納する。即ち、例えば試験プロ
クラム9,)に含まれている加算(Δdd)命令を実行
した際には第4図の事象データエy集例に示すようなデ
ータを収集し、実行した命令コーl・について試験回数
、演算結果を反映ずる状態コ−トCC(0〜;3)の発
生回数、汎用レジスタ( G 11? 0〜GR]5)
の使用回数及び格納された最犬/最小値、オペランドの
値、プログラム割込みの発生回数、その割込のコード等
を収集する。
れ、試験プ[1グラl、9aの1命令を実行する過程に
おげるハー1・ウlアの状態を発生事象として収集し、
事象ファイル21]に格納する。即ち、例えば試験プロ
クラム9,)に含まれている加算(Δdd)命令を実行
した際には第4図の事象データエy集例に示すようなデ
ータを収集し、実行した命令コーl・について試験回数
、演算結果を反映ずる状態コ−トCC(0〜;3)の発
生回数、汎用レジスタ( G 11? 0〜GR]5)
の使用回数及び格納された最犬/最小値、オペランドの
値、プログラム割込みの発生回数、その割込のコード等
を収集する。
デークヘース3aは、ハートウェア論理仕様に基づいて
命令別6こ、その実行によって発生し得るすべての事象
の項目データが格納されている。即ち、第5図に示すよ
うに命令別に、(1)命令コード、CCの取り得る値、
C”. R O−GR15の取り得る範囲及び最犬/最
小値、演算結果及びオペランドの最大/最小値、割込め
種別ごとに発η二の有無及び割込のコー1・等、並びQ
こ(2)システムを制御するプログラム状態詔(psW
)、システム制御レジスタ(CRO〜C R n )
、記憶保護制御レシスタの取り得る内容等が格納され′
ζいる。
命令別6こ、その実行によって発生し得るすべての事象
の項目データが格納されている。即ち、第5図に示すよ
うに命令別に、(1)命令コード、CCの取り得る値、
C”. R O−GR15の取り得る範囲及び最犬/最
小値、演算結果及びオペランドの最大/最小値、割込め
種別ごとに発η二の有無及び割込のコー1・等、並びQ
こ(2)システムを制御するプログラム状態詔(psW
)、システム制御レジスタ(CRO〜C R n )
、記憶保護制御レシスタの取り得る内容等が格納され′
ζいる。
検査部4aは、−・運の試験プログラム9aの実行が終
了したとき、データヘース3aの事象項目データに丞づ
いて事象ファイル2bの事象データから命令コード別に
、事象項L1ごとに発生した事象データ、最犬/最小値
やその発41月=L率を計算して出力部旧)に表示又は
印字出力する。
了したとき、データヘース3aの事象項目データに丞づ
いて事象ファイル2bの事象データから命令コード別に
、事象項L1ごとに発生した事象データ、最犬/最小値
やその発41月=L率を計算して出力部旧)に表示又は
印字出力する。
第3図のフローチャ−1・を参照して本実施例の作用を
説明する。
説明する。
■シミュレータ1aの制御下で試験プログラム9aを実
行し、 ■試験プログラム9a中の、例えば八dd命令を実行し
、 ■プし1グラム例外等の割込みが発生したとき収集部2
aば、第4図に示すようにプmlグラム割込みの回数を
累計し、その割込み′:フードを収集する。
行し、 ■試験プログラム9a中の、例えば八dd命令を実行し
、 ■プし1グラム例外等の割込みが発生したとき収集部2
aば、第4図に示すようにプmlグラム割込みの回数を
累計し、その割込み′:フードを収集する。
■割込みが発生しないとき収集部2aは、第4図6こ示
すようにAlcl命令について実行回数、CC(0〜!
})の発生回数、GRO−GR15の使用回数及び格納
された最犬/最小値、オペランドの値等を収集し、集計
する。
すようにAlcl命令について実行回数、CC(0〜!
})の発生回数、GRO−GR15の使用回数及び格納
された最犬/最小値、オペランドの値等を収集し、集計
する。
■曲記■〜■の処理を試験プログラJ、9aが終了ずる
まで実行ずる。
まで実行ずる。
■試験プロクラム9aの実行が終了したとき、データヘ
ース3aの事象項目データに基づいて検査部4aは、事
象ファイル2bに収集された事象データについて、すべ
てのCCO値が発生しているか、オペランドはずべての
G R O〜GR15を使用しているか、テス1・デー
タは指定可能な最犬/最小値を使用しているかなどを評
価し、CC1〜3の発生率、オペランドで使用したGR
O〜3の使用率、テス1〜データ及び演算結果、テス1
−データの最大/最小値の発η二率、61i算結果の最
犬/最小値の発生率、プログラム割込みの割込みコート
別の発生率等を計算する。
ース3aの事象項目データに基づいて検査部4aは、事
象ファイル2bに収集された事象データについて、すべ
てのCCO値が発生しているか、オペランドはずべての
G R O〜GR15を使用しているか、テス1・デー
タは指定可能な最犬/最小値を使用しているかなどを評
価し、CC1〜3の発生率、オペランドで使用したGR
O〜3の使用率、テス1〜データ及び演算結果、テス1
−データの最大/最小値の発η二率、61i算結果の最
犬/最小値の発生率、プログラム割込みの割込みコート
別の発生率等を計算する。
■検査部4aは上記の発生率や使用率を出力部4bに表
示又は印字出力する。
示又は印字出力する。
従って、試験プログラム9aをシミュレータ18の制御
下で実行し、収集部2aば発生した事象を収集し、検査
部4aはハー1・ウェア論理仕様に基づいて網羅した発
生(又は使用)し得る全事象に栽づいて、収集部2aが
収集した事象データの発生比率を計算して試験プログラ
ムのテス1・カハレージを測定するように構成されてい
る。
下で実行し、収集部2aば発生した事象を収集し、検査
部4aはハー1・ウェア論理仕様に基づいて網羅した発
生(又は使用)し得る全事象に栽づいて、収集部2aが
収集した事象データの発生比率を計算して試験プログラ
ムのテス1・カハレージを測定するように構成されてい
る。
以上説明したように本発明によれば、試験プログラム9
aのシミュレータ1aによるデハグ時に、そのテストカ
ハレーシを測定ずることができるので、テスI・不足の
項目が明確になり、この不足を補うことによりテス1・
カハレージを向−1ニして試験プログラム9aの性能を
向上ずることができ、ユーザへ計算機を出荷する前にハ
ートウェアの設計誤り、故障を修正、修復するができる
という効果があり、また、従来、ユーザ元でシステム運
用中に設計過誤によるハードウェア障害に伴って発見さ
れた試験プログラム9aの不足、不備をユーザへ計算機
を出荷する前に改良するごとによって、試験プログラム
9aの開発工数を著しく減少することができるという効
果がある。
aのシミュレータ1aによるデハグ時に、そのテストカ
ハレーシを測定ずることができるので、テスI・不足の
項目が明確になり、この不足を補うことによりテス1・
カハレージを向−1ニして試験プログラム9aの性能を
向上ずることができ、ユーザへ計算機を出荷する前にハ
ートウェアの設計誤り、故障を修正、修復するができる
という効果があり、また、従来、ユーザ元でシステム運
用中に設計過誤によるハードウェア障害に伴って発見さ
れた試験プログラム9aの不足、不備をユーザへ計算機
を出荷する前に改良するごとによって、試験プログラム
9aの開発工数を著しく減少することができるという効
果がある。
第]図は本発明の原理フローチャート、第2図は本発明
の実施例を示すブロンク図、第3図は本発明の実施例の
フローチャ−1・、第4図は事象データの収集例、 第5図はデータベースの内容例である。 Hにおいて、 1はシミフ,レート手段、 1aはシミュレータ部、 2は収隼丁段、 2aは収集部、 2bは事象ファイル、 3は記憶手段、 3aぱデータヘース、 4は検査手段、 4aは検査部、 4bは出力部、 9、9aは試験プログラム を示す。
の実施例を示すブロンク図、第3図は本発明の実施例の
フローチャ−1・、第4図は事象データの収集例、 第5図はデータベースの内容例である。 Hにおいて、 1はシミフ,レート手段、 1aはシミュレータ部、 2は収隼丁段、 2aは収集部、 2bは事象ファイル、 3は記憶手段、 3aぱデータヘース、 4は検査手段、 4aは検査部、 4bは出力部、 9、9aは試験プログラム を示す。
Claims (1)
- 【特許請求の範囲】 計算機システムの機能を試験する試験プログラム(9)
の性能を検査する性能検査方法であって、該試験プログ
ラム(9)が試験対象とする計算機システムを模擬的に
代行する模擬システム生成手段(1)の管理下で該試験
プログラム(9)を実行させ、該試験プログラム(9)
の各実行ステップを実行する際に、そのステップ実行に
係わる入力情報と実行結果の出力情報(2)を収集し、 該収集された入出力情報(2)による該計算機システム
の試験対象の機能項目(5)を照合すると共に、その照
合された機能項目(5)に係わる属性(3)を検証し、 該計算機システムの試験対象に設定された機能項目(5
)と属性(3)に対し、該試験プログラム(9)の試験
可能な機能項目の比率と属性限界(4)を検査すること
を特徴とする試験プログラムの性能検査方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1051211A JPH02230434A (ja) | 1989-03-03 | 1989-03-03 | 試験プログラムの性能検査方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1051211A JPH02230434A (ja) | 1989-03-03 | 1989-03-03 | 試験プログラムの性能検査方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH02230434A true JPH02230434A (ja) | 1990-09-12 |
Family
ID=12880585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1051211A Pending JPH02230434A (ja) | 1989-03-03 | 1989-03-03 | 試験プログラムの性能検査方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH02230434A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08235025A (ja) * | 1995-02-24 | 1996-09-13 | Nec Corp | プログラムテスト支援管理装置及びプログラムテスト支援管理方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63257839A (ja) * | 1987-04-16 | 1988-10-25 | Nec Corp | 試験プログラムのデバツグ方式 |
| JPH01314343A (ja) * | 1988-06-14 | 1989-12-19 | Nec Corp | 試験プログラム評価方式 |
-
1989
- 1989-03-03 JP JP1051211A patent/JPH02230434A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63257839A (ja) * | 1987-04-16 | 1988-10-25 | Nec Corp | 試験プログラムのデバツグ方式 |
| JPH01314343A (ja) * | 1988-06-14 | 1989-12-19 | Nec Corp | 試験プログラム評価方式 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08235025A (ja) * | 1995-02-24 | 1996-09-13 | Nec Corp | プログラムテスト支援管理装置及びプログラムテスト支援管理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5548718A (en) | Method and system for determining software reliability | |
| Hutchins et al. | Experiments on the effectiveness of dataflow-and control-flow-based test adequacy criteria | |
| US20080244536A1 (en) | Evaluating static analysis results using code instrumentation | |
| US6058493A (en) | Logging and reproduction of automated test operations for computing systems | |
| US8386851B2 (en) | Functional coverage using combinatorial test design | |
| JP4266226B2 (ja) | 選択的に有効にされるチェッカーを用いた設計検証システムおよび方法 | |
| US7954009B2 (en) | Test executive system with memory leak detection for user code modules | |
| US7613954B2 (en) | Test executive with stack corruption detection | |
| KR20000075835A (ko) | 컴퓨터 시스템에서 에러를 보정하기 위한 방법과 장치 | |
| US20050028146A1 (en) | Systems and methods for software and firmware testing using checkpoint signatures | |
| CN105589993A (zh) | 微处理器功能验证设备及微处理器功能验证方法 | |
| Schroeder et al. | Generating expected results for automated black-box testing | |
| US6779135B1 (en) | Interleaving based coverage models for concurrent and distributed software | |
| CN117892661A (zh) | 一种基于risc-v处理器验证的模拟器比对系统 | |
| CN108572895A (zh) | 一种Linux下自动检查软硬件配置的稳定性测试方法 | |
| US9842044B2 (en) | Commit sensitive tests | |
| US20070079288A1 (en) | System and method for capturing filtered execution history of executable program code | |
| US7246333B2 (en) | Apparatus and method for unified debug for simulation | |
| Gavrilov et al. | A practical, principled measure of fuzzer appeal: A preliminary study | |
| US10579761B1 (en) | Method and system for reconstructing a graph presentation of a previously executed verification test | |
| Xie et al. | Rapid" crash testing" for continuously evolving GUI-based software applications | |
| JPH02230434A (ja) | 試験プログラムの性能検査方法 | |
| CN115292760B (zh) | 芯片验证系统、方法及计算机可读存储介质 | |
| CN106656684B (zh) | 一种网格资源可靠性监控方法及装置 | |
| US20070169026A1 (en) | Software program with alternative function libraries |