JPH05282178A - ソフトウェア品質評価方式 - Google Patents
ソフトウェア品質評価方式Info
- Publication number
- JPH05282178A JPH05282178A JP4081904A JP8190492A JPH05282178A JP H05282178 A JPH05282178 A JP H05282178A JP 4081904 A JP4081904 A JP 4081904A JP 8190492 A JP8190492 A JP 8190492A JP H05282178 A JPH05282178 A JP H05282178A
- Authority
- JP
- Japan
- Prior art keywords
- test
- value
- test coverage
- quality
- defective density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
(57)【要約】
【目的】 不良密度の値がテスト進捗状況に対して適切
な値であるかどうかを判定し、しかもソフトウェアを構
成する各要素品質の評価を行うことができるようにす
る。 【構成】 ソフトウェア開発におけるテスト工程でのテ
ストカバレジ率と、開発規模に対する不良件数を表わす
不良密度との関係を求め、この関係により品質評価を行
う。
な値であるかどうかを判定し、しかもソフトウェアを構
成する各要素品質の評価を行うことができるようにす
る。 【構成】 ソフトウェア開発におけるテスト工程でのテ
ストカバレジ率と、開発規模に対する不良件数を表わす
不良密度との関係を求め、この関係により品質評価を行
う。
Description
【0001】
【産業上の利用分野】本発明はソフトウェア開発におけ
るテスト工程での品質評価方式に係り、特にテスト十分
性を考慮した品質評価方式に関する。
るテスト工程での品質評価方式に係り、特にテスト十分
性を考慮した品質評価方式に関する。
【0002】
【従来の技術】従来、ソフトウェアの品質評価の方法と
して、開発規模(総ステップ数)に対する不良件数およ
び不良内容での分析により品質を評価する方法がある。
また、特開昭62−6332号公報および特開昭62−
28845号公報に開示されているように、不良内容の
工程別分類による評価方法、また予測される不良摘出の
目標値までの充足率による評価方法がある。
して、開発規模(総ステップ数)に対する不良件数およ
び不良内容での分析により品質を評価する方法がある。
また、特開昭62−6332号公報および特開昭62−
28845号公報に開示されているように、不良内容の
工程別分類による評価方法、また予測される不良摘出の
目標値までの充足率による評価方法がある。
【0003】
【発明が解決しようとする課題】ところで、通常、ソフ
トウェア開発ではテスト工程の進行と共に不良件数が増
加し、また修正が加えられることに伴って総ステップ数
も変化する。
トウェア開発ではテスト工程の進行と共に不良件数が増
加し、また修正が加えられることに伴って総ステップ数
も変化する。
【0004】しかしながら、上記従来技術においては、
いずれにおいてもテスト工程進行途中における不良件数
の値をテスト完了時点での目標値と比較することにより
品質評価を行っている。このため、テスト工程の進捗度
合いとテスト進行と共に変化する不良密度との関係がわ
からず、さらにソフトウェアを構成する各要素(プログ
ラム/モジュール等)個別の評価がわからないという問
題がある。
いずれにおいてもテスト工程進行途中における不良件数
の値をテスト完了時点での目標値と比較することにより
品質評価を行っている。このため、テスト工程の進捗度
合いとテスト進行と共に変化する不良密度との関係がわ
からず、さらにソフトウェアを構成する各要素(プログ
ラム/モジュール等)個別の評価がわからないという問
題がある。
【0005】本発明の目的は、不良密度の値がテスト進
捗状況に対して適切な値であるかどうかを判定し、かつ
ソフトウェアを構成する各要素の評価を行うことができ
るソフトウェア品質評価方式を提供することである。
捗状況に対して適切な値であるかどうかを判定し、かつ
ソフトウェアを構成する各要素の評価を行うことができ
るソフトウェア品質評価方式を提供することである。
【0006】
【課題を解決するための手段】上記目的を達成するため
に本発明は、ソフトウェア開発におけるテスト工程での
テストカバレジ率と、開発規模に対する不良件数を表わ
す不良密度との関係を求め、この関係により品質評価を
行うようにした。
に本発明は、ソフトウェア開発におけるテスト工程での
テストカバレジ率と、開発規模に対する不良件数を表わ
す不良密度との関係を求め、この関係により品質評価を
行うようにした。
【0007】
【作用】例えばモジュ−ルレベルのテストカバレジ率
は、S0(全モジュ−ルに対する走行モジュ−ル数比
率)・S1(全てのモジュ−ル間呼出しに対する呼出し
比率)で表わされる。従って、上記手段によれば、各モ
ジュールの総ステップ数と不良件数とから不良密度(件
/Kstep=1000ステップ当りの不良件数)を計
算し、この不良密度と該不良密度が計算されたモジュー
ルに対応するテストカバレジ率を計算し、これらの関係
に基づいて品質評価を行うため、修正が加えられること
に伴って総ステップ数が変化しても、テスト進捗状態と
不良密度の関係が明確になり、不良密度の値がテスト進
捗状況に対して適切な値であるかどうかを正確に判定す
ることができたうえ、各モジュ−ルの個別の品質評価を
行うことができる。
は、S0(全モジュ−ルに対する走行モジュ−ル数比
率)・S1(全てのモジュ−ル間呼出しに対する呼出し
比率)で表わされる。従って、上記手段によれば、各モ
ジュールの総ステップ数と不良件数とから不良密度(件
/Kstep=1000ステップ当りの不良件数)を計
算し、この不良密度と該不良密度が計算されたモジュー
ルに対応するテストカバレジ率を計算し、これらの関係
に基づいて品質評価を行うため、修正が加えられること
に伴って総ステップ数が変化しても、テスト進捗状態と
不良密度の関係が明確になり、不良密度の値がテスト進
捗状況に対して適切な値であるかどうかを正確に判定す
ることができたうえ、各モジュ−ルの個別の品質評価を
行うことができる。
【0008】この場合、命令レベルあるいはプログラム
レベルについても同様に評価することができる。
レベルについても同様に評価することができる。
【0009】
【実施例】以下、本発明の一実施例を図面を用いて具体
的に説明する。
的に説明する。
【0010】図1は本発明の品質評価方式を実現するシ
ステムの一実施例を示す構成図である。
ステムの一実施例を示す構成図である。
【0011】図1において、1はテスト工程で摘出した
不良情報(不良原因、不良モジュ−ルの名称、不良現象
など)を登録する端末装置、2はソフトウェアを構成す
るソースファイル中の各モジュール毎のステップ数をカ
ウントするステップ数カウントツール、3はテスト工程
におけるテストカバレジ率計測ツールであり、例えば、
特開昭61−169944号に記載されているツ−ルを
使用することができる。
不良情報(不良原因、不良モジュ−ルの名称、不良現象
など)を登録する端末装置、2はソフトウェアを構成す
るソースファイル中の各モジュール毎のステップ数をカ
ウントするステップ数カウントツール、3はテスト工程
におけるテストカバレジ率計測ツールであり、例えば、
特開昭61−169944号に記載されているツ−ルを
使用することができる。
【0012】4は上記各々のデータ(不良情報、モジュ
ール毎のステップ数、テストカバレジ率)を格納する情
報格納用データベース、5はプロット図を作成するため
の素データを出力する中間ファイル、6は中間ファイル
5の内容を入力し、プロット図を作成するグラフ作成ツ
ール、7は作成されたプロット図を出力するプリンタで
ある。
ール毎のステップ数、テストカバレジ率)を格納する情
報格納用データベース、5はプロット図を作成するため
の素データを出力する中間ファイル、6は中間ファイル
5の内容を入力し、プロット図を作成するグラフ作成ツ
ール、7は作成されたプロット図を出力するプリンタで
ある。
【0013】以上の構成において、まず、テスト工程に
おいて不良が発生したならば、端末装置1から不良情報
(不良原因、不良モジュ−ルの名称、不良現象など)を
入力し、データベース4に登録する。これに並行して、
ステップ数カウントツール2には、各モジュール毎のス
テップ数をカウントさせ、またテストカバレジ率計測ツ
ール3には、テスト工程におけるテストカバレジ率をモ
ジュ−ル別に計測させ、それぞれのカウント値およびテ
ストカバレジ率をデータベース4に順次格納させる。
おいて不良が発生したならば、端末装置1から不良情報
(不良原因、不良モジュ−ルの名称、不良現象など)を
入力し、データベース4に登録する。これに並行して、
ステップ数カウントツール2には、各モジュール毎のス
テップ数をカウントさせ、またテストカバレジ率計測ツ
ール3には、テスト工程におけるテストカバレジ率をモ
ジュ−ル別に計測させ、それぞれのカウント値およびテ
ストカバレジ率をデータベース4に順次格納させる。
【0014】そして、一連のテストが終了したならば、
データベース4に登録されている不良情報(不良原因、
不良モジュ−ルの名称、不良現象など)を読み込み、そ
の情報中のモジュール名称単位に不良件数をカウントす
る。次に、そのカウントしたモジュールに対応するステ
ップ数、テストカバレジ率を読み込む。読み込まれたス
テップ数と不良件数から不良密度を計算し、各モジュー
ル毎の不良密度のデータを作成する。この作成したデー
タは順次中間ファイル5に出力する。
データベース4に登録されている不良情報(不良原因、
不良モジュ−ルの名称、不良現象など)を読み込み、そ
の情報中のモジュール名称単位に不良件数をカウントす
る。次に、そのカウントしたモジュールに対応するステ
ップ数、テストカバレジ率を読み込む。読み込まれたス
テップ数と不良件数から不良密度を計算し、各モジュー
ル毎の不良密度のデータを作成する。この作成したデー
タは順次中間ファイル5に出力する。
【0015】この結果、中間ファイル5には図2の示す
ような構成のデータが格納される。
ような構成のデータが格納される。
【0016】そこで、このようにして作成された中間フ
ァイル5の内容を実際にプロット図にするために、汎用
的なグラフ作成ツール6を利用し、テストカバレジ率に
対する不良密度の関係を示す図3に示すようなプロット
図を作成する。そして、作成したプロット図をプリンタ
7から出力させる。
ァイル5の内容を実際にプロット図にするために、汎用
的なグラフ作成ツール6を利用し、テストカバレジ率に
対する不良密度の関係を示す図3に示すようなプロット
図を作成する。そして、作成したプロット図をプリンタ
7から出力させる。
【0017】図3においては、横軸にテストカバレジ率
301をとり、縦軸に不良密度302を設定し、ソフト
ウェアを構成する各モジュールの不良密度のデータを点
305でプロットしている。
301をとり、縦軸に不良密度302を設定し、ソフト
ウェアを構成する各モジュールの不良密度のデータを点
305でプロットしている。
【0018】ここで、評価基準となるテストカバレジ率
100%の線304とシステム全体の平均不良密度の値
303との交点からテストカバレジ率0%の位置まで結
んだ基準線306がテスト工程における各カバレジ率に
対する妥当な不良密度である。
100%の線304とシステム全体の平均不良密度の値
303との交点からテストカバレジ率0%の位置まで結
んだ基準線306がテスト工程における各カバレジ率に
対する妥当な不良密度である。
【0019】従って、図3で基準線306に対して近い
値を示しているモジュールの品質は安定していると言え
る。また、システム全体を考えた場合、分布している各
モジュールの不良密度の値は基準線306に対し正規分
布となり、標準偏差の値を示す線307を引くことがで
きる。標準偏差の値はグラフ作成ツールが統計計算を行
うことによって引くことができる。この標準偏差の値に
より引かれた上下の線307の内側に分布しているモジ
ュールほど品質は安定しているといえる。
値を示しているモジュールの品質は安定していると言え
る。また、システム全体を考えた場合、分布している各
モジュールの不良密度の値は基準線306に対し正規分
布となり、標準偏差の値を示す線307を引くことがで
きる。標準偏差の値はグラフ作成ツールが統計計算を行
うことによって引くことができる。この標準偏差の値に
より引かれた上下の線307の内側に分布しているモジ
ュールほど品質は安定しているといえる。
【0020】逆に線307の外側にあるモジュールは異
常な品質であるといえる。
常な品質であるといえる。
【0021】従って、この実施例によれば、修正が加え
られることに伴って総ステップ数が変化しても、モジュ
−ル別に、点305の分布位置によって品質が一目瞭然
となる。また、不良密度の値がテスト進捗状況に対して
適切な値であるかどうかを正確に判定することができ
る。
られることに伴って総ステップ数が変化しても、モジュ
−ル別に、点305の分布位置によって品質が一目瞭然
となる。また、不良密度の値がテスト進捗状況に対して
適切な値であるかどうかを正確に判定することができ
る。
【0022】
【発明の効果】以上説明したように本発明によれば、ソ
フトウェア開発におけるテスト工程でのテストカバレジ
率と、開発規模に対する不良件数を表わす不良密度との
関係を求め、この関係により品質評価を行うようにした
ため、修正が加えられることに伴って総ステップ数が変
化しても、不良密度の値がテスト進捗状況に対して適切
な値であるかどうかを簡単に判定することができる。し
かも、ソフトウェアを構成する各要素品質の評価を行う
ことができるという優れた効果がある。
フトウェア開発におけるテスト工程でのテストカバレジ
率と、開発規模に対する不良件数を表わす不良密度との
関係を求め、この関係により品質評価を行うようにした
ため、修正が加えられることに伴って総ステップ数が変
化しても、不良密度の値がテスト進捗状況に対して適切
な値であるかどうかを簡単に判定することができる。し
かも、ソフトウェアを構成する各要素品質の評価を行う
ことができるという優れた効果がある。
【図1】本発明を実現するためのシステムの一実施例を
示す構成図である。
示す構成図である。
【図2】データベ−スに格納するデ−タの一例を示す構
成図である。
成図である。
【図3】品質評価用プロット図の一例を示す説明図であ
る。
る。
1…端末装置、2…ステップ数カウントツ−ル、3…テ
ストカバレジ率計測ツール、4…データベース、5…中
間ファイル、6…グラフ作成ツール、7…プリンタ、3
01…テストカバレジ率、302…不良密度。
ストカバレジ率計測ツール、4…データベース、5…中
間ファイル、6…グラフ作成ツール、7…プリンタ、3
01…テストカバレジ率、302…不良密度。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 石野 雅巳 神奈川県横浜市戸塚区戸塚町5030番地 株 式会社日立製作所ソフトウェア開発本部内
Claims (1)
- 【請求項1】 ソフトウェア開発におけるテスト工程で
のテストカバレジ率と開発規模に対する不良件数を表わ
す不良密度との関係を求め、この関係により品質評価を
行うことを特徴とするソフトウェア品質評価方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4081904A JPH05282178A (ja) | 1992-04-03 | 1992-04-03 | ソフトウェア品質評価方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4081904A JPH05282178A (ja) | 1992-04-03 | 1992-04-03 | ソフトウェア品質評価方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05282178A true JPH05282178A (ja) | 1993-10-29 |
Family
ID=13759435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4081904A Pending JPH05282178A (ja) | 1992-04-03 | 1992-04-03 | ソフトウェア品質評価方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05282178A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010165082A (ja) * | 2009-01-14 | 2010-07-29 | Nomura Research Institute Ltd | 開発管理情報収集システム |
| WO2011129038A1 (ja) * | 2010-04-13 | 2011-10-20 | 日本電気株式会社 | システム信頼性評価装置 |
| JP2014123246A (ja) * | 2012-12-21 | 2014-07-03 | Mitsubishi Electric Corp | ソフトウェア信頼性評価装置、ソフトウェア信頼性評価方法、及びプログラム |
-
1992
- 1992-04-03 JP JP4081904A patent/JPH05282178A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010165082A (ja) * | 2009-01-14 | 2010-07-29 | Nomura Research Institute Ltd | 開発管理情報収集システム |
| WO2011129038A1 (ja) * | 2010-04-13 | 2011-10-20 | 日本電気株式会社 | システム信頼性評価装置 |
| JPWO2011129038A1 (ja) * | 2010-04-13 | 2013-07-11 | 日本電気株式会社 | システム信頼性評価装置 |
| US9015675B2 (en) | 2010-04-13 | 2015-04-21 | Nec Corporation | System reliability evaluation device |
| JP2014123246A (ja) * | 2012-12-21 | 2014-07-03 | Mitsubishi Electric Corp | ソフトウェア信頼性評価装置、ソフトウェア信頼性評価方法、及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6055463A (en) | Control system and method for semiconductor integrated circuit test process | |
| US7072899B2 (en) | Automatic monitoring and statistical analysis of dynamic process metrics to expose meaningful changes | |
| US6711514B1 (en) | Method, apparatus and product for evaluating test data | |
| CN112529109A (zh) | 一种基于无监督多模型的异常检测方法及系统 | |
| CN107357764A (zh) | 数据分析方法、电子设备及计算机存储介质 | |
| US20090299497A1 (en) | Tolerance interval determination method | |
| US7485548B2 (en) | Die loss estimation using universal in-line metric (UILM) | |
| CN111382075B (zh) | 一种自动化测试的数据处理方法及装置 | |
| JPH05282178A (ja) | ソフトウェア品質評価方式 | |
| CN116881117A (zh) | 测试用例覆盖率评估方法、装置、计算机设备和存储介质 | |
| US20020053054A1 (en) | Method for automatically searching for and sorting failure signatures of wafers | |
| US20040010441A1 (en) | Metrics analyzer tool and method | |
| CN114416514A (zh) | 一种基于测试封装Mapping自动检查校验方法及系统 | |
| CN114707904A (zh) | 一种基于大数据的质量检测方法及系统 | |
| US20040138908A1 (en) | Method for analyzing warranty claim data | |
| CN114996519B (zh) | 数据处理方法、装置、电子设备、存储介质及产品 | |
| CN117824808A (zh) | 检测设备的状态检测方法和装置、存储介质及电子设备 | |
| JPH1164235A (ja) | 実装部品自動検査システムおよび実装部品検査基準設定装置および実装部品検査基準設定方法 | |
| CN111258894B (zh) | 软件风险的评价方法、装置、存储介质及电子设备 | |
| CN112505337B (zh) | 一种辅助分析样品的数据处理方法 | |
| CN113836826A (zh) | 关键参数确定方法、装置、电子装置及存储介质 | |
| JPS5838812A (ja) | デ−タ処理装置 | |
| GB1579618A (en) | Process for assessing the frequency of yarn faults | |
| JP2002288995A (ja) | 不良解析方法及び不良解析装置 | |
| CN120545226B (zh) | 一种半导体制程抽样检测方法 |