JPH0830493A - ソフトウエアの信頼性評価システム - Google Patents

Abstract

(57)【要約】 【目的】複数種類の信頼度推定モデルを利用する方式の
ソフトウエアの信頼性評価システムにおいて、最適な信
頼度推定モデルを選択できるようにして、評価結果の信
頼度の向上を図ることにある。 【構成】不具合数予測処理部２はテスト工程により得ら
れる不具合発見数データに基づいて、各信頼度推定モデ
ル毎の潜在不具合数を推定する。評価処理部４は、テス
ト工程でのテスト項目を含む所定の評価項目を用いて、
例えばファジィ推論方式の評価ルールにより各信頼度推
定モデル毎に推定された潜在不具合数を評価し、各信頼
度推定モデルの信頼度を算出する。最適モデル選出部５
は、算出された信頼度の中で最大値を示す信頼度推定モ
デルを最適モデルとして選出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ソフトウエアの品質評
価に関し、信頼度推定モデルによりソフトウエア信頼度
を推定する方式を採用したソフトウエアの信頼性評価シ
ステムに関する。

【０００２】

【従来の技術】従来、コンピュータシステムでは、シス
テムの構成要素としてソフトウエアは、システムの性能
と信頼性に与える影響が大きい重要な要素である。特
に、システムの信頼性を左右するソフトウエアの品質を
保証するために、ソフトウエアの品質評価に関する技術
について、各種の方式が開発、研究されている。

【０００３】この技術の中で、ソフトウエア信頼度を推
定するための信頼性評価システムが開発されている。ソ
フトウエア信頼度とは、所定の環境と期間中にソフトウ
エア故障を引き起こすことなく、正常に動作する確率で
ある。

【０００４】ソフトウエア信頼度を推定する技術として
は、ソフトウエア信頼度成長モデルやソフトウエア複雑
性モデル等が周知である（例えば参考文献として、情報
処理学会誌の情報処理，ＶＯＬ．３２，ＮＯ．１１，１
９９１年の第１１８９頁−第１２００頁がある）。

【０００５】ソフトウエア信頼度成長モデルは、特にソ
フトウエア開発のテスト工程におけるソフトウエアエラ
ー（以下、不具合と称する）の検出過程をモデル化した
ものである。このモデルは、テスト時間の経過に連れて
ソフトウエアの内部に潜在する不具合が、所定の数理モ
デル（狭義の信頼度推定モデル）に従って発見されるこ
とを想定し、その結果としてソフトウエアの信頼度が増
加し、ソフトウエア故障の発生時間間隔が長くなること
が特徴である。一方、ソフトウエア複雑性モデルは、ソ
フトウエア・システムの複雑性や開発プロセスの複雑性
に基づいて、ソフトウエアの内在する不具合や故障の数
を推定するものである。

【０００６】このようなソフトウエア信頼度を推定する
技術として、ソフトウエア信頼度成長モデルは、テスト
工程の進捗状況やソフトウエア開発の結果を定量的に把
握することが可能であるため有用である。しかしなが
ら、利用する信頼度推定モデルは多岐にわたり、それぞ
れ開発環境やシステムの特徴に依存している。このた
め、複数種類の信頼度推定モデルを選択して、各モデル
の推定結果に基づいてソフトウエア信頼度を推定するこ
とがなされる。

【０００７】

【発明が解決しようとする課題】従来のソフトウエア信
頼度を推定する技術として、複数種類の信頼度推定モデ
ルを利用するソフトウエア信頼度成長モデル方式が有用
である。しかしながら、複数種類の信頼度推定モデルか
ら最適なモデルを選択すること、即ち、各モデルの推定
結果を正しく評価することは困難である。このため、信
頼度推定モデルの選択を誤ると、評価結果の信頼度の低
下を招く問題がある。

【０００８】本発明の目的は、複数種類の信頼度推定モ
デルを利用する方式のソフトウエアの信頼性評価システ
ムにおいて、最適な信頼度推定モデルを選択できるよう
にして、評価結果の信頼度の向上を図ることにある。

【０００９】

【課題を解決するための手段】本発明は、特にソフトウ
エア開発におけるテスト工程時に、テスト処理により得
られる不具合発見数データを利用して、複数種類の信頼
度推定モデルによりテスト対象のプログラムに内在する
潜在不具合数を推定する方式のソフトウエアの信頼性評
価システムである。本システムは、各信頼度推定モデル
毎の潜在不具合数を推定する推定手段、例えばファジィ
（ｆｕｚｚｙ）推論方式の評価ルールを使用して各信頼
度推定モデルの信頼度を算出する算出手段および各信頼
度推定モデルから最適モデルを選出する選出手段を有す
る。

【００１０】

【作用】本発明では、推定手段はテスト処理により得ら
れる不具合発見数データに基づいて、各信頼度推定モデ
ル毎の潜在不具合数を推定する。算出手段は、テスト工
程でのテスト項目を含む所定の評価項目を用いて、例え
ばファジィ推論方式の評価ルールにより各信頼度推定モ
デル毎に推定された潜在不具合数を評価し、各信頼度推
定モデルの信頼度を算出する。選出手段は、算出された
信頼度の中で最大値を示す信頼度推定モデルを最適モデ
ルとして選出する。

【００１１】

【実施例】以下、図面を参照して本発明の実施例につい
て説明する。図１は同実施例に係わるソフトウエアの信
頼性評価システムの構成を説明するための機能ブロック
図、図２と図３は同実施例の動作を説明するためのフロ
ーチャート、図４と図５は同実施例の動作を説明するた
めの概念図である。 （システム構成）本システムは、図１に示すように、ソ
フトウエア・テスト処理部１、不具合数予測処理部２、
プログラム成熟度算出部３、評価処理部４、最適モデル
選出部５およびテスト継続判断部６からなる。

【００１２】ソフトウエア・テスト処理部１は、テスト
対象のプログラムに対して従来のソフトウエアエラー
（不具合）を発見・修正・除去するためのテスト工程を
実行し、ソフトウエアの信頼性評価に必要な各種情報を
生成する。各種情報には、不具合発見数（エラー数）、
テスト時間、ソフトウエア故障発生回数、テスト網羅度
等の情報が含まれている。

【００１３】不具合数予測処理部２は、ソフトウエア・
テスト処理部１により得られた不具合発見数データに基
づいて、予め用意された複数種類の信頼度推定モデル毎
に、テスト対象のプログラムに内在する潜在不具合数
（総数）の推定を実行する。複数種類の信頼度推定モデ
ルとは、ソフトウエア信頼度成長モデル方式に利用され
る数理的な予測モデルであり、例えば指数モデル、ロジ
スティックモデル、ゴンペルツモデル、遅延Ｓ字型モデ
ル、ＨＧＤＭモデル、習字Ｓ字モデル等である。

【００１４】プログラム成熟度算出部３は、不具合数予
測処理部２により推定された各信頼度推定モデル毎の潜
在不具合数に基づいて、テスト対象のプログラムの成熟
度（以下ＲＥＬと称する）を算出する。ここで、ＲＥＬ
は、「（既発見不具合数）÷（各信頼度推定モデル毎の
潜在不具合総推定数）」と定義する。

【００１５】評価処理部４は、所定の評価項目（後述す
る）を用いて、例えばファジィ（ｆｕｚｚｙ）推論方式
による評価ルール（ファジィルール）によりプログラム
成熟度算出部３により算出されたＲＥＬを評価し、各信
頼度推定モデルの信頼度を算出する。

【００１６】最適モデル選出部５は、算出された各信頼
度推定モデルの信頼度に基づいて、その信頼度の中で最
大値を示す信頼度推定モデルを最適モデルとして選出す
る。テスト継続判断部６は、選出された信頼度推定モデ
ルの推定結果に基づいて、前記のテスト工程の継続を判
断する。 （概略的動作）前記のシステム構成において、本発明の
特徴に関係する概略的動作を図２のフローチャートを参
照して説明する。本発明の特徴は、図２の点線で示すス
テップＳ２−Ｓ４までの処理であり、不具合数予測処理
部２、プログラム成熟度算出部３、評価処理部４、最適
モデル選出部５の各動作に相当する。

【００１７】即ち、ステップＳ２では、不具合数予測処
理部２は、ステップＳ１に示すテスト工程が所定の過程
まで進捗した時点で、テスト工程により得られた時系列
上の不具合発見数データに基づいて、テスト対象のプロ
グラムに内在する潜在不具合数（総数）の推定を実行す
る。ここで、前記のように予め用意された数理的な予測
モデルである複数種類の信頼度推定モデルを使用して、
プログラムの潜在不具合数（欠陥や誤りを含む）をテス
ト時間毎に算出する。この算出されたデータに基づい
て、以後のテスト工程の進捗による不具合検出過程で、
潜在すると想定される潜在不具合の総数を推定する。こ
れにより、各信頼度推定モデル毎の潜在不具合総数を求
める。さらに、プログラム成熟度算出部３は前記のＲＥ
Ｌを各信頼度推定モデル毎に算出する。

【００１８】次に、ステップＳ３では、評価処理部４と
最適モデル選出部５は、推定された各信頼度推定モデル
毎の潜在不具合総数の評価、同実施例ではＲＥＬの評価
を実行して、各信頼度推定モデルから最適モデルを選出
する。

【００１９】ここで、評価処理部４が用いる所定の評価
項目とは、例えばソフトウエア開発の熟練管理者による
評価基準を基にして選出した項目であり、プログラム規
模当たりのテスト時間（以下ＴＰＳと称する）、単位テ
スト時間当たりの不具合検出件数、プログラム規模当た
りのテスト項目数、テスト網羅度、予定テスト項目消化
率、およびテスト期間消化率等の各項目である。ＴＰＳ
の定義は「テスト時間÷プログラムサイズ」である。ま
た、不具合検出件数の定義は「不具合検出件数÷テスト
時間」であり、テスト項目数の定義は「テスト項目数÷
プログラムサイズ」であり、テスト網羅度の定義は「通
過プログラムコード量÷総プログラムコード量」であ
り、予定テスト項目消化率の定義は「テスト消化項目数
÷予定テスト項目数」である。

【００２０】さらに、ステップＳ４は、最適モデル選出
部５により選出された最適の信頼度推定モデルによる推
定結果（予測結果）を出力する処理である。この推定結
果により、テスト継続判断部６がテスト工程の継続を判
断する（ステップＳ５）。 （最適モデルの選出動作）前述の概略的動作において、
評価処理部４と最適モデル選出部５の具体的動作につい
て、図３のフローチャート、図４および図５を参照して
説明する。

【００２１】まず、図３のステップＳ１０は、不具合数
予測処理部２による処理であり、前記のように各信頼度
推定モデル毎の潜在不具合総数を推定する。さらに、ス
テップＳ１１は、プログラム成熟度算出部３により、前
記のＲＥＬを各信頼度推定モデル毎に算出する処理であ
る。

【００２２】次に、ステップＳ１２とステップＳ１３は
評価処理部４による処理である。まず、評価処理部４
は、前記のような所定の評価項目の各値を用いて、ファ
ジィ推論方式による評価ルール（ファジィルール）によ
りプログラム成熟度算出部３により算出されたＲＥＬを
評価する（ステップＳ１２）。

【００２３】ファジィルールとは、ｉｆ−ｔｈｅｎ形式
の制御規則で記述される。このファジィ制御規則におい
て、「ｉｆ」部分を前件部、「ｔｈｅｎ」部分を後件部
と称する。同実施例では、評価ルールの前件部としてＲ
ＥＬと評価項目を組み合わせたものを使用し、後件部に
は各信頼度推定モデルの信頼度（確信度）を記述する。
具体例としては、次のような表現形式となる。例えば
「もし、ＲＥＬが不十分かつＴＰＳが普通ならば、信頼
度は少々高い」や「もし、ＲＥＬが十分かつＴＰＳが高
いならば、信頼度はかなり高い」のような記述となる。

【００２４】ここで、ＲＥＬに関するメンバーシップ関
数（ファジィ特性関数）は、図４（Ａ）に示すように表
現される。同図（Ａ）において、「Ｚ」は未完成、
「Ｌ」は不十分、「Ｇ」は完成を意味する。ＴＰＳに関
するメンバーシップ関数は、同図（Ｂ）に示すように表
現される。同図（Ｂ）において、「ＮＢ」は非常に少な
い、「ＮＳ」は少ない、「ＺＲ」は普通、「ＰＳ」は多
い、「ＰＢ」は非常に多いを意味する。また、後件部で
ある信頼度のメンバーシップ関数は、同図（Ｃ）に示す
ように表現される。

【００２５】評価項目としてＴＰＳを選択した場合に
は、図４（Ｄ）に示すようなルールの組み合わせを得る
ことができる。このルールは、経験則を基にして作成さ
れる。この際、合成方法としてｍｉｎ−ｍａｘ演算を行
なう。このようなルールを各評価項目数分を作成し、そ
れぞれの評価結果を合成して後件部の出力を合成する。
そこで得られた図形の重心値を求めることにより、各信
頼度推定モデルの信頼度を算出することになる。

【００２６】図５を参照して、実際の値を使用した具体
例について説明する。いま仮に、既発見不具合数が「５
５」で、ある信頼度推定モデルの潜在不具合総推定数が
「１００」の場合に、ＲＥＬは前記の定義（５５÷１０
０）により、「０．５５」となる。このとき、ＲＥＬに
関するメンバーシップ関数は、図５（Ａ）に示すように
表現されて、Ｚは「０．０」、Ｌは「０．９」、Ｇは
「０．１」となる。

【００２７】次に、例えばＴＰＳが「０．０１６」と仮
定すると、ＴＰＳに関するメンバーシップ関数は、図５
（Ｂ）に示すように表現されて、ＮＢ，ＮＳ，ＺＲはい
ずれも「０．０」、ＰＳは「０．８」、ＰＢは「０．
２」となる。このとき、ルールの組み合わせ（マトリク
ス）は、図５（Ｃ）に示すようになり、有効な出力とし
て得られるのはハッチングで示す部分である。これは、
ｍｉｎ−ｍａｘ演算を実行する結果、ＲＥＬとＴＰＳの
いずれか一方が「０」の場合には、出力は「０」となる
ためである。そして、メンバーシップ関数の出力合成図
は、図５（Ｄ）に示すようになり、ハッチングで示す部
分が有効な値となる。この出力合成図から重心を求め
て、その値を該当する信頼度推定モデルの信頼度として
算出する。

【００２８】このようにして、評価処理部４により各信
頼度推定モデル毎の信頼度を算出し、最適モデル選出部
５の処理に移行する。最適モデル選出部５は、ステップ
Ｓ１４に示すように、算出された信頼度の中で最大値を
検出し、この最大値に対応する信頼度推定モデルを最適
モデルとして選出する。したがって、ソフトウエア・テ
スト処理部１では、選出された最適モデル（数理的な予
測モデルの中から選出されたモデル）による推定結果
（潜在不具合総数）の信頼性が高いと判定し、この推定
結果に基づいたテスト工程が実行されることになる。

【００２９】

【発明の効果】以上詳述したように本発明によれば、複
数種類の信頼度推定モデルを利用する方式のソフトウエ
アの信頼性評価システムにおいて、各信頼度推定モデル
によりプログラムの潜在不具合数を推定した推定結果に
基づいて、各信頼度推定モデルの信頼度を評価すること
により、信頼度の高い最適な信頼度推定モデルを選択す
ることができる。したがって、選択した最適な信頼度推
定モデルの推定結果を利用することにより、結果的にソ
フトウエアの評価結果の信頼度を高めることが可能とな
る。

【図面の簡単な説明】

【図１】本発明の実施例に係わるソフトウエアの信頼性
評価システムの構成を説明するための機能ブロック図。

【図２】同実施例の動作を説明するためのフローチャー
ト。

【図３】同実施例の動作を説明するためのフローチャー
ト。

【図４】同実施例の動作を説明するための概念図。

【図５】同実施例の動作を説明するための概念図。

【符号の説明】

１…ソフトウエア・テスト処理部、２…不具合数予測処
理部、３…プログラム成熟度算出部、４…評価処理部、
５…最適モデル選出部、６…テスト継続判断部。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 所定の信頼度推定モデルによりテスト対
   象のプログラムの信頼性を推定するソフトウエアの信頼
   性評価システムにおいて、 複数種類の前記信頼度推定モデルにより前記プログラム
   の潜在不具合数を予測する処理を実行し、前記各信頼度
   推定モデル毎の前記潜在不具合数を推定する推定手段
   と、 所定の評価項目を用いて、予め用意された評価ルールに
   より前記各信頼度推定モデル毎に推定された前記潜在不
   具合数を評価し、前記各信頼度推定モデルの信頼度を算
   出する算出手段と、 この算出手段により算出された前記各信頼度に基づい
   て、前記各信頼度推定モデルから最適モデルを選出する
   選出手段とを具備したことを特徴とするソフトウエアの
   信頼性評価システム。
2. 【請求項２】 所定の信頼度推定モデルによりテスト対
   象のプログラムの信頼性を推定するソフトウエアの信頼
   性評価システムにおいて、 前記プログラムに対して所定のテスト処理を実行したと
   きに、ソフトウエアの不具合発見数データを求めるテス
   ト処理手段と、 前記不具合発見数データに基づいて、複数種類の前記信
   頼度推定モデルにより前記プログラムの潜在不具合数を
   予測する処理を実行し、前記各信頼度推定モデル毎の前
   記潜在不具合数を推定する推定手段と、 この推定手段により推定された前記各信頼度推定モデル
   毎の前記潜在不具合数に基づいて、前記各信頼度推定モ
   デルに対応する前記プログラムの成熟度を算出する成熟
   度算出手段と、 所定の評価項目を用いて、予め用意された評価ルールに
   より前記各信頼度推定モデル毎の前記プログラムの成熟
   度を評価し、前記各信頼度推定モデルの信頼度を算出す
   る算出手段と、 この算出手段により算出された前記各信頼度に基づい
   て、最大の信頼度を示す前記信頼度推定モデルを最適モ
   デルとして選出する選出手段とを具備したことを特徴と
   するソフトウエアの信頼性評価システム。
3. 【請求項３】 テスト対象のプログラムに対して所定の
   テスト処理を実行したときに得られるソフトウエアの不
   具合発見数データを用いて、所定の信頼度推定モデルに
   より前記プログラムの信頼性を推定するソフトウエアの
   信頼性評価システムにおいて、 前記不具合発見数データに基づいて、複数種類の前記信
   頼度推定モデルにより前記プログラムの潜在不具合数を
   予測する処理を実行し、前記各信頼度推定モデル毎の前
   記潜在不具合数を推定するステップと、 推定された前記各信頼度推定モデル毎の前記潜在不具合
   数に基づいて、前記各信頼度推定モデルに対応する前記
   プログラムの成熟度を算出するステップと、 所定の評価項目を用いて、予め用意された評価ルールに
   より前記各信頼度推定モデル毎の前記プログラムの成熟
   度を評価し、前記各信頼度推定モデルの信頼度を算出す
   るステップと、 算出された前記各信頼度に基づいて、最大の信頼度を示
   す前記信頼度推定モデルを最適モデルとして選出するス
   テップとからなることを特徴とするソフトウエアの信頼
   性評価方法。