JPH04145546A - ソフトウェア自動テストシステム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、ソフトウェアのブラックボックステストを自
動化する技術に関するものである。

〔従来技術〕

従来、ソフトウェアのブラックボックステストにおいて
、各種のテストデータを用いたテストを一括して行う場
合、他のテストデータのテスト結果に関わらず、前もっ
て用意されたテストデータ全てが被テストプログラムに
与えられていた。しかし、一般には、テストデータＡが
正常に処理された時にのみテストデータＢが意味をもつ
などの関係がテストデータ間に存在する。

したがって、用意さ九たテストデータの全てを使用する
方法では、同一のプログラム族りに起因するテスト結果
異常が数多く発生し、不要なテストのために多くの時間
を費やすことにがる６さらに出力された結果の解析にも
手間がかかる。

〔発明が解決しようとする課題〕

前記従来の方式では、すでに結果異常を発生させたテス
トデータと同じ特徴をもつテストデータも特徴を共有し
ないテストデータも、−律に被テストプログラムに与え
ていた。その結果、同一原因で失敗することがほぼ確実
なテストを数多〈実施することとなりテストの効率を低
下させていた。

本発明は、前記問題点を解決するためになされたもので
ある。

本発明の目的は、ソフトウェアのブラックボックステス
トを自動的に効率よ〈実施することが可能な技術を提供
することにある。

本発明の前記ならびにその他の目的と新規な特徴は、木
明細書の記述及び添付図面によって明らかになるであろ
う。

〔課題を解決するための手段〕

前記目的を達成するために、本発明は、自動生成された
ブラックボックステスト用のテストデータ集合及びそれ
らの特徴を保存するデータベースと、被テストプログラ
ムに漸次複雑となる順序でテストデータを与える手段と
、テスト結果の正否を判別する手段と、そしてテストに
失敗したテストデータと同じ特徴を含むテストデータを
テストデータ集合から削除する手段を備えたことを最も
主要な特徴とする。

〔作用〕

前述の手段によれば、データベースに、入力データ及び
その入力に対して仕様上期待される出力、そしてその入
力データの持つ特徴の３つの組集合を蓄積しておく。さ
らに、テストデータ間の関係として次のように定義され
るグラフＧもデータベースに保存する。

［定義コテストデータＴｉの特徴 Ｃ（Ｔｉ、、、）＝（Ｃｉｌ、　Ｃｉ２．”・、　Ｃｉ
　ｎ　）Ｃ１ＪはＴｉのテスト項目ｊに関する複雑さで
ある。

［定義おわリコ ここで、任意のａ、ｂに対し、ＣａｋとＣｂｋ（ｋ＝１
　＋　−−−＋　ｎ　）の間に順序関係（くか＝か〉の
関係）を定義できると仮定する。順序関係が定義できな
い場合は、そのテスト項目を分割することにより、この
仮定を満たすことができる。

［定義コテストデータ間の関係を表すテストデータ関連
グラフＧ Ｇ＝（ｖ、Ｅ） ■＝（ＴｉＩＴｉ（ｉ：１．・・・２ｍ）はテストデー
タ）Ｅ＝（（Ｔｉ、Ｔｊｌヨｐ（Ｃｉｐ＜Ｃｊｐ、Ｃ１
ｒ＝Ｃｊｒ（ｆｏｒ　ｒ≠ｐ）。

Ｖｑ（Ｃｑｐ＜Ｃｉｐ　　ｏｒ　　Ｃｊｐ＜Ｃｑｐ））
）［定義おわり］ Ｇは有向サイクルなしグラフで、テストデータ間の複雑
さの関係を示す。すなわち、ＴｉからＴｊにエツジがあ
るのは、それらが１つのテスト項目を除いて全テスト項
目が同一の複雑さをもち、ＴｉよりＴｊが複雑というこ
とを示している。

自動テストドライバは、テストデータ関連グラフＧを用
いて漸次複雑となる順にテストデータを選択しその入力
データを被テストプログラムに与える。

そして被テストプログラムのテスト結果出力と、仕様上
期待されるテスト出力とを比較する。このとき比較結果
異常であれば、そのテストデータからグラフＧ上到達可
能なノードに対応するテストデータをテストデータ集合
から削除する。その結果、予め失敗が予測されるテスト
データを被テストプログラムに与えない自動テストが可
能となる。

以下にこの手順を形式的に下記に示す。

肋ｌ罰テスト １ｏｏｐ　ｗ　ｈｉｌｅ　Ｖ≠（） Ｇからｉｎｄｅｇｒｅｅ　（Ａ　）”　Ｏのノード（Ｅ
Ｖ）を１つ選択　・＝　（１）Ａを用いてテスト ■結果＝正常ｔｈｅｎ Ｇ上でＡを削除 １ｓｅ Ｇ上でＡ及びＡから到達可能な全ノートを削除　　　・
・・（２）ｅｎｄ　１ｏｏｐ ｎｄ 上記のうち、テストの主要部分（上記（１）、（２））
について説明する。

（１）　ｉｎｄｅｇｒｅｅ　（Ａ）＝　Ｏとなるノード
Ａの存在は、Ｇが常にサイクルなしであることがら保証
されている。このテストデータＡは、■の中でそれより
も複雑なものがないテストデータである。つまり、上記
の（１）は、簡単なテストデータから順にテストしてい
くことを示し、基本部分に近いところのバグの早い段階
での発見を目指すものである。

（２）Ｇ上でＡから到達可能な任意のノードＢは、どの
テスト項目をとってもＡより複雑かまたは等しい複雑さ
をもつ。つまり、Ｂをテストデータとして使うとＡと同
一のバグに遭遇する可能性が高い。一般にＢはＡで発見
されたバグ修正後に走行させるべきテストデータである
。

上記のようにすることにより、ソフトウェアのブラック
ボックステストを自動的に効率よ〈実施することが可能
となる。

〔発明の実施例〕

以下、本発明の一実施例を図面を用いて具体的に説明す
る。

第１図は、本発明の実施例のソフトウェア自動テストシ
ステム１００の概略構成を示すブロック図である。

データベース１０２には、テストデータ生成システム１
０１（情報処理学会第４０回全国大会ｒＰｒｏ１ｏｇに
よるコンパイラテストデータの自動生成方式」　橋本、
填圧）により生成されたテストデータ集合１０５と、各
テストデータの特徴をもとに構築したテストデータ関連
グラフ１０６を登録しておく。

自動テストドライバ１０３は、前記の手順に従い、テス
トデータ関連グラフを参照し、テスト入力、テスト８力
を選択する。

そして、選択されたテスト入力を用いて被テストプログ
ラム１０４のテストを実施する。

次に、このテストで得られたテスト結果と期待されるテ
スト出力をもとにテスト結果判定を行う。

判定結果が異常であれば、データベースのテストデータ
関連グラフ上でそのテストデータに対応するノードから
の可到達ノードを調べ、そのテストデータより複雑なテ
ストデータをテストデータ集合から削除する。

これを繰り返し、効率的なテストを実施する。

次に具体的な例を用いて、本実施例の処理動作を説明す
る。

〔ソートプログラムの場合〕

第２図は、ソートプログラム用テストデータの選択に関
する説明図（テストデータ関連グラフの初期状態を示す
図）ある。

配列に格納された整数列を昇順にソートするプログラム
を考える。このプログラムの正常系のテストに関するテ
スト項目を次に３種と仮定する。

（Ｃ１）要素数　（０，１，２，３，４）（Ｃ２）同じ
値をもつ要素　無（０）／有（１）（Ｃ３）整列済（Ｏ
）／未整列（１） たとえば、［５，５，１］を入力としてもつテストデー
タの特徴は、（Ｃ１，Ｃ２，Ｃ３）＝（３，１，１）と
表すことができる。

（Ｃ１）、（Ｃ２）、（Ｃ３）をテスト項目として採用
し、テストデータ生成システムにより生成した要素数４
以下のテストデータは、第２図に示すグラフＧのとおり
の複雑さの関係をもつ。

−例として、テスト対象とするプログラムに、見かけ上
並べ替えがまったく行われないようなバグ（たとえばＢ
ｕｂｂｌｅ　５ｏｒｔで大小比較を行うところを誤って
等号比較としたバグ）が存在すると仮定する。テストは
第２図の上方から順に行われ、テストデータ［２，１］
で初めて結果異常となる。

そしてテストデータ［２，１］からグラフＧ上到達可能
なテストデータである、 ［７，３，１］［５，１，１コ［５，１，９，４］［４
，３，４，３］を入力とするテストは実行されない。実
際に、これらのテストデータに対してテストを行っても
結果は異常となる。グラフＧが変形される様子、すなわ
ちテストデータが選択される順を第３図に示す。第３図
においては図を簡略化するためテスト入力のみを示して
いる。

以上、本発明を実施例にもとづき具体的に説明したが、
本発明は、前記実施例に限定されるものではなく、その
要旨を逸脱しない範囲において種々変更可能であること
は言うまでもない。

〔発明の効果〕

以上、説明したように、本発明によれば、以下の効果を
奏することができる。

（１）テストデータを最も簡単なものから順にテストで
きる。これはソフトウェア論理の中で基本部分に近いと
ころのバグの早い段階での発見を可能とする。

（２）失敗したテストデータと同じ特徴を含むテストデ
ータをテストデータ集合から削除することにより、無駄
なテストを省くことができ、テスト過程全体を通してよ
り効率的なテストを行うことを可能とする。

これらにより、一定期間で行えるテストの精度を向上さ
せることができ、ソフトウェア製品の品質保証を高める
ことができる。

【図面の簡単な説明】

第１図は、本発明の実施例のソフトウェア自動テストシ
ステムの概略構成を示すブロック図、第２図は、木実施
例のソートプログラム用テストデータの選択に関する説
明図、 第３図は、木実施例におけるテストデータ関連グラフの
変化を示す図である。 図中、１０ｏ・・・ソフトウェア自動テストシステム、
１０１・・・テストデータ生成システム、１０２・・・
データベース、１０３・・・自動テストドライバ、１０
４・・・被テストプログラム、１０５・・・テストデー
タ集合、１０６・・・テストデータ関連グラフ。 第２図

Claims (1)

【特許請求の範囲】
1. ソフトウェアのブラックボックステストを効率的にかつ
   自動的に実施するソフトウェア自動テストシステムであ
   って、自動生成されたブラックボックステスト用のテス
   トデータ集合及びそれらの特徴を保存するデータベース
   と、被テストプログラムに漸次複雑となる順序でテスト
   データを与える手段と、テスト結果の正否を判別する手
   段と、そしてテストに失敗したテストデータと同じ特徴
   を含むテストデータをテストデータ集合から削除する手
   段を備えたことを特徴とするテストドライバで構成され
   るソフトウェア自動テストシステム。