JPH09218805A - 通信ソフトウェアの試験制御方法 - Google Patents

Abstract

(57)【要約】 【課題】 通信ソフトウェアの自動試験を行う。 【解決手段】 ステップＳ２１において、試験項目管理
ツール１は、試験項目管理ファイル８を作成して、手順
書作成ツール２は、手順書管理ファイル９を作成する。
ステップＳ２２において、試験項目選定ツール３は、手
順書ファイル１１を作成する。ステップＳ２３とＳ２４
において、自動試験ツール４は、手順書ファイル１１の
全ての試験項目について、自動試験を行い、試験ログフ
ァイル１２に試験ログを書き込んでゆく。ステップＳ２
５において、試験結果ファイルを作成する。ステップＳ
２６において、試験項目管理ツール１は、試験報告リス
ト１４の作成などを行う。ステップＳ２７、試験確認・
問題登録、ステップＳ２８、Ｓ２９において、問題処理
を行い、ステップＳ３０において、ファイル更新し、ス
テップＳ３１において、全ての試験項目について試験が
終了するまで繰り返して行う制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、通信ソフトウェア
の試験作業に適用するものであり、通信ソフトウェアの
試験において、試験関連のツールである試験項目管理ツ
ール、手順書ツール、試験項目選定ツール、自動試験ツ
ール、試験結果照合ツール、レポートツール、及び問題
処理管理ツールを人手の介在することなく連動する機能
を備えることにより、試験作業全体の効率化を行う通信
ソフトウェアの試験制御方法に関するものである。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば次のような文献に記載されているものがあった。 文献１；信学技報、ＳＳＥ９２−８５、１９９２年、高
田他著、「自動試験システムを用いたソフト検証手
法」、Ｐ．１３−１８ 文献２；信学技報、ＳＳＥ９４−８９、１９９４年、菅
原他著、「情報の共用化に着目した交換ソフトウェア試
験支援システム、１９９４年、Ｐ．４９−５４ 文献３；信学技報、ＳＳＥ９４−１０６、１９９４年、
村上他著、「試験の客観性に着目した単体試験支援シス
テム」、１９９４年、Ｐ．９３−９８ 電子交換機における機能の追加変更の増加にともない、
そのソフトウェアも大規模化、複雑化してきている。一
方、交換機には高度の信頼性が要求されており、その検
証試験には多数の工数が必要とされるため、試験の効率
化を目的として従来から各種のツールや手法が用いられ
てきた。

【０００３】図２は、前記文献１〜文献３に記載された
通信ソフトウェアの試験制御方法を示す図である。以
下、図２を参照しつつ、従来の通信ソフトウェアの試験
制御方法の説明をする。図２に示すように、ステップＳ
１において、試験内容を記述した手順書を手順書作成ツ
ールを用いて作成する。ステップＳ２において、試験作
業の準備段階としての試験項目の選定作業を行う。ステ
ップＳ３において、自動試験ツールを用いて、選定され
た試験項目の試験を実施して、ステップＳ４において、
試験の残りがあるか否かを判断して、試験の残りがあれ
ばステップＳ４に戻って、残りの試験を実施する。ステ
ップＳ５において、試験結果が正しいか否かを解析し
て、ステップＳ６において、試験の解析結果より、レポ
ートツールや進捗管理ツールを用いて、試験結果報告書
を作成するとともに、問題処理管理ツールを用いて、試
験で発生した問題管理するための問題処理管理ファイル
を作成する。ステップＳ７において、問題処理が残って
いるか否かを判断して、問題処理が残っていれば、ステ
ップＳ８において、問題処理を行う。ステップＳ９にお
いて、問題処理を行った結果に対する問題処理管理ファ
イルの更新をする。問題処理が残っていれば、ステップ
Ｓ１０において、全試験項目が終了したか否かを判別し
て、終了していなければ、ステップＳ１に戻り、終了す
れば、通信ソフトウェアの試験を終了する。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
通信ソフトウェアの試験制御方法は、以下の課題があっ
た。試験準備作業である試験項目の選定作業について
は、人手により進捗管理ツール等による試験項目の完了
／問題処理中／未着手項目の確認と、問題処理管理ツー
ル等による問題処理中の項目と、問題解析済みの項目と
を確認して、問題解決済の項目と、未着手で試験可能項
目を試験項目として選定し、さらに手順書の作成を確認
する手間があった。試験結果後の検証については、試験
結果照合ツールにより試験の正常性の確認はできるよう
になっているが、試験結果に対する作業レポートの作
成、進捗結果の登録、問題発生時の問題処理登録作業は
全て人手により行っていた。

【０００５】

【課題を解決するための手段】第１の発明は、前記課題
を解決するために、全ての試験項目について、各試験項
目の試験実施が出来るか否かの情報と、その試験項目の
進捗を示す試験実施状態を表す情報と、その試験を実施
した際に発生すると与えられる問題処理番号とその問題
の内容とその問題の処理状況とを示す情報を格納した問
題処理管理ファイルとリンクするためにその試験を実施
して発生した前記問題処理管理ファイルで管理する問題
処理番号とを格納するための試験項目管理ファイルを作
成する試験項目管理処理と、前記全試験項目の試験の手
順を記述する情報を格納するための手順書管理ファイル
を作成する手順書管理ファイル作成処理とを実行する。
そして、前記試験項目管理ファイルの各試験項目につい
て、その試験項目の前記試験実施ができるか否かの情報
と、前記試験実施状態と、その試験項目の試験で発生し
た問題番号が示す前記問題処理管理ファイルに格納され
る処理状況とに基づいて、試験実施しても良いか否かを
判別して、試験実施しても良い試験項目について、前記
手順書管理ファイルからその試験項目の手順書の内容を
手順書ファイルに登録する試験項目選定処理と、前記手
順書ファイルの前記試験項目の手順書に従って、前記試
験項目の試験を行う自動試験して、試験項目の試験ログ
ファイルを作成する試験ログファイル作成処理とを実行
する。以上のように通信ソフトウェアの試験制御方法を
構成したので、試験項目管理ファイルは、試験の進捗及
び試験が実施可能であるかを判断するための情報を持っ
ている。手順書管理ファイルに試験の手順を登録してお
き、試験項目管理ファイルから試験の実施が可能である
かを判断して、自動的に試験項目を選択して、手順書フ
ァイルを作成する。そして、手順書ファイルにより自動
試験を行う。

【０００６】

【発明の実施の形態】図１は、本発明の実施形態の通信
ソフトウェアの試験制御方法を示す図である。本実施形
態の通信ソフトウェアの試験制御方法が従来の通信ソフ
トウェアの試験制御方法と異なる点は、試験項目選定ツ
ールを使用した試験項目選定作業、自動試験ツールによ
り試験の実施、試験結果照合ツールにより試験結果解析
からレポートツールによる試験結果報告までの一連の作
業を自動化したことである。図１に示すように、通信ソ
フトウェアの試験制御方法は、試験項目管理ツール１、
手順書作成ツール２、試験項目選定ツール３、自動試験
ツール４、試験結果照合ツール５、レポートツール６、
問題処理管理ツール７を用いて、試験項目管理ファイル
８、手順書管理ファイル９、問題処理管理ファイル１
０、手順書ファイル１１、試験ログファイル１２、試験
結果ファイル１３、試験結果リスト１４の作成・参照・
更新しながら実施する。試験項目管理ツール１は、ユー
ザインタフェースにより試験項目を管理するための試験
項目管理ファイル８の作成及び更新を行うものである。
手順書作成ツール２は、試験項目管理ファイル８を参照
して、試験項目の試験手順を示す手順書管理ファイル９
の作成及び更新を行うものである。

【０００７】試験項目選定ツール３は、試験項目管理フ
ァイル８、手順書管理ファイル９、問題処理管理ファイ
ル１０とを参照して、試験の実施を行うか否かを判断し
て、試験の実施を行う試験項目については試験手順を示
す手順書ファイル１１を作成するものである。自動試験
ツール４は、手順書ファイル１１に示される試験項目の
試験手順に従って、試験を実施して、試験結果を試験ロ
グファイル１２に書き込むものである。試験結果照合ツ
ール５は、試験ログファイル１２と試験項目管理ファイ
ル８の正解データとを参照して、試験項目の試験結果を
試験結果ファイル１３に書き込むものである。レポート
ツール６は、試験結果ファイル１３を参照して、試験報
告リストを作成するとともに試験結果から試験項目管理
ファイル８と問題処理管理ファイル１０の更新を行うも
のである。問題処理管理ツール７は、試験結果より問題
処理をしなければならない試験項目を洗い出して、問題
処理を行って問題処理管理ファイル１０の作成及び更新
を行うものである。

【０００８】図３（ａ）〜（ｆ）は、試験項目管理ファ
イルの構成図である。図３（ａ）は、試験項目管理ファ
イルの概要構成図である。図３（ａ）に示すように、試
験項目管理ファイル８は、大項目表と中項目表と小項目
表から構成されており、大／中／小項目の三段階で管理
していることを示している。図３（ｂ）は、大項目表の
内容を示す図である。図３（ｂ）に示すように、大項目
表には、ヘッダ部に大項目の項目数、最大項目番号、各
大項目について、大項目の実装表示の有無（これを設定
するには、大項目の全ての項目の試験項目の抜けの有無
を調べることになり試験項目の抜けの防止のためであ
る）、中項目表へのポインタなどが格納されている。図
３（ｃ）は、中項目表の内容を示す図である。図３
（ｃ）に示すように、中項目表には、ヘッダ部にその大
項目に属する中項目数、最大項目番号、各中項目につい
て、その中項目実装表示の有無（大項目の実装実施と同
じ目的である）、中項目に属する小項目表へのポインタ
などが格納されている。

【０００９】図３（ｄ）は、小項目表の内容を示す図で
ある。図３（ｄ）に示すように、小項目表には、ヘッダ
部に小項目の項目数、最大項目番号、各小項目につい
て、小項目実装表示の有無、試験実施可否表示（試験項
目はできているがハードウェアが出来てないなどの場
合）、試験実施年月日、試験完了年月日（正常終了した
ときのその年月日）、その試験項目の試験で発生した累
計の発生問題数、問題番号表へのポインタ、正解データ
が登録されているか否かを示す正解データ実装フラグ、
正解データへのポインタ、試験実施表示（試験項目をこ
れから初めて試験行う新規試験、試験実施により問題が
発生し、その問題対処済みで修正確認試験をこれから行
う修正確認試験、ユーザインタフェースの起動オプショ
ンによって指定され、この試験項目の試験は正常終了し
たが他の試験項目で問題が発生して、この試験項目をデ
グレードさせていないかのデグレード試験）などが格納
されている。図３（ｅ）は、問題処理番号表の内容を示
す図である。図３（ｅ）に示すように、問題処理番号表
には、ヘッダ部に試験で発生した問題数、各問題番号に
ついて、問題処理管理ツールで管理する問題処理番号が
格納されている。問題番号は問題処理管理ツール７で管
理する番号で、これにより試験項目と問題処理を関係付
ける。図３（ｆ）は、正解データの内容を示す図であ
る。図３（ｆ）に示すように、正解データは、試験結果
の正否を判定するためのデータとして想定される信号の
送受信データなどが格納されている。

【００１０】図４（ａ）〜（ｆ）は、手順書管理ファイ
ルの構成図である。図４（ａ）は、手順書管理ファイル
の概要構成図である。図４（ａ）に示すように、手順書
管理ファイル９は、大項目表、中項目表、小項目表、手
順書制御データと手順書とから構成され、大/ 中／小項
目の三段階で管理していることを示している。これによ
り、試験項目と手順書が試験項目番号で対応取ることを
示している。図４（ｂ）は、大項目表の内容を示す図で
ある。図４（ｂ）に示すように、大項目表には、ヘッダ
部に大項目の項目数、各大項目について、中項目表への
ポインタが格納されている。図４（ｃ）は、中項目表の
内容を示す図である。図４（ｃ）に示すように、中項目
表には、ヘッダ部にその大項目に属する中項目数、各中
項目について、その中項目に属する小項目表へのポイン
タなどが格納されている。図４（ｄ）は、小項目表の内
容を示す図である。図４（ｄ）に示すように、小項目表
には、ヘッダ部に小項目の項目数、試験グループ名、試
験担当者、各小項目について、手順書実装の有無、手順
書制御データへのポインタが格納されている。

【００１１】図４（ｅ）は、手順書制御データの内容を
示す図である。図４（ｅ）に示すように、手順書制御デ
ータには、ヘッダ部に手順書制御名、試験を行うための
手順書数、各手順書について、手順書名、時系列に試験
手順書へのポインタが格納されている。図４（ｆ）は、
手順書の内容を示す図である。通信装置のようなハード
ウェア組み込み装置は、装置本体を使用して試験する場
合とワークステーションを利用したシミュレーション試
験とがある。装置本体を使用した試験は、インサーキッ
トエミュレータ（以下、ＩＣＥと呼ぶ）等による試験対
象プログラムの信号装置へのローディグやメモリ等への
読み込みと書き込み、プログラムトレース等の制御手
順、電話のオフフック等を行う擬似信号装置（以下、擬
似呼）による信号の入出力動作手順、及び電話番号の登
録等の運用・保守コマンドの投入手順の３タイプがあ
る。ワースステーションを利用した試験は、シミュレー
ションデバッガによる問題対象プログラムのローディン
グや、メモリ等への読み込みと書き込み、プログラムト
レース等の制御手順、信号装置シミュレータによる通信
装置の信号の入出力制御、運用・保守コマンドの投入手
順の３タイプがある。そこで、図４（ｆ）に示すよう
に、手順書データには、各試験手順が定義されており、
ＩＣＥまたはシミュレーションデバッガの制御手順、擬
似呼または信号装置シミュレータによる通信装置の信号
の入出力制御、運用・保守コマンド投入手順が格納され
ている。

【００１２】図５（ａ）〜（ｃ）は、問題処理管理ファ
イルの構成図である。図５（ａ）は、問題管理ファイル
の概要構成図である。図５（ａ）に示すように、問題管
理ファイル１０は、問題管理表、関連試験番号表とから
構成されている。図５（ｂ）は、問題管理表の内容を示
す図である。図５（ｂ）に示すように、問題管理表に
は、ヘッダ部に問題登録数、各問題処理データについ
て、問題内容、処理状況（未処理、修正済、保留、没、
確認）、関連試験番号表へのポインタなどが格納されて
いる。図５（ｃ）は、関連試験番号表の内容を示す図で
ある。図５（ｃ）に示すように、ヘッダ部に各問題番号
に関連する試験項目の数、関連する試験項目番号（大／
中／小項目）が格納されている。これにより、問題番号
から試験項目へ関連付けており、試験項目についての問
題処理状況が分かり、試験項目の選定及び試験の進捗の
自動管理が可能となっている。

【００１３】図６（ａ）〜（ｄ）は、手順書管理ファイ
ルの構成図である。図６（ａ）は、手順書ファイルの概
要構成図である。図６（ａ）に示すように、手順書ファ
イル１０は、試験表、手順書制御データ、手順書とから
構成されている。図６（ｂ）は、試験表の内容を示す図
である。図６（ｂ）に示すように、試験表には、ヘッダ
部に手順書制御データ名、自動試験を行う試験の数、各
試験管理データについては、試験項目番号、手順書制御
データへのポインタなどが格納されている。図６（ｃ）
は、手順書制御データの内容を示す図である。図６
（ｃ）の手順書制御データは、図５（ｅ）の手順書制御
データと同じものである。図６（ｄ）は、手順書の内容
を示す図である。図６（ｄ）の手順書は、図５（ｆ）の
手順書の内容と同じものである。

【００１４】図７は、試験結果ログファイルの構成図で
ある。試験結果ログファイル１２は。試験ログ情報をシ
ーケンシャルに書き込んだファイルである。図７に示す
ように、試験結果ログファイル１２には試験情報とログ
情報が格納され、試験情報については、試験項目番号、
試験開始日時、試験終了日時、手順書の正常ルート通過
・手順書の異常ルート通過・異常終了表示、ログ情報に
ついては、ＩＣＥまたはシミュレーションデバッガのロ
グ情報（メモリ内容内容やトレース情報等）、疑似呼ま
たは信号装置シミュレータのログ情報（信号装置の入出
力信号内容等）、運用・保守コマンドのログ情報（投入
コマンドと出力メッセージなど）が情報が格納される。
先頭に定義された試験項目ばんごうと試験開始日時まで
は、試験結果照合ツール５での試験項目のキーワードと
なる。図８は、試験結果ファイルの構成図である。試験
結果ファイル１３は、試験ログファイル１２と同様に試
験の順番にシーケンシャルに作成される。図８に示すよ
うに、試験結果ファイル１３には試験情報と補助情報が
格納され、試験情報については、試験項目番号、試験結
果（正常・異常・照合不可）等、補助情報については、
試験項目に対応したログファイルへのポインタ、異常時
の情報（正解データと不一致時の情報、手順書の異常ル
ート時の情報、異常終了時の情報）が格納されている。

【００１５】図９は、試験報告リストの内容を示す図で
ある。図９に示すように、試験報告リストは、見出しと
して試験開始日、試験終了日、確認ファイル名、試験対
象プログラム名、手順書ファイル名、試験ログファイル
名、試験結果ファイル名、以下、新規試験一覧、デグレ
ード試験結果一覧、修正確認試験結果一覧、これら以外
の試験項目の試験結果確認待ち一覧の順に試験結果が印
刷される。これにより、全試験項目の試験進捗状況が一
覧表で確認することができる。新規試験については、新
規試験全項目数、正常確認項目数（正常確認した試験項
目番号）、試験照合不一致項目数（試験照合不一致とな
った試験項目番号、試験結果ファイルへのポインタ）、
試験手順書異常ルート通過項目数（試験手順書異常ルー
ト通過した試験項目番号、試験結果ファイルへのポイン
タ）、試験異常終了項目数（試験異常項目、試験結果フ
ァイルへのポインタ）が印刷されている。

【００１６】デグレード試験については、デグレード試
験全項目数、正常確認項目数（正常確認した試験項目番
号）、試験照合不一致項目数（試験照合不一致となった
試験項目番号、試験結果ファイルへのポインタ）、試験
手順書異常ルート通過項目数（試験手順書異常ルート通
過した試験項目番号、試験結果ファイルへのポイン
タ）、試験異常終了項目数（試験異常項目、試験結果フ
ァイルへのポインタ）が印刷されている。修正試験につ
いては、修正試験全項目数、正常確認項目数（正常確認
した試験項目番号）、試験照合不一致項目数（試験照合
不一致となっち試験項目番号、試験結果ファイルへのポ
インタ）、試験手順書異常ルート通過項目数（試験手順
書異常ルート通過した試験項目番号、試験結果ファイル
へのポインタ）、試験異常終了項目数（試験異常項目、
試験結果ファイルへのポインタ）が印刷されている。試
験結果確認待ちについては、試験結果確認待ち項目数
（確認待ちの試験項目数、試験結果ファイルへのポイン
タ）が印刷されている。図１０は、試験項目選定フロー
を示すフローチャートである。

【００１７】図１１は、本発明の通信ソフトウェアの試
験制御方法を実施する通信システム本体を用いた試験形
態を示す図である。図１１に示すように、通信システム
本体を用いた通信ソフトウェアの試験制御方法は、通信
システム本体２１、ＩＣＥ２２、擬似呼装置２３、コン
ソール２４、ワークステーション２５によって構成され
る。ワークステーション２５には、自動試験ツール４、
試験ログファイル５、手順書ファイル１１が搭載されて
いる。ワークステーション２５は、ＰＢＸ等の通信シス
テム本体２１とＩＥ２２、擬似呼装置２３、コンソール
２４に接続され、これらを介して接続され試験が行われ
るようになっている。図１２は、本発明の通信ソフトウ
ェアの試験制御方法を実施するワークステーションによ
るシミュレーション試験形態を示す図である。図１２に
示すように、通信ソフトウェアの試験制御方法は、ワー
クステーション３０に搭載された通信システムプログラ
ム３１、シミュレーションデバッガ３２、信号装置シミ
ュレータ３３、擬似コンソールプログラム３４、自動試
験ツール４、試験ログファイル１２、手順書ファイル１
１によって構成される。被試験対象のプログラム通信シ
ステムプログラム３１は、シミュレーションデバッガ３
２、信号装置処理シミュレータ３３、及び擬似コンソー
ルプログラム３４を介して、ワークステーション上で試
験が行われる。

【００１８】図１２は、試験結果照合フローを示すフロ
ーチャートである。以下、これらの図を参照しつつ、本
発明の実施形態の通信ソフトウェア制御方法の説明をす
る。 （ａ） 試験管理処理 試験項目管理ツール１は、図３に示す試験項目管理ファ
イル８を大・中・小項目表の作成と正解データの作成を
行い、小項目表については、小項目の項目数、最大項目
番号、小項目実装表示、小項目名、試験実施可否表示、
正解データ実装表示、正解データが設定済みの場合、正
解データへのポインタの設定のみを行う。 （ｂ） 手順書管理処理 手順書作成ツール２は、手順書管理ファイル９の大・中
・小項目表、手順書制御データ、及び手順書の作成を行
う。大・中・小項目表は、試験項目管理ファイル８を基
に作成・管理し、手順書制御データと手順書の作成の有
無は、手順書実装表示で管理する。

【００１９】（ｃ） 手順書ファイル１１の作成・更新 図１０を参照しつつ、試験項目選定ツール３の動作フロ
ーの説明をする。ステップＳ４１において、大項目・中
項目・小項目の最若番に試験項目番号を設定する。ステ
ップＳ４２において、試験項目管理ファイル８の管理表
の小項目が試験実施可能でかつ手順書管理ファイル９に
試験項目番号に対応した手順書が実装されているか否か
を判定して、試験不可であれば、ステップＳ５０に進
み、試験可能であれば、ステップＳ４３に進む。ステッ
プＳ４３において、試験項目管理ファイル８の項目管理
表の実施日が未設定か否かを判定して、設定済みであれ
ば、新規試験は終わっているので、ステップＳ４４に進
み、未設定であれば、初めて試験を行う新規試験なので
ステップＳ４５に進む。ステップＳ４４において、試験
項目管理ファイル８の小項目表の完了日が設定済み（そ
の試験項目が正常終了している）、かつユーザインタフ
ェースによって試験項目選定ツール３によって設定され
る起動パラメータがデグレード試験実施（該当する試験
項目は正常に終わっていが他の問題処理された試験項目
によって、その該当する試験項目がデグレードしていな
かかを試験すること）か否かを判定して、デグレード試
験未実施の場合は、ステップＳ４６に進み、デグレード
試験実施の場合は、ステップＳ４７に進む。

【００２０】ステップＳ４５において、試験実施表示に
新規試験と設定して、ステップＳ４９に進む。ステップ
Ｓ４６において、試験項目管理ファイル８の問題処理番
号表の未解決問題番号に対応した問題処理管理ファイル
１０の問題処理データに修正済み／解決済み／没のいず
れかが設定（これらの場合は問題処理されており、その
修正確認の状態である）されているか否かを判定して、
問題が対処されていれば、問題対処した試験項目の修正
確認試験を行うために設定するべくステップＳ４８に進
み、問題未対処であれば、修正確認試験が出来ないので
ステップＳ５０に進む。ステップＳ４７において、デグ
レード試験を実施するために、試験実施表示にデグレー
ド試験を設定して、ステップＳ４９に進む。ステップＳ
４８において、問題処理が確認されたので、小項目表の
試験実施表示に修正確認試験を設定する。

【００２１】ステップＳ４９において、試験項目管理フ
ァイル８の小項目管理表に試験実施表示設定し、手順書
管理ファイル９の手順書制御データと手順書の内容を手
順書ファイルに登録して、ステップＳ５０に進む。この
結果、新規試験、デグレード試験、問題修正確認の試験
を行うための手順書が登録される。この手順書は、試験
を行う度に、手順書が新たに作成され、修正確認待ちの
試験項目については、試験をしても意味がないので、手
順書が作成されない。さらに、正常終了して他の試験項
目に問題処理がされた場合でも、正常終了した試験項目
についてデグレード試験をしたくない（例えば、とりあ
えず全ての試験項目について試験を終わられて、その後
デグレード試験を行いたい場合など）ときは、起動オプ
ションでデグレード未実施とすれば、正常終了した試験
項目については手順書が作成されず、試験が実施されな
い。ステップＳ５０において、次の小項目を示すべく小
項目番号をカウントアップして、ステップＳ５１に進
む。ステップＳ５１において、中項目単位の小項目全て
が終了したか判定して、終了していなければ、中項目の
残りの小項目の設定をするべくステップＳ４２に戻る。

【００２２】ステップＳ５２において、次の中項目を示
すべく中項目番号をカウントアップする。ステップＳ５
３において、大項目単位の中項目全てが終了したか判定
して、終了していなければ、大項目の残りの中項目につ
いて設定をするべくステップＳ４２に戻る。ステップＳ
５４において、次の大項目を示すべく大項目番号をカウ
ントアップして、ステップＳ５５に進む。ステップＳ５
５において、全大項目終了したか否かを判定して、終了
していなければ、次の大項目について設定をするべくス
テップＳ４２に戻る。以上のステップＳ４１〜Ｓ５５に
よって、試験項目管理ファイル８の大項目／中項目／小
項目について、番号の若いものから順に、小項目表の試
験実施表示に試験実施日、試験完了日、起動パラメータ
のデグレード試験実施、問題処理ファイル１０の管理表
にしたがって、試験実施表示に新規試験、デグレード試
験、修正確認の表示が設定され、試験ができる新規試
験、デグレード試験、修正確認試験の場合は、手順書が
手順書ファイル１１に登録されて、各小項目の試験が実
施されることになる。

【００２３】以上の（ａ）〜（ｃ）の処理によって、試
験を行う準備ができたことになる。 （ｄ） 試験実施 図１１に示す通信ソフトウェア本体を用いた試験につい
て説明する。自動試験ツール４は、手順書ファイル１１
の手順書の試験制御データを基に、始めにＩＣＥの手順
書にしたがってＩＣＥ２２に対する制御コマンドを送受
信及び送受信の内容を試験ログファイル１２に順次出力
し、次にコンソール２４の手順書にしたがって、運用・
保守コマンドの送受信および送受信の内容を試験ログフ
ァイル１２に順次出力する。そして、擬似呼手順書に従
い、擬似呼に対して、手順書の転送、擬似呼の起動、擬
似呼と通信システム２１の信号の送受信データの送受信
と送受信の内容を試験ログファイル１２に順次出力の順
番で実行して試験を行っていく。次に、図１２に示すワ
ークステーションによるシミュレーション試験について
説明する。自動試験ツール４は、手順書ファイル１１の
手順書の試験制御データを基に、始めにシミュレーショ
ンデバッガ３２の手順書にしたがってシミュレーション
デバッガ３２に対する制御コマンドを送受信及び送受信
の内容を試験ログファイル１２に順次出力し、次に擬似
コンソールプログラム３４の手順書にしたがって、運用
・保守コマンドの送受信および送受信の内容を試験ログ
ファイル１２に順次出力する。

【００２４】そして、信号装置シミュレータ手順書に従
い、信号装置シミュレータ３３に対して、手順書の転
送、信号装置シミュレータ３３の起動、信号装置シミュ
レータ３３と通信システムプログラム３１の信号の送受
信データの送受信と送受信の内容を試験ログファイル１
２に順次出力の順番で実行して試験を行っていく。そし
て、自動試験ツール４は、受信データにより手順書動作
中の正常ルート通過・手順書の異常ルート通過・異常終
了表示などの問題発生を検出し、データ収集後、次の試
験に制御を移して、手順書ファイル１１の試験表に登録
された試験の数だけ試験を繰り返す。

【００２５】（ｆ） 試験結果解析 ステップＳ２５において、試験結果解析として試験結果
照合ツール５は、図１３に示すフローに従って、あらか
じめ試験項目管理ファイル８に登録してある正解データ
と試験ログファイル１２の照合を行う。以下、図１３に
従って詳細に説明する。ステップＳ６１において、試験
ログファイル１２から試験項目番号をサーチして、ステ
ップＳ６２において、試験項目番号があるか否かを判定
して、試験番号があれば、その試験番号の試験結果の解
析をするべくステップＳ６２に進み、試験項目番号がな
ければ、終了する。ステップＳ６２において、試験ログ
ファイル１２中の対応する試験項目番号の試験情報から
試験途中で異常終了しているか否かを判定して、異常終
了していなければ、ステップＳ６４に進み、異常終了し
ていれば、ステップＳ６５に進む。ステップＳ６４にお
いて、試験途中で手順書の異常ルート通過（例えば、伝
送データが貰えないような場合などで、異常ルート通過
となる条件が手順書に設定されている）かを判定して、
異常ルート通過していなければ、ステップＳ６６に進
み、異常ルート通過していれば、ステップＳ６７に進
む。

【００２６】ステップＳ６５において、試験結果ファイ
ル１３の試験項目番号に対応する試験結果の項目に異常
終了を設定し、補助情報項目に異常終了情報と異常終了
発生時の試験ログファイル１２中の対応するログへのポ
インタを設定して、ステップＳ７２に進む。ステップＳ
６６において、試験項目番号に対応した試験管理ファイ
ル８に正解データが登録済みであるか否かを判定して、
正解データが登録済みであれば、ステップＳ６８に進
み、登録済みでなければ、ステップＳ６９に進む。ステ
ップＳ６７において、その試験項目が異常ルート通過し
ているので、試験結果ファイル１３の試験結果に手順書
の異常ルート通過設定して、異常ルート通過時の試験ロ
グファイル１２中の対応するログへのポインタを設定し
て、ステップＳ７２に進む。ステップＳ６８において、
登録されている正解データと試験ログファイル１２のロ
グ情報の項目と照合して、不一致なしか否かを判定し
て、不一致なしと判定されれば、ステップＳ７０に進
み、不一致するところがあれば、ステップＳ７１に進
む。但し、例えば、特定のデータ、例えば、ＰＢＸ等て
回線をグループ化しておき、グループの順に回線を接続
してゆくようなローテーション等で選択されるようなデ
ータは、そのグループがあっていれば正常と見なす。

【００２７】ステップＳ６９において、正解データが登
録されていないので、試験結果ファイル１３の試験結果
の項目に照合不可を設定し、補助情報の項目に試験項目
に対応したログ情報へのポインタを設定して、ステップ
Ｓ７２に進む。ステップＳ７０において、試験結果ファ
イル１３中の試験結果の項目に試験結果正常と設定し
て、ステップＳ７２に進む。ステップＳ７１において、
試験結果ファイル１３中の試験結果の項目に正解データ
と不一致と設定して、補助情報の項目に不一致箇所への
試験項目に対応したログ情報へのポインタと比較リスト
（不一致数だけ繰り返し）を設定して、ステップＳ７２
に進む。ステップＳ７２において、試験結果ファイル１
３に試験項目番号、試験担当グルーブ名、試験担当者、
試験結果、補助情報があれば、補助情報設定して、ステ
ップＳ６２に戻って、次の試験項目をサーチして、その
試験項目の試験結果を試験結果ファイル１３に出力す
る。以上のステップＳ６１〜Ｓ７２により、各試験項目
について、試験ログファイル１２中の試験情報とログ情
報から、正常ルート通過・手順書の異常ルート通過・異
常終了であるかを判断して、その試験結果及び補助情報
を試験結果ログファイル１２に書き込まれて、試験結果
ログファイルが作成されることになる。

【００２８】（ｇ） 試験結果報告 試験結果解析後、図１中のステップＳ２６において、レ
ポート作成ツール６は、試験結果ファイル１３を基に、
試験項目管理ファイル８、問題処理ファイル１０、及び
試験報告リスト１４について、次の処理を行う。 ・試験項目管理ファイル８は、試験項目番号単位に正常
項目については、小項目表の試験完了年月日の設定、試
験異常時は発生問題数の更新（加算して累計）と問題処
理番号表に次の問題処理管理ファイル１０で登録した問
題番号の設定を行う。そして、小項目表に設定された試
験実施表示が新規試験の場合は、試験開始年月日の設定
と試験異常時は、次の問題処理ファイル１０で登録した
その試験項目番号に対して作成される問題番号を問題番
号表に設定し、関連問題番号表へのポインタを設定す
る。

【００２９】・問題処理管理ファイル１０は、試験異常
時に問題管理表の問題数の更新と、更新した問題数を問
題番号として、問題処理データに問題内容、問題発生年
月日、問題処理登録者名、関連試験番号表を作成し、試
験番号表へのポインタの設定とと関連試験番号表に試験
項目番号を設定する。これによって、問題試験番号表か
ら試験項目管理ファイル８中の小項目への対応がとれ
る。 ・試験報告リスト１４は、見出しとして試験開始日、試
験終了日、確認ファイル名、手順書ファイル名、及び試
験結果ファイル名を印刷し、以下、新規試験結果一覧、
デグレード試験結果一覧、修正確認結果一覧、試験結果
確認待ち一覧の順に印刷する。これによって、新規試
験、デグレード試験、修正確認試験、及びこれら以外の
修正確認待ちなどの試験項目がどの幾つあるかが分か
り、試験の進捗を把握することができる。

【００３０】（ｈ） 試験確認・問題登録 ステップＳ２７において、人手作業により試験結果リス
ト１４を基に、試験結果確認待ち項目については、試験
結果ファイル１３の内容を目視等により正常・異常を判
定して、試験項目管理ツール１により試験項目管理ファ
イル８の更新（例えば、正常と判断されれば、試験完了
年月日など、異常であると判断されると問題処理番号表
の更新など）と、問題処理管理ツール１０により問題処
理管理ファイル１０の更新（例えば、正常と判断されれ
ば処理状況修正済みなど）する。さらに、試験異常項目
については、試験項目番号単位に問題処理管理ツール７
により問題管理ファイル１０の問題内容の詳細化と問題
処理対象処理名の設定を行う。

【００３１】（ｉ） 問題処理 ステップＳ２８において、問題処理管理ファイル１０に
登録された問題処理対象処理名の担当者が試験結果ファ
イル１３と試験結果ログファイル１２から問題内容の解
析を行い、情報が不十分な場合は再試験により必要情報
の収集により問題内容の解析を行う。問題が判明した場
合は、プログラムの修正（その単体試験を行う）と問題
処理管理ツール７により、問題処理管理ファイル１０の
問題管理表の解析内容、問題処理解析者名、処理状況に
修正済みを設定する。問題が他の処理であれば、問題処
理管理ツール７により問題処理管理ファイル１０の問題
処理対象処理名を変更する。問題内容が試験手順などの
誤りで発生した場合は、試験項目ではなく手順書に問題
があるので、手順書を修正して再度試験を行う必要があ
るので、問題管理ファイル１０の問題管理表の処理状況
に没を設定する。このように問題が発生すると、発生し
た問題点の処理状況が設定され、その処理状況が、試験
管理ファイル８の小項目の問題処理番号表によりリンク
して、試験選択する際に問題処理状況が参照されて、問
題処理状況に応じて、手順書が作成、あるいは作成され
ないことになる。 （ｊ） ファイル更新 ステップＳ３０において、問題処理等によりプログラム
の修正を行って単体テスト等を行い、ステップＳ２２に
戻る。そして、問題修正を行った試験項目に対して、修
正確認試験やデグレード試験を行うべく、新たに、手順
書ファイル１１が作成されて、試験実施されることにな
る。

【００３２】（ｌ） 全試験項目終了判定 ステップＳ３１において、試験項目管理ファイル８の小
項目の中で実装表示の無いものや試験実施不能のものが
あるかを判定して、あれば、ステップＳ２１に戻り、無
ければ全試験項目終了したものと判断して、試験を終了
する。以上説明したように、本実施形態によれば、通信
ソフトウェアの試験作業の試験項目選定から試験結果報
告までの一連作業について、人手を介在することなく自
動的に作業を行うことができるようになり、従来までの
試験実施から試験結果解析までの自動作業に比べて、試
験作業効果を大幅に高めることができる。試験項目選定
については、試験項目選定ツール３により試験可能項目
の選定作業をデグレード試験の実施／未実施を含めて自
動選定と自動試験ツール４の入力となる手順書ファイル
１１の自動生成を行うことで効率良く試験項目の選定が
できる。試験結果報告については、報告リスト１４によ
る試験結果の報告書作成の他、試験進捗と問題処理につ
いて試験項目管理ファイルと問題処理管理ファイルの自
動更新をすることで作業の短縮することができる。

【００３３】

【発明の効果】以上詳細に説明したように、第１〜第３
の発明によれば、通信ソフトウェアの試験作業の試験項
目選定から試験結果報告までの一連作業について、人手
を介在することなく自動的に作業を行うことができるよ
うになり、従来までの試験実施から試験結果解析までの
自動作業に比べて、試験作業効果を大幅に高めることが
できる。

【図面の簡単な説明】

【図１】本発明の実施形態の通信ソフトウェア試験制御
方法を示す図である。

【図２】従来の通信ソフトウェア試験制御方法を示す図
である。

【図３】試験項目管理ファイルの構成図である。

【図４】手順書管理ファイルの構成図である。

【図５】問題処理管理ファイルの構成図である。

【図６】手順書ファイルの構成図である。

【図７】試験結果ログファイルの内容を示す図である。

【図８】試験結果ファイルの内容を示す図である。

【図９】試験報告リストの内容を示す図である。

【図１０】試験項目選定フローを示すフローチャートで
ある。

【図１１】通信システム本体を用いた試験形態を示す図
である。

【図１２】ワークステーションによるシミュレーション
試験形態を示す図である。

【図１３】試験結果照合フローを示すフローチャートで
ある。

【符号の説明】

１ 試験管理ツール ２ 手順書作成ツール ３ 試験項目選定ツー
ル ４ 自動試験ツール ５ 試験結果照合ツー
ル ６ レポートツール ７ 問題処理管理ツー
ル ８ 試験項目管理ファ
イル ９ 手順書管理ファイ
ル １０ 問題処理管理ファ
イル １１ 手順書ファイル １２ 試験ログファイル １３ 試験結果ファイル １４ 試験報告リスト

Claims (3)

【特許請求の範囲】
1. 【請求項１】 全ての試験項目について、各試験項目の
   試験実施が出来るか否かの情報と、その試験項目の進捗
   を示す試験実施状態を表す情報と、その試験を実施した
   際に発生すると与えられる問題処理番号とその問題の内
   容とその問題の処理状況とを示す情報を格納した問題処
   理管理ファイルとリンクするためにその試験の前記問題
   処理番号とを格納するための試験項目管理ファイルを作
   成する試験項目管理処理と、 前記全試験項目の試験の手順を記述する情報を格納する
   ための手順書管理ファイルを作成する手順書管理ファイ
   ル作成処理と、 前記試験項目管理ファイルの各試験項目について、その
   試験項目の前記試験実施ができるか否かの情報と、前記
   試験実施状態と、その試験項目の試験で発生した問題番
   号が示す前記問題処理管理ファイルに格納される処理状
   況とに基づいて、試験実施しても良いか否かを判別し
   て、試験実施しても良い試験項目について、前記手順書
   管理ファイルからその試験項目の手順書の内容を手順書
   ファイルに登録する試験項目選定処理と、 前記手順書ファイルの前記試験項目の手順書に従って、
   前記試験項目の試験を行う自動試験して、試験項目の試
   験ログファイルを作成する試験ログファイル作成処理と
   を、 実行することを特徴とする通信ソフトウェアの試験制御
   方法。
2. 【請求項２】 前記試験項目管理ファイルの前記試験項
   目の情報にその試験の正解データを持たせておき、前記
   試験ログファイルとその試験の正解データとを照合し
   て、試験結果が正常・異常のいずれかを示す試験結果フ
   ァイルを作成する試験結果照合処理と、 前記試験結果ファイルに基づいて、試験異常時に問題の
   発生した試験項目に問題番号を付与してその問題の内容
   とその試験項目番号とを前記問題管理ファイルに格納
   し、前記試験管理項目ファイルの試験項目の情報として
   その問題番号を格納して、正常に終了したものについて
   は前記試験管理項目ファイルの試験項目の情報としてそ
   の試験が正常終了したことを表す情報を格納し、正常終
   了した試験項目と異常終了した試験項目に分類して、試
   験報告リストを作成するレポート作成処理とを、 実行することを特徴とする請求項１記載の通信ソフトウ
   ェアの試験制御方法。
3. 【請求項３】 前記試験項目管理処理は、 前記試験実施状態をこれから初めて試験を行う新規試験
   か異常終了したがその問題対処済みでその確認をする修
   正確認試験か問題処理が行われてそれによりデグレード
   したかを確認する場合のデグレード試験かのいずれかで
   表し、 前記レポート作成処理は、 前記新規試験、前記修正確認試験、前記デグレード試
   験、及びこれら以外のものに前記試験項目管理ファイル
   に登録されている全ての試験項目を分類して、前記試験
   報告リストを作成する構成にした、 ことを特徴とする請求項２記載の通信ソフトウェアの試
   験制御方法。