JPH0399228A - テスト網羅度評価方法ならびに装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【発明の目的］ （産業上の利用分野） 本発明は、テスト対象製品が仕様通り動作しているかを
検証するシステムに関し、特にテスト対象製品に対し実
行されるテストのテストカバレッジ（網羅度）を測定す
るテスト網羅度評価方式に関する。

（従来の技術） 従来、テスト対象製品に対し実行されるテストにおける
テスト十分性の評価基準は、その製品毎の検査項目に対
する検査済み項目の割合であった。このような評価基準
を用いると、系統的に検査項目を作成することが非常に
困難であったり、その作成された検査項目が十分である
かどうかを正確に把握することができなかった。また、
その検査項目を作成するのに多大の労力を必要とするた
め、既存の製品に新しい機能が追加されているだけの同
一系列の製品や、同一の機能を有するが実現方式が異な
る製品に対しては、既存の製品に対する検査項目を再利
用していた。このため、しばしばテストすべき検査項目
が欠如していた。特に、製品に通常の操作ではありえな
い異常な操作を加えた時の処理をテストするための検査
項目が欠如している場合が多い。このような異常な操作
を加えた時に製品の動作は、通常の製品の動作と異なっ
てテストされる回数が少ないため、製品にそのような欠
陥があってもテスト工程で発見されることは少なく、そ
の製品が出荷されてから初めて発見されることが多かっ
た。

（発明が解決しようとする課題） しかしながら、上記した従来のテスト十分性の評価方式
では、まず、テスト対象製品の検査項目を作威しなけれ
ばならないが、抜けのない検査項目を作成するためには
、検査項目作成者がその製品に関する一般的な知識のほ
かに、製品の実現に関する詳細な知識を有していなけれ
ばならず、誰にでも検査項目を作成できるというもので
もない。

また、製品の欠陥は製品の複数の機能を同時に使ったと
きに現れることが多いという経験則から、検査項目はそ
のテスト対象製品の単独の機能をテストするだけでなく
、それらの機能の組合わせもテストするものでなければ
十分な検査項目とはいえない。しかしながら、すべての
機能の組合わせをテストするには、検査項目が非常に多
くなりすぎて、有限時間内では消化できないことがある
。

そのため、多くの組合わせテストは省略されて、テスト
実施期間中に消化できるぐらいの検査項目が作成されて
いる。

このようにして検査項目を作成しているため、人為的な
ミスによるテスト項目の抜けや、相応な時間内で消化し
なければならないという制約によるテスト項目の抜けの
可能性が存在している。特に後者の問題のために、従来
の検査項目の作成には検査項目作成者の経験が要求され
ていたが、このような経験に頼る方法では製品の品質を
定量的に把握することができないので、新しい機能を追
加した製品や実現方式の異なる製品の場合には、製品の
欠陥の発見が遅れることがあった。このような欠陥の多
くは、テスト実施期間中にテストされる機会の少ない製
品の異常処理に関するようなものである。このような欠
陥は、発見する時期が遅れれば遅れるほどコストが高く
なるので、異常処理に関するところが十分にテストされ
たかどうかを評価する方法が望まれている。

さらに、実際の製品では誤差（例えば、サンプリング誤
差、あるいはハードウエアの誤差等）が存在するために
、論理的には唯一つの状況であっても、現実には複数の
状況を引起こすことがある。

つまり、このような製品の誤差により製品の動作がクリ
ティ力ルなところも十分にテストされたかどうかを評価
する方法も必要とされている。

本発明は、上記事情に鑑みてなされたもので、有限状態
機械モデルに基づいて表現された製品の設計仕様に対し
て、製品の正常処理と異常処理の両者が十分にテストさ
れたかどうかを明確に示すとともに、その状態で起こり
得る状況の数を反映したテスト十分性の評価基準となる
テスト力バレッジ（網羅度）を計測し、製品の品質の定
量的な尺度を提示するテスト網羅度評価方式を提供する
ことを目的とする。

［発明の構成］ （課題を解決するための手段と作用） 本発明は、上記目的を達成するために、製品に要求され
ている仕様を有限状態機械モデルに基づいて表現する仕
様作成手段と、この仕様作成手段で作成された仕様にお
ける状態および状態遷移に識別番号を付与する番号付与
手段と、上記状態および状態遷移が製品における正常動
作か異常動作かに応じて上記状態および状態遷移に重み
付けを行なう重み付け手段と、上記有限状態機械モデル
に基づいて表現された仕様に対し製品が正しく動作する
か否かを検証する検査手段と、この検査手段において実
行された上記状態および状態遷移をこの状態および状態
遷移に付与された識別番号に基づいて計測する網羅度計
測手段と、この網羅度計測手段で計測された網羅度を上
記重み付けに基づいて評価することにより上記製品検査
手段において実行された検査の十分性を評価する十分性
評価手段とを具備した構成としたので、テスト対象製品
が有する使用可能な機能の組合わせが有限状態機械モデ
ルにおける状態によって表現されることにより、テスト
対象製品の初期状態から最終状態に到達可能な全ての経
路を全ての検査項目として把握し、かつ、テスト対象製
品の検査項目をどの程度実施したかを定量的に把握する
ことができる。従って、製品の品質に対する種々の客観
的なテスト十分性を評価することができる。

（実施例） 以下、本発明の一実施例を図面を参照して説明する。

第１図は、本発明の一実施例に係るテストシステムの構
成を示す構成図である。

同図において、テスト対象製品ｌに要求されている仕様
は、仕様作成部２において有限状態機械モデルに基づい
た記述で作成される。ここで、有限状態機械モデルとは
、有限個の状態集合と、各入力信号（イベント）が引起
こす状態遷移の集合を用いて表現され、一つの状態か゛
らーつのイベントにより遷移する先はただ一つの状態（
前と同じ状態であってもよい）であるものをいい、イベ
ントの発生に対する状態遷移時になんらかのアクション
（入力信号に対する動作）が引起こされる。

例えば、第２図は冷蔵庫をテスト対象製品としたときの
冷蔵庫に要求されている仕様の一例を有限状態機械モデ
ルに基づいて記述した例を示すものであるが、同図にお
いて、「状態０」で「電源がＯＮになった」というイベ
ントが発生したとき、「コンブレッサをＯＮにする」と
いうアクションを起こして、「状態１」に遷移するとい
うことを表現している。このとき、テスト対象製品が有
する使用可能な機能の組合わせ（単独機能を含む）が有
限状態機械モデルにおける「状態」によって表現される
。従って、テスト対象製品の初期状態から最終状態に到
達可能な全ての経路が考えられ得る全ての検査項目にな
る。これらの経路は、正常処理動作と異常処理動作から
構成されている。

仕様作成部２において有限状態機械モデルに基づいて表
現された製品の仕様に対して、番号付与部３において、
その状態および状態遷移に他と区別するための識別番号
が付与される。例えば、第２図において、「状態０」に
「１」、「状態１」に「２」、・・・　「状態０から状
態１への状態遷移」に「６」、「状態１から状Ｂ２への
状態遷移」に「７」、・・・と識別番号が付与される。

状態および状態遷移に対し識別番号が付与されると、続
いて、重み付け部４により、状態および状態遷移に対し
て重み付けが行われる。すなわち、状態および状態遷移
が、正常処理動作を構威するのか、あるいは異常処理動
作を構成するのかを識別し、その識別結果に基づいて性
質の異なる重みを付ける。例えば、第２図に示した仕様
の記述例を分解し、正常処理動作の記述例を示したのが
第３図であり、異常処理動作の記述例を示したものが第
４図である。通常の冷蔵庫の動作では、室内温度がＴα
より高くなる前に、コンプレッサ保護タイマーがｔΔに
なることはないので、第４図は記述例は異常処理動作を
示すものである。第４図のような経路を通過する場合に
は、冷蔵庫のドアを開けたままにしておいたときのよう
な特殊な状況のときだけであり、テスト実施時にテスト
される機会は少ない。そこで、第３図に示す正常処理動
作を構成する状態と状態遷移に対しては正の重み付けを
行ない、第４図に示す異常処理動作を構成する状態と状
態遷移に対しては負の重み付けを行なう。

さらに、実際の製品では、温度センサ等の測定誤差が存
在するために、論理的には唯一の状況しか存在しなくて
も現実には複数の状況が起こり得る。このため、ある状
況において起こり得る状況の数を考慮した重み付けを行
なう。例えば、第２図において、「室内温度くＴγ」と
いうイベントがあり、状態１では論理的には状態４への
バスを考えればよいのであるが、室内温度を測定する温
度センサの性能から±Δの誤差が存在するときには、第
５図に示す温度範囲Ａ，Ｂ，Ｃの３つの状況に対して、
状態１から状態４へのパスをテストする必要がある。ま
た、第２図の仕様記述例には示していないが、冷蔵庫の
動作としては、「一気冷凍ボタンオン」と「除霜ボタン
オン」という２つのイベントが同時に起こる可能性があ
る。このような場合には、一気冷凍ボタンのみが押され
た場合と、除霜ボタンのみが押された場合と、一気冷凍
ボタンと除霜ボタンが同時に押された場合の３種類の状
況をテストする必要がある。そこで、その状態において
起こり得る状況の数を分母として、その全ての状況がテ
ストされたときに、“１ｍになるように重み付けを、状
態に対して行なう。

次に、第４図に示す異常処理動作の記述例に重み付けを
行なう例について説明する。第３図に示す正常処理動作
と共通に存在する状態および状態遷移には正の重み付け
を、また、異常処理動作にのみ存在する状態および状態
遷移には負の重み付けを行なう。例えば、「状態Ｏ」に
は“１”を、「状態１」と「状態４」には温度センサの
測定誤差にる３つの状況を考慮しそれぞれ“１／３．　
　１／３．１／３“を、また、「状態２」には“−１”
を重み付ける。さらに、「状態０」から「状態１」への
状態遷移と・「状態１」から「状態４」状態遷移には“
１゛を、また、「状態４」から「状態２」への状態遷移
と「状態２」から「状態１」状態遷移には“−１＃をそ
れぞれ重み付ける。

上記のように番号付与部３で識別番号が付与され、さら
に、重み付け部４で重み付けられた有限状態機械モデル
に基づいて表現された製品の仕様は、仕様データファイ
ル５にテーデル形式で、例えば各種事象名、発生モード
、許容誤差等からなるイベントデータ、アクションデー
タ、および状態遷移データとして収納される。

一方、本システムは、゛第１図に示すように、検査装置
６とテスト対象製品１からなるものであり、テスト対象
製品ｌとしての冷蔵庫は、冷凍室の温度を測定するセン
サー７の測定温度に基づいて、冷蔵庫制御部８が図示し
ないコンブレツサを駆動するモータ９の回転制御を行な
う。テスト対象製品１から検査装置６へは、電源ＳＷＩ
Ｏの信号、センサー７で測定された温度データ、モータ
９の回転データ、および冷蔵庫制御部８内の図示しない
タイマの信号が冷蔵庫の動作を示す検出信号として出力
される。

検出信号は検査装置Ｂにおける信号入力部ｔ１に入力さ
れ、この信号人力部■に人力された検出信号から有限状
態機械モデルに基づいてイベントがイベント抽出部ｌ２
により、また、アクションがアクション抽出部ｌ３によ
り、それぞれ抽出される。

これらイベント抽出部１２とアクション抽出部ｌ３｛；
おいて抽出されたデータは、仕様データファイル５に収
納されている仕様に基づいてテスト対象製品ｌの状態を
管理するオートマトン１４に従って、検証部ｌ５におい
て期待情報としての仕様と照合することにより検証され
る。検証部１５における検証結果は、オートマトンｌ４
を介して表示部ｌ６とレポート部ｌ７にそれぞれ出力さ
れ、ＣＲＴディスプレイｌ８に表示されるとともにレポ
ートファイル１９に保存される。

また、検証部ｌ５における検証データは、網羅度計測部
２０に送られ、網羅度計測部２０では、番号付与部３で
「状態」と「状態遷移」に付与された識別番号単位に、
正常処理動作を構成する「状態」と「状態遷移」が通過
したかあるいは何回通過したかと、異常処理動作を構成
する「状態」と「状態遷移」が通過したかあるいは何回
通過したかを計測する。同時に、「状態」において起こ
り得る状況の数についても計測する。このように、網羅
度計測部２０においては、テスト対象製品１の検査項目
をどの程度検査時に実行したかを定量的に把握する。

検査が終了すると、網羅度計測部２０において計測され
た「状態」と「状態遷移」の通過回数は、十分性評価部
２ｌに転送され、重み付け部４付けられた重み付けに基
づいて実行した検査の十分性が評価される。評価は十分
性評価部２ｌにプログラムされている次式 通過した状態数（状態遷移数）／通過すべき全状態数（
状態遷移数） に従って行われる。

ここで、上記第４図の仕様記述例に付けられた重み付け
を用いて十分性を評価することにする。簡単化のために
「状態」および「状態遷移」を通過した回数をそれぞれ
１回とすると、正常処理動作を構成する状態と状態遷移
に対する正常状態網羅度と正常状態遷移網羅度は、 （１＋１＋１）／３−１、（１＋１）／２−１となり、
また、異常処理動作を構成する状態と状態遷移に対する
異常状態網羅度と異常状態遷移網羅度は、 （−１）／１−−１、（−１−１）／２−−１となる。

評価の尺度としては、上記４種類の網羅度は１００％に
近い程良く、上記例の場合については、実行された検査
は抜けのない検査であると評価される。

このようにして十分性評価部２ｌで評価された評価結果
は、検証部ｌ５における検証結果と同様に表示部ｌ６と
レポート部ｌ７に出力され、ＣＲＴディスプレイ１８に
表示されるとともにレポートファイルｌ９に保存される
。

次に、上記構成のテストシステムの動作について説明す
る。

以下に説明する冷蔵庫は、次の仕様を有しているものと
する。

１．電源投入時は、必ずコンプレッサを運転する。

２．室内温度がＴγより低くなると、コンプレッサを停
止して、室内温度が上がるのを待つ。

３．室内温度がＴαより高くなると、コンプレッサを運
転して、室内温度を下げる。

４．いったんコンプレッサが停止すると、ｔΔは運転を
再開しない。

上記仕様を有限状態機械モデルに基づいて記述したのが
第２図であり、さらに第２図を正常処理動作と異常処理
動作に分解して記述したのが第３図および第４図である
。以下、第３図と第４図に従って冷蔵庫の動作を説明す
る。

正常処理動作（第３図）においては、まず、電源がオン
されるまで待機する状態０（初期状態）から、「イベン
ト二電源ＯＮＪと「アクション：コンプレッサ運転」の
対応をイベント抽出部１２およびアクション抽出部１３
で抽出されたイベントデ−タおよびアクションデータと
仕様データファイル５に収納されている期待情報とを検
証部ｌ５において照合することにより検証する。状態０
における対応がとれたことがオートマトンｌ４によって
確認されると、状態１に遷移する。このときの検証部ｌ
５の検証データは、網羅度計測部２０に転送され、状態
および状態遷移の通過回数が番号付与部３で付与された
識別番号単位に計測される。なお、上記検証部１５にお
ける検証および網羅度計測部２０における状態および状
態遷移の通過回数の計測は、以下の各状態においても同
様に行われる。

状態１では、「イベント二室内温度くＴγ」と「アクシ
ョン：コンプレッサ停止、コンプレッサ保護タイマ初期
化」の対応を、温度センサの検出誤差を考慮して取る。

対応が取れると状態４に遷移する。

状態４では、「イベント：保護タイマーｔΔ」が冷蔵庫
制御基板８に内蔵している保護タイマによって検出され
ると、状態３に遷移する。

状態３では、「イベント二室内温度〉Ｔα」と「アクシ
ョン：コンプレッサ運転」の対応を、上記状態１と同様
に温度センサの検出誤差を考慮して取り、状態１に遷移
する。以下、この動作を繰返す。

次に、異常処理動作（第４図）においては、状態Ｏから
状態４までは上記正常処理動作と同様であるが、状態４
において、冷蔵庫のドアが開けたままになっているとい
う異常な状況では、保護タイマーｔΔが検出される前に
、「イベント二室内温度〉Ｔα」が検出される。この「
室内温度〉Ｔα」が検出されると、状態２に遷移する。

状態２では、「イベント：保護タイマーｔΔ」と「アク
ション：コンブレッサ運転」の対応を取る。時間ｔΔ経
過後に、コンプレッサ運転再開の対応が取れると、状態
１に遷移する。冷蔵庫のドアが開いたままの状態であれ
ば、状態１から状態２の動作を繰返す。だが、途中で冷
蔵庫のドアが閉められると、正常処理動作のルーチンに
移行する。

上記した動作を実行し、全検査項目の検査が終了すると
、十分性評価部２ｌにおいて、重み付け部４でつけられ
た重み付けに基づいて網羅度計測部２０で計測された状
態および状態遷移の通過回数を通過状態の割合いを表す
次式 通過した状態数（状態遷移数）／通過すべき全状態数（
状態遷移数） で評価することによって、実行された検査の十分性が評
価され、評価結果が出力される。

テスト網羅度の評価尺度としては、次のようなものがあ
る。

Ｐｏ：状態網羅度　　　・・・全ての状態に対する通過
状態の割合 →状態網羅度が＋１００ ％に近い程良い ・・・全ての状態遷移に対 する通過状態遷移の 割合 一状態遷移網羅度が＋ １００％に近い程良い ：平均状態通過度　・・・通過状態に対する平Ｔｏ：状
態遷移網羅度 均通過回数 →平均状態通過度が 大きい程良い ：平均状態遷移通過度・・・通過状態遷移に対する平均
通過回数 一平均状態遷移通過 度が大きい程良い Ｐ１１：正常状態網羅度　　・・・全ての正常処理動作
を構成する状態 に対する通過状態 の割合 一正常状態網羅度が ＋１００％に近い程 良い Ｔ１１：正常状態遷移網羅度・・・全ての正常処理動作
を構成する状態 遷移に対する通過 状態遷移の割合 一正常状態遷移網羅 度が＋１００％に近 ？程良い ・・・全ての異常処理動 作を構成する状態 に対する通過状態 の割合 →異常状態網羅度が −１００％に近い程 良い Ｔ１■：異常状態遷移網羅度・・・全ての異常処理動作
を構成する状態 遷移に対する通過 状態遷移の割合 一異常状態遷移網羅 度が−１００％に近 い程良い ・・・正常状態網羅度と 異常状態網羅度の 総和 →総合状態網羅度が ０に近い程良い Ｐ１　：総合状態網羅度 Ｐ，２：異常状態網羅度 ？■　：総合状態遷移網羅度・・・正常状態遷移網羅度
と異常状態遷移 網羅度の総和 →総合状態遷移網羅 度が０に近い程良 い ・・・全ての正常処理動 作を構成する状態 において起こり得 る状況の数に対す る通過状況の数 一正常状況網羅度が ＋１００％に近い程 良い ・・・全ての異常処理動 作を構成する状態 において起こり得 る状況の数に対す る通過状況の数 一正常状況網羅度が Ｐ２２：異常状況網羅度 Ｐ２１：正常状況網羅度 −１００％に近い程 良い Ｐ２：全状況網羅度　　　・・・正常状況網羅度と異常
状況網羅度の 総和 一全状況網羅度が０ に近い程良い なお、本発明は上記実施例に限定されることなく種々変
形可能なことは勿論である。

［発明の効果］ 以上詳述したように、本発明のテスト網羅度評価方式に
よれば、テスト対象製品が有する使用可能な機能の組合
わせ（単独機能を含む）が有限状態機械モデルにおける
状態および状態遷移によって表現されることにより、テ
スト対象製品の初期状態から最終状態に到達可能な全て
の経路を全ての検査項目として把握することができ、ま
た、テスト対象製品の検査項目をどの程度実施したかを
定量的に把握することができる。従って、検査項目の抜
けをチェックすることができるとともに、製品の品質に
対する種々の客観的なテスト十分性を評価することがで
きる。

また、テスト工程の進捗状況を製品仕様に対して把握す
ることができるので、製品仕様に対して正確なテストカ
バレッジ（網羅度）を計測することができる。

さらに、製品の品質に対する種々の評価尺度を提供する
ことができる。

【図面の簡単な説明】

第１図は本発明の一実施例のテストシステムの構成を示
す図、第２図はテスト対象製品に要求されている使用の
一例を有限状態機械モデルに基づいて記述した状態遷移
図、第３図は第２図における正常処理動作を示す状態遷
移図、第４図は第２図における異常処理動作を示す状態
遷移図、第５図は検査の温度範囲を示す図である。 １・・・テスト対象製品（冷蔵庫）、 ２・・・仕様作成部（仕様作成手段）、３・・・番号付
与部（番号付与手段）、４・・・重み付け部（重み付け
手段）、６・・・検査装置（検査手段）、

Claims (1)

【特許請求の範囲】
1. 製品に要求されている仕様を有限状態機械モデルに基づ
   いて表現する仕様作成手段と、この仕様作成手段で作成
   された仕様における状態および状態遷移に識別番号を付
   与する番号付与手段と、上記状態および状態遷移が製品
   における正常動作か異常動作かに応じて上記状態および
   状態遷移に重み付けを行なう重み付け手段と、上記有限
   状態機械モデルに基づいて表現された仕様に対し製品が
   正しく動作するか否かを検証する検査手段と、この検査
   手段において実行された上記状態および状態遷移をこの
   状態および状態遷移に付与された識別番号に基づいて計
   測する網羅度計測手段と、この網羅度計測手段で計測さ
   れた網羅度を上記重み付けに基づいて評価することによ
   り上記製品検査手段において実行された検査の十分性を
   評価する十分性評価手段とを具備したことを特徴とする
   テスト網羅度評価方式。