JPH08202668A - 性能評価装置と評価方法 - Google Patents

Abstract

(57)【要約】 【目的】大規模、分散システムの上流工程（初期工程）
における性能評価が可能となる性能評価装置と評価方法
を提供する。 【構成】予めシステムの処理性，応答性に関するパラメ
ータをキーボードやマウス等で入力する入出力手段２
と、入力されたパラメータ、例えばプロセッサ、Ｉ／
Ｏ、パッケ−ジ毎に固有なパラメ−タを信頼性パラメ−
タテ−ブル５１に記憶する信頼性パラメ−タ記憶手段５
と、必要に応じてパラメ−タの登録・検索を行なう信頼
性パラメ−タ管理手段３と、パラメータを基にプロセッ
サ毎の定常時のＣＰＵ負荷率から処理性の評価を行なう
と共にシステムに要求される応答要求項目の応答性評価
を行なう性能評価手段４によって構成される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、計算機システムの設計
段階における性能評価装置と評価方法に関し、特に大規
模分散システムの制御システム開発に適用可能な性能評
価装置と評価方法に関するものである。

【０００２】

【従来の技術】従来の中央集中型計算機システムは、そ
れを構成するハ−ドやソフトパッケ−ジの種類が比較的
少なく、情報の流れも方向が単純で、システム設計時の
処理性や応答性の評価は、システム設計者による手計算
で可能であり、又ソフトウェア製作工程の最終段階にお
けるチュ−ニングもハ−ドウェア構成と同様にソフトウ
ェア構造の単純性によって比較的容易であった。

【０００３】しかし、近年、計算機システムの大規模
化、分散化の進展に伴いシステムを構成するハ−ドやソ
フトの種類も多くなり、情報の流れも複雑化し、システ
ム設計時の性能評価が層々困難になってきている。

【０００４】また、ソフトウェアシステムの大規模化、
複雑化にともなってソフトウェア製作工程の最終段階に
おける性能面の見直しは、対策項目を特定する困難さだ
けでなく、設計の大幅な後戻り作業を発生させる原因と
なってきている。

【０００５】これは単に、ソフトの見直しだけでなくハ
−ドの見直しが発生する場合もあり、システム設計・製
作業務において重大な問題となってきている。

【０００６】しかし、上流工程（初期工程）における効
果的な性能評価方法が提供されていないのが現状であ
る。

【０００７】

【発明が解決しようとする課題】上記、従来方法の基本
的な問題点は、信頼性パラメ−タの増大による性能面に
おける管理不備と、情報の流れの複雑化に伴う応答要求
項目の効果的な処理性、応答性の評価方法が提案されて
いないことである。

【０００８】本発明の目的は、大規模、分散システムの
上流工程（初期工程）における性能評価が可能となる性
能評価装置と評価方法を提供することである。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、複数のプロセッサを有する計算機システ
ムの処理性，応答性の性能を評価する性能評価装置にお
いて、予め前記計算機システムの処理性，応答性に関す
るパラメータを入力する入出力手段と、前記パラメータ
を信頼性パラメ−タテ−ブルに記憶する信頼性パラメ−
タ記憶手段と、前記パラメ−タの登録・検索を必要に応
じて行なう信頼性パラメ−タ管理手段と、前記パラメー
タを基に前記各プロセッサ毎の定常時のＣＰＵ負荷率か
ら前記処理性の評価を行なうと共に前記応答性の評価を
行なう性能評価手段を備えることを特徴とする。

【００１０】また、本発明の他の特徴は、複数のプロセ
ッサを有する計算機システムの処理性，応答性の性能を
評価する性能評価方法において、予め前記計算機システ
ムの処理性，応答性に関するパラメータを入力する入出
力ステップと、前記パラメータを信頼性パラメ−タテ−
ブルに記憶する信頼性パラメ−タ記憶ステップと、前記
パラメ−タの登録・検索を必要に応じて行なう信頼性パ
ラメ−タ管理ステップと、前記パラメータを基に前記各
プロセッサ毎の定常時のＣＰＵ負荷率から前記処理性の
評価を行なうと共に前記応答性の評価を行なう性能評価
ステップを備えることにある。

【００１１】

【作用】本発明によれば、入出力手段は、予めキーボー
ドやマウス等でシステムの処理性，応答性に関するパラ
メータを入力する。信頼性パラメ−タ記憶手段は、入力
されたパラメータ、例えばプロセッサ、Ｉ／Ｏ、パッケ
−ジ毎に固有なパラメ−タを記憶する。信頼性パラメ−
タ管理手段は、必要に応じて信頼性パラメ−タ記憶手段
に記憶されたパラメ−タの登録・検索を行なう。性能評
価手段は、パラメ−タを基にプロセッサ毎の定常時のＣ
ＰＵ負荷率から処理性の評価を行なうと共にシステムに
要求される応答要求項目の応答性評価を行なう。これに
より、大規模、分散システムの処理性であるプロセッサ
毎のＣＰＵ負荷率の評価と、応答性であるシステムに要
求される応答時間の評価が、システム設計時の上流工程
（初期工程）で可能となる。

【００１２】

【実施例】以下、本発明の一実施例に係る性能評価装置
と評価方法について説明する。

【００１３】図１は、本発明の一実施例に係る計算機シ
ステムの性能評価装置の機能構成を示す。

【００１４】性能評価装置１は、予めシステムの処理
性，応答性に関するパラメータをキーボードやマウス等
で入力する入出力手段２と、入力されたパラメータ、例
えばプロセッサ、Ｉ／Ｏ、パッケ−ジ毎に固有なパラメ
−タを信頼性パラメ−タテ−ブル５１に記憶する信頼性
パラメ−タ記憶手段５と、必要に応じてパラメ−タの登
録・検索を行なう信頼性パラメ−タ管理手段３と、パラ
メ−タを基にプロセッサ毎の定常時のＣＰＵ負荷率から
処理性の評価を行なうと共にシステムに要求される応答
要求項目の応答性評価を行なう性能評価手段４によって
構成される。

【００１５】図２は、図１の信頼性パラメ−タテ−ブル
５１のテ−ブル構成を示したものである。

【００１６】信頼性パラメ−タテ−ブル５１は、分散シ
ステムを構成するプロセッサ、Ｉ／Ｏ、パッケ−ジ毎に
該当の処理性応答性に関するパラメ−タ名称とパラメ−
タ値を記憶しており、例えばプロセッサ１Ｐ₁において
は、命令当たりの処理時間α₁、ステップ当たりの処理
時間β₁、ステップ当たりの命令数γ₁、ＯＳマクロ処理
時間のパラメ−タ値δ₁を記憶していることを示す。

【００１７】これらは必要に応じて、入出力手段２から
登録・検索が可能であるし、応答性評価手段４によって
自動的に参照される場合もある。

【００１８】図３は、システム設計時の処理性に関する
ＣＰＵ負荷率の一般的な定義を示すもので、処理１〜処
理５の処理のＣＰＵ負荷率Ｆは、下記の式で表される。

【００１９】 ＣＰＵ負荷率Ｆ＝｛（Ｈ_L−Ｈ_i）／Ｈ_L｝×１００ Ｈ_L：測定時間帯 Ｈ_i：設定時間帯のアイドル時間の総和 ここでＨ_Lを単位時間とすればＨ_iは該当単位時間帯のア
イドル時間の総和であり、アイドル時間とは、ＣＰＵが
ＯＳおよびユ−ザプログラムが実行していない時間を示
す。このＣＰＵ負荷率の値によりプロセッサ毎の処理性
を評価する。

【００２０】図４は、各プロセッサにおける、定常処理
の処理グル−プ毎のＣＰＵ負荷率の目標値の設定を示
す。プロセッサＰ₁からＰ_S毎に、ＣＰＵ負荷率を定常処
理と非定常処理に分け、定常処理の処理グル−プ１，
２，３毎のＣＰＵ負荷率の目標値Ｍ¹ ₁，Ｍ¹ ₂，Ｍ¹ ₃の設
定と定常処理全体の目標値の総和Ｍ^l _tを設定する。

【００２１】図５は、分散システムの応答要求項目に対
する応答時間の目標値Ｔの設定を示す。プロセッサ毎で
はなく、分散システムに要求される応答要求項目を各々
洗い出し、それらの応答時間の目標値Ｔを設定し、応答
時間の計算値Ｋと比較してそれらの応答時間の評価をす
るものである。例えば項目１において応答時間の目標値
Ｔが応答時間の計算値Ｋより大きいか或いは同じの場合
にはＣＰＵ負荷率は０％になる。応答要求項目に対する
応答時間とは、ユーザ要求による入力に対する画面表示
までの時間、および設備，装置固有の要求時間等のこと
である。

【００２２】図４のＣＰＵ負荷率の目標値の設定と、図
５の応答時間の目標値を予め設定することにより、シス
テム設計の上流工程（初期工程）で性能面の評価をする
ことができる。

【００２３】図６は、定常処理の処理グループ毎のＣＰ
Ｕ負荷率目標値とＣＰＵ負荷率計算値との関係を示す。
また、図７は、図６の処理グループ内の各処理のＣＰＵ
負荷率計算値を示す。すなわち、図６の第１レベルのプ
ロセッサ毎に定常処理の処理グル−プ毎のＣＰＵ負荷率
目標値Ｍに対し、図７の第２レベルの該当処理グル−プ
に含まれる各処理毎の起動頻度ｎ、実行ステップ数ｓ、
ＯＳマクロ発行回数ｍによって、ＣＰＵ負荷率ｆを計算
し、それらすべてを合計することによって、処理グル−
プ毎のＣＰＵ負荷率計算値Ｆを求め、ＣＰＵ負荷率目標
値Ｍと比較して自動的に評価することを示すものであ
る。また、起動頻度ｎ、実行ステップｓ、ＯＳマクロ発
行回数ｍ以外の、他のＣＰＵ負荷消費項目を加えてＣＰ
Ｕ負荷率ｆを計算し、それらを合計するケースもある。
このときの起動頻度ｎや実行ステップｓ等を、定常処理
のピ−ク時とピ−ク以外のケ−ス等に分けることによっ
て、各ケ−スの評価も可能である。

【００２４】ここで、図６のように、処理グル−プ２の
目標値Ｍと計算値Ｆの比較結果が Ｍ^l ₂≧Ｆ^l ₂ のとき、評価結果は計算値Ｆが目標値Ｍ以内であったこ
とを示し、結果はＯＫである。

【００２５】また、処理グループ２の処理１から処理ｕ
のＣＰＵ負荷率ｆは、図７のとおりであり、このとき図
２の信頼性パラメ−タテ−ブル５１のプロセッサ１Ｐ₁
のステップ当たりの処理時間β₁とＯＳマクロ処理時間
δ₁が自動的に参照され計算される。それらの合計が処
理グル−プ２の計算値Ｆ¹ ₂となり、処理グル−プ毎の目
標値と比較するようにしたものである。

【００２６】さらに、図６の処理グル−プ１〜ｑの合計
は、定常処理のＣＰＵ負荷率計算値の合計Ｆ¹ _tとなり、
目標値の合計Ｍ¹ _tとの比較により、定常処理のＣＰＵ負
荷率全体の評価も可能となる。ここでｔはｔｏｔａｌを
示し、１はプロセッサ１Ｐ₁を示している。

【００２７】また、図６、図７に示すように、分散シス
テムを構成するプロセッサの処理を第２レベル迄トップ
ダウンにグル−プ分けし、処理グル−プ毎の目標値によ
りＣＰＵ負荷率の評価ができ、例えば、図１の、処理グ
ル−プ１はＯＳで、処理グル−プ２は共通的なプラット
フォ−ムや通信処理で、処理グル−プ３はアプリケ−シ
ョンの場合であれば、処理グル−プ３については、第３
レベル迄グル−プ分けして評価することも可能である。

【００２８】また、処理がＩ／Ｏと入出力する場合や、
ソフトパッケ−ジを使用する場合にも、処理に対する負
荷率の計算式を変更することにより対応可能である。

【００２９】また、ある処理グル−プのある１つの処理
についてのＣＰＵ負荷率を処理グル−プの目標値より決
定し、実行ステップを逆算することも可能であり、処理
グル−プのＣＰＵ負荷率目標値を達成する為に該当処理
の実行ステップを何ステップ以内に設計しなければいけ
ないかといった設計ガイドも可能となる。

【００３０】図８は、性能評価手段の処理のフロ−チャ
ートを示す。

【００３１】以下、処理手順に従って説明する。

【００３２】ステップＳ００５；プロセッサＰ＝１〜ｓ
について処理を繰り返えす。

【００３３】ステップＳ０１０；処理グループｊ＝１〜
ｑについて処理を繰り返えす。

【００３４】ステップＳ０１５；処理グループ内処理ｉ
＝１〜ｕについて処理を繰り返えす。

【００３５】ステップＳ０２０；処理ｉに対するｃｐｕ
負荷率を算出する。（ｆ_i） ｆ_i＝ｎ_i＊（ｓ_i＊β₁＋ｍ_i＊δ₁） ここで、ｎ_i；処理ｉの起動頻度 ｓ_i；処理ｉの実行ステップ ｍ_i；処理ｉのＯＳマクロ発行回数 β₁；ステップ当り処理時間 δ₁；ＯＳマクロ処理時間 ステップＳ０２５；該当処理ｉのｃｐｕ負荷率を加算す
る。

【００３６】Ｆ^P _j＝Ｆ^P _j＋ｆ_i（但し、ｉ＝ｕ） ステップＳ０３０；該当処理グループｊのｃｐｕ負荷率
（Ｆ^P _j）を加算する。

【００３７】Ｆ^P _t＝Ｆ^P _t＋Ｆ^P _j（但し、ｊ＝１…ｑ） ステップＳ０３５；該当プロセッサに対する該当処理グ
ループｊのｃｐｕ負荷率目標値（Ｍ^P _j）とｃｐｕ負荷率
計算値（Ｆ^P _j）を比較する。

【００３８】（１）Ｍ^P _j≧Ｆ^P _j ⇒ 評価ＯＫ （２）Ｍ^P _j＜Ｆ^P _j ⇒ 評価ＮＧ ステップＳ０４０；該当プロセッサの該当処理グループ
ｊのｃｐｕ負荷率計算値評価ＮＧを入出力装置に出力す
る。

【００３９】表示内容；評価ＮＧ結果、プロセッサＮ
ｏ、処理グループＮｏ、ｃｐｕ負荷率目標値、ｃｐｕ負
荷率計算値 ステップＳ０４５；該当プロセッサのｃｐｕ負荷率目標
値（合計）とｃｐｕ負荷率計算値（合計）を比較する。

【００４０】（１）Ｍ^P _t≧Ｆ^P _t ⇒ 評価ＯＫ （２）Ｍ^P _t＜Ｆ^P _t ⇒ 評価ＮＧ ステップＳ０５０；該当プロセッサのｃｐｕ負荷率計算
値（合計）評価ＮＧを入出力装置に出力する。

【００４１】表示内容；評価ＮＧ結果、プロセッサＮ
ｏ、ｃｐｕ負荷率目標値（合計） 、
ｃｐｕ負荷率計算値（合計） ステップＳ０５５；応答要求項目ｋ＝１〜ｒにつて処理
を繰り返えす。

【００４２】ステップＳ０６０；プロセッサＰ＝１〜ｓ
につて処理を繰り返えす。

【００４３】ステップＳ０６５；該当プロセッサ内の該
当応答時間ｔ^P _kを求める。

【００４４】ｔ^P _k＝ｓ＊β₁＋ｍ＊δ₁ ここで、ｓ；該当応答要求項目に対する実行ステップ数
合計 ｍ；該当応答要求項目に対するＯＳマクロ発行回数 β₁；ステップ当り処理時間 δ₁；ＯＳマクロ処理時間 ｋ；該当応答要求項目Ｎｏ ステップＳ０７０；プロセッサＰ＝１〜ｓについて応答
時間を加算する。

【００４５】 Ｋ_k＝Ｋ_k＋ｔ^P _k／｛１−（Ｆ^P _t／１００）｝ ステップＳ０７５；該当応答要求項目Ｎｏｋに対する応
答時間目標値（Ｔ_k）と応答時間計算値（Ｋ_k）を比較す
る。

【００４６】（１）Ｔ_k≧Ｋ_k ⇒ 評価ＯＫ （２）Ｔ_k＜Ｋ_k ⇒ 評価ＮＧ ステップＳ０８０；該当応答要求項目Ｎｏｋの応答時間
計算値評価ＮＧを入出力装置に出力する。

【００４７】表示内容；評価ＮＧ結果、応答要求項目Ｎ
ｏ、応答時間目標値、応答時間計算値 ステップＳ００５からステップＳ０５０までは、ＣＰＵ
負荷率の処理グル−プ毎と、プロセッサ毎の評価をする
ロジックであり、ステップＳ０４０で評価ＮＧとなった
場合は、どのプロセッサでどの処理グル−プでＮＧにな
ったかが、画面に出力されるようになっている。

【００４８】また、ステップＳ０５０で評価ＮＧとなっ
た場合は、どのプロセッサで定常処理目標値がオ−バ−
でＮＧになったかが画面に出力されるようになってい
る。

【００４９】ステップＳ０５５からステップＳ０８０迄
は、応答要求項目毎にプロセッサ毎の応答時間計算値を
計算し、関係するプロセッサ毎の応答時間計算値の合計
により応答要求項目に対する応答時間計算値を求め、応
答時間目標値と比較することにより、評価するロジック
であり、ステップＳ０８０で評価ＮＧとなった場合は、
どの応答要求項目でＮＧになったかが、画面に出力され
るようになっており、関連する処理や情報の流れを見直
す必要があることを知らせることができる。

【００５０】図９、図１０は、図５の応答要求項目１の
応答時間の目標値Ｔ₁に対する応答時間の計算値Ｋ₁を求
める場合の計算方法を示したものである。

【００５１】図９は、プロセッサ１Ｐ₁からプロセッサ
ＳＰ_Sにおける応答要求項目１に関する対象処理を示し
たものである。

【００５２】Ｐ₁のターミネータは、外部からの入力装
置ＴＮ¹ ₁と外部への出力装置ＴＮ¹ ₂を示しており、○印
は処理を、矢印は処理間のデータの流れを示し、２重○
印は、応答要求項目１に関係する処理を示したものであ
る。

【００５３】Ｐ_Sについても同様である。但し、関係す
る処理の連結や、プロセッサの連結は、応答要求項目に
よって異なる。

【００５４】図１０は、応答要求項目１に関係する処理
だけを図に示したものであり、Ｐ₁の応答要求項目１に
対する実行ステップ数ｓの合計とＯＳマクロ発行回数ｍ
の合計は、下記により求められる。

【００５５】実行ステップ数ｓの合計＝処理１の実行ス
テップ数ｓ₁＋処理２の実行ステップ数ｓ₂＋処理３の実
行ステップ数ｓ₃ ＯＳマクロ発行回数ｍの合計＝処理１のｏｓマクロ発行
回数ｍ₁＋処理２のｏｓマクロ発行回数ｍ₂＋処理３のｏ
ｓマクロ発行回数ｍ₃ 同様にＰ_Sの応答要求項目１に対する実行ステップ数ｓ
の合計とＯＳマクロ発行回数ｍの合計は、下記により求
められる。

【００５６】実行ステップ数ｓの合計＝Ｐ_Sの処理１の
実行ステップ数＋Ｐ_Sの処理２の実行ステップ数＋Ｐ_Sの
処理３の実行ステップ数 ＯＳマクロ発行回数ｍの合計＝処理１のＯＳマクロ発行
回数＋処理２のＯＳマクロ発行回数＋処理３のＯＳマク
ロ発行回数 ここで、Ｐ₁のｃｐｕ負荷率０％での応答時間ｔ¹ ₁の
時、ｃｐｕ負荷率Ｆ¹ _t％での応答時間は下記となる。

【００５７】ｋ¹ ₁＝ｔ¹ ₁／｛１−（Ｆ¹ _t／１００）｝ また、Ｐ_Sのｃｐｕ負荷率０％での応答時間ｔ^s ₁の時、
ｃｐｕ負荷率Ｆ^s _t％での応答時間は下記となる。

【００５８】ｋ^s ₁＝ｔ^s ₁／｛１−（Ｆ^s _t／１００）｝ さらに、各プロセッサのｃｐｕ負荷率０％での応答要求
項目１に対する応答時間の目標値は、Ｔ₁＝ｔ¹ ₁＋…＋
ｔ^s ₁で示すとおりである。

【００５９】各プロセッサのｃｐｕ負荷率Ｆ^P _t％での応
答要求項目１に対する応答時間の計算値は、Ｋ₁＝ｋ¹ ₁
＋…＋ｋ^s ₁で示すとおりです。

【００６０】

【発明の効果】本発明によれば、特に大規模、分散シス
テムの上流工程（初期工程）における性能評価が可能と
なることにより、システム設計・製作業務の大幅な効率
向上を図ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る性能評価装置の機能構
成を示す図である。

【図２】図１の信頼性パラメ−タテ−ブル５１のテーブ
ル構成を示す図である。

【図３】システム設計時の処理性に関するＣＰＵ負荷率
の一般的な定義を説明する図である。

【図４】定常処理の処理グル−プ毎のＣＰＵ負荷率の目
標値の設定の説明図である。

【図５】分散システムの応答要求項目の応答時間の目標
値の設定の説明図である。

【図６】定常処理の処理グル−プ毎のＣＰＵ負荷率目標
値とＣＰＵ負荷率計算値との関係を示す図である。

【図７】図６の処理グループ内の各処理のＣＰＵ負荷率
計算値を示す図である。

【図８】図１の応答性評価手段の処理のフロ−チャート
図である。

【図９】プロセッサ１からプロセッサＳにおける応答要
求項目１に関する対象処理を示す図である。

【図１０】応答要求項目１に関係する処理の応答時間の
目標値Ｔ₁に対する応答時間の計算値Ｋ₁を求める場合の
計算方法を示す図である。

【符号の説明】

１…性能評価装置、２…入出力手段、３…信頼性パラメ
−タ管理手段、４…性能評価手段、５…信頼性パラメ−
タ記憶手段、５１…信頼性パラメ−タテーブル

Claims (6)

【特許請求の範囲】
1. 【請求項１】複数のプロセッサを有する計算機システム
   の処理性，応答性の性能を評価する性能評価装置におい
   て、 予め前記計算機システムの処理性，応答性に関するパラ
   メータを入力する入出力手段と、前記パラメータを信頼
   性パラメ−タテ−ブルに記憶する信頼性パラメ−タ記憶
   手段と、前記パラメ−タの登録・検索を必要に応じて行
   なう信頼性パラメ−タ管理手段と、前記パラメータを基
   に前記各プロセッサ毎の定常時のＣＰＵ負荷率から前記
   処理性の評価を行なうと共に前記応答性の評価を行なう
   性能評価手段を備えることを特徴とする性能評価装置。
2. 【請求項２】請求項１において、前記パラメータは、前
   記プロセッサ毎、Ｉ／Ｏ毎、パッケ−ジ毎に固有なパラ
   メ−タであることを特徴とする性能評価装置。
3. 【請求項３】請求項１において、前記処理性，応答性の
   性能評価は、前記計算機システムの上流工程で行なわれ
   ることを特徴とする性能評価装置。
4. 【請求項４】複数のプロセッサを有する計算機システム
   の処理性，応答性の性能を評価する性能評価方法におい
   て、 予め前記計算機システムの処理性，応答性に関するパラ
   メータを入力する入出力ステップと、前記パラメータを
   信頼性パラメ−タテ−ブルに記憶する信頼性パラメ−タ
   記憶ステップと、前記パラメ−タの登録・検索を必要に
   応じて行なう信頼性パラメ−タ管理ステップと、前記パ
   ラメータを基に前記各プロセッサ毎の定常時のＣＰＵ負
   荷率から前記処理性の評価を行なうと共に前記応答性の
   評価を行なう性能評価ステップを備えることを特徴とす
   る性能評価方法。
5. 【請求項５】請求項４において、前記パラメータは、前
   記プロセッサ毎、Ｉ／Ｏ毎、パッケ−ジ毎に固有なパラ
   メ−タであることを特徴とする性能評価方法。
6. 【請求項６】請求項４において、前記処理性，応答性の
   性能評価は、前記計算機システムの上流工程で行なわれ
   ることを特徴とする性能評価方法。