JP2009015437A - ベンチマークテスト装置 - Google Patents

Abstract

【課題】ハードウエアやＯＳのアーキテクチャの変更に対応することが可能なベンチマークテスト装置を提供すること。
【解決手段】ハードウエア条件の入力を受け付けるハードウエア条件入力受付手段（２１）と、ハードウエア条件入力受付手段に対して入力されたハードウエア条件に基づいてベンチマークプログラムを生成するベンチマークプログラム生成手段（３３）と、ベンチマークプログラム生成手段により生成されたベンチマークプログラムに基づくシミュレーションを実行してベンチマークを出力するシミュレーション実行手段（３４）と、を備えるベンチマークテスト装置（１）。
【選択図】図１

Description

本発明は、コンピュータシステムのハードウエアやソフトウエアの性能を評価するベンチマークテスト装置に関する。

従来、コンピュータシステムのハードウエアやソフトウエアの性能を測定するためのテストが、ベンチマークテストと称されている。また、結果として出力される指標（或いは測定プログラム自体）が、ベンチマークと称されている。以下、出力される指標をベンチマークと、測定プログラムをベンチマークプログラムと称する。

ベンチマークテストには、実際に被験対象であるコンピュータないしソフトウエアを作動させて行なうテストと、ベンチマークプログラムを実行することによりシミュレーションとして行なうテストとが存在する。後者の例として、評価対象に類似した複数の類似プログラム・ソースコードを装置内部に入力するソースコード入力手段を備えるコンピュータシステムの性能評価プログラム生成装置についての発明が開示されている（例えば、特許文献１参照）。この装置では、入力された各類似プログラム・ソースコードを解析して処理命令の発生数を抽出し、この発生数に基づいてベンチマークテスト・プログラム（ベンチマークプログラム）を生成するものとしている。
特開１１−２９６３９９号公報

しかしながら、上記従来の装置では、ソフトウエアの性能を、ある程度汎用的に測定することができるものの、ハードウエアやＯＳ（Operating System）の変更に対応することができない。

本発明はこのような課題を解決するためのものであり、ハードウエアやＯＳのアーキテクチャの変更に対応することが可能なベンチマークテスト装置を提供することを、主たる目的とする。

上記目的を達成するための本発明の一態様は、ハードウエア条件の入力を受け付けるハードウエア条件入力受付手段と、ハードウエア条件入力受付手段に対して入力されたハードウエア条件に基づいてベンチマークプログラムを生成するベンチマークプログラム生成手段と、ベンチマークプログラム生成手段により生成されたベンチマークプログラムに基づくシミュレーションを実行してベンチマークを出力するシミュレーション実行手段と、を備えるベンチマークテスト装置である。

この本発明の一態様によれば、ハードウエア条件入力受付手段に対して入力されたハードウエア条件に基づいてベンチマークプログラムを生成するため、ハードウエアのアーキテクチャの変更に対応することができる。

本発明の一態様において、現実のハードウエアを使用して得られたベンチマークの入力を受け付けるベンチマーク入力受付手段を備え、ベンチマークプログラム生成手段は、シミュレーション実行手段の出力と、ベンチマーク入力受付手段に対して入力されたベンチマークと、の比較に基づき、ベンチマークプログラムの生成手法を変更する手段であるものとしてもよい。

また、本発明の一態様において、ＯＳ条件情報を取得するＯＳ条件情報取得手段を備え、ベンチマークプログラム生成手段は、ＯＳ条件情報取得手段により取得されたＯＳ条件に基づいてベンチマークプログラムを生成する手段であるものとしてもよい。

また、本発明の一態様において、ハードウエア条件入力受付手段が受け付けるハードウエア条件は、ＣＰＵ種別及びＣＰＵバージョンを含むものとしてもよい。

本発明によれば、ハードウエアやＯＳのアーキテクチャの変更に対応することが可能なベンチマークテスト装置を提供することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。

以下、本発明の一実施例に係るベンチマークテスト装置１について説明する。ベンチマークテスト装置１は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＨＤＤ等がバスを介して接続されたＥＣＵ（Electronic Control Unit）等のコンピューターユニットとして構成される。図１は、ベンチマークテスト装置１が有する機能ブロックを示す図である。ベンチマークテスト装置１は、ＲＯＭに記憶されたプログラムがＲＡＭ上に展開（ロード）されることにより機能する機能ブロックとして、ベンチマークソース管理部１０と、ハードウエア情報管理部２０と、ベンチマークプログラム生成部３０と、ベンチマーク結果管理部４０と、を備える。

ベンチマークソース管理部１０は、ハードウエアに依存しないベンチマークテスト対象のソース管理を行なう部分であり、ソースコード入力部１１と、ソースコード解析部１２と、解析結果データベース１３と、を有する。

ソースコード入力部１１は、ベンチマークテスト対象となるソースコードの登録部である。ソースコードの言語は特定されないが、例えば、アセンブラレベルではなく、Ｃ言語等、ハードウエアに依存しないレベルのソースコードとして登録が行なわれる。ソースコードの登録は、記憶媒体の連結、挿入、接続、或いは有線又は無線通信による情報の転送等によって行なわれる。

ソースコード解析部１２は、ソースコード入力部１１に入力されたソースコードの解析部である。

解析結果データベース１３は、ソースコード解析部１２の解析結果を格納するデータベースである。解析結果データベース１３に格納される情報は、例えば、使用命令種類、命令数、プロセス間通信、メモリアクセスの頻度・データサイズ、デバイスアクセスの頻度・サイズが含まれる。なお、デバイスとは、キャラクターデバイス、ブロックデバイス、ネットワークデバイス等をいう。

ハードウエア情報管理部２０は、ハードウエア条件入力部２１と、ハードウエア情報データベース２２と、ＯＳベンチマーク用ライブラリ２３と、を有する。

ハードウエア条件入力部２１は、ベンチマークプログラムを生成する際の条件として、ベンチマークテスト対象となるハードウエアの情報の入力を受け付ける。入力受付可能な情報は、ＣＰＵ関連として、ＣＰＵ種別、ＣＰＵバージョン、ＣＰＵ命令セットのオプション対応有無情報、ＣＰＵクロック、ＣＰＵＩ数等である。また、メモリ関連としては、キャッシュの有無、キャッシュサイズ、キャッシュＷａｙサイズ、主記憶タイプ、主記憶メモリ容量、主記憶動作速度等であり、バス関連としては、バス及びプロトコルの種別、バス動作速度等である。その他、グラフィック性能、ネットワーク性能、ストレージ性能等の情報入力を受け付け可能であってもよい。

ハードウエア情報データベース２２は、ハードウエア条件入力部２１に対して入力された情報を格納するデータベースであり、例えば、ＲＤＢ（relational database；1件のデータを複数の項目(フィールド)の集合として表現し、データの集合をテーブルと呼ばれる表で表す方式）の方式によって情報を保持し、各項目の更新・変更に柔軟に対応可能となっている。

ＯＳベンチマーク用ライブラリ２３は、ハードウエア上に搭載されるＯＳ（Operating System）を対象とするベンチマークプログラムを備える。ＯＳの性能（ファイルシステムやシステムコール、スケジューラの実装方法）によって、システムの性能が大きく変化するからである。ここで、ファイルシステムとは、抽象データ型の集まりであり、ストレージ、階層構造、データの操作・アクセス・検索のために実装されたものである。また、システムコールとは、ＯＳのカーネルの機能を呼び出すために使用される機構、或いはＯＳの備えるＡＰＩ関数をいう。

ＯＳベンチマーク用ライブラリ２３に格納されたベンチマークプログラムとしては、例えば、ファイルシステム性能を測定するもの（iobench等）、ネットワーク性能を測定するもの（netperf等）、スケジューラ性能を測定するもの、演算性能を測定するもの（dhrystone等）、グラフィック描画性能を測定するもの（×11perf、glperf等）、リアルタイム応答性能を測定するもの、等が挙げられる。

ベンチマークプログラム生成・実行部３０は、ハードウエアに対応したベンチマークプログラムを生成する機能ブロックであり、プログラム生成用ライブラリ３１と、アルゴリズム更新部３２と、ベンチマークプログラム生成部３３と、ベンチマークプログラム実行部３４と、を有する。

プログラム生成用ライブラリ３１は、ベンチマークプログラムを生成する為のライブラリである。例えば、DhrystoneやWhetstone等の基本的なベンチマークプログラムを保持する。また、科学技術演算ライブラリ等をシステムとして評価するための、合成ベンチマークプログラムのライブラリを含んでよい。

アルゴリズム更新部３２は、ベンチマークプログラムのアルゴリズムを更新、或いは新規登録する機能を有する。本機能ブロックにより、ベンチマークプログラムの機能が陳腐化した際に、随時新しいものを追加することができる。

ベンチマークプログラム生成部３３は、ハードウエア情報データベース２２に格納された情報に基づいて、プログラム生成用ライブラリ３１及びＯＳベンチマーク用ライブラリ２３からベンチマークプログラムを適切に選択（及び合成等）し、ベンチマークプログラム実行部３４が実行できる形式の実行バイナリを生成する。ベンチマークプログラムを選択等する際の情報（条件）は、ベンチマークプログラム生成部３３の記憶部に保持されており、アルゴリズム更新部３２により随時変更される。

ベンチマークプログラム実行部３４は、ベンチマークプログラム生成部３３により生成された実行バイナリを用いて、入力されたハードウエア条件に基づく機能をエミュレーションし、ベンチマークを出力するためのシミュレーションを実行する。

係る機能によって、ハードウエアやＯＳの変更に柔軟に対応することができる。従来のベンチマークテスト装置では、テスト対象となるコンピュータシステムにおいて、その前提条件となるハードウエアやＯＳの性能（ＣＰＵクロック等）が変更された際に、パラメータ変更等を行なってベンチマークを補正することは可能であるが、ハードウエアやＯＳのアーキテクチャ（設計思想）が変更された場合には対応することができなかった。この点、本実施例のベンチマークテスト装置１では、ベンチマークプログラムのアルゴリズムやライブラリからのプログラム選択（及び合成等）の手法を変更するため、ハードウエアやＯＳのアーキテクチャ変更にも対応することができる。

ベンチマーク結果管理部４０は、ベンチマーク結果入力部４１及びベンチマーク結果蓄積部４２を有する。

ベンチマーク結果入力部４１は、本装置によるシミュレーション結果としてのベンチマークではなく、現実のハードウエアを使用して得られたベンチマークの入力を受け付ける。

ベンチマーク結果蓄積部４２は、ベンチマーク結果入力受付部４０に対して入力されたベンチマークを格納する。そして、本装置によるシミュレーション結果としてのベンチマークとの比較に基づいて、アルゴリズム更新部３２やベンチマークプログラム生成部３３に対して、ベンチマークプログラムの選択（及び合成等）やアルゴリズム自体についての修正指示を出力する。

係る機能によって、本装置によるシミュレーション結果としてのベンチマークが、現実の性能から乖離している場合に、これを適切に修正することができる。従って、コンピュータシステムの性能をより正確に測定することができる。

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

本発明は、自動車製造業や自動車部品製造業等に利用可能である。

ベンチマークテスト装置１が有する機能ブロックを示す図である。

符号の説明

１ ベンチマークテスト装置
１０ ベンチマークソース管理部
１１ ソースコード入力部
１２ ソースコード解析部
１３ 解析結果データベース
２０ ハードウエア情報管理部
２１ ハードウエア条件入力部
２２ ハードウエア情報データベース
２３ ＯＳベンチマーク用ライブラリ
３０ ベンチマークプログラム生成・実行部
３１ プログラム生成用ライブラリ
３２ アルゴリズム更新部
３３ ベンチマークプログラム生成部
３４ ベンチマークプログラム実行部
４０ ベンチマーク結果管理部
４１ ベンチマーク結果入力部
４２ ベンチマーク結果蓄積部

Claims (4)

1. ハードウエア条件の入力を受け付けるハードウエア条件入力受付手段と、
   前記ハードウエア条件入力受付手段に対して入力されたハードウエア条件に基づいてベンチマークプログラムを生成するベンチマークプログラム生成手段と、
   該ベンチマークプログラム生成手段により生成されたベンチマークプログラムに基づくシミュレーションを実行してベンチマークを出力するシミュレーション実行手段と、
   を備えるベンチマークテスト装置。
2. 請求項１に記載のベンチマークテスト装置であって、
   現実のハードウエアを使用して得られたベンチマークの入力を受け付けるベンチマーク入力受付手段を備え、
   前記ベンチマークプログラム生成手段は、前記シミュレーション実行手段の出力と、前記ベンチマーク入力受付手段に対して入力されたベンチマークと、の比較に基づき、前記ベンチマークプログラムの生成手法を変更する手段である、
   ベンチマークテスト装置。
3. 請求項１又は２に記載のベンチマークテスト装置であって、
   ＯＳ条件情報を取得するＯＳ条件情報取得手段を備え、
   前記ベンチマークプログラム生成手段は、前記ＯＳ条件情報取得手段により取得されたＯＳ条件に基づいてベンチマークプログラムを生成する手段である、
   ベンチマークテスト装置。
4. 請求項１ないし３のいずれかに記載のベンチマークテスト装置であって、
   前記ハードウエア条件入力受付手段が受け付けるハードウエア条件は、ＣＰＵ種別及びＣＰＵバージョンを含む、
   ベンチマークテスト装置。

Images