JPH06242888A - ディスクアレイ装置、コンピュータシステム及びデータ記憶装置 - Google Patents

ディスクアレイ装置、コンピュータシステム及びデータ記憶装置

Info

Publication number
JPH06242888A
JPH06242888A JP5030315A JP3031593A JPH06242888A JP H06242888 A JPH06242888 A JP H06242888A JP 5030315 A JP5030315 A JP 5030315A JP 3031593 A JP3031593 A JP 3031593A JP H06242888 A JPH06242888 A JP H06242888A
Authority
JP
Japan
Prior art keywords
data
backup
disk
transfer
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5030315A
Other languages
English (en)
Other versions
JP3250859B2 (ja
Inventor
Takashi Oeda
高 大枝
Hiroaki Takahashi
宏明 高橋
Hitoshi Akiyama
仁 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP03031593A priority Critical patent/JP3250859B2/ja
Publication of JPH06242888A publication Critical patent/JPH06242888A/ja
Application granted granted Critical
Publication of JP3250859B2 publication Critical patent/JP3250859B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Abstract

(57)【要約】 【目的】 ディスクアレイ装置に高速なバックアップ手
段を提供する。 【構成】 ホストコンピュータ1、ディスクアレイコン
トローラ2、バックアップ装置3をSCSI6で相互に接続
する。ディスクアレイコントローラは更にアレイ状に配
置したディスクドライブ装置4、5とSCSI 7で接続す
る。バックアップ時スペアディスクを転送バッファとし
て使用する。 【効果】 バックアップ中のデータディスクの占有時間
をバックアップ装置と磁気ディスク装置の転送速度の比
だけ減らすことが出来る。典型的な例では15分の1程
度である。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、コンピュータのデータ
バックアップ方法に関する。本発明は、特に、複数のデ
ィスクドライブを有するディスクアレイ装置または複数
種類の記憶装置を有するデータ記憶装置を持ったコンピ
ュータシステムにおいて、上位コンピュータや管理者に
負担をかけず、信頼性の高いバックアップ手段を提供す
る方法に関する。
【0002】
【従来の技術】ディスクアレイ装置に付いては、特開平
1ー250128号公報に開示されている。この装置の
特徴は1)複数のディスクが同時多重で動作することに
よる高速化と、2)冗長ディスク、予備ディスクをもつ
ことによる高信頼化である。
【0003】ディスク装置の高速化には、データ転送速
度の高速化及び、1秒当りのリード/ライト処理件数
(IOスループット)とがあるが、ディスクアレイ装置
では複数台のディスクの並列データ転送を可能とするこ
とによりデータ転送速度の高速化を実現している。この
構成に信頼度をあげるため後述する冗長度を付加した構
成を一般にRAID3と呼んでいる。また、IOスルー
プットを向上させるために、複数台のディスクに多重シ
ーク/回転待ちさせる構成がある。これに冗長度を付加
し信頼度をあげた構成を、RAID5と呼んでいる。
【0004】さて、上記性能を向上させるためにはいず
れの構成においても複数台のディスクが必要となる。現
在の標準的なディスクドライブの平均故障時間(MTB
F)は、5万時間程度である。このディスクをN台用い
たシステムのMTBFは、5万/Nで押えられる。この
値は、標準的な10台構成の場合5千時間、七ヶ月弱と
なりシステムとして一般には許容しがたい値である。
【0005】この問題を解決するために、複数のディス
ク中のデータをパリティグループと呼ばれるグループに
分け、そのグループごとにパリティ情報を付加すること
によりパリティグループ中の任意の1台が故障してもデ
ータを回復することができるような構成とした。この構
成をRAIDと呼ぶ。
【0006】RAIDのMTBFを計算すると、以下の
数1となり、障害ディスクを正常なディスクと交換し、
そのディスクへデータを回復するまでの時間MTTR
が、MTBFを決定する重要なファクターになっている
ことが判る。
【0007】
【数1】
【0008】このMTTRを最小限にするためには予備
のディスクを予めシステム内に持っておき、障害が発生
した場合速やかにデータ回復をおこなうことが効果的で
ある。このための予備ディスクをスペアディスクと呼ん
でおり、上記特開平1ー250128号公報にも開示さ
れている。
【0009】RAID構成の採用と、スペアディスクの
採用により、複数台のディスクが存在することによるシ
ステムのMTBF低下の問題は解決される。
【0010】しかし、上記MTBFは、システム内の複
数のディスクの障害発生という事象は互いに独立である
という仮定のもとでの計算であり、地震・火災などの大
規模災害の場合や、障害回復作業中のミスによる2重障
害の発生の場合などは考慮していない。また、オペレー
ションのミスによるデータの消失についても考慮してい
ない。
【0011】上記の問題を解決するためにはデータのバ
ックアップを定期的にとること以外に現実的方法はな
く、上記従来技術では、ディスクのアレイ化による容量
の増大に対応した効果的なバックアップ方法について
は、配慮されていない。実際、標準的な5.25”ディ
スクドライブ(1.5GB)を使用し、10台構成で1
台をスペア、1台をパリティに割り当てた場合、総容量
は12GBとなり、標準的なバックアップ用テープドラ
イブ(約200kB/s)でバックアップするのに要す
る時間は14時間弱である。これでは、ディスクアレイ
の高IOスループットを生かしたオンライントランザク
ションシステムに応用する場合、大きな障害となる。毎
日バックアップをとる場合14時間はシステムのサービ
スを停止しバックアップ作業を行わなければならないか
らである。
【0012】本発明の目的は、ディスクアレイ装置が有
するデータのバックアップ時間を短縮する手段を提供す
ることにある。
【0013】
【課題を解決するための手段】本発明は、上記目的を達
成するために、ディスクアレイ装置において、上記ディ
スクアレイ装置は、複数のディスクドライブと、上記デ
ィスクドライブを制御するディスクアレイ制御手段とを
有し、上記ディスクドライブのうち、少なくとも1つは
予備のディスクドライブであり、上記ディスクアレイ制
御手段は、上記ディスクドライブが記憶するデータをバ
ックアップするときに、バックアップの対象となるディ
スクドライブから上記予備のディスクドライブにバック
アップの対象となるデータを転送することを指示する処
理部と、上記指示を受けて、上記ディスクドライブから
上記予備のディスクドライブへのデータ転送を制御する
データ転送制御部とを有し、上記処理部は、上記予備の
ディスクドライブへのデータ転送が終了後、上記予備の
ディスクドライブから外部のバックアップ装置にバック
アップの対象となるデータを転送することを指示し、上
記データ転送制御部は、上記指示を受けて、上記予備の
ディスクドライブから上記バックアップ装置へ、データ
転送することとしたものである。
【0014】
【作用】上記のように構成されたディスクアレイ装置に
おいて、上記処理部は、上記ディスクドライブが記憶す
るデータをバックアップするときに、バックアップの対
象となるディスクドライブから上記予備のディスクドラ
イブにバックアップの対象となるデータを転送すること
を指示する。上記データ転送制御部は、上記指示を受け
て、上記ディスクドライブから上記予備のディスクドラ
イブへのデータ転送を制御する。上記処理部は、さらに
上記予備のディスクドライブへのデータ転送が終了後、
上記予備のディスクドライブから外部のバックアップ装
置にバックアップの対象となるデータを転送することを
指示し、上記データ転送制御部は、上記指示を受けて、
上記予備のディスクドライブから上記バックアップ装置
へ、データ転送することとしたものである。
【0015】ディスクアレイ装置のディスクには、ホス
トコンピュータが使用するデータ(ファイル)又はその
データから計算されるパリティを格納するデータディス
クと、ディスク障害が発生した場合障害ディスクを論理
的に置き換えるためのスペアディスクがある。本発明で
は、このスペアディスクをデータバックアップの際、転
送バッファとして用いる。つまり、データディスク上に
存在するファイル(一般には複数のデータディスクにま
たがって格納されている。)をディスクアレイコントロ
ーラが読み込んでそのメモリ上に再構築する。次に、再
構築したファイルをスペアディスクに書き込む。この操
作を、たとえば、ホストコンピュータが管理するファイ
ルシステム、もしくはファイルシステム中のディレクト
リ単位におこなう。ファイルシステムやディレクトリは
ホストコンピュータがディスクアレイ装置をアクセスす
るために使用するアドレス空間(ロジカルブロックアド
レスで示される空間、ロジカルブロックアドレスは以降
LBAと表記する。)上で一続きの領域を占めている
が、ディスクアレイ装置のディスク上では一般に複数の
ドライブ上に分割されている。上記のディスクアレイコ
ントローラによるファイルの再構築という作業は、この
分割されたファイルを一続きのファイルに戻すことに相
当する。
【0016】従来のバックアップ方式では、上記ディス
クアレイコントローラ上で再構築されたファイルをホス
トコンピュータが読み込み、バックアップ装置(例えば
MT装置等)に書き込む。本発明では、ここでホストコ
ンピュータの介在なしにスペアディスクへ再構築された
ファイルをいったん書き込み、その後通常の手順でバッ
クアップ装置に書き込むか、またはディスクアレイコン
トローラのみの介在でバックアップ装置へ書き込む。
【0017】データ転送速度は、現在大容量バックアッ
プに一般に使用されている8mmテープドライブ、デー
タDAT装置では200kB/秒程度、ディスクドライ
ブでは3MB/秒程度と10倍以上の差がある。このた
めスペアディスクでバックアップ装置へのデータ転送を
バッファリングすることによりデータディスクのバック
アップのための占有時間を10分の1以下にすることが
出来る。従来の技術の項で挙げた例で説明すると、従来
14時間かかっていたデータディスクの占有時間を1.
4時間以下にすることができるということである。これ
は、1日に1回バックアップをとるシステムでは、バッ
クアップのためのシステム停止時間が一日14時間から
1.4時間に減るということである。
【0018】
【実施例】以下、本発明の一実施例を第1〜8図により
説明する。本システムはホストコンピュータ1、ディス
クアレイ制御手段であるディスクアレイコントローラ
2、バックアップ装置3をSCSI(Small Computer System
Interface)6で相互に接続する。ディスクアレイコン
トローラは更にアレイ状に配置した、バックアップ時に
上記コンピュータシステムにより、バックアップ以外の
目的で書き換えられる可能性のあるデータを事前に保存
しておく手段でもあるディスクドライブ装置4、5とSC
SI 7で接続する。バックアップ装置は点線で示したよう
に、SCSI 7に接続する構成も考えられる。
【0019】ホストコンピュータ1は演算等の処理を行
うCPU1-1、CPUが使用するデータや命令を一時格納して
おく主記憶1-2、この主記憶にはディスク装置などへの
入出力をバッファリングやキャッシングするI/Oバッフ
ァ1-3がある。I/O制御1-4はディスク装置などへのデー
タの入出力を制御するハードウェアである。最近のワー
クステーションではI/O制御1-4に専用プロセッサを使用
し、ディスク装置などへのデータの入出力処理のための
CPU1-1の負荷を軽減し、高速なI/Oを実現している。
【0020】ディスク装置などの2次記憶装置へのデー
タの入出力処理はソフトウェア的にはオペレーティング
システム1-6(以下OSと略す。)のファイル管理1-7、デ
バイスドライバ1-8などのモジュールが管理する。これ
らはアプリケーションプログラムが要求するディスク装
置とのデータ入出力のスケジューリング・バッファリン
グ・アクセスデータ長などを決定する。
【0021】ディスクI/F1-5はディスク装置とのインタ
フェース制御をおこなう、本実施例ではインタフェース
(以下I/Fと略す。)をSmall Computer System Interfa
ce6(以下SCSIと略す。)としている。SCSIはANSI(Ameri
can National Standard Institute)で作成されISO(Inte
rnational Standard Organization) でも承認されたコ
ンピュータ周辺機器用インタフェースであり、磁気ディ
スク装置だけでなく光ディスク、磁気テープ装置、プリ
ンタ、スキャナなどもサポートしており、小型コンピュ
ータに広く普及している。
【0022】ディスクアレイコントローラ2は、処理
部、上記ディスクドライブ上で、使用されている範囲に
関する情報をコンピュータから受付る手段、前回のバッ
クアップから、変更されたデータを認識する手段、前回
のバックアップから、変更されたデータをに関する情報
をコンピュータから受付る手段、バックアップの対象で
ある領域へアクセスが合ったときにアクセスを記録して
おく手段、バックアップ時に上記コンピュータシステム
によりバックアップ以外の目的にしようされる可能性の
あるデータを認識する手段、バックアップ時に上記コン
ピュータシステムによりバックアップ以外の目的にしよ
うされる可能性のあるデータバックアップに使用可能に
なったことを認識する手段および上記ディスクドライブ
上で使用されている範囲を認識する手段であるCPU2-2
と、ドライブI/F2-6と、ホストI/F2-1と、データ転送制
御2-3、転送バッファ2-5と、パリティ生成/チェック2-4
とを有する。
【0023】ディスクアレイコントローラ2は、そのド
ライブI/F2-6に接続しているアレイ状に配置されたディ
スク装置7,4を統括・制御しホストコンピュータに対
し、通常の一台のディスク装置が接続しているかのよう
に見せかける。ホストコンピュータ1から送られるデー
タはその論理アドレスに従い、データ転送制御2-3、転
送バッファ2-5がアレイ状に配置されたディスク装置に
分配する。ホストコンピュータ1がデータを要求した場
合は、データ転送制御2-3、転送バッファ2-5が、アレイ
状に配置されたディスク装置に分配して配置されている
データを統合してホストコンピュータ1に送り返す。
【0024】また、ディスクアレイ装置ではディスクが
1台故障してもデータの回復がおこなえるように、ホス
トコンピュータ1から送られてくるデータに、冗長なデ
ータ(パリティ)を付加してディスク7へ書き込む。こ
のパリティの生成とチェックはパリティ生成/チェック
2-4で行う。ディスク故障が発生した場合に、パリティ
データと故障していないディスクのデータを使用して、
故障したディスクのデータを計算により生成しスペアデ
ィスク4に格納する。故障したディスクの全てのデータ
を回復したら、スペアディスクはアレイ状に配置された
ディスクの中で故障したディスクの論理的位置を占め
る。このようにして、ディスクの故障が発生しても人手
を介することなく速やかに回復処理を行うことが出来
る。スペアディスクは、ディスクの故障が発生していな
い通常の場合は使用されない。
【0025】バックアップ装置3はディスクアレイのデ
ータをバックアップするためのものである。接続する位
置は、第1図に示すように3-1,3-2,3-3の3通りが考
えられる。ディスクアレイ装置2は任意の1台のディス
ク故障が発生してもデータを失うことがないが、多重障
害が発生した場合やオペレータミスによって誤ってデー
タが消去された場合にはデータを失ってしまう。このた
めバックアップ装置3が必要となる。バックアップ装置
としては、磁気テープ装置、光磁気ディスク装置など単
位記憶容量当りのコストが安い可換媒体の記憶装置が主
に使用される。近年では8mm磁気テープ装置で5GBなど、
大容量の装置がでてきている。
【0026】全体構成は以上のとおりであるが、以下動
作を説明する。
【0027】(1)ホストコンピュータがスペアディス
クとバックアップ装置を認識する場合 ホストコンピュータ1がスペアディスク4とバックアッ
プ装置3を認識する場合の動作を説明する。図3はホス
トコンピュータ1から見た場合の論理的な構成図であ
る。本図においてディスクアレイ2´は第1図のディス
クアレイコントローラ2によって統括制御され、ホスト
コンピュータ1からは1台のディスクに見せかけられて
いるデータ/パリティディスクの総体を概念的にあらわ
したものである。また、バッファディスク8は第1図の
スペアディスク4(一般には複数台)を概念的にあらわ
したものである。ホストコンピュータ1からこれらはバ
ックアップ装置3とともに一つのSCSIIDを持った
装置として第3図に示すように見える。SCSI IDとはS
CSIバス上に接続された複数台の装置を区別するため
の装置毎に割り振られたアドレスである。
【0028】この構成の場合、ホストコンピュータ1
は、バッファディスクを一つのSCSI装置として認識
しているため、バックアップに必要な転送を全て自分の
管理の元でおこなうことができる。ただし、必ずしも、
全て管理する必要はない。ディスクアレイ2´のデータ
をバックアップ装置3にバックアップするのに行うデー
タ転送は2種類、1)ディスクアレイ2´からバッファ
ディスク8への転送と、2)バッファディスク8からバ
ックアップ装置3への転送である。好適な例としては
1)の転送はホストコンピュータ1がディスクアレイ2
´のファイル構造を認識しながら行い2)の転送は起動
指示と終了確認のみホストコンピュータ1が介在する方
法である。こうすれば2)の転送中はホストコンピュー
タ1はディスクアレイ2´に対し通常のアクセスを行う
ことができる。
【0029】例えばUNIXマシンならばtarコマン
ドを用いバッファディスク8への転送をおこなう。この
際バッファディスクはrawデバイスとしてアクセスされ
る。tar コマンドで転送した場合、通常のMT装置へバッ
クアップする場合と同じフォーマットになるため、2)
のデータ転送はホストコンピュータ1からバッファディ
スク8に対し転送すべき範囲と転送先さえ起動時に指示
すればよい。但し、そのためにはバッファディスク8が
SCSI コマンドの一つであるcopy コマンドをサポートし
ている必要が有る。
【0030】1)の転送中ずっとホストコンピュータ1
が介在する理由は、a)オープンしているファイルの処
理、b)バックアップすべきデータが存在する領域の判
断、c)ディスク上のデータフォーマットと通常のバッ
クアップ装置(磁気テープ装置など、通常これらはシー
ケンシャルアクセスデバイスでランダムアクセスデバイ
スである磁気ディスクとは異なるフォーマットを持つ)
のフォーマット変換、等の処理を通常サポートしている
コマンドのみで行うことができるためである。1)の転
送をホストコンピュータの介在なしで行う場合以降に述
べるように、上記a)、b)、c)のためのコマンド、
メッセージ等をサポートする必要がある。
【0031】但し、図1に示すように、ディスクアレイ
コントローラ2は実際は一つのSCSI装置であるの
に、ホストコンピュータ1に対し、図3におけるディス
クアレイ2´とバッファディスク8の二役をしなければ
ならない。SCSI 規約にはこのような構成は存在しない
が、実施は可能である。
【0032】(2)ホストコンピュータがバックアップ
装置は認識するがスペアディスクを認識しない場合 図4はホストコンピュータ1がバックアップ装置3は認
識するがスペアディスク4(図3におけるバッファディ
スク8)は認識しない場合のホストコンピュータから見
た論理的構成図である。この場合、上記のデータ転送で
1)に当るデータ/パリティディスク5からスペアディ
スク4への転送は、ディスクアレイコントローラ2が起
動、終了処理を含め全て管理する。この場合、通常のバ
ックアップ用のコマンド(上記の例ではtarコマン
ド)を用いてバックアップをおこなうことも考えられ
る。それでも、いったんスペアディスクでバッファリン
グすることにより通常のアクセスのためにデータ/パリ
ティディスク5を使用できる時間が増大する効果があ
る。また、バックアップのために必要なファイル管理情
報を読み込むためには、ディスクアレイ2´のデータを
ホストコンピュータ1が読み込むが、バックアップ装置
にデータを転送するためにはホストコンピュータ1にデ
ータを読み込まず、SCSIのcopyコマンドを用い
てディスクアレイ2´のデータをバックアップする方法
が有る。copyコマンドを受け取ったときはスペアデ
ィスク4を転送バッファとして用いるように、ディスク
アレイコントローラ2が制御を行えば、より高速なバッ
クアップを行うことが出来る。
【0033】ディスクアレイコントローラ2のバックア
ップ処理はバックアップ装置の物理的接続位置によっ
て、図5、6、7に示す3種類を好適な実施例として挙
げることができる。図5はバックアップ装置をホストI/
F2-1側のSCSIバス6に接続した場合であり、図6は
他のディスクがつながっていないドライブI/F2-6に接続
した場合であり、図7はスペアディスク4がつながって
いるドライブI/F2-6に接続した場合である。
【0034】なお、図5、6、7においてもデータ/パ
リティディスク5及び、スペアディスク4は一つのディ
スクドライブの様に書いてあるがこれは、一般にはアレ
イ状に配置された複数のディスク装置でありディスクア
レイコントローラ2によって一台のディスク装置の様に
統括制御されているものを概念的にあらわしたものであ
る。
【0035】5図の場合、ホストコンピュータ1はバッ
クアップを行うデータ/パリティディスクの領域のファ
イル管理情報を読み込み、データ/パリティディスク5
からバックアップ装置3への転送を指示するコマンドを
ディスクアレイコントローラ2に対して発行する。転送
はホストコンピュータ1が介在してもよい。ディスクア
レイコントローラ2は転送先がバックアップ装置のデー
タはいったんスペアディスクへ転送し、次にスペアディ
スクからバックアップ装置への転送を行う。これによ
り、データ/パリティディスク5がバックアップのため
に占有される時間を減らすことができる。
【0036】図6の場合は、バックアップ装置3がディ
スクアレイコントローラ2のドライブI/F2-6に接続
されているため、スペアディスクからバックアップ装置
へのデータ転送はホストI/F側のSCSI6を通ら
ず、バックアップ中のホストコンピュータ1からデータ
/パリティディスク5へのアクセス性能の劣化が小さ
い。但し、この場合ホストコンピュータ1に対し図4の
ようにバックアップ装置が接続されていると見せるため
には、ディスクアレイコントローラ2は、バックアップ
装置に対するホストコンピュータ1からのアクセスを透
過的に受渡してやらなければならない。図3におけるバ
ッファディスク8同様、このことはSCSIの規約には
規定されていない方法ではあるが、実施は出来る。
【0037】図7は、バックアップ装置3をスペアディ
スクと同じSCSI上に接続する場合である。この場合
は、スペアディスク4からバックアップ装置3へのデー
タ転送がディスクアレイコントローラ2の内部も通過し
ないため、更にバックアップ中のホストコンピュータ1
からデータ/パリティディスク5へのアクセス性能劣化
を防ぐ。この効果は、スペアディスク4がcopyコマ
ンドをサポートすることによって最大になる。
【0038】(3)ホストコンピュータがバックアップ
装置もスペアディスクも認識しない場合 図8はホストコンピュータ1がバックアップ装置3もス
ペアディスク4も認識しない場合のホストコンピュータ
1からみた概念的な構成図である。実際の物理的な接続
は、バックアップ装置3を認識する場合と同様に図5、
6、7の3種類が好適な実施例として挙げられる。この
場合、ホストコンピュータ1がバックアップ装置3を認
識しないため、ディスクアレイコントローラ2はバック
アップ用のコマンド(SCSIでは規定されていな
い。)をサポートしなければならない。SCSIでは規
定されていないコマンドでも、ベンダユニークとして実
施することができる。バックアップを行うためにはまず
ホストコンピュータ1がバックアップ対象領域のファイ
ル管理情報を読み込みバックアップすべきアドレスとバ
ックアップを指示するコマンドをバックアップを行う順
にディスクアレイ2´に発行してやればよい。
【0039】(4)2ポート(インタフェース部)SC
SIディスクドライブを使用した場合 これまで、実施例として説明した構成はディスクドライ
ブ装置として通常の1ポートのものを想定していた。し
かし、前述の全ての実施例に対し、2ポートSCSIデ
ィスクドライブを使用した構成も考えられる。図2に構
成図を示す。メリットはデータ/パリティディスク5´
からスペアディスク4´へのデータ転送やコマンド/メ
ッセージの転送が通常のホストコンピュータ1からデー
タ/パリティディスク5´へのアクセスとSCSIバス上で
競合しない点である。スペアディスク4´からバックア
ップ装置への転送もバックアップ装置3が点線で示され
ている位置に接続されている場合はホストコンピュータ
1からデータ/パリティディスク5´へのアクセスと競
合せず、バックアップ中の性能劣化が少ない。
【0040】(5)システムを閉塞せずにバックアップ
を行う方法 以上の実施例で述べた内容はバックアップのためのディ
スク装置占有時間を短縮する方法であった。バックアッ
プを行っているファイルシステム、もしくはパーティシ
ョンはバックアップ中データ内部の統一性、管理情報と
の統一性が失われないように少なくとも一まとまりのフ
ァイルとその管理情報を処理中には、その領域へのライ
トアクセスを停止しなければならない。オンライントラ
ンザクション用途では24時間のサービスが要求される
場合もあり、このようなシステムの閉塞は許容できな
い。システムを閉塞せずに、バックアップを行うために
は以下の手順に従えばよい。1)バックアップ中にバッ
クアップ対象ディスク領域の中でオープンされているフ
ァイルを記録する。記録先はディスク上でも、メモリー
上でもよい。オープンしているファイルのリストは一般
に主記憶上に存在する。2)オープンされているファイ
ルは,予め更新前の状態を保持しておく。3)バックア
ップ時にオープンされていないファイルはそのまま、オ
ープンされているファイルはその更新前の状態をバック
アップする。4)ファイルがクローズされたときバック
アップ対象領域であったファイルならば差分バックアッ
プの要領で3)で行ったバックアップに連続した領域に
バックアップを行う。
【0041】1)のかわりに、ファイルオープン処理以
降の全てのライトアクセスを記録しライトアクセスのな
い領域はオープンされていてもバックアップを行い、ラ
イトアクセスのあった領域のみクローズ処理後差分バッ
クアップをおこなってもよい。
【0042】RAID5における高速ライト処理方式が
実施されている場合は、更新前の状態はもとのアドレス
にそのまま保持されていて、更新データが書込み専用の
バッファエリアにおかれる。この場合は、オープンされ
ているファイルのバックアップはもとのアドレスのデー
タをバックアップすればよいことになる。但し通常のリ
ード処理は、最新のデータをリードする必要があるため
書込み専用のバッファエリアから読まなければならな
い。この書込み専用のバッファエリアは、ディスクアレ
イ上の特定の領域を割り当ててもよいし、他のディスク
装置を使用してもよいし、ディスクキャッシュ、上位コ
ンピュータのメモリ、ディスクアレイ装置上の空き領域
等を割り当てる方法も考えられる。
【0043】更に、上位コンピュータからのアクセスを
許しながら効率よくバックアップするためには、バック
アップのためのデータ転送単位を大きくすることが効果
がある。通常のディスクデータ転送は4kB、8kB等
が一般的であるが、この数十〜数百倍にとった方が転送
効率が上がり結果的にバックアップのためにディスクが
占有される時間を小さくすることができる。欠点は、転
送単位が大きくなるためその間上位コンピュータからの
アクセスを処理できなくなることである、これについて
はRAIDと呼ばれるアーキテクチャをもったディスク
アレイ装置は元々冗長度を持ち任意の1台のディスクが
故障しても上位からのアクセスを処理できる能力がある
のだからそれを有効に利用し、バックアップのために占
有されているディスクへの上位コンピュータからのアク
セスは、そのディスクが故障した際と同様にパリティグ
ループ中の他のディスクを使用して処理するという方法
が有効である。
【0044】以上述べたように、従来のディスクドライ
ブとバックアップ装置間で直接データをやり取りする方
法に比べて、本発明のスペアディスクを介在させる方法
のほうが、ディスクドライブを占有する時間が短くなる
理由をまとめると以下のようになる。
【0045】1)ホストコンピュータからのアクセスを
一時閉塞してバックアップを行う場合。
【0046】この場合は、スペアディスクを使う場合は
スペアディスクがいっぱいになるまでデータディスクか
ら転送して一旦データディスクをバックアップジョブか
ら解放し、バックグラウンドで、スペアディスク→バッ
クアップ装置の転送ができるのに対し、従来の方法では
バックアップ装置の転送速度が遅いためデータディスク
を占有する時間が長くなる。
【0047】2)ホストコンピュータからのアクセスを
閉塞せずにバックアップを行う場合。
【0048】この場合には、一般的にはバックアップ処
理よりもホストコンピュータからのアクセスの方が優先
順位を高くして処理する。つまり、ホストコンピュータ
からのアクセスの合間をぬってバックアップ処理を行
う。従来の方式では、データディスクから直接バックア
ップ装置にデータを送るが、典型的なバックアップ装置
であるテープデバイスはテープの頭だし操作に数百ミリ
秒から数十秒かかるためデータディスクを占有する時間
が長くなる。これに対し本発明の方法では、データディ
スクからスペアディスクにデータを一旦送るため、前述
のテープの頭だしに対応するヘッド回転待ちにかかる時
間は8ミリ秒程ですむ。この差により、バックアップ中
のアクセスが頻繁であるほどデータディスクを占有する
時間が長くなり、ホストコンピュータからのアクセスの
応答時間も悪化する。
【0049】本発明は、ディスクアレイ装置のみではな
く、データ記憶装置であって、上記データ記憶装置は、
複数の種類の記憶装置(光磁気ディスク、ICカード
等)と、上記記憶装置を制御する記憶装置制御手段とを
有するものにも適用できる。すなわち、上記記憶装置の
うち、少なくとも1つは予備の記憶装置であり、上記記
憶装置制御手段は、上記記憶装置が記憶するデータをバ
ックアップするときに、バックアップの対象となる記憶
装置から上記予備の記憶装置にバックアップの対象とな
るデータを転送することを指示する処理部と、上記指示
を受けて、上記記憶装置から上記予備の記憶装置へのデ
ータ転送を制御するデータ転送制御部とを有し、上記処
理部は、上記予備の記憶装置へのデータ転送が終了後、
上記予備の記憶装置から外部のバックアップ装置にバッ
クアップの対象となるデータを転送することを指示し、
上記データ転送制御部は、上記指示を受けて、上記予備
の記憶装置から上記バックアップ装置へ、データ転送す
ることとすれば良い。
【0050】また、上記のデータ記憶装置において、上
記記憶装置制御手段は、上記記憶装置上で、使用されて
いる範囲を認識する手段を有し、上記処理部は、認識結
果により、バックアップの対象となる範囲のデータの転
送を指示することとしてもよい。
【0051】さらに、上記のデータ記憶装置において、
上記記憶装置制御手段は、上記記憶装置上で、使用され
ている範囲に関する情報を上位コンピュータから入力さ
れる手段を有し、上記処理部は、上記情報により、バッ
クアップの対象となる範囲のデータの転送を指示するこ
ととしてもよい。
【0052】また、上記のデータ記憶装置において、上
記記憶装置制御手段は、上記記憶装置上で、前回のバッ
クアップ時から、変更されたデータを認識する手段を有
し、上記処理部は、認識結果により、バックアップの対
象となる範囲のデータの転送を指示することとしてもよ
い。
【0053】また、上記のデータ記憶装置において、上
記記憶装置制御手段は、上記記憶装置上で、前回のバッ
クアップ時から、変更されたデータに関する情報を上位
コンピュータから入力される手段を有し、上記処理部
は、上記情報により、バックアップの対象となる範囲の
データの転送を指示することとしてもよい。
【0054】また、上記のデータ記憶装置において、バ
ックアップ実行中の、バックアップの対象である記憶領
域へ書き込みがあったときに、書き込まれるデータを記
録しておく手段と、書き込みが合った領域がクローズさ
れた後に、記録してあったデータをバックアップ装置に
記録する手段とを有することとしてもよい。
【0055】
【発明の効果】本発明によれば、バックアップ中のデー
タディスクの占有時間をバックアップ装置と磁気ディス
ク装置の転送速度の比だけ減らすことが出来る。典型的
な例では15分の1程度である。(磁気テープ装置:約
200kB/s、磁気ディスク装置:3MB/s)。
【0056】また、バックアップ対象領域のオープンさ
れているファイルを記録しクローズ後に再度バックアッ
プを行うことによりシステムを閉塞せずにバックアップ
を行うことが出来る。
【0057】また、更新前のデータをバックアップして
おくことにより、操作ミス等が発生しても以前の状態に
復帰することができる。更に、RAID5においてライ
ト処理を高速化するための機構を取り入れた場合、それ
をバックアップにも有効に利用し、コストパフォーマン
スを向上させる効果がある。
【図面の簡単な説明】
【図1】本発明の1実施例のブロック図。
【図2】本発明の他の実施例(ディスク装置として2ポ
ート持つ装置を使用した場合の実施例)のブロック図。
【図3】ホストコンピュータがスペアディスクとバック
アップ装置を認識する場合のホストコンピュータ側から
みた論理的接続を示す説明図。
【図4】ホストコンピュータがバックアップ装置は認識
するがスペアディスクを認識しない場合のホストコンピ
ュータ側からみた論理的接続を示す説明図。
【図5】ホストコンピュータがバックアップ装置は認識
するがスペアディスクを認識しない場合のディスクアレ
イコントローラ側の処理を示す説明図。
【図6】ホストコンピュータがバックアップ装置は認識
するがスペアディスクを認識しない場合でバックアップ
装置ドライブ側SCSIに接続の場合のディスクアレイコン
トローラ側の処理を示すブロック図。
【図7】ホストコンピュータがバックアップ装置は認識
するがスペアディスクを認識しない場合でバックアップ
装置をスペアディスクと同じSCSIに接続の場合ディスク
アレイコントローラ側の処理を示すブロック図。
【図8】ホストコンピュータがバックアップ装置もスペ
アディスクも認識しない場合のホストコンピュータ側か
らみた論理的接続を示すブロック図。
【符号の説明】
1・・ホストコンピュータ、2・・ディスクアレイコン
トローラ、3・・バックアップ装置、4・・スペアディ
スク、5・・データ/パリティディスク、6・・ホスト
側SCSIバス、7・・ドライブ側SCSIバス、8・
・バッファディスク
───────────────────────────────────────────────────── フロントページの続き (72)発明者 秋山 仁 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】ディスクアレイ装置であって、 上記ディスクアレイ装置は、複数のディスクドライブ
    と、上記ディスクドライブを制御するディスクアレイ制
    御手段とを有し、 上記ディスクドライブのうち、少なくとも1つは予備の
    ディスクドライブであり、 上記ディスクアレイ制御手段は、 上記ディスクドライブが記憶するデータをバックアップ
    するときに、バックアップの対象となるディスクドライ
    ブから上記予備のディスクドライブにバックアップの対
    象となるデータを転送することを指示する処理部と、 上記指示を受けて、上記ディスクドライブから上記予備
    のディスクドライブへのデータ転送を制御するデータ転
    送制御部とを有し、 上記処理部は、上記予備のディスクドライブへのデータ
    転送が終了後、上記予備のディスクドライブから外部の
    バックアップ装置にバックアップの対象となるデータを
    転送することを指示し、 上記データ転送制御部は、上記指示を受けて、上記予備
    のディスクドライブから上記バックアップ装置へ、デー
    タ転送することを特徴とするディスクアレイ装置。
  2. 【請求項2】請求項1記載のディスクアレイ装置におい
    て、 上記処理部は、ディスクドライブに障害が発生した場
    合、上記障害を起こしたディスクドライブの替わりに上
    記予備のディスクドライブにデータを転送することを上
    記データ転送制御部に指示し、 上記データ転送制御部は、上記予備のディスクドライブ
    に対してデータ転送を行い、 上記予備のディスクアレイ装置を上記障害を起こしたデ
    ィスクドライブの代替とすることを特徴とするディスク
    アレイ装置。
  3. 【請求項3】ディスクアレイ装置であって、 上記ディスクアレイ装置は、複数のディスクドライブ
    と、上記ディスクドライブを制御するディスクアレイ制
    御手段と、上記ディスクドライブが記憶するデータをバ
    ックアップするバックアップ装置とを有し、 上記ディスクドライブのうち、少なくとも1つは予備の
    ディスクドライブであり、 上記ディスクアレイ制御手段は、 上記ディスクドライブが記憶するデータをバックアップ
    するときに、バックアップの対象となるディスクドライ
    ブから上記予備のディスクドライブにバックアップの対
    象となるデータを転送することを指示する処理部と、 上記指示を受けて、上記ディスクドライブから上記予備
    のディスクドライブへのデータ転送を制御するデータ転
    送制御部とを有し、 上記処理部は、上記予備のディスクドライブへのデータ
    転送が終了後、上記予備のディスクアレイから上記バッ
    クアップ装置にバックアップの対象となるデータを転送
    することを指示し、 上記データ転送制御部は、上記指示を受けて、上記予備
    のディスクドライブから上記バックアップ装置へデータ
    転送することを特徴とするディスクアレイ装置。
  4. 【請求項4】請求項1、2または3記載のディスクアレ
    イ装置において、 上記ディスクドライブは、上記ディスクドライブの外部
    とのデータの入出力を制御するインタフェース部を複数
    有することを特徴とするディスクアレイ装置。
  5. 【請求項5】請求項1、2、3または4記載のディスク
    アレイ装置において、 上記ディスクアレイ制御手段は、上記ディスクドライブ
    上で、使用されている範囲を認識する手段を有し、 上記処理部は、認識結果により、バックアップの対象と
    なる範囲のデータの転送を指示することを特徴とするデ
    ィスクアレイ装置。
  6. 【請求項6】請求項1、2、3、4または5記載のディ
    スクアレイ装置において、 上記ディスクアレイ制御手段は、上記ディスクドライブ
    上で、使用されている範囲に関する情報を上位コンピュ
    ータから受付る手段を有し、 上記処理部は、上記情報により、バックアップの対象と
    なる範囲のデータの転送を指示することを特徴とするデ
    ィスクアレイ装置。
  7. 【請求項7】請求項1、2、3、4、5または6記載の
    ディスクアレイ装置において、 前回のバックアップ時から、変更されたデータを認識す
    る手段を有し、 上記処理部は、認識結果により、バックアップの対象と
    なる範囲のデータの転送を指示することを特徴とするデ
    ィスクアレイ装置。
  8. 【請求項8】請求項1、2、3、4、5、6または8記
    載のディスクアレイ装置において、 前回のバックアップ時から、変更されたデータに関する
    情報を上位コンピュータから受付る手段を有し、 上記処理部は、上記情報により、バックアップの対象と
    なる範囲のデータの転送を指示することを特徴とするデ
    ィスクアレイ装置。
  9. 【請求項9】請求項1、2、3、4、5、6、7または
    8記載のディスクアレイ装置において、 バックアップ実行中に、バックアップの対象である領域
    へ外部よりアクセスがあったときに、上記アクセスを記
    録しておく手段を有し、 上記処理部は、アクセスがあった領域のアクセスが終了
    した後に、上記領域のデータをバックアップ装置に記録
    することを特徴とするディスクアレイ装置。
  10. 【請求項10】請求項1記載のディスクアレイ装置を有
    するコンピュータシステムであって、 バックアップの対象であって、バックアップ時に上記コ
    ンピュータシステムにより、バックアップ以外の目的で
    書き換えられる可能性のあるデータを事前に保存してお
    く保存手段を有し、 上記制御手段は、バックアップを行う際に、上記コンピ
    ュータシステムにより書き換えられる可能性のないデー
    タは、上記ディスクドライブから上記予備のディスクド
    ライブに転送することを指示し、上記コンピュータシス
    テムにより書き換えられる可能性のあるデータは、上記
    保存手段から上記予備のディスクドライブに転送するこ
    とを指示することを特徴とするコンピュータシステム。
  11. 【請求項11】請求項10記載のコンピュータシステム
    において、 バックアップ以外の目的で書き換えられる可能性のある
    上記データがバックアップに使用可能になったことを認
    識する手段を有し、 上記処理部は、バックアップに使用可能になった後、バ
    ックアップ以外の目的で書き換えられる可能性があると
    された上記データを上記ディスクドライブから上記予備
    のディスクドライブに転送することを指示することを特
    徴とするコンピュータシステム。
  12. 【請求項12】請求項1記載のディスクアレイ装置を有
    するコンピュータシステムであって、 バックアップの対象であって、バックアップ時に上記コ
    ンピュータシステムにより、バックアップ以外の目的に
    使用される可能性のあるデータを認識する手段を有し、 上記処理部は、バックアップを行う際に、使用される可
    能性のないデータは、上記ディスクドライブから上記予
    備のディスクドライブに転送することを指示し、使用さ
    れる可能性のあるデータは、上記ディスクドライブから
    上記予備のディスクドライブに転送することを指示しな
    いことを特徴とするコンピュータシステム。
  13. 【請求項13】請求項12記載のコンピュータシステム
    において、 バックアップ中にバックアップ以外の目的で使用される
    可能性のあるデータがバックアップに使用可能になった
    ことを認識する手段を有し、 上記処理部は、バックアップに使用可能になった後、上
    記バックアップ以外の目的で使用される可能性があると
    されたデータを上記ディスクドライブから上記予備のデ
    ィスクドライブに転送することを指示することを特徴と
    するコンピュータシステム。
  14. 【請求項14】請求項1記載のディスクアレイ装置を有
    するコンピュータシステムであって、 上記処理部は、外部からディスクアレイ装置への書き込
    み要求があったときは、バックアップの対象となってい
    ない領域に書き込み、その書き込みを記録しておくこと
    を特徴とするコンピュータシステム。
  15. 【請求項15】データ記憶装置であって、 上記データ記憶装置は、複数の種類の記憶装置と、上記
    記憶装置を制御する記憶装置制御手段とを有し、 上記記憶装置のうち、少なくとも1つは予備の記憶装置
    であり、 上記記憶装置制御手段は、 上記記憶装置が記憶するデータをバックアップするとき
    に、バックアップの対象となる記憶装置から上記予備の
    記憶装置にバックアップの対象となるデータを転送する
    ことを指示する処理部と、 上記指示を受けて、上記記憶装置から上記予備の記憶装
    置へのデータ転送を制御するデータ転送制御部とを有
    し、 上記処理部は、上記予備の記憶装置へのデータ転送が終
    了後、上記予備の記憶装置から外部のバックアップ装置
    にバックアップの対象となるデータを転送することを指
    示し、 上記データ転送制御部は、上記指示を受けて、上記予備
    の記憶装置から上記バックアップ装置へ、データ転送す
    ることを特徴とするデータ記憶装置。
  16. 【請求項16】請求項15記載のデータ記憶装置におい
    て、 上記記憶装置制御手段は、上記記憶装置上で、使用され
    ている範囲を認識する手段を有し、 上記処理部は、認識結果により、バックアップの対象と
    なる範囲のデータの転送を指示することを特徴とするデ
    ータ記憶装置。
  17. 【請求項17】請求項15または16記載のデータ記憶
    装置において、 上記記憶装置制御手段は、上記記憶装置上で、使用され
    ている範囲に関する情報を上位コンピュータから受付る
    手段を有し、 上記処理部は、上記情報により、バックアップの対象と
    なる範囲のデータの転送を指示することを特徴とするデ
    ータ記憶装置。
  18. 【請求項18】請求項15、16または17記載のデー
    タ記憶装置において、 上記記憶装置制御手段は、上記記憶装置上で、前回のバ
    ックアップ時から、変更されたデータを認識する手段を
    有し、 上記処理部は、認識結果により、バックアップの対象と
    なる範囲のデータの転送を指示することを特徴とするデ
    ータ記憶装置。
  19. 【請求項19】請求項15、16、17または18記載
    のデータ記憶装置において、 上記記憶装置制御手段は、上記記憶装置上で、前回のバ
    ックアップ時から、変更されたデータに関する情報を上
    位コンピュータから受付る手段を有し、 上記処理部は、上記情報により、バックアップの対象と
    なる範囲のデータの転送を指示することを特徴とするデ
    ータ記憶装置。
  20. 【請求項20】請求項15、16、17、18または1
    9記載のデータ記憶装置において、 バックアップ実行中の、バックアップの対象である記憶
    領域へ書き込みがあったときに、書き込まれるデータを
    記録しておく手段と、 書き込みが合った領域がクローズされた後に、記録して
    あったデータをバックアップ装置に記録する手段とを有
    することを特徴とするデータ記憶装置。
JP03031593A 1993-02-19 1993-02-19 ディスクアレイ装置、コンピュータシステム及びデータ記憶装置 Expired - Lifetime JP3250859B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03031593A JP3250859B2 (ja) 1993-02-19 1993-02-19 ディスクアレイ装置、コンピュータシステム及びデータ記憶装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03031593A JP3250859B2 (ja) 1993-02-19 1993-02-19 ディスクアレイ装置、コンピュータシステム及びデータ記憶装置

Publications (2)

Publication Number Publication Date
JPH06242888A true JPH06242888A (ja) 1994-09-02
JP3250859B2 JP3250859B2 (ja) 2002-01-28

Family

ID=12300369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03031593A Expired - Lifetime JP3250859B2 (ja) 1993-02-19 1993-02-19 ディスクアレイ装置、コンピュータシステム及びデータ記憶装置

Country Status (1)

Country Link
JP (1) JP3250859B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996015488A1 (en) * 1994-11-11 1996-05-23 Hitachi, Ltd. Disk array controller and disk array device
JP2000148652A (ja) * 1998-11-12 2000-05-30 Hitachi Ltd ディスクアレイ制御方法およびディスクアレイ制御装置
WO2001082050A1 (fr) * 2000-04-26 2001-11-01 Matsushita Electric Industrial Co., Ltd. Unite de disque magnetique, procedes d'enregistrement et de reproduction de donnees
KR100802235B1 (ko) * 2006-07-20 2008-02-11 후지쯔 가부시끼가이샤 데이터 기록 장치, 데이터 기록 매체, 및 데이터 기록 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996015488A1 (en) * 1994-11-11 1996-05-23 Hitachi, Ltd. Disk array controller and disk array device
JP2000148652A (ja) * 1998-11-12 2000-05-30 Hitachi Ltd ディスクアレイ制御方法およびディスクアレイ制御装置
WO2001082050A1 (fr) * 2000-04-26 2001-11-01 Matsushita Electric Industrial Co., Ltd. Unite de disque magnetique, procedes d'enregistrement et de reproduction de donnees
KR100802235B1 (ko) * 2006-07-20 2008-02-11 후지쯔 가부시끼가이샤 데이터 기록 장치, 데이터 기록 매체, 및 데이터 기록 방법

Also Published As

Publication number Publication date
JP3250859B2 (ja) 2002-01-28

Similar Documents

Publication Publication Date Title
US6009481A (en) Mass storage system using internal system-level mirroring
JP2501752B2 (ja) コンピユ―タ・システムのストレ―ジ装置及びデ―タのストア方法
US5239640A (en) Data storage system and method including data and checksum write staging storage
US6049890A (en) Disk array system and its control method
US7975168B2 (en) Storage system executing parallel correction write
US6604171B1 (en) Managing a cache memory
US6591335B1 (en) Fault tolerant dual cache system
JPH05314660A (ja) 記憶装置
US6571314B1 (en) Method for changing raid-level in disk array subsystem
EP0701208B1 (en) Disk array subsystem and data generation method therefor
JPH10105344A (ja) データ記録装置システム及びそのデータ書込方法
JP2002049511A (ja) アドレスの割付変更方法及びこれを用いた外部記憶サブシステム
JP2742186B2 (ja) ディスクドライバ,ディスクアレイ装置,データ記憶システム及びディスクアレイシステムのデータバックアップ方法
US6611897B2 (en) Method and apparatus for implementing redundancy on data stored in a disk array subsystem based on use frequency or importance of the data
JPH0773090A (ja) 計算機システムおよび二次記憶装置
JP4252102B2 (ja) 計算機システムおよび二次記憶装置
JP3250859B2 (ja) ディスクアレイ装置、コンピュータシステム及びデータ記憶装置
US20050223180A1 (en) Accelerating the execution of I/O operations in a storage system
JP3845239B2 (ja) ディスクアレイ装置及びディスクアレイ装置における障害復旧方法
JP3747937B2 (ja) 計算機システムおよび二次記憶装置
JP3202550B2 (ja) ディスクアレイサブシステム
JP3236166B2 (ja) キャッシュ制御方法および情報処理装置
JP3747788B2 (ja) 計算機システムおよび二次記憶装置
JP4128206B2 (ja) 計算機システムおよび二次記憶装置
JPH1031563A (ja) 記憶装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071116

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081116

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081116

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091116

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101116

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101116

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111116

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111116

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121116

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121116

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131116

Year of fee payment: 12

EXPY Cancellation because of completion of term