JPH0876941A - ディスクアレイサブシステム - Google Patents
ディスクアレイサブシステムInfo
- Publication number
- JPH0876941A JPH0876941A JP6215590A JP21559094A JPH0876941A JP H0876941 A JPH0876941 A JP H0876941A JP 6215590 A JP6215590 A JP 6215590A JP 21559094 A JP21559094 A JP 21559094A JP H0876941 A JPH0876941 A JP H0876941A
- Authority
- JP
- Japan
- Prior art keywords
- data
- parity
- disk
- interface
- buffer memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/18—Error detection or correction; Testing, e.g. of drop-outs
- G11B20/1833—Error detection or correction; Testing, e.g. of drop-outs by adding special lists or symbols to the coded information
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1008—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices
- G06F11/1012—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's in individual solid state devices using codes or arrangements adapted for a specific type of error
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
- G06F2211/10—Indexing scheme relating to G06F11/10
- G06F2211/1002—Indexing scheme relating to G06F11/1076
- G06F2211/1054—Parity-fast hardware, i.e. dedicated fast hardware for RAID systems with parity
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
(57)【要約】
【目的】ディスクアレイサブシステムのライトペナルテ
ィの低減を目的とする。 【構成】ディスク装置は上位インタフェースを２チャン
ネル持ち、一方のチャネルは制御装置と接続し、他方の
チャネルは複数のディスク装置間で接続される。データ
ディスク装置は記録媒体上の旧データを読みだし、制御
装置からの排他的論理和を計算し、仮のパリティデータ
とし他方のチャネルからパリティディスクへ転送する。
パリティディスク装置は記録媒体上の旧パリティデータ
を読みだし、上記仮のパリティデータとの排他的論理和
を計算し新パリティデータとしてへ書き込む。 【効果】本発明を用いた場合、従来はディスクアレイ制
御装置が行なうパリティデータ更新処理をディスク装置
がオフラインで処理するので、上位ホストコンピュータ
から見たデータ書き込み時の性能が向上する。
ィの低減を目的とする。 【構成】ディスク装置は上位インタフェースを２チャン
ネル持ち、一方のチャネルは制御装置と接続し、他方の
チャネルは複数のディスク装置間で接続される。データ
ディスク装置は記録媒体上の旧データを読みだし、制御
装置からの排他的論理和を計算し、仮のパリティデータ
とし他方のチャネルからパリティディスクへ転送する。
パリティディスク装置は記録媒体上の旧パリティデータ
を読みだし、上記仮のパリティデータとの排他的論理和
を計算し新パリティデータとしてへ書き込む。 【効果】本発明を用いた場合、従来はディスクアレイ制
御装置が行なうパリティデータ更新処理をディスク装置
がオフラインで処理するので、上位ホストコンピュータ
から見たデータ書き込み時の性能が向上する。
Description
【０００１】
【産業上の利用分野】本発明は、ディスク装置を複数台
接続して並列動作させるディスクアレイサブシステムに
関し、特にＲＡＩＤ４及びＲＡＩＤ５におけるライトペ
ナルティの低減を実現するディスクアレイサブシステム
に関する。
接続して並列動作させるディスクアレイサブシステムに
関し、特にＲＡＩＤ４及びＲＡＩＤ５におけるライトペ
ナルティの低減を実現するディスクアレイサブシステム
に関する。
【０００２】
【従来の技術】ディスクアレイサブシステムは安価な小
型ディスク装置を複数台接続し、並列動作させることに
より、大型ディスク装置相当の性能を持たせる磁気ディ
スク装置である。図７に一般的なディスクアレイの構成
を示す。このディスクアレイは、ホストインタフェース
１２を介してホストコンピュータ１に接続されるディス
クアレイ制御部２と、このディスクアレイ制御部２に接
続され並列に動作する複数のディスク装置１８とから構
成される。ディスクアレイ制御部２は、ホストコンピュ
ータ１からの読み出しあるいは書き込み命令を一旦格納
するホストインタフェース制御部３、ディスクアレイ制
御部２の動作を制御するＣＰＵ４、ホストコンピュータ
１とディスク装置１８との間で転送されるデータを格納
するキャッシュメモリ６、キャッシュメモリを制御する
キャッシュメモリ制御部５、ディスク装置１８とのデー
タ転送を制御するディスク制御部７により構成される。
型ディスク装置を複数台接続し、並列動作させることに
より、大型ディスク装置相当の性能を持たせる磁気ディ
スク装置である。図７に一般的なディスクアレイの構成
を示す。このディスクアレイは、ホストインタフェース
１２を介してホストコンピュータ１に接続されるディス
クアレイ制御部２と、このディスクアレイ制御部２に接
続され並列に動作する複数のディスク装置１８とから構
成される。ディスクアレイ制御部２は、ホストコンピュ
ータ１からの読み出しあるいは書き込み命令を一旦格納
するホストインタフェース制御部３、ディスクアレイ制
御部２の動作を制御するＣＰＵ４、ホストコンピュータ
１とディスク装置１８との間で転送されるデータを格納
するキャッシュメモリ６、キャッシュメモリを制御する
キャッシュメモリ制御部５、ディスク装置１８とのデー
タ転送を制御するディスク制御部７により構成される。
【０００３】リード時、要求されたデータがキャッシュ
メモリ６にあることがキャッシュ制御部５によって確認
された場合、そのデータはキャッシュメモリ６からホス
トインタフェース１２を介してホストコンピュータ１に
転送される。要求されたデータがキャッシュメモリ６に
ない場合、ＣＰＵ４はそのデータを格納するディスク装
置１８からディスク制御部７とキャッシュメモリ制御部
５を介してキャッシュメモリ６に格納される。キャッシ
ュメモリ制御部５は格納終了後、あるいは同時平行して
データをホストコンピュータ１に転送する。
メモリ６にあることがキャッシュ制御部５によって確認
された場合、そのデータはキャッシュメモリ６からホス
トインタフェース１２を介してホストコンピュータ１に
転送される。要求されたデータがキャッシュメモリ６に
ない場合、ＣＰＵ４はそのデータを格納するディスク装
置１８からディスク制御部７とキャッシュメモリ制御部
５を介してキャッシュメモリ６に格納される。キャッシ
ュメモリ制御部５は格納終了後、あるいは同時平行して
データをホストコンピュータ１に転送する。
【０００４】ライト時、ホストコンピュータ１から転送
されるライトデータは、ホストインタフェース１２及び
ホストインタフェース制御部３を介してキャッシュメモ
リ制御部５によりキャッシュメモリ６に格納される。キ
ャッシュメモリ制御部５は格納終了後、あるいは同時平
行してディスク制御部７を介してライトデータをＣＰＵ
４の指定するディスク装置１８に書き込む。
されるライトデータは、ホストインタフェース１２及び
ホストインタフェース制御部３を介してキャッシュメモ
リ制御部５によりキャッシュメモリ６に格納される。キ
ャッシュメモリ制御部５は格納終了後、あるいは同時平
行してディスク制御部７を介してライトデータをＣＰＵ
４の指定するディスク装置１８に書き込む。
【０００５】ディスクアレイサブシステムは、信頼性確
保のため、複数のデータディスクに格納されるデータの
パリティを作成し、パリティディスクに格納している。
ＲＡＩＤ４では、パリティディスクは特定のディスク装
置に固定されている。ＲＡＩＤ５では、アクセスがパリ
ティディスクに集中することによる性能低下を考慮し、
データ単位毎に全ディスク装置均等にパリティを分散す
る。
保のため、複数のデータディスクに格納されるデータの
パリティを作成し、パリティディスクに格納している。
ＲＡＩＤ４では、パリティディスクは特定のディスク装
置に固定されている。ＲＡＩＤ５では、アクセスがパリ
ティディスクに集中することによる性能低下を考慮し、
データ単位毎に全ディスク装置均等にパリティを分散す
る。
【０００６】米国特許公報５１９１５８４号には、ＲＡ
ＩＤ４あるいは５のディスクアレイサブシステムにおけ
るデータ更新方法が示されている。このデータ更新方法
では、制御装置が処理データ単位毎に１台のデータディ
スクにアクセスする場合、データ書込み時でも全データ
ディスクにアクセスする必要はない。制御装置は書込み
対象のデータディスクの旧データとパリティディスクの
旧パリティデータとホストコンピュータより転送された
新データとの排他的論理和により新パリティデータを計
算し、その新パリティデータによりパリティディスクを
更新する。そのため、書込み対象のデータディスクとパ
リティディスク以外のディスクは別の処理が可能であ
る。特にＲＡＩＤ５の場合、パリティディスクが特定さ
れないため、同時に書き込み処理を行うことも可能にな
る。
ＩＤ４あるいは５のディスクアレイサブシステムにおけ
るデータ更新方法が示されている。このデータ更新方法
では、制御装置が処理データ単位毎に１台のデータディ
スクにアクセスする場合、データ書込み時でも全データ
ディスクにアクセスする必要はない。制御装置は書込み
対象のデータディスクの旧データとパリティディスクの
旧パリティデータとホストコンピュータより転送された
新データとの排他的論理和により新パリティデータを計
算し、その新パリティデータによりパリティディスクを
更新する。そのため、書込み対象のデータディスクとパ
リティディスク以外のディスクは別の処理が可能であ
る。特にＲＡＩＤ５の場合、パリティディスクが特定さ
れないため、同時に書き込み処理を行うことも可能にな
る。
【０００７】
【発明が解決しようとする課題】この方法において問題
になるのは、図８に示すようにデータ書込み時にパリテ
ィディスクの更新のために以下の５つの処理が発生し、
処理能力が低下することである。 １）旧データを当該アドレスのデータディスクより読み
出す。 ２）旧パリティデータを当該アドレスのパリティディス
クより読み出す。 ３）新データを当該アドレスのデータディスクに書き込
む。 ４）新データと旧データと旧パリティデータの排他的論
理和を計算し、新パリティデータを求める。 ５）前記新パリティデータをパリティディスクに書き込
む。 上述した５つの処理のうち、４）以外の４つの処理はデ
ィスク装置の記録媒体に対するアクセス処理を伴うもの
であり、ディスクアレイサブシステムの処理能力低下の
原因となる。このようなデータ書込み時に発生するパリ
ティディスクの更新のための記録媒体に対するアクセス
処理の増加による処理能力の低下は、ライトペナルティ
と呼ばれている。
になるのは、図８に示すようにデータ書込み時にパリテ
ィディスクの更新のために以下の５つの処理が発生し、
処理能力が低下することである。 １）旧データを当該アドレスのデータディスクより読み
出す。 ２）旧パリティデータを当該アドレスのパリティディス
クより読み出す。 ３）新データを当該アドレスのデータディスクに書き込
む。 ４）新データと旧データと旧パリティデータの排他的論
理和を計算し、新パリティデータを求める。 ５）前記新パリティデータをパリティディスクに書き込
む。 上述した５つの処理のうち、４）以外の４つの処理はデ
ィスク装置の記録媒体に対するアクセス処理を伴うもの
であり、ディスクアレイサブシステムの処理能力低下の
原因となる。このようなデータ書込み時に発生するパリ
ティディスクの更新のための記録媒体に対するアクセス
処理の増加による処理能力の低下は、ライトペナルティ
と呼ばれている。
【０００８】本発明の目的は、データ書込み時にライト
ペナルティにより記録媒体に対するアクセス処理が増加
しても処理能力の低下しないディスクアレイサブシステ
ムを提供することにある。
ペナルティにより記録媒体に対するアクセス処理が増加
しても処理能力の低下しないディスクアレイサブシステ
ムを提供することにある。
【０００９】
【課題を解決するための手段】本発明のディスクアレイ
サブシステムを構成するディスク装置は、２つのインタ
フェースを有する。第１のインタフェースはディスク制
御装置とディスク装置とを接続し、第２のインタフェー
スはパリティを共有する複数のディスク装置を相互に接
続する。
サブシステムを構成するディスク装置は、２つのインタ
フェースを有する。第１のインタフェースはディスク制
御装置とディスク装置とを接続し、第２のインタフェー
スはパリティを共有する複数のディスク装置を相互に接
続する。
【００１０】ホストコンピュータから転送された新デー
タは、ディスクアレイ制御装置によってディスク装置に
転送される。ディスク装置は第１のインタフェースによ
り新データを受け取る一方で記録媒体上の旧データを読
みだし、新データと旧データとの排他的論理和を計算
し、その結果を仮のパリティデータとして第２のインタ
フェースからパリティディスクへ転送するとともに、新
データを記憶媒体上に書き込む。この新データのパリテ
ィデータが格納されているディスク装置は仮のパリティ
データを第２のインタフェースから受け取る一方で記録
媒体上の旧パリティデータを読みだし、仮のパリティデ
ータと旧パリティデータとの排他的論理和を計算し、そ
の結果を新パリティデータとして記録媒体上に書き込
む。
タは、ディスクアレイ制御装置によってディスク装置に
転送される。ディスク装置は第１のインタフェースによ
り新データを受け取る一方で記録媒体上の旧データを読
みだし、新データと旧データとの排他的論理和を計算
し、その結果を仮のパリティデータとして第２のインタ
フェースからパリティディスクへ転送するとともに、新
データを記憶媒体上に書き込む。この新データのパリテ
ィデータが格納されているディスク装置は仮のパリティ
データを第２のインタフェースから受け取る一方で記録
媒体上の旧パリティデータを読みだし、仮のパリティデ
ータと旧パリティデータとの排他的論理和を計算し、そ
の結果を新パリティデータとして記録媒体上に書き込
む。
【００１１】
【作用】本発明によれば、ディスクアレイサブシステム
のパリティデータの更新のための旧データ、旧パリティ
データの読みだし処理、新パリティデータの計算及び書
込みの処理をディスク装置が行うため、ディスクアレイ
制御装置の負担は軽減される。また、仮のパリティデー
タの転送をディスクアレイ制御装置を介さずに行うた
め、ディスク制御装置からディスク装置へのアクセスの
集中による処理能力の低下を防止でき、データ書込み時
の性能が向上する。
のパリティデータの更新のための旧データ、旧パリティ
データの読みだし処理、新パリティデータの計算及び書
込みの処理をディスク装置が行うため、ディスクアレイ
制御装置の負担は軽減される。また、仮のパリティデー
タの転送をディスクアレイ制御装置を介さずに行うた
め、ディスク制御装置からディスク装置へのアクセスの
集中による処理能力の低下を防止でき、データ書込み時
の性能が向上する。
【００１２】
【実施例】図１に本発明の実施例を示す。この実施例で
は、パリティグループはｎ台のデータディスク装置と１
台のパリティディスク装置とで構成される。各ディスク
装置８は２つのインタフェースを有する。一方はディス
ク制御部７を介してホストコンピュータに接続されるイ
ンターフェース１３である。他方はパリティグループを
構成するディスク装置を相互に接続するインタフェース
１４である。ここではインターフェース１３をディスク
インタフェース、インタフェース１４をパリティインタ
フェースと称する。
は、パリティグループはｎ台のデータディスク装置と１
台のパリティディスク装置とで構成される。各ディスク
装置８は２つのインタフェースを有する。一方はディス
ク制御部７を介してホストコンピュータに接続されるイ
ンターフェース１３である。他方はパリティグループを
構成するディスク装置を相互に接続するインタフェース
１４である。ここではインターフェース１３をディスク
インタフェース、インタフェース１４をパリティインタ
フェースと称する。
【００１３】書き込み命令を受け取ったディスク装置８
は、ディスクインタフェース１３によって転送された新
データとディスク媒体上の旧データの排他的論理和を計
算し、その計算結果を第２のインタフェースを介してパ
リティディスク装置に転送する。パリティディスク装置
はその計算結果とディスク装置に格納されている旧パリ
ティデータの排他的論理和を新パリティデータとして格
納する。
は、ディスクインタフェース１３によって転送された新
データとディスク媒体上の旧データの排他的論理和を計
算し、その計算結果を第２のインタフェースを介してパ
リティディスク装置に転送する。パリティディスク装置
はその計算結果とディスク装置に格納されている旧パリ
ティデータの排他的論理和を新パリティデータとして格
納する。
【００１４】図２にディスク装置８の詳細な構成を示
す。ディスク装置８はディスクインタフェース１３ある
いはパリティインタフェース１４から転送されるデータ
を格納するバッファメモリ２１、記録媒体から読みだし
たデータを格納するバッファメモリ２２、バッファメモ
リ２１の出力とバッファメモリ２２の出力との排他的論
理和を計算する演算部２３、パリティインタフェース１
４の接続先を切り替える切り替え部Ａ２４、記録媒体の
接続先を切り替える切り替え部Ｂ２５、データを格納す
る記録媒体２６、ディスク装置の動作を制御するＣＰＵ
２７を有する。
す。ディスク装置８はディスクインタフェース１３ある
いはパリティインタフェース１４から転送されるデータ
を格納するバッファメモリ２１、記録媒体から読みだし
たデータを格納するバッファメモリ２２、バッファメモ
リ２１の出力とバッファメモリ２２の出力との排他的論
理和を計算する演算部２３、パリティインタフェース１
４の接続先を切り替える切り替え部Ａ２４、記録媒体の
接続先を切り替える切り替え部Ｂ２５、データを格納す
る記録媒体２６、ディスク装置の動作を制御するＣＰＵ
２７を有する。
【００１５】バッファメモリ２１は、ディスク装置がデ
ータディスクの場合はディスクインタフェース１３から
転送される書込みデータ（新データ）を格納し、ディス
ク装置がパリティディスクの場合はパリティインタフェ
ース１４から転送される仮パリティを格納する。
ータディスクの場合はディスクインタフェース１３から
転送される書込みデータ（新データ）を格納し、ディス
ク装置がパリティディスクの場合はパリティインタフェ
ース１４から転送される仮パリティを格納する。
【００１６】切り替え部Ａ２４は、ディスク装置がデー
タディスクの場合は仮パリティをパリティインタフェー
スに出力するためにａ１側に切り替えられ、ディスク装
置がパリティディスクの場合はパリティインタフェース
１４から転送される仮パリティをバッファメモリ２１に
格納するためにａ２側に切り替えられる。
タディスクの場合は仮パリティをパリティインタフェー
スに出力するためにａ１側に切り替えられ、ディスク装
置がパリティディスクの場合はパリティインタフェース
１４から転送される仮パリティをバッファメモリ２１に
格納するためにａ２側に切り替えられる。
【００１７】バッファメモリ２２は、記録媒体２６の旧
データあるいは旧パリティを格納する。そして、ディス
ク装置がデータディスクの場合は新データと旧データと
の排他的論理和をパリティインタフェースに出力し、バ
ッファメモリ２１に格納されている新データを記録媒体
２６に格納する。ディスク装置がパリティディスクの場
合は仮パリティと旧パリティとの排他的論理和を新パリ
ティとして記録媒体２６に格納する。
データあるいは旧パリティを格納する。そして、ディス
ク装置がデータディスクの場合は新データと旧データと
の排他的論理和をパリティインタフェースに出力し、バ
ッファメモリ２１に格納されている新データを記録媒体
２６に格納する。ディスク装置がパリティディスクの場
合は仮パリティと旧パリティとの排他的論理和を新パリ
ティとして記録媒体２６に格納する。
【００１８】切り替え部Ｂ２５は、記録媒体２６のデー
タをバッファメモリ２２に格納する際はｂ１側に切り替
えられる。そして、バッファメモリ２１に格納されてい
る新データを記録媒体２６に格納する際はｂ２側に、新
パリティを記録媒体２６に格納する際はｂ３側に切り替
えられる。
タをバッファメモリ２２に格納する際はｂ１側に切り替
えられる。そして、バッファメモリ２１に格納されてい
る新データを記録媒体２６に格納する際はｂ２側に、新
パリティを記録媒体２６に格納する際はｂ３側に切り替
えられる。
【００１９】図３は本発明の一実施例を示し、ＲＡＩＤ
４の場合の構成を示す。ＲＡＩＤ４ではパリティディス
クは固定されている。この実施例ではディスク装置８−
１（ｎ＋１）〜８−ｍ（ｎ＋１）をパリティディスクと
する。
４の場合の構成を示す。ＲＡＩＤ４ではパリティディス
クは固定されている。この実施例ではディスク装置８−
１（ｎ＋１）〜８−ｍ（ｎ＋１）をパリティディスクと
する。
【００２０】図４に、この実施例の詳細な処理について
示す。インタフェース１３−１を介してディスク制御部
７−１からアドレス＃０への書き込みデータを受領した
ディスク装置８−１１は、 １）ディスク装置内のバッファメモリ２１にデータをす
べて受領した時点でディスク制御部７−１に終了報告す
る。 ２）記録媒体上のアドレス＃０の旧データを読みだす。
（この処理はバッファメモリＢに事前に読みだしておい
てもよいし、新データのバッファ書き込みと同時並行し
て行ってもよい。） ３）新データと旧データの排他的論理和を計算する。 ４）計算結果を仮パリティとし、該当するアドレスのパ
リティデータを格納するディスク装置へインタフェース
１４−１を介して転送する。 ５）新データを記録媒体２６上のアドレス＃０に書き込
む。
示す。インタフェース１３−１を介してディスク制御部
７−１からアドレス＃０への書き込みデータを受領した
ディスク装置８−１１は、 １）ディスク装置内のバッファメモリ２１にデータをす
べて受領した時点でディスク制御部７−１に終了報告す
る。 ２）記録媒体上のアドレス＃０の旧データを読みだす。
（この処理はバッファメモリＢに事前に読みだしておい
てもよいし、新データのバッファ書き込みと同時並行し
て行ってもよい。） ３）新データと旧データの排他的論理和を計算する。 ４）計算結果を仮パリティとし、該当するアドレスのパ
リティデータを格納するディスク装置へインタフェース
１４−１を介して転送する。 ５）新データを記録媒体２６上のアドレス＃０に書き込
む。
【００２１】仮パリティをインタフェース１４−１を介
してデータディスク装置８−１１より受領したパリティ
ディスク装置８−１（ｎ＋１）は、 １）データをディスク装置内のバッファメモリ２１にす
べて受領した時点で データディスク装置８−１１に終
了報告する。 ２）記録媒体２６上の、アドレス＃０ｎＰの旧パリティ
データを読みだす。（この処理はバッファメモリ２２に
事前に読みだしておいてもよいし、仮パリ ティデータ
のバッファ書き込みと同時並行して行ってもよい。） ３）仮パリティデータと旧パリティデータの排他的論理
和を計算する。 ４）計算結果を新パリティデータとして記録媒体２６上
のアドレス＃０ｎＰに書き込む。
してデータディスク装置８−１１より受領したパリティ
ディスク装置８−１（ｎ＋１）は、 １）データをディスク装置内のバッファメモリ２１にす
べて受領した時点で データディスク装置８−１１に終
了報告する。 ２）記録媒体２６上の、アドレス＃０ｎＰの旧パリティ
データを読みだす。（この処理はバッファメモリ２２に
事前に読みだしておいてもよいし、仮パリ ティデータ
のバッファ書き込みと同時並行して行ってもよい。） ３）仮パリティデータと旧パリティデータの排他的論理
和を計算する。 ４）計算結果を新パリティデータとして記録媒体２６上
のアドレス＃０ｎＰに書き込む。
【００２２】上述した処理によれば、上位装置からのデ
ータをディスク装置のバッファメモリに格納した時点
で、ディスク装置が終了報告を送信するので、データ書
込み時の処理時間を上位装置から見て短縮できる。
ータをディスク装置のバッファメモリに格納した時点
で、ディスク装置が終了報告を送信するので、データ書
込み時の処理時間を上位装置から見て短縮できる。
【００２３】図５は本発明の他の実施例を示し、ＲＡＩ
Ｄ５の場合の構成を示す。ＲＡＩＤ５ではパリティディ
スクは固定されず、データ処理単位毎に（ｎ＋１）台の
データディスク間でローテーションする。それ以外の動
作はＲＡＩＤ４の場合と同じである。データディスク装
置が、仮パリティを転送するために、どのディスク装置
が該当するパリティディスクかを認識する必要がある。
その手段としては、ディスク制御部が書き込み命令の中
で教える方法、あるいは本実施例のようにパリティデー
タが順にシフトしていくことから、アドレスを（ｎ＋
１）で割った余りとディスク装置自身のＩＤ番号から計
算する方法がある。
Ｄ５の場合の構成を示す。ＲＡＩＤ５ではパリティディ
スクは固定されず、データ処理単位毎に（ｎ＋１）台の
データディスク間でローテーションする。それ以外の動
作はＲＡＩＤ４の場合と同じである。データディスク装
置が、仮パリティを転送するために、どのディスク装置
が該当するパリティディスクかを認識する必要がある。
その手段としては、ディスク制御部が書き込み命令の中
で教える方法、あるいは本実施例のようにパリティデー
タが順にシフトしていくことから、アドレスを（ｎ＋
１）で割った余りとディスク装置自身のＩＤ番号から計
算する方法がある。
【００２４】図６にＲＡＩＤ５の場合の詳細な処理につ
いて示す。インタフェース１３−１を介してディスク制
御部７−１からアドレス＃０への書き込みデータを受領
したディスク装置８−１１は、 １）ディスク装置内のバッファメモリ２１にデータをす
べて受領した時点で ディスク制御部７−１に終了報告
する。 ２）記録媒体２６上の、アドレス＃０の旧データを読み
だす。（この処理はバッファメモリＢの別番地に事前に
読みだしておいてもよいし、新データのバッファ書き込
みと同時並行して行ってもよい。） ３）新データと旧データの排他的論理和を計算する。 ４）計算結果を仮パリティとし、該当するアドレスのパ
リティデータを格納するディスク装置へインタフェース
１４−１を介して転送する。 ５）新データをディスクメディア上のアドレス＃０に書
き込む。
いて示す。インタフェース１３−１を介してディスク制
御部７−１からアドレス＃０への書き込みデータを受領
したディスク装置８−１１は、 １）ディスク装置内のバッファメモリ２１にデータをす
べて受領した時点で ディスク制御部７−１に終了報告
する。 ２）記録媒体２６上の、アドレス＃０の旧データを読み
だす。（この処理はバッファメモリＢの別番地に事前に
読みだしておいてもよいし、新データのバッファ書き込
みと同時並行して行ってもよい。） ３）新データと旧データの排他的論理和を計算する。 ４）計算結果を仮パリティとし、該当するアドレスのパ
リティデータを格納するディスク装置へインタフェース
１４−１を介して転送する。 ５）新データをディスクメディア上のアドレス＃０に書
き込む。
【００２５】仮パリティをインタフェース１４−１を介
してデータディスク装置８−１１より受領したパリティ
ディスク装置８−１（ｎ＋１）は、 １）ディスク装置内のバッファメモリ２１にデータをす
べて受領した時点でデータディスク装置に終了報告す
る。 ２）記録媒体２６上の、アドレス＃０Ｐの旧パリティデ
ータを読みだす。（この処理はバッファメモリ２２に事
前に読みだしておいてもよいし、仮パリティデータのバ
ッファ書き込みと同時並行して行ってもよい。） ３）仮パリティデータと旧パリティデータの排他的論理
和を計算する。
してデータディスク装置８−１１より受領したパリティ
ディスク装置８−１（ｎ＋１）は、 １）ディスク装置内のバッファメモリ２１にデータをす
べて受領した時点でデータディスク装置に終了報告す
る。 ２）記録媒体２６上の、アドレス＃０Ｐの旧パリティデ
ータを読みだす。（この処理はバッファメモリ２２に事
前に読みだしておいてもよいし、仮パリティデータのバ
ッファ書き込みと同時並行して行ってもよい。） ３）仮パリティデータと旧パリティデータの排他的論理
和を計算する。
【００２６】４）計算結果を、新パリティデータとして
記録媒体２６上のアドレス＃０ｎＰに書き込む。
記録媒体２６上のアドレス＃０ｎＰに書き込む。
【００２７】ＲＡＩＤ５では、パリティディスクを固定
しないことにより、ホストコンピュータの要求アドレス
（例えば＃０）が存在するディスク装置８−１１および
当該パリティデータが存在するディスク装置８−１（ｎ
＋１）に対して書き込み処理中に、別のディスク装置８
−１３のアドレス＃（２ｎ＋１）および当該パリティデ
ータが存在するディスク装置８−１２へのアクセスも可
能となる。従って、パリティインタフェース上のパリテ
ィ更新処理と制御装置インタフェース上でのデータ書込
み／読出し処理とが、複数のディスク装置によって並行
して実行できるようにすることにより、更にシステム性
能が向上する。
しないことにより、ホストコンピュータの要求アドレス
（例えば＃０）が存在するディスク装置８−１１および
当該パリティデータが存在するディスク装置８−１（ｎ
＋１）に対して書き込み処理中に、別のディスク装置８
−１３のアドレス＃（２ｎ＋１）および当該パリティデ
ータが存在するディスク装置８−１２へのアクセスも可
能となる。従って、パリティインタフェース上のパリテ
ィ更新処理と制御装置インタフェース上でのデータ書込
み／読出し処理とが、複数のディスク装置によって並行
して実行できるようにすることにより、更にシステム性
能が向上する。
【００２８】
【発明の効果】本発明によるディスクアレイサブシステ
ムによれば、ディスク装置がディスク制御装置に終了報
告を行なった後で、データ書き込み時のパリティデータ
の更新をディスク装置間のインタフェースを介して行な
うので、ライトペナルティによる遅延時間を上位ホスト
コンピュータから見て短縮できる。
ムによれば、ディスク装置がディスク制御装置に終了報
告を行なった後で、データ書き込み時のパリティデータ
の更新をディスク装置間のインタフェースを介して行な
うので、ライトペナルティによる遅延時間を上位ホスト
コンピュータから見て短縮できる。
【図１】本発明の実施例によるディスクアレイサブシス
テムの構成図。
テムの構成図。
【図２】本発明の実施例によるディスク装置の詳細な構
成図。
成図。
【図３】本発明の実施例によるＲＡＩＤ４の構成図。
【図４】本発明の実施例によるＲＡＩＤ４のライト時の
動作のタイムチャート。
動作のタイムチャート。
【図５】本発明の実施例によるＲＡＩＤ５の構成図。
【図６】本発明の実施例によるＲＡＩＤ５のライト時の
動作のタイムチャート。
動作のタイムチャート。
【図７】従来のディスクアレイサブシステムの構成図。
【図８】従来例によるＲＡＩＤ５のライト時のデータ転
送のタイムチャート。
送のタイムチャート。
１：ホストコンピュータ、 ２：ディスクア
レイ制御装置、３：ホストインタフェース制御部、
６：キャッシュメモリ、７：ディスク制御部、
８：ディスク装置、１１：制御装置の内部バ
ス、 １２：ホストインタフェース、１３：デ
ィスクインタフェース、 １４：パリティインタフ
ェース、２１，２２：入力、及びバッファメモリ ２３：演算部 ２６：記録媒体
レイ制御装置、３：ホストインタフェース制御部、
６：キャッシュメモリ、７：ディスク制御部、
８：ディスク装置、１１：制御装置の内部バ
ス、 １２：ホストインタフェース、１３：デ
ィスクインタフェース、 １４：パリティインタフ
ェース、２１，２２：入力、及びバッファメモリ ２３：演算部 ２６：記録媒体
Claims (2)
- 【請求項１】アレイを形成する複数の記憶手段と、上位
装置と前記複数の記憶手段とに接続され、前記上位装置
と前記複数の記憶手段とのデータ転送を制御する制御手
段と、前記複数の記憶手段のうちパリティグループを構
成する前記複数の記憶手段同士を接続するインタフェー
スとを有することを特徴とするディスクアレイサブシス
テム。 - 【請求項２】前記記憶手段は、上位装置に接続される第
１のインタフェースと、パリティグループを構成する前
記記憶手段同士を接続する第２のインタフェースと、第
１あるいは第２のインタフェースから転送される書込み
データを格納する第１のバッファメモリと、記憶媒体上
のデータを格納する第２のバッファメモリと、第１のバ
ッファメモリの出力と第２のバッファメモリの出力との
排他的論理和を計算する演算手段を有し、 前記書込みデータが上位装置から前記第１のインタフェ
ースを介して転送される新データの場合、前記新データ
が前記第１のバッファメモリに格納され、前記新データ
により更新される旧データが前記第２のバッファメモリ
に格納され、前記新データと前記旧データとの排他的論
理和が前記演算手段により計算され、該演算手段の出力
が仮パリティデータとして前記第２のインタフェースを
介して前記パリティグループのパリティデータを格納す
る前記記憶手段に転送され、 前記書込みデータが上位装置から前記第２のインタフェ
ースを介して転送される仮パリティデータの場合、前記
仮パリティデータが第１のバッファメモリに格納され、
前記仮パリティデータにより更新される旧パリティデー
タが前記第２のバッファメモリに格納され、前記仮パリ
ティデータと前記旧パリティデータとの排他的論理和が
前記演算手段により計算され、該演算手段の出力が新パ
リティデータとして記録媒体上に記録されることを特徴
とする請求項第１項記載のディスクアレイサブシステ
ム。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21559094A JP3661205B2 (ja) | 1994-09-09 | 1994-09-09 | ディスクアレイシステムおよびディスクアレイシステムのパリティデータの生成方法 |
| US08/524,705 US5765183A (en) | 1994-09-09 | 1995-09-07 | Disk array subsystem and data generation method therefor |
| DE69532703T DE69532703T2 (de) | 1994-09-09 | 1995-09-08 | Speicherplattenanordnungsuntersystem und Datenerzeugungsverfahren dazu |
| EP03001056A EP1310875A3 (en) | 1994-09-09 | 1995-09-08 | Disk array subsystem and data generation method therefor |
| EP95114142A EP0701208B1 (en) | 1994-09-09 | 1995-09-08 | Disk array subsystem and data generation method therefor |
| US08/975,503 US5875460A (en) | 1994-09-09 | 1997-11-21 | Disk array subsystem and data generation method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21559094A JP3661205B2 (ja) | 1994-09-09 | 1994-09-09 | ディスクアレイシステムおよびディスクアレイシステムのパリティデータの生成方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004094157A Division JP2004199720A (ja) | 2004-03-29 | 2004-03-29 | ディスクアレイサブシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0876941A true JPH0876941A (ja) | 1996-03-22 |
| JP3661205B2 JP3661205B2 (ja) | 2005-06-15 |
Family
ID=16674955
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21559094A Expired - Lifetime JP3661205B2 (ja) | 1994-09-09 | 1994-09-09 | ディスクアレイシステムおよびディスクアレイシステムのパリティデータの生成方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US5765183A (ja) |
| EP (2) | EP1310875A3 (ja) |
| JP (1) | JP3661205B2 (ja) |
| DE (1) | DE69532703T2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003345513A (ja) * | 2002-05-27 | 2003-12-05 | Hitachi Ltd | 記憶装置および記憶装置サブシステム |
| US8078921B2 (en) | 2006-10-05 | 2011-12-13 | Hitachi Global Storage Technologies Netherlands B.V. | System including a plurality of data storage devices connected via network and data storage device used therefor |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5729763A (en) * | 1995-08-15 | 1998-03-17 | Emc Corporation | Data storage system |
| US6161165A (en) * | 1996-11-14 | 2000-12-12 | Emc Corporation | High performance data path with XOR on the fly |
| JP3133004B2 (ja) * | 1996-11-21 | 2001-02-05 | 株式会社日立製作所 | ディスクアレイ装置およびその制御方法 |
| JP3896206B2 (ja) * | 1997-12-16 | 2007-03-22 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Ｅｃｃブロック構造を使用する記憶装置のための符号化方法及びシステム |
| KR100263299B1 (ko) * | 1997-12-22 | 2000-08-01 | 정선종 | 패리티 엔진을 이용한 고속 디스테이징 방법 |
| US6295587B1 (en) * | 1999-09-03 | 2001-09-25 | Emc Corporation | Method and apparatus for multiple disk drive access in a multi-processor/multi-disk drive system |
| US6952797B1 (en) | 2000-10-25 | 2005-10-04 | Andy Kahn | Block-appended checksums |
| US6732201B2 (en) * | 2001-12-17 | 2004-05-04 | Lsi Logic Corporation | Hardware speed selection behind a disk array controller |
| US6976146B1 (en) | 2002-05-21 | 2005-12-13 | Network Appliance, Inc. | System and method for emulating block appended checksums on storage devices by sector stealing |
| US20060075281A1 (en) * | 2004-09-27 | 2006-04-06 | Kimmel Jeffrey S | Use of application-level context information to detect corrupted data in a storage system |
| US7529967B2 (en) * | 2004-11-04 | 2009-05-05 | Rackable Systems Inc. | Method and system for network storage device failure protection and recovery |
| WO2010137178A1 (en) * | 2009-05-25 | 2010-12-02 | Hitachi,Ltd. | Storage subsystem |
| EP2942713B1 (en) | 2012-04-27 | 2018-11-28 | Hitachi, Ltd. | Storage system and storage apparatus |
| WO2013160970A1 (en) | 2012-04-27 | 2013-10-31 | Hitachi, Ltd. | Storage system and storage control apparatus |
| US9507535B2 (en) | 2013-03-15 | 2016-11-29 | EMC IP Holding Company LLC | Offloading raid update operations to disk controllers |
| KR20150061258A (ko) * | 2013-11-27 | 2015-06-04 | 한국전자통신연구원 | 분산 raid 시스템에서 패리티 청크 운용 방법과 이를 지원하는 데이터 서버 장치 |
| US12436842B2 (en) * | 2023-01-11 | 2025-10-07 | Kioxia Corporation | Systems and methods of distributed parity calculation offloading |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5208813A (en) * | 1990-10-23 | 1993-05-04 | Array Technology Corporation | On-line reconstruction of a failed redundant array system |
| US5235601A (en) * | 1990-12-21 | 1993-08-10 | Array Technology Corporation | On-line restoration of redundancy information in a redundant array system |
| US5191584A (en) * | 1991-02-20 | 1993-03-02 | Micropolis Corporation | Mass storage array with efficient parity calculation |
| US5257391A (en) * | 1991-08-16 | 1993-10-26 | Ncr Corporation | Disk controller having host interface and bus switches for selecting buffer and drive busses respectively based on configuration control signals |
| JP2777301B2 (ja) * | 1992-01-07 | 1998-07-16 | 三菱電機株式会社 | 記録装置 |
| US5305326A (en) * | 1992-03-06 | 1994-04-19 | Data General Corporation | High availability disk arrays |
| US5398253A (en) * | 1992-03-11 | 1995-03-14 | Emc Corporation | Storage unit generation of redundancy information in a redundant storage array system |
| JP2810593B2 (ja) * | 1992-05-13 | 1998-10-15 | 三菱電機株式会社 | 記憶装置 |
| US5412661A (en) * | 1992-10-06 | 1995-05-02 | International Business Machines Corporation | Two-dimensional disk array |
| US5388108A (en) * | 1992-10-23 | 1995-02-07 | Ncr Corporation | Delayed initiation of read-modify-write parity operations in a raid level 5 disk array |
| US5418925A (en) * | 1992-10-23 | 1995-05-23 | At&T Global Information Solutions Company | Fast write I/O handling in a disk array using spare drive for buffering |
| DE4309148A1 (de) * | 1993-03-22 | 1994-09-29 | Siemens Nixdorf Inf Syst | Disk-Array mit Lastverteilung |
| US5617425A (en) * | 1993-05-26 | 1997-04-01 | Seagate Technology, Inc. | Disc array having array supporting controllers and interface |
| US5446855A (en) * | 1994-02-07 | 1995-08-29 | Buslogic, Inc. | System and method for disk array data transfer |
| US5533190A (en) * | 1994-12-21 | 1996-07-02 | At&T Global Information Solutions Company | Method for maintaining parity-data consistency in a disk array |
-
1994
- 1994-09-09 JP JP21559094A patent/JP3661205B2/ja not_active Expired - Lifetime
-
1995
- 1995-09-07 US US08/524,705 patent/US5765183A/en not_active Expired - Lifetime
- 1995-09-08 DE DE69532703T patent/DE69532703T2/de not_active Expired - Lifetime
- 1995-09-08 EP EP03001056A patent/EP1310875A3/en not_active Withdrawn
- 1995-09-08 EP EP95114142A patent/EP0701208B1/en not_active Expired - Lifetime
-
1997
- 1997-11-21 US US08/975,503 patent/US5875460A/en not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003345513A (ja) * | 2002-05-27 | 2003-12-05 | Hitachi Ltd | 記憶装置および記憶装置サブシステム |
| US8078921B2 (en) | 2006-10-05 | 2011-12-13 | Hitachi Global Storage Technologies Netherlands B.V. | System including a plurality of data storage devices connected via network and data storage device used therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1310875A2 (en) | 2003-05-14 |
| EP0701208A2 (en) | 1996-03-13 |
| DE69532703D1 (de) | 2004-04-22 |
| US5765183A (en) | 1998-06-09 |
| US5875460A (en) | 1999-02-23 |
| JP3661205B2 (ja) | 2005-06-15 |
| EP0701208A3 (en) | 2001-08-16 |
| EP0701208B1 (en) | 2004-03-17 |
| EP1310875A3 (en) | 2011-04-27 |
| DE69532703T2 (de) | 2005-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0876941A (ja) | ディスクアレイサブシステム | |
| US5191584A (en) | Mass storage array with efficient parity calculation | |
| US7631218B2 (en) | RAID system and Rebuild/Copy back processing method thereof | |
| US5802345A (en) | Computer system with a reduced number of command end interrupts from auxiliary memory unit and method of reducing the number of command end interrupts | |
| JPH10111767A (ja) | 大容量記憶装置 | |
| JPH08161124A (ja) | 計算機システム | |
| JPH10105344A (ja) | データ記録装置システム及びそのデータ書込方法 | |
| US5787463A (en) | Disk array system including a dual-ported staging memory and concurrent redundancy calculation capability | |
| JPH07261945A (ja) | ディスクアレイ装置およびディスクアレイの区分け方法 | |
| US20020178325A1 (en) | Method and apparatus for scalable error correction code generation performance | |
| WO2002037293A1 (en) | Addressing system for use in storage devices | |
| KR100423812B1 (ko) | 디스크 캐쉬메모리 제어기 및 패리티 연산장치를 구비한알에이아이디 제어기 및 패리티 연산방법 | |
| JP3250859B2 (ja) | ディスクアレイ装置、コンピュータシステム及びデータ記憶装置 | |
| JP4025032B2 (ja) | ディスク制御装置、および、そのデータアクセス方法 | |
| JP2004199720A (ja) | ディスクアレイサブシステム | |
| JPH07328072A (ja) | キャッシュ制御方法および情報処理装置 | |
| JP2733189B2 (ja) | ディスクアレイ装置の入出力制御方法 | |
| JPH11184761A (ja) | リードモディファイライト制御システム | |
| JPH09212311A (ja) | ディスクアレイ装置 | |
| JP2857289B2 (ja) | ディスクアレイ装置 | |
| JPH10240450A (ja) | 記憶装置システム | |
| JP4209108B2 (ja) | 記憶装置の制御方法およびこの方法に用いる記憶装置、ディスクアレイ装置、及びディスクコントローラ | |
| JPH06274282A (ja) | 磁気記録装置 | |
| JPH08202505A (ja) | アレイ型記憶装置 | |
| JP2994917B2 (ja) | 記憶システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040127 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040329 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040803 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050314 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090401 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100401 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110401 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120401 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120401 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130401 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140401 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |