JPH06236302A

JPH06236302A - ファイル圧縮方法

Info

Publication number: JPH06236302A
Application number: JP5021151A
Authority: JP
Inventors: Fumio Kida; 文夫木田
Original assignee: DAIMARU JOHO CENTER KK
Current assignee: DAIMARU JOHO CENTER KK
Priority date: 1993-02-09
Filing date: 1993-02-09
Publication date: 1994-08-23
Anticipated expiration: 2012-08-13
Also published as: JP2639776B2

Abstract

(57)【要約】【目的】ランダムアクセス可能にしかも効率よくファ
イルを圧縮する。【構成】レコードキーを除くデータ部分に、対象ファ
イル中で最も出現頻度が高いと予想される値を設定した
参照レコードを予め作成しておき、圧縮対象レコードと
参照レコードとを比較して値が一致するデータ部分L1,
L2を圧縮コードに圧縮し、参照レコードとの差分データ
に圧縮識別コード及び圧縮コードを加えた、元より短い
レコード長の圧縮結果レコードを生成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数のレコードにて同
一値となるデータ項目を圧縮してVSAMデータセット等に
おけるランダムアクセスが可能なファイル圧縮方法に関
する。

【０００２】

【従来の技術】従来のファイル圧縮方法の主なものは以
下のとおりである。 (1) ファイル内レコードの類似性を利用して前レコード
との差分を圧縮レコードとして出力するシーケンシャル
データセット向けのファイル圧縮方法。 (2) レコード内の同一文字，繰り返しパターンを圧縮す
るランダムアクセス可能なファイル圧縮方法。 (3) 前レコードとの差分に含まれる同一文字，繰り返し
パターンを圧縮する前述の２方法を組み合わせたファイ
ル圧縮方法。

【０００３】

【発明が解決しようとする課題】以上のように、従来の
ファイル圧縮方法の(1) 及び(3) は、ファイル先頭から
の順次アクセスしかできず、原理的にランダムアクセス
が不可能であり、(2) はCPU 使用量が多い割に一般的に
圧縮効率があまり良くないという問題がある。

【０００４】本発明はこのような問題点を解決するため
になされたものであって、複数の圧縮対象レコードにて
同一値となると予測されるデータを設定した参照レコー
ドを作成し、参照レコードと圧縮対象レコードとの差分
を圧縮レコードとして出力することにより圧縮効率が良
くてランダムアクセスが可能なファイル圧縮方法の提供
を目的とする。

【０００５】

【課題を解決するための手段】本発明に係るファイル圧
縮方法は、複数のレコードでその値が同一であるデータ
部分を圧縮するファイル圧縮方法において、圧縮対象レ
コードのキー項目を除くデータ部分のうち、複数のレコ
ードにて同一値となると予測されるデータを設定した参
照レコードをあらかじめ作成しておき、圧縮対象レコー
ドと参照レコードとを比較してその値が参照レコードの
値と一致する圧縮対象レコードのデータ部分を圧縮する
ことを特徴とする。

【０００６】また、本発明に係るファイル圧縮方法は、
参照レコードを圧縮することを特徴とする。

【０００７】さらに、本発明に係るファイル圧縮方法
は、圧縮したレコードに圧縮したことを示すコードを付
与することを特徴とする。

【０００８】

【作用】本発明に係るファイル圧縮方法は、圧縮対象フ
ァイル内で出現頻度が高いデータを設定した参照レコー
ドを予め作成しておき、圧縮対象レコードと参照レコー
ドとの差分を圧縮結果レコードとして出力し、VSAMデー
タセット等におけるランダムアクセスを可能とする。

【０００９】

【実施例】本発明のファイル圧縮方法（以下、本発明方
法という）を実現するVCP (VSAMCOMPRESSION PACKAGE)
について図に基づき詳述する。図１はVCP における圧縮
方法の概要を示すレコードフォーマット図である。VCP
では、圧縮禁止エリアとするレコードキー項目以降の項
目に、複数のレコード間でその値が一致すると予想され
る値を設定した参照レコードをあらかじめ作成してお
き、圧縮対象レコードを参照レコードと比較して参照レ
コードと値が一致する部分（図中、ハッチングで示す）
を圧縮する。

【００１０】圧縮の際、一致部分のBYTE数が３BYTE以上
で252 BYTE以下のときは、識別コードX'FD' 及び一致部
分のレコード長(L2)の２BYTEからなる圧縮コードに置き
換え、252 BYTE以上で32760 BYTE以下のときは、識別コ
ードX'FE' 及び一致部分のレコード長(L1)の３BYTEから
なる圧縮コードに置き換える。なお、一致部分の連続が
２BYTE以下のときは圧縮によって逆にBYTE数が増して圧
縮効果が得られないので圧縮コードへの置き換えは行わ
ない。

【００１１】VCP では圧縮コードの識別文字としてX'F
D' 及びX'FE' を使用するが、圧縮対象レコード内に圧
縮コード以外を意味するX'FE' ，X'FD' が存在する場合
も考えられるので、圧縮コード以外の意味のX'FD' ，X'
FE' が出現する場合は、X'FD'又はX'FE' を２個連続で
出力して圧縮コードとの判別を可能とする。

【００１２】また、圧縮結果のレコード長が元のレコー
ド長を超える場合は圧縮処理をバイパスして元のレコー
ドをそのまま出力するので、同一データセットに非圧縮
レコードと圧縮レコードとの混在を可能とするため、圧
縮レコードには圧縮禁止エリアの直後に、X'FE FF FF'
及びレコード長(RL)からなる５BYTEの圧縮識別エリアを
設ける。

【００１３】図２はVCP により作成されたVSAMデータセ
ットのフォーマット図である。本実施例では、アクセス
時のレコード圧縮／復元のために、VSAMデータセット内
にALL LOW-VALUE (X'0000 …')をキーとする参照レコー
ドを保持し、データレコードは、この参照レコードを用
いてVCP 圧縮した可変長レコードとして記録される。VC
P では参照レコードは提供ユーティリティでのロード時
に対象VSAMファイル内に作成され、VCP の提供するアク
セスルーチンでは、この参照レコードを用いてデータの
復元／圧縮を行うため、アクセスの都度、利用者が外部
から参照レコードを与える必要はない。

【００１４】また、VCP のアクセスルーチンでは一般VS
AM（非VCP のVSAM）の取り扱いも可能とするため、一般
VSAMのALL LOW-VALUE キーのレコードとVCP 形式の参照
レコードとを識別する目的で、参照レコード自体も、全
てスペース (X'40')のデータとの間でVCP 圧縮した形式
としている。なお、参照レコードが圧縮できない場合を
想定し、ロード時に圧縮禁止エリアの直後が必ずX'FE F
F FF' となるよう考慮している。

【００１５】参照レコードの保持方法としては、上述の
ALL LOW-VALUE のような特殊キーをもつデータとして圧
縮対象ファイル内に登録する以外に、参照レコードを、
圧縮対象ファイルごとに決定した名称をもつロードモジ
ュールとして作成し、ライブラリ管理を行う方法も可能
である。なお、参照レコードをロードモジュールとして
保持しても、圧縮対象ファイル内に登録した場合と同様
に、圧縮対象ファイルへの初回アクセス時に参照レコー
ドをメモリ空間に取り込み、以降のアクセスではメモリ
空間に取り込んだ参照レコードを使用するので、モジュ
ールのローディング等の無駄なアクセスを圧縮の都度行
う必要はない。

【００１６】以下、VCP の具体的な処理手順を、図３乃
至図11のフローチャートに基づいて説明する。（Ａ）圧縮VSAM作成（図３〜図５参照）まず、参照レコードとなるサンプルレコードを圧縮す
る。圧縮対象のVSAMファイル及びサンプルレコードが登
録されているサンプルファイルをオープンし(S1, S2)、
サンプルファイルをリードする(S3)。VSAMファイルから
キー長，キー位置，及び最大レコード長の情報を得て(S
4)、キー長とキー位置からキーの終端位置を計算し(S
5)、サンプルレコードの先頭からキー終端位置までX'0
0' をセットする(S6)。次に、サンプルレコードのキー
終端から後を、全てスペース(X'40') のレコードをサン
プルとして後述のような圧縮処理を行う(S7)。

【００１７】圧縮の結果、〔キー終端までの長さ＋圧縮
識別コードの長さ＋サンプルレコード圧縮データの長
さ〕を WRITEレコード長とし(S8)、 WRITEレコード長と
VSAM最大レコード長とを比較する(S9)。WRITEレコード
長がVSAM最大レコード長以下の場合は〔サンプルレコー
ド先頭〜キー終端＋圧縮識別コード＋サンプルレコード
圧縮データ〕をVSAMレコードとする(S10) 。

【００１８】ステップS9の比較の結果、 WRITEレコード
長がVSAM最大レコード長を超える場合は圧縮識別コード
をサンプルレコードキー終端の直後に設け(S11) 、サン
プルレコードをVSAMレコード(S12) 、サンプルレコード
長を WRITEレコード長とする(S13) 。上述のようにして
得られた圧縮又は非圧縮のVSAMレコード、即ち、サンプ
ルレコードをVSAMファイルに書き込み(S14) 、サンプル
ファイルをクローズする(S15) 。

【００１９】次に、サンプルレコードを基に圧縮対象デ
ータを圧縮する。入力データファイルをオープンし(S1
6) 、入力データファイルをリードする(S17) 。入力レ
コードのキー終端から後をサンプルレコードをサンプル
として後述のような圧縮処理を行う(S18) 。〔キー終端
までの長さ＋圧縮識別コードの長さ＋入力レコード圧縮
データの長さ〕を WRITEレコード長とし(S19) 、 WRITE
レコード長とVSAM最大レコード長とを比較する(S20) 。

【００２０】WRITEレコード長がVSAM最大レコード長以
下の場合は〔サンプルレコード先頭〜キー終端＋圧縮識
別コード＋サンプルレコード圧縮データ〕をVSAMレコー
ドとする(S21) 。一方、ステップS21 の比較の結果、 W
RITEレコード長がVSAM最大レコード長を超える場合は入
力レコードをVSAMレコード(S22) 、入力レコード長を W
RITEレコード長とする(S23) 。上述のようにして得られ
た圧縮又は非圧縮のVSAMレコードをライトし(S24) 、ス
テップS17 に戻って、全データレコードに対して同様の
処理を繰り返す。入力データファイルがエンドオブファ
イルに達したらVSAMファイル及び入力データファイルを
クローズする(S25, 26) 。

【００２１】（Ｂ）圧縮処理（図６，図７参照）変数I,J,K にそれぞれ“１”をセットし(S41) 、変数Ｉ
の値をレジスタSV-Iに退避する(S42) 。圧縮対象である
入力レコード（サンプルレコードの圧縮の場合はサンプ
ルレコード）のＩBYTE目とサンプルレコード（サンプル
レコードの圧縮の場合は全てスペースのレコード）のＪ
BYTE目とを比較する(S43) 。比較結果が一致した場合
は、変数I,J の値をそれぞれ“１”だけインクリーズし
て(S44) 、変数Ｉの値と入力レコード長とを比較し(S4
5) 、変数Ｉの値が入力レコード長以下であって、全レ
コード長に対する処理が終了していない場合はステップ
S43 に戻る。

【００２２】変数Ｉの値が入力レコード長を超えた場
合、又は入力レコードのＩBYTE目がサンプルレコードの
ＪBYTE目と一致しなかった場合は、（I-SVI)を圧縮コー
ドの一致部分のレコード長の変数Ｌ（バイナリ２BYTE）
にセットする(S46) 。変数Ｌの値を“２”と比較し(S4
7) 、“２”を超えている場合は“252 ”とを比較し(S4
8) 、変数Ｌの値が“３”以上で“252 ”以下の場合は
X'FD' を出力レコードのＫBYTE目、変数Ｌの下位１BYTE
を出力レコードの(K+1) BYTE目にそれぞれ出力し(S49,
50) 、変数Ｋの値を“２”だけインクリーズしてステッ
プS62 に移行する(S51) 。

【００２３】ステップS48 の比較の結果、変数Ｌの値が
“252 ”を超えている場合はX'FE'を出力レコードのＫB
YTE目、変数Ｌの上位１BYTEを出力レコードの(K+1) BYT
E目、下位１BYTEを出力レコードの(K+2) BYTE目に出力
し(S52, 53, 54) 、変数Ｋを“３”だけインクリーズし
てステップS62 に移行する(S55) 。

【００２４】一方、ステップS47 の比較の結果、変数Ｌ
の値が“２”以下の場合、即ち、サンプルレコードと一
致しなかった場合又は一致部分が２BYTE以下で圧縮効果
が得られない場合は、変数Ｌの値と“０”とを比較し(S
56) 、変数Ｌが“０”の場合、即ち、サンプルレコード
と一致しなかった場合はステップS62 に移行し、入力レ
コードのＩBYTE目がX'FD' 又はX'FE' であるか否かを判
断した後(S64) 、入力レコードのＩBYTE目を出力レコー
ドのＫBYTE目に出力し(S67) 、変数I,J,K の値をそれぞ
れ“１”だけインクリーズし(S68, 69) 、ステップS62
に戻る。なお、ここでX'FD', X'FE'とのチェックが不要
なのは、サンプルレコードにはX'FD', X'FE'を含まない
ということを前提としているためである。従って、サン
プルレコードと一致したときはX'FD', X'FE'ではありえ
ない。

【００２５】ステップS56 の比較の結果、変数Ｌの値が
“０”でない場合は“１”と比較し(S57) 、変数Ｌの値
が“１”の場合は入力レコードの(I-1) BYTE目を出力レ
コードのＫBYTE目に出力し(S60) 、変数Ｋの値を“１”
だけインクリーズし(S61) 、ステップS62 に移行する。

【００２６】ステップS56, 57 の比較の結果、変数Ｌの
値が“２”の場合は入力レコードの(I-2) BYTE目を出力
レコードのＫBYTE目に出力し(S58) 、変数Ｋの値を
“１”だけインクリーズし(S59) 、さらに入力レコード
の(I-1) BYTE目を出力レコードのＫBYTE目に出力し(S6
0) 、変数Ｋの値を“１”だけインクリーズし(S61) 、
ステップS62 に移行する。

【００２７】次に、変数Ｉの値と入力レコード長とを比
較し(S62) 、変数Ｉの値が入力レコード長以下の場合は
入力レコードのＩBYTE目とサンプルレコードのＪBYTE目
とを比較する(S63) 。比較結果が一致しない場合は、入
力レコードのＩBYTE目をX'FE' 及びX'FD' と比較する(S
64) 。入力レコードのＩBYTE目がX'FE' 又はX'FD' のい
ずれかである場合は圧縮コードとの区別のため、入力レ
コードのＩBYTE目を出力レコードのＫBYTE目に出力し(S
65) 、変数Ｋの値を“１”だけインクリーズした後(S6
6) 、入力レコードのＩBYTE目（２個目のX'FD' 又はX'F
E' ）を出力レコードのＫBYTE目に出力し(S67) 、変数
I,J,K の値をそれぞれ“１”だけインクリーズする(S6
8,69) 。

【００２８】ステップS64 の比較の結果、入力レコード
のＩBYTE目がX'FE' 又はX'FD' のいずれでもない場合は
入力レコードのＩBYTE目を出力レコードのＫBYTE目に出
力し(S67) 、変数I,J,K の値をそれぞれ“１”だけイン
クリーズし(S68, 69) 、ステップS62 に戻る。ステップ
S62 の比較の結果、変数Ｉの値が入力レコード長を超え
た場合は変数Ｋの値を出力レコード長とし(S70) 、１つ
のデータレコードに対する圧縮処理を終了する。また、
ステップS63 の比較の結果、入力レコードのＩBYTE目と
サンプルレコードのＪBYTE目とが一致した場合はステッ
プS42 に戻る。

【００２９】（Ｃ）圧縮VSAMアクセスルーチン（図８〜図10参照）サンプルレコードの準備完了を示す初期設定SWが“１”
であるか否かを判断し(S81）、“１”（準備完了）の場
合はステップS93 に移行し、“１”でない場合は初期設
定SWに“１”をセットして(S82) 、VSAMファイルをオー
プンし(S83）、VSAMファイルからキー長，キー位置，及
び最大レコード長情報を得て(S84）、キー長とキー位置
からキーの終端位置を計算する(S85）。

【００３０】レコードの先頭からキー終端位置までX'0
0' をセットし(S86）、VSAMファイルをランダムにREAD
してX'00' をキーとするサンプルレコードを検索する(S
87）。VSAMファイル内にX'00' をキーとするレコードが
ない場合は圧縮処理SWに“０”をセットする(S89) 。

【００３１】VSAMファイル内にX'00' をキーとするレコ
ードがある場合は、キー終端位置の直後が圧縮識別コー
ド(X'FE FF FF') であるか否かを判断する(S88）。圧縮
識別コードの場合はレコードのキー終端から後を、全て
スペースのレコード(X'40')をサンプルとして後述のよ
うに復元処理を行い(S90）、復元結果をサンプルレコー
ドとし(S91) 、圧縮処理SWに“１”をセットする(S92)
。一方、ステップS88 の判断の結果、キー終端位置の
直後が圧縮識別コードでない場合は圧縮処理SWに“０”
をセットする(S89）。

【００３２】圧縮処理SWが“１”であるか否かを判断し
(S93）、“０”（圧縮ファイル以外）であれば通常のVS
AMアクセスを行い(S109)、“１”（圧縮ファイル）であ
れば、参照系処理であるか更新系処理であるかを判断す
る(S94, 95）。参照系処理の場合はVSAMをアクセスし、
アクセス要求された方法でVSAMファイルを検索し(S9
6）、VSAMファイル内に参照対象のレコードが存在しな
い場合は参照を終了する。

【００３３】VSAMファイル内に参照対象のレコードが存
在する場合はキー直後のコードが圧縮識別コードである
か否かを判断し(S97）、圧縮識別コードである場合はVS
AMレコードのキー終端から後をサンプルレコードをサン
プルとして後述する復元処理を行い(S98）、復元結果レ
コードを参照結果レコードとして(S99）、参照を終了す
る。ステップS97 の判断の結果、キー直後が圧縮識別コ
ードでない場合は復元処理をバイパスしてVSAMレコード
をそのまま参照結果レコードとし(S100 ）、参照を終了
する。

【００３４】一方、更新系処理の場合は、新たにVSAMフ
ァイルに登録する入力レコードのキー終端から後をサン
プルレコードをサンプルとして前述のような圧縮処理を
行う(S101)。〔キー終端までの長さ＋圧縮識別コードの
長さ＋入力レコード圧縮データの長さ〕を WRITEレコー
ド長とし(S102)、 WRITEレコード長とVSAM最大レコード
長とを比較する(S103)。

【００３５】WRITEレコード長がVSAM最大レコード長以
下の場合は、〔入力レコード先頭〜キー終端＋圧縮識別
コード＋入力レコード圧縮データ〕をVSAMレコードと
し、VSAMファイルをアクセスする(S104)。また、ステッ
プS103の比較の結果、 WRITEレコード長がVSAM最大レコ
ード長を超える場合は圧縮しない入力レコードそのまま
をVSAMレコードとし(S105)、入力レコード長を WRITEレ
コード長として(S106)、VSAMファイルをアクセスする(S
107)。

【００３６】（Ｄ）復元処理（図11参照）変数I,J,K にそれぞれ“１”をセットし(S121)、入力レ
コード（サンプルレコードの復元の場合はサンプルレコ
ード）のＩBYTE目がX'FD' 又はX'FE' であるか否かを判
断する(S122)。入力レコードのＩBYTE目がX'FD' 又はX'
FE' のいずれでもない場合は入力レコードのＩBYTE目を
出力レコードのＫBYTE目に出力し(S123)、変数I,J,K の
値をそれぞれ“１”だけインクリーズして(S124, 125)
、ステップS138に移行する。

【００３７】ステップS122の判断の結果、入力レコード
のＩBYTE目がX'FD' 又はX'FE' のいずれかである場合は
入力レコードのＩBYTE目を(I+1) BYTE目と比較し(S12
6)、一致する場合（圧縮コード以外のデータの場合）は
変数Ｉの値を“１”だけインクリーズし(S127)、入力レ
コードのＩBYTE目を出力レコードのＫBYTE目に出力し(S
123)、変数I,J,K の値をそれぞれ“１”だけインクリー
ズして(S124, 125) 、ステップS138に移行する。

【００３８】ステップS126での比較の結果、入力レコー
ドのＩBYTE目と(I+1) BYTE目とが一致しない場合（圧縮
コードの場合）は入力レコードのＩBYTE目がX'FE' であ
るか否かを判断する(S128)。X'FE' の場合は入力レコー
ドの(I+1）BYTE目を変数Ｌの上位１BYTEに(S129)、入力
レコードの(I+2）BYTE目を変数Ｌの下位１BYTEにセット
し(S130)、変数Ｉの値を“３”だけインクリーズする(S
131)。

【００３９】ステップS128の比較の結果、入力レコード
のＩBYTE目がX'FD' の場合は変数Ｌに一旦“０”をセッ
トしてクリアし(S132)、入力レコードの(I+1）BYTE目を
変数Ｌの下位１BYTEにセットして(S133)、変数Ｉの値を
“２”だけインクリーズする(S134)。

【００４０】圧縮コードのレコード長を変数Ｌにセット
した後、サンプルレコード（サンプルレコードの復元の
場合は全てスペースのレコード）のＪBYTE目からＬBYTE
分のデータを出力レコードのＫBYTE目からＬBYTEに出力
し(S135)、変数J,K の値をそれぞれ“Ｌ”だけインクリ
ーズする(S136, 137）。以上の復元処理を変数Ｉの値が
入力レコード長を超えるまで繰り返し(S138)、変数Ｉの
値が入力レコード長を超えた時点で変数Ｋの値を出力レ
コード長とし(S139)、１つのレコードの復元処理を終了
する。

【００４１】なお、本実施例では参照レコードとの差分
データをそのまま圧縮結果として出力する場合について
説明したが、差分データにおける同一文字，繰り返しパ
ターンをさらに圧縮することも可能である。

【００４２】

【発明の効果】以上のように、本発明方法はファイル内
のどのレコードからでも圧縮レコードを復元できるの
で、ランダムアクセスが可能となり、また、バッチ処理
においても、対象データの抽出に関連する項目が非圧縮
であれば、大量データ中から目的のデータのみを抽出し
た後に、目的のデータのみの復元を行うことができてCP
U占有時間を大幅に削減するという優れた効果を奏す
る。

【００４３】さらに、本発明方法はファイル内レコード
に順序性を必要としないため、例えば１件目のデータを
サンプルとして２件目以降のソート対象データのソート
キー以外の部分を圧縮することによって、ソート作業デ
ータ量を減少させるので、I/O の減少、及びページング
の減少によりソート時間を大幅に削減するという優れた
効果を奏する。

【図面の簡単な説明】

【図１】本発明方法の概要を示すレコードフォーマット
図である。

【図２】本発明方法におけるVSAMデータセットのフォー
マット図である。

【図３】本発明方法における圧縮VSAM作成のフローチャ
ートである。

【図４】本発明方法における圧縮VSAM作成のフローチャ
ートである。

【図５】本発明方法における圧縮VSAM作成のフローチャ
ートである。

【図６】本発明方法における圧縮処理のフローチャート
である。

【図７】本発明方法における圧縮処理のフローチャート
である。

【図８】本発明方法における圧縮VSAMアクセスルーチン
のフローチャートである。

【図９】本発明方法における圧縮VSAMアクセスルーチン
のフローチャートである。

【図１０】本発明方法における圧縮VSAMアクセスルーチ
ンのフローチャートである。

【図１１】本発明方法における復元処理のフローチャー
トである。

Claims

【特許請求の範囲】

【請求項１】複数のレコードでその値が同一であるデ
ータ部分を圧縮するファイル圧縮方法において、圧縮対
象レコードのキー項目を除くデータ部分のうち、複数の
レコードにて同一値となると予測されるデータを設定し
た参照レコードをあらかじめ作成しておき、圧縮対象レ
コードと参照レコードとを比較してその値が参照レコー
ドの値と一致する圧縮対象レコードのデータ部分を圧縮
することを特徴とするファイル圧縮方法。
【請求項２】前記参照レコードを圧縮する請求項１記
載のファイル圧縮方法。
【請求項３】圧縮したレコードに圧縮したことを示す
コードを付与する請求項１又は２記載のファイル圧縮方
法。