JPH0779265B2 - 圧縮データの復号方法 - Google Patents
圧縮データの復号方法Info
- Publication number
- JPH0779265B2 JPH0779265B2 JP2323417A JP32341790A JPH0779265B2 JP H0779265 B2 JPH0779265 B2 JP H0779265B2 JP 2323417 A JP2323417 A JP 2323417A JP 32341790 A JP32341790 A JP 32341790A JP H0779265 B2 JPH0779265 B2 JP H0779265B2
- Authority
- JP
- Japan
- Prior art keywords
- dictionary
- sequence
- bit
- history buffer
- history
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 35
- 230000006837 decompression Effects 0.000 title description 11
- 239000000872 buffer Substances 0.000 claims description 48
- 238000007906 compression Methods 0.000 description 30
- 230000006835 compression Effects 0.000 description 30
- 230000006870 function Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
- H03M7/3086—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing a sliding window, e.g. LZ77
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
- H03M7/3088—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing the use of a dictionary, e.g. LZ78
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の詳細な説明】 A.産業上の利用分野 本発明は、一般にデータ処理方法、より具体的には伝送
または記憶アプリケーションで圧縮データを復元する方
法に関するものである。
または記憶アプリケーションで圧縮データを復元する方
法に関するものである。
B.従来の技術及びその課題 圧縮とは、データの表現を最小にするためのデータの符
号化である。たとえば、圧縮を用いて、ファイルの必要
記憶容量を減少させ、チャネル上の通信速度を高める、
もしくは安全保護向上のための暗号化に先だって冗長度
を減少させることが可能になる。
号化である。たとえば、圧縮を用いて、ファイルの必要
記憶容量を減少させ、チャネル上の通信速度を高める、
もしくは安全保護向上のための暗号化に先だって冗長度
を減少させることが可能になる。
データ圧縮の１方法が、ジブ（Ziv）とレンペル（Lempe
l）の論文“A Universal Algorithm For Sequential Da
ta Compression"、IEEE Transactions on Information
Theory,Vol.IT−23、No.3、pp.337−43、1977年５月に
開示されている。レンペル−ジブ・アルゴリズムは基本
的に、データ列の履歴を後方参照し、一致が見つかった
とき、実際のデータを短縮された符号で置き換える機構
である。レンペル−ジブ法の種々の実施態様では、512
（小テーブル）、1024（中テーブル）または4096（大テ
ーブル）の特定の列または後方参照を辞典または辞書に
記録する。これらは、辞典に挿入される列の選択方法が
異なる。
l）の論文“A Universal Algorithm For Sequential Da
ta Compression"、IEEE Transactions on Information
Theory,Vol.IT−23、No.3、pp.337−43、1977年５月に
開示されている。レンペル−ジブ・アルゴリズムは基本
的に、データ列の履歴を後方参照し、一致が見つかった
とき、実際のデータを短縮された符号で置き換える機構
である。レンペル−ジブ法の種々の実施態様では、512
（小テーブル）、1024（中テーブル）または4096（大テ
ーブル）の特定の列または後方参照を辞典または辞書に
記録する。これらは、辞典に挿入される列の選択方法が
異なる。
基本的なレンペル−ジブ・アルゴリズムに対する様々な
改良がある。１つは、バイトまたは文字拡張の改良であ
り、辞典内の各列は、辞典内の他の列の末尾に１つまた
は複数のバイトを追加したものと同じである。もう１つ
は、列拡張レンペル−ジブ・アルゴリズムであり、辞典
内の各列は、辞典内の他の２つの列を連結したものであ
る。ほとんどの状況では、列拡張技法の方がよい圧縮結
果をもたらす。
改良がある。１つは、バイトまたは文字拡張の改良であ
り、辞典内の各列は、辞典内の他の列の末尾に１つまた
は複数のバイトを追加したものと同じである。もう１つ
は、列拡張レンペル−ジブ・アルゴリズムであり、辞典
内の各列は、辞典内の他の２つの列を連結したものであ
る。ほとんどの状況では、列拡張技法の方がよい圧縮結
果をもたらす。
大テーブル列拡張レンペル−ジブ・アルゴリズムは、優
れた汎用適応データ圧縮技法であると一般に考えられて
いる。大テーブル列拡張レンペル−ジブ技法の欠点は、
圧縮を行う機械内にかなりのメモリと高速の中央演算処
理装置を必要とすることである。復元は、メモリ及びプ
ロセッサ・サイクルの点で相対的に低コストである。多
数の並列なデータ・ストリームの圧縮を支援しなければ
ならない装置では、一般にメモリの方が実行速度よりも
大きな問題である。これは、並列なデータ・ストリーム
のすべてが同時に活動状態であるわけではなく、したが
ってCPU負荷が最悪の場合に近くなることがほとんどな
いためである。また、CPUに対する要求が過度になった
ときの性能低下は、漸次的であり、破局的ではない。す
なわち、ある装置が支援しなければならないデータ・ス
トリームの数は、プロセッサの実行速度の弱い関数であ
る。それとは対照的に、適応圧縮テーブル専用のメモリ
は、データ・ストリームが遊休状態のときでも割り当て
られていなければならない。このため、特定の装置が支
援できるデータ・ストリームの数が効果的に制限され
る。データが圧縮された後には、圧縮されたデータを使
用する前にそれを復元する必要がある。
れた汎用適応データ圧縮技法であると一般に考えられて
いる。大テーブル列拡張レンペル−ジブ技法の欠点は、
圧縮を行う機械内にかなりのメモリと高速の中央演算処
理装置を必要とすることである。復元は、メモリ及びプ
ロセッサ・サイクルの点で相対的に低コストである。多
数の並列なデータ・ストリームの圧縮を支援しなければ
ならない装置では、一般にメモリの方が実行速度よりも
大きな問題である。これは、並列なデータ・ストリーム
のすべてが同時に活動状態であるわけではなく、したが
ってCPU負荷が最悪の場合に近くなることがほとんどな
いためである。また、CPUに対する要求が過度になった
ときの性能低下は、漸次的であり、破局的ではない。す
なわち、ある装置が支援しなければならないデータ・ス
トリームの数は、プロセッサの実行速度の弱い関数であ
る。それとは対照的に、適応圧縮テーブル専用のメモリ
は、データ・ストリームが遊休状態のときでも割り当て
られていなければならない。このため、特定の装置が支
援できるデータ・ストリームの数が効果的に制限され
る。データが圧縮された後には、圧縮されたデータを使
用する前にそれを復元する必要がある。
C.課題を解決するための手段 本発明の適応圧縮方法は、２つのデータ構造、すなわち
履歴バッファおよび辞典（レキシコン）を効果的に利用
して、通信またはデータ記憶環境に適した、汎用のスト
リーム本位のデータ圧縮を実行する。この場合、列と
は、有限個の記号の集合のうちから選択された一連の順
序付けられたデータ記号であると定義する。履歴バッフ
ァとは、最も最近に圧縮機能を通過した未圧縮のデータ
の正確な記録である。辞典とは、長さが１以上の列の集
合である。
履歴バッファおよび辞典（レキシコン）を効果的に利用
して、通信またはデータ記憶環境に適した、汎用のスト
リーム本位のデータ圧縮を実行する。この場合、列と
は、有限個の記号の集合のうちから選択された一連の順
序付けられたデータ記号であると定義する。履歴バッフ
ァとは、最も最近に圧縮機能を通過した未圧縮のデータ
の正確な記録である。辞典とは、長さが１以上の列の集
合である。
本発明の復元方法は、履歴参照、辞典参照およびリテラ
ル参照のシーケンスを含む入力データ・ストリームを記
号の出力ストリームに変換することによって動作する。
この復元方法は、復元効率が最大になるように履歴バッ
ファと辞典をインクリメンタルに更新する。この復元方
法は、変換操作を逆にして元のデータ・ストリームを正
確に再構成するための十分な情報を受け取る。この復元
機能は、圧縮されたデータ・ストリーム自体以外の追加
データは必要としない。
ル参照のシーケンスを含む入力データ・ストリームを記
号の出力ストリームに変換することによって動作する。
この復元方法は、復元効率が最大になるように履歴バッ
ファと辞典をインクリメンタルに更新する。この復元方
法は、変換操作を逆にして元のデータ・ストリームを正
確に再構成するための十分な情報を受け取る。この復元
機能は、圧縮されたデータ・ストリーム自体以外の追加
データは必要としない。
圧縮機構に入るデータおよび復元機構から出るデータ
は、８ビット・バイトとして取り扱われるが、圧縮機構
から復元機構へ流れる圧縮済みデータは自由形式のデー
タ・ストリームである。本発明の符号化方法は、参照の
形式または性格を一意的に識別し、その長さを定義す
る。本発明の復号方法は、自由形式の圧縮されたビット
・ストリームを解析して、それが復元可能なようにリテ
ラル参照、履歴参照および辞典参照のシーケンスにす
る。
は、８ビット・バイトとして取り扱われるが、圧縮機構
から復元機構へ流れる圧縮済みデータは自由形式のデー
タ・ストリームである。本発明の符号化方法は、参照の
形式または性格を一意的に識別し、その長さを定義す
る。本発明の復号方法は、自由形式の圧縮されたビット
・ストリームを解析して、それが復元可能なようにリテ
ラル参照、履歴参照および辞典参照のシーケンスにす
る。
本発明の復号方法は、入力データ・ストリームから第１
ビットを読み取るステップを含む。第１ビットが０であ
る場合、最初の参照はリテラル形式であり、次の８ビッ
トがリテラル記号である。
ビットを読み取るステップを含む。第１ビットが０であ
る場合、最初の参照はリテラル形式であり、次の８ビッ
トがリテラル記号である。
第１ビットが１である場合、最初の参照は履歴形式また
は辞典形式のいずれかであり、その真の性格は第２ビッ
トによって明らかになる。第２ビットが０である場合、
その参照は履歴形式であり、その後に履歴バッファのオ
フセット値と履歴参照長の値が続く。第２ビットが１で
ある場合、その参照は辞典形式であり、その後に辞典指
標値が続く。
は辞典形式のいずれかであり、その真の性格は第２ビッ
トによって明らかになる。第２ビットが０である場合、
その参照は履歴形式であり、その後に履歴バッファのオ
フセット値と履歴参照長の値が続く。第２ビットが１で
ある場合、その参照は辞典形式であり、その後に辞典指
標値が続く。
D.実施例 本発明の圧縮方法を第１図に図示する。本発明の圧縮方
法の最初のステップであるブロック11では、履歴バッフ
ァ、辞典およびトークンをクリアする。トークンは、デ
ータ・シーケンスの記号が付加される、作業用のサブス
トリングである。トークン、履歴バッファおよび辞典は
最初は空である。
法の最初のステップであるブロック11では、履歴バッフ
ァ、辞典およびトークンをクリアする。トークンは、デ
ータ・シーケンスの記号が付加される、作業用のサブス
トリングである。トークン、履歴バッファおよび辞典は
最初は空である。
履歴バッファは、０の基底から始まる正の整数を指標と
する、記号値の１次元配列として実施される。履歴バッ
ファの長さは、ある値に固定される。履歴バッファの長
さはちょうど２の累乗であることが好ましい。好ましい
実施例では、多くの形式の２進データ・ファイルおよび
テキスト・ファイルで、８ビット・バイト2048個の履歴
バッファ長がうまく働く。
する、記号値の１次元配列として実施される。履歴バッ
ファの長さは、ある値に固定される。履歴バッファの長
さはちょうど２の累乗であることが好ましい。好ましい
実施例では、多くの形式の２進データ・ファイルおよび
テキスト・ファイルで、８ビット・バイト2048個の履歴
バッファ長がうまく働く。
履歴バッファ内の記号列は、オフセット値と長さ値を含
む履歴参照によって一義的に指定できる。オフセット値
とは、参照列内の最初の記号のバッファを指すインデッ
クスであると定義される。長さ値は、オフセットによっ
て識別される記号から始まる参照列に属する記号の数で
ある。履歴参照の長さの最大値を選択することが好まし
い。可能な最大の圧縮比はこの値に直接相関して増加す
るが、データ・ストリーム形式ごとに、その値を超える
と、各一致ごとに平均文字数に対して、符号化された列
の長さの値が大きすぎるため、平均圧縮化が低下し始め
るという、最適の長さが存在する。ちょうど２の累乗で
あることが好ましいのは、一致を符号化するのに必要な
ビット数が、次の２の累乗まで変化しないためである。
すなわち、長さの値を次の２の累乗ぴったりに釘付けし
ないでおくと、潜在的な圧縮比の浪費となる。好ましい
実施例では、2048文字の履歴バッファに対して、履歴参
照の最大長が８ビット・バイト16個であればうまく働く
ことが判明している。
む履歴参照によって一義的に指定できる。オフセット値
とは、参照列内の最初の記号のバッファを指すインデッ
クスであると定義される。長さ値は、オフセットによっ
て識別される記号から始まる参照列に属する記号の数で
ある。履歴参照の長さの最大値を選択することが好まし
い。可能な最大の圧縮比はこの値に直接相関して増加す
るが、データ・ストリーム形式ごとに、その値を超える
と、各一致ごとに平均文字数に対して、符号化された列
の長さの値が大きすぎるため、平均圧縮化が低下し始め
るという、最適の長さが存在する。ちょうど２の累乗で
あることが好ましいのは、一致を符号化するのに必要な
ビット数が、次の２の累乗まで変化しないためである。
すなわち、長さの値を次の２の累乗ぴったりに釘付けし
ないでおくと、潜在的な圧縮比の浪費となる。好ましい
実施例では、2048文字の履歴バッファに対して、履歴参
照の最大長が８ビット・バイト16個であればうまく働く
ことが判明している。
辞典は、それぞれが１個から履歴参照の最大長によって
指定される数までの記号を含む列を保持できる、単純な
要素配列として実施される。圧縮の間、辞典内の列は、
補助ハッシュ・テーブルを用いてルック・アップされ
る。補助ハッシュ・テーブルは、ハッシュ・テーブルが
まばらで効率的であることを保証するため、辞典自体の
数倍の要素を含むべきである。本発明の好ましい実施例
の2048バイトの履歴バッファでは、辞典のサイズが1024
であればうまく働くことが判明している。このサイズの
辞典は、ハッシュ・テーブルの過度な衝突を避けるた
め、少なくとも2048個のエントリを備えたハッシュ・テ
ーブルで支援すべきである。
指定される数までの記号を含む列を保持できる、単純な
要素配列として実施される。圧縮の間、辞典内の列は、
補助ハッシュ・テーブルを用いてルック・アップされ
る。補助ハッシュ・テーブルは、ハッシュ・テーブルが
まばらで効率的であることを保証するため、辞典自体の
数倍の要素を含むべきである。本発明の好ましい実施例
の2048バイトの履歴バッファでは、辞典のサイズが1024
であればうまく働くことが判明している。このサイズの
辞典は、ハッシュ・テーブルの過度な衝突を避けるた
め、少なくとも2048個のエントリを備えたハッシュ・テ
ーブルで支援すべきである。
ハッシュ・テーブルは当業者にとって周知であり、テー
ブル内にルックアップされる列を含む記号に対して数学
的操作を行なうことによって形成される。この数学的操
作で、ハッシュ・テーブル指標として有効な範囲内の１
個の整数が与えられる。その指数が指すハッシュ・テー
ブル・エントリは、辞典内の対応するエントリのインデ
ックスを含んでいる。この間接指定により、辞典がほと
んど空である圧縮の初期段階の間に辞典エントリの指標
を効率的に割り当てることが可能になる。辞典の最初の
エントリから始めて、順次高位のエントリを構築して順
序通り辞典を満たすことによって、この段階の間に指標
の値を送るのに必要なビット数が少なくなるという利点
を得ることができる。
ブル内にルックアップされる列を含む記号に対して数学
的操作を行なうことによって形成される。この数学的操
作で、ハッシュ・テーブル指標として有効な範囲内の１
個の整数が与えられる。その指数が指すハッシュ・テー
ブル・エントリは、辞典内の対応するエントリのインデ
ックスを含んでいる。この間接指定により、辞典がほと
んど空である圧縮の初期段階の間に辞典エントリの指標
を効率的に割り当てることが可能になる。辞典の最初の
エントリから始めて、順次高位のエントリを構築して順
序通り辞典を満たすことによって、この段階の間に指標
の値を送るのに必要なビット数が少なくなるという利点
を得ることができる。
辞典自体に比べてまばらな状態にハッシュ・テーブルを
保つことにより、複数の列が同じハッシュ・テーブル指
標にハッシュされるとき（これをハッシュ・テーブルの
衝突と称する）にどんな形のオーバフロー連鎖も必要と
せずに優れた性能を実現することができる。このような
衝突は、必要に応じて古いデータを捨て、それを新しい
データで置き換えることによって処理される。リンクさ
れた辞典エントリのLRU待ち行列をハッシュ・テーブル
と共に用いると、辞典が最終的に満杯になったとき、辞
典エントリの挿入と削除が容易になる。固定サイズの辞
典内で新しいエントリの場所をあけるためにあるエント
リを捨てざるを得ないときは、長時間使用されなかった
エントリを捨てた方がよい。LRU待ち行列を使用する
と、それが効率的に行なえる。
保つことにより、複数の列が同じハッシュ・テーブル指
標にハッシュされるとき（これをハッシュ・テーブルの
衝突と称する）にどんな形のオーバフロー連鎖も必要と
せずに優れた性能を実現することができる。このような
衝突は、必要に応じて古いデータを捨て、それを新しい
データで置き換えることによって処理される。リンクさ
れた辞典エントリのLRU待ち行列をハッシュ・テーブル
と共に用いると、辞典が最終的に満杯になったとき、辞
典エントリの挿入と削除が容易になる。固定サイズの辞
典内で新しいエントリの場所をあけるためにあるエント
リを捨てざるを得ないときは、長時間使用されなかった
エントリを捨てた方がよい。LRU待ち行列を使用する
と、それが効率的に行なえる。
本発明の圧縮方法の次のステップであるブロック13で
は、変数MATCHをリテラル形式にセットする。MATCHは、
記号の列が履歴バッファ内と辞典内のどちらに複製され
ているかに応じて、リテラル、履歴または辞典のいずれ
かの形式となる。列が履歴バッファにも辞典にも複製さ
れていない場合は、MATCHはリテラル形式になる。
は、変数MATCHをリテラル形式にセットする。MATCHは、
記号の列が履歴バッファ内と辞典内のどちらに複製され
ているかに応じて、リテラル、履歴または辞典のいずれ
かの形式となる。列が履歴バッファにも辞典にも複製さ
れていない場合は、MATCHはリテラル形式になる。
本発明の圧縮方法の次のステップであるブロック15で
は、入力列から記号を読み取って、それをトークンに付
加する。当初は、トークンは１個の文字からなってい
る。しかし、本発明の方法が進行して、履歴バッファと
辞典とが満杯になったとき、トークンは複数の文字から
なる列となる。判断ブロック17で、このトークンを辞典
の内容と比較する。当初は辞典が空であるため、一致は
見つからない。しかし、本発明の方法がしばらく進行し
た後には、辞典に列が挿入され、一致が見つかるように
なる。辞典で一致が見つかった場合、ブロック19で、MA
TCHを対応する指標値を伴う辞典形式にセットし、次に
ブロック15に戻って、入力列から次の記号を読み取って
トークンに付加する。
は、入力列から記号を読み取って、それをトークンに付
加する。当初は、トークンは１個の文字からなってい
る。しかし、本発明の方法が進行して、履歴バッファと
辞典とが満杯になったとき、トークンは複数の文字から
なる列となる。判断ブロック17で、このトークンを辞典
の内容と比較する。当初は辞典が空であるため、一致は
見つからない。しかし、本発明の方法がしばらく進行し
た後には、辞典に列が挿入され、一致が見つかるように
なる。辞典で一致が見つかった場合、ブロック19で、MA
TCHを対応する指標値を伴う辞典形式にセットし、次に
ブロック15に戻って、入力列から次の記号を読み取って
トークンに付加する。
トークンが辞典内で複製されていない場合、判断ブロッ
ク21で、このトークンを履歴バッファの内容と比較す
る。この場合も、当初は履歴バッファが空であるため、
履歴バッファ内での一致は見つからない。しかし、本発
明の圧縮方法がしばらく進行した後には、このトークン
が履歴バッファ内で複製されている可能性がある。この
トークンが履歴バッファ内で複製されている場合、ブロ
ック23で、MATCHをオフセットと長さの値とを伴う履歴
形式にセットし、ブロック15に戻って、入力列から次の
記号を読み取ってトークンに付加する。次に、ブロック
17で、トークンを再び辞典の内容と比較する。本発明の
圧縮方法では、トークンが履歴参照の最大長以下である
限り、辞典内でも履歴バッファ内でもトークンが複製さ
れていない状態になるまで、記号をトークンに付加し
て、そのトークンを辞典および履歴バッファの内容と比
較することを続ける。こうして本方法は、辞典内または
履歴バッファ内で複製されている、許容される最長の文
字列を形成する。この最長の文字列は、トークンから最
後の文字を除いたものである。本開示では、１個のリテ
ラルを列であると見なす。
ク21で、このトークンを履歴バッファの内容と比較す
る。この場合も、当初は履歴バッファが空であるため、
履歴バッファ内での一致は見つからない。しかし、本発
明の圧縮方法がしばらく進行した後には、このトークン
が履歴バッファ内で複製されている可能性がある。この
トークンが履歴バッファ内で複製されている場合、ブロ
ック23で、MATCHをオフセットと長さの値とを伴う履歴
形式にセットし、ブロック15に戻って、入力列から次の
記号を読み取ってトークンに付加する。次に、ブロック
17で、トークンを再び辞典の内容と比較する。本発明の
圧縮方法では、トークンが履歴参照の最大長以下である
限り、辞典内でも履歴バッファ内でもトークンが複製さ
れていない状態になるまで、記号をトークンに付加し
て、そのトークンを辞典および履歴バッファの内容と比
較することを続ける。こうして本方法は、辞典内または
履歴バッファ内で複製されている、許容される最長の文
字列を形成する。この最長の文字列は、トークンから最
後の文字を除いたものである。本開示では、１個のリテ
ラルを列であると見なす。
本発明の圧縮方法は、許容される最長の列を形成し終え
た後に、その列を象徴する参照を発行する。判断ブロッ
ク25でMATCHが辞典形式であった場合は、ブロック27
で、MATCHによって指定された辞典参照が出力または発
行される。MATCHが辞典形式ではない場合は、履歴形式
またはリテラル形式のいずれかである。判断ブロック29
でMATCHが履歴形式であった場合は、ブロック31で、MAT
CHによって指定された履歴参照が発行または出力され
る。また、MATCHが履歴形式であった場合は、履歴参照
によって指定された参照列が辞典に追加され、辞典のサ
イズが記録される。
た後に、その列を象徴する参照を発行する。判断ブロッ
ク25でMATCHが辞典形式であった場合は、ブロック27
で、MATCHによって指定された辞典参照が出力または発
行される。MATCHが辞典形式ではない場合は、履歴形式
またはリテラル形式のいずれかである。判断ブロック29
でMATCHが履歴形式であった場合は、ブロック31で、MAT
CHによって指定された履歴参照が発行または出力され
る。また、MATCHが履歴形式であった場合は、履歴参照
によって指定された参照列が辞典に追加され、辞典のサ
イズが記録される。
MATCHが履歴形式ではない場合、それはリテラル形式で
ある。ブロック33で、トークン内の記号に対するリテラ
ル参照が発行または出力される。辞典参照、履歴参照ま
たはリテラル参照が発行された後、ブロック35で、参照
列が履歴バッファに付加され、トークンの先頭から削除
される。同時に、履歴バッファのサイズが記録される。
次に、トークンはブロック13に戻り、入力記号列が終り
になるまでこの処理を続ける。
ある。ブロック33で、トークン内の記号に対するリテラ
ル参照が発行または出力される。辞典参照、履歴参照ま
たはリテラル参照が発行された後、ブロック35で、参照
列が履歴バッファに付加され、トークンの先頭から削除
される。同時に、履歴バッファのサイズが記録される。
次に、トークンはブロック13に戻り、入力記号列が終り
になるまでこの処理を続ける。
代表的なデータ・ストリームの確率論的研究に基づい
て、下記の符号化方式が最適に近い結果を生むことが判
明した。
て、下記の符号化方式が最適に近い結果を生むことが判
明した。
リテラル参照 ０＋「記号」 履歴参照 １＋０＋「オフセット」＋「長さ」 辞典参照 １＋１＋「指標」 “1"および“0"は２進数の１桁を表し、「オフセッ
ト」、「長さ」および「指標」は、特定の場合にそれら
の潜在的な最大値を表すのに必要な最小のビット数で符
号化されている。より具体的には、必要なビット数は、
潜在的な最大値を最も近い２の累乗に切り上げた値の、
２を底とする対数に等しい。たとえば、辞典が12個のエ
ントリを含む場合、12は16（次の２の累乗）に切上げら
れ、16の２を底とする対数は４なので、指標を符号化す
るのに必要なビット数は４である。「記号」は記号自体
の８ビット表現である。
ト」、「長さ」および「指標」は、特定の場合にそれら
の潜在的な最大値を表すのに必要な最小のビット数で符
号化されている。より具体的には、必要なビット数は、
潜在的な最大値を最も近い２の累乗に切り上げた値の、
２を底とする対数に等しい。たとえば、辞典が12個のエ
ントリを含む場合、12は16（次の２の累乗）に切上げら
れ、16の２を底とする対数は４なので、指標を符号化す
るのに必要なビット数は４である。「記号」は記号自体
の８ビット表現である。
本発明の圧縮機能に入るデータは、８ビット・バイトと
して処理されるが、圧縮機能から出力されるデータは自
由形式のビット・ストリームである。前述のリテラル参
照、履歴参照および辞典参照に対する符号化規則によ
り、復元機能でこの自由形式のビット・ストリームを容
易にかつ曖昧さなしに解析することが可能となる。
して処理されるが、圧縮機能から出力されるデータは自
由形式のビット・ストリームである。前述のリテラル参
照、履歴参照および辞典参照に対する符号化規則によ
り、復元機能でこの自由形式のビット・ストリームを容
易にかつ曖昧さなしに解析することが可能となる。
典型的なアプリケーション環境では、各リテラル記号を
符号化するに必要なビット数は、圧縮機能と復元機能と
を相互接続するシリアル通信チャネルの基本ブロック・
サイズに等しくなる。たとえば、EBCDIC環境では、記号
の値は８ビットを用いて符号化され、代表的な通信リン
ク上を流れる基本的情報単位は、８ビット文字に量子化
される。リテラル参照を符号化するのに必要なビット数
は、常にこのようなリンクの基本ブロック・サイズより
も１だけ大きいので、最後のデータ・ブロック内に利用
可能な追加ビットが存在する場合は、最後の有効な参照
の末尾に１個の０ビットを追加することによって、最後
の有効な文字の末尾の後ろの使用されていないビットを
復元機能に強制的に無視させることが常に可能である。
０ビットを用いてリテラル参照の先頭を模倣することに
より、圧縮されたデータ・ストリームが次のブロック境
界で打ち切られたためにその参照が完了できないことを
知った復元機能は、最後のデータ・ブロック内の余分な
ビットを自動的に無視する。言い換えれば、復元機能は
０ビットを「見る」と、８ビット・リテラルを得ること
を期待する。０ビットの後に何も続かない場合、復元機
能はそのシーケンスが完了したことを「知る」。
符号化するに必要なビット数は、圧縮機能と復元機能と
を相互接続するシリアル通信チャネルの基本ブロック・
サイズに等しくなる。たとえば、EBCDIC環境では、記号
の値は８ビットを用いて符号化され、代表的な通信リン
ク上を流れる基本的情報単位は、８ビット文字に量子化
される。リテラル参照を符号化するのに必要なビット数
は、常にこのようなリンクの基本ブロック・サイズより
も１だけ大きいので、最後のデータ・ブロック内に利用
可能な追加ビットが存在する場合は、最後の有効な参照
の末尾に１個の０ビットを追加することによって、最後
の有効な文字の末尾の後ろの使用されていないビットを
復元機能に強制的に無視させることが常に可能である。
０ビットを用いてリテラル参照の先頭を模倣することに
より、圧縮されたデータ・ストリームが次のブロック境
界で打ち切られたためにその参照が完了できないことを
知った復元機能は、最後のデータ・ブロック内の余分な
ビットを自動的に無視する。言い換えれば、復元機能は
０ビットを「見る」と、８ビット・リテラルを得ること
を期待する。０ビットの後に何も続かない場合、復元機
能はそのシーケンスが完了したことを「知る」。
第２図には、本発明の復号方法および復元方法の流れ図
が示されている。最初のステップであるブロック37で、
履歴バッファおよび辞典をクリアする。履歴バッファと
辞典がクリアされた後、ブロック39で、入力から参照が
読み取られ、それに従ってMATCHがセットされる。参照
の第１ビットが０である場合、MATCHはリテラル形式で
ある。参照の第１ビットが１である場合、MATCHは辞典
形式または履歴形式のいずれかである。１に続くビット
が０である場合、MATCHは履歴形式である。１に続くビ
ットが１である場合、MATCHは辞典形式である。
が示されている。最初のステップであるブロック37で、
履歴バッファおよび辞典をクリアする。履歴バッファと
辞典がクリアされた後、ブロック39で、入力から参照が
読み取られ、それに従ってMATCHがセットされる。参照
の第１ビットが０である場合、MATCHはリテラル形式で
ある。参照の第１ビットが１である場合、MATCHは辞典
形式または履歴形式のいずれかである。１に続くビット
が０である場合、MATCHは履歴形式である。１に続くビ
ットが１である場合、MATCHは辞典形式である。
判断ブロック41でMATCHが辞典形式であった場合、ブロ
ック43で、MATCHによって指定された辞典の列が出力さ
れる。
ック43で、MATCHによって指定された辞典の列が出力さ
れる。
MATCHが辞典形式ではない場合、判断ブロック45でMATCH
が履歴形式であった場合は、ブロック47で、MATCHによ
って指定された履歴列を出力し、その列を辞典に追加
し、現在の辞典のエントリ数を記録する。MATCHが辞典
形式でも履歴形式でもない場合は、ブロック49で、MATC
Hによって指定されたリテラル記号が出力される。最後
に、ブロック43、47または49でMATCHによって指定され
た列を出力した後に、ブロック51で、その列を履歴バッ
ファに付加し、現在の履歴バッファのサイズを記録し
て、入力列が終りになるまでこの処理を繰り返す。
が履歴形式であった場合は、ブロック47で、MATCHによ
って指定された履歴列を出力し、その列を辞典に追加
し、現在の辞典のエントリ数を記録する。MATCHが辞典
形式でも履歴形式でもない場合は、ブロック49で、MATC
Hによって指定されたリテラル記号が出力される。最後
に、ブロック43、47または49でMATCHによって指定され
た列を出力した後に、ブロック51で、その列を履歴バッ
ファに付加し、現在の履歴バッファのサイズを記録し
て、入力列が終りになるまでこの処理を繰り返す。
当初は、復元機能の辞典と履歴バッファは空である。し
かし、復元機能が受け取る最初の参照はリテラル形式で
ある。リテラル参照を処理する際には、これを履歴バッ
ファに追加する。復元機能は、その履歴バッファ内で一
致を見つけると、履歴参照を発行する。圧縮機能と復元
機能の履歴バッファは同一であるため、履歴参照は復元
機能の履歴バッファ内の正しい記号列を識別する。圧縮
機能が履歴参照を発行し、復元機能がそれを受け取る
と、その履歴参照によって参照される列が、圧縮機能お
よび復元機能の当該の辞典に挿入される。
かし、復元機能が受け取る最初の参照はリテラル形式で
ある。リテラル参照を処理する際には、これを履歴バッ
ファに追加する。復元機能は、その履歴バッファ内で一
致を見つけると、履歴参照を発行する。圧縮機能と復元
機能の履歴バッファは同一であるため、履歴参照は復元
機能の履歴バッファ内の正しい記号列を識別する。圧縮
機能が履歴参照を発行し、復元機能がそれを受け取る
と、その履歴参照によって参照される列が、圧縮機能お
よび復元機能の当該の辞典に挿入される。
本発明の方法は、このように２つのデータ構造すなわち
履歴バッファおよび辞典を使用して、データ列の効率的
な圧縮を達成する。履歴バッファを固定された深さに制
限し、履歴参照の最大長を相対的に小さな値に制限し、
辞典内のエントリの最大数を固定した数に制限すること
により、極めて効率的にメモリを利用し、ずっと大量の
メモリを必要とする方法に匹敵する圧縮比をもたらす、
相互に関連した１組のデータ構造を設計することが可能
である。
履歴バッファおよび辞典を使用して、データ列の効率的
な圧縮を達成する。履歴バッファを固定された深さに制
限し、履歴参照の最大長を相対的に小さな値に制限し、
辞典内のエントリの最大数を固定した数に制限すること
により、極めて効率的にメモリを利用し、ずっと大量の
メモリを必要とする方法に匹敵する圧縮比をもたらす、
相互に関連した１組のデータ構造を設計することが可能
である。
E.発明の効果 本発明によれば、圧縮データを復号して、リテラル参
照、履歴参照、及び辞典参照のシーケンスにすることが
できる。
照、履歴参照、及び辞典参照のシーケンスにすることが
できる。
第１図は、本発明の圧縮方法を示す流れ図である。 第２図は、本発明の復元方法を示す流れ図である。
フロントページの続き (56)参考文献 特開 平１−132222（ＪＰ，Ａ) 特開 平３−68219（ＪＰ，Ａ) 特開 平３−204232（ＪＰ，Ａ) 特開 平３−204233（ＪＰ，Ａ) 特開 平３−203244（ＪＰ，Ａ) 特公 昭63−56726（ＪＰ，Ｂ２) 特公 平５−68893（ＪＰ，Ｂ２) 特公 平２−6252（ＪＰ，Ｂ２) 米国特許5010344（ＵＳ，Ａ) 米国特許5001478（ＵＳ，Ａ) 欧州特許出願公開438954（ＥＰ，Ａ)
Claims (1)
- 【請求項１】リテラル参照、履歴参照および辞典参照の
シーケンスからなり且つ圧縮された自由形式のデータ・
ストリームを復号する圧縮データの復号方法であって、 （ａ）前記シーケンスの第１ビットを読み取るステップ
と、 （ｂ）前記第１ビットが０である場合に、前記シーケン
スの次の８ビットを読み取り、第８ビットによって表さ
れる記号を発行するステップと、 （ｃ）ステップ（ｂ）で発行された記号を、履歴バッフ
ァに挿入するステップと、 （ｄ）前記履歴バッファの現在のサイズを記録するステ
ップと、 （ｅ）前記第１ビットが１である場合に、前記シーケン
スの第２ビットを読み取るステップと、 （ｆ）前記第２ビットが０である場合に、前記履歴バッ
ファの前記現在のサイズの２を底とする対数を最も近い
整数に切り上げた値に等しく且つ前記履歴バッファのオ
フセットを識別する数だけ前記シーケンスの次のビット
を読み取り、事前に選択された履歴参照長の２を底とす
る対数を最も近い整数に切り上げた値に等しく且つ前記
履歴バッファ内の記号列の長さを識別する数だけ前記シ
ーケンスの次のビットを読み取り、前記オフセットと長
さの値によって識別される、前記履歴バッファからの記
号の列を発行するステップと、 （ｇ）ステップ（ｆ）で発行された列を、前記履歴バッ
ファに挿入するステップと、 （ｈ）前記履歴バッファの現在のサイズを記録するステ
ップと、 （ｉ）ステップ（ｆ）で発行された列を、前記辞典に挿
入するステップと、 （ｊ）前記辞典の現在のサイズを記録するステップと、 （ｋ）前記第２ビットが１である場合に、前記辞典の前
記現在のサイズの２を底とする対数を最も近い整数に切
り上げた値に等しく且つ前記辞典内での指標を表す数だ
け前記シーケンスの次のビットを読み取り、前記指標に
よって識別される、前記辞典からの記号の列を発行する
ステップと、 （ｌ）ステップ（ｋ）で発行された列を、前記履歴バッ
ファに挿入するステップと、 （ｍ）前記履歴バッファの現在のサイズを記録するステ
ップと、 （ｎ）前記シーケンスが終わりになるまで、ステップ
（ａ）ないし（ｍ）を繰り返すステップと を含む圧縮データの復号方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US458117 | 1989-12-28 | ||
| US07/458,117 US5010344A (en) | 1989-12-28 | 1989-12-28 | Method of decoding compressed data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03204235A JPH03204235A (ja) | 1991-09-05 |
| JPH0779265B2 true JPH0779265B2 (ja) | 1995-08-23 |
Family
ID=23819428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2323417A Expired - Lifetime JPH0779265B2 (ja) | 1989-12-28 | 1990-11-28 | 圧縮データの復号方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5010344A (ja) |
| EP (1) | EP0438954B1 (ja) |
| JP (1) | JPH0779265B2 (ja) |
| DE (1) | DE69025160T2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5010344A (en) | 1989-12-28 | 1991-04-23 | International Business Machines Corporation | Method of decoding compressed data |
| JPH05176001A (ja) * | 1991-12-25 | 1993-07-13 | Matsushita Electric Ind Co Ltd | データ伝送装置 |
| US5323155A (en) * | 1992-12-04 | 1994-06-21 | International Business Machines Corporation | Semi-static data compression/expansion method |
| US5546080A (en) * | 1994-01-03 | 1996-08-13 | International Business Machines Corporation | Order-preserving, fast-decoding arithmetic coding arithmetic coding and compression method and apparatus |
| US5680601A (en) * | 1994-12-14 | 1997-10-21 | Hewlett-Packard Company | Compression system for reducing the occurrence of a literal prefix |
| US5970177A (en) * | 1995-06-07 | 1999-10-19 | America Online, Inc. | Data compression using selective encoding |
| JP3273119B2 (ja) * | 1995-09-29 | 2002-04-08 | 京セラ株式会社 | データ圧縮・伸長装置 |
| US5974455A (en) * | 1995-12-13 | 1999-10-26 | Digital Equipment Corporation | System for adding new entry to web page table upon receiving web page including link to another web page not having corresponding entry in web page table |
| EP1354411A1 (en) * | 2001-01-11 | 2003-10-22 | Koninklijke Philips Electronics N.V. | Data compression method with identifier of regressive string reference |
| JP4667108B2 (ja) * | 2005-04-11 | 2011-04-06 | パナソニック株式会社 | データ処理装置 |
| SE530081C2 (sv) * | 2005-10-24 | 2008-02-26 | Algotrim Ab | Metod och system för datakomprimering |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5001478A (en) | 1989-12-28 | 1991-03-19 | International Business Machines Corporation | Method of encoding compressed data |
| US5010344A (en) | 1989-12-28 | 1991-04-23 | International Business Machines Corporation | Method of decoding compressed data |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59231683A (ja) * | 1983-06-01 | 1984-12-26 | インタ−ナシヨナル ビジネス マシ−ンズ コ−ポレ−シヨン | データ圧縮方法 |
| US4558302A (en) * | 1983-06-20 | 1985-12-10 | Sperry Corporation | High speed data compression and decompression apparatus and method |
| US4725815A (en) * | 1984-01-16 | 1988-02-16 | International Business Machines Corporation | Method for encoding and decoding a digital image |
| GB2172127B (en) * | 1985-03-06 | 1988-10-12 | Ferranti Plc | Data compression system |
| US4730348A (en) * | 1986-09-19 | 1988-03-08 | Adaptive Computer Technologies | Adaptive data compression system |
| US4843389A (en) * | 1986-12-04 | 1989-06-27 | International Business Machines Corp. | Text compression and expansion method and apparatus |
| US4899148A (en) * | 1987-02-25 | 1990-02-06 | Oki Electric Industry Co., Ltd. | Data compression method |
| US4881075A (en) * | 1987-10-15 | 1989-11-14 | Digital Equipment Corporation | Method and apparatus for adaptive data compression |
| US4876541A (en) * | 1987-10-15 | 1989-10-24 | Data Compression Corporation | Stem for dynamically compressing and decompressing electronic data |
| US4847619A (en) * | 1987-10-19 | 1989-07-11 | Hewlett-Packard Company | Performance-based reset of data compression dictionary |
| US4906991A (en) * | 1988-04-29 | 1990-03-06 | Xerox Corporation | Textual substitution data compression with finite length search windows |
-
1989
- 1989-12-28 US US07/458,117 patent/US5010344A/en not_active Expired - Fee Related
-
1990
- 1990-10-31 EP EP90480178A patent/EP0438954B1/en not_active Expired - Lifetime
- 1990-10-31 DE DE69025160T patent/DE69025160T2/de not_active Expired - Fee Related
- 1990-11-28 JP JP2323417A patent/JPH0779265B2/ja not_active Expired - Lifetime
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5001478A (en) | 1989-12-28 | 1991-03-19 | International Business Machines Corporation | Method of encoding compressed data |
| US5010344A (en) | 1989-12-28 | 1991-04-23 | International Business Machines Corporation | Method of decoding compressed data |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0438954B1 (en) | 1996-01-31 |
| US5010344A (en) | 1991-04-23 |
| DE69025160D1 (de) | 1996-03-14 |
| EP0438954A1 (en) | 1991-07-31 |
| JPH03204235A (ja) | 1991-09-05 |
| DE69025160T2 (de) | 1996-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0779262B2 (ja) | 圧縮データの符号化方法 | |
| JPH0779263B2 (ja) | データ圧縮方法 | |
| JP3006766B2 (ja) | 圧縮された状態におけるデータをエンコードし、デコードし、伝送する方法と装置 | |
| US5532694A (en) | Data compression apparatus and method using matching string searching and Huffman encoding | |
| US5973630A (en) | Data compression for use with a communications channel | |
| US5270712A (en) | Sort order preserving method for data storage compression | |
| US5970177A (en) | Data compression using selective encoding | |
| Yamaguchi et al. | An efficient method for compressing test data | |
| US5874908A (en) | Method and apparatus for encoding Lempel-Ziv 1 variants | |
| WO1991003880A1 (en) | Improved data compression apparatus | |
| JP2863065B2 (ja) | マッチングストリング探索およびハフマン符号化を用いたデータ圧縮装置および方法ならびにデータ伸長装置および方法 | |
| JPS6356726B2 (ja) | ||
| JPH0779265B2 (ja) | 圧縮データの復号方法 | |
| JPH0779264B2 (ja) | 圧縮データ復元方法 | |
| US5815096A (en) | Method for compressing sequential data into compression symbols using double-indirect indexing into a dictionary data structure | |
| US6292115B1 (en) | Data compression for use with a communications channel | |
| JP2026010210A (ja) | 受信したデータを処理する装置 | |
| Anisimov et al. | Practical Word-based Text Compression Using the Reverse Multi-Delimiter Codes. | |
| JP7849406B2 (ja) | ストレージシステム | |
| JPH06149537A (ja) | データ圧縮方法及び復元方法 | |
| Ise et al. | A note on performance improvement of Ziv‐Lempel code | |
| Ong | A multi-block data compression method based on arithmetic coding for a library database | |
| GB2193866A (en) | Data compression method and apparatus | |
| JPS6394366A (ja) | 英語文書圧縮装置 | |
| JPH05218881A (ja) | データ圧縮処理方式及びデータ復元処理方式 |