JPS63209228A - デ−タ圧縮方法 - Google Patents
デ−タ圧縮方法Info
- Publication number
- JPS63209228A JPS63209228A JP62040453A JP4045387A JPS63209228A JP S63209228 A JPS63209228 A JP S63209228A JP 62040453 A JP62040453 A JP 62040453A JP 4045387 A JP4045387 A JP 4045387A JP S63209228 A JPS63209228 A JP S63209228A
- Authority
- JP
- Japan
- Prior art keywords
- word
- dictionary
- data
- words
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
- H03M7/42—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code using table look-up for the coding or decoding process, e.g. using read-only memory
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
(産業上の利用分野)
本発明は、コンビーータあるいは端末間の通信を行なう
上において、その間のデータを圧縮する方法に関するも
のである。
上において、その間のデータを圧縮する方法に関するも
のである。
(従来の技術)
このような圧縮方法の一例は「日経エレクトロニクス、
扁403、第288頁、198.6.9.8Jに開示さ
れている。
扁403、第288頁、198.6.9.8Jに開示さ
れている。
第2図は、従来のデータ圧縮方法の一構成例を示すブロ
ック図である。21は送信側の端末装置、2はデータ圧
縮符号化器、22は符号化器内の探索手段、2 、?
、 24はそれぞれ辞書A、B、25は変調器を示す。
ック図である。21は送信側の端末装置、2はデータ圧
縮符号化器、22は符号化器内の探索手段、2 、?
、 24はそれぞれ辞書A、B、25は変調器を示す。
26は伝送路、27は復調器、20は復号化器を示す。
28は復号化器内の探索手段、29,210はそれぞれ
送信側の辞書A。
送信側の辞書A。
Bに対応した辞書A、Bを示す。211は受信側の端末
装置を示す。端末装置2ノで出力された単語は複数の文
字で構成される。データ圧縮符号化器1の探索手段22
において、入力した単語に対応する内容が辞書A23に
あるかないかの探索を子 行なう。ある場合は、辞書A I/7C洗半め登録され
た単語に対応するデータを出力する。探索の結果、辞書
Aに登録した単語がない場合は、辞書Bにおいて単語を
構成する各文字に対応するデータを出力する。この様に
して圧縮されたデータは、変調器25を介して伝送路2
6へ送出される。受信側では最初に復調器27によって
データへ復調する。
装置を示す。端末装置2ノで出力された単語は複数の文
字で構成される。データ圧縮符号化器1の探索手段22
において、入力した単語に対応する内容が辞書A23に
あるかないかの探索を子 行なう。ある場合は、辞書A I/7C洗半め登録され
た単語に対応するデータを出力する。探索の結果、辞書
Aに登録した単語がない場合は、辞書Bにおいて単語を
構成する各文字に対応するデータを出力する。この様に
して圧縮されたデータは、変調器25を介して伝送路2
6へ送出される。受信側では最初に復調器27によって
データへ復調する。
復調したデータから探索手段28によシ辞書A29、辞
書B210を用いて端末装置211に対応したコードに
変換する。
書B210を用いて端末装置211に対応したコードに
変換する。
ここで、辞書Aに登録されている単語が多くかつ一単語
に割り当てるデータの長さが短かい方がデータの圧縮効
果が得られることから、一般には一単語に対して16ビ
ツト(単語数216= 65,536語)程度が割り当
てられる。また辞書Bは、各文字に対応しているから一
般には8ビツト(文字数28= 256文字)程度が割
り当てられる。
に割り当てるデータの長さが短かい方がデータの圧縮効
果が得られることから、一般には一単語に対して16ビ
ツト(単語数216= 65,536語)程度が割り当
てられる。また辞書Bは、各文字に対応しているから一
般には8ビツト(文字数28= 256文字)程度が割
り当てられる。
(発明が解決しようとする問題点)
しかしながら、端末装置21からの入力データに対して
、辞書A 2 、?から対応する単語を探索するために
は、辞書A21に登録された単語数が6万語と多く、探
索時間が膨大で、高速データ伝送のための実時間処理は
不可能であった。また登録すべき単語数が多いため、そ
のだめの辞書のメモリ容量を多く必要としてハード規模
が大きくなる欠点があった。
、辞書A 2 、?から対応する単語を探索するために
は、辞書A21に登録された単語数が6万語と多く、探
索時間が膨大で、高速データ伝送のための実時間処理は
不可能であった。また登録すべき単語数が多いため、そ
のだめの辞書のメモリ容量を多く必要としてハード規模
が大きくなる欠点があった。
この発明は、以上述べた探索のために多くの時間が費さ
れる問題と、辞書のメモリ容量が多く必要となる問題点
を除去し、しかも一層の高能率のデータ圧縮方法を提供
することを目的とする。
れる問題と、辞書のメモリ容量が多く必要となる問題点
を除去し、しかも一層の高能率のデータ圧縮方法を提供
することを目的とする。
(問題点を解決するだめの手段)
この発明は、符号器側において端末装置から入力する単
語の発生頻度を計算する手段と、発生頻規単語登録する
手段とを設けるとともに、復号器側においても、符号器
側と同様の手法に基づいて復調された後の単語からその
発生頻度を計算する手段と、発生頻度に応じて最適長の
データを割当てる手段と、符号器側と同じ新規単語登録
手段を設けたものである。
語の発生頻度を計算する手段と、発生頻規単語登録する
手段とを設けるとともに、復号器側においても、符号器
側と同様の手法に基づいて復調された後の単語からその
発生頻度を計算する手段と、発生頻度に応じて最適長の
データを割当てる手段と、符号器側と同じ新規単語登録
手段を設けたものである。
(作用)
本発明によれば、以上のように、端末装置から入力した
新規単語を、既登録辞書に追加するとともに、その発生
頻度を、すべての登録単語と比較し、頻度に応じた最適
長のコードを割り当てるととができるから、少々い辞書
で、高い効率のデータ圧縮ができる。
新規単語を、既登録辞書に追加するとともに、その発生
頻度を、すべての登録単語と比較し、頻度に応じた最適
長のコードを割り当てるととができるから、少々い辞書
で、高い効率のデータ圧縮ができる。
(実施例)
第1図はこの発明の実施例を示す構成図である。
送信側において1ノは送信端末装置、19はデータ圧縮
符号器、14は端末装置からの入力単語に対応して辞書
から同一単語を選択する探索手段、予 15は寺≠半め登録された単語と文字が発生頻度に対応
して記憶されている辞書、16は辞書15に入力データ
が単語として登録されていない場合、新語として登録す
る手段、17は端末装置11からの入力データに対応し
て単語あるいは文字の発生頻度を計数する手段を示す。
符号器、14は端末装置からの入力単語に対応して辞書
から同一単語を選択する探索手段、予 15は寺≠半め登録された単語と文字が発生頻度に対応
して記憶されている辞書、16は辞書15に入力データ
が単語として登録されていない場合、新語として登録す
る手段、17は端末装置11からの入力データに対応し
て単語あるいは文字の発生頻度を計数する手段を示す。
18は探索手段14によって選ばれた単語、文字に対す
る対応コードを送信するための変調器、110は伝送路
、1ノーは受信側の復調器、113は復調データから辞
書によシ探索する手段、114は単語あるいは文字が登
録されている辞書、115は辞書にない単語を新語を登
録する手段、116は復調器111からの出力データの
単語あるいは文字の頻度を計算する頻度計算手段である
。117は受信側の端末装置を示す。
る対応コードを送信するための変調器、110は伝送路
、1ノーは受信側の復調器、113は復調データから辞
書によシ探索する手段、114は単語あるいは文字が登
録されている辞書、115は辞書にない単語を新語を登
録する手段、116は復調器111からの出力データの
単語あるいは文字の頻度を計算する頻度計算手段である
。117は受信側の端末装置を示す。
一つの内容に関る雑誌、新聞の記事に使用される単語数
は、2手〜3.+単語程度でしかも使用頻度の高い単語
はある程度限定されている。従って初期値として先かし
め辞書15に登録される単語は2斗〜3+単語あれば十
分である。しかしながら、一つの記事において観ると、
固有名詞あるいは特に記事の内容に関する特定の単語の
使用頻度が高くなる。この固有名詞、あるいは特定の単
語は他の記事においてはほとんど存在しない。従って、
1つの記事から各単語に対応するデータを割り当てて、
高い圧縮率を得るためには、端末装置から辞書にない新
単語が出力される毎に、新語として辞書に登録すること
によって、次に同じ新語が入力した時は、1つの単語と
して発生頻度に応じた最適なデータ長を割り当てる。
は、2手〜3.+単語程度でしかも使用頻度の高い単語
はある程度限定されている。従って初期値として先かし
め辞書15に登録される単語は2斗〜3+単語あれば十
分である。しかしながら、一つの記事において観ると、
固有名詞あるいは特に記事の内容に関する特定の単語の
使用頻度が高くなる。この固有名詞、あるいは特定の単
語は他の記事においてはほとんど存在しない。従って、
1つの記事から各単語に対応するデータを割り当てて、
高い圧縮率を得るためには、端末装置から辞書にない新
単語が出力される毎に、新語として辞書に登録すること
によって、次に同じ新語が入力した時は、1つの単語と
して発生頻度に応じた最適なデータ長を割り当てる。
第1図を用いて、本発明の詳細な説明する。端末装置1
1から出力された単語は探索手段14において辞書15
に先しめ記憶された単語との間で参酌される。辞書15
に登録された単語のある場合は、対応したコードを辞書
15から選び変調器話 18へ出力する。それと同時に、半径の使用頻度を頻度
計算手段17で計算する。同一単語の使用頻度が高くな
れば、その頻度に応じて、その単語に短かいコードを割
り当てる。このコードの割り当て方は、ハフマン符号化
法を用いれば最適な符号化が可能である。
1から出力された単語は探索手段14において辞書15
に先しめ記憶された単語との間で参酌される。辞書15
に登録された単語のある場合は、対応したコードを辞書
15から選び変調器話 18へ出力する。それと同時に、半径の使用頻度を頻度
計算手段17で計算する。同一単語の使用頻度が高くな
れば、その頻度に応じて、その単語に短かいコードを割
り当てる。このコードの割り当て方は、ハフマン符号化
法を用いれば最適な符号化が可能である。
しかし、端末装置11からの出力された単語が、探索1
4において、辞書15と参酌した結果、先トカ。録うれ
た単語。ヵい場合は、単語は文やよ分割される。文字種
類数は、英語の場合で26文子 字で、’に=h=Eめ辞書に登録されている。従って各
文字毎に対応したコードが辞書15から選びだされ、変
調器18に送出される。ここで1つの単語としての認識
は、スペースによって区切られた区間をもって行ない、
新語として扱われた場合は、各文字毎にコード化して変
調器18に送出するとともに、新語登録手段16で新語
登録を行なう。
4において、辞書15と参酌した結果、先トカ。録うれ
た単語。ヵい場合は、単語は文やよ分割される。文字種
類数は、英語の場合で26文子 字で、’に=h=Eめ辞書に登録されている。従って各
文字毎に対応したコードが辞書15から選びだされ、変
調器18に送出される。ここで1つの単語としての認識
は、スペースによって区切られた区間をもって行ない、
新語として扱われた場合は、各文字毎にコード化して変
調器18に送出するとともに、新語登録手段16で新語
登録を行なう。
同時に頻度計算手段27により発生頻度数を割り当てる
。
。
発生した新語は、辞書15の中に先かしめ貯えられた登
録単語あるいは文字との間で、高い発生頻度の語に対し
ては短かいコードを、低い発生頻度の語に対しては、長
いコードを割り当ててる。
録単語あるいは文字との間で、高い発生頻度の語に対し
ては短かいコードを、低い発生頻度の語に対しては、長
いコードを割り当ててる。
新語が登録された時に、既登録の単語に同一の発生頻度
の単語がある場合は、同一文章において新語の扱われる
確率が高いことから、同一発生頻度グループの中で最も
短かいコードを割り当てることによシデータ圧縮の効果
は上がる。
の単語がある場合は、同一文章において新語の扱われる
確率が高いことから、同一発生頻度グループの中で最も
短かいコードを割り当てることによシデータ圧縮の効果
は上がる。
以上により、変調器18により送出されたデータは伝送
路110を通って復調器111でデータに復調される。
路110を通って復調器111でデータに復調される。
復調されたデータは単語毎に探索手段113によシ送信
側の辞書15と同一の辞書114を用いて対応する単語
のコードを探索する。
側の辞書15と同一の辞書114を用いて対応する単語
のコードを探索する。
対応するコードのある場合は、コードに対応した単語を
端末装置117へ出力する。復調器111からのデータ
がスペースをはさんだ文字として受信した場合は、送信
側で説明したと同一の手法に従って新語登録を行なうこ
とによシ、常に送信側と受信側の辞書は同一に保たれる
。
端末装置117へ出力する。復調器111からのデータ
がスペースをはさんだ文字として受信した場合は、送信
側で説明したと同一の手法に従って新語登録を行なうこ
とによシ、常に送信側と受信側の辞書は同一に保たれる
。
(発明の効果)
以上詳細に説明した様に、本発明によれば、新語登録手
段と入力単語に対する頻度計算手段と、頻度計算手段に
よって得られた結果を用いて、発生頻度の高い単語に対
しては短かいデータを割り当てることによって高い効率
でデータを圧縮することができる。
段と入力単語に対する頻度計算手段と、頻度計算手段に
よって得られた結果を用いて、発生頻度の高い単語に対
しては短かいデータを割り当てることによって高い効率
でデータを圧縮することができる。
第3図に初期値単語登録数に対して本発明によるデータ
圧縮方法を適用した場合のデータ圧縮率をシミュレーシ
ョンによって求めた結果を示す。
圧縮方法を適用した場合のデータ圧縮率をシミュレーシ
ョンによって求めた結果を示す。
この結果から、初期値単語登録数が2000以上では3
8チ程度となシ、これ以上初期値単語登録数を増やす必
要はない。またほとんど使用されない単語に対しては、
登録辞書においてコードを割り当てる時に除外すること
によって一層効果的にデータ圧縮をすることができる。
8チ程度となシ、これ以上初期値単語登録数を増やす必
要はない。またほとんど使用されない単語に対しては、
登録辞書においてコードを割り当てる時に除外すること
によって一層効果的にデータ圧縮をすることができる。
なお、前述の実施例は英語文に適用したものであるが、
日本語や他の外国語にも同様に適用することができる。
日本語や他の外国語にも同様に適用することができる。
第1図は、本発明のデータ圧縮方法の構成図を示す。第
2図は、従来のデータ圧縮方法の構成図を示す。第3図
は、本発明によるシミーレーションによるデータ圧縮の
結果を示す。 11は送信側の端末装置、19は送信側のデータ圧縮符
号化器、14は探索手段、15は辞書、16は新語登録
手段、17は頻度計算、18は変調器、110は伝送路
、11ノは受信側の復調器、118は受信側のデータ圧
縮復号化器、114は辞書、113は探索手段、115
は新語登録、116は頻度計算手段、117は受信側の
端末装置を示す。
2図は、従来のデータ圧縮方法の構成図を示す。第3図
は、本発明によるシミーレーションによるデータ圧縮の
結果を示す。 11は送信側の端末装置、19は送信側のデータ圧縮符
号化器、14は探索手段、15は辞書、16は新語登録
手段、17は頻度計算、18は変調器、110は伝送路
、11ノは受信側の復調器、118は受信側のデータ圧
縮復号化器、114は辞書、113は探索手段、115
は新語登録、116は頻度計算手段、117は受信側の
端末装置を示す。
Claims (3)
- (1)端末装置から入力される文字、数字あるいは記号
を用いて、それ等の組み合せによって構成される単語あ
るいは前記文字、数字、記号の発生頻度に従って、各々
に対して最適なデータ長を割り当てることにより、端末
装置からの入力データを圧縮する方法において、 (a)予め登録された文字、数字、記号あるいはそれ等
の組み合せによって構成される単語と、それに対応した
前記最適なデータ長を有する変換コードをもつ登録辞書
を用いて、端末装置から入力したデータを探索する手段
と、 (b)探索の結果、前記辞書に該当する登録単語のない
場合は、新単語として前記辞書に登録する手段と、 (c)端末装置からの入力データで、前記辞書に登録さ
れている文字、数字、記号あるいはそれ等の組み合せに
よって構成される単語および前記新単語の発生頻度を計
算する手段、 を有することを特徴とするデータ圧縮方法。 - (2)新単語を前記辞書に登録する場合において、該発
生頻度が前記辞書の既登録文字、数字、記号あるいは単
語の発生頻度と等しい時は、該新単語に割り当てるデー
タ長を、同一の発生頻度内のデータの中で最も短かいも
のを割り当てることを特徴とした特許請求の範囲第1項
記載のデータ圧縮方法。 - (3)新単語を前記辞書に登録する場合において、使用
頻度の低い、前記辞書の既登録文字、数字、記号あるい
は単語に圧縮のためのデータとして取り扱わないことに
より、前記辞書内に登録された文字、数字、記号あるい
は単語数を一定に保つことを特徴とした特許請求の範囲
第1項あるいは第2項記載のデータ圧縮方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP62040453A JPS63209228A (ja) | 1987-02-25 | 1987-02-25 | デ−タ圧縮方法 |
| US07/157,691 US4899148A (en) | 1987-02-25 | 1988-02-19 | Data compression method |
| CA000559752A CA1291829C (en) | 1987-02-25 | 1988-02-24 | Data compression method |
| DE88301626T DE3882738T2 (de) | 1987-02-25 | 1988-02-25 | Datenkomprimierungsverfahren und -vorrichtung. |
| EP88301626A EP0280549B1 (en) | 1987-02-25 | 1988-02-25 | Data compression method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP62040453A JPS63209228A (ja) | 1987-02-25 | 1987-02-25 | デ−タ圧縮方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPS63209228A true JPS63209228A (ja) | 1988-08-30 |
Family
ID=12581057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP62040453A Pending JPS63209228A (ja) | 1987-02-25 | 1987-02-25 | デ−タ圧縮方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS63209228A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1991013395A1 (fr) * | 1990-02-26 | 1991-09-05 | Fujitsu Limited | Procede de compression et de reconstitution de donnees et dispositif prevu a cet effet |
| JPH04156111A (ja) * | 1990-10-19 | 1992-05-28 | Fujitsu Ltd | データ圧縮方法 |
| JPH04156109A (ja) * | 1990-10-19 | 1992-05-28 | Fujitsu Ltd | Zl符号化方法 |
| JPH04156110A (ja) * | 1990-10-19 | 1992-05-28 | Fujitsu Ltd | データ圧縮方法 |
| US5614899A (en) * | 1993-12-03 | 1997-03-25 | Matsushita Electric Co., Ltd. | Apparatus and method for compressing texts |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59231683A (ja) * | 1983-06-01 | 1984-12-26 | インタ−ナシヨナル ビジネス マシ−ンズ コ−ポレ−シヨン | データ圧縮方法 |
-
1987
- 1987-02-25 JP JP62040453A patent/JPS63209228A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59231683A (ja) * | 1983-06-01 | 1984-12-26 | インタ−ナシヨナル ビジネス マシ−ンズ コ−ポレ−シヨン | データ圧縮方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1991013395A1 (fr) * | 1990-02-26 | 1991-09-05 | Fujitsu Limited | Procede de compression et de reconstitution de donnees et dispositif prevu a cet effet |
| JPH04156111A (ja) * | 1990-10-19 | 1992-05-28 | Fujitsu Ltd | データ圧縮方法 |
| JPH04156109A (ja) * | 1990-10-19 | 1992-05-28 | Fujitsu Ltd | Zl符号化方法 |
| JPH04156110A (ja) * | 1990-10-19 | 1992-05-28 | Fujitsu Ltd | データ圧縮方法 |
| US5614899A (en) * | 1993-12-03 | 1997-03-25 | Matsushita Electric Co., Ltd. | Apparatus and method for compressing texts |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6633242B2 (en) | Entropy coding using adaptable prefix codes | |
| US6563956B1 (en) | Method and apparatus for compressing data string | |
| US4099257A (en) | Markov processor for context encoding from given characters and for character decoding from given contexts | |
| US5973630A (en) | Data compression for use with a communications channel | |
| US6100824A (en) | System and method for data compression | |
| JPH01195770A (ja) | 画像データ圧縮伝送方法 | |
| US5594435A (en) | Permutation-based data compression | |
| JPH1079672A (ja) | メッセージの圧縮及び圧縮解除の方法及び装置 | |
| JPS6356726B2 (ja) | ||
| GB1594521A (en) | Facsimile encoding communication system | |
| JPS63209228A (ja) | デ−タ圧縮方法 | |
| KR100448289B1 (ko) | 스트링매칭모듈을갖는데이터압축시스템 | |
| Sayood et al. | A differential lossless image compression scheme | |
| US5914680A (en) | Data encoding method and apparatus and data decoding method and apparatus | |
| US6778107B2 (en) | Method and apparatus for huffman decoding technique | |
| US6049633A (en) | Adaptive arithmetic codec method and apparatus | |
| US5564045A (en) | Method and apparatus for string searching in a linked list data structure using a termination node at the end of the linked list | |
| RU2080738C1 (ru) | Способ сжатия последовательности информационных сигналов | |
| KR100636370B1 (ko) | 결정 비트를 이용한 부호화 장치 및 그 방법과 그에 따른복호화 장치 및 그 방법 | |
| JPS6352812B2 (ja) | ||
| JP3130324B2 (ja) | データ圧縮方式 | |
| JPS6180929A (ja) | 情報源符号化伝送装置 | |
| EP0047382A2 (en) | Adaptive compression encoding of a binary-source symbol string | |
| JPS62209948A (ja) | デ−タ圧縮伝送方法 | |
| JPH1155125A (ja) | 文字データの圧縮・復元方法 |