JPH10326273A - データ圧縮装置及びデータ復元装置及びデータ圧縮方法及びデータ復元方法及びプログラム記録媒体 - Google Patents
データ圧縮装置及びデータ復元装置及びデータ圧縮方法及びデータ復元方法及びプログラム記録媒体Info
- Publication number
- JPH10326273A JPH10326273A JP9348321A JP34832197A JPH10326273A JP H10326273 A JPH10326273 A JP H10326273A JP 9348321 A JP9348321 A JP 9348321A JP 34832197 A JP34832197 A JP 34832197A JP H10326273 A JPH10326273 A JP H10326273A
- Authority
- JP
- Japan
- Prior art keywords
- information
- phonetic
- document data
- data
- intermediate code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Document Processing Apparatus (AREA)
Abstract
復元装置を提供する。 【解決手段】 漢字熟語と、読み及び同音異義語識別情
報とを対応づけて記憶する同音異義語辞書17を有する
表音変換部12によって、平文データ内の漢字熟語を、
その漢字熟語の読みの文字数を示す文字数識別情報と読
みと同音異義語識別情報とからなる情報に置き換えたデ
ータである表音データが出力され、無歪圧縮部13によ
って、その表音データが圧縮されるようデータ圧縮装置
を構成する。その際、文字数識別情報としては、平文デ
ータ中で使用されることがある2バイト文字の第1バイ
ト、1バイト文字と内容が異なる1バイトの情報を用い
る。
Description
れる文字を含む文書データを圧縮、復元するための装置
及び方法及びプログラム記録媒体に関し、例えば、日本
語文書データを圧縮、復元するための装置及び方法及び
プログラム記録媒体に関する。
所有のコンピュータで処理あるいは保存される電子化さ
れた文書の量が飛躍的に増大してきている。例えば、1
日に数百〜1000通程度の電子メールを処理する人も
多く、1年間で数百MB以上に及ぶ文書データが保存さ
れることも珍しくなくなっている。
てデータ量を圧縮することによって、データの伝送時間
の短縮や、データの記憶に必要とされる容量の低減が図
られている。データを圧縮する方法としては、さまざま
なものが知られており、文字コード、ベクトル情報、画
像などといった様々なデータを圧縮できる方法も存在し
ている。このような圧縮方法では、ユニバーサル符号化
と呼ばれる符号化が用いられている。
つかの符号化方法の概要を説明する。なお、以下の説明
においては、情報理論で用いられている呼称を踏襲し、
データの1単位を「文字」と表記し、「文字」が複数個
つながったものを「文字列」と表記する。
符号化には2値算術符号化と、3値以上の多値算術符号
化とがあり、多値算術符号化では、0以上、1未満の数
直線(以下[0、1)と記す)が、符号化すべきデータ
を構成する各文字の生起確率(出現頻度)に応じて順次
狭められていく。そして、全ての文字に対する処理が終
わったときに、狭められた区間内の1点を表す数値が符
号として出力される。
b、c、d、eの5つであり、それらの文字の生起確率
が、それぞれ、0.2、0.1、0.05、0.15、
0.5であった場合、図24に示したように、各文字に
対して、その生起確率に応じた区間幅を有する区間が割
り当てられる。
であった場合には、図25に模式的に示したように、ま
ず、区間[0、1)は、文字“a”に対する区間[0、
0.2)に狭められる。次いで、その区間[0、0.
2)が各文字の生起確率に応じた区間に分割され、次の
文字である“b”に対応する区間[0.04、0.0
6)が文字列“ab”に対する区間として選択される。
さらに、その区間[0.04、0.06)が各文字の生
起確率に応じた区間に分割され、次の文字である“e”
に対応する区間[0.05、0.06)が文字列“ab
e”に対する区間として選択される。その後、その区間
内の任意の点(たとえば下限)の位置を2進表示した際
の少数点以下のビット列が符号化結果として出力され
る。
度)に応じた区間の分割方法によって、さらに、各文字
の実際の出現頻度によらず、予め設定した出現頻度に従
って分割を行う静的(static)符号化方式と、最初に全文
字列を走査することによって得られた出現頻度で分割す
る準適応型(semi-adaptive)符号化方式、文字が出現す
る毎に、出現頻度を再計算し、区間を再設定する適応型
(adaptive)符号化方式に分類される。算術符号化に関す
る文献としては、Bell,T.C.,Cleary,J.G.,and Witten,
I.H.(1990) "Text Compression", Prentice Hall があ
る。
サル符号化も知られている。スプレー符号化では、文字
が符号化される度に、出現頻度がより高い文字に、より
短い符号が割り当てられるように、符号木(木構造の符
号表)を組み替える処理が行われる。なお、スプレー符
号化の詳細に関しては、例えば、Jones, Douglas W."Ap
plication of Splay Trees Data Compression", Commo
n. ACM, vol.31,no.8,pp.996-1007,Aug.,1998.を参照さ
れたい。
る符号化方法も知られている。ブレンド・スプレー符号
化は、スプレー符号化に、ブレンド・モデル(blending
model)と呼ばれる統計モデルを採用した符号化であ
る。
符号木が用意される。ここで、文脈とは、図26に模式
的に示したように、符号化対象文字(“c”)の直前に
存在する文字列(“ab”)のことである。ブレンド・
スプレー符号化(ブレンド・モデル)では、図27に示
したような文脈木によって、文脈として用いる文字数
(次数)が文脈の出易さに応じたものに制御される。す
なわち、一般に、文字間の相関が強いデータを対象とす
る場合、高次の文脈を用いる程、高圧縮率を得ることが
できるが、文字間の相関が弱いデータを対象とした場
合、高次の文脈を用いるとかえって圧縮率が低下してし
まうこともある。このことを防止するために考案された
技術がブレンド・モデルであり、ブレンド・モデルで
は、ある文脈が出やすい場合には、その文脈に関する次
数を上げ、出にくい場合には低い次数のままといったよ
うに、各文脈の次数が入力データに適応したものに変更
される。
アルファベットを使用する文化圏で開発されたものであ
るため、各符号化を用いた圧縮時には、1バイトが一文
字として取り扱われる。このため、日本語等、2バイト
で表される文字を含む文章を、各技術を用いて圧縮した
場合、英文文書ほど高い圧縮率が得られないといった問
題があった。
ータの組み合わせが意味を持ち、2バイト文字を構成す
る2つのバイトデータ間には何ら相関関係は存在しな
い。このため、2バイト文字を1バイトずつ処理してい
く従来の圧縮方法では、情報理論で言えば、情報源を縮
小(2バイトのデータを1バイトに分割)した上で圧縮
が行われていることになり、高い圧縮率が得られない。
あるといった問題もあった。すなわち、漢字は、日常的
に用いられるものでも数千種あるため、同程度のサイズ
の文章を、同じバイト数の文脈を利用した符号化により
圧縮を行った場合、日本語文書の方が、英文文書に比し
て、多くの文脈が現れてしまう。実際、8kBの日本語
文書と、8kBの英文文書の圧縮時に現れる4バイトの
文脈の数を計数してみたところ、英文文書では、およそ
3000種の文脈が現れたのに対し、日本語文書では、
およそ5000種の文脈が現れた。また、圧縮が行われ
る日本語文書には、電子メールのように比較的容量の少
ない(A4数枚程度)のものが多い。これらの結果とし
て、日本語文書の圧縮時には、各文脈に関して十分な統
計情報が収集される前に、全文書の圧縮が完了してしま
うことが多く、このことも、日本語文書の圧縮率を低下
させている要因となっていた。
複数バイトで表される文字を有する言語の文書データの
圧縮に適したデータ圧縮装置、データ圧縮方法、プログ
ラム記録媒体を提供することにある。
ータ圧縮装置、データ圧縮方法によって圧縮されたデー
タを復元できるデータ復元装置、データ復元方法、プロ
グラム記録媒体を提供することにある。
に、本発明の第1の態様では、一文字が複数バイトの情
報で表される文字情報を含む元文書データを圧縮するた
めのデータ圧縮装置を、圧縮すべき元文書データに含ま
れる各文字情報を、その文字情報に対応づけられる文字
を発音したときの音を表す表音文字情報で置き換えたデ
ータである表音文書データを作成する表音文書データ作
成手段と、この表音文書データ作成手段が作成する表音
文書データに対して圧縮を行う圧縮手段とを用いて構成
する。
ば、元文書データが、種類がより少ない表音文字情報で
表された表音文書データに変換された上で圧縮されるの
で、元文書データを直接圧縮する場合に比して、高い圧
縮率での圧縮が実現できることになる。
ータを復元する際には、圧縮文書データを復元する復元
手段と、この復元手段で復元される、文字を発音したと
きの音を表す表音文字情報を、対応する文字情報に変換
することによって、圧縮文書データの元となったデータ
である元文書データを生成する元文書データ生成手段と
を備えるデータ復元装置を用いる。
イトで表される文字情報を含む元文書データを圧縮する
データ圧縮装置を、一または複数の文字情報からなる複
数の変換対象語情報に対して、その変換対象語情報が示
す語を発音したときの音を表す情報である表音文字情報
が記憶された表音文字情報記憶手段と、元文書データか
ら、表音文字情報記憶手段内に記憶されている変換対象
語情報を探索するとともに、探索した変換対象語情報に
対応する表音文字情報を表音文字情報記憶手段から読み
出す探索・読出手段と、この探索・読出手段で探索され
た元文書データ内の変換対象語情報を、探索・読出手段
で読み出された表音文字情報を含む変換対象語置換情報
で置換することによって、表音文書データを作成する表
音文書データ作成手段と、この表音文書データ作成手段
により作成された表音文書データで使用されている情報
要素に対して、中間符号を対応づけるための中間符号表
を作成する中間符号表作成手段と、中間符号表作成手段
で作成された中間符号表を用いて、表音文書データを構
成する各情報要素を対応する中間符号に変換することに
よって、中間符号文書データを作成する中間符号文書デ
ータ作成手段と、この中間符号文書データ作成手段が作
成する中間符号文書データに対して圧縮を行う圧縮手段
とを用いて構成する。
タ圧縮装置では、まず、元文書データ内の変換対象語を
表音文字情報で置換することによって、元文書データよ
りも使用されている文字の種類の少ない表音文書データ
が作成される。その後、表音文書データに含まれる各情
報要素(文字)に対して新たな符号(中間符号)が割り
当てられ、その中間符号を用いて、表音文書データが中
間符号文書データに変換される。そして、その中間符号
データが圧縮される。このため、本データ圧縮装置によ
れば、表音文字情報で表現することが困難な、例えば記
号などの文字を含む文書データをも高い圧縮率で圧縮で
きることになる。
れたデータを復元する際には、一または複数の文字情報
からなる変換対象語情報に対して変換対象語情報が示す
語を発音したときの音を表す情報である表音文字情報が
記憶された表音文字情報記憶手段と、圧縮文書データを
復元することによって中間符号文書データを出力する復
元手段と、復元手段が出力する中間符号文書データに含
まれる各中間符号を、圧縮文書データに関する中間符号
表においてその中間符号に対応づけられている情報に置
換することによって、表音文書データを生成する表音文
書データ生成手段と、この表音文書データ生成手段が生
成する表音文書データ中に含まれる変換対象語置換情報
を探索し、探索した変換対象語置換情報を、その変換対
象語置換情報に含まれる表音文字情報に対応づけられて
表音文字情報記憶手段に記憶された変換対象語情報で置
換することによって、圧縮文書データの元となった元文
書データを生成する元文書データ生成手段とを備えるデ
ータ復元装置を用いる。
には、中間符号表作成手段として、表音文書データで使
用されている各情報要素に対して、それらの情報要素を
表現可能な最小のビット数を有する中間符号を割り当て
るための中間符号表を作成する手段を用いることができ
る。
定種類の文字情報を、その文字情報が所定種類の文字情
報であることを示す開始位置識別情報と終了位置識別情
報とで挟まれた置換情報に置換することによって、表音
文書データを作成する手段を用い、中間符号表作成手段
として、表音文書データ内の、開始位置識別情報に続く
情報と終了位置識別情報とには、中間符号が対応づけら
れない中間符号表を作成する手段を用い、中間符号デー
タ作成手段として、表音文書データ内の、開始位置識別
情報に続く情報と終了位置識別情報に関しては、中間符
号への変換を行わない手段を用いることも出来る。
を構成した場合には、例えば、音読み漢字1字などの所
定種類の文字情報に対しては、表音文字情報への変換並
びに中間符号への変換を行わせないことが可能となる。
書データで使用されている情報要素の種類が所定ビット
数で表現可能な情報数Nを越えていた場合、表音文書デ
ータで使用されている情報要素の中から中間符号を割り
当てる“N−1”個の情報要素を選択するとともに、選
択した“N−1”個の情報要素と開始位置識別情報と
に、内容が互いに異なる所定ビット数の中間符号を対応
づけるための中間符号表を作成する手段を用い、中間符
号データ作成手段として、表音文書データ内の、中間符
号表で中間符号が対応づけられている情報に関しては、
その情報を対応する中間符号に変換し、中間符号が割り
当てられていない情報である未割当情報に関しては、そ
の未割当情報を、開始位置識別情報に対応づけられてい
る中間符号を先頭に有し、かつ、未割当情報を含む情報
であって、終了位置が分かる形態の情報である未割当置
換情報で置換することによって、中間符号文書データを
作成する手段を用いることが出来る。
の変換対象語に対して、表音文字情報と、同じ表音文字
情報が対応づけられる他の変換対象語との識別を行うた
めの同音異義語識別情報とを記憶する手段を用い、探索
・読出手段として、探索した変換対象語に対応する表音
文字情報と同音異義語識別情報とを読み出す手段を用
い、表音文書データ作成手段は、元文書データ内の変換
対象語情報を、探索・読出手段で読み出された表音文字
情報と同音異義語識別情報を含む変換対象語置換情報で
置換する手段を用い、中間符号作成手段は、同音異義語
識別情報を除く情報要素を対象として、中間符号表を作
成する手段を用いることも出来る。
イトで表される文字情報を含む元文書データを圧縮する
データ圧縮装置を、一または複数の文字情報からなる変
換対象語情報に対して変換対象語情報が示す語を発音し
たときの音を表す情報である表音文字情報が記憶された
表音文字情報記憶手段と、元文書データから、表音文字
情報記憶手段内に記憶されている変換対象語情報を探索
するとともに、探索した変換対象語情報に対応する表音
文字情報を表音文字情報記憶手段から読み出す探索・読
出手段と、この探索・読出手段で探索された元文書デー
タ内の変換対象語情報を、探索・読出手段で読み出され
た表音文字情報を含む変換対象語置換情報で置換するこ
とによって、表音文書データを作成する表音文書データ
作成手段と、この表音文書データ作成手段が作成する表
音文書データに対して圧縮を行う圧縮手段とを用いて構
成する。
ば、元文書データが、種類がより少ない表音文字情報で
表された表音文書データに変換された上で圧縮されるの
で、元文書データを直接圧縮する場合に比して、高い圧
縮率での圧縮が実現できることになる。
データを復元する際には、一または複数の文字情報から
なる変換対象語情報に対して、各変換対象語情報が示す
語を発音したときの音を表す情報である表音文字情報が
記憶された表音文字情報記憶手段と、圧縮文書データを
復元することによって、表音文書データを出力する復元
手段と、この復元手段が生成する表音文書データ中に含
まれる変換対象語置換情報を探索し、探索した変換対象
語置換情報を、その変換対象語置換情報に含まれる表音
文字情報に対応づけられて表音文字情報記憶手段に記憶
された変換対象語情報で置換することによって、圧縮文
書データの元となった元文書データを生成する元文書デ
ータ生成手段とを備えるデータ復元装置を用いる。
ような表音文字情報をも使用することができる。例え
ば、アルファベットを表す情報や、ハングル文字の母音
と子音を表す情報を用いることが出来る。また、国際音
声記号や、注音字母を表す情報を用いることも出来る。
実施形態を具体的に説明する。 <第1実施形態>第1実施形態のデータ圧縮・復元装置
は、日本語文書の圧縮・復元を行う装置であり、コンピ
ュータを、圧縮・復元用プログラムに従って動作させる
ことによって実現されている。
て、第1実施形態のデータ圧縮・復元装置の概要を説明
する。図示したように、第1実施形態のデータ圧縮・復
元装置は、記憶部11と表音変換部12と無歪圧縮部1
3と無歪復元部14と表音逆変換部15とを備える。
るいは復元されたデータ)である平文データと、平文デ
ータの圧縮結果である圧縮データを記憶する。なお、記
憶部11には、平文データとして、シフトJISコード
が用いられたデータが記憶される。
データ圧縮を行う際に機能する。表音変換部12は、日
本語解析辞書16と同音異義語辞書17を有する。日本
語解析辞書16は、非漢字文字(平仮名、片仮名、記号
等)と漢字からなる平文データから、漢字熟語や1文字
の漢字(音読み、訓読み)を抽出するための辞書であ
る。同音異義語辞書17は、漢字熟語(あるいは漢字)
の読み(平仮名文字列)から、1つの漢字熟語(あるい
は漢字)を特定するための情報である同音異義語識別情
報が記憶された辞書である。すなわち、同音異義語辞書
17には、図2に例示したように、読みが同じ複数の漢
字熟語に対して、互いに異なる内容の同音異義語識別情
報(0、1、…)が記憶されている。なお、本実施形態
では、同音異義語識別情報として、数値を2進数で表し
た1バイトの情報を用いている。
同音異義語辞書17を用いて、記憶部11内に記憶され
た平文データを変換し、変換結果である表音データを無
歪圧縮部13に供給する。詳細については後述するが、
表音変換部12は、平文データ中に含まれる漢字あるい
は漢字熟語を、その読み(平仮名文字列)の文字数を表
す文字数識別情報と、読みと、同音異義語識別情報とか
らなる情報に置き換えることによって、平文データの表
音データへの変換を行う。無歪圧縮部13は、情報のロ
スがない(lossless)圧縮を表音データに対して施し、そ
の結果(圧縮データ)を記憶部11に格納する。本実施
形態では、無歪圧縮部13において、一例として、文脈
の最高次数が“2”であるブレンド・スプレー符号化を
行うものを用いている。
は、データ復元時に機能する。無歪復元部14は、無歪
圧縮部13が出力する圧縮データを復元する機能を有す
る。無歪復元部14は、記憶部11内に記憶された圧縮
データの復元を行い、復元結果(表音データ)を、表音
逆変換部15に供給する。表音逆変換部15は、同音異
義語辞書17と同じ内容の同音異義語辞書18を有す
る。表音逆変換部15は、当該辞書を用いて表音データ
の変換を行い、変換結果である平文データを、記憶部1
1内に記憶する。
置の動作を具体的に説明する。まず、データ圧縮時の動
作を説明する。図3に、データ圧縮時の表音変換部12
の動作手順を示す。図示したように、データ圧縮時、表
音変換部12は、まず、記憶部11内の圧縮をおこなう
べき平文データから1バイト分のデータを取得する(ス
テップS101)。そして、そのデータが1バイト文字
(制御コード、アルファベット、数字、半角片仮名)で
あるか、2バイト文字の第1バイトであるかを判断(ス
テップS102)する。
トであった場合(ステップS102;2ハ゛イト文字)、表
音変換部12は、平文データから次の1バイト分のデー
タを取得(ステップS103)する。次いで、表音変換
部12は、取得した2バイトのデータが表す文字が漢字
であるか否かを判断する(ステップS104)。その文
字が漢字ではなかった場合(ステップS104;非漢
字)、すなわち、当該文字が、平仮名、片仮名、記号
(罫線素片etc.)等であった場合、表音変換部12は、
取得したデータを無歪圧縮部13に出力する(ステップ
S105)。また、ステップS101で取得したデータ
が1バイト文字であった場合(ステップS102;1ハ゛イ
ト文字)も、表音変換部12は、取得したデータを無歪
圧縮部14に出力する(ステップS105)。そして、
出力したデータが“EOF”でなかった場合(ステップ
S114;N)には、ステップS101に戻り、平文デ
ータ内の残りのデータに対する処理を実行する。
1バイトのデータと、2バイト文字を表す2バイトのデ
ータを、共に、単位情報と表記することにする。取得し
た2バイトのデータからなる単位情報の表す文字が漢字
であった場合(ステップS104;漢字)、表音変換部
12は、平文データから次の単位情報を取得する(ステ
ップS106)。すなわち、平文データから次の1バイ
トのデータを取得し、そのデータが1バイト文字であっ
た場合には、そのデータを単位情報とする。また、その
データが2バイト文字の第1バイトであった場合、表音
変換部12は、さらに、1バイトのデータを取得し、そ
れら2バイトのデータを単位情報とする。
た単位情報が漢字を表すものであるか、非漢字あるいは
1バイト文字を表すものであるかを判断する(ステップ
S107)。その単位情報が漢字を表すものであった場
合(ステップS107;漢字)、表音変換部12は、ス
テップS106に戻り、平文データから次の単位情報を
取得する。
単位情報が非漢字あるいは1バイト文字を表すものであ
った場合(ステップS107;その他)、表音変換部1
2は、それまでに取得した漢字数が“1”であるか否か
を判断する(ステップS108)。取得した漢字数が
“1”であった場合(ステップS108;Y)、その漢
字が音読み漢字であるか否かを判断する(ステップS1
09)。なお、表音変換部12は、ステップS106,
S107のループで最後に取得した単位情報(送りがな
等)を利用して、ステップ109の判断を行う。
であり、かつ、音読み漢字でなかった場合(ステップS
109;N)と、取得した漢字が2文字以上であった場
合(ステップS108;N)には、取得した漢字あるい
は漢字列と、その読み(平仮名文字列)を用い、同音異
義語辞書13から同音異義語識別情報を検索する(ステ
ップS110)。次いで、読みの文字数に対応する文字
数識別情報と、読みと、検索した同音異義語識別情報と
を、この順で、無歪圧縮部14に出力する(ステップS
111)。ここで、文字数識別情報とは、数値に対応づ
けられた1バイトのデータであり、各数値に対応する文
字数識別情報には、1バイト文字で使用されている00-7
F,A1-DF,2バイト文字の第1バイトとして使用されてい
る81-9F,E0-EF(16進表記)を除くコードが割り当て
られている。
た場合、表音変換部12は、ステップS111におい
て、図4に模式的に示したように、“製品”の読みであ
る“せいひん”の文字数4を表す1バイトの文字数識別
情報と、“せいひん”を表す総計8バイトのデータと、
1バイトの同音異義語識別情報(同音異義語辞書17の
内容が図3に示したものであった場合には、0x00)とを
出力する。
12は、ステップS106,S107のループで最後に
取得した単位情報を無歪圧縮部13に出力(ステップS
112)する。そして、出力した単位情報が“EOF”
でなかった場合(ステップS114;N)には、ステッ
プS101からの処理を再度実行する。
場合(ステップS109;Y)、表音変換部12は、取
得している2個の単位情報(漢字と、非漢字あるいは1
バイト文字)を無歪圧縮部13に出力(ステップS11
3)して、ステップS114に進む。なお、1文字の音
読み漢字に対して別処理を行わせているのは、以下の理
由による。音読み漢字には同音異義語が多数存在するも
のが多く、中には、1バイトで表現できない数の同音異
義語が存在するもの(例えば、「三省堂、新明解漢和辞
典 第3版1987年」には、“こう”の同音異義語と
して、362語が掲載されている。)もある。このた
め、音読み漢字1字に対して他の漢字と同処理を行った
場合、同音異義語識別情報の種類が多くなる結果とし
て、読みに変換する意義が薄れるためである。
返し、“EOF”の出力を行ったときに(ステップS1
14;Y)、圧縮対象である平文データに対する処理を
終える。
ップS108において“N”側への分岐を行う際、表音
変換部12は、取得している漢字列を、同音異義語辞書
17に同音異義語識別情報が定義されているサイズの漢
字熟語(漢字の場合もある)に分解し、分解した各漢字
熟語に対して、ステップS110、S111相当の処理
を行う。すなわち、同音異義語辞書17に記憶されてい
る2つの漢字熟語からなる漢字列が平文データに含まれ
ていた場合、表音変換部12は、その漢字列を構成する
第1番目の漢字熟語の前後に、文字数識別情報と同音異
義語識別情報とを付加したデータを出力した後、第2番
目の漢字熟語の前後に、文字数識別情報と同音異義語識
別情報とを付加したデータを出力する。その後、その漢
字列の次に存在していた漢字以外の文字を出力する。そ
して、表音変換部12は、平文データから取得した単位
情報が漢字以外の文字を表すものであった場合には、そ
の単位情報をそのまま出力する。このため、例えば、
「半導体製品の売り上げは好調です。」という文章は、
表音変換部12によって、図5に模式的に示したような
データ(表音データ)に変換されることになる。
は、表音変換部12の出力するこのような表音データ
が、無歪圧縮部13によって圧縮される。そして、無歪
圧縮部13による圧縮結果が、圧縮データとして記憶部
11に格納され、データ圧縮が完了する。すなわち、本
データ圧縮・復元装置では、平分データが、元の状態に
復元でき(復元手順については後述)、かつ、使用され
ている文字の種類がより少ないデータである表音データ
に変換される。そして、その表音データが圧縮される。
このため、本データ圧縮・復元装置では、圧縮時の統計
情報の収集が、平文データを直接圧縮する場合に比して
効率的に行われることになり、その結果として、高い圧
縮率でのデータ圧縮が実現されることになる。
置のデータ復元時の動作を説明する。無歪復元部14
は、復元すべきデータとして指示された圧縮データを記
憶部11から読み出し、当該圧縮データの復元結果、す
なわち、表音変換部12がある平文データに基づき作成
した表音データを、表音逆変換部15に供給する。
なように、表音データには、2バイト文字、1バイト文
字、文字数識別情報、同音異義語識別情報が含まれてい
る(図5参照)。このうち、同音異義語識別情報は、数
値を2進数で表した1バイトの情報であるため、1バイ
ト文字等との弁別が不可能な情報となっている。しか
し、同音異義語識別情報の前には、1バイト文字並びに
2バイト文字の第1バイトとの弁別が可能な文字数識別
情報が存在している。また、同音異義語識別情報は、文
字数識別情報が存在する位置並びに内容によって定まる
位置に存在している。
した流れに従って、表音データから平文データを復元す
る。表音逆変換部15は、まず、無歪復元部14から1
バイト分のデータを取得する(ステップS201)。そ
して、表音逆変換部15は、そのデータが、1バイト文
字であるか、2バイト文字の第1バイトであるか、文字
数識別情報であるかを判断(ステップS202)する。
であった場合(ステップS202;1ハ゛イト文字)、表音
逆変換部15は、当該データをそのまま記憶部11に出
力する(ステップS203)。そして、出力したデータ
が“EOF”でなかった場合(ステップS210;N)
には、ステップS201に戻り、無歪復元部14から次
の1バイト分のデータを取得する。また、取得したデー
タが2バイト文字の第1バイトであった場合(ステップ
S202;2ハ゛イト文字)、表音逆変換部15は、さら
に、1バイト分のデータを取得し、それら2バイト分の
データを記憶部11に出力する(ステップS204)。
そして、ステップS201に戻る。
場合(ステップS202;文字数識別情報)、表音逆変
換部15は、その文字数識別情報の内容に基づき、後続
する平仮名文字列の文字数を認識する(ステップS20
5)。そして、表音逆変換部15は、無歪復元部14か
ら、認識した文字数分のデータ(文字数×2バイトのデ
ータ;読み)と、次の1バイト分のデータ(同音異義語
識別情報)を取得する(ステップS206、S20
7)。次いで、表音逆変換部15は、取得した読みと同
音異義語識別情報を用いて、同音異義語辞書18から、
漢字あるいは漢字熟語を検索する(ステップS20
8)。そして、検索した漢字あるいは漢字熟語を記憶部
11に出力して、ステップS201に戻る。
歪復元部14からの各データに対して繰り返し、“EO
F”の出力を行ったときに(ステップS210;Y)、
図示した処理を終了する。
復元装置は、平文データ内の、漢字あるいは漢字熟語
を、文字数識別情報と読みと同音異義語識別情報とから
なるデータで置換した形態の表音データが作成される装
置であったが、文字数識別情報の後に、同音異義語識別
情報と読みがこの順で付加される形態の表音データが作
成されるように装置を構成しても良いことは当然であ
る。
く代わりに、開始位置識別情報と終了位置識別情報とを
用意しておき、データ圧縮時に漢字の読みを出力する
際、その前後に開始位置識別情報と終了位置識別情報を
付加するように装置を構成しても良い。この際、同音異
義語識別情報の位置は、開始位置識別情報の直後あるい
は終了位置識別情報の直後としておく。また、開始位置
識別情報と終了位置識別情報との間に存在している読み
を漢字に戻すことによってデータ復元が行われるように
装置を構成しておく。
置は、1文字の音読み漢字が処理対象となったとき、そ
の漢字コードをそのまま出力する装置であったが、読み
を本来のものとせず、当該漢字の訓読みを読みとするこ
とによって、本来、音読み漢字である漢字1文字もが読
みに変換されるよう装置を構成することも出来る。
置は、シフトJISを対象とするものであったが、JI
S、EUC等の他のコード体系を対象とする装置として
も良いことは当然である。さらに、本実施形態の技術
は、適用対象が日本語に限られるものではなく、複数バ
イト文字の定義が必要とされる言語であればどのような
言語にも適用可能である。
縮・復元装置は、平文データ内に含まれる漢字熟語を、
その漢字熟語の読みを含むデータに置換した形態の表音
データに変換した後、圧縮を行う装置であった。これに
対して、第2実施形態のデータ圧縮・復元装置は、表音
データを作成する際、漢字熟語以外のデータも、他形態
のデータに置換する。また、漢字熟語を置換するデータ
として、その漢字熟語の半角読み(読みを半角片仮名文
字列で表した情報)を含むデータを用いる。
装置の機能ブロック図を示す。図から明らかなように、
第2実施形態のデータ圧縮・復元装置の基本的な構成
は、第1実施形態のデータ圧縮・復元装置と同じものと
なっている。ただし、第2実施形態のデータ圧縮・復元
装置が備える表音変換部12′は、同音異義語辞書1
7′のみを有する。同音異義語辞書17′は、同音異義
語辞書17とは異なり、漢字あるいは漢字熟語と、半角
読み(読みを半角片仮名文字列で表した情報)及び同音
異義語識別情報との対応関係が記憶された辞書となって
いる。また、表音逆変換部15′にも、同音異義語辞書
17′と同じ内容の同音異義語辞書18′が備えられて
いる。
を行う際、図8に示した手順で、平文データから表音デ
ータを作成する。表音変換部12′は、まず、圧縮の対
象である平文データから1単位情報分のデータを取得す
る(ステップS301)。そして、そのデータが1バイ
ト文字であった場合(ステップS302;1ハ゛イト文字)
には、そのデータが表す文字が半角片仮名であるか否か
を判断する(ステップS303)。当該文字が半角片仮
名でなかった場合(ステップS303;N)、すなわ
ち、制御文字、ローマ字であった場合、表音変換部1
2′は、そのデータをそのまま無歪圧縮部13に出力す
る(ステップS309)。そして、そのデータが“EO
F”でなかったとき(ステップS310;N)には、ス
テップS301に戻り、平文データを構成する次のデー
タに対する処理を開始する。
た場合(ステップS303;Y)、表音変換部12′
は、次の単位情報(1バイトあるいは2バイト文字)を
取得する(ステップS304)。そして、取得した単位
情報の表す文字が半角片仮名であった場合(ステップS
305;Y)には、ステップS304に戻る。一方、当
該文字が半角片仮名でなかった場合(ステップS30
5;N)には、ステップS306に進む。すなわち、表
音変換部12′は、ステップS304,S305のルー
プを実行することによって、平文データから、半角片仮
名が連なっている文字列と次の1文字分の単位情報を取
得する。
開始位置識別情報と、半角片仮名文字列を、終了位置識
別情報とを、この順で出力する(ステップS306)。
なお、半角片仮名開始位置識別情報、終了位置識別情報
は、1バイト文字、2バイト文字、文字数識別情報との
弁別が可能なようにその内容が設定された1バイトの情
報であり、データ復元時(詳細は後述)、これらの位置
識別情報間に存在するデータが、半角片仮名として出力
すべき(そのまま出力すべき)データと判断される。
したステップS304で取得した単位情報が表す文字が
1バイト文字であるか2バイト文字であるかを判断する
(ステップS308)。そして、当該文字が1バイト文
字であった場合(ステップS308;1ハ゛イト文字)に
は、ステップS309に進み、その半角片仮名文字では
ない1バイト文字を、無歪圧縮部13に出力する。
文字であった場合(ステップS308;2ハ゛イト文字)
と、ステップS301で取得した単位情報の表す文字が
2バイト文字であった場合(ステップS302;2バイ
ト文字)、表音変換部12′は、図9に示してあるよう
に、その2バイト文字が、平仮名であるか、漢字、片仮
名あるいは記号(罫線素片等)であるかを判断する(ス
テップS320)。より具体的には、対応する半角片仮
名文字が存在する文字(平仮名、句読点等)であるか否
かを判断する。そして、対応する半角片仮名文字が存在
する文字であった場合(ステップS320;平仮名)、
その2バイト文字(処理対象文字)に対応する半角片仮
名文字コードを出力(ステップS321)し、図8のス
テップS301に戻る。
い文字であった場合(ステップS320;片仮名、漢字
等)、表音変換部12′は、処理対象文字と異なる種類
の文字が現れるまで、平文データからの単位情報の取得
を繰り返す(ステップS322、S323)。すなわ
ち、処理対象文字が片仮名であった場合には、片仮名以
外の文字(漢字、平仮名、1バイト文字)が現れるまで
単位情報の取得を繰り返し、処理対象文字が漢字であっ
た場合には、漢字以外の文字が現れるまで単位情報の取
得を繰り返す。また、処理対象文字が記号に分類される
ものであった場合には、漢字、片仮名等が現れるまで単
位情報の取得を繰り返す。
を取得できた際(ステップS323;N)に、表音変換
部12′は、収集した文字の種類が漢字であった場合
(ステップS324;N)、取得した漢字列(あるいは
漢字)に対応づけられている半角読み並びに同音異義語
識別情報を、同音異義語辞書17′から検索する(ステ
ップS325)。次いで、表音変換部12′は、半角読
みの文字数(バイト数)に対応する文字数識別情報と、
半角読みと、検索した同音異義語識別情報とを、この順
で、無歪圧縮部13に出力する(ステップS326)。
そして、図6のステップS302に戻って、最後に取得
した単位情報に対する処理を開始する。
(ステップS324;Y)、取得した片仮名文字列情報
に対応する半角片仮名文字列情報を作成する(ステップ
S327)。そして、全角片仮名開始位置識別情報と半
角片仮名文字列情報と終了位置識別情報を、この順で、
無歪圧縮部13に対して出力(ステップS328)し、
ステップS302に戻って、最後に取得した文字に対す
る処理を開始する。なお、全角片仮名開始位置識別情報
は、1バイト文字、2バイト文字、文字数識別情報、半
角片仮名開始位置識別情報、終了位置識別情報との弁別
が可能なようにその内容が設定された1バイトの情報で
ある。データ復元時には、全角片仮名開始位置識別情報
と終了位置識別情報間に存在するデータが、全角片仮名
に変換して出力すべきデータと判断される。
テップS324;記号)、表音変換部12′は、取得し
た記号(列)に関する単位情報(列)をそのまま無歪圧
縮部13に出力し、図8のステップS302に戻って、
最後に取得した単位情報に対する処理を開始する。
り返し、“EOF”の出力を行ったときに(ステップS
310;Y)、圧縮対象である平文データに対する処理
を終える。
は、平文データ内の平仮名を半角片仮名に置換し、漢字
熟語を、文字数識別情報と半角片仮名文字列で表された
読みと同音異義語識別情報からなる情報で置換する。ま
た、全角片仮名文字列を、全角片仮名開始位置識別情報
と、その全角片仮名文字列と同値の半角片仮名文字列
と、終了位置識別情報からなる情報で置換する。そし
て、半角片仮名文字列を、半角片仮名開始位置識別情報
と、その全角片仮名文字列と同値の半角片仮名文字列
と、終了位置識別情報からなる情報で置換する。
「テ゛ータをメモリに保存すると、…」という文章は、表音
変換部12′によって、図10に模式的に示したよう
に、1バイト文字と、1バイトの情報である何種類かの
識別情報のみを含む表音データに変換される。
縮部13によって圧縮されるので、本データ圧縮・復元
装置では、平文データを直接圧縮する場合に比して効率
的に圧縮が行われることになる。具体的には、図11に
模式的に示したように、平文データを直接圧縮している
従来装置では、1文字が2バイトとなっているので、あ
る2バイト文字(図では、“と”)の第1バイトが注目
文字となっているときには、その2バイト文字の前に存
在する1文字だけが文脈として取り扱われる。これに対
し、本装置では、1文字が1バイトとなっているので、
ある文字(“ト”)が注目文字となっているときには、
その文字の前に存在する2文字が文脈として取り扱われ
る。すなわち、本装置では、ある次数の文脈を考慮に入
れる圧縮手順が、実質上、2倍の次数の文脈を考慮に入
れる圧縮手順として機能することになる。このため、第
2実施形態のデータ圧縮・復元装置によれば、高い圧縮
率での圧縮が実現できる。
装置のデータ復元時の動作を簡単に説明しておく。図1
2に示したように、データ復元時、表音逆変換部15′
は、まず、無歪復元部14が出力する1バイト分のデー
タを取得する(ステップS401)。次いで、表音逆変
換部15′は、そのデータが、文字数識別情報である
か、全角片仮名開始位置識別情報であるか、半角片仮名
開始位置識別情報であるか、半角片仮名文字を表すデー
タであるか、漢字(記号)を表すデータであるかの判別
を行う(ステップS402)。
った場合(ステップS402;文字数識別情報)、表音
逆変換部15′は、その文字数識別情報から文字数(バ
イト数)を認識(ステップS403)し、認識した文字
数分のデータ(半角読み)を無歪復元部14から取得す
る(ステップS404)。その後、表音逆変換部15′
は、次の1バイト分のデータ、すなわち、同音異義語識
別情報を取得する(ステップS405)。次いで、表音
逆変換部15′は、取得した半角読みと同音異義語識別
情報を用いて同音異義語辞書17′から漢字あるいは漢
字列を表す情報を検索(ステップS406)し、検索し
た漢字(列)情報を、記憶部11に対して出力する(ス
テップS407)。そして、ステップS401に戻り、
残りのデータに関する処理を開始する。
01で取得したデータが、全角片仮名開始位置識別情報
あるいは全角片仮名開始位置識別情報であることを検出
した場合、表音逆変換部15′は、終了位置識別情報が
取得されるまで、無歪復元部14からのデータ取得を繰
り返す(ステップS410)。そして、表音逆変換部1
5′は、終了位置識別情報を取得したときに、ステップ
S410を終了し、現在行っている処理が全角片仮名開
始位置識別情報の検出によるものであった場合(ステッ
プS411;Y)には、ステップS410で取得した、
半角片仮名文字(列)に関するデータ(除く終了位置識
別情報)を、全角片仮名文字(列)に関するデータに変
換して、記憶部11に出力する(ステップS413)。
そして、ステップS401に戻る。一方、現在行ってい
る処理が半角片仮名開始位置識別情報の検出によるもの
であった場合(ステップS411;N)には、取得した
半角片仮名文字(列)に関するデータ(除く終了位置識
別情報)を、そのまま、記憶部11に出力(ステップS
412)し、ステップS401に戻る。
バイト文字あるいは2バイト文字の第1バイトであった
場合(ステップS402;その他)、表音逆変換部1
5′は、ステップS415において、以下の処理を実行
する。半角片仮名データに対しては、対応する平仮名コ
ードを出力する。2バイト文字の第1バイトに対して
は、さらに、もう1バイトのデータを無歪復元部14か
ら取得し、それら2バイトのデータを出力する。その他
の1バイト文字に対しては、取得したデータをそのまま
記憶部11に出力する。
繰り返し、“EOF”の出力を行ったときに(ステップ
S417;Y)、図示した処理を終了する。 <変形形態>第2実施形態のデータ圧縮・復元装置も、
第1実施形態のデータ圧縮・復元装置と同様の変形が可
能である。すなわち、複数の文字数識別情報を用意して
おく代わりに、開始位置識別情報と終了位置識別情報と
を用意しておき、データ圧縮時に漢字の半角読みを出力
する際、その前後に開始位置識別情報と終了位置識別情
報を付加するように装置を構成しても良いし、他のコー
ド体系の文書を対象とする装置としても良い。
置は、2バイト文字を、半角片仮名文字に変換する装置
であったが、2バイト文字がローマ字に変換されるよう
に装置を構成することも出来る。すなわち、“セイソ゛ウ”
を表すデータの代わりに、"SEIZOU"を表すデータが出力
されるように装置を構成しても良い。
語に、本技術を適用する際には、例えば、国際音声記
号、ハングル文字の母音と子音を表す情報、注音字母を
表す情報等に1バイトコードを割り当てておき、各表意
文字データが、その表意文字の音を国際音声記号等で表
したコードに変換されるようにしておけば良い。
のデータ圧縮・復元装置の機能ブロック図を示す。ま
ず、この図を用いて、第3実施形態のデータ圧縮・復元
装置の動作の概要を説明する。
縮・復元装置は、平文データ、圧縮データの記憶に用い
られる記憶部21を備える。また、データ圧縮時に機能
するブロックとして、表音変換部22と中間符号変換部
23と一時記憶部24と無歪圧縮部25を備える。そし
て、データ復元時に機能するブロックとして、無歪復元
部26と中間符号逆変換部27と表音逆変換部28を備
える。
書16と同音異義語辞書17は、第1実施形態の表音変
換部12が有している辞書と同じものである。表音変換
部22は、これらの辞書を用いて、第1実施形態の表音
変換部12とほぼ同じ手順で、平文データ内の漢字を
“読み”に変換していくことによって、表音データを生
成する。ただし、表音変換部22は、表音データの生成
時に、表音データ内で使用されている文字、識別情報の
リストである文字リストをも作成する。
が、一時記憶部24内に生成する表音データと文字リス
トを用いて、表音データ内で使用されている文字や識別
情報に新たな符号(中間符号)を割り当てるための中間
符号対応表を作成する。そして、中間符号変換部23
は、その中間符号表を用いて、表音データを、中間符号
を含むデータである中間符号データに変換する。なお、
中間符号変換部23には、動作モードとして、中間符号
のビット数を指定しないモード(ビット長非指定モー
ド)と、中間符号のビット数を指定するモード(ビット
長指定モード)とが用意されており、ビット長指定モー
ドで動作させる場合、データ圧縮に先駆けて中間符号変
換部23に中間符号のビット長を指定する情報が与えら
れる。
ら与えられる中間符号対応表と中間符号データをそれぞ
れ損失がない状態で圧縮し、それらの圧縮結果を、記憶
部21内に、圧縮データとして記憶する。
て圧縮されたデータを復元する機能を有し、復元を指示
された圧縮データに基づき、中間符号対応表と中間符号
データを復元、出力する。中間符号逆変換部27は、無
歪復元部26から与えられる中間符号対応表を用いて、
その後に与えられる中間符号データ内に含まれる中間符
号を元の情報(表音データ)に戻していく。表音逆変換
部28は、同音異義語辞書17と同じ内容を有する辞書
である同音異義語辞書18を用いて、表音データに含ま
れる“読み”を漢字に戻すことによって、無歪復元部2
6が処理した圧縮データの元情報である平文データを記
憶部11内に生成する。
ず、図14を用いて、表音変換部22の動作を説明す
る。図示したように、データ圧縮の開始が指示された
際、表音変換部22は、まず、変数Kに“0”をセット
する(ステップS500)。変数Kの用途については後
述するが、変数Kは、表音変換部22が出力する同音異
義語識別情報の最大値が記憶される変数となっている。
て指定された平文データから1文字分のデータを取得す
る(ステップS501)。次いで、表音変換部22は、
そのデータが表す文字の種類を判別し、当該文字が非漢
字であった場合(ステップS502;非漢字)には、取
得したデータを一時記憶部24に出力するとともに、そ
のデータが文字リストに登録されていない未登録データ
であった場合には、当該データを文字リストに登録する
(ステップS503)。そして、出力したデータが“E
OF”でなかった場合(ステップS511;N)には、
ステップS501に戻り、平文データ内の次の1文字分
のデータに対する処理を開始する。
字を表すデータであった場合(ステップS502;漢
字)、表音変換部22は、非漢字データが取得されるま
で平文データからのデータ取得を繰り返す(ステップS
504、505)。そして、非漢字データが取得された
とき(ステップS505;非漢字)、表音変換部22
は、ステップS506に進む。
2は、その非漢字データの前に取得したデータが音読み
漢字1字分のデータであるか否かを判断する。そして、
音読み漢字1字分のデータであった場合(ステップS5
06;Y)には、開始位置識別情報とその音読み漢字デ
ータと終了位置識別情報とを一時記憶部24に出力する
(ステップS507)。なお、開始位置識別情報と終了
位置識別情報は、1バイト文字、2バイト文字の第1バ
イトとの判別が可能なように、その内容が設定された1
バイトの情報であり、本実施形態では、同じ情報を、開
始位置識別情報並びに終了位置識別情報として使用して
いる。
2は、最後に取得したデータ(非漢字データ)を一時記
憶部24に出力する(ステップS508)。次いで、ス
テップS507で出力した開始位置識別情報が文字リス
トに登録されていない未登録データであった場合には、
そのデータ(開始位置識別情報)を文字リストに登録す
る。また、ステップS508で出力したデータが未登録
データであった場合には、そのデータ文字リストに登録
する(ステップS509)。すなわち、表音変換部22
は、最初にステップS509を実行したときには、文字
リストへの開始位置識別情報の登録を行い、終了位置識
別情報の次に存在していたデータが未登録データであっ
た場合には、そのデータの登録も行う。そして、2度目
以降にステップS509を実行したときには、既に開始
位置識別情報の登録は行われているので、終了位置識別
情報の次に存在していたデータが未登録データであった
場合にのみ、文字リストへのデータ登録を行う。
08で出力したデータが“EOF”でなかった場合(ス
テップS511;N)には、ステップS501に戻る。
一方、非漢字データの前に取得したデータが音読み漢字
1字分のデータでなかった場合(ステップS506;
N)、表音変換部22は、表音変換処理(ステップS5
10)を実行する。
示したように、表音変換処理時、表音変換部22は、ま
ず、非漢字データの前に取得したデータが表す漢字列あ
るいは漢字を、仮名文字列(読み)に変換する(ステッ
プS601)。次いで、表音変換部22は、同音異義語
辞書17から、その読みと漢字列(漢字)に対応づけら
れている同音異義語識別情報を取得する(ステップS6
02)。そして、読みの文字数を表す文字数識別情報と
読みと同音異義語識別情報とを、この順で、一時記憶部
24に出力(ステップS603)し、さらに、最後に取
得したデータ(非漢字)を一時記憶部24に出力する
(ステップS604)。
03、S604で出力したデータのうち、同音異義語識
別情報を除くデータの中に未登録データがあった場合に
は、その(あるいはそれらの)データを文字リストに登
録する(ステップS605)。また、同音異義語識別情
報の値がKを越えていた場合には、Kにその値を設定
(ステップS606)し、表音変換処理を終了する(図
14のステップS511に進む)。
した際(ステップS511;Y)に、表音変換部22
は、図14に示した処理を終了する。このように、表音
変換部22は、一時記憶部24内に、第1実施形態の表
音変換部12が出力する表音データとほぼ同形態の表音
データを作成する。また、表音変換部22は、その表音
データに含まれている文字数識別情報、開始位置識別情
報、1バイト文字、2バイト文字のリストである文字リ
ストをも作成し、表音データ内に含まれている同音異義
語識別情報の最大値を変数Kに記憶して、図示した処理
を終了する。
よる処理が完了したときに、動作を開始する。既に説明
したように、中間符号変換部23は2つの動作モードを
有する。ここでは、まず、図16および図17を用い
て、ビット長非指定モード時の動作の説明を行うことに
する。
完了したとき、中間符号変換部23は、図16に示した
ように、まず、Kの値を2進数で表すのに必要な最小の
ビット数Mと、文字リストに記憶されている文字種数n
とを求める(ステップS701)。次いで、中間符号変
換部23は、2L-1<n≦2Lを満たすLを算出する(ス
テップS702)。そして、算出した値Lが、M未満で
あった場合(ステップS703;Y)には、LにMの値
をセット(ステップS704)し、ステップS705に
進む。一方、L<Mでなかった場合(ステップS70
3;Y)には、Lの値を更新することなく、ステップS
705に進む。
部23は、文字リスト内のn種の情報(文字数識別情
報、2バイト文字等)のそれぞれに、L桁の2進数、す
なわち、Lビットの中間符号を割り当てることにより、
中間符号対応表を作成する。次いで、中間符号変換部2
3は、その作成した中間符号対応表の内容を表すデータ
を無歪圧縮部25に供給する(ステップS706)。
部24に記憶された表音データから、1単位情報分のデ
ータを取得する(ステップS711)。すなわち、この
ステップで、中間符号変換部23は、1バイトのデータ
を取得し、そのデータが2バイト文字の第1バイトであ
った場合には、さらに1バイトのデータを取得する。一
方、取得したデータが1バイト文字、文字数識別情報あ
るいは開始位置識別情報であった場合には、それ以上、
データを取得することなく、ステップS711を終え
る。ステップS711で取得したデータが開始位置識別
情報であった場合(ステップS712;開始位置識別情
報)、中間符号変換部23は、開始位置識別情報に対応
づけられて中間符号対応表に記憶されている中間符号
(以下、開始位置識別情報用中間符号と表記する)を、
無歪圧縮部25に供給する(ステップS713)。次
に、表音データ内の、その開始位置識別情報に続く3バ
イトのデータ、すなわち、音読み漢字を表すデータ(2
バイト)と終了位置識別情報(1バイト)を、そのま
ま、無歪圧縮部25に供給する(ステップS714)。
その後、中間符号変換部23は、ステップS711に戻
り、表音データ内の次のデータに対する処理を開始す
る。
た場合(ステップS712;文字数識別情報)、中間符
号変換部23は、その文字数識別情報から読みの文字数
を認識するとともに、その文字数識別情報に対応づけら
れて中間符号対応表に記憶されている中間符号を無歪圧
縮部25に供給する(ステップS715)。次いで、認
識した文字数分のデータを取得し、各データに対応する
中間符号を無歪圧縮部25に供給する(ステップS71
6)。そして、表音データから次の1バイト分のデー
タ、すなわち、同音異義語識別情報を取得し、その同音
異義語識別情報をLビットの情報に直して無歪圧縮部2
5に供給する(ステップS717)。すなわち、L>8
であった場合、中間符号変換部23は、同音異義語識別
情報の上位ビット側に“L−8”個の“0”を加えたL
ビットの情報を無歪圧縮部25に供給する。また、L<
8であった場合には、同音異義語識別情報に上位ビット
側から“8−L”個の“0”を取り除いたLビットの情
報を無歪圧縮部25に供給する、当然、L=8であった
場合には、同音異義語識別情報をそのまま無歪圧縮部2
5に供給する。その後、中間符号変換部23は、ステッ
プS711に戻る。
2バイト文字であった場合(ステップS712;その
他)、中間符号変換部23は、そのデータに対応する中
間符号を無歪圧縮部25に供給する(ステップS71
8)。そして、供給したデータが“EOF”でなかった
場合(ステップS719;N)には、ステップS711
に戻り、次のデータに対する処理を開始し、“EOF”
であった場合(ステップS719;Y)に、処理を終了
する。
ト長非指定モード時、表音データに含まれる1バイト文
字、音読み漢字1字を除く2バイト文字、文字数識別情
報、開始位置識別情報を表しうる最小のビット数Lを求
める。その際、求めたLが、同音異義語識別情報に必要
とされるビット数M未満であった場合には、Lの値をM
の値で更新する。そして、表音データ内の、音読み漢字
1字、同音異義語識別情報を除く各情報をLビットの中
間符号に変換し、また、同音異義語識別情報の表現形態
をLビットに変換する。音読み漢字1字に関しては、変
換は行わず、そのまま中間符号データの要素とする。
熟語が存在していた場合、図18に模式的に示したよう
に、表音データ内に、文字数識別情報と“せいひん”と
いう読みと同音異義語識別情報とからなる10バイトの
情報が含まれることになる。中間符号変換部23は、こ
の情報を、同図に示してあるように、6個のLビットの
データ(5個の中間符号とLビット形態の同音異義語識
別情報)からなる情報に変換する。
み漢字“間”(読み;かん)を含む語句が存在していた
場合、図19に模式的に示したように、表音データ内に
は、“その”を表す4バイトの情報と、開始位置識別情
報と、“間”を表す2バイトの情報と、終了位置識別情
報とからなる情報が含まれる。中間符号変換部23は、
この情報を、同図に示してあるように、3個のLビット
の中間符号と、“間”を表す2バイトの情報と、1バイ
トの終了位置識別情報とからなる情報に変換する。
換部23の動作を説明する。ビット長指定モード時、中
間符号変換部23は、図20、21に示した流れ図に従
って、表音データを中間符号データに変換する。
3は、まず、ビット長非指定モード時と同様に、同音異
義語識別情報の最大値であるKの値を2進数で表すのに
必要な最小のビット数Mと、文字リストに記憶されてい
る文字種数nとを求める(ステップS801)。次い
で、中間符号変換部23は、指定ビット長L′とMの大
小関係を判定し、L′<Mであった場合(ステップS8
02;Y)には、L′にMの値をセット(ステップS8
03)し、ステップS804に進む。一方、L′<Mで
なかった場合(ステップS802;N)には、L′の値
を更新することなく、ステップS804に進む。
部23は、2L′≧nが成立するか否かを判断する(ス
テップS804)。2L′≧nが成立する場合(ステッ
プS804;Y)、すなわち、L′ビットのデータで文
字リストに記憶されているn種の情報を全て表現するこ
とが出来る場合、中間符号変換部23は、文字リスト内
のn種の情報(文字数識別情報、2バイト文字等)のそ
れぞれに、L′ビットの中間符号を割り当てることによ
り、中間符号対応表を作成する(ステップS805)。
ップS804;N)、すなわち、L′ビットのデータで
は、文字リストに記憶されているn種の情報を表現する
ことが出来ない場合、中間符号変換部23は、n
exc(=n−2L′)種の文字を文字リストから消去する
(ステップS806)。この際、中間符号変換部23
は、平仮名以外の文字(記号)を消去することによっ
て、文字数識別情報、開始位置識別情報、平仮名文字を
文字リスト内に残す。そして、文字リスト内の2L′種
の情報のそれぞれに、L′ビットの中間符号を割り当て
ることにより、中間符号対応表を作成する(ステップS
807)。
23は、作成した中間符号対応表の内容を表すデータを
無歪圧縮部25に供給(ステップS808)する。そし
て、表音データを中間符号データに変換するために、図
21に示した処理を開始する。
7において、中間符号変換部23は、それぞれ、ステッ
プS711〜S717(図17)と同じ処理を行う。こ
のため、これらのステップにおける動作の説明は省略す
る。
ータ内に含まれている、音読み漢字1字を除く各2バイ
ト文字および各1バイト文字に対して、中間符号が割り
当てられている。このため、表音データから取得したデ
ータが1バイト文字あるいは2バイト文字であった場
合、そのデータに対応する中間符号が存在していた。
表音データ内に含まれている幾つかの文字に関しては、
対応する中間符号が用意されていない。このため、中間
符号変換部23は、ステップS812で“その他”側へ
の分岐を行った際、ステップS811で取得したデータ
が、中間符号が割り当てられていないデータ(以下、除
外文字データと表記する)であるか否かを判断する(ス
テップS820)。そして、除外文字データでなかった
場合(ステップS820;N)には、当該データに対応
する中間符号を無歪圧縮部13に供給する(ステップS
821)。次いで、中間符号変換部23は、出力したデ
ータが“EOF”であるか否かの判断を行い、“EO
F”でなかった場合(ステップS825;N)には、ス
テップS811に戻り、次のデータに対する処理を開始
する。
あった場合(ステップS820;Y)、中間符号変換部
23は、除外文字データ以外のデータが現れるまで、表
音データからデータの取得を繰り返す(ステップS82
3)。そして、開始位置識別情報用中間符号と、最後に
取得したデータ(除外文字データ以外のデータ)を除く
データと、終了位置識別情報を、無歪圧縮部25に供給
する(ステップS824)。次いで、中間符号変換部2
3は、最後に取得した除外文字データではないデータを
処理するために、ステップS812に戻る。
号変換部23は、表音データ内に中間符号が割り当てら
れていない文字があった場合、その文字の前後に開始位
置識別情報用中間符号と終了位置識別情報を付加した情
報を無歪圧縮部25に供給する。また、そのような文字
が複数個連なっていた場合には、その文字列の前後に開
始位置識別情報用中間符号と終了位置識別情報を付加し
た情報を無歪圧縮部25に供給する。
う文字列を表す情報が存在しており、ステップS806
において、文字リストから“α”、“β”、“γ”に関
する情報が削除されていたものとする。この場合、中間
符号変換部23は、図22に模式的に示したように、L
(=L′)ビットの開始位置識別情報用中間符号と、
“αβγ”と、終了位置識別情報と、“は”に対応する
中間符号からなる情報を、無歪圧縮部25に供給する。
は、このような手順によって、表音データから生成され
る中間符号対応表と中間符号データとが、無歪圧縮部2
5によって圧縮され、平文データの圧縮が完了する。
装置のデータ復元時の動作を説明する。ある圧縮データ
の復元を指示された際、無歪復元部26は、その圧縮デ
ータを構成する中間符号対応表に関する圧縮データを復
元する。次いで、無歪復元部26は、中間符号データに
関する圧縮データを復元する。
は、図23に示した処理を実行する。すなわち、中間符
号逆変換部27は、まず、無歪復元部26から、中間符
号対応表を取得し、中間符号のビット数Lを認識する
(ステップS901)。次いで、無歪復元部26から、
Lビットのデータ(中間符号)を取得する(ステップS
902)。そして、取得した中間符号に対応づけられて
いる情報を、中間符号対応表から読み出す(ステップS
903)。
報であった場合(ステップS904;開始位置識別情
報)、中間符号逆変換部27は、次の1バイトあるいは
2バイト単位のデータを無歪復元部26から取得する
(ステップS905)。そして、取得したデータが終了
位置識別情報でなかった場合(ステップS906;N)
には、当該データ(終了位置識別情報は含まない)をそ
のままを表音逆変換部28に出力(ステップS907)
し、ステップS905に戻る。一方、取得したデータが
終了位置識別情報であった場合(ステップS906;
Y)には、そのデータを出力することなく、ステップS
902に戻り、Lビット単位のデータ取得を再開する。
字数識別情報であった場合(ステップS904;文字数
識別情報)、中間符号逆変換部27は、後続する読みの
文字数を認識するとともに、読み出したデータを1バイ
トの文字数識別情報に変換して表音逆変換部28に出力
する(ステップS908)。次いで、認識した文字数分
の中間符号を無歪復元部26から取得し、取得した各中
間符号に中間符号対応表で対応づけられているデータを
出力する(ステップS909)。その後、中間符号逆変
換部27は、Lビット分のデータ、すなわち、同音異義
語識別情報を取得し、その同音異義語識別情報を1バイ
トの情報に直して表音逆変換部28に出力する(ステッ
プS910)。そして、ステップS902に戻り、Lビ
ット単位のデータ取得を再開する。
始位置識別情報でも文字数識別情報でもなかった場合
(ステップS904;その他)、中間符号逆変換部27
は、そのデータを表音逆変換部28に出力する(ステッ
プS911)。そして、出力したデータが“EOF”で
なかった場合(ステップS912;N)には、ステップ
S902に戻り、“EOF”であった場合(ステップS
912;Y)に、図示した処理を終了する。
始位置識別情報用中間符号が現れたときに、それ以後、
終了位置識別情報が現れるまでのデータがバイト単位の
データ(音読み漢字1字のデータあるいは除外文字デー
タ)であることを認識する。そして、開始位置識別情報
用中間符号と終了位置識別情報との間に挟まれたデータ
に関しては、そのまま、表音逆変換部28に出力する。
その際、開始位置、終了位置識別情報の出力は行わな
い。また、単独では、中間符号と弁別ができない同音異
義語識別情報に関しては、文字数識別情報用中間符号の
位置に基づき、その位置を特定し、1バイトのデータに
戻す。
換部22が出力した表音データから開始位置識別情報と
終了位置識別情報を全て取り除いた表音データが供給さ
れることになる。このため、表音逆変換部28は、第1
実施形態の表音逆変換部15と全く同じ手順で表音デー
タを平文データに変換するよう構成されている。
よれば、1文字が複数バイトで表される言語に関する文
書データを、高い圧縮率で圧縮することが可能となる。
装置の機能ブロック図である。
同音異義語辞書の説明図である。
表音変換部の動作手順を示す流れ図である。
表音変換部の動作の説明図である。
表音変換部の動作の説明図である。
表音逆変換部の動作手順を示す流れ図である。
装置の機能ブロック図である。
表音変換部の動作手順を示す流れ図である。
表音変換部の動作手順を示す流れ図である。
る表音変換部の動作の説明図である。
て高い圧縮率で圧縮が行える理由の説明図である。
る表音逆変換部の動作手順を示す流れ図である。
元装置の機能ブロック図である。
る表音変換部の動作手順を示す流れ図である。
る表音変換部が実行する表音変換処理の流れ図である。
る中間符号変換部のビット長非指定時の動作手順を示す
流れ図である。
る中間符号変換部のビット長非指定時の動作手順を示す
流れ図である。
る中間符号変換部の動作の説明図である。
る中間符号変換部の動作の説明図である。
る中間符号変換部のビット長指定時の動作手順を示す流
れ図である。
る中間符号変換部のビット長指定時の動作手順を示す流
れ図である。
る中間符号変換部の動作の説明図である。
る中間符号逆変換部の動作手順を示す流れ図である。
との対応関係を示す図である。
である。
図である。
Claims (35)
- 【請求項1】 一文字が複数バイトの情報で表される文
字情報を含む元文書データを圧縮するためのデータ圧縮
装置において、 圧縮すべき元文書データに含まれる各文字情報を、その
文字情報に対応づけられる文字を発音したときの音を表
す表音文字情報で置き換えたデータである表音文書デー
タを作成する表音文書データ作成手段と、 この表音文書データ作成手段が作成する表音文書データ
に対して圧縮を行う圧縮手段とを備えることを特徴とす
るデータ圧縮装置。 - 【請求項2】 一文字が複数バイトで表される文字情報
を含む元文書データを圧縮するデータ圧縮装置におい
て、 一または複数の文字情報からなる複数の変換対象語情報
に対して、その変換対象語情報が示す語を発音したとき
の音を表す情報である表音文字情報が記憶された表音文
字情報記憶手段と、 前記元文書データから、前記表音文字情報記憶手段内に
記憶されている変換対象語情報を探索するとともに、探
索した変換対象語情報に対応する表音文字情報を前記表
音文字情報記憶手段から読み出す探索・読出手段と、 この探索・読出手段で探索された前記元文書データ内の
変換対象語情報を、前記探索・読出手段で読み出された
表音文字情報を含む変換対象語置換情報で置換すること
によって、表音文書データを作成する表音文書データ作
成手段と、 この表音文書データ作成手段により作成された表音文書
データで使用されている情報要素に対して、中間符号を
対応づけるための中間符号表を作成する中間符号表作成
手段と、 前記中間符号表作成手段で作成された中間符号表を用い
て、前記表音文書データを構成する各情報要素を対応す
る中間符号に変換することによって、中間符号文書デー
タを作成する中間符号文書データ作成手段と、 この中間符号文書データ作成手段が作成する中間符号文
書データに対して圧縮を行う圧縮手段とを備えることを
特徴とするデータ圧縮装置。 - 【請求項3】 前記中間符号表作成手段は、前記表音文
書データで使用されている各情報要素に対して、それら
の情報要素を表現可能な最小のビット数を有する中間符
号を割り当てるための中間符号表を作成することを特徴
とする請求項2記載のデータ圧縮装置。 - 【請求項4】 前記表音文書データ作成手段は、所定種
類の文字情報を、その文字情報が所定種類の文字情報で
あることを示す開始位置識別情報と終了位置識別情報と
で挟まれた置換情報に置換することによって、表音文書
データを作成し、 前記中間符号表作成手段は、前記表音文書データ内の、
前記開始位置識別情報に続く情報と前記終了位置識別情
報とには、中間符号が対応づけられない中間符号表を作
成し、 前記中間符号データ作成手段は、表音文書データ内の、
前記開始位置識別情報に続く情報と前記終了位置識別情
報に関しては、中間符号への変換を行わないことを特徴
とする請求項2または請求項3記載のデータ圧縮装置。 - 【請求項5】 前記中間符号表作成手段は、前記表音文
書データで使用されている情報要素の種類が所定ビット
数で表現可能な情報数Nを越えていた場合、前記表音文
書データで使用されている情報要素の中から中間符号を
割り当てる“N−1”個の情報要素を選択するととも
に、選択した“N−1”個の情報要素と開始位置識別情
報とに、内容が互いに異なる前記所定ビット数の中間符
号を対応づけるための中間符号表を作成し、 前記中間符号データ作成手段は、前記表音文書データ内
の、前記中間符号表で中間符号が対応づけられている情
報に関しては、その情報を対応する中間符号に変換し、
中間符号が割り当てられていない情報である未割当情報
に関しては、その未割当情報を、前記開始位置識別情報
に対応づけられている中間符号を先頭に有し、かつ、未
割当情報を含む情報であって、終了位置が分かる形態の
情報である未割当置換情報で置換することによって、中
間符号文書データを作成することを特徴とする請求項2
記載のデータ圧縮装置。 - 【請求項6】 前記表音文字情報記憶手段は、前記複数
の変換対象語に対して、表音文字情報と、同じ表音文字
情報が対応づけられる他の変換対象語との識別を行うた
めの同音異義語識別情報とを記憶し、 前記探索・読出手段は、探索した変換対象語に対応する
表音文字情報と同音異義語識別情報とを読み出し、 前記表音文書データ作成手段は、前記元文書データ内の
変換対象語情報を、前記探索・読出手段で読み出された
表音文字情報と同音異義語識別情報を含む変換対象語置
換情報で置換し、 前記中間符号作成手段は、前記同音異義語識別情報を除
く情報要素を対象として、中間符号表を作成することを
特徴とする請求項2ないし請求項5のいずれかに記載の
データ圧縮装置。 - 【請求項7】 一文字が複数バイトで表される文字情報
を含む元文書データを圧縮するデータ圧縮装置におい
て、 一または複数の文字情報からなる変換対象語情報に対し
て変換対象語情報が示す語を発音したときの音を表す情
報である表音文字情報が記憶された表音文字情報記憶手
段と、 前記元文書データから、前記表音文字情報記憶手段内に
記憶されている変換対象語情報を探索するとともに、探
索した変換対象語情報に対応する表音文字情報を前記表
音文字情報記憶手段から読み出す探索・読出手段と、 この探索・読出手段で探索された前記元文書データ内の
変換対象語情報を、前記探索・読出手段で読み出された
表音文字情報を含む変換対象語置換情報で置換すること
によって、表音文書データを作成する表音文書データ作
成手段と、 この表音文書データ作成手段が作成する表音文書データ
に対して圧縮を行う圧縮手段とを備えることを特徴とす
るデータ圧縮装置。 - 【請求項8】 前記表音文字情報記憶手段は、前記複数
の変換対象語情報に対して、表音文字情報と、同じ表音
文字情報が対応づけられる他の変換対象語との識別を行
うための同音異義語識別情報とを記憶し、 前記探索・読出手段は、探索した変換対象語情報に対応
する表音文字情報と同音異義語識別情報とを読み出し、 前記表音文書データ作成手段は、前記元文書データ内の
変換対象語情報を、前記探索・読出手段で読み出された
表音文字情報と同音異義語識別情報を含む変換対象語置
換情報であって、同音異義語識別情報を特定の位置に含
む変換対象語置換情報で置換することを特徴とする請求
項2ないし請求項5または請求項7のいずれかに記載の
データ圧縮装置。 - 【請求項9】 前記表音文書データ作成手段は、前記探
索・読出手段で読み出された表音文字情報の長さを示す
数値識別情報を前記変換対象語置換情報の先頭に付与す
ることを特徴とする請求項2ないし請求項8のいずれか
に記載のデータ圧縮装置。 - 【請求項10】 前記表音文書データ作成手段は、前記
変換対象語情報を、変換対象語情報が変換対象語情報の
開始と終了を示す表音文字情報開始位置識別情報と表音
文字情報終了位置識別情報とで挟まれた変換対象語置換
情報に置換することによって、表音文書データを作成す
ることを特徴とする請求項2ないし請求項9のいずれか
に記載のデータ圧縮装置。 - 【請求項11】 圧縮文書データを復元する復元手段
と、 この復元手段で復元される、文字を発音したときの音を
表す表音文字情報を、対応する文字情報に変換すること
によって、前記圧縮文書データの元となったデータであ
る元文書データを生成する元文書データ生成手段とを備
えることを特徴とするデータ復元装置。 - 【請求項12】 一または複数の文字情報からなる変換
対象語情報に対して変換対象語情報が示す語を発音した
ときの音を表す情報である表音文字情報が記憶された表
音文字情報記憶手段と、 圧縮文書データを復元することによって中間符号文書デ
ータを出力する復元手段と、 前記復元手段が出力する中間符号文書データに含まれる
各中間符号を、前記圧縮文書データに関する中間符号表
においてその中間符号に対応づけられている情報に置換
することによって、表音文書データを生成する表音文書
データ生成手段と、 この表音文書データ生成手段が生成する表音文書データ
中に含まれる変換対象語置換情報を探索し、探索した変
換対象語置換情報を、その変換対象語置換情報に含まれ
る前記表音文字情報に対応づけられて前記表音文字情報
記憶手段に記憶された変換対象語情報で置換することに
よって、前記圧縮文書データの元となった元文書データ
を生成する元文書データ生成手段とを備えることを特徴
とするデータ復元装置。 - 【請求項13】 前記表音文書データ生成手段は、前記
復元手段が出力する開始位置識別情報に相当する中間符
号と終了位置識別情報とで挟まれた情報に関しては、前
記中間符号表を用いた置換を行わず、その情報をそのま
ま表音文書データの要素とすることを特徴とする請求項
12記載のデータ復元装置。 - 【請求項14】 前記中間符号表は、“N−1”個の情
報要素と開始位置識別情報とに、内容が互いに異なる所
定ビット数の中間符号を対応づけた符号表であり、 前記表音文書データ生成手段は、前記復元手段が出力す
る中間符号文書データに含まれる前記開始位置識別情報
に対応づけられた中間符号で始まる未割当置換情報に関
してはその未割当置換情報から当該中間符号とその終了
位置を識別するために付加されている情報を除去した情
報を出力することを特徴とする請求項13記載のデータ
復元装置。 - 【請求項15】 前記表音文字情報記憶手段は、前記複
数の変換対象語情報のそれぞれに対して、表音文字情報
と、同じ表音文字情報が対応づけられる他の変換対象語
との識別を行うための同音異義語識別情報とを記憶し、 前記元文書データ生成手段は、前記表音文書データ生成
手段が生成する表音文書データ中に含まれる変換対象語
置換情報を探索し、探索した変換対象語置換情報を、そ
の変換対象語置換情報に含まれる前記表音文字情報並び
に同音異義語識別情報に対応づけられて前記表音文字情
報記憶手段に記憶された変換対象語情報で置換すること
を特徴とする請求項12ないし請求項14記載のデータ
復元装置。 - 【請求項16】 一または複数の文字情報からなる変換
対象語情報に対して、各変換対象語情報が示す語を発音
したときの音を表す情報である表音文字情報が記憶され
た表音文字情報記憶手段と、 圧縮文書データを復元することによって、表音文書デー
タを出力する復元手段と、 この復元手段が生成する表音文書データ中に含まれる変
換対象語置換情報を探索し、探索した変換対象語置換情
報を、その変換対象語置換情報に含まれる前記表音文字
情報に対応づけられて前記表音文字情報記憶手段に記憶
された変換対象語情報で置換することによって、前記圧
縮文書データの元となった元文書データを生成する元文
書データ生成手段とを備えることを特徴とするデータ復
元装置。 - 【請求項17】 前記表音文字情報記憶手段は、前記複
数の変換対象語情報のそれぞれに対して、表音文字情報
と、表音文字情報が同じとなる他の変換対象語との識別
を行うための同音異義語識別情報とを記憶し、 前記元文書データ生成手段は、前記復元手段が生成する
表音文書データ中に含まれる変換対象語置換情報を探索
し、探索した変換対象語置換情報を、その変換対象語置
換情報に含まれる前記表音文字情報並びに同音異義語識
別情報に対応づけられて前記表音文字情報記憶手段に記
憶された変換対象語情報で置換することによって、前記
圧縮文書データの元となった元文書データを生成するこ
とを特徴とする請求項12ないし請求項14、請求項1
6のいずれかに記載のデータ復元装置。 - 【請求項18】 前記元文書データ作成手段は、前記変
換対象語置換情報の探索時に、表音文字情報の長さを示
す数値識別情報で始まる情報を探索することを特徴とす
る請求項12ないし請求項17記載のデータ復元装置。 - 【請求項19】 前記元文書データ作成手段は、前記変
換対象語置換情報の探索時に、表音情報開始位置識別情
報と表音情報終了位置情報とで挟まれた情報を探索する
ことを特徴とする請求項12ないし請求項17記載のデ
ータ復元装置。 - 【請求項20】 一文字が複数バイトの情報で表される
文字情報を含む元文書データを圧縮するためのデータ圧
縮方法において、 前記元文書データに基づき、前記元文書データに含まれ
る各文字情報を、その文字情報に対応づけられる文字を
発音したときの音を表す表音文字情報で置き換えたデー
タである表音文書データを作成する表音文書データ作成
ステップと、 この表音文書データ作成ステップによる処理で作成され
る表音文書データに対して圧縮を行う圧縮ステップとを
備えることを特徴とするデータ圧縮方法。 - 【請求項21】 一文字が複数バイトで表される文字情
報を含む元文書データを圧縮するデータ圧縮方法におい
て、 圧縮を行うべき元文書データから、一または複数の文字
情報からなる変換対象語情報に対して変換対象語情報が
示す語を発音したときの音を表す情報である表音文字情
報が記憶された辞書内に記憶されている変換対象語情報
を探索するとともに、探索した変換対象語情報に対応す
る表音文字情報を前記辞書から読み出す探索・読出ステ
ップと、 この探索・読出ステップによって探索された前記元文書
データ内の変換対象語情報を、前記探索・読出ステップ
によって読み出された表音文字情報を含む変換対象語置
換情報で置換することによって、表音文書データを作成
する表音文書データ作成ステップと、 この表音文書データ作成ステップによって作成された表
音文書データで使用されている各情報要素に対して、中
間符号を対応づけるための中間符号表を作成する中間符
号表作成ステップと、 前記中間符号表作成ステップで作成された中間符号表を
用いて、前記表音文書データを構成する各情報要素を対
応する中間符号に変換することによって、中間符号文書
データを作成する中間符号文書データ作成ステップと、 この中間符号文書データ作成ステップが作成する中間符
号文書データに対して圧縮を行う圧縮ステップとを備え
ることを特徴とするデータ圧縮方法。 - 【請求項22】 前記中間符号表作成ステップは、前記
表音文書データで使用されている各情報要素に対して、
それらの情報要素を表現可能な最小のビット数を有する
中間符号を割り当てるための中間符号表を作成するステ
ップであることを特徴とする請求項21記載のデータ圧
縮方法。 - 【請求項23】 前記中間符号表作成ステップは、前記
表音文書データで使用されている情報要素の種類が所定
ビット数で表現可能な情報数Nを越えていた場合、前記
表音文書データで使用されている情報要素の中から中間
符号を割り当てる“N−1”個の情報要素を選択すると
ともに、選択した“N−1”個の情報要素と開始位置識
別情報とに、内容が互いに異なる前記所定ビット数の中
間符号を対応づけるための中間符号表を作成するステッ
プであり、 前記中間符号データ作成ステップは、前記表音文書デー
タ内の、前記中間符号表で中間符号が対応づけられてい
る情報に関してはその情報を対応する中間符号に変換
し、中間符号が割り当てられていない情報である未割当
情報に関しては前記開始位置識別情報に対応づけられて
いる中間符号を先頭に有し、かつ、未割当情報を含む情
報であって、終了位置が分かる形態の情報である未割当
置換情報で置換することによって、中間符号文書データ
を作成するステップであることを特徴とする請求項22
記載のデータ圧縮方法。 - 【請求項24】 一文字が複数バイトで表される文字情
報を含む元文書データを圧縮するデータ圧縮方法におい
て、 一または複数の文字情報からなる変換対象語情報に対し
て変換対象語情報が示す語を発音したときの音を表す情
報である表音文字情報が記憶された辞書を用いて、圧縮
を行うべき元文書データから、前記辞書内に記憶されて
いる変換対象語情報を探索するとともに、探索した変換
対象語情報に対応する表音文字情報を前記辞書から読み
出す探索・読出ステップと、 この探索・読出ステップによって探索された前記元文書
データ内の変換対象語情報を、前記探索・読出ステップ
によって読み出された表音文字情報を含む変換対象語置
換情報で置換することによって、表音文書データを作成
する表音文書データ作成ステップと、 この表音文書データ作成ステップが作成する表音文書デ
ータに対して圧縮を行う圧縮ステップとを備えることを
特徴とするデータ圧縮方法。 - 【請求項25】 前記探索・読出ステップは、前記複数
の変換対象語のそれぞれに対して、表音文字情報と、表
音文字情報が同じとなる他の変換対象語との識別を行う
ための同音異義語識別情報とが記憶された辞書から、変
換対象語に対応する表音文字情報と同音異義語識別情報
とを読み出すステップであり、 前記表音文書データ作成ステップは、前記元文書データ
内の変換対象語情報を、前記探索・読出ステップで読み
出された表音文字情報と同音異義語識別情報を含む変換
対象語置換情報で置換するステップであることを特徴と
する請求項21ないし請求項24のいずれかに記載のデ
ータ圧縮方法。 - 【請求項26】 前記表音文書データ作成ステップは、
前記探索・読出ステップにより読み出された表音文字情
報の長さを示す数値識別情報を前記変換対象語置換情報
の先頭に付与することを特徴とする請求項21ないし請
求項25のいずれかに記載のデータ圧縮方法。 - 【請求項27】 圧縮文書データを復元する復元ステッ
プと、 この復元ステップで復元される、文字を発音したときの
音を表す表音文字情報を、対応する文字情報に変換する
ことによって、前記圧縮文書データの元となったデータ
である元文書データを生成する元文書データ生成ステッ
プとを備えることを特徴とするデータ復元方法。 - 【請求項28】 圧縮文書データを復元することによっ
て中間符号文書データを出力する復元ステップと、 前記復元ステップの処理により出力される中間符号文書
データに含まれる各中間符号を、前記圧縮文書データに
関する中間符号表で対応づけられている情報に置換する
ことによって、表音文書データを生成する表音文書デー
タ生成ステップと、 一または複数の文字情報からなる変換対象語情報に対し
て変換対象語情報が示す語を発音したときの音を表す情
報である表音文字情報が記憶された辞書を用いて、前記
表音文書データ生成ステップの処理により生成される表
音文書データ中に含まれる変換対象語置換情報を探索
し、探索した変換対象語置換情報を、その変換対象語置
換情報に含まれる前記表音文字情報に対応する変換対象
語情報で置換することによって、前記圧縮文書データの
元となった元文書データを生成する元文書データ生成ス
テップとを備えることを特徴とするデータ復元方法。 - 【請求項29】 前記中間符号表は、“N−1”個の情
報要素と開始位置識別情報とに、内容が互いに異なる所
定ビット数の中間符号を対応づけた符号表であり、 前記表音文書データ生成ステップは、前記復元ステップ
の処理により出力される中間符号文書データに含まれる
前記開始位置識別情報に対応づけられた中間符号で始ま
る情報である未割当置換情報に関してはその未割当置換
情報から当該中間符号とその終了位置を識別するために
付加されている情報を除去した情報を出力することを特
徴とする請求項28記載のデータ復元方法。 - 【請求項30】 圧縮文書データを復元することによっ
て表音文書データを出力する復元ステップと、 一または複数の文字情報からなる変換対象語情報に対し
て変換対象語情報が示す語を発音したときの音を表す情
報である表音文字情報が記憶された辞書を用いて、前記
復元ステップの処理により生成される表音文書データ中
に含まれる変換対象語置換情報を探索し、探索した変換
対象語置換情報をその変換対象語置換情報に含まれる前
記表音文字情報に対応する変換対象語情報で置換するこ
とによって、前記圧縮文書データの元となった元文書デ
ータを生成する元文書データ生成ステップとを備えるこ
とを特徴とするデータ復元方法。 - 【請求項31】 前記元文書データ生成ステップは、前
記複数の変換対象語情報のそれぞれに対して、表音文字
情報と、表音文字情報が同じとなる他の変換対象語との
識別を行うための同音異義語識別情報とが記憶された辞
書を用い、前記復元ステップの処理により生成される前
記表音文書データ内の、表音文字情報と同音異義語識別
情報を含む変換対象語置換情報を、対応する変換対象語
情報で置換することを特徴とする請求項28ないし請求
項30のいずれかに記載のデータ復元方法。 - 【請求項32】 前記元文書データ作成ステップは、開
始位置識別情報と終了位置情報とで挟まれた情報を探索
することによって、前記変換対象語置換情報を探索する
ことを特徴とする請求項28ないし請求項31記載のデ
ータ復元方法。 - 【請求項33】 前記元文書データ作成ステップは、表
音情報開始位置識別情報と表音情報終了位置識別情報と
で挟まれた情報を探索することによって、前記変換対象
語置換情報を探索することを特徴とする請求項28ない
し請求項31記載のデータ復元方法。 - 【請求項34】 コンピュータを、 圧縮すべき元文書データに含まれる各文字情報を、その
文字情報に対応づけられる文字を発音したときの音を表
す表音文字情報で置き換えたデータである表音文書デー
タを作成する表音文書データ作成手段と、 この表音文書データ作成手段が作成する表音文書データ
に対して圧縮を行う圧縮手段として機能させるためのプ
ログラムが記録されたプログラム記録媒体。 - 【請求項35】 コンピュータを、 圧縮文書データを復元する復元手段と、 この復元手段で復元される、文字を発音したときの音を
表す表音文字情報を、対応する文字情報に変換すること
によって、前記圧縮文書データの元となったデータであ
る元文書データを生成する元文書データ生成手段として
機能させるためのプログラムが記録されたプログラム記
録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9348321A JPH10326273A (ja) | 1997-03-26 | 1997-12-17 | データ圧縮装置及びデータ復元装置及びデータ圧縮方法及びデータ復元方法及びプログラム記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9-73959 | 1997-03-26 | ||
| JP7395997 | 1997-03-26 | ||
| JP9348321A JPH10326273A (ja) | 1997-03-26 | 1997-12-17 | データ圧縮装置及びデータ復元装置及びデータ圧縮方法及びデータ復元方法及びプログラム記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10326273A true JPH10326273A (ja) | 1998-12-08 |
Family
ID=26415104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9348321A Pending JPH10326273A (ja) | 1997-03-26 | 1997-12-17 | データ圧縮装置及びデータ復元装置及びデータ圧縮方法及びデータ復元方法及びプログラム記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10326273A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010102559A (ja) * | 2008-10-24 | 2010-05-06 | Nec Corp | データ圧縮装置、データ圧縮方法、及びプログラム |
| CN105808513A (zh) * | 2015-01-19 | 2016-07-27 | 富士通株式会社 | 转换装置和转换方法 |
-
1997
- 1997-12-17 JP JP9348321A patent/JPH10326273A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010102559A (ja) * | 2008-10-24 | 2010-05-06 | Nec Corp | データ圧縮装置、データ圧縮方法、及びプログラム |
| CN105808513A (zh) * | 2015-01-19 | 2016-07-27 | 富士通株式会社 | 转换装置和转换方法 |
| CN105808513B (zh) * | 2015-01-19 | 2019-01-01 | 富士通株式会社 | 转换装置和转换方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100490240B1 (ko) | 데이타압축장치,데이타복원장치,데이타압축방법,데이타복원방법및프로그램기록매체 | |
| JP3421700B2 (ja) | データ圧縮装置及び復元装置並びにその方法 | |
| JP3277792B2 (ja) | データ圧縮方法および装置 | |
| JP3305191B2 (ja) | 文書管理装置及びデータ圧縮方法及びデータ復元方法 | |
| JPH0682370B2 (ja) | 文字処理装置 | |
| JPH0756955A (ja) | 圧縮データをサーチする方法及びシステム | |
| JP4003854B2 (ja) | データ圧縮装置及び復元装置並びにその方法 | |
| JP6680126B2 (ja) | 符号化プログラム、符号化装置、符号化方法、及び検索方法 | |
| JP2000269822A (ja) | データ圧縮装置、及びデータ復元装置 | |
| US6834283B1 (en) | Data compression/decompression apparatus using additional code and method thereof | |
| JP4057681B2 (ja) | 文書情報格納装置及び文書情報格納方法並びに文書情報検索装置及び文書情報検索方法並びに文書情報格納プログラムを記録した記録媒体及び文書情報検索プログラムを記録した記録媒体 | |
| JPH10326273A (ja) | データ圧縮装置及びデータ復元装置及びデータ圧縮方法及びデータ復元方法及びプログラム記録媒体 | |
| JPH10261969A (ja) | データ圧縮方法および装置 | |
| JP4263627B2 (ja) | 通信端末装置、受信装置、及び、プログラム | |
| JPH0546358A (ja) | テキストデータの圧縮方法 | |
| JPH0546357A (ja) | テキストデータの圧縮方法および復元方法 | |
| JP4726046B2 (ja) | 文字列検索装置及びコンピュータプログラム及び文字列検索方法 | |
| JP7096634B2 (ja) | 音声認識支援装置、音声認識支援方法及び音声認識支援プログラム | |
| JPS6268325A (ja) | 文章圧縮・伸展方式 | |
| JPS63263561A (ja) | 日本語文の圧縮方法 | |
| CN100378725C (zh) | 一种产生用于提供与文本对应的语音的信号的方法 | |
| JP4345438B2 (ja) | 辞書データ圧縮装置、電子辞書装置及びプログラム | |
| JP4329493B2 (ja) | 辞書データ圧縮装置、電子辞書装置及びプログラム | |
| JP2004013680A (ja) | 文字コード圧縮・復元装置および同方法 | |
| JP4096093B2 (ja) | 文字列入力装置、ならびに、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041202 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060425 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060626 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060725 |