JP2005338902A - 文書データ構造、文書変換装置、文書復元装置、文書変換方法、文書復元方法、文書変換プログラム、文書復元プログラムおよび記録媒体 - Google Patents

Abstract

【課題】
複数種類のオブジェクトを含みまたはさらに背景を異なるプレーンに形成して統合化した文書データ構造を提供する。
【解決手段】
１つの原文書１００から、符号化方法に応じた３枚のプレーンＰＬＮ（１），ＰＬＮ（２）ＰＬＮ（３）を抽出し、当該３枚のプレーンを１文書として統合してなる文書データＤＤの構造であって、前記３枚のプレーンと、画素ごとに前記３枚のプレーンのうちの１つを選択するための情報を、３階調の値として持つ参照イメージＦＥＦを有することを特徴とする。
【選択図】 図１

Description

本発明は、複数のプレーンにオブジェクトの種類に応じた画像を形成し、参照イメージに与えられた階調値により何れかのプレーンを選択することで高い圧縮率を実現すること技術に関する。

従来、複数枚の画像を１枚に集約して出力する画像処理手法が知られている。たとえば、特開２００３−１６３８０１に記載の技術では、ＭＲＣ（Ｍｉｘｅｄ Ｒａｓｔｅｒ Ｃｏｎｔｅｎｔ）手法により、文字画像と背景画像とから１つの集約画像を作成している。

また、特開２００３−０８７５５８に記載の技術では、ＭＲＣ手法により、１つの画像を背景プレーンと絵柄ブレーンと、絵柄位置を示すマスクプレーンに分割する。そして、絵柄プレーンについては情報量削減のために縮小を行い、復号時には、縮小した絵柄プレーンの画素値を拡張する。この技術では、実質上、画像分割は絵柄プレーンと背景プレーンの２種類である。

さらに、特開２００３−２８１５２６に記載の技術では、スキャナ等から入力されたディジタル画像をディスプレイ等に出力する際に、モアレ等に起因する画像劣化を防止することができる。この技術では、ディジタル画像を縮小し、それを前景画像と背景画像に分離した後、背景画像として抽出された中間調ドットパターンを連続階調データに変換する。
特開２００３−１６３８０１ 特開２００３−０８７５５８ 特開２００３−２８１５２６

しかし、特許文献１，２，３の技術では、基本的に、画面分割は文字と背景の二種に分割されるに過ぎず、たとえば、原画像のうちの３種類以上のオブジェクトについて符号化等を行うことができない。

本発明の目的は、複数種類のオブジェクトを含みまたはさらに背景を異なるプレーンに形成して統合化した文書データ構造を提供することにある。

本発明の他の目的は、複数種類のオブジェクトを含みまたはさらに背景を含む画像を、それぞれ複数のプレーンに分割することで高い圧縮率を実現することができる文書変換装置、文書変換方法、文書変換プログラムおよび当該プログラムが格納された記録媒体を提供することにある。

本発明の他の目的は、複数種類のオブジェクトを含みまたはさらに背景を異なるプレーンに形成して統合化した画像を元画像に復元することができる文書復元装置、文書復元方法、文書復元プログラムおよび当該プログラムが格納された記録媒体を提供することにある。

本発明の文書データ構造は、１つの原文書から、ｎ枚のプレーンを抽出し、当該ｎ枚のプレーンを１文書として統合してなるものであって、前記ｎ枚のプレーンと、画素ごとに前記ｎ枚のプレーンのうちの１つを選択するための情報を、ｍ階調の値として持つ参照イメージとを有することを特徴とする。

本発明の文書データ構造では、原文書は、前記ｎ枚のプレーンに分けて抽出され、または前記ｎ枚のプレーンおよび前記参照イメージ上に分けて抽出されたものとして構成できる。

本発明の文書データ構造では、前記ｎ枚のプレーンの少なくとも１つが、他のプレーンの符号化方法とは異なる符号化方法により符号化されるように構成できる。

本発明の文書データ構造では、前記ｎ枚のプレーンが、前記原文書上のオブジェクトの種類に応じた方法により符号化されるように構成できる。

本発明の文書変換装置は、１つの原文書から、ｎ枚のプレーンを抽出するプレーン画像抽出手段と、各画素にｍ階調の値が付与され、当該ｍ階調の値に応じて前記ｎ枚のプレーンうちの何れかを特定するための参照イメージを作成する参照イメージ作成手段と、前記ｎ枚のプレーンおよび前記参照イメージを符号化する符号化手段とを備えたことを特徴とする。

本発明の文書変換装置では、前記プレーン画像抽出手段が、原文書上のオブジェクトを、前記ｎ枚のプレーンに分けて抽出し、または前記ｎ枚のプレーンおよび前記参照イメージ上に分けて抽出するように構成できる。

本発明の文書変換装置では、前記符号化手段が、前記ｎ枚のプレーンまたはさらに前記参照イメージを、前記原文書上のオブジェクトの種類に応じた方法により符号化するように構成できる。

本発明の文書変換装置では、前記符号化手段は、前記ｎ枚のプレーンの少なくとも１つを、他のプレーンの符号化方法とは異なる符号化方法により符号化することができる。

本発明の文書変換装置では、前記符号化手段により符号化された前記参照イメージおよび前記ｎ枚のプレーンをデータセットに統合する統合手段を備えることができる。

本発明の文書変換装置では、画像加工または画像補正（解像度変換，フィルタリング処理，明度補正，色調補正，ノイズ除去）を行う加工手段を備えることができる。

本発明の文書復元装置は、上記したデータ構造の文書データを取得し、当該文書から文書の復元を行う文書復元装置であって、前記文書データを前記ｎ枚のプレーンおよび前記参照イメージに分解し、これらプレーンおよび参照イメージに復号化処理を施す文書分解・復号化手段と、前記参照イメージの画素を走査するスキャン手段と、前記スキャン手段により走査された画素に付与されたｍ階調の値を取得する階調値取得手段と、前記ｍ階調の値に対応する前記プレーンを特定するプレーン特定手段と、前記参照イメージの画素の位置に与えられている画素に対応する前記プレーン特定手段により特定されたプレーン上の値を抽出する画素値抽出手段と、前記参照イメージの各画素に対応する、復元されるべき画像上の画素に、前記画素値抽出手段により抽出した画素値を割り当てて文書の復元を行う文書復元手段とを備えたことを特徴とする。

本発明の文書復元装置では、前記ｎ枚のプレーンのうち１枚または複数枚を指定するプレーン除外手段を備え、指定されたプレーンは、前記プレーン特定手段による特定処理の対象には含めないことで、必要なオブジェクトだけを復元画像に表示することができる。

本発明の文書変換方法は、１つの原文書から、ｎ枚のプレーンを抽出するプレーン抽出ステップと、各画素にｍ階調の値が付与され、当該ｍ階調の値に応じて前記ｎ枚のプレーンうちの何れかを特定するための参照イメージを作成する参照イメージ作成ステップと、前記ｎ枚のプレーンおよび前記参照イメージを符号化する符号化ステップとを含むことを特徴とする。

本発明の文書変換方法では、前記プレーン抽出ステップにおいては、原文書上のオブジェクトを、前記ｎ枚のプレーンに分けて抽出し、または前記ｎ枚のプレーンおよび前記参照イメージ上に分けて抽出することができる。

本発明の文書変換方法では、前記符号化ステップにおいては、前記ｎ枚のプレーンまたはさらに前記参照イメージを、前記原文書上のオブジェクトの種類に応じた方法により符号化することができる。
本発明の文書変換方法では、前記符号化ステップにおいては、前記ｎ枚のプレーンの少なくとも１つを、他のプレーンの符号化方法とは異なる符号化方法により符号化することができる。

本発明の文書変換方法では、前記符号化ステップにおいて符号化された前記参照イメージおよび前記ｎ枚のプレーンをデータセットに統合する統合化ステップを備えることができる。

本発明の文書変換方法では、画像加工または画像補正（解像度変換，フィルタリング処理，明度補正，色調補正，ノイズ除去）を行う加工ステップをさらに備えることができる。

本発明の文書復元方法は、上記したデータ構造の文書を取得し、当該文書から文書の復元を行う文書復元方法であって、前記データ構造の文書をｎ枚のプレーンおよび参照イメージに復号化する復号化ステップと、前記参照イメージの画素を走査し、走査された画素に付与されたｍ階調の値を取得する階調値取得ステップと、前記ｍ階調の値に対応する前記プレーンを特定するプレーン特定ステップと、前記プレーン特定ステップにおいて特定された前記プレーン上の前記画素の位置に与えられている画素値を抽出して文書の復元を行う文書復元ステップとを含むことを特徴とする。

本発明の文書復元方法は、前記ｎ枚のプレーンのうち１枚または複数枚を指定するプレーン除外ステップを備え、指定されたプレーンは、前記プレーン特定手段による特定の対象には含めないことで、必要なオブジェクトだけを画像化することができる。

本発明の文書変換プログラムは、上記した文書変換方法における各ステップを実行することができ、本発明の文書復元プログラムは、上記した記載の画像復元方法における各ステップを実行することができる。これらのプログラムは、ピュータに読み取り可能な記録媒体に格納することができる。

本発明によれば、カラー画像にかかる文書を、画質を大幅に低下させずに、そのファイルサイズを小さくすることができる。また、再現された文書において、文字、罫線、単色で構成される図形などの視認性を保つことができ、さらにグラデュエーションを持つ画像にも適用できる。また、文書画像を複数のプレーンと参照イメージとに分けるので、必要なオブジェクトだけ表示させたり、送信することができる。

〔第１実施形態〕
図１（Ａ），（Ｂ）は第１実施形態の文書データ構造を示す説明図である。

図１（Ｂ）に示すように、文書データＤＤは、図１（Ａ）に示す原文書１００から抽出したｎ枚（本実施形態ではｎ＝３）のプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）と、参照イメージＲＥＦとが統合されて構成されている。

原文書１００は、図１（Ａ）に示すように、８ビットのカラー画像１０１と、青の塗り潰し文字および青の横ストライプの塗り潰し文字１０２と、赤のドットパターン背景１０３とからなる。

本実施形態では、原文書１００に表示された画像は、図１（Ｂ）に示すように、当該画像に記載されたオブジェクトに応じて、プレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）に分けて抽出されている。参照イメージＲＥＦは、画素ごとにプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）のうちの１つを選択するための情報をｍ階調（本実施形態ではｍ＝３）の値Ａ１，Ａ２，Ａ３として持っている。たとえば、Ａ１：「００」、Ａ２：「０１」、Ａ３：「１０」とすることができる。

本実施形態では、プレーンＰＬＮ（１）はたとえば８ビットのカラー画像であり写真等の圧縮に適した方法により符号化され、プレーンＰＬＮ（２）は文字（イメージ画像またはテキストコードにより表された画像）であり文字の圧縮に適した方法により符号化され、プレーンＰＬＮ（３）は背景を表す画像であり背景の圧縮に適した方法により符号化されている。たとえば、参照イメージＲＥＦが白黒画像である場合には、ＭＭＲ圧縮などが圧縮効率の点では都合がよい。また、プレーンＰＬＮ（１）はカラー画像であるので、ＪＰＥＧ，ＪＰＥＧ２０００などの方式が好適となる。さらに、プレーンＰＬＮ（２）は文字画像であるのでＭＭＲ圧縮とすることが好ましい。

図２は、第１実施形態の文書変換装置を示すブロック図であり、この文書変換装置により図１（Ｂ）に示す構造の文書データＤＤを作成することができる。

図２において、文書変換装置１１は、プレーン画像抽出手段１１１と、参照イメージ作成手段１１２と、加工手段１１３と、符号化手段１１４と、統合手段１１５とを備えている。

プレーン画像抽出手段１１１は、原文書１００から、符号化方法に応じ３枚のプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）を抽出することができる。

本実施形態では、プレーンＰＬＮ（１）はカラー画像である。また、ＰＬＮ（２），ＰＬＮ（３）上のオブジェクトの原文書１００上での色が、単色カラーである場合に、当該ＰＬＮ（２），ＰＬＮ（３）上のオブジェクトを単色カラーとすることもできるし、白黒の画像とすることもできる。ＰＬＮ（２），ＰＬＮ（３）をカラー画像とする場合には、参照イメージＲＥＦは、白黒画像である。また、ＰＬＮ（２），ＰＬＮ（３）を白黒画像とする場合には、参照イメージＲＥＦのＰＬＮ（２），ＰＬＮ（３）を選択する階調値Ａ２，Ａ３に単色カラーが定義される。

本実施形態では、プレーンＰＬＮ（１）にはカラー写真等が抽出され、プレーンＰＬＮ（２）には文字が抽出され、プレーンＰＬＮ（３）には背景が抽出されるが、これらの抽出に際してのオブジェクトの峻別（文字の抽出、背景の抽出）の技術は周知であるので説明はしない。

参照イメージ作成手段１１２は、参照イメージＲＥＦを作成することができる。

加工手段１１３は、画像加工または画像補正（解像度変換，フィルタリング処理，明度補正，色調補正，ノイズ除去）を行うことができる。通常この処理により、符号化に際して、圧縮率が高くなる。

たとえば、プレーンＰＬＮ（２）は、復元文書１００′上で、文字の色だけがわかればよいので、プレーンＰＬＮ（２）上のドットピッチの解像度や、プレーンＰＬＮ（２）に単色カラーが定義される場合には、カラー階調の解像度を低くすることができる。プレーンＰＬＮ（２）のオブジェクトは、文字であるので、解像度を低下させて視認性はさほど低下しない。さらに、プレーンＰＬＮ（２）について、文字認識処理を行えば、テキストコードが得られる。これを、最終的に生成される一連のデータセットに関連付けて（通常、テキストデータをデータセットに含めて）おけば、復元文書１００′において、テキストコードによる検索を行うことができる。

また、補間処理等により、解像度を高くする画像処理を行ってもよい。ファイルサイズは大きくなるが写真部などが重要な場合は画質の向上となる。参照イメージＲＥＦは、本実施形態では、ドットピッチの変更は行わないが、この変更を行うようにもできる。

プレーンＰＬＮ（２）や参照イメージＲＥＦについては、微小な黒画素の連結成分を消去するなどの方法でノイズ除去を行うことができ、これにより符号化に際しての圧縮率が高くなる。

なお、文書がどのよう使われるかに応じて、各プレーンの加工処理を適宜決定できる。たとえば、写真が重要だと考えた場合にはプレーンＰＬＮ（１）の解像度を低くしないようにすればよいし、逆に、写真はあまり重要でない場合には、プレーンＰＬＮ（１）の解像度を低くし、プレーンＰＬＮ（２）の解像度を高めにすればよい。これらは、画質と最終的な情報のサイズとのトレードオフであるので、用途に応じて決定する。

符号化手段１１４は、プレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）および参照イメージＲＥＦを、原文書１００上のオブジェクトの種類に応じた方法（当該オブジェクトの圧縮に好適な方法であり、各プレーンで異なる）により符号化することができる。

統合手段１１５は、符号化手段１１３により符号化された参照イメージＲＥＦおよびｎ枚のプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）をデータセットに統合することができる。なお、統合に際して、各プレーンが、どのような属性を持つかの情報（たとえば、写真等のビットマップ画像、文字、背景等の情報）を、データセットに含めておくことで、たとえば、後述する文書復元に際して、操作者にとって不要なプレーンをプレーン除外手段２１３を用いて除外することができる。これにより、画像表現の際、ある特定のプレーンだけを見ることもできる。この場合は不要な情報は不可視となるので、文書が見やすくなる。また、データ通信に際しては、適宜不要と思われるプレーンをデータセットから除外することで、送受信するデータ量を少なくする（これにより、送受信時間を短くする）ことができる。

図３は、第１実施形態の文書変換方法を示す説明図である。この文書変換方法は、図２の文書変換装置１１を用いて実施することができる。

図３において、まず原文書１００から、符号化方法に応じた３枚のプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）を抽出する（プレーン抽出ステップ：Ｓ１０１）。このプレーン抽出ステップＳ１０１においては、原文書１００上のオブジェクトを、３枚のプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）に分けて抽出する。

つぎに、各画素に３階調の値Ａ１，Ａ２，Ａ３が付与され、３階調の値に応じて３枚のプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）うちの何れかを特定するための参照イメージＲＥＦを作成する（参照イメージ作成ステップ：Ｓ１０２）。、
さらに、３枚のプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）について、画像加工または画像補正（解像度変換，フィルタリング処理，明度補正，色調補正，ノイズ除去）を行う（加工ステップ：Ｓ１０３）。

この後、３枚のプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）および参照イメージＲＥＦを符号化する（符号化ステップ：Ｓ１０４）。符号化ステップＳ１０４では。３枚のプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）および参照イメージＲＥＦは、原文書１００上のオブジェクトの種類に応じた方法により符号化する。本実施形態では、３枚のプレーンは、それぞれ異なる符号化方法で符号化している。

そして、符号化ステップＳ１０４において符号化された参照イメージＲＥＦおよび３枚のプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）をデータセットに統合する。

なお、プレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）の参照されない領域の画素値は、所定の画素値（たとえば、白、黒等）に置き換えることができる。これにより、符号化に際して圧縮効率を向上させることができる。プレーンＰＬＮ（１）のみが、画像再現時に参照されるような場合には、プレーンＰＬＮ（１）上の参照イメージＲＥＦの文字に対応する画素に、周囲の画素を用いて所定の画素値を付与することができる。プレーンＰＬＮ（２）のみが、画像再現時に参照されるような場合には、プレーンＰＬＮ（２）上の参照イメージＲＥＦの文字以外の画素は、文字が見やすくなるような色でかつ圧縮効率を低下させないような画素値を付与することができる。

図４は、第１実施形態の文書復元装置を示す説明図である。

図４において、文書復元装置２１は、文書分解・復号化手段２１１と、階調値取得手段２１２と、プレーン除外手段２１３と、プレーン特定手段２１４と、文書復元手段２１５とを備えている。本実施形態において文書復元装置２１は、文書データＤＤを取得し、当該文書データから原文書１００を復元することができる。

文書分解・復号化手段２１１は、文書データＤＤに復号化処理を施し、３枚のプレーンプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）と参照イメージＲＥＦを生成することができる。

階調値取得手段２１２は、参照イメージＲＥＦの画素を走査し、走査された画素に付与されている３階調の値Ａ１，Ａ２，Ａ３の何れかを取得することができる。

プレーン除外手段２１３は、３枚のプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）のうち１枚または２枚のプレーンを処理対象から外すことができる。プレーン除外手段２１３により除外されたプレーンは、プレーン特定手段２１４による特定の対象には含めないことで、必要なオブジェクトだけを再現画像１００′上に表示することができる。

プレーン特定手段２１４は、３階調の値Ａ１，Ａ２，Ａ３の値に対応するプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）を特定することができる。

文書復元手段２１５は、参照イメージＲＥＦの画素の位置に与えられている、画素に対応するプレーン特定手段２１４により特定されたプレーン上の値を抽出し、文書の復元を行い、復元文書１００′を得ることができる。

プレーンＰＬＮ（２），ＰＬＮ（３）上のオブジェクトに単色カラーが定義されている場合において、参照イメージＲＥＦの画素の階調値がＡ２またはＡ３であるときには、復元文書１００′にはプレーンＰＬＮ（２），ＰＬＮ（３）上で定義された色が反映される。また、プレーンＰＬＮ（２），（３）に、予め色を定義せずに、階調値Ａ２，Ａ３に対応して単色カラーが定義されているときは、これらの単色カラーが復元画像に反映される。

図５は、第１実施形態の文書復元方法を示す説明図である。この文書復元方法は、図４の文書復元装置２１を用いて実施することができる。

図５において、まず文書データＤＤを、３枚のプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）および参照イメージＲＥＦに分解し、これらに復号化処理を施す（文書分解・復号化ステップ：Ｓ２０１）。

参照イメージＲＥＦの画素を走査し、各画素に付与された３階調の値Ａ１，Ａ２，Ａ３を取得する（階調値取得ステップ：Ｓ２０２）。

所定対象となるプレーンを除外する（プレーン除外ステップ：Ｓ２０３）。

３階調の値Ａ１，Ａ２，Ａ３に対応するプレーンを特定する（プレーン特定ステップ：Ｓ２０４）。

プレーン特定ステップＳ２０４において特定されたプレーン上の画素の位置に与えられている画素値を抽出し、復元文書１００′を生成する（文書復元ステップ：Ｓ２０５）。
〔第２実施形態〕
図６（Ａ），（Ｂ）は第２実施形態の文書データ構造を示す説明図である。

本実施形態では、図６（Ａ）に示すように、原文書２００は、第１実施形態の原文書１００と同じであり（図１（Ａ）参照）、８ビットのカラー画像２０１と、青の塗り潰し文字および青の横ストライプの塗り潰し文字２０２と、赤のドットパターン背景２０３とからなる。

また、文書データＤＤは、図６（Ｂ）に示す原文書２００から抽出したｎ枚（本実施形態ではｎ＝３）のプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）と、参照イメージＲＥＦとが統合されて構成されていることは第１実施形態と同じであり、参照イメージＲＥＦは、画素ごとにプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）のうちの１つを選択するための情報をｍ階調（本実施形態ではｍ＝３）の値Ａ１，Ａ２，Ａ３として持っていることも第１実施形態と同じである。

ただし、図６（Ｂ）のプレーンＰＬＮ（２）および参照イメージＲＥＦは、第１実施形態のプレーンＰＬＮ（２）および参照イメージＲＥＦ（図１（Ｂ）参照）とは異なる。青の塗り潰し文字および青の横ストライプの塗り潰し文字２０２は、参照イメージＲＥＦに記載されており、プレーンＰＬＮ（２）の文字２０２に相当する部分には、黒の塗り潰しおよび黒のストライプの塗り潰し図形Ｂ１が形成されている（図７のプレーンＰＬＮ（２）参照）。

図６（Ｂ）に示す構造の文書データＤＤは、図２の文書変換装置１１により作成することができ、図４の文書復元装置１２により復元することができる。

図７は、第２実施形態の文書変換方法を示す説明図である。この文書変換方法は、第１実施形態における文書変換方法と基本的には同じである。ただし、プレーン抽出ステップＳ１０１において、第１実施形態では、原文書２００上のオブジェクトを３枚のプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３）に分けて抽出したが、本実施形態では、原文書１００上のオブジェクトを、２枚のプレーンＰＬＮ（１），ＰＬＮ（３）および参照イメージＲＥＦに分けて抽出する。

図８は、第２実施形態の文書復元方法を示す説明図である。この文書復元方法は、第１実施形態における文書復元方法と基本的には同じであり、実質上第１実施形態と同様に復元文書２００′の復元が行われる。ただし、プレーン特定ステップＳ２０４では、第１実施形態においては、参照イメージＲＥＦ上の塗り潰しとプレーンＰＬＮ（２）上の文字オブジェクトにより文字２０２を復元したが、第２実施形態では、参照イメージＲＥＦ上の文字オブジェクトとプレーンＰＬＮ（２）の塗り潰しにより文字２０２を復元している。
〔第３実施形態〕
図９（Ａ），（Ｂ）は第３実施形態の文書データ構造を示す説明図である。

本実施形態では、図９（Ａ）に示すように、原文書３００は、８ビットのカラー画像３０１と、青と緑ので上下が塗り分けられた塗り潰し文字（上部領域を符号３０２で、下部位領域を符号３０３で示す）と、黒で表された表３０４と、赤のドットパターンの背景３０５とからなる。

また、文書データＤＤは、図９（Ｂ）に示す原文書３００から抽出したｎ枚（本実施形態ではｎ＝４）のプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３），ＰＬＮ（４）と、参照イメージＲＥＦとが統合されて構成されている。参照イメージＲＥＦは、画素ごとにプレーンＰＬＮ（１），ＰＬＮ（２），ＰＬＮ（３），ＰＬＮ（４）のうちの１つを選択するための情報をｍ階調（本実施形態ではｍ＝５）の値Ａ１，Ａ２，Ａ３，Ａ４，Ａ５として持っている。すなわち、本実施形態では、ｎ＜ｍである。

図９（Ｂ）のプレーンＰＬＮ（１）は８ビットのカラー画像３０１からなる。また、プレーンＰＬＮ（２）はモノクロの塗り潰し文字により構成され、プレーンＰＬＮ（３）はモノクロの表により構成され、プレーンＰＬＮ（４）はモノクロのドットパターンにより構成されている。

また、参照イメージＲＥＦは、前述したように５階調の値Ａ１，Ａ２，Ａ３，Ａ４，Ａ５の領域により構成されている。階調値Ａ１を持つ領域は、プレーンＰＬＮ（１）のカラー画像３０１に対応して形成されている。また、階調値Ａ２を持つ領域は、プレーンＰＬＮ（２）上の、文字の上部領域３０２に対応して形成され、階調値Ａ３を持つ領域は、プレーンＰＬＮ（２）上の、文字の下部領域３０３に対応して形成されている。階調値Ａ４を持つ領域は、プレーンＰＬＮ（３）の表３０４に対応して形成され、階調値Ａ５を持つ領域は、プレーンＰＬＮ（４）のドットパターンの背景３０５に対応する。

図６（Ｂ）に示す構造の文書データＤＤは、図２の文書変換装置１１により作成することができ、図４の文書復元装置１２により復元することができる。

本実施形態では、プレーンＰＬＮ（１）については、ＰＬＮ（１）上の画素値で表示される。また、本実施形態では、プレーンＰＬＮ（２），（３），（４）には、色が定義されておらず、参照イメージＲＥＦに、Ａ２，Ａ３，Ａ４，Ａ５に対応して、それぞれ色が定義されている。したがって、プレーンＰＬＮ（２）上のオブジェクト（本実施形態では文字）については、階調Ａ２の領域に予め定義されている色（ここでは青）または、階調Ａ３の領域に予め定義されている色（ここでは緑）で表示される。また、プレーンＰＬＮ（３）のオブジェクト（本実施形態では表）については、階調Ａ３の領域に予め定義されている色（ここでは黒）で表示され、プレーンＰＬＮ（４）のオブジェクト（本実施形態ではドットパターン）については、階調Ａ４の領域に予め定義されている色（ここでは赤）で表示される。

なお、プレーンＰＬＮ（２），ＰＬＮ（３），ＰＬＮ（４）についても、プレーンＰＬＮ（２），ＰＬＮ（３），ＰＬＮ（４）上の画素値で表示するようにできる。この場合には、プレーンＰＬＮ（２），ＰＬＮ（３），ＰＬＮ（４）上のオブジェクトには色が定義される。

図９（Ｂ）に示す構造の文書データＤＤは、図２の文書変換装置１１により作成することができ、図４の文書復元装置１２により復元することができる。

図１０は、第３実施形態の文書変換方法を示す説明図である。この文書変換方法は、第１実施形態における文書変換方法と基本的には同じである。ただし、参照イメージ作成ステップＳ１０２において、文字を一つの階調値Ａ２に対応させたが、本実施形態では文字を２つの階調値Ａ２，Ａ３に対応させている。また、本実施形態では、原文書３００に表がオブジェクトとして追加されているため、プレーンが全部で４枚となっている。

図１１は、第３実施形態の文書復元方法を示す説明図である。この文書復元方法は、第１実施形態における文書復元方法と基本的には同じであり、実質上第１実施形態と同様に復元文書３００′の復元が行われる。ただし、プレーン特定ステップＳ２０４では、第１実施形態においては、参照イメージＲＥＦ上の塗り潰しとプレーンＰＬＮ（２）上の文字オブジェクトにより文字１０２を復元したが、第３実施形態では、参照イメージＲＥＦ上の階調値Ａ２，Ａ３が示す２色の文字オブジェクトと、プレーンＰＬＮ（２）の塗り潰しにより文字の上部領域３０２および文字の下部領域３０３文字１０２を復元している。
〔第４実施形態〕
図１２（Ａ），（Ｂ）は第４実施形態の文書データ構造を示す説明図である。

本実施形態では、図１２（Ａ）に示すように、原文書４００は、グレイのグラデュエーションで装飾された文字４０１と、赤のドットパターンの背景４０２とからなる。

また、文書データＤＤは、図１２（Ｂ）に示す原文書４００から抽出したｎ枚（本実施形態ではｎ＝２）のプレーンＰＬＮ（１），ＰＬＮ（２）と、参照イメージＲＥＦとが統合されて構成されている。参照イメージＲＥＦは、画素ごとにプレーンＰＬＮ（１），ＰＬＮ（２）のうちの１つを選択するための情報をｍ階調（本実施形態ではｍ＝１６）の値Ａ１，Ａ２，・・・，Ａ１６として持っている。すなわち、本実施形態では、ｎ＜ｍである。

参照イメージＲＥＦは、前述したように１６階調の値Ａ１，Ａ２，・・・，Ａ１６の領域により構成されている。階調値Ａ１を持つ領域の画素には、対応するプレーンＰＬＮ（１）上の画素値が割り当てられる。また、階調値Ａ２を持つ領域には「白」が定義されており、階調値Ａ１６を持つ領域には「黒」が定義され、階調値Ａ３〜Ａ１５を持つ領域には、段階的に「白」に近いグレーから「黒」に近いグレーが定義されている。

図１２（Ｂ）に示す構造の文書データＤＤは、図２の文書変換装置１１により作成することができ、図４の文書復元装置１２により復元することができる。

本実施形態では、参照イメージＲＥＦ上の階調値Ａ１を持つ画素に対応するＰＬＮ（１）上の画素値については、当該参照イメージＲＥＦ上の画素の値で表示される。プレーンＰＬＮ（２）については、色が定義されておらず、参照イメージＲＥＦ上の画素に与えられている階調値Ａ２〜Ａ１６に対応して、それぞれ白、グレー、黒が復元画像に表れる。

なお、プレーンＰＬＮ（２），ＰＬＮ（３），ＰＬＮ（４）についても、プレーンＰＬＮ（２），ＰＬＮ（３），ＰＬＮ（４）上の画素値で表示するようにできる。この場合には、プレーンＰＬＮ（２），ＰＬＮ（３），ＰＬＮ（４）上のオブジェクトには色が定義される。

図１２（Ｂ）に示す構造の文書データＤＤは、図２の文書変換装置１１により作成することができ、図４の文書復元装置１２により復元することができる。

図１３は、第４実施形態の文書変換方法を示す説明図である。この文書変換方法は、第１実施形態における文書変換方法と基本的に同じである。また、図１４は、第４実施形態の文書復元方法を示す説明図であり、この文書復元方法は、第１実施形態における文書復元方法と基本的には同じであり、実質上第１実施形態と同様に復元文書４００′の復元が行われる。

第４実施形態では、参照イメージＲＥＦの復号化は、多値画像に適した方法を採用することが好ましい。第４実施形態では、たとえば、図形と背景の境界を連続的に変化する画像等、グラデュエーションが多用されるに画像に好適に使用される。

第１実施形態の文書データ構造を示す説明図であり、（Ａ）は原文書を示す図、（Ｂ）は各プレーンと参照イメージとが統合された文書データを示す図である。 第１実施形態の文書変換装置を示すブロック図である。 第１実施形態の文書変換方法を示す説明図である。 第１実施形態の文書復元装置を示す説明図である。 第１実施形態の文書復元方法を示す説明図である。 第２実施形態の文書データ構造を示す説明図であり、（Ａ）は原文書を示す図、（Ｂ）は各プレーンと参照イメージとが統合された文書データを示す図である。 第２実施形態の文書変換方法を示す説明図である。 第２実施形態の文書復元方法を示す説明図である。 第３実施形態の文書データ構造を示す説明図であり、（Ａ）は原文書を示す図、（Ｂ）は各プレーンと参照イメージとが統合された文書データを示す図である。 第３実施形態の文書変換方法を示す説明図である。 第３実施形態の文書復元方法を示す説明図である。 第４実施形態の文書データ構造を示す説明図であり、（Ａ）は原文書を示す図、（Ｂ）は各プレーンと参照イメージとが統合された文書データを示す図である。 第４実施形態の文書変換方法を示す説明図である。 第４実施形態の文書復元方法を示す説明図である。

符号の説明

１１ 文書変換装置
２１ 文書復元装置
１００，２００，３００，４００ 原文書
１００′，２００′，３００′，４００′ 復元文書
１０１，２０１，３０１ カラー画像
１０２，２０２ 文字
１０３，２０３，３０５，４０２ 背景
１１１ プレーン画像抽出手段
１１２ 参照画像作成手段
１１３ 補正手段
１１４ 符号化手段
１１５ 統合手段
２１１ 文書分解・復号化手段
２１２ 階調値取得手段
２１３ プレーン除外手段
２１４ プレーン特定手段
２１５ 文書復元手段
３０２，３０３，４０４ 塗り潰し
３０４ 表
Ａｘ（ｘは、正の整数） 階調値
ＤＤ 文書データ
ＰＬＮ（ｘ）（ｘは、正の整数） プレーン
ＲＥＦ 参照イメージ

Claims (23)

1. １つの原文書から、ｎ枚のプレーンを抽出し、当該ｎ枚のプレーンを１文書として統合してなる文書データ構造であって、
   前記ｎ枚のプレーンと、
   画素ごとに前記ｎ枚のプレーンのうちの１つを選択するための情報を、ｍ階調の値として持つ参照イメージと、
   を有することを特徴とする文書データ構造。
2. 前記原文書上のオブジェクトが、前記ｎ枚のプレーンに分けられて抽出され、または前記ｎ枚のプレーンおよび前記参照イメージ上に分けられてて抽出されていることを特徴とする請求項１に記載の文書データ構造。
3. 前記ｎ枚のプレーンは、前記原文書上のオブジェクトの種類に応じた方法により符号化されていることを特徴とする請求項１または２に記載の文書データ構造。
4. 前記ｎ枚のプレーンの少なくとも１つが、他のプレーンの符号化方法とは異なる符号化方法により符号化されていることを特徴とする請求項から３の何れかに記載の文書データ構造。
5. １つの原文書から、ｎ枚のプレーンを抽出するプレーン画像抽出手段と、
   各画素にｍ階調の値が付与され、当該ｍ階調の値に応じて前記ｎ枚のプレーンうちの何れかを特定するための参照イメージを作成する参照イメージ作成手段と、
   前記ｎ枚のプレーンおよび前記参照イメージを符号化する符号化手段と、
   を備えたことを特徴とする文書変換装置。
6. 前記プレーン画像抽出手段は、原文書上のオブジェクトを、前記ｎ枚のプレーンに分けて抽出し、または前記ｎ枚のプレーンおよび前記参照イメージ上に分けて抽出することを特徴とする請求項５に記載の文書変換装置。
7. 前記符号化手段は、前記ｎ枚のプレーンまたはさらに前記参照イメージを、前記原文書上のオブジェクトの種類に応じた方法により符号化することを特徴とする請求項５または６に記載の文書変換装置。
8. 前記符号化手段は、前記ｎ枚のプレーンの少なくとも１つを、他のプレーンの符号化方法とは異なる符号化方法により符号化することを特徴とする請求項５から７の何れかに記載の文書変換装置。
9. 前記符号化手段により符号化された前記参照イメージおよび前記ｎ枚のプレーンをデータセットに統合する統合手段を備えたことを特徴とする請求項５から８の何れかに記載の文書変換装置。
10. 画像加工または画像補正を行う加工手段を備えたことを特徴とする請求項５から９の何れかに記載の文書変換装置。
11. 請求項１から３に記載のデータ構造の文書データを取得し、当該文書から文書の復元を行う文書復元装置であって、
    前記文書データを前記ｎ枚のプレーンおよび前記参照イメージに分解し、これらプレーンおよび参照イメージに復号化処理を施す文書分解・復号化手段と、
    前記参照イメージの画素を走査するスキャン手段と、
    前記スキャン手段により走査された画素に付与されたｍ階調の値を取得する階調値取得手段と、
    前記ｍ階調の値に対応する前記プレーンを特定するプレーン特定手段と、
    前記参照イメージの画素の位置に与えられている画素に対応する前記プレーン特定手段により特定されたプレーン上の値を抽出する画素値抽出手段と、
    前記参照イメージの各画素に対応する、復元されるべき画像上の画素に、前記画素値抽出手段により抽出した画素値を割り当てて文書の復元を行う文書復元手段と、
    を備えたことを特徴とする文書復元装置。
12. 前記ｎ枚のプレーンのうち１枚または複数枚を指定するプレーン除外手段を備え、
    指定されたプレーンは、前記プレーン特定手段による特定処理の対象には含めないことで、必要なオブジェクトだけを復元画像に表示することを特徴とする請求項１１に記載の文書復元装置。
13. １つの原文書から、ｎ枚のプレーンを抽出するプレーン抽出ステップと、
    各画素にｍ階調の値が付与され、当該ｍ階調の値に応じて前記ｎ枚のプレーンうちの何れかを特定するための参照イメージを作成する参照イメージ作成ステップと、
    前記ｎ枚のプレーンおよび前記参照イメージを符号化する符号化ステップと、
    を含むことを特徴とする文書変換方法。
14. 前記プレーン抽出ステップにおいては、原文書上のオブジェクトを、前記ｎ枚のプレーンに分けて抽出し、または前記ｎ枚のプレーンおよび前記参照イメージ上に分けて抽出することを特徴とする請求項１３に記載の文書変換方法。
15. 前記符号化ステップにおいては、前記ｎ枚のプレーンまたはさらに前記参照イメージを、前記原文書上のオブジェクトの種類に応じた方法により符号化することを特徴とする請求項１３または１４に記載の文書変換方法。
16. 前記符号化ステップにおいては、前記ｎ枚のプレーンの少なくとも１つを、他のプレーンの符号化方法とは異なる符号化方法により符号化することを特徴とする請求項１５に記載の文書変換方法。
17. 前記符号化ステップにおいて符号化された前記参照イメージおよび前記ｎ枚のプレーンをデータセットに統合する統合化ステップを備えたことを特徴とする請求項１３から１６の何れかに記載の文書変換方法。
18. 画像加工または画像補正を行う加工ステップを含むことを特徴とする請求項１３から１７の何れかに記載の文書変換方法。
19. 請求項１から３に記載のデータ構造の文書を取得し、当該文書から文書の復元を行う文書復元方法であって、
    前記データ構造の文書をｎ枚のプレーンおよび参照イメージに復号化する復号化ステップと、
    前記参照イメージの画素を走査し、走査された画素に付与されたｍ階調の値を取得する階調値取得ステップと、
    前記ｍ階調の値に対応する前記プレーンを特定するプレーン特定ステップと、
    前記プレーン特定ステップにおいて特定された前記プレーン上の前記画素の位置に与えられている画素値を抽出して文書の復元を行う文書復元ステップと、
    を含むことを特徴とする文書復元方法。
20. 前記ｎ枚のプレーンのうち１枚または複数枚を指定するプレーン除外ステップを備え、
    指定されたプレーンは、前記プレーン特定手段による特定の対象には含めないことで、必要なオブジェクトだけを画像化することを特徴とする請求項１８に記載の文書復元方法。
21. 請求項１３から１８の何れかに記載の文書変換方法における各ステップを実行する文書変換プログラム。
22. 請求項１９または２０に記載の画像復元方法における各ステップを実行するコンピュータで実行可能な文書復元プログラム。
23. 請求項２１に記載の文書変換プログラムおよび／または請求項２２に記載の文書復元プログラムを格納したコンピュータに読み取り可能な記録媒体。