JP2007166541A - 画像処理方法およびその装置 - Google Patents

Abstract

【課題】文書上に混在する写真、文字、表、ラインアートをそれぞれ解析し、オブジェクトの属性に合わせた画像処理を施して、文書の出力形態、オブジェクトの内容などにより、データ形式やデータそのものを入れ替えて、文書を出力する。
【解決手段】文書画像を属性ごとの領域に分割し、属性ごとの領域の画像を複数種類の伝達情報503〜505に変換し、領域ごとに、出力形態とユーザの権限に応じた使用可否を示す出力形態別使用権限502を付加する。また、伝達情報503〜505ごとに、その内容とユーザの権限に応じた使用可否を示す内容別使用権限506〜508を付加する。そして、文書画像を出力する場合は、その出力先の情報、ユーザの権限情報および出力形態別使用権限502に基づき、領域ごとに出力可能な伝達情報を抽出する。そして、領域ごとに抽出した伝達情報から、内容別使用権限506〜508およびユーザの権限情報に応じた伝達情報を選択する。
【選択図】図８

Description

本発明は、例えば、文書画像の利用、加工、表示、移動、共有など行う画像処理に関する。

写真や文字が混在する文書から読み取った文書画像は、A4、カラー、300dpiの場合、JPEG圧縮しても3.5MB近いデータ量になる。このような文書画像を多数、ネットワークを介してやり取りすれば、ネットワークの負荷が大きくなる。また、解像度を下げればデータ量は減るが文字の画質が劣化する。そのような文書画像を出力する機器はプリンタ、モニタ、携帯端末など多岐に亘り、出力内容も文書画像の全体であったり一部であったりする。さらに、加工可能なデータが要求される場合もあり、文書画像に対して要求される情報の種類は様々である。

特許文献1は、入力画像を写真領域と文字領域に分けて、それら領域の解像度をそれぞれ可変にして画像を管理する技術を開示する。また、特許文献2は、スキャン画像を携帯端末(PDA)で表示できるように、文字画像を行単位で分割し、再統合する技術を開示する。

しかし、特許文献1において、解像度が可変なのはラスタ画像だけである。ベクタ画像や文字領域の文字認識結果などについては管理しない。また、特許文献2において、その出力先はPDAに限定されるし、加工の対象はラスタ画像だけで、やはりベクタ画像や文字認識結果については未対応である。

また、文書上に混在する写真、文字、表、ラインアートをそれぞれ解析し、オブジェクトの属性に合わせた画像処理を施して、文書を出力したい場面が多々ある。特許文献3は、文書を文字、イメージおよび背景に分離し、予め用意した階層に領域を振り分け、文書のデータ量を大幅に削減するとともに、データの再利用が容易な形態で文書を保持する技術を開示する。しかし、再利用が容易な形態で文書画像を保持するが、他の装置や他のアプリケーションへ出力される際の各領域の情報は一種類だけである。

これら特許文献1〜3は、領域の属性ごとに画像を管理する。しかし、属性は同じでも領域の性質は様々である。例えば、同じ文書中の異なる二つの文字領域を考えると、一方の領域の文字認識率が高く、他方の領域の文字認識率が低い場合がある。このような場合、属性が同じだからといって同じ種類の情報を提供しても、情報を良好に伝達できない可能性がある。

さらに、特許文献1〜3において、例えば、解像度変換などの処理はデータ登録時に限定され、登録データを出力する際に所望する解像度のデータを得るといった処理には未対応である。また、文書の各オブジェクトについて、文書の出力形態、オブジェクトの内容などにより、データ形式やデータそのものを入れ替えて、文書を出力することはできない。

特開平8-204950号公報 特開2003-348326公報 特開2000-306103公報

本発明は、文書画像の各領域について、その出力形態、その内容などに応じたデータを出力可能にすることを目的とする。

また、文書画像の各領域について、その出力形態に合ったデータ形式のデータがない場合に、データ形式の変換または出力形態に合ったデータ形式のデータ検索を可能にすることを他の目的とする。

また、前記変換または検索したデータの再利用を容易にすることを他の目的とする。

本発明にかかる画像処理は、文書画像を属性ごとの領域に分割し、前記属性ごとの領域の画像を複数種類の伝達情報に変換し、前記領域ごとに、出力形態とユーザの権限に応じた使用可否を示す第一の許可情報を付加し、前記伝達情報ごとに、その内容と前記ユーザの権限に応じた使用可否を示す第二の許可情報を付加し、前記伝達情報の出力先の情報および前記伝達情報の出力を指示するユーザの権限情報を取得して、前記出力先の情報、前記ユーザの権限情報および前記第一の許可情報に基づき、前記領域ごとに出力可能な伝達情報を抽出し、前記領域ごとに抽出した伝達情報から、前記第二の許可情報および前記ユーザの権限情報に応じた伝達情報を選択し、前記領域ごとに選択した伝達情報を統合して前記出力先に出力することを特徴とする。

好ましくは、前記第一の許可情報は、前記出力可能な伝達情報がない場合に、前記ユーザの権限に応じて、当該領域に存在する伝達情報を前記出力可能な伝達情報へ変換可能か否かの情報を含むことを特徴とする。

また、前記第一の許可情報は、前記出力可能な伝達情報がない場合に、前記ユーザの権限に応じて、当該領域に存在する伝達情報に基づき前記出力可能な伝達情報を検索可能か否かの情報を含むことを特徴とする。

さらに、好ましくは、前記変換または前記検索によって得られた伝達情報を、当該領域の伝達情報として追加することを特徴とする。

本発明によれば、文書画像の各領域について、その出力形態、その内容などに応じたデータを出力可能にすることができる。

また、文書画像の各領域について、その出力形態に合ったデータ形式のデータがない場合に、データ形式の変換または出力形態に合ったデータ形式のデータ検索を可能にすることができる。

また、前記変換または検索したデータの再利用を容易にすることができる。

以下、本発明の好適な実施例を図面を参照して詳細に説明する。

［装置の構成］
図1は実施例の伝達情報出力装置の構成例を示すブロック図である。

CPU 101は、ROM 102に格納された制御プログラムに従い、RAM 103をワークメモリとして装置全体の制御する。ROM 102は、CPU 101が実行する後述する制御プログラムなどを格納する。RAM 103およびハードディスクドライブ(HDD)104は、後述する処理プログラムや文書画像などを記憶する。

スキャナ108は、図示しない汎用インタフェイス（例えばUSBやIEEE1394）によって伝達情報出力装置に接続され、CPU 101の制御により、紙に印刷された文書（原稿）の画像を読み取り、文書画像を出力する。また、CPU 101は、ディスプレイ105にユーザインタフェイスを表示する。そして、例えばUSBなどのインタフェイスを介して接続されるキーボード106やマウスなどのポインティングデバイス107からユーザの指示を入力する。

また、伝達情報出力装置は、ネットワークインタフェイス(I/F)109を介して、ローカルエリアネットワーク(LAN)110などに接続する。そして、ネットワーク上の他の機器（サーバ、コンピュータ、プリンタ、スキャナ、複合器など）との通信し、データやプログラムをやり取りする。

なお、伝達情報出力装置は、汎用的なコンピュータでも実現可能である。その場合、ネットワーク110や記録媒体を介して提供される制御プログラムや処理プログラムをHDD 104に記憶し、それらプログラムをユーザなどの指示に従いCPU 101で実行すればよい。

［登録処理］
図2は伝達情報出力装置にデータを登録する処理の一例を示すフローチャートで、ユーザなどの指示に基づきCPU 101が実行する処理である。なお、データ登録は、スキャナ108やネットワークI/F 109を介して読み込んだ文書画像を処理してRAM 103やHDD 104に格納する処理を指す。

まず、スキャナ108またはネットワークI/F 109を介して文書画像を入力し(S201)、文書画像を文字、写真、表、線画などの属性をもつ領域に分割し(S202)、分割領域の一つを選択する(S203)。

次に、選択した分割領域の文書情報を生成する(S204)。文書情報には、領域の属性情報、頁上の位置座標などを示すレイアウト情報、領域情報などが含まれる。なお、領域情報は、文字属性の分割領域であれば文字コード列、段落、表題などの文書論理構造である。

次に、選択した分割領域の文書情報を伝達情報に変換する(S205)。なお、本実施例では、他の装置や他のアプリケーションなどに対して出力される情報（伝達される情報）を伝達情報と呼ぶことにする。伝達情報はレンダリングに必要な情報である。例えば、解像度可変のラスタ画像、ベクタ画像、モノクロ画像、カラー画像、各伝達情報のデータサイズ、文字属性の分割領域であれば文字認識結果のテキスト、個々の文字の位置、フォント名または種、文字認識の信頼度などを含む。

伝達情報の出力は、領域属性の特徴とユーザの使用条件を考慮して、次のモードを用意する。カラー印刷、カラー印刷（高画質）、モノクロ印刷、モノクロ印刷（高画質）、モニタ表示、PDA表示、拡大表示、超拡大表示および加工の9パターンの出力モード、並びに、ユーザが設定するマニュアル出力モードなどである。

図3は上記の10パターンの出力モードと、領域属性によって選択される伝達情報の関係例を示す図で、例えば、HDD 104などにテーブルとして格納されている。

各領域の伝達情報は、すべて用意する必要はなく、よく使うと予想されるものを用意すればよい。そうすれば、伝達情報を格納するメモリもセーブすることができる。例えば、図3においては、極めて使用頻度が低いと考えられる「PDA表示-背景」の組み合わせや、「超拡大表示-文字（認識信頼度高低とも）、線画（ラインアート）および表」の組み合わせは、デフォルトでは伝達情報を用意しない。さらに、マニュアル出力モードにおける、領域属性と伝達情報の関係は、ユーザインタフェイス、キーボード106やポインティングデバイス107を使用してユーザが設定する。

図4はカラー文書の一例を示す図である。文書画像中の黒画素塊、白画素塊の集合を抽出し、その形状、大きさ、集合状態などの特徴量から文字、写真、図形、表、枠、線画といった属性領域を抽出する。図4に示す例では、文字属性の領域として領域301、303および306、カラー写真属性の領域302、図形属性の領域304、並びに、表属性の領域305が分割される。ただし、ロゴマークの分割領域301は、一般的なフォントとは異なる文字形態のため、文字認識結果の信頼度は低いものとする。また、分割領域306の文字は、分割領域303の文字に比較してかなり小さいものとする。

例えば、文書のある分割領域に商標、著作権フリーではない写真、機密情報を含む文章などが存在する場合がある。この場合、データ形式は同じでも、表示内容が異なる伝達情報を用意することができる。つまり、文書情報をそのままレンダリングした伝達情報と、当該分割領域にモザイクや墨塗りなど不可視化処理を施した伝達情報の組み合わせである。あるいは、類似する内容で著作権フリーの写真など問題がない別の情報をネットワーク110上のデータベースから取得して、伝達情報の一つにしてもよい。

以下では、図4に示す文書の写真領域に著作権フリーではない写真があるとして、(1) 文書情報をそのままレンダリングした伝達情報、(2) モザイクを施した伝達情報、(3) 類似する著作権フリーの写真をもつ伝達情報の三つを用意する例を説明する。図5は、上記のような処理によって、図4に示す文書画像から生成される伝達情報の一例を示す図である。

また、図6は写真領域302がもつ伝達情報群の一例を示す図である。図6(a)は文書画像をそのままレンダリングしたもの、図6(b)は図6(a)の写真にモザイク加工を施したもの、図6(c)は図6(a)の写真に類似する著作権フリーの写真である。

次に、文書情報および伝達情報に使用権限情報を付加する(S206)。使用権限情報の詳細は後述する。

次に、分割領域の文書情報と伝達情報を関連付けて、ツリー構造で記述した構造化文書を生成する(S207)。

図7は各分割領域の文書情報と伝達情報を関連付けた情報を模式的に示す図である。

つまり、ある分割領域の文書情報401は、ステップS205で得た、その領域の伝達情報402、403を保持する。このようなツリー構造により、各分割領域の関係を階層的に表現することができる。なお、文書情報は、複数種類の伝達情報は保持することができる。これらの関連付け情報は、XMLに代表される構造化文書の形式で生成され保存される。

次に、すべての分割領域の処理を終了したか否か判定し(S208)、すべての分割領域の処理が終了するまでステップS203からS207の処理を繰り返す。

次に、生成したデータ群（各分割領域の文書情報および伝達情報、並びに、構造化文書）をRAM 103やHDD 104などに保存（登録）する(S209)。なお、データ群の保存先はネットワーク110上のサーバなどでもよい。

［使用権限情報］
図8はある分割領域の文書情報、伝達情報、使用権限情報の関係例を示す図である。

使用権限情報には、伝達情報の使用目的ごとに使用権限を設定する出力形態別使用権限と、伝達情報の内容ごとに権限を設定する内容別使用権限の二種類がある。一つの分割領域には、一つの文書情報501と複数の伝達情報503〜505が存在する。そして、文書情報501に対して使用権限情報の一つである出力形態別使用権限502を設定し、各伝達情報503〜505に対して内容別使用権限506〜508を設定する。

出力形態別使用権限はその分割領域に存在するすべての伝達情報に効力をもち、内容別使用権限は対応する一つの伝達情報に効力をもつ。つまり、図8において、出力形態別使用権限502は三つの伝達情報503〜505に効力をもち、内容別使用権限506は伝達情報503にのみ効力をもつ。

図9は出力形態別使用権限502を示すテーブル例を示す図で、分割領域ごとに保持されるテーブルである。つまり、出力形態別使用権限502は、ユーザの使用権限レベルに応じて、利用可能な出力モードを制限する。例えば、図9(a)において、使用権限レベル1のユーザはどのような出力モードも選ぶことが可能だが、同レベル3のユーザはモノクロ印刷、モニタ表示、拡大表示に限定される。

分割領域ごとに出力形態別使用権限502は異なるので、図9(a)と(b)に示すように、分割領域ごとにテーブルの内容も異なる。このような、テーブルを出力形態別使用権限502としてもつことにより、文書画像に含まれる機密情報、プライバシ情報、著作権フリーではない写真などについて、当該分割領域の出力を使用権限レベルに応じて制限することができる。

図10は内容別使用権限は示すテーブル例を示す図で、伝達情報ごとに保持されるテーブルである。つまり、内容別使用権限は、ユーザのしよう権限レベルに応じて、対応する伝達情報自体の使用可否を決定するものである。例えば、ある分割領域において、同じファイル形式で、著作権フリーではない伝達情報と、著作権フリーの伝達情報を用意する。そして、著作権フリーではない伝達情報は有料制の会員（ユーザ）の使用を許可し、著作権フリーの伝達情報は無料制の会員（ユーザ）に提供する、などが可能である。

つまり、出力形態別使用権限と内容別使用権限を組み合わせるとこで、例えば図4に示す写真領域301について、次のような使用制限を設定することができる。写真領域301に図9(a)に示す出力形態別使用権限を設定する。そして、図6(a)（元画像）に対応する伝達情報に図10(a)、図6(b)（モザイク画像）に対応する伝達情報に図10(b)、図6(c)（著作権フリーの画像）に図10(c)の内容別使用権限をそれぞれ設定する。こうすれば、使用権限レベル1のユーザは、元画像のカラーまたはモノクロ印刷、表示、加工などすべての出力モードが可能になる。同レベル2のユーザは、モザイク画像のカラーまたはモノクロ印刷（高画質を除く）、表示（PDA表示を除く）が可能になる。また、同レベル3のユーザは、著作権フリーの画像のモノクロ印刷、モニタ表示、拡大表示が可能になる。

また、図4に示す写真領域301を除く分割領域には、図9(b)の出力形態別使用権限を設定し、各伝達情報に図10(d)に示す内容別使用権限を設定する。従って、写真領域301を除く分割領域は、ユーザの使用権限レベルに関係なく、すべての出力モードが可能になる。

［伝達情報の出力］
次に、伝達情報の出力を説明するが、伝達情報の出力とは、RAM 103やHDD 104に登録した各分割領域の文書情報および伝達情報、並びに、構造化文書（以下「登録データ」と呼ぶ）を、ディスプレイ106や、図示しないプリンタ、PDAなどの出力機器に出力する処理を指す。

図11は伝達情報を出力する処理の一例を示すフローチャートで、ユーザなどの指示に基づきCPU 101が実行する処理である。

まず、ユーザの使用権限レベルを取得する(S601)。同レベルは、例えばキーボード106によって入力されたユーザ情報に基づき、ネットワーク110上のデータベースサーバから取得すればよい。

次に、登録データを開き(S602)、出力先の出力機器の情報を取得し(S603)、登録データに含まれる分割領域の一つを選択する(S604)。そして、出力先の条件に合った当該分割領域のデータ形式を決定する(S605)。

次に、ユーザの使用権限レベルと、当該分割領域の出力形態別使用権限および内容別使用権限を照合して、ユーザの使用権限レベルに合う伝達情報を抽出する(S606)。そして、抽出した伝達情報から、ステップS605で決定したデータ形式の伝達情報を選択する(S607)。なお、もし該当するデータ形式の伝達情報がない場合は、その旨をユーザに通知して次の処理に進む。

次に、登録データのすべての分割領域を処理したか否かを判定し(S608)、すべての分割領域を処理するまでステップS604からS607の処理を繰り返す。

すべての分割領域の処理を終了すると、各分割領域から選んだ伝達情報を統合し(S609)、統合した伝達情報を出力機器に出力する(S610)。

図12は、図4に示す文書画像に対応する登録データの出力例を示す図である。

使用権限レベル1のユーザの場合、図12(a)に示す文書画像が出力される。使用権限レベル1のユーザは、写真領域301の伝達情報のうち図6(a)に示す元画像が出力可能であるから、図4に示す文書画像とほぼ同様の文書画像を出力することができる。

使用権限レベル2のユーザの場合、図12(b)に示す文書画像が出力される。使用権限レベル2のユーザは、写真領域301の伝達情報のうち図6(b)に示すモザイク画像が出力可能であるから、写真領域301がモザイク処理されている点を除き、図4に示す文書画像とほぼ同様の文書画像を出力することができる。

使用権限レベル3のユーザの場合、図12(c)に示す文書画像が出力される。使用権限レベル3のユーザは、写真領域301の伝達情報のうち図6(c)に示す著作権フリーの画像が出力可能であるから、写真領域301の画像が置き換わっている点を除き、図4に示す文書画像とほぼ同様の文書画像を出力することができる。

写真領域301について、使用権限レベル2のユーザは高画質印刷、PDA表示を行えない。また、使用権限レベル3のユーザはカラー印刷、モノクロ高画質印刷、PDA表示、超拡大表示は行えない。従って、使用権限レベル2、3のユーザが許可されない印刷表示を指示した場合、図12(d)に示すように、写真領域301は印刷または表示されない状態（空白状態）になる。

このように、分割領域ごと、同一データ形式の複数種類の伝達情報を用意可能にし、分割領域ごとにユーザの使用権限レベルに合った伝達情報を選択して出力することができる。従って、文書の各オブジェクトについて、文書の出力形態、オブジェクトの内容、ユーザの使用権限に応じて、データ形式やデータそのものを入れ替えて、文書を出力することができる。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

出力モードすべてに対応できるように、データ登録時に、伝達情報のデータ形式を全種類用意することができる。しかし、よく使うと予想されるデータ形式の伝達情報だけを用意してもよい。そして、ユーザが、各出力モードに対応して用意する、領域属性ごとの伝達情報のデータ形式を予め設定することが好ましい。

以下の説明では、モノクロ印刷とモニタ表示を基本パターンとし、その他の出力モードは応用パターンとして説明する。つまり、応用パターンによる出力は、基本パターンに比べて頻度が低いと想定する。

応用パターンにより伝達情報を出力する場合、分割領域に所望するデータ形式の伝達情報が存在しない場合がある。この場合、存在する伝達情報を変換して所望するデータ形式の伝達情報にするか、存在する伝達情報を検索キーとしてデータベースから所望するデータ形式の伝達情報を検索することになる。実施例2では、この変換または検索を実施するか否かを、ユーザの使用権限レベルに応じて決定する。

図13は、図4に示す文書画像に対して設定する出力形態別使用権限を示す図で、写真領域302に図13(a)を、その他の分割領域に図13(b)の出力形態別使用権限を設定する。また、伝達情報の内容別使用権限は、実施例1と同様に、図10を設定する。

なお、出力モードとしてモノクロ印刷の使用頻度が高いとして、伝達情報への変換(S205)において、次の伝達情報を用意するとし以下の説明を行う。
文字領域 ラスタ画像
写真領域 階調ラスタ画像
線画領域 ラスタ画像
表領域 ラスタ画像

●伝達情報の変換、検索
図14は登録データに用意された伝達情報だけでは伝達情報を出力できない場合の処理を説明するフローチャートで、CPU 101が分割領域ごとに実行する処理である。

まず、出力データ形式と、ユーザの使用権限レベルに合う伝達情報が存在するか否かを調べ(S701)、あればステップS709へ処理を進める。

出力データ形式と、ユーザの使用権限レベルに合う伝達情報が存在しない場合は、当該分割領域の出力形態別使用権限を調べて、ユーザに伝達情報の変換が許可されているか否かを調べる(S702)。そして、許可されていればステップS703へ、不許可であればステップS704へ分岐する。

伝達情報の変換が許可されている場合は、使用可能な伝達情報が出力データ形式に変換可能か否かを調べる(S703)。なお、変換可能なデータ形式については予め設定しておく。図15は既存の伝達情報のデータ形式から変換可能な出力データ形式の一例を示す図である。○印は変換可能、×印は変換不能を表す。そして、変換可能な場合は、使用可能な伝達情報を出力データ形式に変換し(S705)、処理をステップS709に進める。また、変換が不可能な場合はステップS704へ遷移する。

変換が許可されていない場合、または、変換が不可能な場合は、当該分割領域の出力形態別使用権限を調べて、ユーザに伝達情報の検索が許可されているか否かを調べる(S704)。検索が許可されていない場合は処理をステップS708に進める。

一方、検索が許可されている場合は、当該分割領域の伝達情報を検索のキーに、出力モードに適した情報を検索する。なお、検索の際にユーザの使用権限レベルを考慮することは言うまでもない。例えば、モノクロ画像の伝達情報をカラー印刷したい場合、そのモノクロ画像を検索キーとして類似するカラー画像を類似画像検索する(S706)。なお、類似画像検索の具体例としては特開平10-260983公報に記載された技術などがある。この技術は、画像のアングルの変化、物体の位置の変化、撮影条件による画像特徴量のある程度の変化を吸収するなど、ある程度の曖昧さを残しながらも適切な画像検索を行うことができる。

次に、検索がヒットしたか否かを判定する(S707)。たとえ同じ分割領域であっても、ユーザの使用権限レベルによって使用可能なデータは変化する。例えば、著作権に対する対価を支払ったユーザであれば著作権フリーではないデータも提供可能であるし、著作権に対する対価を未払のユーザであれば、似た内容で著作権フリーのデータを提供する。検索がヒットした場合は処理をステップS709へ進め、ヒットしなかった場合（または所定の検索時間の間にヒットが得られなかった場合）は処理をステップS708へ進める。

出力データ形式の伝達情報がある、あるいは、変換または検索によって出力データ形式に合った伝達情報を取得した場合は、その伝達情報を出力する伝達情報に決定し(S709)、処理を終了する。

また、出力データ形式の伝達情報がなく、変換が許可されず、検索も許可されていない場合、または、検索は許可されているがヒットしなかった場合、出力データ形式の伝達情報が得られなかった旨をユーザに通知し(S708)、当該分割領域の処理を終える。

●伝達情報の出力
上記のようにして、モノクロ印刷用の伝達情報だけの登録データからカラー印刷用のデータ形式の伝達情報を得て、カラー印刷する場合の写真領域301の処理を説明する。

使用権限レベル1のユーザは、すべての分割領域でカラー印刷モードを使用可能であるが、写真領域301の伝達情報はモノクロ画像で、カラー印刷用のデータ形式ではない。当該ユーザは、写真領域301の伝達情報を変換が許可されているが、モノクロ画像をカラー画像に変換することはできない。しかし、当該ユーザは、写真領域301の伝達情報を検索キーとする検索が許可されているので、モノクロ画像を検索キーとしてカラー画像を検索し、ヒットした伝達情報を写真領域301の伝達情報として文書画像をカラー印刷する。

使用権限レベル2のユーザは、すべての分割領域でカラー印刷モードを使用可能があるが、写真領域301の伝達情報はモノクロ画像で、カラー印刷用のデータ形式ではない。当該ユーザは、写真領域301の伝達情報を変換が許可されているが、モノクロ画像をカラー画像に変換することはできない。さらに、当該ユーザは、写真領域301の伝達情報を検索キーとする検索は許可されていない。従って、写真領域301のカラー画像を出力できない旨を通知して、写真領域301の伝達情報としてモノクロ画像を使用して文書画像をカラー印刷する。

使用権限レベル3のユーザは、写真領域301以外の分割領域はカラー印刷モードを使用可能であるが、写真領域301はカラー印刷モードを使用することができない。従って、写真領域301のカラー画像を出力できない旨を通知して、写真領域301の伝達情報としてモノクロ画像を使用して文書画像をカラー印刷する。

このように、分割領域ごと、同一データ形式の複数種類の伝達情報を用意可能にし、分割領域ごとにユーザの使用権限レベルに合った伝達情報を選択して出力することができる。従って、文書の各オブジェクトについて、文書の出力形態、オブジェクトの内容、ユーザの使用権限に応じて、データ形式やデータそのものを入れ替えて、文書を出力することができる。

このように、既存の伝達情報の変換の許可／不許可、既存の伝達情報を検索キーとする検索の許可／不許可を、分割領域ごとに設定することで、出力モードに適したデータ形式の伝達情報がない場合でも、可能な限り、適切な伝達情報を出力することができる。

以下、本発明にかかる実施例3の画像処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。

［登録処理］
図16は伝達情報出力装置にデータを登録する処理の一例を示すフローチャートで、ユーザなどの指示に基づきCPU 101が実行する処理である。

まず、スキャナ108またはネットワーク110から文書画像を入力し(S1201)、文書画像を、文字、写真、表、線画などの属性を持つ領域に分割し(S1202)、分割領域ごとに文書情報を生成する(S1203)。文書情報には、領域の属性情報、頁上の位置座標などを示すレイアウト情報、領域情報などが含まれる。なお、領域情報は、文字属性の分割領域であれば文字コード列、段落、表題などの文書論理構造などである。

次に、分割領域ごとに伝達情報に変換する(S1204)。伝達情報はレンダリングに必要な情報である。例えば、解像度可変のラスタ画像、ベクタ画像、モノクロ画像、カラー画像、各伝達情報のデータサイズ、文字属性の分割領域であれば文字認識結果のテキスト、個々の文字の位置、フォント名または種、文字認識の信頼度などが含まれる。

伝達情報の出力は、領域の属性の特徴とユーザの使用条件を考慮して行う。そこで、カラー印刷、カラー印刷（高画質）、モノクロ印刷、モノクロ印刷（高画質）、モニタ表示、PDA表示、拡大表示、超拡大表示および加工の9パターンの出力モード、並びに、ユーザが設定するマニュアル出力モードを用意する。

上記の10パターンの出力モードと、領域属性によって選択される伝達情報の関係は図3に示したとおりである。図3に示すテーブルは、例えばHDD 104などに格納されている。

各領域の伝達情報は、すべて用意する必要はなく、よく使うと予想されるものを用意すればよく、伝達情報を格納するメモリもセーブすることができる。例えば、図3においては、極めて使用頻度が低いと考えられる「PDA表示-背景」の組み合わせや、「超拡大表示-文字（認識信頼度高低とも）、線画（ラインアート）および表」の組み合わせも、デフォルトで伝達情報を用意しない。さらに、マニュアル出力モードにおける、領域属性と伝達情報の関係は、ユーザインタフェイス、キーボード106やポインティングデバイス107を使用してユーザが設定する。

なお、以下では、印刷およびモニタ表示がよく利用されるとして、以下の伝達情報を用意する例を説明する。
────┬───────────┬─────────
│ モノクロ印刷用 │ モニタ表示用
────┼───────────┼─────────
文字領域│文字認識結果のテキスト│ラスタ画像
写真領域│高解像度ラスタ画像 │低解像度ラスタ画像
線画領域│ラスタ画像 │ラスタ画像
表領域 │ラスタ画像 │ラスタ画像
────┴───────────┴─────────

次に、各分割領域の文書情報および伝達情報を関連付けた、ツリー構造で記述される構造化文書を生成する(S1205)。続いて、生成したデータ群（各分割領域の文書情報および伝達情報、並びに、構造化文書）をHDD 104などに保存（登録）する(S1206)。なお、データ群の保存先はネットワーク110上のサーバなどでもよい。

次に、図4に示すカラー文書画像に上記の登録処理を適用した場合を説明する。

図4に示す文書画像中の黒画素塊、白画素塊の集合を抽出し、その形状、大きさ、集合状態などの特徴量から文字、写真、図形、表、枠、線画といった属性の領域を抽出する。図4に示す例では、文字属性の領域として領域301、303および306、カラー写真属性の領域302、図形属性の領域304、並びに、表属性の領域305が分割される。ただし、ロゴマークの分割領域301は、一般的なフォントとは異なる文字形態のため、文字認識結果の信頼度は低いものとする。また、分割領域306の文字は、分割領域303の文字に比較してかなり小さいものとする。

次に、図7を参照して、各分割領域の文書情報と伝達情報の関連付けを説明する。

ある分割領域の文書情報401は、ステップS1204で得た、その領域の伝達情報402、403を保持する。このようなツリー構造により、各分割領域の関係を階層的に表現することができる。なお、文書情報は、複数種類の伝達情報は保持することができる。これらの関連付け情報は、XMLに代表される構造化文書の形式で生成され保存される。

［伝達情報の出力］
図17は伝達情報を出力する処理の一例を示すフローチャートで、ユーザなどの指示に基づきCPU 101が実行する処理である。

まず、ユーザに指示された登録データをHDD 104などから呼び出し(S1501)、その出力先の機器情報を取得し(S1502)、出力先に応じて決まる出力モードに合わせて、分割領域ごとに出力すべき伝達情報の種類を設定する(S1503)。なお、伝達情報の設定の詳細は後述する。

次に、設定した種類の伝達情報が、分割領域の伝達情報として存在するか否かを判定する(S1504)。データ登録時には、上述したように、基本パターンの伝達情報を用意する。従って、基本パターン（モノクロ印刷、モニタ表示）の伝達情報は必ず存在する。一方、使用頻度が低い応用パターンの伝達情報は、基本パターンと同じ種類の伝達情報であれば存在するが、基本パターンと異なる種類の伝達情報は存在しない。従って、設定した種類の伝達情報が存在するかを判定し、存在すればステップS1505へ、存在しなければステップS1506へ処理を分岐する。

設定した種類の伝達情報が存在する場合は、その伝達情報を抽出する(S1505)、

一方、設定した種類の伝達情報が存在しない場合は、既存の伝達情報を所望するデータ形式の伝達情報に変換し(S1506)、変換によって得た伝達情報を分割領域、文書情報、伝達情報の関連付け情報に追記する(S1507)。例えば、分割領域を拡大表示したいが、当該領域の伝達情報に拡大表示に適したベクタ画像が存在しない場合、既存のラスタ画像を変換してベクタ画像を生成し、当該領域の伝達情報にする。

なお、図17には示さないが、ステップS1504〜S1507の処理は個々の分割領域について実行する。

分割領域ごとに必要な伝達情報が得られると、各領域の伝達情報を統合し(S1508)、統合した伝達情報を出力先に出力する(S1509)。

［伝達情報の設定］
次に、各分割領域の伝達情報を設定する処理(S1503)を説明する。設定の基準には、分割領域の属性に加え、生成した伝達情報自体の特徴も加味する。以下、伝達情報の設定について基本パターンや応用パターンなどのパターンごとに説明する。

●モノクロ印刷
まず、基本パターンのモノクロ印刷の場合、求められる伝達情報は原本に忠実かつ高解像度のものである。よって、各分割領域の伝達情報としてラスタ画像を設定する。

図4に示す原稿画像を例にすると、各分割領域として提供する伝達情報は以下のとおりである。
文字領域301 ラスタ画像
写真領域302 高解像度ラスタ画像
文字領域303 ラスタ画像
図形領域304 ラスタ画像
表領域305 ラスタ画像
文字領域306 ラスタ画像

●モニタ表示
次に、基本パターンのモニタ表示の場合、印刷の場合ほど高解像度の必要はないが、モニタ上ではっきり見える伝達情報が求められる。また、文字情報をテキストとして扱いたい場合も加味して、分割領域の文字認識の信頼度によって伝達情報を設定する。

図18はモニタ表示の場合の伝達情報の設定処理(S1503)を説明するフローチャートで、CPU 101が実行する処理である。

まず、注目領域の属性が文字か否かを判定し(S1601)、文字属性であれば注目領域に関連付けた伝達情報から文字認識の信頼度が所定値X%以上か否かを判定する(S1602)。

文字属性以外の領域、および、文字認識の信頼度がX%以下の文字属性の領域は、低解像度ラスタ画像を設定する(S1603)。また、文字認識の信頼度がX%以上の文字属性の領域は、文字認識結果のテキストを設定する(S1604)。

そして、電子画像内の全分割領域について伝達情報の種類を設定したか否かを判定し(S1605)、未設定の分割領域があれば処理をステップS1601に戻し、なければ処理を終了する（図17に示すステップS1504へ遷移する）。

図18に示す処理を実行すると、図4に示す文書画像の各分割領域として設定する伝達情報は以下のとおりである。
文字領域301 （信頼度が低いので）低解像度ラスタ画像
写真領域302 低解像度ラスタ画像
文字領域303 （信頼度が高いので）テキスト
図形領域304 低解像度ラスタ画像
表領域305 低解像度ラスタ画像
文字領域306 （信頼度が高いので）テキスト

●PDA表示
次に、応用パターンのPDA表示、拡大表示の場合の伝達情報の設定について説明する。

PDA表示の場合、PDAはメモリサイズに制限があり、データサイズが小さく処理速度が早い伝達情報が優先される。

図19はPDA表示の場合の伝達情報の設定処理(S1503)を説明するフローチャートで、CPU 101が実行する処理である。

まず、注目領域の属性が文字か否かを判定し(S1701)、文字属性であれば注目領域に関連付けた伝達情報から文字認識の信頼度が所定値X%以上か否かを判定する(S1703)。そして、文字認識の信頼度がX%以上の文字属性の領域は、文字認識結果のテキストを設定する(S1707)。

また、注目領域が文字属性以外であれば、注目領域の属性が写真か否かを判定し(S1702)、写真属性であれば低解像度ラスタ画像を設定する(S1705)。

また、文字属性でも写真属性でもない注目領域、あるいは、文字認識の信頼度がX%以下の文字属性の注目領域は、注目領域に関連付けた伝達情報からラスタ画像のファイルサイズがYバイト以下か否かを判定する(S1704)。ファイルサイズがYバイト以下のラスタ画像は、PDA表示に耐え得るので、この場合は低解像度ラスタ画像を設定する(S1705)。ラスタ画像のファイルサイズがYバイトを超える場合はPDA表示に向かないので、ベクタ画像を設定する(S1706)。

そして、電子画像内の全分割領域について伝達情報の種類を設定したか否かを判定し(S1708)、未設定の分割領域があれば処理をステップS1701に戻し、なければ処理を終了する（図17に示すステップS1504へ遷移する）。

図19に示す処理を実行すると、図4に示す文書画像の各分割領域として設定する伝達情報は以下のとおりである。
文字領域301 （信頼度が低く、データサイズがY%超だから）ベクタ画像
写真領域302 低解像度ラスタ画像
文字領域303 （信頼度が高いので）テキスト
図形領域304 （データサイズがY%超だから）ベクタ画像
表領域305 低解像度ラスタ画像
文字領域306 （信頼度が高いので）テキスト

●拡大表示
次に、拡大表示の場合は原本に忠実かつ拡大しても劣化しない伝達情報を設定する。なお、拡大したい領域は複数あってもよいし、領域の一部分でもよい。

図20は拡大表示の場合の伝達情報の設定処理(S1503)を説明するフローチャートで、CPU 101が実行する処理である。

まず、電子画像中の拡大する分割領域を選択する(S1801)。その際、属性を横断して設定してもよい。

次に、注目領域の属性が写真か否かを判定し(S1802)、写真属性であれば高解像度ラスタ画像を設定する(S1804)。また、写真属性以外であればベクタ画像を設定する(S1803)。そして、電子画像内の全分割領域について伝達情報の種類を設定したか否かを判定し(S1805)、未設定の分割領域があれば処理をステップS801に戻し、なければ処理を終了する（図17に示すステップS1504へ遷移する）。

図4に示す分割領域302と305の一部（図21に示す領域1901）を拡大する場合に、図20に示す処理を実行すると、図21に示す拡大領域1901として提供する伝達情報は以下のとおりである。
写真領域302 高解像度ラスタ画像
表領域305 ベクタ画像

以上では、パターンごとに自動的に伝達情報を設定する例を説明したが、自動設定ではユーザが好む伝達情報が得られない場合もあり得る。そこで、図3に示したように、出力モードと領域属性に対応する伝達情報をユーザが決定するマニュアルモードを用意する。ユーザは、例えば図4に示す文書画像の表領域305の伝達情報として文字認識結果のテキストを設定することができる。また、先に挙げた五種類の設定方法のようなテンプレートを、マニュアルモードで作成することも可能である。

［変換情報（代替情報）の関連付け］
次に、変換情報（代替情報）の関連付け(S1507)の処理を説明する。

図22は各分割領域の文書情報と伝達情報を関連付けた情報を模式的に示す図である。

ある分割領域の文書情報1101は、その領域の伝達情報1102（データ登録時に作成された既存の視覚情報）を保持する。さらに、ステップS1506で新たに伝達情報が得られた場合は、伝達情報1103（新たな視覚情報）が追加される。勿論、この追加は、新たに得られた伝達情報1103が、今後再利用される可能性が高い場合や、保存するメモリに余裕がある場合などに制限してもよい。図22に示すように追加しておけば、再び伝達情報1103が必要になった場合、直ちに伝達情報1103を利用することができる。

勿論、実施例1の変換または検索処理によって取得される新たな伝達情報も、今後再利用される可能性を考慮して、当該領域の伝達情報として追加してよいことはいうまでもない。その際、追加する伝達情報の内容別使用権限は、当該伝達情報の変換または検索を行った際のユーザの使用権限レベルに合わせればよい。

［変形例］
実施例3では、文字属性の分割領域に対応する伝達情報として文字認識結果のテキストを含む例を説明したが、当該テキストから他の言語へ変換した翻訳結果のテキストを用意してもよい。

また、上記では、分割領域に対応する伝達情報は視覚的な情報として説明したが、各分割領域の伝達情報として、当該領域の特徴を音声化した聴覚情報を用意してもよい。一例を挙げると、図4の写真属性の分割領域302の写真には空と海を背景に二羽の鳥が飛んでいる様子が写っている。この場合、「空と海と鳥が二羽いる写真です」などの音声情報を伝達情報として付加する。また、鳥の鳴き声などの状況を表現した音声情報を伝達情報に付加してもよい。また、図4の文字属性の分割領域303には、文字認識結果のテキストを読み上げた音声情報を付加する。

または、各分割領域の伝達情報として、当該領域の特徴に対応する触覚情報を用意してもよい。一例を挙げると、文字属性の分割領域であれば、文字認識結果のテキストを点字化した情報を付加する。線画属性の分割領域であれば線の凹凸、写真属性の分割領域であれば当該領域の被写体の三次元形状や肌理などの触覚情報を付加する。

あるいは、各分割領域の伝達情報として、当該領域の特徴に対応する嗅覚情報を用意してもよい。一例を挙げると、図4の写真属性の分割領域302は海が写っているので、潮の香りの情報を伝達情報に付加する。

さらに、各分割領域の伝達情報として、当該領域の特徴に対応する味覚情報を用意してもよい。一例を挙げると、写真属性の分割領域に食物が写っている場合、当該領域の伝達情報として食物の味覚情報を付加する。

このように、領域ごとに複数種類の伝達情報を用意し、伝達情報の出力時は領域ごとに適切な種類の伝達情報を選択して、様々な出力環境や要求に対応して伝達情報を提示することができる。また、出力時に適切な種類の伝達情報がない場合は、既存の伝達情報から適切な伝達情報に変換する処理を行うことで、初期状態のデータ量を小さくし、かつ、ユーザの動的な要求に柔軟に対応することができる。勿論、変換によって新たに作成した種類の伝達情報は、分割領域に関連付けを追加するので、当該伝達情報の再利用性を高めることができる。

［他の実施例］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、上記実施例の機能を実現するソフトウェアを記録した記憶媒体（記録媒体）をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記ソフトウェアを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのソフトウェアを記憶した記憶媒体は本発明を構成する。

また、前記ソフトウェアの実行により上記機能が実現されるだけでなく、そのソフトウェアの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

また、前記ソフトウェアがコンピュータに接続された機能拡張カードやユニットのメモリに書き込まれ、そのソフトウェアの指示により、前記カードやユニットのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するソフトウェアが格納される。

実施例の伝達情報出力装置の構成例を示すブロック図、 伝達情報出力装置にデータを登録する処理の一例を示すフローチャート、 出力モードと、領域属性によって選択される伝達情報の関係例を示す図、 カラー文書の一例を示す図、 図4に示す文書画像から生成される伝達情報の一例を示す図、 写真領域がもつ伝達情報群の一例を示す図、 各分割領域の文書情報と伝達情報を関連付けた情報を模式的に示す図、 ある分割領域の文書情報、伝達情報、使用権限情報の関係例を示す図、 出力形態別使用権限を示すテーブル例を示す図、 内容別使用権限は示すテーブル例を示す図、 伝達情報を出力する処理の一例を示すフローチャート、 図4に示す文書画像に対応する登録データの出力例を示す図、 図4に示す文書画像に対して設定する出力形態別使用権限を示す図、 登録データに用意された伝達情報だけでは伝達情報を出力できない場合の処理を説明するフローチャート、 既存の伝達情報のデータ形式から変換可能な出力データ形式の一例を示す図、 実施例2の伝達情報出力装置にデータを登録する処理の一例を示すフローチャート、 伝達情報を出力する処理の一例を示すフローチャート、 モニタ表示の場合の伝達情報の設定処理を説明するフローチャート、 PDA表示の場合の伝達情報の設定処理を説明するフローチャート、 拡大表示の場合の伝達情報の設定処理を説明するフローチャート、 図4に示す分割領域から一部拡大する領域を示す図、 各分割領域の文書情報と伝達情報を関連付けた情報を模式的に示す図である。

Claims (11)

1. 文書画像を属性ごとの領域に分割する分割ステップと、
   前記属性ごとの領域の画像を複数種類の伝達情報に変換する変換ステップと、
   前記領域ごとに、出力形態とユーザの権限に応じた使用可否を示す第一の許可情報を付加し、前記伝達情報ごとに、その内容と前記ユーザの権限に応じた使用可否を示す第二の許可情報を付加する付加ステップと、
   前記伝達情報の出力先の情報および前記伝達情報の出力を指示するユーザの権限情報を取得して、前記出力先の情報、前記ユーザの権限情報および前記第一の許可情報に基づき、前記領域ごとに出力可能な伝達情報を抽出する抽出ステップと、
   前記領域ごとに抽出した伝達情報から、前記第二の許可情報および前記ユーザの権限情報に応じた伝達情報を選択する選択ステップと、
   前記領域ごとに選択した伝達情報を統合して前記出力先に出力する出力ステップとを有することを特徴とする画像処理方法。
2. 前記複数種類の伝達情報には元情報、前記元情報に不可視処理を施した情報、内容が類似する情報が含まれることを特徴とする請求項1に記載された画像処理方法。
3. 前記複数種類の伝達情報には元画像、前記元画像に不可視処理を施した画像、内容が類似する画像が含まれることを特徴とする請求項1に記載された画像処理方法。
4. 前記第一の許可情報は、前記出力可能な伝達情報がない場合に、前記ユーザの権限に応じて、当該領域に存在する伝達情報を前記出力可能な伝達情報へ変換可能か否かの情報を含むことを特徴とする請求項1から請求項3の何れかに記載された画像処理方法。
5. 前記抽出ステップは、前記出力可能な伝達情報がなく、前記ユーザの権限情報が前記変換可能の条件を満たす領域は、当該領域に存在する伝達情報を前記出力可能な伝達情報に変換することを特徴とする請求項4に記載された画像処理方法。
6. 前記第一の許可情報は、前記出力可能な伝達情報がない場合に、前記ユーザの権限に応じて、当該領域に存在する伝達情報に基づき前記出力可能な伝達情報を検索可能か否かの情報を含むことを特徴とする請求項1から請求項3の何れかに記載された画像処理方法。
7. 前記抽出ステップは、前記出力可能な伝達情報がなく、前記ユーザの権限情報が前記検索可能の条件を満たす領域は、当該領域に存在する伝達情報に基づき前記出力可能な伝達情報を検索することを特徴とする請求項6に記載された画像処理方法。
8. さらに、前記抽出ステップで前記変換または前記検索によって得られた伝達情報を、当該領域の伝達情報として追加する追加ステップを有することを特徴とする請求項5または請求項7に記載された画像処理方法。
9. 文書画像を属性ごとの領域に分割する分割手段と、
   前記属性ごとの領域の画像を複数種類の伝達情報に変換する変換手段と、
   前記領域ごとに、出力形態とユーザの権限に応じた使用可否を示す第一の許可情報を付加し、前記伝達情報ごとに、その内容と前記ユーザの権限に応じた使用可否を示す第二の許可情報を付加する付加手段と、
   前記伝達情報の出力先の情報および前記伝達情報の出力を指示するユーザの権限情報を取得して、前記出力先の情報、前記ユーザの権限情報および前記第一の許可情報に基づき、前記領域ごとに出力可能な伝達情報を抽出する抽出手段と、
   前記領域ごとに抽出した伝達情報から、前記第二の許可情報および前記ユーザの権限情報に応じた伝達情報を選択する選択手段と、
   前記領域ごとに選択した伝達情報を統合して前記出力先に出力する出力手段とを有することを特徴とする画像処理装置。
10. 画像処理装置を制御して、請求項1から請求項8の何れかに記載された画像処理を実現することを特徴とするコンピュータプログラム。
11. 請求項10に記載されたコンピュータプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。