JPH1166196A - 文書画像認識装置およびその装置としてコンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 紙文書の再現を優先した文書や紙文書の内容
を重視した文書等、利用目的に応じた様々な形態の文書
を生成すること。 【解決手段】 紙文書を光学的に読み取ることによって
生成した文書画像を入力する文書画像入力部２００と、
入力した文書画像に対してノイズ除去およびスキュー補
正処理を行う前処理部２０１と、文書画像から文字列を
含む文字領域および／または図，表，写真等の画像を含
む画像領域の認識・抽出処理，抽出した文字領域の文字
列についての文字認識処理、および文書画像のレイアウ
トを解析し、レイアウト情報の抽出処理を行う情報抽出
部２０４と、文字認識結果およびレイアウト情報抽出結
果に基づいて、ＰｏｓｔＳｃｒｉｐｔ文書およびＨＴＭ
Ｌ文書を生成する文書生成部２１０と、生成したＰｏｓ
ｔＳｃｒｉｐｔ文書およびＨＴＭＬ文書をそれぞれ格納
するデータベース部２１３と、を備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、紙文書を光学的に
読み取ることによって得た文書画像から文字コードを抽
出するという単なる文字認識処理を行うだけではなく、
紙文書の持つ様々な情報を抽出して利用することによ
り、紙文書の再現を優先した文書や紙文書の内容を重視
した文書等、利用目的に応じた様々な形態のコンピュー
タ上で利用可能な文書を生成することができるようにし
た文書画像認識装置およびその装置としてコンピュータ
を機能させるためのプログラムを記録したコンピュータ
読み取り可能な記録に関する。

【０００２】

【従来の技術】パーソナルコンピュータやネットワーク
の急速な普及は、オフィスにおける文書の電子化を促進
することとなった。ところが、紙は閲覧性が良い等の利
便性があるため、紙文書の生産は未だ止むことがなく、
紙の形で保存・流通されている文書は未だ多量に存在し
ていることが現状であり、このギャップがオフィスワー
クにおける生産効率の低下の一因となっている。

【０００３】つまり、文書の作成，流通，閲覧，管理，
再利用といった一連の流れにおいて、文書は紙に記録さ
れた形とコンピュータ上のデータという形で存在してお
り、このように文書が紙に記録された形とコンピュータ
上のデータという形で存在しているのは、相互の変換コ
ストが高いということが原因となっている。

【０００４】上記問題を解決する手段の一つとして、Ｏ
ＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄ
ｅｒ）を挙げることができる。このＯＣＲを用いること
により、紙文書をスキャナ等で読み取って文書画像を生
成した後、文書画像中の文字列を文字コードに変換する
ことができる。

【０００５】

【発明が解決しようとする課題】しかしながら、上記Ｏ
ＣＲは、文書画像中の文字列を文字コード情報に変換す
ることは可能であるが、元の紙文書のレイアウト等まで
抽出することができないため、ＯＣＲによって生成され
た文書は単なるテキストの羅列であって、元の文書画像
が持つ様々な情報を十分に利用することができないとい
う問題点があった。換言すれば、文書は、作成者の意図
に応じて様々なレイアウト処理が施されているが、単に
ＯＣＲを用いただけでは、文書のレイアウトを抽出する
ことができず、元の文書のレイアウトを再現した文書を
新たに生成したり、元の文書のレイアウトを利用して新
たなレイアウトの文書を生成したりすることはできなか
った。

【０００６】本発明は上記に鑑みてなされたものであっ
て、紙文書を光学的に読み取ることによって得た文書画
像から文字コードを抽出するという単なる文字認識処理
を行うだけではなく、紙文書の持つ様々な情報を抽出し
て利用することにより、紙文書の再現を優先した文書や
紙文書の内容を重視した文書等、利用目的に応じた様々
な形態のコンピュータ上で利用可能な文書を生成するこ
とができるようにすることを目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、請求項１の文書画像認識装置は、紙文書を光学的に
読み取ることによって生成した文書画像を入力する入力
手段と、前記入力手段を介して入力した文書画像から文
字列を含む文字領域および／または図，表，写真等の画
像を含む画像領域を認識して抽出する領域抽出手段と、
前記領域認識手段で抽出した文字領域の文字列について
文字認識処理を行う文字認識手段と、前記領域抽出手段
の抽出結果に基づいて、前記文書画像のレイアウトを解
析し、レイアウト情報を抽出するレイアウト情報抽出手
段と、前記文字認識手段による文字認識結果およびレイ
アウト情報抽出手段によるレイアウト情報抽出結果に基
づいて、ページ記述言語を用いた第１の文書を生成する
第１の文書生成手段と、前記文字認識手段による文字認
識結果およびレイアウト情報抽出手段によるレイアウト
情報抽出結果に基づいて、構造化記述言語を用いた第２
の文書を生成する第２の文書生成手段と、前記第１およ
び第２の文書生成手段で生成した第１および第２の文書
をそれぞれ格納する格納手段と、を備えたものである。

【０００８】また、請求項２の文書画像認識装置は、請
求項１に記載の文書画像認識装置において、前記第１の
文書が、ＰｏｓｔＳｃｒｉｐｔ形式またはＰＤＦ形式に
よって表現された文書であるものである。

【０００９】また、請求項３の文書画像認識装置は、請
求項１に記載の文書画像認識装置において、前記第２の
文書が、ＳＧＭＬ，ＨＴＭＬまたはＸＭＬによって表現
された文書であるものである。

【００１０】さらに、請求項４のコンピュータ読み取り
可能な記録媒体は、前記請求項１〜３のいずれか１つに
記載の文書画像認識装置の各手段としてコンピュータを
機能させるためのプログラムを記録したものである。

【００１１】

【発明の実施の形態】以下、本発明の文書画像認識装置
およびその装置としてコンピュータを機能させるための
プログラムを記録したコンピュータ読み取り可能な記録
媒体の実施の形態について、添付の図面を参照しつつ詳
細に説明する。

【００１２】〔実施の形態１〕実施の形態１の文書画像
認識装置は、紙文書を光学的に読み取って生成した文書
画像を入力し、入力した文書画像に基づいて、コンピュ
ータ上で利用可能な文書を生成するものである。換言す
れば、オフィスワーク等においては、文書を生産し、流
通し、閲覧し、管理し、利用するという一連の流れがあ
るため、実施の形態１の文書画像認識装置は、上記流通
および閲覧を考慮した文書と、利用を考慮した文書を生
成することができるようにしたものである。

【００１３】ここで、流通および閲覧を考慮した文書と
は、文書作成者の意図をできるだけ正確に伝えることが
できるように、オリジナルの紙文書が持つレイアウト情
報まで忠実に再現することを目的とした文書のことであ
る（紙文書のメタファとしてのＷＹＳＩＷＹＧを保存し
た形の文書）。紙文書をコンピュータ上の文書で忠実に
再現することができるようにするために、実施の形態１
の文書画像認識装置は、文字や画像を統一的に記述する
ことができるページ記述言語を用いて文書を生成するも
のである。なお、実施の形態１の文書画像認識装置にお
いては、ページ記述言語として、ＰｏｓｔＳｃｒｉｐｔ
を用いることにする。以下では、このＰｏｓｔＳｃｒｉ
ｐｔを用いて生成した文書のことをＰｏｓｔＳｃｒｉｐ
ｔ文書と定義することにする。また、ＰｏｓｔＳｃｒｉ
ｐｔに代えて、ＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍ
ｅｎｔ Ｆｏｒｍａｔ：アドビシステム社が公開してい
るファイル形式）形式を用いることもできる。

【００１４】また、利用を考慮した文書とは、オリジナ
ルの紙文書が持つレイアウトにとらわれず、文書の内容
を優先したコンピュータならではの形を持った文書のこ
とである。このように、レイアウトよりも内容を優先し
た文書を生成するために、実施の形態１の文書画像認識
装置は、ＳＧＭＬ（Ｓｔａｎｄａｒｄ Ｇｅｎｅｒａｌ
ｉｚｅｄ Ｍａｒｋｕｐ Ｌａｎｇａｇｅ）やＨＴＭＬ
（ＨｙｐｅｒｔｅｘｔＭａｒｋｕｐ Ｌａｎｇａｇ
ｅ）、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ
Ｌａｎｇａｇｅ）等の構造化記述言語で表現することに
よって文書を生成し、文字や画像が混在した紙文書をハ
イパーテキスト化するものである。なお、実施の形態１
の文書画像認識装置においては、構造化記述言語とし
て、ＨＴＭＬを用いることにする。以下では、このＨＴ
ＭＬを用いて生成した文書のことをＨＴＭＬ文書と定義
することにする。

【００１５】図１は、実施の形態１の文書画像認識装置
のシステム構成を示す構成図である。図１に示す文書画
像認識装置は、紙文書を光学的に読み取って文書画像を
生成するカラースキャナ１００，モノクロスキャナ１０
１およびネットワークスキャナ１０２と、ファクシミリ
装置１０３から送信された文書画像を受信するファック
スモデム１０４と、カラースキャナ１００,モノクロス
キャナ１０１，ネットワークスキャナ１０２およびファ
ックスモデム１０４から文書画像を入力し、入力した文
書画像に基づいて、ＰｏｓｔＳｃｒｉｐｔ文書およびＨ
ＴＭＬ文書を生成する文書画像処理サーバ１０５ａと、
紙文書を光学的に読み取って文書画像を生成するディジ
タル複合機１０６と、ディジタル複合機１０６から文書
画像を入力し、入力した文書画像に基づいて、Ｐｏｓｔ
Ｓｃｒｉｐｔ文書およびＨＴＭＬ文書を生成する文書画
像処理サーバ１０５ｂと、文書画像処理サーバ１０５
ａ，１０５ｂ（以下これらを「文書画像処理サーバ１０
５」と記述する）で生成した文書を入力して、データベ
ースに格納し、クライアント１０７からの検索要求に応
じて、該当する文書を検索して出力する検索サーバ１０
８と、から構成されている。なお、１０９は、ＬＡＮ等
のネットワークを示している。

【００１６】図２は、図１に示した文書画像認識装置の
概念構成図である。実施の形態１の文書画像認識装置
は、大きく文書画像入力部２００，前処理部２０１，情
報抽出部２０４，文書生成部２１０およびデータベース
部２１３から構成される。なお、文書画像入力部２０
０，前処理部２０１，情報抽出部２０４および文書生成
部２１０は、図１に示した文書画像処理サーバ１０５に
該当し、データベース部２１３は、図１に示した検索サ
ーバ１０８に該当する。以下に上記各部の構成について
説明する。

【００１７】（１）文書画像入力部 文書画像入力部２００は、カラースキャナ１００，モノ
クロスキャナ１０１，ネットワークスキャナ１０２およ
びディジタル複合機１０６で生成した文書画像やファッ
クスモデム１０４で受信した文書画像を入力するもので
ある。また、文書画像入力部２００は、ワードプロセッ
サ等のアプリケーションプログラムで作成した文書ファ
イルを入力することもできる。

【００１８】（２）前処理部 前処理部２０１は、文書画像入力部２００を介して文書
画像を入力し、入力した文書画像から孤立点ノイズを除
去するノイズ除去部２０２と、入力した文書画像が傾い
ているような場合に、傾きを補正するスキュー補正部２
０３とを有している。この前処理部２０１は、文書画像
についてノイズ除去および傾き補正を行うことにより、
後に行われる領域分割処理や文字認識処理において悪影
響を及ぼす要因を除去するものである。なお、入力した
文書画像がフルカラーであるような場合、領域分割処理
等を容易に、かつ高速に行うことができるようにするた
め、フルカラーの文書画像を２値化する２値化処理を行
うことにしても良い。

【００１９】（３）情報抽出部 情報抽出部２０４は、前処理部２０１から文書画像を入
力し、入力した文書画像から文字列を含む文字領域およ
び／または図，表，写真等の画像を含む画像領域を認識
して分割する処理を行うと共に、文書画像がいかなる段
組種類、例えば、シングルコラム，マルチコラム，フリ
ーコラムのいずれで構成されているかを識別する処理お
よびセンタリング領域を検知する処理等のレイアウト情
報抽出処理を行う領域分割・情報抽出部２０５と、領域
分割・情報抽出部２０５で分割した画像領域に表が含ま
れている場合に、表の枠と罫線の構造を抽出すると共
に、枠内の文字領域を抽出する表処理部２０６と、領域
分割・情報抽出部２０５および表処理部２０６で分割し
た文字領域の文字列について文字認識処理を行うＯＣＲ
部２０７と、領域分割・情報抽出部２０５で分割した文
字領域の文字列のフォントが強調系（中ゴシック等）や
非強調系（細明朝等）のいずれであるかを識別する処理
を行うフォント識別部２０８と、上記各部による処理の
結果に基づいて、文書画像のレイアウトを解析すると共
に、文書の論理的な構造を解析するレイアウト・論理解
析部２０９と、を有している。

【００２０】（４）文書生成部 文書生成部２１０は、ＯＣＲ部２０７による文字認識処
理の結果およびレイアウト・論理解析部２０９による解
析処理の結果に基づいて、ＰｏｓｔＳｃｒｉｐｔ文書を
生成するＰｏｓｔＳｃｒｉｐｔ文書生成部２１１と、Ｈ
ＴＭＬ文書を生成するＨＴＭＬ文書生成部２１２と、を
有している。

【００２１】（５）データベース（ＤＢ） データベース２１３は、ＰｏｓｔＳｃｒｉｐｔ文書生成
部２１１で生成されたＰｏｓｔＳｃｒｉｐｔ文書を格納
するＰｏｓｔＳｃｒｉｐｔ文書ＤＢ２１４と、ＨＴＭＬ
文書生成部２１２で生成されたＨＴＭＬ文書を格納する
ＨＴＭＬ文書ＤＢ２１５とを有している。

【００２２】次に、上述した構成を有する文書画像認識
装置の動作について、詳細に説明する。図３は、文書画
像認識装置の動作手順を示すフローチャートである。

【００２３】文書画像入力部２００は、カラースキャナ
１００，モノクロスキャナ１０１，ネットワークスキャ
ナ１０２およびディジタル複合機１０６で生成した文書
画像、並びにファックスモデム１０４で受信した文書画
像を入力する（Ｓ３０１）。また、クライアント１０７
から文書画像やワードプロセッサ等のアプリケーション
プログラムで作成した文書ファイルを入力することもで
きる。

【００２４】図４は、文書画像入力部２００を介して入
力した文書画像を画面表示した様子の一例を示す説明図
である。図４において、４００は文書画像認識処理の制
御画面を、４０１は文書画像入力部２００を介して入力
した文書画像を表示する表示画面をそれぞれ示してい
る。

【００２５】図４に示す制御画面４００では、以下に説
明する各種処理の実行の指定および処理の詳細な設定を
行うことができると共に、ＰｏｓｔＳｃｒｉｐｔ文書お
よびＨＴＭＬ文書の両方またはいずれか一方の生成を指
定することができる。なお、図４においては、文書画像
を入力し、各種処理の実行を指定することができる制御
画面４００を示したが、予め設定した条件に基づいて、
文書の生成・格納まで自動的に実行できるようにするこ
ともできる。

【００２６】続いて、ノイズ除去部２０２は、文書画像
入力部２００を介して文書画像を入力し、入力した文書
画像から孤立点ノイズを除去する（Ｓ３０２）。また、
入力した文書画像が傾いているような場合、スキュー補
正部２０３は、文書画像の傾きを補正する（Ｓ３０
３）。

【００２７】領域分割・情報抽出部２０５は、ノイズ除
去部２０２およびスキュー補正部２０３からなる前処理
部２０１から文書画像を入力し、入力した文書画像から
文字列を含む文字領域および／または図，表，写真等の
画像を含む画像領域を認識して分割する処理を行う（Ｓ
３０４）。分割した各領域には、文字領域か、画像領域
か、画像領域の場合にはさらに図，表，写真か等の領域
の種類および領域の位置が属性情報として付与される。

【００２８】領域分割処理を行った後、領域分割・情報
抽出処理部２０５は、文書画像がいかなる段組種類、例
えば、シングルコラム，マルチコラム，フリーコラムの
いずれで構成されているかを識別する処理およびセンタ
リング領域の検知処理等のレイアウト情報を抽出する処
理を行う（Ｓ３０５）。

【００２９】具体的には、文字領域同士の間の距離（空
白部分）および罫線を検出し、検出した距離および罫線
の本数と共に、領域分割処理で分割した文字領域の位置
に関する属性情報に基づいて、段組種類の判定を行う。

【００３０】その後、表処理部２０６は、領域分割・情
報抽出部２０５で分割した各領域の属性情報に基づい
て、表を含む領域が存在するか否かを判定する（Ｓ３０
６）。この判定は、上記のように装置側で自動的に行う
ことにしても良いし、ユーザが指定しても良い。表が含
まれていない場合には、ステップＳ３０８に進む。

【００３１】一方、表が含まれている場合、表処理部２
０６は、表の枠と罫線の構造を抽出すると共に、枠内の
文字領域を抽出する（Ｓ３０７）。このように、表の中
から文字領域を抽出することにより、次のＯＣＲ部２０
７において、表中の文字認識処理を行うことができる。

【００３２】そして、ＯＣＲ部２０７は、領域分割・情
報抽出部２０５および表処理部２０６で分割した文字領
域の文字列について文字認識処理を行う（Ｓ３０８）。
すなわち、ＯＣＲ部２０７は、文字領域について、行切
り出しおよび文字切り出し処理を行い、文字切り出した
個々の文字パターンについて文字認識処理を行う。加え
て、ＯＣＲ部２０７は、文字認識結果に対して、言語処
理による誤り補正を行う。

【００３３】フォント識別部２０８は、領域分割・情報
抽出部２０５で分割した文字領域の文字列について、行
単位でフォントが強調系（中ゴシック等）や非強調系
（細明朝等）のいずれであるかを識別する処理を行う
（Ｓ３０９）。具体的には、例えば、黒画素密度やラン
レングスの分布等に基づいて、フォントの特徴を識別す
る。

【００３４】続いて、レイアウト・論理解析部２０９
は、上記各部による処理の結果に基づいて、文書画像の
レイアウトを解析する（Ｓ３１０）。ここで行われるレ
イアウトの解析処理には、例えば、タイトル部，小見出
し部，キャプション，ヘッダ・フッタ部の検出処理が含
まれる。

【００３５】ここで、タイトルは、一般的に本文の文字
とはサイズや行ピッチが異なり、また、存在する位置も
本文とは若干離れていることから、領域分割・情報抽出
部２０５で付与した領域の位置に関する属性情報や、フ
ォント識別部２０８による識別結果を用いて、タイトル
部を検出することができる。

【００３６】小見出しは、本文の文字と文字サイズがほ
ぼ等しい場合も多く、本文に近接した場所に位置するこ
とから、本文と同一の領域に存在していることも多い。
そこで、各文字領域の先頭行の文字サイズまたはフォン
トが、同一の文字領域中の他の文字のものと異なる場合
に、先頭行を小見出し行と判定する。

【００３７】また、キャプションは、図，表，写真等の
画像に付与されたものであり、一般的に画像領域の近傍
で、本文とは離れた位置に存在すること、さらには、
「図８」等の図や表等を指し示す語が含まれていること
から、これらの条件を満たす行をキャプションと判定す
る。そして、キャプションと対応する図との間にリンク
を生成する。

【００３８】さらに、ヘッダ・フッタは、文書画像の上
下に存在するため、該当する行をヘッダ・フッタとして
検出する。具体的には、例えば、領域識別・情報抽出部
でシングルコラムと識別された場合、センタリング行よ
り上の行がヘッダ部と判定することができる。この際、
ヘッダの行のレベルについても識別する。また、マルチ
コラムと識別された場合、段に属しない上下の行がヘッ
ダ・フッタ部となる。

【００３９】その後、レイアウト・論理解析部２０９
は、文書の論理的な構造を解析する（Ｓ３１１）。具体
的には、図，表，写真等に付与されたキャプション中の
「図８」等の語と同一の語を本文中から見つけ出し、こ
れらの文字間にリンクを生成する処理を行う。この処理
においては、ＯＣＲ部２０７による文字認識の結果を用
いるため、各文字パターンの候補文字の全てを使用する
ことによって、ＯＣＲエラーに対処することができる。

【００４０】そして、文書生成部２１０は、上述した情
報抽出部２０４の各部で行った処理の結果に基づいて、
文書を生成する処理を行う（Ｓ３１２）。すなわち、Ｐ
ｏｓｔＳｃｒｉｐｔ文書生成部２１１は、情報抽出部２
０４で行った文字認識やレイアウト解析等の結果に基づ
いて、ＰｏｓｔＳｃｒｉｐｔで各ページを表現した文書
を生成する。なお、ＯＣＲエラーをカバーするため、文
字認識確信度の低い文字については、文字認識の結果で
はなく、元の画像を用いることができる。

【００４１】また、ＨＴＭＬ文書生成部２１２は、情報
抽出部２０４で行った文字認識やレイアウト解析等の結
果に基づいて、タイトル，段落等を示すタグを各文字列
に付与し、ＨＴＭＬ文書を生成する。

【００４２】その後、ＰｏｓｔＳｃｒｉｐｔ文書はＰｏ
ｓｔＳｃｒｉｐｔ文書ＤＢ２１４に、ＨＴＭＬ文書はＨ
ＴＭＬ文書ＤＢ２１５にそれぞれ格納される（Ｓ３１
３）。なお、同一の文書画像から生成したＰｏｓｔＳｃ
ｒｉｐｔ文書とＨＴＭＬ文書の両方を登録する場合に
は、一方から他方を呼び出すことができるように、相互
に関連づけを行うことにしても良い。

【００４３】なお、ＰｏｓｔＳｃｒｉｐｔ文書ＤＢ２１
４およびＨＴＭＬ文書ＤＢ２１５にそれぞれ格納された
ＰｏｓｔＳｃｒｉｐｔ文書およびＨＴＭＬ文書は、検索
処理を行うことによって各クライアント１０７で画面表
示することができる。すなわち、クライアント１０７か
らの検索要求に応じて、検索サーバ１０８がＰｏｓｔＳ
ｃｒｉｐｔ文書ＤＢ２１４およびＨＴＭＬ文書ＤＢ２１
５から該当する文書を検索して出力し、クライアント１
０７は、検索サーバ１０８から検索結果を入力し、検索
要求に該当する文書を画面表示する。

【００４４】図５は、ＰｏｓｔＳｃｒｉｐｔ文書を画面
表示した様子の一例を示す説明図である。図５に示すよ
うに、図４に示した文書画像に基づいてＰｏｓｔＳｃｒ
ｉｐｔで表現した文書を生成することにより、元の紙文
書と同一のレイアウトの文書を容易に生成することがで
きる。すなわち、紙文書を再現した文書を生成すること
により、文書作成者の意図をできるだけ正確に伝えるこ
とができるような、流通および閲覧に適した文書を得る
ことができる。なお、ＰｏｓｔＳｃｒｉｐｔ文書を画面
表示した様子は元の紙文書とほぼ同一であるが、内部情
報は保持されているため、検索を行ったり、再利用した
りすることができる。

【００４５】また、図６は、ＨＴＭＬ文書を画面表示し
た様子の一例を示す説明図である。図６は、図と図番号
のハイパーテキスト化を行ったものであり、例えば、本
文中の「図９」をマウス等でクリックすると、「図９」
に該当する図が画面表示される。このように、紙文書が
持つレイアウトにとらわれることなく、ハイパーテキス
ト化することにより、紙文書の内容を優先したコンピュ
ータならではの形を持った文書を生成することができ
る。

【００４６】このように、実施の形態１の文書画像認識
装置によれば、文書画像から文字コードを抽出するとい
う単なる文字認識処理を行うだけではなく、文書画像の
持つ様々な情報を抽出して利用するため、紙文書の再現
を優先した文書や紙文書の内容を重視した文書等、利用
目的に応じた様々な形態のコンピュータ上で利用可能な
文書を生成することができる。

【００４７】なお、図１においては、ネットワーク１０
９を介したシステムとして実施の形態１の文書画像認識
装置の構成を説明したが、図２に示す機能を１台のコン
ピュータに持たせることにより、スタンドアローンの形
態で文書画像認識装置を構成することもできる。

【００４８】また、実施の形態１の文書画像認識装置で
は、上述したＰｏｓｔＳｃｒｉｐｔ文書やＨＴＭＬ文書
を生成することにしたが、これらに限定するものではな
く、必要に応じて他の形式の文書を生成することもでき
る。

【００４９】〔実施の形態２〕実施の形態２の文書画像
認識装置は、実施の形態１で説明したようにして生成し
たＰｏｓｔＳｃｒｉｐｔ文書やＨＴＭＬ文書を効率良く
検索することができるようにしたものである。具体的に
は、ＯＣＲ部２０７で文字認識した文字列から所定の文
字列を抽出し、抽出した文字列を対応するＰｏｓｔＳｃ
ｒｉｐｔ文書やＨＴＭＬ文書に関連づけておき、該当す
る文字列を検索することにより、関連づけされたＰｏｓ
ｔＳｃｒｉｐｔ文書やＨＴＭＬ文書を検索結果として出
力できるようにするものである。以下では、この文字列
のことをキーテキストと定義することにする。

【００５０】図７は、実施の形態２の文書画像認識装置
の概念構成図である。図７において、実施の形態１で説
明した図２と同一の構成については同一の符号を付すこ
とにし、それらの詳細な説明については省略する。

【００５１】実施の形態２の文書画像認識装置は、図７
に示すように、ＯＣＲ部２０７で文字認識した文字列か
ら上述したキーテキストを抽出するキーテキスト抽出部
７００と、キーテキスト抽出部７００で抽出したキーテ
キストを入力し、キーテキストＤＢ７０２に登録するキ
ーテキスト登録部７０１と、検索要求を入力し、キーテ
キストＤＢ７０２に登録されたキーテキストを検索し
て、該当するキーテキストに関連づけられたＰｏｓｔＳ
ｃｒｉｐｔ文書またはＨＴＭＬ文書を検索結果として出
力する検索処理部７０３と、を備えている。

【００５２】なお、ＰｏｓｔＳｃｒｉｐｔ文書ＤＢ２１
４，ＨＴＭＬ文書ＤＢ２１５およびキーテキストＤＢ７
０２は、検索処理部７０３に設けられる。この検索処理
部７０３は、図１における検索サーバ１０８に該当し、
クライアント１０７からの検索要求に基づいて、上記検
索処理を行う。また、実施の形態２の文書画像認識装置
をスタンドアローンの形態で構成した場合には、直接検
索要求を入力して検索処理を行う。

【００５３】上記キーテキスト抽出部２０７で抽出する
キーテキストとしては、文書を端的に表した文字列、例
えば、文書全体，章，節のタイトルや、ヘッダ・フッタ
等の書誌的事項，文書の要約文等が考えられる。また、
文書中の図等を基準として、図のキャプションを構成す
る文字列や、図番を含むセンテンス，このセンテンスを
含むパラグラフおよびページ単位の文字列をキーテキス
トとして抽出しても良い。なお、上記キーテキストを抽
出するには、文書画像のレイアウトを解析する必要があ
ることから、キーテキスト抽出部７００は、レイアウト
・論理解析部２０９による解析結果を用いて、キーテキ
ストの抽出処理を行うようにしても良い。

【００５４】また、キーテキスト抽出部７０１は、上記
キーテキスト抽出部７００で抽出したキーテキストを入
力し、入力したキーテキストを文書生成部２１０で生成
したＰｏｓｔＳｃｒｉｐｔ文書やＨＴＭＬ文書に関連づ
け、キーテキストＤＢ７０２に格納する。

【００５５】さらに、検索処理部７０３は、検索要求を
入力すると共に、検索結果を出力する入出力部７０４
と、入出力部７０４から検索要求を入力し、キーテキス
トＤＢ７０２から該当するキーテキストを検索する検索
エンジン７０５とを有している。具体的に、入出力部７
０４は、検索要求を入力して検索エンジン７０５に検索
要求を出力する。検索エンジン７０５は、入出力部７０
４から検索要求を入力し、キーテキストＤＢ７０２から
該当するキーテキストを検索し、該当するキーテキスト
を入出力部７０４に出力する。入出力部７０４は、入力
したキーテキストに関連づけられたＰｏｓｔＳｃｒｉｐ
ｔ文書やＨＴＭＬ文書を検索結果として出力する。

【００５６】このように、実施の形態２の文書画像認識
装置によれば、文書画像中の文字列をキーテキストとし
て文書の検索を行うことにしたため、検索要求に対し
て、最も適切な検索結果を得ることができると共に、高
速な検索処理を実現することができる。

【００５７】なお、上述した実施の形態２においては、
キーテキストを用いて文書の検索を用いることにした
が、キーテキストに代え、ＯＣＲ部２０７で文字認識し
た結果全てを用いて全文検索を行うようにすることもで
きる。図８は、実施の形態２の文書画像認識装置の変形
例を示す概念構成図である。

【００５８】図８に示すように、上述したキーテキスト
抽出部７００，キーテキスト登録部７０１およびキーテ
キストＤＢ７０２に代えて、テキスト登録部８００およ
び全文検索用テキストＤＢ８０１を設け、テキスト登録
部８００がＯＣＲ部２０７から文字認識結果、即ち文書
画像中のテキストの全文を入力し、入力したテキストを
文書生成部２１０で生成したＰｏｓｔＳｃｒｉｐｔ文書
やＨＴＭＬ文書に関連づけし、全文検索用テキストＤＢ
８０１に登録する。その結果、全文検索用テキストＤＢ
８０１に登録されたテキストを用いて、ＰｏｓｔＳｃｒ
ｉｐｔ文書やＨＴＭＬ文書を検索することができる。こ
の場合は、テキストを全文検索用テキストＤＢ８０１に
登録するため、検索の度に各ファイルのオープン・クロ
ーズという処理が不要となるため、検索処理の高速化を
図ることができる。

【００５９】〔実施の形態３〕続いて、実施の形態３の
文書画像認識装置について説明する。実施の形態３の文
書画像認識装置は、実施の形態１のものと同様に、流通
および閲覧を考慮した文書と、利用を考慮した文書を生
成することができるようにしたものである。

【００６０】実施の形態３の文書画像認識装置における
流通および閲覧を考慮した文書とは、オリジナルの紙文
書を読み取って生成した文書画像であり、ここではイメ
ージデータと定義することにする。また、利用を考慮し
た文書とは、文書画像中の文字列について文字認識を行
った結果であり、ここではテキストデータと定義するこ
とにする。

【００６１】図９は、実施の形態３の文書画像認識装置
の概念構成図である。なお、図９において、実施の形態
１で説明した構成と同一の構成については同一の符号を
付し、これらの詳細な説明は省略する。

【００６２】実施の形態３の文書画像認識装置は、大き
く文書画像入力部２００，前処理部２０１，情報抽出部
２０４，登録部９００およびデータベース部２１３から
構成される。なお、文書画像入力部２００，前処理部２
０１，情報抽出部２０４および登録部９００は、図１に
示した文書画像処理サーバ１０５に該当し、データベー
ス部９０３は、図１に示した検索サーバ１０８に該当す
る。

【００６３】文書画像入力部２００および前処理部２０
１については実施の形態１で説明した通りである。ま
た、情報抽出部２０４においては、ＰｏｓｔＳｃｒｉｐ
ｔ文書やＨＴＭＬ文書を生成しないため、フォント識別
部２０８およびレイアウト・論理解析部２０９が省略さ
れている以外は実施の形態１で説明した通りである。

【００６４】実施の形態１の文書画像認識装置と異なる
のは、イメージＤＢ登録部９０１およびテキストＤＢ登
録部９０２を備えた登録部９００と、イメージＤＢ９０
４およびテキストＤＢ９０５を備えたデータベース部９
０３である。

【００６５】イメージＤＢ登録部９０１は、前処理部２
０１からノイズ除去およびスキュー補正を行った後のイ
メージデータを入力し、入力したイメージデータをデー
タベース部９０３のイメージＤＢ９０４に登録する処理
を行い、テキストＤＢ登録部９０２は、ＯＣＲ部２０７
で文字認識処理を行った結果であるテキストデータをデ
ータベース部９０３のテキストＤＢ９０５に登録する処
理を行う。なお、同一文書のイメージデータとテキスト
データの両方を登録する場合には、一方から他方を呼び
出すことができるように、相互に関連づけを行うことに
しても良い。

【００６６】なお、イメージＤＢ９０４およびテキスト
ＤＢ９０５にそれぞれ格納されたイメージデータおよび
テキストデータは、検索処理を行うことによって各クラ
イアント１０７で画面表示することができる。すなわ
ち、クライアント１０７からの検索要求に応じて、検索
サーバ１０８がイメージＤＢ９０４およびテキストＤＢ
９０５から該当する文書を検索して出力し、クライアン
ト１０７は、検索サーバ１０８から検索結果を入力し、
検索要求に該当する文書を画面表示する。

【００６７】このように、実施の形態３の文書画像認識
装置によれば、イメージデータをデータベースに登録す
るため、紙文書そのものをコンピュータ上で画面表示す
ることができ、また、テキストデータをデータベースに
登録するため、紙文書中の情報を容易に利用することが
できる。

【００６８】〔実施の形態４〕実施の形態４の文書画像
認識装置は、実施の形態３で説明したようにして生成し
たイメージデータやテキストデータを、実施の形態２で
説明したキーテキストを用いて効率良く検索することが
できるようにしたものである。

【００６９】図１０は、実施の形態４の文書画像認識装
置の概念構成図である。図１０において、実施の形態１
で説明した図２および実施の形態２で説明した図７と同
一の構成については同一の符号を付すことにし、それら
の詳細な説明については省略する。

【００７０】実施の形態４の文書画像認識装置は、図１
０に示すように、文書画像のレイアウトを解析し、ＯＣ
Ｒ部２０７で文字認識した文字列から上述したキーテキ
ストを抽出するキーテキスト抽出部７００と、キーテキ
スト抽出部７００で抽出したキーテキストを入力し、キ
ーテキストＤＢ７０２に登録するキーテキスト登録部７
０１と、直接に検索要求を入力し、キーテキストＤＢ７
０２に登録されたキーテキストを検索して、該当するキ
ーテキストに関連づけられたイメージデータやテキスト
データを検索結果として出力する検索処理部７０３と、
を備えている。

【００７１】上記キーテキスト抽出部２０７で抽出する
キーテキストとしては、文書を端的に表した文字列、例
えば、文書全体，章，節のタイトルや、ヘッダ・フッタ
等の書誌的事項、文書の要約文等が考えられる。また、
文書中の図等を基準として、図のキャプションを構成す
る文字列や、図番を含むセンテンス，このセンテンスを
含むパラグラフおよびページ単位の文字列をキーテキス
トとして抽出しても良い。

【００７２】また、キーテキスト抽出部７０１は、上記
キーテキスト抽出部７００で抽出したキーテキストを入
力し、対応するイメージデータやテキストデータに関連
づけ、キーテキストＤＢ７０２に格納する。

【００７３】さらに、検索処理部７０３は、検索要求を
入力すると共に、検索結果を出力する入出力部７０４
と、入出力部７０４から検索要求を入力し、キーテキス
トＤＢ７０２から該当するキーテキストを検索する検索
エンジン７０５とを有している。具体的に、入出力部７
０４は、検索要求を入力して検索エンジン７０５に検索
要求を出力する。検索エンジン７０５は、入出力部７０
４から検索要求を入力し、キーテキストＤＢ７０２から
該当するキーテキストを検索し、該当するキーテキスト
を入出力部７０４に出力する。入出力部７０４は、入力
したキーテキストに関連づけられたイメージデータやテ
キストデータを検索結果として出力する。

【００７４】上記検索処理部７０３は、図１における検
索サーバ１０８に該当し、クライアント１０７からの検
索要求に基づいて、検索処理を行う。また、実施の形態
２の文書画像認識装置をスタンドアローンの形態で構成
した場合には、直接検索要求を入力して検索処理を行
う。

【００７５】このように、実施の形態４の文書画像認識
装置によれば、文書画像中の文字列をキーテキストとし
て文書の検索を行うことにしたため、検索要求に対し
て、最も適切な検索結果を得ることができると共に、高
速な検索処理を実現することができる。

【００７６】なお、上述した実施の形態４においては、
キーテキストを用いて文書の検索を用いることにした
が、キーテキストに代え、ＯＣＲ部２０７で文字認識し
た結果全てを用いて全文検索を行うようにすることもで
きる。図１１は、実施の形態４の文書画像認識装置の変
形例を示す概念構成図である。

【００７７】図１１に示すように、テキスト登録部８０
０および全文検索用テキストＤＢ８０１を設け、テキス
ト登録部８００がＯＣＲ部２０７から文字認識結果、即
ち文書画像中のテキストの全文を入力し、対応するイメ
ージデータやテキストデータに関連づけし、全文検索用
テキストＤＢ８０１に登録する。その結果、全文検索用
テキストＤＢ８０１に登録されたテキストを用いて、イ
メージデータやテキストデータを検索することができ
る。この場合は、テキストを全文検索用テキストＤＢ８
０１に登録するため、検索の度に各ファイルのオープン
・クローズという処理が不要となるため、検索処理の高
速化を図ることができる。

【００７８】なお、上述した実施の形態１〜４の文書画
像認識装置は、それぞれ任意に組み合わせて１つの文書
画像認識装置を構成することができる。

【００７９】さらに、上述した実施の形態１〜４の文書
画像認識装置としてコンピュータを機能させるプログラ
ムを作成し、これらをハードディスク，フロッピーディ
スク，ＣＤ−ＲＯＭ，ＭＯ，ＤＶＤ等のコンピュータ読
み取り可能な記録媒体に記録して、記録媒体を介してプ
ログラムを配布することができる。そして、記録媒体に
記録されたプログラムをコンピュータで読み出して実行
することにより、上述した文書画像認識装置を実現する
ことができる。

【００８０】

【発明の効果】以上説明したように、本発明の文書画像
認識装置（請求項１）によれば、紙文書を光学的に読み
取ることによって生成した文書画像を入力する入力手段
と、入力手段を介して入力した文書画像から文字列を含
む文字領域および／または図，表，写真等の画像を含む
画像領域を認識して抽出する領域抽出手段と、領域認識
手段で抽出した文字領域の文字列について文字認識処理
を行う文字認識手段と、領域抽出手段の抽出結果に基づ
いて、文書画像のレイアウトを解析し、レイアウト情報
を抽出するレイアウト情報抽出手段と、文字認識手段に
よる文字認識結果およびレイアウト情報抽出手段による
レイアウト情報抽出結果に基づいて、ページ記述言語を
用いた第１の文書を生成する第１の文書生成手段と、文
字認識手段による文字認識結果およびレイアウト情報抽
出手段によるレイアウト情報抽出結果に基づいて、構造
化記述言語を用いた第２の文書を生成する第２の文書生
成手段と、第１および第２の文書生成手段で生成した第
１および第２の文書をそれぞれ格納する格納手段と、を
備えたため、文書画像から文字コードを抽出するという
単なる文字認識処理を行うだけではなく、文書画像の持
つ様々な情報を抽出して利用することにより、紙文書の
再現を優先した文書や紙文書の内容を重視した文書等、
利用目的に応じた様々な形態のコンピュータ上で利用可
能な文書を生成することができる。

【００８１】また、本発明の文書画像認識装置（請求項
２）によれば、請求項１に記載の文書画像認識装置にお
いて、第１の文書は、ＰｏｓｔＳｃｒｉｐｔ形式または
ＰＤＦ形式によって表現された文書であるため、文書作
成者の意図をできるだけ正確に伝えることができるよう
な、流通および閲覧に適した文書を得ることができる。

【００８２】また、本発明の文書画像認識装置（請求項
３）によれば、請求項１に記載の文書画像認識装置にお
いて、第２の文書は、ＳＧＭＬ，ＨＴＭＬまたはＸＭＬ
によって表現された文書であるため、紙文書が持つレイ
アウトにとらわれることなく、紙文書の内容を優先した
コンピュータならではの形を持った文書を生成すること
ができる。

【００８３】さらに、本発明のコンピュータ読み取り可
能な記録媒体（請求項４）によれば、請求項１〜３のい
ずれか１つに記載の文書画像認識装置の各手段としてコ
ンピュータを機能させるためのプログラムを記録したた
め、記録したプログラムをコンピュータ上で実行するこ
とにより、文書画像の持つ様々な情報を抽出して利用す
ることにより、紙文書の再現を優先した文書や紙文書の
内容を重視した文書等、利用目的に応じた様々な形態の
コンピュータ上で利用可能な文書を生成することができ
る。

【図面の簡単な説明】

【図１】実施の形態１の文書画像認識装置のシステム構
成を示す構成図である。

【図２】図１に示す文書画像認識装置の概念構成図であ
る。

【図３】実施の形態１の文書画像認識装置の動作手順を
示すフローチャートである。

【図４】実施の形態１の文書画像認識装置において、文
書画像入力部を介して入力した文書画像を画面表示した
様子の一例を示す説明図である。

【図５】実施の形態１の文書画像認識装置において、生
成したＰｏｓｔＳｃｒｉｐｔ文書を画面表示した様子の
一例を示す説明図である。

【図６】実施の形態１の文書画像認識装置において、生
成したＨＴＭＬ文書を画面表示した様子の一例を示す説
明図である。

【図７】実施の形態２の画像認識装置の概念構成図であ
る。

【図８】実施の形態２の文書画像認識装置の変形例を示
す概念構成図である。

【図９】実施の形態３の文書画像認識装置の概念構成図
である。

【図１０】実施の形態４の文書画像認識装置の概念構成
図である。

【図１１】実施の形態４の文書画像認識装置の変形例を
示す概念構成図である。

【符号の説明】

１００ カラースキャナ １０１ モノクロスキャナ １０２ ネットワークスキャナ １０３ ファクシミリ装置 １０４ ファックスモデム １０５（１０５ａ，１０５ｂ） 文書画像処理サー
バ １０６ ディジタル複合機 １０７ クライアント １０８ 検索サーバ１０８ １０９ ネットワーク ２００ 文書画像入力部 ２０１ 前処理部 ２０２ ノイズ除去部 ２０３ スキュー補正部 ２０４ 情報抽出部 ２０５ 領域分割・情報抽出部 ２０６ 表処理部 ２０７ ＯＣＲ部 ２０８ フォント識別部 ２０９ レイアウト・論理解析部 ２１０ 文書生成部 ２１１ ＰｏｓｔＳｃｒｉｐｔ文書生成部 ２１２ ＨＴＭＬ文書生成部 ２１３ データベース部 ２１４ ＰｏｓｔＳｃｒｉｐｔ文書ＤＢ ２１５ ＨＴＭＬ文書ＤＢ ７００ キーテキスト抽出部 ７０１ キーテキスト登録部 ７０２ キーテキストＤＢ ７０３ 検索処理部 ７０４ 入出力部 ７０５ 検索エンジン ８００ テキスト登録部 ８０１ 全文検索用テキストＤＢ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｈ０４Ｎ 1/40 Ｈ０４Ｎ 1/40 Ｆ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 紙文書を光学的に読み取ることによって
   生成した文書画像を入力する入力手段と、 前記入力手段を介して入力した文書画像から文字列を含
   む文字領域および／または図，表，写真等の画像を含む
   画像領域を認識して抽出する領域抽出手段と、 前記領域認識手段で抽出した文字領域の文字列について
   文字認識処理を行う文字認識手段と、 前記領域抽出手段の抽出結果に基づいて、前記文書画像
   のレイアウトを解析し、レイアウト情報を抽出するレイ
   アウト情報抽出手段と、 前記文字認識手段による文字認識結果およびレイアウト
   情報抽出手段によるレイアウト情報抽出結果に基づい
   て、ページ記述言語を用いた第１の文書を生成する第１
   の文書生成手段と、 前記文字認識手段による文字認識結果およびレイアウト
   情報抽出手段によるレイアウト情報抽出結果に基づい
   て、構造化記述言語を用いた第２の文書を生成する第２
   の文書生成手段と、 前記第１および第２の文書生成手段で生成した第１およ
   び第２の文書をそれぞれ格納する格納手段と、 を備えたことを特徴とする文書画像認識装置。
2. 【請求項２】 前記第１の文書は、ＰｏｓｔＳｃｒｉｐ
   ｔ形式またはＰＤＦ形式によって表現された文書である
   ことを特徴とする請求項１に記載の文書画像認識装置。
3. 【請求項３】 前記第２の文書は、ＳＧＭＬ，ＨＴＭＬ
   またはＸＭＬによって表現された文書であることを特徴
   とする請求項１に記載の文書画像認識装置。
4. 【請求項４】 前記請求項１〜３のいずれか１つに記載
   の文書画像認識装置の各手段としてコンピュータを機能
   させるためのプログラムを記録したことを特徴とするコ
   ンピュータ読み取り可能な記録媒体。