JPH1011530A

JPH1011530A - 画像入出力方法及び装置

Info

Publication number: JPH1011530A
Application number: JP8164635A
Authority: JP
Inventors: Eiji Ohara; 栄治大原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-06-25
Filing date: 1996-06-25
Publication date: 1998-01-16

Abstract

(57)【要約】【課題】入力した文書画像から文字部を抽出し、その
文字部を認識して表示させる際、より正しい認識結果を
容易に得られるようにする。【解決手段】スキャナー回路１で文書画像をデジタル
データとして読み取り、メモリ回路３に記憶する。そし
て、領域分割回路４により文字部と画像部を判定し、そ
の結果を領域メモリ５に記憶させるとともに、認識回路
６により文字部の文字認識を行い、表示装置１０の画面
に表示させる。その際、情報処理回路９により、文字部
の認識結果を再構成して画像と文字を表示させる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書画像を入出力
する装置、特に文書画像中の文字部を認識してその結果
を修正可能な画像入出力装置に関するものである。

【０００２】

【従来の技術】従来、この種の画像入出力装置として
は、例えば文字認識を利用した全文検索が可能なファイ
リング装置が知られている。これは、文字認識したコー
ド情報と文書画像を対にしてファイリングしたり、ある
いは文字認識したコード情報のみファイリングしたりす
るものであるが、上記コード情報すべてが検索する際の
キーワードとなるものである。

【０００３】このような全文検索として文字認識を利用
する装置の場合、認識結果が必ずしも完全である必要は
なく、多少認識結果に違いがあっても実用上問題はない
が、その認識結果を他のアプリケーションソフトに出力
しコード情報として再利用する場合には、文書を完全に
する必要があるため、文字認識の結果と文書画像とを比
較することにより差を確認して修正するようにしてい
る。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
ような従来の画像入出力装置にあっては、誤認識があっ
た場合には比較的容易にみつけることができるが、例え
ば新聞のように文書の段落が複雑な場合や文字部が複雑
に配置されている場合には、文字部の認識処理を行う順
番を誤ることも多く、それにより認識結果の文脈が崩れ
てしまい、これを元に復元するのは大変な作業であり、
また認識結果を大量に利用する場合は、このわずらわし
い作業を繰り返さなければならないという問題点があっ
た。

【０００５】本発明は、上記のような問題点に着目して
なされたもので、入力した文書画像中の文字部を認識し
たときにより正しい認識結果を容易に得ることができる
画像入出力方法及び装置を提供することを目的としてい
る。

【０００６】

【課題を解決するための手段】本発明に係る画像入出力
装置は、次のように構成したものである。

【０００７】（１）入力した文書画像から文字部を抽出
する抽出手段と、抽出された文字部を表示する表示手段
と、その文字部の中から選択された任意の文字部の認識
結果を再構成する処理手段とを備えた。

【０００８】（２）上記（１）の装置において、処理手
段は、選択された複数の文字部の認識結果の順序を入れ
替えるようにした。

【０００９】（３）上記（１）または（２）の装置にお
いて、処理手段は、選択された複数の文字部を結合して
一つの文字部とするようにした。

【００１０】（４）上記（１）ないし（３）何れかの装
置において、表示手段は、文字部を表す領域を画像に合
成して表示するようにした。

【００１１】（５）上記（１）ないし（４）何れかの装
置において、表示手段は、文字部を表す領域に認識処理
した順序を表示するようにした。

【００１２】（６）上記（４）または（５）の装置にお
いて、文字部を表す領域は、文字部分に外接する矩形領
域とした。

【００１３】また本発明に係る画像入出力方法は、次の
ように構成したものである。

【００１４】（７）入力した文書画像から文字部を抽出
する抽出工程と、抽出された文字部を表示する表示工程
と、その文字部の中から選択された任意の文字部の認識
結果を再構成する処理工程とを備えた。

【００１５】（８）上記（７）の方法において、処理工
程は、選択された複数の文字部の認識結果の順序を入れ
替えるようにした。

【００１６】（９）上記（７）または（８）の方法にお
いて、処理工程は、選択された複数の文字部を結合して
一つの文字部とするようにした。

【００１７】（１０）上記（７）ないし（９）何れかの
方法において、表示工程は、文字部を表す領域を画像に
合成して表示する工程を含むようにした。

【００１８】（１１）上記（７）ないし（１０）何れか
の方法において、表示工程は、文字部を表す領域に認識
処理した順序を表示する工程を含むようにした。

【００１９】（１２）上記（１０）または（１１）の方
法において、文字部を表す領域は、文字部分に外接する
矩形領域であるという表示工程を含むようにした。

【００２０】

【発明の実施の形態】以下、本発明を実施例により詳し
く説明する。

【００２１】図１は本発明に係る画像入出力装置の構成
を示すブロック図である。同図において、１は文書画像
を取り込むスキャナー回路（入力手段）、２はその文書
画像を記憶するメモリ回路（記憶手段）３を制御するメ
モリコントロール回路、４は入力した文書画像の特徴に
より文字部の領域等を分割する領域分割回路（抽出手
段）、５はその領域分割結果を記憶する領域メモリ、６
は画像の特徴を抽出、比較することにより文字，数字，
記号等を認識する認識回路（認識手段）、７はその認識
結果を記憶する認識メモリ、８は辞書メモリ、９は入力
情報の処理を行う情報処理回路（処理手段）で、任意の
複数の文字部を選択し、選択した複数の文字部の認識結
果を再構成する。

【００２２】１０は文字部や画像を表示するモニター等
の表示装置（表示手段）、１１はＭＯドライブあるいは
ハードディスク等の外部記憶装置、１２は本画像入出力
装置のシステム全体の制御を司るＣＰＵ等からなるシス
テム制御回路であり、ＲＯＭ１３に記憶されたプログラ
ムに従って全体の制御を行う。ＲＯＭ１３は後述するフ
ローチャート等本発明に係る処理の制御プログラムを記
憶している。

【００２３】次に、図２のフローチャートにより動作を
説明する。このフローチャートの動作は、システム制御
回路１２により実行されるものである。

【００２４】まず、システム制御回路１２の制御の下
で、スキャナー回路１に文書画像読み込み指示が与えら
れると、スキャナー回路１は文書画像をデジタル画像デ
ータ（以下イメージデータという）として読み取る（ス
テップＳ１）。この読み取ったイメージデータは、メモ
リコントロール回路２の制御により、メモリ回路３に記
憶される（ステップＳ２）。

【００２５】そして、文書画像１枚分のイメージデータ
がメモリ回路３に記憶されると、システム制御回路１２
はメモリコントロール回路２に指示し、読み取ったイメ
ージデータを領域分割回路４に出力させるとともに、領
域分割回路４に対して動作指示を与える。この結果、領
域分割回路４は、入力されたイメージデータ中のイメー
ジの種別を判定し（ステップＳ３）、その結果を領域メ
モリ５に記憶させる（ステップＳ４）。

【００２６】ここで、領域判定処理としては、例えば入
力したイメージデータに対して処理速度を上げるために
間引き処理が行われたり、黒画素の連続性を検出するた
めに輪郭線追跡が行われる。そして、黒画素が連続する
領域に外接する矩形を抽出し、その矩形の大きさや、そ
の中に存在する黒画素の占める割合などでもってその領
域が文字からなるイメージか、写真などの非文字部分か
を判定する。

【００２７】一般に、文字画像は縦書きと横書きの場合
があるが、これは上記の文字と判定された矩形領域との
距離を調べ、水平方向との距離が小さい場合には横書
き、垂直方向の距離が小さい場合には縦書きと判定する
ことができる。

【００２８】また、写真等の場合には、矩形の大きさが
ある程度以上になり、且つ黒画素数が多い場合であり、
表の場合には、矩形が整然と並んでいて、且つ矩形内の
黒画素数が占める割合が低いので容易に判断できる。

【００２９】本実施形態では以上のようにして領域分割
するものとするが、これ以外のアルゴリズムに従っても
良いのは勿論である。要するに、本実施形態では少なく
とも文字イメージ部分と非文字部分とを識別できれば良
い。

【００３０】また、場合によっては、個々の領域をユー
ザーが表示画面を見て、ポインティングデバイスでもっ
て領域を設定し、種別を指定或は修正するようにしても
良い。

【００３１】以上の結果、領域分割回路４は領域メモリ
５に例えば図３に示すようなテーブルを構築する。

【００３２】図３に示すテーブルにおいて、第１フィー
ルドは個々の領域に付けられた領域番号であり、第２フ
ィールドはその領域（矩形）を特定する情報（左上隅と
右下隅の座標）である。また、第３フィールドは個々の
領域の種別が格納され、本実施形態では文字イメージで
あることを示す“テキスト”と、写真画像等の非文字で
あることを示す“非テキスト”の２種類としている。

【００３３】次に、上述の領域分割回路４による領域分
割処理が完了すると、システム制御回路１２は領域メモ
リ５を参照して、テキスト領域として判定された領域の
イメージデータをメモリ回路３より読み出し（ステップ
Ｓ５）、そのデータを認識回路６に出力させる。このと
き、領域分割回路４は単にバイパスするのみである。

【００３４】認識回路６は、与えられたイメージデータ
から文字イメージを切り出し、その切り出した文字イメ
ージから特徴情報を抽出し、辞書メモリ８内の標準特徴
情報と比較することで（ステップＳ６）、公知の文字認
識処理を行う。

【００３５】一般に、このような文字認識処理では、認
識対象の文字イメージから得られる特徴情報（特徴ベク
トル）と、認識辞書（辞書メモリ８）に記憶されている
標準的な特徴情報との距離を求めていき、最も距離が近
い標準特徴情報を有する文字（文字コード）を第１候補
とし、以下第２候補、第３候補・・・として出力する。
このとき、最大候補数はＮ個とし、それ以上の候補は出
力しないようにしている。

【００３６】次に、認識回路６は、上記認識処理して得
られた第１候補とその他の候補を認識メモリ７に出力す
る。このとき、システム制御回路１２は、認識された文
字イメージの位置情報（文書画像中のどの位置に存在し
た文字かを示す情報）を認識回路６に渡し、その情報も
認識メモリ７に格納させる（ステップＳ７）。この結
果、認識メモリ７には図４に示すようなテーブルが構築
される。

【００３７】図４に示すテーブルにおいて、第１フィー
ルドにはどの領域番号（図３参照）の文字かを示す情報
が、第２フィールドには文字イメージの位置情報が、第
３フィールドには文字コード（認識結果得られた候補文
字で第１候補，第２候補，・・・）がそれぞれ格納され
る。

【００３８】なお、ここでは個々の文字の大きさがほぼ
一定であるものとしているが、異なるサイズ文字を有す
る文書画像を認識する場合には、図４のテーブルにおけ
る座標位置情報は二つ必要になる。すなわち、例えば左
上隅と右下隅の座標データである。

【００３９】次に、上記の如く、文書画像中の文字領域
に対する文字認識が完了すると、入力した文書画像中の
文字以外と判定された領域についてはそのビットマップ
データを、文字認識された部分に関しては認識メモリ７
に記憶されたテーブルの内容をそれぞれ外部記憶装置１
１にファイリングする。また、文書画像の種別や位置を
表している、領域メモリ５に記憶されたテーブルの内容
も同時にファイリングする（ステップＳ８）。

【００４０】ここで、文書画像が複数枚ある場合には、
例えばスキャナー回路１に設けられた自動原稿搬送機の
原稿載置センサーにより文書画像があるか否かの判断を
行い、もしあれば以上述べた動作を繰り返し行う（ステ
ップＳ９）。

【００４１】また、不図示のキーボード等の指示を受
け、他のアプリケーション等により認識した文字コード
情報をプレーンテキストとして利用する場合は、外部記
憶装置１１より任意に選択した画像を読み出し、これを
領域分割結果に基づいた画像として表示装置１０に表示
させる（ステップＳ１０）。これらのファイリング処理
及び表示処理は、システム制御回路１２の制御の下で情
報処理回路９が行う。

【００４２】次に、表示処理について説明する。ここで
は説明を簡単にするため、本実施形態における表示装置
１０は汎用モニターとし、情報処理回路９内には表示画
像を格納するバッファメモリが備えられているものとす
る。

【００４３】非文字イメージ（写真など）についてはそ
のまま上記のバッファメモリに展開し、文字イメージに
対しては認識結果の第１候補の文字コードに基づいて不
図示のフォントメモリよりフォントデータを取りだして
文字パターンを発生させ、認識メモリ７に格納されてい
る図４に示すテーブルの位置情報に従って対応する位置
に展開する。

【００４４】このとき、図３のテーブルの第３フィール
ドに個々の領域の種別が格納されているので、テキスト
領域についてのみ、第１フィールドに格納された領域番
号及び第２フィールドに格納された領域（矩形）を特定
する情報により、バッファメモリに展開された画像に認
識処理が行われた順序を表す番号を付加するとともに、
文字イメージ領域を表す枠を付加した後、表示装置１０
に表示する。

【００４５】図５は原稿画像と表示画像の関係の具体例
を示したものである。同図中、５０は文書画像（もしく
はメモリ回路３に記憶された画像データ）を示してお
り、図示の如く、文書画像は写真画像と文字とが混在し
たものとなっている。

【００４６】また、５１は表示装置１０の表示内容を示
し、５２はこのとき利用可能なプレーンテキストを示し
ており、認識処理の順序を誤ったために文脈が前後して
いる。

【００４７】そこで、不図示のキーボード等により、５
３の表示内容のように、表示された認識処理の順序を変
更指示することによって、システム制御回路１２の制御
の下で情報処理回路９は外部記憶装置１１に記憶された
文字コードの順序を変更し、５４に示すようなプレーン
テキストを形成し、外部記憶装置１１に別ファイルとし
て記憶する。

【００４８】ここで、文字コードの順序を変更すると
き、例えば不図示の表の中に複数の文字部が含まれてい
る場合など、表全体の挿入位置を変更したい場合がある
が、その際、表内の複数の文字部を結合させて一つの文
字部として扱うことが可能であり、扱う文字部の数を削
減することができる。

【００４９】このようにして、外部記憶装置１１に記憶
された別ファイルを他のアプリケーションより読み込む
ことにより、文脈を正しく訂正した文字コード情報がプ
レーンテキストとして利用される。

【００５０】図６を用い、もう少し詳しく説明する。

【００５１】まず、前記した表示装置１０の表示内容に
付加された認識処理が行われた順序を表す番号について
であるが、以下のようにして作成している。

【００５２】図６ａ）には５１の表示内容に相当する５
の領域メモリに構築されたテーブル内容を示している
が、これより第１フィールドの領域番号から非テキスト
領域を除いて、テキスト領域のみの領域番号を選択し、
各々の順序関係を保存しながら空き番号がなくなるよう
新規領域番号を設定し図６ｂ）に示すような対応表を作
成する。

【００５３】この対応表において、第１フィールドは図
６ａ）の第１フィールドにおけるテキスト領域のみの領
域番号であり、第２フィールドは前記した新規領域番号
であり、これが５１の表示内容に付加した認識処理が行
われた順序を表す番号に相当する。

【００５４】従って、前記５３の表示内容で説明したよ
うに認識処理の順番を変更し、文脈を修正する場合は、
例えば、不図示のキーボード等を用いて指示することに
より認識処理が行われた順序を表す新規領域番号を図６
ｃ）に示す用に修正することにより行うことが可能であ
る。ここにおいては、２番目と３番目に行われた認識処
理の順番を逆転させているが、対応表の第２フィールド
に対応する第１フィールドの領域番号から、図４のテー
ブルを参照して領域番号に対応する文字コードを抽出す
る事ができる。このようにして、修正した新規領域番号
の順番で文字コードを外部記憶装置１１より読み出し、
５４に示すようなプレーンテキストが形成されることに
なる。また、前記した表内の複数の文字部を結合させて
１つの文字部として扱う場合を図７により説明する。

【００５５】図７ａ）は５の領域メモリに構築されたテ
ーブル内容を示していて、領域番号の４〜７に対応する
文字部が表内の文字部とする。

【００５６】図７ｂ）は修正前、図７ｃ）は修正後の対
応表であるが、これらを比較すると第１フィールドの４
〜７に対応する文字部における第２フィールドの値が等
しく変更され、しかも第１フィールドの２に対応する文
字部における第２フィールドの値と順序関係が逆転して
いる。これは表内の文字部が一括して第１フィールドの
１と２の文字部の間に挿入されることを示している。

【００５７】このようにして表内の複数の文字部に対し
て第２フィールドの値を等しくしておき、扱いを連動さ
せることができる。

【００５８】ただし、連動させる文字部の順序を入れ替
える場合も考えられ、図７ｃ）の対応表に第３フィール
ドを拡張し、表内の文字部の認識処理の順序を記述して
いる。この拡張部分の順序を変更することで順序を変更
する。

【００５９】以上の結果、例えばファイリングされた文
字認識結果を利用したい場合には、他のアプリケーショ
ンに移動する前に、文字部の認識結果が文脈通りになっ
ているかを容易に認識することができ、それが満足でき
ないものであれば、不図示のキーボード等で適宜認識結
果を訂正することが可能である。

【００６０】なお、上記の例では、認識結果の文字コー
ドに基づいて文字パターンを発生させて表示したが、全
画像のビットマップをファイリングすることにより、そ
のまま表示するようにしても良い。但し、この場合に
も、認識処理が行われた順序を表す番号を付加するとと
もに、文字部ごとに文字イメージ領域を表す枠を付加す
る。

【００６１】また、上記の例では、認識処理が行われた
順序を数字により表し、また文字イメージ領域を表すの
に枠により囲んだが、これに限らず、順序を表すのにア
ルファベット等を使用したり、枠のかわりに網掛けや表
示色を変えたりするなどしても良い。すなわち、区別で
きさえすれば、いかなる表示形態にしても良い。

【００６２】また、上記の例では、領域分割結果に基づ
く画像の表示及び確認をすることにより、文脈を訂正し
た後、プレーンテキストを別ファイルとして記憶してい
るが、その際、同時に既にファイリングされた各テーブ
ル内容を前記対応表を作成・記憶することにより修正す
るようにしても良い。

【００６３】また、上記の例では、領域分割結果に基づ
く画像を表示する例を示したが、プリント出力装置によ
りプリントしても良い。この場合、複数枚出力すること
により、後で一括して訂正処理を行うことが可能であ
る。

【００６４】更に、本実施形態で示した装置を汎用の情
報処理装置に適用しても良い。この場合の装置構成とし
ては、例えば図８に示すような構成となる。

【００６５】図８において、１００は装置あるいはシス
テム全体を制御するＣＰＵ、１０１はブートプログラム
やＢＩＯＳ等を記憶するＲＯＭ、１０２はＣＰＵ１００
のワーク領域として使用するＲＡＭであり、図１のメモ
リ回路３に対応するイメージ格納エリア１０３、領域メ
モリ５に対応する領域種別エリア１０４、認識メモリ７
に対応する１０５の認識結果エリア１０５をはじめ、以
下のデータあるいはプログラムが展開もしくは確保され
ている。

【００６６】すなわち、１０６は一連の処理手順に対応
するプログラム、１０７は印刷する時に使用する出力バ
ッファエリア、１０８は制御プログラム１０６をはじめ
として本装置全体の制御を行うオペレーティングシステ
ム（ＯＳ）である。

【００６７】また、１０９は原稿画像を読み取るための
イメージスキャナー、１１０はハードディスク装置や光
磁気ディスク装置などの大容量記憶装置であり、この中
にはオペレーティングシステム１０８等も記憶されてい
る。１１１は可搬性の記憶媒体からのデータのリードを
行うための装置であって、図示ではディスクドライブを
有したフロッピーディスク装置である。このフロッピー
ディスク装置１１１にセットするフロッピーディスク、
もしくはハードディスク装置等の記憶装置１１０のいず
れか一方に、上述の制御プログラム１０６が格納されて
いる。

【００６８】１１２は表示画面に表示するビットマップ
イメージを展開するためのＶＲＡＭ、１１３はこのＶＲ
ＡＭ１１２に展開されたビットマップイメージを表示す
る表示器、１１４は認識結果を修正するための各種情報
を入力するためのキーボード、１１５は表示器１１３の
表示画面の中で所望の位置を指定したり、各種メニュー
の中の一つを選択したりするためポインティングデバイ
ス、１１６はプリンタである。

【００６９】上記構成の装置における動作は、先に説明
した実施形態の動作とほぼ同じであるが、メモリコント
ロール回路２や領域分割回路４に相当する処理は、ＣＰ
Ｕ１００が制御プログラム１０６に従って行うことにな
る。

【００７０】このように、本発明は、汎用の情報処理装
置あるいはシステムに、先に説明した処理を実現するた
めのプログラムを外部から供給することでも達成でき
る。

【００７１】したがって、本発明は、ホストコンピュー
タ，インターフェース，プリンタ等の複数の機器から構
成されるシステムに適用しても、複写機等の一つの機器
からなる装置に適用しても良い。

【００７２】また、本発明は、システムあるいは装置に
記憶媒体に格納されたプログラムを供給することによっ
て達成されることは言うまでもない。

【００７３】

【発明の効果】以上説明したように、本発明によれば、
入力した文書画像中の文字部を認識したときに、より正
しい認識結果を容易に得ることができるという効果があ
る。

【図面の簡単な説明】

【図１】本発明に係る画像入出力装置の構成を示すブ
ロック図

【図２】図１の装置の動作を示すフローチャート

【図３】図１の領域メモリに構築されるテーブルの内
容を示す図

【図４】図１の認識メモリに構築されるテーブルの内
容を示す図

【図５】実施形態における原稿画像と表示画像との関
係を示す説明図

【図６】実施形態におけるテーブル内容と対応表の関
係を示す図

【図７】実施形態におけるテーブル内容と対応表の関
係を示す図

【図８】装置の他の構成を示すブロック図

【符号の説明】

１スキャナー回路（入力手段）２メモリコントロール回路３メモリ回路（記憶手段）４領域分割回路（抽出手段）５領域メモリ６認識回路（認識手段）７認識メモリ８辞書メモリ９情報処理回路（処理手段）１０表示装置（表示手段）１１外部記憶装置１２システム制御回路１３ＲＯＭ

Claims

【特許請求の範囲】

【請求項１】入力した文書画像から文字部を抽出する
抽出手段と、抽出された文字部を表示する表示手段と、
その文字部の中から選択された任意の文字部の認識結果
を再構成する処理手段とを備えたことを特徴とする画像
入出力装置。
【請求項２】処理手段は、選択された複数の文字部の
認識結果の順序を入れ替えることを特徴とする請求項１
記載の画像入出力装置。
【請求項３】処理手段は、選択された複数の文字部を
結合して一つの文字部とすることを特徴とする請求項１
または２記載の画像入出力装置。
【請求項４】表示手段は、文字部を表す領域を画像に
合成して表示することを特徴とする請求項１ないし３何
れか記載の画像入出力装置。
【請求項５】表示手段は、文字部を表す領域に認識処
理した順序を表示することを特徴とする請求項１ないし
４何れか記載の画像入出力装置。
【請求項６】文字部を表す領域は、文字部分に外接す
る矩形領域であることを特徴とする請求項４または５記
載の画像入出力装置。
【請求項７】入力した文書画像から文字部を抽出する
抽出工程と、抽出された文字部を表示する表示工程と、
その文字部の中から選択された任意の文字部の認識結果
を再構成する処理工程とを備えたことを特徴とする画像
入出力方法。
【請求項８】処理工程は、選択された複数の文字部の
認識結果の順序を入れ替えることを特徴とする請求項７
記載の画像入出力方法。
【請求項９】処理工程は、選択された複数の文字部を
結合して一つの文字部とすることを特徴とする請求項７
または８記載の画像入出力方法。
【請求項１０】表示工程は、文字部を表す領域を画像
に合成して表示する工程を含むことを特徴とする請求項
７ないし９何れか記載の画像入出力方法。
【請求項１１】表示工程は、文字部を表す領域に認識
処理した順序を表示する工程を含むことを特徴とする請
求項７ないし１０何れか記載の画像入出力方法。
【請求項１２】文字部を表す領域は、文字部分に外接
する矩形領域であるという表示工程を含むことを特徴と
する請求項１０または１１記載の画像入出力方法。