JP2000298703A

JP2000298703A - 画像処理装置及びその方法、コンピュータ可読メモリ

Info

Publication number: JP2000298703A
Application number: JP11108410A
Authority: JP
Inventors: Shigeo Fukuoka; 茂雄福岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-04-15
Filing date: 1999-04-15
Publication date: 2000-10-24

Abstract

(57)【要約】【課題】効率的かつ精度良く文字認識処理を実行する
ことができる画像処理装置及びその制御方法、コンピュ
ータ可読メモリを提供する。【解決手段】文字認識領域を決定するための第１位置
検出用画像、第２位置検出用画像、第３位置検出用画像
を少なくとも有する所定フォーマットの原稿画像を入力
装置１１１より入力する。入力された原稿画像上の位置
検出用画像を検出する。その検出結果に基づいて、入力
された原稿画像を補正する。補正された原稿画像に対し
文字認識を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力された画像に
対し文字認識を行う画像処理装置及びその方法、コンピ
ュータ可読メモリに関するものである。

【０００２】

【従来の技術】定型フォームの帳票画像上の文字を認識
する場合、従来、入力された帳票画像に対応する画像デ
ータを格納した画像メモリ上の画像データに対して、そ
の帳票画像から得られる予め決定された文字枠を用いて
文字認識を行っていた。

【０００３】

【発明が解決しようとする課題】しかしながら、従来で
は、オペレータのミスによって帳票を上下反転して入力
してしまった場合、帳票画像の入力エラーとして処理を
終了してしまうという問題点があった。また、帳票画像
が傾いて入力されると、入力された帳票画像を格納する
画像メモリ上の入力位置がずれてしまい正しい文字認識
結果が得られないという問題点があった。

【０００４】本発明は上記の問題点に鑑みてなされたも
のであり、効率的かつ精度良く文字認識処理を実行する
ことができる画像処理装置及びその制御方法、コンピュ
ータ可読メモリを提供することを目的とする。

【０００５】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像処理装置は以下の構成を備える。
即ち、入力された画像に対し文字認識を行う画像処理装
置であって、文字認識領域を決定するための第１位置検
出用画像、第２位置検出用画像、第３位置検出用画像を
少なくとも有する所定フォーマットの原稿画像を入力す
る入力手段と、前記入力手段で入力された原稿画像上の
位置検出用画像を検出する検出手段と、前記検出手段の
検出結果に基づいて、前記入力手段で入力された原稿画
像を補正する補正手段と、前記補正手段で補正された原
稿画像に対し文字認識を行う文字認識手段とを備える。

【０００６】また、好ましくは、前記検出手段は、前記
所定フォーマットから決定される第１探索領域に基づい
て、前記第１位置検出用画像を検出する。

【０００７】また、好ましくは、前記検出手段は、前記
第１探索領域に基づいて、前記第１位置検出用画像が検
出されない場合、該第１探索領域の位置を反転させた補
助第１探索領域に基づいて、該第１位置検出用画像を検
出する。

【０００８】また、好ましくは、前記第１位置検出用画
像を検出した場合、前記検出手段は、該第１位置検出用
画像に基づいて、前記第２位置検出用画像を検出する。

【０００９】また、好ましくは、前記第１位置検出用画
像及び前記第２位置検出用画像を検出した場合、前記検
出手段は、該第１位置検出用画像及び該第２位置検出用
画像に基づいて、前記第３位置検出用画像を検出する。

【００１０】また、好ましくは、前記検出手段によって
前記第１位置検出用画像及び前記第２位置検出用画像及
び前記第３位置検出用画像が検出された場合、前記補正
手段は、該第１位置検出用画像及び該第２位置検出用画
像及び該第３位置検出用画像の位置関係に基づいて、前
記原稿画像の傾きを補正する。

【００１１】また、好ましくは、前記補正手段は、前記
検出手段で検出された前記原稿画像上の第１位置検出用
画像の位置と、前記所定フォーマットから決定される第
１検出用画像の位置とを比較する比較手段を備え、前記
比較手段の比較結果に基づいて、前記原稿画像を補正す
る。

【００１２】上記の目的を達成するための本発明による
画像処理方法は以下の構成を備える。即ち、入力された
画像に対し文字認識を行う画像処理方法であって、文字
認識領域を決定するための第１位置検出用画像、第２位
置検出用画像、第３位置検出用画像を少なくとも有する
所定フォーマットの原稿画像を入力する入力工程と、前
記入力工程で入力された原稿画像上の位置検出用画像を
検出する検出工程と、前記検出工程の検出結果に基づい
て、前記入力工程で入力された原稿画像を補正する補正
工程と、前記補正工程で補正された原稿画像に対し文字
認識を行う文字認識工程とを備える。

【００１３】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
入力された画像に対し文字認識を行う画像処理のプログ
ラムコードが格納されたコンピューター可読メモリであ
って、文字認識領域を決定するための第１位置検出用画
像、第２位置検出用画像、第３位置検出用画像を少なく
とも有する所定フォーマットの原稿画像を入力する入力
工程のプログラムコードと、前記入力工程で入力された
原稿画像上の位置検出用画像を検出する検出工程のプロ
グラムコードと、前記検出工程の検出結果に基づいて、
前記入力工程で入力された原稿画像を補正する補正工程
のプログラムコードと、前記補正工程で補正された原稿
画像に対し文字認識を行う文字認識工程のプログラムコ
ードとを備える。

【００１４】

【発明の実施の形態】以下、図面を参照して本発明の好
適な実施形態を詳細に説明する。

【００１５】図１は本発明の実施形態の画像処理装置の
構成を示すブロック図である。

【００１６】図１において、ＣＰＵ１０１はメインバス
７を介して画像処理装置１０００全体の制御を実行する
とともに、画像処理装置１０００の外部に接続される入
力装置１１１（例えば、イメージスキャナ、記憶装置、
ネットワーク回線を介して接続される他の画像処理装
置、電話回線を介して接続されるファクシミリ等）を入
力Ｉ／Ｆ（インタフェース）１０４を介して制御する。
また、画像処理装置１０００の外部に接続される出力装
置１１２（例えば、プリンタ、モニタ、ネットワーク回
線を介して接続される他の画像処理装置、電話回線を介
して接続されるファクシミリ等）を出力Ｉ／Ｆ１０５を
介して制御する。また、ＣＰＵ１０１は、ＫＢＤＩ／Ｆ
（キーボードインタフェース）１０６を介して入力部
（例えば、ポインティングデバイス１１３やキーボード
１１４やペン１１５）から入力された指示に従って、画
像の入力、画像処理、色変換処理、画像の出力制御等の
一連の処理を実行する。更に、入力装置１１１より入力
された画像データや、ポインティングデバイス１１３や
キーボード１１４やペン１１５を用いて作成された画像
データを表示する表示部１０９をビデオＩ／Ｆ（インタ
フェース）１０８を介して制御する。

【００１７】ＲＯＭ１０２は、ＣＰＵ０１０１の各種制
御を実行する各種制御プログラムを記憶している。ＲＡ
Ｍ１０３は、ＣＰＵ１０１によりＯＳや本発明を実現す
るための制御プログラムを含むその他の制御プログラム
がロードされ実行される。また、制御プログラムを実行
するために用いられる各種作業領域、一時待避領域とし
て機能する。また、入力装置１１１より入力された画像
データや、ポインティングデバイス１１３やキーボード
１１４やペン１１５を用いて作成された画像データを、
一旦、保持するＶＲＡＭ（不図示）が構成されている。
メインバス１０７は、画像処理装置１０００内の各種構
成要素を相互に接続する。

【００１８】次に、実施形態で実行される処理につい
て、図２を用いて説明する。

【００１９】図２は本発明の実施形態で実行される処理
を示すフローチャートである。

【００２０】尚、具体的な処理の動作を順を追って説明
していくために、図３に示すような３つのマークのある
フォーマットの帳票を例に説明する。ここで、帳票上に
３つのマークを設けると、入力する帳票画像の傾きと歪
み具合を検出することができる。つまり、入力された帳
票画像の傾きと歪み具合を補正し、文字認識精度の向上
を図るためには、帳票上に３つ以上のマークを設け、そ
れらの位置を認識することが好ましい。また、マークは
●のような形状で大きさと中心位置が求めやすい形状が
適当である。このような形状の場合、縦横の解像度が同
じ場合には、帳票画像が傾いて入力されたとしても、そ
の形状が変化してしまうことはないため中心と大きさ
（半径や直径）を簡単に求めることができる。

【００２１】入力した帳票画像の傾きが±θまで許され
ている状態で、１つのマーク（マーク１）の位置を検出
した場合、残りの２マーク（マーク２、マーク３）が存
在してもよい位置は、図４に示す範囲となる。

【００２２】２番目のマーク（マーク２）の位置が決ま
った時点で、帳票画像の傾きがわかるため３番目のマー
ク（マーク３）の位置は、マーク１とマーク２の位置関
係から図５に示すように一意に決まることになる。そし
て、マーク３が存在してもよい位置は、図５に示す位置
を中心とした範囲となる。

【００２３】但し、入力装置１１１（スキャナ）の解像
度や紙送りの精度による誤差、また、帳票自体の紙の伸
び縮みが発生することによる誤差を考慮して、実際のマ
ーク１の探索範囲であるマーク１探索領域は図６のよう
にあらかじめ決定しておく。

【００２４】また、上下反転してスキャンされた場合に
早めに判定できるような順番でマークを検出する。

【００２５】以上のような条件の下、本実施形態で実行
される処理について説明する。

【００２６】まず、ステップＳ１０１で、入力装置１１
１で帳票を読み取り、読み取られた画像データを画像メ
モリとして機能するＲＡＭ１０３に格納する。次に、ス
テップＳ１０２で、マーク１探索領域に基づいて、マー
ク１を検出できたか否かを判定する。

【００２７】尚、マーク１を検出するための座標フォー
マット上では、図７に示すような領域が図６に示したマ
ーク１探索領域として、座標（Ｘ０，Ｙ０）を中心とし
た直径５の図形が標準の位置であるとし、マーク１を検
出する。この検出方法としては、例えば、図８に示すよ
うに、マーク１探索領域内をラスタスキャンすることで
マーク１の大きさや中心位置を求める。

【００２８】ステップＳ１０２で、マーク１を検出でき
た場合（ステップＳ１０２でＹＥＳ）、ステップＳ１０
５に進む。一方、検出できなかった場合（ステップＳ１
０２でＮＯ）、帳票画像が上下反転して入力された可能
性があるため、ステップＳ１０３に進み、座標フォーマ
ットを反転する。具体的には、図９に示すような画像デ
ータが入力されたとみなして座標フォーマットを上下反
転する。そして、図９に示すマーク１探索領域に基づい
て、マーク１を検出する。

【００２９】次に、ステップＳ１０４で、マーク１を検
出できたか否かを判定する。検出できた場合（ステップ
Ｓ１０４でＹＥＳ）、ステップＳ１０５に進む。一方、
検出できなかった場合（ステップＳ１０４でＮＯ）、帳
票の誤挿入や入力装置１１１のトラブルなどの理由で正
しく入力できていないと判断し、ステップＳ１１１で、
その後の処理を中止しオペレータにトラブルの発生を知
らせる。そして、処理を終了する。

【００３０】一方、ステップＳ１０２あるいはステップ
Ｓ１０４で、マーク１を検出できた場合、ステップＳ１
０５で、座標フォーマット上のマーク１の位置と検出さ
れた画像データ上のマーク１の位置のずれから、マーク
２探索領域を調整して決定する。具体的には、図１０に
示すように座標フォーマット上のマーク１と実際の画像
データ上のマーク１を重ねて、その位置のずれを調べ
る。このずれは、それぞれのマークの中心を求めて、そ
の位置から調べることができる。そして、その結果か
ら、マーク２探索領域を調整して決定すると、図１１の
ようになる。

【００３１】ステップＳ１０６で、決定されたマーク２
探索領域に基づいて、マーク２を検出できたか否かを判
定する。検出できた場合（ステップＳ１０６でＹＥ
Ｓ）、ステップＳ１０７に進む。一方、検出できなかっ
た場合（ステップＳ１０６でＮＯ）、帳票の誤挿入や入
力装置１１１のトラブルなどの理由で正しく入力できて
いないと判断し、ステップＳ１１１で、その後の処理を
中止しオペレータにトラブルの発生を知らせる。そし
て、処理を終了する。

【００３２】次に、ステップＳ１０７で座標フォーマッ
ト上のマーク１及びマーク２の位置と検出された画像デ
ータ上のマーク１及びマーク２の位置に基づいて、マー
ク３探索領域を調整して決定する。具体的には、図１２
に示すような位置に、マーク３探索領域が決定される。
ステップＳ１０８で、決定されたマーク３探索領域に基
づいて、マーク３を検出できたか否かを判定する。検出
できた場合（ステップＳ１０８でＹＥＳ）、ステップＳ
１０９に進む。一方、検出できなかった場合（ステップ
Ｓ１０８でＮＯ）、帳票の誤挿入や入力装置１１１のト
ラブルなどの理由で正しく入力できていないと判断し、
ステップＳ１１１で、その後の処理を中止しオペレータ
にトラブルの発生を知らせる。そして、処理を終了す
る。

【００３３】ステップＳ１０９で、座標フォーマット上
のマーク１及びマーク２及びマーク３の位置と検出され
た画像データ上のマーク１及びマーク２及びマーク３の
位置に基づいて、画像データのずれ及び歪みを獲得し、
画像データを補正する。この補正によって、例えば、座
標フォーマット上の帳票の文字枠の位置と、対応する画
像データ上の文字枠の位置が一致する。そして、ステッ
プＳ１１０で、補正された画像データに対し文字認識処
理を行う。

【００３４】以上説明したように、実施形態によれば、
定型フォームの帳票画像を入力して得られる画像データ
から、帳票画像上に配置されたマークに対応する画像デ
ータを検出することで、帳票画像が上下反転して入力さ
れたか否かを判定することができる。そのため、オペレ
ータの操作ミスを自動的に修正することができる。［変形例］上記実施形態において、帳票画像入力後の文
字認識処理を迅速かつ正確に行うことを優先したい場合
は、ステップＳ１０３、ステップＳ１０４の処理を省略
しても良い。このような構成にすることで、ステップＳ
１０９、ステップ１１０の処理をより早く実行すること
ができる。

【００３５】尚、本発明は、複数の機器（例えばホスト
コンピュータ、インタフェース機器、リーダ、プリンタ
など）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機、ファクシミリ装置な
ど）に適用してもよい。

【００３６】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００３７】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００３８】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭな
どを用いることができる。

【００３９】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００４０】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。

【００４１】

【発明の効果】以上説明したように、本発明によれば、
効率的かつ精度良く文字認識処理を実行することができ
る画像処理装置及びその制御方法、コンピュータ可読メ
モリを提供できる。

【図面の簡単な説明】

【図１】本発明の実施形態の画像処理装置の構成を示す
ブロック図である。

【図２】本発明の実施形態で実行される処理を示すフロ
ーチャートである。

【図３】本発明の実施形態の帳票画像の一例を示す図で
ある。

【図４】本発明の実施形態で実行される処理の具体例を
説明するための図である。

【図５】本発明の実施形態で実行される処理の具体例を
説明するための図である。

【図６】本発明の実施形態で実行される処理の具体例を
説明するための図である。

【図７】本発明の実施形態で実行される処理の具体例を
説明するための図である。

【図８】本発明の実施形態で実行される処理の具体例を
説明するための図である。

【図９】本発明の実施形態で実行される処理の具体例を
説明するための図である。

【図１０】本発明の実施形態で実行される処理の具体例
を説明するための図である。

【図１１】本発明の実施形態で実行される処理の具体例
を説明するための図である。

【図１２】本発明の実施形態で実行される処理の具体例
を説明するための図である。

【符号の説明】

１０１ＣＰＵ１０２ＲＯＭ１０３ＲＡＭ１０４入力Ｉ／Ｆ１０５出力Ｉ／Ｆ１０６ＫＢＤＩ／Ｆ１０７メインバス１０８ビデオＩ／Ｆ１０９表示部１１１入力装置１１２出力装置１１３マウス１１４キーボード１１５ポイティングデバイス

Claims

【特許請求の範囲】

【請求項１】入力された画像に対し文字認識を行う画
像処理装置であって、文字認識領域を決定するための第１位置検出用画像、第
２位置検出用画像、第３位置検出用画像を少なくとも有
する所定フォーマットの原稿画像を入力する入力手段
と、前記入力手段で入力された原稿画像上の位置検出用画像
を検出する検出手段と、前記検出手段の検出結果に基づいて、前記入力手段で入
力された原稿画像を補正する補正手段と、前記補正手段で補正された原稿画像に対し文字認識を行
う文字認識手段とを備えることを特徴とする画像処理装
置。
【請求項２】前記検出手段は、前記所定フォーマット
から決定される第１探索領域に基づいて、前記第１位置
検出用画像を検出することを特徴とする請求項１に記載
の画像処理装置。
【請求項３】前記検出手段は、前記第１探索領域に基
づいて、前記第１位置検出用画像が検出されない場合、
該第１探索領域の位置を反転させた補助第１探索領域に
基づいて、該第１位置検出用画像を検出することを特徴
とする請求項１に記載の画像処理装置。
【請求項４】前記第１位置検出用画像を検出した場
合、前記検出手段は、該第１位置検出用画像に基づい
て、前記第２位置検出用画像を検出することを特徴とす
る請求項１に記載の画像処理装置。
【請求項５】前記第１位置検出用画像及び前記第２位
置検出用画像を検出した場合、前記検出手段は、該第１
位置検出用画像及び該第２位置検出用画像に基づいて、
前記第３位置検出用画像を検出することを特徴とする請
求項１に記載の画像処理装置。
【請求項６】前記検出手段によって前記第１位置検出
用画像及び前記第２位置検出用画像及び前記第３位置検
出用画像が検出された場合、前記補正手段は、該第１位
置検出用画像及び該第２位置検出用画像及び該第３位置
検出用画像の位置関係に基づいて、前記原稿画像の傾き
を補正することを特徴とする請求項１に記載の画像処理
装置。
【請求項７】前記補正手段は、前記検出手段で検出さ
れた前記原稿画像上の第１位置検出用画像の位置と、前
記所定フォーマットから決定される第１検出用画像の位
置とを比較する比較手段を備え、前記比較手段の比較結果に基づいて、前記原稿画像を補
正することを特徴とする請求項１に記載の画像処理装
置。
【請求項８】入力された画像に対し文字認識を行う画
像処理方法であって、文字認識領域を決定するための第１位置検出用画像、第
２位置検出用画像、第３位置検出用画像を少なくとも有
する所定フォーマットの原稿画像を入力する入力工程
と、前記入力工程で入力された原稿画像上の位置検出用画像
を検出する検出工程と、前記検出工程の検出結果に基づいて、前記入力工程で入
力された原稿画像を補正する補正工程と、前記補正工程で補正された原稿画像に対し文字認識を行
う文字認識工程とを備えることを特徴とする画像処理方
法。
【請求項９】前記検出工程は、前記所定フォーマット
から決定される第１探索領域に基づいて、前記第１位置
検出用画像を検出することを特徴とする請求項８に記載
の画像処理方法。
【請求項１０】前記検出工程は、前記第１探索領域に
基づいて、前記第１位置検出用画像が検出されない場
合、該第１探索領域の位置を反転させた補助第１探索領
域に基づいて、該第１位置検出用画像を検出することを
特徴とする請求項８に記載の画像処理方法。
【請求項１１】前記第１位置検出用画像を検出した場
合、前記検出工程は、該第１位置検出用画像に基づい
て、前記第２位置検出用画像を検出することを特徴とす
る請求項８に記載の画像処理方法。
【請求項１２】前記第１位置検出用画像及び前記第２
位置検出用画像を検出した場合、前記検出工程は、該第
１位置検出用画像及び該第２位置検出用画像に基づい
て、前記第３位置検出用画像を検出することを特徴とす
る請求項８に記載の画像処理方法。
【請求項１３】前記検出工程によって前記第１位置検
出用画像及び前記第２位置検出用画像及び前記第３位置
検出用画像が検出された場合、前記補正工程は、該第１
位置検出用画像及び該第２位置検出用画像及び該第３位
置検出用画像の位置関係に基づいて、前記原稿画像の傾
きを補正することを特徴とする請求項８に記載の画像処
理方法。
【請求項１４】前記補正工程は、前記検出手段で検出
された前記原稿画像上の第１位置検出用画像の位置と、
前記所定フォーマットから決定される第１検出用画像の
位置とを比較する比較手段を備え、前記比較手段の比較結果に基づいて、前記原稿画像を補
正することを特徴とする請求項８に記載の画像処理方
法。
【請求項１５】入力された画像に対し文字認識を行う
画像処理のプログラムコードが格納されたコンピュータ
ー可読メモリであって、文字認識領域を決定するための第１位置検出用画像、第
２位置検出用画像、第３位置検出用画像を少なくとも有
する所定フォーマットの原稿画像を入力する入力工程の
プログラムコードと、前記入力工程で入力された原稿画像上の位置検出用画像
を検出する検出工程のプログラムコードと、前記検出工程の検出結果に基づいて、前記入力工程で入
力された原稿画像を補正する補正工程のプログラムコー
ドと、前記補正工程で補正された原稿画像に対し文字認識を行
う文字認識工程のプログラムコードとを備えることを特
徴とするコンピュータ可読メモリ。