JP2000322511A

JP2000322511A - 画像処理装置及びその方法、コンピュータ可読メモリ

Info

Publication number: JP2000322511A
Application number: JP11128908A
Authority: JP
Inventors: Hiroshi Tanioka; 宏谷岡; Izuru Horiuchi; 出堀内; Junnosuke Kataoka; 淳之介片岡; Makoto Kobayashi; 誠小林; Nagakazu Honda; 永和本田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1999-05-10
Filing date: 1999-05-10
Publication date: 2000-11-24

Abstract

(57)【要約】【課題】文字画像と中間調画像が混在する画像をより
高品位に再生することができる画像処理装置及びその方
法、コンピュータ可読メモリを提供する。【解決手段】入力された画像中の文字行を抽出する。
抽出された文字行から領域画像を切り出す。切り出され
た領域を文字認識する。認識された文字に対応する第１
画像信号を生成する。文字認識不能な領域画像に対する
第２画像信号を生成する。画像中の文字行以外の画像に
対する第３画像信号を生成する。第１画像信号、第２画
像信号、第３画像信号を合成して出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力された画像を
処理する画像処理装置及びその方法、コンピュータ可読
メモリに関するものである。

【０００２】

【従来の技術】文字認識技術は、近年のＣＰＵ及び半導
体の高速化によって低速複写機の複写速度程度において
は、略リアルタイムでの処理が可能である。また、近
年、複写原稿が殆どワードプロセッサ等で作成されるた
め、その認識精度も高まり、実用レベルに到達した。

【０００３】また、原稿中の文字サイズの認識及び文字
の認識技術に関して、例えば、特開昭６１−１０７８７
６等で開示される原稿の文字イメージ情報を認識したフ
ォントイメージ情報に変換して像再生する技術を用いれ
ば、原理的に繰り返される複写による画像劣化はなくな
る。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来の文字認識技術では、２値化した原稿画像全体から直
行する２方向の射影像を求め、平均的文字サイズを予測
し、該サイズで原稿全体を文字サイズに相当するメッシ
ュに分割する。そして、この分割され、切り出された文
字に対して文字認識を実行するために、原稿画像中に中
間調画画像が混在している場合、文字列を示す射影像が
この中間調画像によって乱されるため、メッシュが精度
良く認識することができないという問題点があった。

【０００５】また、文字認識不能な文字と一般中間調の
画像の一部との区別がつかないために、両者に対する出
力画像信号は同一となり、中間調画像品位を重視すれ
ば、認識不能文字の解像性が低下し、逆に認識不能文字
を重視すれば中間調画像の階調性が低下するという問題
点があった。

【０００６】本発明は上記の問題点に鑑みてなされたも
のであり、文字画像と中間調画像が混在する画像をより
高品位に再生することができる画像処理装置及びその方
法、コンピュータ可読メモリを提供することを目的とす
る。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像処理装置は以下の構成を備える。
即ち、入力された画像を処理する画像処理装置であっ
て、前記入力された画像中の文字行を抽出する抽出手段
と、前記抽出手段で抽出された文字行から領域画像を切
り出す切出手段と、前記切出手段で切り出された領域を
文字認識する文字認識手段と、前記文字認識手段で認識
された文字に対応する第１画像信号を生成する第１生成
手段と、前記文字認識手段で文字認識不能な領域画像に
対する第２画像信号を生成する第２生成手段と、前記画
像中の前記文字行以外の画像に対する第３画像信号を生
成する第３生成手段と、前記第１画像信号、前記第２画
像信号、前記第３画像信号を合成して出力する出力手段
とを備える。

【０００８】また、好ましくは、前記第１画像信号は、
前記文字に対応するフォントデータである。

【０００９】また、好ましくは、前記第２画像信号は、
単純２値化された画像信号である。

【００１０】また、好ましくは、前記第３画像信号は、
擬似中間調処理された画像信号である。

【００１１】また、好ましくは、前記文字認識手段は、
注目領域画像に隣接する文字行の境界に画素が存在する
か否かを判定する第１判定手段を備え、前記第１判定手
段の判定結果に基づいて、前記注目領域画像を文字認識
不能な領域画像と判定する。

【００１２】また、好ましくは、前記文字認識手段は、
注目領域画像内に存在する画素数に基づいて、該注目領
域画像が文字認識可能であるか否かを判定する第２判定
手段を備え、前記第２判定手段の判定結果に基づいて、
前記注目領域画像を文字認識不能な領域画像と判定する
を備える。

【００１３】また、好ましくは、前記文字認識手段は、
注目領域画像に隣接する領域画像が文字認識可能でない
場合、前記注目領域画像を文字認識不能な領域画像と判
定する。

【００１４】また、好ましくは、前記画像が多値画像信
号である場合、前記第２画像信号は、エッジ強調された
多値画像信号である。

【００１５】また、好ましくは、前記画像が多値画像信
号である場合、前記第３画像信号は、平滑化された多値
画像信号である。

【００１６】上記の目的を達成するための本発明による
画像処理方法は以下の構成を備える。即ち、入力された
画像を処理する画像処理方法であって、前記入力された
画像中の文字行を抽出する抽出工程と、前記抽出工程で
抽出された文字行から領域画像を切り出す切出工程と、
前記切出工程で切り出された領域を文字認識する文字認
識工程と、前記文字認識工程で認識された文字に対応す
る第１画像信号を生成する第１生成工程と、前記文字認
識工程で文字認識不能な領域画像に対する第２画像信号
を生成する第２生成工程と、前記画像中の前記文字行以
外の画像に対する第３画像信号を生成する第３生成工程
と、前記第１画像信号、前記第２画像信号、前記第３画
像信号を合成して出力する出力工程とを備える。

【００１７】上記の目的を達成するための本発明による
コンピュータ可読メモリは以下の構成を備える。即ち、
入力された画像を処理する画像処理のプログラムコード
が格納されたコンピュータ可読メモリであって、前記入
力された画像中の文字行を抽出する抽出工程のプログラ
ムコードと、前記抽出工程で抽出された文字行から領域
画像を切り出す切出工程のプログラムコードと、前記切
出工程で切り出された領域を文字認識する文字認識工程
のプログラムコードと、前記文字認識工程で認識された
文字に対応する第１画像信号を生成する第１生成工程の
プログラムコードと、前記文字認識工程で文字認識不能
な領域画像に対する第２画像信号を生成する第２生成工
程のプログラムコードと、前記画像中の前記文字行以外
の画像に対する第３画像信号を生成する第３生成工程の
プログラムコードと、前記第１画像信号、前記第２画像
信号、前記第３画像信号を合成して出力する出力工程の
プログラムコードとを備える。

【００１８】

【発明の実施の形態】以下、図面を参照して本発明の好
適な実施形態を詳細に説明する。

【００１９】図１は本実施形態の画像処理装置の機能構
成を示すブロック図である。

【００２０】原稿１００１は、画像読取部１００２のレ
ンズ１０１よりイメージセンサ１０２を通して画像信号
となる。次に、この画像信号がＡ／Ｄコンバータ１０３
に入力されてＡ／Ｄ変換された後、画像処理部１００３
に入力される。画像処理部１００３では、入力された画
像信号に対しシェーディング補正回路１０４でシェーデ
ィング補正を行った後、モード切替回路１０５へ入力す
る。

【００２１】モード切替回路１０５では、操作部１１６
による操作者の設定、つまり、認識複写モードであるか
通常複写モードであるかに基づいて出力先を切り替え
る。通常複写モードが設定された場合、光濃度変換回路
１０６で輝度データを記録濃度データに変換する。次
に、２値化部１２０で記録濃度データを２値化した後、
画像編集部１０７に出力する。画像編集部１０７では、
ＣＰＵ１１３内のＲＡＭ１１５に記憶されている画像処
理の設定内容に基づき、記録濃度データに対し編集処理
を行う。そして、その編集された記録濃度データを画像
記録部１００４に出力する。

【００２２】画像記録部１００４は、転写紙等の搬送を
行うモータ等の制御回路、画像処理部１００３より入力
されたビデオ信号を感光ドラムに書き込むレーザ記録回
路部、及び現像を行う現像制御回路で構成される記録部
１１７を有し、記録部１１７によって記録紙等の記録媒
体上に画像を記録する。

【００２３】一方、モード切替回路１０５で、認識複写
モードが設定された場合、モード切替回路１０５の出力
先は画像認識部４０００へと切り替えられる。画像認識
部４０００では、画像バッファメモリ１１８を使って、
原稿中の文字を認識し、認識結果である文字コードをフ
ォントデータに変換する。尚、画像認識部４の詳細につ
いては、後述する。

【００２４】また、操作部１１６は、画像処理部１００
３に対する画像編集内容、コピー枚数、変倍率等の画像
複写動作等を指示する各種キー群、各種ＬＥＤ群と、操
作時の内容を表示する表示部などを有している。

【００２５】次に、本実施形態の画像処理装置のハード
ウェア構成について、図２を用いて説明する。

【００２６】図２は本実施形態の画像処理装置のハード
ウェア構成を示す断面図である。

【００２７】図２において、１は原稿給送手段となる原
稿給送装置であり、載置された原稿を１枚ずつ或いは２
枚連続に原稿台ガラス面２上の所定位置に給送する。４
はランプ３、走査ミラー５等で構成されるスキャナであ
り、原稿給送装置１により原稿台ガラス面２に載置され
る。そして、操作部１１６から例えば複写指示や文字認
識指示を与えると、スキャナ４が所定方向（図示の左右
方向）に走査して原稿反射光を走査ミラー５〜７を介し
てレンズ８を通過させ、イメージセンサ部９に結像させ
る。

【００２８】１００は、図１に示した各種回路を搭載し
た制御部である。１０は露光部であり、制御部１００内
の画像編集部１０７からの画像データに基づいて画像信
号を発生する画像信号制御部（不図示）より画像信号を
受け、その画像信号に応じた光ビームを感光体１１に照
射する。１２、１３は現像器であり、感光体１１に形成
された静電潜像を所定色の現像剤（トナー）で可視化す
る。１４、１５は被転写紙積載部であり、定形サイズの
記録媒体を積載収納する。記録媒体は、給送ローラの駆
動によりレジストローラ配設位置まで給送され、感光体
１１に形成される画像との画像先端合わせタイミングを
とられた状態で再給紙される。

【００２９】１６は転写分離帯電器であり、感光体１１
に現像されたトナー像を記録媒体に転写した後、感光体
１１より分離して搬送ベルトを介して定着部１７で定着
させる。１８は排紙ローラであり、画像形成が終了した
記録媒体をトレー２０に積載排紙する。１９は方向フラ
ッパであり、画像形成の終了した被転写紙の搬送方向を
排紙口と内部搬送方向に切り替え、多重／両面画像形成
プロセスに備える。

【００３０】次に、本実施形態の操作部１１６の外観に
ついて、図３を用いて説明する。

【００３１】５００１は装置本体への通電を制御する電
源スイッチである。５００２はリセットキーであり、ス
タンバイ中は、標準モードに復帰させるキーとして動作
する。５００３はコピースタートキーである。５００４
はクリアキーであり、複写枚数等の数値をクリアすると
きに使用する。

【００３２】５００５はＩＤキーであり、このＩＤキー
５００５により特定の操作者に対して複写動作を可能に
し、特定の操作者以外の操作者に対しては、ＩＤキー５
００５によりＩＤを入力しない限り複写動作を禁止する
ことが可能となる。５００６はストップキーであり、コ
ピーを中断したり、中止したりするときに用いるキーで
ある。５００７はガイドキーであり、各機能を知りたい
ときに使用するキーである。

【００３３】５００８は上カーソルキーであり、各機能
設定画面においてポインタを上に移動させるキーであ
る。５００９は下カーソルキーであり、各機能設定画面
においてポインタを下に移動させるキーである。５０１
０は右カーソルキーであり、各機能設定画面においてポ
インタを右に移動させるキーである。５０１１は左カー
ソルキーであり、各機能設定画面においてポインタを左
に移動させるキーである。５０１２はＯＫキーであり、
各機能設定画面において、処理の確定を指示するキーで
ある。

【００３４】５０１３は指示キーであり、各機能設定画
面において画面５０５２の右下に出力された画像の内容
の実行を指示するキーである。５０１４は定形縮小キー
であり、定形サイズを他の定形サイズに縮小するときに
使用する。５０１５は等倍コピーキーであり、等倍コピ
ーを選択するときに使用する。５０１６は定形拡大キー
であり、定形サイズを他の定形サイズに拡大するときに
使用する。５０１７はカセット選択キーであり、コピー
するカセット段を選択するときに使用する。

【００３５】５０１８はコピー濃度調整キーであり、コ
ピー濃度を薄くするときに使用する。５０１９はＡＥキ
ーであり、原稿の濃度に対しコピー濃度を自動的に調整
するときに使用する。５０２０はコピー濃度調整キーで
あり、コピー濃度を濃くする。５０２１はソータの動作
を指定するキーである。５０２２は予熱キーであり、予
熱モードのＯＮ／ＯＦＦに使用する。５０２３は割り込
みキーであり、コピー中に割り込みしてコピーを行いた
いときに使用する。５０２４はテンキーであり、数値の
入力を行うときに使用する。

【００３６】５０２５はマーカー処理キーであり、トリ
ミング，マスキング，部分処理（輪郭処理，網処理，影
付け処理，ネガポジ処理）を設定する。５０２６はパタ
ーン可処理キーであり、色をパターン化して表現した
り、色を濃度差で表現したりするときに使用する。５０
２７は色消去キーであり、特定色を消去したいときに使
用する。５０２８は画質キーであり、画質の設定を行い
たいときに使用する。５０２９はネガポジキーであり、
ネガポジ処理を行うときに使用する。５０３０はイメー
ジクリエイトキーであり、輪郭処理，影付け処理，網処
理，斜体，ミラー処理，リピート処理を行うときに使用
する。

【００３７】５０３１はトリミングキーであり、エリア
を指定し、トリミングをするときに使用する。５０３２
はマスキングキーであり、エリアを指定し、マスキング
を行うときに使用する。５０３３は部分処理キーであ
り、エリアを指定し、その後、部分処理（輪郭処理，網
処理，影付け処理，ネガポジ処理）を行うときに使用す
る。５０３４は枠消しキーであり、モードに合わせて枠
消しを行うときに使用する。モードには、シート枠消し
（シートサイズに対して枠を作成する）、原稿枠消し
（原稿サイズに合わせて枠を作成する。原稿サイズ指定
有り）、ブック枠消し（ブックの見開きサイズに合わせ
て枠と中央に空白を作成する。ブック見開きサイズ指定
有り）がある。５０３５は綴じ代キーであり、用紙の一
端に綴じ代を作成したいときに使用する。

【００３８】５０３６は所望とする領域の画像を移動さ
せる移動キーであり、移動を行いたいときに使用する。
移動には、平行移動（上下左右），センター移動，コー
ナー移動，指定移動（ポイント指定）がある。５０３７
はズームキーであり、複写倍率を２５％〜４００％ま
で、１％刻みで設定できる。また、主走査，副走査を独
立に設定できる。尚、画像の変倍は、原稿の副走査方向
に関しては、スキャナ４の移動速度を制御することで行
ない、原稿の主走査方向に関しては、スキャナ４より読
出した画像データの間引き、或は補間処理で行う。

【００３９】５０３８はオート変倍キーであり、複写紙
のサイズに合わせて自動的に拡大縮小する。また、主走
査，副走査を独立にオート変倍できる。５０３９は拡大
連写キーであり、１枚の原稿を複数枚に拡大して複写を
行うときに使用する。５０４０は縮小レイアウトキーで
あり、複数の原稿を１枚に拡大縮小して複写を行うとき
に使用する。５０４３は連写キーであり、原稿台ガラス
面の複写領域を左右に２分割し、自動的に２枚のコピー
をする連続複写（ページ連写，両面連写）を行いたいと
きに使用する。５０４４は両面キーであり、両面（片面
両面，ページ連写両面，両面両面）の出力を行いたいと
きに使用する。

【００４０】５０４５は多重キーであり、多重（多重，
ページ連写多重）を行いたいときに使用する。５０４６
はメモリキーであり、メモリを使用したモード（メモリ
合成，エリア合成，すかし合成）を行いたいときに使用
する。５０４７はプロジェクタキーであり、プロジェク
タを使用するときに使用する。５０４８はプリンタキー
であり、プリンタ時の設定を行うときに使用する。５０
５０は、原稿混載キーであり、フィーダを使用してコピ
ーを取るとき原稿サイズが混載しているときに使用す
る。５０５１はモードメモリキーであり、複写設定され
た複写モードを登録するため、登録された複写モードを
呼び出すときに使用する。

【００４１】５０５２はタッチパネル付きの液晶表示器
であり、装置の状態，複写枚数，複写倍率，複写用紙サ
イズを表示し、認識複写モード或いは通常複写モードの
モード設定及び設定された複写モードの内容を表示す
る。

【００４２】次に、本実施形態の画像認識部４０００の
詳細構成について、図１を用いて説明する。

【００４３】まず、認識複写モード時では、２値化部１
２０は誤差拡散法による２値化処理部と一定閾値を用い
た単純２値化処理部を備え、両処理部を用いて光濃度変
換回路１０６からの記録濃度データをそれぞれ２値化
し、それらの２値化信号は画像バッファメモリ１１８に
蓄積される。一方、モード切替回路１０５からの輝度デ
ータは、像域分離部１１９に入力され、入力された輝度
データを画素毎に、注目画素が文字を構成する画素か否
かを判定し、その判定結果を示す属性判定信号（１ビッ
ト）を生成する。この属性判定信号も、画像バッファメ
モリ１１８に蓄積される。特に、像域分離部１１９で
は、一般に文字のエッジ部画素を文字部画素として検出
するため、例えば、８ポイント以下の小さい文字は濃度
に関わらずその文字を構成する全画素に対して文字部画
素を示す属性判定信号“１”を生成する。また、線幅が
太い大きな文字や線分に対しては、その輪郭部を構成す
る画素のみが文字部画素を示す属性判定信号として
“１”が生成される。

【００４４】ここで、像域分離部１１９は、例えば、特
開昭６２−１０７５７０等で開示される周知の像域分離
手法を用いることが可能である。具体的には、注目多値
画素信号をその周辺画素信号から得られる平均値で２値
化し、その２値化された２値化信号の２次元的連続性と
２値化時に得られる平均値と注目画素信号とのレベル差
から文字部を、他の網点中間調画像あるいは銀塩写真等
の連続中間調画像から識別分離する。

【００４５】画像バッファメモリ１１８に格納された画
像信号は、像域分離結果である属性判定信号に基づい
て、文字切出部１０８で、画像信号中の黒画素を直交す
る２方向へ射影し、そのヒストグラムから画像信号中の
行或いは列の存在を検出する。そして、検出された行或
いは列の方向により、画像信号全域を一定幅の行或いは
列に分割し、各行毎にその行内の各文字を切り出し、各
切り出された文字に対して順次その特徴量をベクトル算
出部１０９で算出する。認識制御部１１１に切り出され
た文字の特徴量が入力されると、認識制御部１１１が有
する認識辞書を用いて、その文字を認識する。尚、この
認識制御部１１１の処理の詳細については、後述する。
そして、出力された認識文字は、イメージデータ変換部
１１０に渡され、認識文字に対応するフォントデータに
変換される。

【００４６】次に、画像認識部４０００の処理フローに
ついて、図４を用いて説明する。

【００４７】図４は本実施形態の画像認識部の処理フロ
ーを示すフローチャートである。

【００４８】まず、ステップＳ１０９で、像域分離部１
１９は、入力された輝度データに対し、像域分離処理を
施し、その処理結果である属性判定信号を画像バッファ
メモリ１１８に蓄積する。尚、文字以外の画像部分で
は、属性判定信号“０”が各画素で得られるが、中間調
画像中のエッジ部等では、文字との誤判定画素が孤立し
て存在する。従って、ステップＳ１１０で、この文字と
孤立判定された誤判定画素（孤立判定画素）を除去す
る。これにより、略全ての画像に対して、その文字部の
みの画素に対して属性判定信号“１”が得られる。

【００４９】ステップＳ１００で、ステップＳ１１０の
処理によって得られる１ページ分の画像を画像バッファ
メモリ１１８に格納する。次に、ステップＳ１０１で、
画像バッファメモリ１１８に格納された画像に対し、属
性判定信号に基づいて、Ｘ，Ｙ方向の黒画素の射影を求
めてヒストグラムを作成する。

【００５０】例えば、図５に示すような画像が画像バッ
ファメモリ１１８に格納されている場合、つまり、画像
の構成として、上部に絵があり、その下部に横書き文書
が存在する画像に対して、属性判定信号に基づいてヒス
トグラムを作成すると、紙面縦方向のヒストグラムから
は行／列に相当する分離部分は存在しないが、紙面横方
向のヒストグラムからは紙面下部に横方向に行の存在が
検出でき、図６に示すような検出結果を得ることができ
る。即ち、両方向の黒画素のヒストグラムを所定閾値で
２値化し、一定周期の規則性が検出できれば、紙面に対
して行／列の存在が判定できる。また、図６の文字行の
部分をより詳細に示すと、図７のようになる。

【００５１】次に、ステップＳ１０３で、判定した行／
列に対し、平均行高さＧ／平均文字高さＶを決定する。
つまり、図７に示すように、横方向の黒画素ヒストグラ
ムからその平均周期Ｇが得られ、これが行間空白部を含
めた行高さとなる。また、平均文字高さＶも同様に得ら
れる。そして、ステップＳ１０４で、得られた平均行高
さＧを用いて、画像全体を帯状に分割する。図６の例で
は、Ｌ１からＬ２７の２７本の行に分割できる。

【００５２】次に、ステップＳ１０５で、分割された各
行が文字認識可能な認識行であるか否かを判定する。例
えば、図６の例では、行Ｌ１から行Ｌ１３及び行Ｌ２７
の行の場合、明らかに各行内には黒画素が存在しないの
で、文字以外の画像領域と判定する。一方、行Ｌ１６は
隣接する行Ｌ１５及び行Ｌ１７との境界に黒画素が存在
しないので、これらの行は認識行であると判定できる。
即ち、分割された帯状の領域が認識行であるか否かは、
その境界線上の黒画素の有無から容易に判定できる。こ
こで、行Ｌ１４，行Ｌ１５は平均的なサイズの文字行と
は異なる認識行であるが、この場合は認識対象から外
す。また、行Ｌ１，行Ｌ１３，行Ｌ２７は空白領域であ
ることも判定でき、この場合、白い画像領域として扱っ
ても良いし、あるいは空白文字の集合として扱うことも
可能である。

【００５３】次に、ステップＳ１０６で、各認識行から
切り出される文字に対して文字認識を行う。次に、ステ
ップＳ１０７で、認識文字をフォントデータに変換す
る。次に、ステップＳ１０８で、フォントデータと認識
行以外のイメージデータ（誤差拡散法による２値化処理
部で２値化された画像）とを合成する。従って、図１に
おいてイメージデータ変換部１１０は、対象行が認識行
の場合、認識制御部１１１で得られた認識文字からフォ
ントデータを展開すると共に、対象行がイメージデータ
の場合は、画像バッファメモリ１１８より誤差拡散法に
よる２値化処理部で２値化された画像信号を、夫々切り
替えて画像編集部１０７に出力する。

【００５４】以上の処理によって、図６の例の場合、行
Ｌ１３から行Ｌ２６までの各行が認識行となる。また、
認識行ではない各行内の画素に対しては、誤差拡散法で
２値化された画像信号を記録／表示のための画像信号と
して使う。

【００５５】次に、ステップＳ１０６で、各認識行から
切り出される文字に対して文字認識を行う。次に、ステ
ップＳ１０７で、認識文字をフォントデータに変換す
る。次に、ステップＳ１０８で、フォントデータと認識
行以外のイメージデータ（誤差拡散法による２値化処理
部で２値化された画像）とを合成する。従って、図１に
おいてイメージデータ変換部１１０は、対象行が認識行
の場合、認識制御部１１１で得られた認識文字からフォ
ントデータを展開すると共に、対象行がイメージデータ
の場合は、画像バッファメモリ１１８より２値化部１２
０で誤差拡散法によって２値化された画像信号を、夫々
切り替えて画像編集部１０７に出力する。

【００５６】次に、ステップＳ１０６の処理の詳細につ
いて、図８を用いて説明する。

【００５７】図８は本実施形態の図４のステップＳ１０
６の処理の詳細を示すフローチャートである。

【００５８】尚、図８の具体例として、図９を参照して
説明する。図９は、特に、図６の先頭行を更に拡大した
認識行（単純２値化した画像信号）を示している。

【００５９】まず、ステップＳ２００で、紙面縦（Ｙ）
方向に黒画素を射影してヒストグラム５５０を作成す
る。次に、ステップＳ２０１で、作成したヒストグラム
５５０より、認識行の先頭文字の左先端部を検出する。
この場合、認識行の左端から所定数以上黒画素が存在す
る画素列５５１が検出される。

【００６０】ステップＳ２０２で、文字Ｃｎの先端から
平均文字幅Ｈの列に黒画素があるか否かを判定する。黒
画素がある場合（ステップＳ２０２でＹＥＳ）、ステッ
プＳ２０４で、文字Ｃｎは半角であると判定する。一
方、黒画素がない場合（ステップＳ２０２でＮＯ）、文
字Ｃｎは全角であると判定する。

【００６１】尚、ステップＳ２０２の判定は、以下のよ
うに行う。即ち、通常漢字は縦横の比が略１：１である
ため、平均文字高さＶを使って、平均全角文字幅Ｈ（＝
Ｖ＋α αは定数）を定義する。画素列５５１から平均
全角文字幅Ｈ右に位置する列５５２上の黒画素数５５３
を評価する。即ち、文字Ｃ１が全角文字であるなら、列
５５２上は次の文字との隙間に位置しているため、黒画
素は存在しない。従って、認識行内の文字をその左端か
ら夫々平均全角文字幅Ｈ毎右に位置する列の黒画素数を
評価して、その文字が全角文字か否かを判定する。列５
５２では、黒画素が存在しないため、文字Ｃ１は全角と
判定される。一方、次の文字Ｃ２も同様にその左端から
平均全角文字幅Ｈに位置する列５５４上の黒ドットを評
価する。この場合、明らかに列５５４上に黒ドットが存
在するため、文字Ｃ２は全角文字でないと判定できる。
特に、本実施形態では、文字を全角と半角のどちらかに
識別するため、文字Ｃ２は半角と判定される。

【００６２】次に、ステップＳ２１１で、文字の字体を
全角あるいは半角のどちらかに識別した各領域、即ち、
全角の場合Ｈ＊Ｇ、半角の場合（Ｈ／２）＊Ｇ領域内の
文字画素の存在を判定する。文字画素が存在する場合
（ステップＳ２１１でＹＥＳ）、ステップＳ２０５に進
み、認識された文字のサイズに応じて、文字Ｃｎの認識
を行う。一方、文字画素が存在しない場合（ステップＳ
２１１でＮＯ）、ステップＳ２１３に進み、文字をイメ
ージデータとして中間調を表現できる誤差拡散法で２値
化した画像信号を選択する。

【００６３】ステップＳ２０６で、文字Ｃｎが認識可能
であるか否かを判定する。認識可能である場合（ステッ
プＳ２０６でＹＥＳ）、ステップＳ２０７で、認識され
た文字をフォントデータに展開して、新たなイメージデ
ータとして置き換える。一方、認識不可能である場合
（ステップＳ２０６でＮＯ）、ステップＳ２１２に進
み、文字をイメージデータとして単純２値化した画像信
号を選択する。

【００６４】次に、ステップＳ２０８で、認識行内の次
の文字の先端を検出する。ステップＳ２０９で、認識行
の終了であるか否かを判定する。終了でない場合（ステ
ップＳ２０９でＮＯ）、ステップＳ２０２に戻る。一
方、終了である場合（ステップＳ２０９でＹＥＳ）、処
理を終了する。

【００６５】例えば、図１０は、該当行の像域分離結果
を拡大したものであり、明らかに図９の文字Ｃ１から文
字Ｃ１０に対しては、その文字形状を保存した文字画素
判定結果が得られる。従って、この場合は、各文字に対
する認識は、その１文字分の領域内の画像データ（単純
２値化信号）を正規化し、認識辞書との比較によって行
う。一方、この行の後端部には絵が存在している。即
ち、図１０の後端部Ａ３０からＡ３４の部分には、孤立
判定画素を除去しても、数点の文字画素５６３が存在し
ている。従って、このような文字画素の画素数が所定値
以下である場合、、その１文字文の領域は非文字部分、
つまり、イメージデータとして中間調を表現できる誤差
拡散法で２値化した画像信号を選択する。尚、この領域
内に存在する図１１に示す単純２値化した画像信号であ
る画素５６２に対し、上述したステップＳ２０２の処理
を施した場合、殆どの領域が半角と判定されるが、中間
調の画像の濃度が淡い場合には、全角と判定される。こ
の場合、全角／半角のどちらかに判定する判定結果はど
ちらでも構わない。

【００６６】ここで、ステップＳ２０５の認識方法の一
例について、図１２を用いて説明する。

【００６７】図１２は本実施形態の認識方法の一例を説
明するための図である。

【００６８】図１２では、切出された文字［王］を認識
する場合の木構造の認識辞書を用いた例である。

【００６９】ここで、木構造の認識辞書における１つの
段のｉ番目のグループの標準パターンベクトル（特徴
量）を＊ｖi、切出された文字の入力ベクトルを＊ｕと
すると、ベクトル＊ｖiとベクトル＊ｕとの距離は、ｒ
をベクトルの次元数として、

【００７０】

【数１】で表される。そして、この木構造に沿い、前後の類似し
た標準パターン同士でグループ分けすることにより次段
が構成される複数段の各段において、各グループの標準
パターンと切出された文字との最短距離を求める。この
ようにして、最短距離を与えるグループを結ぶパスを形
成しながら、下り検索を行い、最終段で得られた最短距
離の文字候補（標準パターン）を認識文字として出力す
る。このようにして、各段において距離が最小となるグ
ループが選択されて、図１２に示す最終段の文字［王］
に至るパスが形成される。

【００７１】尚、得られた文字候補である標準パターン
ベクトルと切出された文字の入力ベクトルとの距離が一
定値を超える場合には、その文字候補を採用せず、認識
不能と判断して、切出された文字を、単純２値化された
イメージデータとして扱う。一方、認識できた場合、後
述する手順に従って、切り出された文字に対応するフォ
ントデータを新たな画像信号として置き換えると共に、
認識行内の次の文字の左端をヒストグラム５５０より検
出する。

【００７２】次に、認識された文字のフォントデータへ
の変換方法について、図１０、図１１、図１３を用いて
説明する。

【００７３】図１０は単純２値化された画像信号、図１
１は像域分離された画像信号、図１３は本発明によって
認識結果をフォントデータに変換した結果の例である。

【００７４】図１３は、特に、図９に示す認識行から切
出された文字Ｃ１から文字Ｃ１０を文字Ｂ１から文字Ｂ
１０として変換した例である。説明のため、フォントは
字体を丸ゴシックとし、サイズも少し小さめで表してい
る。フォントデータの展開は、各切出された文字の左上
端の点５６０，５６１を基準に対応するフォントデータ
を展開して配置する。従って、原稿の文字サイズより大
きなサイズで展開すれば、隣接する文字間が縮まり、更
に大きい場合は重なることになる。

【００７５】尚、被認識文字Ｃ６は認識不能であったと
想定した例であり、この場合、先に説明したように、切
出された文字Ｃ６がイメージデータとして扱われ、フォ
ントデータに展開された文字Ｂ１から文字Ｂ１０と共に
合成されることになる。また、行の後端部Ｃ３０、Ｃ３
１、Ｃ３２、Ｃ３３は誤差拡散法による２値化された画
像信号５６４が合成される。このように認識行中の切出
された文字の端部に、展開したフォントデータの端部を
合わせることにより、認識不能文字をイメージデータと
してそのまま用いてフォントデータ中に合成しても、自
然な文書として品位の高い画像信号を出力することがで
きる。

【００７６】以上説明したように、本実施形態によれ
ば、文字画素の存在する認識行に対して、切り出された
領域内の文字が認識可能であれば、対応するフォントデ
ータへ展開する。また、切り出された領域内の文字が認
識不能でも、像域分離処理によって領域内に文字が存在
することを識別し、その認識不能文字については最も解
像性の高い単純２値化された画像信号を選択し出力する
ことで、解像度が良好な画像を生成することができる。
更に、認識行の一部に存在する絵の部分は、像域分離処
理の処理結果に基づいて、中間調を表現できる誤差拡散
法で２値化された画像信号を選択し出力することで、良
好な階調表現を有する画像を生成することができる。

【００７７】上記実施形態では、図６で示した行Ｌ１
３、行Ｌ１４にまたがって存在する文字は通常の文字と
して文字認識を行うが、標準パターンと切出された文字
との最短距離が所定値を超えるため、認識不能文字とし
て扱われる。そして、行Ｌ１３、行Ｌ１４にまたがって
存在する文字は、図８で示した処理では、認識不能文字
となることは明らかである。そこで、図８のステップＳ
２１１の処理で切り出された領域、すなわち、全角なら
Ｈ＊Ｇ、半角なら（Ｈ／２）*Ｇの領域内の文字画素を
評価するだけでなく、特に、その横方向の（例えば、行
Ｌ１３と行Ｌ１４）の境界線上に文字画素が存在するか
否か判定する処理（図１４のステップＳ２１４）を行
い、境界線上に文字画素が所定値を超えて存在する場合
には、その領域内の文字を認識不能文字として、ステッ
プＳ２１２へ分岐すれば、より高速に認識不能文字の判
定を行うことができる。

【００７８】また、画像内の文字領域を分離する像域分
離方法は、上記実施形態に限定されず、例えば、画像内
の２値化ドット数、濃度勾配、濃度ヒストグラム等を用
いた他の方法を用いても実施可能である。

【００７９】また、入力原稿がカラー原稿に対しては、
色分解した３色信号から輝度信号を生成すれば、白黒画
像信号と同様に文字領域の認識が可能である。

【００８０】また、画像内のイメージ領域を誤差拡散法
で２値化した画像信号で出力したが、中間調が良好に表
現できる、例えば、多値擬似中間調処理、組織ディザ
法、パルス幅変調を想定した多値の画像信号で出力する
ようにしても良い。特に、多値信号として出力する場合
には、フォントデータは０と１の１ｂｉｔデータを、例
えば、０と２５５の８ｂｉｔデータとして出力し、認識
不能文字は原稿画像を読み取った時に得られる多値信号
にエッジ強調処理を施して出力し、中間調の絵の部分は
原稿画像を読み取った時に得られる多値信号に平滑化処
理を施して出力すれば、より高品位な画像を出力するこ
とができるられる。

【００８１】また、単純２値化された画像信号から文字
認識を行わずに、像域分離結果で得られる文字領域に対
し文字認識を実行し、それ以外の空白部分をイメージ領
域として処理すれば、イメージ領域を直接判定でき、か
つ文字領域のみの文字認識処理を実行すれば良いので、
処理を高速化できる。

【００８２】また、孤立判定画素を除去する構成とした
が、それ以外の画素で発生する文字画素の誤判定は、例
えば、認識行内から切り出された各領域に対する像域分
離処理において、隣接領域に挟まれる孤立した認識可能
文字領域は、文字以外の領域として判定を補正すれば良
い。例えば、図１０の領域Ａ３１は、その文字画素数に
よって文字と判定され、文字認識が実行されてしまう。
この場合、その文字認識結果には、該当文字が見つから
ず、結局、認識不能文字と判定される。その結果、図１
１のＣ３１の単純２値化された画像信号が出力される画
像信号、つまり、図１３のＢ３１の画像信号が選択され
てしまい、生成される画像が極めて見づらいものとなっ
てしまう。従って、図１０のＡ３１に隣接するＡ３０、
Ａ３２が共に非文字領域と判定された場合は、Ａ３０、
Ａ３２に挟まれるＡ３１も非文字領域と判定を補正す
る。

【００８３】尚、本発明は、複数の機器（例えばホスト
コンピュータ、インタフェース機器、リーダ、プリンタ
など）から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機、ファクシミリ装置な
ど）に適用してもよい。

【００８４】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【００８５】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００８６】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭな
どを用いることができる。

【００８７】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【００８８】更に、記憶媒体から読出されたプログラム
コードが、コンピュータに挿入された機能拡張ボードや
コンピュータに接続された機能拡張ユニットに備わるメ
モリに書込まれた後、そのプログラムコードの指示に基
づき、その機能拡張ボードや機能拡張ユニットに備わる
ＣＰＵなどが実際の処理の一部または全部を行い、その
処理によって前述した実施形態の機能が実現される場合
も含まれることは言うまでもない。

【００８９】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した図４、図８、図１４に示
すフローチャートに対応するプログラムコードが格納さ
れることになる。

【００９０】

【発明の効果】以上説明したように、本発明によれば、
文字画像と中間調画像が混在する画像をより高品位に再
生することができる画像処理装置及びその方法、コンピ
ュータ可読メモリを提供できる。

【図面の簡単な説明】

【図１】本実施形態の画像処理装置の機能構成を示すブ
ロック図である。

【図２】本実施形態の画像処理装置のハードウェア構成
を示す断面図である。

【図３】本実施形態の操作部の外観を示す図である。

【図４】本実施形態の画像認識部の処理フローを示すフ
ローチャートである。

【図５】本実施形態の画像及びヒストグラム作成結果の
一例を示す図である。

【図６】本実施形態の認識行の判定結果の一例を示す図
である。

【図７】本実施形態のヒストグラム作成結果の詳細を示
す図である。

【図８】本実施形態の図４のステップＳ１０６の処理の
詳細を示すフローチャートである。

【図９】本実施形態の認識行に施す処理を説明するため
の図である。

【図１０】本実施形態の認識方法の一例を説明するため
の図である。

【図１１】本実施形態のフォントデータへの変換方法を
説明するための図である。

【図１２】本実施形態の認識方法の一例を説明するため
の図である。

【図１３】本実施形態のフォントデータへの変換方法を
説明するための図である。

【図１４】本実施形態の画像認識部の処理フローの他の
例を示すフローチャートである。

【符号の説明】

１０１レンズ１０２イメージセンサ１０３ＡＤコンバータ１０４シェーディング補正回路１０５モード切替回路１０６光濃度変換回路１０７画像編集部１０８文字切出部１０９ベクトル算出部１１０イメージデータ変換部１１１認識制御部１１３ＣＰＵ１１４ＲＯＭ１１５ＲＡＭ１１６操作部１１７記録部１１８画像バッファメモリ１１９像域分離部１２０２値化部１００１原稿１００２画像読取部１００３画像処理部１００４画像記録部４０００画像認識部

フロントページの続き (72)発明者片岡淳之介東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者小林誠東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者本田永和東京都大田区下丸子３丁目30番２号キヤノン株式会社内Ｆターム(参考） 5B029 AA01 BB02 CC21 CC29 DD03 EE11 5B064 AA01 BA01 CA03 CA08 DC17 5C077 MP01 NN11 PP27 TT06

Claims

【特許請求の範囲】

【請求項１】入力された画像を処理する画像処理装置
であって、前記入力された画像中の文字行を抽出する抽出手段と、前記抽出手段で抽出された文字行から領域画像を切り出
す切出手段と、前記切出手段で切り出された領域を文字認識する文字認
識手段と、前記文字認識手段で認識された文字に対応する第１画像
信号を生成する第１生成手段と、前記文字認識手段で文字認識不能な領域画像に対する第
２画像信号を生成する第２生成手段と、前記画像中の前記文字行以外の画像に対する第３画像信
号を生成する第３生成手段と、前記第１画像信号、前記第２画像信号、前記第３画像信
号を合成して出力する出力手段とを備えることを特徴と
する画像処理装置。
【請求項２】前記第１画像信号は、前記文字に対応す
るフォントデータであることを特徴とする請求項１に記
載の画像処理装置。
【請求項３】前記第２画像信号は、単純２値化された
画像信号であることを特徴とする請求項１に記載の画像
処理装置。
【請求項４】前記第３画像信号は、擬似中間調処理さ
れた画像信号であることを特徴とする請求項１に記載の
画像処理装置。
【請求項５】前記文字認識手段は、注目領域画像に隣
接する文字行の境界に画素が存在するか否かを判定する
第１判定手段を備え、前記第１判定手段の判定結果に基づいて、前記注目領域
画像を文字認識不能な領域画像と判定することを特徴と
する請求項１に記載の画像処理装置。
【請求項６】前記文字認識手段は、注目領域画像内に
存在する画素数に基づいて、該注目領域画像が文字認識
可能であるか否かを判定する第２判定手段を備え、前記第２判定手段の判定結果に基づいて、前記注目領域
画像を文字認識不能な領域画像と判定するを備えること
を特徴とする請求項１に記載の画像処理装置。
【請求項７】前記文字認識手段は、注目領域画像に隣
接する領域画像が文字認識可能でない場合、前記注目領
域画像を文字認識不能な領域画像と判定することを特徴
とする請求項１に記載の画像処理装置。
【請求項８】前記画像が多値画像信号である場合、前
記第２画像信号は、エッジ強調された多値画像信号であ
ることを特徴とする請求項１に記載の画像処理装置。
【請求項９】前記画像が多値画像信号である場合、前
記第３画像信号は、平滑化された多値画像信号であるこ
とを特徴とする請求項１に記載の画像処理装置。
【請求項１０】入力された画像を処理する画像処理方
法であって、前記入力された画像中の文字行を抽出する抽出工程と、前記抽出工程で抽出された文字行から領域画像を切り出
す切出工程と、前記切出工程で切り出された領域を文字認識する文字認
識工程と、前記文字認識工程で認識された文字に対応する第１画像
信号を生成する第１生成工程と、前記文字認識工程で文字認識不能な領域画像に対する第
２画像信号を生成する第２生成工程と、前記画像中の前記文字行以外の画像に対する第３画像信
号を生成する第３生成工程と、前記第１画像信号、前記第２画像信号、前記第３画像信
号を合成して出力する出力工程とを備えることを特徴と
する画像処理方法。
【請求項１１】前記第１画像信号は、前記文字に対応
するフォントデータであることを特徴とする請求項１０
に記載の画像処理方法。
【請求項１２】前記第２画像信号は、単純２値化され
た画像信号であることを特徴とする請求項１０に記載の
画像処理方法。
【請求項１３】前記第３画像信号は、擬似中間調処理
された画像信号であることを特徴とする請求項１０に記
載の画像処理方法。
【請求項１４】前記文字認識工程は、注目領域画像に
隣接する文字行の境界に画素が存在するか否かを判定す
る第１判定工程を備え、前記第１判定工程の判定結果に基づいて、前記注目領域
画像を文字認識不能な領域画像と判定することを特徴と
する請求項１０に記載の画像処理方法。
【請求項１５】前記文字認識工程は、注目領域画像内
に存在する画素数に基づいて、該注目領域画像が文字認
識可能であるか否かを判定する第２判定工程を備え、前記第２判定工程の判定結果に基づいて、前記注目領域
画像を文字認識不能な領域画像と判定するを備えること
を特徴とする請求項１０に記載の画像処理方法。
【請求項１６】前記文字認識工程は、注目領域画像に
隣接する領域画像が文字認識可能でない場合、前記注目
領域画像を文字認識不能な領域画像と判定することを特
徴とする請求項１０に記載の画像処理方法。
【請求項１７】前記画像が多値画像信号である場合、
前記第２画像信号は、エッジ強調された多値画像信号で
あることを特徴とする請求項１０に記載の画像処理方
法。
【請求項１８】前記画像が多値画像信号である場合、
前記第３画像信号は、平滑化された多値画像信号である
ことを特徴とする請求項１０に記載の画像処理方法。
【請求項１９】入力された画像を処理する画像処理の
プログラムコードが格納されたコンピュータ可読メモリ
であって、前記入力された画像中の文字行を抽出する抽出工程のプ
ログラムコードと、前記抽出工程で抽出された文字行から領域画像を切り出
す切出工程のプログラムコードと、前記切出工程で切り出された領域を文字認識する文字認
識工程のプログラムコードと、前記文字認識工程で認識された文字に対応する第１画像
信号を生成する第１生成工程のプログラムコードと、前記文字認識工程で文字認識不能な領域画像に対する第
２画像信号を生成する第２生成工程のプログラムコード
と、前記画像中の前記文字行以外の画像に対する第３画像信
号を生成する第３生成工程のプログラムコードと、前記第１画像信号、前記第２画像信号、前記第３画像信
号を合成して出力する出力工程のプログラムコードとを
備えることを特徴とするコンピュータ可読メモリ。