JPH06208652A

JPH06208652A - 画像処理方法及び装置

Info

Publication number: JPH06208652A
Application number: JP5002697A
Authority: JP
Inventors: Masami Hisagai; 正己久貝
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-01-11
Filing date: 1993-01-11
Publication date: 1994-07-26

Abstract

(57)【要約】本発明は、画像として入力した文書の認識処理を行う際
に、画像情報から文字を切り出す文字きりだし処理を精
度良くし、認識率を高めることを目的としている。画像
情報を入力する時、原稿がスキャナに対して傾斜してい
る時、画像のヒストグラムをとると、近接した行が１行
として取り出されてしまい、その行の文字を切り出して
も上下に２文字含んだような文字枠が切り出されてしま
う。本発明は、そのように誤って切り出された文字枠
を、認識結果の相違度から判断し、文字枠を分割して再
度認識することにより、認識率を高めるものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力した画像情報から
文字部分を切り出すことのできる画像処理方法及び装置
に関するものである。

【０００２】

【従来の技術】従来、入力した画像情報から文字部分を
切り出す技術分野において、行方向に黒画素を計数して
黒画素のヒストグラムを求め、ヒストグラムの谷間にお
いて行と行の切れ目を検出して一行の画像データを取り
出す。次にこの一行の画像データを行と垂直の方向に黒
画素を計数してもう一方のヒストグラムを求め、該ヒス
トグラムの谷間で区切ることにより一個ずつの文字画像
を切り出していた。しかし、文書をイメージスキャナな
どに置いて読み取るとき文書が傾いて入力される場合、
行方向の各行のヒストグラムが重なるため、ヒストグラ
ムの行間の谷間が検出できず、二個以上の行が一個の行
として行切りだしされるなど、行の区切りが誤られるこ
とがあった。この対策として、入力画像を行と垂直な方
向に複数の短冊形領域に分割し、行方向の幅を短くする
ことによって行と行の重なりができることを防ぎ、各短
冊形領域ごとに行方向のヒストグラムを求めて、行の切
りだしを行っていた。

【０００３】

【発明が解決しようとする課題】しかしながら、前述の
従来の方法では、ある程度の文書傾斜に対処できるもの
の、傾斜が大きくなると分割した短冊形領域の中でも行
方向ヒスとグラムの重なりができてしまい、複数の行が
一個の行に切り出されてしまうことは避けられなかっ
た。本発明は、傾斜が大きくても文字の切り出しを正し
く行わしめるものである。

【０００４】

【課題を解決するための手段】上記従来の課題を解決す
るために、本発明は、画像情報を記憶し、前記記憶した
画像情報から文字枠を抽出し、前記抽出された文字枠の
文字画像から文字情報を認識し、前記認識された文字情
報の相違度から該文字情報が認識された文字枠の正誤を
判断することを特徴とする画像処理方法及び装置を提供
する。

【０００５】上記従来の課題を解決するために、本発明
は好ましくは、前記正誤の判断により誤っていると判断
される場合、前記抽出した文字枠を分割し、該分割した
新たな文字枠の文字画像から再度文字情報を認識する。

【０００６】

【実施例】図１は、本発明を表す実施例のハードウェア
ブロック図であり、１はＲＯＭ１０に格納された制御プ
ログラムに従って全体の制御・識別計算・文字切出し等
を行うＣＰＵ、２はアドレス／データバス、３は文書を
読み込み光電変換を行いイメージとして取り込むための
イメージスキャナ、４はイメージスキャナで読み込まれ
た文書イメージを記憶したりＣＰＵ１の作業領域となる
メモリとしてのＲＡＭ（ランダムアクセスメモリ）、５
は文字画像から特徴を抽出する特徴抽出部、６および７
は詳細識別に使われる標準パターンを記憶している詳細
辞書１・２、８は文書イメージや認識結果等を表示する
ディスプレイの表示部、９は表示部８の任意の位置を指
定するポインティングデバイス、１０は後述するフロー
チャートに示すようなＣＰＵ１の処理手順を格納してい
るＲＯＭ（リードオンリーメモリ）、１１は大まかに候
補文字を絞り込む処理を行う大分類部、１２は大分類で
使用される標準パターンを記憶している大分類辞書、１
３は文書イメージや認識結果等を保存する外部記憶部、
１４はＣＰＵに指示を与えるコマンドや種々のデータを
入力するためのキーボード、１５は文書イメージや認識
結果等を印刷するプリンターである。

【０００７】次に図２のフローチャートに従って本実施
例の処理を説明する。まず、最初は前処理である。ステ
ップＳ２１０ではイメージスキャナ３にセットされた文
書を画像データとして読取り、光電変換・２値化を行っ
てビットマップのイメージデータ（文書イメージと呼
ぶ）にしてＲＡＭ４に記憶させる。ステップＳ２２０で
は読み込まれた文書イメージを表示部８に表示する。ス
テップＳ２３０ではディスプレイ８を見ながらキーボー
ド１４とポインティングデバイス（以下ＰＤと呼ぶ）を
使って位置を指定し、ノイズ等文書イメージの不要な部
分を消去する。ステップＳ２４０では文字認識を行う領
域・画像処理を行う領域のブロックを指定する。指定は
ＰＤを使って所望のブロックをＰＤのドラッグ操作によ
り囲んで行う。ステップＳ２５０では領域ごとに処理モ
ードの設定を行う。処理モードとは、領域をどう処理す
るか（文字認識・画像圧縮など）や処理する条件の情報
である。処理条件は、文字認識の場合縦組／横組、改行
コードの入れ方（各行に入れる・段落ごとに入れる・全
く入れない）、認識対象字種（日本語・英数字）、詳細
辞書（どの辞書を使用するか）、の指定がありうる。ま
た画像圧縮の場合であれば圧縮手法の選択（ＭＭＲ、Ｍ
Ｈ、ＭＲ、それ以外）がありうる。ステップＳ２６０で
は画像圧縮のモードを設定された領域について、圧縮処
理を行いイメージを符号化して符号化データをＲＡＭ４
に一時記憶する。

【０００８】ステップＳ２７０から文字切出し処理とな
る。ステップＳ２７０では文字認識のモードの領域（イ
メージデータ）について文字切出し処理を行う。その方
法は、行方向の黒画素のヒストグラムをとってヒストグ
ラムの谷間で行の切れ目とし、各行について行と垂直方
向に黒画素のヒストグラムをとってヒストグラムの谷間
で文字の切れ目とするよく使われている公知の方法であ
る。本実施例では、まずすべての行切り出し処理を行っ
てしまい、そして一つの行について文字切りを行う。文
字切りされた文字についての文字切り枠の座標データは
ＲＡＭ４に記憶される。文字切り枠の座標データとは一
つの文字を囲む矩形の左上の頂点座標（ｘ，ｙ座標）と
横辺の長さ・縦辺の長さである。

【０００９】ステップＳ２８０から特徴抽出処理とな
る。ステップＳ２８０では、文字画像から特徴抽出を行
い特徴ベクトルを求める。これは、ＣＰＵ１がＲＡＭ４
にある文書イメージからステップＳ２７０で求められた
文字切り枠の座標データを基にして文字画像１個を取り
出して特徴抽出部５の中にある不図示の文字バッファに
転送し、加重方向ヒストグラムなる特徴ベクトルを特徴
抽出部５が求め前記文字バッファに一旦格納した後、Ｃ
ＰＵ１に制御を渡しＣＰＵ１がＲＡＭ４に特徴ベクトル
を記憶する。ここで、特徴抽出部５の内部については詳
細を述べないが、例えばマイクロプロセッサで処理する
方法を取れば良い。得られた特徴ベクトルをＸ_i（ｉ＝
１，２，・・・，ｎ）とする。ベクトルの次元数ｎは、
特許公報平２−５９５０７では７２となる。

【００１０】ステップＳ２９０は大分類処理である。大
分類辞書１２には各文字ごとに一定数個（十分大きな
数、例えば５００個）のサンプル文字画像から求められ
た特徴ベクトルの平均値（平均特徴ベクトルと呼ぶ）が
あらかじめ文字コードと対応させられて記憶されてい
る。文字ｓに対する文字コードをｃ（ｓ）、平均特徴ベ
クトルをｍ_i（ｓ）（ｉ＝１，２，・・・，ｎ）とする
と、ｃ（ｓ）とｍ_i（ｓ）（ｉ＝１，２，・・・，ｎ）
の対応テーブルが大分類辞書１２に記憶されている。こ
こでｓは文字につけられたシーケンシャルな番号で、ｓ
＝１，２，・・・，Ｎとしこれらのｓ個の文字の集合を
認識対象文字セットと呼ぶ。Ｎは例えばＪＩＳ第一水準
漢字と非漢字を含む規模の３５００である。ステップＳ
２９０ではＳ２７０で文字切りされた文字画像と認識対
象文字セットの内のすべての文字との間で、特徴ベクト
ルＸ_iと平均特徴ベクトルｍ_i（ｓ）の次式で定義される
ユークリッド距離Ｄ（ｓ）を計算し、

【００１１】

【外１】Ｄ（ｓ）が昇順になるように認識対象文字セットをソー
トして上位５０個の文字について文字番号ｓと文字コー
トｃ（ｓ）と距離値Ｄ（ｓ）をＲＡＭ４に記憶する。こ
れらの５０個の文字を候補文字セットと呼ぶ。

【００１２】ステップＳ３００とステップＳ３１０にお
いて詳細識別処理をする。詳細辞書１と詳細辞書２はそ
れぞれ詳細識別１、詳細識別２で使用される識別辞書
で、それぞれ認識対象文字セットすべての文字について
文字コードｃ（ｓ）と標準パターンψ（ｓ）の対応テー
ブルを含む。ここでは詳細辞書１は明朝体用の、詳細辞
書２はゴシック用の詳細辞書である。標準パターンψ
（ｓ）は、平均特徴ベクトルｍ_i（ｓ）、固有ベクトル
φ_ij（ｓ）、固有値λ_j（ｊ＝１，２，・・，ｋ）のす
べての総称である。固有ベクトルφ_ij（ｓ）、固有値λ
_j（ｊ＝１，２，・・，ｋ）は、特許公報平２−５９５
０７で定義されているものである。ただし、詳細辞書１
は明朝体の学習サンプルから求められた標準パターン
を、詳細辞書２はゴシック体の学習サンプルから求めら
れた標準パターンを記憶している。ｋは３とする。さ
て、ステップＳ３００ではＳ２７０で文字切りされた文
字と候補文字セットのすべてに対して、詳細辞書１の各
データを用い疑似ベイズ識別式Ｂ₁（ｓ）を計算し、Ｂ₁
（ｓ）値の昇順にソートし上位１０個の文字の文字番号
ｓと文字コードｃ₁（ｓ）と識別値Ｂ₁（ｓ）をＲＡＭ４
に記憶し、後で使用するチェック候補フラグ領域および
書体コード領域を確保する。同様にステップＳ３１０で
もＳ２７０で文字切りされた文字と候補文字セットのす
べてに対して、詳細辞書２の各データを用い疑似ベイズ
識別式Ｂ₂（ｓ）を計算し、Ｂ₂（ｓ）値の昇順にソート
し上位１０個の文字の文字番号ｓと文字コードｃ
₂（ｓ）と識別値Ｂ₂（ｓ）をＲＡＭ４に記憶し、後で使
用するチェック候補フラグ領域および書体コード領域を
確保する。図３は１文字についてのこれらの識別結果の
データのＲＡＭ４におけるデータ形式を説明している。
詳細識別１と詳細識別２についてそれぞれ図３のデータ
を別々に持っている。

【００１３】ステップＳ３１１で上下文字分割判定処理
をする。ステップＳ２７０で行の切りだしを行った際、
ステップＳ２１０で読込んだ画像の文書が傾斜していて
連続する二行分を一行とみなしてしまい図４のように誤
ってある行の文字とその下の行の文字が一個の文字と見
なされてしまった場合の、文字を上下に分割し直す処理
を、ステップＳ３１１とステップＳ３１２で説明する。

【００１４】まず、ＲＡＭ４に記憶してある詳細識別１
及び詳細識別２の各々の結果データ（図３）を呼び出
す。そして、詳細識別１で求められた第一候補の識別値
Ｂ₁（ｓ₁）とあらかじめ決まった所定のしきい値Ｒ
₁（ｓ₁）（リジェクトしきい値）と比較する。また、詳
細識別２で求められた第一候補の識別値Ｂ₂（ｐ₁）とあ
らかじめ決まった所定のしきい値Ｒ₂（ｐ₁）（リジェク
トしきい値）と比較する。ここでｓ₁とｐ₁は、それぞれ
詳細識別１第一候補と詳細識別２の第一候補の文字番号
である。リジェクトしきい値Ｒ_i（ｓ₁）（ｉ＝１，２）
は「識別結果が正しいための識別値の最下限値」であ
り、詳細識別ごと認識対象文字セットの各文字ごとにあ
らかじめ実験的に決定し、それぞれの詳細識別辞書１・
２に各文字番号に対応させて記憶しておくものとする。
一方、Ｓ２７０で求めた文字切り枠の縦辺と横辺との比
のパーセント表示Ｌと所定のしきい値（変形率と呼ぶ）
Ｌ₀とを比較する。Ｌ₀は、たとえば１７０とする。さ
て、前記の比較の結果、Ｂ₁（ｓ₁）＞Ｒ₁（ｓ₁）かつＢ₂（ｐ₁）＞Ｒ₂（ｐ₁）・・・（式−２）が成立し、なおかつ、Ｌ＞Ｌ₀ ・・・（式−３）が成立したならば、図４で示されるような上下の文字が
一つの文字として文字切りされたとみなし、上下に再分
割すべきものと判定する。そして次のステップＳ３１２
へいく。（式−２）と（式−３）がともには成立しない
ならば文字切りは正しかったものとして、ステップＳ３
２０へいく。

【００１５】ステップＳ３１１で文字切りが正しくな
く、分割すべきと判定された場合、ステップＳ３１２で
は、以下のように文字画像の再分割をする。Ｓ２７０で
求められた文字切り枠の座標データ（頂点座標（ｘ，ｙ
座標）と横辺の長さ・縦辺の長さ）より、文字切り枠内
の画像について、横方向（行方向）に黒画素のヒストグ
ラムを求める。そして、ヒストグラムの谷間の位置で行
方向に文字切り枠を上下に分け、上側の矩形の枠を新し
い文字切り枠とし、その座標データ（頂点座標（ｘ，ｙ
座標）と横辺の長さ・縦辺の長さ）を求めて、ＲＡＭ４
の座標データを訂正する。下側の画像部分については、
文字切りが未処理の文書イメージの部分として残してお
く。そしてステップＳ２８０へ戻り、再び特徴抽出から
詳細識別をやり直す。

【００１６】ステップＳ３２０では、それぞれの書体
（明朝体・ゴシック体）に対して求められた疑似ベイズ
識別式Ｂ_i（ｓ）（ｉ＝１，２）を第一位候補のものに
ついて比較し疑似ベイズ識別式の値の小さい書体の方を
書体判別の結果とし、判別されて正しいとした書体に対
応する詳細識別の識別結果データをＲＡＭ４のべつの領
域にコピーしかつその書体コードに明朝体ならば０をセ
ットしゴシック体ならば１をセットする。このコピーさ
れた識別結果データを、以後認識データと呼ぶ。

【００１７】ステップＳ３３０でチェック候補判定処理
をする。詳細識別辞書１・２は、認識対象文字セットの
各文字について前記の文字コードｄ（ｓ）と標準パター
ンψ（ｓ）のほかに信頼度判定しきい値Ｗ_i（ｓ）（ｉ
＝１，２）を対応させて含んでいるものとする。信頼度
判定しきい値Ｗ_i（ｓ）は、次のことが成り立つように
あらかじめ実験的にさだめることが可能である。文字ｓ
が第一位候補となった場合、文字ｓの識別値Ｂ_i（ｓ）
と第二位候補の文字ｐの識別値Ｂ_i（ｐ）との差を δ_i（ｓ）＝Ｂ_i（ｐ）−Ｂ_i（ｓ）（式−４）とし、これを候補識別値差と呼ぶとき、候補識別値差δ
_i（ｓ）が信頼度判定しきい値Ｗ_i（ｓ）より大きければ
第一位候補が確定的に正しいとみなし、候補識別値差δ
_i（ｓ）が信頼度判定しきい値Ｗ_i（ｓ）より大きくなけ
れば第一位候補は信頼性に乏しいとみなし、あとで何か
の手段で認識結果の正当性を再チェックすべきものとす
る「チェック候補」だと判定する。ステップＳ３３０で
はこのことを判定し、前記ＲＡＭ４に確保したチェック
候補フラグ領域に、チェック候補ならば１をセットし、
チェック候補でなければ０をセットする。ステップＳ２
８０からＳ３３０までの処理をステップＳ２７０で文字
切りした一行分の文字画像について行う。そして、ステ
ップＳ２７０へ戻り次の行について文字切出しを行って
ステップＳ２８０からＳ３３０までの処理を繰り返し、
文字切出し・文字認識を行っていない行がなくなればス
テップＳ３４０へいく。

【００１８】ステップＳ３４０はテキスト作成、ステッ
プＳ３５０はテキスト表示処理である。ステップＳ３４
０ではＲＡＭ４に記憶してある認識データ（図３）から
第一位候補のみを取りだし構造体型配列Ｚ〔ｒ〕（ｒ＝
１，２，・・，ｕ；ｕは文字の個数）を創り出す。この
とき第一位候補の文字コードおよびその文字コードに対
応する認識データを指し示すアドレスポインタの２個の
要素を一つの配列データとする構造体型配列Ｚ〔ｒ〕を
生成する。したがって、第一位候補に付随する識別値・
チェック候補フラグ・書体コードのほか第二位以下の候
補についてのそれらの情報も入力文字のシーケンス番号
ｒが決まれば容易に求めることができる。次にステップ
Ｓ３５０では、Ｚ〔ｒ〕から文字コードを参照して対応
する文字のフォントを不図示のキャラクタジェネレータ
から生成して表示部８に順番に表示する。このとき、Ｚ
〔ｒ〕のアドレスポインタから認識データのチェック候
補フラグをみてフラグが１ならば文字の色を赤色にて表
示し、フラグが０ならば白色で表示する。なお、表示部
の背景色は黒色であり、認識結果のテキスト表示部分は
表示部全体の概ね半分の面積を占める。あとの半分の表
示部にはＳ２３０で表示した文書イメージの表示が残っ
ている。そして、ステップＳ２７０で求めた文字切り枠
の座標データより文字枠を文書イメージに重ねて線描画
する。

【００１９】ステップＳ３６０で候補入れ替え、ステッ
プＳ３７０で文書保存処理をする。ステップＳ３６０で
は、正当性のチェックはチェック候補が他と区別し易い
ので容易に行われて、オペレータが誤認識した文字を発
見したならば、ＰＤでその部分をクリックする。そうす
るとＺ〔ｒ〕のアドレスポインタから認識データの情報
から候補文字を並べて表示部に表示する。オペレータは
その候補文字のなかから正しい文字をＰＤで選択する
と、表示されていた認識結果の文字が選択された候補文
字と入れ替わる。ステップＳ３７０では、以上のように
チェックが終了したならば、表示されている認識結果の
データを文字コード列として外部記憶部１３へ出力す
る。

【００２０】以上の説明では、文字列の組方向を横書き
と仮定していたが、縦組の文章でも同様に行われ得るこ
とは「行の上下」を「行の左右」としても同様の効果を
得られることは明らかである。

【００２１】

【発明の効果】本発明によれば、大きな文書の傾きがあ
っても、正しく文字切出しを行えるので文字認識の精度
を高められ、イメージスキャナのスキュー性能に依らな
いで文書読取りが効率良く実施できる。

【図面の簡単な説明】

【図１】実施例のハードウェアブロック図。

【図２】実施例の動作を説明するフローチャート。

【図３】識別結果のデータの記憶形式を説明する図。

【図４】誤文字切り出しの例示図。

Claims

【特許請求の範囲】

【請求項１】画像情報を記憶し、前記記憶した画像情報から文字枠を抽出し、前記抽出された文字枠の文字画像から文字情報を認識
し、前記認識された文字情報の相違度から該文字情報が認識
された文字枠の正誤を判断することを特徴とする画像処
理方法。
【請求項２】前記正誤の判断により誤っていると判断
される場合、前記抽出した文字枠を分割し、該分割した新たな文字枠の文字画像から再度文字情報を
認識することを特徴とする請求項１に記載の画像処理方
法。
【請求項３】画像情報を記憶する記憶手段と、前記記憶した画像情報から文字枠を抽出する文字枠抽出
手段と、前記抽出された文字枠の文字画像から文字情報を認識す
る認識手段と、前記認識された文字情報の相違度から該文字情報が認識
された文字枠の正誤を判断する判断手段とを有すること
を特徴とする画像処理装置。
【請求項４】前記判断手段により誤っていると判断さ
れる場合、前記抽出した文字枠を分割する文字枠分割手
段と、該分割した新たな文字枠の文字画像から再度文字情報を
認識するよう制御する制御手段とを有することを特徴と
する請求項３に記載の画像処理装置。