JPH1021330A - 文書画像処理方式 - Google Patents

Abstract

(57)【要約】 【課題】 誤った読み順をそのまま出力することを防止
しまたは防止可能な文書画像処理方式を提供する。 【解決手段】 画像入力処理部１で文書の画像データ読
み込み、文字列方向設定処理部２で文書中の文字列の方
向を設定する。文字ブロック抽出処理部３は文書画像デ
ータを解析して文字ブロックを抽出し、初期状態設定処
理部４において、文字ブロックを複数の並べ方で並べて
初期状態を設定する。それぞれの初期状態から出発し、
読み順推定処理部５は文字ブロックの読み順を推定して
読み順を並べ替える。信頼性判定処理部６は、並べ替え
られたそれぞれの読み順を比較し、推定した読み順の信
頼性を判定する。判定した読み順の信頼性に応じて、最
終結果出力処理部７は出力情報を変えて出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文書画像から抽出
した文字ブロックの読み順を推定して、その結果を出力
する文書画像処理方式に関するものである。

【０００２】

【従来の技術】従来、文書画像処理において文書画像中
の文字ブロックの読み順を推定する方法としては、例え
ば、特開平３−２６９６８９号公報に記載されている方
法がある。この方法では、文字ブロックを座標値の大小
によって並べ、任意の２つの文字ブロックの読み順を判
定して読み順に並べ換える処理を複数回反復することに
よって全ての文字ブロックを読み順に並べ換え、その読
み順を出力する。

【０００３】このような従来の方法によると、文字ブロ
ックの位置関係に従って文字ブロックの読み順を推定し
た結果が必ず出力される。しかしながら、文字ブロック
の位置関係によっては文字ブロックの位置関係から読み
順を推定することが困難な場合があり、そのような場合
には誤った読み順を出力する恐れが生じるという問題が
ある。

【０００４】

【発明が解決しようとする課題】本発明は、上述した事
情に鑑みてなされたものであり、誤った読み順をそのま
ま出力することを防止しまたは防止可能な文書画像処理
方式を提供することを目的とするものである。

【０００５】

【課題を解決するための手段】請求項１に記載の発明
は、文書の画像データから１以上の文字を含む文字ブロ
ックを抽出し、該文字ブロックの読み順を推定する文書
画像処理方式において、前記画像データ中の前記文字ブ
ロックを抽出する文字ブロック抽出処理手段と、抽出し
た前記文字ブロックを異なる複数の並べ方で並べて複数
の読み順の初期状態とする初期状態設定処理手段と、前
記各初期状態の読み順中のすべての文字ブロックを推定
した読み順に並べ替える読み順推定処理手段と、該読み
順推定処理手段により推定した読み順を相互に比較して
推定した読み順の信頼性を判定する信頼性判定処理手段
を備えることを特徴とするものである。

【０００６】請求項２に記載の発明は、請求項１に記載
の文書画像処理方式において、さらに、前記画像データ
中の文字列の方向を設定する文字列方向設定処理手段を
有し、前記読み順推定処理手段は、前記文字列方向設定
処理手段によって設定された文字列の方向に従って文字
ブロックの読み順を推定することを特徴とするものであ
る。

【０００７】請求項３に記載の発明は、請求項１または
２に記載の文書画像処理方式において、前記信頼度判定
処理手段により判定された信頼性に応じて異なる情報を
出力する最終結果出力処理手段をさらに備えることを特
徴とするものである。

【０００８】

【発明の実施の形態】図１は、本発明の文書画像処理方
式の実施の一形態を示すブロック図である。図中、１は
画像入力部、２は文字列方向設定処理部、３は文字ブロ
ック抽出処理部、４は初期状態設定処理部、５は読み順
推定処理部、６は信頼性判定処理部、７は最終結果出力
処理部である。

【０００９】画像入力処理部１は、処理を行なう文書画
像を入力する。例えば、スキャナなどによって文書を読
み取ってもよいし、ネットワークや回線を通じて、ある
いは他のソフトウェアなどから取得してもよい。文字列
方向設定処理部２は、文書画像中の文字列が横書きであ
るか縦書きであるかを設定する。例えば、使用者が横書
きか縦書きかを指示する。あるいは射影などを用いて自
動的に判定してもよい。文字ブロック抽出処理部３は、
文書画像中に存在する文字ブロックを抽出する。例え
ば、特開平２−２６３２７２号公報に記載されているよ
うに、文字ブロックを自動的に抽出することができる。
または、文書画像をディスプレイに表示し、使用者がマ
ウス等を用いて文字ブロックの位置を指示してもよい。
初期状態設定処理部４は、文字ブロック抽出処理部３で
抽出した文字ブロックを複数の並べ方で並べ、その並び
順をそれぞれ初期状態として設定する。読み順推定処理
部５は、初期状態設定処理部４で設定されたそれぞれの
初期状態について、その初期状態を出発点として文字ブ
ロックの並び順を推定した読み順に並べ替える。信頼性
判定処理部６は、読み順推定処理部５で並べ替えた複数
の読み順を相互に比較し、並べ替えた読み順の信頼性を
判定する。最終結果出力処理部７は、信頼性判定処理部
６による信頼性の判定結果に応じて、文字ブロックの読
み順、または、推定した結果の信頼性を表す情報を最終
的な処理結果として出力する。

【００１０】画像入力処理部１から文書画像の画像デー
タが入力されると処理を開始する。文字列方向設定処理
部２で文字列の方向が設定される。文字ブロック抽出処
理部３は、画像入力処理部１で入力された文書画像から
文字ブロックを抽出する。このとき、文字ブロックの位
置も抽出されている。抽出された文字ブロックについ
て、初期状態設定処理部４で少なくとも２通りの並べ方
で並べる。その並び順をそれぞれ初期状態として、読み
順推定処理部５が文字ブロックの並び順を推定した読み
順に並べ替える。並べ替えられた複数の読み順は、信頼
性判定処理部６において信頼性が判定される。その信頼
性の判定結果に応じて、最終結果出力処理部７は、文字
ブロックの読み順、または、推定した結果の信頼性を表
わす情報を最終的な処理結果として出力する。

【００１１】初期状態設定処理部４から最終結果出力処
理部７における処理内容を、具体例を用いて詳細に説明
する。図２は、処理対象とする文書画像の一例の説明
図、図３は、図２に示す文書画像を処理対象とした場合
の初期状態から並べ替え終了までの文字ブロックの並べ
替えの手順の説明図である。図中のａ１〜ａ４、ｂ１〜
ｂ４は、それぞれ文字ブロック抽出処理部３で抽出され
た文字ブロックである。また、図３（Ａ），（Ｂ）は、
それぞれ図２（Ａ），（Ｂ）に示す文書画像を処理対象
とした場合の文字ブロックの並び順の処理過程を示して
いる。

【００１２】図２（Ａ）に示した文書画像には文字ブロ
ックａ１〜ａ４が存在し、図２（Ｂ）に示した文書画像
には文字ブロックｂ１〜ｂ４が存在している。ここで
は、全て横書きであるとする。文字ブロックの位置は、
文書画像の左上端を原点（０，０）として、水平方向に
ｘ軸を、垂直方向にｙ軸をとり、ｘｙ座標で表わすこと
にする。以下、この２種類の文書画像を処理対象として
説明する。

【００１３】初期状態設定処理部４では、文字ブロック
を少なくとも異なる２通りの並べ方で並べる。例えば、
文字ブロックの中心の座標のうちｘ座標の小さい順と、
同様にｙ座標の小さい順に並べて、初期状態とする。図
３における初期状態の欄に、初期状態設定処理部４で設
定された２つの初期状態をそれぞれ示している。図２
（Ａ）に示した文書画像では、文字ブロックの中心をｘ
座標の小さい順に並べると、ａ１、ａ３、ａ４、ａ２の
順になる。そのため、図２（Ａ）に示した文書画像中の
文字ブロックの１つの並び順の初期状態として、ａ１、
ａ３、ａ４、ａ２が得られる。また、図２（Ａ）に示し
た文書画像で、文字ブロックの中心をｙ座標の小さい順
に並べると、ａ２、ａ３、ａ１、ａ４の順になる。その
ため、図２（Ａ）に示した文書画像中の文字ブロックの
もう１つの並び順の初期状態として、ａ２、ａ３、ａ
１、ａ４が得られる。図２（Ｂ）に示した文書画像につ
いても同様に文字ブロックの中心をｘ座標の小さい順に
並べることによりｂ１、ｂ４、ｂ３、ｂ２という並び順
が得られ、また、ｙ座標の小さい順に並べることにより
ｂ２、ｂ３、ｂ１、ｂ４という並び順が得られる。

【００１４】読み順推定処理部５では、文字ブロックの
読み順を推定する。図４は、２つの文字ブロックの位置
関係の一例の説明図である。図中、ｃ１〜ｃ６は文字ブ
ロックを表わしている。図４（Ａ）は、２つの文字ブロ
ックを水平方向に投影すると重なる部分がある場合、図
４（Ｂ）は、２つの文字ブロックを垂直方向に投影する
と重なる部分がある場合、図４（Ｃ）は、２つの文字ブ
ロックを水平方向または垂直方向に投影しても重なる部
分がない場合である。この３種類の位置関係ごとに、推
定する読み順を予め定めておく。例えば、文字列が横書
きの場合、図４（Ａ）の場合は、文字ブロックの左端の
ｘ座標が小さい方の文字ブロックが先の読み順、図４
（Ｂ）の場合は、文字ブロックの上端のｙ座標が小さい
方の文字ブロックが先の読み順、図４（Ｃ）の場合は、
文字ブロックの左端のｘ座標が小さい方の文字ブロック
が先の読み順であると推定する。また、縦書きの場合に
は、図４（Ａ）の場合は、文字ブロックの右端のｘ座標
が大きい方の文字ブロックが先の読み順、図４（Ｂ）の
場合は、文字ブロックの上端のｙ座標が小さい方の文字
ブロックが先の読み順、図４（Ｃ）の場合は、文字ブロ
ックの右端のｘ座標が大きい方の文字ブロックが先の読
み順であると推定する。

【００１５】このような推定を、初期状態設定処理部４
で設定したそれぞれの初期状態に対して行なう。初期状
態の並び順における隣り合う２つの文字ブロックを対象
にして推定を実行し、推定される読み順に並べ替える。
このような隣接する２つの文字ブロック間の推定を、並
べ替えが発生しなくなるまで繰り返す。そして、並べ換
えが発生しなくなった並び順を文字ブロックの読み順の
推定結果とする。つまり、バブル・ソート法により、初
期状態の並び順を推定される読み順にソートする。

【００１６】図２（Ａ）に示した文書画像の場合、上述
のように初期状態設定処理部４によって、図３（Ａ）の
初期状態の欄に示すようにａ１、ａ３、ａ４、ａ２とい
う並び順と、ａ２、ａ３、ａ１、ａ４という並び順の２
つの並び順が初期状態として与えられている。読み順推
定処理部５は、それぞれの初期状態から並べ替えを行な
う。ａ１、ａ３、ａ４、ａ２という初期状態からの並べ
替えは、まず、並び順の１番目と２番目である文字ブロ
ックａ１と文字ブロックａ３に着目する。この文字ブロ
ックａ１とａ３の位置関係は、図４（Ａ）に示す位置関
係である。読み順はａ１、ａ３の順であると推定できる
ため、データの並べ替えは発生しない。次に、並び順の
２番目と３番目である文字ブロックａ３と文字ブロック
ａ４に着目すると、図４（Ｂ）に示す位置関係にある。
読み順はａ３、ａ４の順であると推定できるため、やは
りデータの並べ替えは発生しない。さらに、並び順の３
番目と４番目である文字ブロックａ４と文字ブロックａ
２に着目すると、図４（Ｂ）の位置関係にあって、読み
順はａ２、ａ４の順であると推定できるため、図３
（Ａ）の並べ替えの欄の上段に示したように、ａ２とａ
４を並べ替える。

【００１７】このように並べ替えられた文字ブロックの
列を参照し、さらに並べ替えを行なう。並び順の１番目
と２番目はデータの並べ替えは発生しない。並び順の２
番目と３番目である文字ブロックａ３と文字ブロックａ
２に着目すると、図４（Ｂ）の位置関係にあって、読み
順はａ２、ａ３の順であると推定できるため、図３
（Ａ）の並べ替えの欄の下段に示したように、ａ３とａ
２を並べ替える。並べ替えた後の並び順の３番目と４番
目である文字ブロックａ３と文字ブロックａ４に着目す
ると、図４（Ｂ）の位置関係にあって、読み順はａ３、
ａ４と推定できるため、データの並べ替えは発生しな
い。

【００１８】さらにもう一度、並び順の１番目と２番
目、２番目と３番目、３番目と４番目に着目して、同様
に読み順を推定し、どの場合にも並べ替えが発生しない
ので、ａ１、ａ２、ａ３、ａ４を読み順推定処理部５で
の結果のひとつとする。

【００１９】もう一つの並び順の初期状態であるａ２、
ａ３、ａ１、ａ４についても同様に並べ替えを行なう
と、まず並び順の２番目と３番目を並べ替えて図３
（Ａ）の並べ替えの欄の上段に示したようになる。この
並べ替え後の並び順について、並び順の１番目と２番目
を並べ替えて図３（Ａ）の並べ替えの欄の下段に示した
ようになる。

【００２０】一方、図２（Ｂ）に示した文書画像の場
合、上述のように初期状態設定処理部４によって、図３
（Ｂ）の初期状態の欄に示すようにｂ１、ｂ４、ｂ３、
ｂ２という並び順と、ｂ２、ａ３、ｂ１、ｂ４という並
び順の２つの並び順が初期状態として与えられている。
図２（Ａ）に示した文書画像の場合と同様に並べ替えを
行ない、初期状態ｂ１、ｂ４、ｂ３、ａ２は図３（Ｂ）
の結果の欄のようにｂ１、ｂ３、ｂ４、ｂ２に並べ替え
られる。また、初期状態ｂ２、ａ３、ｂ１、ｂ４はｂ
１、ｂ２、ｂ３、ｂ４に並べ替えられる。

【００２１】信頼性判定処理部６では、読み順推定処理
部５で推定した読み順の信頼性を判定する。例えば、初
期状態ごとに推定した複数の読み順を比較して、一致し
ていれば信頼性が高く、一致していなければ信頼性が低
いと判定する。図３に示した処理結果において、図２
（Ａ）の文書画像を処理対象にした場合には、図３
（Ａ）に示したように、初期状態ごとに推定した２つの
読み順が一致しているので、信頼性が高いと判定する。
また、図２（Ｂ）の文書画像を処理対象にした場合に
は、図３（Ｂ）に示したように、初期状態ごとに推定し
た２つの読み順が一致していないので、信頼性が低いと
判定する。

【００２２】最終結果出力処理部７では、信頼性判定処
理部６で得た信頼性の判定結果に従って、最終的な処理
結果を出力する。例えば、信頼性判定処理部６で信頼性
が高いと判定された場合には、読み順推定処理部５で推
定した読み順を最終的な結果として出力する。また、信
頼性が低いと判定された場合には、読み順の推定結果の
信頼性が低いことを示すデータを出力する。図３に示し
た処理結果において、図２（Ａ）の文書画像を処理対象
にした場合には、推定した読み順、すなわちａ１、ａ
２、ａ３、ａ４を出力し、図２（Ｂ）の文書画像を処理
対象にした場合には、読み順の推定結果の信頼性が低い
ことを示すデータを出力する。また、信頼性が高いと判
定された場合には、推定した読み順と信頼性が高いこと
を示すデータを出力し、信頼性が低いと判定した場合に
は、推定した読み順のどれか１つと信頼性が低いことを
示すデータを出力してもよい。

【００２３】このようにして、文書画像を解析し、文字
ブロックの読み順を推定して、推定した結果の信頼性が
高いと判定した場合には少なくとも推定した読み順を出
力し、信頼性が低いと判定した場合には少なくとも推定
結果の信頼性が低いことを示す情報を出力する。

【００２４】上述の具体例では、初期状態設定処理部４
での文字ブロックの並べ方として、文字ブロックの中心
の座標のうちｘ座標の小さい順と、同様にｙ座標の小さ
い順の２つの方法を用いた。これ以外の並べ方も可能で
あり、例えば、ｘ座標またはｙ座標の小さい順とその逆
順である大きい順に並べる方法もある。また、文字ブロ
ックの中心の座標ではなく、例えば、文字ブロックの左
上や右上の点の座標に基づいて並べてもよい。この場
合、縦書きか横書きかによって文字ブロックの基準点を
変更してもよい。さらに、初期状態として与える並び順
は２つに限らず、これらの並び順を適宜組み合わせて３
つ以上の並び順を用いて並べ替えを行ない、信頼性の判
定を行なってもよい。

【００２５】また、文字ブロックの並び順を並べ替える
ためのアルゴリズムとして、上述の例ではバブル・ソー
トを用いたが、これに限らず、他の並べ替えの手法を用
いてもよい。

【００２６】

【発明の効果】以上の説明から明らかなように、本発明
によれば、文字ブロックの読み順を推定し、推定した結
果の信頼性を判定することができ、信頼性が低い場合に
誤った読み順をそのまま出力することを防ぐことが可能
となる。また、信頼性の判定結果に応じて出力を変更
し、例えば、信頼性が高いと判定した場合には、少なく
とも推定した読み順を出力し、信頼性が低いと判定した
場合には少なくとも推定結果の信頼性が低いことを示す
情報を出力するように構成することができる。これによ
り、ユーザは信頼性の高い文字ブロックの読み順のデー
タを誤っている可能性のある文字ブロックの読み順のデ
ータと区別して受け取ることができるため、読み順のデ
ータの信頼性を向上させることができるなどの効果があ
る。

【図面の簡単な説明】

【図１】 本発明の文書画像処理方式の実施の一形態を
示すブロック図である。

【図２】 本発明の文書画像処理方式の実施の一形態に
おいて処理対象とする文書画像の一例を示す説明図であ
る。

【図３】 本発明の文書画像処理方式の実施の一形態に
おいて図２に示す文書画像を処理対象とした場合の初期
状態から並べ替え終了までの文字ブロックの並べ替えの
手順の説明図である。

【図４】 ２つの文字ブロックの位置関係の一例の説明
図である。

【符号の説明】

１…画像入力処理部、２…文字列方向設定処理部、３…
文字ブロック抽出処理部、４…初期状態設定処理部、５
…読み順推定処理部、６…信頼性判定処理部、７…最終
結果出力処理部。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 文書の画像データから１以上の文字を含
   む文字ブロックを抽出し、該文字ブロックの読み順を推
   定する文書画像処理方式において、前記画像データ中の
   前記文字ブロックを抽出する文字ブロック抽出処理手段
   と、抽出した前記文字ブロックを異なる複数の並べ方で
   並べて複数の読み順の初期状態とする初期状態設定処理
   手段と、前記各初期状態の読み順中のすべての文字ブロ
   ックを推定した読み順に並べ替える読み順推定処理手段
   と、該読み順推定処理手段により推定した読み順を相互
   に比較して推定した読み順の信頼性を判定する信頼性判
   定処理手段を備えることを特徴とする文書画像処理方
   式。
2. 【請求項２】 さらに、前記画像データ中の文字列の方
   向を設定する文字列方向設定処理手段を有し、前記読み
   順推定処理手段は、前記文字列方向設定処理手段によっ
   て設定された文字列の方向に従って文字ブロックの読み
   順を推定することを特徴とする請求項１に記載の文書画
   像処理方式。
3. 【請求項３】 前記信頼度判定処理手段により判定され
   た信頼性に応じて異なる情報を出力する最終結果出力処
   理手段をさらに備えることを特徴とする請求項１または
   ２に記載の文書画像処理方式。