JP2012181743A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像データの指定した領域で罫線などの余分な要素を含むことなく高い認識精度で文字などの画像を認識することができる画像処理装置を提供する。
【解決手段】ユーザに画像データ中から指定領域を指定させる指定領域入力部２０４と、前記画像データを白黒画素からなる二値画像とし、該二値画像における黒画素と白画素の分布状態から前記指定領域の外周領域における境界線を決定し、前記指定領域を含めて該境界線に囲まれる領域を一次領域とする一次領域設定部２０５と、前記一次領域における画像データから罫線を抽出し除外する二次領域設定部２１０と、罫線除外後領域データＤ２について前記指定領域に基づいて目的の画像を切り出すための矩形抽出処理を行いその外接領域を抽出する外接領域抽出処理部２１５ａと、前記外接領域を除外領域と包含領域に選別する除外／包含処理部２１５ｂと、前記包含領域をマージする統合処理部２１５ｃと、を備える。
【選択図】図４

Description

本発明は、文書画像内の指定された領域を自動的に判定して抽出する画像処理を行う画像処理装置及び画像処理方法に関するものである。

帳票認識処理において、文書画像中の特定箇所の文字を切り出して、その箇所を確認表示したり、文字認識したり、切り出された箇所を再利用したりするという場面がある。

例えば特許文献１では、表中の文字列などの要素を矩形・線・フリーバンドで大まかに指定すると、自動でその範囲内にある文字部分だけを抽出して表示するという目的で、指定された線を構成する座標データのうちの任意の基準点に基づいて、ヒストグラム測定及びブロック単位測定の少なくとも１つが行われる測定範囲を決定する測定範囲決定手段と、決定した測定範囲内の画素に対してヒストグラム測定及びブロック単位測定の少なくとも１つを行う測定手段と、その測定結果に基づいて除外領域及び包含領域を決定する第１の除外包含手段と、決定した包含領域をマージした判定後領域の外接領域を抽出する外接領域抽出手段と、抽出した外接領域について除外領域及び包含領域を決定する第２の除外包含手段と、決定した包含領域をマージして統合領域とする統合領域決定手段とを備える構成が開示されている。

しかしながら、例えば、手書き文字の場合、「撥ね」や「伸ばし」に癖がある字体になっており、「撥ね」や「伸ばし」が罫線の線に接触して書かれていることが多い（図６（ａ），（ｂ）参照)。また、活字であっても、印字時のズレで、文字が罫線の線に接触することがある（図６（ｃ），（ｄ）参照）。特許文献１記載の発明では、そのようなケースには対応できておらず、文字に接触している線までが一緒に抽出されるという問題があった。

また、特許文献２では、図１のように文字列の下に線が引かれているものに対して、文字切り出しをするという目的で、文書画像から抽出された行を黒画素群の外接矩形に切り分ける外接矩形抽出処理部と、当該外接矩形抽出処理部により切り分けられた外接矩形内で、黒画素の連続である黒ランが所定の長さ以上に亘っている部分を探索する黒ラン探索処理部と、当該黒ラン探索処理部により探索された黒ランから外接矩形の内側にある図形と前記黒ランとの間の間隙を探索する間隙探索処理部と、当該間隙探索処理部により探索された外接矩形内の画像から前記間隙よりも黒ラン側の画像を除去する線図形消去処理部と、当該線図形消去処理部で加工された画像に対し、再度外接矩形抽出処理を行なう外接矩形再抽出処理部とを備える構成が開示されている。

しかしながら、下線だけを対象としており、図２に示すようなパターンの下線は想定されていないため、そのようなパターンの下線が文字と一緒に切り出されてしまうという問題があった。

本発明は、以上の従来技術における課題に鑑みてなされたものであり、画像データの指定した領域において、罫線などの余分な要素を含むことなく高い認識精度で文字などの目的の画像種類の画像（目標画像）を認識することができる画像処理装置及び画像処理方法を提供することを目的とする。

前記課題を解決するために提供する本発明は、以下の通りである。なお、カッコ内に本発明を実施するための形態において対応する部位及び符号等を示す。
〔１〕 ユーザに対して、画像データ中から抽出する箇所を指定領域（指定領域Ａ０）として指定させる抽出対象領域指定手段（指定領域入力部２０４）と、前記画像データを白黒画素からなる二値画像とし、該二値画像における黒画素と白画素の分布状態（黒画素と白画素の分布状態ｄｈ）から前記指定領域の所定の外周領域における境界線を決定し、前記指定領域を含めて該境界線に囲まれる領域を一次領域（判定後領域Ａ１）とする一次領域設定手段（一次領域設定部２０５）と、前記一次領域における画像データから直線成分データ（罫線Ｌｋ）を抽出し除外する直線成分除外手段（二次領域設定部２１０）と、前記直線成分除外後の前記画像データ（罫線除外後領域データＤ２）について前記指定領域に基づいて目的の画像種類の画像を切り出すための矩形抽出処理を行いその外接領域を抽出する外接領域抽出手段（外接領域抽出処理部２１５ａ）と、前記外接領域について除外領域と包含領域（包含領域Ａｃ）に選別する除外包含手段（外接領域の除外／包含処理部２１５ｂ）と、前記包含領域をマージして統合領域（統合領域Ａ３）とする統合処理手段（外接領域の統合処理部２１５ｃ）と、を備えることを特徴とする画像処理装置（画像処理装置１００、図３，図４）。
〔２〕 前記抽出対象領域指定手段は、ユーザに複数の点、直線、自由曲線のいずれかを用いて前記指定領域を指定させることを特徴とする前記〔１〕に記載の画像処理装置。
〔３〕 前記一次領域設定手段は、前記画像データの画素データが白黒ではない二値画像あるいは少なくとも３色以上の画像データであるときは、該画素データを白黒二値に減色する二値化処理手段（二値化処理部２０５ａ）と、前記指定領域の外辺を基準とし、該基準に基づいて前記指定領域の所定の外周領域をヒストグラム測定の測定範囲（測定範囲Ａｍ）として決定する測定範囲決定手段（ヒストグラム測定範囲決定部２０５ｂ）と、前記測定範囲決定手段が決定した測定範囲において前記二値化処理手段により得られた二値画像の画素に対して、黒画素及び白画素のヒストグラム測定を行う測定手段（ヒストグラム測定部２０５ｃ）と、前記測定手段が測定した結果に基づいて、黒画素と白画素の分布状態（黒画素と白画素の分布状態ｄｈ）から前記外周領域における境界線を決定し、前記指定領域を含めて該境界線に囲まれる領域を一次領域（判定後領域Ａ１）とする領域判定手段（ヒスト頻度による境界線処理部２０５ｄ）と、からなることを特徴とする前記〔１〕または〔２〕に記載の画像処理装置（図４）。
〔４〕 前記測定手段は、前記測定範囲内において、所定方向における黒画素を示す黒領域が連続して生起する回数を計数し、その計数を前記所定方向に直交する方向に位置を変えて繰り返して行う黒画素探索と、所定方向における白画素を示す白領域が連続して生起する回数を計数し、その計数を前記所定方向に直交する方向に位置を変えて繰り返して行う白画素探索と、を行い（図９）、前記領域判定手段は、前記測定手段による黒画素探索及び白画素探索により計数された前記黒領域が連続して生起する回数と白領域が連続して生起する回数の関係を前記所定方向に直交する方向の測定位置ごとに所定の閾値と比較し、該比較結果に基づいて前記外周領域における境界線を決定する（図１０）ことを特徴とする前記〔３〕に記載の画像処理装置。
〔５〕 前記直線成分除外手段は、前記一次領域における画像データから少なくとも１本の罫線データを抽出することを特徴とする前記〔１〕〜〔４〕のいずれかに記載の画像処理装置。
〔６〕 前記除外包含手段は、前記外接領域抽出手段により抽出された複数の外接領域それぞれの外接領域内の黒画素または白画素の頻度、黒画素または白画素が連続する大きさ、領域の属性と目的の画像種類の画像との関係から判断して、除外領域と包含領域とに選別することを特徴とする前記〔１〕〜〔５〕のいずれかに記載の画像処理装置。
〔７〕 ユーザに対して、画像データ中から抽出する箇所を指定領域（指定領域Ａ０）として指定させる抽出対象領域指定工程（ステップＳ１０２）と、前記画像データを白黒画素からなる二値画像とし、該二値画像における黒画素と白画素の分布状態（黒画素と白画素の分布状態ｄｈ）から前記指定領域の所定の外周領域における境界線を決定し、前記指定領域を含めて該境界線に囲まれる領域を一次領域（判定後領域Ａ１）とする一次領域設定工程（ステップＳ１０３〜Ｓ１０７）と、前記一次領域における画像データ（判定後領域データＤ１）から直線成分データ（罫線Ｌｋ）を抽出し除外する直線成分除外工程（ステップＳ１０８〜Ｓ１１０）と、前記直線成分除外後の前記画像データ（罫線除外後領域データＤ２）について前記指定領域に基づいて目的の画像種類の画像を切り出すための矩形抽出処理を行いその外接領域を抽出する外接領域抽出工程（ステップＳ１１１）と、前記外接領域について除外領域と包含領域（包含領域Ａｃ）に選別する除外包含工程（ステップＳ１１２）と、前記包含領域をマージして統合領域（統合領域Ａ３）とする統合処理工程（ステップＳ１１３，Ｓ１１４）と、を備えることを特徴とする画像処理方法（図５）。
〔８〕 前記抽出対象領域指定工程は、ユーザに複数の点、直線、自由曲線のいずれかを用いて前記指定領域を指定させるものであることを特徴とする前記〔７〕に記載の画像処理方法。
〔９〕 前記一次領域設定工程は、前記画像データの画素データが白黒ではない二値画像あるいは少なくとも３色以上の画像データであるときは、該画素データを白黒二値に減色する二値化処理工程（ステップＳ１０３）と、前記指定領域の外辺を基準とし、該基準に基づいて前記指定領域の所定の外周領域をヒストグラム測定の測定範囲（測定範囲Ａｍ）として決定する測定範囲決定工程（ステップＳ１０４）と、前記測定範囲決定工程で決定された測定範囲において前記二値化処理工程で得られた二値画像の画素に対して、黒画素及び白画素のヒストグラム測定を行う測定工程（ステップＳ１０５）と、前記測定工程で測定された結果に基づいて、黒画素と白画素の分布状態（黒画素と白画素の分布状態ｄｈ）から前記外周領域における境界線を決定し（ステップＳ１０６）、前記指定領域を含めて該境界線に囲まれる領域を一次領域（判定後領域Ａ１）とする領域判定工程（ステップＳ１０７）と、からなることを特徴とする前記〔７〕または〔８〕に記載の画像処理方法（図５）。
〔１０〕 前記測定工程は、前記測定範囲内において、所定方向における黒画素を示す黒領域が連続して生起する回数を計数し、その計数を前記所定方向に直交する方向に位置を変えて繰り返して行う黒画素探索と、所定方向における白画素を示す白領域が連続して生起する回数を計数し、その計数を前記所定方向に直交する方向に位置を変えて繰り返して行う白画素探索と、を行うものであり（図９）、前記領域判定工程は、前記測定工程における黒画素探索及び白画素探索により計数された前記黒領域が連続して生起する回数と白領域が連続して生起する回数の関係を前記所定方向に直交する方向の測定位置ごとに所定の閾値と比較し、該比較結果に基づいて前記外周領域における境界線を決定するものである（図１０）ことを特徴とする前記〔９〕に記載の画像処理方法。
〔１１〕 前記直線成分除外工程は、前記一次領域における画像データから少なくとも１本の罫線データを抽出するものであることを特徴とする前記〔７〕〜〔１０〕のいずれかに記載の画像処理方法。
〔１２〕 前記除外包含工程は、前記外接領域抽出工程で抽出された複数の外接領域それぞれの外接領域内の黒画素または白画素の頻度、黒画素または白画素が連続する大きさ、領域の属性と目的の画像種類の画像との関係から判断して、除外領域と包含領域とに選別するものであることを特徴とする前記〔７〕〜〔１１〕のいずれかに記載の画像処理方法。

本発明の画像処理装置及び画像処理方法によれば、指定された領域に対して、罫線などの不要な要素である直線成分を除外した上で、目標画像の外接領域を切り出すことによって、目標画像の認識精度を高めることができる。例えば、帳票認識処理の過程で、文書画像中の特定箇所の文字を切り出して、その箇所を確認表示したり、文字認識したり、切り出された箇所を再利用したりするという場面において、オペレータが表中の文字列などの要素をフリーバンドで大まかに指定すると、自動でその範囲内にある文字部分だけを抽出して表示することが可能である。特に、画像データの指定領域の範囲内で文字が罫線に接触している場合、罫線を示す線を抽出し、その線を消去した上で、文字部分を示す画素を抽出するので、線に接触している文字に対して、罫線などの余分な要素を抽出せずに済む。また、外接領域について除外領域と包含領域に選別することにより、様々なパターンの下線を余分な要素として除外することが可能になる。

文字列の例（１）を示す図である。 文字列の例（２）を示す図である。 本発明に係る画像処理装置の基本構成を示すブロック図である。 本発明に係る画像処理装置の要部構成を示すブロック図である。 図４の画像処理装置における画像処理方法の手順を示すフローチャートである。 罫線に接触している文字列の例を示す図である。 図６の文字列について領域を指定するときの操作パネル部上のイメージを示す図である。 指定領域に対するヒストグラム測定範囲を示す概念図である。 図８のヒストグラム測定範囲におけるヒストグラム測定の様子を示す概念図である。 ヒストグラム測定結果に基づく境界線の決定方法を示す概念図である。 図９のヒストグラム測定結果に基づいて設定される一次領域を示す概念図である。 図１１の一次領域における罫線抽出結果を示す概念図である。 図１１の一次領域において罫線を削除して得られる画像データを示す概念図である。 図１３の画像データにおいて得られる包含される外接領域とその統合の様子を示す概念図である。 図６の文字列について本発明の画像処理方法を適用して得られた統合領域を示す概念図である。

以下に、本発明に係る画像処理装置及び画像処理方法の構成について説明する。
なお、本発明における用語はつぎのように定義する。
「接触文字」とは、罫線等の直線成分に接触している文字のことである。接触している線の方向は、上下左右問わないものとする。また、接触している文字の字形は活字、手書きともに問わないものとする。
「指定領域」とは、オペレータなどが矩形領域または、フリーバンドで指定した領域のことをいう。
「判定後領域」とは、ヒストグラム測定した結果に基づいて判定した結果の領域データのことをいう。

［画像処理装置］
図３は、本発明に係る画像処理装置の基本構成を示すブロック図である。
図３に示すように、画像処理装置１００は、全体の制御などを行うＣＰＵ１０１、原稿などを読み取り、画像データを取得するスキャナ部１０２、画像データや画像処理部１０８で行われた画像処理の結果を示す情報などを記憶する、ＣＤ／ＤＶＤ／メモリカードなどの記録媒体１１１やハードディスク１１２からなる外部記憶部１０３、入力した画像データを記憶する入力画像メモリ部１０４、入力した画像データをプレビュー表示などの表示を行う表示部１０５、ユーザにより操作が行なわれるとともに、ユーザが画像データの領域を指定するための操作パネル部１０６、操作パネル部１０６において指定された領域を示す領域情報を格納する領域情報格納部１０７、二値化処理、ヒストグラム測定、矩形抽出処理などの画像処理を行う画像処理部１０８、ネットワーク網１１０から画像データを取り寄せたり、画像処理の結果を示す情報を配達したりする通信制御部１０９、を有する。

つぎに、画像処理装置１００において本発明の画像処理方法に関わる要部構成について説明する。
図２は、本発明に係る画像処理装置の要部構成を示すブロック図である。図中、矩形は機能ブロック、円柱はデータベース、平行四辺形はデータを意味する。
画像処理装置１００は、スキャナ部１０２での読み取り、外部記憶部１０３からのファイル読み出し、ネットワーク網１１０経由、デジタルカメラで撮影したもの等で画像データを取得する画像入力部２０１と、実際に画像データを蓄積しているデータディスク２０３などにアクセスするためのデータアクセス部２０２と、画像データの特定の箇所に領域を指定し、前記画像データにこの指定された領域データ（指定領域Ａ０）を付加した指定領域データＤ０を出力する指定領域入力部２０４と、指定領域データＤ０に対して白黒二値化処理を行う二値化処理部２０５ａ，ヒストグラム測定のための範囲を決定するヒストグラム測定範囲決定部２０５ｂ，黒画素及び／又は白画素のヒストグラムを測定するヒストグラム測定部２０５ｃ，ヒストグラム測定結果による、ヒストグラム頻度を見て境界線を決定し、指定領域データＤ０から判定後領域データ（一次領域データ）Ｄ１に変更するヒスト頻度による境界線処理部２０５ｄからなる一次領域設定部２０５と、判定後領域データＤ１について罫線等の直線成分を抽出する直線成分抽出部である罫線抽出部２１０ａ、判定後領域データＤ１から抽出された罫線等の直線成分を除外し、罫線（直線成分）除外後の画像データ（二次領域データ）Ｄ２を得る罫線除外部（直線成分除外部）２１０ｂからなる直線成分除外手段である二次領域設定部２１０と、罫線（直線成分）除外後の画像データＤ２について指定領域Ａ０に基づいて外接領域を抽出する外接領域抽出処理部２１５ａ，抽出された外接領域データを除外領域と包含領域に選別する外接領域の除外/包含処理部２１５ｂ，包含領域である外接領域データを統合して統合領域データＤ３を得る外接領域の統合処理部２１５ｃからなる統合領域設定部２１５と、統合領域データＤ３を出力する結果出力部２１７と、画像入力部２０１、データアクセス部２０２、指定領域入力部２０４、一次領域設定部２０５、二次領域設定部２１０、統合領域設定部２１５、結果出力部２１７を制御するＣＰＵ１０１と、から構成されている。

［画像処理方法］
図５は、本発明の画像処理方法の手順を示すフローチャートである。
本発明の画像処理方法は、画像処理装置１００を用いて、つぎの手順で行われる。なお、以下に説明する処理動作を本発明の画像処理装置に実行させるための画像処理プログラムは、図３，図４に図示しないプログラム記憶部、あるいは、外部記憶部１０３やネットワーク網１１０から画像処理装置に読み込まれ、画像処理装置１００の動作を制御する。本発明の画像処理装置は、この画像処理プログラムの制御により以下の処理動作を実行する。

（抽出対象領域指定工程）
（Ｓ１０１） まず画像入力部２０１から画像データを入力する。入力するための画像データの取得は、スキャナ部１０２で原稿をスキャンしての読み取り、データアクセス部２０２によるデータディスク２０３からのファイル読み出し、ネットワーク網１１０経由、デジタルカメラで撮影したデータ等のいずれでもよい。図６に画像データの例を示す。
（Ｓ１０２） 入力された画像データを操作パネル部１０６の画面に表示して、ユーザが指定領域入力部２０４により画像データ中から抽出する箇所を指定して指定領域Ａ０とする。例えば、図７に示すように、ユーザは操作パネル部１０６の画面上でマウス操作やタッチパネル操作等により、複数の点、直線、自由曲線のいずれかを用いて対象の領域（例えば、図７（ｂ）であれば「理光 太郎」の文字領域）の少なくとも一部を含むようにフリーハンドで囲いＡｄを描画する。指定領域入力部２０４は囲いＡｄに基づいて画像データにおいて矩形の指定領域Ａ０を設定し、指定領域データＤ０とする（図８参照）。ここでは、入力された画像データはある程度の大きさの矩形ブロックに分割されており、囲いＡｄの線が通過する矩形ブロックで囲まれる領域が指定領域Ａ０となっている。
以下、図７（ｂ）の画像データを例に処理動作を説明する。

（一次領域設定工程）
（Ｓ１０３） つぎに、二値化処理部２０５ａは、入力された画像データ（指定領域データＤ０）について白黒画素からなる画像データとする二値化処理を行う。例えば、画素データが白黒ではない二値画像あるいは少なくとも３色以上の画像データであるときは、二値化処理部２０５ａは該画素データを白黒二値に減色する処理を行う。

（Ｓ１０４） ヒストグラム測定範囲決定部２０５ｂは、指定領域データＤ０について、指定領域Ａ０に基づいてヒストグラム測定のための範囲（測定範囲）Ａｍを決定する（図８）。例えば、指定領域Ａ０の外辺（図８において矩形の四辺それぞれ）を基準とし、該基準に基づいて指定領域Ａ０の所定の外周領域をヒストグラム測定の測定範囲Ａｍとして決定する。このとき、測定範囲Ａｍの決定は以下のルールのいずれかで行う。なお、図８ではルール１に基づいた測定範囲Ａｍを示している。
（ルール１）指定領域Ａ０の外辺（左辺、右辺、上辺、下辺）からその外辺に直交する方向の画像データの端部までの領域（矩形の領域）を測定領域Ａｍとする。
（ルール２）指定領域Ａ０の外辺（左辺、右辺、上辺、下辺）から、その外辺に直交する方向に所定の距離まで移動した位置までを測定領域Ａｍとする。ここでいう所定の距離は、例えば指定領域Ａ０の上辺、下辺についての測定領域Ａｍの場合、指定領域Ａ０の幅に係数を乗算した値であり、指定領域Ａ０の左辺、右辺についての測定領域Ａｍの場合、指定領域Ａ０の高さに係数を乗算した値である。

（Ｓ１０５） ヒストグラム測定部２０５ｃは、測定範囲Ａｍにおいて二値化処理部２０５ａにより得られた二値画像の画素に対して、黒画素及び白画素のヒストグラム測定を行う（図９）。ヒストグラム測定は、測定範囲Ａｍ内において、所定方向にラインスキャンして黒画素を示す黒領域が連続して生起する回数を計数し、その計数を前記所定方向に直交する方向に位置を変えて繰り返して行う黒画素探索と、所定方向における白画素を示す白領域が連続して生起する回数を計数し、その計数を前記所定方向に直交する方向に位置を変えて繰り返して行う白画素探索と、を行う。図９では、前記所定方向とは、指定領域Ａ０の上辺、下辺に対応する測定領域Ａｍ（図中上下の測定領域Ａｍ）では左右方向、指定領域Ａ０の左辺、右辺に対応する測定領域Ａｍ（図中左右の測定領域Ａｍ）では上下方向である。あるいは、指定領域Ａ０を図９のように矩形とした場合、指定領域Ａ０の座標が左上角（Ｘｓ，Ｙｓ）と右下角（Ｘｅ，Ｙｅ）からなる矩形で構成され、図中上側の測定領域Ａｍについては指定領域Ａ０の上辺を起点(Ｙ＝Ｙｓ)に、行単位で（図中左右方向にスキャンして）計数しながら図中上方向へヒストグラム測定を行う。他の方向も、同様の要領で測定する。これにより、測定範囲Ａｍごとに黒画素探索結果ｈｂと白画素探索結果ｈｗから黒画素と白画素の分布状態ｄｈが分かる。

（Ｓ１０６） ヒスト頻度による境界線処理部２０５ｄは、黒画素と白画素の分布状態ｄｈからヒストグラム頻度（ヒスト頻度と略すことがある）による境界線を決定する処理を行い、指定領域Ａ０の所定の外周領域（すなわち測定領域Ａｍ）における境界線を決定する。すなわち、ヒストグラム測定部２０５ｃによる黒画素探索及び白画素探索により計数された前記黒領域が連続して生起する回数と白領域が連続して生起する回数の関係を前記所定方向に直交する方向の測定位置ごとに所定の閾値と比較し、該比較結果に基づいて前記外周領域（測定範囲Ａｍ）における境界線を決定するものである。

ここで、ヒストグラム頻度による境界線を決定する処理とは、例えば図１０に示すように、図１０（ａ）の文字列データについてヒストグラム測定を行った結果（図１０（ｂ）の黒画素と白画素の分布状態ｄｈ）において、字間や行間と見なせるような所定の間隔をもつ空白箇所が連続する領域Ａｓを識別し、領域Ａｓに境界線が存在すると決定するものである。

このとき、空白の間隔を決定するための値は、以下の条件で決定される。
（条件１）二値化にした画像の黒画素の個数が少なくとも１つ以上あること。
（条件２）黒画素の個数が１つもない（行/列が空白である）空白の間隔が一定値(ｓｔ)以下であること。

この空白の間隔ｓｔは、次式（１）のように画像データの解像度に比例するものとして、様々な解像度に対応できるようにする。具体的には、解像度が１００ｄｐｉのときは１、２００ｄｐｉのときは２、・・・６００ｄｐｉのときは６となり、その値にユーザが指定した係数ｎで乗算した値が、空白の間隔の一定値(ｓｔ)となる。

※(解像度/１００)の解で小数点以下は切り捨てせず四捨五入する。
※係数ｎは０以上の正の整数である。

（Ｓ１０７） ついで、ヒスト頻度による境界線処理部２０５ｄは、指定領域Ａ０を含めて境界線に囲まれる領域を判定後領域（一次領域）Ａ１とし、判定後領域（一次領域）Ａ１を含む画像データを判定後領域データ（一次領域データ）Ｄ１として出力する。すなわち、ステップＳ１０６で決定された境界線の結果から、指定領域Ａ０を含めて境界線に囲まれる領域を抽出対象となる領域として判定する。その判定後領域データ（一次領域データ）Ｄ１の例を図１１に示す。ここでは、目的の文字が罫線等の直線成分に接触しているため、ヒストグラム測定において境界線が罫線（直線成分）及び目的以外の文字の影響を受けて適正な領域よりも広げられる結果となっている。そこで、本発明では、判定後領域データ（一次領域データ）Ｄ１について罫線などの不要な要素を除外する処理を行う。なお、ここでいう「不要な要素」とは、文字列の並びに沿うように付帯している罫線や下線などの様々なパターン（直線、ドット、点線、鎖線、二重線など）の直線状の線成分（直線成分）である。

（罫線除外工程）
（Ｓ１０８） 罫線抽出部２１０ａは、判定後領域データＤ１を基に、罫線抽出処理（直線成分抽出処理ともいう）を行う（図１２）。罫線抽出処理は従来公知の方法によればよく、例えば、電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 106(605), 67-72, 2007-03-08（テクスチャ領域を含む帳票画像からの罫線抽出(テーマセッション 2(文字画像処理1),文字・文書の認識・理解)）に記載されている技術を利用する。

具体的には、画像中の黒画素の連結性をもとに連続した黒画素に同じラベルを付与する。ラベリングされたラベル値が同一で、主走査方向又は副走査方向に連結していて、かつ妥当な長さおよび幅を持っているとき、罫線矩形データとして抽出する。抽出された少なくとも一つ以上の罫線矩形データ同士が交差している罫線矩形データを連結することにより、表単位の罫線を抽出することができる。

その結果、罫線が存在すれば、図１２に示すように、判定後領域Ａ１において罫線Ｌｋが抽出される。

（Ｓ１０９） 罫線除外部２１０ｂは、ステップＳ１０８の抽出結果の罫線の有無を判定する。罫線がないと判定されるとき（ステップＳ１０９のＮＯ）、罫線除外部２１０ｂは、判定後領域データＤ１をそのまま罫線除外後領域データＤ２として出力し、ステップＳ１１１に進む。

（Ｓ１１０） 罫線があると判定されるとき（ステップＳ１０９のＹＥＳ）、判定後領域データＤ１において罫線を示す箇所のデータを除外し、罫線除外後領域データＤ２として出力する（図１３）。

（統合領域設定工程）
（Ｓ１１１） 外接領域抽出処理部２１５ａは、罫線除外後の画像データである罫線除外後領域データＤ２について指定領域Ａ０に基づいて目的の画像種類の画像を切り出すための矩形抽出処理を行いその外接領域を抽出する。矩形抽出処理は、従来公知の技術でよく、例えば特許第２９４８８４０号公報に記載の処理を適用すればよい。なお、目的の画像種類の画像とは、例えばユーザが切り出しを希望する文字列の画像である。

具体的には、画像中の黒画素の連結したランを一つの矩形として切り出して、少なくとも一つ以上の矩形を求める（Ａ）。複数の矩形から、矩形の幅・高さや、矩形の面積、２つ以上の矩形同士の間隔などの要件を統計的に算出して複数の矩形を連結する（Ｂ）。
例えば「い」という文字を抽出する場合、（Ａ）の段階では、「い」を構成する左側の線要素と右側の線要素がそれぞれ「（」、「ヽ」を含む矩形として切り出される。ついで、（Ｂ）の段階で、それぞれの矩形の幅・高さや、矩形の面積、２つ以上の矩形同士の間隔などの要件を統計的に算出することにより、それぞれの矩形が連結されて、「い」という矩形となる。

（Ｓ１１２） 外接領域の除外/包含処理部２１５ｂは、抽出された外接領域について除外する外接領域（除外領域）と包含する外接領域（包含領域）Ａｃに選別する。詳しくは、外接領域の除外/包含処理部２１５ｂは、ステップＳ１１１で抽出された複数の外接領域それぞれの外接領域内の黒画素または白画素の頻度、黒画素または白画素が連続する大きさ、領域の属性と目的の画像種類の画像との関係から判断して、除外領域と包含領域とに選別する。例えば、目的の画像種類の画像が文字だけの画像である場合、線を示す細長い傍線を示す外接領域を除外し、それ以外は包含するようにするなどの選別が挙げられる。逆に、このような傍線を除外したくないケースも考えられるので、パラメータで調整できるようにするとよい。

なお、対象の外接領域の短い方の辺と長い方の辺がそれぞれ次式（２），（３）で算出されるＬ１，Ｌ２よりも大である場合に、対象の外接領域が文字以外の細長い外接領域（傍線）であるとして検出する。

※ｎ，αの値は正の整数であり、ユーザが指定する。なお、式（１）と式（２）のｎは同一である。また、width／heightは目的の画像種類の画像である文字の幅と高さの比率である。

この処理によれば様々なパターンの下線（図１及び図２）などの直線成分を抽出し、除外することが可能である。例えば点線の下線を検出するためには、ステップＳ１０８の罫線抽出処理と、ステップＳ１１１の文字抽出処理を用いて、それぞれ罫線と文字を抽出し、罫線抽出で得られた罫線領域データを下線として見なすものとする。この処理手順は、一点鎖線の下線や二重線の下線の場合にも同様である。

（Ｓ１１３） 外接領域の統合処理部２１５ｃは、ステップＳ１１２で選別された包含領域Ａｃを１つの領域にマージ（統合）して統合領域Ａ３とする（図１４）。
（Ｓ１１４） 統合領域Ａ３を含む画像データを統合領域データＤ３として結果出力部２１７に出力し、終了する。

図１５は、図６の画像データについて本発明を適用して出力される統合領域データの例である。
画像処理装置１００において、それぞれの画像データについてユーザが目的の画像種類の画像として所定の文字列を指定するように囲いＡｄを描画すると、前述した画像処理方法の手順に従い動作処理が行われ、指定された文字列に対して、罫線などの不要な要素は除外された上で、目標の文字列が精度よく認識された統合領域Ａ３が確定した統合領域データＤ３が出力されている。

なお、これまで本発明を図面に示した実施形態をもって説明してきたが、本発明は図面に示した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

例えば、上述した画像処理装置における制御動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。なお、ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ（図３のＣＰＵ１０１など）内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

また例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送したりし、コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。

また、本実施形態で説明した本発明の画像処理装置の処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。

また、本実施形態で説明した本発明の画像処理装置は、複数の装置の論理的集合構成にしたり、各装置の機能を混在させたりするように構築することも可能である。

本発明は、画像中の所定の領域を抽出する画像処理を実行する画像処理装置を含む据え置き型コンピュータ、複写機、組み込み端末、電子計算機、画像データベースなどの装置・機器、システム、方法、プログラムなどに適用できる。

１００ 画像処理装置
１０１ ＣＰＵ
１０２ スキャナ部
１０３ 外部記憶部
１０４ 入力画像メモリ部
１０５ 表示部
１０６ 操作パネル部
１０７ 領域情報格納部
１０８ 画像処理部
１０９ 通信制御部
１１０ ネットワーク網
１１１ 記録媒体
１１２ ハードディスク
２０１ 画像入力部
２０２ データアクセス部
２０３ データディスク
２０４ 指定領域入力部
２０５ 一次領域設定部
２０５ａ 二値化処理部
２０５ｂ ヒストグラム測定範囲決定部
２０５ｃ ヒストグラム測定部
２０５ｄ ヒスト頻度による境界線処理部
２１０ 二次領域設定部
２１０ａ 罫線抽出部
２１０ｂ 罫線除外部
２１５ 統合領域設定部
２１５ａ 外接領域抽出処理部
２１５ｂ 外接領域の除外／包含処理部
２１５ｃ 外接領域の統合処理部
２１７ 結果出力部
Ａｃ 包含領域
Ａｄ 囲い
Ａｍ 測定範囲
Ａｓ 領域
Ａ０ 指定領域
Ａ１ 判定後領域（一次領域）
Ａ３ 統合領域
ｄｈ 黒画素と白画素の分布状態（ヒストグラムデータ）
Ｄ０ 指定領域データ
Ｄ１ 判定後領域データ（一次領域データ）
Ｄ２ 罫線除外後領域データ
Ｄ３ 統合領域データ
ｈｂ 黒画素探索結果
ｈｗ 白画素探索結果
Ｌｋ 罫線

特開２００９−０６４２１９号公報 特許第３１９０７９４号公報

Claims (12)

1. ユーザに対して、画像データ中から抽出する箇所を指定領域として指定させる抽出対象領域指定手段と、
   前記画像データを白黒画素からなる二値画像とし、該二値画像における黒画素と白画素の分布状態から前記指定領域の所定の外周領域における境界線を決定し、前記指定領域を含めて該境界線に囲まれる領域を一次領域とする一次領域設定手段と、
   前記一次領域における画像データから直線成分データを抽出し除外する直線成分除外手段と、
   前記直線成分除外後の前記画像データについて前記指定領域に基づいて目的の画像種類の画像を切り出すための矩形抽出処理を行いその外接領域を抽出する外接領域抽出手段と、
   前記外接領域について除外領域と包含領域に選別する除外包含手段と、
   前記包含領域をマージして統合領域とする統合処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記抽出対象領域指定手段は、ユーザに複数の点、直線、自由曲線のいずれかを用いて前記指定領域を指定させることを特徴とする請求項１に記載の画像処理装置。
3. 前記一次領域設定手段は、前記画像データの画素データが白黒ではない二値画像あるいは少なくとも３色以上の画像データであるときは、該画素データを白黒二値に減色する二値化処理手段と、前記指定領域の外辺を基準とし、該基準に基づいて前記指定領域の所定の外周領域をヒストグラム測定の測定範囲として決定する測定範囲決定手段と、前記測定範囲決定手段が決定した測定範囲において前記二値化処理手段により得られた二値画像の画素に対して、黒画素及び白画素のヒストグラム測定を行う測定手段と、前記測定手段が測定した結果に基づいて、黒画素と白画素の分布状態から前記外周領域における境界線を決定し、前記指定領域を含めて該境界線に囲まれる領域を一次領域とする領域判定手段と、からなることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記測定手段は、前記測定範囲内において、所定方向における黒画素を示す黒領域が連続して生起する回数を計数し、その計数を前記所定方向に直交する方向に位置を変えて繰り返して行う黒画素探索と、所定方向における白画素を示す白領域が連続して生起する回数を計数し、その計数を前記所定方向に直交する方向に位置を変えて繰り返して行う白画素探索と、を行い、前記領域判定手段は、前記測定手段による黒画素探索及び白画素探索により計数された前記黒領域が連続して生起する回数と白領域が連続して生起する回数の関係を前記所定方向に直交する方向の測定位置ごとに所定の閾値と比較し、該比較結果に基づいて前記外周領域における境界線を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記直線成分除外手段は、前記一次領域における画像データから少なくとも１本の罫線データを抽出することを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
6. 前記除外包含手段は、前記外接領域抽出手段により抽出された複数の外接領域それぞれの外接領域内の黒画素または白画素の頻度、黒画素または白画素が連続する大きさ、領域の属性と目的の画像種類の画像との関係から判断して、除外領域と包含領域とに選別することを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
7. ユーザに対して、画像データ中から抽出する箇所を指定領域として指定させる抽出対象領域指定工程と、
   前記画像データを白黒画素からなる二値画像とし、該二値画像における黒画素と白画素の分布状態から前記指定領域の所定の外周領域における境界線を決定し、前記指定領域を含めて該境界線に囲まれる領域を一次領域とする一次領域設定工程と、
   前記一次領域における画像データから直線成分データを抽出し除外する直線成分除外工程と、
   前記直線成分除外後の前記画像データについて前記指定領域に基づいて目的の画像種類の画像を切り出すための矩形抽出処理を行いその外接領域を抽出する外接領域抽出工程と、
   前記外接領域について除外領域と包含領域に選別する除外包含工程と、
   前記包含領域をマージして統合領域とする統合処理工程と、
   を備えることを特徴とする画像処理方法。
8. 前記抽出対象領域指定工程は、ユーザに複数の点、直線、自由曲線のいずれかを用いて前記指定領域を指定させるものであることを特徴とする請求項７に記載の画像処理方法。
9. 前記一次領域設定工程は、前記画像データの画素データが白黒ではない二値画像あるいは少なくとも３色以上の画像データであるときは、該画素データを白黒二値に減色する二値化処理工程と、前記指定領域の外辺を基準とし、該基準に基づいて前記指定領域の所定の外周領域をヒストグラム測定の測定範囲として決定する測定範囲決定工程と、前記測定範囲決定工程で決定された測定範囲において前記二値化処理工程で得られた二値画像の画素に対して、黒画素及び白画素のヒストグラム測定を行う測定工程と、前記測定工程で測定された結果に基づいて、黒画素と白画素の分布状態から前記外周領域における境界線を決定し、前記指定領域を含めて該境界線に囲まれる領域を一次領域とする領域判定工程と、からなることを特徴とする請求項７または８に記載の画像処理方法。
10. 前記測定工程は、前記測定範囲内において、所定方向における黒画素を示す黒領域が連続して生起する回数を計数し、その計数を前記所定方向に直交する方向に位置を変えて繰り返して行う黒画素探索と、所定方向における白画素を示す白領域が連続して生起する回数を計数し、その計数を前記所定方向に直交する方向に位置を変えて繰り返して行う白画素探索と、を行うものであり、前記領域判定工程は、前記測定工程における黒画素探索及び白画素探索により計数された前記黒領域が連続して生起する回数と白領域が連続して生起する回数の関係を前記所定方向に直交する方向の測定位置ごとに所定の閾値と比較し、該比較結果に基づいて前記外周領域における境界線を決定するものであることを特徴とする請求項９に記載の画像処理方法。
11. 前記直線成分除外工程は、前記一次領域における画像データから少なくとも１本の罫線データを抽出するものであることを特徴とする請求項７〜１０のいずれかに記載の画像処理方法。
12. 前記除外包含工程は、前記外接領域抽出工程で抽出された複数の外接領域それぞれの外接領域内の黒画素または白画素の頻度、黒画素または白画素が連続する大きさ、領域の属性と目的の画像種類の画像との関係から判断して、除外領域と包含領域とに選別するものであることを特徴とする請求項７〜１１のいずれかに記載の画像処理方法。