JP2004128643A

JP2004128643A - 画像の傾き補正方法

Info

Publication number: JP2004128643A
Application number: JP2002286765A
Authority: JP
Inventors: Yoshiyuki Matsuyama; 好幸松山; Masato Nishizawa; 眞人西澤; Chihiro Ueki; 千尋植木; Ryosuke Iida; 亮介飯田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-09-30
Filing date: 2002-09-30
Publication date: 2004-04-22

Abstract

【課題】読み取るべき原稿上の汚れや傷み等によるノイズ情報が画像上にある場合にも、その影響を除去することのできる画像の傾き補正方法を提供する。
【解決手段】２次元に配置された画素の集合体からなる第１の画像の輪郭を抽出して第２の画像を作成する第１のステップと、第２の画像を、第１の画像の水平方向に対してあらかじめ決めておいた角度毎に回転させて、第１の画像の水平方向に、第２の画像の画素毎の輝度値を累積して、回転させた角度毎のヒストグラムを作成する第２のステップと、ヒストグラムそれぞれの分散値を算出し、最も分散値の大きなヒストグラムを作成したときの角度で第１の画像を回転させる第３のステップとを備えた。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、文書等の原稿をハンドスキャナ等で撮影した画像において生じた傾きを補正する画像の傾き補正方法に関する。
【０００２】
【従来の技術】
従来から、文書等の原稿をスキャナ等で撮影し、撮影された画像を用いてＯＣＲ（Ｏｐｔｉｃａｌ　Ｃｈａｒａｃｔｅｒ　Ｒｅｃｏｇｎｉｔｉｏｎ）処理を行って文字認識を行うための様々な技術が提案されている。
【０００３】
特にハンドスキャナ等の比較的小型のスキャナを用いて使用者が原稿上をなぞって画像を撮影するという方式の装置においては、使用者の違いや使い方の違い等によって、撮影する際の走査方向が原稿の文字等の配列方向に対して傾くことがあり、その傾きが大きい場合には、文字を正確に切出せず文字認識率が低下するという課題があった。
【０００４】
このような画像の傾きを補正する方法としては、例えば、文字画像を、２次元に配置された画素（ピクセル）の集合体からなる画像データとして、画素毎の輝度値を２値化して２次元の２値化画像データとし、各画素に対して互いに平行な多数の走査線を設定して走査を行い、２値化画像データの文字画像を示すデータを走査線毎に累積させて、その累積値につき走査線と直交する方向の分布を求めることにより投影プロフィールを作成し、この投影プロフィールの分散値にもとづいて回転補正量を求める方法が提案されてきた（例えば、特許文献１参照。）。
【０００５】
【特許文献１】
特開平７−２８２１９５号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、前述のような画像の傾き補正方法においては、傾き補正を行う際に、まず取得された画像の２値化を行う。このため、原稿を撮影する際に、原稿上の汚れや傷み、光源のバラツキによる照度ムラがある場合、読み取り画像上に残る情報（以下、ノイズ情報と記す）が、２値化した画像上にそのまま残ってしまい、ノイズであるべき情報が文字であるとみなされ、正確な傾き検出および以後の処理における適切な文字認識ができないという課題があった。また、２値化した画像をそのまま回転するために、処理時間がかかる、という課題もあった。
【０００７】
本発明は、このような課題に鑑み、読み取るべき原稿上のノイズ情報が画像上にある場合にも、その影響を除去して、正確に傾きを検出できる、かつ、処理を迅速に行うことのできる画像の傾き補正方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明の画像の傾き補正方法は、２次元に配置された画素の集合体からなる第１の画像の輪郭を抽出して第２の画像を作成する第１のステップと、第２の画像を、第１の画像の水平方向に対してあらかじめ決めておいた角度毎に回転させて、第１の画像の水平方向に、第２の画像の画素毎の輝度値を累積して、回転させた角度毎のヒストグラムを作成する第２のステップと、ヒストグラムそれぞれの分散値を算出し、最も分散値の大きなヒストグラムを作成したときの角度で第１の画像を回転させる第３のステップを備えたことを特徴としている。
【０００９】
このような構成により、第１の画像である元画像を輪郭抽出してからヒストグラムの算出を行うので、処理スピードの向上およびノイズ情報、特に輝度変化の緩やかなノイズ情報の悪影響の除去を行うことが可能である。
【００１０】
さらに、第１のステップにおいて、第１の画像の注目画素に対して隣接する２つの画素の輝度値の差を、第２の画像における注目画素の輝度値とすることによって、第２の画像を作成する構成であることにより、簡易な処理内容で、輪郭抽出を行うことが可能である。
【００１１】
また、第１の画像の注目画素に対して隣接する２つの画素の輝度値の差が所定の基準値以下である注目画素について、第２の画像における注目画素の輝度値を０として第２の画像を作成する構成であることにより、ノイズ情報、特に輝度の絶対値が小さいノイズ情報の悪影響を除去することが可能である。
【００１２】
また、第２のステップにおいて、ヒストグラムを、第２の画像の画素毎の輝度値を累積する代わりに、輝度値が所定の基準値以上の画素の数をカウントすることによって作成する構成により、処理を簡素化し、演算部への負荷の小さい画像の傾き補正方法を提供することが可能である。
【００１３】
さらに、第１のステップにおける第２の画像の作成が、第１の画像を構成する画素のうち、一部の画素を注目画素として行われる構成であることにより、間引きによる処理スピードの向上を図ることが可能である。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて説明する。
【００１５】
本発明の実施の形態として、本発明の画像の傾き補正方法について説明する。
【００１６】
図１は、本発明の実施の形態における画像の傾き補正方法の処理ステップを示すフローチャートである。また、図２は、本発明の画像の傾き補正方法を実行するための装置の構成の一例を示す。
【００１７】
図２に示したように、本発明の実施の形態における傾き補正装置３０は、文字や図形等の原稿を読み取って、その画像の撮影を行う画像入力部１と、画像入力部１に接続され、画像入力部１によって撮影された画像にもとづいて以降に説明する各種の処理を行うＣＰＵ２、画像入力部１によって撮影された画像の記憶を行う、フレームメモリである第１の記憶手段３、ＣＰＵ２によって各種処理演算された結果画像を格納、記憶するフレームメモリである第２の記憶手段４、さらに、ＣＰＵ２に接続され、各種の演算された結果情報や必要な情報を使用者に対して表示する表示部５から構成されている。
【００１８】
画像入力部１としては、光学的なデバイス等、公知のハンドスキャナに用いられるデバイスを用いることができる。
【００１９】
第１の記憶手段３および第２の記憶手段４は、それぞれＣＰＵ２に接続されており、その記憶媒体としては、公知のフラッシュメモリ等を用いることができる。
【００２０】
表示部５は、公知のディスプレイデバイス、例えば、ＬＣＤ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｔ）およびＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）等の公知のデバイスから任意に選ぶことができる。
【００２１】
次に、本発明の実施の形態における、画像の傾き補正方法の処理ステップについて、図１に従って説明する。
【００２２】
まず、画像入力部１で撮影された第１の画像（以下、元画像と記す）が、ＣＰＵ２を介して第１の記憶手段３にロードされる（ステップＳ１９）。この元画像の例を図３に示す。図３に示した元画像１１は、ハンドスキャナで撮影された、部分画像を合成して得られた画像であり、ハンドスキャナを手動でスキャンした際の、スキャン方向と、文字の連なり（以下、文字行と記す）方向との差が大きく影響して、文字行が傾斜してしまっていることが分かる。本実施の形態において、元画像１１は、２次元に配置された画素の集合体であり、それぞれの画素の輝度値は多値（２５６階調）の白黒画像である。
【００２３】
また、本実施の形態においては、画像入力部１の撮影手段として、２５６×１６画素のＣＣＤを用い、画像を展開するための、第１の記憶手段３および第２の記憶手段４としては、図３において横×縦＝１０００×４００画素のフレームメモリをそれぞれ用いた。
【００２４】
次に、ＣＰＵ２は、第１の記憶手段３に記憶された元画像１１を図３における水平方向（Ｘ軸方向）に、画素毎に後述する輪郭抽出（以下、エッジ抽出と記す）処理して、図４に示すような第２の画像であるエッジ抽出画像１２を得て、第２の記憶手段４に書き込む（ステップＳ２０）。
【００２５】
このエッジ抽出の方法について、図５を用いて説明する。図５は本発明の実施の形態におけるエッジ抽出方法を説明するための図であり、説明を簡単にするために、画像を構成する画素のうち任意の一行を取り出し、その処理を行うべき注目画素Ａの前後の画素について模式的に示した図である。
【００２６】
図５において、処理方向を図中Ｘ軸方向（このＸ軸方向は、元画像１１を構成する画像データにおける水平方向である）とし、処理を行うべき注目画素を画素Ａとすると、本発明におけるエッジ抽出方法では、注目画素Ａの輝度ＬＡの値を、両隣の画素、すなわち画素Ａ−１と画素Ａ＋１の輝度をそれぞれ、Ｌ１、Ｌ２としたときの、Ｌ１とＬ２との差の絶対値であるとみなす。すなわち、
ＬＡ＝｜Ｌ１−Ｌ２｜
と定義して演算を行い、第２の記憶手段４において、注目画素Ａの輝度については、ＬＡの値を記憶させる。
【００２７】
さらに、この際、基準値Ｒを設けて、注目画素Ａの輝度ＬＡの値が所定の基準値Ｒを超える場合にはＬＡの値を注目画素Ａの輝度値として記憶させ、注目画素Ａの輝度ＬＡの値が所定の基準値Ｒ以下である場合には、ＬＡ＝０として、第２の記憶手段４の画素Ａに相当する画素に輝度値として０の値を書き込む。撮影条件や原稿の状態にもよるが、実用的には、画素の輝度値が０〜２５５階調の２５６階調で表わされるとき、この所定の基準値Ｒの値は２０程度が望ましい。
【００２８】
以下、このようにして、処理方向（Ｘ軸方向）に沿って、第１の記憶手段３上の全画素について、順次エッジ抽出処理を行い、その結果を第２の記憶手段４に書き込む。
【００２９】
この第２の記憶手段４に書き込まれた第２の画像であるエッジ抽出画像１２の一例を図４に示す。図４に示したエッジ抽出画像１２は、図３に示した元画像１１を水平方向にエッジ抽出処理した結果を示している。
【００３０】
元画像１１とエッジ抽出画像１２とを比較すると、処理方向に、文字の情報が立ち上がる部分および文字情報が失われる部分、すなわち、隣接する画素との輝度変化が大きな部分が白く（輝度が高く）抽出されていることが分かる。
【００３１】
このようなエッジ抽出方法を用いることにより、元画像１１の画素の輝度値を用いてエッジ抽出画像１２における注目画素Ａの輝度ＬＡを算出する際に、所定の基準値Ｒ以下の輝度値が算出された場合には、その情報を無視してＬＡ＝０であるとみなして注目画素Ａの輝度値として第２の記憶手段４に書き込んでエッジ抽出画像１２を作成するので、原稿を読み取る際の原稿上の汚れや傷み等の比較的輝度変化の小さなノイズ情報については、エッジ抽出画像１２に反映されない。
【００３２】
例えば、図３の元画像１１のうち、左下部分のＢで示した部分のノイズ情報（名刺の端部が撮影されている）は、図４に示したエッジ抽出画像１２においては、全く現われていないことが分かる。
【００３３】
次に、ＣＰＵ２は、第２の記憶手段４に蓄積されたエッジ抽出画像１２を、元画像１１の水平方向に対して、あらかじめ決められた各方向に回転させて（ステップＳ２１）、回転させたエッジ抽出画像１２それぞれのエッジヒストグラムを算出する（ステップＳ２２）。
【００３４】
このエッジヒストグラムの算出方法について、次に説明する。図６は本実施の形態の画像の傾き補正方法におけるエッジヒストグラムの一例である。本実施の形態においては、エッジ抽出画像１２の回転角度を、元画像１１の水平方向を０°として、０°から１°ずつ回転させた場合の、元画像１１の水平方向のエッジヒストグラムを算出した。図６には、回転角度を０°から左側に１°ずつ５°まで変化させた場合のそれぞれの元画像１１の水平方向のエッジヒストグラムを示している。
【００３５】
ここで、エッジヒストグラムの算出は、第２の記憶手段４上で、水平方向（図４におけるＸ軸方向）に、輝度値を画素毎に加算することによって算出してもよいし、処理の簡素化を図るためには、輝度値が基準値Ｒを超える画素についてその画素数をカウントして算出してもよい。図６に示した例は、後者の処理を行った結果である。
【００３６】
再度図１に戻って、各回転角度毎に算出されたエッジヒストグラムそれぞれについて、分散値σを算出し、最も分散値σが大きくなる回転角度を画像の傾き補正角度として決定する（ステップＳ２３）。
【００３７】
図７は、回転角度毎にエッジヒストグラムの分散値σを算出したものをグラフ化したものである。図７に示したように、本実施の形態においては、回転角度＝左に４°のときに、最も分散値σが大きくなるので、画像の傾き補正角度を左に４°と決定する。
【００３８】
そして、算出された画像の傾き補正角度分だけ、第１の記憶手段３に記憶された元画像１１を回転させて、処理を終了する（ステップＳ２４）。元画像１１の回転には、公知の方法、例えば、アフィン変換等を用いることができる。
【００３９】
図８に、本実施の形態の画像の傾き補正方法によって傾き補正された画像１３の一例を示す。図８に示された傾き補正された画像１３は、図３に示した元画像１１と比較して、原稿の傾きが補正されていることが分かる。なお、このようにして得られた補正された画像１３を表示部５に表示して、使用者に確認を促す構成であってもよい。
【００４０】
次に、本実施の形態の画像の傾き補正方法を用いることにより、原稿の文字認識精度が向上したことを、名刺読み取りの正読率を用いて示す。
【００４１】
この正読率の算出は、第１の記憶手段３に記憶された画像にもとづいて、ＣＰＵ２でＯＣＲ処理を行い、その結果正しく認識された文字の割合を算出することによって行う。サンプルとしては、ランダムに名刺２０枚を用いて認識を行った。撮影し、ＯＣＲに供した文字数は、電話番号３９０文字、メールアドレスおよびＵＲＬは１０２６文字である。
【００４２】
まず名刺中の電話番号の場合、画像の傾き補正を行わない場合の正読率に対して、本実施の形態の画像の傾き補正を行った場合には、約１８％正読率が向上することが分かった。
【００４３】
また、名刺中のメールアドレスおよびＵＲＬについても、画像の傾き補正を行わない場合の正読率に対して、本実施の形態の画像の傾き補正を行った場合には、約２０％正読率が向上し、より高い正読率を得ることができた。
【００４４】
また、電話番号、メールアドレス、ＵＲＬ全体においても、画像の傾き補正を行わない場合と比較して、本実施の形態の画像の傾き補正方法を用いれば、約１９％正読率を向上することができた。
【００４５】
なお、本実施の形態においては、元画像１１の全画素について演算を行うことにより、エッジ抽出画像１２を算出する例を示したが、例えば、さらに演算スピードの高速化およびＣＰＵの負担軽減を図るために、元画像１１のうち、エッジ抽出処理を、全画素について行わずに、所定の画素毎に間引いて行う構成であってもよい。実用的には、元画像１１のうち、縦横それぞれ４画素毎にエッジ抽出処理を行っても、正読率にはほとんど悪影響がないことが確認されている。
【００４６】
例えばこのような４画素毎にエッジ抽出処理を行うことにより、従来のエッジ抽出を行わないで画像の傾き補正を行う場合と比較して、回転処理を行う画像のサイズが１６分の１になるので、大幅な演算量の削減および演算スピードの向上を図ることができる。携帯電話装置等の携帯型情報装置での処理を考慮した場合、演算スピードが速い、すなわち、ＣＰＵに負担の少ない処理方法が望ましく、本発明の画像の傾き補正方法は、携帯型情報装置での処理に適しているということができる。
【００４７】
なお、本実施の形態においては、元画像からエッジ抽出を行う方向を、元画像の画像データにおける水平方向であるとして説明を行ったが、本発明の画像の傾き補正方法はこれに限定されるものではない。元画像に対して垂直方向にエッジ抽出を行ったり、他の任意の方向にエッジ抽出を行っても同様の効果が得られることはいうまでもない。
【００４８】
【発明の効果】
以上述べたように、本発明の画像の傾き補正方法を用いれば、エッジ抽出処理を行うので、演算スピードが向上し、ＣＰＵの負担が軽減するとともに、エッジ抽出の際に閾値を設けることにより、ノイズ情報等の影響の少ない画像の傾き補正方法を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における画像の傾き補正方法の処理ステップを示すフローチャート
【図２】本発明の実施の形態における画像の傾き補正装置の構成の一例を示すブロック図
【図３】本発明の実施の形態における元画像の一例を示す図
【図４】本発明の実施の形態におけるエッジ抽出画像の一例を示す図
【図５】本発明の実施の形態におけるエッジ抽出方法を説明するための図
【図６】本発明の実施の形態におけるエッジヒストグラムの一例を示す図
【図７】本発明の実施の形態における傾きと分散値との相関を示す図
【図８】本発明の実施の形態における画像の傾き補正後の画像の一例を示す図
【符号の説明】
１　画像入力部
２　ＣＰＵ（演算部）
３　第１の記憶手段
４　第２の記憶手段
５　表示部
１１　元画像
１２　エッジ抽出画像
１３　補正された画像
３０　傾き補正装置

Claims

２次元に配置された画素の集合体からなる第１の画像の輪郭を抽出して第２の画像を作成する第１のステップと、
前記第２の画像を、前記第１の画像の水平方向に対してあらかじめ決めておいた角度毎に回転させて、前記第１の画像の水平方向に、前記第２の画像の画素毎の輝度値を累積して、回転させた角度毎のヒストグラムを作成する第２のステップと、
前記ヒストグラムそれぞれの分散値を算出し、最も分散値の大きなヒストグラムを作成したときの角度で前記第１の画像を回転させる第３のステップとを備えたことを特徴とする画像の傾き補正方法。
前記第１のステップにおいて、前記第１の画像の注目画素に対して隣接する２つの画素の輝度値の差を、前記第２の画像における注目画素の輝度値とすることによって、前記第２の画像を作成することを特徴とする請求項１に記載の画像の傾き補正方法。
前記第１の画像の注目画素に対して隣接する２つの画素の輝度値の差が所定の基準値以下である前記注目画素について、前記第２の画像における前記注目画素の輝度値を０として前記第２の画像を作成することを特徴とする請求項２に記載の画像の傾き補正方法。
前記第２のステップにおいて、前記ヒストグラムを、前記第２の画像の画素毎の輝度値を累積する代わりに、輝度値が所定の基準値以上の画素の数をカウントすることによって作成することを特徴とする請求項１から請求項３までのいずれか１項に記載の画像の傾き補正方法。
前記第１のステップにおける前記第２の画像の作成が、前記第１の画像を構成する画素のうち、一部の画素を前記注目画素として行われることを特徴とする請求項１から請求項４までのいずれか１項に記載の画像の傾き補正方法。