JP2016103165A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】文字を含む画像のぼけ度合いの推定精度を高める。【解決手段】ノイズ除去処理部２は、入力画像１０から、入力画像１０に含まれる文字の線幅に対する中央部を中央線１２として抽出する。ノイズ除去処理部２は、中央線１２から等距離にある複数の画素の画素値を平滑化する平滑化処理を中央線１２からの距離ごとに実行することで、入力画像１０を平滑化画像２０に変換する。これにより、入力画像１０に含まれる文字を形成する線の形状や方向に関係なく、入力画像１０からノイズ成分が精度よく除去される。ぼけ指標算出部３は、ノイズ成分が除去された平滑化画像２０のぼけの度合いを示すぼけ指標を算出することで、ぼけ指標を精度よく算出できる。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

近年、様々な場面で入力画像から文字を自動認識する文字認識技術が利用されている。文字認識の方法としては、例えば、設定した文字を表す辞書画像と入力画像とを比較して類似度を計算し、最も類似度が高い辞書画像を認識結果とする方法がある。

また、エッジ部分の輝度勾配やエッジ幅などに基づいて入力画像のぼけ度合いを推定する技術が知られている。この技術は、推定結果をその後の処理で利用できる点で有用である。例えば、ぼけ度合いの推定結果をフォーカス制御にフィードバックすることで、フォーカス精度を向上させることができる。また、ぼけ度合いの推定技術を文字認識技術に適用することもできる。例えば、入力画像のぼけ度合いに応じて、複数の文字認識方式の中から適切な方式を選択することで、文字認識精度が向上する可能性がある。

なお、入力画像のぼけ度合いを推定する際に、縦、横、斜めといった特定の方向に並んだ画素の値を平均化する線状ぼかし処理を行うことで、ノイズを除去する技術が提案されている。

特開２００７−０２６０２７号公報 特開２００９−１２９２２１号公報

上記のように、入力画像のぼけ度合いは、例えば、エッジ部分の輝度勾配やエッジ幅に基づいて推定される。しかし、入力画像にノイズが含まれていると、エッジ部分の輝度勾配やエッジ幅を正確に算出することができず、ぼけ度合いの推定精度が低下するという問題がある。また、上記の線状ぼかし処理では、ノイズを除去できるエッジの方向が限定されるため、文字の形状によってはノイズを除去できない場合があり、ぼけ度合いの推定精度の向上効果が低いという問題がある。

１つの側面では、本発明は、文字を含む画像のぼけ度合いの推定精度を高めることが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

１つの案では、次のようなノイズ除去処理部およびぼけ指標算出部を有する画像処理装置が提供される。ノイズ除去処理部は、入力画像から、入力画像に含まれる文字の線幅に対する中央部を中央線として抽出し、中央線から等距離にある複数の画素の画素値を平滑化する平滑化処理を中央線からの距離ごとに実行することで入力画像を平滑化画像に変換する。ぼけ指標算出部は、平滑化画像のぼけの度合いを示すぼけ指標を算出する。

また、１つの案では、上記の画像処理装置と同様の処理が実行される画像処理方法が提供される。
さらに、１つの案では、上記の画像処理装置と同様の処理をコンピュータに実行させる画像処理プログラムが提供される。

１つの側面では、文字を含む画像のぼけ度合いの推定精度を高めることができる。

第１の実施の形態に係る画像処理装置の構成例および処理例を示す図である。 第２の実施の形態に係る文字認識システムの構成例を示す図である。 ぼけ度合い、エッジ勾配、エッジ幅の関係について説明するための図である。 ノイズの発生に伴うぼけ度合いの推定精度の変化について説明するための図である。 輝度が等しい画素を特定する処理の例を示す図である。 画像処理装置が備える処理機能の構成例を示すブロック図である。 辞書情報のデータ構成例を示す図である。 画像処理装置の処理手順の例を示すフローチャートである。 文字の中央線の抽出例を示す図である。 ラベル付け処理の例を示す図である。 ラベル付け処理手順の例を示すフローチャートである。 第１のノイズ除去処理例の手順を示すフローチャートである。 第２のノイズ除去処理例について説明するための図である。 第２のノイズ除去処理例の手順を示すフローチャートである。 第３のノイズ除去処理例について説明するための図である。 第３のノイズ除去処理例の手順を示すフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る画像処理装置の構成例および処理例を示す図である。図１に示す画像処理装置１は、入力画像１０のぼけ度合いを示すぼけ指標を算出する装置である。入力画像１０は、文字が記載された対象物が撮像装置によって撮像された画像である。したがって、入力画像１０には文字の画像が含まれる。

画像処理装置１は、ノイズ除去処理部２およびぼけ指標算出部３を有する。ノイズ除去処理部２およびぼけ指標算出部３の処理は、例えば、画像処理装置１が備えるプロセッサが所定のプログラムを実行することで実現される。

ノイズ除去処理部２は、入力画像１０から、入力画像１０に含まれる文字の線幅に対する中央部を中央線として抽出する。そして、ノイズ除去処理部２は、抽出した中央線から等距離にある複数の画素の画素値を平滑化する平滑化処理を中央線からの距離ごとに実行することで、入力画像１０を平滑化画像に変換する。

図１の右側には、入力画像１０の例を示すとともに、入力画像１０における部分領域１１を拡大して例示している。部分領域１１には、文字の一部が図１の左右方向に横切るように存在している。ノイズ除去処理部２は、部分領域１１に存在する文字の領域から中央線１２を抽出する。なお、中央線１２は、例えば、入力画像１０を幅が１画素の線画像に変換する細線化処理によって抽出される。

ノイズ除去処理部２は、部分領域１１における中央線１２から同一の距離ｄにある複数の画素の例として、画素群１３を特定する。この場合、ノイズ除去処理部２は、画素群１３の各画素の画素値を平滑化する。ノイズ除去処理部２は、このように中央線１２から同一距離にある複数の画素の画素値を平滑化する処理を、中央線１２からの距離を変えながらそれぞれ実行する。その結果、入力画像１０は、平滑化処理が施された平滑化画像２０に変換される。

ここで、複数の画素の画素値を平滑化する処理によれば、ノイズを含まないときのそれらの複数の画素の元の画素値が同じ場合に、ノイズを精度よく除去できる。また、文字の領域とその背景の領域とがそれぞれ一様な画素値を有するような画像では、文字のエッジを検出することで、エッジの位置を基準として元の画素値が同じ複数の画素を特定できる。具体的には、エッジの位置から同じ距離にある画素が、元の画素値が同じである画素として特定される。このため、特定された複数の画素の画素値を平滑化することで、ノイズを精度よく除去できる。しかし、画像にぼけが発生している場合には、文字のエッジ付近ににじみが生じるために、文字のエッジを正確に検出することができない。

これに対して、画像にぼけが発生している場合でも、文字の線幅方向に対する中央付近では、文字領域の画素の本来の画素値が維持されている可能性が高い。このため、文字のエッジと比較して、文字の中央線の方が正確に抽出できる可能性が高い。そして、文字の幅が一定であると考えた場合、文字のエッジは文字の中央線から等距離にある。上記のように文字のエッジから等距離にある画素は元の画素値が同じであると考えられることから、文字の中央線から等距離にある画素も元の画素値が同じであると考えることができる。

したがって、ノイズ除去処理部２により、文字の中央線から等距離にある複数の画素の画素値が平滑化されることにより、入力画像１０にぼけが発生していた場合でも、入力画像１０からノイズ成分のみを精度よく除去できる。また、文字の中央線から等距離にある画素を平滑化の対象とすることで、文字を形成する線の形状や方向に関係なく、文字のエッジ付近のノイズを高精度に除去できる。

ぼけ指標算出部３は、ノイズ除去処理部２によって入力画像１０が変換された平滑化画像２０のぼけの度合いを示すぼけ指標を算出する。入力画像１０からでなく、ノイズ除去処理部２による上記処理によってノイズ成分が精度よく除去された平滑化画像２０からぼけ指標が算出されることで、ぼけ指標の算出精度が向上する。

したがって、第１の実施の形態に係る画像処理装置１によれば、文字を含む画像のぼけ度合いの推定精度を高めることができる。
〔第２の実施の形態〕
次に、第２の実施の形態として、デジタルカメラなどの撮像装置により標識などの対象物を撮影し、画像認識技術を用いて対象物に記載された文字を自動認識するシステムについて説明する。

図２は、第２の実施の形態に係る文字認識システムの構成例を示す図である。図２に示す文字認識システムは、撮像装置５０と画像処理装置１００とを含む。撮像装置５０は、対象物を撮像し、得られた撮像画像を画像処理装置１００に送信する。画像処理装置１００は、撮像装置５０から受信した撮像画像に含まれる文字を、画像認識技術を用いて認識する。

画像処理装置１００は、例えば、図２に示すようなコンピュータとして実現される。
画像処理装置１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＰＬＤ（Programmable Logic Device）である。またプロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。

プロセッサ１０１には、バス１０９を介して、ＲＡＭ（Random Access Memory）１０２と複数の周辺機器が接続されている。
ＲＡＭ１０２は、画像処理装置１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。

バス１０９に接続されている周辺機器としては、ＨＤＤ（Hard Disk Drive）１０３、グラフィック処理装置１０４、入力インタフェース１０５、読み取り装置１０６、ネットワークインタフェース１０７および通信インタフェース１０８がある。

ＨＤＤ１０３は、画像処理装置１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。

グラフィック処理装置１０４には、表示装置１０４ａが接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令にしたがって、画像を表示装置１０４ａに表示させる。表示装置としては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置などがある。

入力インタフェース１０５には、入力装置１０５ａが接続されている。入力インタフェース１０５は、入力装置１０５ａから出力される信号をプロセッサ１０１に送信する。入力装置１０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

読み取り装置１０６には、可搬型記録媒体１０６ａが脱着される。読み取り装置１０６は、可搬型記録媒体１０６ａに記録されたデータを読み取ってプロセッサ１０１に送信する。可搬型記録媒体１０６ａとしては、光ディスク、光磁気ディスク、半導体メモリなどがある。

ネットワークインタフェース１０７は、ネットワーク１０７ａを介して他の装置との間でデータの送受信を行う。
通信インタフェース１０８は、外部デバイスに接続し、外部デバイスとの間でデータの送受信を行う。本実施の形態では、通信インタフェース１０８には外部デバイスとして撮像装置５０が接続されており、通信インタフェース１０８は撮像装置５０から送信された画像データをプロセッサ１０１に送信する。

以上のようなハードウェア構成によって、画像処理装置１００の処理機能を実現することができる。
＜ぼけ度合いの推定処理と文字認識処理＞
前述のように、画像処理装置１００は、撮像装置５０によって撮像された撮像画像に含まれる文字を、画像認識技術を用いて認識する。撮像装置５０は、撮像位置からある距離だけ離れた位置の撮像範囲にピントが合うようにフォーカスが設定されている。その撮像範囲に対象物が存在していれば、対象物を鮮明に撮像することができるが、撮像範囲外に対象物が存在する場合、対象物の画像はぼける。また、撮像範囲に対象物が存在していたとしても、被写体ブレや温度変化などに起因して撮像画像にぼけが生じる可能性はある。さらに、撮像装置５０の経年劣化によりフォーカス位置がずれて撮像画像にぼけが生じる可能性もある。

撮像画像にぼけが生じると、対象物を撮像した画像から文字を認識することが難しくなる。そこで、画像処理装置１００は、撮像装置５０から入力された撮像画像のぼけ度合いを推定し、推定したぼけ度合いに応じた文字認識の処理を実行する。具体的には、画像処理装置１００は、認識対象の文字ごとに、ぼけ度合いがそれぞれ異なる複数の辞書画像を保持する。辞書画像とは、ある文字を認識する際に、入力画像の文字部分と比較するためにあらかじめ用意された文字の画像である。画像処理装置１００は、撮像装置５０から入力された撮像画像のぼけ度合いを推定し、上記の辞書画像の中から、推定したぼけ度合いに対応する辞書画像だけを選択して、選択した辞書画像と撮像画像とを照合することで文字を認識する。

このような処理によれば、ぼけ度合いの異なる辞書画像を用いて文字認識が行われることで、撮像画像にぼけが生じていた場合の文字の認識率が向上する。また、撮像画像のぼけ度合いの推定結果を基に、画像処理装置１００に保持された辞書画像の中から照合対象の辞書画像が絞り込まれることで、例えば、保持されたすべての辞書画像と撮像画像とを照合する場合と比較して文字認識の処理負荷が低減される。

ここで、画像処理装置１００によるぼけ度合いの推定処理について説明する。最初に、ぼけ度合いとぼけ指標について説明する。
図３は、ぼけ度合い、エッジ勾配、エッジ幅の関係について説明するための図である。図３（Ａ）はぼけ度合いが大きい場合の例を示し、図３（Ｂ）はぼけ度合いが小さい場合の例を示す。図３（Ａ），（Ｂ）ともに、上側には、エッジ付近の画像を拡大した画像例が記載され、下側には、上側の画像における線Ｌ１，Ｌ２に沿った輝度の分布を示すグラフが記載されている。

ぼけ度合いを表す尺度となるぼけ指標には、例えば、エッジ勾配やエッジ幅などが利用される。図３（Ａ）のようにぼけ度合いが大きい場合には、エッジ勾配（角度θ１）は小さく、エッジ幅（最小輝度から最大輝度までの距離Ｗ１）は大きい。一方、図３（Ｂ）のようにぼけ度合いが小さい場合には、エッジ勾配（角度θ２）は大きく、エッジ幅（最小輝度から最大輝度までの距離Ｗ２）は小さい。このような特性を利用すると、エッジ勾配やエッジ幅に基づいてぼけ度合いを評価することができる。

＜ぼけ度合いの推定処理の問題点＞
ところが、画像にノイズが多い場合には、エッジ勾配やエッジ幅の算出精度が低下して、ぼけ度合いを正しく推定できなくなる可能性がある。この問題点について、図４を用いて説明する。

図４は、ノイズの発生に伴うぼけ度合いの推定精度の変化について説明するための図である。図４（Ａ）はノイズがない場合を示し、図４（Ｂ）はノイズが小さい場合を示し、図４（Ｃ）はノイズが大きい場合を示す。図４（Ａ）〜（Ｃ）の上側には、文字のエッジ部分の画像を示し、図４（Ａ）〜（Ｃ）の下側には、各画素の輝度の例と、隣接画素間の輝度の差分の例を示す。

この図４では、文字と背景との境界部分（エッジ部分）を説明の対象とする。ノイズが全くない場合には、図４（Ａ）のように、文字側の領域の画素はある程度低い一定の輝度（図４（Ａ）では“４０”）を有し、背景側の領域の画素は文字側より高い一定の輝度（図４（Ａ）では“２００”）を有する。この場合、境界を挟んだどの隣接画素間の差分も同じ値（図４（Ａ）では“１６０”）となるので、どの位置でもエッジ勾配を正確に算出することができる。

しかし、ノイズが発生している場合には、図４（Ｂ）のように、文字側の領域も背景側の領域も輝度は一定値にはならない。そのため、境界を挟んだ隣接画素間の差分は、位置によって異なる可能性がある。この場合、どの位置でエッジ勾配を算出するかによってぼけ指標の値が変わる可能性がある。

さらに、ノイズがより大きい場合には、図４（Ｃ）のように、文字側の領域も背景側の領域も、位置による輝度のバラツキが大きくなり、境界を挟んだ隣接画素間の差分のバラツキも大きくなる。この場合、エッジ勾配の算出位置の違いによるぼけ指標の差が大きくなり、ぼけ指標の算出精度が著しく低下する。

＜ノイズ除去処理の概要＞
上記のようなノイズ発生時の問題点に対して、画像処理装置１００は、撮像画像からノイズを除去し、ノイズ除去後の撮像画像からぼけ指標を算出する。以下、画像処理装置１００でのノイズ除去処理の概要について説明する。

まず、対象物における文字の内部は一様な輝度であり、文字のエッジの外側の背景も、文字とは異なる一様な輝度であるものとする。また、ノイズの大きさは、正規分布のように０を中心として正側と負側とに対称に分布し、各画素に対してノイズがランダムに発生するとする。

このような前提条件の下では、輝度が一様なある領域の輝度をａ、画素ｉのノイズの大きさをｎ_iとすると、Ｎ画素の平均輝度μは次の式（１）のように表される。

上記の前提条件から、Ｎが大きくなるほど式（１）の“ｂ”は小さくなるため、Ｎ画素の平均輝度μは本来の輝度ａに近づいていく。したがって、元の輝度が等しい画素で輝度の平均をとることで、ノイズを小さくすることができる。

ここで、文字と背景との境界からの距離が等しい画素は、同じ輝度を有すると考えることができる。このため、文字と背景との境界からの距離が等しい複数の画素の輝度を平均化することで、ノイズ成分だけを除去できると考えられる。しかしながら、ぼけている画像では文字と背景との境界は不鮮明であるため、ぼけ画像から境界を特定することは困難である。

そこで、画像処理装置１００は、「文字と背景との境界からの距離が等しい画素」を、「文字の線幅方向の中央を通る線からの距離が等しい画素」として特定する。以下、文字の線幅方向の中央を通る線を「文字の中央線」と記載する場合がある。文字の幅が一定であると考えれば、文字の中央線から文字と背景との境界までの距離はどの位置でも同じになる。このため、文字の中央線からの距離が同じ画素は、本来は同じ輝度を有すると考えることができる。したがって、文字の中央線からの距離が同じ画素の輝度を平滑化することで、ノイズ成分のみを除去できる可能性が高い。

図５は、輝度が等しい画素を特定する処理の例を示す図である。図５（Ａ）は文字の直線部分における処理例を示し、図５（Ｂ）は文字の曲線部分における処理例を示す。図５（Ａ），（Ｂ）の例のように、画像がぼけている場合、文字領域と背景領域との境界部分は不鮮明になる。一方、例えば、背景領域より文字領域の方が輝度が小さい場合、文字領域の線幅方向の中央付近は最も輝度が小さくなる。このため、画像がぼけていたとしても、文字の中央線を特定できる可能性は高い。

図５（Ａ）の例では、文字の中央線２０１が抽出され、文字の中央線２０１から距離ｄ１だけ離れた位置にある複数の画素が、画素群２０２として特定される。特定された画素群２０２に含まれる各画素の輝度は、本来すべて同じであると考えられる。このため、画素群２０２に含まれる各画素の輝度が平滑化されることで、ノイズ成分が除去される。図５（Ｂ）の例では、文字の中央線２０３が抽出され、文字の中央線２０３から距離ｄ２だけ離れた位置にある複数の画素が、画素群２０４として特定される。そして、画素群２０４に含まれる各画素の輝度が平滑化されることで、ノイズ成分が除去される。

図５（Ａ），（Ｂ）の例のように、文字の中央線は、文字における直線部分に限らず、曲線部分でも抽出可能であり、また、文字が延びている方向にも関係なく抽出可能である。したがって、どのような文字であっても、文字の中央線からの距離に基づくことで、本来同じ輝度を有する画素を高精度に特定できる。

また、画像がぼけている場合、文字と背景との境界では文字の輝度と背景の輝度とが混合した状態になる。文字の幅が一定であると考えれば、文字の中央線から同じ距離の画素における文字の輝度と背景の輝度との混合度は同じになると考えられる。このため、文字の中央線から同じ距離の複数の画素の輝度を平滑化することで、それらの画素のぼけた状態における本来の輝度を維持したまま、ノイズ成分のみを除去することができる。したがって、このようなノイズ除去処理を施した後の撮像画像からぼけ指標を算出することで、ぼけ指標の算出精度を高めることができる。

なお、後述するように、画像処理装置１００は、撮像画像から文字の中央線を抽出した後、文字の中央線から同じ距離に応じて撮像画像の各画素にラベル付けを行う。すなわち、画像処理装置１００は、文字の中央線から同じ距離にある画素に同じラベルを付与するとともに、文字の中央線からの距離が異なる画素に異なるラベルを付与する。これにより、撮像画像内の画素が文字の中央線からの距離ごとに分類される。画像処理装置１００は、分類された画素群ごとに平滑化処理を行う。

＜画像処理装置の機能＞
図６は、画像処理装置が備える処理機能の構成例を示すブロック図である。画像処理装置１００は、記憶部１１０、画像取得部１２０、ノイズ除去処理部１３０、ぼけ指標算出部１４０および文字認識処理部１５０を備える。記憶部１１０は、例えば、ＲＡＭ１０１やＨＤＤ１０２など、画像処理装置１００が備える記憶装置の記憶領域として実現される。画像取得部１２０、ノイズ除去処理部１３０、ぼけ指標算出部１４０および文字認識処理部１５０の処理は、例えば、プロセッサ１０１が所定のプログラムを実行することで実現される。

記憶部１１０には、辞書情報１１１が記憶される。辞書情報１１１は、文字と辞書画像とを対応付けた情報である。辞書画像は、あらかじめ設定された複数のぼけ度合いのそれぞれについて用意される。

画像取得部１２０は、撮像装置２００が対象物を撮像して得られた撮像画像を取得する。
ノイズ除去処理部１３０は、撮像画像から文字領域を特定し、特定した文字領域から文字の中央線を抽出する。ノイズ除去処理部１３０は、文字領域の画素に対して、文字の中央線からの距離ごとにラベル付けを行うことで、文字領域の画素を文字の中央線からの距離ごとに分類する。ノイズ除去処理部１３０は、同じラベルが付与された画素のグループごとに平滑化処理を行う。

ぼけ指標算出部１４０は、平滑化処理が施された文字領域の画像から、ぼけの度合いを示すぼけ指標を算出する。
文字認識処理部１５０は、辞書情報１１１内の辞書画像の中から、算出されたぼけ指標に対応する辞書画像を選択する。文字認識処理部１５０は、選択された辞書画像と、平滑化処理が施された文字領域の画像とをマッチングすることで、文字領域に含まれる文字を認識する。

図７は、辞書情報のデータ構成例を示す図である。図７に示すように、辞書情報１１１には、文字と辞書画像とが対応付けて登録されている。辞書画像は、あらかじめ設定された複数のぼけ度合いのそれぞれについて用意される。図７の例では、文字「４」に対応する辞書画像として、互いに異なるぼけ度合いに対応する辞書画像Ｐ１，Ｐ２，Ｐ３が用意されている。

また、ぼけ度合いごとに用意された辞書画像の集合を「辞書」と呼ぶことにする。図７の例において、辞書１１１ａは、文字「４」，「６」，「７」，・・・に対応する辞書画像Ｐ１の集合である。また、辞書１１１ｂは、文字「４」，「６」，「７」，・・・に対応する辞書画像Ｐ２の集合である。また、辞書１１１ｃは、文字「４」，「６」，「７」，・・・に対応する辞書画像Ｐ３の集合である。

なお、辞書情報１１１には、ぼけていない辞書画像に対応する辞書のみが用意されてもよい。この場合、文字認識処理部１５０は、ぼけ指標算出部１４０により文字領域の画像にぼけがあると判定されたとき、辞書情報１１１の辞書画像に対して、算出されたぼけ指標に応じてぼけが発生するように画像処理を施して、ぼけ指標に対応する辞書を生成してもよい。

このように、ぼけていない辞書画像に対応する辞書のみをあらかじめ用意しておくことで、辞書情報１１１を格納する記憶領域のサイズを小さく抑えることができる一方、算出されたぼけ指標に対応する辞書を生成する処理を実行する分だけ処理に時間がかかる。なお、ぼけ指標に応じたぼけを辞書画像に発生させる方法としては、例えば、ぼけの発生していない辞書画像にガウシアンフィルタをかける方法を用いることができる。

＜画像処理装置の処理＞
図８は、画像処理装置の処理手順の例を示すフローチャートである。
［ステップＳ１１］画像取得部１２０は、対象物を撮像した撮像画像を撮像装置２００から取得する。

［ステップＳ１２］ノイズ除去処理部１３０は、撮像画像から文字領域を抽出し、抽出した文字領域を切り出す。文字領域の抽出方法としては、撮像画像を複数の分割領域に分割し、精細の度合いを示すエッジ度が所定値より大きい分割領域を文字領域として抽出する方法を用いることができる。

また、ノイズ除去処理部１３０は、例えば、撮像画像から標識の領域などの特定の領域を抽出して、文字領域の抽出対象領域を特定の領域に絞ってもよい。標識の領域を抽出する方法としては、例えば、次のような方法を用いることができる。ノイズ除去処理部１３０は、撮像画像から特定色領域を切り出し、切り出した領域を囲むようにして撮像画像を垂直方向および水平方向に分割することで、撮像画像を格子状の領域に分割する。ノイズ除去処理部１３０は、各分割領域の画像の特徴から、各分割領域が標識領域か否かを判定する。

［ステップＳ１３］ノイズ除去処理部１３０は、切り出された文字領域に含まれる文字の中央線を抽出する。文字の中央線の抽出方法としては、例えば、後述する細線化処理を用いることができる。

［ステップＳ１４］ノイズ除去処理部１３０は、文字領域の画像の各画素について、文字の中央線から同じ距離の画素に同じラベルを付与するラベル付け処理を行う。
［ステップＳ１５］ノイズ除去処理部１３０は、文字領域の画像に対してノイズ除去処理を施す。このノイズ除去処理では、同じラベルが付与された複数の画素の輝度が平滑化される。

［ステップＳ１６］ぼけ指標算出部１４０は、ノイズ除去処理が施された文字領域の画像から、ぼけの度合いを示すぼけ指標を算出する。ぼけ指標の算出は、例えば、エッジ勾配またはエッジ幅の算出によって行われる。例えば、ぼけ指標算出部１４０は、ノイズ除去処理が施された文字領域の各画素について、隣接画素との輝度の差分（エッジ勾配）を算出する。ぼけ指標算出部１４０は、算出された差分の最大値をぼけ指標として出力する。

［ステップＳ１７］文字認識処理部１５０は、辞書情報１１１内の辞書画像の中から、ステップＳ１６で算出されたぼけ指標に対応する辞書画像を選択する。
［ステップＳ１８］文字認識処理部１５０は、ステップＳ１７で選択された辞書画像と、ノイズ除去処理が施された文字領域の画像とをマッチングする。文字認識処理部１５０は、選択された辞書画像のうち、ノイズ除去処理が施された文字領域の画像と最も類似度が高い辞書画像に対応する文字を、認識結果として出力する。

次に、図８のステップＳ１３〜Ｓ１５の処理についてさらに説明する。
（文字の中央線の抽出）
図９は、文字の中央線の抽出例を示す図である。図８のステップＳ１３において、ノイズ除去処理部１３０は、文字領域から文字の中央線を抽出する。図９の画像１２１は、文字の中央線の抽出処理前の画像の例を示し、図９の画像１２２は、文字の中央線が抽出された画像の例を示す。文字の中央線は、図９の例のように、文字の線幅方向に対する中央部分の画素の集合として抽出される。

文字の中央線は、例えば、文字領域の画像に対して細線化処理を施すことで文字の中央線が抽出される。細線化処理は、入力画像を幅が１画素の線画像に変換する処理である。細線化の方法としては、Hilditchの方法、田村の方法、Zhang Suenの方法などを用いることができる。例えば、田村の方法を用いた場合、ノイズ除去処理部１３０は、文字領域全体をスキャンし、注目画素の周辺の３×３画素のパターンが、規則によって定められた除去パターンと一致し、かつ、除去しないパターンと一致しなかった場合に、注目画素を除去する。除去パターンは２種類用意されており、それらが交互に用いられる。除去する画素がなくなるまで上記処理が繰り返されることで、文字の中央線が抽出される。

（ラベル付け処理）
図１０は、ラベル付け処理の例を示す図である。図８のステップＳ１４において、ノイズ除去処理部１３０は、文字領域の画素のうち文字の中央線の画素を除く各画素について、文字の中央線からの最短距離を算出する。ノイズ除去処理部１３０は、文字の中央線からの最短距離が同じ画素に同じラベルを付与するとともに、最短距離が異なる画素には異なるラベルを付与する。

図１０では、文字領域の画像１３１のうちの一部の領域１３２におけるラベル付けの例を示している。図１０の例では、領域１３２において、文字の中央線からの距離が近い順に「２」，「３」，「４」，・・・，「８」という値がラベルとして画素に付与されている。

図１１は、ラベル付け処理手順の例を示すフローチャートである。
［ステップＳ２１］ノイズ除去処理部１３０は、ステップＳ２１からステップＳ２９までの処理を、文字領域の画素のうち文字の中央線の画素を除く画素のそれぞれについて実行する。以下の図１１の説明では、処理対象の画素を「注目画素」と記載する。

［ステップＳ２２］ノイズ除去処理部１３０は、ステップＳ２２からステップＳ２４までの処理を、文字の中央線の画素のそれぞれについて実行する。
［ステップＳ２３］ノイズ除去処理部１３０は、文字の中央線の画素のうちの処理対象の画素と、注目画素（中央線以外の画素）との距離を計算する。

［ステップＳ２４］ノイズ除去処理部１３０は、文字の中央線の画素のすべてについて処理が終了すると、ステップＳ２５の処理を実行する。
［ステップＳ２５］ノイズ除去処理部１３０は、ステップＳ２２〜Ｓ２４の処理で算出された距離のうち、最短距離を特定し、特定した最短距離を注目画素と文字の中央線との距離とする。

［ステップＳ２６］ノイズ除去処理部１３０は、文字領域における文字の中央線の画素を除く画素のうち、処理済みの画素（すなわち、ステップＳ２５で最短距離を特定済みの画素）の中に、文字の中央線との距離が同じ画素が存在するかを判定する。距離が同じ画素が存在する場合、ステップＳ２７の処理が実行され、距離が同じ画素が存在しない場合、ステップＳ２８の処理が実行される。

［ステップＳ２７］ノイズ除去処理部１３０は、文字の中央線との距離が同じである処理済みの画素と同一のラベルを、注目画素に付与する。
［ステップＳ２８］ノイズ除去処理部１３０は、処理済みの他の画素に付与されたラベルとは異なる新規のラベルを、注目画素に付与する。

なお、ステップＳ２７，Ｓ２８で付与されたラベルと付与対象の画素との対応関係を示す情報は、記憶部１１０（例えば、ＲＡＭ１０２）に記憶され、図８のステップＳ１５の処理でノイズ除去処理部１３０に参照される。

［ステップＳ２９］ノイズ除去処理部１３０は、文字領域における文字の中央線を除く画素のすべてについて処理が終了した場合、図１１の処理を終了する。
以上の図１１の処理により、文字領域における画素が、文字の中央線からの距離に応じて分類される。このようにラベルを用いて画素が分類されることで、各画素についての文字の中央線からの距離の管理が容易になり、その後の図８のステップＳ１５で、ノイズ除去処理部１３０が文字の中央線からの距離が等しい画素を簡単に特定できるようになる。したがって、ノイズ除去処理部１３０の処理効率が向上する。

次に、図８のステップＳ１５で実行されるノイズ除去処理について、３通りの処理例を挙げる。
（第１のノイズ除去処理例）
第１のノイズ除去処理例では、ノイズ除去処理部１３０は、文字領域において同じラベルが付与されたすべての画素を対象として、輝度の平均値または中央値を算出し、すべての画素の輝度を算出した値で置換する。以下、このような処理についてフローチャートを用いて説明する。

図１２は、第１のノイズ除去処理例の手順を示すフローチャートである。
［ステップＳ３１］ノイズ除去処理部１３０は、ステップＳ３１からステップＳ３５までの処理をラベルのそれぞれについて実行する。

［ステップＳ３２］ノイズ除去処理部１３０は、文字領域から、処理対象のラベルが付与された画素を特定する。
［ステップＳ３３］ノイズ除去処理部１３０は、ステップＳ３２で特定したすべての画素の輝度の平均値または中央値を計算する。

［ステップＳ３４］ノイズ除去処理部１３０は、ステップＳ３２で特定したすべての画素の輝度を、ステップＳ３３で算出した値によって置換する。
［ステップＳ３５］ノイズ除去処理部１３０は、文字領域内の画素に付与されたすべてのラベルについての処理が終了すると、図１２の処理を終了する。これにより、文字領域の画像は、ノイズ除去処理が施された画像に変換される。

以上の図１２の処理により、文字の中央線から同じ距離にある画素の輝度が平滑化される。したがって、文字領域からノイズ成分のみを精度よく除去することができる。
（第２のノイズ除去処理例）
図１３は、第２のノイズ除去処理例について説明するための図である。第２のノイズ除去処理例では、ノイズ除去処理部１３０は、文字領域内のラベルが付与された各画素を注目画素とし、注目画素を中心とするＮ×Ｎ画素（ただし、Ｎは３以上の奇数）の領域を探索領域に設定する。そして、ノイズ除去処理部１３０は、探索領域から、文字の中央線からの距離が注目画素と同じである画素を特定し、特定した各画素および注目画素の画素値を、それらの平均値または中間値によって置換する。

図１３は、Ｎ＝５の場合の例を示している。図１３の例では、注目画素１４１にはラベル「５」が付与されている。また、注目画素１４１を中心とした５×５画素の探索領域１４２には、ラベル「５」が付与された画素が、注目画素１４１の他に４個含まれている。この場合、ノイズ除去処理部１３０は、注目画素１４１を含むラベル「５」が付与された５個の画素の画素値を、それらの画素値の平均値または中間値によって置換する。

図１４は、第２のノイズ除去処理例の手順を示すフローチャートである。
［ステップＳ４１］ノイズ除去処理部１３０は、ステップＳ４１からステップＳ４５までの処理を、文字領域の画素のうち文字の中央線以外の画素のそれぞれについて実行する。以下の図１４の説明では、処理対象の画素を「注目画素」と記載する。

［ステップＳ４２］ノイズ除去処理部１３０は、注目画素を中心としたＮ×Ｎ画素の探索領域から、注目画素と同一のラベルが付与された画素を特定する。
［ステップＳ４３］ノイズ除去処理部１３０は、注目画素およびステップＳ４２で特定した画素のそれぞれの輝度の平均値または中央値を計算する。

［ステップＳ４４］ノイズ除去処理部１３０は、注目画素およびステップＳ４２で特定した画素のすべての輝度を、ステップＳ４３で算出された値で置換する。
［ステップＳ４５］ノイズ除去処理部１３０は、文字領域の画素のうち文字の中央線以外の画素のすべてについて処理が終了すると、図１４の処理を終了する。これにより、文字領域の画像は、ノイズ除去処理が施された画像に変換される。

以上の第２のノイズ除去処理例によれば、注目画素の近隣の画素のみを用いて平均値または中央値が算出される。これにより、例えば、光源から対象物に照射される光に斑がある場合でも、元の輝度が等しい画素のみを用いて計算が行われる確率が高くなる。したがって、第１のノイズ除去処理例と比較して、光源からの光に斑がある場合のノイズ除去精度が向上する。その一方で、平均値または中央値の算出に用いる画素の数が少なくなるため、ノイズ削減量は第１のノイズ除去処理例より小さい。

（第３のノイズ除去処理例）
上記の第２のノイズ除去処理例では、探索領域のサイズが固定されている。この場合、探索領域に含まれる、文字の中央線から同じ距離の画素の数は、一定にならない。探索領域に含まれる、文字の中央線から同じ距離の画素が少ないほど、平均値または中央値の算出に用いる画素の数が少なくなり、その結果、ノイズ削減量が低下する。すなわち、第２のノイズ除去処理例では、文字領域内の位置によってノイズ削減量に斑が生じるという問題がある。

これに対して、第３のノイズ除去処理例では、探索領域内に、文字の中央線から同じ距離の画素が一定数以上含まれるように、探索領域の大きさが可変とされる。これにより、文字領域内のどの位置でも目標以上のノイズ削減量が得られるようにする。

図１５は、第３のノイズ除去処理例について説明するための図である。なお、第２のノイズ除去処理例と同様に、探索領域の大きさはＮ×Ｎ画素であるものとする。また、図１５の例では、注目画素に付与されたラベルを「５」とし、画素数のしきい値、すなわち、探索領域内に存在すべき同一ラベルの画素数を「５」とする。

ノイズ除去処理部１３０は、最初に、Ｎに初期値を設定する。Ｎの初期値は、１以上の奇数であれば限定されない。図１５の例では、図１５の左側に示すように、Ｎに初期値「１」が設定される。Ｎ＝１の場合の探索領域に含まれるラベル「５」の画素の数は、注目画素を含めて１個であり、しきい値「５」より小さい。この場合、ノイズ除去処理部１３０は、Ｎの値を所定数だけ増加させる。なお、Ｎの値を１回増加させる際の増加数は、２の倍数とされる。

図１５の例では、図１５の中央部に示すように、Ｎ＝３と設定される。Ｎ＝３の場合の探索領域に含まれるラベル「５」の画素の数は、注目画素を含めて３個であり、しきい値「５」より小さい。この場合、ノイズ除去処理部１３０は、Ｎの値をさらに「５」に増加させる。

図１５の右側に示すように、Ｎ＝５の場合の探索領域に含まれるラベル「５」の画素の数は、注目画素を含めて５個であり、しきい値「５」に達している。この場合、ノイズ除去処理部１３０は、Ｎ＝５の場合の探索領域に含まれるラベル「５」の５画素の輝度を、それらの輝度の平均値または中央値によって置換する。

図１６は、第３のノイズ除去処理例の手順を示すフローチャートである。
［ステップＳ５１］ノイズ除去処理部１３０は、ステップＳ５１からステップＳ５８までの処理を、文字領域の画素のうち文字の中央線以外の画素のそれぞれについて実行する。以下の図１６の説明では、処理対象の画素を「注目画素」と記載する。

［ステップＳ５２］ノイズ除去処理部１３０は、探索領域のサイズを示すＮに所定の初期値を設定する。
［ステップＳ５３］ノイズ除去処理部１３０は、注目画素を中心としたＮ×Ｎ画素の探索領域から、注目画素と同一のラベルが付与された画素を特定する。

［ステップＳ５４］ノイズ除去処理部１３０は、ステップＳ５４で特定された画素の数が所定のしきい値以上であるかを判定する。画素数がしきい値以上の場合にはステップＳ５６の処理が実行され、画素数がしきい値未満の場合にはステップＳ５５の処理が実行される。

［ステップＳ５５］ノイズ除去処理部１３０は、Ｎの値を所定数だけ増加させる。
［ステップＳ５６］ノイズ除去処理部１３０は、注目画素およびステップＳ５３で特定した画素のそれぞれの輝度の平均値または中央値を計算する。

［ステップＳ５７］ノイズ除去処理部１３０は、注目画素およびステップＳ５３で特定した画素のすべての輝度を、ステップＳ５６で算出された値で置換する。
［ステップＳ５８］ノイズ除去処理部１３０は、文字領域の画素のうち文字の中央線以外の画素のすべてについて処理が終了すると、図１６の処理を終了する。これにより、文字領域の画像は、ノイズ除去処理が施された画像に変換される。

以上の第３のノイズ除去処理例によれば、第１のノイズ除去処理例と比較して、光源からの光に斑がある場合のノイズ除去精度が向上する。また、輝度の統計量をとる母数の最小値が決められるため、画像内の位置によらず一定量以上のノイズを削減でき、第２のノイズ除去処理例と比較して安定的なノイズ除去効果が得られる。

なお、上記の第２の実施の形態では文字認識システムについて説明したが、認識の対象は文字に限らず、例えば、線の組み合わせによって形成された記号など、決まったパターンを持つ線状の画像を認識の対象としてもよい。

また、第２の実施の形態に係る技術は、例えば、ランドマーク認識システムやＯＣＲ（Optical Character Recognition）システムなどに適用することができる。
ランドマーク認識システムは、街中や観光地にある看板などをスマートフォンのカメラ機能などで撮像し、撮像画像から認識した文字列に基づいて地域や施設などのランドマークに関する情報を提供するシステムである。第２の実施の形態に係る技術をランドマーク認識システムに適用すると、撮影状況などに起因して撮像画像がぼけてしまっても文字認識が精度よく行われ、正しい情報を提供できる可能性が高まる。

ＯＣＲシステムは、スキャナなどの光学機器で読み取った文字列の画像から個々の文字を認識してテキストデータに変換するシステムである。第２の実施の形態に係る技術をＯＣＲシステムに適用すると、読み取り原稿の文字がぼけて不鮮明である場合や、原稿表面に対向配置される透光板（ガラス面や透明プラスチック面など）の汚れなどがある場合でも、文字認識を精度よく行うことができるようになる。

また、上記の各実施の形態に示した装置（画像処理装置１，１００）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

１ 画像処理装置
２ ノイズ除去処理部
３ ぼけ指標算出部
１０ 入力画像
１１ 部分領域
１２ 中央線
１３ 画素群
２０ 平滑化画像

Claims (7)

1. 入力画像から、前記入力画像に含まれる文字の線幅に対する中央部を中央線として抽出し、前記中央線から等距離にある複数の画素の画素値を平滑化する平滑化処理を前記中央線からの距離ごとに実行することで前記入力画像を平滑化画像に変換するノイズ除去処理部と、
   前記平滑化画像のぼけの度合いを示すぼけ指標を算出するぼけ指標算出部と、
   を有する画像処理装置。
2. 前記平滑化処理において、前記ノイズ除去処理部は、前記中央線から等距離にあるすべての画素を特定画素として特定し、すべての前記特定画素の画素値をすべての前記特定画素の画素値の平均値または中間値で置換する、
   請求項１記載の画像処理装置。
3. 前記平滑化処理において、前記ノイズ除去処理部は、前記入力画像における前記中央線以外の注目画素を中心とした所定の大きさの画像領域から、前記中央線からの距離が前記注目画素と同じ画素を特定画素として特定し、前記注目画素およびすべての前記特定画素の画素値を、前記注目画素およびすべての前記特定画素の画素値の平均値または中間値で置換する、
   請求項１記載の画像処理装置。
4. 前記平滑化処理において、前記ノイズ除去処理部は、前記入力画像における前記中央線以外の注目画素を中心とした画像領域を、当該画像領域に前記中央線からの距離が前記注目画素と同じである特定画素が所定数以上含まれるように設定し、前記画像領域内のすべての前記特定画素および前記注目画素の画素値を、前記画像領域内のすべての前記特定画素および前記注目画素の画素値の平均値または中間値で置換する、
   請求項１記載の画像処理装置。
5. 前記ノイズ除去処理部は、前記中央線から等距離にある画素に同じ識別情報を付与するとともに前記中央線からの距離が異なる画素に異なる識別情報を付与する処理を実行し、同じ識別情報が付与された画素群ごとに前記平滑化処理を実行する、
   請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 入力画像から、前記入力画像に含まれる文字の線幅に対する中央部を中央線として抽出し、
   前記中央線から等距離にある複数の画素の画素値を平滑化する平滑化処理を前記中央線からの距離ごとに実行することで前記入力画像を平滑化画像に変換し、
   前記平滑化画像のぼけの度合いを示すぼけ指標を算出する、
   画像処理方法。
7. コンピュータに、
   入力画像から、前記入力画像に含まれる文字の線幅に対する中央部を中央線として抽出し、
   前記中央線から等距離にある複数の画素の画素値を平滑化する平滑化処理を前記中央線からの距離ごとに実行することで前記入力画像を平滑化画像に変換し、
   前記平滑化画像のぼけの度合いを示すぼけ指標を算出する、
   処理を実行させる画像処理プログラム。

Images