JP4814616B2 - パターン認識装置及びパターン認識プログラム - Google Patents

Description

本発明は、入力される画像データに基づく画像の中から所定のパターンを認識するパターン認識装置，及び、そのようなパターン認識装置としてコンピュータを動作させるパターン認識プログラムに、関する。

周知のように、パターン認識とは、入力される画像データに基づく画像の中から見出されるパターンの情報を、事前に設定しておいた文字や模様などの複数の標準パターンの情報と照合し、何れの標準パターンに対応するかを特定する技術を言う。

このパターン認識の技術は、文字認識や生体情報認識などの多くの分野で利用されており、近年では、その技術が応用されたシステムとして、屋外に設置された撮影装置から画像データを受け取り、その画像データに基づく画像の中から、その撮影装置の視野内を通過した移動体の一部に表されているパターンを認識するというシステムが、製品化されている。

特開２００４−０９４４５９号公報 特開平０９−２８２５９０号公報 特開平０５−０８９２４４号公報

ところで、前述したような移動体上のパターンを認識するというシステムにおいて、その撮影装置内の撮像素子がＣＣＤ［Charge Coupled Device］であると、太陽光を反射している被写体や照明光を発している室内灯のような周囲に比べて強い光を放つ発光点が、その撮像装置の視野内にあったときに、画像の中にスミアが発生することがある。

スミアは、画像を構成する画素のうち、発光点を表示する画素，及び、その画素と垂直方向（正確には、ＣＣＤにおける電荷転送方向に対応する方向）において同列な画素の輝度値が飽和してしまう現象を言い、１ＣＣＤ撮影方式によるカラー画像や白黒モノクロ画像においては、白い縦筋となって現れる。

そして、このような白い縦筋が、パターン認識を行うべき領域に重なっていると、その領域の中から見出されるパターンの情報が、スミアが無いときとは異なる標準パターンの情報に対応すると特定されたり、何れの標準パターンの情報にも対応しないと判断されたりして、パターン認識が正確に行われなくなってしまうという問題があった。

本発明は、前述したような従来技術の有する問題に鑑みてなされたものであり、その課題は、撮影装置の視野内を移動する移動体上のパターンを認識する場合において、得られる画像の中にスミアが発生しても、パターン認識の正確性が下がらないようにすることにある。

上記の課題を解決するために発明されたパターン認識装置は、移動体を撮影するための撮影装置から、同一の移動体が写り込んだ画像の画像データを二つ以上取得し、それら画像データを記憶する画像データ記憶部，前記画像データ記憶部が記憶した二つ以上の画像データのうちの一つの画像データに基づく画像の中からパターンを認識して、そのパターンの情報を記憶するパターン認識部，前記パターン認識部によってパターンが認識された画像において、パターンを認識すべき領域にスミアが重なっていた場合に、前記画像データ記憶部が記憶した二つ以上の画像データのうち、前記パターン認識部がパターン認識に使用した画像データを除く何れか一つの画像データに基づく画像の中からパターンを認識し、そのパターンの情報を記憶する補助パターン認識部，及び、前記補助パターン認識部が記憶したパターンの情報と前記パターン認識部が記憶したパターンの情報とをマージし、マージしたパターンの情報を外部装置へ出力する出力部を備えることを、特徴としている。

このように、同一の移動体が写り込んでいる画像の画像データを複数保存しておき、それらのうちの一つの画像データに基づく画像の中からパターンを認識したあと、その画像におけるパターンを認識すべき領域にスミアが重なっていた場合に、保存しておいた別の画像データの画像についてもパターン認識を行って、複数回のパターン認識により得られたパターンの情報をマージするようにすれば、一つの画像にスミアが発生しても、得られるパターンの情報の正確性の低下を防ぐことができる。

また、上記の課題を解決するために発明されたパターン認識プログラムは、コンピュータを、移動体を撮影するための装置から、通信装置を通じて、同一の移動体が写り込んだ画像の画像データを二つ以上取得し、それら画像データを記憶装置に記憶する画像データ記憶手段，前記画像データ記憶手段が前記記憶装置に記憶した二つ以上の画像データのうちの一つの画像データに基づく画像の中からパターンを認識して、そのパターンの情報を記憶装置に記憶するパターン認識手段，前記パターン認識手段によってパターンが認識された画像において、パターンを認識すべき領域にスミアが重なっていた場合に、前記画像データ記憶手段が前記記憶装置に記憶した二つ以上の画像データのうち、前記パターン認識手段がパターン認識に使用した画像データを除く何れか一つの画像データに基づく画像の中からパターンを認識し、そのパターンの情報を記憶装置に記憶する補助パターン認識手段，及び、前記補助パターン認識手段が前記記憶装置に記憶したパターンの情報と前記パターン認識手段が前記記憶装置に記憶したパターンの情報とをマージし、マージしたパターンの情報を通信装置を通じて外部装置へ出力する出力手段として機能させることを、特徴としている。

従って、このパターン認識プログラムによれば、本発明のパターン認識装置と同等に機能する装置として、コンピュータを動作させることができることになる。

以上に記述したように、本発明によれば、撮影装置の視野内を移動する移動体上のパターンを認識する場合において、得られる画像の中にスミアが発生しても、パターン認識の正確性が下がらないようになる。

以下、添付図面を参照しながら、本発明を実施するための一つの形態について、詳細に説明する。

図１は、本実施形態の車番読取システム１０の概略的な構成図である。

車番読取システム１０は、有料駐車場のゲート，有料道路の料金所，又は、交通量調査のための一般道上の観測点に設置されるシステムであり、図１に示されるように、撮影装置１１と車番認識装置１２とからなる。

撮影装置１１は、事前に設定された通過点の上を通過中の自動車の前方又は後方を撮影するための装置であり、その通過点上にある自動車のナンバープレートが視野中心となるようにしてその通過点の近傍に設置されるようになっている。

なお、この撮影装置１１は、図示していないが、少なくとも、対物光学系，撮像素子，制御回路ユニット，画像処理回路ユニット，画像データ出力用インターフェースを、含んだものとなっている。このうち、対物光学系は、撮像素子の撮像面に被写体像を形成するための光学系である。また、撮像素子には、ＣＣＤ［Charge Coupled Device］が採用されている。制御回路ユニットは、このＣＣＤの駆動タイミング等を制御するための回路ユニットである。さらに、画像処理回路は、ＣＣＤから出力される電気信号に基づいて画像データを生成するための回路ユニットであり、画像データ出力用インターフェースは、画像処理回路が生成した画像データをケーブルを経由して車番認識装置１２へ送り出すための回路ユニットである。

車番認識装置１２は、撮影装置１１が生成した画像データに基づく画像の中に写し込まれている自動車のナンバープレートから、その自動車の車番を認識するための装置であり、撮影装置１１からケーブルを経由して画像データが入力されるようになっている。

具体的には、この車番認識装置１２は、画像データ入力用インターフェース１２１，リングバッファ１２２，パターンデータ出力用インターフェース１２３，ＣＰＵ［Central Processing Unit］１２４，ＤＲＡＭ［Dynamic Random Access Memory］１２５，及び、ストレージユニット１２６を、含んでいる。

画像データ入力用インターフェース１２１は、撮影装置１１からケーブルを経由して画像データを受け取るための回路ユニットである。

リングバッファ１２２は、画像データ入力用インターフェース１２１が撮影装置１１から受け取った画像データを一時的に記憶しておくためのメモリユニットである。このリングバッファ１２２は、エンドレスなアドレス構成をもつＦＩＦＯ［First In First Out］メモリユニットであり、書き込みポインタが指定されたときには、そのポインタ以降のアドレスから順次データを書き込み、読み出しポインタが指定されたときには、そのポインタ以降のアドレスから順次データを読み出す。

パターンデータ出力用インターフェース１２３は、後述のパターン認識によって得られた車番データを外部装置２０へ送出するための回路ユニットである。なお、本実施形態では、外部装置２０は、ディスク装置などの蓄積型の記憶媒体であっても良いし、通信自在にネットワーク接続された他のコンピュータであっても良い。

ＣＰＵ１２４は、各種のプログラムに従って処理を行う制御回路ユニットであり、ＤＲＡＭ１２５は、そのＣＰＵ１２４が処理を行う際に作業領域が展開されるメモリユニットである。

ストレージユニット１２６は、各種のプログラムやデータを記録しておくための記憶素子ユニットである。本実施形態では、このストレージユニット１２６に記録されたプログラムには、車番認識プログラム１２６ａが含まれている。なお、この車番認識プログラム１２６ａは、車番認識装置１２の電源投入後又はリセット後に、起動されるようになっている。そして、この車番認識プログラム１２６ａが起動されると、ＣＰＵ１２４が、車番認識処理を開始させる。

図２は、車番認識処理の流れを示す図である。

車番認識処理の開始後、ＣＰＵ１２４は、撮影装置１１の視野内に移動体が進入してきたことが検知されるまで待機する（ステップＳ１０１；ＮＯ）。なお、本実施形態では、移動体の進入を検知する手段として、一般的に利用されているソフト的又はハード的な種々の技術が適用され得る。ソフト的な技術としては、例えば、撮影装置１１から順次送られてくる画像データのそれぞれについてその前後の画像データとの差分を取るという処理を常時行っておいて、差分の変化を監視するというものがある。一方、ハード的な技術としては、例えば、光センサを構成する発光器と受光器とを前述の通過点を挟む両側に設置しておいて、移動体により光が遮断された旨がその光センサから送信されたか否かを監視するというものがある。但し、何れの技術とも、本発明とは関係ないため詳細な説明は省略する。

以上に説明したような一般的な技術を利用して、撮影装置１１の視野内に移動体が進入してきたことを検知すると（ステップＳ１０１；ＹＥＳ）、ＣＰＵ１２４は、撮影装置１１から受け取っている画像データのリングバッファ１２２への保存を開始し（ステップＳ１０２）、撮影装置１１の視野内から移動体が退出したことが検知されるまで待機する（ステップＳ１０３；ＮＯ）。

その後、撮影装置１１の視野内から移動体が退出したことを検知すると（ステップＳ１０３；ＹＥＳ）、ＣＰＵ１２４は、撮影装置１１から受け取っている画像データのリングバッファ１２２への保存を停止する（ステップＳ１０４）。なお、ステップＳ１０１乃至Ｓ１０４を実行するＣＰＵ１２４，並びに、画像データ入力用インターフェース１２１及びリングバッファ１２２は、前述した画像データ記憶部及び前述した画像データ記憶手段として機能するものである。

続いて、ＣＰＵ１２４は、リングバッファ１２２へ保存した一連の画像データの中から一つの画像データを処理対象として特定する（ステップＳ１０５）。なお、特定方法としては、例えば、順に取得した一連の画像データのうち、記録順が真ん中の画像データを特定する方法がある。

そして、処理対象となる画像データを特定した後、ＣＰＵ１２４は、文字データ取得処理を実行する（ステップＳ１０６）。

図３は、文字データ取得処理の流れを示す図である。

特徴データ取得処理の開始後、ＣＰＵ１２４は、認識対象となるパターンが含まれる領域を検出する（ステップＳ２０１）。このとき、ＣＰＵ１２４は、この領域の位置及び範囲を規定する座標情報も取得するようになっている。なお、認識対象となるパターンが含まれる領域を検出する技術は、一般的に利用されているものであるので、ここでは、その説明を省略する。

続いて、ＣＰＵ１２４は、検出された領域に含まれるパターンの情報と、ストレージユニット１２６内に事前に用意されている複数の標準パターンの情報とを照合する処理を実行する（ステップＳ２０２）。なお、この照合処理には、一般的に利用されている技術が適用され得る。例えば、テンプレートマッチング法が利用され得る。

その照合処理により、ＣＰＵ１２４は、認識対象パターンに最も類似する標準パターンを特定した後、その標準パターンに対応する文字データを取得する（ステップＳ２０３）。なお、標準パターンの情報と文字データとの対応を定義する情報は、ストレージユニット１２６内に事前に用意されている。

こうして、処理対象の画像データに基づく画像の中に写し込まれた文字の文字データを取得した後、ＣＰＵ１２４は、図３の文字データ取得処理を終了する。なお、ステップＳ１０５及びＳ１０６を実行するＣＰＵ１２４は、前述したパターン認識部及び前述したパターン認識手段として機能するものである。

図３の文字データ取得処理の終了後、ＣＰＵ１２４は、スミア存在判定処理を実行する（図２のステップＳ１０７）。

図４は、スミア存在判定処理の流れを示す図である。

スミア存在判定処理の開始後、ＣＰＵ１２４は、処理対象の画像データから二値画像データを生成する（ステップＳ３０１）。具体的には、ＣＰＵ１２４は、処理対象の画像データの全画素のそれぞれについて、その輝度値と所定の閾値Ａとを比較し、閾値Ａよりも大きい画素値を持つ画素の大きさを「１」とし、閾値Ａよりも小さい画素値を持つ画素の大きさを「０」とした二値画像データを生成する。なお、閾値Ａは、処理対象の画像データの各画素の輝度値が採り得る最大値に近いと良い。例えば、最大値が２５５ならば、閾値Ａは２５０と設定されると良い。

続いて、ＣＰＵ１２４は、その二値画像データに基づく二値画像について、垂直方向（正確には、ＣＣＤにおける電荷転送方向に対応する方向）において同列の画素群の画素値の総和を、各列について算出する（ステップＳ３０２）。この処理により、総和値が比較的高い列が、スミアのある可能性の高い列として抽出されることになる。

その後、ＣＰＵ１２４は、各列について算出した総和値と、所定の閾値Ｂとを比較する（ステップＳ３０３）。

そして、総和値が所定の閾値Ｂを超過する列がなかった場合（ステップＳ３０４；ＹＥＳ）、ＣＰＵ１２４は、ＤＲＡＭ１２５内に事前に作成しておいたスミアフラグをオフに切り替えて（ステップＳ３０６）、図４のスミア存在判定処理を終了する。

一方、総和値が所定の閾値Ｂを超過する列があった場合（ステップＳ３０４；ＮＯ）、ＣＰＵ１２４は、その列の水平座標値が、ステップＳ２０１で取得した座標情報に基づく領域に含まれるか否かを、判別する（ステップＳ３０５）。

その列の水平座標値が当該座標情報に基づく領域に含まれない場合（ステップＳ３０５；ＮＯ）、ＣＰＵ１２４は、やはり、ＤＲＡＭ１２５内のスミアフラグをオフに切り替えて（ステップＳ３０６）、図４のスミア存在判定処理を終了する。

一方、その列の水平座標値が当該座標情報に基づく領域に含まれている場合（ステップＳ３０５；ＹＥＳ）、ＣＰＵ１２４は、ＤＲＡＭ１２５内のスミアフラグをオンに切り替え（ステップＳ３０７）、その列の水平座標値をＤＲＡＭ１２５に一時記憶してから（ステップＳ３０８）、図４のスミア存在判定処理を終了する。

図４のスミア存在判定処理の終了後、ＣＰＵ１２４は、スミアフラグがオフであるかオンであるかを、判別する（図２のステップＳ１０８）。

そして、スミアフラグがオフである場合（ステップＳ１０８；ＯＦＦ）、ＣＰＵ１２４は、ステップＳ１０６において取得した文字データを、車番データとして外部装置２０へ出力し（ステップＳ１１２）、図２の車番認識処理を終了する。

一方、スミアフラグがオンである場合（ステップＳ１０８；ＯＮ）、ＣＰＵ１２４は、ステップＳ１０２乃至Ｓ１０４を実行する間にリングバッファ１２２に保存しておいた画像データのうち、ステップＳ１０５において特定した画像データを除く何れか一つの画像データを、補助画像データとして特定する（ステップＳ１０９）。なお、特定方法としては、例えば、ステップＳ１０５において処理対象として特定した画像データから、所定フレーム数だけ前の画像データを、補助画像データとして特定する方法がある。

続いて、ＣＰＵ１２４は、特定した補助画像データについて、図３を用いて既に説明した文字データ取得処理により、文字データを取得する（ステップＳ１１０）。その後、ＣＰＵ１２４は、ステップＳ１０６で取得した文字データと、ステップＳ１１０で取得した文字データとをマージし（ステップＳ１１１）、マージした文字データを車番データとして外部装置２０へ出力し（ステップＳ１１２）、図２の車番認識処理を終了する。

なお、ステップＳ１０７乃至Ｓ１１０を実行するＣＰＵ１２４は、前述した補助パターン認識部及び前述した補助パターン認識手段として機能するものであり、ステップＳ１１１及びＳ１１２を実行するＣＰＵ１２４とパターンデータ出力用インターフェース１２３は、前述した出力部及び前述した出力手段として機能するものである。

本実施形態の車番読取システム１０が、以上に説明したように構成されるため、以下に説明するように作用する。

車番読取システム１０は、まず、撮影装置１１の視野内を移動体が通過する間のみ、その移動体が写り込んでいる画像の画像データを、全てリングバッファ１２２に保存する（ステップＳ１０１〜Ｓ１０４）。そして、車番読取システム１０は、保存した画像データのうちの一つの画像データに基づく画像の中からパターン（本実施形態では文字）を認識し（ステップＳ１０５，Ｓ１０６）、その後、その画像におけるパターンを認識すべき領域にスミアが重なっているか否かを判断する（ステップＳ１０７，Ｓ１０８）。

そして、車番読取システム１０は、その画像におけるパターンを認識すべき領域にスミアが重なっていなかった場合には（ステップＳ１０８；ＯＦＦ）、パターン認識にて得られた文字データを車番データとして外部装置２０へ出力する（ステップＳ１１２）。逆に、車番読取システム１０は、画像におけるパターンを認識すべき領域（図５に示した画像の具体例におけるナンバープレート）にスミアが重なっていた場合には（ステップＳ１０８；ＯＮ）、保存しておいた別の画像データの画像（図６に示した画像の具体例）についてもパターン認識を行って、複数回のパターン認識により得られたパターンの情報をマージし、マージ後の文字データを車番データとして外部装置２０へ出力する。

このように、パターン認識の対象となる画像データの画像にスミアが発生していた場合に、その画像に写り込んでいる移動体と同じ移動体が写り込んでいる一連の画像のうちの少なくとも一つの画像の中から、パターン（本実施形態では文字）を認識するようにすれば、得られる車番データの正確性がスミアによって低下することを、防止することができることとなる。

なお、本実施形態の車番読取システム１０は、スミアが存在すると判定したときに、補助画像データを一つだけ特定してパターン認識を行うものとなっていると、説明したが、これに限定されるものではない。例えば、プロセッサの能力に余力があるならば、一定の抽出方法に拠って補助画像データを複数特定し、全補助画像データのそれぞれについて図３の文字データ取得処理を行って、全ての文字データをマージするようにしても良い。

さらには、複数の補助画像データを特定し、それら全補助画像データのそれぞれについて、図３の文字データ取得処理と図４のスミア存在判定処理とを行った後、スミアが発生していない補助画像データ，或いは、スミアの影響が最も小さい補助画像データ（例えば、図４のステップＳ３０２で算出される総和値のヒストグラムにおける最大総和値が最も小さい補助画像データ）を特定し、特定した補助画像データから取得した文字データを、ステップＳ１０６において取得した文字データとマージするようにしても良い。

何れの場合も、プロセッサの処理能力が許す限りにおいて、補助画像データをできるだけ増やすことにより、スミアによる車番データの正確性の低下幅が小さく抑えられることとなる。

本実施形態の車番読取システムの概略的な構成図 車番認識処理の流れを示す図 文字データ取得処理の流れを示す図 スミア存在判定処理の流れを示す図 自動車のナンバープレートにスミアが重なった状態の画像の例を示す図 図５の画像と同一の被写体が写り込みその画像より前に取得された画像の例を示す図

符号の説明

１０ 車番読取システム
１１ 撮影装置
１２ 車番認識装置
１２２ リングバッファ
１２４ ＣＰＵ
１２５ ＤＲＡＭ
１２６ ストレージユニット
１２６ａ 車番認識プログラム

Claims (3)

1. 移動体を撮影するための撮影装置から、同一の移動体が写り込んだ画像の複数の画像データを取得し、それら画像データを記憶する画像データ記憶部，
   前記画像データ記憶部が記憶した前記複数の画像データのうちの取得順序による並びの中心の画像データに基づく画像の中からパターンを認識して、そのパターンの情報を記憶するパターン認識部，
   前記パターン認識部によってパターンが認識された画像を構成する全ての画素のそれぞれについて、その輝度値を所定の第１の閾値と比較することによって、二値画像を生成し、続いて、生成したその二値画像において、スミアと平行な方向において同列の画素群の輝度値の総和を、各列について算出し、総和値が所定の第２の閾値を超過する列の有無を判別し、総和値が前記第２の閾値を超過する列が有った場合において、その列の座標値がパターン認識をすべき領域の座標範囲に含まれていたときに、パターンを認識すべき領域にスミアが重なっていたと特定し、該パターンを認識すべき領域にスミアが重なっていた場合に、前記画像データ記憶部が記憶した前記複数の画像データのうち、前記パターン認識部がパターン認識に使用する前記複数の画像データのうちの取得順序による並びの中心の画像データを除く何れか一つの画像データに基づく画像の中からパターンを認識し、そのパターンの情報を記憶する補助パターン認識部，及び、
   前記補助パターン認識部が記憶した少なくとも１つのパターンの情報と前記パターン認識部がパターン認識に使用した画像データのパターンの情報とをマージし、マージしたパターンの情報を外部装置へ出力する出力部
   を備えることを特徴とするパターン認識装置。
2. 前記出力部は、前記パターン認識部によってパターンが認識された画像において、パターンを認識すべき領域にスミアが重なっていなかった場合には、前記パターン認識部が記憶したパターンの情報を、そのまま外部装置へ出力する
   ことを特徴とする請求項１記載のパターン認識装置。
3. コンピュータを、
   移動体を撮影するための装置から、通信装置を通じて、同一の移動体が写り込んだ画像の複数の画像データを取得し、それら画像データを記憶装置に記憶する画像データ記憶手
   段，
   前記画像データ記憶手段が前記記憶装置に記憶した前記複数の画像データのうちの取得順序による並びの中心の画像データに基づく画像の中からパターンを認識して、そのパターンの情報を記憶装置に記憶するパターン認識手段，
   前記パターン認識手段によってパターンが認識された画像を構成する全ての画素のそれぞれについて、その輝度値を所定の第１の閾値と比較することによって、二値画像を生成し、続いて、生成したその二値画像において、スミアと平行な方向において同列の画素群の輝度値の総和を、各列について算出し、総和値が所定の第２の閾値を超過する列の有無を判別し、総和値が前記第２の閾値を超過する列が有った場合において、その列の座標値がパターン認識をすべき領域の座標範囲に含まれていたときに、パターンを認識すべき領域にスミアが重なっていたと特定し、該パターンを認識すべき領域にスミアが重なっていた場合に、前記画像データ記憶手段が前記記憶装置に記憶した前記複数の画像データのうち、前記パターン認識手段がパターン認識に使用する前記複数の画像データのうちの取得順序による並びの中心の画像データを除く何れか一つの画像データに基づく画像の中からパターンを認識し、そのパターンの情報を記憶装置に記憶する補助パターン認識手段，及び、
   前記補助パターン認識手段が前記記憶装置に記憶した少なくとも１つのパターンの情報と前記パターン認識手段がパターン認識に使用した画像データのパターンの情報とをマージし、マージしたパターンの情報を、前記通信装置を通じて外部装置へ出力する出力手段として機能させる
   ことを特徴とするパターン認識プログラム。