JP2014232971A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】画像処理の対象となる領域のコントラストが適切になるように、撮像装置に画像を撮像させる。【解決手段】対象特定部１０２は、撮像装置２００が撮像した画像から画像処理の対象となる領域である対象領域を特定する。計測部１０６は、対象特定部１０２が特定した対象領域の明るさを計測する。露光補正部１０８は、計測部１０６が計測した明るさと所定の基準データとの比較結果に基づいて、対象領域の明るさが基準データが示す明るさに近づくように撮像装置２００の露光補正を行う。【選択図】図１

Description

本発明は、撮像装置が撮像した画像に対して画像処理を行う画像処理装置、画像処理方法、及びプログラムに関する。

撮像装置を固定箇所に設置し、当該固定箇所から撮像された画像の一部の領域に対して画像処理を行う技術がある。このような技術は、例えば、撮像装置が道路の所定の箇所を通過する車両を撮像し、当該車両のナンバープレートの認識を行う場面にて用いられる。

このとき、撮像装置が固定される場所によっては、撮像装置の周囲の光の明暗状況が変化することにより、撮像される画像の明るさが異なり、画像処理の確信度にむらが生じることが懸念される。そこで、特許文献１には、撮像装置が固定される場所によらずに画像処理の確信度を一定にするために、周囲の光の明暗状況に応じて得られた画像のガンマ値を変化させる技術が開示されている。

特開２００２−３００４３７号公報

しかしながら、特許文献１に開示された技術を用いたとしても、撮像装置の露光が適切にされていなければ、撮像された画像のナンバープレート部分に黒潰れ・白飛びが発生するおそれがある。特に、逆光の環境で画像を撮像する場合、車両のボディにライトや日光が反射した画像を撮像する場合、日向と日陰の境界線を含む画像を撮像する場合などに、黒潰れ・白飛びが発生する可能性が高い。画像の黒潰れ・白飛びはガンマ値の補正によって解消することができないため、特許文献１に開示された技術を用いたとしても、ナンバープレートの認識ができないという問題がある。また、黒潰れ・白飛びが発生しなくても、ナンバープレート部分のコントラストが低いと、認識誤りが発生しやすくなるという問題がある。
本発明の目的は、上述した課題を解決する画像処理装置、画像処理方法、及びプログラムを提供することにある。

本発明は上記の課題を解決するためになされたものであり、撮像装置が撮像した画像から画像処理の対象となる領域である対象領域を特定する対象特定部と、前記対象特定部が特定した対象領域の特性値を計測する計測部と、前記計測部が計測した特性値と所定の基準データとの比較結果に基づいて、前記対象領域の特性値が前記基準データが示す特性値に近づくように前記撮像装置の設定値の補正を行う設定値補正部とを備えることを特徴とする画像処理装置である。

また、本発明は、撮像装置が撮像した画像から画像処理の対象となる領域である対象領域を特定するステップと、前記特定した対象領域の特性値を計測するステップと、前記計測した特性値と所定の基準データとの比較結果に基づいて、前記対象領域の特性値が前記基準データが示す特性値に近づくように前記撮像装置の設定値の補正を行うステップとを備えることを特徴とする画像処理方法である。

また、本発明は、コンピュータを、撮像装置が撮像した画像から画像処理の対象となる領域である対象領域を特定する対象特定部、前記対象特定部が特定した対象領域の特性値を計測する計測部、前記計測部が計測した特性値と所定の基準データとの比較結果に基づいて、前記対象領域の特性値が前記基準データが示す特性値に近づくように前記撮像装置の設定値の補正を行う設定値補正部として機能させるためのプログラムである。

本発明によれば、画像処理の対象となる領域のコントラストが適切になるように、撮像装置に画像を撮像させることができる。

本発明の一実施形態に係る画像処理装置の構成を示す概略ブロック図である。 履歴記憶部が記憶する情報の一例を示す図である。 露光条件記憶部が記憶する情報の一例を示す図である。 本発明の一実施形態に係る画像処理装置の動作を示すフローチャートである。 本発明に係る画像処理装置の基本構成を示す概略ブロック図である。

以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態に係る画像処理装置１００の構成を示す概略ブロック図である。
本実施形態に係る画像処理装置１００は、路側に設置された撮像装置２００が撮像した画像から、当該画像に写った車両のナンバープレートのナンバー認識を行う。
画像処理装置１００は、画像受信部１０１、対象特定部１０２、画像処理部１０３、確信度算出部１０４、計時部１０５、計測部１０６、履歴記憶部１０７、露光補正部１０８（設定値補正部）、露光条件記憶部１０９を備える。

画像受信部１０１は、撮像装置２００から撮像した画像を受信する。
対象特定部１０２は、画像受信部１０１が受信した画像に対してナンバープレートの認識の前処理を行うことで、ナンバープレートが含まれる領域（対象領域）の候補を特定する。例えば、対象特定部１０２は、画像受信部１０１が受信した画像に対してナンバープレートの種別ごとのパターンを用いてパターン認識処理を行うことにより、対象領域及びナンバープレートの種別を特定することができる。
画像処理部１０３は、対象特定部１０２が特定した対象領域に対してナンバー認識処理を行う。具体的には、画像処理部１０３は、対象特定部１０２が特定した対象領域に対してＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ：光学文字認識）を行うことで、ナンバー認識処理を行う。
確信度算出部１０４は、画像処理部１０３によるナンバー認識処理におけるＯＣＲの確信度を算出する。
計時部１０５は、確信度算出部１０４が算出する確信度が所定値以下である時間（未認識時間）を計時する。

計測部１０６は、対象特定部１０２が特定した対象領域のパラメータ（明るさ、コントラスト値、エッジ強度の標準偏差など）を計測する。
履歴記憶部１０７は、計測部１０６が過去に計測した対象領域のパラメータを記憶する。
露光補正部１０８は、計測部１０６が計測したパラメータ、履歴記憶部１０７が記憶するパラメータ、計時部１０５が計時した未認識時間、及び露光条件記憶部１０９が記憶する情報に基づいて、撮像装置２００の露光量の補正（露光補正）を行う。
露光条件記憶部１０９は、時刻と露光補正に用いる補正値との関係を示す初期値設定テーブル、ナンバープレートの種別とパラメータの目標値（基準データ）との関係を示す条件テーブルを記憶する。

次に、履歴記憶部１０７が記憶する情報について説明する。
図２は、履歴記憶部１０７が記憶する情報の一例を示す図である。
履歴記憶部１０７は、撮像装置２００が画像を撮像した時刻と、当該画像に含まれるナンバープレートの種別と、当該画像のパラメータの明るさと、当該画像のコントラスト値と、当該画像のエッジ強度の標準偏差とを関連付けて記憶する。なお、本実施形態では、履歴記憶部１０７は、ナンバーの認識時刻から所定時間（例えば１５分）以内の履歴を記憶する。

次に、露光条件記憶部１０９が記憶する情報について説明する。
図３は、露光条件記憶部１０９が記憶する情報の一例を示す図である。
露光条件記憶部１０９は、初期値設定テーブル（図３（Ａ））と条件テーブル（図３（Ｂ））とを記憶する。初期値設定テーブルは、図３（Ａ）に示すように、時間帯と、当該時間帯に属する時刻に露光条件の初期化を行う場合の補正値とを関連付けて格納する。このとき、補正値は、撮像装置２００と外光との関係（例えば、逆光になる関係、反射光が写り込む関係、日没時など）において、撮像される画像の対象領域のコントラストが適正になるような値であることが好ましい。また、条件テーブルは、図３（Ｂ）に示すように、ナンバープレートの種別と、画像の明るさの目標値、画像のコントラスト値の目標値、エッジ強度の標準偏差の目標値を格納する。

次に、本実施形態に係る画像処理装置１００を用いた画像処理方法について説明する。
図４は、本発明の一実施形態に係る画像処理装置１００の動作を示すフローチャートである。
まず、画像処理装置１００が起動すると、計時部１０５は、未認識時間をリセットし、未認識時間の計時を開始する（ステップＳ１）。次に、露光補正部１０８は、露光条件記憶部１０９から、現在時刻（すなわち、設定値の補正を行うタイミング）に関連付けられた補正値を読み出し、撮像装置２００に対して当該補正値による露光補正を行う（ステップＳ２）。

なお、露光調整の方法はこれに限られず、例えば画像処理部１０３が最初のナンバープレートのナンバー認識に成功するまで自動露光機能をＯＮにし続けても良い。この場合、撮像装置２００のカメラパラメータの追従によりナンバープレートを適切に撮像できないことを防ぐことができる。また、露光調整の方法として、露光補正が必要なタイミングで撮像装置２００の自動露光機能をＯＮにし、露光補正を行った後に、自動露光機能はＯＦＦにしても良い。この場合、撮像された画像の明るさが急激に変化することを防ぎ、撮像装置２００に明度が安定した画像を撮像させることができる。

次に、画像受信部１０１は、撮像装置２００が撮像した画像を撮像装置２００から受信する（ステップＳ３）。次に、対象特定部１０２は、画像受信部１０１が受信した画像に対してナンバープレートの認識の前処理を行い、ナンバープレートが含まれる可能性が高い領域である対象領域を特定する（ステップＳ４）。前処理の例としては、対象特定部１０２が、画像受信部１０１が受信した画像に対してナンバープレートの種別ごとのパターンを用いてパターン認識処理を行うことにより、対象領域及びナンバープレートの種別を特定する方法が挙げられる。次に、画像処理部１０３は、対象特定部１０２が特定した対象領域に対してＯＣＲを行い、対象領域に含まれる文字列を取得することで、ナンバープレートのナンバー認識処理を実行する（ステップＳ５）。次に、確信度算出部１０４は、画像処理部１０３によるナンバー認識処理におけるＯＣＲの確信度を算出する（ステップＳ６）。

次に、確信度算出部１０４は、算出した確信度が所定値以上であるか否かを判定する（ステップＳ７）。確信度算出部１０４が算出した確信度が所定値以下である場合（ステップＳ７：ＮＯ）、計時部１０５は、計時する未認識時間が所定時間（例えば、３０分）を経過したか否かを判定する（ステップＳ８）。計時部１０５が未認識時間が所定時間を経過していないと判定した場合（ステップＳ８：ＮＯ）、ステップＳ３に戻り、撮像部が撮像する次のフレームの画像についてナンバー認識処理を実行する。他方、計時部１０５が未認識時間が所定時間を経過したと判定した場合（ステップＳ８：ＹＥＳ）、ステップＳ１に戻り、再度現在時刻に関連付けられた補正値を用いて露光補正を行う。

他方、ステップＳ７において、確信度が所定値以上である場合（ステップＳ７：ＹＥＳ）、画像処理部１０３は、ナンバー認識結果を外部に出力する（ステップＳ９）。次に、計測部１０６は、対象特定部１０２が特定した対象領域の画像のパラメータ（明るさ、コントラスト値、エッジ強度の標準偏差）を計測する（ステップＳ１０）。

次に、露光補正部１０８は、対象特定部１０２による前処理の結果からナンバープレートの種別を取得し、当該種別に関連付けられたパラメータ（明るさ、コントラスト値、エッジ強度の標準偏差）の目標値を露光条件記憶部１０９の条件テーブルから読み出す。そして、露光補正部１０８は、計測部１０６が計測したパラメータのうち、コントラスト値とエッジ強度の標準偏差が、条件テーブルから読み出したコントラスト値とエッジ強度の標準偏差の目標値の範囲内にあるか否かを判定する（ステップＳ１１）。
露光補正部１０８は、コントラスト値またはエッジ強度の標準偏差が目標値の範囲内にないと判定した場合（ステップＳ１１：ＮＯ）、ステップＳ３に戻り、撮像部が撮像する次のフレームの画像についてナンバー認識処理を実行する。

露光補正部１０８は、コントラスト値とエッジ強度の標準偏差が目標値の範囲内にあると判定した場合（ステップＳ１１：ＹＥＳ）、計測部１０６が計測した明るさと、条件テーブルから読み出した明るさの目標値との差が所定値（例えば２０）以上であるか否かを判定する（ステップＳ１２）。

計測部１０６が計測した明るさと、条件テーブルから読み出した明るさの目標値との差が所定値以上である場合（ステップＳ１２：ＹＥＳ）、露光補正部１０８は、履歴記憶部１０７から計測部１０６が所定時間（例えば、１５分）以内に計測したパラメータの値を読み出し、所定時間以内に計測した明るさの平均値を算出する。次に、露光補正部１０８は、計測部１０６が計測した明るさと所定時間以内の明るさの平均値との差が所定値（例えば４０）以上であるか否かを判定する（ステップＳ１３）。計測部１０６が計測した明るさと所定時間以内の明るさの平均値との差が所定値以上である場合（ステップＳ１３：ＹＥＳ）、露光補正部１０８は、補正値の変化量を５とする（ステップＳ１４）。他方、計測部１０６が計測した明るさと所定時間以内の明るさの平均値との差が所定値未満である場合（ステップＳ１３：ＮＯ）、露光補正部１０８は、補正値の変化量を１０とする（ステップＳ１５）。

次に、露光補正部１０８は、計測部１０６が計測した明るさが、条件テーブルから読み出した明るさの目標値より低いか否かを判定する（ステップＳ１６）。計測部１０６が計測した明るさが、条件テーブルから読み出した明るさの目標値より低い場合（ステップＳ１７：ＹＥＳ）、露光補正部１０８は、前回の露光補正に用いた補正値よりもステップＳ１４またはステップＳ１５で決定した変化量だけ高い補正値を用いて、撮像装置２００に対して露光補正を行う（ステップＳ１７）。他方、計測部１０６が計測した明るさが、条件テーブルから読み出した明るさの目標値より高い場合（ステップＳ１６：ＮＯ）、露光補正部１０８は、前回の露光補正に用いた補正値よりもステップＳ１４またはステップＳ１５で決定した変化量だけ低い補正値を用いて、撮像装置２００に対して露光補正を行う（ステップＳ１８）。つまり、露光補正部１０８は、対象領域の明るさが目標値に近づくように、撮像装置の露光補正を行う。

そして、露光補正部１０８が撮像装置２００に露光補正を行うと、計測部１０６は、ステップＳ１２で計測したパラメータの値を履歴記憶部１０７に記録する（ステップＳ１９）。そして、計時部１０５は、未認識時間の計時をリセットし（ステップＳ２０）、ステップＳ３に戻る。

また、ステップＳ１４において計測部１０６が計測した明るさと、条件テーブルから読み出した明るさの目標値との差が所定値未満である場合は（ステップＳ１２：ＮＯ）、露光補正を行わずに、計時部１０５が未認識時間の計時をリセットし（ステップＳ２０）、ステップＳ３に戻る。

このように、本実施形態によれば、画像処理装置１００は、撮像装置２００が撮像する画像から対象領域を特定し、当該対象領域の明るさが明るさの目標値に近づくように、撮像装置２００の露光補正を行う。これにより、画像処理装置１００は、対象領域のコントラストが適切になるように画像を撮像することができる。

また、本実施形態によれば、画像処理装置１００は、所定時間の間、撮像装置２００が撮像した画像から対象領域を特定できない場合、所定の補正値を用いて撮像装置２００の露光補正を行う。これにより、画像処理装置１００は、撮像装置２００の露光設定をリセットして適切な露光に調整することができる。

また、本実施形態によれば、画像処理装置１００は、ナンバー認識の確信度が所定値以上である場合に、明るさと目標値との比較結果に基づいて、撮像装置２００の露光補正を行う。これにより、ナンバープレートでない部分が対象領域として抽出された場合に、当該誤った対象領域に基づいて露光補正が行われることを防ぐことができる。

また、本実施形態によれば、計測部１０６が過去に計測した明るさと現在計測された明るさとの差が所定の値より大きい場合に、計測部１０６が過去に計測した明るさと現在計測された明るさとの差が所定の値より小さい場合と比較して絶対値が小さい補正値を用いて露光補正を行う。これにより、天候の変化などにより撮像時の外光の環境が変わった場合に、撮像される画像の明るさが大幅に変化することを防ぐことができる。

また、本実施形態によれば、露光補正部１０８は、ナンバープレートの種別ごとに異なる目標値を用いて、撮像装置２００の露光補正を行う。ナンバープレートの色は、その種別ごとに異なるため、ナンバープレートの色に応じた適切な露光条件で撮像装置２００に画像を撮像させることができる。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、撮像装置２００と画像処理装置１００が別個に設けられる場合について説明したが、これに限られず、画像処理装置１００を撮像装置２００に内蔵させても良い。

また、本実施形態では、画像処理装置１００がナンバープレートのナンバー認識を行う場合について説明したが、これに限られず、顔認識などその他の画像処理を行うものであっても良い。

また、本実施形態では、画像処理装置１００が対象領域の明るさに基づいて露光補正を行う場合を説明したが、これに限られず、対象領域のその他の特性値に基づいて撮像装置２００のその他の設定値を補正するものであっても良い。例えば、画像処理装置１００は、対象領域の鮮鋭度に基づいて、露光量を変えないように撮像装置２００のＦ値及びシャッタースピードを補正しても良い。

また、本実施形態では、露光条件記憶部１０９の初期値設定テーブルが、時間帯と、当該時間帯に属する時刻に露光条件の初期化を行う場合の補正値とを関連付けて格納するものである場合について説明したが、これに限られない。例えば、初期値設定テーブルが、時間帯と天候の組み合わせに、補正値を関連付けて格納していても良い。この場合、画像処理装置１００は、外部サーバから天候情報を取得し、当該天候情報が示す天候と現在時刻とに関連付けられた補正値を、初期値設定テーブルから読み出す。これにより、画像処理装置１００は、より確実に適切な露光量で撮像装置２００に画像を撮像させることができる。

《基本構成》
図５は、本発明に係る画像処理装置１００の基本構成を示す概略ブロック図である。
上述した実施形態では、本発明に係る画像処理装置１００の一実施形態として図１に示す構成について説明したが、本発明に係る画像処理装置１００の基本構成は、図５に示すとおりである。
すなわち、本発明に係る画像処理装置１００は、対象特定部１０２、計測部１０６、及び設定値補正部を基本構成とする。

対象特定部１０２は、撮像装置２００が撮像した画像から画像処理の対象となる領域である対象領域を特定する。
計測部１０６は、対象特定部１０２が特定した対象領域の特性値を計測する。
設定値補正部は、計測部１０６が計測した特性値と所定の基準データとの比較結果に基づいて、対象領域の特性値が基準データが示す特性値に近づくように撮像装置２００の設定値の補正を行う。なお、上述した実施形態に係る露光補正部１０８は、設定値補正部の具体例である。
これにより、画像処理装置１００は、画像処理の対象となる領域のコントラストが適切になるように、撮像装置２００に画像を撮像させることができる。

なお、上述の画像処理装置１００は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００…画像処理装置 １０１…画像受信部 １０２…対象特定部 １０３…画像処理部 １０４…確信度算出部 １０５…計時部 １０６…計測部 １０７…履歴記憶部 １０８…露光補正部 １０９…露光条件記憶部 ２００…撮像装置

Claims (11)

1. 撮像装置が撮像した画像から画像処理の対象となる領域である対象領域を特定する対象特定部と、
   前記対象特定部が特定した対象領域の特性値を計測する計測部と、
   前記計測部が計測した特性値と所定の基準データとの比較結果に基づいて、前記対象領域の特性値が前記基準データが示す特性値に近づくように前記撮像装置の設定値の補正を行う設定値補正部と
   を備えることを特徴とする画像処理装置。
2. 前記設定値補正部は、設定値の補正を行うタイミング以前の所定時間内に前記計測部が計測した特性値と現在の特性値との差が大きいほど、絶対値が小さい補正値を用いて設定値の補正を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記設定値補正部は、画像処理の対象の種別ごとに異なる基準データを用いて、前記撮像装置の設定値の補正を行う
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 所定時間の間、前記対象特定部が、前記撮像装置が撮像した画像から対象領域を特定できない場合、前記設定値補正部は、所定の補正値を用いて前記撮像装置の設定値の補正を行う
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記対象特定部が特定した対象領域に対して前記画像処理を行う画像処理部と、
   前記画像処理部による前記画像処理の確信度を算出する確信度算出部と
   を備え、
   前記設定値補正部は、前記確信度算出部が算出した確信度が所定値以上である場合に、前記計測部が計測した特性値と所定の基準データとの比較結果に基づいて、前記撮像装置の設定値の補正を行う
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 前記対象領域は、前記画像に写った車両のナンバープレートの領域であり、
   前記画像処理は、ナンバープレートのナンバー認識である
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 前記特性値は、前記対象領域の明るさであり、
   前記補正値は、前記撮像装置の露光量である
   ことを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
8. 撮像装置が撮像した画像から画像処理の対象となる領域である対象領域を特定するステップと、
   前記特定した対象領域の特性値を計測するステップと、
   前記計測した特性値と所定の基準データとの比較結果に基づいて、前記対象領域の特性値が前記基準データが示す特性値に近づくように前記撮像装置の設定値の補正を行うステップと
   を備えることを特徴とする画像処理方法。
9. 所定時間の間、前記撮像装置が撮像した画像から対象領域を特定できない場合に、所定の補正値を用いて前記撮像装置の設定値の補正を行うステップ
   を備えることを特徴とする請求項８に記載の画像処理方法。
10. コンピュータを、
    撮像装置が撮像した画像から画像処理の対象となる領域である対象領域を特定する対象特定部、
    前記対象特定部が特定した対象領域の特性値を計測する計測部、
    前記計測部が計測した特性値と所定の基準データとの比較結果に基づいて、前記対象領域の特性値が前記基準データが示す特性値に近づくように前記撮像装置の設定値の補正を行う設定値補正部
    として機能させるためのプログラム。
11. 所定時間の間、前記対象特定部が、前記撮像装置が撮像した画像から対象領域を特定できない場合に、前記設定値補正部が、所定の補正値を用いて前記撮像装置の設定値の補正を行う
    ことを特徴とする請求項１０に記載のプログラム。

Images