JP2006236181A - 画像識別装置および方法，ならびに画像識別プログラム - Google Patents

Abstract

【目的】 画像データによって表される画像が属すべき画像分類を高精度に識別する。
【構成】 画像データ11およびタグ情報12を含む画像ファイル10が受付けられる。画像データ11に基づいて，あらかじめ定められた複数の画像分類（被写体種類およびライティング種類）のそれぞれについて，上記画像データによって表される画像が，どの程度の確度でそれらの画像分類に属するかを表す確信度が算出される。また，画像ファイル10に含まれるタグ情報12に基づいて，画像データ11が，被写体種類「夕景」である確率およびライティング種類「タングステン」である確率が算出される。確率が所定値よりも低い場合に，そのような確率が得られた確信度（夕景確信度またはタングステン確信度）が減少させられる。
【選択図】 図１

Description

この発明は，画像データによって表される画像の画像分類を識別する装置および方法，ならびに画像識別処理をコンピュータに実行させるプログラムに関する。

特許文献１には，シーン判定部31を含む画像データ処理部24を備えたディジタルスチルカメラが記載されている。シーン判定部31では，画像中に人物を表す画像が含まれているかどうかおよび色ヒストグラムに基づいて，画像が，スナップショット，ポートレイト，記念撮影，風景撮影，夕景，夜景，夜景ポートレイト，海，蛍光灯光源またはタングステン光源のいずれの撮影シーンにおけるものであるかを判定している。画像がいずれの撮影シーンにおけるものであるかが判定されると，判定された撮影シーンに基づいて，撮影シーンごとに設定された補正処理が画像データに対して行われる。

しかしながら，「夕景」の撮影シーンと，「タングステン光源」の撮影シーンとは，いずれも全体的にオレンジ色がかかった画像であるため，画像データから得られる情報のみにもとづいて，これらを精度良く判定（識別）するのは容易ではない。
特開２００２−２１８４８０号公報

この発明は，画像データによって表される画像の分類（撮影シーン，被写体種類，ライティング種類などの分類）の精度向上を図ることを目的とする。

この発明による画像識別装置は，タグ情報および画像データを含む画像ファイルの入力を受ける画像ファイル受付手段，上記画像ファイル受付手段によって受付けられた画像ファイルに含まれる画像データに基づいて，あらかじめ定められた複数の画像分類のそれぞれについて，上記画像データによって表される画像が，どの程度の確度でそれらの画像分類に属するかを表す確信度を算出する確信度算出手段，上記画像ファイル受付手段によって受付けられた画像ファイルに含まれるタグ情報に基づいて，上記確信度算出手段によって算出された複数の確信度のうちの少なくとも一つの確信度についての信頼度を算出する信頼度算出手段，ならびに上記信頼度算出手段によって算出された信頼度が所定値よりも低い場合に，そのような評価値が得られた確信度を減少させる確信度修正手段を備えたことを特徴とする。

この発明による画像識別方法は，タグ情報および画像データを含む画像ファイルの入力を受け，受付けた画像ファイルに含まれる画像データに基づいて，あらかじめ定められた複数の画像分類のそれぞれについて，上記画像データによって表される画像が，どの程度の確度でそれらの画像分類に属するかを表す確信度を算出し，受付けた画像ファイルに含まれるタグ情報に基づいて，上記確信度算出手段によって算出された複数の確信度のうちの少なくとも一つの確信度についての信頼度を算出し，算出した信頼度が所定値よりも低い場合に，そのような信頼度が得られた確信度を減少させることを特徴とする。

この発明はさらに，上述の画像識別方法をコンピュータに実行させるためのプログラム（コンピュータを，上述の画像識別装置として機能させるためのプログラム）も提供している。

与えられる画像ファイルに含まれる画像データに基づいて，その画像データによって表される画像があらかじめ定められる複数の画像分類のそれぞれにどの程度の確度で属するかを表す確信度が，複数の画像分類のそれぞれについて算出される。画像分類は，画像データに基づいて識別し得る分類であって，画像補正処理において異なる補正を行うべき（異なる補正処理を行った方が適切であることが経験的に知られている）分類である。

一実施態様では，上記確信度算出手段は，上記画像データによって表される画像中に，あらかじめ定められた複数の被写体種類を表す画像が，それぞれどの程度の確度で含まれているかを表す被写体種類確信度を，上記画像データから得られる特徴量に基づいて，定められた被写体種類ごとに算出する被写体種類別確信度算出手段，および上記画像データによって表される画像が，あらかじめ定められた複数のライティング種類のそれぞれについて，どの程度の確度でそのライティング種類の下で撮影されたかを表すライティング確信度を，上記画像データから得られる特徴量に基づいて，定められたライティング種類ごとに算出するライティング種類別確信度算出手段を含む。被写体種類に関する画像分類として，たとえば，「人物顔」，「海中」，「高彩度」，「夕景」，「夜景」，「青空」，「ハイキー」などが挙げられる。ライティング種類に関する画像分類として，「逆光」，「近接ストロボ」，「タングステン」などが挙げられる。

たとえば，被写体種類「海中」の画像には，当然に，いわゆる海中色（青色〜緑色の色範囲に属する色）を持つ画素が，画像中の広い範囲に含まれている。最も単純には，海中色を持つ画素が所定面積以上含まれていれば，その画像は「海中」の画像分類であることを識別することができ，さらにその面積に応じて確信度を算出することができる。もちろん，複数種類の特徴量を利用して，「海中」の画像分類に対する確信度を算出することもできる。

好ましくは，画像分類のそれぞれについて，確信度の算出に適した一または複数の特徴量の種類と，特徴量に応じて確信度を算出するためのポイントデータを記憶したメモリが設けられ，このメモリが参照されて画像データに基づいて特徴量が算出され，算出された特徴量に応じて得られるポイントデータにしたがって，確信度が算出される。ポイントデータをそのまま確信度としてもよいし，複数の特徴量を確信度の算出に用いる場合には，各ポイントデータの加算値を確信度としてもよい。加算されたポイントデータを特徴量の数で除算した値を確信度としてもよい。好ましくは，確信度は，０から１までの範囲の値に正規化される。

画像分類のそれぞれについて得られる確信度によって，与えられる画像ファイルに含まれる画像データによって表される画像が属する画像分類の確からしさが表わされるので，この確信度に基づいて画像分類ごとに定められた補正処理を施せば，画像データに適した画像補正処理（濃度補正，ホワイトバランス補正など）を施すことができる。

画像補正処理を画像分類に応じて行う場合，より細かく（より多くの）画像分類を設定した方が，より適切な画像補正処理を，処理対象の画像データに対して施すことができる。

しかしながら，細かく（多くの）画像分類を設定した場合，画像データに基づいて得られる確信度の精度が悪化するおそれがある。

たとえば，夕景を撮影することによって得られる画像（夕景画像）およびタングステン光源下で被写体（たとえば人物）を撮影することによって得られる画像（タングステン画像）である。夕景画像とタングステン画像とは，いずれも全体的にオレンジ色がかかった画像であるので，画像データのみに基づいて確信度を算出すると，夕景画像であるにも関わらずタングステン画像である確信度として大きい値が得られたり，逆にタングステン画像であるにも関わらず夕景画像である確信度として大きい値が得られるたりすることがある。しかしながら，夕景画像は画像中に現れる夕景の雰囲気を維持させるためにホワイトバランス補正を弱く施し，タングステン画像はより自然な発色にするためにホワイトバランス補正を強く施すといったように，補正処理を異ならせる必要性が高い。このため，夕景画像とタングステン画像を一つの画像分類としてまとめるよりも，別個の画像分類とした方が好ましい。

そこで，多くのディジタル・カメラにおいて画像ファイルに画像データとともに格納されるタグ情報が，確信度の精度の悪化を防ぐために用いられる。タグ情報は，たとえば，Exif(Exchangeble image file format)規格にしたがって，ディジタル・カメラ等によって得られた画像ファイルに，画像データとともに格納される情報である。画像ファイルに含まれるタグ情報に基づいて，算出された複数の確信度のうちの少なくとも一つの確信度についての信頼度が算出される。

タグ情報には，画像ファイルの作成時（撮影時）に，画像データの取得条件（被写体の撮影時の撮影条件）等が格納される。画像データに基づいて得られる確信度（すなわち，画像特徴から得られる確信度）に対し，タグ情報に基づいて信頼度に応じた評価を加えることができる。

タグ情報に基づいて得られる信頼度は，好ましくは，画像特性が類似する，上記複数の被写体種類のうちの一つと上記複数のライティング種類のうちの一つについて算出される。画像特性が近似しない画像分類同士であれば，画像データから得られる確信度として比較的信頼できる値が算出されるが，画像特性が近似する画像分類同士（たとえば，上述した夕景画像とタングステン画像）については，画像データから得られる確信度の精度は，近似しない画像分類同士よりも精度が低いことがあるからである。

タグ情報に基づいて得られる信頼度が，所定値よりも低い場合に，そのような信頼度（評価値）が得られた確信度が減少される。

この発明によると，タグ情報に基づいて信頼度が低いと判断された画像分類についての確信度が小さくされるので，その画像分類に対応する補正処理の補正効果を弱めることができる。誤った確信度に基づく画像補正処理によって生じる悪影響を，未然に防止する（少なくする）ことができる。

一実施態様では，上記確信度修正手段は，上記信頼度算出手段によって算出された信頼度の大きさに応じて，上記確信度の減少の程度を変動させる。信頼度が低いほど確信度をより小さく修正することができる。

図１は，画像判別装置の機能ブロック図を示している。

画像判別装置は，処理対象の画像ファイルに基づいて，画像ファイルに含まれる画像データによって表される画像の画像種類（シーン，シチュエーション）および画像ファイルの取得時（被写体の撮影時）のライティング種類（撮影時の光源種類）を判別する装置である。処理対象の画像ファイルは，たとえばディジタル・カメラが用いられて取得される。メモリ・カードまたはネットワークを介して，ディジタル・カメラによって取得された画像データが，画像判別装置に与えられる（入力される）。

処理対象の画像ファイルによって表される画像が，あらかじめ決められた複数の画像種類のうちの一つであること（逆に言えば，他の画像種類ではないこと）を判別するよりも，複数の画像種類のそれぞれについて，どの程度それらの画像種類に近いか（画像種類のそれぞれについての確からしさ）を算出する方が，画像処理上都合がよい。このため，画像判別装置は，後述するように，画像ファイルによって表される画像が，あらかじめ設定された複数の画像種類のそれぞれについて，どの程度の確からしさでそれらの画像種類に属するかを「確信度」という数値によって表す。このことは，ライティング種類についても同様である。

画像判別装置によって得られる被写体種類ごとおよびライティング種類ごとの確信度は，処理対象の画像ファイルに含まれる画像データの画像補正処理に利用される。画像補正処理では，被写体種類およびライティング種類のそれぞれに対応する補正処理が用意される。被写体種類およびライティング種類のそれぞれについて得られる確信度の大きさに応じて，画像データに対する補正処理の補正効果の程度（被写体種類およびライティング種類のそれぞれについて用意される補正処理のそれぞれの補正効果の程度）が決定される。

図１を参照して，画像判別装置は，被写体種類別確信度算出機能１，ライティング種類別確信度算出機能２，夕景／タングステン確信度再算出機能３および被写体種類「検出対象外」確信度算出機能４を達成するように構成される。これらの機能のそれぞれをハードウエアによって構成してもよいし，その一部または全部をプログラミング処理（ソフトウエア）によって実現してもよい。画像データに画像補正処理を実行する画像補正装置の一部として，画像判別装置を組み込むようにしてもよい。プログラミング処理によって上記機能を達成する画像判別装置（画像判別装置）は，ＣＰＵ，メモリ，記憶装置，ＣＤ−ＲＯＭドライブ，通信装置，表示装置等を備える。

被写体種類別確信度算出機能１は，処理対象の画像ファイル10に含まれる画像データ11にもとづいて，画像データ11によって表される画像中に現れている被写体種類（シーン，シチュエーション）を判別し，その確信度（確からしさを規定する数値）を算出するものである。この実施例では，被写体種類別確信度算出機能１は，「人物顔」，「海中」，「高彩度」，「夕景」，「夜景」，「青空」および「ハイキー」の７種類の被写体種類のそれぞれについての確信度を算出する。

ライティング種類別確信度算出機能２は，処理対象の画像ファイル10に含まれる画像データ11にもとづいて，画像ファイル10が得られたとき（たとえば，ディジタル・カメラによって撮影が行われたとき）の光源の種類を判別し，その確信度（確からしさを規定する数値）を算出するものである。この実施例では，ライティング種類別確信度算出機能２は，「逆光」，「近接ストロボ」および「タングステン」の３種類のライティング種類のそれぞれについての確信度を算出する。

被写体種類別確信度算出機能１によって確信度が算出される被写体種類のうちの一つである「夕景」と，ライティング種類別確信度算出機能２によって確信度が算出されるライティング種類のうちの一つである「タングステン」は，これらの確信度（「夕景確信度」および「タングステン確信度」）を画像データ11のみに基づいて算出すると，現実には夕景画像であるにも関わらず，タングステン確信度として大きな値が得られたり，逆に現実にはタングステン画像であるにも関わらず，夕景確信度として大きな値が得られたりすることがある。夕景画像およびタングステン画像は，いずれも全体的にオレンジ色を帯びた画像になり，画像データ上ではその区別が比較的難しいからである。

夕景／タングステン確信度再算出機能３は，画像データ11に基づいて得られた被写体種類「夕景」についての確信度およびライティング種類「タングステン」についての確信度を，処理対象の画像ファイル10に含まれるタグ情報12を利用して再算出するものである。すなわち，夕景／タングステン確信度再算出機能３は，全体的にオレンジ色を帯びている画像が，夕景画像であるのかまたはタングステン画像であるのかを，タグ情報12を利用して精度良く判別する処理（夕景確信度およびタングステン確信度の再算出，修正夕景確信度および修正タングステン確信度の算出処理）を行う。

被写体種類「検出対象外」確信度算出機能４は，上述した７種類の被写体種類（「人物顔」，「海中」，「高彩度」，「夕景」，「夜景」，「青空」および「ハイキー」）以外の被写体種類であること（これを，被写体種類「検出対象外」と呼ぶ）の確信度を算出する処理を行う。

以下，被写体種類別確信度算出機能１，ライティング種類別確信度算出機能２，夕景／タングステン確信度再算出機能３，および被写体種類「検出対象外」確信度算出機能４のそれぞれについて説明する。

（１）被写体種類別確信度算出機能１
被写体種類別確信度算出機能１は，あらかじめ定められた複数の被写体種類のそれぞれに対応する複数の識別装置（識別プログラム）によって構成することができる。この実施例では，被写体種類別確信度算出機能１は，「人物顔」，「海中」，「高彩度」，「夕景」，「夜景」，「青空」および「ハイキー」のそれぞれに対応する７つの識別装置を含む。

たとえば，被写体種類「夕景」に対応する識別装置（以下，夕景識別装置という）は，あらかじめ行われる学習処理によって得られる学習データに基づいて，処理対象の画像ファイル10に含まれる画像データ11によって表される画像が夕景画像であるかどうか（夕景画像である確信度）を算出する。

複数の被写体種類の代表として，被写体種類「夕景」についての確信度算出処理について説明する。

図２は，被写体種類「夕景」についての確信度算出処理に用いられる学習データが作成される様子を示している。

学習データ作成処理では，まず，多数の夕景サンプル画像データと多数の非夕景サンプル画像データとが用意される。夕景サンプル画像データには，さまざまな場所で撮影された夕景画像を表すものが用いられる。非夕景サンプル画像データには，夕景画像ではない画像（非夕景画像）（夕景画像と全く異なるものであっても，近似するものであってもよい）が用いられる（図２の左側）。

一の特徴量種類，たとえば，Ｒ値７０％値（画像データによって表される画像を構成する各画素ごとのＲ値の累積ヒストグラムにおいて，その７０％点に対応する値）が選択される。選択された特徴量種類（Ｒ値７０％値）を，多数の夕景サンプル画像データを用いて算出し，その頻度ヒストグラムを作成する。同様にして，選択された特徴量種類（Ｒ値７０％値）を，多数の非夕景サンプル画像データを用いて算出し，その頻度ヒストグラムを作成する（図２の中央）。

多数の夕景サンプル画像データを用いて作成された累積ヒストグラム（図２の中央上段）と，多数の非夕景サンプル画像データを用いて作成された累積ヒストグラム（図２の中央下段）とにおいて，累積ヒストグラムの偏りがあれば，選択された特徴量種類（上述の例の場合，Ｒ値７０％値）は，夕景画像と非夕景画像の判別（識別）に適した特徴量種類と言える。

作成された２つの累積ヒストグラムの対応する特徴量の値ごとの頻度値の比の対数値が算出される。この対数値を識別ポイントと呼ぶ。識別ポイントは，特徴量の種類とともに，学習データを形成する。

図３は，被写体種類「夕景」についての学習データの一例を示している。被写体種類「夕景」についての学習データには，被写体種類「夕景」であることの識別に適した特徴量の種類（ここでは，Ｒ値７０％値，Ｙ値９０％値，Ｒ値９０％値およびＣｒ平均値とする）と，識別ポイントが格納される。識別ポイントは，特徴量の値のそれぞれに対応して複数格納される。

夕景識別装置は，被写体種類「夕景」についての学習データ（図３）を記憶しており，この学習データに基づいて，処理対象の画像データ11に対し，その画像データ11によって表される画像が被写体種類「夕景」であることの確からしさを規定する確信度を算出する。識別ポイントの合計値をそのままその被写体種類「夕景」についての確信度として用いてもよいし，識別ポイントの合計値を０〜１までの範囲の数値に正規化して，正規化された値を確信度としてもよい。識別ポイントの合計値を特徴量種類の数によって除算し，除算した値を正規化して，正規化された値を確信度としてもよい。

他の被写体種類「人物顔」，「海中」，「高彩度」，「夜景」，「青空」および「ハイキー」のそれぞれに対応する識別装置も学習データを記憶しており，学習データに基づいて，処理対象の画像データ11によって表される画像が対応する被写体種類であることの確からしさを規定する確信度を算出する。すなわち，処理対象の画像データによって表される画像について，「人物顔」，「海中」，「高彩度」，「夕景」，「夜景」，「青空」および「ハイキー」の７つの被写体種類のそれぞれに対応する７つの確信度が算出される（確信度が「０」であることも含む）。

（２）ライティング種類別確信度算出機能２
ライティング種類別確信度算出機能２も，被写体種類別確信度算出機能１と同様に，あらかじめ定められた複数のライティング種類のそれぞれに対応する複数の識別装置によって構成することができる。この実施例では，ライティング種類別確信度算出機能２は，「逆光」，「近接ストロボ」および「タングステン」のそれぞれに対応する３つの識別装置を含む。３つの識別装置のそれぞれは，上述した被写体種類についての識別装置と同様に，学習データを記憶している。学習データに基づいて，処理対象の画像データ11によって表される画像について，「逆光」，「近接ストロボ」および「タングステン」のそれぞれについての確信度が算出される（確信度が「０」であることも含む）。

（３）夕景／タングステン確信度再算出機能３
夕景／タングステン確信度再算出機能３は，画像データ11に基づいて算出された被写体種類「夕景」の確信度およびライティング種類「タングステン」の確信度の精度を上げるため処理を行う。

画像ファイル10には，画像データとともにタグ情報12が含まれている。このタグ情報12は，たとえば，「デジタルスチルカメラ用画像ファイルフォーマット規格」（以下，Exif規格という）に準拠したものである。Exif規格では，バージョンに関するタグ，画像データの特性に関するタグ，構造に関するタグ，ユーザ情報に関するタグ，関連ファイルに関するタグ，日時に関するタグ，撮影条件に関するタグなどが規定されている。これらのタグのうち，夕景／タングステン確信度再算出機能３における処理では，撮影条件に関するタグが利用される。

図４は，Exif規格において規定されている撮影条件に関するタグ情報に含まれる情報の内容を示している。

Exif規格は，規格に定められているすべての情報を，画像ファイルに記録することを定めるものではない。このため，画像ファイルの取得に用いられたディジタル・カメラの種類（メーカ，機種の相違）によって，画像ファイル中のタグ情報に記録される情報内容は異なる。夕景／タングステン確信度再算出機能３は，処理対象の画像ファイル10にタグ情報12が含まれていることを前提としつつ，かつそのタグ情報12は様々な内容をもつものが存在することを前提として，以下に説明するように動作する。

図５，図６および図７は，夕景／タングステン確信度再算出機能３における処理の流れを示すフローチャートである。

夕景／タングステン確信度再算出機能３では，まず，タグ情報12を利用して，処理対象の画像ファイル10に含まれる画像データ11によって表される画像が，夕景画像である確率（以下，夕景確率）と，タングステン画像である確率（以下，タングステン確率という）を算出する（図５，図６）。なお，夕景／タングステン確信度再算出機能３は，処理対象の画像ファイルに含まれる画像データ11によって表される画像が，夕景画像またはタングステン画像のいずれであるか（いずれである可能性が高いかを表す確率）を求めるものであるから，夕景確率とタングステン確率を合計すると「１」（１００％）になる。

後述する説明において明らかになるが，夕景／タングステン確信度再算出機能３は，「フラッシュ情報（フラッシュのオン／オフ情報）」と「被写体輝度値」の２つの情報を利用する。これらの２つの情報は，タグ情報12に格納されている割合が高く，夕景画像とタングステン画像の区別（識別）に有効であり，撮影に用いられるカメラの性能や設定に影響されにくいからである。

図５を参照して，はじめに，処理対象の画像ファイル10からタグ情報12が読み出される（ステップ21）。

タグ情報12中に，フラッシュ情報が格納されているかどうかが判断される（ステップ22）。

フラッシュ情報が格納されていない場合（ステップ22でNO），夕景確率とタングステン確率は，いずれも０．５とされる（ステップ34）。この場合，後述するように，画像データ11に基づいて算出された夕景確信度およびタングステン確信度は，そのまま（被写体種類別確信度算出機能１において算出された確信度と同値が）出力される。フラッシュがオンまたはオフであることが不明のまま被写体輝度値を算出して夕景確率およびタングステン確率を算出しても，信頼性の著しく低い夕景確率およびタングステン確率が算出されてしまうことを考慮したものである。

フラッシュ情報（オン／オフ情報）が格納されている場合（ステップ22でYES），タグ情報12中に被写体輝度値情報BVが格納されているかどうかが判断される（ステップ23）。

タグ情報12中に被写体輝度値情報BVが格納されていない場合（ステップ23でNO），タグ情報12中に格納されている他の情報に基づいて，被写体輝度値を算出することができるかどうかが判断される（ステップ28，図６）（詳細は後述する）。タグ情報12中に格納されている他の情報に基づいて被写体輝度値を算出することができない場合にも，夕景確率とタングステン確率は，いずれも０．５とされる（ステップ29でNO，ステップ34）。

被写体輝度情報BVが格納されている場合（ステップ23でYES），記録されている被写体輝度値BVに基づいて，夕景確率およびタングステン確率が算出される。ここで，被写体輝度値BVに基づいて算出される夕景確率およびタングステン確率は，フラッシュ情報がオン情報であるか，オフ情報であるかによって異なるものとされる（ステップ24）。

図８（Ａ）は，フラッシュ情報がオン情報であるときの被写体輝度値と夕景確率（０〜１までの範囲）との関係を示すグラフである。図８（Ｂ）は，フラッシュ情報がオン情報であるときの被写体輝度値とタングステン確率（０〜１までの範囲）との関係を示すグラフである。図８（Ａ）および図８（Ｂ）に示すグラフを表すデータ（テーブル）はあらかじめ記憶装置に記憶される（このことは，後述する図９(A)，図９(B)，図10(A)，図10(B)に示すグラフについても同様である。）。

図８（Ａ）に示すフラッシュ情報がオン情報であるときの被写体輝度値と夕景確率との関係および図８（Ｂ）に示すフラッシュ情報がオン情報であるときの被写体輝度値とタングステン確率との関係は，学習処理によって得られたものである。たとえば，タグ情報にフラッシュ・オン情報が格納され，かつ被写体輝度値が格納されている多数の夕景サンプル画像データおよび多数のタングステン・サンプル画像データが用意される。これらのサンプル画像データが用いられて，被写体輝度値に関するヒストグラムが，夕景画像およびタングステン画像のそれぞれについて算出される。ある被写体輝度値における夕景画像数およびタングテン画像数を用いて，夕景画像数を夕景画像数およびタングステン画像数の和で除算することによって，その被写体輝度値についての夕景確率が得られる。タングステン画像数を夕景画像数およびタングステン画像数の和で除算すれば，その被写体輝度値についてのタングステン確率が得られる。

図８（Ａ）に示すフラッシュ情報がオン情報であるときの被写体輝度値と夕景確率の関係（Ｐ_ON（夕景｜ＢＶ））をまず求め，図８（Ｂ）に示すフラッシュ情報がオン情報であるときの被写体輝度値とタングステン確率との関係（Ｐ_ON（タングステン｜ＢＶ））を，次式によって求めるようにしてもよい。

Ｐ_ON（タングステン｜ＢＶ）＝１−Ｐ_ON（夕景｜ＢＶ） ・・・式１

もちろん，フラッシュ情報がオン情報であるときの被写体輝度値とタングステン確率との関係（Ｐ_ON（タングステン｜ＢＶ））をまず求め，求められたフラッシュ情報がオン情報であるときの被写体輝度値とタングステン確率との関係に基づいて，フラッシュ情報がオン情報であるときの被写体輝度値と夕景確率との関係（Ｐ_ON（夕景｜ＢＶ））を求めてもよい（式１と同様）。

図９（Ａ）は，フラッシュ情報がオフ情報であるときの被写体輝度値と夕景確率との関係を示すグラフであり，図９（Ｂ）はフラッシュ情報がオフ情報であるときの被写体輝度値とタングステン確率との関係を示すグラフである。

図９（Ａ），図９（Ｂ）に示すフラッシュ情報がオフ情報であるときの被写体輝度値と夕景確率との関係，被写体輝度値とタングステン確率との関係も，上述と同様に，学習処理によって得られたものである。図９（Ｂ）に示すフラッシュ情報がオフ情報であるときの被写体輝度値とタングステン確率との関係（Ｐ_OFF（タングステン｜ＢＶ））についても，フラッシュ情報がオフ情報であるときの被写体輝度値と夕景確率との関係（Ｐ_OFF（夕景｜ＢＶ））を利用して，次式によって求めることができる。

Ｐ_OFF（タングステン｜ＢＶ）＝１−Ｐ_OFF（夕景｜ＢＶ） ・・・式２

フラッシュ情報がオフ情報であるときの被写体輝度値とタングステン確率との関係（Ｐ_OFF（タングステン｜ＢＶ））をまず求め，求められたフラッシュ情報がオフ情報であるときの被写体輝度値とタングステン確率との関係に基づいて，フラッシュ情報がオフ情報であるときの被写体輝度値と夕景確率との関係（Ｐ_OFF（夕景｜ＢＶ））を求めてもよい（式２と同様）。

以上のように，フラッシュが発光されて撮影された画像データである場合には，図８（Ａ）および図８（Ｂ）のグラフに基づいて，タグ情報12中の被写体輝度値BVに基づいて，夕景確率およびタングステン確率が算出され（ステップ25），フラッシュが発光されずに撮影された画像データである場合には，図９（Ａ）および図９（Ｂ）のグラフに基づいて，タグ情報12中の被写体輝度値BVに基づいて，夕景確率およびタングステン確率が算出される（ステップ26）。

図７を参照して，算出された夕景確率およびタングステン確率に基づいて，夕景確信度に乗算されるべき重み係数βと，タングステン確信度に乗算されるべき重み係数γが算出される（ステップ61）。

図11は夕景確率と重み係数βとの関係を，図12はタングステン確率と重み係数γとの関係を示すグラフである。

図11および図12に示すグラフにしたがって算出された重み係数βおよび重み係数γが用いられて，次式にしたがって夕景確信度およびタングステン確信度が修正される（ステップ62）。

修正後の夕景確信度＝β・夕景確信度
修正後のタングステン確信度＝γ・タングステン確信度 ・・・式３

図11，図12および式３から明らかなように，修正後の夕景確信度およびタングステン確信度は，タグ情報12に基づいて算出された夕景確率およびタングステン確率がいずれも０．５である場合には，被写体種類別確信度算出機能１において算出された夕景確信度およびタングステン確信度と同値となる。タグ情報12に基づいて算出された夕景確率およびタングステン確率がいずれかが０．５よりも大きい（または小さい）場合には，確率が小さい方（夕景確信度またはタングステン確信度のいずれかである）が，修正前の値に比べて小さくされる。修正された夕景確信度およびタングステン確信度，または夕景確信度および修正されたタングステン確信度が出力される（ステップ63）。

実際には夕景画像であるにも関わらず，タングステン確信度として大きい値が得られた場合にタングステン確信度が小さくされ，逆にタングステン画像であるにも関わらず，夕景確信度として大きい値が得られた場合には夕景確信度が小さくされる。確信度は，その後に行われる画像補正処理の適用の程度（度合）を定めるので，確信度が小さくされることにより，夕景画像に対する補正処理またはタングステン画像に対する補正処理のいずれかの補正効果が弱められる。不適切な画像補正処理が行われることを防止することができる。

被写体輝度値の計算可能性の判断（ステップ28，図６）について説明する。

被写体輝度値は，次式によって，計算可能である。

CalBV＝TV+AV+EBV-SV ・・・式４

式４において，CalBVが計算によって算出される被写体輝度値，TVがシャッタースピード，AVが絞り値，SVがISO感度，EBVが露光補正値である。これらの値が得ることができれば，式４にしたがって被写体輝度値を計算によって求めることができる。

（i)被写体輝度値の算出式（式４）の成立性の可否チェック（ステップ41，42，47，48）
上述した式４は，撮影時における露出設定（絞り値の設定およびシャッタスピードの設定を意味する）がマニュアル設定ではなく，オート設定であることを前提とする。撮影時における露出設定がマニュアル設定であったか，オート設定であったかは，タグ情報12中の露出プログラム情報または露出モード情報によって検知することができる。

タグ情報12中に露出プログラム情報または露出モード情報のいずれかが含まれているかどうかの判断（ステップ41，47）と，含まれている場合にはマニュアル設定によって撮影が行われたかどうかが判断される（ステップ42，48）。

露出プログラム情報は，Exif規格において，０〜８までの９つの数字によって規定される。タグ情報12が露出プログラム情報を含んでおり，かつ露出プログラム情報として「１」が格納されている場合，画像ファイル10は，マニュアルによって露出設定されて得られたことを示す。この場合，上記式４に基づいて被写体輝度値を算出することができない（式４が前提とする関係が成り立たない）。被写体輝度値CalBVの計算は不可能である旨を表すデータが出力される（ステップ41でYES，ステップ42でNO，ステップ52）。

タグ情報12に露出プログラム情報が含まれていない場合，タグ情報12中に露出モード情報が格納されているかどうかが判断される（ステップ41でNO，ステップ47）。露出モード情報は，Exif規格において，０，１または２の３つの数字によって規定される。露出モード情報として「１」が格納されている場合，画像ファイル10はマニュアルによって露出設定されて得られたものであることを示す。この場合にも，被写体輝度値CalBVの計算は不可能である旨を表すデータが出力される（ステップ47でYES，ステップ48でNO，ステップ52）。

露出プログラム情報および露出モード情報の両方がタグ情報12中に含まれていない場合，上記式４が成立するかどうかが不明であるので，この場合も，被写体輝度値CalBVの計算は不可能である旨を表すデータが出力される（ステップ47でNO，ステップ52）。

露出プログラム情報または露出モード情報にもとづいて，露出設定がマニュアル設定でないことが判断された場合（ステップ42でYESまたはステップ48でYES），被写体輝度値CalBVの算出に必要とされるシャッタースピード（TV），絞り値（AV），ISO感度（SV），露光補正値（EBV）のそれぞれが取得（算出）可能であるかどうかの判断に進む。

(ii)シャッタスピード（TV）の取得の可否チェック（ステップ43，49）
シャッタスピード情報がタグ情報12に格納されているか，またはタグ情報12中に露出時間情報が格納されている場合，シャッタスピード（TV）の取得が可能である（シャッタスピード（TV）＝−ｌｏｇ₂（露出時間）の関係式が成立つ）。シャッタスピード情報および露出時間情報の両方がタグ情報12に格納されていない場合，被写体輝度値CalBVの計算は不可能である旨を表すデータが出力される（ステップ43でNO，ステップ49でNO，ステップ52）。タグ情報12にシャッタスピード情報が格納されているか，そうでなくとも露出時間情報が格納されている場合には，次の処理に進む（ステップ43でYES，またはステップ49でYES）。

(iii)絞り値（AV）の取得の可否チェック（ステップ44，50）
タグ情報12に絞り値情報が格納されているか，またはタグ情報12中にＦナンバーが格納されていれば，絞り値（AV）の取得が可能である（絞り値（AV）＝２ｌｏｇ₂（Ｆナンバー）の関係式が成立つ）。絞り値情報およびＦナンバー情報の両方がタグ情報12に格納されていない場合には，被写体輝度値CalBVの計算は不可能である旨を表すデータが出力される（ステップ44でNO，ステップ50でNO，ステップ52）。タグ情報12中に絞り値情報が格納されているか，そうでなくともＦナンバー情報が格納されている場合には，次の処理に進む（ステップ44でYES，またはステップ50でYES）。

（iv)ＩＳＯ感度（SV）の取得の可否チェック（ステップ45）
ＩＳＯ感度は，ＩＳＯスピードレートに基づいて算出することができる（ＩＳＯ感度＝ｌｏｇ２（ISOスピードレート／3.125）の関係式が成立つ）。このため，タグ情報12中にＩＳＯスピードレート情報が格納されているかどうかが判断される（ステップ45）。ISOスピードレート情報がタグ情報12中に格納されていない場合には，被写体輝度値CalBVの計算は不可能である旨を表すデータが出力される（ステップ45でNO，ステップ52）。ISOスピードレート情報がタグ情報12に格納されている場合，次の処理に進む（ステップ45でYES）。

（v)露光補正値情報（EBV）の取得の可否チェック（ステップ46）
タグ情報12中に，露光補正値情報（EBV）が格納されているかどうかが判断される（ステップ46）。タグ情報12中に露光補正値情報（EBV）が格納されていない場合には，被写体輝度値CalBVの計算は不可能である旨を表すデータが出力される（ステップ46でNO，ステップ52）。

露出設定がマニュアル設定でなく，かつシャッタースピード（TV），絞り値（AV），ISO感度（SV）および露光補正値（EBV）が取得可能である場合（ステップ46でYES），上述した式４に基づいて，被写体輝度値CalBVの計算が可能である。この場合に，被写体輝度値CalBVの計算が可能である旨を表すデータが出力される（ステップ51）。

図５に戻って，被写体輝度値CalBVの計算が不可能である場合には，夕景確率とタングステン確率は，いずれも０．５とされる（ステップ29でNO，ステップ34）。上述したように，画像データ11に基づいて算出された夕景確信度およびタングステン確信度は，そのまま（被写体種類別確信度算出機能１において算出された確信度と同値が）出力される。

被写体輝度値CalBVの計算が可能である場合には，上述した式４に基づいて，被写体輝度値CalBVが算出される（ステップ29でYES，ステップ30）。計算によって得られた被写体輝度値CalBVに基づいて，夕景確率およびタングステン確率が算出される。計算によって得られた被写体輝度値CalBVに基づいて算出される夕景確率およびタングステン確率も，フラッシュ情報がオン情報であるか，オフ情報であるかによって異なるものとされる（ステップ31）。

図10（Ａ）は，フラッシュ情報がオン情報であるときの被写体輝度値（計算値）と夕景確率との関係を示すグラフである。図10（Ｂ）は，フラッシュ情報がオン情報であるときの被写体輝度値（計算値）とタングステン確率との関係を示すグラフである。図10（Ａ）および図10(B)に示す被写体輝度値（計算値）と夕景確率との関係も，学習処理によって得られたものである。

フラッシュ情報がオフ情報である場合，計算によって得られた被写体輝度値CalBVと夕景確率の関係は，タグ情報12中に格納されている被写体輝度値BVと夕景確率とほぼ等しく，かつ，計算によって得られた被写体輝度値CalBVとタングステン確率の関係は，タグ情報12中に格納されている被写体輝度値BVとタングステン確率との関係にほぼ等しい（学習処理を行ったところ，同じ特性が得られたものである）。このため，フラッシュ情報がオフ情報である場合には，計算によって得られた被写体輝度値CalBVがタグ情報12に格納されている被写体輝度値BVとして扱われる（ステップ31でNO，ステップ32）。図９(A)，図９(B)に示すグラフによって，夕景確率とタングステン確率が算出される（ステップ26）。

算出された夕景確率およびタングステン確率に基づいて，夕景確信度に乗算されるべき重み係数βおよびタングステン確信度に乗算されるべき重み係数γが算出され，重み係数βおよびγが用いられて夕景確信度またはタングステン確信度のいずれかが修正されるのは，上述した通りである。

（４）被写体種類「検出対象外」確信度算出機能４
被写体種類別確信度算出機能１において算出された人物顔，海中，高彩度，夜景，青空およびハイキーについての確信度と，ライティング種類別確信度算出機能２において算出された逆光および近接ストロボについての確信度と，夕景／タングステン確信度再算出機能３において修正された夕景確信度およびタングステン確信度が用いられて，被写体種類「検出対象外」についての確信度が算出される。被写体種類「検出対象外」の確信度Ｐotは，次式によって算出される。

被写体種類「検出対象外」の確信度Ｐot＝
（１−人物顔確信度）
＊（１−青空確信度＊（１−タングステン確信度）＊（１−逆光確信度））
＊（１−夕景確信度＊（１−タングステン確信度））
＊（１−夜景確信度）＊（１−タングステン確信度））
＊（１−高彩度確信度）＊（１−タングステン確信度））
＊（１−海中確信度）＊（１−タングステン確信度））
＊（１−ハイキー確信度）＊（１−タングステン確信度）＊（１−逆光確信度））
・・・式５

式５において，夕景確信度およびタングステン確信度は，夕景／タングステン確信度再算出機能３において修正された場合には，修正後の値が用いられる。

以上の処理によって得られた処理対象の画像ファイル10に含まれる画像データ11によって表される画像に対して，人物顔，海中，高彩度，夕景，夜景，青空，ハイキーおよび検出対象外についての確信度，ならびに逆光，近接ストロボおよびタングステンについての確信度が得られる。これらの確信度に基づいて，画像ファイル10に含まれる画像データ11に画像補正処理（ホワイトバランス補正，濃度補正等）が施される。上述したように，画像補正処理は被写体種類ごとおよびライティング種類ごとに設定されており，被写体種類ごとおよびライティング種類ごとに得られた確信度の大きさに基づいて，画像データ11によって表される画像に対応する補正処理が行われる（確信度が大きいほど補正効果が強められ，確信度が小さいほど補正効果が弱められる）。

このように，互いに類似する特徴を有する夕景画像およびタングステン画像については，画像データ11のみならずタグ情報12が利用されて確信度が算出される。上述したように，夕景画像であるにも関わらずにタングステン確信度として大きな値が算出された場合にはタングステン確信度が小さくされるので，タングステン画像のための補正処理の補正効果が弱められる。不適切な画像補正処理を防止する（少なくとも補正効果を弱める）ことができる。タングステン画像であるにもかかわらず夕景確信度として大きな値が算出された場合についても同様である。

図13は，夕景／タングステン確信度再算出機能３による処理（Exifタグ情報を利用した処理）を行った場合と，行わなかった場合の実験結果を示している。図13において，ハッチングで示す部分が誤検出を意味する。夕景／タングステン確信度再算出機能３によって誤検出を無くすことができた。

なお，上述した実施例では，夕景／タングステン確信度再算出機能３は，被写体種類別確信度算出機能１およびライティング種類別確信度算出機能２とともに常に動作しているが，被写体種類別確信度算出機能１によって得られた夕景確信度およびライティング種類別確信度算出機能２によって得られたタングステン確信度の少なくともいずれか一方が，所定の閾値（たとえば，０．５）以上である場合に動作させ，夕景確信度およびライティング確信度の両方が所定の閾値よりも小さい値である場合には，動作させないようにしてもよい。

画像判別装置の機能ブロック図を示す。 学習データの生成の様子を示す。 被写体種類「夕景」についての学習データの一例を示す。 撮影条件に関するタグ情報の内容を示す。 夕景／タングステン確信度再算出機能における処理の流れを示すフローチャートである。 夕景／タングステン確信度再算出機能における処理の流れを示すフローチャートである。 夕景／タングステン確信度再算出機能における処理の流れを示すフローチャートである。 （Ａ）はフラッシュ情報がオン情報であるときの被写体輝度値と夕景確率との関係を，（Ｂ）はフラッシュ情報がオン情報であるときの被写体輝度値とタングステン確率との関係を示す。 （Ａ）はフラッシュ情報がオフ情報であるときの被写体輝度値と夕景確率との関係を示す，（Ｂ）はフラッシュ情報がオフ情報であるときの被写体輝度値とタングステン確率との関係を示す。 （Ａ）はフラッシュ情報がオン情報であるときの被写体輝度値（計算値）と夕景確率との関係を，（Ｂ）はフラッシュ情報がオン情報であるときの被写体輝度値（計算値）とタングステン確率との関係を示す。 夕景確率と重み係数βとの関係を示す。 タングステン確率と重み係数γとの関係を示す。 夕景／タングステン確信度再算出機能による処理（Exifタグを利用した処理）を行った場合と，行わなかった場合の実験結果を示す。

符号の説明

１ 被写体種類別確信度算出機能
２ ライティング種類別確信度算出機能
３ タングステン確信度再算出機能
４ 被写体種類「検出対象外」確信度算出機能
10 画像ファイル
11 画像データ
12 タグ情報

Claims (7)

1. タグ情報および画像データを含む画像ファイルの入力を受ける画像ファイル受付手段，
   上記画像ファイル受付手段によって受付けられた画像ファイルに含まれる画像データに基づいて，あらかじめ定められた複数の画像分類のそれぞれについて，上記画像データによって表される画像が，どの程度の確度でそれらの画像分類に属するかを表す確信度を算出する確信度算出手段，
   上記画像ファイル受付手段によって受付けられた画像ファイルに含まれるタグ情報に基づいて，上記確信度算出手段によって算出された複数の確信度のうちの少なくとも一つの確信度についての信頼度を算出する信頼度算出手段，ならびに
   上記信頼度算出手段によって算出された信頼度が所定値よりも低い場合に，そのような信頼度が得られた確信度を減少させる確信度修正手段，
   を備えた画像識別装置。
2. 上記確信度算出手段は，
   上記画像データによって表される画像中に，あらかじめ定められた複数の被写体種類を表す画像が，それぞれどの程度の確度で含まれているかを表す被写体種類確信度を，上記画像データから得られる特徴量に基づいて，定められた被写体種類ごとに算出する被写体種類別確信度算出手段，および
   上記画像データによって表される画像が，あらかじめ定められた複数のライティング種類のそれぞれについて，どの程度の確度でそのライティング種類の下で撮影されたかを表すライティング確信度を，上記画像データから得られる特徴量に基づいて，定められたライティング種類ごとに算出するライティング種類別確信度算出手段を含む，
   請求項１に記載の画像識別装置。
3. 上記確信度修正手段は，
   上記信頼度算出手段によって算出された信頼度の大きさに応じて，上記確信度の減少の程度を変動させるものである，
   請求項１に記載の画像識別装置。
4. 上記信頼度算出手段は，
   画像特性が類似する，上記複数の被写体種類に関する画像分類のうちの一つと上記複数のライティング種類に関する画像分類のうちの一つについて，上記信頼度を算出するものである，
   請求項２に記載の画像識別装置。
5. 上記信頼度が算出される被写体種類に関する画像分類は夕景画像が属する画像分類であり，上記信頼度が算出されるライティング種類に関する画像分類は，タングステン光源下で撮影された画像が属する画像分類である，
   請求項４に記載の画像識別装置。
6. タグ情報および画像データを含む画像ファイルの入力を受け，
   受付けた画像ファイルに含まれる画像データに基づいて，あらかじめ定められた複数の画像分類のそれぞれについて，上記画像データによって表される画像が，どの程度の確度でそれらの画像分類に属するかを表す確信度を算出し，
   受付けた画像ファイルに含まれるタグ情報に基づいて，上記確信度算出手段によって算出された複数の確信度のうちの少なくとも一つの確信度についての信頼度を算出し，
   算出した信頼度が所定値よりも低い場合に，そのような信頼度が得られた確信度を減少させる，画像識別方法。
7. タグ情報および画像データを含む画像ファイルの入力を受ける画像ファイル受付処理，
   上記画像ファイル受付処理によって受付けられた画像ファイルに含まれる画像データに基づいて，あらかじめ定められた複数の画像分類のそれぞれについて，上記画像データによって表される画像が，どの程度の確度でそれらの画像分類に属するかを表す確信度を算出する確信度算出処理，
   上記画像ファイル受付処理によって受付けられた画像ファイルに含まれるタグ情報に基づいて，上記確信度算出処理によって算出された複数の確信度のうちの少なくとも一つの確信度についての信頼度を算出する信頼度算出処理，ならびに
   上記信頼度算出処理によって算出された信頼度が所定値よりも低い場合に，そのような信頼度が得られた確信度を減少させる確信度修正処理，
   をコンピュータに実行させるプログラム。

Images