JP4998794B2 - 画像補正方法と画像補正装置 - Google Patents

Description

本発明は、入力画像を適正画像に補正曲線を用いて補正する画像補正技術に関する。

入力画像を適正画像に補正する代表的な分野である写真プリント出力の分野では、写真フィルムに形成された撮影画像をフィルムスキャナを用いてデジタル化して得られた撮影画像（データ）や、デジタルカメラなどのデジタル撮影機器によって直接撮影画像をデジタル化して得られた撮影画像（データ）に濃度補正や色補正などの画像補正を施した後これをプリントデータに変換し、このプリントデータに基づいて写真プリントユニットを駆動して、撮影画像を感光材料（印画紙）に光ビームで焼き付けたり、プリント用紙にカラーインクで形成したりするデジタル写真処理技術が主流である。種々の写真撮影状況下において適正な撮影画像を得るためには、シャッタースピードや絞りの設定、天候、光源の種類などの撮影条件を適切に設定する必要があるが、撮影者はこれらの撮影条件をあまり意識せずに撮影しているのが実情であり、このため、被写体の色調や明暗（コントラスト）の再現性が適正に得られていない不適正な撮影画像が写真プリント装置に入力されることが少なくない。取得した入力撮影画像を適正な出力撮影画像、例えば写真プリントとして再現するために用いられる画像補正の主なものは、色補正、濃度補正、コントラスト補正であり、これらの補正を正しく調整して組み合わせた画像補正が必要となる。写真プリント分野においてよく用いられている補正では、経験的及び実験的に知られている入力撮影画像とこれに基づいて出力される写真プリントの画像との関係から作成された基本補正曲線（ガンマ曲線とも呼ばれる）に対して、入力撮影画像毎の画像特性に応じて、その基本補正曲線の部分的な形状や全体の傾きを調整して最終的な補正曲線を作成し、この最終的な補正曲線に基づいて入力撮影画像の補正が行われている。しかしながら、この基本補正曲線の調整が人為的に行われる場合には熟練と手間がかかり、自動的に行われる場合には仕上がり品質が不十分という問題がある。

最近では、画像補正にニューラルネットワーク技術が応用されており、例えば、選択された代表色のＲＧＢ信号を入力データとして使用するととともに、出力装置（プリンタ）にて出力された上記の代表色の複製画像を再び入力装置（スキャナ）にて読み取ったＲＧＢ信号を教師データとして使用することによってニューラルネットワークを構築し、入力画像の各画素値を入力層に入力することにより、中間層を介して、出力層からプリンタのインク量を出力させ、これにより良好な複製画像を得ようとする画像処理装置がある（例えば、特許文献１参照）。さらには、画像信号を入力データとし画像補正量を教師値として予め学習させたニューラルネットワークを備え、このニューラルネットワークに画像信号を入力することで得られる画像補正量を用いて画像信号を補正して安定した出力画像を得る画像形成装置も知られている（例えば、特許文献２参照）。しかしながら、ニューラルネットワークを用いた画像補正は、コンピュータを用いた統計的経験則によって決定された結果を出力するので、ニューラルネットワークの構築時に用いられたサンプル画像に類似しないような画像が入力された場合、イレギュラーな補正結果を出力してしまう可能性がある。特に、この補正技術を写真プリント分野に適用する場合には、写真プリントにとって最も重要な人物の顔がイレギュラーな調子になると、商品価値を失ってしまう。

特開平０９−１６８０９５号公報（段落番号００５０−００５７、００６６、図４） 特開平０９−０１８７１６号公報（段落番号００３９−００４０、図１）

上記実状に鑑み、本発明の課題はニューラルネットワークに代表される統計的学習則を用いて出力される補正曲線を用いて、入力画像を適正画像に補正する画像補正技術において、入力画像の画像特性にかかわらず、その入力画像に人物の顔が含まれている場合、その顔領域の補正が満足できるものであるとともに、顔以外の領域との調和も維持できる画像補正技術を提供することである。

入力画像を適正画像に補正曲線を用いて補正する画像補正方法において、上記課題を解決するため、本発明の方法は、用意された多数のサンプル画像から元画像として順次選択された画像の画像特徴量を入力値とするとともに前記元画像から適正画像を作り出す参照補正曲線を教師値として学習させた統計的学習則部を構築するステップと、前記サンプル画像から顔領域が検出される顔付きサンプル画像と当該顔付きサンプル画像に対応する顔付き適正画像とを抽出するステップと、前記顔付きサンプル画像における顔領域の基準濃度値と前記顔付き適正画像における顔領域の基準濃度値とから回帰式を算定するステップと、前記入力画像から画像特徴量群を求めるステップと、前記入力画像の画像特徴量群を前記統計的学習則部に入力することで前記統計的学習則部から出力される出力値に基づいて基準補正曲線を作成するステップと、前記入力画像から検出された顔領域の基準濃度値を入力濃度値として算出するステップと、前記回帰式を用いて前記入力濃度値から導出される出力濃度値を決定するステップと、前記入力濃度値と前記出力濃度値の関係が成立するように前記基準補正曲線を調整することで実行補正曲線を生成するステップと、前記実行補正曲線で前記入力画像を画像補正するステップとからなる。

上記方法では、予め、多数のサンプル画像とこのサンプル画像を適正に補正した適正画像とから、統計的学習則部を構築するとともに、顔検出されたサンプル画像の顔領域の基準濃度値と対応する適正画像の顔領域の基準濃度値とを回帰分析した回帰式を算定しておく。実際に補正すべき画像が入力されると、この入力画像の画像特徴量群を統計的学習則部に入力することで基本濃度曲線が出力されるが、入力画像に顔が含まれており、その顔領域が検出された場合には、その顔領域に含まれる画素濃度値の基準となる基準濃度値と、この基準濃度値を入力濃度値として上記回帰式から求められる出力濃度値との関係が成立するように基本濃度曲線が調整される。このように調整された基本濃度曲線を用いて入力画像が補正されることにより、入力画像の全領域の中でも顔領域に重きをおいた適正化がなされるとともに、入力画像全体においても基本濃度曲線の形状で補正されることから調和の取れた補正が実現する。

写真プリント業界などで取り扱われる画像はカラー画像である。従って、本発明の好適な実施形態では、補正曲線と回帰式とはＲ濃度値、Ｇ濃度値、Ｂ濃度値、Ｒ・Ｇ・Ｂ濃度値から算出される輝度値毎に作成される。これにより、より極めの細かい補正が可能となる。もちろん、Ｒ・Ｇ・Ｂ濃度値（Ｃ・Ｍ・Ｙ濃度値も同義である）毎に補正曲線を作成せずに、Ｒ・Ｇ・Ｂ濃度値から算出される輝度値（例えば、（Ｒ濃度値＋Ｇ濃度値＋Ｂ濃度値）／３）で得られる）だけから補正曲線と回帰式を作成してもよいし、Ｒ・Ｇ・Ｂ濃度値毎の補正曲線及び輝度値の補正曲線と回帰式を作成してもよい。

顔領域の基準濃度値として、顔領域の平均濃度値を採用することが好適である。実験的な考察により、平均濃度値が顔領域の画像特性を精度良く簡単に表す値であるとの知見を得ている。また、一般的な顔入りのサンプル画像とその適正画像を回帰分析するとその相関関係は高い信頼度で線形となることも確かめられたので、回帰式として回帰直線を採用することも好適である。

入力画像を適正画像に補正曲線を用いて補正する画像補正装置において、上記課題を解決するため、本発明による装置は、用意された多数のサンプル画像から元画像として順次選択された画像の画像特徴量を入力値とするとともに前記元画像から適正画像を作り出す参照補正曲線を教師値として学習させて構築した統計的学習則部と、前記サンプル画像から抽出された顔領域が検出される顔付きサンプル画像と当該顔付きサンプル画像に対応する顔付き適正画像とにおける顔領域の基準濃度値から算定された回帰式を格納する回帰式テーブルと、前記入力画像から画像特徴量群を求める画像特徴量演算部と、前記入力画像の画像特徴量群を前記統計的学習則部に入力することで前記統計的学習則部から出力される出力値に基づいて基準補正曲線を作成する基準補正曲線生成部と、前記入力画像から検出された顔領域の基準濃度値を入力濃度値として算出する第１前処理部と、前記回帰式テーブルを用いて前記入力濃度値から導出される出力濃度値を決定する第２前処理部と、前記入力濃度値と前記出力濃度値の関係が成立するように前記基準補正曲線を調整することで実行補正曲線を生成する補正曲線調整部と、前記実行補正曲線で前記入力画像を画像補正する画像補正部と、からなる。当然ながら、この画像補正装置も上記画像補正方法で述べたすべての作用効果を得ることができ、さらに上述した付加的技術を組み込むことも可能である。

画像処理の分野で用いられる統計的学習則としては、共役勾配法、遺伝的アルゴリズム、ニューラルネットワークなどが挙げられるが、ハードウエア又はソフトウエアのモジュール化が進んでおり、扱いやすいこと、及び１万を超えるような多数のサンプル数から作成された教師値を用いて学習させることも容易であることを考慮すると、ニューラルネットワークが好都合である。そのため、本発明による画像補正方法や画像補正装置において、統計的学習則部としてニューラルネットワーク部を採用することが好ましい。

また、本発明は、上述した補正曲線を用いた画像補正方法をコンピュータによって実行させるための画像補正プログラムも権利範囲としている。本発明によるその他の特徴及び利点は、以下図面を用いた実施形態の説明により明らかになるだろう。

以下、本発明の実施形態を図面に基づいて説明するが、まず、本発明による補正技術の重要な構成要素となる、補正すべき画像から得られる画像特徴量群に基づいて基準補正曲線（より詳しくは補正曲線を規定する係数）を生成する統計的学習則部の一例としてニューラルネットワーク部の構築原理を述べる。

まずは、図１に模式的に示されているように、種々の撮影条件で取得された画像をサンプル画像として多数用意し、これらのサンプル撮影画像を元画像とし、モニタでの表示やテストプリントを通じて適正画像となるようにマニュアルで画像補正を行う（＃０１）。次に、元画像とマニュアル画像補正によって得られた適正画像との画素値を比較評価して、元画像の画素値と適正画像の画素値との対応関係を規定する画像補正量、結果的にはこの画像補正量によって規定されるマニュアル補正曲線を生成する（＃０２）。

次に、元画像となっているサンプル画像から画像特徴量が算出される（＃０３）。画像特徴量としては、当該サンプル画像から生成された濃度ヒストグラムから求められる領域非依存画像特徴量や、該サンプル画像から区分けされた領域群における領域依存特徴量を採用することができる。領域依存特徴量は、画像の部分域における平均濃度値、最大濃度値、最小濃度値といった特徴量であり、領域非依存特徴群としては、画像全域における平均濃度値、最大濃度値、最小濃度値、濃度階調値部分領域毎の積算頻度値などである。

ステップ＃０２で得られた各濃度領域の補正曲線を規定する係数と、ステップ＃０３で得られた画像特徴量群は、ニューラルネットワーク部を構築するための学習データとして利用されるため、ステップ＃０１からステップ＃０３までの作業は準備された全てのサンプル画像に対して実施される。そして、画像特徴量群を入力データとするとともにそれぞれの濃度領域の補正曲線を規定する係数が出力値となるように各ニューラルネットワークの内部変数を調整する反復シミュレーションを数千回以上行い、ニューラルネットワーク部を構築する（＃０４）。

また、前記サンプル画像から顔領域が検出される顔付きサンプル画像と当該顔付きサンプル画像に対応する顔付き適正画像とが抽出される（＃０５）。この顔領域の検出には、公知の顔検出ユニットが用いられ、自動的に行われる。次いで、顔付きサンプル画像における顔領域の基準濃度値と、前記顔付き適正画像における顔領域の基準濃度値が算出される（＃０６）。この基準濃度値として、顔領域における平均濃度値、中間値濃度値、最頻濃度値などを利用することができるが、平均濃度値が好適であることが、実験的に確かめられている。さらに、前記顔付きサンプル画像における顔領域の基準濃度値（平均濃度値）を説明変数、前記顔付き適正画像における顔領域の基準濃度値（平均濃度値）を目的変数として回帰分析を行い、回帰式、好ましくは、図２で示されているような、回帰直線を算定する（＃０７）。

このようにして構築された、ニューラルネットワーク部を用いて、補正すべき入力画像を適正画像に補正することができる。この画像補正の原理が図３に模式的に示されている。まず、補正目的で入力された画像から、あるいは必要に応じて所定サイズまでの縮小処理を施して生成された補正演算用画像（入力画像の一種）から画像特徴量群（領域非依存画像特徴量群又は領域依存画像特徴量群あるいはその両方）を算出する（＃１１）。このようにして得られた、入力画像に基づく画像特徴量群を、ニューラルネットワーク部に入力する（＃１２）。この結果、ニューラルネットワーク部から出力される補正曲線を規定する係数から基本補正曲線が作成される（＃１３）。

次に、入力画像に対して顔領域検出を行い（＃１４）、検出された顔領域の濃度基準値、例えば平均濃度値が算出される（＃１５）。算出された平均濃度値を説明変数値（入力濃度値）として前もって算定されている回帰直線に基づいて、図４に示すように、その目的変数値（出力濃度値）を求める（＃１６）。図４の例では、入力濃度値を「１５６」、出力濃度値を「１６０」としておく。この求められた入力濃度値と出力濃度値の関係が基本補正曲線を調整するための調整量として用いられる。つまり、図５で、例示しているように、入力濃度値「１５６」に対して出力濃度値「１６０」が導かれるように基本補正曲線をシフトさせることで、基本補正曲線の顔領域を重視した調整を行う（＃１７）。このようにして調整された基本補正曲線が実行補正曲線として設定され（＃１８）、この実行補正曲線を用いて入力画像の画像補正が実施される（＃１９）。さらに、この補正画像からプリントデータを生成し、このプリントデータをプリント部に転送することにより、画像プリントが出力される（＃２０）。入力画像から顔領域が検出されない場合は、基本補正曲線をそのまま実行補正曲線として設定することになる。

写真プリント処理などで取り扱われる画像のデータは、主色成分である赤、青、緑の画素値であるＲ・Ｂ・Ｇ濃度値で表されるカラー画像である。従って、上述したサンプル画像や入力画像は、Ｒ・Ｂ・Ｇ濃度値からなるカラー画像として取り扱われ、Ｒ・Ｂ・Ｇ毎に画像特徴群が求められ、Ｒ・Ｂ・Ｇ毎の基本補正曲線が生成される。従って、回帰直線もＲ・Ｂ・Ｇ毎に算定される。さらに、例えば、各Ｒ・Ｂ・Ｇ濃度値を加算して３で割ることにより得られる輝度値に基づいて、回帰直線を算定し、画像特徴群を求めて基本補正曲線を生成することも可能である。輝度値に基づく画像補正では、最終的に得られた補正輝度値から、Ｒ・Ｂ・Ｇ成分割合から、再びＲ・Ｂ・Ｇ濃度値に戻すとよい。但し、以下の説明では、色成分や輝度を分けて説明せずに、統一的に説明を行うことにする。従って、濃度値という語句には、各色の濃度値やそれから算出される輝度値が含まれていると解釈されるべきである。

次に、上述したニューラルネットワーク部の具体的な構築手順の一例を図３から図６を用いて説明する。図６にニューラルネットワーク部の模式的な構造が示されている。ニューラルネットワーク部は多数個の入力要素を有する入力層と多数個の中間要素を有する中間層と多数個の出力要素を有する出力層からなる。一般に、入力要素と中間要素と出力要素の数はその順に少なくなっている。入力要素には入力画像の画像特徴量群が入力されると、出力要素には、基本補正曲線を規定する所定個の係数が基本補正曲線として出力される。なお、この出力された係数を用いてスムーズな補正曲線を作り出すアルゴリズムには公知の近似曲線作成アルゴリズムを用いることができる。

ニューラルネットワーク部の学習時に採用されている画像特徴量群としては、領域依存画像特徴量、つまり画像領域に依存する特徴量と、領域非依存画像特徴量、つまり画像領域に依存しない特徴量とが用いられる。
領域依存画像特徴量として以下のものが挙げられる；
画像中央部（図７の（ａ）参照）の平均濃度値、画像周辺部（図７の（ａ）参照）の平均濃度値、画像上側部（図７の（ｂ）参照）の平均濃度値、画像下側部（図７の（ｂ）参照）の平均濃度値、画像左側部（図７の（ｃ）参照）の平均濃度値、画像右側部（図７の（ｃ）参照）の平均濃度値、画像中央部（図７の（ａ）参照）の最大濃度値、画像周辺部（図７の（ａ）参照）の最大濃度値、画像上側部（図７の（ｂ）参照）の最大濃度値、画像下側部（図７の（ｂ）参照）の最大濃度値、画像左側部（図７の（ｃ）参照）の最大濃度値、画像右側部（図７の（ｃ）参照）の最大濃度値、画像中央部（図７の（ａ）参照）の最小濃度値、画像周辺部（図７の（ａ）参照）の最小濃度値、画像上側部（図７の（ｂ）参照）の最小濃度値、画像下側部（図７の（ｂ）参照）の最小濃度値、画像左側部（図７の（ｃ）参照）の最小濃度値、画像右側部（図７の（ｃ）参照）の最小濃度値、上下に隣接する画素の差分値（図７の（ｄ）参照）の平均値。
領域非依存画像特徴量としては、画像全体の平均濃度値、画像全体の最大濃度値、画像全体の最小濃度値、画像全体の濃度標準偏差、画像全体の最大濃度値、画像全体の最小濃度値、各色成分に関するヒストグラムの階調値軸を２０分割した各領域（図８参照）に含まれる階調値の頻度を積算して得られる各階調領域積算頻度値が代表的なものである。

以上のような入出力形態をもつニューラルネットワーク部の構築と顔領域回帰直線算定のルーチンが図９に示されている。
まず、用意しておいたサンプル画像を読み込み（＃３０）、そのサンプル画像から前述した各画像特徴量を算出し（＃３１）、それらを画像特徴量群としてメモリに格納する（＃３２）。読み込んだサンプル画像をモニタ表示しながら熟練者によるマニュアルの画像補正を行う（＃３３）。必要に応じて補正された画像のプリント出力を行い（＃３４）、補正された画像が適正であるかどうかをチェックする（＃３５）。補正された画像が適正と判定されるまで、マニュアル補正を繰り返し、適正な補正画像が得られると、その画像補正に基づいて元画像の画素値を適正補正画像の画素値に変換する補正曲線（補正曲線を規定する係数）を作成して、メモリに格納する（＃３６）。次に、ステップ＃３０で読み込んだサンプル画像から顔領域が検出されるかどうかをチェックする（＃３７）。顔領域が検出されると（＃３７Yes分岐）、サンプル画像とその適正補正画像の顔領域に含まれる画素の平均濃度値を算出し（＃３８）、メモリに格納する（＃３９）。顔領域が検出されなければ（＃３７No分岐）、ステップ＃３８と＃３９の処理はジャンプされる。

ステップ＃３０〜ステップ＃３９までの処理が用意されている全てのサンプル画像のための実行される（＃４０Yes分岐）。全てのサンプル画像に対する処理が完了すると（＃３７No分岐）、メモリに格納されている画像特徴量群とメモリに格納されている補正曲線、正確にはマニュアル補正曲線を規定する係数が学習データとしてニューラルネットワーク部に割り当てる（＃４１）。ニューラルネットワーク部は、画像特徴量群を入力データ、マニュアル補正曲線を規定する係数を教師データとして学習し、その入出力関係（結合係数やしきい値）を確定させ、ニューラルネットワーク部を構築する（＃４２）。

次に、メモリから顔領域が検出された全てのサンプル画像の顔領域の平均濃度値と、対応する適正補正画像の顔領域に含まれる画素の平均濃度値を全て読み出し（＃４３）、顔領域検出されたサンプル画像における顔領域の基準濃度値（平均濃度値）を説明変数、顔領域検出された適正画像における顔領域の基準濃度値（平均濃度値）を目的変数として回帰分析を行い、回帰直線を算定する（＃４４）。

次に、図１と図２を用いて先に説明した画像補正技術を用いた画像補正装置を搭載し、画像として撮影画像を取り扱う写真プリント装置を説明する。図１０はその写真プリント装置を示す外観図であり、この写真プリント装置は、印画紙Ｐに対して露光処理と現像処理とを行う写真プリント部としてのプリントステーション１Ｂと、現像済み写真フィルム２ａやデジタルカメラ用メモリカード２ｂなどの画像入力メディアから取り込んだ撮影画像を処理してプリントステーション１Ｂで使用されるプリントデータの生成・転送などを行う操作ステーション１Ａとから構成されている。

この写真プリント装置はデジタルミニラボとも称せられるものであり、プリントステーション１Ｂは２つの印画紙マガジンに納めたロール状の印画紙Ｐを引き出してシートカッターでプリントサイズに切断すると共に、このように切断された印画紙Ｐに対し、プリント露光部で印画紙Ｐの表面に撮影画像の露光を行い、この露光後の印画紙Ｐを複数の現像処理槽を有した処理槽ユニット１５に送り込んで現像処理する。乾燥の後に装置上部の横送りコンベア１６からソータ１７に送られた印画紙Ｐ、つまり写真プリントＰは、このソータ１７の複数のトレイにオーダ単位で仕分けられた状態で集積される。プリント露光部には、副走査方向に搬送される印画紙Ｐに対して、主走査方向に沿って操作ステーション１Ａからのプリントデータに基づいてＲ（赤）、Ｇ（緑）、Ｂ（青）の３原色のレーザ光線の照射を行うライン露光ヘッドが設けられている。

前記操作ステーション１Ａのデスク状コンソールの上部位置には、写真フィルム２ａの撮影画像コマから撮影画像データ（以下単に撮影画像と略称する）を２０００ｄｐｉを超える解像度でもって取得することができるフィルムスキャナ２０が配置されており、デジタルカメラ等に装着される画像記録媒体２ｂとして用いられている各種半導体メモリやＣＤ−Ｒなどから撮影画像を取得するメディアリーダ２１は、この写真プリント装置のコントローラ３として機能する汎用パソコンに組み込まれている。この汎用パソコンには、さらに各種情報を表示するモニタ２３、各種設定や調整を行う際に用いる操作入力部として利用される操作入力デバイスとしてのキーボード２４やマウス２５も接続されている。

この写真プリント装置のコントローラ３は、ＣＰＵを中核部材として、写真プリント装置の種々の動作を行うための機能部をハードウエア又はソフトウエアあるいはその両方で構築しているが、図１１に示されているように、本発明に特に関係する機能部としては、フィルムスキャナ２０やメディアリーダ２１によって読み取られた撮影画像を取り込んで次の処理のために必要な前処理を行う画像入力部３１と、各種ウインドウや各種操作ボタンなどを含むグラフィック操作画面の作成やそのようなグラフィック操作画面を通じてのユーザ操作入力（キーボード２４やマウス２５などによる）から制御コマンドを生成するグラフィックユーザインターフェース（以下ＧＵＩと略称する）を構築するＧＵＩ部３３と、ＧＵＩ部３３から送られてきた制御コマンドや直接キーボード２４等から入力された操作命令に基づいて所望のプリントデータを生成するために画像入力部３１からメモリ３０に転送された撮影画像に対する画像処理等を行うプリント管理部３２と、色補正等のプレジャッジプリント作業時にプリントソース画像や予想仕上がりプリント画像としてのシミュレート画像さらにはＧＵＩ部３３から送られてきたグラフィックデータをモニタ２３に表示させるためのビデオ信号を生成するビデオ制御部３５と、画像処理が完了した処理済み撮影画像に基づいてプリントステーション１Ｂに装備されているプリント露光部１４に適したプリントデータを生成するプリントデータ生成部３６と、顧客の要望に応じて生の撮影画像や画像処理が完了した処理済み撮影画像などをＣＤ−Ｒに書き込むための形式にフォーマットするフォーマッタ部３７などが挙げられる。

画像入力部３１は、撮影画像記録媒体がフィルム２ａの場合プレスキャンモードと本スキャンモードとのスキャンデータを別々にメモリ３０に送り込み、それぞれの目的に合わせた前処理を行う。また、撮影画像記録媒体がメモリカード２ｂの場合取り込んだ撮影画像にサムネイル画像（低解像度データ）が含まれている場合はモニタ２３での一覧表示などの目的で使用するため撮影画像の本データ（高解像度データ）とは別にメモリ３０に送り込むが、もしサムネイル画像が含まれていない場合は本データから縮小画像を作り出してサムネイル画像としてメモリ３０に送り込む。

プリント管理部３２は、プリントサイズやプリント枚数などを管理するプリント注文処理ユニット４０、メモリ３０に展開された撮影画像に対して各種画像処理を施す画像処理ユニット５０を備えている。

画像処理ユニット５０には、メモリ３０に展開された撮影画像に対してマニュアルで各種画像処理などを行うためのフォトレタッチプログラムを実装している第１画像補正ユニット６０と、前述したようなニューラルネットワーク画像補正技術を用いてメモリ３０に展開された入力撮影画像に対する自動的な画像補正を行う第２画像補正ユニット７０と、入力撮影画像から顔領域を検出して、検出された顔領域の位置やサイズを出力する顔検出ユニット８０が基本的にはプログラムの形で組み込まれている。

図１２で示されているように、本発明による画像補正装置としての機能を有する第２画像補正ユニット７０には、この実施形態では、メモリ３０に展開された入力撮影画像から作り出された補正演算用撮影画像（２５６×３８４の画像）から前述した領域非依存画像特徴量と領域依存画像特徴量からなる画像特徴量を求める画像特徴量演算部７１と、図９を用いて説明された手順によって構築されたニューラルネットワーク部７２と、このニューラルネットワーク部７２に画像特徴量群を入力することによって出力された出力値に基づいて基本補正曲線を生成する基本補正曲線生成部７３と、図９を用いて説明された手順によって算定された回帰直線をテーブル化した回帰式テーブル７６と、顔検出ユニット８０から与えられる顔領域位置や顔領域サイズなどの顔検出情報に基づいて入力撮影画像の顔領域の平均濃度値を入力濃度値として算出する第１前処理部７４と、回帰式テーブル７６を用いて第１前処理部７４から与えられた入力濃度値に対応する出力濃度値を決定する第２前処理部７５と、入力濃度値と出力濃度値の関係が成立するように基準補正曲線を調整することで実行補正曲線を生成する補正曲線調整部７７と、この実行補正曲線を用いて入力撮影画像を画像補正する画像補正部７８とが備えられている。画像補正部７８は、補正曲線設定部７８ｂによって設定された実行補正曲線に基づいて入力撮影画像を画像補正する画像補正実行部７８ａを備えている。

以上のように構成された写真プリント装置における写真プリント処理を図１３のフローチャートを用いて説明する。まず、写真プリント出力を行うために入力された撮影画像を読み込み（＃５０）、その撮影画像から作り出された補正演算用画像から画像特徴量群を算出する（＃５１）。画像特徴量群をニューラルネットワーク部７２ａの入力要素に与える（＃５２）。ニューラルネットワーク部７２ａからの出力値に基づいて基本補正曲線を作成する（＃５３）。次に顔検出ユニット８０が、読み込んでいる撮影画像から顔領域が検出できるかどうかをチェックする（＃５４）。顔領域が検出されると（＃５４Yes分岐）、検出された顔領域に関する顔検出情報を第１前処理部７４に与える。第１前処理部７４は、与えられた顔検出情報に基づいて、読み込んでいる撮影画像の顔領域に含まれる画素の平均濃度値を算出する（＃５５）。第１前処理部７４は、算出された平均濃度値を入力濃度値として回帰式テーブル７６にアクセスして、出力濃度値を得る（＃５６）。この入力濃度値と出力濃度値の関係が基本補正曲線の調整量となる。図５で示すようなやり方で顔領域の特性に応じた基本補正曲線をシフトする調整を行う。調整された基本補正曲線は、画像補正部７８での実行補正曲線として設定される（＃５８）。なお、ステップ＃５４で顔領域が検出されなければ（＃５４No分岐）、基本補正曲線がそのまま実行補正曲線として設定される。続いて、画像補正実行部７６ａが設定された実行補正曲線を用いて撮影画像を画像補正し（＃５９）、この補正された撮影画像からプリントデータ生成部３６がプリントデータを生成する（＃６０）。プリントデータがプリントステーション１Ｂに転送されることによりプリント処理が行われ（＃６１）、写真プリントが出力される（＃６２）。

上述した実施形態の説明では、回帰式として線形である回帰直線を採用したが、もちろん２次式や３次式などの回帰曲線を採用してもよい。

顔領域平均濃度値に関する回帰直線に基づいて基本補正曲線を調整する際、図５の説明では、基本補正曲線を水平移動して調整していたが、基本補正曲線を垂直移動して調整してもよい。また、所定の基準点を設定し、基本補正曲線を回転させて、調整してよい。本発明で重要な点は、顔領域の平均濃度値の補正関係を回帰直線によって求めて、この関係に基づいて基本補正曲線を調整することである。

ここでは、本発明による画像補正技術が、ＤＰショップに設置されているミニラボと呼ばれている写真プリント装置に組み込まれた例を取り上げたが、コンビニやＤＰショップの店頭に設置されているセルフサービス式の写真プリント装置など、種々の写真プリント装置に組み込んでもよいし、画像処理ソフトウエアの撮影画像補正機能の１つとして、この画像処理ソフトウエアのプログラムに組み込んでもよい。

なお、上述した実施の形態では、画像プリント出力部としてのプリントステーション１Ｂは、印画紙Ｐに対し、レーザ式露光エンジンを備えたプリント露光部１４で撮影画像の露光を行い、この露光後の印画紙Ｐを現像処理する、いわゆる銀塩写真プリント方式を採用していたが、もちろん、本発明によって補正された撮影画像のプリント方式は、このような方式に限定されるわけではなく、例えば、フィルムや紙にインクを吐出して画像を形成するインクジェットプリント方式や感熱転写シートを用いた熱転写方式など、種々の写真プリント方式を含む。

本発明による画像補正技術で用いられる基本原理を説明する説明図 サンプル画像とマニュアル補正された適正画像とにおける顔領域の平均濃度値の相関関係を示す相関図とその回帰直線を示す説明図 本発明による画像補正技術で用いられる基本原理を説明する説明図 回帰直線を用いて入力濃度値に対応する出力濃度値を求める様子を説明する説明図 基本濃度曲線の調整の仕方を説明する説明図 ニューラルネットワークの構成を示す模式図 画像領域に依存する画像特徴量を説明する説明図 画像領域に依存しない画像特徴量を説明する説明図 ニューラルネットワークの構築ルーチンを示すフローチャート 本発明による画像補正技術を採用した写真プリント装置の外観図 写真プリント装置のコントローラ内に構築される機能要素を説明する機能ブロック図 本発明の画像補正技術を採用した画像補正ユニットの機能構成を示す機能ブロック図 写真プリント処理の手順を示すフローチャート

符号の説明

１Ｂ：プリントステーション（プリント部）
３１：画像入力部
３６：プリントデータ生成部
７０：第２画像補正ユニット（画像補正装置）
７１：画像特徴量算出部
７２：ニューラルネットワーク部（統計的学習則部）
７４：第１前処理部
７５：第２前処理部
７６：回帰式テーブル
７７：補正曲線調整部
７８：画像補正部
７８ａ：画像補正実行部
７８ｂ：補正曲線設定部
８０：顔検出ユニット

Claims (6)

1. 入力画像を適正画像に補正曲線を用いて補正する画像補正方法において、
   用意された多数のサンプル画像から元画像として順次選択された画像の画像特徴量を入力値とするとともに前記元画像から適正画像を作り出す参照補正曲線を教師値として学習させた統計的学習則部を構築するステップと、
   前記サンプル画像から顔領域が検出される顔付きサンプル画像と当該顔付きサンプル画像に対応する顔付き適正画像とを抽出するステップと、
   前記顔付きサンプル画像における顔領域の基準濃度値と前記顔付き適正画像における顔領域の基準濃度値とから回帰式を算定するステップと、
   前記入力画像から画像特徴量群を求めるステップと、
   前記入力画像の画像特徴量群を前記統計的学習則部に入力することで前記統計的学習則部から出力される出力値に基づいて基準補正曲線を作成するステップと、
   前記入力画像から検出された顔領域の基準濃度値を入力濃度値として算出するステップと、
   前記回帰式を用いて前記入力濃度値から導出される出力濃度値を決定するステップと、
   前記入力濃度値と前記出力濃度値の関係が成立するように前記基準補正曲線を調整することで実行補正曲線を生成するステップと、
   前記実行補正曲線で前記入力画像を画像補正するステップと、
   からなる画像補正方法。
2. 前記統計的学習則部がニューラルネットワーク部であることを特徴とする請求項１による画像補正方法。
3. 補正対象となる画像はＲ・Ｇ・Ｂ濃度値からなるカラー画像であり、前記補正曲線と前記回帰式は、Ｒ濃度値、Ｇ濃度値、Ｂ濃度値、Ｒ・Ｇ・Ｂ濃度値から算出される輝度値毎に作成されることを特徴とする請求項１又は２に記載の画像補正方法。
4. 前記基準濃度値は顔領域の平均濃度値であることを特徴とする請求項１から３のいずれか一項に記載の画像補正方法。
5. 前記回帰式が回帰直線であることを特徴とする請求項１から４のいずれか一項に記載の画像補正方法。
6. 入力画像を適正画像に補正曲線を用いて補正する画像補正装置において、
   用意された多数のサンプル画像から元画像として順次選択された画像の画像特徴量を入力値とするとともに前記元画像から適正画像を作り出す参照補正曲線を教師値として学習させて構築した統計的学習則部と、
   前記サンプル画像から抽出された顔領域が検出される顔付きサンプル画像と当該顔付きサンプル画像に対応する顔付き適正画像とにおける顔領域の基準濃度値から算定された回帰式を格納する回帰式テーブルと、
   前記入力画像から画像特徴量群を求める画像特徴量演算部と、
   前記入力画像の画像特徴量群を前記統計的学習則部に入力することで前記統計的学習則部から出力される出力値に基づいて基準補正曲線を作成する基準補正曲線生成部と、
   前記入力画像から検出された顔領域の基準濃度値を入力濃度値として算出する第１前処理部と、
   前記回帰式テーブルを用いて前記入力濃度値から導出される出力濃度値を決定する第２前処理部と、
   前記入力濃度値と前記出力濃度値の関係が成立するように前記基準補正曲線を調整することで実行補正曲線を生成する補正曲線調整部と、
   前記実行補正曲線で前記入力画像を画像補正する画像補正部と、
   からなる画像補正装置。

Images