JP4265986B2 - 画像処理方法および装置並びにプログラム - Google Patents

Description

本発明は、動画像の画質を補正する画像処理方法および装置並びにそのためのプログラムに関するものである。

デジタル画像がより綺麗に見えるように、元画像に対して画質を補正することが広く行われている。これらの画質補正の例として、ホワイトバランス補正、露光補正、彩度補正、コントラスト補正、シャープネス補正、色補正などを挙げることができる。静止画像を補正する方法としては、静止画像から特徴量を抽出し、抽出された特徴量に基づいて補正値を求め、この補正値を用いて元画像を補正することが知られている。静止画像から抽出される特徴量としては、ホワイトバランス、彩度などの補正内容に応じて、例えば元画像の平均輝度値、元画像内の暗い領域内の平均輝度値、元画像における主要被写体（人物の顔など）の平均輝度値、元画像内の高彩度領域内の平均彩度値、元画像内の明るい領域におけるＲＧＢの平均階調値、および元画像内の色相ヒストグラムなどが用いられる。

上述した静止画像の画質補正方法は動画像の画質補正に適用することができる。具体的には、動画像を構成する各フレーム（以下フレーム画像という）を静止画像と見なし、各フレーム画像から特徴量を抽出し、この特徴量に基づいて各フレーム画像の補正値を求めて各々のフレーム画像を補正することによって、動画像を補正することが考えられる。

しかし、動画像のフレーム画像は時間方向において変化するものであり、その特徴量も変動するので、静止画像の補正方法を動画像のフレーム画像毎に施すと、補正後のフレーム画像から構成される動画像（補正済み動画像）にちらつきが生じてしまうという問題がある。この問題を解決するために、特許文献１には、動画像のフレーム画像の補正値推移を平滑化する方法が提案されている。具体的には、動画像のフレーム画像から求められた補正値に対して、現フレーム画像の補正値と、現フレーム画像の前のフレーム画像の補正値の差を所定の閾値以内に限定して目的補正値を得ることによって、補正済み動画像に生じるちらつきの抑制を図る方法が提案されている。また、現フレーム画像の補正値と、現フレーム画像の前および／または後のフレーム画像の補正値との平均（移動平均）を取って得た値を現フレーム画像の目的補正値とする方法も考えられる。

一方、動画像には例えば屋内の場面と屋外の場面があるように、複数の異なる場面があり、これらの異なる場面の夫々のフレーム画像は互いに関係ないものである。そのため、補正済み動画像のちらつきを解消するためにフレーム画像の補正値の推移を抑制すると、場面の切替わりを示すカット点（１つの場面の最初および最後のフレーム画像）となるフレーム画像の目的補正値が、このフレーム画像の場面と異なる場面のフレーム画像の補正値に影響されてしまうという問題がある。例えば場面１の最後のフレーム画像が、場面１の直後の場面（場面２）の最初のフレーム画像とは、時間方向において隣接するフレーム画像同士でありながら、互いには関係ないものであるにも関わらず、補正済み動画像のちらつきを解消するために例えばフレーム画像の補正値の移動平均を取ることによって目的補正値を求めると、場面１の最後のフレーム画像の目的補正値が、このフレーム画像およびその前後のフレーム画像（場面２の最初のフレーム画像を含む）から求められた補正値の平均値となり、場面１の最後のフレーム画像の目的補正値が適切ではなくなる。この問題を解決するために、特許文献１には、動画像における場面の切替わりを示すカット点を検出し、フレーム画像の補正値の推移を平滑化してフレーム画像の目的補正値を求める際に、注目するフレーム画像と異なる場面のフレーム画像の補正値を用いないようにする方法が提案されている。
特開２００２−２６２３０３号公報

しかしながら、動画像においては、同じ場面内において、フレーム画像が急激に変化する場合がある。例えば、図１３に示すように、高速度で移動する被写体の人物をアップで撮像して得た３つのフレーム画像Ａ、Ｂ、Ｃは同じ場面のフレーム画像でありながら、その画像の内容かなり異なる。特許文献１提案の方法は、カット点となるフレーム画像の適切な目的補正値を求めることができるが、図１３に示すフレーム画像Ｂのようなフレーム画像に対して目的補正値を求める際に、フレーム画像Ｂをカット点であると判定し、フレーム画像Ｂから求められた補正値をフレーム画像Ｂの目的補正値とするようにすれば、フレーム画像Ｂとフレーム画像Ａ、Ｃ間の目的補正値が平滑化されていないため、補正済み動画像の同じ場面におけるちらつきが生じてしまう。一方、フレーム画像Ｂをカット点ではないと判定し、フレーム画像Ａ、Ｂ、Ｃの補正値の平均値をフレーム画像Ｂの目的補正値とするようにすれば、フレーム画像Ｂとフレーム画像Ａ、Ｃ間の差異が反映されず、画質が良くない。

本発明は、上記事情に鑑み、補正済み動画像のちらつきを解消すると共に、場面の切替わりを示すカット点となるフレーム画像に限らず、同じ場面において、時間方向における変動が大きいフレーム画像に対しても適切な補正を行うことができる画像処理方法および装置並びにそのためのプログラムを提供することを目的とするものである。

本発明の第１の画像処理方法は、動画像を構成する複数のフレーム画像の各フレーム画像毎に該フレーム画像の画質を補正するための仮補正値を求め、
時間方向において各前記仮補正値が平滑に変化するように各前記仮補正値を調整して得た値を前記フレーム画像の目的補正値として求める画像処理方法において、
前記フレーム画像が、前記動画像における場面の切替わりを示すカット点である確率の大きさを示すカット点らしさを各前記フレーム画像に対して求め、
前記フレーム画像の前記カット点らしさの大きさに応じて、該フレーム画像の前記仮補正値に対する前記調整の程度を調節して前記目的補正値を求めることを特徴とするものである。

ここで、フレーム画像の仮補正値とは、注目するフレーム画像から求められたこのフレーム画像の画質を補正するための補正値を意味する。

また、時間方向において仮補正値が平滑に変換するように仮補正値を調整することとは、仮補正値の推移を抑制することを意味し、具体的には、注目するフレーム画像の仮補正値と、このフレーム画像の前および／または後のフレーム画像の仮補正値とに対して平均を取って得た値を注目するフレーム画像の目的補正値としたり、連続する複数のフレーム画像の仮補正値に対してローパスフィルタを適用して得た値をこの複数のフレーム画像の夫々の目的補正値としたり、連続する複数のフレーム画像の仮補正値に対して補間処理を施して得た値をこの複数のフレーム画像の夫々の目的補正値としたりするなどの方法を用いることができる。なお、ローパスフィルタを適用する処理や、補間処理などは、仮補正値の変化を平滑化するためのものであるので、フィルタとしては高次なローパスフィルタ、補間方法としてはスプライン補間法を用いることが好ましい。

また、仮補正値の調整は、上述したように種々の方法が考えられるが、結果としては注目するフレーム画像の仮補正値と、その前および／または後のフレーム画像の仮補正値との差を抑制することになるので、１つのフレーム画像の仮補正値がその前および／または後のフレーム画像の仮補正値に影響されることになる。そのため、フレーム画像の仮補正値を調整する程度は、注目するフレーム画像の目的補正値が、その前および／または後のフレーム画像の仮補正値に影響される程度と同じことを意味する。すなわち、本発明の第１の画像処理方法は、フレーム画像の目的補正値を求める際に、該フレーム画像のカット点らしさの大きさに応じて、その前および／または後のフレーム画像の仮補正値の影響の程度を調整するものである。

また、「カット点らしさ」は、注目するフレーム画像が動画像における場面の切替わりを示すカット点である確率の大きさを示すものであり、カット点とは、動画像における１つの場面の最後および最初のフレーム画像とすることができ、カット点のフレーム画像のカット点らしさは最大の値を有することに対して、図１３に示すような、同じ場面における画像の変化が大きいフレーム画像のカット点らしさは、この最大値より小さくなる場合が多い。

カット点らしさは、フレーム画像の特徴量が時間方向における変動の大きさおよび／または態様と関係するものであり、フレーム画像の特徴量の変動に基づいて各フレーム画像のカット点らしさを求めることができる。例えば、注目するフレーム画像の特徴量と、その前または直後のフレーム画像の特徴量との差が所定の第１の閾値以上である場合、注目するフレーム画像のカット点らしさを最大の１とし、注目するフレーム画像の特徴量と、その直前または直後のフレーム画像の特徴量との差が所定の第２の閾値（第２の閾値＜第１の閾値）以下である場合、注目するフレーム画像のカット点らしさを最小の０とし、注目するフレーム画像の特徴量と、その直前または直後のフレーム画像の特徴量との差が第１の閾値と第２の閾値との間にある場合、注目するフレーム画像のカット点らしさを０と１の間にするように求めることができる。また、フレーム画像の特徴量間の差を基準にすることに限らず、例えば、注目するフレーム画像の特徴量と、その前および／または後の複数のフレーム画像の特徴量の平均値との差を基準にしてカット点らしさを求めるようにしてもよい。

また、カット点らしさを求める際に使用する特徴量は、フレーム画像全体、または高画素値領域と低画素値領域を除いた領域内の平均画素値などを用いてもよいが、フレーム画像の画素値のヒストグラムの形状を用いることが好ましい。これは、カット点となるフレーム画像の画素値のヒストグラムの形状が、その前または後のフレーム画像の画素値のヒストグラムの形状と大きく異なることに対して、例えば図１３に示すような場面におけるフレーム画像の画素値のヒストグラムの形状が、画像全体に占める被写体の割合に応じて変化し、カット点ほど変化しない特性があるように、フレーム画像の画素値のヒストグラムの形状の変動態様が、直接フレーム画像のカット点らしさを反映することができるからである。また、ヒストグラムの形状の差としては、相関が大きいほど差が小さいようにヒストグラムの形状間の相関を用いることができる。

なお、以上のカット点らしさおよびカット点らしさを求めることに関する説明は、本発明の全ての画像処理方法および装置並びにプログラムに適用することができるため、以下の説明において、カット点らしさおよびカット点らしさを求めることに関しては詳細な説明を省略する。

本発明の第１の画像処理方法は、前記目的補正値を求める際に、前記カット点らしさが大きいフレーム画像ほど、前記調整の程度を弱くするように、すなわち該フレーム画像の前および／または後のフレーム画像の影響を弱くするように調節することが好ましい。

本発明の第２の画像処理方法は、動画像を構成する複数のフレーム画像の各フレーム画像毎に該フレーム画像の特徴量を算出し、
各前記フレーム画像を夫々補正して得られる各補正済みフレーム画像の特徴量が時間方向において所定の平滑程度で平滑に変化するように前記フレーム画像の特徴量の目標値を求める目標特徴量算出処理を各前記フレーム画像に対して行い、
前記フレーム画像の特徴量が該フレーム画像の前記目標特徴量と略等しくなるように前記各フレーム画像毎に目的補正値を求める画像処理方法において、
前記フレーム画像が、前記動画像における場面の切替わりを示すカット点である確率の大きさを示すカット点らしさを各前記フレーム画像に対して求め、
前記フレーム画像の前記カット点らしさの大きさに応じて、該フレーム画像の前記目標特徴量を求める際の前記平滑程度を調節して前記目標特徴量を求めることを特徴とするものである。

ここで、前記カット点らしさが大きいフレーム画像ほど、前記平滑程度を弱くするように調節することが好ましい。

前述したように、動画像の画質を補正する際に、該動画像を構成する各フレーム画像を静止画像として見なし、フレーム画像毎にその特徴量を抽出し、抽出された特徴量に基づいて求められた補正値で該フレーム画像を補正するだけでは、補正後の動画像のちらつきが生じてしまう問題がある。本発明の第２の画像処理方法において、この問題を解消するために、各補正済みフレーム画像の特徴量が時間方向において所定の平滑程度で平滑に変化するように前記フレーム画像の特徴量の目標値を求める目標特徴量算出処理を各前記フレーム画像に対して求め、フレーム画像の特徴量が該フレーム画像の目標特徴量になるように各フレーム画像の目的補正値を求めるものである。さらに、注目するフレーム画像の前記カット点らしさの大きさに応じて、該フレーム画像の前記目標特徴量を求める際の前記平滑程度を調節する。

ここで、平滑程度の調節方法は、目標特徴量を算出する方法によって異なるものである。例えば、本発明の第２の画像処理方法において、前記目標特徴量算出処理は、前記各フレーム画像から該フレーム画像の画質を補正するための仮補正値を求め、
該仮補正値を用いて前記各フレーム画像を補正して得られる仮補正済みフレーム画像の特徴量を算出し、
時間方向において各前記仮補正済みフレーム画像の特徴量が平滑に変化するように各前記仮補正済みフレーム画像の特徴量を調整して得た値を、前記仮補正済みフレーム画像が対応する前記フレーム画像の前記目標特徴量として求める処理とすることができる。この場合、前記フレーム画像のカット点らしさの大きさに応じて、該フレーム画像の前記目標特徴量を求める際に行う前記調整の程度を調節することによって該フレーム画像の前および／または後のフレーム画像の影響の程度を調節すればよく、望ましくは、カット点らしさが大きいフレーム画像ほど、その仮補正済みフレーム画像の特徴量に対する調整の程度を弱くするように調節する。この場合、前記調整の程度は前記平滑程度に相当するものである。

ここで、時間方向において仮補正済みフレーム画像の特徴量が平滑に変化するように仮補正済みフレーム画像の特徴量を調整することとは、補正済みフレーム画像の特徴量推移を抑制することを意味し、具体的には、例えば、注目する仮補正済みフレーム画像の特徴量と、この仮補正済みフレーム画像の前および／または後の仮補正済みフレームの特徴量とに対して平均（重み付け平均を含む）を取って得た値を注目する仮補正済みフレーム画像の目標特徴量としたり、連続する複数の仮補正済みフレーム画像の特徴量に対してローパスフィルタを適用して得た値をこの複数の仮補正済みフレーム画像の夫々の目標特徴量としたり、連続する複数の仮補正済みフレーム画像の特徴量に対して補間処理を施して得た値をこの複数の仮補正済みフレーム画像の夫々の目標特徴量としたりするなどの方法を用いることができる。なお、ローパスフィルタを適用する処理や、補間処理などは、仮補正済みフレーム画像の特徴量の変化を平滑化するためのものであるので、フィルタとしては高次なローパスフィルタ、補間方法としてはスプライン補間法を用いることが好ましい。そこで、例えば、注目する仮補正済みフレーム画像の特徴量と、その前および／または後の仮補正済みフレーム画像の特徴量との重み付け平均を取って得た値を注目する仮補正済みフレーム画像が対応するフレーム画像の目標特徴量とする場合、該フレーム画像のカット点らしさが大きいほど、注目する仮補正済みフレーム画像の特徴量の重みを大きく（すなわち前および／または後の仮補正済みフレーム画像の特徴量の重みを小さく）して重み付け平均すればよい。この場合の平滑化程度は、前記前および／または後の仮補正済みフレーム画像の特徴量の重みに相当する。

また、例えば、注目するフレーム画像およびその前および／または後のフレーム画像から代表フレーム画像（注目するフレーム画像であるとは限らない）を選出し、この代表フレーム画像の対応する仮補正済みフレーム画像の特徴量と、注目するフレーム画像の仮補正済みフレーム画像の特徴量とを重み付け平均することによって平滑化を行う場合、該フレーム画像のカット点らしさが大きいほど、注目するフレーム画像の仮補正済みフレーム画像の特徴量の重みを大きく（すなわち代表フレーム画像の仮補正済みフレーム画像の特徴量の重みを小さく）して重み付け平均すればよい。この場合の平滑化程度は、代表フレーム画像の仮補正済みフレーム画像の特徴量の重みに相当する。なお、この場合、画質向上を図るように、最も明るいフレーム画像や、仮補正値が最も小さいフレーム画像などを代表フレーム画像として選出することが好ましい。

また、目標特徴量の調整は、上述したように種々の方法が考えられるが、結果としては注目するフレーム画像の目標特徴量と、その前および／または後のフレーム画像の目標特注量との差を抑制することになるので、１つのフレーム画像の目標特徴量がその前および／または後のフレーム画像に対応する仮補正済みフレーム画像の特徴量に影響されることになる。そのため、仮補正済みフレーム画像の特徴量を調整する程度は、注目するフレーム画像の目標特徴量が、その前および／または後のフレーム画像（前述した代表フレーム画像の仮補正済みフレーム画像の特徴量を用いて目標特徴量を求める場合には、代表フレーム画像）に対応する仮補正済みフレーム画像の特徴量に影響される程度と同じことを意味する。

また、本発明の第２の画像処理方法において、前記目標特徴量算出処理は、前記各フレーム画像から該フレーム画像の画質を補正するための仮補正値を求め、
該仮補正値を用いて前記各フレーム画像を補正して得られる仮補正済みフレーム画像の特徴量を算出し、
時間方向において各前記仮補正済みフレーム画像の特徴量が平滑に変化するように各前記仮補正済みフレーム画像の特徴量を調整して得た値を、前記仮補正済みフレーム画像が対応する前記フレーム画像の仮目標特徴量として求め、
前記仮補正済みフレーム画像の特徴量と該フレーム画像の前記仮目標特徴量とを重み付け加算して得た値を前記フレーム画像の目標特徴量として求める処理とすることができる。この場合、前記フレーム画像のカット点らしさの大きさに応じて、該フレーム画像の前記目標特徴量を求める際に用いられる前記仮目標特徴量の重みを調節することによって該フレーム画像の前および／または後のフレーム画像の影響の程度を調節すればよく、望ましくは、カット点らしさが大きいフレーム画像ほど、その仮目標特徴量の重みを小さくするように調節する。

ここで、「仮目標特徴量の重みを調節する」ことは、仮補正済みフレーム画像の特徴量とフレーム画像の仮目標特徴量とを重み付け加算する際の仮目標特徴量の重みを調節することであるため、仮目標特徴量の重みを調節すれば、必然的に特徴量の重みも調節されることとなる。逆に特徴量の重みを調節することも、仮目標特徴量の重みを調節することとなる。なお、この場合の仮目標特徴量の重みは、本発明における平滑程度に相当する。

本発明の第２の画像処理方法は、動画像を構成する各フレーム画像に対して目標特徴量を求め、フレーム画像の特徴量がこの目標特徴量になるように各フレーム画像の目的補正値を求めるものであるが、全てのフレーム画像に対して、同じ方法で前記目標特徴量を求める処理を行うようにしてもよいが、処理時間を節約するために、動画像を構成する各フレーム画像から選択された参照フレーム画像に対してのみ目標特徴量を求め、求められた参照フレーム画像の目標特徴量を補間することによって各フレーム画像の目標特徴量を求めるようにしてもよい。

本発明の画像処理方法において、前記動画像を構成するフレーム画像の縮小画像を用いて前記目的補正値を求めるまでの処理を行うことが好ましい。

本発明の画像処理方法は、前記目的補正値を用いて該目的補正値が対応する前記フレーム画像を補正する処理まで行ってもよい。

本発明の第１の画像処理装置は、動画像を構成する複数のフレーム画像の各フレーム画像毎に該フレーム画像の画質を補正するための仮補正値を求める仮補正値算出手段と、
時間方向において各前記仮補正値が平滑に変化するように各前記仮補正値を調整して得た値を前記フレーム画像の目的補正値として求める目的補正値算出手段とを有する画像処理装置において、
前記フレーム画像が、前記動画像における場面の切替わりを示すカット点である確率の大きさを示すカット点らしさを各前記フレーム画像に対して求めるカット点らしさ算出手段をさらに備え、
前記目的補正値算出手段が、前記フレーム画像の前記カット点らしさの大きさに応じて、該フレーム画像の前記仮補正値に対する前記調整の程度を調節して前記目的補正値を求めることを特徴とするものである。

前記目的補正値算出手段は、前記カット点らしさが大きいフレーム画像ほど、前記調整の程度を弱くように調節するものであることが好ましい。

本発明の第２の画像処理装置は、動画像を構成する複数のフレーム画像の各フレーム画像毎に該フレーム画像の特徴量を算出する特徴量算出手段と、
各前記フレーム画像を夫々補正して得られる各補正済みフレーム画像の特徴量が時間方向において所定の平滑程度で平滑に変化するように前記フレーム画像の特徴量の目標値を求めるを各前記フレーム画像に対して行う目標特徴量算出手段と、
前記フレーム画像の特徴量が該フレーム画像の前記目標特徴量と略等しくなるように前記各フレーム画像毎に目的補正値を求める目的補正値算出手段とを有する画像処理装置において、
前記フレーム画像が、前記動画像における場面の切替わりを示すカット点である確率の大きさを示すカット点らしさを各前記フレーム画像に対して求めるカット点らしさ算出手段を備え、
前記目標特徴量算出手段が、該カット点らしさ算出手段により算出された前記カット点らしさの大きさに応じて該フレーム画像の前記目標特徴量を求める際の前記平滑程度を調節して前記目標特徴量を求めるものであることを特徴とするものである。

ここで、前記目標特徴量算出手段は、前記カット点らしさが大きいフレーム画像ほど、前記平滑程度を弱くするように調節するものであることが好ましい。

本発明の第２の画像処理装置において、前記目標特徴量算出手段は、前記各フレーム画像から該フレーム画像の画質を補正するための仮補正値を求める仮補正値算出手段と、
該仮補正値を用いて前記各フレーム画像を補正して得られる仮補正済みフレーム画像の特徴量を算出する仮補正手段と、
時間方向において各前記仮補正済みフレーム画像の特徴量が平滑に変化するように各前記仮補正済みフレーム画像の特徴量を調整して得た値を、前記仮補正済みフレーム画像が対応する前記フレーム画像の目標特徴量として求める特徴量平滑化手段とを備え、
前記特徴量平滑化手段が、前記カット点らしさの大きさに応じて前記調整の程度を調節するものであることが好ましい。

本発明の第２の画像処理装置において、前記目標特徴量算出手段は、前記各フレーム画像から該フレーム画像の画質を補正するための仮補正値を求める仮補正値算出手段と、
該仮補正値を用いて前記各フレーム画像を補正して得られる仮補正済みフレーム画像の特徴量を算出する仮補正手段と、
時間方向において各前記仮補正済みフレーム画像の特徴量が平滑に変化するように各前記仮補正済みフレーム画像の特徴量を調整して得た値を、前記仮補正済みフレーム画像が対応する前記フレーム画像の仮目標特徴量として求める特徴量平滑化手段と、
前記仮補正済みフレーム画像の特徴量と該フレーム画像の前記仮目標特徴量とを重み付け加算して得た値を前記フレーム画像の目標特徴量として求める重付加算手段とを備え、
前記重付加算手段が、前記カット点らしさの大きさに応じて前記仮目標特徴量の重みを調節するものであることが好ましい。

本発明の第２の画像処理装置において、前記目標特徴量算出手段は、前記動画像を構成する各々のフレーム画像のうちから選択された参照フレーム画像に対してのみ前記目標特徴量を求める処理を行うものであり、
前記参照フレーム画像を用いて得られた各々の前記目標特徴量に対して補間処理を行うことによって前記動画像を構成する各々のフレーム画像の前記目標特徴量を得る補間手段を有するものであることが好ましい。

本発明の第２の画像処理装置は、各前記手段が、前記動画像を構成するフレーム画像の縮小画像を用いて夫々の処理を行うものであることが好ましい。

本発明の第１および第２の画像処理装置は、前記目的補正値を用いて該目的補正値が対応する前記フレーム画像を補正する補正手段をさらに有してもよい。

なお、本発明の画像処理方法を、コンピュータに実行させるプログラムとして提供するようにしてもよい。

本発明の第１の画像処理方法および装置によれば、動画像を構成する複数のフレーム画像に対して仮補正値を求め、この仮補正値の変化を時間方向において調整して得た値を目的補正値とする際に、各フレーム画像のカット点らしさの大きさに応じて調整の程度を調節するようにしている。こうすることによって、フレーム画像の目的補正値が、その前および／または後のフレーム画像の仮補正値に影響される程度を調節することができる。例えば、カット点らしさが大きいフレーム画像ほど、調整の程度を弱めるようにして調節すれば、カット点となるフレーム画像（カット点らしさが最も大きいフレーム画像）の目的補正値が、その前および／または後のフレーム画像の仮補正値に影響されないようにすることができ、カット点のフレーム画像の適切な補正値を求めることができる。また、同じ場面における変化の小さいフレーム画像（カット点らしさが小さいフレーム画像。以下通常フレーム画像という）の目的補正値が、その前および／または後のフレーム画像の仮補正値に影響され、時間方向において平滑に変化するになるので、補正済み動画像に生じるちらつきを解消することができる。さらに、図１３に示すような、同じ場面ではあるが、画像の変化が大きいフレーム画像（カット点らしさが、カット点のフレーム画像のカット点らしさより小さいが通常フレーム画像のカット点らしさより大きいフレーム画像）の場合は、その目的補正値が、前および／または後のフレーム画像の仮補正値に影響される一方、影響の程度は、通常フレーム画像のそれより小さい。そのため、補正済み動画像におけるちらつきを解消しつつ、同じ場面ではあるが、画像の変化が大きいフレーム画像でも、適切な補正が得られる。

本発明の第２の画像処理方法および装置は、各フレーム画像を夫々補正して得られる各補正済みフレーム画像の特徴量が時間方向において所定の平滑程度で平滑に変化するように夫々のフレーム画像の特徴量の目標値を求める際に、該フレーム画像のカット点らしさの大きさに応じてその平滑程度を調節して目標特徴量を求め、補正する前のフレーム画像の特徴量が目標特徴量となるように目的補正値を求めるようにしている。こうすることによって、フレーム画像の目標特徴量が、その前および／または後のフレーム画像の特徴量に影響される程度を調節することができる。例えば、カット点らしさが大きいフレーム画像の目標特徴量ほど、このフレーム画像の前および／または後のフレーム画像の影響が弱いように調節することができ、第１の画像処理方法および装置と同じ効果を得ることができる。

以下、図面を参照して、本発明の実施形態について説明する。

図１は、本発明の第１の実施形態となる画像処理装置Ａの構成を示すブロック図である。なお、図１に示す画像処理装置Ａの構成は、補助記憶装置に読み込まれた画像処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、この画像処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネットなどのネットワークを介して配布され、コンピュータにインストールされることになる。また、本実施形態の画像処理装置Ａは、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃプレーヤやコンピュータ、ゲーム機器や、ＤＶ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ）カメラなどと接続して動画像を取り込んだり、インターネットなどのネットワークを介して配信される動画像を受信したり、動画像を記録したＤＶＤなどの記録媒体から動画像を読み出したりするなどによって動画像を取得するものである。また、前述したように、デジタル画像に対して行う画質補正が様々であり、本実施形態の画像処理装置Ａは、例として動画像に対して露光補正を行うものとする。

図１に示すように、本実施形態の画像処理装置Ａは、動画像を構成する複数のフレーム画像を取得する画像入力手段１と、フレーム画像を縮小して縮小フレーム画像を得る縮小手段１０と、縮小フレーム画像から仮補正値を求める仮補正値算出手段２０と、仮補正値算出手段２０により求められた仮補正値に基づいてフレーム画像の目的補正値を求める目的補正値算出手段４０と、目的補正値算出手段４０により求められた目的補正値を用いて各フレーム画像に対して補正を行って補正済み動画像を得る補正手段５０とを有してなる。

仮補正値算出手段２０は、下記のように仮補正値を求める。まず、仮補正値算出手段２０は、縮小手段１０により取得された縮小フレーム画像に対して、図２に示す濃度ヒストグラムを作成する。このとき、縮小フレーム画像の画素数のα倍をｍとし、濃度Ｙの高い方からｍ番目の濃度値をＹｍａｘ、濃度Ｙの低い方からｍ番目の濃度値をＹｍｉｎとし、下記の式（１）によりヒストグラムの中間値Ｙ０を求める。

Ｙ０＝（Ｙｍｉｎ＋Ｙｍａｘ）／２ （１）

次に、仮補正値算出手段２０は、算出した中間値Ｙ０を用いて、式（２）に従って、縮小フレーム画像を露光補正するための補正値γ０を求める。

γ０＝Ｙｄ−Ｙ０ （２）

ここで、Ｙｄは目標濃度であり、例えば標準光源の下における人物の肌領域の情報から推定することによって決定すればよい。または、例えば特開２０００−１０１８６０や、特開２０００−１９６８９０などの公報に記載された方法を用いて求めるようにしてもよい。

仮補正値算出手段２０は、各フレーム画像に対して求められたこの補正値γ０を夫々のフレーム画像の仮補正値として、目的補正値算出手段４０に出力する。

目的補正値算出手段４０は、仮補正値算出手段２０により算出した各々の仮補正値γ０が時間方向において平滑に変化するように各フレーム画像の仮補正値γ０を調整して、目的補正値γ１を得るものである。ここでは、例として、目的補正値算出手段４０は、注目するフレーム画像の仮補正値γ０と、このフレーム画像およびその前後１つずつのフレーム画像の仮補正値γ０の平均値との重み付け加算によって仮補正値の調整を行うようにしているが、調整に用いられるフレーム画像は、注目するフレーム画像の前のみまたは後のみのフレーム画像を用いてもよいし、その数を増減してもよい。また、仮補正値の調整方法も、加算に限られるものではなく、仮補正値に対してローパスフィルタを適用したり、スプライン補間したりするなどの方法を用いてもよい。

図１に示すように、本実施形態における目的補正値算出手段４０は、各々のフレーム画像に対して、該フレーム画像が場面の切替わりを示すカット点である確率の大きさであるカット点らしさβ０を算出するカット点らしさ算出手段２５と、カット点らしさ算出手段２５により算出したカット点らしさβ０に応じて、仮補正値γ０を調整する調整度β（その詳細については後述する）を算出する調整度算出手段３０と、仮補正値γ０および調整度βを用いて、注目するフレーム画像と、注目するフレーム画像およびその前後の１つずつのフレーム画像の仮補正値γ０の平均値とを重み付け加算して注目するフレーム画像の目的補正値γ１を得る加算手段３５とを有してなる。

本実施形態におけるカット点らしさ算出手段２５は、フレーム画像の濃度値のヒストグラムの形状に基づいて各フレーム画像のカット点らしさを算出するものである。具体的は、カット点らしさ算出手段２５は、まず、縮小手段１０により得られた各フレーム画像の縮小フレーム画像毎に、その濃度値のヒストグラムを求める。図３（ａ）は、カット点らしさ算出手段２５により算出した各々のフレーム画像（ここでは縮小フレーム画像）のヒストグラムの例を示している（図中では、例として連続する６つのフレーム：ｆ１、ｆ２，ｆ３，ｆ４，ｆ５，ｆ６のヒストグラムを示している）。デジタル・ビデオカメラ、動画撮影可能なデジタルスチルカメラなどの撮像装置により被写体を撮像して動画像を得る際に、撮像装置の性能によりフレーム画像間に被写体と関係ない濃度段差が生じてしまうことがあるため、本実施形態のカット点らしさ算出手段２５は、撮像装置の性能に起因するフレーム画像間の濃度段差を無くすために、各フレーム画像の代表値（ここでは、濃度値の平均値）をさらに算出すると共に、各フレーム画像の代表値が略等しくなるように、各フレーム画像のヒストグラムを濃度値軸において平行移動することにより、ヒストグラムの整合性を取る。この処理によって、図３（ａ）に示す例の各フレーム画像のヒストグラムが、撮像装置の性能に起因するフレーム画像間の濃度段差が解消され、図３（ｂ）に示すようになる。なお、フレーム画像の代表値は、ここで用いられた濃度値の平均値以外に、メディアン、分散値（最大値，最小値）などを用いてもよい。

次いで、カット点らしさ算出手段２５は、図３（ｂ）に示すような整合性の取れたヒストグラムを用いて、注目するフレーム画像の前後１つずつ（２つずつ以上であってもよい）のフレーム画像のヒストグラムの形状の平均を取って平均形状を得、注目するフレーム画像のヒストグラムの形状とこの平均形状との相関を求め、求められた相関が所定の第１の閾値以上である場合、注目するフレーム画像のカット点らしさを最小の０とし、相関が所定の第２の閾値（第２の閾値＜第１の閾値）以下である場合、注目するフレーム画像のカット点らしさを最大の１とし、相関が第１の閾値と第２の閾値との間にある場合、相関が大きいほどカット点らしさが小さいように０と１との間で注目するフレーム画像のカット点らしさを求める。図３（ｃ）は、図３（ａ）に示す例の６つのフレーム画像に対して求められたカット点らしさβ０を示している。

調整度算出手段３０は、カット点らしさ算出手段２５により算出されたカット点らしさβ０を用いて、下記の式（３）に従って仮補正値γ０を調整する調整度βを、各フレーム画像に対して算出する。

β（ｉ）＝１−β０（ｉ） （３）
但し、β０：カット点らしさ
β：調整度

加算手段３５は、調整度算出手段３０により算出された調整度βと、仮補正値算出手段２０により算出された仮補正値γ０を用いて、下記の式（４）に従って、注目するフレーム画像の目的補正値γ１を算出する。

γ１（ｉ）＝（１−β（ｉ））×γ０（ｉ）
＋β（ｉ）×（γ０（ｉ−１）＋γ０（ｉ）＋γ０（ｉ＋１））／３ （４）
但し、γ１（ｉ）： 注目するフレーム画像の目的補正値
γ０（ｉ）： 注目するフレーム画像の仮補正値
γ０（ｉ−１）：注目するフレーム画像の前のフレーム画像の仮補正値
γ０（ｉ＋１）：注目するフレーム画像の後のフレーム画像の仮補正値
β（ｉ）：注目するフレーム画像の調整度

目的補正値算出手段４０は、加算手段３５により得られた各々のフレーム画像の目的補正値γ１を補正手段５０に出力する。

補正手段５０は、目的補正値γ１を用いて下記の式（５）に従って、画像入力手段１により得られた各々のフレーム画像に対して補正を行って補正済み動画像を得る。

ＹＹ＝Ｙ＋γ１ （５）
但し、ＹＹ：補正後の濃度値
Ｙ ：補正前の濃度値
γ１ ：目的補正値

ここで、本発明の主旨を分かりやすくするために、目的補正値算出手段４０において、カット点らしさβ０を算出し、カット点らしさβ０に基づいて調整度βを算出し、調整度βを用いて仮補正値γ０の調整を行って目的補正値γ１を得るようにしているが、例えば調整度βを算出せずにカット点らしさβ０を用いて下記の式（６）に示すように直接目的補正値γ１を求めるようにしてもよい。

γ１（ｉ）＝β０（ｉ））×γ０（ｉ）
＋（１−β０（ｉ））×（γ０（ｉ−１）＋γ０（ｉ）＋γ０（ｉ＋１））／３ （６）
但し、γ１（ｉ）： 注目するフレーム画像の目的補正値
γ０（ｉ）： 注目するフレーム画像の仮補正値
γ０（ｉ−１）：注目するフレーム画像の前のフレーム画像の仮補正値
γ０（ｉ＋１）：注目するフレーム画像の後のフレーム画像の仮補正値
β０（ｉ）：注目するフレーム画像のカット点らしさ

図４は、図１に示す実施形態の画像処理装置Ａにおいて行われる処理を示すフローチャートである。なお、図４のフローチャートは、動画像を構成する１つのフレーム画像に対して行われる処理を示すものであり、本実施形態の画像処理装置Ａは、図４に示す処理を動画像を構成する各フレーム画像に対して行って補正済み動画を得る。

図４に示すように、画像入力手段１により得られたフレーム画像が、縮小手段１０により縮小されて縮小フレーム画像となる（Ｓ１０、Ｓ１２）。仮補正値算出手段２０は、縮小フレーム画像から、露光補正のための仮補正値γ０を算出する（Ｓ１４）。目的補正値算出手段４０は、各フレーム画像の仮補正値γ０が時間方向において平滑に変化するように、仮補正値γ０を調整して目的補正値γ１を算出する（Ｓ２０）。補正手段５０は、目的補正値γ１を用いて、画像入力手段１により得られたフレーム画像を補正する（Ｓ４０）。なお、目的補正値算出手段４０によりステップＳ２０において行われる目的補正値算出処理Ｐ１の詳細は、図５のフローチャートに示されている。図示のように、目的補正値算出手段４０において、まず、カット点らしさ算出手段２５は注目するフレーム画像のカット点らしさβ０を算出し（Ｓ２２）、次に調整度算出手段３０は、カット点らしさβ０に基づいて注目するフレーム画像の調整度βを算出する（Ｓ２４）。そして、加算手段３５は、調整度βが小さいほど（カット点らしさβ０が大きいほど）、注目するフレーム画像の仮補正値の重みが大きい（すなわち、注目するフレーム画像の仮補正値の調整の程度が小さい）ように、注目するフレーム画像の仮補正値と、注目するフレーム画像およびその前後のフレーム画像の仮補正値の平均値とを重み付け加算して、注目するフレーム画像の目的補正値γ１を算出する（Ｓ２６）。

このように、本実施形態の画像処理装置Ａによれば、動画像の各フレーム画像を補正して補正済み動画像を得るために、各フレーム画像の夫々から求められた仮補正値を、時間方向において平滑に変化するように調整して目的補正値を得る際に、各フレーム画像のカット点らしさに応じて、注目するフレーム画像のカット点らしさが大きいほど、このフレーム画像の仮補正値の重みを大きく、注目するフレーム画像とその前後のフレーム画像の仮補正値の平均値の重みを小さくする（すわわち、注目するフレーム画像の仮補正値を調整する程度を弱める）ようにして注目するフレーム画像と、注目するフレーム画像およびその前後のフレーム画像の仮補正値の平均値とを重み付け加算して注目するフレーム画像の目的補正値を得るようにしてため、カット点となるフレーム画像（カット点らしさが１となるフレーム画像）の目的補正値が、その前後のフレーム画像の仮補正値に影響されないようにすることができ、カット点のフレーム画像の適切な補正値を求めることができる。また、同じ場面における変化の小さい通常フレーム画像（カット点らしさが０のフレーム画像）の目的補正値が、その前後のフレーム画像の仮補正値に影響され、時間方向において平滑に変化するになるので、補正済み動画像に生じるちらつきを解消することができる。さらに、図１３に示すような、同じ場面ではあるが、画像の変化が大きいフレーム画像（カット点らしさが、０より大きい１より小さいフレーム画像）の場合は、その目的補正値が、前後のフレーム画像の仮補正値に影響される一方、影響の程度は、通常フレーム画像のそれより小さい。そのため、補正済み動画像におけるちらつきを解消しつつ、同じ場面ではあるが、画像の変化が大きいフレーム画像でも、適切な補正が得られる。

図６は、本発明の第２の実施形態となる画像処理装置Ｂの構成を示すブロック図である。

図６に示すように、本実施形態の画像処理装置Ｂは、動画像を構成する複数のフレーム画像を取得する画像入力手段５１と、フレーム画像を縮小して縮小フレーム画像を得る縮小手段５５と、縮小フレーム画像の特徴量を算出する特徴量算出手段６０と、特徴量算出手段６０により算出された特徴量を用いて仮補正値を求める仮補正値算出手段６５と、仮補正値算出手段６５により求められた仮補正値を用いて縮小フレーム画像を補正して得られる仮補正済み縮小フレーム画像の特徴量を算出する仮補正手段７０と、仮補正済み縮小フレーム画像の特徴量を用いて各縮小フレーム画像の目標特徴量を求める目標特徴量算出手段８０と、特徴量算出手段６０により算出された特徴量が、目標特徴量算出手段８０により求められた目標特徴量になるように各フレーム画像の目的補正値を求める目的補正値算出手段９０と、目的補正値算出手段９０により求められた目的補正値を用いて各フレーム画像に対して補正を行って補正済み動画像を得る補正手段９５とを有してなる。

特徴量算出手段６０と仮補正値算出手段６５は、図１に示す画像処理装置Ａの仮補正値算出手段２０に相当し、画像処理装置Ａの仮補正値算出手段２０と同じように、縮小フレーム画像の特徴量Ｙ０を求め、この特徴量Ｙ０に基づいて縮小フレーム画像を露光補正するための補正値γ０を求めるものであり、ここで、その詳細な説明を省略する。なお、図８（ａ）下部の細線は、特徴量算出手段６０により算出された特徴量Ｙ０を示すものである。

仮補正値算出手段６５は、補正値γ０を縮小フレーム画像の仮補正値として、仮補正手段７０に出力する。

仮補正手段７０は、仮補正値算出手段６５により得られた仮補正値γ０と、特徴量算出手段６０により得られた特徴量Ｙ０とを用いて、下記の式（７）に従って、仮補正値γ０を用いて縮小フレーム画像を補正して得られる仮補正済み縮小フレーム画像の特徴量Ｙ１を求める。

Ｙ１＝Ｙ０＋γ０ （７）
但し、Ｙ１：仮補正後の特徴量
Ｙ０：仮補正前の特徴量
γ０ ：仮補正値

ここで、処理の高速化を図るために、縮小フレーム画像に対して仮補正を行わずに直接仮補正済み縮小フレーム画像の特徴量Ｙ１を求めるようにしているが、縮小フレーム画像に対して仮補正を行って仮補正済み縮小フレーム画像を得てから仮補正済み縮小フレーム画像の特徴量を求めるようにしてもよい。具体的には、下記の式（８）に従って、縮小フレーム画像に対して露光補正を行って、仮補正済み縮小フレーム画像を得る。

Ｙ’＝Ｙ＋γ０ （８）
但し、Ｙ’：仮補正後の濃度値
Ｙ ：仮補正前の濃度値
γ０ ：仮補正値
そして、仮補正済み縮小フレーム画像に対して、特徴量算出手段６０と同じようにその濃度のヒストグラムの中間値を算出して仮補正済み縮小フレーム画像の特徴量Ｙ１とすればよい。

図８（ａ）中上部の細線は、仮補正手段７０により求められた仮補正済み縮小フレーム画像の特徴量Ｙ１を示している。図示のより、仮補正済み縮小フレーム画像の特徴量Ｙ１は、時間方向における変動が大きく、このようなフレーム画像により構成される動画像を再生すると、ちらつきが生じてしまう。

目標特徴量算出手段８０は、仮補正済み縮小フレーム画像の特徴量が時間方向において平滑に変化するように各仮補正済み縮小フレーム画像の特徴量を調整して目標特徴量を得るものであり、ここでは、例として、注目する仮補正済み縮小フレーム画像を中心とする５つの仮補正済み縮小フレーム画像の特徴量Ｙ１に対してフィルリング処理（その詳細については後述する）を行うことにより注目する仮補正済み縮小フレーム画像の特徴量を調整して目標特徴量Ｙ２を求める。図６に示すように、本実施形態における目標特徴量算出手段８０は、各々のフレーム画像に対して、該フレーム画像が場面の切替わりを示すカット点である確率の大きさであるカット点らしさβ０を算出するカット点らしさ算出手段７４と、カット点らしさ算出手段７４により算出したカット点らしさβ０に応じて決められたフィルタで、注目する仮補正済み縮小フレーム画像を中心とする５つの仮補正済み縮小フレーム画像の特徴量Ｙ１に対してフィルリング処理を行って注目する仮補正済み縮小フレーム画像の目標特徴量Ｙ２を得るフィルタリング手段７６とを有してなる。

目標特徴量算出手段８０のカット点らしさ算出手段７４は、図１に示す画像処理装置Ａのカット点らしさ算出手段２５と同じように、フレーム画像の濃度値のヒストグラムの形状に基づいてカット点らしさを算出するものであり、ここでその詳細な説明を省略する。なお、図８（ａ）に示す例の場合、時間ｔ１に対応するフレーム画像が場面１と場面２との切替わりを示すカット点であって、そのカット点らしさが１となり、時間ｔ２に対応するフレーム画像が場面２において画像が大きく変動するものであって、そのカット点らしさが１より小さい０より大きい値となる。

フィルタリング手段７６は、カット点らしさβ０と、カット点らしさに応じて用いられるフィルタＦとが対応付けられた図示しないデータベースを有しており、図７は、このデータベースの１例を示している。なお、図中矢印は、カット点らしさが増大する方向を示している。

フィルタリング手段７６は、図７に示すデータベースから、カット点らしさ算出手段７４により算出されたカット点らしさβ０に対応したフィルタＦを検出すると共に、検出されたフィルタＦと、仮補正手段７０により算出された仮補正済み縮小フレーム画像の特徴量Ｙ１とを用いて下記の式（９）に従って、目標特徴量Ｙ２を算出する。

Ｙ２（ｉ）＝Ｆ×（Ｙ１（ｉ−２）＋Ｙ１（ｉ−１）＋Ｙ１（ｉ）
＋Ｙ１（ｉ＋１）＋Ｙ１（ｉ＋２））／５ （９）
但し，Ｙ２（ｉ）：注目する仮補正済み縮小フレーム画像の目標特徴量
Ｙ１（ｉ）：注目する仮補正済み縮小フレーム画像の特徴量
Ｙ１（ｉ−２）：注目する仮補正済み縮小フレーム画像の２つ前の仮補正済み縮小フレーム画像の特徴量
Ｙ１（ｉ−１）：注目する仮補正済み縮小フレーム画像の１つ前の仮補正済み縮小フレーム画像の特徴量
Ｙ１（ｉ＋１）：注目する仮補正済み縮小フレーム画像の１つ後の仮補正済み縮小フレーム画像の特徴量
Ｙ１（ｉ＋２）：注目する仮補正済み縮小フレーム画像の２つ後の仮補正済み縮小フレーム画像の特徴量
Ｆ：カット点らしさに対応したフィルタ

図７のフィルタおよび上記の式（９）から分かるように、注目する仮補正済み縮小フレーム画像のカット点らしさβ０が大きいほど、その目標特徴量Ｙ２は、その前後の仮補正済み縮小フレーム画像の特徴量Ｙ１による影響が小さく、カット点らしさが１となる仮補正済み縮小フレーム画像の場合、その目標特徴量Ｙ２がまったく前後のフレーム画像に影響されない。また、注目する仮補正済み縮小フレーム画像のカット点らしさβ０が小さいほど、その目標特徴量Ｙ２は、その前後の仮補正済み縮小フレーム画像の特徴量Ｙ１による影響が大きく、カット点らしさが０となる仮補正済み縮小フレーム画像の場合、その目標特徴量Ｙ２が前後４つの仮補正済み縮小フレーム画像の特徴量Ｙ１との平均値となる。

図８（ａ）中太線は、目標特徴量算出手段８０により各縮小フレーム画像に対して求められた目標特徴量Ｙ２を示している。

目的補正値算出手段９０は、特徴量算出手段６０により求められた縮小フレーム画像の特徴量Ｙ０が、目標特徴量算出手段８０により求められた目標特徴量Ｙ２になるように、下記の式（１０）に従って補正値γ１を求め、この補正値γ１をフレーム画像の目的補正値として補正手段９５に出力する。

γ１＝Ｙ２−Ｙ０ （１０）
但し，Ｙ０：補正前の特徴量
Ｙ２：目標特徴量
γ１：目的補正値

補正手段９５は、目的補正値γ１を用いて下記の式（１１）に従って、画像入力手段５１により得られたフレーム画像に対して補正を行って補正済み動画像を得る。

ＹＹ＝Ｙ＋γ１ （１１）
但し、ＹＹ：補正後の濃度値
Ｙ ：補正前の濃度値
γ１ ：目的補正値

図８（ｂ）は、本実施形態の画像処理装置Ｂによる補正の結果を示すものであり、図中細線は、補正前の動画像を構成する各フレーム画像の特徴量を示しており、図中太線は、補正済み動画像を構成する各フレーム画像の特徴量を示している。図示のように、本実施形態の画像処理装置Ｂによれば、まず、補正済み動画像において、同じ場面における各フレーム画像の特徴量が平滑に変化するように補正されているため、補正済み動画像のちらつきを確実に解消している。さらに、カット点となるフレーム画像（時間ｔ１に対応するフレーム画像）に対しては、その目標特徴量を求める際に、フィルタＦとしては（０，０，５，０，０）が用いられ、前後の仮補正済み縮小フレーム画像の特徴量に影響されないため、目標特徴量に基づいて求められた補正値により適切な補正が施されている。また、時間ｔ２に対応するフレーム画像のような、同じ場面ではあるが、画像の変化が大きいフレーム画像（カット点らしさが、０より大きい１より小さいフレーム画像）の場合は、その目標特徴量が、前後の仮補正済み縮小フレーム画像の特徴量に影響される一方、影響の程度は、通常フレーム画像のそれより小さいため、補正済み動画像におけるちらつきを解消しつつ、同じ場面ではあるが、画像の変化が大きいフレーム画像でも、適切な補正が得られる。

また、画像処理装置Ｂは、動画像を構成する複数のフレーム画像に対して仮補正値を求め、この仮補正値による仮補正を行って得られる仮補正済みフレーム画像の特徴量が時間方向において平滑に変化するようにして各仮補正済みフレームの特徴量を調整して得た値を目標特徴量とし、フレーム画像の特徴量がこの目標特徴量と略等しくなるように各フレーム画像の目的補正値を求めるようにしているので、目的補正値が、仮補正による画質向上の効果を生かしつつ、目標特徴量、すなわち補正後のフレーム画像の特徴量の推移を直接抑制するようにして得たものであるので、仮補正値の推移のみを抑制する図１に示す画像処理装置Ａよりもより確実に補正済み動画像のちらつきを解消することができる。

次いで図９のフローチャートを参照して本実施形態の画像処理装置Ｂにおいて行われる処理を説明する。なお、図９のフローチャートは、動画像を構成する１つのフレーム画像に対して行われる処理を示すものであり、本実施形態の画像処理装置Ｂは、図９に示す処理を動画像を構成する各フレーム画像に対して行って補正済み動画を得る。

図９に示すように、画像入力手段５１により得られたフレーム画像が、縮小手段５５により縮小されて縮小フレーム画像となる（Ｓ５１、Ｓ５２）。特徴量算出手段６０は、この縮小フレーム画像から特徴量Ｙ０を算出する（Ｓ５４）。仮補正値算出手段６５は、特徴量Ｙ０に基づいて、露光補正のための仮補正値γ０を算出し（Ｓ５６）、仮補正手段７０は、仮補正値γ０およびステップＳ５４において算出された特徴量Ｙ０を用いて仮補正済み縮小フレーム画像の特徴量Ｙ１を算出する（Ｓ５８）。目標特徴量算出手段８０は、特徴量Ｙ１が時間方向において平滑に変化するように、特徴量Ｙ１を調整して目標特徴量Ｙ２を得る（Ｓ６０）。目的補正値算出手段９０は、ステップＳ５４において算出された特徴量Ｙ０が、ステップＳ６０において算出された目標特徴量Ｙ２になるように目的補正値γ１を算出する（Ｓ７０）。補正手段９５は、目的補正値γ１を用いて、画像入力手段５１により得られたフレーム画像を補正する（Ｓ７２）。なお、目標特徴量算出手段８０によりステップＳ６０において行われる目標特徴量算出処理Ｐ２の詳細は、図１０のフローチャートに示されている。図示のように、目標特徴量算出手段８０において、まず、カット点らしさ算出手段７４は注目するフレーム画像のカット点らしさβ０を算出する（Ｓ６２）。次にフィルタリング手段７６は、カット点らしさβ０に対応したフィルタを選択すると共に、注目するフレーム画像を中心とする５つの連続するフレーム画像の特徴量Ｙ１（仮補正済み縮小フレーム画像の特徴量）に対して、選択されたフィルタを適用することによって、注目するフレーム画像の目標特徴量Ｙ２を算出する（Ｓ６４、Ｓ６６）。なお、ステップＳ６４において選出されたフィルタは、図７に示すように、カット点らしさβ０が大きいフレーム画像ほど、その目標特徴量が前後のフレーム画像に影響される程度が小さくなるようにするものである。

図１１は、本発明の第３の実施形態となる画像処理装置Ｃの構成を示すブロック図である。図示のように、本実施形態の画像処理装置Ｃは、動画像を構成する複数のフレーム画像を取得する画像入力手段１０１と、フレーム画像を縮小して縮小フレーム画像を得る縮小手段１１０と、縮小フレーム画像の特徴量を算出する特徴量算出手段１１５と、特徴量算出手段１１５により算出された特徴量を用いて仮補正値を求める仮補正値算出手段１２０と、仮補正値算出手段１２０により求められた仮補正値を用いて縮小フレーム画像を補正して得られる仮補正済み縮小フレーム画像の特徴量を算出する仮補正手段１３０と、仮補正済み縮小フレーム画像の特徴量を用いて各縮小フレーム画像の目標特徴量を求める目標特徴量算出手段１４０と、特徴量算出手段１１５により算出された特徴量が、目標特徴量算出手段１４０により求められた目標特徴量になるように各フレーム画像の目的補正値を求める目的補正値算出手段１５０と、目的補正値算出手段１５０により求められた目的補正値を用いて各フレーム画像に対して補正を行って補正済み動画像を得る補正手段１６０とを有してなる。なお、本実施形態の画像処理装置Ｃは、図５に示す実施形態の画像処理装置Ｂとは、目標特徴量算出手段１４０と目標特徴量算出手段８０とが異なる点以外、その他の全ての構成が同様であるので、ここで、目標特徴量算出手段１４０において行われる処理のみについて説明し、他の構成の詳細な説明を省略する。

画像処理装置Ｃの目標特徴量算出手段１４０は、仮補正済み縮小フレーム画像の特徴量が時間方向において平滑に変化するように各仮補正済み縮小フレーム画像の特徴量を調整して目標特徴量を得るものであり、図１１に示すように、各々のフレーム画像に対して、該フレーム画像が場面の切替わりを示すカット点である確率の大きさであるカット点らしさβ０を算出するカット点らしさ算出手段１４２と、仮補正手段１３０により得られた各々の仮補正済み縮小フレーム画像の特徴量Ｙ１を平滑化して仮目標特徴量Ｙ１ａを得る仮目標特徴量算出手段１４４と、注目する仮補正済み縮小フレーム画像のカット点らしさβ０に応じた重みで、注目する仮補正済み縮小フレーム画像の特徴量Ｙ１と仮目標特徴量Ｙ１ａとを重み付け加算して目標特徴量Ｙ２を得る加算手段１４６とを有してなる。

カット点らしさ算出手段１４２は、図５に示す画像処理装置Ｂのカット点らしさ算出手段７４と同じように、フレーム画像の濃度値のヒストグラムの形状に基づいてカット点らしさを算出するものであり、ここでその詳細な説明を省略する。

仮目標特徴量算出手段１４４は、注目する仮補正済み縮小フレーム画像を中心とする５つ（注目する仮補正済み縮小フレーム画像の２つ前の仮補正済み縮小フレーム画像から、注目する仮補正済み縮小フレーム画像の２つ後の仮補正済み縮小フレーム画像までの５つ）の仮補正済み縮小フレーム画像の特徴量Ｙ１に対して平均を取って得た値を、注目する仮補正済み縮小フレーム画像の仮目標特徴量Ｙ１ａとする。

加算手段１４６は、下記の式（１２）に従って、注目する仮補正済み縮小フレーム画像のカット点らしさβ０が大きいほど、その特徴量Ｙ１の重みが大きく、仮目標特徴量Ｙ１ａの重みが小さくなるように、特徴量Ｙ１と仮目標特徴量Ｙ１ａとを重み付け加算することによって、注目する仮補正済み縮小フレーム画像の目標特徴量Ｙ２を得る。

Ｙ２＝β０×Ｙ１＋（１−β０）×Ｙ１ａ （１２）
但し、Ｙ２：注目する仮補正済み縮小フレーム画像の目標特徴量
Ｙ１：注目する仮補正済み縮小フレーム画像の特徴量
Ｙ１ａ：仮目標特徴量
β０：注目する仮補正済み縮小フレーム画像のカット点らしさ

図１２は、図１１に示す画像処理装置Ｃにおける目標特徴量算出手段１４０に置いて行われる処理を示すフローチャートである。図示のように、画像処理装置Ｃの目標特徴量算出手段１４０は、カット点らしさ算出手段１４２により注目するフレーム画像のカット点らしさβ０が算出される（Ｓ１００）と共に、仮目標特徴量算出手段１４４により、注目する仮補正済みフレーム画像の２つ前の仮補正済み縮小フレーム画像から、注目する仮補正済みフレーム画像の２つ後の仮補正済み縮小フレーム画像までの５つの仮補正済み縮小フレーム画像の特徴量Ｙ１の平均を取ることによって注目する仮補正済み縮小フレーム画像の仮目標特徴量Ｙ１ａが求められる（Ｓ１１０）。そして、加算手段１４６により注目する仮補正済み縮小フレーム画像の特徴量Ｙ１とその仮目標特徴量Ｙ１ａとを重み付け加算することによって目標特徴量Ｙ２が求められる（Ｓ１２０）。なお、加算手段１４６によるステップＳ１２０の重み付け加算は、カット点らしさβ０が大きいほど、特徴量Ｙ１の重みが大きく、仮目標特徴量Ｙ１ａの重みが小さいようにして行われたものである。

本実施形態の画像処理装置Ｃは、画像処理装置Ｂとは目標特徴量の算出方法が異なるものの、カット点らしさが大きいフレーム画像ほど、その目標特徴量は前後のフレーム画像に影響される程度が小さいように求められるので、画像処理装置Ｂと同じ効果を得ることができる。さらに、カット点らしさに応じて、特徴量Ｙ１と仮目標特徴量Ｙ１ａの重みを調整するようにしているので、処理が簡単である。

以上、本発明の望ましい実施形態について説明したが、本発明の画像処理方法および装置並びにそのためのプログラムは、上述した実施形態に限られることがなく、本発明の主旨を逸脱しない限り、上述した各実施形態の構成を組み合わせたり、増減、変化を加えたりすることができる。

例えば、画像処理装置Ｂと画像処理装置Ｃにおいて、仮補正値の算出から目標特徴量の算出までの処理を、動画像を構成する各フレーム画像に対して行うようになっているが、例えば、動画像を構成するフレーム画像から参照フレーム画像を選出し、選出された参照フレーム画像に対してのみ目標特徴量を算出するまでの処理を行うと共に、参照フレーム画像の目標特徴量に対してスプライン補間や、線形補間などの補間処理を行うことによって他のフレーム画像の目標特徴量を求めるようにしてもよい。こうすることによって、仮補正値の算出、仮補正済み縮小フレーム画像の特徴量の算出などの処理は、参照フレーム画像に対してのみ行われる、処理の高速化を図ることができる。なお、参照フレーム画像の選出は、例えば、時間方向におけるフレーム画像間の類似度を求め、参照フレーム画像の間隔を決定するようにして行われることができる。ここで類似度としては例えば相関が大きいほど類似度が高いように、フレーム画像間の相関を用いることができる。また、決められた参照フレーム画像の間隔がｎ（ｎ：２以上の整数）であるとすれば、動画像を構成する各フレーム画像（フレーム画像１、フレーム画像２、．．．）のうちのフレーム画像１、フレーム画像（ｎ＋１）、フレーム画像（２ｎ＋１）、フレーム画像（３ｎ＋１）．．．のフレーム画像が参照フレーム画像とするようにすればよい。

また、上述した実施形態の画像処理装置は、縮小フレーム画像に対して特徴量の算出から目的補正値までの処理を行うようにして処理の高速化を図っているが、フレーム画像を縮小せずにこれらの処理を行うようにしてもよい。また、縮小フレーム画像を縮小して処理する場合において、要求される処理時間や、元のフレーム画像の解像度に応じて縮小率を調整することができるようにしてもよい。

また、上述した実施形態の画像処理装置は、フレーム画像の特徴量として濃度のヒストグラムの中間値Ｙ０を用いたが、フレーム画像内の濃度の平均値、メディアンなどの代表値などを特徴量として用いるようにしてもよい。

また、上述した実施形態に用いられる濃度の代わりに、輝度などを用いてもよい。

また、上述した画像処理装置は、例として動画像に対して露光補正を行うものであるが、本発明の画像処理方法および装置は、露光補正に限らず、前述したホワイトバランス補正、彩度補正、コントラスト補正、シャープネス補正、色補正などの他の画質補正およびこれらの画質補正の組合せにも適用することができる。

また、上述した画像処理装置は、フレーム画像に対して求めた目的補正値を用いて補正を行うまでの処理を行っているが、補正を実行せずに、元の動画像に目的補正値を付属させて記録媒体に記録したり、ネットワーク上の処理装置に送信したりなどをして、指示がされたときに補正を実行するようにしてもよい。

本発明の第１の実施形態となる画像処理装置Ａの構成を示すブロック図 フレーム画像の特徴量を説明するための図 カット点らしさの算出を説明するための図 画像処理装置Ａにおいて行われる処理を示すフローチャート（その１） 画像処理装置Ａにおいて行われる処理を示すフローチャート（その２） 本発明の第２の実施形態となる画像処理装置Ｂの構成を示すブロック図 カット点らしさとフィルタＦの関係を示す図 画像処理装置Ｂの動作を説明するための図 画像処理装置Ｂにおいて行われる処理を示すフローチャート（その１） 画像処理装置Ｂにおいて行われる処理を示すフローチャート（その２） 本発明の第３の実施形態となる画像処理装置Ｃの構成を示すブロック図 画像処理装置Ｃにおける目標特徴量算出手段１４０において行われる処理を示すフローチャート 同じ場面において変動の大きいフレーム画像の例を示す図

符号の説明

１ 画像入力手段
１０ 縮小手段
２０ 仮補正値算出手段
２５ カット点らしさ算出手段
３０ 調整度算出手段
３５ 加算手段
４０ 目的補正値算出手段
５０ 補正手段
５１ 画像入力手段
５５ 縮小手段
６０ 特徴量算出手段
６５ 仮補正値算出手段
７０ 仮補正手段
７４ カット点らしさ算出手段
７６ フィルタリング手段
８０ 目標特徴量算出手段
９０ 目的補正値算出手段
９５ 補正手段
１０１ 画像入力手段
１１０ 縮小手段
１１５ 特徴量算出手段
１２０ 仮補正値算出手段
１３０ 仮補正手段
１４０ 目標特徴量算出手段
１４２ カット点らしさ算出手段
１４４ 仮目標特徴量算出手段
１４６ 加算手段
１５０ 目的補正値算出手段
１６０ 補正手段
β０ カット点らしさ
γ０ 仮補正値
γ１ 目的補正値

Claims (12)

1. 動画像を構成する各フレーム画像の特徴量と、該フレーム画像が前記動画像における場面の切替わりを示すカット点である確率の大きさを示すカット点らしさとを算出し、
   前記フレーム画像の画質を補正するための仮補正値を求め、
   該仮補正値を用いて前記各フレーム画像を補正し、
   補正後の各仮補正済みフレーム画像の特徴量を算出し、
   前記カット点らしさが大きい前記フレーム画像ほど前記特徴量の変化を平滑化させる平滑程度が弱くなるように、前記各仮補正済みフレーム画像の前記特徴量に対し時間方向において平滑化処理を施すことにより、前記各仮補正済みフレーム画像の特徴量を調節したものを目標特徴量として求め、
   前記フレーム画像の特徴量が該フレーム画像の前記目標特徴量と略等しくなるように前記各フレーム画像を補正する
   ことを特徴とする画像処理方法。
2. 動画像を構成する各フレーム画像の特徴量と、該フレーム画像が前記動画像における場面の切替わりを示すカット点である確率の大きさを示すカット点らしさとを前記各フレーム画像に対して算出し、
   前記各フレーム画像から該フレーム画像の画質を補正するための仮補正値を求め、
   該仮補正値を用いて前記各フレーム画像を補正し、
   補正後の各仮補正済みフレーム画像の特徴量を算出し、
   前記カット点らしさが大きい前記フレーム画像ほど前記特徴量の変化を平滑化させる平滑程度が弱くなるように、算出した前記各仮補正済みフレーム画像の特徴量に対し時間方向において平滑化処理を施すことにより、前記各仮補正済みフレーム画像の特徴量を調整したものを仮目標特徴量として求め、
   前記仮補正済みフレーム画像の特徴量と該フレーム画像の前記仮目標特徴量とを重み付け加算して得た値を前記フレーム画像の目標特徴量として求め、
   前記フレーム画像の特徴量が該フレーム画像の前記目標特徴量と略等しくなるように前記各フレーム画像を補正する
   ことを特徴とする画像処理方法。
3. 前記動画像を構成する各々のフレーム画像のうちから選択した参照フレーム画像に対してのみ前記目標特徴量の算出を行い、
   前記参照フレーム画像の前記目標特徴量に対して補間処理を行うことによって前記動画像を構成する前記各フレーム画像の前記目標特徴量を得ることを特徴とする請求項１または２記載の画像処理方法。
4. 前記動画像を構成する前記フレーム画像の縮小画像を用いて前記フレーム画像の前記特徴量の算出から前記目的補正値を求めるまでの処理を行うことを特徴とする請求項１から３のいずれか１項記載の画像処理方法。
5. 動画像を構成する複数のフレーム画像の各フレーム画像毎に該フレーム画像の特徴量を算出する特徴量算出手段と、
   前記フレーム画像が前記動画像における場面の切替わりを示すカット点である確率の大きさを示すカット点らしさを前記各フレーム画像に対して求めるカット点らしさ算出手段と、
   前記各フレーム画像の特徴量の目標値である目標特徴量を求める目標特徴量算出手段と、
   前記フレーム画像の特徴量が該フレーム画像の前記目標特徴量と略等しくなるように前目的補正値を求める目的補正値算出手段と、
   前記目的補正値を用いて前記フレーム画像を補正する補正手段と
   を有し、
   前記目標特徴量算出手段が、
   前記各フレーム画像から該フレーム画像の画質を補正するための仮補正値を求める仮補正値算出手段と、
   該仮補正値を用いて前記各フレーム画像を補正して得られる仮補正済みフレーム画像の特徴量を算出する仮補正手段と、
   前記カット点らしさが大きい前記フレーム画像ほど前記特徴量の変化を平滑化させる平滑程度が弱くなるように、算出した前記各仮補正済みフレーム画像の特徴量に対し時間方向において平滑化処理を施すことにより、前記各仮補正済みフレーム画像の特徴量を調節したものを目標特徴量として求める特徴量平滑化手段と
   を備えたことを特徴とする画像処理装置。
6. 動画像を構成する複数のフレーム画像の各フレーム画像毎に該フレーム画像の特徴量を算出する特徴量算出手段と、
   前記フレーム画像が前記動画像における場面の切替わりを示すカット点である確率の大きさを示すカット点らしさを前記各フレーム画像に対して求めるカット点らしさ算出手段と、
   前記フレーム画像の特徴量の目標値である目標特徴量を求める目標特徴量算出手段と、
   前記フレーム画像の特徴量が該フレーム画像の前記目標特徴量と略等しくなるように前目的補正値を求める目的補正値算出手段と、
   前記目的補正値を用いて前記フレーム画像を補正する補正手段と
   を有し、
   前記目標特徴量算出手段が、
   前記各フレーム画像から該フレーム画像の画質を補正するための仮補正値を求める仮補正値算出手段と、
   該仮補正値を用いて前記各フレーム画像を補正して得られる仮補正済みフレーム画像の特徴量を算出する仮補正手段と、
   前記カット点らしさが大きい前記フレーム画像ほど前記特徴量の変化を平滑化させる平滑程度が弱くなるように、算出した前記各仮補正済みフレーム画像の特徴量に対し時間方向において平滑化処理を施すことにより、前記各仮補正済みフレーム画像の特徴量を調整したものを仮目標特徴量として求める特徴量平滑化手段と、
   前記仮補正済みフレーム画像の特徴量と該フレーム画像の前記仮目標特徴量とを重み付け加算して得た値を前記フレーム画像の目標特徴量として求める重付加算手段と
   を備えたことを特徴とする画像処理装置。
7. 前記目標特徴量算出手段が、前記動画像を構成する各々のフレーム画像のうちから選択した参照フレーム画像に対してのみ前記目標特徴量の算出を行うものであり、前記参照フレーム画像を用いて得られた各々の前記目標特徴量に対して補間処理を行うことによって前記動画像を構成する各々のフレーム画像の前記目標特徴量を得る補間手段を有することを特徴とする請求項５または６記載の画像処理装置。
8. 前記各手段が、前記動画像を構成するフレーム画像の縮小画像を用いて夫々の処理を行うものであることを特徴とする請求項５から７のいずれか1項記載の画像処理装置。
9. コンピュータに、
   動画像を構成する各フレーム画像の特徴量と、該フレーム画像が前記動画像における場面の切替わりを示すカット点である確率の大きさを示すカット点らしさとを算出し、
   前記フレーム画像の画質を補正するための仮補正値を求め、
   該仮補正値を用いて前記各フレーム画像を補正し、
   補正後の各仮補正済みフレーム画像の特徴量を算出し、
   前記カット点らしさが大きい前記フレーム画像ほど前記特徴量の変化を平滑化させる平滑程度が弱くなるように、算出した前記各仮補正済みフレーム画像の特徴量に対し時間方向において平滑化処理を施すことにより、前記各仮補正済みフレーム画像の特徴量を調節したものを目標特徴量として求め、
   前記フレーム画像の特徴量が該フレーム画像の前記目標特徴量と略等しくなるように前記各フレーム画像を補正する
   ことを実行させるためのプログラム。
10. コンピュータに、
    動画像を構成する各フレーム画像の特徴量と、該フレーム画像が前記動画像における場面の切替わりを示すカット点である確率の大きさを示すカット点らしさとを前記各フレーム画像に対して算出し、
    前記各フレーム画像から該フレーム画像の画質を補正するための仮補正値を求め、
    該仮補正値を用いて前記各フレーム画像を補正し、
    補正後の各仮補正済みフレーム画像の特徴量を算出し、
    算出した前記各仮補正済みフレーム画像の特徴量が時間方向において平滑に変化するように、前記カット点らしさが大きい前記フレーム画像ほど前記特徴量の変化を平滑化させる平滑程度が弱くなるように、前記各仮補正済みフレーム画像の特徴量を調整したものを前記フレーム画像の仮目標特徴量として求め、
    前記仮補正済みフレーム画像の特徴量と該フレーム画像の前記仮目標特徴量とを重み付け加算して得た値を前記フレーム画像の目標特徴量として求め、
    前記フレーム画像の特徴量が該フレーム画像の前記目標特徴量と略等しくなるように前記各フレーム画像を補正する
    ことを実行させるためのプログラム。
11. 前記動画像を構成する各々のフレーム画像のうちから選択した参照フレーム画像に対してのみ前記目標特徴量の算出を行い、
    前記参照フレーム画像の前記目標特徴量に対して補間処理を行うことによって前記動画像を構成する前記各フレーム画像の前記目標特徴量を得ることを特徴とする請求項９または１０記載のプログラム
12. 前記動画像を構成する前記フレーム画像の縮小画像を用いて前記フレーム画像の前記特徴量の算出から前記目的補正値を求めるまでの処理を行うことを特徴とする請求項９から１１のいずれか１項記載のプログラム。

Images