JP5711005B2

JP5711005B2 - フリッカ補正方法および画像処理装置

Info

Publication number: JP5711005B2
Application number: JP2011040148A
Authority: JP
Inventors: 小橋　厚志; 厚志小橋; 彩中島
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2011-02-25
Filing date: 2011-02-25
Publication date: 2015-04-30
Anticipated expiration: 2031-02-25
Also published as: JP2012178685A

Description

本発明は、フリッカ補正方法および画像処理装置に関する。

動画のフリッカ補正の一般的な方法として、過去の複数枚のフレーム画像を平均化して基準画像（フリッカのない画像）を生成し、生成した基準画像とフリッカ補正を行うフレーム画像との比を補正係数として算出し、フリッカ補正を行うフレーム画像に補正係数を乗算するという技術が知られている。また、商用電源の周波数が５０Ｈｚ地域において、蛍光灯照明下で６０ｆｐｓの動画を撮像するときに、３枚のフレーム画像の平均値を基準画像としてフリッカ補正を行う技術が知られている（例えば、特許文献１参照）。

以下、従来知られているフリッカ補正における基準画像の生成原理について説明する。図９は、従来知られている光源の明滅周波数とフレーム画像の撮像タイミングとを示したグラフである。グラフの横軸は時間を示し、縦軸は光源の明るさを示す。なお、光源が一番明るい場合の明るさを１とし、光源が一番暗い場合の明るさを−１としている。また、光源の明るさが、一番明るい場合と一番暗い場合とのちょうど中間の明るさを０としている。また、曲線９００は、光源の明滅周波数（理想状態としてサインカーブとしている）を示している。また、点９０１〜９０３は、フレーム画像の撮像タイミングを示している。

フリッカは、光源の明滅周波数と撮像周波数（フレームレート）のずれが原因で起こる。図示する例では、光源の明滅周波数は１００Ｈｚであり、撮像する動画のフレームレートは６０ｆｐｓである。１フレーム目の撮像は、時間０ｍｓのとき（図中の点９０１）に行っている。このときの光源の明るさはちょうど中央値であるため、撮像したフレーム画像の明るさも中央値となる。また、２フレーム目の撮像は、時間１６．６７ｍｓのとき（図中の点９０２）に行っている。このときの光源の明るさは中央値よりも暗くなっているため、撮像したフレーム画像の明るさは中央値よりも暗くなる。また、３フレーム目の撮像は、時間３３．３３ｍｓのとき（図中の点９０３）に行っている。このときの光源の明るさは中央値よりも明るくなっているため、撮像したフレーム画像の明るさは中央値よりも明るくなる。４フレーム目の撮像は、時間５０ｍｓのとき（図中の点９０４）に行っており、このときの光源の明るさは１フレーム目の撮像と同様に中央値となる。以降、上記のパターンが繰り返される。

上記の１フレーム目〜３フレーム目に撮像した３枚のフレーム画像において、それぞれのフレーム画像における同一の座標の画素毎に、画素値の平均値を算出することで、ちょうど光源の明るさが中央値のときに撮像したフレーム画像と同じ明るさの画像（基準画像）が得られる。すなわち、１フレーム目〜３フレーム目に撮像した３枚のフレーム画像を平均化することで、基準画像を得ることができる。具体的には、１フレーム目に撮像したフレーム画像における座標（１，１）の画素値と、２フレーム目に撮像したフレーム画像における座標（１，１）の画素値と、３フレーム目に撮像したフレーム画像における座標（１，１）の画素値との平均値を算出し、算出した値を基準画像の座標（１，１）の画素値とする。同様に、他の座標の画素値についても平均値を算出して基準画像を生成する。このように、１フレーム目〜３フレーム目に撮像した３枚のフレーム画像を平均化することで、基準画像を生成することができる。

そして、例えば、３フレーム目に撮像したフレーム画像に対してフリッカ補正を行う場合には、基準画像と、３フレーム目に撮像したフレーム画像との画素値の比を補正係数として算出し、３フレーム目に撮像したフレーム画像の画素値に補正係数を乗算することで、３フレーム目に撮像したフレーム画像のフリッカを補正することができる。なお、フリッカ補正を行うフレーム画像を補正対象画像とする。

なお、光源の明滅周波数が１００Ｈｚであり、撮像する動画のフレームレートが６０ｆｐｓである場合に３枚のフレーム画像を用いて基準画像を生成する例を用いて説明したが、光源の明滅周波数や撮像する動画のフレームレートが上述した例と異なる場合においても、複数枚のフレーム画像を用いて基準画像を生成することができる。なお、基準画像を生成するために必要なフレーム画像の枚数は、光源の周波数ｂ（Ｈｚ）と撮像する動画のフレームレートａ（ｆｐｓ）とから算出することができる。具体的には、撮像する動画のフレームレートａ（ｆｐｓ）の逆数１／ａと、光源の明滅周波数ｂ（Ｈｚ）の逆数１／ｂとの最小公倍数を算出する。そして、算出した最小公倍数の分母の値を、フレームレートと同じ値にした場合の分子の値が、基準画像を生成する際に必要な画像の枚数となる。

なお、上述した説明および以降の説明では、説明を容易にするため、露光時間（撮像素子のシャッタが開いている時間）を０としているが、これはもちろん１／６０秒等の、実際に即した時間であって構わない。その場合のフレーム画像の明るさは、撮像素子がグローバルシャッタであれば露光時間内の平均輝度となり、ローリングシャッタであればフレーム画像のライン毎に明るさが変わるが、上述の補正原理には変わりない。

特開２００１−１６５０８号公報

ところが、近年高フレームレートで画像を撮像できる撮像素子が開発され、その特徴を生かしたカメラが開発されている。また、フリッカ補正に用いる基準画像を生成するために必要なフレーム画像の枚数は、光源の明滅周波数と、撮像する動画のフレームレートとの組み合わせによって異なる。一般的に、フレームレートが高くなるほど、フリッカ補正に用いる基準画像を生成するために必要なフレーム画像の枚数は多くなる。そのため、フレームレートが６０ｆｐｓ以上の動画を撮像することが可能な撮像装置においては、３枚以上のフレーム画像が必要になることがある。

基準画像を生成するために必要なフレーム画像の枚数が多くなる例として、例えば光源の明滅周波数が５０Ｈｚであり、撮像する動画のフレームレートが２４０ｆｐｓの場合がある。このときは、基準画像を生成するために、上述した方法では理論上１２枚のフレーム画像が必要となる。従って、このような条件でフリッカ補正を行う場合、１２枚分のフレーム画像を保存するメモリが必要となり、また常に最新の１２枚のフレーム画像の平均化を行って基準画像を生成する必要があるため、各フレーム画像のフリッカ補正処理を行う毎に、１２枚のフレーム画像の平均化を行う時間もしくは演算回路が必要となる。そのため、従来知られているフリッカ補正の方法では、メモリや、回路規模や、処理時間が大きくなるという問題がある。

本発明は、上記事情に鑑みてなされたものであり、高フレームレートの動画を撮像する際にフリッカ補正を行う場合においても、メモリや、回路規模や、処理時間をより小さくすることができるフリッカ補正方法および画像処理装置を提供することを目的とする。

本発明は、算出部が、撮像する動画のフレームレートａ［ｆｐｓ］と光源の明滅周波数ｂ［Ｈｚ］とから、１／ａと１／ｂとの最小公倍数を算出し、算出した最小公倍数の分母の値をａに変換した場合の分子の値に含まれる１を除く最小の約数ｎを算出する算出ステップと、基準画像生成部が、前記最小公倍数を前記明滅周波数ｂ倍した周期をｎ等分したタイミングで撮像したｎ枚のフレーム画像を平均化して基準画像を生成する基準画像生成ステップと、補正部が、前記基準画像に基づいて、撮像した前記動画のフリッカ補正を行う補正ステップと、を含むことを特徴とするフリッカ補正方法である。

また、本発明のフリッカ補正方法において、前記基準画像生成ステップでは、前記ｎ枚のフレーム画像のうち、最も過去に撮像したフレーム画像と同じ明るさのフレーム画像を得たときに、前記基準画像を更新することを特徴とする。

また、本発明のフリッカ補正方法において、前記基準画像生成ステップでは、前記基準画像の更新は、前回の更新から所定の時間以上経過した場合に行うことを特徴とする。

また、本発明は、明滅周波数ｂ［Ｈｚ］の光源下でフレームレートａ［ｆｐｓ］の動画を撮像する撮像部と、前記フレームレートａ［ｆｐｓ］と前記明滅周波数ｂ［Ｈｚ］とから、１／ａと１／ｂとの最小公倍数を算出し、算出した最小公倍数の分母の値をａに変換した場合の分子の値に含まれる１を除く最小の約数ｎを算出する算出部と、前記最小公倍数を前記明滅周波数ｂ倍した周期をｎ等分したタイミングで撮像したｎ枚のフレーム画像を平均化して基準画像を生成する基準画像生成部と、前記基準画像生成部が生成した前記基準画像に基づいて、前記撮像部が撮像した前記動画のフリッカ補正を行う補正部と、を備えることを特徴とする画像処理装置である。

本発明によれば、算出部は、撮像する動画のフレームレートａ［ｆｐｓ］と光源の明滅周波数ｂ［Ｈｚ］とから、１／ａと１／ｂとの最小公倍数を算出し、算出した最小公倍数の分母の値をａに変換した場合の分子の値に含まれる１を除く最小の約数ｎを算出する。また、基準画像生成部は、前記最小公倍数を明滅周波数ｂ倍した周期をｎ等分したタイミングで撮像したｎ枚のフレーム画像を平均化して基準画像を生成する。また、補正部は、基準画像に基づいて、撮像した動画のフリッカ補正を行う。これにより、基準画像を生成する際に用いるフレーム画像を少なくすることができる。そのため、フレーム画像を記憶する記憶部の容量をより少なくすることができ、基準画像を作成するための処理時間、あるいはハードウェア処理における回路リソースをより少なくすることができる。従って、高フレームレートの動画を撮像する際にフリッカ補正を行う場合においても、メモリや、回路規模や、処理時間をより小さくすることができる。

第１の実施形態における光源の明滅周波数とフレーム画像の撮像時間タイミングとを示したグラフである。第１の実施形態における光源の明滅周波数とフレーム画像の撮像時間タイミングとを示したグラフである。第１の実施形態において、基準画像の生成に必要なフレーム画像の枚数と、基準画像を生成するために保存する必要があるフレーム画像の枚数との関係を纏めた図である。第１の実施形態における画像処理装置の構成を示したブロック図である。第１の実施形態における画像処理装置の動作手順を示したフローチャートである。第２の実施形態において、基準画像の生成に必要なフレーム画像の枚数ｎと、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍと、基準画像作成用のフレーム画像の保存周期ｔとの関係を纏めた図である。第２の実施形態における画像処理装置の動作手順を示したフローチャートである。第２の実施形態において、基準画像の生成に必要なフレーム画像の枚数ｎと、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍと、基準画像作成用のフレーム画像の保存周期ｔと、基準画像の更新間隔との関係を纏めた図である。従来知られている光源の明滅周波数とフレーム画像の撮像タイミングとを示したグラフである。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を参照して説明する。初めに、本実施形態におけるフリッカ補正に用いる基準画像の生成原理について説明する。図１は、本実施形態における光源の明滅周波数とフレーム画像の撮像時間タイミングとを示したグラフである。グラフの横軸は時間を示し、縦軸は光源の明るさを示す。なお、光源が一番明るい場合の明るさを１とし、光源が一番暗い場合の明るさを−１としている。また、光源の明るさが、一番明るい場合と一番暗い場合とのちょうど中間の明るさを０としている。また、曲線１００１は、光源の明滅周波数（理想状態としてサインカーブとしている）を示している。また、点１０１〜１１２は、１フレーム目から１２フレーム目のフレーム画像を撮像した時間を示している。

図示する例では、光源の明滅周波数は１００Ｈｚであり、撮像する動画のフレームレートは２４０ｆｐｓである。１フレーム目の撮像は、時間０ｍｓのとき（図中の点１０１）に行っている。このときの光源の明るさはちょうど中央値であるため、撮像したフレーム画像の明るさも中央値となる。また、２フレーム目の撮像は、時間４．１６ｍｓのとき（図中の点１０２）に行っている。このときの光源の明るさは中央値よりも明るくなっているため、撮像したフレーム画像の明るさは中央値よりも明るくなる。また、３フレーム目の撮像は、時間８．３３ｍｓのとき（図中の点１０３）に行っている。このときの光源の明るさは中央値よりも暗くなっているため、撮像したフレーム画像の明るさは中央値よりも暗くなる。４フレーム目以降の撮像時間及び光源の明るさは図示するとおりである。

光源の明滅周波数が１００Ｈｚであり、撮像する動画のフレームレートが２４０ｆｐｓである場合、従来知られているフリッカ補正の方法であれば、中央の明るさの画像である基準画像を生成するために１２枚のフレーム画像が必要となる。なお、必要なフレーム画像の枚数の算出方法は上述したとおりである。

ところが、図１に示したグラフを参照すると、１２枚のフレーム画像を用いることなく中央の明るさの画像を生成することができることが分かる。例えば、１フレーム目（図中の点１０１）に撮像したフレーム画像と７フレーム目（図中の点１０７）に撮像したフレーム画像とを平均化すると、中央の明るさの画像を生成できることが分かる。また、２フレーム目（図中の点１０２）に撮像したフレーム画像と８フレーム目（図中の点１０８）に撮像したフレーム画像とを平均化すると、中央の明るさの画像を生成できることが分かる。同様に、３フレーム目（図中の点１０３）に撮像したフレーム画像と９フレーム目（図中の点１０９）に撮像したフレーム画像との平均化など、２つのフレーム画像を平均化することで、中央の明るさの画像を生成できることが分かる。

これは、「サインカーブを等分した際のサイン値の和は、何等分であっても必ず０になる」という原理で説明できる。本実施形態においては、光源の明滅周波数はサインカーブである。また、フレーム画像を撮像するタイミングは、光源の明滅周期（光源の明滅周波数に基づいた周期）を整数倍した周期を等分する間隔である。そのため、光源の明滅周期を整数倍した周期を等分する間隔で撮像した際のフレーム画像を平均化した画像の明るさは、ちょうど中央の値となる。例えば、サインカーブを１２等分したタイミングで撮影した１２枚のフレーム画像を平均化した画像の明るさも、サインカーブを２等分したタイミングで撮影した２枚のフレーム画像を平均化した画像の明るさも、いずれもサイン値でいうところの０の値、すなわち光源の明暗のちょうど中央の明るさとなる。

上述した特性に基づいて、基準画像の生成に必要なフレーム画像（必要フレーム画像）の枚数および保存する必要なフレーム画像（保存画像）の枚数を算出する方法を一般化すると、以下のとおりとなる。
（１）基準画像の生成に必要なフレーム画像の枚数ｎは、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数の最小の約数（ただし、１は除く）。
（２）基準画像を生成するために保存する必要があるフレーム画像の枚数ｍは、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数から、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数を（１）で算出した基準画像の生成に必要なフレーム画像の枚数ｎで割った値を減算し、補正対象画像の枚数（１枚）を加算した値。

例えば、図１に示したように光源の明滅周波数は１００Ｈｚであり撮像する動画のフレームレートは２４０ｆｐｓである場合、基準画像の生成に必要なフレーム画像の枚数ｎは以下のとおりとなる。
・従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数は「１２」
・従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数の最小の約数（但し、１は除く）は「２」
従って、基準画像の生成に必要なフレーム画像の枚数ｎは「２」である。

また、図１に示したように光源の明滅周波数は１００Ｈｚであり撮像する動画のフレームレートは２４０ｆｐｓである場合、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍは以下のとおりとなる。
・従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数は「１２」
・基準画像の生成に必要なフレーム画像の枚数ｎは「２」
・従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数「１２」を基準画像の生成に必要なフレーム画像の枚数「２」で割った値は「６」
・従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数「１２」から、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数を基準画像の生成に必要なフレーム画像の枚数で割った値「６」を減算した値は「６」
・従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数から、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数を基準画像の生成に必要なフレーム画像の枚数で割った値を減算した値「６」に、補正対象画像の枚数「１」を加算した値は「７」
従って、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍは「７」である。

すなわち、光源の明滅周波数が１００Ｈｚであり、撮像する動画のフレームレートが２４０ｆｐｓである場合、従来の方法を用いて１２フレーム目のフレーム画像のフリッカ補正を行うための基準画像を生成するためには、１フレーム目〜１２フレーム目の１２枚のフレーム画像を全て保存し、１２枚のフレーム画像の平均化を行う必要がある。しかしながら、本実施形態の方法を用いて１２フレーム目のフレーム画像のフリッカ補正を行うための基準画像を生成する場合には、６フレーム目〜１２フレーム目の７枚のフレーム画像のみを保存し、そのうちの２枚のフレーム画像の平均化のみを行えばよい。

なお、基準画像を生成するために必要な２枚のフレーム画像は、光源の明滅周期を５倍した周期を、丁度２等分したタイミングで撮像した２枚のフレーム画像である。この例では、保存しているフレーム画像のうち最も過去に撮像した保存画像（６フレーム目のフレーム画像）と、補正対象画像（１２フレーム目のフレーム画像）との２枚である。これは、前述の「サインカーブを等分した際のサイン値の和は、何等分であっても必ず０になる」という原理に基づいている。

次に、図１に示した例とは異なる例として、光源の明滅周波数が１００Ｈｚであり、撮像する動画のフレームレートが９０ｆｐｓである場合について説明する。図２は、本実施形態における光源の明滅周波数とフレーム画像の撮像時間タイミングとを示したグラフである。グラフの横軸は時間を示し、縦軸は光源の明るさを示す。なお、図１と同様に、光源が一番明るい場合の明るさを１とし、光源が一番暗い場合の明るさを−１としている。また、光源の明るさが、一番明るい場合と一番暗い場合とのちょうど中間の明るさを０としている。また、曲線２００１は、光源の明滅周波数（理想状態としてサインカーブとしている）を示している。また、点２０１〜２０９は、１フレーム目から９フレーム目のフレーム画像を撮像した時間を示している。

図示する例では、光源の明滅周波数は１００Ｈｚであり、撮像する動画のフレームレートは９０ｆｐｓである。１フレーム目の撮像は、時間０ｍｓのとき（図中の点２０１）に行っている。このときの光源の明るさはちょうど中央値であるため、撮像したフレーム画像の明るさも中央値となる。また、２フレーム目の撮像は、時間１１．１１ｍｓのとき（図中の点２０２）に行っている。このときの光源の明るさは中央値よりも明るくなっているため、撮像したフレーム画像の明るさは中央値よりも明るくなる。また、３フレーム目の撮像は、時間２２．２２ｍｓのとき（図中の点２０３）に行っている。このときの光源の明るさは２フレーム目の撮像時よりも明るくなっているため、撮像したフレーム画像の明るさは２フレーム目のフレーム画像よりも明るくなる。４フレーム目以降の撮像時間及び光源の明るさは図示するとおりである。

この場合においても、上述した方法と同様の方法を用いて、基準画像の生成に必要なフレーム画像の枚数ｎと、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍを算出することができる。

具体的には、図２に示したように光源の明滅周波数は１００Ｈｚであり撮像する動画のフレームレートは９０ｆｐｓである場合、基準画像の生成に必要なフレーム画像の枚数ｎは以下のとおりとなる。
・従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数は「９」
・従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数の最小の約数（但し、１は除く）は「３」
従って、基準画像の生成に必要なフレーム画像の枚数ｎは「３」である。

また、図２に示したように、光源の明滅周波数は１００Ｈｚであり、撮像する動画のフレームレートは９０ｆｐｓである場合、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍは以下のとおりとなる。
・従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数は「９」
・基準画像の生成に必要なフレーム画像の枚数ｎは「３」
・従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数「９」を基準画像の生成に必要なフレーム画像の枚数「３」で割った値は「３」
・従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数「９」から、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数を基準画像の生成に必要なフレーム画像の枚数で割った値「３」を減算した値は「６」
・従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数から、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数を基準画像の生成に必要なフレーム画像の枚数で割った値を減算した値「６」に、補正対象画像の枚数「１」を加算した値は「７」
従って、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍは「７」である。

すなわち、光源の明滅周波数が１００Ｈｚであり、撮像する動画のフレームレートが９０ｆｐｓである場合、従来の方法で、９フレーム目のフレーム画像のフリッカ補正を行うための基準画像を生成するためには、１フレーム目〜９フレーム目の９枚のフレーム画像を全て保存し、９枚のフレーム画像の平均化を行う必要がある。しかしながら、本実施形態の方法で、９フレーム目のフレーム画像のフリッカ補正を行うための基準画像を生成する場合には、３フレーム目〜９フレーム目の７枚のフレーム画像のみを保存し、そのうちの３枚のフレーム画像の平均化のみを行えばよい。

なお、基準画像を生成するために必要な３枚のフレーム画像は、光源の明滅周期を１０倍した周期を、丁度３等分したタイミングで撮像した３枚のフレーム画像である。この例では、保存しているフレーム画像のうち最も過去に撮像した保存画像（３フレーム目のフレーム画像）と、補正対象画像（９フレーム目のフレーム画像）と、最も過去に撮像した保存画像と補正対象画像との丁度中間のタイミングで撮像した保存画像（６フレーム目のフレーム画像）との３枚である。これは、前述の「サインカーブを等分した際のサイン値の和は、何等分であっても必ず０になる」という原理に基づいている。

図３は、本実施形態において、光源の明暗周波数が１００Ｈｚである場合に、様々なフレームレートの動画を撮影する場合における、基準画像の生成に必要なフレーム画像の枚数と、基準画像を生成するために保存する必要があるフレーム画像の枚数との関係を纏めた図である。図示する例では、表形式で纏められており、列ごとに、撮影する動画のフレームレートと、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数と、本実施形態の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数と、従来の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数と、本実施形態の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数とを関連付けて示している。

例えば、フレームレートが１５ｆｐｓの動画を撮影する場合、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数は「３枚」であり、本実施形態の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数は「３枚」であり、従来の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数は「３枚」であり、本実施形態の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数は「３枚」であることを示している。

また、フレームレートが２４０ｆｐｓの動画を撮影する場合、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数は「１２枚」であり、本実施形態の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数は「２枚」であり、従来の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数は「１２枚」であり、本実施形態の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数は「７枚」であることを示している。他のフレームレートの動画を撮影する場合については図示するとおりである。

図示するとおり、高フレームレート（例えば、フレームレートが９０ｆｐｓ以上）の動画を撮影する場合、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数よりも、本実施形態の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数の方が少ない。また、高フレームレートの動画を撮影する場合、従来の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数よりも、本実施形態の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数の方が少ない。

次に、本実施形態における画像処理装置の構成について説明する。図４は本実施形態における画像処理装置の構成を示したブロック図である。図示する例では、画像処理装置１は、入力部１１と、必要枚数算出部１２（算出部）と、撮像部１３と、一時記憶部１４と、基準画像生成部１５と、ゲイン算出部１６と、補正部１７と、記憶部１８と、制御部１９とを備える。

入力部１１は、撮像する動画のフレームレートを必要枚数算出部１２と撮像部１３とに対して入力する。また、入力部１１は、光源の明滅周波数を必要枚数算出部１２に対して入力する。例えば、入力部１１は、スイッチやテンキー等を備え、ユーザから、撮像する動画のフレームレートと光源の明滅周波数との入力を受け付ける。そして、入力部１２は、ユーザから入力を受け付けた、撮像する動画のフレームレートを必要枚数算出部１２と撮像部１３とに対して入力し、光源の明滅周波数を必要枚数算出部１２に入力する。また、例えば、撮像する動画のフレームレートと光源の明滅周波数とは予め定められており、入力部１１は、予め定められている撮像する動画のフレームレートを必要枚数算出部１２と撮像部１３とに対して入力し、予め定められている光源の明滅周波数を必要枚数算出部１２に入力する。

必要枚数算出部１２は、入力部１１から入力された、撮像する動画のフレームレートと光源の明滅周波数とに基づいて、基準画像を生成するために必要なフレーム画像の枚数と、基準画像を生成するために保存する必要があるフレーム画像の枚数とを算出する。撮像部１３は、入力部１１から入力された、撮像する動画のフレームレートに基づいて動画を撮影する。一時記憶部１４は、撮像部１３が撮像した動画のフレーム画像を一時記憶する。基準画像生成部１５は、一時記憶部１４が一時記憶しているフレーム画像を用いて基準画像を生成する。ゲイン算出部１６は、撮像部１３が撮像した補正対象画像と、基準画像生成部１５が生成した基準画像とを用いて、補正対象画像を補正するためのゲイン値を算出する。補正部１７は、ゲイン算出部１６が算出したゲイン値を用いて、補正対象画像のフリッカを補正する。記憶部１８は、補正部１７が補正したフレーム画像を動画として記憶する。制御部１９は、画像処理装置１が備える各部の制御を行う。

次に、画像処理装置１の動作手順について説明する。図５は、本実施形態における画像処理装置１の動作手順を示したフローチャートである。
（ステップＳ１０１）ユーザは、動画を撮影する前に、画像処理装置１の入力部１１に、撮像する動画のフレームレートと光源の明滅周波数とを入力する。入力部１１は、ユーザに入力された、撮像する画像のフレームレートを必要枚数算出部１２と撮像部１３とに対して入力し、光源の明滅周波数を必要枚数算出部１２に対して入力する。その後、ステップＳ１０２の処理に進む。

（ステップＳ１０２）必要枚数算出部１２は、ステップＳ１０１の処理で入力された、撮像する動画のフレームレートと光源の明滅周波数とに基づいて、基準画像を生成するために必要なフレーム画像の枚数ｎと、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍとを算出する。また、必要枚数算出部１２は、算出した、基準画像を生成するために必要なフレーム画像の枚数ｎと、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍとを基準画像生成部１５と制御部１９とに対して入力する。その後、ステップＳ１０３の処理に進む。
（ステップＳ１０３）ユーザは、動画の撮影を開始させる際に、入力部１１が備える撮影開始ボタンを押下する。制御部１９は、入力部１１が備える撮影開始ボタンが押下された場合、撮像部１３に動画の撮影を開始させる。撮像部１３は、制御部１９の制御に基づいて、ステップＳ１０１で入力された、撮影する動画のフレームレートで指定されるフレームレートでの動画の撮影を開始する。その後、ステップＳ１０４の処理に進む。

（ステップＳ１０４）ユーザは、動画の撮影を終了させる際に、入力部１１が備える撮影終了ボタンを押下する。制御部１９は、入力部１１が備える撮影終了ボタンが押下されていない場合は、動画撮影を継続すると判定してステップＳ１０５の処理に進む。また、制御部１９は、入力部１１が備える撮影終了ボタンが押下された場合は、動画撮影を継続させないと判定し、撮像部１３に動画の撮影を終了させる。撮像部１３は、制御部１９の制御に基づいて動画の撮影を終了する。その後、処理を終了する。

（ステップＳ１０５）撮像部１３は、１フレーム分のフレーム画像（補正対象画像）を撮像する。その後、ステップＳ１０６の処理に進む。
（ステップＳ１０６）制御部１３は、ステップＳ１０５の処理で撮像部１３が撮像した１フレーム分のフレーム画像を一時記憶部１４に記憶させる。その後、ステップＳ１０７の処理に進む。

（ステップＳ１０７）基準画像生成部１５は、一時記憶部１４が記憶している、基準画像を生成するために保存する必要があるフレーム画像ｍ枚のうち、基準画像を生成するために必要なフレーム画像ｎ枚を平均化し、基準画像を生成する。その後、ステップＳ１０８の処理に進む。なお、一時記憶部１４が記憶しているフレーム画像がｍ枚未満である場合には、ステップＳ１０４の処理に戻る。
（ステップＳ１０８）ゲイン算出部１６は、ステップＳ１０５の処理で撮像部１３が撮像した補正対象画像と、ステップＳ１０７の処理で基準画像生成部１５が生成した基準画像とを用いて、補正対象画像のフリッカを補正するためのゲイン値を算出する。その後、ステップＳ１０９の処理に進む。

（ステップＳ１０９）補正部１７は、ステップＳ１０８の処理でゲイン算出部１６が算出したゲイン値を用いて、ステップＳ１０５の処理で撮像部１３が撮像した補正対象画像のフリッカを補正する。その後、ステップＳ１１０の処理に進む。
（ステップＳ１１０）制御部１９は、ステップＳ１０９の処理で補正部１７が補正した補正対象画像を動画として記憶部１８に記憶させる。その後、ステップＳ１１１の処理に進む。
（ステップＳ１１１）制御部１９は、一時記憶部１４が記憶しているフレーム画像のうち、必要のないフレーム画像を削除する。その後、ステップＳ１０４の処理に戻る。

次に、図５を用いて説明した画像処理装置１の動作手順の具体例について、光源の明滅周波数が１００Ｈｚであり、撮像する動画のフレームレートが２４０ｆｐｓである場合を例に説明する。まず、ステップＳ１０１の処理で、入力部１１は、フレームレート「２４０ｆｐｓ」を必要枚数算出部１２と撮像部１３とに入力し、光源の明滅周波数「１００Ｈｚ」を必要枚数算出部１２に入力する。続いて、ステップＳ１０２の処理で、必要枚数算出部１２は、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍ「７」と、基準画像を生成するために必要なフレーム画像の枚数ｎ「２」とを算出する。

続いて、ステップＳ１０３の処理で、撮像部１３はフレームレート「２４０ｆｐｓ」の動画の撮影を開始する。続いて、ステップＳ１０４の処理で、制御部１９が動画撮影を継続すると判定した場合には、ステップＳ１０５の処理で、撮像部１３は１フレームのフレーム画像（補正対象画像）を撮像し、ステップＳ１０６の処理で、一時記憶部１４に記憶させる。

続いて、ステップＳ１０７の処理で、基準画像を生成するために保存する必要があるフレーム画像「７枚」の中から、基準画像を生成するために必要なフレーム画像「２枚」の画像の平均画像、すなわち基準画像を生成する。基準画像を生成するために必要なフレーム画像は、最も過去に撮像した保存画像と、補正対象画像との２枚である。この２枚のフレーム画像の選択は、前述のサインカーブを等分するという原理に基づいており、基準画像を生成するために必要なフレーム画像として、光源の明滅周期を５倍した周期を、丁度２等分したタイミングで撮像した２枚のフレーム画像を選択している。

続いて、ステップＳ１０８の処理で、基準画像を補正対象画像で除算し、補正対象画像のフリッカを補正するためのゲイン値を算出する。続いて、ステップＳ１０９の処理で、補正対象画像に対して、ステップＳ１０９の処理で算出したゲイン値を乗算してフリッカ補正を行う。続いて、ステップＳ１１０の処理で、フリッカ補正を行った補正対象画像を動画として記憶部１８に記憶させる。続いて、ステップＳ１１１の処理で、一時記憶部１４が記憶しているうち、最も過去に撮像した保存画像を一時記憶部１４から削除する。その後、撮影終了ボタンが押下されるまで、ステップＳ１０５からステップＳ１１１の処理を繰り返し実行する。

次に、図５を用いて説明した画像処理装置１の動作手順の具体例について、光源の明滅周波数が１００Ｈｚであり、撮像する動画のフレームレートが９０ｆｐｓである場合を例に説明する。まず、ステップＳ１０１の処理で、入力部１１は、フレームレート「９０ｆｐｓ」を必要枚数算出部１２と撮像部１３とに入力し、光源の明滅周波数「１００Ｈｚ」を必要枚数算出部１２に入力する。続いて、ステップＳ１０２の処理で、必要枚数算出部１２は、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍ「７」と、基準画像を生成するために必要なフレーム画像の枚数ｎ「３」とを算出する。

続いて、ステップＳ１０３の処理で、撮像部１３はフレームレート「９０ｆｐｓ」の動画の撮影を開始する。続いて、ステップＳ１０４の処理で、制御部１９が動画撮影を継続すると判定した場合には、ステップＳ１０５の処理で、撮像部１３は１フレームのフレーム画像（補正対象画像）を撮像し、ステップＳ１０６の処理で、一時記憶部１４に記憶させる。

続いて、ステップＳ１０７の処理で、基準画像を生成するために保存する必要があるフレーム画像「７枚」の中から、基準画像を生成するために必要なフレーム画像「３枚」の画像の平均画像、すなわち基準画像を生成する。このときの基準画像を生成するために必要なフレーム画像は、最も過去に撮像した保存画像と、補正対象画像と、最も過去に撮像した保存画像と補正対象画像との丁度中間のタイミングで撮像した保存画像との３枚である。この３枚のフレーム画像の選択は、前述のサインカーブを等分するという原理に基づいており、基準画像を生成するために必要なフレーム画像として、光源の明滅周期を１０倍した周期を、丁度３等分したタイミングで撮像した３枚のフレーム画像を選択している。

ステップＳ１０８〜ステップＳ１１１の処理は、光源の明滅周波数が１００Ｈｚであり、撮像する動画のフレームレートが２４０ｆｐｓである場合における処理と同様の処理である。また、撮影終了ボタンが押下されるまで、ステップＳ１０５からステップＳ１１１の処理を繰り返し実行する。

上述した方法で画像のフリッカ補正をおこなうことで、基準画像の作成に用いるフレーム画像を少なくすることができる。そのため、フレーム画像を記憶する記憶部の容量をより少なくすることができ、基準画像を作成するための処理時間、あるいはハードウェア処理における回路リソースをより少なくすることができる。すなわち、本実施形態における画像処理装置および画像処理方法は、高フレームレートの動画を撮像する際にフリッカ補正を行う場合においても、メモリや回路規模や処理時間をより小さくすることができる。

なお、いずれのフレームレートであっても、ステップＳ１０８の処理においては、フレーム画像の画素ごとのゲイン値を求めてもよく、フレーム画像の１ラインごとのゲイン値を求めてもよく、フレーム画像全体で１つのゲイン値を求めてもよい。そして、ステップＳ１０９の処理において、ステップＳ１０８でゲイン値を求めた単位毎に、補正対象画像のフリッカを補正するようにしてもよい。

例えば、撮像素子がグローバルシャッタ方式で撮像するものであれば、１枚のフレーム画像全体を撮像した際の光源の明暗は一定であるため、フレーム画像全体で１つのゲイン値を求めてフリッカを補正するのが望ましい。この場合は、ステップＳ１０７で得られた基準画像の画面全体の平均値と補正画像の画面全体の平均値を求め、それをもとに一つの補正ゲイン値を算出すればよい。また、撮像素子がローリングシャッタ方式で撮像するものであれば、ライン毎に撮像した際の光源の明暗が異なるため、フレーム画像の１ライン毎にゲイン値を求めてフリッカを補正するのが望ましい。この場合は、基準画像の１ライン毎の平均値と、補正画像の１ライン毎の平均値を求め、それぞれのライン毎の補正ゲイン値を算出すればよい。

また、本実施形態では、ステップＳ１０７で用いる複数枚画像はすべて同じ被写体が撮影されている前提で説明してきたが、実際の撮影シーンにおいては、手振れなどのカメラの移動や被写体全体が移動することによる画像全体の位置ずれ、あるいは被写体の一部が動くことによる画像の一部分の不一致が起きる可能性がある。このような場合においても正確な補正ゲイン値を算出するためには、たとえば、カメラなどで一般的に使われる手振れ補正機能をつかうことで画像全体の位置ずれを補正した上で基準画像を生成する、あるいは動体検出機能を使って被写体の部分部分の動きを検出し、動きのある部分は上述の説明におけるライン毎もしくは画面全体の平均値算出の際に使用しなければよい。

また、本実施形態では、動画撮影時のフリッカ補正の動作フローについて説明したが、フリッカ補正は明るさを補正する処理であるため、補正後の画像は、明るさ以外は補正前の画像となんら変わるところがない。従って、フリッカ補正以外の本実施形態で開示していない画像処理と組み合わせることは、容易に可能である。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では、１枚の補正対象画像毎に基準画像を生成しているが、本実施形態では、複数枚の補正対象画像に対して、１つの基準画像を生成する。すなわち、基準画像の更新を複数フレーム毎に行う。これにより、更に、フレーム画像を記憶する記憶部の容量をより少なくすることができ、基準画像を作成するための処理時間、あるいはハードウェア処理における回路リソースをより少なくすることができる。なお、本実施形態における画像処理装置１は、第１の実施形態における画像処理装置１と同様の構成である。

次に、本実施形態において、基準画像を生成するタイミングについて図１を参照して説明する。上述した通り、図１は、光源の明滅周波数が１００Ｈｚであり、撮像する動画のフレームレートが２４０ｆｐｓである場合における、光源の明滅周波数とフレーム画像の撮像時間タイミングとを示したグラフである。図示する例において、補正対象画像が７フレーム目のフレーム画像である場合、１フレーム目のフレーム画像と７フレーム目のフレーム画像との平均化を行って基準画像を生成する。これは第１の実施形態と同様である。

次に、補正対象画像が８フレーム目のフレーム画像である場合、第１の実施形態では、２フレーム目のフレーム画像と８フレーム目のフレーム画像との平均化を行って基準画像を生成する。しかしながら、本実施形態では、７フレーム目のフレーム画像のフリッカ補正を行うために生成した基準画像を、８フレーム目のフレーム画像のフリッカ補正に用いる。なお、本実施形態では、７フレーム目のフレーム画像のフリッカ補正を行うために生成した基準画像を、７フレーム目〜１２フレーム目のフレーム画像の補正に用いる。そして、７フレーム目のフレーム画像と同じ明るさのフレーム画像（１３フレーム目のフレーム画像）を取得した場合、新たに基準画像を生成する（基準画像を更新する）。

新たに基準画像を生成するタイミングを、前回基準画像を生成した際に取得したフレーム画像と同じ明るさのフレーム画像を取得した際とした場合に、基準画像の生成に必要なフレーム画像（必要フレーム画像）の枚数および保存する必要なフレーム画像（保存画像）の枚数を算出する方法を一般化すると、以下のとおりとなる。
（１）基準画像の作成に必要なフレーム画像の枚数ｎは、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数の最小の約数（ただし、１は除く）である。
（２）基準画像を生成するために保存する必要があるフレーム画像の枚数ｍは、（１）の基準画像の作成に必要なフレーム画像の枚数ｎと同じ枚数である。また、基準画像作成用のフレーム画像の保存周期ｔ（フレーム画像のうち、基準画像作成用に保存する必要があるフレーム画像が出現する周期）は、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数を、基準画像の作成に必要なフレーム画像の枚数ｎで割った値である。

また、図１に示したように光源の明滅周波数は１００Ｈｚであり撮像する動画のフレームレートは２４０ｆｐｓである場合、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍは以下のとおりとなる。
・基準画像の生成に必要なフレーム画像の枚数ｎは「２」
従って、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍは「２」である。

また、図１に示したように光源の明滅周波数は１００Ｈｚであり撮像する動画のフレームレートは２４０ｆｐｓである場合、基準画像作成用のフレーム画像の保存周期ｔは以下のとおりとなる。
・従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数は「１２」
・基準画像の作成に必要なフレーム画像の枚数ｎは「２」
・従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数「１２」を、・基準画像の作成に必要なフレーム画像の枚数「２」で割った値は「６」
従って、フレーム画像の保存周期ｔは「６」である。すなわち、フレーム画像を６枚取得する毎に、１枚のフレーム画像を保存する。

図６は、本実施形態において、光源の明暗周波数が１００Ｈｚである場合に、様々なフレームレートの動画を撮影する場合における、基準画像の生成に必要なフレーム画像の枚数ｎと、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍと、基準画像作成用のフレーム画像の保存周期ｔとの関係を纏めた図である。図示する例では、表形式で纏められており、列ごとに、撮影する動画のフレームレートと、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数ｎと、本実施形態の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数ｎと、従来の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数ｍと、本実施形態の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数ｍと、従来の方法を用いて基準画像を生成する場合での基準画像作成用のフレーム画像の保存周期ｔと、本実施形態の方法を用いて基準画像を生成する場合での基準画像作成用のフレーム画像の保存周期ｔとを関連付けて示している。

例えば、フレームレートが１２０ｆｐｓの動画を撮影する場合、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数ｎは「６枚」であり、本実施形態の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数ｎは「２枚」であり、従来の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数ｍは「６枚」であり、本実施形態の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数ｍは「２枚」であり、従来の方法を用いて基準画像を生成する場合での基準画像作成用のフレーム画像の保存周期ｔは「１」であり、本実施形態の方法を用いて基準画像を生成する場合での基準画像作成用のフレーム画像の保存周期ｔは「３」であることを示している。

また、フレームレートが２４０ｆｐｓの動画を撮影する場合、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数ｎは「１２枚」であり、本実施形態の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数ｎは「２枚」であり、従来の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数ｍは「１２枚」であり、本実施形態の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数ｍは「２枚」であり、従来の方法を用いて基準画像を生成する場合での基準画像作成用のフレーム画像の保存周期ｔは「１」であり、本実施形態の方法を用いて基準画像を生成する場合での基準画像作成用のフレーム画像の保存周期ｔは「６」であることを示している。他のフレームレートの動画を撮影する場合については図示するとおりである。

図示するとおり、高フレームレート（例えば、フレームレートが９０ｆｐｓ以上）の動画を撮影する場合、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数ｎよりも、本実施形態の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数ｎの方が少ない。また、高フレームレートの動画を撮影する場合、従来の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数ｍよりも、本実施形態の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数ｍの方が少ない。また、高フレームレートの動画を撮影する場合、従来の方法を用いて基準画像を生成する場合での基準画像作成用のフレーム画像の保存周期ｔよりも、本実施形態の方法を用いて基準画像を生成する場合での基準画像作成用のフレーム画像の保存周期ｔの方が大きい。

次に、画像処理装置１の動作手順について説明する。図７は、本実施形態における画像処理装置１の動作手順を示したフローチャートである。
（ステップＳ２０１）ユーザは、動画を撮影する前に、画像処理装置１の入力部１１に、撮像する動画のフレームレートと光源の明滅周波数とを入力する。入力部１１は、ユーザに入力された、撮像する画像のフレームレートを必要枚数算出部１２と撮像部１３とに対して入力し、光源の明滅周波数を必要枚数算出部１２に対して入力する。また、制御部１９は、基準画像作成用のフレーム画像を保存するタイミングを判定するために用いる撮像回数Ｔの値を０に初期化する。その後、ステップＳ２０２の処理に進む。

（ステップＳ２０２）必要枚数算出部１２は、ステップＳ２０１の処理で入力された、撮像する動画のフレームレートと光源の明滅周波数とに基づいて、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍと、基準画像を生成するために必要なフレーム画像の枚数ｎと、基準画像作成用のフレーム画像の保存周期ｔとを算出する。また、必要枚数算出部１２は、算出した、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍと、基準画像を生成するために必要なフレーム画像の枚数ｎと、基準画像作成用のフレーム画像の保存周期ｔとを基準画像生成部１５と制御部１９とに対して入力する。その後、ステップＳ２０３の処理に進む。
（ステップＳ２０３）ユーザは、動画の撮影を開始させる際に、入力部１１が備える撮影開始ボタンを押下する。制御部１９は、入力部１１が備える撮影開始ボタンが押下された場合、撮像部１３に動画の撮影を開始させる。撮像部１３は、制御部１９の制御に基づいて、ステップＳ２０１で入力された、撮影する動画のフレームレートで指定されるフレームレートでの動画の撮影を開始する。その後、ステップＳ２０４の処理に進む。

（ステップＳ２０４）ユーザは、動画の撮影を終了させる際に、入力部１１が備える撮影終了ボタンを押下する。制御部１９は、入力部１１が備える撮影終了ボタンが押下されていない場合は、動画撮影を継続すると判定してステップＳ２０５の処理に進む。また、制御部１９は、入力部１１が備える撮影終了ボタンが押下された場合は、動画撮影を継続させないと判定し、撮像部１３に動画の撮影を終了させる。撮像部１３は、制御部１９の制御に基づいて動画の撮影を終了する。その後、処理を終了する。

（ステップＳ２０５）撮像部１３は、１フレーム分のフレーム画像（補正対象画像）を撮像する。その後、ステップＳ２０６の処理に進む。
（ステップＳ２０６）制御部１３は、撮像回数Ｔの値に１を加算する。その後、ステップＳ２０７の処理に進む。
（ステップＳ２０７）制御部１３は、撮像回数Ｔの値と、基準画像作成用のフレーム画像の保存周期ｔの値とが同じ値であるか否かを判定する。撮像回数Ｔの値と、基準画像作成用のフレーム画像の保存周期ｔの値とが同じ値であると制御部１３が判定した場合にはステップＳ２０８の処理に進み、それ以外の場合にはステップＳ２１２の処理に進む。

（ステップＳ２０８）制御部１３は、ステップＳ２０５の処理で撮像部１３が撮像した１フレーム分のフレーム画像を一時記憶部１４に記憶させる。その後、ステップＳ２０９の処理に進む。
（ステップＳ２０９）基準画像生成部１５は、一時記憶部１４が記憶している、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍのうち、基準画像を生成するために必要なフレーム画像の枚数ｎを平均化し、基準画像を生成する。また、基準画像生成部１５は、生成した基準画像を一時記憶部１４に記憶させる。なお、一時記憶部１４が既に基準画像を記憶している場合は、基準画像生成部１５が新たに生成した基準画像に更新する。その後、ステップＳ２１０の処理に進む。なお、一時記憶部１４が記憶しているフレーム画像がｍ枚未満である場合には、ステップＳ２１１の処理に進む。

（ステップＳ２１０）制御部１９は、一時記憶部１４が記憶しているフレーム画像のうち、必要のないフレーム画像を削除する。その後、ステップＳ２１１の処理に進む。
（ステップＳ２１１）制御部１３は、撮像回数Ｔの値を０に初期化する。その後、ステップＳ２１２の処理に進む。

（ステップＳ２１２）ゲイン算出部１６は、ステップＳ２０５の処理で撮像部１３が撮像した補正対象画像と、一時記憶部１４が記憶している基準画像とを用いて、補正対象画像のフリッカを補正するためのゲイン値を算出する。その後、ステップＳ２１３の処理に進む。
（ステップＳ２１３）補正部１７は、ステップＳ２１２の処理でゲイン算出部１６が算出したゲイン値を用いて、ステップＳ２０５の処理で撮像部１３が撮像した補正対象画像のフリッカを補正する。その後、ステップＳ２１４の処理に進む。
（ステップＳ２１４）制御部１９は、ステップＳ２１３の処理で補正部１７が補正した補正対象画像を動画として記憶部１８に記憶させる。その後、ステップＳ２０４の処理に戻る。

次に、図７を用いて説明した画像処理装置１の動作手順の具体例について、光源の明滅周波数が１００Ｈｚであり、撮像する動画のフレームレートが２４０ｆｐｓである場合を例に説明する。まず、ステップＳ２０１の処理で、入力部１１は、フレームレート「２４０ｆｐｓ」を必要枚数算出部１２と撮像部１３とに入力し、光源の明滅周波数「１００Ｈｚ」を必要枚数算出部１２に入力する。また、撮像回数Ｔの値を０に初期化する。続いて、ステップＳ２０２の処理で、必要枚数算出部１２は、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍ「２」と、基準画像を生成するために必要なフレーム画像の枚数ｎ「２」と、基準画像作成用のフレーム画像の保存周期ｔ「６」とを算出する。

続いて、ステップＳ２０３の処理で、撮像部１３はフレームレート「２４０ｆｐｓ」の動画の撮影を開始する。続いて、ステップＳ２０４の処理で、制御部１９が動画撮影を継続すると判定した場合には、ステップＳ２０５の処理で、撮像部１３は１フレームのフレーム画像（補正対象画像）を撮像し、ステップＳ２０６の処理で、制御部１９は撮像回数Ｔの値に１を加算する。続いて、ステップＳ２０７の処理で、制御部１９は、撮像回数Ｔの値と、基準画像作成用のフレーム画像の保存周期ｔの値とが同じ値であるか否かを判定する。撮像回数Ｔの値と、基準画像作成用のフレーム画像の保存周期ｔの値とが同じ値であると制御部１３が判定した場合にはステップＳ２０８の処理に進み、それ以外の場合にはステップＳ２１２の処理に進む。

ステップＳ２０８の処理では、制御部１９は、ステップＳ２０５の処理で撮像部１３が撮像したフレーム画像を、一時記憶部１４に記憶させる。続いて、ステップＳ２０９の処理で、基準画像を生成するために必要なフレーム画像「２枚」の画像の平均画像、すなわち基準画像を生成し、一時記憶部１４に記憶させる。なお、基準画像を生成するために必要なフレーム画像「２枚」は、基準画像を生成するために保存する必要があるフレーム画像「２枚」と同一である。続いて、ステップＳ２１０の処理で、一時記憶部１４が記憶しているうち、最も過去に撮像した保存画像を一時記憶部１４から削除する。続いて、ステップＳ２１１の処理で、撮像回数Ｔの値を０に初期化する。

ステップＳ２１２の処理では、前回ステップＳ２０９の処理を実行した際に一時記憶部１４に記憶させた基準画像を補正対象画像で除算し、補正対象画像のフリッカを補正するためのゲイン値を算出する。続いて、ステップＳ２１３の処理で、補正対象画像に対して、ステップＳ２１２の処理で算出したゲイン値を乗算してフリッカ補正を行う。続いて、ステップＳ２１４の処理で、フリッカ補正を行った補正対象画像を動画として記憶部１８に記憶させる。その後、撮影終了ボタンが押下されるまで、ステップＳ２０４からステップＳ２１４の処理を繰り返し実行する。

上述した通り、本実施形態における補正対象画像のフリッカ補正の方法では、基準画像を１フレーム毎に生成する必要が無いため、基準画像を生成するために必要なフレーム画像を少なくすることができる。そのため、フレーム画像を記憶する記憶部の容量をより少なくすることができ、基準画像を作成するための処理時間、あるいはハードウェア処理における回路リソースをより少なくすることができる。また、本実施形態のフリッカ補正の方法を用いてフリッカ補正を行う装置においては、基準画像を作成するための処理次男を少なくすることができるため、消費電力を更に少なくすることができる。

なお、上述したフリッカ補正の方法では、補正対象画像のフリッカ補正に、補正対象画像と時間的に離れた基準画像を用いることになるため、例えば、被写体が動いている場合などに、基準画像と補正画像とに差が生じ、適切なフリッカ補正ゲインが得られなくなることが懸念される。しかし、本実施形態で想定している高フレームレートでの撮像システムにおいては、複数フレーム毎に基準画像を生成したとしても、基準画像の更新周期は、フレームレートが６０ｆｐｓの動画を撮像する際での１フレームの撮像間隔とほぼ同じ間隔となる。そのため、複数フレーム毎に基準画像を生成することは、大きな弊害はないと考えられる。

図８は、本実施形態において、光源の明暗周波数が１００Ｈｚである場合に、様々なフレームレートの動画を撮影する場合における、基準画像の生成に必要なフレーム画像の枚数ｎと、基準画像を生成するために保存する必要があるフレーム画像の枚数ｍと、基準画像作成用のフレーム画像の保存周期ｔと、基準画像の更新間隔との関係を纏めた図である。

図示する例では、表形式で纏められており、列ごとに、撮影する動画のフレームレートと、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数ｎと、本実施形態の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数ｎと、従来の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数ｍと、本実施形態の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数ｍと、従来の方法を用いて基準画像を生成する場合での基準画像作成用のフレーム画像の保存周期ｔと、本実施形態の方法を用いて基準画像を生成する場合での基準画像作成用のフレーム画像の保存周期ｔと、基準画像の更新間隔とを関連付けて示している。

例えば、フレームレートが１２０ｆｐｓの動画を撮影する場合、従来の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数ｎは「６枚」であり、本実施形態の方法を用いて基準画像を生成する場合に必要なフレーム画像の枚数ｎは「２枚」であり、従来の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数ｍは「６枚」であり、本実施形態の方法を用いて基準画像を生成する場合に保存する必要があるフレーム画像の枚数ｍは「２枚」であり、従来の方法を用いて基準画像を生成する場合での基準画像作成用のフレーム画像の保存周期ｔは「１」であり、本実施形態の方法を用いて基準画像を生成する場合での基準画像作成用のフレーム画像の保存周期ｔは「３」であり、基準画像の更新間隔は２５ｍｓであることを示している。他のフレームレートの動画を撮影する場合については図示するとおりである。

図示するとおり、高フレームレート（例えば、フレームレートが９０ｆｐｓ〜４８０ｆｐｓ）の動画を撮影する場合、基準画像作成用のフレーム画像の保存周期ｔ（基準画像の作成周期）が大きくなるが、この場合における基準画像の更新間隔は２５ｍｓ〜３３ｍｓである。また、フレームレートが１５ｆｐｓ〜６０ｆｐｓの動画を撮影する場合における基準画像の更新間隔は１７ｍｓ〜６７ｍｓである。このことより、高フレームレートの動画を撮影する場合に、複数フレーム毎に基準画像を生成する方法でフリッカ補正を行った場合においても、基準画像の更新間隔は大きく変わらないことがわかる。

なお、本実施形態では、撮影する動画のフレームレートと光源の明滅周波数とに基づいて、基準画像作成用のフレーム画像の保存周期ｔ（基準画像の更新周期）を自動的に求めたが、これに限らず、基準画像作成用のフレーム画像の保存周期ｔをさらに長い周期とすることも可能である。例えば、被写体の動きが遅い場合、基準画像作成用のフレーム画像の保存周期ｔをさらに長くすることが可能である。基準画像作成用のフレーム画像の保存周期ｔをさらに長くする場合、基準画像作成用のフレーム画像の保存周期ｔを、上述した計算で求めた値の整数倍の値に設定すればよい。これにより、処理時間および消費電力をさらに低減させることが可能となる。

以上、この発明の第１の実施形態および第２の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１・・・画像処理装置、１１・・・入力部、１２・・・必要枚数算出部、１３・・・撮像部、１４・・・一時記憶部、１５・・・基準画像生成部、１６・・・ゲイン算出部、１７・・・補正部、１８・・・記憶部、１９・・・制御部

Claims

算出部が、撮像する動画のフレームレートａ［ｆｐｓ］と光源の明滅周波数ｂ［Ｈｚ］とから、１／ａと１／ｂとの最小公倍数を算出し、算出した最小公倍数の分母の値をａに変換した場合の分子の値に含まれる１を除く最小の約数ｎを算出する算出ステップと、
基準画像生成部が、前記最小公倍数を前記明滅周波数ｂ倍した周期をｎ等分したタイミングで撮像したｎ枚のフレーム画像を平均化して基準画像を生成する基準画像生成ステップと、
補正部が、前記基準画像に基づいて、撮像した前記動画のフリッカ補正を行う補正ステップと、
を含むことを特徴とするフリッカ補正方法。
前記基準画像生成ステップでは、前記ｎ枚のフレーム画像のうち、最も過去に撮像したフレーム画像と同じ明るさのフレーム画像を得たときに、前記基準画像を更新する
ことを特徴とする請求項１に記載のフリッカ補正方法。
前記基準画像生成ステップでは、前記基準画像の更新は、前回の更新から所定の時間以上経過した場合に行う
ことを特徴とする請求項２に記載のフリッカ補正方法。
明滅周波数ｂ［Ｈｚ］の光源下でフレームレートａ［ｆｐｓ］の動画を撮像する撮像部と、
前記フレームレートａ［ｆｐｓ］と前記明滅周波数ｂ［Ｈｚ］とから、１／ａと１／ｂとの最小公倍数を算出し、算出した最小公倍数の分母の値をａに変換した場合の分子の値に含まれる１を除く最小の約数ｎを算出する算出部と、
前記最小公倍数を前記明滅周波数ｂ倍した周期をｎ等分したタイミングで撮像したｎ枚のフレーム画像を平均化して基準画像を生成する基準画像生成部と、
前記基準画像生成部が生成した前記基準画像に基づいて、前記撮像部が撮像した前記動画のフリッカ補正を行う補正部と、
を備えることを特徴とする画像処理装置。