JP7714362B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

ＲＡＷ形式の動画（以下、ＲＡＷ動画とする）を撮影可能なカメラを用いて撮影を行い、得られたＲＡＷ動画に対して各種の編集を行うことができる。ＲＡＷ動画を構成する各フレームには、カメラのイメージセンサが生成した画像信号に関する情報がそのまま記録されている。ＲＡＷ動画は、カメラやパーソナルコンピュータ等を用いて現像処理を行うことで、画質を自由に調整することができる。

一方、巡回型ノイズリダクション処理を用いて、動画の各フレームからノイズを低減する技術が用いられている。巡回型ノイズリダクション処理は、現像処理されたフレーム（画像）とメモリに記憶された１フレーム期間以上前のフレーム（画像）との相関を利用してノイズを低減する技術である。

関連する技術として、特許文献１および２の技術が提案されている。特許文献１の技術は、フレーム相関性によるフレームノイズリダクションを行う。特許文献２の技術は、第１の動画と第２の動画とを続けて再生する際に、シーンが持続している判定される期間だけ、第１の動画の後続動画と第２の動画の先行動画に対してシーンチェンジエフェクトを掛けている。

特開平１１－２１５４０３号公報 特開２０１３－２３９９５７号公報

上述したように、巡回型ノイズリダクション処理は、１フレーム期間以上前のフレームとの相関を利用してノイズを低減する技術である。従って、動画を構成する各フレームのうち先頭フレームよりも前のフレームがないため、先頭フレームに対して巡回型ノイズリダクション処理を施すことができない。このため、先頭フレームの画質が低下するという問題がある。特許文献１の技術は、先頭フレームに対するノイズ低減を行うものではない。また、特許文献２は、巡回型ノイズリダクション処理に関するものではない。かかる問題は、ＲＡＷ動画以外の動画にも生じ得るものである。

そこで、本発明は、動画の先頭フレームに対して巡回型ノイズリダクション処理の効果が得られるようにすることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、動画を取得する手段と、前記動画を再生する際に、再生時の先頭フレームよりも後の１以上のフレームを用いて、前記先頭フレームに対してノイズリダクション処理し、前記先頭フレーム以外のフレームに対して当該フレームよりも前の１以上のフレームを用いて巡回型ノイズリダクション処理を施す手段と、を備える。

本発明によれば、動画の先頭フレームに対して巡回型ノイズリダクション処理の効果が得られるようにすることができる。

撮像装置の構成の一例を示すブロック図である。 動画ファイルの構成の一例を示す図である。 第１実施形態におけるＲＡＷ動画再生処理の流れの一例を示すフローチャートである。 ＲＡＷ動画ファイルを先頭から再生した場合の一例を示す図である。 ＲＡＷ動画ファイルを途中から再生した場合の一例を示す図である。 長秒露光で記録されたＲＡＷ動画ファイルを再生した場合の一例を示す図である。 動画の結合および結合した動画の再生の一例を示す図である。 第２実施形態の結合動画を再生する際の処理の流れの一例を示すフローチャートである。 振り子を撮影したときのプロキシ動画ファイル、および再生時のＲＡＷ動画ファイルの一例を示す図である。 第３実施形態における制御部の構成の一例を示す図である。 第３実施形態におけるＲＡＷ動画再生処理の流れの一例を示すフローチャートである。 第４実施形態における画像信号処理回路および制御部の構成の一例を示す図である。 第４実施形態におけるＲＡＷ動画再生処理の流れの一例を示すフローチャートである。 第４実施形態における制御部の構成の一例を示す図である。 第５実施形態におけるＲＡＷ動画記録処理のフローチャートの一例を示す図である。 ＲＡＷ動画記録処理の第１の例を示す図である。 ＲＡＷ動画記録処理の第２の例を示す図である。 動画選択画面の一例を示す図である。

以下、本発明の各実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施形態に記載されている構成によって限定されることはない。

＜第１実施形態＞
図１は、撮像装置１００の構成の一例を示すブロック図である。撮像装置１００は、レンズ１０１、レンズ駆動部１０２、メカシャッタ１０３（メカニカルシャッタ）、絞り１０４およびシャッタ・絞り駆動部１０５（メカニカルシャッタ・絞り駆動部）を含む。撮像装置１００は、撮像素子１０６、画像信号処理回路１０７、第１メモリ部１０８、制御部１０９および記録媒体制御Ｉ／Ｆ部１１０を含む。撮像装置１００は、表示部１１１、記録媒体１１２、外部Ｉ／Ｆ部１１３、第２メモリ部１１４および操作部１１５を含む。「Ｉ／Ｆ」はインタフェースを表す。

レンズ１０１は、レンズ駆動部１０２によりズームやフォーカス等が駆動制御される。レンズ１０１からの被写体像は、絞り１０４にて適切な光量に調整され、撮像素子１０６上の撮像面に結像する。撮像素子１０６上の撮像面に結像した被写体像は、光電変換される。光電変換された被写体像は、ゲイン調整処理やアナログ信号からデジタル信号への変換を行うＡ／Ｄ変換処理等が行われる。アナログ信号から変換されたデジタル信号は、例えば、Ｒ、Ｇｒ、Ｇｂ、Ｂの画像信号として画像信号処理回路１０７に送られる。画像信号処理回路１０７は、現像処理やノイズを軽減するローパスフィルタ処理、シェーディング処理、ホワイトバランス（ＷＢ）処理、巡回型ノイズリダクション処理等の各種の画像信号処理を行う。画像信号処理回路１０７は、さらに各種の補正や画像データの圧縮等を行う。

メカシャッタ１０３および絞り１０４は、シャッタ・絞り駆動部１０５により駆動制御される。制御部１０９は、撮像装置１００の全体の制御および各種演算を行う。第１メモリ部１０８は、画像データを記憶する。記録媒体制御Ｉ／Ｆ部１１０は、記録媒体１１２に対する画像データの記録および画像データの読み出しを行う。表示部１１１は、画像データや各種情報の表示を行う。記録媒体１１２は、半導体メモリ等の着脱可能な記録媒体であり、画像データや各種情報を記録する。外部Ｉ／Ｆ部１１３は、外部コンピュータ等の外部の装置と通信を行うためのインタフェースである。第２メモリ部１１４は、制御部１０９での演算結果を記憶する。

制御部１０９は、例えばＣＰＵ等により実現される。制御部１０９の機能を果たすＣＰＵが所定のプログラムを実行することにより、各実施形態の制御が実現される。制御部１０９の機能は、所定の回路により実現されてもよい。制御部１０９は、画像処理装置として機能する。第１メモリ部１０８と第２メモリ部１１４とは、図１のように別個のメモリであってもよいし、１つのメモリであってもよい。

操作部１１５は、ユーザによる操作が可能な部材である。操作部１１５を介してユーザが指示した撮像装置１００の駆動条件に関する情報は、制御部１０９に送られる。制御部１０９は、送られてきた情報に基づき、撮像装置１００の全体の制御を行う。操作部１１５と表示部１１１とは一体的なタッチパネルディスプレイであってもよい。制御部１０９は、巡回フレーム保持制御部１１６および巡回フレーム決定部１１７を含む。巡回フレーム保持制御部１１６は、巡回型ノイズリダクション処理に使用する入力フレームの画像データを第１メモリ部１０８に保持させる。以下、巡回型ノイズリダクション処理を、巡回ＮＲ処理と称することがある。巡回フレーム決定部１１７は、フレーム番号によって巡回ＮＲ処理に使用するフレームの画像データを決定する。巡回ＮＲ処理に使用するフレームの画像データは、フレーム番号以外に基づき決定されてもよい。

図２は、動画ファイルの構成の一例を示す図である。動画ファイルは、各種のボックスを含む。ｆｔｙｐボックス２００は、ファイル形式の互換を示す。ｍｏｏｖボックス２０１は、再生に必要な管理情報やサムネイル画像が格納されたボックスである。ＸＭＰボックス２０２は、ＸＭＰ（Ｅｘｔｅｎｓｉｂｉｌｅ Ｍｅｔａｄａｔａ Ｐｌａｔｆｏｒｍ）が格納されるボックスであり、任意のメタデータを設定することが可能である。ｕｕｉｄボックス２０３は、任意の情報を追加できるボックスである。ｕｕｉｄボックス２０３には、ＲＡＷ動画の場合、プレビュー用の画像２２０が格納される。ｕｕｉｄボックス２０３には、巡回用ＲＡＷデータを格納することもできる。ｍｄａｔボックス２０４には、符号化された映像データ、音声データ、タイムコードデータおよびフレーム単位のメタデータが格納される。

ｍｏｏｖボックス２０１の構成について説明する。ｍｏｏｖボックス２０１に含まれるｕｕｉｄボックス２１３には、動画の再生時に表示するサムネイル画像２１８や再生時に使用される管理情報２１９等の任意の情報を追加して格納することができる。ｔｒａｃｋボックス２０５～２０８は、映像データや音声データ、タイムコードデータ、フレーム単位のメタデータ等に関する管理情報が格納されたボックスである。ｓｔｓｚボックス２０９～２１２は、映像データや音声データ、タイムコードデータ、フレーム単位のメタデータ等の符号化単位ごとのデータサイズを格納するボックスである。ｓｔｃｏボックス２１４～２１７には、ｔｒａｃｋボックス２０５～２０８に格納されている、映像データや音声データ、タイムコードデータ、フレーム単位のメタデータのｍｄａｔ２０４の格納位置を示す情報が格納されている。各データは１つ以上の符号化単位で構成されるチャンクと呼ばれる単位でｍｄａｔボックス２０４に格納される。

ｍｄａｔボックス２０４の構成について説明する。メタデータ２３０～２４１は、ｍｄａｔボックス２０４に格納された、映像データや音声データ、タイムコードデータ、フレーム単位等のデータである。各データは、ｓｔｃｏボックスに記載されている値よりチャンク単位でアクセス可能である。例えば、メタデータ２３０（ＣＶ１）は、ｓｔｃｏボックス２１４のＣＶ１から辿ることが可能である。動画ファイルの構成は、図２の例には限定されない。

図３は、第１実施形態におけるＲＡＷ動画再生処理の流れの一例を示すフローチャートである。各実施形態で示されるフローチャートの処理は、制御部１０９が所定のプログラムを実行することにより実現される。図３のフローチャートの処理は、例えば、ユーザが操作部１１５を用いて、ＲＡＷ動画を選択し、再生開始を指示することにより開始する。このとき、制御部１０９は、記録媒体制御Ｉ／Ｆ部１１０を制御して、記録媒体１１２から選択されたＲＡＷ動画ファイルの読み出しを開始し、ＲＡＷ動画ファイルを取得する。そして、制御部１０９は、読み出されたＲＡＷ動画ファイルについて、フレームごとに図３のフローチャートの処理を実行する。

図３のフローチャートの処理は、撮像装置１００の制御部１０９が実行する例を示しているが、図３のフローチャートの処理の実行主体は、撮像装置１００以外の装置であってもよい。例えば、外部の装置（例えば、パーソナルコンピュータ）が、記録媒体１１２または外部Ｉ／Ｆ部１１３を介して、ＲＡＷ動画ファイルを取得する。そして、外部の装置が、取得したＲＡＷ動画ファイルについて図３のフローチャートの処理を実行してもよい。この場合、外部の装置は制御部１０９（画像処理装置）としての機能を有する。

Ｓ３０１で、巡回フレーム決定部１１７は、再生する動画を構成する複数のフレームのうち現在のフレームが先頭フレームＮ（Ｎは自然数）であるかを判定する。制御部１０９は、Ｓ３０１でＹｅｓと判定した場合（先頭フレームである場合）、処理をＳ３０２に進める。制御部１０９は、Ｓ３０１でＮｏと判定した場合（先頭フレームでない場合）、処理をＳ３０８に進める。

Ｓ３０２で、制御部１０９は、巡回ＮＲの強度設定が「強」であるかを判定する。制御部１０９は、Ｓ３０２でＹｅｓと判定した場合（巡回ＮＲの強度設定が「強」である場合）、処理をＳ３０３に進める。Ｓ３０３で、制御部１０９は、先頭フレームＮから２つ後のフレーム（Ｎ＋２）をＲＡＷ動画ファイルから読み出し、読み出したフレームを画像信号処理回路１０７で現像処理させる。Ｓ３０４で、制御部１０９は、巡回フレーム保持制御部１１６を介して、現像処理されたフレーム（フレーム（Ｎ＋２））を第１メモリ部１０８に保持させる。

Ｓ３０５で、制御部１０９は、先頭フレームＮの１つ後のフレーム（Ｎ＋１）を動画ファイルから読み出し、読み出したフレームを画像信号処理回路１０７で現像処理させる。Ｓ３０６で、制御部１０９は、Ｓ３０４で第１メモリ部１０８に保持されたフレーム（Ｎ＋２）を用いて、Ｓ３０５で現像処理されたフレーム（Ｎ＋１）に対して、巡回ＮＲ処理を施す。連続する２つのフレームを用いて行われる巡回ＮＲ処理が行われることにより、時間方向における各種のノイズを低減させることができる。Ｓ３０７で、制御部１０９は、巡回フレーム保持制御部１１６を介して、巡回ＮＲ処理が施されたフレーム（Ｎ＋１）を第１メモリ部１０８に保持させる。

Ｓ３０８で、制御部１０９は、現在のフレームＮに対して、画像信号処理回路１０７で現像処理させる。Ｓ３０９で、制御部１０９は、第１メモリ部１０８に保持されているフレーム（Ｎ＋１）を用いて、Ｓ３０８で現像処理された現在のフレームＮに対して、巡回ＮＲ処理を施す。Ｓ３１０で、制御部１０９は、巡回ＮＲ処理を施したフレームＮの画像データを表示部１１１に表示させる。Ｓ３１１で、制御部１０９の巡回フレーム保持制御部１１６は、現在のフレームＮに対して巡回ＮＲ処理を施した画像データを、第１メモリ部１０８に保持させる。

制御部１０９は、Ｓ３０２でＮｏと判定した場合（巡回ＮＲの強度設定が「強」でない場合）、処理をＳ３１２に進める。Ｓ３１２で、制御部１０９は、現在のフレームＮ（先頭フレーム）の１つ後のフレーム（Ｎ＋１）をＲＡＷ動画ファイルから読み出し、読み出したフレームを画像信号処理回路１０７現像処理させる。Ｓ３１３で、制御部１０９は、巡回フレーム保持制御部１１６を介して、現像処理されたフレーム（Ｎ＋１）を第１メモリ部１０８に保持させる。そして、制御部１０９は、処理をＳ３０８に進める。そして、制御部１０９は、Ｓ３０８以降の処理を行う。

以上のように、制御部１０９は、先頭フレームＮ（現在のフレームＮ）に対して、逆再生したフレームを用いて、巡回ＮＲ処理を施す。巡回ＮＲ処理は、現在のフレームと直前のフレームとのフレームの相関性を利用してノイズを低減する手法である。このため、先頭フレームに対して巡回ＮＲ処理を施す際には、直前のフレームに対応するフレームが必要になるが、ＲＡ動画を再生する際に、先頭フレームよりも前のフレームは、ＲＡＷ動画ファイルにはない。そこで、制御部１０９は、先頭フレームＮより後の１以上のフレームを用いて、巡回ＮＲ処理を施す。これにより、動画を再生する際に、先頭フレームから巡回ＮＲ処理を施すことができるため、先頭フレームの画質が向上する。これに伴い、動画全体の画質も向上する。

図４は、ＲＡＷ動画ファイルを先頭から再生した場合の一例を示す図である。図４では、ＲＡＷ動画ファイルの再生フレーム（先頭フレーム）はフレーム８（Ｎ＝８）である。制御部１０９は、巡回ＮＲの強度設定が「弱」である場合、先頭フレームの次のフレームであるフレーム９を読み出し、矢印４０１で表されるように、フレーム９に対して現像処理を施す。フレーム９の画像データは、第１メモリ部１０８に保持される。

次に、制御部１０９は、先頭フレーム８に対応する画像データを読み出し、矢印４０２で表されるように、現像処理を施す。つまり、ＲＡＷ動画ファイルから読み出されたフレーム９の現像処理は、先頭フレーム８よりも前に行われる。制御部１０９は、矢印４０３で表されるように、現像処理が施された先頭フレーム８に対して、第１メモリ部１０８に保持されたフレーム９を用いて、巡回ＮＲ処理を施す。これにより、巡回ＮＲ処理が施されたフレーム８の画像データが生成される。生成されたフレーム８の画像データは、矢印４０４で表されるように、表示画像として表示部１１１に表示される。また、巡回ＮＲ処理が施されたフレーム８の画像データは、第１メモリ部１０８に保持される。

先頭フレームの次のフレーム以降については、制御部１０９は、フレームごとに、現在のフレームの画像に対して、直前の巡回ＮＲ処理が施されたフレームの画像を用いて、矢印４０５で表されるように、巡回ＮＲ処理を施す。図４の例では、２番目のフレーム（フレーム９）について、制御部１０９は、現在のフレーム（フレーム９）と直前のフレーム（フレーム８）とを用いて、巡回ＮＲ処理を施す。これにより、先頭フレームに続く各フレームに対して、順次、巡回ＮＲ処理を施すことができる。

図５は、ＲＡＷ動画ファイルを途中から再生した場合の一例を示す図である。図５の例では、ＲＡＷ動画ファイルの途中のフレーム２０からＲＡＷ動画が再生される。制御部１０９は、巡回ＮＲの強度設定が「弱」である場合、フレーム２０の直前のフレームであるフレーム１９を読み出し、矢印５０１で表されるように、フレーム１９に対して現像処理を施す。フレーム１９の画像データは、第１メモリ部１０８に保持される。

また、制御部１０９は、フレーム２０を再生フレーム１として読み出し、矢印５０２で表されるように、フレーム２０に現像処理を施す。制御部１０９は、矢印５０３で表されるように、現像処理が施されたフレーム２０に対して、第１メモリ部１０８に保持されたフレーム１９を用いて、巡回ＮＲ処理を施す。これにより、巡回ＮＲ処理が施されたフレーム２０の画像データが生成される。巡回ＮＲ処理が施されたフレーム２０の画像データは、矢印５０４で表されるように、表示画像として表示部１１１に表示される。また、巡回ＮＲ処理が施されたフレーム２０の画像データは、第１メモリ部１０８に保持される。

フレーム２０以降の各フレームについては、図４の例と同様の処理が行われる。制御部１０９は、フレームごとに、現像処理がされた現在のフレームに対して、直前の巡回ＮＲ処理が施されたフレームを用いて、矢印５０５で表されるように、巡回ＮＲ処理を施す。以上により、ＲＡＷ動画ファイルの途中から再生された場合でも、順次、途中再生されたフレームを先頭フレームとして、巡回ＮＲ処理を施すことができる。

図６は、長秒露光で記録されたＲＡＷ動画ファイルを再生した場合の一例を示す図である。図６の例では、長秒露光で４フレーム分の同じ画像データがＲＡＷ動画ファイルに記録されているものとする。制御部１０９は、巡回ＮＲの強度設定が「弱」である場合、フレーム８の直前のフレームとして、フレーム８よりも長秒露光で蓄積される４フレームの分だけ後のフレーム１２を読み出す。つまり、制御部１０９は、露光時間に応じて蓄積されるフレーム数より後の１以上のフレームを、巡回ＮＲ処理に用いる。制御部１０９は、矢印６０１で表されるように、フレーム１２に対して現像処理を施す。巡回ＮＲ処理が施されたフレーム１２の画像データは、第１メモリ部１０８に保持される。

また、制御部１０９は、フレーム８を読み出し、矢印６０２で表されるように、現像処理を施す。このとき、制御部１０９は、読み出されたフレーム８を再生フレーム１とする。制御部１０９は、矢印６０３で表されるように、現像処理が施されたフレーム８に対して、第１メモリ部１０８に保持されたフレーム１２を用いて、巡回ＮＲ処理を施す。これにより、巡回ＮＲ処理が施されたフレーム８の画像データが生成される。巡回ＮＲ処理が施されたフレーム８の画像データは、矢印４０４で表されるように、表示画像として表示部１１１に表示される。巡回ＮＲ処理が施されたフレーム８の画像データは、第１メモリ部１０８に保持される。

フレーム９以降の各フレームについての巡回ＮＲ処理は、図４および図５の例と同様である。以上により、長秒露光で記録されたＲＡＷ動画ファイルを再生する場合でも、先頭フレームからの各フレームに対して、順次、巡回ＮＲ処理を施すことができる。

図４～図６の例は、巡回ＮＲの強度設定が「弱」である場合について説明したが、巡回ＮＲの強度設定が「強」である場合にも、図４～図６の例は適用され得る。また、図３のフローチャートの例において、巡回ＮＲの強度設定が「強」である場合、逆再生するフレーム数は２つであるが、逆再生するフレーム数（巡回ＮＲ処理を適用するフレームの数）は３つ以上であってもよい。この場合、逆再生するフレーム数に応じて、Ｓ３０３～Ｓ３０７の処理が繰り返し行われる。逆再生するフレーム数が多くなり過ぎると、動画再生が開始されるまでの時間が長くなる。そこで、逆再生するフレーム数には一定の制限が設けられてもよい。

制御部１０９は、表示部１１１に動画選択画面を表示させてもよい。図１８は、動画選択画面の一例を示す図である。動画選択画面は、複数の動画ファイルから再生を行う動画ファイルを選択する画面である。図１８（Ａ）の動画選択画面１８０１は、カーソル１８０２、カーソル移動部１８０３、確定ボタン１８０４およびキャンセルボタン１８０５を含む。ユーザは、操作部１１５を用いて、再生する動画を選択できる。カーソル１８０２は、複数の動画のうち選択中の動画を示す。ユーザは、操作部１１５を用いて、カーソル移動部１８０３を上下に操作することで、再生する動画を変更することができる。確定ボタン１８０４は、再生する動画の選択を確定するためのボタンである。確定ボタン１８０４が押下されるまで、再生する動画の選択は確定しない。キャンセルボタン１８０５は、動画選択画面１８０１から他の画面に遷移させるためのボタンである。

図１８（Ｂ）の動画選択画面１８５１は、サムネイルの一覧から、再生する動画を選択するための画面である。図１８（Ｂ）の動画選択画面１８５１は、サムネイル領域１８５２、確定ボタン１８５３およびキャンセルボタン１８５４を含む。サムネイル領域１８５２は、複数の動画のサムネイルを表示する領域である。確定ボタン１８５３は、図１８（Ａ）の確定ボタン１８０４と同じである。キャンセルボタン１８５４は、図１８（Ａ）のキャンセルボタン１８０５と同じである。ユーザは、操作部１１５を用いて、複数のサムネイルの中から、再生する動画を選択できる。図１８（Ｂ）の例では、動画２が選択中である。

図１８（Ａ）の動画選択画面１８０１で、動画が選択された後、確定ボタン１８０４が押下されることで、選択中の動画の選択が確定する。制御部１０９は、確定ボタン１８０４が押下される前において、選択中の動画の先頭フレームに対して、上述したような先頭フレームよりも後の１以上のフレームの現像処理を実施させてもよい。例えば、図１８（Ａ）の例では、動画２が選択されているが、選択の確定はされていない。このとき、制御部１０９は、選択中の動画２の先頭フレームの次のフレームの現像処理を実施させる。これにより、動画２の先頭フレームの次のフレームの画像が生成される。確定ボタン１８０４が押下され、選択が確定したときには、動画２の先頭フレームの次のフレームは現像処理がされているため、巡回ＮＲ処理に要する時間を短縮化できる。つまり、動画の選択が確定されると、迅速に、動画の再生が開始される。

また、確定ボタン１８０４が押下される前に、操作部１１５を用いた操作により、選択中の動画が動画２から動画３に変更されたとする。この場合、制御部１０９は、動画３について、上記の動画２に対して行った処理と同様の処理を行う。これにより、任意の動画の選択がされた際に、先頭フレームに対して巡回ＮＲ処理を施した動画の再生を迅速に行うことができる。以上の点は、図１８（Ｂ）の動画選択画面１８５１も同様である。制御部１０９は、選択中の動画の先頭フレームに対して巡回ＮＲ処理を施すための現像処理を行うか否かを、巡回ＮＲの強度設定、つまり逆再生するフレーム数に応じて、変更してもよい。

上述したように、制御部１０９は、動画再生時において先頭フレームに対して巡回ＮＲ処理を施す際に、先頭フレームよりも後の１以上のフレームを用いる。これにより、動画を構成する各フレームのうち先頭フレームに対しても、巡回ＮＲ処理を施すことができるため、先頭フレームについてもノイズ低減処理の効果が得られる。ここで、ＲＡＷ動画と同時にプロキシ動画（ＲＡＷ動画よりも画素数やサイズが小さい動画）が編集用の動画として記録されることが多い。ＲＡＷ動画の先頭フレームに巡回ＮＲ処理が施されていないと、ＲＡＷ動画と同時に記録されたプロキシ動画よりも、ノイズリダクション効果が低くなる。しかしながら、制御部１０９は、上述したように、先頭フレームよりも後の１以上のフレームを用いて、先頭フレームに対して巡回ＮＲ処理を施している。このため、プロキシ動画と同程度の巡回ＮＲ処理を施したＲＡＷ動画の再生が実現できる。

以上の例は、ＲＡＷ動画が処理対象となる例について説明したが、処理対象はＲＡＷ動画以外の動画であってもよい。例えば、巡回ＮＲ処理が施されていない画像や画像フォーマット（ＲＡＷやＹＵＶ等）で記録された動画ファイルを再生する際に、先頭フレームに対して巡回ＮＲ処理を施す場合にも適用できる。また、上述した制御部１０９による処理は、動画ファイルに対して所定の編集処理を行う場合にのみ適用されてもよい。所定の編集処理としては、動画ファイルの分割や結合、動画ファイルの記録形式や解像度やフレームレートを変換して記録するトランスコード、ＲＡＷ動画の１フレームを切り出して静止画を記録できる静止画切り出し等がある。この場合、図３のフローチャートの処理は、編集処理を行う場合にのみ実行される。以上の点は、各実施形態で共通である。

＜第２実施形態＞
第２実施形態について説明する。第２実施形態では、制御部１０９は、複数の動画ファイルを結合し、結合した動画ファイルを再生する。図７は、動画の結合および結合した動画の再生の一例を示す図である。図７の例では、動画１、動画２、動画３の順に各動画が結合されている。本実施形態では、制御部１０９は、結合動画に対して、第１実施形態と同様の処理を施す。

制御部１０９は、動画１の先頭フレーム１－１に対して巡回ＮＲ処理を施すために、動画１の次のフレーム１－２の現像処理を先に行う。同様に、制御部１０９は、動画２の先頭フレーム２－１に対して巡回ＮＲ処理を施すために、動画２の次のフレーム２－２の現像処理を先に行う。また、制御部１０９は、動画３の先頭フレーム３－１に対して巡回ＮＲ処理を施すために、動画３の次のフレーム３－２の現像処理を先に行う。巡回ＮＲ処理を施すために用いられるフレーム１－２、２－２および３－２は、表示部１１１に表示されない。

ここで、動画１と動画２との結合箇所まで再生されたときに、動画２の先頭フレーム２－１に対して巡回ＮＲ処理を施すために、次のフレーム２－２に対する現像処理が行われる場合を想定する。この場合、フレーム２－２に現像処理を施すことに起因して、動画の再生が一時停止する。第２実施形態では、制御部１０９は、結合動画のフレーム２－２および３－２が再生される前に、結合フレーム２－２および３－２に対して施す現像処理を完了させておく。これにより、結合動画が再生されたとしても、一時停止することなく、第１実施形態と同様の効果を得る制御が行われる。

図８は、第２実施形態の結合動画を再生する際の処理の流れの一例を示すフローチャートである。Ｓ８０１で、制御部１０９は、再生するＲＡＷ動画が結合動画であるかを判定する。制御部１０９は、Ｓ８０１でＹｅｓと判定した場合（再生する動画が結合動画である場合）、処理をＳ８０２に進める。Ｓ８０２で、制御部１０９は、結合動画の各フレームに対する現像処理を、結合動画の再生周期の半分以下の速度で実行可能であるかを判定する。制御部１０９は、Ｓ８０２でＹｅｓと判定した場合（結合動画の再生周期の半分以下の速度で現像処理を実行可能な場合）、処理をＳ８０３に進める。

Ｓ８０３で、制御部１０９は、先頭フレームに対する巡回ＮＲ処理が完了した時点で結合動画の再生を開始する。結合動画のうち最初の動画の先頭フレームに対して上述した巡回ＮＲ処理が施される。そして、結合動画が再生される。Ｓ８０４で、制御部１０９は、結合動画を再生しながら、結合動画の再生速度の倍速で結合箇所のフレームの次のフレームに現像処理を施して、結合箇所のフレームについての巡回ＮＲ処理を行う。つまり、制御部１０９は、結合動画が再生されている空き時間の間に、結合箇所のフレーム（結合された動画の先頭フレーム）に対して予め巡回ＮＲ処理を施して、巡回ＮＲ処理の準備を完了させる。

ここで、Ｓ８０４の処理は、Ｓ８０２でＹｅｓと判定された場合に実行される。このため、最初に再生される動画が２つのフレームにより構成されている場合でも、次の動画の先頭フレーム（結合箇所のフレーム）が再生される際には巡回ＮＲ処理の準備が完了している。従って、結合箇所のフレームが再生されるときには、当該フレームの巡回ＮＲ処理の準備は完了しているため、再生中の結合動画が一時停止されることはない。制御部１０９は、Ｓ８０４の処理の後、図８のフローチャートの処理を終了させる。

制御部１０９は、Ｓ８０２でＮｏと判定した場合（動画の再生周期の半分以下の速度で現像処理が実行可能でない場合）、処理をＳ８０５に進める。Ｓ８０５で、制御部１０９は、先頭フレームおよび全ての結合箇所のフレームの巡回ＮＲ処理を完了させる。Ｓ８０５の処理が行われることで、結合動画の再生が開始する前に、先頭フレームおよび各結合箇所のフレームについての巡回ＮＲ処理の準備が完了する。Ｓ８０６で、制御部１０９は、結合動画の再生を開始する。結合動画のうち結合箇所のフレームが再生されるときには、当該フレームの巡回ＮＲ処理の準備は完了しているため、再生中の結合動画が一時停止されることはない。制御部１０９は、Ｓ８０６の処理の後、図８のフローチャートの処理を終了させる。

制御部１０９は、Ｓ８０１でＮｏと判定した場合（再生する動画が結合動画でない場合）、処理をＳ８０７に進める。この場合、動画の結合がされていないため、結合箇所のフレームの巡回ＮＲ処理を考慮する必要がない。Ｓ８０７で、制御部１０９は、再生する動画のうち先頭フレームに巡回ＮＲ処理を施す。Ｓ８０７の処理は、第１実施形態で説明した処理と同様である。これにより、先頭フレームについての巡回ＮＲ処理の準備が完了する。Ｓ８０８で、動画の再生を開始する。制御部１０９は、Ｓ８０８の処理の後、図８のフローチャートの処理を終了させる。

上述した例では、Ｓ８０４で、制御部１０９は、結合箇所のフレーム（次の動画の先頭フレーム）の次のフレームの現像処理を予め行い、巡回ＮＲ処理を施した画像（巡回ＮＲ処理後画像）を生成する。この点、制御部１０９は、結合箇所のフレームの次のフレームの現像処理を予め行っておき、結合箇所のフレームの現像処理および巡回ＮＲ処理についてはリアルタイムで実施してもよい。

＜第３実施形態＞
次に、第３実施形態について説明する。第３実施形態では、生成されるＲＡＷ動画が生成される際の先頭フレームに対して施される巡回ＮＲ処理の強度を弱めて、先頭フレームに発生する残像現象を低減させる。

図９は、振り子を撮影したときのプロキシ動画ファイル、および再生時のＲＡＷ動画ファイルの一例を示す図である。プロキシ動画ファイルの７番目～９番目のフレームが、フレーム９０４～９０６である。ＲＡＷ動画ファイルについては、８番目のフレームが先頭フレーム９０２であり、９番目のフレームが先頭フレーム９０２の次のフレーム９０３であるとする。プロキシ動画ファイルのフレーム９０４～９０６が順に再生されることで、振り子は左から右に大きく動く動画が表示される。

ここで、制御部１０９が、ＲＡＷ動画ファイルの先頭フレーム９０２に対して、第１実施形態で説明したように、次のフレーム９０３を先に現像処理してフレーム９０１とし、フレーム９０１を用いて巡回ＮＲ処理を施した場合を想定する。フレーム９０１は、フレーム９０３と同じ画像であり、巡回ＮＲ処理に用いられるが、表示はされない。ここで、フレーム９０１は、振り子の球体が右方向（Ｂの方向）に大きく振れている。先頭フレーム９０２に対して、フレーム９０１を用いて巡回ＮＲ処理が施された場合、振り子の球体の残像がＢ側に生じる。残像は、フレーム間の処理により、フレーム９０１にある球体の領域と、先頭フレーム９０２の同一領域とで差分を取ることに起因して生じる現象である。

一方、プロキシ動画ファイルについては、フレーム９０５に対しては、フレーム９０４を用いて巡回ＮＲ処理が施される。フレーム９０４は、球体が左方向（Ａの方向）に大きく振れている。このため、フレーム９０４を用いてフレーム９０５に対して巡回ＮＲ処理が施されると、球体の残像がＡ側に生じる。つまり、ＲＡＷ動画ファイルとプロキシ動画ファイルとでは、球体の残像が生じる方向が逆方向になる。図９のように、プロキシ動画ファイルとＲＡＷ動画ファイルとで、残像が生じる方向が異なると、違和感により視認性が低下する。

第３実施形態の制御部１０９は、ＲＡＷ動画を再生する際の先頭フレームに施す巡回ＮＲ処理の設定を変更し、先頭フレームに発生する残像現象を低減するための処理を行う。図１０は、第３実施形態における制御部１０９の構成の一例を示す図である。撮像装置１００における制御部１０９以外の他の構成は、図１と同じであるため、説明を省略する。制御部１０９は、巡回フレーム保持制御部１１６および巡回フレーム決定部１１７の他に、映像解析部１００１、参照フレーム判定部１００２およびノイズリダクション設定制御部１００３を含む。

映像解析部１００１は、ＲＡＷ動画の各フレームのうち少なくとも２枚のフレームの映像を解析し、映像の動き量または映像中の被写体の動き量の解析を行う。参照フレーム判定部１００２は、解析された動き量に基づき、巡回ＮＲに用いる参照フレームとして、先頭フレームより後のフレームを現像処理した結果（画像データ）を用いるかを判定する。ノイズリダクション設定制御部１００３は、参照フレーム判定部１００２の判定結果に基づいて、画像信号処理回路１０７で行われる巡回ＮＲ処理の設定を変更する。

図１１は、第３実施形態におけるＲＡＷ動画再生処理の流れの一例を示すフローチャートである。以下、第３実施形態では、巡回ＮＲ処理の強度設定が「弱」であり、先頭フレームに対して巡回ＮＲ処理が施される例について説明する。ただし、第３実施形態では、巡回ＮＲ処理の強度設定が「強」である場合にも適用可能である。図１１のフローチャートの処理は、例えば、ユーザが操作部１１５を用いてＲＡＷ動画の再生を指示したときに開始される。

Ｓ１１０１で、映像解析部１００１は、ＲＡＷ動画の先頭フレーム９０２に対して巡回ＮＲ処理を施す対象のフレーム９０１としてのフレーム９０３、および先頭フレーム９０２を読み出して、２つのフレームから映像解析を行う。このとき、映像解析部１００１は、映像解析として、２つのフレームの映像の動き量を解析する。例えば、映像解析部１００１は、２つのフレームの画像を所定数のメッシュ枠で分割し、メッシュ枠の内部の画素の輝度値分布の類似度に基づき、２つのフレーム間での枠移動量を水平および垂直の画素値として表した動き量情報を解析する。メッシュ枠の分割数は、例えば、「２５５×２５５」のような任意の値であってよい。

Ｓ１１０２で、映像解析部１００１は、Ｓ１１０１の解析結果に基づき、残像が発生しやすいかを表す評価値（フレーム評価値）を算出する。フレーム評価値は、フレームに残像が生じる可能性の指標を表す。映像解析部１００１は、上述した各メッシュ枠の動き量の最大値をフレーム評価値として、動き量が大きいほどフレーム評価値の値を高くする。映像解析部１００１は、残像が発生しやすいシーンであるかの判定に、カメラのパンニングやティルト、被写体の動きを検出するための任意の情報を用いて、フレーム評価値を算出してもよい。例えば、映像解析部１００１は、被写体認識を行い、動体である可能性が高い被写体（動く動物やスポーツシーン等）を含むフレームの場合、フレーム評価値は被写体が動体でない場合よりも高くしてもよい。映像解析部１００１は、動画を撮影および記録した際に、動画に関連付けて記録されたメタデータに基づき、フレーム評価値を算出してもよい。

Ｓ１１０３で、参照フレーム判定部１００２は、映像解析部１００１が算出したフレーム評価値が所定の閾値に達しているかを判定する。参照フレーム判定部１００２は、Ｓ１１０３でＹｅｓと判定した場合（フレーム評価値が所定の閾値に達していない場合）、処理をＳ１１０４に進める。この場合、ＲＡＷ動画ファイルの先頭フレーム９０２に対して巡回ＮＲ処理を施すフレームとして、先頭フレーム９０２より後のフレームの使用することが許容される。

Ｓ１１０４で、ノイズリダクション設定制御部１００３は、巡回ＮＲ処理の設定を第１ＮＲ設定にする。第１ＮＲ設定は、上述した第１実施形態や第２実施形態の巡回ＮＲ処理を実施するために適用される設定である。また、第１ＮＲ設定はプロキシ動画に対して施す巡回ＮＲ処理の設定と同じであってもよい。Ｓ１１０３でＹｅｓと判定された場合、フレーム間の動き量がそれほど大きくないため、残像による視認性への影響はある程度低いことが想定される。

参照フレーム判定部１００２は、Ｓ１１０３でＮｏと判定した場合（フレーム評価値が所定の閾値以上の場合）、処理をＳ１１０５に進める。この場合、ＲＡＷ動画ファイルの先頭フレーム９０２に対して巡回ＮＲ処理を施すフレームとして、先頭フレーム９０２より後のフレームの使用することが許容されない。Ｓ１１０５で、ノイズリダクション設定制御部１００３は、巡回ＮＲ処理の設定を第２ＮＲ設定にする。第２ＮＲ設定は、残像を抑える設定である。

巡回ＮＲ処理の強度は、巡回係数で表される。巡回係数は、フレーム間の差分の影響を除去する程度を示す数値であり、数値が高いほどノイズリダクション効果が高いことを表す。また、巡回ＮＲ処理の回路内には、動体があると判定された場合に、巡回係数を低下させた巡回型ノイズリダクション処理を施すことで残像を低減する処理が施される。Ｓ１１０５で、ノイズリダクション設定制御部１００３は、例えば、巡回ＮＲ処理回路の動体判定の閾値を下げることで、残像低減を図る設定へ変更してもよい。

Ｓ１１０６で、制御部１０９は、Ｓ１１０４またはＳ１１０５の何れかに設定された巡回ＮＲ処理の設定で、先頭フレーム９０２に巡回ＮＲ設定を施す。Ｓ１１０４では、制御部１０９は、ＲＡＷ動画ファイルの先頭フレーム９０２に対して巡回ＮＲ処理を施すフレームとして、先頭フレーム９０２より後のフレームを使用して、第１実施形態や第２実施形態と同様の巡回ＮＲ処理を行う。一方、Ｓ１１０５では、制御部１０９は、ＲＡＷ動画ファイルの先頭フレーム９０２に対して巡回ＮＲ処理を施すフレームとして、先頭フレーム９０２より後のフレームを使用しない。このため、Ｓ１１０５で設定された巡回ＮＲ処理を施した場合の方が、ノイズリダクション効果が低くなるが、Ｓ１１０５の処理が行われることにより、残像低減が図られる。

ここで、ＲＡＷ動画ファイルの先頭フレーム９０２ではＳ１１０５の設定に基づき巡回ＮＲ処理が施され、先頭フレーム９０２の次のフレーム９０３ではＳ１１０４の設定に基づき巡回ＮＲ処理が施される場合を想定する。この場合、先頭フレーム９０２と、その次のフレーム９０３との間の画質に大きな差が生じることになる。このような場合、例えば、先頭フレーム９０２が再生されたときに現れていたノイズが、次のフレームが再生されたときに急に現れなくなる。このため、２つのフレームの間での画質の差が大きいことに起因して、視認性が低下する。

そこで、制御部１０９は、先頭フレームに適用する巡回ＮＲ処理の設定の変更量を、所定の時定数で再生フレームが進むに応じて低下させて、画質差の変化を低減させてもよい。制御部１０９は、先頭フレームに適用する巡回ＮＲ設定の変更量が大きくなるに応じて、時定数を大きくして、徐々にＮＲ設定の変更量を変化させてもよい。

映像解析部１００１は、ＲＡＷ動画ファイルのフレームを映像解析しているが、ＲＡＷ動画ファイルと同時に記録されているプロキシ動画ファイルを映像解析してもよい。この場合、プロキシ動画ファイルの映像解析結果に基づき、上記と同様の処理が行われる。また、映像解析部１００１は、プロキシ動画ファイルのフレーム９０４と、ＲＡＷ動画ファイルのフレーム９０１、９０２の現像ファイルの映像解析結果の比較を行ってもよい。この場合、上記の比較の結果に基づき、残像発生方向の差の推定結果に基づき、巡回ＮＲ処理の設定が変更されてもよい。

＜第４実施形態＞
次に、第４実施形態について説明する。第３実施形態では、巡回ＮＲ処理の設定を変更することで、残像を低減する処理が行われる。巡回ＮＲ処理は、フレーム相関を用いてノイズを低減する処理である。第４実施形態では、フレーム評価値が所定の閾値に達しているかに応じて、フレーム相関を用いない手法で残像を低減する処理（巡回型ではないノイズリダクション処理）が行われる。第４実施形態では、例えば、イプシロンフィルタ等の空間型ＮＲ処理が適用される。空間型ＮＲ処理では、１フレーム内の情報のみが使用されるため、残像は発生しない。

第４実施形態では、プロキシ動画ファイルの先頭フレームには巡回ＮＲ処理が施される。ＲＡＷ動画ファイルの先頭フレームには、残像が発生しやすいかに応じて、空間型ＮＲ処理であるイプシロンフィルタを用いたＮＲ処理が施される。イプシロンフィルタの強度は、着目画素に対する周囲画素領域や周囲画素の加重割合を高める処理が行われる。以下、３×３画素から５×５画素のように、参照画素を広げることでノイズリダクション効果を強くする例が適用される場合について説明する。

図１２は、第４実施形態における画像信号処理回路１０７および制御部１０９の構成の一例を示す図である。制御部１０９の各部は、図１０と同様である。映像解析部１２０１は、動画に関連付けて記録されたメタデータの解析を行うこともできる。画像信号処理回路１０７は、空間型ＮＲ処理であるイプシロンフィルタ処理を行う第１ノイズリダクション回路１２０４および巡回型ＮＲ処理を行う第２ノイズリダクション回路１２０５を含む。

図１３は、第４実施形態におけるＲＡＷ動画再生処理の流れの一例を示すフローチャートである。Ｓ１３０５以外の各ステップの処理は、図１１と同様である。Ｓ１３０５で、ノイズリダクション設定制御部１２０３は、ＮＲ処理の設定をイプシロン型ＮＲに設定する。このとき、ノイズリダクション設定制御部１２０３は、プロキシ動画ファイルを記録する際に設定されている巡回ＮＲの設定値をメタデータから解析し、巡回ＮＲの設定値からノイズリダクション効果が略一定となるイプシロンフィルタ設定への変換を行う。設定値の変換は、例えば、ノイズリダクション効果が近く、弊害が許容可能な変換設定テーブルデータに基づき行われる。変換設定テーブルデータは、例えば、第２メモリ部１１４に保持される。

巡回ＮＲ処理は動画の残像が弊害となり、空間フィルタ型のノイズ低減は解像度低下が弊害となる。そのため、用意する変換設定テーブルデータは、事前に適正な値に調整されている。変換設定テーブルデータには、Ｒ１（弱：巡回係数２）、Ｐ１（弱：３×３画素）、Ｒ２（強：巡回係数４）、Ｐ２（強：５×５画素）の順に、巡回ＮＲ設定からイプシロンフィルタ設定への設定がされている。つまり、巡回ＮＲ設定のノイズリダクション効果が高くなるに応じて、巡回型ではないイプシロンフィルタ処理のノイズリダクション効果が高くなる設定が、変換設定テーブルデータにされている。Ｓ１３０５が実行された場合には、Ｓ１３０６で、イプシロン型のＮＲ処理が実施される。

以上のように、第４実施形態では、残像が生じやすい場合には、イプシロン型のＮＲ処理が実施される。これにより、ＲＡＷ動画ファイルが再生される際に、プロキシ画像ファイルと異なる方向に出現する残像の程度を抑えることが可能となるとともに、ノイズリダクション効果を略一定にすることができる。

＜第５実施形態＞
次に、第５実施形態について説明する。図１４は、第４実施形態における制御部１０９の構成の一例を示す図である。図１４の制御部１０９は、図１０の制御部１０９に、メタデータ付加部１４０４およびメタデータ解析部１４０５が追加されている。他の構成は、図１０の制御部１０９と同様である。映像解析部１００１は、算出した動き量や参照フレーム判定部１００２が判定した結果を示す情報を第２メモリ部１１４に記憶する。メタデータ付加部１４０４は、第２メモリ部１１４に記憶された演算結果をメタデータとして記録媒体１１２に画像データとともに記録する。メタデータ解析部１４０５は、記録媒体１１２から読み出した画像データおよびメタデータを第２メモリ部１１４に記憶するとともに、メタデータの解析を行う。メタデータの解析結果は、参照フレーム判定部１００２が参照することができる。

図１５は、第５実施形態におけるＲＡＷ動画記録処理のフローチャートの一例を示す図である。以下、ＲＡＷ動画は、６０ｆｐｓのフレームレートで記録されるものとして説明するが、フレームレートは任意の値であってもよい。図１５のフローチャートの処理は、例えば、ユーザが操作部１１５を用いて、動画記録を指示した後にフレームごとに実行される。記録されたＲＡＷ動画は、再生されるときの先頭フレームに対して巡回ＮＲ処理が施されるものとする。

Ｓ１５０１で、映像解析部１００１は、少なくとも２枚のフレーム（現在のフレームおよび前回のフレーム）を映像解析して、映像解析結果に基づき動き量を算出する。Ｓ１５０２で、参照フレーム判定部１００２は、巡回ＮＲ処理に用いる参照フレームとしてＮ＋１以降のフレームの現像結果を用いるかを判定する。Ｓ１５０２の判定は、Ｓ１５０１で算出された動き量が所定量以上であるかに基づき、行われる。所定量は、任意の値に設定可能である。例えば、制御部１０９は、Ｓ１５０２で、図１１のＳ１１０３と同様の判定を行ってもよい。

参照フレーム判定部１００２は、Ｓ１５０２でＹｅｓと判定した場合（Ｎ＋１以降のフレームの現像結果を用いる場合）、処理をＳ１５０３に進める。一方、参照フレーム判定部１００２は、Ｓ１５０２でＮｏと判定した場合（Ｎ＋１以降のフレームの現像結果を用いない場合）、処理をＳ１５０４に進める。Ｓ１５０３で、メタデータ付加部１４０４は、巡回ＮＲへの適用が許容されることを示す情報をメタデータに設定する。Ｓ１５０４で、メタデータ付加部１４０４は、巡回ＮＲへの適用が許容されないことを示す情報をメタデータに設定する。

Ｓ１５０５で、メタデータ付加部１４０４は、Ｓ１５０１で算出された動き量をメタデータに設定する。Ｓ１５０６で、制御部１０９は、上述したメタデータをＲＡＷ動画ファイルとともに記録媒体１１２に記録する。

図１６は、ＲＡＷ動画記録処理の第１の例を示す図である。第１の例は、残像が見えにくい通常シーンでＲＡＷ動画を撮影する際に行われる処理である。図１６の例では、動画を撮影するフレームレートは、６００ｆｐｓである。制御部１０９は、撮像素子１０６に蓄積された被写体像を読み出し、画像信号処理回路１０７に画像処理を実施させる。画像処理された画像のフレームは、記録媒体１１２にＲＡＷ記録画像として記録される。

映像解析部１００１や巡回フレーム決定部１１７が算出した値は、上述したメタデータとともに第２メモリ部１１４に記憶されている。第１の例は、残像が見えにくい通常シーンでＲＡＷ動画を撮影する際に行われるため、Ｓ１５０３で、メタデータには巡回ＮＲ処理に適用できることを示す情報がメタデータ付加部１４０４により付加される。図１６の例では、巡回ＮＲ処理に適用できることを示す情報が、巡回ＮＲ利用有無に値「１」として記録される。

図１７は、ＲＡＷ動画記録処理の第２の例を示す図である。第２の例は、残像が視認され易いシーンでＲＡＷ動画を撮影する際に行われる処理である。図１７の例に示されるように、ＲＡＷ動画の各フレームの映像は、動き量が大きいことに起因して、残像が視認され易い。ここで、Ｓ１５０４で、メタデータには巡回ＮＲ処理に適用できないことを示す情報がメタデータ付加部１４０４により付加される。図１７の例では、巡回ＮＲ処理に適用できないことを示す情報が、巡回ＮＲ利用有無に値「０」として記録される。

第５実施形態では、ＲＡＷ動画記録処理が行われる際に、ＲＡＷ動画ともに巡回ＮＲ処理に関するメタデータを記録しておくことが可能となる。第５実施形態は、第３実施形態および第４実施形態の制御が行われる際に適用されると有効である。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０６ 撮像素子
１０９ 制御部
１００１ 映像解析部
１００２ 参照フレーム判定部
１００３ ノイズリダクション設定制御部
１２０４ 第１ノイズリダクション回路
１２０５ 第２ノイズリダクション回路

Claims (17)

1. 動画を取得する手段と、
   前記動画を再生する際に、再生時の先頭フレームよりも後の１以上のフレームを用いて、前記先頭フレームに対してノイズリダクション処理を施し、前記先頭フレーム以外のフレームに対して当該フレームよりも前の１以上のフレームを用いて巡回型ノイズリダクション処理を施す手段と、を備えることを特徴とする画像処理装置。
2. 前記ノイズリダクション処理の強度設定に応じて、前記ノイズリダクション処理に用いられるフレームの数を変化させる、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記ノイズリダクション処理に用いられるフレームの数には一定の制限が設けられる、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記先頭フレームから、露光時間に応じて蓄積されるフレーム数より後の１以上のフレームが前記ノイズリダクション処理に用いられる、ことを特徴とする請求項１または２に記載の画像処理装置。
5. 複数の前記動画のうち何れかの前記動画を選択するための画面を表示させる手段と、
   前記画面が表示されているときに選択された前記動画の先頭フレームに対して前記ノイズリダクション処理を適用する際に用いられる１以上のフレームの現像処理を実施させる手段と、をさらに備えることを特徴とする請求項１乃至４のうち何れか１項に記載の画像処理装置。
6. 前記画面で選択中の前記動画が変更された場合、変更された前記動画の先頭フレームに対して前記ノイズリダクション処理を適用する際に用いられる１以上のフレームの現像処理が実施される、ことを特徴とする請求項５に記載の画像処理装置。
7. 前記画面で前記動画の選択が確定したことに応じて、前記現像処理が行われた１以上のフレームを用いて、前記先頭フレームに対して前記ノイズリダクション処理が施される、ことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記先頭フレームに対して施される前記ノイズリダクション処理に適用される前記１以上のフレームは表示されない、ことを特徴とする請求項１乃至７のうち何れか１項に記載の画像処理装置。
9. 複数の前記動画を結合した結合動画を再生する際、結合箇所のフレームを前記先頭フレームとして、当該先頭フレームに対して前記ノイズリダクション処理が施される、ことを特徴とする請求項１乃至８のうち何れか１項に記載の画像処理装置。
10. 前記フレームの現像処理を行う速度に応じて、前記結合動画を再生しながら前記結合箇所のフレームに対して前記ノイズリダクション処理を施すか、または前記結合動画を再生する前に前記結合箇所のフレームに対して前記ノイズリダクション処理を施すかが制御される、ことを特徴とする請求項９に記載の画像処理装置。
11. 前記フレームの現像処理を前記結合動画の再生周期の半分以下で実行可能な場合、前記結合動画を再生しながら前記結合箇所のフレームに対して前記ノイズリダクション処理が施され、
    前記フレームの現像処理を前記結合動画の再生周期の半分以下で実行可能でない場合、前記結合動画を再生する前に前記結合箇所のフレームに対して前記ノイズリダクション処理が施される、ことを特徴とする請求項１０に記載の画像処理装置。
12. フレームに残像が生じる可能性の指標を表す評価値が所定の閾値に達しているかに基づき、前記先頭フレームよりも後の１以上のフレームを用いて前記先頭フレームに対して前記ノイズリダクション処理を行うかが制御される、ことを特徴とする請求項１乃至１１のうち何れか１項に記載の画像処理装置。
13. 前記評価値は、フレームの映像または当該映像の中の被写体の動き量の解析結果に基づき評価される、請求項１２に記載の画像処理装置。
14. 前記動画の各フレームに、前記先頭フレームに対するノイズリダクション処理に前記先頭フレームよりも後の１以上のフレームを用いることが許容されるか否かの情報が付加される、ことを特徴とする請求項１乃至１３のうち何れか１項に記載の画像処理装置。
15. 前記動画を取得する手段はＲＡＷ動画を取得する、ことを特徴とする請求項１乃至１４のうち何れか１項に記載の画像処理装置。
16. 動画を取得する工程と、
    前記動画を再生する際に、再生時の先頭フレームよりも後の１以上のフレームを用いて、前記先頭フレームに対してノイズリダクション処理を施し、前記先頭フレーム以外のフレームに対して当該フレームよりも前の１以上のフレームを用いて巡回型ノイズリダクション処理を施す工程と、を備えることを特徴とする画像処理方法。
17. 請求項１乃至１５のうち何れか１項に記載の画像処理装置の各手段をコンピュータに実行させるためのプログラム。