WO2017017742A1

WO2017017742A1 - 画像処理装置、画像処理方法およびプログラム

Info

Publication number: WO2017017742A1
Application number: PCT/JP2015/071175
Authority: WO
Inventors: 裕輝丸山; 学市川
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2015-07-24
Filing date: 2015-07-24
Publication date: 2017-02-02
Anticipated expiration: 2018-01-24
Also published as: US20180109745A1; DE112015006619T5; JP6727205B2; CN107710734B; US10368017B2; JPWO2017017742A1; CN107710734A

Abstract

　注目画素の画素値と周辺画素の画素値との相関が低い場合であっても、画質を向上させることができる画像処理装置、画像処理方法およびプログラムを提供する。画像処理装置３０は、読み出し回路の位置情報または複数の画素の各々の位置情報を含むノイズ情報を取得するとともに、撮像素子１０５が生成した複数の画像データを取得する第３外部Ｉ／Ｆ部３１と、第３外部Ｉ／Ｆ部３１が取得した画像データを補正対象画像データとし、この補正対象画像データと異なる時間に取得された画像データに基づく参照画像データと、ノイズ情報とに基づいて、補正対象画像データにおける注目画素の画素値を補正するノイズ低減部３５と、を備える。

Description

画像処理装置、画像処理方法およびプログラム

　本発明は、２次元状に配置された複数の画素を有する撮像素子に生じるＲＴＳノイズのような画素値が一定範囲内で変動する点滅欠陥ノイズを補正する画像処理装置、画像処理方法およびプログラムに関する。

　近年、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等の撮像素子は、画素および該画素から信号を読み出す読み出し回路の微細化が進んでいる。このような微細化された読み出し回路では、感度の低下および様々なノイズの増加が問題となっている。感度の低下に対しては、複数の画素を１つの読み出し回路で共有させて信号を読み出す共有画素構造を採用することで、撮像素子における回路に必要な面積を削減し、各画素の開口率（受光部の割合）を向上させることによって、感度を向上させている。

　一方、撮像素子で発生するノイズには、暗電流による暗電流ショットノイズおよび読み出し回路での熱雑音等に起因するランダムノイズ以外にも、画素値が常に異常値を示す欠陥画素、および画素値がランダムに変動する点滅欠陥ノイズ等がある。このような点滅欠陥ノイズの中には、読み出し回路に起因するＲＴＳ（Random　Telegraph　Signal）ノイズがある。このＲＴＳノイズを補正する技術として、撮影された画像における注目画素の画素値、該注目画素の周辺画素の画素値および予め撮像素子の画素毎に検出したＲＴＳノイズのノイズレベル（以下、「ＲＴＳノイズレベル」という）に基づいて、注目画素に対してＲＴＳノイズの影響があるか否かを判定し、ＲＴＳノイズの影響があると判定された場合、この注目画素の画素値に対してＲＴＳノイズレベルだけ加算または減算する技術が知られている（特許文献１参照）。

特開２０１２－１０５０６３号公報

　ところで、上述した特許文献１では、注目画素の画素値と該注目画像の周辺画素の画素値との相関が高い場合にはＲＴＳノイズを低減することができる。しかしながら、上述した特許文献１では、輝点または微細構造物等の被写体によっては、注目画素の画素値と周辺画素の画素値との相関が低くなることで、画質を劣化させる場合があった。

　本発明は、上記に鑑みてなされたものであって、注目画素の画素値と周辺画素の画素値との相関が低い場合であっても、画質を向上させることができる画像処理装置、画像処理方法およびプログラムを提供することを目的とする。

　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズを補正する画像処理装置であって、前記読み出し回路に起因する点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含むノイズ情報と、前記画像データと、を取得する取得部と、前記取得部が取得した前記画像データを補正対象画像データとし、該補正対象画像データと異なる時間に取得された前記画像データに基づく参照画像データと、前記ノイズ情報とに基づいて、前記補正対象画像データにおける注目画素の画素値を補正する補正部と、を備えたことを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記補正対象画像データと前記参照画像データとに基づいて、被写体の移動量を算出する移動量算出部と、を備え、前記補正部は、前記移動量算出部が算出した前記移動量に基づいて、前記注目画素または前記注目画素近傍の画素と対応する前記参照画像データの参照画素を取得し、該参照画素の画素値に基づいて、前記注目画素の画素値を補正することを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記補正部は、前記注目画素において前記点滅欠陥ノイズが発生する場合、前記点滅欠陥ノイズが発生しない場合に比べ、前記注目画素におけるノイズ低減処理の強度を大きくすることを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記補正部は、前記注目画素において前記点滅欠陥ノイズが発生する場合、前記参照画像データを用いた時間方向のノイズ低減処理の強度を大きくすることを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記補正部は、前記注目画素において前記点滅欠陥ノイズが発生する場合、前記注目画素周辺の画素を用いた空間方向のノイズ低減処理の強度を大きくすることを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記補正部は、前記参照画素の画素値に基づいて、前記点滅欠陥ノイズが発生しない場合の画素値に相当する代表値を算出し、該代表値に基づいて、前記注目画素の画素値を補正することを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記補正部は、前記注目画素の画素値に基づいて、前記代表値を算出することを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記補正部は、前記点滅欠陥ノイズが発生しない前記参照画素の画素値もしくは前記点滅欠陥ノイズを補正した前記参照画素の画素値に基づいて、前記代表値を算出することを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記補正部は、前記点滅欠陥ノイズが発生しない前記注目画素における周辺の画素の画素値に基づいて、前記代表値を算出することを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記注目画素周辺のランダムノイズ量を推定するノイズ量推定部と、をさらに備え、前記補正部は、前記ランダムノイズ量に基づいて、前記代表値を算出することを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記ノイズ情報は、前記読み出し回路に起因する点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と対応づけられた、前記点滅欠陥ノイズのノイズレベルである点滅欠陥ノイズレベルをさらに含み、前記補正部は、前記点滅欠陥ノイズレベルを用いて前記注目画素の画素値を補正することを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記ノイズ情報は、前記読み出し回路に起因する点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と対応づけられた、前記点滅欠陥ノイズのノイズレベルである点滅欠陥ノイズレベルをさらに含み、前記補正部は、前記点滅欠陥ノイズレベルが大きいほど、前記注目画素におけるノイズ低減処理の強度を大きくすることを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記ノイズ情報は、前記読み出し回路に起因する点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と対応づけられた、前記点滅欠陥ノイズのノイズレベルである点滅欠陥ノイズレベルをさらに含み、前記補正部は、前記点滅欠陥ノイズレベルに基づいて、前記代表値を算出することを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記移動量算出部が算出した前記移動量の確からしさを表す信頼度を算出する信頼度算出部を備え、前記補正部は、前記信頼度に基づいて、前記代表値を算出することを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記参照画像データは、前記補正対象画像データに対応する前記画像データの直前に前記撮像素子が生成した前記画像データであることを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記参照画像データは、前記補正部が前記補正対象画像データに対する補正を行う直前に、前記補正部が補正を行った画像データであることを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記参照画像データは、前記補正対象画像データに対応する前記画像データの前に、前記撮像素子が生成した複数の前記画像データであることを特徴とする。

　また、本発明に係る画像処理装置は、上記発明において、前記点滅欠陥ノイズは、ランダムテレグラフシグナルノイズであることを特徴とする。

　また、本発明に係る画像処理方法は、２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズを補正する画像処理装置が実行する画像処理方法であって、前記読み出し回路に起因する点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含むノイズ情報と、前記画像データと、を取得する取得ステップと、前記取得ステップにおいて取得した前記画像データを補正対象画像データとし、該補正対象画像データと異なる時間に取得された前記画像データに基づく参照画像データと、前記ノイズ情報とに基づいて、前記補正対象画像データにおける注目画素の画素値を補正する補正ステップと、を含むことを特徴とする。

　また、本発明に係るプログラムは、２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズを補正する画像処理装置に、前記読み出し回路に起因する点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含むノイズ情報と、前記画像データと、を取得する取得ステップと、前記取得ステップにおいて取得した前記画像データを補正対象画像データとし、該補正対象画像データと異なる時間に取得された前記画像データに基づく参照画像データと、前記ノイズ情報とに基づいて、前記補正対象画像データにおける注目画素の画素値を補正する補正ステップと、を実行させることを特徴とする。

　本発明によれば、注目画素の画素値と周辺画素の画素値との相関が低い場合であっても、画質を向上させることができるという効果を奏する。

図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。図２は、本発明の実施の形態１に係る撮像装置が備える撮像素子の要部の構成を模式的に示す概略図である。図３は、本発明の実施の形態１に係る撮像素子に光が当たらないように遮光した場合において、ＲＴＳノイズが発生するときに、アンプ部から出力されるアンプ出力の変動の例を示す図である。図４は、本発明の実施の形態１に係るＲＴＳノイズが発生するアンプ部を用いて読み出された画素値の分布の例を示す図である。図５は、本発明の実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。図６は、本発明の実施の形態１に係る画像処理装置が備えるルックアップテーブルが記憶するノイズモデルの一例を示す図である。図７は、図５の時間方向ＮＲ処理の概要を示すフローチャートである。図８は、本発明の実施の形態１に係る画像処理装置が備えるノイズ低減処理部が設定するＲＴＳ＿Ｖａｌｕｅと係数Ｃｏ＿ｗｅ＿ｐｒｅとの関係を示す図である。図９は、図５の空間方向ＮＲ処理の概要を示すフローチャートである。図１０は、本発明の実施の形態１に係る画像処理装置が備えるノイズ低減処理部が設定するＲＴＳ＿Ｖａｌｕｅと係数Ｃｏ＿Ｃｂとの関係を示す図である。図１１は、本発明の実施の形態２に係る撮像システムの構成を模式的に示すブロック図である。図１２は、本発明の実施の形態２に係るＲＴＳノイズ補正部の詳細な構成を示すブロック図である。図１３は、本発明の実施の形態２に係る代表値算出部の詳細な構成を示すブロック図である。図１４は、本発明の実施の形態２に係る補正値算出部の詳細な構成を示すブロック図である。図１５は、本発明の実施の形態２に係る画像処理装置が実行する処理の概要を示すフローチャートである。図１６は、図１５の代表値算出処理の概要を示すフローチャートである。図１７は、図１５の補正値算出処理の概要を示すフローチャートである。図１８は、本発明の実施の形態３に係るノイズ低減部の詳細な構成を示すブロック図である。図１９は、本発明の実施の形態３に係るＲＴＳノイズ補正部の詳細な構成を示すブロック図である。図２０は、本発明の実施の形態３に係る画像処理装置が実行する代表値算出処理の概要を示すフローチャートである。図２１は、本発明の実施の形態３の変形例に係るＲＴＳノイズ補正部の詳細な構成を示すブロック図である。図２２は、本発明の実施の形態３の変形例に係る代表値算出処理の概要を示すフローチャートである。図２３は、本発明の実施の形態３の変形例に係る代表値決定部が算出するブレンド率の算出方法を模式的に示す図である。図２４は、本発明の実施の形態４に係るノイズ低減部の詳細な構成を示すブロック図である。図２５は、本発明の実施の形態４に係るＲＴＳノイズ補正部の詳細な構成を示すブロック図である。図２６は、本発明の実施の形態４に係る画像処理装置が実行する代表値算出処理の概要を示すフローチャートである。図２７は、本発明の実施の形態４の変形例１に係るＲＴＳノイズ補正部の詳細な構成を示すブロック図である。図２８は、本発明の実施の形態４の変形例１に係る画像処理装置が実行する代表値算出処理の概要を示すフローチャートである。図２９は、本発明の実施の形態４の変形例２に係る画像処理装置が実行する代表値算出処理の概要を示すフローチャートである。図３０は、本発明の実施の形態４の変形例３に係る画像処理装置が実行する代表値算出処理の概要を示すフローチャートである。図３１は、本発明の実施の形態５に係る撮像システムの構成を模式的に示すブロック図である。図３２は、本発明の実施の形態５に係る撮像システムが実行する処理の概要を示すフローチャートである。図３３は、図３０の画像処理の概要を示すフローチャートである。

　以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。

（実施の形態１）
　〔撮像システムの構成〕
　図１は、本発明の実施の形態１に係る撮像システムの構成を模式的に示すブロック図である。図１に示す撮像システム１は、撮像装置１０と、画像処理装置３０と、表示装置４０と、を備える。

　〔撮像装置の構成〕
　まず、撮像装置１０の構成について説明する。撮像装置１０は、図１に示すように、光学系１０１と、絞り１０２と、シャッタ１０３と、ドライバ１０４と、撮像素子１０５と、アナログ処理部１０６と、Ａ／Ｄ変換部１０７と、操作部１０８と、メモリＩ／Ｆ部１０９と、記録媒体１１０と、揮発メモリ１１１と、不揮発メモリ１１２と、バス１１３と、撮像制御部１１４と、第１外部Ｉ／Ｆ部１１５と、を備える。

　光学系１０１は、単数または複数のレンズを用いて構成される。光学系１０１は、例えばフォーカスレンズとズームレンズとを用いて構成される。

　絞り１０２は、光学系１０１が集光した光の入射量を制限することで露出の調整を行う。絞り１０２は、後述する撮像制御部１１４の制御のもと、光学系１０１が集光した光の入射量を制限する。なお、絞り１０２を用いずに、シャッタ１０３や撮像素子１０５における電子シャッタを用いて光の入射量を制限するようにしてもよい。なお、光学系１０１、絞り１０２は、撮像装置１０に対して着脱可能であってもよい。

　シャッタ１０３は、撮像素子１０５の状態を露光状態または遮光状態に設定する。シャッタ１０３は、例えばフォーカルプレーンシャッタ等を用いて構成される。なお、シャッタ１０３を用いずに、撮像素子１０５における電子シャッタを用いてもよい。

　ドライバ１０４は、後述する撮像制御部１１４の制御のもと、光学系１０１、絞り１０２およびシャッタ１０３を駆動する。例えば、ドライバ１０４は、光学系１０１を光軸Ｏ１に沿って移動させることによって、撮像装置１０のズーム倍率の変更またはピント位置の調整を行う。

　撮像素子１０５は、後述する撮像制御部１１４の制御のもと、光学系１０１が集光した光を受光して画像データ（電気信号）に変換して出力する。撮像素子１０５は、複数の画素が２次元状に配置されたＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）等を用いて構成される。この各画素の前面には、ベイヤー配列のＲＧＢフィルタが配置されている。なお、撮像素子１０５は、ベイヤー配列に限定されず、例えばＦｏｖｉｏｎのような積層型の形式でも勿論かまわない。また、用いるフィルタはＲＧＢに限定されず、補色フィルタ等任意のフィルタを適用できる。また、別途、異なるカラー光を時分割で照射可能な光源を配置し、撮像素子１０５には、フィルタを配置せず、照射する色を変更しながら順次取り込んだ画像を使用してカラー画像を構成できるようにしてもよい。また、撮像素子１０５は、受光量を電子的に制御可能な電子シャッタ機能を有する。

　ここで、撮像素子１０５の構成について詳細に説明する。図２は、撮像素子１０５の要部の構成を模式的に示す概略図である。なお、図２に示す撮像素子１０５は、画素の開口率向上により感度を向上させるため、複数の画素で読み出し回路を共有している例を示している。なお、図２に示す撮像素子１０５は、水平方向（横方向）に２画素×垂直方向（縦方向）に４画素の８画素に対して、１つの読み出し回路が配置されている。なお、図２においては、水平方向（横方向）に２画素×垂直方向（縦方向）に４画素の８画素に対して、１つの読み出し回路を１グループとする例を説明したが、本実施の形態１の撮像素子１０５上には、上述した画素および読み出し回路が、水平方向および垂直方向に並んで配置されているものとする。

　図２に示すように、撮像素子１０５は、露光により光を受光し、光電変換を行うことによって、露光量に対応した電荷を発生する複数の画素１０５ａ（フォトダイオード）と、複数の画素１０５ａの各々に設けられ、撮像制御部１１４の制御に応じて開閉する第１スイッチ１０５ｂと、複数の画素１０５ａの各々から出力された信号（電荷）を垂直方向に転送する垂直転送線１０５ｃと、複数の画素１０５ａの各々から出力された信号を蓄積するＦＤ部１０５ｄ（Floating　Diffusion）と、ＦＤ部１０５ｄから出力された信号を増幅するアンプ部１０５ｅと、撮像制御部１１４の制御に応じて開閉する第２スイッチ１０５ｆと、第２スイッチ１０５ｆを制御する制御線１０５ｇと、アンプ部１０５ｅで増幅された電気信号を転送する転送線１０５ｈと、を備える。

　このように構成された撮像素子１０５は、画素１０５ａ（１）～１０５ａ（８）における露光量に対応する信号を画素値として読み出す場合、まず、ＦＤ部１０５ｄをリセット状態にして、撮像制御部１１４が第１スイッチ１０５ｂ（１）のみをオンとすることで、画素１０５ａ（１）に発生した電荷をＦＤ部１０５ｄに転送する。その後、撮像素子１０５は、撮像制御部１１４が第２スイッチ１０５ｆをオンとすることで、ＦＤ部１０５ｄに蓄積された電荷をアンプ部１０５ｅによって増幅させて画素値として読み出す（出力する）。次に、撮像素子１０５は、ＦＤ部１０５ｄをリセット状態にして、撮像制御部１１４が第１スイッチ１０５ｂ（２）のみをオンとすることで、画素１０５ａ（２）に発生した電荷をＦＤ部１０５ｄに転送する。その後、撮像素子１０５は、撮像制御部１１４が第２スイッチ１０５ｆをオンとすることで、ＦＤ部１０５ｄに蓄積された電荷をアンプ部１０５ｅによって増幅させて画素値として読み出す。撮像素子１０５は、このような読み出し動作を順次行うことによって、画素１０５ａ（１）～１０５ａ（８）における露光量に対応する信号を順次画素値として出力することができる。なお、本実施の形態１では、アンプ部１０５ｅが複数の画素１０５ａの各々から電荷を読み出す読み出し回路として機能する。

　図１に戻り、撮像装置１０の構成の説明を続ける。
　アナログ処理部１０６は、撮像素子１０５から入力されるアナログ信号に対して、所定のアナログ処理を施してＡ／Ｄ変換部１０７へ出力する。具体的には、アナログ処理部１０６は、撮像素子１０５から入力されるアナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、アナログ処理部１０６は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

　Ａ／Ｄ変換部１０７は、アナログ処理部１０６から入力されるアナログ信号に対して、Ａ／Ｄ変換を行うことによってデジタルの画像データ（以下、「ＲＡＷ画像データ」という）を生成し、バス１１３を介して揮発メモリ１１１に出力する。なお、Ａ／Ｄ変換部１０７は、後述する撮像装置１０の各部に対してＲＡＷ画像データを直接出力するようにしてもよい。なお、上述したアナログ処理部１０６とＡ／Ｄ変換部１０７を撮像素子１０５に設け、撮像素子１０５がデジタルのＲＡＷ画像データを直接出力するようにしてもよい。

　操作部１０８は、撮像装置１０の各種の指示を与える。具体的には、操作部１０８は、撮像装置１０の電源状態をオン状態またはオフ状態に切り替える電源スイッチ、静止画撮影の指示を与えるレリーズスイッチ、撮像装置１０の各種設定を切り替える操作スイッチおよび動画撮影の指示を与える動画スイッチ等を有する。

　記録媒体１１０は、撮像装置１０の外部から装着されるメモリカードを用いて構成され、メモリＩ／Ｆ部１０９を介して撮像装置１０に着脱自在に装着される。また、記録媒体１１０は、後述する撮像制御部１１４の制御のもと、メモリＩ／Ｆ部１０９を介してプログラムおよび各種情報それぞれを不揮発メモリ１１２に出力してもよい。

　揮発メモリ１１１は、バス１１３を介してＡ／Ｄ変換部１０７から入力される画像データを一時的に記憶する。例えば、揮発メモリ１１１は、アナログ処理部１０６、Ａ／Ｄ変換部１０７およびバス１１３を介して、撮像素子１０５が１フレーム毎に順次出力する画像データを一時的に記憶する。揮発メモリ１１１は、ＳＤＲＡＭ（Synchronous　Dynamic　Random　Access　Memory）等を用いて構成される。

　不揮発メモリ１１２は、Ｆｌａｓｈメモリ等を用いて構成され、撮像装置１０を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。また、不揮発メモリ１１２は、プログラム記録部１１２ａと、画素値を読み出す読み出し回路（アンプ部１０５ｅ）の位置情報または複数の画素１０５ａの各々の位置情報と読み出し回路（アンプ部１０５ｅ）に起因するＲＴＳノイズに関する特徴量とを対応付けたＲＴＳノイズ位置情報を記録するＲＴＳノイズ情報記録部１１２ｂと、一または複数のランダムノイズモデルを記録するランダムノイズモデル情報記録部１１２ｃと、を有する。ここで、特徴量とは、ＲＴＳノイズの振幅（ＲＴＳ＿Ｖａｌｕｅ）、点滅欠陥ノイズの発生頻度およびＲＴＳノイズの振幅未満のＲＴＳノイズにおける発生頻度のいずれかである。

　バス１１３は、撮像装置１０の各構成部位を接続する伝送路等を用いて構成され、撮像装置１０の内部で発生した各種データを撮像装置１０の各構成部位に転送する。

　撮像制御部１１４は、ＣＰＵ（Central　Processing　Unit）等を用いて構成され、操作部１０８からの指示信号やレリーズ信号に応じて撮像装置１０を構成する各部に対する指示やデータの転送等を行って撮像装置１０の動作を統括的に制御する。例えば、撮像制御部１１４は、操作部１０８からセカンドレリーズ信号が入力された場合、撮像装置１０における撮影動作の制御を開始する。ここで、撮像装置１０における撮影動作とは、撮像素子１０５の露光タイミング、アナログ信号の出力タイミング、および撮像素子１０５が出力したアナログ信号に対し、アナログ処理部１０６かつＡ／Ｄ変換部１０７が所定の処理を施す動作をいう。このように処理が施された画像データは、撮像制御部１１４の制御のもと、バス１１３およびメモリＩ／Ｆ部１０９を介して記録媒体１１０に記録される。

　第１外部Ｉ／Ｆ部１１５は、バス１１３を介して外部の機器から入力される情報を不揮発メモリ１１２または揮発メモリ１１１へ出力する一方、バス１１３を介して外部の機器へ揮発メモリ１１１が記憶する情報、不揮発メモリ１１２が記憶する情報および撮像素子１０５が生成した画像データを出力する。具体的には、第１外部Ｉ／Ｆ部１１５は、バス１１３を介して画像処理装置３０に撮像素子１０５が生成したＲＡＷ画像データ、ＲＴＳノイズ情報およびランダムノイズモデル情報を出力する。

　〔画像処理装置の構成〕
　次に、画像処理装置３０の構成について説明する。画像処理装置３０は、第３外部Ｉ／Ｆ部３１と、補間処理部３２と、フレームメモリ３３と、動き検出部３４と、ノイズ低減部３５と、記憶部３６と、操作部３７と、画像処理部３８と、画像処理制御部３９と、を備える。

　第３外部Ｉ／Ｆ部３１は、撮像装置１０の第１外部Ｉ／Ｆ部１１５を介して撮像素子１０５によって生成された画像データ、不揮発メモリ１１２内のＲＴＳノイズ情報記録部１１２ｂが記録するＲＴＳノイズに関するＲＴＳノイズ情報およびランダムノイズモデル情報記録部１１２ｃが記録するランダムノイズモデル情報を取得し、取得したＲＡＷ画像データ（補正対象画像データ）、ＲＴＳノイズ情報およびランダムノイズモデル情報を補間処理部３２および記憶部３６へ出力する。第３外部Ｉ／Ｆ部３１および第１外部Ｉ／Ｆ部１１５は、例えば双方向に情報をやり取り可能な制御ケーブルや無線通信等を介して接続されている。なお、本実施の形態１では、第３外部Ｉ／Ｆ部３１が取得部として機能する。

　補間処理部３２は、第３外部Ｉ／Ｆ部３１から入力された撮像素子１０５によって生成されたＲＡＷ画像データに対して補間処理を行う。具体的には、補間処理部３２は、撮像素子１０５がベイヤー配列の場合、ＲＡＷ画像データに対応するＲＡＷ画像（以下、「現画像」という）の各画素に対して補間処理を行うことによって、欠落している画素値（信号値）を補間し、各画素においてＲ、ＧおよびＢ信号の全ての画素値を有する現画像を生成し、この現画像をノイズ低減部３５へ出力する。

　フレームメモリ３３は、ノイズ低減部３５と双方向に接続され、表示装置４０に表示するための画像のフレームデータを一時的に記憶する。

　動き検出部３４は、補間処理部３２から入力される現画像およびフレームメモリ３３に記憶され、ノイズ低減部３５によってノイズが補正された現画像と、この現画像と時間的に連続した補正後画像データに対応する補正後画像（以下、「過去画像」という）に基づいて、被写体の動きベクトル（移動量）を検出し、この検出結果をノイズ低減部３５へ出力する。動き検出部３４は、例えば公知のブロックマッチング処理等を用いて動きベクトルを検出する。例えば、動き検出部３４は、現画像の注目画素の特徴量と現画像の注目画素の特徴量位置に対応する過去画像の特徴量を検出後、この特徴量と現画像の注目画素の特徴量との距離が最小となる過去画像の画素を検出し、この検出した画素の位置と現画像の注目画素の画素位置とに基づいて、動きベクトルを検出する。ここで、現画像の注目画素の特徴量および現画像の注目画素の特徴量位置に対応する過去画像の特徴量とは、画素値や輝度値等である。なお、動き検出部３４は、現画像の各画素について動きベクトルを検出してもよい。また、本実施の形態１では、動き検出部３４が移動量算出部として機能する。

　ノイズ低減部３５は、補間処理部３２から入力された現画像に対して、ノイズ低減処理（以下、「ＮＲ処理」という）を行う。具体的には、ノイズ低減部３５は、現画像の各画素において静止状態と動作状態とを判別し、その判別結果に応じてＮＲ処理を切り替える。例えば、ノイズ低減部３５は、現画像が静止状態と判別した場合、高周波成分を保持可能な時間方向におけるノイズを低減する第１のＮＲ処理（以下、「時間方向ＮＲ処理」という）を選択する一方、現画像が動作状態と判定した場合、空間方向におけるノイズを低減する第２のＮＲ処理（以下「空間方向ＮＲ処理」という）を選択する。ここで、時間方向ＮＲ処理とは、ＮＲ処理の対象となる現画像と、その現画像とは異なる時間に取得された過去画像（参照画像データ）と、を用いた加重平均処理によりノイズを低減する。加重平均処理には、現画像の注目画素（処理対象画素）と現画像の注目画素の位置に対応する過去画像の画素（処理対象画素）が用いられる。また、空間方向ＮＲ処理とは、ＮＲ処理の処理対象となる注目画素（処理対象画素）と、この注目画素の周辺の周辺画素とを用いた加重平均処理によってノイズを低減する。また、静止状態とは、撮像素子１０５（撮像装置１０）と被写体との相対的な位置関係が時間的に変化しない状態を示す。さらにまた、動作状態とは、撮像素子１０５（撮像装置１０）と被写体との相対的な位置関係が時間的に変化する状態を示す。なお、本実施の形態１では、ノイズ低減部３５が補正部として機能する。また、ノイズ低減部３５は、被写体が移動していない場合、現画像の注目画素近傍の画素と対応する過去画像の画素の画素値を記憶部３６から取得し、取得した過去画像の画素の画素値に基づいて、注目画素の画素値を補正してもよい。　

　ここで、ノイズ低減部３５の詳細な構成について説明する。ノイズ低減部３５は、評価値算出部３５１と、推定ノイズ量取得部３５２と、ルックアップテーブル３５３と、判定部３５４と、ノイズ低減処理部３５５と、を有する。

　評価値算出部３５１は、補間処理部３２から入力された時間的に連続する現画像およびフレームメモリ３３から入力された過去画像の各々に含まれる被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する。

　推定ノイズ量取得部３５２は、補間処理部３２から入力された画像データに対応する画像で推定される推定ノイズ量を取得する。

　ルックアップテーブル３５３は、推定ノイズ量取得部３５２がノイズ量を推定する際に用いられるノイズモデルを記憶する。

　判定部３５４は、評価値算出部３５１が算出した評価値と推定ノイズ量取得部３５２が取得した推定ノイズ量とに基づいて、補間処理部３２から入力された現画像内における被写体が静止状態であるか否かを判定する。

　ノイズ低減処理部３５５は、注目画素がＲＴＳノイズを発生しえるとき、ノイズ低減の強度を強くすることによって注目画素の画素値を補正して画像処理部３８へ出力する。

　記憶部３６は、揮発メモリや不揮発性メモリを用いて構成され、第３外部Ｉ／Ｆ部３１から出力されたＲＴＳノイズ情報および複数の過去画像を記憶する。

　操作部３７は、画像処理装置３０に関する各種操作信号の入力を受け付ける。操作部３７は、例えば十字ボタン、プッシュボタンおよびタッチパネル等を用いて構成される。

　画像処理部３８は、ノイズ低減されたＲＡＷ画像データに対して、所定の画像処理を行って表示装置４０へ出力する。ここで、所定の画像処理とは、少なくともホワイトバランス調整処理、γ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。また、画像処理部３８は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。

　画像処理制御部３９は、画像処理装置３０を構成する各部を統括的に制御する。画像処理制御部３９は、ＣＰＵ（Central　Processing　Unit）等を用いて構成される。画像処理制御部３９は、画像処理装置３０を構成する各部の指示やデータ等の転送を制御する。

　〔表示装置の構成〕
　次に、表示装置４０の構成について説明する。表示装置４０は、画像処理装置３０から入力される画像データに対応する画像を表示する。表示装置４０は、液晶または有機ＥＬ（Electro　Luminescence）等の表示パネル等を用いて構成される。

　以上の構成を有する撮像システム１は、画像処理装置３０が撮像素子１０５において発生するＲＴＳノイズを補正し、表示装置４０が画像処理装置３０によって画像処理が施された画像データに対応する画像を表示する。

　〔ＲＴＳノイズの発生原因と特性〕
　次に、ＲＴＳノイズの発生原因とＲＴＳノイズの特性について説明する。
　図３は、撮像素子１０５に光が当たらないように遮光した場合において、ＲＴＳノイズが発生するときに、アンプ部１０５ｅから出力されるアンプ出力の変動の例を示す図である。図４は、ＲＴＳノイズが発生するアンプ部１０５ｅを用いて読み出された画素値の分布の例を示す図である。

　ＲＴＳノイズは、アンプ部１０５ｅにおけるゲート酸化膜にトラップ準位が存在した場合、ランダムなタイミングで、このトラップ準位に電荷が捕獲されたり、放出されたりすることで発生する。このため、図３に示すように、ＲＴＳノイズが発生するアンプ部１０５ｅでは、アンプ出力が約Ｖｒｔｓの範囲でランダムに変動する。また、電位の変動は、一瞬で起こらず、わずかな時間τを要する。

　一般に、撮像素子１０５では、画素１０５ａから読み出した画素値からノイズを低減するため、相関二重サンプリング処理（以下、「ＣＤＳ処理」という）が行われる。ＣＤＳ処理では、撮像制御部１１４が撮像素子１０５のリセットスイッチ（図示せず）をオンにして、ＦＤ部１０５ｄの電荷をリセットさせ、さらに、撮像制御部１１４が第２スイッチ１０５ｆをオンにして、リセット状態を作り、リセット状態の信号（基準信号）を読み出す（出力する）。次に、ＣＤＳ処理では、撮像制御部１１４が第１スイッチ１０５ｂ（または第１スイッチ１０５ｂ（１）～１０５ｂ（８）のいずれか）のみをオンにして、画素１０５ａで発生した電荷をＦＤ部１０５ｄに転送し、さらに第２スイッチ１０５ｆをオンにした読み出し状態（出力状態）を作り、読み出し状態の信号を読み出す（出力する）。続いて、ＣＤＳ処理では、読み出し状態の信号からリセット状態の信号（基準信号）を減算することで得られる信号を画素値として変換する。

　図３に示すように、撮像素子１０５は、ＣＤＳ処理により、時間ｔｒ１（リセット状態）および時間ｔｓ１（読み出し状態）それぞれの信号を読み出すと、時間ｔｒ１および時間ｔｓ１それぞれのアンプ出力Ｖがほぼ同様であるため、主にランダムノイズによる影響を受け、読み出された画素値が図４に示す分布Ａのような０を中心とした分布となる。同様に、撮像素子１０５は、時間ｔｒ２（リセット状態）と時間ｔｓ２（読み出し状態）でも、時間ｔｒ２および時間ｔｓ２それぞれのアンプ出力Ｖがほぼ同様であるため、読み出された画素値が図４に示す分布Ａのようになる。

　一方、撮像素子１０５は、ＣＤＳ処理により、時間ｔｒ３（リセット状態）および時間ｔｓ３（読み出し状態）それぞれの信号を読み出すと、時間ｔｒ３のアンプ出力と比べ時間ｔｓ３のアンプ出力が約Ｖｒｔｓ低いため、２つの信号の差をとると、アンプ出力の変化量であるＶｒｔｓに対応する画素値であるＲＴＳ＿Ｖａｌｕｅ分マイナス方向にシフトし、読み出された画素値が－ＲＴＳ＿Ｖａｌｕｅを中心とした分布Ｂとなる。

　これに対して、撮像素子１０５は、ＣＤＳ処理により、時間ｔｒ４（リセット状態）および時間ｔｓ４（読み出し状態）それぞれの信号を読み出すと、時間ｔｒ４のアンプ出力に比べて時間ｔｓ４のアンプ出力が約Ｖｒｔｓ高いため、２つの信号の差をとるとアンプ出力の変化量であるＶｒｔｓに対応する画素値であるＲＴＳ＿Ｖａｌｕｅ分プラス方向にシフトし、読み出された画素値がＲＴＳ＿Ｖａｌｕｅを中心とした分布Ｃとなる。

　ここで、図３のアンプ出力の変動は、時間τを要して生じるため、電位が変動している途中で信号を読み出す場合もある。この場合、リセット状態の読み出し時間および読み出し状態の読み出し時間の間で、アンプ出力差が－Ｖｒｔｓより大きく、Ｖｒｔｓより小さい。この結果、撮像素子１０５から読み出された画素値も、－ＲＴＳ＿Ｖａｌｕｅより大きく、ＲＴＳ＿Ｖａｌｕｅより小さな値となる。時間τは、撮像素子１０５の条件（例えば温度や駆動電圧等）が一定であれば、ほぼ一定になると考えられるため、－ＲＴＳ＿Ｖａｌｕｅより大きくＲＴＳ＿Ｖａｌｕｅより小さな画素値が同様の確率で発生する。ここでは、これらの画素値の発生頻度をαｎｏｉｓｅと定義する。また、分布Ｂおよび分布Ｃの各々は、中央値のみ異なるが、それ以外は同様の分布となる。このため、以下においては、分布Ａに対する分布Ｂまたは分布Ｃの割合をαｒｔｓと定義する。このαｒｔｓは、アンプ部１０５ｅのアンプ出力の変動周期が短いほど、大きくなる。

　このように、ＣＤＳ処理によりＲＴＳノイズが発生するアンプ部１０５ｅを用いて読み出された画素値は、図４のような分布となる。なお、撮像素子１０５に光が当たっている条件では、読み出し状態の電位が露光量に応じて変化する。しかしながら、ＲＴＳノイズによる電位の変化は、露光量によらず一定である。即ち、ＲＴＳノイズは、露光量に依存せず、－ＲＴＳ＿Ｖａｌｕｅ以上、ＲＴＳ＿Ｖａｌｕｅ以下の範囲で正常な画素値に対してランダムに変動する特性を有する。なお、図４において、分布Ａ、分布Ｂ、分布Ｃを模式的に示したが、一般には正規分布となる。

　また、ＲＴＳノイズは、読み出し回路（アンプ部１０５ｅ）に起因するノイズであるため、図２に示すように、複数の画素１０５ａの各々が１つの読み出し回路を共有している場合、全ての共有画素（画素１０５ａ（１）～１０５ａ（８））において同様の特性のＲＴＳノイズが発生する。

　また、図２に示した読み出し回路（アンプ部１０５ｅ）以外にも、撮像素子１０５の列方向で共有しているカラムアンプやソースフォロア等においても、ＲＴＳノイズが発生する場合がある。この場合、同じカラムアンプおよびソースフォロアを共有する列方向の全ての画素においても同様の特性のＲＴＳノイズが発生する。本実施の形態では、読み出し回路（アンプ部１０５ｅ）以外の回路で発生したＲＴＳノイズにも適用することができる。

　このようにＲＴＳノイズは、被写体を固定して同じ条件で撮影した場合、撮影により得られた画像の画素値が一定範囲内（－ＲＴＳ＿Ｖａｌｕｅ以上、ＲＴＳ＿Ｖａｌｕｅ以下）で振幅（変動）するような点滅欠陥ノイズの一種となる。

　〔画像処理装置の処理〕
　次に、画像処理装置３０が実行する処理について説明する。図５は、画像処理装置３０が実行する処理の概要を示すフローチャートであり、画像処理装置３０が実行するメインルーチンのフローチャートである。

　図５に示すように、まず、評価値算出部３５１は、補間処理部３２から出力された現画像（現フレーム）と、フレームメモリ３３に記憶された過去画像（過去フレーム）と、を用いて差分平均値ｍＳＡＤ（フレーム間差分値）を算出する（ステップＳ１）。ここで、過去画像とは、補間処理部３２から入力される現画像より１フレーム前の時点において、ノイズ低減部３５から出力されたＮＲ処理済みの画像である。具体的には、評価値算出部３５１は、ＮＲ処理の対象となる画素である注目画素の座標を（ｘ，ｙ）とした場合、差分平均値ｍＳＡＤを以下の式（１）を用いて算出し、式（１）のＳＡＤ（ｍ，ｎ）が最小となる（ｍ，ｎ）の値をノイズ低減処理部３５５および判定部３５４へ出力する。なお、以下においては、Ｇ信号についての処理を説明するが、Ｒ信号およびＢ信号についても同一の処理を行う。

　ここで、上式（１）において、ｍｉｎ｛｝は、括弧内の値の最小値を取得する処理を表す。また、ｍ＝－１、０、１、ｎ＝－１、０、１の場合を示すが、これに限定されず、ｍ＝－１０、－９、・・・、９、１０、ｎ＝－１０、－９、・・・、９、１０などより広い範囲を設定してもよい。また、Ｆ_G__cur（ｘ，ｙ）は、現画像（ＲＧＢ画像）の座標（ｘ，ｙ）におけるＧ信号値であり、Ｆ_G__pre（ｘ，ｙ）は、過去画像の座標（ｘ，ｙ）におけるＧ信号値である。また、ｋは、自然数であり、（２ｋ＋１）は、差分平均値ｍＳＡＤを算出する際のカーネルサイズに相当する。なお、ｋは、予め一定の値を設定しておくこともできるし、操作部３７を介してユーザが任意の値を設定する構成としてもよい。また、｜Ａ｜は、実数Ａの絶対値を取得する処理を表す。

　また、上式（１）で説明した（ｍ，ｎ）は、フレーム間の動きベクトルに相当し、この動きベクトルの探索範囲は、ｍ＝－１、０、１、ｎ＝－１、０、１の場合±１画素である。上式（１）では、探索範囲の中で最も小さいＳＡＤをｍＳＡＤとして選択する。

　続いて、推定ノイズ量取得部３５２は、ルックアップテーブル３５３を参照して、現画像における注目画素の画素値（信号値）に対応する推定ノイズ量Ｎを取得する（ステップＳ２）。

　図６は、ルックアップテーブル３５３が記憶するノイズモデルの一例を示す図である。図６において、縦軸がノイズ量を示し、横軸が画素値を示す。なお、図６においては、縦軸のノイズ量として画素値の標準偏差を用い、撮像素子１０５の特性に応じたノイズモデルを示す。

　図６の曲線Ｌ_x１に示すように、撮像素子１０５におけるノイズ量は、画素値が大きくなるに従って増加する。このため、本実施の形態１では、推定ノイズ量取得部３５２は、図６の曲線Ｌ_x１のノイズモデルを参照して、現画像の注目画素の画素値に対応する推定ノイズ量Ｎを取得する。なお、図６に示した曲線以外にも、ノイズモデルを近似式や折れ線で近似した特性であってもよい。

　その後、判定部３５４は、評価値算出部３５１によって算出された差分平均値ｍＳＡＤが推定ノイズ量取得部３５２によって取得されたノイズ量Ｎ以下（ｍＳＡＤ≦Ｎ）であるか否かを判定することによって、静止状態であるか動作状態であるか否かの判別処理を行う（ステップＳ３）。判定部３５４が評価値算出部３５１によって算出された差分平均値ｍＳＡＤが推定ノイズ量取得部３５２によって取得されたノイズ量Ｎ以下であると判定した場合（ステップＳ３：Ｙｅｓ）、画像処理装置３０は、後述するステップＳ４へ移行する。これに対して、判定部３５４が評価値算出部３５１によって算出された差分平均値ｍＳＡＤが推定ノイズ量取得部３５２によって取得されたノイズ量以下でないと判定した場合（ステップＳ３：Ｎｏ）、画像処理装置３０は、後述するステップＳ５へ移行する。

　ステップＳ４において、ノイズ低減処理部３５５は、現画像における注目画素に対して時間方向ＮＲ処理を実行する。なお、時間方向ＮＲ処理の詳細は、後述する。ステップＳ４の後、画像処理装置３０は、後述するステップＳ６へ移行する。

　ステップＳ５において、ノイズ低減処理部３５５は、現画像における注目画素に対して空間方向ＮＲ処理を実行する。なお、空間方向ＮＲ処理の詳細は、後述する。ステップＳ５の後、画像処理装置３０は、後述するステップＳ６へ移行する。

　続いて、画像処理制御部３９が現画像の全画素に対してＮＲ処理が実行されたと判断した場合（ステップＳ６：Ｙｅｓ）、画像処理装置３０は、後述するステップＳ７へ移行する。これに対して、画像処理制御部３９が現画像の全画素に対してＮＲ処理が実行されていないと判断した場合（ステップＳ６：Ｎｏ）、画像処理装置３０は、上述したステップＳ１へ戻る。

　ステップＳ７において、ノイズ低減処理部３５５は、ＮＲ画像をフレームメモリ３３および画像処理部３８へ出力する。ステップＳ７の後、画像処理装置３０は、本処理を終了する。

　判定部３５４は、評価値算出部３５１によって算出された差分平均値ｍＳＡＤがノイズ量Ｎ以下であるかを判定することによって、ノイズ低減処理部３５５が時間方向ＮＲ処理を行うか空間方向ＮＲ処理を行うか切替えていたが、ノイズ低減処理部３５５が時間方向ＮＲ処理と空間方向ＮＲ処理の両方を行い、差分平均値ｍＳＡＤの大きさ（または動きベクトルの確からしさを示す信頼度の大きさ）に応じて設定されるブレンド値に基づいて各ＮＲ処理の結果をブレンドするようにしてもよい。

　〔時間方向ＮＲ処理の概要〕
　次に、上述した図５のステップＳ４の時間方向ＮＲ処理について詳細に説明する。図７は、時間方向ＮＲ処理の概要を示すフローチャートである。

　図７に示すように、ノイズ低減処理部３５５は、記憶部３６からＲＴＳノイズ情報を取得し、このＲＴＳノイズ情報に基づいて、現画像の注目画素においてＲＴＳノイズが発生する可能性があるか否かを判断する（ステップＳ１０）。ノイズ低減処理部３５５が現画像の注目画素においてＲＴＳノイズが発生する可能性があると判断した場合（ステップＳ１０：Ｙｅｓ）、画像処理装置３０は、後述するステップＳ１１へ移行する。これに対して、ノイズ低減処理部３５５が現画像の注目画素においてＲＴＳノイズが発生する可能性がないと判断した場合（ステップＳ１０：Ｎｏ）、画像処理装置３０は、後述するステップＳ１２へ移行する。

　ステップＳ１１において、ノイズ低減処理部３５５は、記憶部３６から取得したＲＴＳノイズ情報に含まれるＲＴＳ＿Ｖａｌｕｅに応じて、時間方向ＮＲ処理で用いる係数Ｃｏ＿ｗｅ＿ｐｒｅを設定する。ステップＳ１１の後、画像処理装置３０は、後述するステップＳ１３へ移行する。

　図８は、ノイズ低減処理部３５５が設定するＲＴＳ＿Ｖａｌｕｅと係数Ｃｏ＿ｗｅ＿ｐｒｅとの関係を示す図である。図８において、横軸がＲＴＳ＿Ｖａｌｕｅの大きさを示し、縦軸が係数Ｃｏ＿ｗｅ＿ｐｒｅを示す。

　図８に示すように、ノイズ低減処理部３５５は、直線Ｌ１、曲線Ｌ２および折れ線Ｌ３に示すように、ＲＴＳ＿Ｖａｌｕｅの大きさに応じて、係数Ｃｏ＿ｗｅ＿ｐｒｅを設定する。例えば、ノイズ低減処理部３５５は、ＲＴＳ＿Ｖａｌｕｅの大きさに応じて、直線Ｌ１に示すように直線的に大きくなるように係数Ｃｏ＿ｗｅ＿ｐｒｅを設定してもよいし、曲線Ｌ２に示すように指数的に大きくなるように係数Ｃｏ＿ｗｅ＿ｐｒｅを設定してもよいし、折れ線Ｌ３に示すように段階的に大きくなるように係数Ｃｏ＿ｗｅ＿ｐｒｅを設定してもよい。このように、ノイズ低減処理部３５５は、注目画素にＲＴＳノイズが発生する可能性がある場合、注目画素にＲＴＳノイズが発生しない場合と比べて、時間方向ＮＲ処理で用いる係数Ｃｏ＿ｗｅ＿ｐｒｅを大きくする。

　図７に戻り、ステップＳ１２以降の説明を続ける。
　ステップＳ１２において、ノイズ低減処理部３５５は、係数Ｃｏ＿ｗｅ＿ｐｒｅを１（係数Ｃｏ＿ｗｅ＿ｐｒｅ＝１）に設定する。ステップＳ１２の後、画像処理装置３０は、後述するステップＳ１３へ移行する。

　続いて、ノイズ低減処理部３５５は、上述したステップＳ１１またはステップＳ１２で設定した係数Ｃｏ＿ｗｅ＿ｐｒｅを用いて、重み係数ｗｅ＿ｐｒｅを算出する（ステップＳ１３）。具体的には、ノイズ低減処理部３５５は、以下の式（２）によって、重み係数ｗｅ＿ｐｒｅを算出する。
　ｗｅ＿ｐｅｒ＝Ｃｏ＿ｗｅ＿ｐｒｅ×ｗｅ＿ｐｒｅ　　　・・・（２）

　その後、ノイズ低減処理部３５５は、上述したステップＳ１３で算出した重み係数ｗｅ＿ｐｒｅを用いて、時間方向ＮＲ処理を実行し（ステップＳ１４）、画像処理装置３０は、図５のメインルーチンへ戻る。具体的には、ノイズ低減処理部３５５は、以下の式（３）を用いて時間方向ＮＲ処理を実行する。

　ここで、上述（３）において、Ｆ_G＿NR（ｘ，ｙ）は、ＮＲ画像の座標（ｘ，ｙ）における現画像の画素値である。また、ｗｅ＿ｃｕｒおよびｗｅ＿ｐｒｅは、加重平均処理時の重み係数である。なお、本実施の形態１では、ｗｅ＿ｐｒｅをｗｅ＿ｃｕｒと比較して大きくすることによって、ノイズ低減量を大きくしてもよい。また、本実施の形態１では、ｗｅ＿ｐｒｅを予め一定の値に設定しておいてもよいし、操作部３７を介してユーザが任意の値を設定可能な構成としてもよい。

　〔空間方向ＮＲ処理の概要〕
　次に、図５のステップＳ５において説明した空間方向ＮＲ処理について詳細に説明する。図９は、空間方向ＮＲ処理の概要を示すフローチャートである。

　図９に示すように、ノイズ低減処理部３５５は、記憶部３６からＲＴＳノイズ情報を取得し、このＲＴＳノイズ情報に基づいて、現画像の注目画素においてＲＴＳノイズが発生する可能性があるか否かを判断する（ステップＳ２１）。ノイズ低減処理部３５５が現画像の注目画素においてＲＴＳノイズが発生する可能性があると判断した場合（ステップＳ２１：Ｙｅｓ）、画像処理装置３０は、後述するステップＳ２２へ移行する。これに対して、ノイズ低減処理部３５５が現画像の注目画素においてＲＴＳノイズが発生する可能性がないと判断した場合（ステップＳ２１：Ｎｏ）、画像処理装置３０は、後述するステップＳ２２へ移行する。

　ステップＳ２１において、ノイズ低減処理部３５５は、記憶部３６から取得したＲＴＳノイズ情報に含まれるＲＴＳ＿Ｖａｌｕｅに応じて、空間方向ＮＲ処理で用いる係数Ｃｏ＿Ｃｂを設定する。ステップＳ２１の後、画像処理装置３０は、後述するステップＳ２３へ移行する。

　図１０は、ノイズ低減処理部３５５が設定するＲＴＳ＿Ｖａｌｕｅと係数Ｃｏ＿Ｃｂとの関係を示す図である。図１０において、横軸がＲＴＳ＿Ｖａｌｕｅの大きさを示し、縦軸が係数Ｃｏ＿Ｃｂを示す。

　図１０に示すように、ノイズ低減処理部３５５は、直線Ｌ１１、曲線Ｌ１２および折れ線Ｌ１３に示すように、ＲＴＳ＿Ｖａｌｕｅの大きさに応じて、係数Ｃｏ＿Ｃｂを設定する。例えば、ノイズ低減処理部３５５は、ＲＴＳ＿Ｖａｌｕｅの大きさに応じて、直線Ｌ１１に示すように直線的に大きくなるように係数Ｃｏ＿Ｃｂを設定してもよいし、曲線Ｌ１２に示すように指数的に大きくなるように係数Ｃｏ＿Ｃｂを設定してもよいし、折れ線Ｌ１３に示すように段階的に大きくなるように係数Ｃｏ＿Ｃｂを設定してもよい。このように、ノイズ低減処理部３５５は、注目画素にＲＴＳノイズが発生する可能性がある場合、注目画素にＲＴＳノイズが発生しない場合と比べて、空間方向ＮＲ処理で用いる係数Ｃｏ＿Ｃｂを大きくする。

　図９に戻り、ステップＳ２２以降の説明を続ける。
　ステップＳ２２において、ノイズ低減処理部３５５は、係数Ｃｏ＿Ｃｂを１（係数Ｃｏ＿Ｃｂ＝１）に設定する。ステップＳ２２の後、画像処理装置３０は、後述するステップ２３へ移行する。

　続いて、ノイズ低減処理部３５５は、上述したステップＳ２１またはステップＳ２２で設定した係数Ｃｏ＿Ｃｂを用いて、重み係数Ｃｂを算出する（ステップＳ２４）。具体的には、ノイズ低減処理部３５５は、以下の式（４）によって、重み係数Ｃｂを算出する。
　Ｃｂ＝Ｃｏ＿Ｃｂ×Ｃｂ　　　・・・（４）

　その後、ノイズ低減処理部３５５は、上述したステップＳ２３で算出した重み係数Ｃｂを用いて、空間方向ＮＲ処理を実行し（ステップＳ２４）、画像処理装置３０は、図５のメインルーチンへ戻る。具体的には、ノイズ低減処理部３５５は、以下の式（５）を用いて空間方向ＮＲ処理を実行する。

　ここで、上式（５）において、ｗｅ＿ｄｉｆｆ＿ｃｕｒ（ｘ＋ｉ，ｙ＋ｊ）およびｗｅ＿ｄｉｆｆ＿ｐｒｅ（ｘ＋ｉ，ｙ＋ｊ）は、加重平均処理時の重み係数に相当する。この係数は、以下の式（６）に示すように、ガウス分布によって与えられる。また、ｉおよびｊは、自然数である。さらに、ｍおよびｎは、上述した式（１）において差分平均値ｍＳＡＤとして選択されたＳＡＤ（ｍ，ｎ）である。

　上述した式（６）に示すように、本実施の形態１で用いられる空間方向ＮＲ処理では、現画像の注目画素の画素値と、この注目画素の周辺画素の画素値との差分の大きさに応じて、適応的に重み係数が設定される。具体的には、現画像の注目画素の画素値と、この注目画素の周辺画素の画素値との差分が大きい場合、加重平均処理時の重みが小さくなる。従って、エッジ部等の画素値が急に変化する領域の画素は、加重平均処理に寄与しなくなるため、エッジ部を保持してノイズ成分のみを低減することができる。しかしながら、この空間方向ＮＲ処理では、現画像の注目画素の画素値と、この注目画素の周辺画素の画素値との差分に応じて重み係数が制御されているため、ノイズ低減の程度（平滑化の強度）が画像に含まれるノイズ量に依存する。具体的には、ノイズが大きいほど差分が大きくなるため、重み係数が小さくなり、上式（３）の加重平均における寄与が小さくなる。そのため、ノイズが大きいほどノイズ低減の程度は、弱くなり、ノイズが低減されなくなってしまう。

　そこで、本実施の形態１では、ノイズ低減処理部３５５は、上式（６）のガウス分布の標準偏差σを、図５のステップＳ２で出力されるノイズ量Ｎに基づいて算出する。具体的には、ノイズ低減処理部３５５は、以下の式（７）を用いて標準偏差σを算出する。
　σ＝Ｃｂ×Ｎ　　　・・・（７）

　ここで、上式（７）において、重み係数Ｃｂは、正の実数である。なお、重み係数Ｃｂは、予め一定の値を設定してもよいし、操作部３７を介してユーザが任意の値に設定可能な構成としてもよい。

　このように、ノイズ低減処理部３５５は、ノイズ量Ｎに基づいて、ガウス分布の標準偏差σを算出することによって、ノイズ量に対して適応的なノイズ低減処理を実行することができる。即ち、ノイズ低減処理部３５５は、ノイズ量が大きいほど、標準偏差σが大きくなるため、上式（６）において差分（例えばＦ_G＿cur（ｘ＋i，ｙ＋ｊ）－Ｆ_G＿cur（ｘ＋，ｙ））がノイズにより大きくなった場合でも、標準偏差σが推定ノイズ量Ｎに依存しない場合に比べて、重み係数を大きくできる。このため、ノイズが大きい場合でも、平滑化の強度を維持することができる。

　以上説明した本発明の実施の形態１によれば、ノイズ低減部３５が第３外部Ｉ／Ｆ部３１から入力されたＲＴＳノイズ情報に基づいて、現画像の注目画素においてＲＴＳノイズが発生する可能性がある場合、注目画素の画素値に対して、ＮＲ処理の係数をＲＴＳノイズが発生しない画素に対して行うＮＲ処理の係数と比べて大きくすることによって、注目画素の画素値と周辺画素の画素値との相関が低い場合であっても、動画に発生する可能性があるＲＴＳノイズを低減することができるので、画質を向上させることができる。

　さらに、本発明の実施の形態１によれば、現画像の注目画素においてＲＴＳノイズが発生する可能性がある場合、注目画素の画素値に対して、従来の撮像装置等に備えられたＮＲ機能の係数を大きくするだけでよいため、簡易な構成でＲＴＳノイズを低減することができる。

　なお、本発明の実施の形態１では、動き検出部３４が動きベクトル（ｍ、ｎ）を算出するためにＳＡＤを用いたが、その他ＳＳＤ（Sum　of　Squared　Difference）やＮＣＣ（Normalized　Cross-Correlation）など既存の方法によって算出してもよい。

（実施の形態２）
　次に、本発明の実施の形態２について説明する。本実施の形態２に係る撮像システムは、上述した実施の形態１に係る画像処理装置３０と構成が異なるうえ、本実施の形態２に係る画像処理装置が実行する処理も異なる。具体的には、本実施の形態２に係る画像処理装置は、現画像から算出した代表値および過去画像で算出した代表値に基づいて、注目画素を補正する際の代表値を算出し、この代表値に基づいて注目画素の画素値を補正する。以下においては、本実施の形態２に係る撮像システムの構成を説明後、本実施の形態２に係る画像処理装置が実行する処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

　〔撮像システムの構成〕
　図１１は、本発明の実施の形態２に係る撮像システムの構成を模式的に示すブロック図である。図１１に示す撮像システム１ａは、上述した実施の形態１に係る撮像システム１の画像処理装置３０に換えて、画像処理装置３０ａを備える。

　〔画像処理装置の構成〕
　画像処理装置３０ａは、上述した実施の形態１に係る画像処理装置３０から補間処理部３２、フレームメモリ３３および動き検出部３４の構成を省略するとともに、ノイズ低減部３５に換えてノイズ低減部３５ａを備える。

　ノイズ低減部３５ａは、第３外部Ｉ／Ｆ部３１から入力された現画像に対して、ＲＴＳノイズを補正して画像処理部３８へ出力する。ノイズ低減部３５ａは、ＲＴＳノイズ補正部３２０を有する。

　ＲＴＳノイズ補正部３２０は、第３外部Ｉ／Ｆ部３１から入力された現画像に対して、ＲＴＳノイズを補正するＲＴＳノイズ補正処理を行い、このＲＴＳノイズ補正を行った現画像を画像処理部３８へ出力する。

　ここで、ＲＴＳノイズ補正部３２０の詳細な構成について説明する。図１２は、ＲＴＳノイズ補正部３２０の詳細な構成を示すブロック図である。

　図１２に示すように、ＲＴＳノイズ補正部３２０は、ＲＴＳノイズ画素判定部３２１と、候補値算出部３２２と、代表値算出部３２３と、ランダムノイズ量推定部３２４と、補正値算出部３２５と、を有する。

　ＲＴＳノイズ画素判定部３２１は、第３外部Ｉ／Ｆ部３１から入力されたＲＴＳノイズ情報に基づいて、第３外部Ｉ／Ｆ部３１から入力された現画像の注目画素においてＲＴＳノイズが発生する可能性があるか否かを判定し、判定結果を候補値算出部３２２および代表値算出部３２３へ出力する。具体的には、ＲＴＳノイズ画素判定部３２１に対して画素が位置を入力されると、その画素（注目画素）に対応するＲＴＳノイズ情報があるか否かを判定し、ＲＴＳノイズ情報がある場合、このＲＴＳノイズ情報（ＲＴＳノイズが有りを示す情報）を出力する一方、ＲＴＳノイズ情報がない場合、ＲＴＳノイズが発生しない画素と見なし、ＲＴＳノイズ情報を出力しない。

　候補値算出部３２２は、注目画素の画素値と、ＲＴＳノイズ画素判定部３２１の判定結果とに基づいて、ＲＴＳノイズ画素判定部３２１によって注目画素においてＲＴＳノイズが発生する可能性があると判定されている場合、注目画素の画素値に対する補正量の候補値を複数算出し、注目画素の画素値と、算出した複数の候補値を代表値算出部３２３、ランダムノイズ量推定部３２４および補正値算出部３２５それぞれへ出力する。

　代表値算出部３２３は、ＲＴＳノイズ画素判定部３２１によって注目画素においてＲＴＳノイズが発生する可能性があると判定されている場合には、注目画素における周囲の少なくともＲＴＳノイズ画素判定部３２１によってＲＴＳノイズが発生しないと判定されている画素と、後述するランダムノイズ量推定部３２４が算出した注目画素に対応するランダムノイズ量とに基づいて、ＲＴＳノイズが発生しない場合の画素値に相当する代表値を算出する。また、代表値算出部３２３は、第３外部Ｉ／Ｆ部３１から入力された現画像と記憶部３６に記憶された過去画像とに基づいて、現画像の代表値を算出して補正値算出部３２５へ出力する。

　ここで、代表値算出部３２３の詳細な構成について説明する。図１３は、代表値算出部３２３の詳細な構成を示すブロック図である。

　図１３に示すように、代表値算出部３２３は、第１参照値算出部３２３ａと、第１ランダムノイズ量推定部３２３ｂと、許容範囲算出部３２３ｃと、代表値決定部３２３ｄと、を有する。

　第１参照値算出部３２３ａは、ランダムノイズ量を推定する際に用いる参照値を算出する。具体的には、第１参照値算出部３２３ａは、注目画素の画素値にＲＴＳ＿Ｖａｌｕｅを加算した値、または注目画素の画素値に補正量の候補値のうち最大値を加算した値を参照値として算出する。

　第１ランダムノイズ量推定部３２３ｂは、第３外部Ｉ／Ｆ部３１から入力されたランダムノイズモデルと第１参照値算出部３２３ａが算出した参照値とに基づいて、ランダムノイズ量を算出する。

　許容範囲算出部３２３ｃは、注目画素を基準に設定した算出範囲内にある画素の画素値と第１ランダムノイズ量推定部３２３ｂで算出したランダムノイズ量とに基づいて、代表値算出処理に使用可能な画素値の範囲である許容範囲（有効範囲）を算出する。

　代表値決定部３２３ｄは、算出範囲内における注目画素以外の画素値に対して、許容範囲内（有効範囲内）に含まれている画素値（カラーフィルタを用いた撮像素子１０５の場合、注目画素と同色の画素値）を選択し、選択した画素値が所定の値以上の場合、この選択した画素値の中央値を代表値として決定する。また、代表値決定部３２３ｄは、現画像と記憶部３６に記憶された過去画像とに基づいて、現画像の代表値を決定する。

　図１２に戻り、ＲＴＳノイズ補正部３２０の構成の説明を続ける。
　ランダムノイズ量推定部３２４は、第３外部Ｉ／Ｆ部３１から入力されたランダムノイズモデルに基づいて、画素値に対応するランダムノイズ量を推定し、推定結果を候補値算出部３２２、代表値算出部３２３および補正値算出部３２５それぞれへ出力する。即ち、ランダムノイズ量推定部３２４に対して画素値を入力すると、その画素値に対応するランダムノイズ量が出力される。

　補正値算出部３２５は、ＲＴＳノイズ画素判定部３２１によって注目画素においてＲＴＳノイズが発生する可能性がある画素と判定されている場合、候補値算出部３２２が算出した複数の候補値に基づいて、注目画素の画素値を補正する。具体的には、補正値算出部３２５は、注目画素の画素値と、候補値算出部３２２によって算出された複数の候補値と、代表値算出部３２３によって算出された代表値と、に基づいて、ＲＴＳノイズを補正した画素値を算出して画像処理部３８へ出力する。より具体的には、補正値算出部３２５は、候補値算出部３２２が算出した複数の候補値の中から、代表値算出部３２３が算出した代表値に補正結果が最も近くなるような候補値に基づいて、注目画素の画素値を補正する。これに対して、補正値算出部３２５は、ＲＴＳノイズ画素判定部３２１によって注目画素においてＲＴＳノイズが発生しない画素と判定されている場合、注目画素の画素値をそのまま出力する。なお、本実施の形態２では、補正値算出部３２５が補正部として機能する。

　ここで、補正値算出部３２５の詳細な構成について説明する。図１４は、補正値算出部３２５の詳細な構成を示すブロック図である。

　図１４に示すように、補正値算出部３２５は、第２参照値算出部３２５ａと、第２ランダムノイズ量推定部３２５ｂと、補正量決定部３２５ｃと、画素値補正部３２５ｄと、を有する。

　第２参照値算出部３２５ａは、注目画素の画素値からＲＴＳ＿Ｖａｌｕｅを減算した値または注目画素の画素値から補正量の候補値のうち最大値を減算した値を参照値として算出する。

　第２ランダムノイズ量推定部３２５ｂは、第３外部Ｉ／Ｆ部３１から入力されたランダムノイズモデルと第２参照値算出部３２５ａが算出した参照値とに基づいて、ランダムノイズ量を算出する。

　補正量決定部３２５ｃは、第２ランダムノイズ量推定部３２５ｂが算出したランダムノイズ量に、一定の係数を乗じた値を閾値として算出し、候補値算出部３２２によって算出された補正量の候補値の中における最大候補値が閾値以上であるか否かを判定後、代表値算出部３２３が算出した代表値と、注目画素の絶対値に最も近い補正量の候補値を、補正量として選択する。

　画素値補正部３２５ｄは、代表値に近づくように、注目画素の画素値に対して補正量分加算または減算することによって、補正した注目画素の画素値を算出する。

　〔画像処理装置の処理〕
　次に、画像処理装置３０ａが実行する処理について説明する。図１５は、画像処理装置３０ａが実行する処理の概要を示すフローチャートであり、画像処理装置３０ａが実行するメインルーチンのフローチャートである。

　図１５に示すように、まず、ＲＴＳノイズ補正部３２０は、後述するステップＳ１０２～ステップＳ１０５の処理を順次行うための注目画素を設定する（ステップＳ１０１）。なお、ＲＴＳノイズ補正部３２０は、画素毎に左上から右下に向かってラスタ順に、０より大きい整数を１、２、３、・・・と順にインデックスとして割り当てる。次に、ＲＴＳノイズ補正部３２０は、ステップＳ１０１が実行される毎に、カウンタを１ずつ増加させる（図１５の処理が開始される時点でカウンタは０にリセットする）。ＲＴＳノイズ補正部３２０は、カウンタが示しているインデックスが割り当てられている画素を注目画素として設定する。即ち、ＲＴＳノイズ補正部３２０によってステップＳ１０１が最初に実行されると、ＲＴＳノイズ補正部３２０が０にリセットされたカウンタを１増加させるため、カウンタが１を示し、左上の画素が注目画素となる。ＲＴＳノイズ補正部３２０がステップＳ１０１の処理を２回（２回目）実行すると、カウンタが２を示すため、左上の画素の右側の画素が注目画素となる。

　続いて、ＲＴＳノイズ画素判定部３２１は、第３外部Ｉ／Ｆ部３１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介して、撮像装置１０の不揮発メモリ１１２のＲＴＳノイズ情報記録部１１２ｂが記録するＲＴＳノイズ情報を取得し、取得したＲＴＳノイズ情報に基づいて、注目画素においてＲＴＳノイズが発生する可能性があるか否かを判定する（ステップＳ１０２）。即ち、ＲＴＳノイズ画素判定部３２１は、注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズ情報に含まれているか否かを判定する。具体的には、ＲＴＳノイズ画素判定部３２１は、注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズが発生する可能性がある共有画素ブロックとしてＲＴＳノイズ情報に含まれているか否かを判定する。ＲＴＳノイズ画素判定部３２１によって注目画素においてＲＴＳノイズが発生する可能性があると判定（注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズ情報に含まれていると判定）された場合（ステップＳ１０２：Ｙｅｓ）、画像処理装置３０ａは、後述するステップＳ１０３へ移行する。これに対して、ＲＴＳノイズ画素判定部３２１によって注目画素においてＲＴＳノイズが発生する可能性がないと判定（注目画素が含まれる共有画素ブロックの位置情報が、ＲＴＳノイズ情報に含まれていないと判定）された場合（ステップＳ１０２：Ｎｏ）、画像処理装置３０ａは、後述するステップＳ１０６へ移行する。この場合において、ＲＴＳノイズ画素判定部３２１は、注目画素においてＲＴＳノイズが発生する可能性がないと判定した場合、この注目画素の画素値をそのまま補正後の画素値として代表値算出部３２３へ出力する。

　ステップＳ１０３において、候補値算出部３２２は、ＲＴＳノイズを補正するための補正量の候補値を複数算出する。具体的には、候補値算出部３２２は、注目画素に対応するＲＴＳ＿Ｖａｌｕｅ（ＲＴＳノイズ画素判定部３２１から出力されるＲＴＳノイズ情報に含まれている）に基づいて、０以上ＲＴＳ＿Ｖａｌｕｅ以下の画素値として取り得る値全て（ＲＡＷ画像として整数のみを取り得る場合、０以上ＲＴＳ＿Ｖａｌｕｅ以下の全ての整数）を候補値とする。なお、候補値算出部３２２は、撮像制御部１１４によって撮像素子１０５のカラムアンプ等に設定されたアンプゲイン値が、ＲＴＳノイズ検出時（アンプゲイン値＝Ｇ０とする）と、ＲＴＳノイズ補正時（アンプゲイン値＝Ｇ１とする）とで異なる場合、ＲＴＳ＿Ｖａｌｕｅを、ＲＴＳノイズ補正時のアンプゲイン値とＲＴＳノイズ検出時のアンプゲイン値との比（Ｇ＝Ｇ１/Ｇ０）に対してＲＴＳ＿Ｖａｌｕｅを乗算した値に置き換えてもよい。また、候補値算出部３２２は、予め設定しうるアンプゲイン値毎のＲＴＳ＿ＶａｌｕｅをＲＴＳノイズ情報に持たせ、この設定しているアンプゲイン値に応じたＲＴＳ＿Ｖａｌｕｅを用いてもよい。

　続いて、代表値算出部３２３は、記憶部３６が記憶する過去画像と現画像の注目画素の周辺画素の画素値に基づいて、代表値（注目画素において、ＲＴＳノイズが発生していない場合における予測される画素値）を算出する代表値算出処理を実行する（ステップＳ１０４）。なお、代表値算出部３２３は、ＲＴＳノイズが発生する画素を含めるようにしてもよい。

　〔代表値算出処理の概要〕
　図１６は、図１５のステップＳ１０４の代表値算出処理の概要を示すフローチャートである。

　図１６に示すように、まず、代表値算出部３２３は、注目画素を基準に、代表値算出の対象とする最小の算出範囲を設定する（ステップＳ２０１）。具体的には、代表値算出部３２３は、例えば注目画素を中心として対象の範囲で最大７×７の範囲を算出範囲とする場合、７×７以下の最小の範囲である３×３を最小の算出範囲として設定する。

　続いて、第１参照値算出部３２３ａは、注目画素の画素値に、ＲＴＳ＿Ｖａｌｕｅを加算した値または注目画素の画素値に補正量候補値の最大値を加算した値を参照値として算出する（ステップＳ２０２）。

　その後、第１ランダムノイズ量推定部３２３ｂは、第３外部Ｉ／Ｆ部３１から入力されたランダムノイズモデルとステップＳ２０２で第１参照値算出部３２３ａが算出した参照値とに基づいて、ランダムノイズ量を算出する（ステップＳ２０３）。本実施の形態２における第１ランダムノイズ量推定部３２３ｂは、上述した図６の曲線Ｌ_X１のノイズモデル（ランダムノイズモデル）と第１参照値算出部３２３ａが算出した参照値とに基づいて、ランダムノイズ量を算出する（標準偏差を算出する）。なお、図６に示した曲線以外にも、ランダムノイズモデルを近似式や折れ線で近似した特性であってもよい。

　ステップＳ２０３の後、許容範囲算出部３２３ｃは、算出範囲内にある画素の画素値に基づいて、代表値算出処理に使用可能な画素値の範囲である許容範囲（有効範囲）を算出する（ステップＳ２０４）。具体的には、許容範囲算出部３２３ｃは、許容範囲（有効範囲）の上限を以下の式（８）によって算出する。
　参照値＋ランダムノイズ量（標準偏差）×Ｒ＋ＲＴＳ＿Ｖａｌｕｅ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（８）

　ここで、Ｒは、所定の係数であり、ランダムノイズに対してＲＴＳノイズが視覚的にどの程度把握できるかに応じて設定する。例えばＲの係数としては、２前後の値が好ましい。また、代表値算出部３２３は、許容範囲の下限を以下の式（９）によって算出する。
　参照値－ランダムノイズ量（標準偏差）×Ｒ－ＲＴＳ＿Ｖａｌｕｅ
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（９）

　なお、ＲＴＳ＿Ｖａｌｕｅに代えて、複数の候補値の最大値を用いてもよい。また、式（８）および式（９）における参照値は、上述したステップＳ２０３において第１ランダムノイズ量推定部３２３ｂによるランダムノイズ量を推定するために使用された参照値と異なる参照値方法により得られた参照値としてもよい。このように、許容範囲算出部３２３ｃは、注目画素のＲＴＳノイズと、この注目画素周辺のランダムノイズを考慮した許容範囲を算出することができる。

　その後、許容範囲算出部３２３ｃは、算出範囲内において注目画素以外の画素の画素値（カラーフィルタを用いた撮像素子１０５の場合、注目画素と同色の画素値）の各々に対して、上述したステップＳ２０４で算出した許容範囲内であるか否かを判定し、この許容範囲内の画素値の個数をカウントする（ステップＳ２０５）。このステップＳ２０５で得られるカウント値は、平坦な被写体の場合ほど大きく、エッジを含む被写体の場合ほど小さくなる傾向がある。なお、算出範囲内においてＲＴＳノイズが発生する可能性がある画素は、カウントしないようにしても良い。

　続いて、上述したステップＳ２０５でカウントしたカウント値（画素数）が所定の値ＴｈＲｅｆより大きい場合（ステップＳ２０６：Ｙｅｓ）、画像処理装置３０ａは、後述するステップＳ２０９へ移行する。ここで、所定の値ＴｈＲｅｆは、代表値算出部３２３が注目画素の周辺画素から代表値を算出するため、１以上とすることが好ましい。これに対して、上述したステップＳ２０５でカウントしたカウント値が所定の値ＴｈＲｅｆより大きくない場合（ステップＳ２０６：Ｎｏ）、画像処理装置３０ａは、後述するステップＳ２０７へ移行する。

　ステップＳ２０７において、代表値算出の対象とする算出範囲が最大である場合（ステップＳ２０７：Ｙｅｓ）、画像処理装置３０ａは、後述するステップＳ２０９へ移行する。これに対して、代表値算出の対象とする算出範囲が最大でない場合（ステップＳ２０７：Ｎｏ）、画像処理装置３０ａは、後述するステップＳ２０８へ移行する。

　ステップＳ２０８において、許容範囲算出部３２３ｃは、代表値を算出する算出範囲を拡大する（ステップＳ２０８）。具体的には、許容範囲算出部３２３ｃは、代表値算出の対象とする算出範囲を最大の範囲内に収まる範囲で、水平または垂直方向に１画素以上拡大する。例えば、許容範囲算出部３２３ｃは、算出範囲として注目画素を中心とした３×３の範囲を設定している場合、注目画素を中心とした５×５の範囲を算出範囲に設定し直す。ステップＳ２０８の後、画像処理装置３０ａは、ステップＳ２０２へ戻る。なお、ステップＳ２０８においては、許容範囲算出部３２３ｃは、３×３または５×５の範囲を算出範囲に設定していたが、例えば、水平または垂直だけ拡大し、５×３や３×５の範囲を算出範囲に設定するようにしても良い。

　ステップＳ２０９において、代表値決定部３２３ｄは、現画像の代表値を算出する。具体的には、代表値決定部３２３ｄは、まず、算出範囲内における注目画素以外の画素の画素値に対して、許容範囲内（有効範囲内）に含まれている画素値（カラーフィルタを用いた撮像素子１０５の場合、注目画素と同色の画素値）を選択する。その後、代表値決定部３２３ｄは、選択した画素数が所定の値ＴｈＲｅｆ以上の場合、この選択した画素値の中央値を現画像の代表値として算出する。なお、代表値決定部３２３ｄは、選択した画素値の数が偶数の場合、注目画素の画素値に近い側の中央値を現画像の代表値として算出する。この場合、過補正を防止することができる。また、代表値決定部３２３ｄは、選択した画素数が所定の値ＴｈＲｅｆ未満の場合、注目画素の画素値に最も近い画素値を有する算出範囲内における注目画素以外の画素の画素値を現画像の代表値として算出する。なお、代表値決定部３２３ｄは、中央値を用いて代表値を算出していたが、例えば平均や分布の中間値等の他の方法で算出するようにしてもよい。また、代表値決定部３２３ｄは、算出範囲内のエッジ方向判別を行い、このエッジ方向判別の結果に基づいて、最も相関の高い方向の周辺画素値を現画像の代表値として算出してもよい。さらに、代表値決定部３２３ｄは、注目画素以外の算出範囲内の画素においてＲＴＳノイズが発生する可能性がある画素は除外するようにしても良い。このとき、代表値決定部３２３ｄは、ステップＳ２０９が実行される時点での算出範囲内において、ＲＴＳノイズが発生する可能性がない画素が全くない場合には、注目画素の現画像における画素値を現画像の代表値とする。

　続いて、現画像が代表値を算出する最初の画像データである場合（ステップＳ２１０：Ｙｅｓ）、代表値決定部３２３ｄは、上述したステップＳ２０９で算出した現画像の代表値を代表値に決定する（ステップＳ２１１）。ステップＳ２１１の後、画像処理装置３０ａは、上述した図１５のメインルーチンへ戻る。

　ステップＳ２１０において、現画像が代表値を算出する最初の画像データでない場合（ステップＳ２１０：Ｎｏ）、代表値決定部３２３ｄは、現画像の代表値と、記憶部３６が記憶する過去画像の代表値との平均値を代表値として決定する（ステップＳ２１２）。この場合、代表値決定部３２３ｄは、記憶部３６に複数の過去画像それぞれの代表値を用いて平均値を算出してもよい。また、代表値決定部３２３ｄは、現画像の代表値と過去画像の代表値との平均値を代表値として決定していたが、重み付け平均や中央値を代表値として決定してもよい。さらに、代表値決定部３２３ｄは、記憶部３６に複数の過去画像が記憶されている場合、この複数の過去画像（例えば３枚以上）の各々の代表値と現画像の代表値とに基づいて代表値を決定してもよい。さらにまた、代表値決定部３２３ｄは、前の結果の一定範囲内で変動しないように防止するため、記憶部３６が記憶する過去画像の代表値に基づいて、所定の範囲を設定し、この範囲内に現画像の代表値が入るように現画像の代表値を決定してもよい。ステップＳ２１２の後、画像処理装置３０ａは、上述した図１５のメインルーチンへ戻る。

　このように、代表値算出部３２３は、上述した代表値算出処理において、現画像の代表値を算出した後、現画像が最初の画像データである場合（記憶部３６に過去画像が記憶されていない場合）、現画像の代表値を代表値として算出する一方、現画像が最初の画像データでない場合（記憶部３６に過去画像が記憶されている場合）、現画像の代表値と過去画像の代表値の平均値を代表値として算出する。

　なお、代表値算出部３２３は、記憶部３６に現画像と、この現画像と時間的に連続した補正前の画像（以下「補正前の過去画像」）とを記憶し、補正前の過去画像の代表値と現画像の代表値から代表値を算出してもよい。

　図１５に戻り、ステップＳ１０５以降の説明を続ける。
　ステップＳ１０５において、補正値算出部３２５は、上述したステップＳ１０３で候補値算出部３２２によって算出された複数の候補値と、上述したステップＳ１０４で代表値算出部３２３によって算出された代表値とに基づいて、注目画素におけるＲＴＳノイズが補正された画素値を算出する補正値算出処理を実行する。ステップＳ１０５の後、画像処理装置３０ａは、後述するステップＳ１０６へ移行する。

　〔補正値算出処理の概要〕
　図１７は、図１５のステップＳ１０５の補正値算出処理の概要を示すフローチャートである。

　図１７に示すように、まず、第２参照値算出部３２５ａは、注目画素の画素値からＲＴＳ＿Ｖａｌｕｅ（補正量候補値の最大値）を減算した値を参照値として算出する（ステップＳ３０１）。

　続いて、第２ランダムノイズ量推定部３２５ｂは、第３外部Ｉ／Ｆ部３１、第１外部Ｉ／Ｆ部１１５およびバス１１３を介してランダムノイズモデル情報記録部１１２ｃに記録されているランダムノイズモデルを取得し、取得したランダムノイズモデルとステップＳ３０１で第２参照値算出部３２５ａが算出した参照値とに基づいて、ランダムノイズ量を算出する（ステップＳ３０２）。

　その後、補正量決定部３２５ｃは、上述したステップＳ３０２で第２ランダムノイズ量推定部３２５ｂが算出したランダムノイズ量に、一定の係数を乗じた値を閾値として算出する（ステップＳ３０３）。ここで、閾値は、以下の式（１０）によって算出する。
　ランダムノイズ量×Ｒｍ　　　・・・（１０）
Ｒｍは、ランダムノイズに対してＲＴＳノイズが視覚的にどの程度見えるかに応じて決定される。例えば、Ｒｍの値は、２前後が好ましい。

　続いて、補正量決定部３２５ｃは、上述した図１５のステップＳ１０３で候補値算出部３２２によって算出された補正量の候補値の中における最大候補値が上述したステップＳ３０３で算出した閾値以上であるか否かを判定する（ステップＳ３０４）。補正量決定部３２５ｃが上述した図１５のステップＳ１０３で候補値算出部３２２によって算出された補正量の候補値の中における最大候補値が閾値以上であると判定した場合（ステップＳ３０４：Ｙｅｓ）、画像処理装置３０ａは、後述するステップＳ３０５へ移行する。これに対して、補正量決定部３２５ｃが上述した図１５のステップＳ１０３で候補値算出部３２２によって算出された補正量の候補値の中における最大候補値が閾値以上でないと判定した場合（ステップＳ３０４：Ｎｏ）、画像処理装置３０ａは、後述するステップＳ３０６へ移行する。

　ステップＳ３０５において、補正量決定部３２５ｃは、上述した図１５のステップＳ１０４で代表値算出部３２３が算出した代表値と注目画素の画素値との差の絶対値に最も近い補正量の候補値を、補正量として選択する。ステップＳ３０５の後、画像処理装置３０ａは、後述するステップＳ３０７へ移行する。

　ステップＳ３０６において、補正量決定部３２５ｃは、補正量として０を設定する。ステップＳ３０６の後、画像処理装置３０ａは、ステップＳ３０７へ移行する。

　続いて、画素値補正部３２５ｄは、代表値に近づくように、注目画素の画素値に対して補正量分加算または減算することによって、補正した注目画素の画素値を補正する（ステップＳ３０７）。ステップＳ３０７の後、画像処理装置３０ａは、図１５のメインルーチンへ戻る。

　図１５に戻り、ステップＳ１０６以降の説明を続ける。
　ステップＳ１０６において、ＲＴＳノイズ補正部３２０は、全画素に対して上述したステップＳ１０１～ステップＳ１０５の処理が終了したか否かを判定する。ＲＴＳノイズ補正部３２０が全画素に対して上述したステップＳ１０１～ステップＳ１０５の処理が終了したと判定した場合（ステップＳ１０６：Ｙｅｓ）、画像処理装置３０ａは、本処理を終了する。これに対して、ＲＴＳノイズ補正部３２０が全画素に対して上述したステップＳ１０１～ステップＳ１０５の処理が終了していないと判定した場合（ステップＳ１０６：Ｎｏ）、画像処理装置３０ａは、上述したステップＳ１０１へ戻る。

　以上説明した本発明の実施の形態２によれば、代表値算出部３２３が第３外部Ｉ／Ｆ部３１から入力された現画像の代表値と記憶部３６が記憶する過去画像の代表値に基づいて、ＲＴＳノイズが発生しない場合の画素値に相当する代表値を算出し、補正値算出部３２５が代表値算出部３２３によって算出された代表値に基づいて、現画像の注目画素の画素値を補正するので、注目画素の画素値が一定で、注目画素の周辺画素の画素値が現画像毎に大小変化する場合であっても、過去画像の代表値を含めて代表値を算出することで、補正後の注目画素の画素値の変動を軽減することができる。この結果、注目画素の画素値と周辺画素の画素値との相関が低い場合であっても、画質を向上させることができる。

（実施の形態３）
　次に、本発明の実施の形態３について説明する。本実施の形態３に係る撮像システムは、上述した実施の形態２に係る画像処理装置３０ａのノイズ低減部３５ａの構成が異なるうえ、本実施の形態３に係る画像処理装置が実行する代表値算出処理が異なる。具体的には、本実施の形態３は、現画像の注目画素と現画像の注目画素に対応する過去画像の画素の位置合わせを行った後に、ＲＴＳノイズが発生しない場合の画素値に相当する代表値を算出する。以下においては、本実施の形態３に係るノイズ低減部の構成を説明後、本実施の形態３に係る画像処理装置が実行する代表値算出処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

　図１８は、本実施の形態３に係るノイズ低減部の詳細な構成を示すブロック図である。図１８に示すノイズ低減部３５ｂは、上述した実施の形態１に係る動き検出部３４と、ＲＴＳノイズ補正部３２０ｂと、を備える。

　ＲＴＳノイズ補正部３２０ｂは、第３外部Ｉ／Ｆ部３１から入力された現画像（ＲＡＷ）に対してＲＴＳノイズを補正するＲＴＳノイズ補正処理を行い、この補正を行ったＲＡＷ画像を画像処理部３８へ出力する。

　ここで、ＲＴＳノイズ補正部３２０ｂの詳細な構成について説明する。図１９は、ＲＴＳノイズ補正部３２０ｂの詳細な構成を示すブロック図である。

　図１９に示すように、ＲＴＳノイズ補正部３２０ｂは、上述した実施の形態２に係る代表値算出部３２３に換えて、代表値算出部３２６を有する。

　代表値算出部３２６は、動き検出部３４が検出した動きベクトル、第３外部Ｉ／Ｆ部３１から入力された現画像（ＲＡＷ画像）の注目画素の画素値および記憶部３６が記憶する現画像（ＲＡＷ画像）の注目画素と対応する過去画像の注目画素の画素値に基づいて、ＲＴＳノイズが発生しない場合の画素値に相当する代表値を算出する。具体的には、代表値算出部３２６は、動き検出部３４が検出した動きベクトルを用いて、現画像の注目画素と現画像の注目画素に対応する過去画像の画素の位置合わせを行った後に、現画像の注目画素の画素値と過去画像の注目画素の画素値とに基づいて、ＲＴＳノイズが発生しない場合の画素値に相当する代表値を算出する。

　〔代表値算出処理の概要〕
　次に、本実施の形態３に係る画像処理装置３０ａが実行する代表値算出処理について説明する。図２０は、本実施の形態３に係る画像処理装置３０ａが実行する代表値算出処理の概要を示すフローチャートである。

　図２０において、第３外部Ｉ／Ｆ部３１から入力された現画像が代表値を算出する最初の画像データである場合（ステップＳ３１１：Ｙｅｓ）、画像処理装置３０ａは、後述するステップＳ３１２へ移行する。これに対して、第３外部Ｉ／Ｆ部３１から入力された現画像が代表値を算出する最初の画像データでない場合（ステップＳ３１１：Ｎｏ）、画像処理装置３０ａは、後述するステップＳ３２１へ移行する。

　ステップＳ３１２～ステップＳ３２０は、上述した図１６のステップＳ２０１～ステップＳ２０９にそれぞれ対応する。ステップＳ３２０の後、画像処理装置３０ａは、上述した図１５のメインルーチンへ戻る。

　ステップＳ３２１において、代表値算出部３２６は、記憶部３６に記憶された過去画像と現画像とに基づいて、ＲＴＳノイズが発生しない場合の画素値に相当する代表値を決定する。具体的には、代表値算出部３２６は、動き検出部３４が検出した動きベクトルに基づいて、現画像の注目画素と現画像の注目画素の位置に対応する過去画像の画素の位置合わせを行った後に、現画像の注目画像の位置に相当する過去画像の画素値を代表値として決定する。なお、代表値算出部３２６は、動きベクトルとしてローカルベクトルを用いることが望ましい。また、代表値算出部３２６は、グローバルベクトルを用いてもよい。この場合、手ブレ等の画像全体の動きに対する位置合わせを行うことができる。ステップＳ３２１の後、画像処理装置３０ａは、上述した図１５のメインルーチンへ戻る。

　以上説明した本発明の実施の形態３によれば、代表値算出部３２６は、動き検出部３４が検出した動きベクトルに基づいて、現画像の注目画素と現画像の注目画素の位置に対応する過去画像の画素の位置合わせを行った後に、現画像の注目画像の位置に相当する過去画像の画素値を代表値として算出するので、現画像の注目画素の周辺画素が大小変化する場合であっても、この大小変化を軽減することができるので、画質を劣化させることなく、ＲＴＳノイズを低減することができる。

　また、本発明の実施の形態３によれば、注目画素の画素値のみが大小変化する場合であっても、画質を劣化させることなく、ＲＴＳノイズを低減することができる。

（実施の形態３の変形例）
　次に、本発明の実施の形態３の変形例について説明する。本実施の形態３の変形例は、ノイズ低減部の構成が異なるうえ、画像処理装置が実行する代表値算出処理が異なる。具体的には、本実施の形態３の変形例に係るノイズ低減部は、動きベクトルの信頼度を算出する信頼度算出部を有する。さらに、本実施の形態３の変形例では、現画像の注目画素の画素値および現画像の注目画素に対応する過去画像の画素の画素値を用いて、ＲＴＳノイズが発生しない場合の画素値に相当する代表値を算出する。以下においては、本実施の形態３の変形例に係るノイズ低減部の構成を説明後、本実施の形態３の変形例に係る画像処理装置が実行する代表値算出処理について説明する。なお、上述した実施の形態と同一の構成には同一の符号を付して説明を省略する。

　図２１は、本発明の実施の形態３の変形例に係るノイズ低減部の詳細な構成を示すブロック図である。図２１に示すノイズ低減部３５ｂ１は、上述した実施の形態３に係るノイズ低減部３５ｂの構成に加えて、信頼度算出部３４ａをさらに備える。

　信頼度算出部３４ａは、動き検出部３４が算出した被写体の移動量の確からしさを表す信頼度を算出する。

　〔代表値算出処理の概要〕
　図２２は、本発明の実施の形態３の変形例に係る代表値算出処理の概要を示すフローチャートである。

　図２２において、ステップＳ４０１～ステップＳ４１０は、上述した図２０のステップＳ３１１～ステップＳ３２０にそれぞれ対応する。また、ステップＳ４１１～ステップＳ４１８は、上述した図２０のステップＳ３１２～ステップＳ３１９それぞれに対応する。

　ステップＳ４１９において、代表値算出部３２６は、代表値Ｒｅｐｉを決定する。具体的には、代表値算出部３２６は、ステップＳ４１０と同様の処理を行うことによって、代表値Ｒｅｐｉを決定する。ステップＳ４１９の後、画像処理装置３０ａは、後述するステップＳ４２１へ移行する。

　ステップＳ４２０において、代表値算出部３２６は、過去画像の画素値を代表値Ｒｅｐｒとして算出する。ステップＳ４２０の後、画像処理装置３０ａは、後述するステップＳ４２１へ移行する。

　続いて、代表値算出部３２６は、現画像の代表値Ｒｅｐｉと過去画像の代表値Ｒｅｐｒとの類似度を算出する（ステップＳ４２１）。具体的には、代表値算出部３２６は、現画像の代表値Ｒｅｐｉと過去画像の代表値Ｒｅｐｒの差（｜Ｒｅｐｉ－Ｒｅｐｒ｜）を算出する。

　その後、代表値算出部３２６は、動き検出部３４から入力された動きベクトルの大きさや信頼度算出部３４ａが算出した信頼度およびステップＳ４２１で算出した現画像の代表値Ｒｅｐｉと過去画像の代表値Ｒｅｐｒの差（｜Ｒｅｐｉ－Ｒｅｐｒ｜）に基づいて類似度を算出し、その類似度に基づいて現画像の代表値Ｒｅｐｉおよび過去画像の代表値Ｒｅｐｒの各々のブレンド率ｂを算出する（ステップＳ４２２）。具体的には、現画像の代表値Ｒｅｐｉと過去画像の代表値Ｒｅｐｒの類似度を動きベクトルの大きさ｜Ｖｅｃ｜で除算した値（｜Ｒｅｐｉ－Ｒｅｐｒ｜／｜Ｖｅｃ｜）を類似度として算出し、類似度が大きい場合に、ブレンド率ｂが大きくなるように算出する。

　図２３は、代表値算出部３２６が算出するブレンド率ｂの算出方法を模式的に示す図である。図２３において、横軸が類似度を示し、縦軸がブレンド率ｂを示す。また、図２３において、直線ＬＢ１、曲線ＬＢ２および折れ線ＬＢ３の各々は、ブレンド率の一例を示す。

　図２３に示す場合、代表値算出部３２６は、類似度が大きくなるとき現画像の状態は、同画素で画素値が急激に変化した場合であるため、過去画像の画素値よりも現画像の画素値に重み付けを行う。

　また、代表値算出部３２６は、現画像の代表値Ｒｅｐｉと過去画像の代表値Ｒｅｐｒの類似度を、信頼度算出部３４ａによって算出された動きベクトルの信頼度Ｒｅｌで乗算した値（｜Ｒｅｐｉ－Ｒｅｐｒ｜＊Ｒｅｌ）を類似度として算出してもよい。この場合、類似度が大きくなるとき、信頼度算出部３４ａによって算出された動きベクトルの信頼度が高く、かつ過去画像が正常画像の画素値である可能性が高いため、過去画像の画素値（代表値）に重み付けを行う。なお、過去画像の注目画素が正常画像の画素値であることを前提としてもよい。また、信頼度Ｒｅｌは、画像間に位置合わせを行った画像に基づいて、各動きベクトルの確からしさを表す値である。この信頼度Ｒｅｌは、上述した実施の形態１の差分平均値ｍＳＡＤや公知のＳＳＤ、ＭＣＣおよびＺＭＣＣ等によって算出される。

　図２２に戻り、ステップＳ４２３以降の説明を続ける。
　ステップＳ４２３において、代表値算出部３２６は、代表値Ｒｅｐを決定する。ステップＳ４２３の後、画像処理装置３０ａは、図１５のメインルーチンへ戻る。具体的には、代表値決定部３２３ｄは、以下の式（１１）によって、代表値Ｒｅｐを決定する。
　Ｒｅｐ＝Ｒｅｐｉ×ｂ＋Ｒｅｐｒ×（１－ｂ）　　　・・・（１１）
なお、代表値算出部３２６は、の現画像の画素値Ｖａｌｉと過去画像の画素値Ｖａｌｒを用いて、以下の式（１２）から代表値Ｒｅｐを決定してもよい。
　Ｒｅｐ＝Ｖａｌｉ×ｂ＋Ｖａｌｒ×（１－ｂ）　　　・・・（１２）

　なお、代表値算出部３２６は、記憶部３６に現画像と、補正前の過去画像とを記憶し、過去画像の代わりに補正前の過去画像を用いてもよい。

　以上説明した本発明の実施の形態３の変形例によれば、上述した実施の形態３と同様の効果を奏する。

（実施の形態４）
　次に、本発明の実施の形態４について説明する。本実施の形態４に係る撮像システムは、上述した実施の形態２に係る画像処理装置３０ａのノイズ低減部３５ａの構成が異なるうえ、本実施の形態４に係る画像処理装置が実行する代表値算出処理が異なる。具体的には、本実施の形態４では、現画像と複数の過去画像とを用いて、ＲＴＳノイズが発生しない場合の注目画素の画素値に相当する代表値を算出する。以下においては、本実施の形態４に係るノイズ低減部の構成を説明後、本実施の形態４に係る画像処理装置が実行する代表値算出処理について説明する。なお、上述した実施の形態１に係る撮像システム１と同一の構成には同一の符号を付して説明を省略する。

　図２４は、本実施の形態４に係るノイズ低減部の詳細な構成を示すブロック図である。図２４に示すノイズ低減部３５ｃは、上述した実施の形態１に係る動き検出部３４と、ＲＴＳノイズ補正部３２０ｃと、を備える。

　ＲＴＳノイズ補正部３２０ｃは、第３外部Ｉ／Ｆ部３１から入力される現画像に対してＲＴＳノイズを補正するＲＴＳノイズ補正処理を行い、この補正を行ったＲＡＷ画像を画像処理部３８へ出力する。

　ここで、ＲＴＳノイズ補正部３２０ｃの詳細な構成について説明する。図２４は、ＲＴＳノイズ補正部３２０ｃの詳細な構成を示すブロック図である。

　図２５に示すように、ＲＴＳノイズ補正部３２０ｃは、上述した実施の形態２に係る代表値算出部３２３に代えて、代表値算出部３２７を有する。

　代表値算出部３２７は、動き検出部３４が検出する動きベクトル、現画像および記憶部３６が記憶する現画像と時間的に連続する複数の過去画像に基づいて、ＲＴＳノイズが発生しない場合の注目画素の画素値に相当する代表値を算出する。

　〔代表値算出処理の処理〕
　次に、画像処理装置３０ａが実行する代表値算出処理について説明する。図２６は、本実施の形態４に係る画像処理装置３０ａが実行する代表値算出処理の概要を示すフローチャートである。

　図２６に示すように、代表値算出部３２７は、現画像における注目画素の画素値と複数の過去画像の各々の注目画素の画素値の平均値Ａｖｅを算出する（ステップＳ５００）。なお、代表値算出部３２７は、平均値以外に、現画像における注目画素の画素値と複数の過去画像の各々の注目画素の画素値の中央値等の統計値を用いて算出してもよい。

　続いて、代表値算出部３２７は、上述したステップＳ５００で算出した平均値Ａｖｅを代表値に決定する（ステップＳ５０１）。ステップＳ５０１の後、画像処理装置３０ａは、上述した図１５のメインルーチンへ戻る。

　以上説明した本発明の実施の形態４によれば、代表値算出部３２３が第３外部Ｉ／Ｆ部３１から入力された現画像と記憶部３６が記憶する複数の過去画像とを用いて、ＲＴＳノイズが発生しない場合の画素値に相当する代表値を算出するので、現画像の注目画素の周辺画素が大小変化する場合する場合であっても、この大小変化を軽減することができるので、画質を劣化させることなく、ＲＴＳノイズを低減することができる。

　なお、本発明の実施の形態４では、代表値算出部３２３が現画像と複数の過去画像とを用いてＲＴＳノイズが発生しない場合の画素値に相当する代表値を算出していたが、例えば現画像の撮影時刻（生成タイミング）と前後する過去画像または未来（新しい）の画像データに対応する画像（以下、「未来画像」）を用いて代表値を算出してもよい。この場合、過去画像および未来画像をｍ枚用いる場合、このｍ枚のうちｎ枚を過去画像とし、ｍ－ｎ枚を未来画像とすればよい。この未来画像を用いる場合、フレーム遅延が発生する可能性があるので、フレーム遅延を許容できる範囲で未来画像を用いることが好ましい。

　また、本発明の実施の形態４では、代表値算出部３２３が記憶部３６に現画像と時間的に連続した補正前の画像を記憶し、過去画像の代わりに補正前の過去画像を用いてもよい。

（実施の形態４の変形例１）
　次に、本発明の実施の形態４の変形例１について説明する。本実施の形態４の変形例１は、ノイズ低減部の構成が異なるうえ、画像処理装置が実行する代表値算出処理が異なる。具体的には、本実施の形態４の変形例１に係る画像処理装置は、現画素と、補正前の過去画像を用いて代表値を算出する。以下においては、本実施の形態４の変形例１に係るノイズ低減部の構成を説明後、本実施の形態４の変形例１に係る画像処理装置が実行する代表値算出処理について説明する。なお、上述した実施の形態と同一の構成には同一の符号を付して説明を省略する。

　図２７は、本発明の実施の形態４の変形例１に係るノイズ低減部の詳細な構成を示すブロック図である。図２７に示すノイズ低減部３５ｃ１は、上述した実施の形態４に係るノイズ低減部３５ｃの構成に加えて、信頼度算出部３４ａをさらに備える。

　〔代表値算出処理の概要〕
　図２８は、本実施の形態４の変形例１に係る画像処理装置３０ａが実行する代表値算出処理の概要を示すフローチャートである。

　図２８に示すように、許容範囲算出部３２３ｃは、注目画素のＲＴＳノイズ情報に基づいて、代表値算出処理に使用可能な画素値の範囲である許容範囲Ｔｈ（有効範囲）を算出する（ステップＳ５１１）。具体的には、許容範囲算出部３２３ｃは、許容範囲Ｔｈ（有効範囲）を以下の式（１３）によって算出する。
　Ｔｈ＝注目画素のＲＴＳ＿Ｖａｌｕｅ×Ｃｏ　　　・・・（１３）

　ここで、Ｃｏは、所定の係数であり、例えば１以上の値が好ましい。なお、Ｃｏは、予め一定の値を設定してもよいし、ユーザが任意の値を設定するようにしてもよい。

　続いて、代表値算出部３２７は、カウンタを初期化（ｉ＝０）し（ステップＳ５１２）、記憶部３６から入力された複数の補正前の過去画像におけるｉ番目画像の注目画素の画素値Ｖａｌ（ｉ）を抽出する（ステップＳ５１３）。具体的には、代表値算出部３２７は、記憶部３６から入力されたｍ枚の補正前の過去画像を時系列順に、０、１、・・・ｍ－１番目（値が大きい方が過去）の補正前の過去画像とする。なお、ステップＳ５１３で記憶部３６から入力された複数の補正前の過去画像の各々は、注目画素の位置合わせの処理が施されているものとする。また、０番目の過去画像は現画像と同じである。

　その後、代表値算出部３２７は、現画像の注目画素の画素値Ｖａｌとi番目の補正前の過去画像の注目画素の画素値Ｖａｌ（ｉ）との差が許容範囲Ｔｈ以下（｜Ｖａｌ（ｉ）－Ｖａｌ｜≦Ｔｈ）であるか否かを判断する（ステップＳ５１４）。代表値算出部３２７が現画像の注目画素の画素値Ｖａｌとi番目の補正前の過去画像の注目画素の画素値Ｖａｌ（ｉ）との差が許容範囲Ｔｈ以下であると判断した場合（ステップＳ５１４：Ｙｅｓ）、画像処理装置３０ａは、後述するステップＳ５１５へ移行する。これに対して、代表値算出部３２７が現画像の注目画素の画素値Ｖａｌとi番目の補正前の過去画像の注目画素の画素値Ｖａｌ（ｉ）との差が許容範囲Ｔｈ以下でないと判断した場合（ステップＳ５１４：Ｎｏ）、画像処理装置３０ａは、後述するステップＳ５１７へ移行する。

　ステップＳ５１５において、代表値算出部３２７は、信頼度算出部３４ａによって算出されたi番目の補正前の過去画像の動きベクトルの信頼度Ｒｅｌ（ｉ）が所定の閾値Ｒｅｌ＿Ｔｈ以上（Ｒｅｌ（ｉ≧（Ｒｅｌ＿Ｔｈ））であるか否かを判断する。ここで、閾値Ｒｅｌ＿Ｔｈは、予め一定の値を設定してもよいし、ユーザが任意の値を設定する構成としてもよい。代表値算出部３２７が信頼度算出部３４ａによって算出されたi番目の補正前の過去画像の動きベクトルの信頼度Ｒｅｌ（ｉ）が所定の閾値Ｒｅｌ＿Ｔｈ以上であると判断した場合（ステップＳ５１５：Ｙｅｓ）、画像処理装置３０ａは、後述するステップＳ５１６へ移行する。これに対して、代表値算出部３２７が信頼度算出部３４ａによって算出されたi番目の補正前の過去画像の動きベクトルの信頼度Ｒｅｌ（ｉ）が所定の閾値Ｒｅｌ＿Ｔｈ以上でないと判断した場合（ステップＳ５１５：Ｎｏ）、画像処理装置３０ａは、後述するステップＳ５１７へ移行する。

　ステップＳ５１６において、代表値算出部３２７は、記憶部３６のｍＶａｌ［］にi番目の補正前の過去画像の注目画素の画素値Ｖａｌ（ｉ）を記憶する。

　続いて、代表値算出部３２７は、カウンタｉが記憶部３６から入力された補正前の過去画像の枚数ｍより小さい（ｉ＜ｍ）か否かを判断する（ステップＳ５１７）。代表値算出部３２７によってカウンタｉが記憶部３６から入力された補正前の過去画像の枚数ｍより小さいと判断した場合（ステップＳ５１７：Ｙｅｓ）、代表値算出部３２７は、カウンタをインクリメント（ｉ＝ｉ＋１）し（ステップＳ５１８）、ステップＳ５１３へ戻る。これに対して、代表値算出部３２７によってカウンタｉが記憶部３６から入力された補正前の過去画像の枚数ｍより小さくないと判断した場合（ステップＳ５１７：Ｎｏ）、画像処理装置３０ａは、ステップＳ５１９へ移行する。

　ステップＳ５１９において、代表値算出部３２７は、記憶部３６のｍＶａｌ［］に現画像の注目画素の画素値Ｖａｌを記憶する。

　続いて、代表値算出部３２７は、記憶部３６のｍＶａｌ［］に記憶されている全ての画素値の平均値Ａｖｅを算出する（ステップＳ５２０）。なお、代表値算出部３２７は、各画像の注目画素の画素値に対して重み付けを行って平均値を算出してもよい。この重み付け係数の算出方法として、動きベクトルの信頼度が大きい場合に重み付け係数も大きくなるようにしてもよいし、｜Ｖａｌ（ｉ）－Ｖａｌ｜が小さい場合に重み付け係数を小さくするようにしてもよいし、複数のパラメータ（例えば動きベクトルの信頼度や差等）の組み合わせから重み付けを算出するようにしてもよい。また、代表値算出部３２７は、平均値や重み付けを行った平均値以外に、中央値や最頻値等の他の統計値を用いてもよい。

　その後、代表値算出部３２７は、ステップＳ５２０で算出した平均値Ａｖｅを代表値に決定する（ステップＳ５２１）。ステップＳ５２１の後、画像処理装置３０ａは、図１１５のメインルーチンへ戻る。　

　以上説明した本発明の実施の形態４の変形例１によれば、代表値算出部３２７が現画像における注目画素の画素値に基づいて、現画像における注目画素の位置に対応する補正前の複数の過去画像の各々の画素の画素値から抽出して算出した値を代表値として決定する。これにより、被写体の輝度値が変化した場合であっても、現画像の画素値に類似する画素値のみからダ代表値を算出するので、代表値の信頼性を向上させることができる。

（実施の形態４の変形例２）
　次に、本発明の実施の形態４の変形例２について説明する。本実施の形態４の変形例２は、上述した実施の形態４に係る画像処理装置３０ａが実行する代表値算出処理のみが異なる。具体的には、本実施の形態４の変形例２に係る画像処理装置３０ａは、補正前の過去画像と、過去画像と、を用いて代表値を算出する。以下においては、本実施の形態４の変形例２に係る画像処理装置３０ａが実行する代表値算出処理について説明する。

　〔代表値算出処理の概要〕
　図２９は、本実施の形態４の変形例２に係る画像処理装置３０ａが実行する代表値算出処理の概要を示すフローチャートである。

　図２９において、ステップＳ６０１～ステップＳ６０７は、上述した図２６のステップＳ５１１～ステップＳ５１８にそれぞれ対応する。なお、ステップＳ６０２においては、ｉ＝０の必要がなく、ｉ＝１とし、補正前の過去画像のみを使って代表値を算出するようにしてもよい。

　ステップＳ６０８において、代表値算出部３２７は、記憶部３６のｍＶａｌ［］に記憶された画素数が閾値ＴｈＲｅｆより大きいか（ｍＶａｌ［］＞ＴｈＲｅｆ）否かを判断する。代表値算出部３２７が記憶部３６のｍＶａｌ［］に記憶された画素数が閾値ＴｈＲｅｆより大きいと判断した場合（ステップＳ６０８：Ｙｅｓ）、画像処理装置３０ａは、後述するステップＳ６１１へ移行する。これに対して、代表値算出部３２７が記憶部３６にｍＶａｌ［］に記憶された画素数が閾値ＴｈＲｅｆより大きくないと判断した場合（ステップＳ６０８：Ｎｏ）、画像処理装置３０ａは、後述するステップＳ６０９へ移行する。

　ステップＳ６０９において、代表値算出部３２７は、現画像の注目画素の画素値Ｖａｌと過去画像の注目画素の画素値Ｖａｌ（ｉ）との差が許容範囲Ｔｈ以下（｜Ｖａｌ（ｉ）－Ｖａｌ｜≦Ｔｈ）であるか否かを判断する（ステップＳ６０９）。代表値算出部３２７が現画像の注目画素の画素値Ｖａｌと過去画像の注目画素の画素値Ｖａｌ（ｉ）との差が許容範囲Ｔｈ以下であると判断した場合（ステップＳ６０９：Ｙｅｓ）、画像処理装置３０ａは、後述するステップＳ６１０へ移行する。これに対して、代表値算出部３２７が現画像の注目画素の画素値Ｖａｌと過去画像の注目画素の画素値Ｖａｌ（ｉ）との差が許容範囲Ｔｈ以下でないと判断した場合（ステップＳ６０９：Ｎｏ）、画像処理装置３０ａは、後述するステップＳ６１１へ移行する。

　ステップＳ６１０において、代表値算出部３２７は、記憶部３６のｍＶａｌ［］に過去画像の注目画素の画素値Ｖａｌ（ｉ）を記憶する。ステップＳ６１０の後、画像処理装置３０ａは、ステップＳ６１１へ移行する。

　ステップＳ６１１～ステップＳ６１３は、上述した図２６のステップＳ５１９～ステップＳ５２１それぞれに対応する。ステップＳ６１３の後、画像処理装置３０ａは、図１５のメインルーチンへ戻る。

　以上説明した本発明の実施の形態４の変形例２によれば、代表値算出部３２７が補正前の過去画像における注目画素から類似する画素値が少ない場合、過去画素の画素値を参照して代表値を算出するので、代表値の信頼性を向上させることができる。

（実施の形態４の変形例３）
　次に、本発明の実施の形態４の変形例３について説明する。本実施の形態４の変形例３は、上述した実施の形態４に係る画像処理装置３０ａが実行する代表値算出処理が異なる。具体的には、本実施の形態４の変形例３に係る画像処理装置３０ａは、過去画像の周辺画素の画素値を用いて代表値を算出する。以下においては、本実施の形態４の変形例３に係る画像処理装置３０ａが実行する代表値算出処理について説明する。

　〔代表値算出処理の処理〕
　図３０は、本実施の形態４の変形例３に係る画像処理装置３０ａが実行する代表値算出処理の概要を示すフローチャートである。

　図３０において、ステップＳ７０１～ステップＳ７０４は、上述した図１６のステップＳ２０１～ステップＳ２０４にそれぞれ対応する。

　ステップＳ７０５において、カウンタを初期化（ｉ＝０）し（ステップＳ７０５）、許容範囲Ｔｈ内の周辺画素の画素値を記憶部３６のｍＶａｌ［］に記憶する（ステップＳ７０６）。

　続いて、記憶部３６に記憶したｍＶａｌ［］の画素数が予め設定した閾値ＴｈＲｅｆより多い場合（ステップＳ７０７：Ｙｅｓ）または、カウンタｉが記憶部３６から入力された過去画像の枚数ｍより多い場合において、画像処理装置３０ａは、後述するステップＳ７０９へ移行する。

　ステップＳ７０７において、記憶部３６に記憶したｍＶａｌ［］の画素数が予め設定した閾値ＴｈＲｅｆより多くない場合かつ、カウンタｉが記憶部３６から入力された過去画像の枚数ｍより多くない場合（ステップＳ７０７：Ｎｏ）、画像処理装置３０ａは、後述するステップＳ７０８へ移行する。

　ステップＳ７０８において、代表値算出部３２７は、カウンタをインクリメント（ｉ＝ｉ＋１）する。ステップＳ７０８の後、画像処理装置３０ａは、ステップＳ７０６へ戻る。

　ステップＳ７０９およびステップＳ７１０は、上述した図２７のステップＳ６１２およびステップＳ６１３それぞれに対応する。

　また、代表値算出部３２７が記憶部３６に現画像と時間的に連続した補正前の画像を記憶し、過去画像の代わりに補正前の過去画像を用いてもよい。

　以上説明した本発明の実施の形態４の変形例３によれば、代表値算出部３２７が過去画像の周辺画素の画素値を用いて代表値を算出するので、代表値の信頼性を向上させることができる。

（実施の形態５）
　次に、本発明の実施の形態３について説明する。上述した実施の形態１は、画像処理装置３０が個別に設けられていたが、本実施の形態５では、撮像装置本体に画像処理装置を設ける。このため、以下においては、上述した実施の形態１に係る撮像システム１と同様の構成には同一の符号を付して説明を省略する。

　〔撮像システムの構成〕
　図３１は、本発明の実施の形態５に係る撮像システム２の構成を模式的に示すブロック図である。図３１に示す撮像システム２は、本体部３と、本体部３に着脱自在に接続可能なレンズ部４と、を備える。

　〔本体部の構成〕
　本体部３は、シャッタ１０３と、撮像素子１０５と、アナログ処理部１０６と、Ａ／Ｄ変換部１０７と、操作部１０８と、メモリＩ／Ｆ部１０９と、記録媒体１１０と、揮発メモリ１１１と、不揮発メモリ１１２と、バス１１３と、撮像制御部１１４と、ＡＥ処理部１１６と、ＡＦ処理部１１７と、外部Ｉ／Ｆ部１１８と、表示部１１９と、ドライバ１２０と、ＲＴＳノイズ補正部３２０と、を備える。ドライバ１２０は、撮像制御部１１４の制御のもと、シャッタ１０３を駆動する。

　ＡＥ処理部１１６は、バス１１３を介して揮発メモリ１１１に記憶された画像データを取得し、この取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部１１６は、画像データから輝度を算出し、算出した輝度に基づいて、例えば絞り値、露光時間、ＩＳＯ感度等を決定することで撮像システム２の自動露出（Ａｕｔｏ　Ｅｘｐｏｓｕｒｅ）を行う。

　ＡＦ処理部１１７は、バス１１３を介して揮発メモリ１１１に記憶された画像データを取得し、取得した画像データに基づいて、撮像システム２の自動焦点の調整を行う。例えば、ＡＦ処理部１１７は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ(Ａｕｔｏ　Ｆｏｃｕｓ)演算処理を行うことによって、撮像システム２の合焦評価を決定することで撮像システム２の自動焦点の調整を行う。なお、撮像システム２の自動焦点の調整方法は、撮像素子１０５で位相差信号を取得するものであってもよい。

　外部Ｉ／Ｆ部１１８は、本体部３における各種ブロックにおけるデータの読み書きや、専用のコマンド等による制御などを行える。外部Ｉ／Ｆ部１１８は、ＦＰＧＡ、ＤＳＰまたはＧＰＵ等を搭載した専用の回路やパーソナルコンピュータ（ＰＣ）等の外部機器を接続することで、本体部３における各種ブロックを制御が可能なインターフェースである。

　表示部１１９は、液晶または有機ＥＬ（Electro　Luminescence）等からなる表示パネルを用いて構成される。表示部１１９は、撮像素子１０５が生成した画像データに対応する画像を表示する。

　〔レンズ部の構成〕
　図３１に示すように、レンズ部４は、所定の視野領域から集光した被写体像を撮像素子１０５に結像する。光学系１０１と、絞り１０２と、ドライバ１０４と、を備える。

　〔撮像システムの処理〕
　次に、撮像システム２が実行する処理について説明する。図３２は、撮像システム２が実行する処理の概要を示すフローチャートである。

　図３２に示すように、まず、ユーザによって操作部１０８の電源ボタン（図示せず）が操作されて、本体部３の電源がオンになると、撮像制御部１１４は、撮像システム２の初期化を行う（ステップＳ８０１）。具体的には、撮像制御部１１４は、動画の記録中を示す記録中フラグをオフ状態にする初期化を行う。この記録中フラグは、動画の撮影中にオン状態になり、動画を撮影していないときにオフ状態となるフラグであり、揮発メモリ１１１に記憶されている。

　続いて、操作部１０８の動画ボタンが押された場合（ステップＳ８０２：Ｙｅｓ）、撮像制御部１１４は、オン状態で動画の記録中であることを示す記録中フラグを反転し（ステップＳ８０３）、撮像制御部１１４は、撮像システム２が動画記録中であるか否かを判断する（ステップＳ８０４）。具体的には、撮像制御部１１４は、揮発メモリ１１１に記憶された記録中フラグがオン状態であるか否かを判定する。撮像制御部１１４によって撮像システム２が動画記録中であると判断された場合（ステップＳ８０４：Ｙｅｓ）、撮像システム２は、後述するステップＳ８０５へ移行する。これに対して、撮像制御部１１４によって撮像システム２が動画記録中でないと判断された場合（ステップＳ８０４：Ｎｏ）、撮像システム２は、後述するステップＳ８０６へ移行する。

　ステップＳ８０５において、撮像制御部１１４は、記録媒体１１０に画像データを時系列に沿って記録するための動画ファイルを生成する。ステップＳ８０５の後、撮像システム２は、後述するステップＳ８０６へ移行する。

　ステップＳ８０２において、操作部１０８の動画ボタンが押されていない場合（ステップＳ８０２：Ｎｏ）、撮像システム２は、ステップＳ８０６へ移行する。

　続いて、撮像制御部１１４は、撮像システム２が動画の記録中であるか否かを判断する（ステップＳ８０６）。撮像制御部１１４によって撮像システム２が動画の記録中であると判断された場合（ステップＳ８０６：Ｙｅｓ）、撮像システム２は、後述するステップＳ８１７へ移行する。これに対して、撮像制御部１１４によって動画の記録中でないと判断された場合（ステップＳ８０６：Ｎｏ）、撮像システム２は、後述するステップＳ８０７へ移行する。

　ステップＳ８０７において、操作部１０８の再生ボタンが押された場合（ステップＳ８０７：Ｙｅｓ）、撮像システム２は、記録媒体１１０に記録された画像データに対応する画像を表示部１１９に再生させて表示させる（ステップＳ８０８）。ステップＳ８０８の後、撮像システム２は、後述するステップＳ８０９へ移行する

　ステップＳ８０７において、操作部１０８の再生ボタンが押されていない場合（ステップＳ８０７：Ｎｏ）、撮像システム２は、ステップＳ８０９へ移行する。

　続いて、操作部１０８のメニューボタンが押された場合（ステップＳ８０９：Ｙｅｓ）、撮像システム２は、各種設定を行う設定処理を実行する（ステップＳ８１０）。ステップＳ８１０の後、撮像システム２は、後述するステップＳ８１１へ移行する。

　ステップＳ８０９において、操作部１０８のメニューボタンが押されていない場合（ステップＳ８０９：Ｎｏ）、撮像システム２は、ステップＳ８１１へ移行する。

　ステップＳ８１１において、操作部１０８のレリーズボタンがオフ状態から１ｓｔ状態に遷移した場合（ステップＳ８１１：Ｙｅｓ）、撮像制御部１１４は、ＡＥ処理部１１６に露出を調整するＡＥ処理およびＡＦ処理部１１７にピントを調整するＡＦ処理のそれぞれを実行させる（ステップＳ８１２）。その後、撮像システム２は、後述するステップＳ８２４へ移行する。

　ステップＳ８１１において、操作部１０８のレリーズボタンがオフ状態から１ｓｔ状態に遷移していない場合（ステップＳ８１１：Ｎｏ）、撮像システム２は、ステップＳ８１３へ移行する。

　続いて、操作部１０８のレリーズボタンが２ｎｄ状態に遷移した場合（ステップＳ８１３：Ｙｅｓ）、撮像制御部１１４は、メカシャッタによる撮影を実行する（ステップＳ８１４）。具体的には、撮像制御部１１４は、シャッタ１０３を制御することによって、撮像素子１０５に撮影を実行させる。

　続いて、撮像システム２は、撮像素子１０５が生成した画像データに対して、ＲＴＳノイズの補正を行った後に、所定の処理を行う画像処理を実行する（ステップＳ８１５）。なお、画像処理の詳細は後述する。

　その後、撮像制御部１１４は、画像処理部３０３が画像処理を施した画像データを記録媒体１１０に記録する（ステップＳ８１６）。ステップＳ８１６の後、撮像システム２は、後述するステップＳ８２４へ移行する。

　ステップＳ８１３において、操作部１０８のレリーズボタンが２ｎｄ状態に遷移していない場合（ステップＳ８１３：Ｎｏ）、撮像システム２は、ステップＳ８１７へ移行する。

　続いて、撮像制御部１１４は、ＡＥ処理部１１６に露出を調整するＡＥ処理を実行させ（ステップＳ８１７）、ＡＦ処理部１１７にピントを調整するＡＦ処理を実行させる（ステップＳ８１８）。

　その後、撮像制御部１１４は、ドライバ１２０を介して撮像素子１０５に露光時間を電子的に制御する、所謂、電子シャッタによる撮影を実行させる（ステップＳ８１９）。電子シャッタによる撮影によって撮像素子１０５が生成した画像データは、アナログ処理部１０６およびＡ／Ｄ変換部１０７およびバス１１３を介して揮発メモリ１１１に出力される。

　続いて、撮像システム２は、ステップＳ８１５と同様の画像処理を実行する（ステップＳ８２０）。なお、画像処理の詳細は後述する。

　その後、撮像システム２は、電子シャッタによる撮影によって撮像素子１０５が生成した画像データに対応するライブビュー画像を表示部１１９に表示させる（ステップＳ８２１）。

　続いて、撮像システム２が動画記録中である場合（ステップＳ８２２：Ｙｅｓ）、撮像制御部１１４は、画像データをステップＳ８１０の設定処理により設定した記録形式で図示しない画像圧縮展開部に圧縮させ、この圧縮した画像データを記録媒体１１０に作成された動画ファイルに動画として記録させる（ステップＳ８２３）。ステップＳ８２３の後、撮像システム２は、ステップＳ８２４へ移行する。

　ステップＳ８２２において、撮像システム２が動画記録中でない場合（ステップＳ８２２：Ｎｏ）、撮像システム２は、ステップＳ８２４へ移行する。

　続いて、操作部１０８の電源ボタンが押されて撮像システム２の電源がオフ状態になった場合（ステップＳ８２４：Ｙｅｓ）、撮像システム２は、本処理を終了する。これに対して、撮像システム２の電源がオフ状態になっていない場合（ステップＳ８２４：Ｎｏ）、撮像システム２は、ステップＳ８０２へ戻る。

　〔画像処理の概要〕
　次に、図３２のステップＳ８１５およびステップＳ８２０で説明した画像処理について説明する。図３３は、画像処理の概要を示すフローチャートである。

　図３３に示すように、ＲＴＳノイズ補正部３２０は、撮像素子１０５が生成した画像データに対してＲＴＳノイズを補正するＲＴＳノイズ補正処理を実行する（ステップＳ９０１）。ここで、ＲＴＳノイズ補正処理は、上述した実施の形態１に係る画像処理装置３０が実行する処理または上述した実施の形態２～４に係る画像処理装置３０ａが実行する処理に対応するため、説明を省略する。

　続いて、画像処理部３０３は、ＲＴＳノイズ補正部３２０がＲＴＳノイズを補正した画像データに対して基本画像処理を実行する（ステップＳ９０２）。ステップＳ９０２の後、撮像システム２は、図３２のメインルーチンへ戻る。

　以上説明した本発明の実施の形態５によれば、上述した実施の形態１と同様の効果を有する。

（その他の実施の形態）
　本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、本発明の説明に用いた撮像装置以外にも、携帯電話やスマートフォンにおける撮像素子を備えた携帯機器、ビデオカメラ、内視鏡、監視カメラ、顕微鏡のような光学機器を通して被写体を撮影する撮像装置等、被写体を撮像可能ないずれの機器にも適用できる。

　本発明では、ランダムノイズモデルの参照値、もしくは参照するノイズモデルを、ＲＴＳノイズの特徴量であるＲＴＳ＿Ｖａｌｕｅや、ＲＴＳ＿Ｖａｌｕｅに基づく値である候補値の最大値に応じて変更していたが、これらを組み合わせ、ＲＴＳノイズの特徴量に応じてランダムノイズモデルを選択し、さらに参照値を変更してランダムノイズ量を推定するようにしてもよい。また、温度に応じてランダムノイズ量が異なるため、画像データを撮影した際の撮像素子の温度に応じてランダムノイズモデルを選択し、さらに上記の方法を適用するようにしてもよい。

　また、本発明では、ＲＴＳノイズ情報記録部が撮像装置内に設けられていたが、上述した画像処理装置内に設けられていてもよいし、ネットワークを介して双方向に通信可能なサーバ内にＲＴＳノイズ情報記録部を設け、ネットワークを介してＲＴＳノイズ情報を取得するようにしてもよい。

　また、本発明は、表示または記録に用いる画像データ以外の画像データ、例えばＯＢ領域の画像データまたは光学的に設計保証されていないイメージサークル外の領域の画像データ等の画像データであっても適用可能である。

　また、本明細書において、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」、「続いて」、「その後」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

　また、上述した実施の形態における画像処理装置による各処理の手法、即ち、各フローチャートに示す処理は、いずれもＣＰＵ等の制御部に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピーディスク（登録商標）、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ等の制御部は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

　また、本発明は、上述した実施の形態および変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上述した実施の形態に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した実施の形態および変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、各実施の形態および変形例で説明した構成要素を適宜組み合わせてもよい。

　また、明細書または図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書または図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

　１，１ａ，２　撮像システム
　３　本体部
　４　レンズ部
　１０　撮像装置
　３０，３０ａ　画像処理装置
　３１　第３外部Ｉ／Ｆ部
　３２　補間処理部
　３３　フレームメモリ
　３４　動き検出部
　３４ａ　信頼度算出部
　３５，３５ａ，３５ｂ，３５ｃ，３５ｂ１，３５ｃ１　ノイズ低減部
　３６　記憶部
　３７　操作部
　３８　画像処理部
　３９　画像処理制御部
　４０　表示装置
　１０１　光学系
　１０２　絞り
　１０３　シャッタ
　１０４　ドライバ
　１０５　撮像素子
　１０５ａ　画素
　１０５ｂ　第１スイッチ
　１０５ｃ　垂直転送線
　１０５ｄ　ＦＤ部
　１０５ｅ　アンプ部
　１０５ｆ　第２スイッチ
　１０５ｈ　転送線
　１０６　アナログ処理部
　１０７　Ａ／Ｄ変換部
　１０８　操作部
　１０９　メモリＩ／Ｆ部
　１１０　記録媒体
　１１１　揮発メモリ
　１１２　不揮発メモリ
　１１２ａ　プログラム記録部
　１１２ｂ　ＲＴＳノイズ情報記録部
　１１２ｃ　ランダムノイズモデル情報記録部
　１１３　バス
　１１４　撮像制御部
　１１５　第１外部Ｉ／Ｆ部
　１１６　ＡＥ処理部
　１１７　ＡＦ処理部
　１１８　外部Ｉ／Ｆ部
　１１９　表示部
　１２０　ドライバ
　３０３　画像処理部
　３１０　補間処理部
　３２０，３２０ｂ，３２０ｃ　ＲＴＳノイズ補正部
　３２１　ＲＴＳノイズ画素判定部
　３２２　候補値算出部
　３２３，３２６，３２７　代表値算出部
　３２３ａ　第１参照値算出部
　３２３ｂ　第１ランダムノイズ量推定部
　３２３ｃ　許容範囲算出部
　３２４　ランダムノイズ量推定部
　３２５　補正値算出部
　３２５ａ　第２参照値算出部
　３２５ｂ　第２ランダムノイズ量推定部
　３２５ｃ　補正量決定部
　３２５ｄ　画素値補正部
　３５１　評価値算出部
　３５２　推定ノイズ量取得部
　３５３　ルックアップテーブル
　３５４　判定部
　３５５　ノイズ低減処理部

Claims

　２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズを補正する画像処理装置であって、
　前記読み出し回路に起因する点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含むノイズ情報と、前記画像データと、を取得する取得部と、
　前記取得部が取得した前記画像データを補正対象画像データとし、該補正対象画像データと異なる時間に取得された前記画像データに基づく参照画像データと、前記ノイズ情報とに基づいて、前記補正対象画像データにおける注目画素の画素値を補正する補正部と、
　を備えたことを特徴とする画像処理装置。
　前記補正対象画像データと前記参照画像データとに基づいて、被写体の移動量を算出する移動量算出部と、
　を備え、
　前記補正部は、前記移動量算出部が算出した前記移動量に基づいて、前記注目画素または前記注目画素近傍の画素と対応する前記参照画像データの参照画素を取得し、該参照画素の画素値に基づいて、前記注目画素の画素値を補正することを特徴とする請求項１に記載の画像処理装置。
　前記補正部は、前記注目画素において前記点滅欠陥ノイズが発生する場合、前記点滅欠陥ノイズが発生しない場合に比べ、前記注目画素におけるノイズ低減処理の強度を大きくすることを特徴とする請求項１または２に記載の画像処理装置。
　前記補正部は、前記注目画素において前記点滅欠陥ノイズが発生する場合、前記参照画像データを用いた時間方向のノイズ低減処理の強度を大きくすることを特徴とする請求項３に記載の画像処理装置。
　前記補正部は、前記注目画素において前記点滅欠陥ノイズが発生する場合、前記注目画素周辺の画素を用いた空間方向のノイズ低減処理の強度を大きくすることを特徴とする請求項３に記載の画像処理装置。
　前記補正部は、前記参照画素の画素値に基づいて、前記点滅欠陥ノイズが発生しない場合の画素値に相当する代表値を算出し、該代表値に基づいて、前記注目画素の画素値を補正することを特徴とする請求項２に記載の画像処理装置。
　前記補正部は、前記注目画素の画素値に基づいて、前記代表値を算出することを特徴とする請求項６に記載の画像処理装置。
　前記補正部は、前記点滅欠陥ノイズが発生しない前記参照画素の画素値もしくは前記点滅欠陥ノイズを補正した前記参照画素の画素値に基づいて、前記代表値を算出することを特徴とする請求項６に記載の画像処理装置。
　前記補正部は、前記点滅欠陥ノイズが発生しない前記注目画素における周辺の画素の画素値に基づいて、前記代表値を算出することを特徴とする請求項６～８のいずれか一つに記載の画像処理装置。
　前記注目画素周辺のランダムノイズ量を推定するノイズ量推定部と、
　をさらに備え、
　前記補正部は、前記ランダムノイズ量に基づいて、前記代表値を算出することを特徴とする請求項６～９のいずれか一つに記載の画像処理装置。
　前記ノイズ情報は、前記読み出し回路に起因する点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と対応づけられた、前記点滅欠陥ノイズのノイズレベルである点滅欠陥ノイズレベルをさらに含み、
　前記補正部は、前記点滅欠陥ノイズレベルを用いて前記注目画素の画素値を補正することを特徴とする請求項１～１０のいずれか一つに記載の画像処理装置。
　前記ノイズ情報は、前記読み出し回路に起因する点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と対応づけられた、前記点滅欠陥ノイズのノイズレベルである点滅欠陥ノイズレベルをさらに含み、
　前記補正部は、前記点滅欠陥ノイズレベルが大きいほど、前記注目画素におけるノイズ低減処理の強度を大きくすることを特徴とする請求項３～５のいずれか一つに記載の画像処理装置。
　前記ノイズ情報は、前記読み出し回路に起因する点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報と対応づけられた、前記点滅欠陥ノイズのノイズレベルである点滅欠陥ノイズレベルをさらに含み、
　前記補正部は、前記点滅欠陥ノイズレベルに基づいて、前記代表値を算出することを特徴とする請求項６～１０のいずれか一つに記載の画像処理装置。
　前記移動量算出部が算出した前記移動量の確からしさを表す信頼度を算出する信頼度算出部を備え、
　前記補正部は、前記信頼度に基づいて、前記代表値を算出することを特徴とする、請求項６～１０のいずれか一つに記載の画像処理装置。
　前記参照画像データは、前記補正対象画像データに対応する前記画像データの直前に前記撮像素子が生成した前記画像データであることを特徴とする請求項１～１４のいずれか一つに記載の画像処理装置。
　前記参照画像データは、前記補正部が前記補正対象画像データに対する補正を行う直前に、前記補正部が補正を行った画像データであることを特徴とする請求項１～１４のいずれか一つに記載の画像処理装置。
　前記参照画像データは、前記補正対象画像データに対応する前記画像データの前に、前記撮像素子が生成した複数の前記画像データであることを特徴とする請求項１～１５のいずれか一つに記載の画像処理装置。
　前記点滅欠陥ノイズは、ランダムテレグラフシグナルノイズであることを特徴とする請求項１～１７のいずれか一つに記載の画像処理装置。
　２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズを補正する画像処理装置が実行する画像処理方法であって、
　前記読み出し回路に起因する点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含むノイズ情報と、前記画像データと、を取得する取得ステップと、
　前記取得ステップにおいて取得した前記画像データを補正対象画像データとし、該補正対象画像データと異なる時間に取得された前記画像データに基づく参照画像データと、前記ノイズ情報とに基づいて、前記補正対象画像データにおける注目画素の画素値を補正する補正ステップと、
　を含むことを特徴とする画像処理方法。
　２次元状に配置され、外部から光を受光し、受光量に応じた信号を生成する複数の画素と、前記信号を画素値として読み出す複数の読み出し回路と、を有する撮像素子が生成した画像データに含まれる点滅欠陥ノイズを補正する画像処理装置に、
　前記読み出し回路に起因する点滅欠陥ノイズが発生する前記読み出し回路の位置情報または前記複数の画素の各々の位置情報を含むノイズ情報と、前記画像データと、を取得する取得ステップと、
　前記取得ステップにおいて取得した前記画像データを補正対象画像データとし、該補正対象画像データと異なる時間に取得された前記画像データに基づく参照画像データと、前記ノイズ情報とに基づいて、前記補正対象画像データにおける注目画素の画素値を補正する補正ステップと、
　を実行させることを特徴とするプログラム。