JP2022008037A - 画像処理装置、画像処理装置の制御方法およびプログラム - Google Patents

Abstract

【課題】画像に適用する補正によって画像特性が変化する場合であっても、画像の推論精度を向上させることを目的とする。【解決手段】画像処理装置は、訓練画像と教師画像に対して複数の画像処理を施す画像処理手段と、複数の画像処理がそれぞれ施された訓練画像と教師画像とを用いて、学習モデルの機械学習を行う学習手段と、複数の画像処理のそれぞれで学習された学習モデルについての複数のパラメータを、画像処理の補正条件に対応付けて保存する制御を行う制御手段と、を含む。【選択図】図３

Description

本発明は、画像処理装置、画像処理装置の制御方法およびプログラムに関する。

近年、ニューラルネットワークを用いて、解像度やコントラスト等を向上させた画像を推論する手法が用いられている。関連する技術として、特許文献１の技術が提案されている。特許文献１の技術は、それぞれガンマ補正された正解画像と出力画像との誤差を算出し、算出された誤差に基づいて、ニューラルネットワークのパラメータを更新する。

特開２０１９－１２１２５２号公報

Ｃ．Ｃｈｅｎ，Ｑ．Ｃｈｅｎ，Ｊ．Ｘｕ，ａｎｄ Ｖ．Ｋｏｌｔｕｎ，"Ｌｅａｒｎｉｎｇ ｔｏ ｓｅｅ ｉｎ ｔｈｅ ｄａｒｋ，" ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８０５．０１９３４．

上述した特許文献１の技術では、収差や回折によるぼけの補正を行うための推論を行う際に用いられるニューラルネットワークのネットワークパラメータは１種類である。また、非特許文献１の技術では、１種類のネットワークパラメータを用いてノイズ除去等の推論を行うことを前提としている。そのため、補正条件によって特性が変化する画像処理を用いる場合に、学習時の条件と推論時の補正条件とが異なっていると、ノイズ除去等において適切な推論を行うことができない。

本発明は、画像に適用する補正によって画像の特性が変化する場合であっても、画像の推論精度を向上させることを目的とする。

上記目的を達成するために、本願請求項１に記載の画像処理装置は、訓練画像と教師画像に対して複数の画像処理を施す画像処理手段と、前記複数の画像処理がそれぞれ施された前記訓練画像と前記教師画像とを用いて、学習モデルの機械学習を行う学習手段と、前記複数の画像処理のそれぞれで学習された前記学習モデルについての複数のパラメータを、前記画像処理の補正条件に対応付けて保存する制御を行う制御手段と、を備えることを特徴とする。

本発明によれば、画像に適用する補正によって画像の特性が変化する場合であっても、推論精度を向上させることができる。

画像処理装置を含むシステム構成の一例を示す図である。 画像処理装置の学習処理の機能を示すブロック図である。 実施形態の学習処理の流れの一例を示すフローチャートである。 ニューラルネットワークの一例を示す図である。 画像処理装置の推論処理の機能を示すブロック図である。 推論処理の流れの一例を示すフローチャートである。 画像処理部の機能を示すブロック図である。 アナログゲインの第１の例を示す図である。 アナログゲインの第２の例を示す図である。 第１の実施形態の学習処理の流れの一例を示すフローチャートである。 第１の実施形態の学習処理の流れの他の例を示すフローチャートである。 第１の実施形態の推論処理の流れの一例を示すフローチャートである。 Ｆ値と光量との関係、および、Ｆ値と補正値との関係の一例を示す図である。 第２の実施形態の学習処理の流れの一例を示すフローチャートである。 Ｆ値と補正値との関係の他の一例を示す図である。 第２の実施形態の推論処理の流れの一例を示すフローチャートである。 第３の実施形態の学習処理の流れの一例を示すフローチャートである。 第３の実施形態の推論処理の流れの一例を示すフローチャートである。 周辺光量落ちの様子を示す図である。 第４の実施形態の学習処理の流れの一例を示すフローチャートである。 周辺光量落ち補正データのテーブルデータの例を示す図である。 第４の実施形態の推論処理の流れの一例を示すフローチャートである。 センサ構造を示す図である。 フォトダイオードに入射する光量に対する各チャンネルの出力電圧を示す図である。 第５の実施形態の学習処理の流れの一例を示すフローチャートである。 第５の実施形態の推論処理の流れの一例を示すフローチャートである。 画像処理装置の学習処理の機能を示すブロック図である。 第６の実施形態の学習処理の流れの一例を示すフローチャートである。 画像処理装置の推論処理の機能を示すブロック図である。 第６の実施形態の推論処理の流れの一例を示すフローチャートである。

以下、本発明の各実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施形態に記載されている構成によって限定されることはない。

以下、各実施形態に共通する構成について説明する。図１は、画像処理装置を含むシステム構成の一例を示す図である。図１のシステム構成において、画像処理装置１００は、撮像装置１２０、表示装置１３０およびストレージ装置１４０と接続される。システム構成は、図１の例には限定されない。例えば、画像処理装置１００は、表示装置１３０とストレージ装置１４０とのうち何れかまたは両方を含んで構成されてもよい。また、画像処理装置１００は、撮像装置１２０に組み込まれていてもよい。画像処理装置１００は、エッジコンピュータや、ローカルサーバ、クラウドサーバ等であってもよい。

画像処理装置１００は、各種の画像処理を行うとともに、学習処理および推論処理を行う。以下、学習処理は、ディープラーニングによる処理であるものとして説明する。ただし、画像処理装置１００は、ディープラーニング以外の機械学習手法を用いて、機械学習を行ってもよい。例えば、画像処理装置１００は、サポートベクターマシンや決定木、ロジスティクス回帰等の任意の機械学習手法を用いて、学習処理を行ってもよい。

学習処理では、訓練画像と教師画像とがペアになった学習セットがニューラルネットワークに入力され、ニューラルネットワークの重みやバイアス等のネットワークパラメータ（以下、パラメータ）が調整される。多くの学習セットがニューラルネットワークに入力されて機械学習がされることで、ニューラルネットワークが出力する画像の特徴分布が教師画像の特徴分布に近づくように、パラメータが最適化される。学習済みのパラメータが設定されたニューラルネットワークに対して未知の画像が入力されると、ニューラルネットワークから推論結果（推論画像）が出力される。

撮像装置１２０について説明する。撮像装置１２０は、レンズユニット１２１、撮像素子１２２およびカメラ制御回路１２３を有する。撮像装置１２０は、他の要素を含んでもよい。レンズユニット１２１は、絞りや光学レンズ、モータ等を含んで構成される。モータは、絞りや光学レンズを駆動させる。レンズユニット１２１は、複数枚の光学レンズを含んで構成されてもよい。レンズユニット１２１は、カメラ制御回路１２３が出力した制御信号に基づいて動作し、光学的に映像の拡大・縮小、焦点距離の調整等を行うことができる。レンズユニット１２１の絞りは、開口面積を制御することができる。これにより、絞り値（Ｆ値）が制御され、入射光量の調整を行うことができる。

レンズユニット１２１を透過した光は、撮像素子１２２に結像される。撮像素子１２２は、ＣＣＤセンサやＣＭＯＳセンサ等のように、入射した光を電気信号に変換する。撮像素子１２２は、カメラ制御回路１２３からの制御信号に基づいて駆動される。撮像素子１２２は、各画素内の電荷のリセットや、読み出しのタイミング制御、読み出された信号に対して施すゲイン処理、アナログ信号からデジタル信号への変換等を行う機能を有する。撮像装置１２０は、撮像素子１２２が出力したデジタルの画像信号を、画像処理装置１００の画像信号受信回路１０１に送信する。図１の例では、撮像装置１２０と画像処理装置１００とは、無線または有線で通信可能に接続されており、画像処理装置１００は、撮像装置１２０が送信した画像信号を受信する。カメラ制御回路１２３は、画像処理装置１００のカメラ通信接続回路１０２から受信した駆動制御信号に基づいて、レンズユニット１２１および撮像素子１２２の駆動制御を行う。

次に、画像処理装置１００について説明する。画像信号受信回路１０１は、撮像装置１２０から画像信号を受信する。カメラ通信接続回路１０２は、レンズユニット１２１および撮像素子１２２を駆動する駆動制御信号を撮像装置１２０に送信する。画像処理回路１０３は、画像信号受信回路１０１が受信した画像信号に対して、画像処理を施す。この画像処理は、ＣＰＵ１０５により行われてもよい。また、画像処理回路１０３は、ニューラルネットワークを用いたノイズ低減処理を行う機能を有している。画像処理回路１０３は、画像処理を行うマイクロプロセッサ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣなどの回路により実現されてもよいし、ＣＰＵ１０５により実現されてもよい。

フレームメモリ１０４は、画像信号を一時的に記憶するメモリである。フレームメモリ１０４は、画像信号を一時的に記憶し、記憶した画像信号を高速に読み出すことが可能な素子である。画像信号のデータ量が多くなると、高速且つ大容量のメモリが、フレームメモリ１０４に適用されることが好ましい。例えば、フレームメモリ１０４としては、ＤＤＲ３－ＳＤＲＡＭ（Ｄｕａｌ Ｄａｔａ Ｒａｔｅ ３ － Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ ＲＡＭ）等を適用することができる。ＤＤＲ３－ＳＤＲＡＭがフレームメモリ１０４に適用された場合、様々な処理が可能になる。例えば、ＤＤＲ３－ＳＤＲＡＭは、時間的に異なる画像の合成や必要な領域の切り出し等の画像処理を行う際に好適な素子である。ただし、フレームメモリ１０４は、ＤＤＲ３－ＳＤＲＡＭには限定されない。

ＣＰＵ１０５は、ＲＯＭ１０６に記憶されている制御プログラムや各種パラメータを読み出して、ＲＡＭ１０７に展開する。ＣＰＵ１０５がＲＡＭ１０７に展開されたプログラムを実行することで、各実施形態の処理が実現される。メタデータ抽出回路１０８は、レンズ駆動条件やセンサ駆動条件等のメタデータを抽出する。ＧＰＵ１０９は、グラフィックス・プロセッシング・ユニットであり、高速に演算処理が可能なプロセッサである。ＧＰＵ１０９は、表示装置１３０に表示させる画面を生成するために用いられるが、ディープラーニングの演算処理にも好適に使用される。ＧＰＵ１０９により生成された画像は、表示駆動回路１１０および表示装置接続回路１１１を介して、表示装置１３０に出力される。これにより、表示装置１３０に画像が表示される。

ストレージ駆動回路１１２は、ストレージ接続回路１１３を介して、ストレージ装置１４０を駆動させる。ストレージ装置１４０は、多くの画像データを記憶する。ストレージ装置１４０が記憶する画像データとしては、訓練画像（学習用画像）および訓練画像に対応する教師画像（正解画像）がある。訓練画像と教師画像とは１つのペア（学習セット）を構成する。ストレージ装置１４０には、複数の学習セットが記憶される。ストレージ装置１４０は、学習処理により生成された学習済みのパラメータを記憶してもよい。以下、ＣＰＵ１０５の制御により学習処理が行われる際には、ストレージ装置１４０に予め記憶された画像データが用いられ、推論処理が行われる際には、撮像装置１２０から取得した画像信号が使用されるものとして説明する。ただし、上記の例には限定されない。例えば、推論処理が行われる際に、ストレージ装置１４０や外部の記憶装置等に記憶された画像信号が使用されてもよい。

学習処理で使用される訓練画像は、ベイヤー配列の画像や、三板式の撮像センサで撮影された画像、垂直色分離方式の撮像センサ等で撮影された画像であってもよい。また、訓練画像は、ベイヤー配列以外の配列（ハニカム構造や周期性の低いカラーフィルタ配列等）の画像であってもよい。また、訓練画像がベイヤー配列の画像である場合、ベイヤー配列の１ｃｈの画像であってもよいし、カラーチャネルごとに分離された画像であってもよい。教師画像も同様である。訓練画像および教師画像は、上述した例には限定されない。

次に、学習処理について説明する。図２（Ａ）および（Ｂ）は、画像処理装置１００の学習処理の機能を示すブロック図である。まず、図２（Ａ）について説明する。訓練画像保持部２０２は、ストレージ装置２０１から取得された訓練画像を保持する。教師画像保持部２０３は、ストレージ装置２０１から取得された教師画像を保持する。訓練画像保持部２０２および教師画像保持部２０３は、例えば、ＲＡＭ１０７等により実現されてもよい。

教師画像と訓練画像とは同一の被写体が写っている画像である。訓練画像はノイズを含む画像であり、教師画像はノイズを含まない正解画像である。ただし、教師画像は若干のノイズを含んでいてもよい。例えば、ＣＰＵ１０５や画像処理回路１０３が、教師画像に対してノイズを付加することで、訓練画像が生成されてもよい。また、訓練画像は、正解画像と同一の被写体をノイズが発生し得る状況で撮影された画像（例えば、高感度の設定で撮影された画像）であってもよい。訓練画像は低照度で撮影された画像に対して教師画像と同程度に感度補正が施された画像であってもよい。また、教師画像は低感度（訓練画像よりも低い感度）で撮影された画像であってもよい。

ニューラルネットワーク２０４は、多層構造のニューラルネットワークである。詳細は後述する。ニューラルネットワーク２０４に対する学習（ディープラーニング）が行われる際には、推論精度の向上を図るために、多様なノイズパターンや被写体が含まれる訓練画像が用いられることが好ましい。多様なノイズパターンや被写体が含まれる訓練画像を用いて、ニューラルネットワーク２０４の学習が行われることで、訓練画像に含まれていないノイズパターンや被写体を含む未知の画像を入力としたときの推論処理の精度が向上する。ニューラルネットワーク２０４のディープラーニングに用いられる訓練画像の枚数が不足している場合、例えば、切り取りや回転、反転等の水増し処理が訓練画像に施されてもよい。この場合、教師画像に対しても同一の水増し処理が行われる。また、訓練画像と教師画像とはそれぞれ、信号の上限値（飽和輝度値）で除算され、正規化されることが好ましい。ニューラルネットワーク２０４は、訓練画像を入力すると、出力画像を生成し、出力する。

画像処理部２０５は、ニューラルネットワーク２０４の出力画像と教師画像とに対して、画像処理を行う。画像処理の例としては、ＩＳＯ感度補正、Ｆ値補正、色抑圧処理、色曲がり補正、カラーバランス補正、周辺光量落ち補正、チャネル間ゲイン補正、フリッカ補正、および、圧縮および伸張処理などがある。ニューラルネットワーク２０４の学習処理が完了すると、学習済みのパラメータが生成される。これにより、学習済みのパラメータをニューラルネットワーク２０４に適用した推論処理を行うことができる。画像処理部２０５は、学習処理で行う補正の条件と推論処理で行う補正の条件とを合わせることが好ましい。これにより、推論処理が行われる際の推論精度が向上する。図２（Ａ）では、画像処理部２０５はニューラルネットワーク２０４の出力側にあるが、図２（Ｂ）に示されるように、画像処理部２０５はニューラルネットワーク２０４の入力側にあってもよい。画像処理部２０５は、例えば、画像処理回路１０３やＣＰＵ１０５等により実現される。

誤差評価部２０６は、画像処理部２０５が補正した出力画像と教師画像との誤差を算出する。教師画像と訓練画像とは、同じ並びの色成分の配列となっている。誤差評価部２０６は、例えば、各画素についての平均二乗誤差や、各画素の差分の絶対値の総和を用いて、誤差（損失誤差）を算出してもよい。また、誤差評価部２０６は、決定係数等の他の指標を用いて、誤差を算出することにより、誤差の評価を行ってもよい。パラメータ調整部２０７は、誤差評価部２０６が算出した誤差が小さくなるようにニューラルネットワーク２０４の各パラメータを更新する。誤差評価部２０６およびパラメータ調整部２０７は、例えば、ＣＰＵ１０５により実現されてもよいし、ＧＰＵ１０９により実現されてもよいし、ＣＰＵ１０５とＧＰＵ１０９との協働動作により実現されてもよい。誤差評価部２０６およびパラメータ調整部２０７は、学習手段に対応する。

パラメータ調整部２０７は、例えば、誤差逆伝搬法を用いて、ニューラルネットワーク２０４の各パラメータを更新してもよい。パラメータ調整部２０７は、他の手法を用いて、ニューラルネットワーク２０４の各パラメータを更新してもよい。このとき、パラメータ調整部２０７は、ニューラルネットワーク２０４の各パラメータの更新量を固定してもよいし、変動させてもよい。以上のように、画像処理部２０５により画像処理がされた出力画像と教師画像との誤差が小さくなるようにニューラルネットワーク２０４の各パラメータが更新される。これにより、ニューラルネットワーク２０４に未知の画像が入力されたときの推論精度が向上する。

パラメータ保存領域２０８－１～２０８－ｎ（ｎは２以上の整数）は、更新されたパラメータを保存する領域である。パラメータ保存領域２０８－１～２０８－ｎ（以下、パラメータ保存領域２０８と総称する）は、画像処理の補正条件に応じて学習処理がされたニューラルネットワーク２０４のパラメータを保存するための領域である。つまり、各パラメータ保存領域２０８には、それぞれ異なる画像処理の補正条件で学習処理がされた学習済みのパラメータが、それぞれの画像処理の補正条件に対応付けて保存される。パラメータ保存領域２０８は、ＲＡＭ１０７の一部の記憶領域であってもよいし、ストレージ装置２０１の一部の記憶領域であってもよい。制御部２０９は、学習処理に関する各種の制御を行う。制御部２０９は、ＣＰＵ１０５により実現される。

次に、学習処理の流れについて説明する。図３は、学習処理の流れの一例を示すフローチャートである。図３では、ステップをＳと記載しており、これは他のフローチャートの図でも同様である。Ｓ３０１で、制御部２０９は、訓練画像および教師画像のペア（学習セット）をストレージ装置３０１から取得する。Ｓ３０２で、制御部２０９は、取得した複数の学習セットのうち１つの学習セットの訓練画像をニューラルネットワーク２０４に入力する。ニューラルネットワーク２０４が行う処理により、出力画像が生成される。訓練画像のノイズ量やノイズパターンは、他の訓練画像のノイズ量やノイズパターンと異なっている場合もあり、同じ場合もある。

Ｓ３０３で、画像処理部２０５は、ニューラルネットワーク３０４からの出力画像と教師画像とに対して、画像処理を施す。上述したように、画像処理部２０５は、ニューラルネットワーク２０４の入力側にあってもよいし、出力側にあってもよい。つまり、Ｓ３０３の処理は、Ｓ３０２の処理より前に行われてもよい。

Ｓ３０４で、誤差評価部２０６は、画像処理が施された出力画像と教師画像との誤差を算出する。Ｓ３０５で、パラメータ調整部２０７は、算出した誤差が小さくなるように、誤差逆伝播法を用いて、ニューラルネットワーク２０４の各パラメータを更新する。Ｓ３０６で、制御部２０９は、所定の終了条件を満たしたかを判定する。制御部２０９は、学習回数が規定回数に達した場合に、所定の終了条件を満たしたと判定してもよい。また、制御部２０９は、算出された誤差が所定値以下となった場合に、所定の終了条件を満たしたと判定してもよい。また、制御部２０９は、上記の誤差の減少度合いが所定度合い以下となった場合やユーザによる終了指示があった場合に、所定の終了条件を満たしたと判定してもよい。制御部２０９は、Ｓ３０６でＮＯと判定した場合、フローをＳ３０１に戻す。この場合、新たな訓練画像と正解画像との学習セットを用いて、Ｓ３０１～Ｓ３０５の処理が行われる。一方、制御部２０９は、Ｓ３０６でＹＥＳと判定した場合、フローをＳ３０７に進める。

Ｓ３０７で、制御部２０９は、更新されたパラメータ（学習済みのパラメータ）を、画像処理の条件ごとに異なるパラメータ保存領域２０８に保存する。このとき、制御部２０９は、学習処理により更新されたパラメータだけでなく、パラメータに関連付けてニューラルネットワーク２０４のモデル構造等に関する情報をパラメータ保存領域２０８に保存してもよい。Ｓ３０８で、制御部２０９は、全ての画像処理の補正条件についてのパラメータを取得したかを判定する。制御部２０９は、Ｓ３０８でＹＥＳと判定した場合、図３のフローチャートの処理を終了させる。一方、制御部２０９は、Ｓ３０８でＮＯと判定した場合、フローをＳ３０９に進める。Ｓ３０９で、制御部２０９は、画像処理の補正条件を変更する。そして、制御部２０９は、フローをＳ３０１に戻す。これにより、画像処理の条件を変更した学習処理が新たに行われる。

次に、ニューラルネットワーク２０４について説明する。図４は、ニューラルネットワーク２０４の一例を示す図である。各実施形態のニューラルネットワーク２０４は、畳み込みニューラルネットワーク（ＣＮＮ）であるものとして説明する。ただし、ニューラルネットワーク２０４は、ＣＮＮには限定されない。例えば、ニューラルネットワーク２０４は、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）やスキップコネクション、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等であってもよい。また、ニューラルネットワーク２０４の代わりに、他の機械学習手法により機械学習された学習モデルが用いられてもよい。学習モデルとしては、例えば、上述したサポートベクターマシンや決定木等を適用できる。

ニューラルネットワーク２０４に対して、入力画像４０１が入力されると、畳み込み演算４０２が実施される。入力画像４０１は、画像データであってもよいし、画像データの特徴マップを表すデータであってもよい。畳み込み行列４０３は、入力画像４０１に対して畳み込み演算を行うフィルタである。入力画像４０１と畳み込み行列４０３との畳み込み演算によって出力された結果に、バイアス４０４が加算される。特徴マップ４０５は、バイアス４０４を加算した畳み込み演算の演算結果である。ニューラルネットワーク２０４の中間層の層数やニューロン数、結合係数、重み等は、任意の値であってよい。また、ＦＰＧＡ等のプログラミング回路にニューラルネットワーク２０４が実装される場合、ニューロン間の結合や重みは削減されてもよい。この点は、ＧＰＵ１０９が、ニューラルネットワーク２０４の処理を行う場合も同様である。また、学習処理および推論処理は、複数のカラーチャネルを纏めて実行されてもよいし、複数の色のそれぞれについて個別に実行されてもよい。

ＣＮＮでは、入力画像に対してフィルタによる畳み込み演算が実行されることで、入力画像の特徴マップが抽出される。フィルタのサイズは、任意のサイズであってよい。後段の層において、前段の層で抽出された特徴マップに別のフィルタによる畳み込み演算が実行されることで、順次異なる特徴マップが抽出される。中間層の各層では、入力信号に対して接続の強度を表すフィルタの重みが乗算されて、さらにバイアスが加算される。この演算結果に対して活性化関数が適用されることで、各ニューロンにおける出力信号が得られる。各層における重みおよびバイアスがパラメータ（ネットワークパラメータ）であり、パラメータの値が学習処理により更新される。機械学習により更新されたパラメータが、学習済みのパラメータである。活性化関数としては、シグモイド関数やＲｅＬＵ関数等の任意の関数を適用することができる。各実施形態で適用される活性化関数は、以下の式１で表されるＬｅａｋｙ ＲｅＬＵ関数であるものとして説明する。ただし、活性化関数としては、シグモイド関数やｔａｎｈ関数等、任意の活性化関数が適用されてもよい。

以上の式（１）において、ｍａｘは、引数のうち最大値を出力する関数を表す。

上述したように、パラメータ保存領域２０８－１～２０８－ｎには、画像処理の補正条件ごとに、学習処理により更新されたパラメータ（学習済みのパラメータ）を保存される。推論処理が行われる際には、画像処理の補正条件の応じたパラメータがパラメータ保存領域２０８－１～２０８－ｎのうち何れかから取得される。そして、取得されたパラメータがニューラルネットワーク２０４に適用されて、推論処理が行われる。これにより、補正条件が異なる画像処理を行う場合の推論精度を向上させることができる。

上述した例では、ニューラルネットワーク２０４の学習処理は、ノイズを含む訓練画像と、ノイズを含まない、あるいは、ノイズが小さい教師画像とを用いて行われる。これにより、機械学習がされたニューラルネットワーク２０４に未知のノイズを含む画像が入力されたときに、ニューラルネットワーク２０４による推論処理により、ノイズを低減した画像を推論することができる。上述した例は、ノイズ低減の処理についての学習処理であるが、ノイズ低減以外の処理についての学習処理にも適用可能である。例えば、ニューラルネットワークにより超解像の推論処理が行われる場合、教師画像をダウンサンプリングした訓練画像と教師画像とを用いて、学習処理を行うことができる。このとき、訓練画像と教師画像とはサイズ合わせが行われてもよい。

次に、推論処理について説明する。図５は、画像処理装置１００の推論処理の機能を示すブロック図である。取得部５０１は、撮像装置１２０から、撮像画像およびパラメータ選択の際に用いられる情報を取得する。パラメータ選択の際に用いられる情報は、パラメータ保存領域２０８－１～２０８－ｎに保存されている各パラメータのうち選択するパラメータを特定するために用いられる。パラメータ選択の際に用いられる情報は、メタデータであってもよい。メタデータは、撮像画像に付加された情報（レンズユニット１２１や撮像装置１２０等の設定条件の情報）であってもよいし、メタデータ抽出回路１０８から抽出された情報であってもよい。ここでは、パラメータ選択の際に用いられる情報は、画像処理に関する情報である。パラメータ選択の際に用いられる情報が上記のメタデータである場合、取得部５０１は、パラメータ選択の際に用いられる情報を別個に取得しなくてもよい。

選択手段としてのパラメータ選択部５０２は、取得されたパラメータ選択の際に用いられる情報に対応するパラメータを、パラメータ保存領域２０８－１～２０８－ｎのうち何れかから取得する。パラメータ保存領域２０８―１～２０８－ｎに保存される各パラメータは、上述した学習処理により生成されるパラメータであるが、画像処理装置１００以外の外部装置で学習処理されたパラメータであってもよい。この場合、外部装置は、ニューラルネットワーク２０４と同じネットワーク構造を有するニューラルネットワークで、上述した学習処理を行う。そして、画像処理装置１００は、学習処理により生成されたパラメータを取得し、パラメータ保存領域２０８―１～２０８－ｎに保存してもよい。

パラメータ選択部５０２により選択された学習済みのパラメータは、ニューラルネットワーク２０４に適用される。そして、ニューラルネットワーク２０４には、撮像装置１２０から取得された撮像画像が入力される。推論手段としてのニューラルネットワーク２０４は、撮像画像が入力されると、推論処理を行い、推論結果として推論画像を生成する。推論画像出力部５０３は、ストレージ装置２０１に、生成された推論画像を出力する。制御部５０４は、推論処理に関する各種の制御を行う。取得部５０１、パラメータ選択部５０２、推論画像出力部５０３および制御部５０４は、例えば、ＣＰＵ１０５により実現される。

図６は、本実施形態の推論処理の流れの一例を示すフローチャートである。Ｓ６０１で、取得部５０１は、パラメータ選択の際に用いられる情報を取得する。Ｓ６０２で、パラメータ選択部５０２は、取得した情報に対応するパラメータを、パラメータ保存領域２０８－１～２０８－ｎから選択する。パラメータ保存領域２０８－１～２０８－ｎに保存されている各パラメータは、それぞれ異なる画像処理の補正条件で更新されたパラメータである。取得されたパラメータ選択の際に用いられる情報は、画像処理の補正条件に関する情報である。パラメータ選択部５０２は、取得したパラメータ選択の際に用いられる情報が表す画像処理の補正条件と同じであるか、または画像処理の補正条件が近いパラメータを取得する。

Ｓ６０３で、制御部５０４は、選択されたパラメータをニューラルネットワーク２０４に適用する。これにより、ニューラルネットワーク２０４による推論処理を行うことが可能な状態になる。取得部５０１は、撮像装置１２０から、撮像画像を取得する。Ｓ６０４で取得される撮像画像は、ＲＡＷ画像であるものとする。ＲＡＷ画像に符号化処理が施されている場合、ＣＰＵ１０５または画像処理回路１０３は、復号処理を行う。取得部５０１は、ストレージ装置１４０やＲＯＭ１０６、ＲＡＭ１０７等から、ＲＡＷ画像を取得してもよい。

Ｓ６０５で、制御部５０４は、取得した撮像画像をニューラルネットワーク２０４に入力する。このとき、制御部５０４は、取得した撮像画像をニューラルネットワーク２０４に入力するための入力画像に変換してもよい。推論処理を行う際にニューラルネットワーク２０４に入力する撮像画像のサイズと、学習処理を行った際にニューラルネットワーク２０４に入力した訓練画像のサイズとは同じであってもよいし、異なっていてもよい。制御部５０４は、撮像画像を入力画像に変換する際に、信号の規格化や色成分ごとの分離等を行ってもよい。

Ｓ６０６で、ニューラルネットワーク２０４は、推論処理を行う。ニューラルネットワーク２０４による推論処理は、ＧＰＵ１０９により実行されてもよいし、ＣＰＵ１０５により実行されてもよいし、ＣＰＵ１０５とＧＰＵ１０９との協働動作により実行されてもよい。Ｓ６０６の推論処理により、ニューラルネットワーク２０４の推論結果として推論画像が生成される。Ｓ６０７で、推論画像出力部５０３は、生成された推論画像をストレージ装置１４０に出力する。推論画像出力部５０３は、生成された推論画像を、ＲＯＭ１０６やＲＡＭ１０７、表示装置１３０等に出力してもよい。Ｓ６０４で、撮像画像から入力画像に変換している場合、制御部５０４は、推論画像に対して、Ｓ６０４で行った変換を元に戻す逆変換を行ってもよい。

他の撮像画像の推論処理が行われる場合、画像処理装置１００は、Ｓ６０１～Ｓ６０７の各処理を実行する。上述したように、パラメータ保存領域２０８―１～２０８－ｎには、画像処理の補正条件ごとに学習処理されたニューラルネットワーク２０４のパラメータが保存される。そして、パラメータ選択部５０２は、画像処理の補正条件に基づいて、対応するパラメータを、パラメータ保存領域２０８―１～２０８－ｎから選択する。これにより、最適なパラメータを用いた、撮像画像の推論処理を行うことができる。その結果、ノイズを低減した画像を得ることができる。

以上において、画像処理装置１００は、学習処理と推論処理との両方を行っている。この点、学習処理を行う画像処理装置と推論処理を行う画像処理装置とは別個の装置であってもよい。この場合、例えば、学習処理を行う画像処理装置（以下、学習装置）は、図２（Ａ）または図２（Ｂ）の構成を有し、推論処理を行う画像処理装置（以下、推論装置）は、図５の構成を有する。この場合、学習処理を行う画像処理装置と推論処理を行う画像処理装置とは通信可能に接続される。

推論装置は、学習装置から学習済みの各パラメータを取得して、上述した制御部２０９と同様に、取得した各パラメータをそれぞれ異なるパラメータ保存領域２０８に保存する。そして、推論装置は、図６のフローチャートの各処理を行う。以上のように、学習処理を行う画像処理装置と推論処理を行う画像処理装置とは別個の装置であっても、学習処理を行う画像処理装置と推論処理を行う画像処理装置とが同一の装置である場合と、同様の効果を得ることができる。

（第１の実施形態）
第１の実施形態では、画像処理としてＩＳＯ感度補正を例にあげ、複数のＩＳＯ感度補正のそれぞれに対応する補正値でＩＳＯ感度補正が施された教師画像と訓練画像とを用いて学習処理が行われた学習モデルのパラメータの具体例について説明する。また、第１の実施形態では、温度条件も加味して学習処理が行われた学習モデルのパラメータの具体例についても説明する。

第１の実施形態では、上述した実施形態で説明した構成が用いられる。まず、ＩＳＯ感度補正について説明する。ＩＳＯ感度補正は、列アンプとランプとの組み合わせで決定されるアナログゲインに対して、目標とするＩＳＯの明るさとなるように、列アンプとランプとの組み合わせごとに感度補正を施す補正処理である。目標とするＩＳＯの明るさは、国際標準化機構（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）で定められた感度の基準である。ここで、列アンプとランプとの組み合わせは複数あり、組み合わせごとに最適なＩＳＯ感度の補正値は異なる。従って、ＩＳＯ感度補正を推論処理により行う場合に、学習処理がされたパラメータが１種類しか保存されていないと、推論精度が低下する。そこで、画像処理装置１００は、列アンプとランプとの組み合わせごとに学習処理がされたパラメータを保存する。

また、アナログゲインの最適な補正値は、温度によっても異なる。つまり、ＩＳＯ感度補正を推論処理により行う場合には、温度によっても最適なパラメータが異なる。そこで、本実施形態では、画像処理装置１００は、ＩＳＯ感度と温度とに応じたパラメータを保存することもできる。

図７は、本実施形態の画像処理部２０５の機能を示すブロック図である。図７（Ａ）は、画像処理部２０５の入力側にニューラルネットワーク２０４が設けられる場合の図である。図７（Ｂ）は、画像処理部２０５の出力側にニューラルネットワーク２０４が設けられる場合の図である。図７（Ａ）の場合、画像処理部２０５には、教師画像保持部２０３から教師画像が入力され、ニューラルネットワーク２０４から出力画像が入力される。図７（Ｂ）の場合、画像処理部２０５には、訓練画像保持部２０２から訓練画像が入力され、教師画像保持部２０３から教師画像が入力される。図７（Ａ）では、画像処理部２０５に、訓練画像を入力としてニューラルネットワーク２０４により処理された出力画像が入力される。一方、図７（Ｂ）では、ニューラルネットワーク２０４による処理がされていない訓練画像が入力される。以下の処理は、図７（Ａ）と図７（Ｂ）とで同じである。図７（Ａ）および（Ｂ）に示されるように、画像処理部２０５は、抽出部７０２、補正値取得部７０３および補正部７０４を有する。

抽出部７０２は、教師画像からメタデータを抽出する。メタデータは、教師画像に付加された情報であり、ＩＳＯ感度についてのＩＳＯ感度情報および温度についての温度情報を含む。本実施形態では、抽出部７０２は、教師画像のメタデータとしてＩＳＯ感度情報および温度情報を抽出する。メタデータは、例えばＥＸＩＦ（Ｅｘｃｈａｎｇｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式で画像に付加された情報であってもよい。ただし、メタデータは、ＥＸＩＦ形式のデータには限定されない。

補正値取得部７０３は、抽出したＩＳＯ感度情報と温度情報とに対応したＩＳＯ感度補正のデータをＲＯＭ１０６から取得する。ＲＯＭ１０６には、ＩＳＯ感度と温度との組み合わせに対応する補正値のデータが記憶されている。ＲＯＭ１０６には、上記の組み合わせではなく、ＩＳＯ感度に対応する補正値のデータが記憶されていてもよい。補正部７０４は、補正値取得部７０３が取得したＩＳＯ感度補正のデータを用いて、ニューラルネットワーク２０４が出力した出力画像および教師画像に対してＩＳＯ感度補正を施す。ＩＳＯ感度補正が施された出力画像および教師画像は、誤差評価部２０６に出力される。

次に、ＩＳＯ感度補正の第１の例について説明する。図８は、アナログゲインの第１の例を示す図である。図８（Ａ）は、理想的なアナログゲインの一例を示す図である。図８（Ｂ）は、実際のアナログゲインの一例を示す図である。アナログゲインは、列アンプとランプとの組み合わせにより決定される。図８（Ｂ）に示されるアナログゲインは、図８（Ａ）のアナログゲインに対してばらつきが生じている。このため、補正部７０４は、アナログゲインを補正する。

例えば、ＩＳＯ１に着目した場合、図８（Ａ）の例に示されるように、列アンプが「０．６倍」であり、ランプが「０．８５倍」である場合のアナログゲイン「０．５１倍（＝０．６×０．８５）」が理想値である。一方、実際のアナログゲインは、図８（Ｂ）の例では、列アンプが「０．５９倍」であり、ランプが「０．８４倍」であるため、アナログゲインは、「０．５０倍（＝０．５９×０．８４）」である。従って、ＩＳＯ１についてのＩＳＯ感度補正の補正値は、「１．０２倍（＝０．５１／０．５０）」である。

ＩＳＯ９に着目した場合、図８（Ａ）の例に示されるように、列アンプが「８．０倍」であり、ランプが「１．００倍」である場合のアナログゲイン「８．００倍（＝８．０×１．００）」が理想値である。一方、実際のアナログゲインは、図８（Ｂ）の例では、列アンプが「７．８８倍」であり、ランプが「０．９７倍」であるため、アナログゲインは、「７．６４倍（＝７．８８×０．９７）」である。従って、ＩＳＯ１についてのＩＳＯ感度補正の補正値は、「１．０４７倍（＝８．００／７．６４）」である。

以上のように、ＩＳＯ感度ごとにＩＳＯ感度補正の補正値が異なる。そこで、補正部７０４は、教師画像から抽出されたメタデータのＩＳＯ感度情報に対応した補正値でＩＳＯ感度補正を行う。ＲＯＭ１０６には、ＩＳＯ感度ごとのＩＳＯ感度補正の補正値が記憶されている。ＩＳＯ感度ごとのＩＳＯ感度補正の補正値は、ＲＡＭ１０７やストレージ装置１４０等に記憶されていてもよい。図８（Ｂ）の例では、実際のアナログゲインが理想的なアナログゲインよりも低い例を示しているが、実際のアナログゲインは理想的なアナログゲインよりも高くてもよい。

次に、ＩＳＯ感度補正の第２の例について説明する。図９は、アナログゲインの第２の例を示す図である。図９に示されるアナログゲインは、温度により特性にばらつきがある。このため、ＩＳＯ感度補正の補正値も温度により異なる。これは、チャンネルアンプの温度特性に起因している。そこで、ＲＯＭ１０６は、各ＩＳＯ感度と各温度との組み合わせごとに補正値を記憶してもよい。

ここで、ＲＯＭ１０６が全ての温度についての補正値を記憶する場合、ＲＯＭ１０６に記憶される補正値の数も多くなる。この場合、各ＩＳＯ感度と各温度との組み合わせの数が多くなり、パラメータ保存領域２０８に保存されるパラメータの数も多くなる。その結果、パラメータ保存領域２０８のために使用されるデータ量が大きくなる。そこで、ＲＯＭ１０６は、所定範囲ごとの温度の補正値を纏めて記憶してもよい。

例えば、ＲＯＭ１０６は、第１温度範囲（０℃未満の低温）と第２温度範囲（０℃～４０℃の温度）と第３温度範囲（４０℃を超える高温）との３種類の温度範囲ごとに共通の補正値を記憶してもよい。上記のように各ＩＳＯのそれぞれについて３種類の温度範囲の補正値が用いられる場合、合計で３３個（＝１１×３）の補正値がＲＯＭ１０６に記憶される。これにより、複数の温度（例えば、０℃～４０℃）については、共通の１つの補正値が用いられるため、パラメータ保存領域２０８に保存されるパラメータの数を削減でき、データ使用量を小さくすることができる。なお、温度範囲の設定方法や種類数等は上記の例には限定されない。例えば、温度範囲は、温度によるアナログゲインの変化の度合いに応じて、可変に設定されてもよい。この場合、上記の変化の度合いが所定度合い以上の区間では温度範囲が狭く設定され、所定度合い未満の区間では温度範囲が広く設定されてもよい。

次に、第１の実施形態における学習処理の流れの一例について説明する。図１０は、第１の実施形態の学習処理の流れの一例を示すフローチャートである。図１０のフローチャートは、図７（Ａ）のブロック図に対応する。Ｓ１００１で、制御部２０９は、訓練画像および教師画像のペア（学習セット）をストレージ装置３０１から取得する。Ｓ１００１の処理は、図３のＳ３０１の処理に対応する。Ｓ１００２で、制御部２０９は、取得した複数の学習セットのうち１つの学習セットの訓練画像をニューラルネットワーク２０４に入力する。ニューラルネットワーク２０４が行う処理により、出力画像が生成される。Ｓ１００２の処理は、図３のＳ３０２の処理に対応する。

Ｓ１００３で、画像処理部２０５の抽出部７０２は、教師画像からメタデータを抽出する。Ｓ１００４で、補正値取得部７０３は、抽出されたメタデータのＩＳＯ感度情報と温度情報との組み合わせに対応する補正値をＲＯＭ１０６から取得する。Ｓ１００５で、補正部７０４は、教師画像およびニューラルネットワーク２０４から出力された出力画像に対して、取得された補正値でＩＳＯ感度補正を行う。ニューラルネットワーク２０４から出力された出力画像は、訓練画像に対してニューラルネットワーク２０４の処理が行われた画像である。

Ｓ１００６で、誤差評価部２０６は、誤差評価部２０６は、画像処理がされた出力画像と教師画像との誤差を算出する。Ｓ１００６の処理は、図３のＳ３０４の処理に対応する。Ｓ１００７で、パラメータ調整部２０７は、算出した誤差が小さくなるように、誤差逆伝播法を用いて、ニューラルネットワーク２０４の各パラメータを更新する。Ｓ１００６の処理は、図３のＳ３０５の処理に対応する。Ｓ１００８で、制御部２０９は、所定の終了条件を満たしたかを判定する。Ｓ１００８の処理は、図３のＳ３０６の処理に対応する。制御部２０９は、Ｓ１００８でＮＯと判定した場合、所定の終了条件を満たしていないため、フローをＳ１００１に戻す。一方、制御部２０９は、Ｓ１００８でＹＥＳと判定した場合、所定の終了条件を満たしたため、フローをＳ１００９に進める。

Ｓ１００９で、制御部２０９は、更新されたパラメータ（学習済みのパラメータ）を、ＩＳＯ感度補正の補正条件ごとに異なるパラメータ保存領域２０８に保存する。本実施形態のＩＳＯ感度補正の補正条件は、各ＩＳＯ感度と各温度範囲との組み合わせに対応する補正値である。温度情報が用いられない場合、本実施形態のＩＳＯ感度補正の補正条件は、各ＩＳＯ感度に対応する補正値である。制御部２０９は、更新されたパラメータを、各ＩＳＯ感度と各温度範囲との組み合わせごとに異なるパラメータ保存領域２０８に保存する。Ｓ１００９の処理は、図３のＳ３０７に対応する。Ｓ１０１０で、制御部２０９は、全ての条件のパラメータを取得したかを判定する。このとき、制御部２０９は、各ＩＳＯと各温度範囲とについて全ての組み合わせを取得したかに基づいて、Ｓ１０１０の判定を行う。制御部２０９は、Ｓ１０１０でＹＥＳと判定した場合、図１０のフローチャートの処理を終了させる。一方、制御部２０９は、Ｓ１０１０でＮＯと判定した場合、フローをＳ１０１１に進める。Ｓ１０１１で、制御部２０９は、ＩＳＯと温度範囲との組み合わせの条件を変更する。そして、制御部２０９は、フローをＳ１００１に戻す。これにより、ＩＳＯと温度範囲との組み合わせを変更した学習処理が新たに行われる。

次に、第１の実施形態における処理の流れの他の例について説明する。図１１は、第１の実施形態の学習処理の流れの他の例を示すフローチャートである。図１１のフローチャートは、図７（Ｂ）のブロック図に対応する。図１０のフローチャートの処理では、ニューラルネットワーク２０４から出力された出力画像に対してＩＳＯ感度補正が行われて、学習処理が行われる。一方、図１１のフローチャートの処理では、ニューラルネットワーク２０４に入力される訓練画像に対してＩＳＯ感度補正が行われて、学習処理が行われる。

Ｓ１１０１の処理は、Ｓ１００１の処理に対応する。Ｓ１１０２で、画像処理部２０５の抽出部７０２は、教師画像からメタデータを抽出する。Ｓ１１０３で、補正値取得部７０３は、抽出されたメタデータのＩＳＯ感度情報と温度情報との組み合わせに対応する補正値をＲＯＭ１０６から取得する。Ｓ１１０２の処理はＳ１００３の処理に対応し、Ｓ１１０３の処理はＳ１００４の処理に対応する。Ｓ１１０４で、補正部７０４は、教師画像および訓練画像に対してＩＳＯ感度補正を行う。つまり、補正部７０４は、ニューラルネットワーク２０４の処理がされていない訓練画像に対してＩＳＯ感度補正を行う。

Ｓ１１０５で、制御部２０９は、ＩＳＯ感度補正がされた訓練画像をニューラルネットワーク２０４に入力する。ＩＳＯ感度補正がされた訓練画像を入力として、ニューラルネットワーク２０４が行う処理により、出力画像が生成される。Ｓ１１０６で、誤差評価部２０６は、ＩＳＯ感度補正がされた教師画像とＳ１１０５で生成された出力画像との誤差を算出する。Ｓ１１０７で、パラメータ調整部２０７は、算出した誤差が小さくなるように、誤差逆伝播法を用いて、ニューラルネットワーク２０４の各パラメータを更新する。Ｓ１１０８～Ｓ１１１１の各処理は、図１０のＳ１００８～Ｓ１０１１の各処理と同様であるため、説明を省略する。

図１０のフローチャートおよび図１１のフローチャートは、第１の実施形態のＩＳＯ感度情報と温度情報との組み合わせに関する学習処理の流れを示す。図１０のＳ１００４または図１１のＳ１１０３で、補正値取得部７０３は、抽出されたメタデータのＩＳＯ感度情報と温度情報との組み合わせに対応する補正値をＲＯＭ１０６から取得している。このとき、補正値取得部７０３は、ＲＯＭ１０６からＩＳＯ感度情報を取得し、温度情報を取得しなくてもよい。例えば、ＲＯＭ１０６にＩＳＯ感度情報が記憶されていない場合、補正値取得部７０３は、ＲＯＭ１０６からＩＳＯ感度情報を取得し、温度情報を取得しない。この場合でも、各ＩＳＯのそれぞれの補正値を用いて、ＩＳＯ感度補正を行うことができる。

次に、第１の実施形態の推論処理について説明する。図１２は、第１の実施形態の推論処理の流れの一例を示すフローチャートである。Ｓ１２０１で、取得部５０１は、ＩＳＯ感度情報および温度情報を取得する。取得部５０１は、撮像装置１２０からＩＳＯ感度情報および温度情報を取得することができる。例えば、撮像装置１２０の設定条件に基づいて、取得部５０１はＩＳＯ感度情報を取得することができる。また、撮像装置１２０がサーミスタのような温度測定機能を有している場合、取得部５０１は、撮像装置１２０のサーミスタが測定した温度から温度情報を取得することができる。取得部５０１は、ストレージ装置１４０に記憶されている画像データのメタデータからＩＳＯ感度情報および温度情報を取得してもよい。

Ｓ１２０２で、パラメータ選択部５０２は、取得したＩＳＯ感度情報と温度情報との組み合わせに対応するパラメータを、パラメータ保存領域２０８－１～２０８－ｎから選択する。Ｓ１２０３で、制御部５０４は、選択されたパラメータをニューラルネットワーク２０４に適用する。これにより、ニューラルネットワーク２０４による推論処理を行うことが可能な状態になる。Ｓ１２０４～Ｓ１２０７の各処理は、図６のＳ６０４～Ｓ６０７と同じであるため、説明を省略する。

第１の実施形態では、パラメータ保存領域２０８―１～２０８－ｎに、各ＩＳＯ感度のそれぞれに応じて学習処理がされたニューラルネットワーク２０４のパラメータが保存される。そして、パラメータ選択部５０２は、ＩＳＯ感度の条件に基づいて、対応するパラメータを、パラメータ保存領域２０８―１～２０８－ｎから選択する。これにより、ＩＳＯ感度の条件に合ったパラメータを用いた撮像画像の推論処理を行うことができるため、推論精度が向上する。その結果、ノイズを低減した画像を得ることができる。また、第１の実施形態では、温度条件も加味した学習処理が行われる。つまり、パラメータ保存領域２０８―１～２０８－ｎに、各ＩＳＯと各温度範囲との組み合わせのそれぞれに応じて学習処理がされたニューラルネットワーク２０４のパラメータが保存することもできる。そして、パラメータ選択部５０２は、ＩＳＯ感度と温度との両者の条件に基づいて、対応するパラメータを、パラメータ保存領域２０８―１～２０８－ｎから選択する。これにより、ＩＳＯ感度の特性と温度の特性とに合ったパラメータを用いた撮像画像の推論処理を行うことができるため、より推論精度を向上させることができる。その結果、画像のノイズの低減効果をさらに向上させることができる。

（第２の実施形態）
第２の実施形態では、画像処理としてＦ値補正を例にあげ、複数のＦ値補正のそれぞれに対応する補正値でＦ値補正が施された教師画像と訓練画像とを用いて学習処理が行われた学習モデルのパラメータの具体例について説明する。

Ｆ値補正は、絞り値であるＦ値と光量（輝度）との関係が線形とならない場合に、Ｆ値と光量（輝度）との関係が線形に近づくように画像にゲインを適用する補正である。図１３は、第２の実施形態におけるＦ値と光量との関係、および、Ｆ値と補正値との関係の一例を示すグラフである。図１３（Ａ）は、Ｆ値と光量との関係を示すグラフである。横軸はＦ値であり、縦軸は撮像装置１２０の撮像素子１２２が受光した光量を示す。上述したように、Ｆ値補正は、レンズユニット１２１の絞り値（Ｆ値）に応じて、ゲインを施す処理である。ここで、絞りを小絞り側から開放側に変化させたとき、小絞り側ではＦ値と光量（輝度）との関係は線形な関係になるが、開放側ではＦ値と光量（輝度）との関係は非線形な関係になる。開放側ではＦ値と光量（輝度）との関係が非線形な関係になる要因の１つとしては、開放側では撮像素子１２２に対して斜めから入射する光を十分に取り込めないことがある。そこで、Ｆ値が開放側の区間では、理想的な線形に近づけるために画像信号にゲインを乗じるＦ値補正が施される。開放側の区間では、Ｆ値補正が施されるため、画像にノイズが生じる。

図１３（Ａ）では、Ｆ値が、Ｆｘ～Ｆｓの区間におけるＦ値と光量との関係は、実線で表されるように線形に変化する。一方、Ｆｅ～Ｆｘの区間におけるＦ値と光量との関係は、一点鎖線で表されるように非線形に変化する。そこで、上述したように、Ｆ値と光量との関係が非線形な区間でも線形となるように、Ｆｅ～Ｆｘの区間（以下、非線形な区間）にノイズを除去するための補正値が乗じられる。非線形な区間における補正値は、図１３（Ａ）および図１３（Ｂ）に示されるように一定の値ではない。一方、Ｆｘ～Ｆｓの区間（以下、線形の区間）には、一定の値の補正値が乗じられる。つまり、非線形な区間の補正値は、Ｆ値と光量との関係が線形となるように、Ｆ値によって適正な値に変化させる必要がある。図１３（Ｂ）では、非線形の区間の補正値が点線で示されている。

次に第２の実施形態における学習処理の流れの一例について説明する。図１４は、第２の実施形態の学習処理の流れの一例を示すフローチャートである。図１４のフローチャートは、図７（Ａ）のブロック図に対応し、画像処理部２０５の補正部７０４がＦ値補正を行う。Ｓ１４０１で、制御部２０９は、学習処理を行う際のＦ値を新規に設定する。Ｓ１４０２で、制御部２０９は、訓練画像および教師画像のペア（学習セット）をストレージ装置３０１から取得する。Ｓ１４０３で、制御部２０９は、取得した複数の学習セットのうち１つの学習セットの訓練画像をニューラルネットワーク２０４に入力する。ニューラルネットワーク２０４が行う処理により、出力画像が生成される。訓練画像のノイズ量やノイズパターンは、他の訓練画像のノイズ量やノイズパターンと異なっている場合もあり、同じ場合もある。

Ｓ１４０４で、画像処理部２０５は、教師画像とニューラルネットワーク２０４からの出力画像とに対してＦ値補正を行う。このとき、画像処理部２０５は、Ｓ１４０１で設定されたＦ値に応じた補正値でＦ値補正を行う。上述したように、画像処理部２０５は、図２（Ａ）に示すようにニューラルネットワーク２０４の出力側にあってもよいし、図２（Ｂ）に示すように入力側にあってもよい。つまり、Ｓ１４０１の処理は、Ｓ１４０３の処理より前に行われてもよい。なお、画像処理部２０５の抽出部７０２が、教師画像のメタデータからＦ値を取得する構成とすれば、Ｓ１４０１を省略することができる。Ｓ１４０５で、誤差評価部２０６は、Ｆ値補正がされた出力画像と教師画像との誤差を算出する。Ｓ１４０６で、パラメータ調整部２０７は、算出した誤差が小さくなるように、誤差逆伝播法を用いて、ニューラルネットワーク２０４の各パラメータを更新する。Ｓ１４０７で、制御部２０９は、所定の終了条件を満たしたかを判定する。制御部２０９は、Ｓ１４０７でＮＯと判定した場合、フローをＳ１４０２に戻す。この場合、新たな訓練画像と正解画像との学習セットを用いて、Ｓ１４０２～Ｓ１４０６の処理が行われる。一方、制御部２０９は、Ｓ１４０７でＹＥＳと判定した場合、フローをＳ１４０８に進める。

Ｓ１４０８で、制御部２０９は、Ｓ１４０１で設定したＦ値が線形な区間にあるかを判定する。線形な区間については後述する。制御部２０９は、Ｓ１４０８でＹＥＳと判定した場合、フローをＳ１４０９に進める。Ｓ１４０９で、制御部２０９は、更新されたパラメータ（学習済みのパラメータ）を同じパラメータ保存領域２０８に保存する。一方、制御部２０９は、Ｓ１４０８でＮＯと判定した場合、フローをＳ１４１０に進める。Ｓ１４１０で、制御部２０９は、更新されたパラメータ（学習済みのパラメータ）を、Ｓ１４０１で設定されたＦ値に応じて、異なるパラメータ保存領域２０８に保存する。Ｓ１４０９およびＳ１４１０で、制御部２０９は、機械学習により更新されたパラメータやニューラルネットワーク２０４のモデル構造等に関する情報をＳ１４０１で設定したＦ値の条件と関連付けて、パラメータ保存領域２０８に保存してもよい。Ｓ１４１１で、制御部２０９は、全てのＦ値の条件についてのパラメータを取得したかを判定する。制御部２０９は、Ｓ１４１１でＮＯと判定した場合、フローをＳ１４０１に戻し、新規にＦ値の条件を設定する。制御部２０９は、Ｓ１４１１でＹＥＳと判定した場合、図１４のフローチャートの処理を終了させる。

このように、制御部２０９は、補正するＦ値を変化させて、ニューラルネットワーク２０４の機械学習（ディープラーニング）を実施させる制御を行う。これにより、Ｆ値ごとの補正値を反映して機械学習がされ、パラメータが更新される。そして、図１４のＳ１４０８で、制御部２０９は、機械学習を行う際に設定されたＦ値が線形の区間内であるかを判定する。制御部２０９は、例えば、設定されたＦ値が上述したＦｘ以上であるかに基づいて、Ｓ１４０８の判定を行うことができる。Ｆｘの値（所定の閾値）は任意の値に設定されてよいが、Ｆ値と光量との関係が線形から非線形に変化する境界に設定されることが好ましい。ただし、Ｆｘの値は、境界から所定範囲内の値に設定されてもよい。

そして、制御部２０９は、Ｓ１４０８でＹＥＳと判定した場合、更新された学習済みのパラメータをパラメータ保存領域２０８－１～２０８－ｎのうち同じパラメータ保存領域２０８に保存する。制御部２０９は、異なるＦ値についての更新されたパラメータであっても、Ｓ１４０８でＹＥＳと判定した場合、同じパラメータ保存領域２０８－１に保存する。または、制御部２０９は、Ｓ１４０８でＹＥＳと判定した場合、更新されたパラメータを１度保存したのであれば、２回目以降は、Ｓ１４０９の処理を省略してもよい。一方、制御部２０９は、Ｓ１４０８でＮＯと判定した場合、異なるＦ値を設定して、更新された学習済みのパラメータをそれぞれ異なるパラメータ保存領域２０８に保存する。制御部２０９は、Ｓ１４１０の処理を実行するごとに、順次、異なるパラメータ保存領域２０８（例えば、パラメータ保存領域２０８－２～２０８－ｎ）に保存する。

従って、Ｆ値と光量（輝度）とが非線形な関係になる区間においては、細かい粒度のＦ値に応じたニューラルネットワーク２０４のパラメータを用いて、推論処理を実行することができる。これにより、推論精度が向上する。一方、Ｆ値と光量（輝度）とが線形な区間においては、１つのニューラルネットワーク２０４のパラメータを用いて、推論処理が実行される。これにより、保存するパラメータの数を削減できることから、データの使用量を低減できるとともに、ストレージ装置１４０やＲＡＭ１０７等のハードウェア資源の使用量を低減できる。つまり、画像処理装置１００は、Ｆ値に応じて、保存するパラメータの粒度を変更していることから、推論精度が低下することを抑制しつつ、データの使用量を削減することができる。

上述した例では、画像処理装置１００は、非線形な区間では、Ｆ値ごとに、機械学習されたニューラルネットワーク２０４のパラメータを保存しているが、この例には限定されない。画像処理装置１００は、例えば、非線形な区間では、撮像装置１２０のレンズユニット１２１に設けられた絞りの駆動分解能ごとに、学習済みのパラメータを保存してもよい。また、画像処理装置１００は学習処理と推論処理との両方を行っている。この点、学習処理を行う画像処理装置と推論処理を行う画像処理装置とは別個の装置であってもよい。この点は、第１の実施形態と同様である。学習処理を行う画像処理装置と推論処理を行う画像処理装置とが別個の装置である例は、以下の各実施形態でも同様である。

この場合、推論装置は、線形な区間では１つの学習済みのパラメータを取得して保存し、非線形な区間では複数の絞り値のそれぞれに応じた学習済みのパラメータを取得して保存する。そして、推論装置は、図６のフローチャートの各処理を行う。以上のように、学習処理を行う画像処理装置と推論処理を行う画像処理装置とは別個の装置であっても、同様の効果を得ることができる。

次に、第２の実施形態の変形例について説明する。図１５は、第２の実施形態の変形例におけるＦ値と補正値との関係の一例を示すグラフである。第１の実施形態では、Ｆ値がＦｘ～Ｆｓの区間における補正値は一定であったが、第２実施形態では、Ｆ値がＦｘ～Ｆｓの区間における補正値は線形に変化する。Ｆ値がＦｘ～Ｆｓの区間は、Ｆ値と光量（輝度）との関係が線形の区間である。第２実施形態では、制御部２０９は、Ｆ値をＦｘに設定して図１４の処理を行って得られたパラメータ（第１パラメータ）とＦ値をＦｓに設定して図１４の処理を行って得られたパラメータ（第２パラメータ）とを、パラメータ保存領域２０８に保存する。

そして、図１５に示されるように、Ｆ値がＦｚの場合の撮像画像の推論処理が行われる場合には、制御部５０４は、第１パラメータを用いた推論画像と第２パラメータを用いた推論画像とを用いて補間する。これにより、補正値が線形に変化するＦｘ～Ｆｓの区間の任意のＦ値についての推論画像を得ることができる。この場合、Ｆｘ～Ｆｓの区間の任意のＦ値についての推論画像を得るために保存されるパラメータ（機械学習されたパラメータ）は２つである。

ここで、制御部５０４は、補正値が線形に変化するＦｘ～Ｆｓの区間における任意の２つのＦ値を用いて、図１４の処理を行い、第１パラメータおよび第２パラメータを保存してもよい。この場合でも、第１パラメータを用いた推論画像と第２パラメータを用いた推論画像とを用いて補間することにより、補正値が線形に変化するＦｘ～Ｆｓの区間の任意のＦ値についての推論画像を得ることができる。

図１６は、第２の実施形態の変形における推論処理の流れの一例を示すフローチャートである。Ｓ１６０１で取得部５０１は、撮像装置１２０から、Ｆ値の情報を取得する。Ｓ１６０２で、制御部５０４は、Ｓ１６０１で取得された情報が示すＦ値が線形な区間内であるかを判定する。上述したように、制御部５０４は、Ｓ１６０１で取得された情報が示すＦ値がＦｘ以上（所定の閾値以上）である場合には、Ｓ１６０２でＮＯと判定し、Ｆ値がＦｘ未満（所定の閾値未満）である場合には、Ｓ１６０２でＹＥＳと判定してもよい。制御部５０４は、Ｓ１６０２でＮＯと判定した場合、Ｓ１６０３で、パラメータ選択部５０２は、取得したＦ値の情報に対応するパラメータを、パラメータ保存領域２０８－１～２０８－ｎから選択する。パラメータ保存領域２０８－１～２０８－ｎに保存されている各パラメータは、それぞれ異なるＦ値の条件で更新されたパラメータである。パラメータ選択部５０２は、取得したＦ値の情報と同じであるＦ値についてのパラメータまたは最も値が近いＦ値についてのパラメータを取得する。

Ｓ１６０４で、制御部５０４は、選択されたパラメータをニューラルネットワーク２０４に適用する。これにより、ニューラルネットワーク２０４による推論処理を行うことが可能な状態になる。Ｓ１６０５で、取得部５０１は、撮像装置１２０から、撮像画像を取得する。この撮像画像は、ＲＡＷ画像であるものとする。ＲＡＷ画像に符号化処理が施されている場合、ＣＰＵ１０５または画像処理回路１０３は、復号処理を行う。取得部５０１は、ストレージ装置１４０やＲＯＭ１０６、ＲＡＭ１０７等から、ＲＡＷ画像を取得してもよい。

Ｓ１６０６で、制御部５０４は、取得した撮像画像をニューラルネットワーク２０４に入力する。Ｓ１６０７で、ニューラルネットワーク２０４は、推論処理を行う。ニューラルネットワーク２０４による推論処理は、ＧＰＵ１０９により実行されてもよいし、ＣＰＵ１０５により実行されてもよいし、ＣＰＵ１０５とＧＰＵ１０９との協働動作により実行されてもよい。Ｓ１６０７の推論処理により、ニューラルネットワーク２０４の推論結果として推論画像が生成される。Ｓ１６０８で、推論画像出力部５０３は、生成された推論画像をストレージ装置１４０に出力する。推論画像出力部５０３は、生成された推論画像を、ＲＯＭ１０６やＲＡＭ１０７、表示装置１３０等に出力してもよい。このとき、Ｓ１６０３で選択されるパラメータは、非線形な区間内のＦ値を用いて学習処理がされた学習済みのパラメータである。

制御部５０４は、Ｓ１６０２でＮＯと判定した場合、フローをＳ１６０９に進める。Ｓ１６０９で、パラメータ選択部５０２は、上述した第１パラメータを選択する。例えば、第１パラメータがパラメータ保存領域２０８－１に保存されている場合、パラメータ選択部５０２は、パラメータ保存領域２０８－１から第１パラメータを選択する。Ｓ１６１０で、ニューラルネットワーク２０４は、第１パラメータを適用した推論処理を実行する。Ｓ１６１０の処理は、Ｓ１６０４～Ｓ１６０７の処理に相当する。つまり、第１パラメータが適用されたニューラルネットワーク２０４に対して、撮像画像を入力とした推論処理が実行される。これにより、第１パラメータをニューラルネットワーク２０４に適用した推論処理による推論画像（第１推論画像）が生成される。

Ｓ１６１１で、パラメータ選択部５０２、上述した第２パラメータを選択する。例えば、第２パラメータがパラメータ保存領域２０８－２に保存されている場合、パラメータ選択部５０２は、パラメータ保存領域２０８－２から第２パラメータを取得する。そして、ニューラルネットワーク２０４は、第２パラメータを適用した推論処理を実行する。Ｓ１６１２の処理は、Ｓ１６０４～Ｓ１６０７の処理に相当する。つまり、第２パラメータが適用されたニューラルネットワーク２０４に対して、撮像画像を入力とした推論処理が実行される。これにより、第２パラメータをニューラルネットワーク２０４に適用した推論処理による推論画像（第２推論画像）が生成される。

Ｓ１６１３で、制御部５０４は、推論画像の補間処理を実行する。このとき、制御部５０４は、第１推論画像と第２推論画像とを合成して、補間処理を実行する。また、制御部５０４は、Ｓ１６０１で取得された情報が示すＦ値を基準として、第１推論画像と第２推論画像とに重み付けを行うことで、補間処理を実行する。例えば、Ｓ１６０１で取得された情報が示すＦ値が第１パラメータに対応するＦ値に近い場合には、制御部５０４は、第１推論画像の重みを重くして補間処理を実行してもよい。一方、Ｓ１６０１で取得された情報が示すＦ値が第２パラメータに対応するＦ値に近い場合には、制御部５０４は、第２推論画像の重みを重くして補間処理を実行してもよい。制御部５０４は、第１推論画像および第２推論画像を補間する際、画素ごとに補間してもよいし、画像全体を任意の範囲で分割したエリアごとに補間してもよい。そして、Ｓ１６０８で、制御部５０４は、補間処理が実行された推論画像を出力する。

このように、第２の実施形態では、補正値が線形な区間において、補正値が一定でなくても、第１の実施形態と同様の効果を得ることができる。第２の実施形態では、学習処理がされた第１パラメータと第２パラメータとの２つのパラメータが用いられる。学習処理が行われる際の第１パラメータに対応するＦ値と第２パラメータに対応するＦ値とは、補正値の線形性に応じて選択されてもよい。また、第２の実施形態において、制御部５０４は、Ｆ値と光量（輝度）とが線形な区間（Ｆｘ～Ｆｓの区間）をさらに複数の区間に分割してもよい。この場合、制御部５０４は、分割された区間を１つの処理単位とし、処理単位ごとに２つのパラメータについて補間処理を実行してもよい。

（第３の実施形態）
第３の実施形態では、画像処理として色抑圧処理と色曲がり補正を例にあげ、複数の色抑圧処理、あるいは、複数の色曲がり補正のそれぞれに対応する補正値で画像処理が施された教師画像と訓練画像とを用いて学習処理が行われた学習モデルのパラメータの具体例について説明する。

撮像装置により高輝度の被写体を撮影した場合に、撮像素子から出力されるＲＧＢ信号の何れかが飽和した状態となる場合がある。この場合、ＲＧＢ信号の比が、本来の被写体の色を表す値から変わることがある。この課題に対して、ＲＧＢ信号の何れかが飽和している領域に対して彩度を下げる処理である色抑圧処理を適用することにより、信号の飽和によって生じる高輝度部の色の変化を緩和する方法が知られている。

また、撮像装置が低輝度で高彩度の被写体を撮影した場合に、ＲＧＢ信号の何れかが下限である黒レベルに近づく場合がある。この場合、ＲＧＢ信号に対して黒レベルでの立ち上がりが急峻なガンマ補正を適用すると、ＲＧＢ信号に重畳しているノイズ成分が、ガンマ補正によって強調され、画質劣化を引き起こす。この課題に対して、ＲＧＢ信号の何れかが下限に近い値を取る下限領域に対して色抑圧処理を適用することにより、ＲＧＢ信号のうちの信号値が小さい信号の信号値を上げる方法が知られている。これにより、ガンマ補正によるノイズ成分の強調の度合いを低減することができる。

色抑圧処理は彩度を下げる処理であるため、処理が適用される領域のノイズは低減される。したがって、学習の際に色抑圧処理を行うことで、色抑圧処理により低減されるノイズを考慮したニューラルネットワークが得られる。また、色抑圧処理の特性はガンマ補正および色域変換の処理によって変わる。したがって、学習時に入力された出力形式と推論時に入力された画像の出力形式とが異なる場合には、色抑圧処理の特性も異なるため推論画像の推論精度が低下する。

また、ユーザが鑑賞する画像には、出力形式に合わせたガンマ補正および色域変換の処理が行われている。この際、被写体の色によっては、元の被写体とは異なる色が出力されてしまう。この色の変化を抑制するために、色毎にゲインをかけることで補正する処理を色曲がり補正と称する。色の変化の仕方は、ガンマ補正および色域変換の処理によって異なる。すなわち、出力形式によって色曲がり補正の特性は変化する。したがって、学習時に入力された出力形式と推論時に入力された画像の出力形式が異なる場合には、色曲がり補正の特性も異なるため推論画像の推論精度が低下する。

次に、第３の実施形態における学習処理の流れの一例について説明する。図１７は、第３の実施形態の学習処理の流れの一例を示すフローチャートである。図１７のフローチャートは、例えば、図２や図７（Ａ）のブロック図を用いて実現することができる。画像処理部２０５の補正部７０４が後述する現像処理および色抑圧処理を行う。ここでは画像処理として色抑圧処理を例にあげて説明を行うが、色抑圧処理に代えて、色曲がり補正とした場合も同様である。

Ｓ１７０１で、制御部２０９は、訓練画像および教師画像のペア（学習セット）をストレージ装置３０１から取得する。Ｓ１７０２で、制御部２０９は、取得した複数の学習セットのうち１つの学習セットの訓練画像をニューラルネットワーク２０４に入力する。ニューラルネットワーク２０４が行う処理により、出力画像が生成される。Ｓ１７０３で、画像処理部２０５の抽出部７０２は、教師画像から、ガンマ、色域、又は、ガンマおよび色域に関するメタデータを抽出する。ガンマは、後にカラーグレーディングのような色調整を行うことを前提としたものでもよく、ユーザが鑑賞することを目的としたもの（ＰＱ、ＨＬＧなど）でもよい。また、色域は、ＢＴ．２０２０、ＢＴ．７０９、ＤＣＩ－Ｐ３でもよく、表示装置１３０の表示特性に合わせたもの（２．２，２．４など）でもよい。また、これらの組み合わせでもよい。

Ｓ１７０４で、補正値取得部７０３は、抽出されたメタデータのガンマ、色域、または、ガンマおよび色域の組み合わせに対応する補正値をＲＯＭ１０６から取得する。Ｓ１７０５で、補正部７０４は、教師画像およびニューラルネットワーク２０４から出力された出力画像に対して、現像処理を行うことによりＹＣＣ又はＩＣｔＣｐのような輝度および色相に分けた色空間に変換する。なお、現像処理は、ベイヤー配列の画像に対して行うディベイヤ―処理を含んでいてもよい。さらに、補正部７０４は、現像処理を適用した教師画像および出力画像に対して、取得された補正値で色抑圧補正を行う。

Ｓ１７０６で、誤差評価部２０６は、誤差評価部２０６は、画像処理がされた出力画像と教師画像との誤差を算出する。Ｓ１７０７で、パラメータ調整部２０７は、算出した誤差が小さくなるように、誤差逆伝播法を用いて、ニューラルネットワーク２０４の各パラメータを更新する。Ｓ１７０８で、制御部２０９は、所定の終了条件を満たしたかを判定する。制御部２０９は、Ｓ１７０８でＮＯと判定した場合、所定の終了条件を満たしていないため、フローをＳ１７０１に戻す。一方、制御部２０９は、Ｓ１７０８でＹＥＳと判定した場合、所定の終了条件を満たしたため、フローをＳ１７０９に進める。

Ｓ１７０９で、制御部２０９は、更新されたパラメータ（学習済みのパラメータ）を、色抑圧処理の補正条件ごとに異なるパラメータ保存領域２０８に保存する。本実施形態の色抑圧処理の補正条件は、各ガンマと各色域との組み合わせに対応する補正値である。制御部２０９は、更新されたパラメータを、各ガンマと各色域との組み合わせごとに異なるパラメータ保存領域２０８に保存する。色域に変更がなければ、ガンマごとに異なるパラメータがパラメータ保存領域２０８に保存する。Ｓ１７１０で、制御部２０９は、全ての条件のパラメータを取得したかを判定する。このとき、制御部２０９は、各ガンマと各色域とについて全ての組み合わせを取得したかに基づいて、Ｓ１７１０の判定を行う。制御部２０９は、Ｓ１７１０でＹＥＳと判定した場合、図１７のフローチャートの処理を終了させる。一方、制御部２０９は、Ｓ１７１０でＮＯと判定した場合、フローをＳ１７１１に進める。Ｓ１７１１で、制御部２０９は、ガンマと色域との組み合わせの条件を変更する。そして、制御部２０９は、フローをＳ１７０１に戻す。これにより、ガンマと色域との組み合わせを変更した学習処理が新たに行われる。なお、図１７では、訓練画像をニューラルネットワーク２０４に入力し、ニューラルネットワーク２０４からの出力画像に対して現像処理と色抑圧処理を行っていたが、これに限られるものではない。訓練画像に現像処理と色抑圧処理を行ってから、これらの処理が行われた訓練画像をニューラルネットワーク２０４に入力するように構成してもよい。この場合、ニューラルネットワーク２０４からの出力画像と、現像処理と色抑圧処理が適用された教師画像が、誤差評価部２０６に入力される。

次に、第３の実施形態の推論処理について説明する。図１８は、第３の実施形態の推論処理の流れの一例を示すフローチャートである。Ｓ１８０１で、取得部５０１は、ガンマおよび色域の情報を取得する。あるいは、Ｓ１８０４の撮像画像の取得を最初に行い、撮像画像のメタデータからガンマおよび色域の情報を取得しても良い。Ｓ１８０２で、パラメータ選択部５０２は、取得したガンマおよび色域の情報に対応するパラメータを、パラメータ保存領域２０８－１～２０８－ｎから選択する。Ｓ１８０３で、制御部５０４は、選択されたパラメータをニューラルネットワーク２０４に適用する。これにより、ニューラルネットワーク２０４による推論処理を行うことが可能な状態になる。Ｓ１８０４～Ｓ１８０７の各処理は、図６のＳ６０４～Ｓ６０７と同じであるため、説明を省略する。

なお、ガンマ補正および色域変換の処理に加え、露出補正、ゲイン補正、および、彩度補正などを調整するカラーバランス補正においても、これらの補正値の組合せに応じた、ニューラルネットワークのためのパラメータを用意することで、同様の効果を得ることができる。

（第４の実施形態）
第４の実施形態では、画像処理として周辺光量落ち補正を例にあげ、複数の周辺光量落ち補正のそれぞれに対応する補正値で周辺光量落ち補正が施された教師画像と訓練画像とを用いて学習処理が行われた学習モデルのパラメータの具体例について説明する。

周辺光量落ち補正は、レンズの中心から周辺に向けて光量が徐々に落ちるレンズ特性を補正するように、画像にゲインを掛ける補正であり、ゲインはレンズの中心から周辺に向かうほど大きな値となる。また、周辺光量落ちの特性は、レンズの種類、絞り、焦点距離、および、ズーム位置の条件によって変化し、領域ごとの最適なゲインが異なる。

図１９（ａ）および図１９（ｂ）は、周辺光量落ちの様子を示す図である。横軸はレンズの中心位置からの距離である像高であり、レンズの中心位置の像高を０％、レンズのイメージサークルの外周における像高を１００％としている。縦軸は光量であり、レンズの中心位置における光量を１００％としている。図１９（ａ）および図１９（ｂ）では、レンズ条件（絞り、フォーカス、ズーム位置）が異なる。図１９（ａ）では、像高が１５％に相当位置の光量は１００％に近く、像高が１００％に相当する位置における光量は８０％となる。図１５（ｂ）では、像高が７０％に相当位置の光量は１００％に近く、像高が１００％に相当する位置における光量は９０％となる。このように、レンズの状態によって周辺光量落ちの始まる開始点や、傾き等の形状が異なる。

図１９（ｃ）は、図１９（ａ）に示される周辺光量落ちを補正するためのゲインカーブを示し、図１９（ｄ）は、図１９（ｂ）に示される周辺光量落ちを補正するためのゲインカーブを示す。横軸は像高であり、縦軸はゲインである。図１９（ｃ）のゲインカーブは各像高で光量を１００％にするための形状を有し、像高１００％の位置では約１．２５倍のゲインが設定され、図１９（ｄ）のゲインカーブは、像高１００％の位置では約１．１倍のゲインが設定される。ゲインを大きくするほど、画像に含まれるノイズ成分も増幅されるため、ゲインに上限を設けるようにしても良い。

次に、第４の実施形態における学習処理の流れの一例について説明する。図２０は、第４の実施形態の学習処理の流れの一例を示すフローチャートである。図２０のフローチャートは、例えば、図２や図７（Ａ）のブロック図を用いて実現することができる。画像処理部２０５の補正部７０４が後述する周辺光量落ち補正を行う。

Ｓ２００１で、制御部２０９は、訓練画像および教師画像のペア（学習セット）をストレージ装置３０１から取得する。Ｓ２００２で、制御部２０９は、取得した複数の学習セットのうち１つの学習セットの訓練画像をニューラルネットワーク２０４に入力する。ニューラルネットワーク２０４が行う処理により、出力画像が生成される。Ｓ２００３で、画像処理部２０５の抽出部７０２は、教師画像から、レンズの種類、絞り、ズーム位置、および、焦点距離に関するメタデータを抽出する。

Ｓ２００４で、補正値取得部７０３は、抽出されたレンズの種類、絞り、ズーム位置、および、焦点距離の組み合わせに対応する補正値をＲＯＭ１０６から取得する。Ｓ２００５で、補正部７０４は、教師画像およびニューラルネットワーク２０４から出力された出力画像に対して、取得された補正値で周辺光量落ち補正を行う。

Ｓ２００６で、誤差評価部２０６は、誤差評価部２０６は、画像処理がされた出力画像と教師画像との誤差を算出する。そして、Ｓ２００７で、パラメータ調整部２０７は、算出した誤差が小さくなるように、誤差逆伝播法を用いて、ニューラルネットワーク２０４の各パラメータを更新する。Ｓ２００８で、制御部２０９は、所定の終了条件を満たしたかを判定する。制御部２０９は、Ｓ２００８でＮＯと判定した場合、所定の終了条件を満たしていないため、フローをＳ１００１に戻す。一方、制御部２０９は、Ｓ２００８でＹＥＳと判定した場合、所定の終了条件を満たしたため、フローをＳ２００９に進める。

Ｓ２００９で、制御部２０９は、更新されたパラメータ（学習済みのパラメータ）を、周辺光量落ち補正の補正条件ごとに異なるパラメータ保存領域２０８に保存する。本実施形態の周辺光量落ち補正の補正条件は、レンズの種類、絞り、ズーム位置、および、焦点距離の組み合わせに対応する補正値である。制御部２０９は、更新されたパラメータを、レンズの種類、絞り、ズーム位置、および、焦点距離の組み合わせごとに異なるパラメータ保存領域２０８に保存する。なお、レンズが交換レンズでなく、撮像装置と一体化されたレンズであれば、レンズの種類に応じたパラメータを保存する必要はない。また、レンズがズーム機能のない単焦点レンズであれば、ズーム位置に応じたパラメータを保存する必要はない。Ｓ２０１０で、制御部２０９は、全ての条件のパラメータを取得したかを判定する。制御部２０９は、Ｓ２０１０でＹＥＳと判定した場合、図２０のフローチャートの処理を終了させる。一方、制御部２０９は、Ｓ２０１０でＮＯと判定した場合、フローをＳ２０１１に進める。Ｓ２０１１で、制御部２０９は、レンズの種類、絞り、ズーム位置、および、焦点距離の組み合わせの条件を変更する。そして、制御部２０９は、フローをＳ２００１に戻す。

図２１は、周辺光量落ち補正データのテーブルデータの例を示す図である。テーブルデータ２１００は、焦点距離がＡ１でのデータ群である。横軸は絞り値（Ｓ１，Ｓ２，Ｓ３・・・Ｓｎ）、縦軸はズーム位置（Ｔ１，Ｔ２，Ｔ３，・・・Ｔｎ）である。例えば、ズーム位置Ｔ１、絞り値Ｓ１、焦点距離Ａ１での周辺光量落ち補正データはＤｔ１ｓ１ａ１である。また、テーブルデータ２１０１，２１０２，２１０３，２１０４はそれぞれ、焦点距離がＡ１，Ａ２，Ａ３，Ａｎでのデータ群である。各レンズ条件に対応した周辺光量落ち補正データは、ＲＯＭ１０６に保存されている。また、交換式レンズではレンズごとに周辺光量落ちの形状が異なるので、テーブルデータをレンズごとに持つ。交換式レンズは、レンズごとに割り振られたレンズＩＤにより、識別可能である。

次に、第４の実施形態の推論処理について説明する。図２２は、第４の実施形態の推論処理の流れの一例を示すフローチャートである。Ｓ２２０１で、取得部５０１は、レンズの種類、絞り、ズーム位置、および、焦点距離の情報を取得する。あるいは、Ｓ２２０４の撮像画像の取得を最初に行い、撮像画像のメタデータからレンズの種類、絞り、ズーム位置、および、焦点距離の情報を取得しても良い。Ｓ２２０２で、パラメータ選択部５０２は、取得したレンズの種類、絞り、ズーム位置、および、焦点距離の情報に対応するパラメータを、パラメータ保存領域２０８－１～２０８－ｎから選択する。そして、Ｓ２２０３で、制御部５０４は、選択されたパラメータをニューラルネットワーク２０４に適用する。これにより、ニューラルネットワーク２０４による推論処理を行うことが可能な状態になる。Ｓ２２０４～Ｓ２２０７の各処理は、図６のＳ６０４～Ｓ６０７と同じであるため、説明を省略する。

（第５の実施形態）
第５の実施形態では、画像処理としてチャンネル間ゲイン補正を例にあげ、複数のチャンネル間ゲイン補正のそれぞれに対応する補正値でチャンネル間ゲイン補正が施された教師画像と訓練画像とを用いて学習処理が行われた学習モデルのパラメータの具体例について説明する。

チャンネル間ゲイン補正は、センサのアナログ出力の最終段に配置されている出力アンプのゲインの補正を行う処理である。この出力アンプはアナログアンプであるため、アンプ毎にゲイン差を持っている。同一のセンサ内の複数の出力アンプ間でもゲインには差がある。また、温度に応じても変化するという特徴を持っている。そのため、１つのネットワークパラメータを用いただけでは温度条件により生じた出力アンプのゲイン差によるノイズ差が加味されず、十分なノイズ除去効果が得られない。つまり、チャンネル間ゲイン補正特性に合った最適なネットワークパラメータが温度条件ごとに必要となる。

図２３はセンサ構造を示す図である。光の強さを電圧に変換するフォトダイオード２３０１には、スイッチ２３０２を介して垂直線２３０３が接続されている。垂直線２３０３はスイッチ２３０４を介して出力アンプ２３０５～２３０８に接続されている。それらのスイッチ２３０２、２３０４のオンとオフを切り替えることにより、フォトダイオード２３０１から得られる電圧信号が出力アンプ２３０５～２３０８から読み出される。本実施形態におけるチャンネル間ゲイン補正は、この４つの出力アンプ２３０５～２３０８のゲインを補正する機能であり、この４つの出力アンプ２３０５～２３０８をチャンネルと呼んでいる。例えば、ここでは、出力アンプ２３０５をチャンネルＡ、出力アンプ２３０６をチャンネルＢ、出力アンプ２３０７をチャンネルＣ、出力アンプ２３０８をチャンネルＤとする。

図２４は、フォトダイオード２３０１に入射する光量に対する各チャンネルの出力電圧を示す図である。

図２４（Ａ）において、グラフ２４０１はチャンネルＡの出力、グラフ２４０２はチャンネルＢの出力、グラフ２４０３はチャンネルＣの出力、グラフ２４０４はチャンネルＤの出力を示す。出力アンプはアナログアンプであるため、図２４に示すように、出力レベルに差が生じる。この出力レベルに差が生じる原因としては、チャンネル間のオフセットのばらつきとゲインのばらつきがあり、オフセットのばらつきが補正されてから、ゲインのばらつきが補正される。図２４（Ｂ）は、図２４（Ａ）における黒レベルが一致するように、オフセットのばらつきを補正した状態での各チャンネルの出力電圧を示す図である。グラフ２４１１、２４１２、２４１３、および、２４１４はそれぞれ、グラフ２４０１、２４０２、２４０３、および、２４０４の黒レベルを補正したグラフである。チャンネル間ゲイン補正では、線２４１５で示される一定の光量をセンサに一様に照射して１枚の画像を取得し、取得した画素出力の中心位置における４００画素×４００画素の領域から、各チャンネルの出力電圧の平均を計算する。この各チャンネルの出力電圧の平均値からそれぞれオフセットを減算し、減算結果が一定の値となるように、チャンネルごとの補正用ゲインを算出する。この補正用ゲインを算出は、センサ温度が６０度および３０度のそれぞれのケースで行う。このようにして取得した補正用ゲインは、センサの個体を示すセンサ番号、チャンネル番号(チャンネルＡ～Ｄの番号)、および、温度情報を紐づけて、補正値としてＲＯＭ１０６に保存される。

次に、第５の実施形態における学習処理の流れの一例について説明する。図２５は、第５の実施形態の学習処理の流れの一例を示すフローチャートである。図２５のフローチャートは、図７（Ａ）のブロック図に対応し、画像処理部２０５の補正部７０４がチャンネル間ゲイン補正を行う。Ｓ２５０１で、制御部２０９は、訓練画像および教師画像のペア（学習セット）をストレージ装置３０１から取得する。Ｓ２５０２で、制御部２０９は、取得した複数の学習セットのうち１つの学習セットの訓練画像をニューラルネットワーク２０４に入力する。ニューラルネットワーク２０４が行う処理により、出力画像が生成される。Ｓ２５０３で、画像処理部２０５の抽出部７０２は、教師画像からメタデータを抽出する。Ｓ２５０４で、補正値取得部７０３は、抽出されたメタデータのセンサ番号と温度情報との組み合わせに対応する補正値をＲＯＭ１０６から取得する。Ｓ２５０５で、補正部７０４は、教師画像およびニューラルネットワーク２０４から出力された出力画像に対して、取得された補正値でチャンネル間ゲイン補正を行う。

Ｓ２５０６で、誤差評価部２０６は、誤差評価部２０６は、画像処理がされた出力画像と教師画像との誤差を算出する。Ｓ２５０７で、パラメータ調整部２０７は、算出した誤差が小さくなるように、誤差逆伝播法を用いて、ニューラルネットワーク２０４の各パラメータを更新する。Ｓ２５０８で、制御部２０９は、所定の終了条件を満たしたかを判定する。制御部２０９は、Ｓ２５０８でＮＯと判定した場合、所定の終了条件を満たしていないため、フローをＳ２５０１に戻す。一方、制御部２０９は、Ｓ２５０８でＹＥＳと判定した場合、所定の終了条件を満たしたため、フローをＳ２５０９に進める。

Ｓ２５０９で、制御部２０９は、更新されたパラメータ（学習済みのパラメータ）を、センサ番号および温度情報の補正条件ごとに異なるパラメータ保存領域２０８に保存する。本実施形態チャンネル間ゲイン補正の補正条件は、センサ番号と温度情報の組み合わせに対応する補正値である。制御部２０９は、更新されたパラメータを、センサ番号と温度情報の組み合わせごとに異なるパラメータ保存領域２０８に保存する。Ｓ２５１０で、制御部２０９は、全ての条件のパラメータを取得したかを判定する。このとき、制御部２０９は、センサ番号と温度情報の全ての組み合わせを取得したかに基づいて、Ｓ２５１０の判定を行う。なお、複数の撮像装置のそれぞれに別のパラメータを用意するのであれば、その撮像装置に対応するセンサ番号に対応するパラメータさえ取得されればよい。制御部２０９は、Ｓ２５１０でＹＥＳと判定した場合、図２５のフローチャートの処理を終了させる。一方、制御部２０９は、Ｓ２５１０でＮＯと判定した場合、フローをＳ２５１１に進める。Ｓ２５１１で、制御部２０９は、センサ番号と温度情報との組み合わせの条件を変更する。そして、制御部２０９は、フローをＳ２５０１に戻す。これにより、センサ番号と温度情報の組み合わせを変更した学習処理が新たに行われる。

次に、第５の実施形態の推論処理について説明する。図２６は、第５の実施形態の推論処理の流れの一例を示すフローチャートである。Ｓ２６０１で、取得部５０１は、センサ番号および温度情報を取得する。取得部５０１は、撮像装置１２０からセンサ番号および温度情報を取得することができる。Ｓ２６０２で、パラメータ選択部５０２は、取得したセンサ番号に対応するパラメータを、パラメータ保存領域２０８－１～２０８－ｎから選択する。本実施形態では、温度情報として３０度における補正値と６０度におけるパラメータのみが保存されているため、センサ番号に対応する３０度における補正値と６０度におけるパラメータを両方とも選択する。もちろん、３０度と６０度だけでなく、多くの温度に対応するパラメータを予め用意しておいて、取得した温度に最も近い温度に対応するパラメータを用いるようにしてもよい。Ｓ２６０３で、制御部５０４は、選択されたそれぞれのパラメータをニューラルネットワーク２０４に適用する。これにより、ニューラルネットワーク２０４による推論処理を行うことが可能な状態になる。

Ｓ２６０４で、取得部５０１は、撮像画像を取得する。Ｓ２６０５で、制御部５０４は、取得した撮像画像をニューラルネットワーク２０４に入力する。Ｓ２６０６で、ニューラルネットワーク２０４は、推論処理を行う。本実施形態では、３０度におけるパラメータを用いた推論処理を行って第１の推論画像を生成するとともに、６０度におけるパラメータを用いた推論処理を行って第２の推論画像を生成する。Ｓ２６０７で、推論画像出力部５０３は、取得した温度情報に基づいて、第１の推論画像と第２の推論画像を補間して、温度情報に応じた推論画像を生成する。具体的には、ｔを取得した温度情報、αを加重加算の係数、Ｚ_１を第１の推論画像における座標（ｘ，ｙ）の信号レベル、および、Ｚ_２を第２の推論画像における座標（ｘ，ｙ）の信号レベルとする。この場合、第１の推論画像と第２の推論画像を補間して得られる推論画像における座標（ｘ，ｙ）の信号レベルＺ_ＯＵＴ（ｘ，ｙ）は、次の式２および式３を用いて、求めることができる。
α＝（－１／（６０－３０））×ｔ＋２ ・・・（式２）
Ｚ_ＯＵＴ（ｘ，ｙ）＝α×Ｚ_１（ｘ，ｙ）＋（１－α）×Ｚ_２（ｘ，ｙ） ・・・（式３）

なお、温度情報が３０度未満のときは、温度情報が３０度であるとみなし、温度情報が６０度を超えるときは、温度情報が６０度であるとみなしてもよい。Ｓ２６０８で、推論画像出力部５０３は、Ｓ２２０６で生成された推論画像をストレージ装置１４０に出力する。推論画像出力部５０３は、生成された推論画像を、ＲＯＭ１０６やＲＡＭ１０７、表示装置１３０等に出力してもよい。

以上のように、第１～第５の実施形態では、画像処理として、ＩＳＯ感度補正、Ｆ値補正、色抑圧処理、色曲がり補正、カラーバランス補正、周辺光量落ち補正、および、チャネル間ゲイン補正を例にあげて学習モデルのパラメータの具体例を説明したが、これに限られるものではない。例えば、これまで説明した画像処理とは別の画像処理の例として、フリッカ補正がある。フリッカ補正は、蛍光灯などの光源の明滅によって、センサのライン間、あるいは、フレーム間で生じた輝度値の差を補正する処理である。ラインによって変化する輝度値の変化量（振幅）からフリッカの大きさを検出したり、ラインごとに変化する輝度値の周期からフリッカの周波数を検出したりすることができる。フリッカ、光源の明るさ、明滅の周波数、および、センサの蓄積時間等の条件により、発生の仕方が異なるという特徴がある。つまり、これらの条件ごとに、学習モデルのパラメータを用意するようにしてもよい。このような場合でも、第１～第５の実施形態と同様の効果を得ることができる。

（第６の実施形態）
第６の実施形態では、画像処理として圧縮処理および伸張処理を例にあげ、教師画像と、複数の圧縮率のそれぞれで圧縮処理および伸張処理が施された訓練画像とを用いて学習処理が行われた学習モデルのパラメータの具体例について説明する。本実施形態では、ニューラルネットワーク２０４に入力する画像に圧縮処理を行うため、ニューラルネットワークの回路規模を抑えることができるという、第１～第５の実施形態とは異なる効果も得ることができる。

本実施形態では、画像処理部２０５は、画素値をｍ分の１にする圧縮処理と、画素値をｎ分の１にすることで圧縮処理を行う。尚、圧縮処理の方法はこの方法に限らず、推論処理の工程で使用される圧縮処理と同様の手法であれば、他の方法でもよい。

図２７は、第６の実施形態の実施形態における画像処理装置１００の学習処理の機能を示すブロック図である。第６の実施形態では、画像処理部２０５は、ニューラルネットワーク２０４の入力側と出力側に配置される点が、第１の実施形態と異なる。訓練画像が画像処理部２０５に入力され、画像処理部２０５が訓練画像に対して複数の圧縮率のうちのいずれかで圧縮処理を行う。画像処理部２０５で圧縮された画像がニューラルネットワーク２０４に入力され、ニューラルネットワーク２０４が出力画像を生成し、出力する。そして、出力画像が、再度、画像処理部２０５に入力され、画像処理部２０５が出力画像に対して圧縮処理における圧縮率に対応する伸張処理を行う。そして、誤差評価部２０６が、画像処理部２０５によって伸張された出力画像と教師画像との誤差を算出する。

各パラメータ保存領域２０８－１および２０８－２には、それぞれ異なる圧縮率で圧縮処理された学習済みのパラメータが保存される。ここでは圧縮率が２通りの例をあげて説明を行ったが、圧縮率は３種類以上であってもよい。圧縮率がｎ種類の場合、パラメータ保存領域２０８－１～２０８－ｎが使用される。

次に第６の実施形態における学習処理の流れの一例について説明する。図２８は、第１の実施形態の学習処理の流れの一例を示すフローチャートである。Ｓ２８０１で、制御部２０９は、訓練画像および教師画像のペア（学習セット）をストレージ装置３０１から取得する。Ｓ２８０２で、制御部２０９は、圧縮情報を取得する。本実施形態では、圧縮情報は、訓練画像の各画素値に対して、画素値が所定の閾値未満の場合は０、閾値以上の場合は１の値が設定されている情報であり、訓練画像の画素数と同数のデータで構成される。尚、圧縮情報は、かかるデータ形式の情報に限らず、訓練画像の圧縮処理方法がわかる情報であれば他のデータ形式の情報でもよい。また、制御部２０９は、撮像装置１２０又はストレージ装置１４０のいずれかに予め記憶されている圧縮情報をステップＳ２８０２において取得するようにしてもよい。また、ステップＳ２８０２で圧縮情報を取得することなく、画像処理部２０５が以下のステップＳ２８０３で訓練画像から直接圧縮情報を算出してもよい。

ステップＳ２８０３において、制御部２０９は、ステップＳ２０２で取得した圧縮情報に基づき、画像処理部２０５に訓練画像の圧縮処理を行わせる。画像処理部２０５においては、圧縮情報が０の場合には画素値をｍ分の１に、圧縮情報が１の場合には画素値をｎ分の１にすることで圧縮処理を行う。尚、圧縮処理の方法はこの方法に限らず、推論処理の工程で使用される圧縮処理と同様の手法であれば、他の方法でもよい。また、ステップＳ２８０１において取得した訓練画像がすでに圧縮処理されたものであってもよい。この場合、訓練画像の圧縮処理を行わなくてもよいため、ステップＳ２８０１から直接後述するステップＳ２８０４に進む。また、撮像装置１２０の動作モードが複数あり、夫々で圧縮処理の処理方法が異なる場合は、動作モードに合わせて、ステップＳ２８０２で取得する圧縮情報の変更や圧縮処理の有無の切り替えを行ってもよい。

Ｓ２８０４において、制御部２０９は、ステップＳ２８０３で圧縮された訓練画像をニューラルネットワーク２０４へ入力して出力画像を生成する。続いてステップＳ２８０５において、画像処理部２０５がステップＳ２８０４で生成された出力画像に対して伸張処理を実行し、誤差評価部２０６がその伸張処理された出力画像と正解画像との誤差を算出する。

本実施形態では、画像処理部２０５は、ステップＳ２８０３で訓練画像に対して行った圧縮処理と逆の処理となる伸張処理を行う。具体的には、圧縮情報が０の場合には画素値をｍ倍に、圧縮情報が１の場合には画素値をｎ倍にする伸張処理を行う。但し、伸張処理の方法は、本実施形態の方法に限らず、推論処理の工程で使用される伸張処理と同様の手法であれば、他の方法でもよい。また、撮像装置１２０の動作モードが複数あり、夫々で圧縮処理および伸張処理の処理方法が異なる場合は、動作モードに合わせて、圧縮処理および伸張処理の処理方法や、圧縮処理および伸張処理の有無を切り替えてもよい。推論画像を伸張する際に用いる伸張処理と、ステップＳ２８０５で出力画像に行う伸張処理とで用いる伸張処理方法を同一の手法にすることで、伸張処理後のノイズ量に依らないより安定した精度で推論が可能となる。続いてステップＳ２８０６において、パラメータ調整部２０７は、算出した誤差が小さくなるように、誤差逆伝播法を用いて、ニューラルネットワーク２０４の各パラメータを更新する。Ｓ２８０７で、制御部２０９は、所定の終了条件を満たしたかを判定する。制御部２０９は、Ｓ２８０７でＮＯと判定した場合、フローをＳ２８０１に戻す。この場合、新たな訓練画像と正解画像との学習セットを用いて、Ｓ２８０１～Ｓ２８０６の処理が行われる。一方、制御部２０９は、Ｓ２８０７でＹＥＳと判定した場合、フローをＳ２８０８に進める。

ステップＳ２８０８において、制御部２０９は、更新されたパラメータやニューラルネットワークの構造などに関する情報をパラメータ保存領域２０８－１または２０８－２に保存する。Ｓ２８０９で、制御部２０９は、全ての圧縮情報についてのパラメータを取得したかを判定する。制御部２０９は、Ｓ２８０９でＮＯと判定した場合、フローをＳ２８０１に戻し、Ｓ２８０２で他の圧縮情報を取得する。制御部２０９は、Ｓ２８０９でＹＥＳと判定した場合、図２８のフローチャートの処理を終了させる。以上の動作によって、回路規模を大きくすることなく、伸張処理された画像に対して、推論精度が影響されにくいニューラルネットワークを得ることができる。

図２９は、画像処理装置１００の推論処理の機能を示すブロック図である。図５に示すブロックに対して、取得部５０１とニューラルネットワーク２０４の間、および、ニューラルネットワーク２０４と推論画像出力部５０３の間に画像処理部２０５が配置されている点が異なる。この画像処理部２０５は、画像の圧縮処理と伸張処理を行う。

図３０は、第６の実施形態における推論処理の流れの一例を示すフローチャートである。Ｓ３００１で、取得部５０１は、圧縮情報を取得する。取得部５０１は、撮像装置１２０から圧縮情報を取得することができる。例えば、撮像装置１２０の設定条件に基づいて、取得部５０１は圧縮情報を取得することができる。この圧縮情報は、学習処理の工程で使用された圧縮処理と同じ形式である。具体的には、本実施例では、撮像画像の画素値に対して、画素値が所定の閾値未満の場合は０、閾値以上の場合は１の値が設定されている情報である。なお、圧縮情報はこの形式に限らず、学習処理の工程で使用された圧縮処理と同じであれば他のデータ形式の情報であってもよい。Ｓ３００２で、パラメータ選択部５０２は、取得した圧縮情報に対応するパラメータを、パラメータ保存領域２０８－１あるいは２０８－２から選択する。そして、Ｓ３００３で、制御部５０４は、選択されたパラメータをニューラルネットワーク２０４に適用する。これにより、ニューラルネットワーク２０４による推論処理を行うことが可能な状態になる。

Ｓ３００４で、取得部５０１は、撮像装置１２０から、撮像画像を取得する。この撮像画像は、非圧縮のＲＡＷ画像であり、訓練画像の画素数と同数のデータで構成される。またこの時取得する圧縮情報は、学習処理の工程で使用された圧縮処理と同じ形式である。取得部５０１は、ストレージ装置１４０からＲＡＷ画像を取得してもよい。Ｓ３００５で、圧縮部１９０１は、取得した撮像画像に対して、Ｓ３００１で取得した圧縮情報に応じた圧縮処理を行う。画像処理部２０５は、圧縮情報が０の場合には画素値をｍ分の１に、圧縮情報が１の場合には画素値をｎ分の１にすることで圧縮処理を行う。尚、圧縮処理の方法はこの方法に限らず、撮像画像のデータ量を低減できる手法であれば他の方法でもよい。また、Ｓ３００４において取得した撮像画像がすでに圧縮処理されたものであってもよい。この場合、撮像画像の圧縮処理を行わなくてもよいため、Ｓ３００４からＳ３００６に進む。また、撮像装置１２０の動作モードが複数あり、夫々で圧縮処理の方法が異なる場合は、動作モードに合わせて、ステップＳ３００１で取得する圧縮情報の変更や圧縮処理の有無の切り替えを行ってもよい。

Ｓ３００６で、制御部５０４は、圧縮された撮像画像をニューラルネットワーク２０４に入力する。Ｓ３００７で、ニューラルネットワーク２０４は、推論処理を行い、推論画像を生成する。Ｓ３００８で、画像処理部２０５がステップＳ３００７で生成した推論画像に対して伸張処理を実行する。本実施形態では、画像処理部２０５は、ステップＳ３００５で撮像画像に対して行った圧縮処理と逆の処理となる伸張処理を行う。具体的には、圧縮情報が０の場合には画素値をｍ倍に、圧縮情報が１の場合には画素値をｎ倍にする伸張処理を行う。但し、伸張処理の方法は、本実施形態の方法に限らず、学習処理の工程で使用された伸張処理と同様の手法であれば、他の方法でもよい。また、後段で別途伸張処理される場合は、ここで伸張処理を行わなくてもよい。 Ｓ３００９で、推論画像出力部５０３は、伸張された推論画像をストレージ装置１４０に出力する。推論画像出力部５０３は、生成された推論画像を、ＲＯＭ１０６やＲＡＭ１０７、表示装置１３０等に出力してもよい。

本実施形態によれば、ニューラルネットワーク２０４に入力する画像に圧縮処理を行うため、ニューラルネットワークの回路規模を抑えることができる。また、ニューラルネットワーク２０４からの出力画像に伸張処理を行った後、学習工程で各ネットワークパラメータの更新を行うため、上記圧縮処理による推論用のニューラルネットワークのノイズ抑圧効果の低下を抑制することができる。

なお、第１から第６の実施形態について説明を行ったが、各実施形態における補正条件の組み合わせに応じた、ニューラルネットワークのパラメータを用いるようにしてもよい。すなわち、ＩＳＯ感度補正、Ｆ値補正、色抑圧処理、色曲がり補正、カラーバランス補正、周辺光量落ち補正、チャネル間ゲイン補正、フリッカ補正、および、圧縮および伸張処理うちの２つの以上を組み合わせた補正条件に応じたパラメータを用いるようにしてもよい。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
１０３ 画像処理回路
１０５ ＣＰＵ
１０６ ＲＡＭ
１０９ ＧＰＵ
１０８ メタデータ抽出回路
１２０ 撮像装置
１４０ ストレージ装置
２０４ ニューラルネットワーク
２０５ 画像処理部
２０６ 誤差評価部
２０７ パラメータ調整部
２０８ パラメータ保存領域
５０１ 取得部
５０２ パラメータ選択部

Claims (27)

1. 訓練画像と教師画像に対して複数の画像処理を施す画像処理手段と、
   前記複数の画像処理がそれぞれ施された前記訓練画像と前記教師画像とを用いて、学習モデルの機械学習を行う学習手段と、
   前記複数の画像処理のそれぞれで学習された前記学習モデルについての複数のパラメータを、前記画像処理の補正条件に対応付けて保存する制御を行う制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記画像処理の補正条件に関する情報に応じて、保存された複数のパラメータから１つのパラメータを選択する選択手段と、
   選択された前記パラメータを前記学習モデルに適用して、画像に対する推論処理を行う推論手段と、
   をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理が施される前記訓練画像は、前記学習モデルによる処理がされていることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記訓練画像は、前記教師画像に対して、ノイズが付加された画像であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記画像処理は、列アンプとランプの組み合わせ応じてアナログゲインを補正する感度補正、レンズの絞り値と光量との関係が線形に近づくように前記絞り値に応じて画像にゲインを乗じる補正、彩度を補正する色抑圧処理、色の変化を補正する色曲がり補正、カラーバランス補正、周辺光量落ち補正、センサのチャンネル間のゲイン差に基づく補正、フリッカ補正、および、圧縮処理のうちの、少なくともいずれかであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記画像処理は、列アンプとランプの組み合わせ応じてアナログゲインを補正する感度補正、レンズの絞り値と光量との関係が線形に近づくように前記絞り値に応じて画像にゲインを乗じる補正、彩度を補正する色抑圧処理、色の変化を補正する色曲がり補正、カラーバランス補正、周辺光量落ち補正、センサのチャンネル間のゲイン差に基づく補正、フリッカ補正、および、圧縮処理のうちの、少なくともいずれか２つ以上の組み合わせであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
7. 前記画像処理は、列アンプとランプの組み合わせ応じてアナログゲインを補正するＩＳＯ感度補正であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
8. 前記画像処理の補正条件はＩＳＯ感度であり、前記制御手段はＩＳＯ感度に対応付けて前記複数のパラメータを保存することを特徴とする請求項７に記載の画像処理装置。
9. 前記画像処理の補正条件はＩＳＯ感度と温度の組み合わせであり、前記制御手段はＩＳＯ感度と温度の組み合わせに対応付けて前記複数のパラメータを保存することを特徴とする請求項７に記載の画像処理装置。
10. 前記画像処理は、レンズの絞り値と光量との関係が線形に近づくように、絞り値に応じて画像にゲインを乗じる補正であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
11. 前記画像処理の補正条件は絞り値であり、前記制御手段は絞り値に対応付けて前記複数のパラメータを保存することを特徴とする請求項１０に記載の画像処理装置。
12. 前記制御手段は、前記絞り値と前記ゲインの関係が線形な区間と非線形な区間とで、保存する前記パラメータの粒度を異ならせることを特徴とする請求項１０または１１に記載の画像処理装置。
13. 前記画像処理は、彩度を補正する色抑圧処理、および、色の変化を補正する色曲がり補正のすくなくともいずれかであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
14. 前記画像処理の補正条件はガンマおよび色域の少なくとも１つであり、前記制御手段はガンマおよび色域の少なくとも１つに対応付けて前記複数のパラメータを保存することを特徴とする請求項１３に記載の画像処理装置。
15. 前記画像処理は、周辺光量落ち補正であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
16. 前記画像処理の補正条件はレンズの種類、絞り値、ズーム位置、および、焦点距離の少なくとも１つであり、前記制御手段はレンズの種類、絞り値、ズーム位置、および、焦点距離の少なくとも１つに対応付けて前記複数のパラメータを保存することを特徴とする請求項１５に記載の画像処理装置。
17. 前記画像処理は、センサのチャンネル間のゲイン差に基づく補正であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
18. 前記画像処理の補正条件はセンサおよび温度であり、前記制御手段はセンサの個体および温度に対応付けて前記複数のパラメータを保存することを特徴とする請求項１７に記載の画像処理装置。
19. 前記画像処理は、フリッカ補正であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
20. 前記画像処理の補正条件は光源の明るさ、光源の明滅の周波数、および、センサの蓄積時間の少なくとも１つであり、前記制御手段は光源の明るさ、光源の明滅の周波数、および、センサの蓄積時間の少なくとも１つに対応付けて前記複数のパラメータを保存することを特徴とする請求項１９に記載の画像処理装置。
21. 前記画像処理は、圧縮処理であることを特徴とする請求項１に記載の画像処理装置。
22. 前記画像処理の補正条件は圧縮率であり、前記制御手段は圧縮率に対応付けて前記複数のパラメータを保存することを特徴とする請求項２１に記載の画像処理装置。
23. 前記圧縮率に応じて、保存された複数のパラメータから１つのパラメータを選択する選択手段と、
    選択された前記パラメータを前記学習モデルに適用して、前記圧縮率で圧縮された画像に対する推論処理を行う推論手段と、
    をさらに備えることを特徴とする請求項２２に記載の画像処理装置。
24. 複数の画像処理のそれぞれで学習された学習モデルについての複数のパラメータをそれぞれ異なる領域に保存する記憶手段と、
    前記画像処理の補正条件に関する情報に応じて、保存された複数のパラメータから１つのパラメータを選択する選択手段と、
    選択された前記パラメータを前記学習モデルに適用して、画像に対する推論処理を行う推論手段と、
    を備えることを特徴とする画像処理装置。
25. 訓練画像と教師画像に対して複数の画像処理を施す工程と、
    前記複数の画像処理がそれぞれ施された前記訓練画像と前記教師画像とを用いて、学習モデルの機械学習を行う工程と、
    前記複数の画像処理のそれぞれで学習された前記学習モデルについての複数のパラメータを、前記画像処理の補正条件に対応付けて保存する工程と、
    を備えることを特徴とする画像処理装置の制御方法。
26. 複数の画像処理のそれぞれで学習された学習モデルについての複数のパラメータをそれぞれ異なる領域に保存する工程と、
    前記画像処理の補正条件に関する情報に応じて、保存された複数のパラメータから１つのパラメータを選択する工程と、
    選択された前記パラメータを前記学習モデルに適用して、画像に対する推論処理を行う工程と、
    を備えることを特徴とする画像処理装置の制御方法。
27. 請求項１乃至２４のうちいずれか１項に記載の画像処理装置の各手段をコンピュータに実行させるためのプログラム。
    

Images