JP7762035B2 - 画像処理装置および方法、プログラム - Google Patents

Description

本発明は、機械学習を利用して画像群を高精細化する画像処理装置および方法、プログラムに関する。

機械学習を用いた超解像技術とは、画像を拡大して解像度変換を行う時に、画素値の線形補間処理では補えない高周波成分を機械学習によって推論することにより高精細な画像を生成する技術である。超解像技術では、まず、画像群Ｇと、画像群Ｇの各画像を任意の方法で劣化させた劣化画像とを教師データとして用いて学習モデルが生成される。学習モデルは、原画像と劣化画像の画素値の差分を学習し、自身が保持する超解像処理パラメータを更新することにより生成される。こうして生成された学習モデルに対して高周波成分が不足した画像Ｈを入力すると、学習モデルを用いた推論により高周波成分が取得される。推論により取得された高周波成分を画像Ｈに重ねることで、高精細画像を生成することができる。動画に対して超解像処理を行う場合には、全てのフレームを１枚ずつ学習モデルに入力することにより、高精細な動画を生成することができる。

一般的に、学習モデルを利用した製品やサービスが提供される場合、教師データを収集して学習モデルを生成する処理は開発者によって行われ、生成された学習モデルがユーザーへ提供される。そのため、学習処理を行う時点ではユーザーにより入力される動画の内容は未知である。そこで開発者側は、あらゆる推論対象動画に対して均等な精度で推論できるよう、教師データとして画像パターンに偏りのない多種多様な画像を大量に用意して繰り返し学習させる。

例えば特許文献１には、多様な画像を学習した学習モデルを用いて動画に対して超解像処理を行う技術が記載されている。しかしながら、教師データが多様であるため、ユーザーが指定する推論対象動画Ｑと類似度が高い教師データはごく僅かである。そのような学習モデルが用いられた場合、推論対象動画Ｑと類似度の低い画像を学習した結果が推論処理に反映されてしまう。その結果、被写体のエッジが強調されることによる解像感の向上などに留まり、被写体の細かな模様などといった高周波成分を正確に推論することは困難であり、推論精度は高いとは言えない。

このような課題を解決するためのシステムの例として、推論対象動画と撮影場所・撮影条件などが類似する画像のみを教師データとして用いてユーザー側で学習を行い、多様な画像を学習した場合に比べて高精細な動画を得る手法が特許文献２に記載されている。

特開２０１９－２０４１６７号公報 特開２０１９－１２９３２８号公報

特許文献２では、撮影場所が共通し撮影時刻が異なる教師データを用いて学習を行っている。より具体的には、路線バスのルートの一部区間Ｓで過去に撮影された映像を蓄積して学習し、その結果の学習モデルを用いて区間Ｓのリアルタイム映像に対して推論が実行される。この場合の教師データは区間Ｓで撮影されたものに限定されることから、推論対象と類似度が比較的高い画像群であるため、推論精度の向上が期待できる。しかし、区間Ｓで撮影された映像の中でも、例えば区間Ｓの始点の映像と区間Ｓの終点の映像とは撮影場所が異なるため、映っている被写体も全く異なり、類似性が高いとは言えない。このことが区間Ｓ全体の推論精度を低下させる要因となる。加えて、教師データとなる過去の映像と推論対象のリアルタイム映像では、同一地点における映像でも映っている被写体は異なっている。学習が行われていない被写体については正確な推論が行われないため、このことも推論精度の低下の要因となる。

また、特許文献２には、天候などの撮影条件によって過去映像を複数のグループに分類し、各グループのデータによる学習を独立に行って複数の学習モデルを生成し、リアルタイム映像の撮影条件によって使用する学習モデルを切り替えることが記載されている。このような技術によれば、撮影条件が異なることによる推論精度の低下を抑制することも可能となる。しかし、天候などの条件が共通しても、照度などの値がわずかでも異なると、教師データと推論対象の周波数成分が異なってしまうので、推論精度の低下を十分に抑制できるとは言えない。これらの要因により、特許文献２の技術においても、高周波数成分の推論精度が十分とは言えない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、機械学習を用いて、画像を高い精度で高精細化することができる画像処理装置を提供することである。

本発明に係わる画像処理装置は、第１の画像群を用いて、前記第１の画像群よりも対応するフレームの高周波成分が少ない第２の画像群の画像を高精細化する画像処理装置であって、前記第１の画像群から選択された第１の画像と、前記第１の画像よりも高周波成分が少なく且つ前記第１の画像の撮影時刻との差が所定の閾値より小さい撮影時刻を有する第３の画像との複数の対を、教師データの候補として取得する取得手段と、前記教師データの候補の複数の対のうちから、学習に用いる一対の教師データを、前記第２の画像群から選択された高精細化対象の画像に基づいて選択する選択手段と、前記選択手段により選択された前記一対の教師データを用いて学習モデルを生成する学習モデル生成手段と、生成された前記学習モデルを用いて前記高精細化対象の画像の高周波成分を推論する推論手段と、前記高精細化対象の画像と、前記推論手段により推論された高周波成分とに基づいて高精細化された画像を生成する画像生成手段と、を備えることを特徴とする。

本発明によれば、機械学習を用いて、画像を高い精度で高精細化することができる画像処理装置を提供することが可能となる。

第１実施形態による画像処理装置の構成を示すブロック図。 第１実施形態による画像処理装置の機能構成を説明する図。 第１実施形態による入力動画のフレーム構成の一例を示す図。 第１実施形態による画像処理装置の機能構成を説明する図。 第１実施形態による候補データベースのデータ構成例を示す図。 第１実施形態による教師データ候補取得処理のフローチャート。 第１実施形態による高精細動画生成処理のフローチャート。 第１実施形態による学習／推論工程を説明する模式図。 第２実施形態における入力動画のフレーム構成の一例を示す図。 第２実施形態による教師データ候補取得処理のフローチャート。 第３実施形態による入力動画のフレーム構成の一例を示す図。 第３実施形態による教師データ候補取得処理のフローチャート。 第５実施形態による動画のフレーム構成の一例を示す図。 第５実施形態による画像処理装置の機能構成を説明する図。 第５実施形態における高精細動画生成処理のフローチャート。 第６実施形態、第７実施形態、第８実施形態、および第９実施形態における高精細動画生成処理のフローチャート。 第６実施形態における学習／推論処理の一例を示す図 第８実施形態における高精細動画生成処理のフローチャート。 第９実施形態による教師データの領域選択の一例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１実施形態＞
（画像処理装置の概要説明）
第１実施形態の画像処理装置は、同一撮像装置で同時に撮影された二つの動画Ａと動画Ｂを入力とする。動画Ａの解像度ＸＡ及びフレームレートＦＡと、動画Ｂの解像度ＸＢ及びフレームレートＦＢの関係は、「ＸＡ＞ＸＢかつＦＡ＜ＦＢ」となっている。画像処理装置は、動画Ａおよび動画Ｂのフレームを用いて学習モデルを生成し、生成した学習モデルを用いた推論によって動画Ｂから解像度ＸＡ及びフレームレートＦＢの動画Ｃを生成する機能（高精細動画生成機能）を有する。

（画像処理装置の構成の説明）
図１は、第１実施形態による画像処理装置１００のハードウェア構成例を示すブロック図である。制御部１０１はＣＰＵなどの演算装置であり、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３の作業領域に展開し実行することにより各種機能を実現する。制御部１０１は、例えば、図２により後述される解析部２１１および復号動画生成部２１２、図４により後述される候補取得部４１３、教師データ抽出部４１４の各機能ブロックとして機能し得る。ＲＯＭ１０２は、制御部１０１によって実行される制御プログラムを格納する。ＲＡＭ１０３は、制御部１０１がプログラムを実行するためのワークメモリや、各種データの一時格納領域などのために使用される。

復号部１０４は、Moving Picture Experts Group（以下ＭＰＥＧと省略）が定める符号化形式によって圧縮された動画または画像データを非圧縮データに復号する。学習推論部１０５は、教師データを入力して学習モデルを生成／更新する機能ブロック（図４により後述される学習部４５１）を有する。また、学習推論部１０５は、学習によって生成された学習モデルを用いて入力画像を解析し、高周波成分を推論することにより、当該入力画像の高精細画像を生成する機能ブロック（図４により後述される推論部４５２）を有する。本実施形態では、学習モデルとして、畳み込みニューラルネットワーク（Convolutional Neural Network、以下ＣＮＮと省略）をベースとした超解像処理用ＣＮＮモデルが用いられる。これは、入力画像の線形補間による拡大と、拡大画像に加算する高周波成分の生成および、両者の加算合成を行う。

記録部１０６は、ハードディスクドライブ（ＨＤＤ）やメモリーカード等の、画像処理装置１００に着脱可能に接続された記録媒体と、記録媒体の制御を行う記録媒体制御装置によって構成される。記録媒体制御装置は、制御部１０１からの命令に従い、記録媒体の初期化、データの読み書きのために行われる記録媒体とＲＡＭ１０３の間のデータ転送などを制御する。バス１０７は各機能を繋ぐ情報通信路である。制御部１０１、ＲＯＭ１０２、ＲＡＭ１０３、復号部１０４、学習推論部１０５、記録部１０６が互いに通信可能に接続される。

なお、本実施形態において説明されるハードウェアブロックや、それらにおいて実現される機能ブロックは必ずしも上述した構成である必要はない。例えば、制御部１０１、復号部１０４、学習推論部１０５のうちの２つ以上のブロックが１つのハードウェアにより実現されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックは、ＣＰＵがメモリ上に展開したコンピュータプログラムを実行することにより実現されても良いし、専用のハードウェアにより実現されてもよい。また、各機能ブロックの一部がクラウドサーバ上に存在し、通信によって処理結果のデータを転送する構成でもよい。

（記録媒体に記録されているデータおよび、その復号・展開方法）
図２は、制御部１０１（解析部２１１と復号動画生成部２１２）による圧縮動画データの展開処理を行う機能ブロックを説明する図である。記録部１０６には、高精細動画生成処理の入力データである動画ａおよび動画ｂが格納されている。ここで動画とは時間的に連続した１つ以上の画像データを示す。本実施形態の動画ａおよび動画ｂは、イメージセンサを有する撮像装置により同時に撮影され、ＭＰＥＧ方式で圧縮されたものである。動画ａ、動画ｂは単一のイメージセンサが撮影した画像に各々間引き・縮小処理を加えて生成されてもよいし、同一被写体を異なる解像度・フレームレートのイメージセンサで撮影することで生成されてもよい。以下では、動画ａと動画ｂは、１つの撮像装置が有する１つのイメージセンサによって撮影された１つの画像に対して異なる画像処理を行って得られた２つの画像群であるとする。動画ａ、動画ｂの動画データはそれぞれＭＰＥＧ方式で圧縮されており、撮影時刻情報とともに多重化され、ＭＰ４形式で格納されている。なお、記録部１０６から画像データおよび対応する撮影時刻情報が対で取得できるものであれば、上記以外の形式でも構わない。

解析部２１１は、記録部１０６に記録されている動画データ（本例ではＭＰ４形式のファイル）をパースして、内包される圧縮画像データや、メタデータとして登録される時刻情報の、ファイル内の格納位置を算出する機能を有する。ＭＰ４形式ではＭｏｏｖ部分に各フレームデータおよび撮影時刻情報のファイル内における記録位置を示す位置情報が記録されている。解析部２１１は、記録部１０６から動画ａのＭｏｏｖ部をＲＡＭ１０３に展開してパースし、動画ａにおけるフレーム番号、フレームデータの位置情報および撮影時刻の位置情報を持つテーブルＰａを生成する。また、解析部２１１は、動画ｂのＭｏｏｖ部についても同様にパースし、動画ｂにおけるフレーム番号と、フレームデータの位置情報および撮影時刻の位置情報を持つテーブルＰｂを生成する。テーブルＰａおよびテーブルＰｂはＲＡＭ１０３に保持される。

高精細動画生成処理で使用するためには、動画ａおよび動画ｂを非圧縮形式に変換する処理を行う必要がある。図２に示されるように、制御部１０１の復号動画生成部２１２は、動画ａおよび動画ｂを復号して動画Ａおよび動画Ｂを生成し、記録部１０６に記録する。より具体的には、復号動画生成部２１２が、ＲＡＭ１０３に保持されたテーブルＰａおよびテーブルＰｂを参照し、記録部１０６に保存されている動画ａおよび動画ｂのフレームデータを順次に復号部１０４に入力する。復号動画生成部２１２は、復号部１０４が出力する非圧縮形式のフレームデータを、テーブルＰａおよびテーブルＰｂを参照して取得した撮影時刻情報と多重化して記録部１０６に記録する。以下、動画ａを復号することにより動画Ａが得られ、動画ｂを復号することにより動画Ｂが得られたとする。また、復号動画生成部２１２は、動画Ａにおけるフレーム番号、フレームデータの位置情報、および撮影時刻の位置情報を持つテーブルＰＡを生成し、ＲＡＭ１０３に記録する。同様に、復号動画生成部２１２は、動画Ｂにおけるフレーム番号、フレームデータの位置情報、および撮影時刻の位置情報を持つテーブルＰＢを生成し、ＲＡＭ１０３に記録する。動画Ａおよび動画Ｂのフレーム構成の一例を図３に示す。図３では、動画Ａの総フレーム数をｎ、動画Ｂの総フレーム数をｍとしている。破線で示されるフレームの対（複数対の画像Ａ１とＢ２、Ａ２とＢ５、Ａ３とＢ８など）は同一の撮影時刻情報を有するフレームの対であり、これらフレームの画像が同一タイミングで撮影されていることを表している。

次に本実施形態による、高精細化画像を生成するための処理について説明する。この処理は、大きく「教師データ候補取得処理」と「高精細動画生成処理」の２つに分かれる。

図４は、第１実施形態の画像処理装置１００による、画像処理における機能ブロックの動作を説明する図である。図２で説明したように、動画Ａおよび動画Ｂが記録部１０６に保持され、テーブルＰＡおよびテーブルＰＢがＲＡＭ１０３に保持されている。「教師データ候補取得処理」は候補取得部４１３により、「高精細動画生成処理」は教師データ抽出部４１４、学習部４５１、推論部４５２により行われる。候補取得部４１３は、動画Ａのフレーム群と動画Ｂのフレーム群から学習用の教師データの候補となるフレームの対を教師データ候補として抽出し、候補データベースＤ１を生成する。高解像度化対象および高精細化対象であるフレームＢｙは、画像Ｂのフレーム群から取得される。教師データ抽出部４１４は、フレームＢｙの高周波成分の推論に適した学習モデルを生成するべく、候補データベースＤ１に登録されている教師データ候補からさらに学習に適した教師データを抽出し、教師データベースＤ２を生成する。学習推論部１０５の学習部４５１は、教師データベースＤ２を用いて、フレームＢｙのための学習モデルＭを生成する。推論部４５２は、学習部４５１が生成した学習モデルＭに高解像化対象であるフレームＢｙを入力し、フレームＢｙの高精細化処理を行う。以下、「教師データ候補取得処理」と「高精細動画生成処理」についてより具体的に説明する。

（教師データ候補取得処理）
教師データ候補取得処理では、制御部１０１（候補取得部４１３）により、候補データベースＤ１が生成される。第１実施形態では、候補取得部４１３は、動画Ａおよび動画Ｂのフレームのうち、撮影時刻の一致する動画Ａのフレームおよび動画Ｂのフレームの対を教師データ候補として取得する。具体的には、動画Ａと動画Ｂの共通した撮影時刻を有するフレーム対（図３において破線で示されたフレーム対）の全てが教師データ候補として取得される。候補取得部４１３は、後述の学習処理が行われる前に、どのフレームが教師データとして使用可能であるかを調査し、候補データベースＤ１を構築してその調査結果を登録する。

図５に候補データベースＤ１のデータ構成例を示す。候補データベースＤ１には、動画Ａのフレーム群のうち教師データとして使用できるフレーム群ＴＡと、動画Ｂのうち教師データとして使用できるフレーム群ＴＢの、各動画ファイル内でのフレーム番号が登録される。ここで、撮影時刻が一致するフレームの対（フレーム番号の対）は、候補データベースＤ１内の固有のインデックスＩにより関連付けられて登録される。例えば、図３に示される動画Ａと動画Ｂでは、Ａ１とＢ２、Ａ２とＢ５、Ａ３とＢ８（以降省略）のフレームの対が、同一時刻に撮影されたフレームの組み合わせとなっている。図５に示される候補データベースＤ１は、これらの対をフレーム番号で記録し、固有のインデックスＩを与えた様子を示している。このように、取得された教師データ候補は候補データベースＤ１により管理される。

以上説明した教師データ候補取得処理の詳細を、図６のフローチャートを用いてさらに説明する。Ｓ６０１において、候補取得部４１３は、動画Ａのフレームを１フレーム選択し、選択したフレームに対応する時刻情報をテーブルＰＡから取得する。本実施形態では、記録部１０６に記録されている動画Ａの先頭から順にフレームが選択される。より具体的には、候補取得部４１３が記録部１０６に記録された動画Ａの先頭から順に１フレームを選択する。以下、選択されたフレームをフレームＡｘと記述する。候補取得部４１３は、フレームＡｘに対応する時刻情報を、ＲＡＭ１０３に記録されたテーブルＰＡを参照することにより、記録部１０６から読み出し、ＲＡＭ１０３に転送する。

Ｓ６０２において、候補取得部４１３は、Ｓ６０１で読み出したフレームＡｘの時刻情報と動画Ｂの各フレームの時刻情報を比較する。具体的には、候補取得部４１３がテーブルＰＢに記録されている撮影時刻の位置情報を参照して動画Ｂの各フレームの撮影時刻情報を記録部１０６から順次に取得し、フレームＡｘの時刻情報と比較する。Ｓ６０３において、候補取得部４１３は、フレームＡｘの時刻情報と一致する撮影時刻を有する動画Ｂのフレームを取得し、これをフレームＢｘとする。

Ｓ６０４において、候補取得部４１３は、上記のフレームＡｘとフレームＢｘの組み合わせに候補データベースＤ１内で固有のインデックスＩｘを与えて、候補データベースＤ１に登録する。具体的には、候補取得部４１３がフレームＡｘとフレームＢｘの組み合わせに固有のインデックスＩｘを発行し、インテックスＩｘと、フレームＡｘの動画Ａ内でのフレーム番号と、フレームＢｘの動画Ｂ内でのフレーム番号を候補データベースＤ１に登録する。

Ｓ６０５において、制御部１０１は、動画Ａの全フレームに対して上述のＳ６０１～Ｓ６０４の処理が完了したか判定する。制御部１０１は、完了したと判定した場合（Ｓ６０５でＹＥＳ）は処理を終了する。制御部１０１は、完了していないと判定した場合（Ｓ６０５でＮＯ）、処理をＳ６０１に戻し、動画Ａの次のフレームについて上述の処理を実行する。以上の処理により、候補データベースＤ１が生成される。

なお、本実施形態ではＳ６０２において候補データベースＤ１へ登録するフレームの対を撮影時刻の比較により判定したが、これに限られるものではない。例えば、フレームＡｘを解像度ＸＢに縮小し、これと動画Ｂの各フレームの画像との類似度を表す指標を用いて類似性判定を行い、その判定結果を用いて候補データベースＤ１に登録するフレームの対を選出しても良い。この場合、候補取得部４１３は、２つ以上の画像データを比較して類似度を判定する類似度判定機能を有することになる。なお、画像の類似度を表す指標としては、例えば構造的類似性指数（Structural Similarity：ＳＳＩＭ）を用いることができる。また、類似度を示す指標の取得において、フレームＡｘの画像を解像度ＸＢに縮小したが、これに限られるものではない。フレームＡｘの画像は縮小されなくてもよいし、縮小後の解像度がＸＢ以外であってもよい。

（高精細動画生成処理）
次に、制御部１０１（教師データ抽出部４１４）と学習推論部１０５（学習部４５１、推論部４５２）が行う高精細動画生成処理について説明する。まず図４を参照して高精細動画生成処理の概要を説明する。教師データ抽出部４１４が、「推論対象フレームＢｙのための学習モデル」の学習に適した教師データを候補データベースＤ１から選択し、教師データベースＤ２（図４）を生成する（詳細は図７のＳ７０２～Ｓ７０３の参照により後述する）。学習部４５１は、抽出された教師データを用いて学習モデルを生成する（Ｓ７０４）。そして、推論部４５２が、学習モデルを用いて推論対象フレームＢｙの高周波成分を推論して高精細化処理（Ｓ７０５）を行い、推論対象フレームＢｙの高精細化されたフレーム（画像）Ｃｙを得る。なお、高精細動画生成処理の開始前に、制御部１０１は記録部１０６上に動画Ｃを生成しておく。高精細動画の生成開始時点では、動画Ｃはフレームデータを持たず、空の状態である。推論部４５２は、生成されたフレームＣｙを順次に動画Ｃに記録していく。

以下、図７のフローチャートを参照して、上述した高精細動画の生成処理をより具体的に説明する。Ｓ７０１において、教師データ抽出部４１４は、動画Ｂから、高精細化対象フレームとしての一つのフレームを読み出す。本実施形態では、教師データ抽出部４１４は、記録部１０６に記録されている動画Ｂの先頭から順番に１フレームずつを読み出す。以下、Ｓ７０１で読み出されたフレームをフレームＢｙとする。より具体的には、教師データ抽出部４１４は、テーブルＰＢを参照してフレームＢｙのフレームデータと撮影時刻情報を記録部１０６から読み出し、ＲＡＭ１０３に転送する。

Ｓ７０２において、教師データ抽出部４１４は、候補データベースＤ１に登録されている教師データ候補ＴＢの中から、フレームＢｙとの撮影時刻の差分が予めシステムで定められた閾値より短いフレームを抽出し、これを教師データベースＤ２に登録する。閾値としては、例えば、動画Ａの１フレーム表示期間（フレームレートＸＡによる１フレームの表示期間）を用いることができる。教師データベースＤ２の構造は候補データベースＤ１（図５）と同様である。具体的には、まず、教師データ抽出部４１４は、テーブルＰＢの位置情報を参照して候補データベースＤ１に登録されたフレーム群ＴＢのそれぞれの時刻情報を取得する。教師データ抽出部４１４は、取得した時刻情報のそれぞれとフレームＢｙの撮影時刻とを比較し、両者の差分が閾値より短いフレームをフレーム群ＴＢから抽出し、ＲＡＭ１０３上の教師データベースＤ２に登録する。以下、上記処理により教師データベースＤ２に登録された動画Ｂのフレーム群をＵＢとする。なお、本実施形態では、教師データベースＤ２を構築する際に、フレームＢｙとの撮影時刻が閾値より短いフレーム群を候補データベースＤ１から抽出したが、これに限られるものではない。フレームＢｙとの類似度を表す指標を用いてフレーム群ＵＢが抽出されてもよい。例えば、教師データ抽出部４１４は、ＳＳＩＭを用いてフレームＢｙとの類似度指標が予めシステムに定められた閾値より高いフレーム群をフレーム群ＴＢから抽出してフレーム群ＵＢとして登録するようにしても良い。

Ｓ７０３において、教師データ抽出部４１４は、候補データベースＤ１においてフレーム群ＵＢの各フレームと対となっているフレーム群ＴＡのフレームを教師データベースＤ２に登録する。具体的には、教師データ抽出部４１４は、ＲＡＭ１０３上の候補データベースＤ１を参照し、フレーム群ＵＢの各フレームとインデックスＩで関連づいているフレーム群ＴＡのフレームを教師データベースＤ２に登録する。このとき、関連付けられた２つのフレームの組み合わせは変更せず、各組み合わせに教師データベースＤ２内で固有のインデックスＪを付与する。以下、教師データベースＤ２に登録された動画Ａのフレーム群をＵＡとする。

Ｓ７０４において、学習部４５１は、教師データベースＤ２に登録された教師データ（フレーム群ＵＡおよびフレーム群ＵＢ）を用いて学習を行い、学習モデルＭを生成する。

図８は、学習部４５１による学習モデル生成機能を模式的に示した図である。学習モデル生成機能は学習工程および推論工程を有し、さらに推論工程はＣＮＮを含むフィルタを用いた特徴抽出工程と再構成工程とに分類される。まず特徴抽出工程において、学習部４５１は、フレーム群ＵＢからの一枚の画像をＣＮＮに入力し（画像Ｅとする）、ＣＮＮによって多数の特徴マップを生成する。次に再構成工程において、学習部４５１は、全ての特徴マップを逆畳み込みによってアップサンプリングして予想高周波成分を生成する。再構成工程では、さらに、学習部４５１が、画像Ｅをバイキュービック法などにより拡大した画像Ｅ’と予想高周波成分とを加算することにより画像の再構成を行い、予測高精細画像Ｇを生成する。学習工程において、学習部４５１は、上述の推論工程で生成された予測高精細画像Ｇを、フレーム群ＵＡのうちの画像Ｅと対応する画像Ｈと比較し、それらの差分を用いた誤差逆伝搬法により学習モデルＭの微小なチューニングを行う。学習部４５１は、これらの処理を同一の画像Ｅに対して所定回数繰り返すことで、推論精度を向上させる。以上の一連の処理をフレーム群ＵＢの各画像に対して行うことで、フレーム群ＵＢの推論処理に適した学習モデルＭが構築される。

以上のように、学習部４５１は、教師データベースＤ２およびテーブルＰＡとテーブルＰＢを参照して、教師データとして登録されたフレーム対のフレームデータを記録部１０６から読み出し、上述した学習モデル生成機能に入力する。学習部４５１は、学習モデル生成機能により生成された学習モデルＭをＲＡＭ１０３に保存する。

Ｓ７０５において、推論部４５２は、Ｓ７０４で生成された学習モデルＭを用いた推論により、フレームＢｙから高精細フレームＣｙを生成する。具体的には、まず、推論部４５２がＲＡＭ１０３に保存された学習モデルＭを読み出す。次に、推論部４５２は、Ｓ７０１でＲＡＭ１０３に保持されたフレームＢｙのフレームデータ（画像）を学習モデルＭのＣＮＮに入力し、「フレームＢｙの画像を解像度ＸＡに拡大した際に期待される高周波成分」を生成する。推論部４５２は、生成された高周波成分を「フレームＢｙの画像を解像度ＸＡに線形拡大した画像」に加算することで解像度ＸＡの高精細フレームＣｙの画像を生成し、これをＲＡＭ１０３に記録する。なお、以上の、フレームＢｙについて行われる高周波成分の推論から高精細画像の生成までの処理は、図８を用いて上述した推論工程と同様の処理である。推論部４５２は、ＲＡＭ１０３に記録された高精細フレームＣｙのフレームデータを、記録部１０６上の高精細動画Ｃの末尾に追記する。また、Ｂｙの撮影時刻情報を複製し、高精細フレームＣｙの撮影時刻として多重化して動画Ｃに記録する。

Ｓ７０６において、制御部１０１は、動画Ｂの全フレームに対して上記の処理が完了しているか否かを判定する。制御部１０１は、完了していないと判定した場合（Ｓ７０６でＮＯ）、処理をＳ７０１に進め、動画Ｂの次のフレームがフレームＢｙとして教師データ抽出部４１４により選択され、上記の処理が繰り返される。一方、制御部１０１は、完了していると判定した場合（Ｓ７０６でＹＥＳ）、本処理を終了する。以上説明したように、高精細動画生成処理が終了すると、記録部１０６には、解像度ＸＡ、フレームレートＦＢの高精細動画Ｃが非圧縮形式で記録されている。

なお、上記では、それぞれの機能ブロックが制御部１０１のみ、或いは学習推論部１０５のみにより実現されるように説明したが、これに限られるものではない。例えば、各機能ブロックは、制御部１０１および学習推論部１０５の協働により実現されてもよい。例えば、推論部４５２の機能を制御部１０１と学習推論部１０５により実現するようにして、高精細フレームＣｙと撮影時刻を記録部１０６上の動画Ｃに記録する処理は制御部１０１により実行されるようにしてもよい。

また、本実施形態では動画全体の学習処理および高精細動画生成処理を行う前に教師データ候補取得処理を行ったが、高精細動画生成処理の実行と並行して実行しても良い。また、本実施形態ではＳ７０４で推論対象フレーム毎に学習モデルＭを新規作成し前回生成分を破棄していたがこれに限られるものではない。例えば、予め外部で学習した学習モデルＭ’をロードして、ロードした学習モデルＭ’に対してＳ７０４でフレーム群ＵＡ及びフレーム群ＵＢを用いた追加学習が行われるようにしても良い。

以上のように、第１実施形態によれば、同じ撮影期間において撮影された画像群のうち、高精細化対象の画像と近い画像群により学習された学習モデルＭが用いられるので、高い精度で画像を高精細化することができる。また、２つの画像群のうちの同一時刻の画像の対が教師データとして用いられるので、より高精度な学習が可能である。

＜第２実施形態＞
（複数カメラによる同時記録の場合）
第１実施形態の教師データ候補の取得処理では、撮影時刻が一致する動画Ａのフレームと動画Ｂのフレームの組み合わせを候補データベースＤ１に登録した。動画Ａおよび動画Ｂが、一つの撮像装置の同一のイメージセンサを用いて同時に撮影された動画から取得される場合は、図３に例示されるように、動画Ａと動画Ｂから撮影時刻が同じフレームを取得することができる。しかし、この方法では、動画Ａおよび動画Ｂが複数のイメージセンサによって同じ撮影期間に撮影された動画である場合に、教師データ候補の抽出が適切に行われなくなる可能性がある。これは、図９に例示されるように、動画Ａのフレームの撮影時刻と一致する撮影時刻のフレームが動画Ｂに必ずしも存在しないためである。なお動画Ａと動画Ｂを複数のイメージセンサにより撮影する構成としては、複数のイメージセンサを有する撮像装置を用いて撮影を行う構成、１つ以上のイメージセンサを有する複数の撮像装置を用いて撮影を行う構成などがあげられる。第２実施形態の教師データ候補の取得処理では、動画Ａのフレームと動画Ｂのフレームの撮影時刻が一致しなくとも、時刻の差分が予め定められた閾値より短いフレームの組み合わせを候補データベースＤ１に登録することで、上記の課題を解決する。

第２実施形態では、画像処理装置１００の構成、高精細画像生成処理は第１実施形態と同様であり、教師データ候補の取得処理の一部が異なる。図１０は第２実施形態による教師データ候補の取得処理を説明するフローチャートである。以下、第１実施形態の教師データ候補の取得処理（図６）と異なる部分について主に説明する。

Ｓ１００１～Ｓ１００２の処理はそれぞれ第１実施形態（図６）のＳ６０１～Ｓ６０２と同様である。Ｓ１００３において、候補取得部４１３は、動画Ｂのフレームのうち、その撮影時刻と動画Ａの１つのフレームＡｘの撮影時刻との差が予め定められた閾値より短いフレームをフレームＢｘとして取得し、ＲＡＭ１０３上の候補データベースＤ１に登録する。なお、そのような閾値としては、例えば、動画ＢのフレームレートＸＢによる１フレーム当たりの表示期間があげられる。以降のＳ１００４～Ｓ１００５の処理は、それぞれ第１実施形態（図６）のＳ６０４～Ｓ６０５と同様である。

以上のように、第２実施形態によれば、動画Ａと動画Ｂが複数のイメージセンサにより取得されたものであっても、適切に教師データ候補を抽出することが可能となる。

＜第３実施形態＞
（別時刻撮りの場合）
第１実施形態と第２実施形態では、動画Ａと動画Ｂは少なくとも同じ撮影期間で撮影されたものであった。したがって、第１実施形態および第２実施形態の教師データ候補取得処理では、図１１のように、動画Ａおよび動画Ｂが同一または複数の撮像装置によって異なる時刻（撮影期間が重複しない）に撮影された場合に、教師データ候補を取得することができない。第３実施形態では、図１１に示されるような動画Ａ、動画Ｂについて、適切に教師データ候補を取得するための教師データ候補の取得処理を説明する。

第３実施形態における教師データ候補の取得処理では、動画Ａのフレームと動画Ｂのフレームのフレーム類似度を表す指標が算出され、予めシステムに定められた閾値以上の指標を有するフレームの対が候補データベースＤ１に登録される。なお、フレーム類似度を表す指標としては、上述したように、例えばＳＳＩＭを用いることができる。なお、類似性の判定では、動画Ａのフレームの画像を解像度ＸＢに縮小し、これと動画Ｂの各フレームの画像とを用いて類似度を表す指標を計算する。但し、この際に、動画Ａのフレームの画像は縮小されなくてもよいし、縮小後の解像度はＸＢ以外であってもよい。

図１２は、第３実施形態による教師データ候補の取得処理を説明するフローチャートである。以下、主として第１実施形態における教師データ候補の取得処理（図６）と異なる部分について図１２のフローチャートを参照して説明する。

Ｓ１２０１において、候補取得部４１３は、動画Ａのフレームを１フレーム選択し、選択したフレームのフレームデータを読み込む。候補取得部４１３は、記録部１０６に記録されている動画Ａの先頭から順に１フレームを選択し（以下、選択したフレームをフレームＡｘと記述）、フレームＡｘのフレームデータを、ＲＡＭ１０３に記録されたテーブルＰＡを参照して記録部１０６からＲＡＭ１０３に転送する。

Ｓ１２０２において、候補取得部４１３は、Ｓ１２０１で読み出したフレームＡｘと動画Ｂの各フレームとの類似度を算出する。より具体的には、候補取得部４１３がテーブルＰＢの（フレームデータに関する）位置情報を参照して動画Ｂの各フレームのフレームデータを記録部１０６からＲＡＭ１０３に順次取得する。そして、候補取得部４１３が、類似度指標算出機能（本実施形態ではＳＳＩＭ）によってフレームＡｘと各フレームの類似度指標を算出し、ＲＡＭ１０３に記録する。Ｓ１２０３において、候補取得部４１３は、Ｓ１２０２で算出された類似度指標の中でもっとも数値が高い動画ＢのフレームをフレームＢｘとして取得する。以下、Ｓ１２０４～Ｓ１２０５の処理は、第１実施形態（図６）のＳ６０４～Ｓ６０５と同様である。

以上のように、第３実施形態によれば、２つの画像群（動画Ａと動画Ｂ）の撮影期間が重複していなくても適切な教師データ候補を取得することができる。

＜第４実施形態＞
（画像類似性を加味した、学習性能の向上）
第４実施形態では、第１実施形態～第３実施形態の学習処理において、画像類似性を加味した学習モデルＭの性能向上について説明する。第１実施形態で説明したように、図７のＳ７０１において選択されたフレームＢｙに対して適切な教師データが抽出され、Ｓ７０４においてそれら教師データを用いて学習モデルＭが生成／更新される。この学習モデルＭの生成／更新の際には、図８に示されるように、誤差逆伝搬を用いたネットワークパラメータのチューニングが行われる。第４実施形態では、学習に用いているフレーム（画像Ｅ）と高解像度化および高精細化の対象であるフレームＢｙの属性（例えば撮影時刻）またはそれらフレームの画像に基づいて、誤差逆伝搬によるチューニングの強度を制御する。より具体的には、学習部４５１は、学習工程において、順次に入力されるフレーム群ＵＢの各フレームとフレームＢｙの類似性が強いものほど誤差逆伝搬によるネットワークパラメータ更新への影響を強くし、弱いものは弱くするように係数を決定する。ここで、画像類似性は、簡易的にフレームＢｙと入力画像Ｅとの時刻差分に基づいて求められても良いし、ＳＳＩＭ等を用いた両フレームの画像の比較により求められても良い。例えば前者（時刻差分を用いた方法）を用いる場合、以下のように、時刻差分が閾値より小さければチューニングの強度に係数１を、時刻差分が閾値以上であればチューニング強度に係数０．５を乗じるような構成があげられる。

if(ＡＢＳ（ＢｙとＥの時刻差分)＜閾値）｛係数＝１｝else {係数＝０．５｝
他方、後者（類似性を用いた方法）を用いる場合は、以下に示されるように、構造的類似性指数（ＳＳＩＭ）をチューニング強度の係数として用いる構成があげられる。

係数＝ＳＳＩＭ（ＢｙとＥ） [０≦ ＳＳＩＭ（ｘ）≦ 1]
なお、影響力の強弱の付け方としては、例えば、誤差逆伝搬におけるネットワークパラメータの更新率に上述の係数を乗じる方法、パラメータ更新率に係数を掛けず入力画像Ｅに対する学習ループ回数に係数を乗じる方法、などがあげられる。

＜第５実施形態＞
第１実施形態～第３実施形態では、動画Ａからのフレームと動画Ｂのからのフレームの対が教師データ候補として抽出されて候補データベースＤ１に登録される構成を説明した。第５実施形態では、動画Ａを動画Ｂの解像度ＸＢに変換した動画Ａ’を生成し、候補取得部４１３は動画Ａと動画Ａ’を用いて教師データ候補を取得する。すなわち、第５実施形態の候補取得部４１３は、動画ＡのフレームＡｘと同一フレーム番号のフレーム（Ａｘ’とする）を動画Ａ’から抽出し、フレームＡｘとフレームＡＸ’の対を教師データ候補として候補データベースＤ１に登録する。以下、第５実施形態について詳細に説明する。

（画像処理装置１００の構成の説明）
画像処理装置１００のハードウェア構成、機能構成は第１実施形態（図１）と同様である。但し、第５実施形態の制御部１０１は、バイキュービックにより画像の解像度を縮小変換するための解像度変換機能も有する。この解像度変換機能は、ＲＡＭ１０３に記録されている画像データに対して解像度の縮小処理を行う際、補間が必要な画素の画素値を、その周辺画素を参照することにより算出する。

（記録部１０６に記録されているデータおよび、その復号・展開方法）
第１実施形態では、記録部１０６に格納されている動画ａおよび動画ｂを非圧縮形式に変換し、動画ａを復号したものを動画Ａ、動画ｂを復号したものを動画Ｂとして記録部１０６に記録した。第５実施形態ではさらに、動画Ａを動画Ｂの解像度ＸＢに変換した動画Ａ’が生成される。より具体的には、制御部１０１がＲＡＭ１０３に記録されたテーブルＰＡを参照して、記録部１０６に保存されている動画Ａのフレーム（以下、フレームＫ）のフレームデータを順次に制御部１０１が持つ解像度変換機能に入力する。すると、解像度変換機能により、解像度ＸＢのフレームデータのフレーム（以下、フレームＫ’）が出力される。制御部１０１は、テーブルＰＡを参照して記録部１０６から読み出されたフレームＫの撮影時刻情報と多重化して、動画Ａ’のフレームとして記録部１０６に記録する。また、動画Ａ’の各フレームのフレーム番号、フレームデータの位置情報および撮影時刻データの位置情報を保持するテーブルＰＡ’をＲＡＭ１０３に記録する。

これら動画Ａ、動画Ｂおよび動画Ａ’の一例を図１３に示す。動画Ａの各フレームの画像（Ａ１～Ａｎ）に対して、解像度ＸＢに縮小された画像（Ａ１’～Ａｎ’）が生成され、動画Ａ’として記録部１０６に記録される。なお、上記の例では、動画Ａの解像度をＸＢに低下させているが、これに限られるものではない。動画Ａ’は、動画Ａの解像度よりも低い解像度を有するように変換された画像であればよい。但し、高精細化対象の画像と同じ解像度に変換された画像を用いることで、高精細化対象の画像により適した学習モデルを構築することができる。

（教師データ候補の取得処理）
図１４に、第５実施形態の画像処理装置１００による、画像処理における機能ブロックの構成および動作を示す。候補取得部４１３は、動画Ａおよび動画Ａ’の各フレームに対して、同一フレーム番号を持つフレームの組み合わせを取得し、候補データベースＤ１に登録する。より具体的には、候補取得部４１３は、テーブルＰＡに記載された動画Ａの各フレームについてフレーム番号が一致しているフレームを、テーブルＰＡ’を参照することにより動画Ａ’から探索する。候補取得部４１３は、フレーム番号が同じである動画Ａと動画Ａ’のフレームの組合せに対して固有のインデックスＩを付与して候補データベースＤ１に登録する。候補データベースＤ１に登録された動画Ａのフレーム群をＴＡ、動画Ａ’のフレーム群をＴＡ’とする。

（高精細動画生成処理）
以下、主に第１実施形態の処理（図７）と異なる部分を、図１５のフローチャートを参照して説明する。

Ｓ１５０１の処理は、第１実施形態（図７）のＳ７０１と同様である。Ｓ１５０２において、教師データ抽出部４１４は、候補データベースＤ１に登録されている教師データ候補のフレーム群ＴＡ’から、フレームＢｙとの撮影時刻の差分が予めシステムで定められた閾値より短いフレームを抽出する。閾値としては、例えば、動画Ａの１フレーム表示期間（フレームレートＸＡによる１フレームの表示期間）を用いることができる。教師データ抽出部４１４は、抽出したフレームを教師データベースＤ２に登録する。

具体的には、まず、教師データ抽出部４１４がテーブルＰＡ’を参照してフレーム群ＴＡ’に登録されたフレームの時刻情報を取得する。教師データ抽出部４１４は、取得したフレーム群ＴＡ’の時刻情報のうち、フレームＢｙとの時刻の差分が閾値より短いフレームを、ＲＡＭ１０３上の教師データベースＤ２に登録する。以下、教師データベースＤ２に登録された動画Ａ’のフレーム群をフレーム群ＵＡ’とする。なお、本実施形態では、フレームＢｙの撮影時刻との差が所定の閾値より短いフレームを候補データベースＤ１から抽出するが、これに限られるものではない。例えば、フレーム群ＴＡ’の各フレームの画像とフレームＢｙの画像の類似度を表す指標（例えばＳＳＩＭ）が予めシステムに定められた閾値より高いフレームをフレーム群ＴＡ’から抽出して教師データベースＤ２に登録するようにしても良い。

Ｓ１５０３において、教師データ抽出部４１４は、フレーム群ＵＡ’の各フレームとインデックスＩで関連付いているフレーム群ＴＡのフレームをＤ２に登録する。具体的には、教師データ抽出部４１４は、ＲＡＭ１０３上の候補データベースＤ１を参照し、フレーム群ＵＡ’の各フレームとインデックスＩで関連づいているフレーム群ＴＡのフレームを教師データベースＤ２に登録する。この時、関連付けられた組み合わせ（フレームの対）は変更せず、各組み合わせに教師データベースＤ２内で固有のインデックスＪが付与される。以下、教師データベースＤ２に登録された動画Ａのフレーム群をフレーム群ＵＡとする。

Ｓ１５０４において、学習部４５１は、教師データベースＤ２を参照することによりフレーム群ＵＡとフレーム群ＵＡ’を用いた学習を行い、学習モデルＭを生成する。具体的には、まず、学習部４５１が、教師データベースＤ２およびテーブルＰＡとＰＡ’を参照して、フレームデータを記録部１０６から読み出し、学習モデル生成機能に入力する。学習部４５１は、学習モデル生成機能によって読み出したフレームデータを用いた学習を行い、学習結果として生成した学習モデルＭをＲＡＭ１０３に保存する。学習モデルの学習の詳細は、図８を参照して上述したとおりである。以降のＳ１５０５およびＳ１５０６の処理は、第１実施形態（図７のＳ７０５およびＳ７０６の処理）と同様である。

以上のように、上記の各実施形態によれば、高精細化対象の画像に基づいて、学習モデルの学習に用いられる教師データが選択される。そのため、選択された教師データを用いて学習された学習モデルは、当該高精細化対象の画像の高周波成分をより高精度に推論することができ、高精度な高精細化画像を得ることができる。すなわち、動画を高精細化する動画超解像技術の精度向上が実現される。

なお、上記実施形態では、教師データ候補の取得において、動画Ａから選択された画像と対をなす画像は、撮影時間または画像の類似性に基づいて動画Ｂから選択された画像、或いは、選択された画像を低解像度化した画像であるがこれに限られるものではない。教師データ候補として用いられる動画Ａから選択された画像と関連した画像は、当該選択された画像よりも解像度が低く、当該選択された画像に関連した画像であればよい。動画Ａから選択された画像と関連した画像であるか否かは、例えば、撮影時の気温、撮影場所、撮影方向などの共通性に基づいて、判断されてもよい。

また、上記実施形態では、候補データベースＤ１を生成してから教師データベースＤ２を生成するという２段階の処理を説明したが、これに限られるものではない。例えば、教師データ抽出部４１４が、フレームＢｙに基づいて動画Ａから教師データの対となり得るフレームを抽出し、抽出されたフレームと当該抽出されたフレームに関連するフレームを対として用いて教師データを得るようにしてもよい。但し、動画Ｂの複数の画像を順次に高精細化していく場合には、上記各実施形態のように候補データベースＤ１を作成しておき、高精細化対象の画像に応じて適切な教師データを候補データベースＤ１から抽出して用いるようにした方が効率的である。

＜第６実施形態＞
（画像類似性を加味した、学習性能及び推論性能の向上）
第６実施形態では、第１実施形態の学習処理及び推論処理における画像類似性を加味した学習性能及び推論性能の向上について説明する。

第１実施形態では、図７のＳ７０１において選択されたフレームＢｙに対して適切な教師データが抽出され、Ｓ７０４においてそれら教師データを用いて学習モデルＭが生成、または更新され、Ｓ７０５において学習モデルＭを用いて推論し高精細フレームＣｙを生成する。しかしこの方法では、フレームＢｙに人や建物、草木、海など様々なテクスチャが含まれている場合に、一回に学習する情報量が多すぎるために学習性能が低下してしまう可能性がある。これは、１フレーム内に様々なパターンの高周波成分が含まれているためである。そこで、第６実施形態の学習処理では、１フレームから一部の領域を切り出し、その局所領域毎の学習モデルを生成すること、および、局所領域毎の学習モデルを用いて推論すること、および、局所領域毎に高精細化された画像を生成し結合することで、上記の課題を解決する。

第６実施形態では、画像処理装置１００のハードウェア構成、機能構成は第１実施形態（図１）と同様である。抽出される教師データは、第１実施形態から第５実施形態のいずれによるものでも良い。学習処理以降が異なるため、図１６のフローチャートと図１７の学習推論処理の一例を用いて具体的に説明する。

Ｓ１６０１からＳ１６０３の処理は、第１実施形態（図７）のＳ７０１からＳ７０３と同様である。

Ｓ１６０４において、推論部４５２は、推論対象フレームＢｙを局所領域に切り出し（局所領域決定）、ＲＡＭ１０３に保持する。以下、切り出した局所領域（局所画像）を局所領域Ｂｙｎ１７０１とする。

次にＳ１６０５において、学習部４５１は、教師データベースＤ２に登録された教師データ（フレーム群ＵＡおよびフレーム群ＵＢ）から、推論対象フレームＢｙの局所領域Ｂｙｎの同座標位置に相当する局所領域ＵＡｎ１７０２およびＵＢｎ１７０３を選択し（局所領域選択）、ＲＡＭ１０３に保持する。本実施形態では教師データの局所領域は一対としているが、教師データは複数の局所領域対であってもよい。なおこの局所領域群は、例えば数十画素四方の均等なサイズの矩形領域であるが、これに限られるものではない。

なお、ここで述べた、推論対象である局所領域Ｂｙｎ１７０１の「同座標位置に相当する局所領域」とは、フレーム群ＵＢであれば、推論対象フレームＢｙの局所領域と全く同じ座標によって示される領域である。つまり、推論対象フレームＢｙの局所領域座標が（ｓｘ、ｓｙ）であれば、ＵＢｎ１７０３の局所領域座標も（ｓｘ、ｓｙ）である。一方、フレーム群ＵＡでは、動画Ａの解像度ＸＡと動画Ｂの解像度ＸＢの比率を考慮する。例えば、ＸＡ：ＸＢが、幅、高さともに２：１の関係の場合、推論対象フレームＢｙの局所領域座標が（ｓｘ、ｓｙ）であれば、ＵＡｎ１７０２の局所領域座標は（ｓｘ＊２、ｓｙ＊２）である。以降「同座標位置に相当する局所領域」という記載は上記を示す。

Ｓ１６０６において、学習部４５１は、局所領域ＵＡｎ１７０２と局所領域ＵＢｎ１７０３を用いて、図８に示す学習モデル生成機能を用いて学習モデルＭｎ１７０４（局所領域学習モデル）を生成する。学習部４５１は、教師データとして登録されたフレーム対のフレームデータを記録部１０６から読み出し、局所領域毎に学習モデル生成機能に入力し、生成された学習モデルＭｎ１７０４をＲＡＭ１０３に保存する。

Ｓ１６０７において、推論部４５２は、局所領域Ｂｙｎ１７０１に対して、Ｓ１６０６で生成された学習モデルＭｎ１７０４を用いて推論を行い、高精細フレームの局所領域Ｃｙｎ１７０５（局所高周波成分）を生成する。まず推論部４５２は、Ｓ１６０６でＲＡＭ１０３に保存された学習モデルＭｎ１７０４を読み出す。次に推論部４５２は、Ｓ１６０４でＲＡＭ１０３に保持された局所領域Ｂｙｎ１７０１を学習モデルＭｎ１７０４のＣＮＮに入力し、「局所領域Ｂｙｎ１７０１を局所領域ＵＡｎ１７０２に拡大した際に期待される高周波成分」を生成する。推論部４５２は、生成された高周波成分を「局所領域Ｂｙｎ１７０１の画像を局所領域ＵＡｎ１７０２に線形拡大した画像」に加算することで局所領域Ｃｙｎ１７０５を生成し、これをＲＡＭ１０３に記録する。なお、局所領域Ｂｙｎ１７０１について行われる高周波成分の推論から高精細画像の生成までの処理は、図８に示す推論工程と同様の処理である。

次にＳ１６０８において、推論部４５２は、ＲＡＭ１０３に記録した高精細フレームＣｙ１７０６の局所領域Ｃｙｎ１７０５をフレームの座標位置情報に基づき結合し、高精細フレームＣｙ１７０６を生成し、ＲＡＭ１０３に保持する。なお、図１７中の破線で示す１７０５は局所領域Ｃｙｎ、実線で示す１７０６は高精細フレームＣｙである。

Ｓ１６０９において、制御部１０１は、フレームＢｙの全局所領域に対して上記処理が完了しているか否かを判定する。制御部１０１は、完了していないと判定した場合（Ｓ１６０９でＮＯ）、処理をＳ１６０５に進め、フレームＢｙの次の局所領域に対して上記処理を繰り返す。一方、制御部１０１は、完了していると判定した場合（Ｓ１６０９でＹＥＳ）、処理をＳ１６１０に進める。

Ｓ１６１０において、推論部４５２は、ＲＡＭ１０３に記録された高精細フレームＣｙ１７０６のフレームデータを、記録部１０６上の高精細画像Ｃの末尾に追記する。また、Ｂｙの撮影時刻情報を複製し、高精細フレームＣｙ１７０６の撮影時刻として多重化して動画Ｃに記録する。

Ｓ１６１１において、制御部１０１は、動画Ｂの全フレームに対して上記処理が完了しているか否かを判定する。制御部１０１は、完了していないと判定した場合（Ｓ１６１１でＮＯ）、処理をＳ１６０１に進め、動画Ｂの次のフレームをＢｙとして、上記処理を繰り返す。一方、制御部１０１は、完了していると判定した場合（Ｓ１６１１でＹＥＳ）、本処理を終了する。以上のように高精細動画生成処理が終了すると、記録部１０６には、解像度ＸＡ、フレームレートＦＢの高精細動画Ｃが非圧縮形式で記録されている。

以上のように、第６実施形態によれば、様々なテクスチャが含まれ情報量が多い高精細化対象の画像において、局所領域毎に学習することにより一回に学習する情報量を絞ることがきるため、より高精度な学習が可能となり、より高精細な画像を生成することが可能となる。

＜第７実施形態＞
（推論対象領域と類似度の高い領域を学習に用いることによる超解像性能の向上）
第７実施形態では、第６実施形態における局所領域ごとの学習処理を変更し、超解像性能を向上させる例について説明する。

第６実施形態の方法では、推論対象とは異なるフレーム内から、推論対象領域と同位置にある領域を学習に用いて学習モデルを生成している。しかしこの方法では、被写体の動きが激しい場合などは推論領域と教師データで写っているものが異なるため、超解像性能が低下するという課題がある。

そこで、第７実施形態の学習処理では、類似度評価手段を備えることで、推論領域と類似度の高い領域を教師データ候補から探索し、高い類似度を得られた領域を学習に用いることで、上記の課題を解決する。

（高精細動画生成処理）
第７実施形態における第６実施形態との差異は、図１６に示される高精細動画生成処理のフローチャートにおけるＳ１６０５の処理のみである。よって、第７実施形態におけるＳ１６０５の処理のみについて説明する。

Ｓ１６０５において、推論部４５２は、推論対象フレームＢｙの一部の領域を切り出し、局所領域としてＲＡＭ１０３に保持する。なおこの局所領域は、例えば数十画素四方の均等なサイズの矩形領域であるが、これに限られるものではない。制御部１０１は、類似度評価手段として備えるＳＳＩＭを用いて、推論対象フレームＢｙの局所領域との類似度が最も高い領域ＵＢｎを教師データベースＤ２に登録された教師データのフレーム群ＵＢから探索し、ＲＡＭ１０３に保持する。学習部４５１は、ＲＡＭ１０３に保持した局所領域ＵＢｎが属するフレームと対になるフレームをフレーム群ＵＡから選択し、その中から局所領域ＵＢｎと相対的に同じ位置にある局所領域ＵＡｎをＲＡＭ１０３に保持する。なお、類似度評価は、ＰＳＮＲ（Peak Signal to Noise Ratio)、ＳＮＲ（Signal to Noise Ratio）やＭＳＥ（Mean Square Error）でも良い。

以上のように、第７実施形態によれば、推論領域と類似度の高い領域を用いて学習を行うため、被写体の動きが激しい動画であっても、より高精細な画像を生成することが可能となる。

＜第８実施形態＞
（推論対象領域と類似度の高い領域を学習に用いることによる超解像性能の向上）
第８実施形態では、第７実施形態が解決を望む第６実施形態における課題の別の解決方法について説明する。なお、第６実施形態における課題とは、推論対象フレームＢｙの局所領域を超解像処理するための学習データを、当該領域と同座標位置に相当する局所領域から選択しているため、被写体の動きが激しい場合などには超解像性能が低下する、という課題である。

第８実施形態では、類似度の高い領域の特定に、推論領域に関する動きベクトルを用いる方法について説明する。ただし、第８実施形態における動画ｂは、ＩＳＯ／ＩＥＣ １４４９６－１０「ＭＰＥＧ－４ Ｐａｒｔ １０： Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」（以下、ＭＰＥＧー４ ＡＶＣと省略する）の形式で、フレーム間予測を用いて圧縮されていることを前提とする。

以下、第８実施形態について、第６実施形態との差分のみについて説明する。

（記録媒体に記録されているデータおよび、その復号・展開方法）
第８実施形態における、解析部２１１の処理では、記録部１０６に記録されている動画データをパースする処理（第１実施形態に記載）に加えて、次の処理を行う。解析部２１１は、動画ｂを格納するＭＰ４ファイルをパースし、ａｖｃＣ ｂｏｘを取得し、その中に含むＳｅｑｕｅｎｃｅ ｐａｒａｍｅｔｅｒ ｓｅｔ（以下、ＳＰＳと省略）およびＰｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ（以下、ＰＰＳと省略）をＲＡＭ１０３に保存する。

（高精細動画生成処理）
第８実施形態と第６実施形態における高精細動画生成処理の差異は、図１６のフローチャートにおけるＳ１６０５とＳ１６０６の処理である。よって、第８実施形態におけるＳ１６０５、Ｓ１６０６の処理について、図１８のフローチャートを用いて説明する。

なお、第６実施形態におけるＳ１６０４において、推論部４５２は、推論対象フレームＢｙの局所領域を、１６画素四方の均等なサイズの矩形領域で切り出しているものとして説明する。

Ｓ１８０１において、制御部１０１は、推論対象フレームＢｙがＩピクチャの場合、Ｓ１８０３に処理を進める。制御部１０１は、推論対象フレームＢｙがＰピクチャ、またはＢピクチャの場合、Ｓ１８０２に処理を進める。

Ｓ１８０２において、制御部１０１は、推論対象フレームＢｙの局所領域から、Ｍａｃｒｏｂｌｏｃｋ ｌａｙｅｒを取得する。さらに、サブマクロブロックを使用する場合は、Ｓｕｂ－ｍａｃｒｏｂｌｏｃｋ ｐｒｅｄｉｃｔｉｏｎを取得する。そうでない場合は、Ｍａｃｒｏｂｌｏｃｋ ｐｒｅｄｉｃｔｉｏｎを取得する。

制御部１０１は、推論対象フレームＢｙの局所領域が属するマクロブロックのＳｕｂ－ｍａｃｒｏｂｌｏｃｋ ｐｒｅｄｉｃｔｉｏｎまたはＭａｃｒｏｂｌｏｃｋ ｐｒｅｄｉｃｔｉｏｎより、当該マクロブロックにおける予測の単位ブロック領域Ｂｙｎｂを導出する。予測の単位ブロック領域Ｂｙｎｂとは、マクロブロック、パーティション分割されたマクロブロックにおけるそれぞれのブロック、サブマクロブロックのそれぞれのブロック、またはパーティション分割されたサブマクロブロックにおけるそれぞれのブロックのいずれかである。

制御部１０１は、ブロック領域Ｂｙｎｂの動きベクトル、被参照フレーム、ｍｂＰａｒｔＩｄｘ、ｓｕｂＭｂＰａｒｄＩｄｘを、ＳＰＳ，ＰＰＳ，Ｍａｃｒｏｂｌｏｃｋ ｐｒｅｄｉｃｔｉｏｎまたはＳｕｂ－ｍａｃｒｏｂｌｏｃｋ ｐｒｅｄｉｃｔｉｏｎより導出する。

ここで、制御部１０１は、ブロック領域Ｂｙｎｂごとに、「ｍｂＰａｒｔＩｄｘ」、「ｓｕｂＭｂＰａｒｄＩｄｘ」、「動きベクトルの有無」、「動きベクトル」、「参照／被参照フレーム」、「参照方向」、の６つの情報を生成し、ＲＡＭ１０３に保持する。当該マクロブロック内のどのブロック領域Ｂｙｎｂであるかを特定する情報である。また、参照方向は、推論対象フレームＢｙの局所領域のマクロブロックから動きベクトルが指す方向を参照方向、その他のフレームにおけるマクロブロックから推論対象フレームＢｙの局所領域を指す方向を被参照方向とする。以降、上述の６つの情報のまとまりを動きベクトル情報と呼ぶ。

制御部１０１は、生成した動きベクトル情報のうちの参照／被参照フレームが、教師データ候補に存在するかを確認し、無い場合は動きベクトルの有無を“無”に動きベクトル情報を更新する。

推論対象フレームがＢピクチャで、動きベクトルを２つ有するブロックの場合、推論対象フレームとの時間的距離が近いほうの被参照フレームを採用する。推論対象フレームとの時間的距離の差がどちらも等しい場合、動きベクトルが示す空間的距離が近い動きベクトルと被参照フレームの情報を採用する。これも等しい場合は、どちらを採用しても良い。

Ｓ１８０３において、制御部１０１は、動きベクトル情報における動きベクトルの有無が“無”であるブロック領域Ｂｙｎｂに対し、ブロック領域Ｂｙｎｂを参照するブロックを、教師データ候補から探索する。なお、ブロック領域Ｂｙｎｂを参照するブロックかを判断するために必要となる動きベクトルと参照フレーム情報の取得方法は、Ｓ１８０２で述べたので省略する。

ブロック領域Ｂｙｎｂを参照するブロックが見つかった場合、当該ブロック領域Ｂｙｎｂの動きベクトル情報を更新する。なお、探索するフレームの範囲は、ブロック領域Ｂｙｎｂを有するフレームの前後３フレーム以内とする。また、探索するマクロブロックの範囲は、ＭＰＥＧー４ ＡＶＣが定めるレベルごとのＭａｘＶｍｖＲ以内とする。ＭａｘＶｍｖＲは動画ｂのＳＰＳより、導出する。なお、探索するフレームの範囲およびマクロブロックの範囲は、この例に限定するものではない。

推論部４５２は、動きベクトル情報における動きベクトルの有無が“有”の各ブロック領域Ｂｙｎｂについて、参照先または参照元の局所領域ＵＢＸｎｂをフレーム群ＵＢより取得し、ＲＡＭ１０３にそれぞれ保持する。推論部４５２は、ＲＡＭ１０３に記録した各ブロック領域Ｂｙｎｂの動きベクトル情報より取得された局所領域ＵＢＸｎｂの同座標位置に相当する局所領域ＵＡＸｎｂをフレーム群ＵＡより取得し、ＲＡＭ１０３にそれぞれ保持する。

Ｓ１８０４において、制御部１０１は、全ブロック領域Ｂｙｎｂにおける動きベクトル情報における動きベクトルの有無が“有”であるかを判定し、”有”である場合はＳ１８０５を実行する。無い場合は、Ｓ１８０７を実行する。

Ｓ１８０５において、推論部４５２は、ＲＡＭ１０３に記録した局所領域ＵＢＸｎｂを、各ブロック領域Ｂｙｎｂの座標位置情報に基づき結合し、結合局所領域ＵＢＸｎを生成し、ＲＡＭ１０３に保持する。

推論部４５２は、ＲＡＭ１０３に記録した局所領域ＵＢＸｎｂの同座標位置に相当する局所領域ＵＡＸｎｂを、各ブロック領域Ｂｙｎｂの座標位置情報に基づき結合し、結合局所領域ＵＡＸｎを生成し、ＲＡＭ１０３に保持する。

学習部４５１は、結合局所領域ＵＡＸｎと結合局所領域ＵＢＸｎを用いて、図８に示す学習モデル生成機能を用いて学習モデルＭｎを生成する。なお、結合局所領域ＵＢＸｎは、対となるフレームの結合局所領域ＵＡＸｎの同座標位置に相当する教師データである。学習部４５１は、これら教師データをＲＡＭ１０３から読み出して学習モデル生成機能に入力し、生成された学習モデルＭｎをＲＡＭ１０３に保存する。

Ｓ１８０６において、推論部４５２は、フレームＢｙの局所領域Ｂｙｎに対して、Ｓ１８０５で生成された学習モデルＭｎを用いて推論を行い、高精細フレームの局所領域Ｃｙｎ１７０５を生成する。

まず、推論部４５２は、Ｓ１８０５でＲＡＭ１０３に保存された学習モデルＭｎを読み出す。次に推論部４５２は、ＲＡＭ１０３に保持されたフレームＢｙの局所領域Ｂｙｎを学習モデルＭｎのＣＮＮに入力し、「推論対象フレームＢｙを解像度ＸＡに拡大した場合に局所領域Ｂｙｎに期待される高周波成分」を生成する。推論部４５２は、生成された高周波成分を「解像度ＸＢと解像度ＸＡの比率に基づき線形拡大した局所領域Ｂｙｎ」に加算することで局所領域Ｃｙｎ１７０５を生成し、これをＲＡＭ１０３に記録する。なお、局所領域Ｂｙｎについて行われる高周波成分の推論から高精細画像の生成までの処理は、図８に示す推論工程と同様の処理である。

Ｓ１８０７において、制御部１０１は、局所領域Ｂｙｎに含まれるブロック領域Ｂｙｎｂごとに動きベクトル情報における動きベクトルの有無が“有”であるか判定し、”有”である場合はＳ１８０８を実行する。無い場合はＳ１８１１を実行する。

Ｓ１８０８において、学習部４５１は、ブロック領域Ｂｙｎｂと局所領域ＵＢＸｎｂを用いて、図８に示す学習モデル生成機能を用いて学習モデルＭｎｂを生成し、ＲＡＭ１０３に保持する。

Ｓ１８０８において、推論部４５２は、ＲＡＭ１０３に記録した局所領域ＵＢＸｎｂと局所領域ＵＡＸｎｂを用いて、図８に示す学習モデル生成機能を用いてブロック領域Ｂｙｎｂを推論するための学習モデルＭｎｂを生成する。なお、結合局所領域ＵＢＸｎｂは、対となるフレームの結合局所領域ＵＡＸｎｂの同座標位置に相当する教師データである。学習部４５１は、これら教師データをＲＡＭ１０３から読み出して学習モデル生成機能に入力し、生成された学習モデルＭｎｂをＲＡＭ１０３に保存する。

Ｓ１８０９において、推論部４５２は、ブロック領域Ｂｙｎｂに対して、学習モデルＭｎｂを用いて推論を行い、高精細フレームの局所領域Ｃｙｎｂを生成する。まず推論部４５２は、Ｓ１８０８でＲＡＭ１０３に保存された学習モデルＭｎｂを読み出す。次に推論部４５２は、ＲＡＭ１０３に保持されたブロック領域Ｂｙｎｂを学習モデルＭｎｂのＣＮＮに入力し、「推論対象フレームＢｙを解像度ＸＡに拡大した場合に、局所領域Ｂｙｎｂに期待される高周波成分」を生成する。推論部４５２は、生成された高周波成分を「解像度ＸＢと解像度ＸＡの比率に基づき線形拡大した局所領域Ｂｙｎｂ」に加算することで局所領域Ｃｙｎｂを生成し、これをＲＡＭ１０３に記録する。なお、ブロック領域Ｂｙｎｂについて行われる高周波成分の推論から高精細画像の生成までの処理は、図８に示す推論工程と同様の処理である。

Ｓ１８１０において、制御部１０１は、動きベクトル情報における動きベクトルの有無が“無”であるブロック領域Ｂｙｎｂを、解像度ＸＡと解像度ＸＢの比率に基づいて線形拡大した高精細フレームＣｙ１７０６の局所領域ＣｙｎｂをＲＡＭ１０３に保持する。なお、解像度ＸＡと解像度ＸＢの比率に基づいて拡大できれば、その手段は線形拡大に限らない。

Ｓ１８１１において、制御部１０１は、全ブロック領域Ｂｙｎｂに対して上記処理が完了しているかの判定を行う。制御部１０１は、未完了と判定した場合、Ｓ１８０７に処理を進め、未完了のブロック領域Ｂｙｎｂに対して処理を行う。制御部１０１は、完了していると判定した場合、Ｓ１８０９およびＳ１８１０においてＲＡＭ１０３に保持した局所領域Ｃｙｎｂを読み出し、対応するブロック領域Ｂｙｎｂの座標位置情報に基づき結合し、局所領域Ｃｙｎ１７０５を生成し、ＲＡＭ１０３に保持する。

以上のように、第８実施形態によれば、推論領域と類似度の高い領域を参照／被参照する動きベクトルを用いて学習を行うため、被写体の動きが激しい動画であっても、より高精細な画像を生成することが可能となる。

＜第９実施形態＞
（類似度によって重み付けされた複数の教師データを学習に用いることによる超解像性能の向上）
第９実施形態では、第７、第８実施形態が解決を望む第６実施形態における課題の別の解決方法について説明する。なお、第６実施形態における課題とは、推論対象フレームＢｙの局所領域を超解像処理するための学習データを、当該領域と同座標位置に相当する局所領域から選択しているため、被写体の動きが激しい場合などには超解像性能が低下する、という課題である。

以下、第９実施形態について、第６実施形態との差分のみについて説明する。

（高精細動画生成処理）
第９実施形態における第６実施形態との差異は、図１６に示される高精細動画生成処理のフローチャートにおけるＳ１６０５、Ｓ１６０６の処理のみである。よって、第９実施形態におけるＳ１６０５、Ｓ１６０６の処理のみについて説明する。

Ｓ１６０５において、制御部１０１は、推論対象フレームＢｙの局所領域Ｂｙｎの同座標位置に相当する局所領域（ＵＡｎ５およびＵＢｎ５）を選択し、ＲＡＭ１０３に保持する。加えて、ＵＢｎ５に隣接するＵＢｎ５と同サイズの８つの領域をＲＡＭ１０３に保持する。同様に、ＵＡｎ５に隣接するＵＡｎ５と同じサイズの８つの領域をＲＡＭ１０３に保存する。フレーム群ＵＢに含まれるフレームに対する領域選択の例を図１９に示す。なお、本実施形態では推論対象の領域に対し、局所領域Ｂｙｎの同位置座標の領域と、その隣接領域８つを選択しているが、領域選択の手段と数はこの限りではない。

次に、制御部１０１は、類似度評価手段として備えるＳＳＩＭを用いて、推論対象フレームＢｙの局所領域Ｂｙｎとの類似度評価を、ＵＢｎ１～ＵＢｎ９のそれぞれに対して行い類似度評価値を取得し、ＵＢｎ１～ＵＢｎ９それぞれの学習回数情報を生成し（回数決定）、ＲＡＭ１０３に保持する。なお、学習回数情報としては、「ＵＢｎ１～９のいずれかを特定する情報」、「局所領域Ｂｙｎとの類似度評価値」、「学習回数」を有する。制御部１０１は、学習回数情報における局所領域Ｂｙｎとの類似度評価値が予めシステムに定められた閾値未満の場合、当該学習情報の学習回数を０に更新する。類似度評価値が閾値以上の領域は、類似度評価値が閾値以上の領域同士の類似度評価値の比率をもって学習回数を決定し、学習情報を更新する。例えば、ＵＢｎ４、ＵＢｎ５、ＵＢｎ６の類似度評価値が閾値以上で、また、その比率が２：５：３であって、さらに、総学習回数を１０００回と規定している場合、ＵＢｎ４～ＵＢｎ６の学習情報における学習回数は、それぞれ２００、５００回、３００回とする。なお、本実施形態における学習回数の決定方法では、閾値を超える類似度評価値をもつ領域に対し、線形に学習回数を割り振っているが、この方法に限られるものではない。

Ｓ１６０６において、学習部４５１は、学習情報が示す局所領域（ＵＢｎ１～９のいずれか）と、それに対応するフレーム群ＵＡ内の局所領域（ＵＡｎ１～９）のいずれかを教師データとして、学習情報が示す学習回数の数だけ、図８に示す学習モデル生成機能を用いてそれぞれ学習を行い、学習モデルＭｎを生成する。生成された学習モデルＭｎをＲＡＭ１０３に保存する。

Ｓ１６０７からの処理は、第６実施形態と同じであるため説明を省略する。

以上のように、第９実施形態によれば、推論領域と類似度の高い複数の領域を、推論領域との類似度に応じてそれぞれ学習に用いるため、被写体の動きが激しい動画であっても、より高精細な画像を生成することが可能となる。

以上のように、第６実施形態から第９実施形態によれば、高精細化対象の画像から局所領域を決定し学習モデルの学習に用いる情報量を絞ること、さらに、高精細化対象の画像から決定した局所領域と相関性の高い、教師データの局所領域を選択し学習モデルの学習に用いることにより、高精細化対象画像の高周波成分をより高精度に推論することができ、高精度な高精細化画像を得ることができる。すなわち、動画を高精細化する動画超解像技術の精度向上が実現される。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。

１０１：制御部、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：復号部、１０５：学習推論部、１０６：記録部、１０７：バス、２１１：解析部、２１２：復号動画生成部、４１３：候補取得部、４１４：教師データ抽出部、４５１：学習部、４５２：推論部

Claims (24)

1. 第１の画像群を用いて、前記第１の画像群よりも対応するフレームの高周波成分が少ない第２の画像群の画像を高精細化する画像処理装置であって、
   前記第１の画像群から選択された第１の画像と、前記第１の画像よりも高周波成分が少なく且つ前記第１の画像の撮影時刻との差が所定の閾値より小さい撮影時刻を有する第３の画像との複数の対を、教師データの候補として取得する取得手段と、
   前記教師データの候補の複数の対のうちから、学習に用いる一対の教師データを、前記第２の画像群から選択された高精細化対象の画像に基づいて選択する選択手段と、
   前記選択手段により選択された前記一対の教師データを用いて学習モデルを生成する学習モデル生成手段と、
   生成された前記学習モデルを用いて前記高精細化対象の画像の高周波成分を推論する推論手段と、
   前記高精細化対象の画像と、前記推論手段により推論された高周波成分とに基づいて高精細化された画像を生成する画像生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記取得手段は、前記第３の画像として、前記第１の画像との類似性が最も大きい画像を、前記第２の画像群から取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、前記第１の画像を前記第２の画像群の解像度に縮小した画像と、前記第２の画像群の画像との類似性を判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記取得手段は、前記第３の画像として、前記第１の画像を縮小して解像度を下げた画像を取得することを特徴とする請求項１に記載の画像処理装置。
5. 前記第３の画像は、前記第１の画像を前記第２の画像群の解像度に縮小した画像であることを特徴とする請求項４に記載の画像処理装置。
6. 前記選択手段は、前記高精細化対象の画像の撮影時刻との差が所定の閾値よりも小さい撮影時刻の画像を含む教師データの候補を、前記学習に用いる教師データとして選択することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記選択手段は、前記高精細化対象の画像との類似性が所定の閾値よりも大きい画像を含む教師データの候補を、前記学習に用いる教師データとして選択することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 前記推論手段は、前記学習に用いられる教師データと前記高精細化対象の画像とに基づいて、前記学習における誤差逆伝搬によるパラメータの更新を制御することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記推論手段は、前記学習に用いられる教師データと前記高精細化対象の画像とに基づいて係数を決定し、前記係数に基づいて前記誤差逆伝搬によるパラメータの更新の量を制御することを特徴とする請求項８に記載の画像処理装置。
10. 前記推論手段は、前記学習に用いられる教師データと前記高精細化対象の画像とに基づいて係数を決定し、前記係数に基づいて前記誤差逆伝搬によるパラメータの更新の繰り返し回数を制御することを特徴とする請求項８に記載の画像処理装置。
11. 前記推論手段は、前記学習に用いられる教師データの画像の撮影時刻と前記高精細化対象の画像の撮影時刻との差に基づいて前記係数を決定することを特徴とする請求項９または１０に記載の画像処理装置。
12. 前記推論手段は、前記学習に用いられる教師データの画像と前記高精細化対象の画像の類似性に基づいて前記係数を決定することを特徴とする請求項９または１０に記載の画像処理装置。
13. 前記高精細化対象の画像から１つまたは複数の推論対象の局所領域を切り出す局所領域決定手段と、前記局所領域決定手段により切り出された局所画像に基づいて、前記選択手段において得られた一対の教師データから学習に用いる一対の局所領域を選択する局所領域選択手段と、をさらに備え
    前記学習モデル生成手段は、前記局所領域選択手段により得られた一対の教師データを用いて局所領域学習モデルを生成し、
    前記推論手段は、前記局所領域学習モデルを用いて前記切り出された前記高精細化対象の画像の局所高周波成分を推論し、
    前記画像生成手段は、前記局所高周波成分と、前記高精細化対象の画像の局所画像とを用いて、前記局所領域の高精細化画像を生成し、それらを結合することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記局所領域選択手段は、前記選択手段において得られた一対の教師データにおいて、前記局所領域決定手段により切り出された局所領域と同じ座標位置に相当する局所領域を選択することを特徴とする請求項１３に記載の画像処理装置。
15. 前記画像生成手段は、前記局所領域の高精細化画像を座標位置の情報に基づいて結合することにより、高精細化画像を生成することを特徴とする請求項１４に記載の画像処理装置。
16. 前記局所領域選択手段は、画像の類似度を評価する評価手段をさらに備え、前記評価手段を用いて前記局所領域決定手段によって決定された局所領域と類似度の高い局所領域を前記選択手段において得られた一対の教師データに含まれる画像から選択することを特徴とする請求項１３に記載の画像処理装置。
17. 前記局所領域選択手段は、前記局所領域決定手段で決定した推論対象領域の動きベクトル、または、前記推論対象領域を参照する動きベクトル、またはそれぞれを用いて局所領域を選択することを特徴とする請求項１３に記載の画像処理装置。
18. 前記学習モデル生成手段は、教師データごとの学習回数を決定する回数決定手段をさらに備え、前記局所領域選択手段で得られた複数の学習用の局所領域対のそれぞれの学習回数を、前記回数決定手段を用いて決定し、決定した回数だけ学習を行うことを特徴とする請求項１３に記載の画像処理装置。
19. 前記回数決定手段は、画像の類似度を評価する評価手段をさらに備え、前記評価手段を用いて、前記局所領域決定手段で決定した推論対象領域と前記局所領域選択手段で得られた複数の学習用の局所領域対に含まれる画像との類似度をそれぞれ取得し、前記類似度に基づいて学習回数を決定することを特徴とする請求項１８に記載の画像処理装置。
20. 前記第１の画像群と前記第２の画像群は、１つの撮像装置が有する１つのイメージセンサによって撮影された１つの画像に対して異なる画像処理を行って得られた２つの画像群であることを特徴とする請求項１乃至１９のいずれか１項に記載の画像処理装置。
21. 前記第１の画像群と前記第２の画像群は、２つのイメージセンサのそれぞれによって撮影された画像群であることを特徴とする請求項１乃至１９のいずれか１項に記載の画像処理装置。
22. 前記第１の画像群のフレームレートは、前記第２の画像群のフレームレートよりも低いことを特徴とする請求項１乃至２１のいずれか１項に記載の画像処理装置。
23. 第１の画像群を用いて、前記第１の画像群よりも対応するフレームの高周波成分が少ない第２の画像群の画像を高精細化する画像処理方法であって、
    前記第１の画像群から選択された第１の画像と、前記第１の画像よりも高周波成分が少なく且つ前記第１の画像の撮影時刻との差が所定の閾値より小さい撮影時刻を有する第３の画像との複数の対を、教師データの候補として取得する取得工程と、
    前記教師データの候補の複数の対のうちから、学習に用いる一対の教師データを、前記第２の画像群から選択された高精細化対象の画像に基づいて選択する選択工程と、
    前記選択工程において選択された前記一対の教師データを用いて学習モデルを生成する学習モデル生成工程と、
    生成された前記学習モデルを用いて前記高精細化対象の画像の高周波成分を推論する推論工程と、
    前記高精細化対象の画像と、前記推論工程において推論された高周波成分とに基づいて高精細化された画像を生成する画像生成工程と、
    を有することを特徴とする画像処理方法。
24. 請求項１乃至２２のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるためのプログラム。