JP3934151B2 - 画像生成装置および画像生成方法 - Google Patents

Description

本発明は、動画像を生成する画像生成装置に関し、特に、複数の動画像から夫々の優れた特性を併せ持つ新たな動画像を生成する画像生成装置に関する。

デジタル撮像デバイスの進展に伴い、高空間解像度の静止画像を比較的低コストで撮影することが可能となってきている。しかしながら、このような高空間解像度の静止画と同等の空間解像度を保ちながら滑らかに動く動画像（例えば、３０フレーム／秒程度）や更に高速度の撮影を実現するには課題がある。

これは、単位時間あたりに得られる画像の情報量が莫大になるために、撮像デバイス内での画像情報の転送速度が不足することや、並列に画像情報を転送するなどの特殊な撮像デバイスを必要とする為、撮影装置のコストが増加したり、撮像デバイスの特性の調整が別途必要になることに因る。

従来の時空間解像度（時間および空間の解像度）の高い画像を得る画像生成方法としては、高速低解像度カメラと低速高解像度カメラとの映像を用い、動画像のフレーム間の対応点検出を用いてモーフィングを行うものがある（例えば、特許文献１参照）。図４５は、特許文献１に記載された従来の画像生成方法を説明する図である。なお、本明細書において、撮像能力または動画像の性質に関して、「高速」（または、「低速」）とは、フレームレートが相対的に大きい（または、小さい）ことを意味し、「高解像度」（または、「低解像度」）とは、空間解像度が相対的に高い（または、低い）ことを意味する。

図４５において、高速低解像度カメラＡ０１と低速高解像度カメラＡ０２は同じ対象を同じ画角で同期して撮影している。カメラＡ０１とカメラＡ０２の撮影画像の関係を図４６に示す。図４６は、２つのカメラＡ０１およびＡ０２が撮影したフレームを時間の順に並べており、フレームＢ０１とＢ０２はカメラＡ０２で得られた画像を表し、フレームＢ１１〜Ｂ１５は、カメラ０１で得られた画像を表している。ここで空間解像度の違いは画像の大きさで表現しており、フレームＢ１１〜Ｂ１５は、フレームＢ０１とＢ０２に比べて画素数が少なく、空間解像度が低い。一方、カメラＡ０１はカメラＡ０２よりも撮影のフレームレートが高く、カメラＡ０２が１フレーム撮影する間にカメラＡ０１は４フレーム撮影している。また、カメラＡ０２のフレーム撮影の時間に同期してカメラＡ０１のフレーム撮影を行っている（フレームＢ０１とフレームＢ１１およびフレームＢ０２とフレームＢ１５は同じタイミングで撮影）。以下の例では、フレームＢ２３の位置（フレームＢ１３の撮影時間に相当）に相当する高解像度画像の中間フレーム画像の生成方法について説明する。

このようにして撮影したフレーム画像について、一次マッチング部Ａ０３はカメラＡ０１の高速撮影画像において隣りあう各フレーム間の画素の対応関係を求める。ここで、対応関係とは、あるフレーム画像内の各画素が映す対象の部位が他方のフレーム画像内のどの画素位置に写っているかの関係である。次に、隣り合う高速画像間の対応関係をつなぎ合わせることで、生成したいフレームＢ２３の時刻に位置する高速カメラ画像Ｂ１３と、高速画像と低速画像を同期して撮影しているフレームＢ１１との画素間の対応関係を求める。

次に、二次マッチング部Ａ０４は、高速画像と低速画像を同期して撮影しているフレームＢ０１とフレームＢ１１との画素の位置関係、フレームＢ１３とフレームＢ２３との画素の位置関係、および、一次マッチング部Ａ０３で求めたフレームＢ１１とフレームＢ１３との対応関係をつなぎ合わせることで、フレームＢ０１とフレームＢ２３との画素の対応関係を決定する。

次に、画像生成部Ａ０５は、フレームＢ０１とフレームＢ２３との画素の対応関係を用いて、フレームＢ０１の画素値を用いてフレームＢ２３の画素値を決定し、高解像中間フレーム画像Ｂ２３を生成する。同様の手順で他の中間フレームを生成することで、高解像度かつ高速の映像を生成する。

また、非特許文献１や非特許文献２などでも同様に、高速低解像度カメラと低速高解像度カメラとの映像を用い、高速カメラの映像から動き検出を行い、その動きに合わせて低速高解像度動画像に対してモーフィングを行うことで高解像度の中間フレーム画像を生成している。
特開２００３−２０３２３７号公報（図１３） Ｔｏｒｕ ＭＡＴＳＵＮＯＢＵ，ｅｔ ａｌ．，"Ｇｅｎｅｒａｔｉｏｎ ｏｆ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｖｉｄｅｏ Ｕｓｉｎｇ Ｍｏｒｐｈｉｎｇ"，Ｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ ｏｆ ＩＥＩＣＥ，ＰＲＭＵ２００４−１７８ Ｋｉｙｏｔａｋａ Ｗａｔａｎａｂｅ，ｅｔ ａｌ．，"Ｇｅｎｅｒａｔｉｏｎ ｏｆ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ ｆｒｏｍ Ｔｗｏ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅｓ ｗｉｔｈ Ｄｉｆｆｅｒｅｎｔ Ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ Ｆｒｅｑｕｅｎｃｉｅｓ"，情報科学技術レターズ（ＦＩＴ２００４），Ｖｏｌ．３，Ｎｏ．ＬＩ−００４，２００４

しかしながら、上記従来の技術では、高速画像において隣り合うフレーム間で対応関係を正確に求めることや、動き検出を正確に行えることが前提となっており、対応関係が正確に求まらない場合や、動き検出が行えない場合には、生成する画像が大きく劣化したり、低解像度画像を単に拡大した画像になってしまうというという課題を有している。一般的に、画像中の動物体の動きが複雑な場合や照明状態が変化する場合やオクルージョンが発生する場合やアパーチャ問題が発生する場合などには、フレーム間の対応点を求めることや動き検出を全ての画素について正確に求めることは困難である。

具体的には、高解像度画像が存在するフレームにおいてその高解像度画像そのものを用いて鮮明な画像が生成され、その後、低解像度画像しか存在しないフレームが繰り返されるにつれて生成される画像の劣化が顕著となり、再び高解像度画像が存在するフレームにおいて突然に劣化のない鮮明な画像が生成される。このようなフレーム間での画像の鮮明さの変動は、人間の知覚に違和感を与える。

そこで、本発明は、上記従来の課題を解決するものであり、対応点検出や動き検出が正確に行えない画像領域も含めて複数の動画像を統合した新たな動画像を生成することができる画像生成装置およびその方法を提供することを目的とする。

上記目的を達成するために、本発明に係る画像生成装置は、第１動画像と、解像度が前記第１動画像の解像度よりも高くかつ一つのフレームが前記第１動画像の複数のフレーム期間にわたる露出により得られる第２動画像とを受け付ける画像入力手段と、前記第１動画像のフレームレート以上のフレームレートでかつ前記第２動画像の解像度以上の解像度の新たな動画像を、前記第２動画像のフレームとそのフレームの露出期間に対応する前記新たな動画像の複数のフレームの合計との誤差を減少させるように生成する画像統合手段とを備える。

このような構成によって、前記画像入力手段が、例えば、高速フレームレートで低解像度の第１動画像と低速フレームレートで高解像度の第２動画像を受け付けた場合には、前記画像統合手段は、前記第１動画像と同じフレームレートで前記第２動画像と同じ解像度の動画像を前記新たな動画像として生成することができる。つまり、入力された複数の動画像の夫々の優れた特性を併せ持つ新たな動画像が生成される。

しかも、前記新たな動画像は、前記第２動画像のフレームとそのフレームの露出期間に対応する前記新たな動画像の複数のフレームの合計との誤差が減少するように生成されるので、前記第２動画像の一つのフレームが含んでいる画像情報が、生成される新たな動画像の複数のフレームに分散して反映される結果、フレーム間での画像の鮮明さの変動が平滑化され、知覚上の違和感が少ない動画像が得られる。

なお、本発明は、このような画像生成装置として実現できるだけでなく、画像生成方法、その方法をコンピュータに実行させるプログラム、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体等としても実現することができる。

本発明の画像生成装置によれば、動画像中において必ずしも動きや対応点が正確に求まらない画像領域を含んでいる場合にでも、その画像の時空間解像度を動画像全体で向上させた新たな動画像が生成される。たとえば、高速低解像度動画像と低速高解像度動画像とから、夫々の優れた特性を併せ持つ高速高解像度動画像が確実に生成される。

また、フレーム間での画像の鮮明さの変動を平準化して、知覚上の違和感の少ない動画像を得ることができる。

（第１の実施の形態）
本発明の第１の実施形態は、同一事象を撮影して得られた複数の動画像から、前記事象を表す新たな動画像を生成する画像生成装置であって、第１動画像と、前記第１動画像と同一の事象を撮影し、解像度が前記第１動画像の解像度よりも高く、かつ各々のフレームが前記第１動画像の１フレーム時間よりも長時間の露光によって得られる第２動画像とを受け付ける画像入力手段と、前記第１動画像と前記第２動画像とから、前記第１動画像のフレームレート以上のフレームレートでかつ前記第２動画像の解像度以上の解像度の新たな動画像を、前記第２動画像のフレームと、そのフレームの露光期間に対応する前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段とを備える。

このような構成によって、前記画像入力手段が、例えば、高速フレームレートで低解像度の第１動画像と低速フレームレートで高解像度の第２動画像を受け付けた場合には、前記画像統合手段は、前記第１動画像と同じフレームレートで前記第２動画像と同じ解像度の動画像を前記新たな動画像として生成することができる。つまり、入力された複数の動画像の夫々の優れた特性を併せ持つ新たな動画像が生成される。

なお、前記第２動画像の各々のフレームは前記第１動画像の１フレーム時間よりも長時間の露光によって得られるので、第２動画像に、移動物体の移動軌跡のような動き情報が含まれることとなり、その動き情報を用いて、より動き精度の高い新たな動画像を生成することができる。

つまり、前記新たな動画像は、前記第２動画像のフレームとそのフレームの露出期間に対応する前記新たな動画像の複数のフレームの合計との誤差が減少するように生成されるので、前記第２動画像の一つのフレームに含まれる画像情報が、生成される新たな動画像の複数のフレームに分散して反映される結果、フレーム間での画像の鮮明さの変動が平滑化され、知覚上の違和感が少ない動画像が得られる。

ここで、前記第２動画像のフレームをフレーム間の開放露光により得ることとすれば、前記変動の平滑化は一層促進され、より好ましい動画像を得ることができる。

また、前記画像生成装置は、さらに、生成される新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定する拘束手段を備え、前記画像統合手段は、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成してもよい。

このような構成によれば、時間的、空間的な連続性が維持された新たな動画像を生成できるので、そのような連続性を強く示す自然界の映像に特に適した生成を行うことができる。

また、前記画像生成装置は、さらに、前記画像入力手段が受け付けた複数の動画像の少なくとも１つから対象物の動きを検出する動き検出手段と、生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件を指定する拘束手段とを備え、前記画像統合手段は、指定された前記拘束条件が維持されるように前記新たな動画像を生成してもよい。

これによって、動き検出の手法による補間を用いて前記新たな動画像を生成できる。

ここで、前記動き検出手段は、前記動き検出の信頼度を算出し、前記画像統合手段は、前記動き検出手段によって算出された信頼度が高い画像領域については前記動き検出結果に基づく拘束条件を用いて新たな画像を生成し、前記信頼度が低い画像領域については動き拘束以外の予め定められた拘束条件を用いて前記新たな動画像を生成してもよい。

ここで、前記動き検出手段は、前記動画像を構成する各画像を分割したブロック単位で動きを検出し、ブロック同士の画素値の差の２乗和の符号を逆にした値を前記信頼度として算出し、前記画像統合手段は、前記信頼度が予め定めた値よりも大きいブロックを信頼度の高い画像領域とし、前記信頼度が予め定めた値よりも小さいブロックを信頼度の低い画像領域として、前記新たな動画像を生成してもよい。

これによって、動き検出の信頼度が低い領域については、予め定めた外部モデル拘束条件に従って画像が統合されるので、本発明によれば、従来において対応点検出や動き検出が正確に行えない画像領域も含めて画像が統合され得る。

このような構成によって、前記画像入力手段は、例えば、高速フレームレートで低解像度の第１動画像と低速フレームレートで高解像度の第２動画像を受け付け、前記画像統合手段は、前記第１動画像と同じフレームレートで前記第２動画像と同じ解像度の動画像を前記新たな動画像として生成することができる。つまり、入力された複数の動画像の夫々の優れた特性を併せ持つ新たな動画像が生成される。

また、入力される複数の動画像がカラーの動画像である場合には、前記画像統合手段は、前記第１動画像から色差情報を抽出し、前記第１動画像から取得された輝度情報と前記第２動画像とから中間的な新たな動画像を生成し、生成した中間的な動画像に前記色差情報を付加することによって、最終的な前記新たな動画像を生成するのが好ましい。これによって、例えば、ＲＧＢの各色ごとに新たな動画像を生成する処理に比べ、少ない処理量でカラーの高速高解像度動画像を生成することができる。

また、前記動き検出手段はさらに、前記対象物を撮像する撮像装置の姿勢を検出する姿勢センサからの信号を受け付ける姿勢センサ入力部を有し、前記姿勢センサ入力部が受け付けた信号を用いて前記動きを検出してもよい。これによって、より精度の高い動き検出が確保されるので、より動き精度の高い新たな動画像を生成することができる。

また、前記画像統合手段は、前記複数の動画像の少なくとも１つについて画像の時間的な変化量を算出し、算出した変化量が予め定めた値を超える時間範囲について、前記新たな動画像を生成してもよい。これによって、必要な時間区間だけにおいて画像の統合処理を行うだけで済むとともに、統合処理をする時間区間とそうでない時間区間とが滑らかに接合され、その不連続性が知覚されにくくなる。

また、前記画像統合手段はさらに、生成した新たな動画像の信頼性を示す値を算出し、算出した値を前記新たな動画像とともに出力するのが好ましい。これによって、信頼性を利用した動画像の後処理が可能となる。例えば、これら２つの情報を取得した符号化手段が、信頼性の低い画像を高い圧縮率で符号化し、信頼性の高い画像を低い圧縮率で符号化することで、全体として、符号化に伴う情報の欠損が少ない高圧縮率の符号化が可能となる。

さらに、本発明に係る画像生成装置は、複数の動画像から新たな動画像を生成する画像生成装置であって、同一の対象物を撮像して得られる時空間解像度または時空間位相の異なる複数の動画像の入力を受け付ける画像入力手段と、前記画像入力手段が受け付けた複数の動画像の少なくとも１つから前記対象物の動きを検出するとともに、当該動き検出の信頼度を算出する動き検出手段と、生成される新たな動画像の画素値が満たすべき条件である外部モデル拘束条件を指定する外部モデル拘束手段と、前記動き検出手段が検出した信頼度に基づいて、信頼度の高い画像領域については前記動き検出手段による動き検出の結果を用いて新たな画像を生成し、信頼度の低い画像領域については前記外部モデル拘束手段が指定する外部モデル拘束条件を用いて新たな画像を生成することにより、前記画像入力手段が受け付けた複数の動画像を統合して新たな動画像を生成する画像統合手段とを備えるとしてもよい。

ここで、前記画像入力手段は、前記時空間位相が異なる複数の動画像として、原動画像の本来のフレーム画像の複数の部分をそれぞれ異なる時刻について表す複数種類のフィールド画像のうち、一種類のフィールド画像を複数のフレームについて連ねてなる異なる複数の動画像を受け付け、前記画像統合手段は、前記原動画像のフィールドレートと同等のフレームレートを有し、かつ前記本来のフレーム画像と同等の解像度を有するフレーム画像から構成される新たな動画像を生成するとしてもよく、また、前記フィールド画像の露出時間が、時間的に隣接するフィールド間の時間間隔よりも長いとしてもよい。

これによって、動き検出の信頼度が低い領域については、予め定めた外部モデル拘束条件に従って画像が統合されるので、本発明によれば、従来において対応点検出や動き検出が正確に行えない画像領域も含めて画像が統合され得る。

以下、図面を参照しながら本発明の第１の実施の形態に係る画像生成システムについて詳細に説明する。

図１は、本発明の実施の形態に係る画像生成システムのハードウェア構成を示すブロック図である。

画像生成システム１００は、同一の対象についての複数の動画像（ここでは、高速低解像度動画像および低速高解像度動画像）から時空間解像度の高い新たな動画像（ここでは、高速高解像度動画像）を生成するシステムであり、撮像装置１０と、画像記憶装置２０と、画像生成装置３０と、表示装置４０とを備えている。撮像装置１０は、被写体を撮影し、異なる２種類の時空間解像度で動画像（ここでは、同一の対象についての高速低解像度動画像および低速高解像度動画像）を得るカメラ等である。画像記憶装置２０は、撮像装置１０で撮像された動画像を一時的に記憶するメモリ等である。画像生成装置３０は、画像記憶装置２０に記憶された動画像を読み出し、読み出した複数の動画像から、時空間解像度を高めた新たな動画像を生成する装置である。表示装置４０は、画像生成装置３０で生成された新たな動画像を表示する表示装置である。なお、画像生成装置３０は、専用回路等のハードウェアによって実現してもよいし、汎用の計算機における画像処理プログラム等のソフトウェアによって実現してもよい。

図２は、図１に示された画像生成システム１００における画像生成装置３０の内部構成を示す機能ブロック図である。この画像生成装置３０は、画像入力部１０１と、動き検出部１０３と、画像統合部１０４とを備える。

画像入力部１０１は、同一の対象物を撮像して得られる時空間解像度または時空間位相の異なる複数の動画像の入力を受け付けるインターフェース等であり、ここでは、高速（高速フレームレート）かつ低空間解像度で撮影した動画像（高速低解像度動画像）の入力を受け付ける（あるいは、取得する）高速画像入力部１０１ａと、高速画像入力部１０１ａと同じ対象を低速（低速フレームレート）かつ高空間解像度で撮影した動画像（低速高解像度動画像）の入力を受け付ける（あるいは、取得する）低速画像入力部１０１ｂとを有する。このように、高速画像入力部１０１ａに入力された画像と低速画像入力部１０１ｂに入力された画像は、時空間解像度は異なるが、同じ対象を撮影した画像である。

動き検出部１０３は、画像入力部１０１に入力される画像を生成する撮像装置１０の動きを検出するセンサ（撮像装置１０に備えられた加速度センサ等）からの信号を取得するセンサ入力部１０３ｃと、画像入力部１０１に入力された画像または／およびセンサ入力部１０３ｃに入力された動き信号に基づいて、入力画像中の画像（つまり、撮像の対象物）の動き検出を各フレームの画像全体において行う動き分布算出部１０３ａと、動き分布算出部１０３ａにおける動き検出の信頼度を各フレームの画像全体において算出する動き信頼度分布算出部１０３ｂとを有する。

画像統合部１０４は、画像入力部１０１に入力された複数の動画像のうち、信頼度の高い画像領域については動き検出部１０３による動き検出の結果を用いて新たな動画像を生成し、信頼度の低い領域については予め定められた一定の拘束条件を用いて複数の動画像を統合する処理部であり、統合処理部１０４ａと、拘束制御部１０４ｂと、動き拘束指定部１０４ｃと、外部モデル拘束部１０４ｄと、拘束指定部１０４ｅとを有する。

動き拘束指定部１０４ｃは、動き分布算出部１０３ａによる動き検出の結果を用いて、生成する高速高解像度動画像の各画素値が満たすべき拘束条件（以下、動き検出の結果に依存して指定される拘束条件を「動き拘束条件」という。）を指定する処理部である。

外部モデル拘束部１０４ｄは、生成する高速高解像度動画像の各画素値が動き分布算出部１０３ａによる動き検出の結果とは別に満たすべき拘束条件（以下、動き検出の結果に依存することなく指定される拘束条件を「外部モデル拘束条件」という。）を指定する。

拘束制御部１０４ｂは、動き分布算出部１０３ａで算出された動き検出の結果と動き信頼度分布算出部１０３ｂで算出された信頼度とを用いて、生成する高速高解像度動画像中の各フレーム画像中の各位置において、動き拘束条件と外部モデル拘束条件とをそれぞれ有効にする度合いを決定し、その度合いを拘束指定部１０４ｅに通知する。

拘束指定部１０４ｅは、拘束制御部１０４ｂが決定した動き拘束条件と外部モデル拘束条件との有効度合いに基づいて、動き拘束指定部１０４ｃが指定する動き拘束条件と外部モデル拘束部１０４ｄが指定する外部モデル拘束条件とを統合した拘束条件、つまり、生成する高速高解像度動画像の各画素値が満たすべき拘束条件を指定する。

統合処理部１０４ａは、拘束指定部１０４ｅによって指定される拘束条件に従って、高速画像入力部１０１ａに入力された高速画像と低速画像入力部１０１ｂに入力された低速画像とを統合し、高速高解像度動画像を生成する。

符号化部１０２は、統合処理部１０４ａによって生成された画像を圧縮符号化して出力する。

なお、本実施の形態における「フレーム」には、プログレッシブ方式におけるフレームだけでなく、インターレース方式における偶数フィールドおよび奇数フィールドが含まれる。

次に、以上のように構成された画像生成装置３０が実行する処理について説明する。図３は、画像生成装置３０の実行する処理のフローチャートである。

ステップ６０１では、高速画像入力部１０１ａが高速低解像度動画像の入力を受け付け、低速画像入力部１０１ｂが同一対象についての低速高解像度動画像の入力を受け付ける。以降、説明に用いる画像は輝度画像を用いて説明する。

高速画像入力部１０１ａに入力される高速低解像度動画像と低速画像入力部１０１ｂに入力される低速高解像度動画像の関係を図４に示す。図４は、それら２つの画像の連続したフレーム画像を時間の順に並べており、フレーム２０１と２０２は低速高解像の画像を表し、フレーム２１１〜２１５は高速低解像の画像を表している。

本図において、空間解像度の違いは画像の大きさで表現されている。フレーム２１１〜２１５は、フレーム２０１と２０２に比べて画素数が少なく空間解像度が低い。一方、フレームレートについては、高速画像入力部１０１ａは、低速画像入力部１０１ｂに比べ、撮影のフレームレートが高く、ここでは、低速画像入力部１０１ｂの１フレーム間隔で高速画像入力部１０１ａは４フレーム撮影している。また、フレーム２０１と２０２の画像の時間方向の幅は露出時間を表している。低速画像入力部１０１ｂに入力される画像はフレームレートが低い分、高速画像入力部１０１ａに入力される画像に比べて長い露出が可能となる。図４では、低速高解像度動画像のフレーム２０１は、高速低解像度動画像の４フレーム間隔分の露出が行われている。

なお、高速画像入力部１０１ａに入力されるフレームと低速画像入力部１０１ｂに入力されるフレームとの撮影タイミングは、時間の相対関係が既知であればよく、必ずしも同時に撮影される必要は無い（つまり、撮像タイミングにおける位相が異なっていてもよい）。また、長時間露出を行うことで、高解像度の画像中においても移動物体の移動軌跡のような動き情報を取得することが可能となる。高解像度画像から得た動き情報と矛盾のない動画像を後述する画像の統合処理において生成することで、時空間解像度の高い動画像を生成することが可能となる。

ここで、撮像装置１０の具体例、つまり、２種類の画像を取得する撮影手段の例を示す。２種類の画像は、図５（ａ）のように、特性の異なる２種類のカメラを同一画角になるようにハーフミラーを用いて配置して撮影しても良いし、図５（ｂ）のように、１つのカメラ内において特性の異なる２種類の撮像素子を同一画角になるようにハーフミラーやプリズムを用いて配置して撮影しても良いし、図５（ｃ）のように特性の異なる２種類の画像を同時に撮影する撮像素子を用いても良い。

次に、図６を用いて、目的とする高速高解像度動画像の画素値（ここでは、輝度値）と、高速画像入力部１０１ａに入力される高速低解像度動画像および低速画像入力部１０１ｂに入力される低速高解像度動画像の画素値（ここでは、輝度値）との関係を説明する。この関係は、高速高解像度動画像の各画素が満たすべき外部モデル拘束条件として画像生成に使用する。

ここで、各画像の画素値は撮像時の入射光量に比例し、比例定数も共通であるとする。図６（ａ）は、目的とする高速高解像度動画像の各フレームの画素の配置を示したものである。説明の便宜のため、高速高解像度動画像の一部を取り出して説明する。図６（ａ）は、縦（Ｙ軸）方向３画素、横（Ｘ軸）方向３画素、４フレームの画素の配置を表している。画素位置（Ｘ，Ｙ，ｔ）の画素の値をＨＨ（Ｘ，Ｙ，ｔ）とする。ここでＸとＹは０，１，２の値の範囲とし、ｔは０，１，２，３の値の範囲とする。

同様に、図６（ｂ）は、図６（ａ）と同じ画角を同じ時間に撮影した高速低解像度動画像の画素の配置を示す。ここで、高速低解像度動画像の画素位置（ＸＬ，ＹＬ，ｔ）の画素値をＨＬ（ＸＬ，ＹＬ，ｔ）と表す。低解像度画像と高解像度画像ではｘ、ｙ方向の画素数が異なるため、低解像度画像のｘ、ｙ座標値をそれぞれＸＬ，ＹＬと表して高解像度画像の場合と区別する。ここでは高解像度画像のｘ、ｙ方向それぞれ３画素からなる９画素分の領域が低解像度画像の１画素に相当する関係にあり、画素値の関係は数１のようになる。

同様に、図６（ｃ）は、図６（ａ）と同じ画角を同じ時間に撮影した低速高解像度動画像の画素の配置を示す。ここで、低速高解像度動画像の画素位置（ｘ，ｙ，ｔ_Ｌ）の画素値をＬＨ（ｘ，ｙ，ｔ_Ｌ）と表す。

高速画像と低速画像では時間方向のフレーム数が異なるため、低速画像のフレーム番号をｔ_Ｌと表して高速画像の場合と区別する。ここでは高速画像の４フレーム分の間隔が低速画像の１フレーム間隔に相当する関係にあり、画素値の関係は数２のようになる。

ここで、Ｇ（ｔ）は、時刻ｔの撮影強度を表し、撮像素子の感度や撮影時の絞りの時間的変化による画素値の変化倍率を示している。撮像素子の感度や撮影時の絞りに時間的変化が無い場合には、Ｇ（ｔ）＝１．０である。

なお、上記の例では時間ｔを離散的に表現しているが、連続的な時間変化と対応付ける場合には、（数３）の関係式を用いる。（数１）、（数２）のＨＨ（ｘ，ｙ，ｔ）を（数３）でＨＨ_ｃｏｎｔ（ｘ，ｙ，ｔ_ｃｏｎｔ）に置き換えることで、時間的に連続した入力に対する劣化過程を表現することが出来る。

（数３）において、Δｔは生成する高速高解像度画像のフレーム画像の仮想的な露出時間に相当し、ｔ_ｃｏｎｔは連続した時間、ＨＨ_ｃｏｎｔ（ｘ，ｙ，ｔ_ｃｏｎｔ）は時間的に連続な画像、Ｅｘｐ（ｔ_ｃｏｎｔ）は高速高解像度画像のフレーム画像の仮想的な露出の時間変化を表している。

図４のように、高速画像の露出時間に対して低速画像の露出時間を長くすることで、長い時間にわたる動きの軌跡情報を蓄積することが可能となり、高速高解像度動画像を生成する上で動きの生じている部分の時空間解像度の改善に効果がある。

以上の例では、画素値は撮像時の入射光量に比例する場合（図７（ａ））で説明したが、γ補正等により比例しない場合（図７（ｂ））や比例定数が画素によって異なる場合には、別途、画像が撮影されたときの撮像素子の入出力特性（入出力関係）を逆に対応付けて利用することで、入射光に対して同一の比例関係を持つ値に画素値を補正し、数１や数２の関係を満たすことができる。例えば、図７（ｃ）のような画素値と補正値の対応関係を用いることで図７（ｂ）のようにして得られた画素値を補正し、図７（ａ）のようにして得られた画素値と同様に処理することができる。

また、上述の説明では、画素値として輝度値を用いて説明したが、各画素にＲ，Ｇ，Ｂのカラー値が存在する場合にもＲ，Ｇ，Ｂの個々の値について輝度値と同様の関係が得られる。

他の外部モデル拘束としては、時空間的に隣り合う画素との画素値の連続性や滑らかさがある。画素値の連続性を用いる場合、

のように高速高解像度動画像の隣り合う画素間の輝度値の差の二乗和Ｑｓを考える。画素値の滑らかさを用いる場合には、

のように高速高解像度動画像の隣り合う画素間の輝度値の二階差分の二乗和Ｑｓを考える。ここで、数４、数５において、Ｘ_ｍａｘとＹ_ｍａｘとｔ_ｍａｘはそれぞれｘ方向画素番号、ｙ方向画素番号、フレーム番号の最大値を示す。また、λｓ（ｘ，ｙ，ｔ）は、拘束条件の時空間的分布を指定する係数であり、後述のステップ６０４において動きの信頼度を用いて決定する。

このように、外部モデル拘束条件は、生成する高速高解像度動画像に対する評価関数として表現することができる。その評価関数の値（評価値）を下げることが上記外部モデル拘束を生成する高速高解像度動画像に加えることに対応する。

他の外部モデル拘束として、エッジの時空間的連続性を用いても良い。この場合、例えば

に示すように、時間的に隣り合うフレーム間で対応する位置のエッジの向きの変化は少ないという拘束や、

のように、同じ向きのエッジは、そのエッジの方向に空間的に連続して存在するという拘束である。ここで数６、数７のｅｄｇｅ（ｘ，ｙ，ｔ，ｉ）は、動画像中の（ｘ，ｙ，ｔ）の位置に存在するｉ番目の向きのエッジの強度を示す。ｉはエッジの方向の種類を示し、ｉは０からｉ_ｍａｘまでの整数値をとるものとする。また、数７の（ｉ_ｘ、ｉ_ｙ）はｉ番目のエッジの向きの方向を表すベクトルを示す。

また、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）、は画像中の（ｘ、ｙ、ｔ）の位置における動きベクトルのｘ方向成分とｙ方向成分を示す。エッジの検出は方位依存性を有するＧａｂｏｒフィルタなどのエッジ検出フィルタの出力を用いたり、数８のように微分演算でエッジの方向と強度を得た後、必要に応じてエッジの方向を離散化して用いることで実現できる。

は高速高解像度動画像ＨＨの座標（ｘ，ｙ，ｔ）におけるエッジの向きと強度を２次元ベクトルとして表しており、ベクトルの向きがエッジの向きに対応し、ベクトルの大きさがエッジの強度に対応する。

ここで、λｔｅ（ｘ，ｙ，ｔ）やλｓｅ（ｘ，ｙ，ｔ）は、λｓ（ｘ，ｙ，ｔ）と同様に、拘束条件の時空間的分布を指定する係数であり、後述のステップ６０４において動きの信頼度を用いて決定する。

また、他の拘束条件として、生成する動画像が表現し得る自由度を予め定めた動画像群の主成分に限定してもよい。例えば、動画像を構成する各フレームの各画素の輝度値ＨＨ（ｘ，ｙ，ｔ）を独立な要素とし、動画像を１つのデータ点と考え、予め定めた同じフレーム数・画素数の動画像群に対して主成分分析を行い、主成分を優先して動画像を生成するものである。この場合、非主成分のベクトルをＮＰＣ（ｘ，ｙ，ｔ）とし、生成する動画像をＨＨ（ｘ，ｙ，ｔ）に対して、非主成分ＮＰＣと生成する動画像ＨＨとの内積を拘束条件とする。この場合、拘束条件は、

のＱｐｃのようになる。ＮＰＣは１種類ではなく複数個用意しても良いし、入力画像によってＮＰＣの種類を切り換えても良い。この場合、入力画像と高解像度時の主成分との関係を予め学習しておき、この結果を用いてＮＰＣの選択を行えばよい。例えば、異なる３種類の高速高解像度の動画像群１・２・３を学習用の動画像として用意する。その動画像群それぞれから非主成分のベクトルＮＰＣ１・ＮＰＣ２・ＮＰＣ３を求める。別途、上記動画像群１・２・３のそれぞれから数１や数２の関係式を用いて高速低解像度動画像群ＨＬ１・ＨＬ２・ＨＬ３と高速高解像度動画像群ＨＨ１・ＨＨ２・ＨＨ３とを求める。ここで学習すべき関係は、画像群ＨＬ１・ＨＨ１と画像群ＨＬ２・ＨＨ２と画像群ＨＬ３・ＨＨ３の３つの画像群と上記３種類の非主成分ＮＰＣ１・ＮＰＣ２・ＮＰＣ３との対応関係である。対応関係の学習方法は任意の手法を用いてよく、画像群ごとに高速低解像度動画像ＨＬと高速高解像度動画像ＨＨの平均画像の組を求めておき、平均画像の組と非主成分の種類との対応関係を保持しておく（学習）。新たな入力画像ＨＬ・ＨＨの組に対して平均画像の組との差を求め、差の最も小さい平均画像の組に対応する非主成分を入力画像の復元処理に用いるようにする。平均画像と非主成分の種類との関係を保持する替わりに、高速低解像度動画像ＨＬと高速高解像度動画像ＨＨを入力とし、それらＨＬとＨＨに対応する非主成分の種類を出力とした入出力関係をニューラルネットワーク等の学習手法を用いて求めておき、学習後には入力画像ＨＬ・ＨＨの組をニューラルネットワークに入力して、出力として得られる種類の非主成分を拘束条件として用いるようにしてもよい。

ここで、λｐｃ（ｘ，ｙ，ｔ）も上記λｓ（ｘ，ｙ，ｔ）と同様に拘束条件の時空間的分布を指定する係数で後述のステップ６０４において、動きの信頼度を用いて決定する。

次に、ステップ６０２では、動き検出部１０３が、高速低解像度動画像から画像中の動きとその動きの信頼度を算出する。ここで、高速画像入力部１０１ａから得た動画像の各フレーム画像の各位置において、動き分布算出部１０３ａが被写体の動きの向きと大きさを求め（動き検出）、動きの向きと大きさの時空間的分布を求める。また、動き信頼度分布算出部１０３ｂは、動き検出の信頼度の時空間的分布ｃｏｎｆ（ｘ，ｙ，ｔ）を併せて求める。この場合、動き検出の信頼度とは、信頼度が高い程、動き検出の結果が尤もらしく、信頼度が低い場合には動き検出の結果に誤りがあることを意味する。隣り合う２フレーム画像間の画像上の各位置での動きの求め方については、例えば、Ｐ．ＡＮＡＮＤＡＮ，"Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｆｒａｍｅｗｏｒｋ ａｎｄ ａｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ Ｍｅａｓｕｒｅｍｅｎｔ ｏｆ Ｖｉｓｕａｌ Ｍｏｔｉｏｎ"，ＩＪＣＶ，２，２８３−３１０（１９８９）で用いられる方法や動画像符号化で一般的に用いられる動き検出手法や、画像を用いた移動体追跡などで用いられる特徴点追跡手法などを用いることができる。また、画像全体の大域的動き(アフィン動きなど)検出の一般的手法や、Ｌｉｈｉ Ｚｅｌｋｉｋ−Ｍａｎｏｒ、“Ｍｕｌｔｉ−ｂｏｄｙ Ｓｅｇｍｅｎｔａｔｉｏｎ：Ｒｅｖｉｓｉｎｔｉｎｇ Ｍｏｔｉｏｎ Ｃｏｎｓｉｓｔｅｎｃｙ”、ＥＣＣＶ（２００２）などの手法を用いて複数の領域ごとの動き検出を行い、各画素位置での動きとして用いてもよい。信頼度の求め方については、上記Ｐ．ＡＮＡＮＤＡＮの文献に記載の方法を用いてもよく、ブロックマッチングを用いた動き検出の場合には、数１０のように、動きに対応するブロック同士の画素値の差の２乗和を差の２乗和が取り得る最大値ＳＳＤ_ｍａｘから引いた値、つまりブロック同士の画素値の差の２乗和の符号を逆にした値Ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。また、画像の大域的動き検出や領域ごとの動き検出を用いた場合にも、各画素位置の動きの始点近傍領域と終点近傍領域との画素値の差の２乗和を２乗和が取り得る最大値ＳＳＤ_ｍａｘから引いた値ｃｏｎｆ（ｘ，ｙ，ｔ）を信頼度として用いても良い。

数１０において、位置（ｘ'、ｙ'、ｔ＋１）は、動き検出の結果として得られた画素位置（ｘ、ｙ、ｔ）の移動先に相当する画素位置である。また、数１０のΣはブロックマッチングで用いるブロック領域内での加算を表す。

なお、上記説明では、高速画像入力部１０１ａから得た画像を用いて動き検出と信頼度算出を行ったが、同様の動き検出処理を低速画像入力部１０１ｂから得た画像に対して動き検出と信頼度算出を行っても良い。

また、撮影機器の姿勢の変化を検出するセンサの情報（センサ入力部１０３ｃに入力されてくる信号）を入力として用いても良い。この場合、撮像装置１０が加速度や角加速度センサを備え、センサ入力部１０３ｃが加速度の積分値として速度や角速度を得ることで、動き分布算出部１０３ａは、センサ入力部１０３ｃに入力された情報から、手ブレなどのようなカメラの姿勢の変化による画像全体の動きの情報を得ることができる。例えば、画像入力部１０１としてカメラを用いた場合、そのカメラに水平方向と垂直方向の角加速度センサを備えることで、そのセンサの出力から水平方向と垂直方向の加速度を各時刻における姿勢計測値として得ることができる。加速度値を時間で積分すると各時刻の角速度を算出することができる。カメラが時刻ｔに水平方向にωｈの角速度を持ち、垂直方向にωｖの角速度も持つ場合、カメラの角速度はカメラの向きの起因する撮像素子上（撮影画像上）の位置（ｘ，ｙ）における時刻ｔにおける像の２次元的動き（ｕ，ｖ）と一意に対応付けることができる。カメラの角速度と撮像素子上での像の動きとの対応関係は、カメラの光学系（レンズなど）の特性（焦点距離やレンズひずみなど）と撮像素子との配置や撮像素子の画素間隔とから一般的に決定できる。実際に算出するには、光学系の特性と撮像素子の配置や画素間隔から幾何学的・光学的に算出して対応関係を得るか、あらかじめ対応関係をテーブルとして保持しておき、カメラの角速度ωｈ・ωｖから、撮像素子上（ｘ，ｙ）の像の速度（ｕ，ｖ）を参照するようにしてもよい。

このようなセンサを用いた動き情報も画像から得た動き検出の結果と合せて用いても良い。この場合、動き分布算出部１０３ａは、画像全体の動き検出には主にセンサの情報を用い、画像内での対象の動きは画像を用いた動き検出の結果を使用すればよい。

次に、ステップ６０３では、動き拘束指定部１０４ｃが動き検出部１０３が求めた動き検出結果と、目的とする高速高解像度動画像との関係を指定する。図８を用いて低解像度画像で求めた動き検出結果と高速高解像度動画像との関係を説明する。図８（ａ）と図８（ｂ）は、それぞれ、高速画像の隣り合うフレーム画像（フレーム番号ｔとｔ＋１）を表している。簡単のため、低解像度画像において３画素×３画素の領域で説明する。ここで、低解像度画像の１画素を更に３画素×３画素に分けた領域が高解像度画像の画素を表している。なお、図８では、説明に必要な高解像度画素のみ図示している。ここで、動き検出部１０３が動き検出を行った結果として、図８（ａ）の太線５０１の低解像度画素位置が、図８（ｂ）の画素位置５０２に対応している（枠５０１の画像が枠５０２に移動した）とする。ここで、上述のような動き検出の手法では一般的に画素サイズより小さい単位で動きの向きや大きさを算出することができる。従って、低解像度画像の動き検出の結果を用いて、図８（ｂ）のように低解像度画素位置に一致しない高解像度画像の画素単位の動きを算出し、高速高解像度の画素に対する数１１の関係を得ることができる。

この動き検出の結果を用いて、太線の枠内（５０１，５０２）の高速高解像度動画像の各画素値について

の関係が成り立つと想定する。

ここで、ｕ（ｘ，ｙ，ｔ）とｖ（ｘ，ｙ，ｔ）は、検出結果を表しており、図８（ａ）の太線の黒枠（５０１）内の位置（ｘ，ｙ，ｔ）が図８（ｂ）の太線の黒枠（５０２）内の位置に移動する動きのうちｘ方向の移動量をｕ（ｘ，ｙ，ｔ）、ｙ方向の移動量をｖ（ｘ，ｙ，ｔ）と表している。上記の例では、動き検出を高速低解像度動画像で行ったが、低速高解像度動画像において動き検出を行った結果を同様に用いてもよい。高解像度画像を用いた場合は、動き検出を求めるフレームの時間間隔は増すが、フレーム内での対応付けの位置精度は向上する。

次に、ステップ６０４では、拘束制御部１０４ｂが拘束条件の強度の時空間的分布を決定し、拘束指定部１０４ｅが生成する高速高解像度動画像に対する総合的な拘束条件を指定する。以下詳細を説明する。拘束指定部１０４ｅは、上記数１、数２で示す高速高解像度動画像と高速画像・低速画像との画素値の関係と、上記数１１で示す動き検出結果と高速高解像度動画像との関係と、上記数４、数５、数６、数７、数９などで示す外部モデル拘束とを用いて、目的とする高速高解像度動画像に対する総合的な拘束条件Ｊ（ＨＨ）を指定する。数１２に総合的な拘束条件Ｊの例を示す。

数１２において、右辺の第１項は高速高解像度動画像から数１の関係式を使って作り出した高速低解像度動画像ＨＬ'と高速画像入力部１０１ａに実際に入力される高速低解像
度動画像ＨＬとの差（対応する画素値との差の２乗和）を表す拘束で、第２項目は高速高解像度動画像から数２の関係式を使って作り出した低速高解像度動画像ＬＨ'と、低速画
像入力部１０１ｂに実際に入力される低速高解像度動画像ＬＨとの差（対応する画素値との差の２乗和）を表す拘束である。第１項目の拘束と第２項目の拘束は、生成した画像と撮影した画像との輝度値の関係が、上記数１と数２の関係をできるだけ満たすようにするものであり、撮影画像と生成画像との間で輝度値の矛盾を生じにくくする条件である。

数１２の右辺の第３項目は外部モデル拘束条件Ｑｓであり数４や数５の条件を用いる場合には生成した画像において時空間的に隣り合う画素の輝度値は近い値を持ちやすいような拘束である。従って、ノイズのように輝度値が時空間的に小刻みに変化するような画像の生成を抑制する。数１２の右辺の第４項目は動き検出結果に基づいた拘束条件Ｑｍであり、動き検出を行った結果と生成画像との間に矛盾が生じにくいように動き検出の結果を用いた拘束の例を数１３に示す。

数１３では高速高解像度動画像における隣り合うフレーム間（ｔとｔ＋１）の動きｕ，ｖを用いて拘束を構成しているが、１フレーム以上離れたフレーム間での動き検出結果ｕ'，ｖ'を用いて数１４のように離れたフレームとの間の動き検出を行った結果を用いて拘束条件を設定してもよい。また、数１３と数１４のような拘束を併用しても良い。

異なるフレーム間隔での動き検出を用いることで、遅い動きなどのように少ないフレーム間隔では検出しにくい動きなどを検出し、画像生成に反映させることが可能となる。

数１２の右辺の第５項目はエッジの時間的連続性を示す拘束条件であり、数１２の右辺の第６項目はエッジの空間的連続性を示す拘束条件、数１２の右辺の第７項目は生成画像から非主成分を抑制する拘束条件である。

ここで、λｓ、λｍ、λｓｅ、λｔｅ、λｐｃは拘束条件の強度の時空間的分布を決定する係数であり拘束制御部１０４ｂが決定する。ステップ６０２で動き信頼度分布算出部１０３ｂが求めた動き検出の信頼度をｃｏｎｆ（ｘ，ｙ，ｔ）（＞０）とし、値が大きいと動き検出の信頼度が高いとする。

λｓ、λｍ、λｓｅ、λｔｅ、λｐｃの決め方の例として、αを予め定めた定数としてｃｏｎｆ（ｘ，ｙ，ｔ）＞αを満たす場合にλｍ（ｘ，ｙ，ｔ）＝１．０のように動き拘束を有効にし、他の拘束条件を座標（ｘ，ｙ，ｔ）において予め定めた小さな値ε（＜１．０）に設定し、ｃｏｎｆ（ｘ，ｙ，ｔ）＜＝αではλｍ（ｘ，ｙ，ｔ）＝０．０、他のλを１．０とする。つまり、動き検出部１０３において、動画像を構成する各画像を分割したブロック単位で動きを検出するに際し、ブロック同士の画素値の差の２乗和を前記２乗和の取り得る値の最大値から引いた値を動き検出の信頼度ｃｏｎｆ（ｘ，ｙ，ｔ）として算出し、画像統合部１０４において、その差が予め定めた値αよりも大きいブロックを信頼度の高い画像領域とし、その差が予め定めた値α以下のブロックを信頼度の低い画像領域として、信頼度の高い画像領域については動き検出の結果を用いて新たな画像を生成し、信頼度の低い画像領域については外部モデル拘束条件を用いて新たな画像を生成する。

他のλの決め方として、ある単調増加関数ｇ（ｘ）を用いてλｍ（ｘ，ｙ，ｔ）＝ｇ（ｃｏｎｆ（ｘ，ｙ，ｔ））、他のλの（ｘ，ｙ，ｔ）における値をｇ（ｃｏｎｆ＿ｍａｘ）−ｇ（ｃｏｎｆ（ｘ，ｙ，ｔ））とするように、連続的に定義してもよい。ここで、ｃｏｎｆ＿ｍａｘは信頼度が取り得る値の最大値である。このように、動き検出の信頼度が高い時には動き拘束に重きを置き、信頼度が低い時には外部モデル拘束の割合を増すことで、動き検出が正確に行えない位置においても、画像が劣化することを抑え、時空間解像度を高めることが可能となる。また、上記では外部モデル拘束として複数の拘束を同時に用いたが、同様に他の拘束を更に加えて用いても良いし、一部の拘束のみを用いても本発明の効果は得られる。

次に、ステップ６０５では、統合処理部１０４ａが拘束条件Ｊを最小にする高速高解像度動画像を求める。拘束条件Ｊを最小にする高速高解像度動画像の求め方としては、例えば、拘束条件Ｊを高速高解像度動画像の各画素値で微分した式が０とおいた数１５の方程式を解いて求めることや、最急勾配法などを用いて繰り返し法を用いて求めても良い。最後に、ステップ６０６では、統合処理部１０４ａは、生成した高速高解像の画像を出力する。

より具体的な入力画像の組と出力画像の例を図９から図１３を用いて説明する。ここでは説明を容易にするために、６画素×６画素×４フレームの動画像を用いて説明する。これはより大きな画像やフレーム数の大きい動画像の一部とみなすことができる。ここで、図９は、撮影の対象を仮に高速高解像度で撮影できた場合の画像を示す。図９の映像は本来撮影により取得できないが、説明の為に示す。図９（ａ）から（ｄ）は４フレームを時間の順番に並べており、静止している被写体１４０１と移動している被写体１４０２が写っている。このような被写体に対して、高速低解像度動画像と低速高解像度動画像を得る（ステップ６０１）。このような被写体の高速低解像度動画像（画素数が縦横それぞれ１／３の場合）の例を図１０に示す。図１０（ａ）から（ｄ）は、図９の（ａ）から（ｄ）の撮影時間に対応するフレームである。ここで、黒の画素と白の画素との中間の画素値の画素は左下向きの斜線で示している。フレーム数は図９と同じであるが、空間解像度が図９よりも低い。同様に、このような被写体の低速高解像度動画像（フレーム数１の場合）の例を図１１に示している。空間解像度は図９と同じであるが、図９の（ａ）から（ｄ）のフレームの間を露出しているため、被写体１４０２が移動軌跡として撮影されている。

次に、高速低解像度動画像から、動き検出部１０３は、画像中の被写体の動きと動きの信頼度を求める（ステップ６０２）。図９の画像がより大きな画像の一部を示しているため、動き検出自体はより大きな画像全体で行った結果のうち、図９の画像領域に関する結果を得ても良い。

図１２に信頼度の分布の例を示す。図１２（ａ）から（ｄ）は、図９の（ａ）から（ｄ）の撮影時間に対応する。図１２において、右下向きの斜線部分が動き検出の信頼度が低い場所を示し、他の領域（白および黒の画素）は動き検出の信頼度が高い場所を示している。ここで白と黒の画素の表示は被写体との関係を表しており、信頼度では区別はない。また、静止している被写体や背景に対する動き検出の結果は動きの量が０という扱いになる。図９の被写体のような場合、２つの被写体１４０１と１４０２が接近するあたりでは正確な動き検出が困難となる。拘束制御部１０４ｂは、動き検出結果を用いた拘束の設定（ステップ６０３）と動きの信頼度の低い位置に対する外部拘束条件とから総合的な拘束条件を設定し（ステップ６０４）、その拘束条件を用いて統合処理部１０４ａは高速高解像度動画像を生成・出力する（ステップ６０５、６０６）。

図１３に生成した画像の例を示す。図１３（ａ）から（ｄ）は、図９（ａ）から（ｄ）の撮影時間に対応する。２つの被写体が接近するフレーム図１３（ｂ）、（ｃ）では画素値が中間的な値になっているものの、本来撮影では得られない図９の映像に近い映像が得られる。図１４には動き検出の結果のみを用い、動きの信頼度や外部拘束条件を用いない場合の生成画像の例を示す。動き検出が正確に行えない図１４（ｂ）、（ｃ）のフレームの画像の右上において正確な画像の生成が行えていない。図１３の結果では、動き検出が図１３（ｂ）、（ｃ）の右上の領域で正確に行えていないことから、外部拘束条件により、画像の他の位置や他のフレームとの画素値の連続性（数４、５など）やエッジの連続性（数６、７など）や動画像の主成分の傾向（数９など）を用いることで、統合処理部１０４ａは高速高解像度動画像として望ましい画像を生成することができる。

次に、低速高解像度動画像の露出時間を高速低解像度動画像のフレーム間隔よりも長く撮影する効果を図１５〜図２２の画像を用いて説明する。

図１５は、撮影の対象を仮に高速高解像度で撮影できた場合の画像を示す。図１５の映像は本来撮影により取得できないが、説明の為に示す。図１５（ａ）〜（ｅ）は時間的に連続する５フレームを時間の順番に並べており、移動している被写体Ａ１が写っている。このような被写体に対して、撮影した高速低解像度動画像を図１６に、低速高解像度動画像を図１７と図１８に示す。図１６の（ａ）〜（ｅ）は、ぞれぞれ図１５の（ａ）〜（ｅ）の時間に対応するフレーム画像を示している。図１６は低解像度の画像を高解像度画像と同じ大きさに図示しているため、解像度の低さが画素の荒さとして現れている。ここで、低速高解像度画像は高速低解像度画像の４分の１のフレームレートとし、図１７と図１８の（ａ）と（ｂ）は図１５の（ａ）と（ｅ）の時間に露出を開始したフレーム画像に対応している。図１７は従来例のように低速高解像度画像の露出時間を短くしている場合のフレーム画像を示している。図１８は本願発明で示すように、低速高解像度画像の露出時間を高速低解像度画像のフレームレートよりも長くして撮影したフレーム画像を示している。

このようにして撮影した画像を用いて前記の手続きで生成した画像の例を図１９〜図２２に示す。ここで、図１９〜図２２の（ａ）〜（ｅ）は、ぞれぞれ図１５（ａ）〜（ｅ）の時間に対応するフレーム画像を示す。また、図２０〜図２２において斜線部分は被写体Ａ１の輝度と背景の輝度との中間輝度の領域を表している。図１９と図２０は図１６と図１７の入力画像を用い、図２１と図２２は図１６と図１８の入力画像を用いて生成した画像の例である。図１９は動き情報を用いずに生成した画像の例を示し、図２０は動き情報を用いて生成した画像の例を示している。図１９、図２０の（ａ）と（ｅ）は図１７の入力画像と同じタイミングのため鮮明な画像が得られる。一方、図１９（ｂ）から（ｄ）では動き情報を用いないため、高速低解像度画像図１６（ｂ）から（ｄ）と同等の低解像度画像となっている。

また、図２０（ｂ）から（ｄ）では低速高解像度画像を撮影したフレームから離れるに従い、画像の不鮮明さが増し、次の低速高解像度画像の撮影フレームに達したときに再び鮮明な状態に戻る。これは、低解像度高速画像から得た動き情報を利用して（ｂ）から（ｄ）の生成画像の空間解像度を向上させる必要があるものの、低解像度画像から動き検出を行うため、動き検出の精度が低くなることと、動き検出では不可避な検出誤差が生じることに起因する。これらの動き検出誤差がフレーム毎に蓄積するため鮮明度が次第に低下する。このように、図１７のような入力を用いた場合、動き検出の情報が得られないか、不正確であると、（ｂ）から（ｄ）において生成画像の鮮明度が次第に低下すると同時に、生成画像の鮮明度が周期的に（前記の例では４フレーム周期）大きく変動し、見辛い画像になり得る。低速高解像度画像のフレーム間隔が長いほどこの傾向は顕著となる。動き検出の精度が高解像度画像の解像度の精度で正確に得られれば上記のような問題は生じないが、画像中の被写体形状の複雑な変化やオクルージョン、照明変動等により、現実的には低解像度画像からの高精度の動き検出は困難である。

図２１は動き情報を用いずに生成した画像の例を示し、図２２は動き情報を用いて生成した画像の例を示している。図２１では図１５や図１７の画像に比べて多少鮮明さは低下するものの、図２０(ｄ)のような大きな鮮明度の低下が生じない。また、時間的な鮮明度の変化が抑えられており、鮮明度の時間変化による見辛さは軽減できる。更に、図２２では動きの情報を用いるため、図２１に比べて更に鮮明度が向上する。

このように従来の画像生成方法では、高速低解像度画像も低速高解像度画像とも露出時間を短くし、動きブレを抑えることで、個々の画像を鮮明に撮影していたが、生成した画像の画質を安定させ、突発的な画像の変化を適切に生成画像に反映させる上では必ずしも望ましいとはいえなかった。

本願発明の画像生成手法ではこのような従来手法とは異なり、生成する高速高解像度画像の鮮明さの向上とフレーム間の鮮明度の変化を抑えるために動きブレが生じうる長時間撮影により得た低速高解像度画像を用いてが画像を生成することを特長とする。

これにより、動き検出が行われない場合にでもフレーム毎の画質の変動を抑えるとともに、画像の動き情報を加味することで画像の鮮明さを向上させることが可能となる。更に、動き検出の信頼度を用いて信頼度の高い動き情報のみ用いることで、誤った動き情報による画像の劣化を抑えることが可能になる。

なお、長時間露出の露出時間は低速画像のフレーム間で開放すると効果を得やすい。実際には、画素値の読み取り等により、露出終了と次フレームの露出開始までには未露出時間が生じうる。このような場合にでも可能な範囲で露出を長くしておくことで本願発明の効果を得ることが可能である。

なお、長時間撮影を用いて画像を生成したか否かは、高解像度でかつ突発的な画像の変化が図１７（a）と（ｂ）の間で生じた場合に生成画像にその変化が含まれるか否かで判断することができる。

具体的な一例として、次のような状況において、長時間露光による特有の効果を得ることができる。

被写体が暗くてかつ画像内で移動している場合、従来例のように低速高解像度画像を短時間の露出で撮影すると、ノイズの多い画像が得られる。高速高解像度画像を生成する場合にも前記ノイズが影響し、生成画質が大きく低下する。これは、高解像度画像の撮像素子の受光部面積は一般的に小さいため、露出が短いと光量不足となり、撮像素子自身が発生する熱雑音が目立つことによる。

そこで、本発明のように低速高解像度画像において長時間露出を行うと、高解像度画像の撮像素子の受光部で十分な光量が蓄積でき、撮像素子自身が発生する熱雑音の影響が相対的に小さい画像を得ることができる。この画像と、高速低解像度画像（受光部の面積が高解像度画像に比べて相対的に大きくできるため、熱雑音の影響を受けにくい）で得た、輝度や動きの情報を用いて高速高解像度画像を生成することで、被写体が暗くてかつ移動している場合でもノイズの少ない画像を得やすいという特有の効果が得られる。

上記の例では、画像統合部１０４は、生成画像を出力するのみであるが、生成画像の出力と併せて画像生成の信頼度を出力しても良い。画像生成の信頼度γは生成した画像が正確に高速高解像化されている度合いを予測する値である。γの決め方としては、以下の数１６に示される動きの信頼度の総和や、

有効な拘束条件の数Ｎと求めるべき動画像の総画素数Ｍ（＝フレーム数×１フレーム画像の画素数）との比率Ｎ／Ｍなどを用いることができる。ここでＮ＝Ｎｈ＋Ｎｌ＋Ｎλ×Ｃであり、Ｎｈは高速画像の総画素数（フレーム数×１フレーム画像の画素数）、Ｎｌは低速画像の総画素数、Ｎλは外部拘束条件を有効にする時空間位置（ｘ，ｙ，ｔ）の総数、Ｃは外部拘束の種類の数とする。なお、数１５などの方程式を連立１次元方程式として解く場合には、Ｃｌｉｎｅ，Ａ．Ｋ．， Ｍｏｌｅｒ，Ｃ．Ｂ．，Ｓｔｅｗａｒｔ， Ｇ．Ｗ．ａｎｄ Ｗｉｌｋｉｎｓｏｎ，Ｊ．Ｈ．，”Ａｎ Ｅｓｔｉｍａｔｅ ｆｏｒ ｔｈｅ Ｃｏｎｄｉｔｉｏｎ Ｎｕｍｂｅｒ ｏｆ ａ Ｍａｔｒｉｘ”，ＳＩＡＭ Ｊ．Ｎｕｍ． Ａｎａｌ．１６（１９７９），３６８−３７５．などに記載されている解の算出計算の安定性を示す条件数を信頼度として用いることができる。動きの信頼度の高い場合、動き拘束を用いた生成画像の信頼度も高いことが期待できる。また、生成する動画像の総画素数に対して有効な拘束条件が多い場合には、解としての生成画像を安定して得ることができ、生成画像の信頼度も高いことが期待できる。同様に、上記条件数が小さい場合にも解の誤差が小さいことが期待できる為、生成画像の信頼度が高いと期待できる。

このように、生成画像の信頼度を出力することで、出力した動画像に対してＭＰＥＧなどの圧縮符号化を行う際に、信頼度の低い場合には圧縮率を高め、逆に、信頼度の高い場合には圧縮率を低く設定することが可能となり、適切な圧縮率の設定が可能となる。例えば生成画像の信頼度γと符号化の圧縮率δとの関係を図２３のように単調増加の関係に設定し、生成した動画像の信頼度γの値に対応する圧縮率δで符号化を行う。生成画像の信頼度γが低い場合には生成画像が誤差を含みうるため、圧縮率を高くしても実質的に情報の欠損があまり生じないことが期待されるため、効果的にデータ量を削減できる。ここで圧縮率とは、もとの画像のデータ量に対する符号化後のデータ量の割合で、圧縮率が高い（大きい値）ほど、符号化後のデータ量は小さくなり、復号化した際の画質は低下する。

同様に、ＭＰＥＧの場合などでは、前記信頼度の高いフレームを優先的にＩピクチャなどのフレーム内符号化の対象とし、他のフレームをフレーム間符号化の対象とすることで、動画像の再生時の速送り再生や一次停止時などの画質を向上させることが可能となる。例えば、前記生成画像の信頼度をフレーム毎に求めておきγ（ｔ）と置く。ｔはフレーム時刻である。連続する複数のフレームの中から、フレーム内符号化を行うフレームを選択する際にγ（ｔ）が予め定めた閾値γｔｈより大きいフレームの中から選択したり、予め定めた連続フレーム区間の中で最もγ（ｔ）の大きいフレームを選択する。

なお、出力動画像を符号化する処理の有無に関わらず本発明の効果は得られる。

また、上記の例では、画素値として単一の輝度のみを前提に説明したが、輝度に対する上記の処理をＲＧＢカラー表現のＲとＧとＢの各成分について個々に同じ処理を行って高速高解像度動画像を得ることで、カラー画像に対しても高速高解像度動画像を生成することが可能である。また、より簡易に色情報を扱う方法としては、低速画像を輝度と色差に分解し、輝度画像のみを上記の処理で高速高解像度化し、色差情報は補完拡大して前記高速高解像度輝度画像に付加することでも、効果は得られる。この場合、画像の情報の主成分は輝度に含まれる為、他の色差の情報が補完拡大された場合であっても、両者を合わせることで、入力した画像に比べて、高速高解像度化した動画像を得ることが可能となり、ＲＧＢ独立に処理する場合に比べて処理量を削減することが可能となる。

このようなカラー画像に対する処理の手順を図２４に示す。ステップ２１０１では高速低解像度動画像を輝度画像と色差画像に分離し、続いて、ステップ２１０２で、前記輝度画像と低速高解像度動画像の輝度画像とを用いて図３の手順に基づいて高速高解像度動画像を生成する。ステップ２１０３では、前記色差画像を高解像度画像と同じ画素数に補間拡大する。ステップ２１０４では、前記生成輝度画像と前記補間拡大した色差画像とを合成して高速高解像度のカラー画像を生成する。このように、画像統合部１０４が、高速低解像度動画像から色差情報を抽出し、高速低解像度動画像の輝度情報と低速高解像度動画像とから中間的な新たな動画像を生成し、生成した中間的な動画像に色差情報を付加することによって、最終的な新たな動画像を生成することで、カラーの動画像を少ない処理量で統合することができる。

以上のように、本実施の形態における画像生成システム１００によれば、動き検出部１０３が求めた動きの信頼度に応じて、拘束制御部１０４ｂが外部モデル拘束条件と動き拘束条件とを有効にする度合いを決定し、前記拘束条件を用いて高速画像と低速画像を統合することにより、動き検出が行えない場合や、動き検出の精度が低い画像領域においても高速高解像の動画を得ることができる。

なお、本実施の形態では、動画像全体を一括で処理する例を説明したが、動画像を時空間的に複数の領域に分割し、前記各領域において上記と同様の処理を行って高速高解像の部分動画像を生成した後、生成した前記各部分動画像を時空間的に接合し、動画像全体の高速高解像の動画像を得ても良い。このように時空間的に分割処理を行う事で、画素数の多い画像やフレーム数の多い動画像を行う際に必要となる計算処理量やメモリ量を抑制する事が可能となる。特に、時間方向に動画像を分割することで、過去に入力された複数フレームを一括処理することによる画像生成の時間遅れを短縮することも可能になる。

また、上記のように分割処理する際に、隣接する時空間領域が分割境界近傍において、重複するように、各領域を設定してもよい。図２５に空間的に重複を持たせて領域分割をした例を示す。図２５では画像を空間的に重複領域を持たせて領域７０１〜７０４の４領域に分割している。個々の領域に相当する動画像を生成した後に、重複部分の画素値は重複する各領域の画素値を重み付け加算平均を行うことで、滑らかな接合を行うことができる。また、時間方向に重複を持たせて図２５と同様に領域分割しても良い。このように、重複領域を持たせることで、領域分割処理において隣接する領域間での処理結果の不連続性を抑制する事ができる。

なお、このような重複を許す分割処理において、重複領域の大きさは、予め定めておく。重複領域の大きさを大きくすることで、処理領域間での処理結果の不連続性を低減する効果が増す。重複領域の大きさを小さくすると重複によって増加する計算量を抑えることが可能となる。

また、上記のように領域分割する際の時間方向の領域境界としては、予め動画像のフレーム間の画像の変化を算出し、フレーム間の画像の変化が予め定めた基準より大きいフレーム間に時間的な領域境界を設定しても良い。例えば、隣り合うフレーム画像の差として数１７のような値ＳＳＤ（ｔ）を定義し、ＳＳＤ（ｔ）＞ｔｈを満たす場合に、時刻ｔのフレームと時刻ｔ＋１のフレームとの間を処理の境界とし、時刻ｔ以前のシーケンスと時刻ｔ＋１以降のシーケンスの処理を分けて行う。

ここで、Ｉ（ｘ，ｙ，ｔ）は時刻ｔのフレーム画像中の位置（ｘ，ｙ）における輝度を示し、ｔｈは予め定めた閾値である。また、閾値ｔｈを基準として処理の区切りを決定する替わりに、処理の区切りを設けたい時間領域のシーケンスにおいて前記ＳＳＤ（ｔ）が最大になる時刻ｔを処理の区切りとしても良い。このようにすることで、時間的に隣接する領域間の処理結果の不連続性がフレーム間の画像の変化に対して相対的に小さくなる事で不連続性が知覚されにくくなるという効果が期待できる。

なお、上記の例では、高速低解像度画像のフレームレートと同じフレームレートかつ低速高解像度画像と同じ画素数の画像を生成する例を示したが、同様の処理を用いて、高速低解像度画像のフレームレートよりもさらに高いフレームレートの画像や、低速高解像度画像よりもさらに画素数が多い画像を生成することも可能である。

例えば、高速低解像度画像のフレームレートのｎ倍（例えば２倍）のフレームレートの画像を生成する場合には、数１と数２に代えて、数１８と数１９を用いて同様の処理を行えばよい。

ここで、ｘ、ｙ、ｔは生成される画像のｘｙ座標とフレーム番号を表し、ｔ_Ｌは低速高解像度画像のフレーム番号、ｘ_Ｌ、ｙ_Ｌ、ｔ_ＨＬは高速低解像度画像のｘｙ座標とフレーム番号を表している。

数１８では、数１と同様にＨＨ画像を空間方向（ｘｙ方向）に加算し、さらには時間方向にも２フレーム加算して高速低解像度画像の画素値が得られることを示している。数１９では数２と比べてフレーム加算数が２倍になっている。

動き検出については、高速低解像度画像で動き検出を行った結果得られる動きのｘｙ方向の大きさと動き検出の信頼度ｕ（ｘ_Ｌ，ｙ_Ｌ，ｔ_ＨＬ）、ｖ（ｘ_Ｌ，ｙ_Ｌ，ｔ_ＨＬ）、及びｃｏｎｆ（ｘ_Ｌ，ｙ_Ｌ，ｔ_ＨＬ）を用いて、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）、ｃｏｎｆ（ｘ，ｙ，ｔ）を生成する。

ここで、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）、及びｃｏｎｆ（ｘ，ｙ，ｔ）は、それぞれｕ（ｘ_Ｌ，ｙ_Ｌ，ｔ_ＨＬ）、ｖ（ｘ_Ｌ，ｙ_Ｌ，ｔ_ＨＬ）、及びｃｏｎｆ（ｘ_Ｌ，ｙ_Ｌ，ｔ_ＨＬ）を時間方向にｎ倍（例えば２倍）に拡大し、空間方向にｍ倍（例えば３倍）に拡大する時空間補間拡大によって算出する。

特に、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）の値が画素数で表現される場合は、ｕ（ｘ_Ｌ，ｙ_Ｌ，ｔ_ＨＬ）、ｖ（ｘ_Ｌ，ｙ_Ｌ，ｔ_ＨＬ）を時空間補間拡大して得た値をｍ／ｎ倍して用いるとよい。これは、フレーム間隔が１／ｎ倍になるため、被写体の動きについて等速運動を仮定すると動きの大きさも１／ｎ倍になることと、１フレームの画素数がｘｙ方向それぞれｍ倍になるため、同じ大きさの動きを表現するための値がｍ倍になるためである。

また、低速高解像度画像の画素数の、縦横ともにｎ’倍（例えば２倍）の画素数の画像を生成する場合には、数１と数２に代えて、数２０と数２１を用いて同様の処理を行えばよい。

ここで、ｘ、ｙは生成される画像の画素のｘｙ座標を示し、ｘ_ＬＨとｙ_ＬＨは低速高解像度画像の画素のｘｙ座標を示し、ｘ_Ｌ，ｙ_Ｌは高速低解像度画像の画素のｘｙ座標を示す。数２０では数１と比べてｘｙ方向の画素の加算数がそれぞれ２倍になっている。数２１では数２と同様の時間方向の加算に加え、ｘｙ方向の加算により低速高解像度の画素値が得られることを示している。

動き検出については、高速低解像度画像で動き検出を行った結果得られる動きのｘｙ方向の大きさと動き検出の信頼度ｕ（ｘ_Ｌ，ｙ_Ｌ，ｔ）、ｖ（ｘ_Ｌ，ｙ_Ｌ，ｔ）、ｃｏｎｆ（ｘ_Ｌ，ｙ_Ｌ，ｔ）を用いて、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）、ｃｏｎｆ（ｘ，ｙ，ｔ）を生成する。

ここで、ｃｏｎｆ（ｘ，ｙ，ｔ）、ｕ（ｘ，ｙ，ｔ）、及びｖ（ｘ，ｙ，ｔ）は、それぞれｃｏｎｆ（ｘ_Ｌ，ｙ_Ｌ，ｔ）、ｕ（ｘ_Ｌ，ｙ_Ｌ，ｔ）、及びｖ（ｘ_Ｌ，ｙ_Ｌ，ｔ）を空間方向にｎ’×ｍ倍に拡大する空間補間拡大によって算出する。

特に、ｕ（ｘ，ｙ，ｔ）、ｖ（ｘ，ｙ，ｔ）の値が画素数で表現される場合は、ｕ（ｘ_Ｌ，ｙ_Ｌ，ｔ）、ｖ（ｘ_Ｌ，ｙ_Ｌ，ｔ）を空間補間拡大して得た値をｎ’×ｍ倍して用いるとよい。これは、１フレームの画素数がｘｙ方向それぞれｎ’×ｍ倍になるため、同じ大きさの動きを表現するための値がｎ’×ｍ倍になるためである。

また、上記の数１８、数１９を用いた処理と、数２０、数２１を用いた処理とを組み合わせることで、高速低解像度画像のフレームレートよりも高いフレームレートでかつ、低速高解像度画像よりも大きい画素数の画像を生成することも、容易である。

以上、本発明に係る画像生成装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。

また、本発明の画像生成装置が行う画像生成処理の一部または全部は、専用の機器で行わせるようにしてもよいし、コンピュータ端末装置や、基地局等に配置される通信機器や、スタンドアロンのコンピュータに内蔵されるＣＰＵが画像生成処理プログラムを実行することによって、画像生成処理を行うようにしてもよい。

また、図１に示された画像生成システム１００の構成のうち、表示装置４０を除いた構成を用いて、図２６に示すようなカメラ３００として、つまり、単体の装置として本発明を実現してもよい。

さらに、図２６に示されたカメラ３００に表示装置４０を付加することにより、動画像録画・再生機能付きのカメラとして実現しても良い。

また、図２に示された画像生成システム１００の構成のうち、撮像装置１０を除いた構成を用いて、図２７に示すようにテレビなどのディスプレイ機器４００として本発明を実現しても良い。この場合、あらかじめ録画してある動画像の時空間解像度を向上させて表示することが可能になる。

（第２の実施の形態）
本発明の第２の実施形態は、前述した画像生成装置を時空間位相が異なる複数の動画像に適用する一例であって、前記画像入力手段は、時空間位相が異なる複数の動画像として、原動画像の本来のフレーム画像の複数の部分をそれぞれ異なる時刻について表す複数種類のフィールド画像のうち、一種類のフィールド画像を複数のフレームについて連ねてなる異なる複数の動画像を受け付け、前記画像統合手段は、前記原動画像のフィールドレートと同等のフレームレートを有し、かつ前記本来のフレーム画像と同等の解像度を有するフレーム画像から構成される新たな動画像を生成する。

これにより、本来のフレーム画像に比べて解像度が低いフィールド画像を第１の実施の形態で説明した処理によって統合することによって、本来のフレーム画像と同等の解像度を持つフレーム画像をフィールドの時間レートで含む、高解像度かつ高速な新たな動画像を得ることができる。

また、前記フィールド画像の露出時間を、時間的に隣接するフィールド間の時間間隔よりも長く取るように撮影することにより、より多くの情報量を得ることができる。

以下、図面を参照しながら本発明の第２の実施の形態に係る画像生成システムについて詳細に説明する。

図２８に第２の実施形態における画像生成装置の構成を示す。基本的な構成は第１の実施形態と同じであるが、画像入力部１０１が、同一の対象物を撮像するマルチインタレース画像入力部１０１ｃから構成される点で異なる。

マルチインタレース画像入力部１０１ｃは、１フレームの画像を１対ｎインタレース（ｎは２以上の整数）画像として得るもので、撮像画素位置と撮影タイミングの異なるｎ種類のフィールド画像（時空間位相の異なる複数の動画像）を入力する。

図２９、２２、２３、２４、２５を用いて異なるフィールド画像の撮影方法の例について説明する。図２９と図３０は、ｎ＝３の場合の各フィールド画像の一部分の撮影タイミングを表している。図の横軸の番号がフィールドの番号を表しており撮影時刻に対応する。図の縦軸は画像の縦軸（水平ライン数）を表している。ｉは０以上の任意の整数で水平ラインの画像中での位置を表している。

図中の矩形は各画素位置での露出期間を示しており、ｎ＝３の場合、撮影されるライン位置と撮影タイミングの異なる３種類のフィールド画像のそれぞれを白色の矩形、格子模様の矩形、斜線の矩形で表現している。この場合、１フレームの画像を異なる水平ライン位置に分けて異なるタイミングで撮影し複数のフィールド画像を得る。各フィールド画像の横方向、つまり各ラインは同時に撮影される。

ここで、各フィールド画像の露出時間は必ずしも隣り合うフィールド間の時間間隔よりも短い（図３０）必要はなく図２９のように長く行っても良い。このように長時間の露出を行った場合には、被写体の輝度変化の情報も取得することが可能となり、前記情報を活用した高解像度画像を生成することが可能となる。

図３１、図３２には、ｎ＝４の場合の４種類のフィールド画像（白色矩形、格子模様の矩形、斜線の矩形、縦縞の矩形）の撮影タイミングを示している。図３１と図３２とでは各ラインの撮影順序が異なる。図３１のように隣り合うラインを順次撮影する必要は必ずしもなく、図３２のように撮影されるラインが時空間的に分散して配置されている方が望ましい。

図３３はｎ＝４の場合に画像の横方向（図中のＸ軸方向）の位置についても撮影位置と撮影タイミングを変えた場合の各フィールド画像の撮影位置（各矩形は画素位置を表す）と撮影タイミング（矩形の模様の違い）を表している。図において４種類の画素の撮影タイミングは図３１、図３２と同様に時間的に異なり、撮影画素が画像の縦方向（図中のＹ軸方向）および横方向の何れにも時間的に分散されるように定められる。

上記のようなマルチインタレース画像を入力する場合、異なるフィールドは異なるタイミングで画素値を得ることができるため、通常のプログレッシブ撮影方法などと同じ画素読み出し速度でも、より多くの画素からなる画像の入力が可能となる。

次に、上記の画像入力（ｎ＝３）を用いた場合の入力画素値（ここでは、輝度値）と高速高解像度画像の画素値との関係を数２２〜数２４に示す。第１の実施の形態の数１と数２と同様に数２２〜数２４の関係は、高速高解像度動画像の各画素が満たすべき外部モデル拘束条件として画像生成に使用される。

ここで、ＨＨ（Ｘ，Ｙ，ｔ）は第１の実施形態と同様に高速高解像度画像の画素位置（Ｘ，Ｙ，ｔ）における画素値を表す。ここで、高速高解像度画像の画素数は全フィールド画像の画素数の和（＝１種類のフィールド画像の画素数×ｎ）であり、高速高解像度画像のフレーム間隔は時間的に隣り合うフィールド画像の時間間隔とする。

図３４に図２９、図３０に対応する高速高解像度画像の各フレームの画素配置の例を示す。図３４において白色の矩形が各フレームの画素位置を示す。ＭＩ１（Ｘ，Ｙ，ｔ1）は第１フィールド画像の画素位置（Ｘ，Ｙ，ｔ１）の画素値を表し、数２２では３フィールド分露出していることを表している。ＭＩ２（Ｘ，Ｙ，ｔ1）、ＭＩ３（Ｘ，Ｙ，ｔ1）についても同様である。

ここで、各画像の画素値は撮像時の入射光量に比例し、比例定数も共通であるとしている。比例しない場合の補正は第１の実施形態と同様である。また、Ｒ、Ｇ、Ｂのカラー値も輝度値と同様に扱うことが可能である。画像を入力した後の処理は第１の実施形態と同様である。

図３５を用いて本実施形態における動作を説明する。主な動作は第一の実施形態と同様であるが、最初の画像入力のステップ２７０１において画素位置および撮影タイミングの異なるｎ種類のインタレース画像を読み込む。ここで、被写体（言い換えれば実際に生成されるべき高速高解像度の画像）の例を図３６に示す。図３６では（ａ）から（ｆ）まで時間順に１２画素×１２画素で６フレームの画像を表しており、図中には静止している黒色の矩形２８０１と右下方向に移動している黒色の矩形２８０２が存在する。

図３７、図３８、図３９に、図２９に示されるｎ＝３の場合の撮影方法を用いて、図３６に示される被写体を撮影した場合に得られるインタレース画像の例を示す。図３７は図２９の白色の矩形の撮影位置と撮影タイミングで図３６の被写体を撮影した結果であり、離れた画素位置は空白で間を空けて図示される。画素数は縦が４画素、横１２画素で、図３７（ａ）は図３６の第１フレームから第３フレームの間を写した結果であり、黒色の矩形の移動によるぶれた位置の画素は斜線で示している。同様に図３７（ｂ）は第４フレームから第６フレームの間を写した結果である。

図３７と同様に、図３８は図２９の格子模様の矩形の撮影位置と撮影タイミングで得られる２枚のフィールド画像を示し、図３９は図２９の斜線の矩形の撮影位置と撮影タイミングで得られる２枚のフィールド画像を示している。

次に、ステップ２７０２では図３８、図３９、図４０の画像から、必要に応じて補間処理を行い、未撮影の位置やタイミングの画素値を求めることによって、高速高解像度画像を得る。

図２９の撮影方法では高速高解像度画像の３フレーム分の時間露出を行っているために、未撮影時間は存在しないが、図３０のような撮影方法を用いた場合には、未撮影位置や未撮影タイミングが存在する。

図３０の撮影方法を用いた場合に得られるインタレース画像の例を、図４２、図４３、図４４に示す。図３７、図３８、図３９に示されるインタレース画像と比べて、ぶれた画素がない反面、未撮影タイミングにおける情報は画素値に反映されていない。

そのため、一般的な画像の補間手法（バイキュービック法など）を用いて、既に得られている画素値から未撮影位置・未撮影タイミングの画素値を求める。補間の手法は他の方法でも良く、例えば、第１の実施の形態で説明した画像生成手法において動き情報（動き検出を用いた拘束条件）を除いた他の拘束条件のみを用いて画像生成を行って補間画像を得ても良い。

また、図２９の撮影方法を用いて未撮影位置が存在しない画像が得られる場合であっても第１の実施の形態の画像生成手法で画像生成を行ってもよい。そうすれば、動きブレを含んだままの画像から拘束条件を用いてより望ましい画像に変換することが可能となり、次のステップにおける動き検出の精度の向上が期待できる。

なお、上記の例では、ステップ２７０２で補間画像を生成した後、動き検出および動き検出の信頼度を求めているが、補間画像を生成する前の画像を用いて動き検出および動き検出の信頼度を求めても、上記の例と同様に本願発明の効果が得られる。

次に未撮影位置のない画像を用いて、動き検出と動きの信頼度を算出する（ステップ２７０３）。ステップ２７０３からステップ２７０４までの処理は第１の実施の形態と同様である（図３ステップ６０２からステップ６０３を参照）。

次に、目的とする高速高解像度動画像に対する総合的な拘束条件Ｊ（ＨＨ）を設定する（ステップ２７０５）。本実施の形態での総合的な拘束条件Ｊの例を数２５に示す。

数２５の右辺において、第１項は高速高解像度動画像から数２２の関係式を使って作り出したインタレース画像ＭＩ１’とマルチインタレース画像入力部１０１ｃに実際に入力されるインタレース画像ＭＩ１との差（対応する画素値との差の２乗和）を表す拘束である。

第２項は、高速高解像度動画像から数２３の関係式を使って作り出したインタレース画像ＭＩ２’とマルチインタレース画像入力部１０１ｃに実際に入力されるインタレース画像ＭＩ２との差を表す拘束である。

第３項は、高速高解像度動画像から数２４の関係式を使って作り出したインタレース画像ＭＩ３’とマルチインタレース画像入力部１０１ｃに実際に入力されるインタレース画像ＭＩ３との差を表す拘束である。

第１〜３項の拘束は、生成した画像と撮影した画像との輝度値の関係が、上記数２２〜数２４の関係をできるだけ満たすようにするものであり、撮影画像と生成画像との間で輝度値の矛盾を生じにくくする条件である。数２５の右辺の第４項目以降は第１の実施の形態の数１２と同等である。

以降のステップ２７０６およびステップ２７０７は、第１の実施の形態の図３のステップ６０５とステップ６０６と同様である。

生成される画像の例を図４０及び図４１に示す。ここで、図４０は動き検出の信頼度を用いない場合の結果の例で、図４１は動き拘束の信頼度を用いた場合の結果の例を示している。

第１の実施の形態と同様に図３６の映像では２つの黒色の矩形が接触する付近で動き検出が一般的に困難になるため、動き検出の誤りが起こりやすい。従って、各フィールド画像において動き検出の信頼度が前記２つの矩形が接触する付近で低い値を持つようになる。

ここで、動き検出の信頼度を用いないで画像の生成を行うと、矩形が接触する付近で誤った動き検出を用いて画像を生成することになり、図４０のような画像を得ることになる。一方、動き検出の信頼度を用いて、矩形が接触する付近では動き検出の結果を重視せずに、他の高速条件を優先的に用いることで図４１のようにより、望ましい画像を得ることが可能となる。

このように、本実施例のような画像入力を行った場合にでも、動き検出結果を用いる際に、動き検出の信頼度を利用して拘束条件を設定することで、動き検出が困難な場所も含めて高速高解像度の動画像を得ることが可能となる。

更に、第２の実施形態の構成では、通常の撮像素子の画素値の読み出しの順序やタイミングや露出形態を変更するのみで、入力部を構成し、通常の撮像素子の撮影画像に比べて時空間解像度を向上させることが可能となる利点もある。

なお、特許請求の範囲と実施の形態における構成要素の対応は次の通りである。つまり、特許請求の範囲における「画像入力手段」、「動き検出手段」、「外部モデル拘束手段」、「画像統合手段」の一例が、それぞれ、実施の形態における画像入力部１０１、動き検出部１０３、外部モデル拘束部１０４ｄ、画像統合部１０４である。ただし、特許請求の範囲における各構成要素は、これら実施の形態における対応する構成要素だけに限定されるのでなく、その等価物も含まれる。

本発明は、複数の動画像から新たな動画像を生成する画像生成装置として、特に、高速低解像度動画像と低速高解像度動画像とから高速高解像度動画像を生成する画像生成装置、そのような装置が組み込まれた映像機器やシステム、映像合成装置、映像編集装置、画像復元装置、画像復元プログラム等として利用できる。

図１は、本発明の実施の形態における画像生成システムのハードウェア構成を示すブロック図である。 図２は、第１の実施形態における画像生成装置の構成を示す機能ブロック図である。 図３は、画像生成装置の動作を示すフローチャートである。 図４は、入力画像の時系列の一例を示す図である。 図５は、撮影装置の具体例を示す図である。 図６は、（ａ）〜（ｃ）は、それぞれ、生成する高速高解像度動画像、入力される高速低解像度動画像および低速高解像度動画像の画素配置の一例を示す図である。 図７は、画素値を補正する場合における入射光量と画素値との関係の例を示すグラフである。 図８は、高速低解像度動画像で求めた動き検出結果と高速高解像度動画像との関係を示す図である。 図９は、生成する高速高解像度動画像のフレーム画像の一例を示す図である。 図１０は、入力される高速低解像度動画像のフレーム画像の一例を示す図である。 図１１は、入力される低速高解像度動画像のフレーム画像の一例を示す図である。 図１２は、信頼度の分布例を示す図である。 図１３は、生成された動画像のフレーム画像の一例を示す図である。 図１４は、信頼度を用いないで生成した場合の動画像のフレーム画像の一例を示す図である。 図１５（ａ）〜（ｅ）は、高速高解像度画像のフレーム画像の一例を示す図である。 図１６（ａ）〜（ｅ）は、高速低解像度画像のフレーム画像の一例を示す図である。 図１７（ａ）、（ｂ）は、短時間露出で撮影した低速高解像度画像のフレーム画像の一例を示す図である。 図１８（ａ）、（ｂ）は、長時間露出で撮影した低速高解像度画像のフレーム画像の一例を示す図である。 図１９（ａ）〜（ｅ）は、短時間露出で生成したフレーム画像の一例を示す図である。 図２０（ａ）〜（ｅ）は、短時間露出で生成したフレーム画像の一例を示す図である。 図２１（ａ）〜（ｅ）は、長時間露出で生成したフレーム画像の一例を示す図である。 図２２（ａ）〜（ｅ）は、長時間露出で生成したフレーム画像の一例を示す図である。 図２３は、生成した画像の信頼度を用いて画像を符号化する圧縮率を変化させる場合の信頼度と圧縮率との関係の一例を示すグラフである。 図２４は、カラーの動画像を統合する場合の処理手順を示すフローチャートである。 図２５は、領域分割処理の一例を示す図である。 図２６は、画像生成システムの具体例を示すブロック図である。 図２７は、画像生成システムの具体例を示すブロック図である。 図２８は、第２の実施形態における画像生成装置の構成を示す機能ブロック図である。 図２９は、入力画像の撮影位置と撮影タイミングの一例を示す図である。 図３０は、入力画像の撮影位置と撮影タイミングの一例を示す図である。 図３１は、入力画像の撮影位置と撮影タイミングの一例を示す図である。 図３２は、入力画像の撮影位置と撮影タイミングの一例を示す図である。 図３３は、入力画像の撮影位置と撮影タイミングの一例を示す図である。 図３４は、高速高解像度画像の画素配置の一例を示す図である。 図３５は、画像生成装置の動作を示すフローチャートである。 図３６は、第２の実施形態における高速高解像度動画像のフレーム画像の一例を示す図である。 図３７は、入力されるフィールド画像の一例を示す図である。 図３８は、入力されるフィールド画像の一例を示す図である。 図３９は、入力されるフィールド画像の一例を示す図である。 図４０は、信頼度を用いないで生成した場合の動画像のフレーム画像の一例を示す図である。 図４１は、生成された動画像のフレーム画像の一例を示す図である。 図４２は、入力されるフィールド画像の一例を示す図である。 図４３は、入力されるフィールド画像の一例を示す図である。 図４４は、入力されるフィールド画像の一例を示す図である。 図４５は、従来の画像生成装置の構成を示すブロック図である。 図４６は、従来の画像生成装置における入力画像の時系列を示す図である。

符号の説明

１０ 撮像装置
２０ 画像記憶装置
３０ 画像生成装置
４０ 表示装置
１００ 画像生成システム
１０１ 画像入力部
１０１ａ 高速画像入力部
１０１ｂ 低速画像入力部
１０１ｃ マルチインターレース画像入力部
１０２ 符号化部
１０３ 動き検出部
１０３ａ 動き分布算出部
１０３ｂ 動き信頼度分布算出部
１０３ｃ センサ入力部
１０４ 画像統合部
１０４ａ 統合処理部
１０４ｂ 拘束制御部
１０４ｃ 動き拘束指定部
１０４ｄ 外部モデル拘束部
１０４ｅ 拘束指定部
３００ カメラ
４００ ディスプレイ機器

Claims (12)

1. 同一事象を撮影して得られた複数の動画像から、前記事象を表す新たな動画像を生成する画像生成装置であって、
   第１動画像と、前記第１動画像と同一の事象を撮影し、解像度が前記第１動画像の解像度よりも高く、かつ各々のフレームが前記第１動画像の１フレーム時間よりも長時間の露光によって得られる第２動画像とを受け付ける画像入力手段と、
   前記第１動画像と前記第２動画像とから、前記第１動画像のフレームレート以上のフレームレートでかつ前記第２動画像の解像度以上の解像度の新たな動画像を、前記第２動画像のフレームと、そのフレームの露光期間に対応する前記新たな動画像の複数のフレームの合計との誤差を減少させることによって生成する画像統合手段と
   を備えることを特徴とする画像生成装置。
2. 前記第２動画像のフレームはフレーム間の開放露光により得られる
   ことを特徴とする請求項１記載の画像生成装置。
3. さらに、生成される新たな動画像の画素値が、時空間的に隣り合う画素の画素値の連続性から満たすべき拘束条件を指定する拘束手段を備え、
   前記画像統合手段は、前記指定された前記拘束条件が維持されるように前記新たな動画像を生成する
   ことを特徴とする請求項１記載の画像生成装置。
4. さらに、前記画像入力手段が受け付けた複数の動画像の少なくとも１つから対象物の動きを検出する動き検出手段と、
   生成される新たな動画像の画素値が、前記動き検出結果に基づいて満たすべき拘束条件を指定する拘束手段とを備え、
   前記画像統合手段は、指定された前記拘束条件が維持されるように前記新たな動画像を生成する
   ことを特徴とする請求項１記載の画像生成装置。
5. 前記動き検出手段は、前記動き検出の信頼度を算出し、
   前記画像統合手段は、前記動き検出手段によって算出された信頼度が高い画像領域については前記動き検出結果に基づく拘束条件を用いて新たな画像を生成し、前記信頼度が低い画像領域については動き拘束以外の予め定められた拘束条件を用いて前記新たな動画像を生成する
   ことを特徴とする請求項４記載の画像生成装置。
6. 前記動き検出手段は、前記動画像を構成する各画像を分割したブロック単位で動きを検出し、ブロック同士の画素値の差の２乗和の符号を逆にした値を前記信頼度として算出し、
   前記画像統合手段は、前記信頼度が予め定めた値よりも大きいブロックを信頼度の高い画像領域とし、前記信頼度が予め定めた値よりも小さいブロックを信頼度の低い画像領域として、前記新たな動画像を生成する
   ことを特徴とする請求項５記載の画像生成装置。
7. 前記動き検出手段はさらに、対象物を撮像する撮像装置の姿勢を検出する姿勢センサからの信号を受け付ける姿勢センサ入力部を有し、前記姿勢センサ入力部が受け付けた信号を用いて前記動きを検出する
   ことを特徴とする請求項４記載の画像生成装置。
8. 前記画像統合手段は、前記第１動画像から色差情報を抽出し、前記第１動画像から取得された輝度情報と前記第２動画像とから中間的な新たな動画像を生成し、生成した中間的な動画像に前記色差情報を付加することによって、最終的な前記新たな動画像を生成する
   ことを特徴とする請求項１記載の画像生成装置。
9. 前記画像統合手段は、前記複数の動画像の少なくとも１つについて画像の時間的な変化量を算出し、算出した変化量が予め定めた値を超える時間を画像生成の区切りとして新たな動画像を生成する
   ことを特徴とする請求項１記載の画像生成装置。
10. 前記画像統合手段はさらに、生成した新たな動画像の信頼性を示す値を算出し、算出した値を前記新たな動画像とともに出力する
    ことを特徴とする請求項１記載の画像生成装置。
11. 複数の動画像から新たな動画像を生成する画像生成方法であって、
    第１動画像と、解像度が前記第１動画像の解像度よりも高くかつ一つのフレームが前記第１動画像の複数のフレーム期間にわたる露出により得られる第２動画像とを受け付ける画像入力ステップと、
    前記第１動画像のフレームレート以上のフレームレートでかつ前記第２動画像の解像度以上の解像度の新たな動画像を、前記第２動画像のフレームと、そのフレームの露出期間に対応する前記新たな動画像の複数のフレームの合計との誤差を減少させるように生成する画像統合ステップと
    を含むことを特徴とする画像生成方法。
12. 複数の動画像から新たな動画像を生成するためのプログラムであって、
    請求項１１記載の画像生成方法に含まれるステップをコンピュータに実行させる
    ことを特徴とするプログラム。

Images