JP2004120603A - 画像処理方法および装置並びにプログラム - Google Patents
画像処理方法および装置並びにプログラム Download PDFInfo
- Publication number
- JP2004120603A JP2004120603A JP2002283885A JP2002283885A JP2004120603A JP 2004120603 A JP2004120603 A JP 2004120603A JP 2002283885 A JP2002283885 A JP 2002283885A JP 2002283885 A JP2002283885 A JP 2002283885A JP 2004120603 A JP2004120603 A JP 2004120603A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- frames
- resolution
- interpolation
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003672 processing method Methods 0.000 title claims description 18
- 239000013598 vector Substances 0.000 claims abstract description 163
- 238000000034 method Methods 0.000 claims description 55
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000005070 sampling Methods 0.000 claims description 18
- 230000002194 synthesizing effect Effects 0.000 claims description 14
- 239000002131 composite material Substances 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 31
- 230000001186 cumulative effect Effects 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
【課題】動画像からサンプリングされた複数のフレームから、ノイズやアーチファクトを低減しつつも高画質の高解像度フレームを得る。
【解決手段】動画像データＭ０からサンプリングされたフレームＦｒ１，Ｆｒ２を動ベクトルＶ１２に応じて内挿処理して第１の高解像度フレームＨＦｒ１を算出する。一方、フレームＦｒ１，Ｆｒ２に対して時間フィルタ処理を施して第２の高解像度フレームＨＦｒ２を算出する。動ベクトルＶ１２の小数部の値に応じて、重み係数β１，β２を算出する。重み係数β１は小数部が０．５のときに最大値、０，１のときに最小値をとる。重み係数β２は小数部が０．５のときに最小値、０，１のときに最大値をとる。そして、第１および第２の高解像度フレームＨＦｒ１，ＨＦｒ２を重み係数β１，β２に応じて重み付け加算して合成高解像度フレームＦｒＧを得る。
【選択図】 図１
【解決手段】動画像データＭ０からサンプリングされたフレームＦｒ１，Ｆｒ２を動ベクトルＶ１２に応じて内挿処理して第１の高解像度フレームＨＦｒ１を算出する。一方、フレームＦｒ１，Ｆｒ２に対して時間フィルタ処理を施して第２の高解像度フレームＨＦｒ２を算出する。動ベクトルＶ１２の小数部の値に応じて、重み係数β１，β２を算出する。重み係数β１は小数部が０．５のときに最大値、０，１のときに最小値をとる。重み係数β２は小数部が０．５のときに最小値、０，１のときに最大値をとる。そして、第１および第２の高解像度フレームＨＦｒ１，ＨＦｒ２を重み係数β１，β２に応じて重み付け加算して合成高解像度フレームＦｒＧを得る。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、これらのフレームよりも高解像度の１のフレームを作成する画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
近年のデジタルビデオカメラの普及により、動画像を１フレーム単位で扱うことが可能となっている。このような動画像の一部のフレームをプリント出力する際には、画質を向上させるためにフレームを高解像度にする必要がある。このため、動画からサンプリングした複数のフレームから、１の高解像度フレームを作成する方法が提案されている（特開２０００−３５４２４４号公報）。この方法によれば、作成の対象となる複数のフレーム間の動ベクトルを求め、この動ベクトルに基づいて、複数のフレームから高解像度フレームを合成する際に、画素間に内挿する信号値を算出する方法である。とくに特開２０００−３５４２４４号公報に記載された方法では、各フレームを複数のブロックに分割し、フレーム間で対応するブロックの直交座標係数を算出し、この直交座標係数における高周波の情報を他のブロックにおける低周波の情報と合成して内挿される画素値を算出しているため、必要な情報が低減されることなく、高画質の高解像度フレームを得ることができる。また、この方法においては、画素間距離よりもさらに細かい分解能にて動ベクトルを算出しているため、各フレーム間の動きを正確に補償してより高画質の高解像度フレームを得ることができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記特開２０００−３５４２４４号公報に記載された方法では、フレームにノイズやアーチファクトが含まれると、作成された高解像度フレームにもノイズやアーチファクトが含まれてしまうため、高解像度フレームの画質が劣化してしまうという問題がある。
【０００４】
本発明は上記事情に鑑みなされたものであり、動画像からサンプリングされた複数のフレームから、ノイズやアーチファクトを低減しつつも高画質の高解像度フレームを得ることを目的とする。
【０００５】
【課題を解決するための手段】
本発明による第１の画像処理方法は、動画像をサンプリングすることにより得られた連続する２つフレームを合成して、該各フレームよりも解像度が高い１の合成高解像度フレームを作成する画像処理方法において、
前記２つのフレームのうち基準となる１の基準フレームおよび他のフレーム間において、該基準フレームを構成する複数の小領域のそれぞれについての動ベクトルを算出し、
前記動ベクトルに基づいて、前記他のフレームを前記基準フレームに内挿処理して、前記各フレームよりも解像度が高い第１の高解像度フレームを算出し、
前記２つのフレームのそれぞれに対して補間演算を施すことにより得られた前記各フレームよりも解像度が高い２つの補間演算済みフレームに対して、時間フィルタ処理を施すことにより第２の高解像度フレームを算出し、
前記動ベクトルの大きさの小数部の値に応じて、前記第１および前記第２の高解像度フレームを重み付け加算して前記合成高解像度フレームを算出することを特徴とするものである。
【０００６】
本発明による第２の画像処理方法は、動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、該各フレームよりも解像度が高い１の合成高解像度フレームを作成する画像処理方法において、
前記複数のフレームのうち基準となる１の基準フレームおよびこれ以外の他の複数のフレーム間において、該基準フレームを構成する複数の小領域のそれぞれについての複数の動ベクトルを算出し、
前記各動ベクトルに基づいて、前記各他のフレームを前記基準フレームに内挿処理して、前記各フレームよりも解像度が高い複数の内挿処理済みフレームを算出し、
前記各動ベクトルの大きさの小数部の値に基づいて前記複数の内挿処理済みフレームを合成して第１の高解像度フレームを算出し、
前記複数のフレームのそれぞれに対して補間演算を施すことにより、前記各フレームよりも解像度が高い複数の補間演算済みフレームを算出し、
該補間演算済みフレームに対して、前記各動ベクトルの大きさの小数部の値に基づいて時間フィルタ処理を施すことにより第２の高解像度フレームを算出し、
前記第１および前記第２の高解像度フレームを加算平均して前記合成高解像度フレームを算出することを特徴とするものである。
【０００７】
なお、本発明による第１および第２の画像処理方法においては、第１の高解像度フレームの算出と、第２の高解像度フレームの算出とは並列に行ってもよく、直列に行ってもよい。
【０００８】
「動ベクトル」は、基準フレームを構成する各小領域の時間の経過による移動方向および移動量を表すものである。なお、基準フレームの小領域は基準フレームを複数の領域に分割することにより得ることができるが、例えば基準フレームをそれに含まれる被写体毎の領域に分割することにより、小領域を得てもよい。
【０００９】
「内挿処理」としては、例えば、上記特開平７−２０３４４２号公報に記載された方法を用いることができる。具体的には、基準フレームにおいて高解像度化により増加させるべき画素の画素値を、他のフレームにおける対応する画素の画素値を用いて補間する処理が挙げられる。
【００１０】
なお、本発明における補間に用いられる演算としては、スプライン補間演算、線形補間演算等種々の演算方法を用いることができる。
【００１１】
「時間フィルタ処理」とは、例えば、各補間演算済みフレームに含まれる高周波のノイズ（いわゆるモスキートノイズ）を低減するために、合成に用いる複数のフレームを加算してフレーム数により除算することにより、時間軸方向のローパスフィルタを構成して高周波のノイズを低減した１のフレームを得る処理である。
【００１２】
また、フレームに含まれるノイズ等の影響により、動ベクトルを正確に求めることができない場合がある。このように正確でない動ベクトルに基づいて内挿処理を行ったのでは、内挿する画素位置における画素値を精度よく求めることができない。このため、動ベクトルの信頼度を判定し、判定結果に応じた内挿処理を行って前記第１の高解像フレームを算出することが好ましい。
【００１３】
判定結果に応じた内挿処理としては、動ベクトルの信頼度が高い場合には例えば上記特開平７−２０３４４２号公報に記載された内挿処理を行い、動ベクトルの信頼度が低い場合には、内挿する画素の近傍の画素値を用いた補間演算等を行うことをいう。
【００１４】
また、本発明による第２の画像処理方法においては、前記動ベクトルの信頼度を判定し、該判定結果に応じた内挿処理を行って前記内挿処理済みフレームを算出してもよい。
【００１５】
本発明による第１の画像処理装置は、動画像をサンプリングすることにより得られた連続する２つフレームを合成して、該各フレームよりも解像度が高い１の合成高解像度フレームを作成する画像処理装置において、
前記２つのフレームのうち基準となる１の基準フレームおよび他のフレーム間において、該基準フレームを構成する複数の小領域のそれぞれについての動ベクトルを算出する動ベクトル算出手段と、
前記動ベクトルに基づいて、前記他のフレームを前記基準フレームに内挿処理して、前記各フレームよりも解像度が高い第１の高解像度フレームを算出する内挿処理手段と、
前記２つのフレームのそれぞれに対して補間演算を施すことにより得られた前記各フレームよりも解像度が高い２つの補間演算済みフレームに対して、時間フィルタ処理を施すことにより第２の高解像度フレームを算出する時間フィルタ処理手段と、
前記動ベクトルの大きさの小数部の値に応じて、前記第１および前記第２の高解像度フレームを重み付け加算して前記合成高解像度フレームを算出する合成手段とを備えたことを特徴とするものである。
【００１６】
なお、本発明による第１の画像処理装置においては、前記内挿処理手段を、前記動ベクトルの信頼度を判定し、該判定結果に応じた内挿処理を行って前記第１の高解像度フレームを算出する手段としてもよい。
【００１７】
本発明による第２の画像処理装置は、動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、該各フレームよりも解像度が高い１の合成高解像度フレームを作成する画像処理装置において、
前記複数のフレームのうち基準となる１の基準フレームおよびこれ以外の他の複数のフレーム間において、該基準フレームを構成する複数の小領域のそれぞれについての複数の動ベクトルを算出する動ベクトル算出手段と、
前記各動ベクトルに基づいて、前記各他のフレームを前記基準フレームに内挿処理して、前記各フレームよりも解像度が高い複数の内挿処理済みフレームを算出し、さらに、前記各動ベクトルの大きさの小数部の値に基づいて前記複数の内挿処理済みフレームを合成して第１の高解像度フレームを算出する内挿処理手段と、
前記複数のフレームのそれぞれに対して補間演算を施すことにより、前記各フレームよりも解像度が高い複数の補間演算済みフレームを算出し、さらに、該補間演算済みフレームに対して、前記各動ベクトルの大きさの小数部の値に基づいて時間フィルタ処理を施すことにより第２の高解像度フレームを算出する時間フィルタ処理手段と、
前記第１および前記第２の高解像度フレームを加算平均して前記合成高解像度フレームを算出する合成手段とを備えたことを特徴とするものである。
【００１８】
なお、本発明による第２の画像処理装置においては、前記内挿処理手段を、前記動ベクトルの信頼度を判定し、該判定結果に応じた内挿処理を行って前記内挿処理済みフレームを算出する手段としてもよい。
【００１９】
なお、本発明による第１および第２の画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２０】
【発明の効果】
本発明による第１の画像処理方法および装置によれば、２つのフレームのうち基準となる１の基準フレームおよび他のフレーム間において、基準フレームを構成する複数の小領域についての動ベクトルが算出される。そして、動ベクトルに基づいて、他のフレームが基準フレームに内挿処理されて、各フレームよりも解像度が高い第１の高解像度フレームが算出される。
【００２１】
また、２つのフレームのそれぞれに対して補間演算を施すことにより得られた各フレームよりも解像度が高い２つの補間演算済みフレームが算出され、これらの補間演算済みフレームに対して、時間フィルタ処理が施されて第２の高解像度フレームが算出される。
【００２２】
そして、動ベクトルの小数部の値に応じて、第１の高解像度フレームおよび第２の高解像度フレームが重み付け加算されて合成高解像度フレームが算出される。
【００２３】
また、本発明による第１の画像処理方法および装置によれば、複数のフレームのうち基準となる１の基準フレームおよびこれ以外の複数の他のフレーム間において、基準フレームを構成する小領域についての複数の動ベクトルが算出される。そして、各動ベクトルに基づいて、複数の他のフレームが基準フレームに内挿処理されて、各フレームよりも解像度が高い複数の内挿処理済みフレームが算出される。そして、これら複数の内挿処理済みフレームが各動ベクトルの大きさの小数部の値に基づいて合成されて第１の高解像度フレームが算出される。
【００２４】
一方、複数のフレームのそれぞれに対して補間演算を施すことにより得られた各フレームよりも解像度が高い複数の補間演算済みフレームが算出され、これら複数の補間演算済みフレームに対して、各動ベクトルの大きさの小数部の値に基づいて時間フィルタ処理が施されて第２の高解像度フレームが算出される。
【００２５】
そして、第１の高解像度フレームおよび第２の高解像度フレームが加算平均されて合成高解像度フレームが算出される。
【００２６】
ここで、動ベクトルの小数部は０から１の間の値をとるが、本発明において行われる内挿処理は、とくに動ベクトルが小数部を含んでいても、情報を欠落させることなく高解像度フレームを作成できるため、第１の高解像度フレームは動ベクトルの小数部の値に拘わらず高画質の画像を表すものとなる。しかしながら、各フレームに含まれるノイズやアーチファクトは何ら低減されていないため、第１の高解像度フレームには、各フレームに含まれるノイズやアーチファクトはそのまま含まれてしまっている。
【００２７】
一方、時間フィルタ処理によりフレームに含まれるノイズやアーチファクトは低減されるが、１つのフレームのみを用いた補間処理では、高周波の情報を十分に再現することはできないため、第２の高解像度フレームは、画像がぼけてしまっている。
【００２８】
本発明においては、動ベクトルの小数部の値に応じて、高画質ではあるがノイズやアーチファクトを含むの第１の高解像度フレームと、ノイズやアーチファクトは低減されているが多少画像がぼけている第２の高解像度フレームとを重み付け加算しているため、第１および第２の高解像度フレームの互いの欠点を補完した１の合成高解像度フレームを得ることができる。したがって、高周波情報の欠落を防止しつつもノイズやアーチファクトが低減された高画質の高解像度フレームを得ることができる。
【００２９】
また、動ベクトルの信頼度の判定結果に応じた内挿処理を行うことにより、内挿する画素の画素値をより精度よく求めることができるため、合成高解像度フレームをさらに高画質なものとすることができる。
【００３０】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像処理装置の構成を示す概略ブロック図である。図１に示すように、本発明の第１の実施の形態による画像処理装置は、動画像データＭ０から複数のフレームＦｒ１，Ｆｒ２…Ｆｒｎをサンプリングするサンプリング手段１と、サンプリングされた複数のフレームＦｒ１，Ｆｒ２…Ｆｒｎを一時的に記憶する記憶手段２と、合成処理の対象となるフレーム（第１の実施形態においては、フレームＦｒ１，Ｆｒ２）について、基準となるフレームＦｒ１と他のフレームＦｒ２との間における動ベクトルＶ１２を算出する動ベクトル算出手段３と、動ベクトルＶ１２に基づいて、後述する重み係数β１，β２を算出する動ベクトル処理手段４と、フレームＦｒ１，Ｆｒ２に対して内挿処理を施して第１の高解像度フレームＨＦｒ１を算出する内挿処理手段５と、フレームＦｒ１，Ｆｒ２に対して補間演算および時間フィルタ処理を施して第２の高解像度フレームＨＦｒ２を算出する時間フィルタ処理手段６と、第１の高解像度フレームＨＦｒ１に重み係数β１を、第２の高解像度フレームＨＦｒ２に重み係数β２を乗算してこれらを加算することにより合成高解像度フレームＦｒＧを得る合成手段７とを備える。
【００３１】
なお、第１の実施形態においては、合成高解像度フレームＦｒＧは、フレームＦｒ１，Ｆｒ２の２倍の解像度を有するものとする。
【００３２】
動ベクトル算出手段３は、フレームＦｒ１を例えば８×８画素の複数の小領域に分割し、フレームＦｒ１の各小領域をフレームＦｒ２上において平行移動し、各小領域とフレームＦｒ２上における対応する小領域との相関値を算出する。具体的には、小領域内における画素値の差の累積和の逆数を相関値として算出する。そして、相関値が最も高く、すなわち小領域内における画素値の差の累積和が最も小さくなったときの小領域の移動方向および移動量を、動ベクトルＶ１２として算出する。
【００３３】
例えば、図２に示すように、フレームＦｒ１における小領域Ａ１について、フレームＦｒ２における小領域Ａ１′との相関値が最も高い場合には、小領域Ａ１をフレームＦｒ２に投影して得られる小領域Ａ１″を小領域Ａ１′へ移動させるために必要な移動量および移動方向を動ベクトルＶ１２として算出する。ここで、第１の実施形態においては、図３に示すように、フレームＦｒ１における領域Ａ２内の小領域についての動ベクトルＶ１２がｘ方向にのみ成分を有し、領域Ａ３内の小領域についての動ベクトルＶ１２がｙ方向にのみ成分を有するものとする。また、領域Ａ２内の小領域についての動ベクトルＶ１２の大きさの小数部が０．５であり、領域Ａ３内の小領域についての動ベクトルＶ１２の大きさの小数部が０であるものとする。
【００３４】
動ベクトル処理手段４は、動ベクトル算出手段３において算出されたフレームＦｒ１上の各小領域における動ベクトルＶ１２の大きさの小数部に応じて、後述するように合成手段７において第１の高解像度フレームＨＦｒ１および第２の高解像度フレームＨＦｒ２に乗算する重み係数β１，β２を算出する。
【００３５】
ここで、算出される重み係数β１，β２の特性を図４（ａ），（ｂ）にそれぞれ示す。図４（ａ）に示すように、第１の高解像度フレームＨＦｒ１に乗算する重み係数β１は、動ベクトルＶ１２の小数部が０または１のときに０となり、動ベクトルＶ１２の小数部が０．５のときに１となるように直線的に変化する。一方、図４（ｂ）に示すように、第２の高解像度フレームＨＦｒ２に乗算する重み係数β２は、動ベクトルＶ１２の小数部が０または１のときに１となり、動ベクトルＶ１２の小数部が０．５のときに０となるように直線的に変化する。
【００３６】
内挿処理手段５は、動ベクトルＶ１２の方向に基づいて、フレームＦｒ１，Ｆｒ２に対して内挿処理を施して第１の高解像度フレームＨＦｒ１を算出する。図５（ａ）、（ｂ）はフレームＦｒ１，Ｆｒ２の画素配列を示す図、図６はフレームＦｒ１，Ｆｒ２から算出された第１の高解像度フレームＨＦｒ１の画素配列を示す図である。図５（ａ）、（ｂ）に示すように、第１の実施形態においては、フレームＦｒ１が黒丸の画素からなり、フレームＦｒ２が黒三角の画素からなるものとする。
【００３７】
第１の実施形態においては、図３に示すようにフレームＦｒ１の領域Ａ２内の各小領域についての動ベクトルＶ１２はｘ方向にのみ値を有するため、領域Ａ２においては、ｘ方向について黒丸の画素の間にフレームＦｒ２の黒三角の画素が内挿される。一方、ｙ方向については、黒丸の画素が並ぶ画素列については、黒丸の画素における画素値に基づいて補間演算が行われて、黒丸の画素の間に画素が内挿される。ここで、黒丸の画素の間に内挿された画素を白丸で表す。また、内挿により黒三角の画素が並ぶ画素列については、内挿された黒三角の画素における画素値に基づいて補間演算が行われて、黒三角の画素の間に画素が内挿される。ここで、黒三角の画素の間に内挿された画素を白三角で表す。
【００３８】
一方、領域Ａ３内の各小領域についての動ベクトルＶ１２はｙ方向にのみ値を有するため、領域Ａ３については、ｙ方向について黒丸の画素の間にフレームＦｒ２の黒三角の画素が内挿される。一方、ｘ方向については、黒丸の画素が並ぶ画素列については、黒丸の画素における画素値に基づいて補間演算が行われて、黒丸の画素の間に画素が内挿される。ここで、黒丸の画素の間に内挿された画素を白丸で表す。また、内挿により黒三角の画素が並ぶ画素列については、内挿された黒三角の画素における画素値に基づいて補間演算が行われて、黒三角の画素の間に画素が内挿される。ここで、黒三角の画素の間に内挿された画素を白三角で表す。
【００３９】
これにより、図６に示すようにフレームＦｒ１にフレームＦｒ２が内挿されて第１の高解像度フレームＨＦｒ１が算出される。
【００４０】
時間フィルタ処理手段６は、まず、フレームＦｒ１，Ｆｒ２に対して補間演算を行い、補間フレームＦｒ１′，Ｆｒ２′を算出する。図７（ａ），（ｂ）は、補間フレームＦｒ１′，Ｆｒ２′の画素配列を示す図である。補間フレームＦｒ１′は、フレームＦｒ１における黒丸の画素の画素値に基づいて、黒丸の画素間における画素値を補間演算により算出することにより得られるものであり、図７（ａ）においては、補間演算により算出された画素を白丸で示す。
【００４１】
一方、補間フレームＦｒ２′は、フレームＦｒ２における黒三角の画素の画素値に基づいて、黒三角の画素間における画素値を補間演算により算出することにより得られるものであり、図７（ｂ）においては、補間演算により算出された画素を白三角で示す。
【００４２】
そして、時間フィルタ処理手段６は、補間フレームＦｒ１′，Ｆｒ２′に対して時間フィルタ処理を施して第２の高解像度フレームＨＦｒ２を算出する。ここで、時間フィルタ処理は、補間フレームＦｒ１′，Ｆｒ２の相対応する画素の累積加算平均値を算出する処理である。図８は、第２の高解像度フレームＨＦｒ２の画素配列を示す図である。図８において黒四角画素の画素値は、補間フレームＦｒ１′における黒丸画素の画素値と補間フレームＦｒ２′における黒三角画素の画素値との平均値であり、白四角画素の画素値は、補間フレームＦｒ１′における白丸画素の画素値と補間フレームＦｒ２′における白三角画素の画素値との平均値である。
【００４３】
合成手段７は、第１の高解像度フレームＨＦｒ１に重み係数β１を、第２の高解像度フレームＨＦｒ２に重み係数β２をそれぞれ乗算してこれらを加算することにより合成高解像度フレームＦｒＧを算出する。具体的には、第１の高解像度フレームＨＦｒ１、第２の高解像度フレームＨＦｒ２および合成高解像度フレームＦｒＧについて、各画素の画素値をそれぞれＨＦｒ１，ＨＦｒ２，ＦｒＧとすると、下記の式（１）によりＦｒＧを算出する。
ＦｒＧ＝β１×ＨＦｒ１＋β２×ＨＦｒ２ （１）
【００４４】
ここで、第１の実施形態においては、領域Ａ２における動ベクトルＶ１２の大きさの小数部が０．５であるため、領域Ａ２においてはβ１＝１、β２＝０となる。また、領域Ａ３における動ベクトルＶ１２の大きさの小数部が０であるため、領域Ａ３においてはβ１＝０、β２＝１となる。したがって、図９に示すように合成高解像度フレームＦｒＧは、領域Ａ２においては第１の高解像度フレームＨＦｒ１の画素のみからなり、領域Ａ３においては第２の高解像度フレームＨＦｒ２の画素のみからなるものとなる。
【００４５】
次いで、第１の実施の形態の動作について説明する。図１０は第１の実施形態において行われる処理を示すフローチャートである。まず、サンプリング手段１に動画像データＭ０が入力され（ステップＳ１）、ここで動画像データＭ０のサンプリングが行われて複数のフレームＦｒ１，Ｆｒ２，…Ｆｒｎが取得され（ステップＳ２）、記憶手段２に記憶される（ステップＳ３）。続いて、処理の対象となる２つのフレームＦｒ１，Ｆｒ２が記憶手段２から読み出される（ステップＳ４）。
【００４６】
続いて、動ベクトル算出手段３において、基準となるフレームＦｒ１と他のフレームＦｒ２との間の動ベクトルＶ１２が算出され（ステップＳ５）、動ベクトル処理手段４において、動ベクトルＶ１２に基づいて重み係数β１，β２が算出される（ステップＳ６）。
【００４７】
また、内挿処理手段５においては、フレームＦｒ１，Ｆｒ２に対して内挿処理が施されて第１の高解像度フレームＨＦｒ１が算出される（ステップＳ７）。
【００４８】
一方、時間フィルタ処理手段６においては、フレームＦｒ１，Ｆｒ２に対して補間演算および時間フィルタ処理が施されて第２の高解像度フレームＨＦｒ２が算出される（ステップＳ８）。
【００４９】
なお、ここでは、ステップＳ６、ステップＳ７、およびステップＳ８の順で処理を行っているが、処理の順序は任意であり、またこれらの処理を並列に行ってもよい。
【００５０】
そして、合成手段７において、第１の高解像度フレームＨＦｒ１に重み係数β１が、第２の高解像度フレームＨＦｒ２に重み係数β２がそれぞれ乗算されて、さらにこれらが加算されて合成高解像度フレームＦｒＧが算出され（ステップＳ９）、処理を終了する。
【００５１】
ここで、動ベクトル算出手段３において算出される動ベクトルＶ１２の小数部は０から１の間の値をとるが、内挿処理手段５において行われる内挿処理は、とくに動ベクトルＶ１２が小数部を含んでいても、情報を欠落させることなく第１の高解像度フレームＨＦｒ１を作成できるため、第１の高解像度フレームＨＦｒ１は動ベクトルＶ１２の小数部の値に拘わらず高画質の画像を表すものとなる。しかしながら、フレームＦｒ１，Ｆｒ２に含まれるノイズやアーチファクトは何ら低減されないため、第１の高解像度フレームＨＦｒ１には、各フレームＦｒ１，Ｆｒ２に含まれるノイズやアーチファクトはそのまま含まれている。
【００５２】
一方、時間フィルタ処理手段６において行われる時間フィルタ処理により、各フレームＦｒ１，Ｆｒ２に含まれるノイズやアーチファクトは低減されるが、１つのフレームのみを用いた補間処理では、高周波の情報を十分に再現することはできないため、第２の高解像度フレームＨＦｒ２は、画像がぼけてしまっている。
【００５３】
本実施形態においては、動ベクトルＶ１２の小数部の値に応じて、高画質ではあるがノイズやアーチファクトを含むの第１の高解像度フレームＨＦｒ１と、ノイズやアーチファクトは低減されているが多少画像がぼけている第２の高解像度フレームＨＦｒ２とを重み付け加算しているため、第１および第２の高解像度フレームＨＦｒ１，ＨＦｒ２の互いの欠点を補完した１の合成高解像度フレームＦｒＧを得ることができる。したがって、動画像データＭ０からサンプリングしたフレームＦｒ１，Ｆｒ２から、高周波情報の欠落を防止しつつもノイズやアーチファクトが低減された高画質の高解像度フレームを得ることができる。
【００５４】
次いで、本発明の第２の実施形態について説明する。図１１は、本発明の第２の実施形態による画像処理装置の構成を示す概略ブロック図である。図１１に示すように、本発明の第２の実施の形態による画像処理装置は、動画像データＭ０から複数のフレームＦｒ１，Ｆｒ２…Ｆｒｎをサンプリングするサンプリング手段１１と、サンプリングされた複数のフレームＦｒ１，Ｆｒ２…Ｆｒｎを一時的に記憶する記憶手段１２と、合成処理の対象となるフレーム（第２の実施形態においては、３つのフレームＦｒ１，Ｆｒ２，Ｆｒ３）について、基準となるフレームＦｒ１と他のフレームＦｒ２，Ｆｒ３との間における動ベクトルＶ１２，Ｖ１３を算出する動ベクトル算出手段１３と、動ベクトルＶ１２，Ｖ１３に基づいて、後述する重み係数β１（１２），β１（１３），β２（１２），β２（１３）を算出する動ベクトル処理手段１４と、フレームＦｒ１，Ｆｒ２，Ｆｒ３に対して内挿処理を施して第１の高解像度フレームＨＦｒ１を算出する内挿処理手段１５と、フレームＦｒ１，Ｆｒ２，Ｆｒ３に対して補間演算および時間フィルタ処理を施して第２の高解像度フレームＨＦｒ２を算出する時間フィルタ処理手段１６と、第１の高解像度フレームＨＦｒ１と第２の高解像度フレームＨＦｒ２とを加算平均することにより合成高解像度フレームＦｒＧを得る合成手段１７とを備える。
【００５５】
なお、第２の実施形態においては、第１の実施形態と同様に、合成高解像度フレームＦｒＧは、フレームＦｒ１，Ｆｒ２，Ｆｒ３の２倍の解像度を有するものとする。
【００５６】
動ベクトル算出手段１３は、第１の実施形態における動ベクトル算出手段３と同様に、フレームＦｒ１を例えば８×８画素の複数の小領域に分割し、フレームＦｒ１の各小領域をフレームＦｒ２上において平行移動し、各小領域とフレームＦｒ２上における対応する小領域との相関値を算出する。そして、相関値が最も高く、すなわち小領域内における画素値の差の累積和が最も小さくなったときの小領域の移動方向および移動量を、動ベクトルＶ１２として算出する。
【００５７】
さらに動ベクトル算出手段１３は、フレームＦｒ１の各小領域をフレームＦｒ３上において平行移動し、各小領域とフレームＦｒ３上における対応する小領域との相関値を算出する。そして、相関値が最も高く、すなわち画素値の差の小領域内における累積和が最も小さくなったときの小領域の移動方向および移動量を、動ベクトルＶ１３として算出する。
【００５８】
ここで、第２の実施形態においては、図１２（ａ）に示すように、フレームＦｒ１における領域Ａ２内の小領域についての動ベクトルＶ１２がｘ方向にのみ成分を有し、領域Ａ３内の小領域についての動ベクトルＶ１２はｙ方向にのみ成分を有するものとする。また、領域Ａ２内の小領域についての動ベクトルＶ１２の大きさの小数部が０．５であり、領域Ａ３内の小領域についての動ベクトルＶ１２の大きさの小数部が０であるものとする。
【００５９】
また、図１２（ｂ）に示すように、フレームＦｒ１における領域Ａ４内の小領域についての動ベクトルＶ１３がｘ方向にのみ成分を有し、領域Ａ５内の小領域についての動ベクトルＶ１３はｙ方向にのみ成分を有するものとする。また、領域Ａ４内の小領域についての動ベクトルＶ１３の大きさの小数部が０であり、領域Ａ５内の小領域についての動ベクトルＶ１３の大きさの小数部が０．５であるものとする。
【００６０】
動ベクトル処理手段１４は、動ベクトル算出手段１３において算出されたフレームＦｒ１上の各小領域における動ベクトルＶ１２，Ｖ１３の大きさの小数部に応じて、後述するように内挿処理手段１５において第１および第２の内挿処理済みフレームＮＦｒ１，ＮＦｒ２を合成する際の重み係数β１（１２），β１（１３）、および時間フィルタ処理手段１６において補間演算済みフレームを合成する際の重み係数β２（１２），β２（１３）を算出する。
【００６１】
ここで、算出される重み係数β１（１２），β１（１３），β２（１２），β２（１３）の特性は図４（ａ），（ｂ）に示す重み係数β１，β２と同一である。なお、重み係数β１（１２）は、フレームＦｒ１およびフレームＦｒ２に基づいて算出された第１の内挿処理済みフレームＮＦｒ１２に乗算する重み係数であり、重み係数β１（１３）は、フレームＦｒ１およびフレームＦｒ３に基づいて算出された第２の内挿処理済みフレームＮＦｒ１３に乗算する重み係数である。また、重み係数β２（１２）は、フレームＦｒ１およびフレームＦｒ２に基づいて算出された補間フレームＦｒ２′に乗算する重み係数であり、重み係数β２（１３）は、フレームＦｒ１およびフレームＦｒ３に基づいて算出された補間フレームＦｒ３′に乗算する重み係数である。
【００６２】
内挿処理手段１５は、まず、動ベクトルＶ１２の方向に基づいて、フレームＦｒ１，Ｆｒ２に対して内挿処理を施して第１の内挿処理済みフレームＮＦｒ１２を算出する。第１の内挿処理済みフレームＮＦｒ１２は、第１の実施形態において内挿処理手段１５にて算出された第１の高解像度フレームＨＦｒ１に対応するものであり、その画素配列は図６に示すものとなる。
【００６３】
また、内挿処理手段１５は、動ベクトルＶ１３の方向に基づいて、フレームＦｒ１，Ｆｒ３に対して内挿処理を施して第２の内挿処理済みフレームＮＦｒ１３を算出する。図１３（ａ）、（ｂ）はフレームＦｒ１，Ｆｒ３の画素配列を示す図、図１４はフレームＦｒ１，Ｆｒ３から算出された第２の内挿処理済みフレームＮＦｒ１３の画素配列を示す図、図１５は第２の実施形態における内挿処理を説明するための図である。
【００６４】
第２の実施形態においては、図１３（ａ）、（ｂ）に示すように、フレームＦｒ１が黒丸の画素からなり、フレームＦｒ３が黒逆三角の画素からなるものとする。第２の実施形態においては、図１２に示すようにフレームＦｒ１の領域Ａ４内の各小領域についての動ベクトルＶ１３はｘ方向にのみ値を有するため、領域Ａ４においては、ｘ方向について黒丸の画素の間にフレームＦｒ３の黒逆三角の画素が内挿される。一方、ｙ方向については、黒丸の画素が並ぶ画素列については、黒丸の画素における画素値に基づいて補間演算が行われて、黒丸の画素の間に画素が内挿される。ここで、黒丸の画素の間に内挿された画素を白丸で表す。また、内挿により黒逆三角の画素が並ぶ画素列については、内挿された黒逆三角の画素における画素値に基づいて補間演算が行われて、黒逆三角の画素の間に画素が内挿される。ここで、黒逆三角の画素の間に内挿された画素を白逆三角で表す。
【００６５】
一方、領域Ａ５内の各小領域についての動ベクトルＶ１３はｙ方向にのみ値を有するため、領域Ａ５については、ｙ方向について黒丸の画素の間にフレームＦｒ３の黒逆三角の画素が内挿される。一方、ｘ方向については、黒丸の画素が並ぶ画素列については、黒丸の画素における画素値に基づいて補間演算が行われて、黒丸の画素の間に画素が内挿される。ここで、黒丸の画素の間に内挿された画素を白丸で表す。また、内挿により黒逆三角の画素が並ぶ画素列については、内挿された黒逆三角の画素における画素値に基づいて補間演算が行われて、黒逆三角の画素の間に画素が内挿される。ここで、黒三角の画素の間に内挿された画素を白逆三角で表す。
【００６６】
これにより、図１４に示すように画素が内挿されて第２の内挿処理済みフレームＮＦｒ１３が算出される。
【００６７】
続いて、内挿処理手段１５は、第１の内挿処理済みフレームＮＦｒ１２に重み係数β１（１２）を、第２の内挿処理済みフレームＮＦｒ１３に重み係数β１（１３）を乗算してこれらを加算することにより第１の高解像度フレームＨＦｒ１を算出する。具体的には、第１の内挿処理済みフレームＮＦｒ１２、第２の内挿処理済みフレームＮＦｒ１３および第１の高解像度フレームＨＦｒ１について、各画素の画素値をそれぞれＮＦｒ１２，ＮＦｒ１３，ＨＦｒ１とすると、下記の式（２）によりＨＦｒ１を算出する。
ＨＦｒ１＝β１（１２）×ＮＦｒ１２＋β１（１３）×ＮＦｒ１３ （２）
【００６８】
ここで、第２の実施形態においては、領域Ａ２内の各小領域についての動ベクトルＶ１２の大きさの小数部が０．５であるため、領域Ａ２においては、β１（１２）＝１となる。また、領域Ａ３における動ベクトルＶ１２の大きさの小数部が０であるため、領域Ａ３においては、β１（１２）＝０となる。このため、第１の内挿処理済みフレームＮＦｒ１２に重み係数β１（１２）を乗算することにより得られるフレームの画素配列は、図１５（ａ）に示すものとなる。
【００６９】
一方、領域Ａ４における動ベクトルＶ１３の大きさの小数部が０であるため、領域Ａ４においてはβ１（１３）＝０となる。また、領域Ａ５における動ベクトルＶ１３の大きさの小数部が０．５であるため、領域Ａ５においては、β１（１３）＝０．５となる。このため、第２の内挿処理済みフレームＮＦｒ１３に重み係数β１（１３）を乗算することにより得られるフレームの画素配列は、図１５（ｂ）に示すものとなる。
【００７０】
したがって、第１の高解像度フレームＨＦｒ１は、図１５（ｃ）に示すように領域Ａ２および領域Ａ４が重なる領域（Ａ２４とする）においては、第１の内挿処理済みフレームＮＦｒ１２の画素のみからなり、領域Ａ３および領域Ａ５が重なる領域（Ａ３５とする）においては、第２の内挿処理済みフレームＮＦｒ１３の画素のみからなり、さらに、領域Ａ２および領域Ａ５が重なる領域（Ａ２５とする）については、第１の内挿処理済みフレームＮＦｒ１２に第２の内挿処理済みフレームＮＦｒ１３を内挿することにより算出された画素値の画素からなるものとなる。
【００７１】
ここで、領域Ａ２５において、第１および第２の内挿処理済みフレームＮＦｒ１２，ＮＦｒ１３のフレームＦｒ１，Ｆｒ２，Ｆｒ３の画素値をそのまま用いている画素については、フレームＦｒ１，Ｆｒ２，Ｆｒ３の画素値をその画素における画素値として用いる。一方、領域Ａ２５において、第１および第２の内挿処理済みフレームＮＦｒ１２，ＮＦｒ１３のフレームＦｒ１，Ｆｒ２，Ｆｒ３の画素値をそのまま用いていない画素（図１５（ｃ）における∴）については、第１の内挿処理済みフレームＮＦｒ１２における白三角の画素における画素値と、第２の内挿処理済みフレームＮＦｒ１３における白逆三角の画素における画素値とを動ベクトルＶ１２，Ｖ１３を求めたときのフレーム間画素差の２乗和に応じた重み付け加算を行うことにより算出する。具体的には、下記の式（３）に示すように、動ベクトルＶ１２，Ｖ１３を求めたときのフレーム間画素差の２乗和に応じた重み付け加算を行う。なお、式（３）において、動ベクトルＶ１２，Ｖ１３を求めたときのフレーム間画素差の２乗和をそれぞれ｜Ｖ１２｜，｜Ｖ１３｜とする。
（△×｜Ｖ１３｜＋▽×｜Ｖ１２｜）／（｜Ｖ１３｜＋｜Ｖ１２｜） （３）
【００７２】
時間フィルタ手段１６は、フレームＦｒ１，Ｆｒ２，Ｆｒ３に対して補間演算を行い、補間フレームＦｒ１′，Ｆｒ２′，Ｆｒ３′を算出する。図１６は、補間フレームＦｒ１′，Ｆｒ２′，Ｆｒ３′の画素配列を示す図である。補間フレームＦｒ１′は、フレームＦｒ１における黒丸の画素の画素値に基づいて、黒丸の画素間における画素値を補間演算により算出することにより得られるものであり、図１６（ａ）においては、補間演算により算出された画素値を白丸で示す。
【００７３】
また、補間フレームＦｒ２′は、フレームＦｒ２における黒三角の画素の画素値に基づいて、黒三角の画素間における画素値を補間演算により算出することにより得られるものであり、図１６（ｂ）においては、補間演算により算出された画素値を白三角で示す。なお、補間の前にフレームＦｒ２をフレームＦｒ１に対して平行移動し、フレームＦｒ２の各画素をフレームＦｒ１の各画素に対応付ける処理が行われる。
【００７４】
また、補間フレームＦｒ３′は、フレームＦｒ３における黒逆三角の画素の画素値に基づいて、黒逆三角の画素間における画素値を補間演算により算出することにより得られるものであり、図１６（ｃ）においては、補間演算により算出された画素値を白逆三角で示す。なお、補間の前にフレームＦｒ３をフレームＦｒ１に対して平行移動し、フレームＦｒ３の各画素をフレームＦｒ１の各画素に対応付ける処理が行われる。
【００７５】
続いて、時間フィルタ処理手段１６においては、補間フレームＦｒ２′に重み係数β２（１２）を、補間フレームＦｒ３′に重み係数β２（１３）を乗算して乗算補間フレームＦｒ２″，Ｆｒ３″を算出する。
【００７６】
具体的には、補間フレームＦｒ２′，Ｆｒ３′および乗算補間フレームＦｒ２″，Ｆｒ３″について、各画素の画素値をそれぞれＦｒ２′，Ｆｒ３′，Ｆｒ２″，Ｆｒ３″とすると、下記の式（４）、（５）によりＦｒ２″，Ｆｒ３″を算出する。
Ｆｒ２″＝β２（１２）×Ｆｒ２′ （４）
Ｆｒ３″＝β２（１３）×Ｆｒ３′ （５）
【００７７】
ここで、第２の実施形態においては、領域Ａ２における動ベクトルＶ１２の大きさの小数部が０．５であるため、領域Ａ２においてはβ２（１２）＝０となる。また、領域Ａ３における動ベクトルＶ１２の大きさの小数部が０であるため、領域Ａ３においてはβ２（１２）＝１となる。このため、補間フレームＦｒ２′に重み係数β２（１２）を乗算することにより得られる乗算補間フレームＦｒ２″の画素配列は、図１７（ａ）に示すものとなる。
【００７８】
一方、領域Ａ４における動ベクトルＶ１３の大きさの小数部が０であるため、領域Ａ４においてはβ２（１３）＝１となる。また、領域Ａ５における動ベクトルＶ１３の大きさの小数部が０．５であるため、領域Ａ５においてはβ２（１３）＝０となる。このため、補間フレームＦｒ３′に重み係数β２（１３）を乗算することにより得られる乗算補間フレームＦｒ３″の画素配列は、図１７（ｂ）に示すものとなる。
【００７９】
そして、補間フレームＦｒ１′および乗算補間フレームＦｒ２″，Ｆｒ３″の相対応する画素同士の累積加算平均値を算出することにより、第２の高解像度フレームＨＦｒ２を算出する。なお、補間フレームＦｒ１′については、乗算補間フレームＦｒ２″，Ｆｒ３″の双方において画素値が０の画素に対応する画素については、累積加算平均値の算出には使用しないものとする。このため、補間フレームＦｒ１′は、図１７（ｃ）に示すように、領域Ａ２，Ａ５が重なり合う領域Ａ２５は累積加算平均値の算出には使用されないこととなる。
【００８０】
図１８は、第２の高解像度フレームＨＦｒ２の画素配列を示す図である。図１８に示すように第２の高解像度フレームＨＦｒ２における、領域Ａ３と領域Ａ５とが重なる領域Ａ３５の黒四角画素の画素値は、補間フレームＦｒ１′における黒丸画素の画素値と乗算補間フレームＦｒ２″における黒三角画素の画素値との平均値であり、白四角画素の画素値は、補間フレームＦｒ１′における白丸画素の画素値と乗算補間フレームＦｒ２″における白三角画素の画素値との平均値である。
【００８１】
また、領域Ａ２と領域Ａ４とが重なる領域Ａ２４の◆画素の画素値は、補間フレームＦｒ１′における黒丸画素の画素値と乗算補間フレームＦｒ３″における黒逆三角画素の画素値との平均値であり、◇画素の画素値は、補間フレームＦｒ１′における白丸画素の画素値と乗算補間フレームＦｒ３″における白逆三角画素の画素値との平均値である。
【００８２】
また、領域Ａ３と領域Ａ４とが重なる領域Ａ３４の★画素の画素値は、補間フレームＦｒ１′における黒丸画素の画素値と乗算補間フレームＦｒ２″における黒三角画素の画素値と乗算補間フレームＦｒ３″における黒逆三角画素の画素値との平均値であり、☆画素の画素値は、補間フレームＦｒ１′における白丸画素の画素値と乗算補間フレームＦｒ２″における白三角画素の画素値と乗算補間フレームＦｒ３″における白逆三角画素の画素値との平均値である。
【００８３】
合成手段１７は、第１の高解像度フレームＨＦｒ１と第２の高解像度フレームＨＦｒ２とにおける相対応する画素の画素値を加算平均することにより、合成高解像度フレームＦｒＧを算出する。具体的には、第１の高解像度フレームＨＦｒ１、第２の高解像度フレームＨＦｒ２および合成高解像度フレームＦｒＧについて、各画素の画素値をそれぞれＨＦｒ１，ＨＦｒ２，ＦｒＧとすると、下記の式（６）によりＦｒＧを算出する。
ＦｒＧ＝（ＨＦｒ１＋ＨＦｒ２）／２ （６）
【００８４】
次いで、第２の実施の形態の動作について説明する。図１９は第２の実施形態において行われる処理を示すフローチャートである。まず、サンプリング手段１１に動画像データＭ０が入力され（ステップＳ１１）、ここで動画像データＭ０のサンプリングが行われて複数のフレームＦｒ１，Ｆｒ２，…Ｆｒｎが取得され（ステップＳ１２）、記憶手段２に記憶される（ステップＳ１３）。続いて、処理の対象となる３つのフレームＦｒ１，Ｆｒ２，Ｆｒ３が記憶手段２から読み出される（ステップＳ１４）。
【００８５】
続いて、動ベクトル算出手段１３において、基準となるフレームＦｒ１と他のフレームＦｒ２，Ｆｒ３との間の動ベクトルＶ１２，Ｖ１３が算出され（ステップＳ１５）、動ベクトル処理手段１４において、動ベクトルＶ１２，Ｖ１３に基づいて重み係数β１（１２），β１（１３），β２（１２），β２（１３）が算出される（ステップＳ１６）。
【００８６】
また、内挿処理手段１５においては、フレームＦｒ１，Ｆｒ２，Ｆｒ３に対して内挿処理が施されて第１の高解像度フレームＨＦｒ１が算出される（ステップＳ１７）。
【００８７】
一方、時間フィルタ処理手段１６においては、フレームＦｒ１，Ｆｒ２，Ｆｒ３に対して補間演算および時間フィルタ処理が施されて第２の高解像度フレームＨＦｒ２が算出される（ステップＳ１８）。
【００８８】
なお、ここでは、ステップＳ１６、ステップＳ１７、およびステップＳ１８の順で処理を行っているが、処理の順序は任意であり、またこれらの処理を並列に行ってもよい。
【００８９】
そして、合成手段１７において、第１の高解像度フレームＨＦｒ１と第２の高解像度フレームＨＦｒ２とが加算平均されて合成高解像度フレームＦｒＧが算出され（ステップＳ１９）、処理を終了する。
【００９０】
なお、上記第１および第２の実施形態において、動ベクトル算出手段３，１３において算出された動ベクトルＶ１２が全ての小領域において常に正しい移動方向および移動量を表すものではない。例えば、フレームＦｒ１に含まれるある被写体（Ｘ１とする）と類似する被写体（Ｙ１とする）がフレームＦｒ２に存在し、被写体Ｘ１がフレームＦｒ２には含まれない場合、フレームＦｒ２に含まれる類似する被写体Ｙ１に基づいて動ベクトルＶ１２が算出されることとなる。このような場合、算出された動ベクトルＶ１２に基づいて内挿処理を行うと、内挿される画素の画素値が適切なものとはならない。
【００９１】
このため、算出された動ベクトルＶ１２の信頼度を判定し、信頼度が低いと判定された場合には、内挿される画素の画素値を採用するか否かをさらに判定してもよい。
【００９２】
ここで、動ベクトルＶ１２の信頼度の判定は、動ベクトルＶ１２の算出時に算出される相関値を所定のしきい値と比較し、相関値が所定のしきい値未満の場合には、その動ベクトルＶ１２は信頼できないものとして、内挿される画素の画素値を採用するか否かを判定する。
【００９３】
次いで、画素値の採用条件について説明する。図２０は、画素値の採用条件を説明するための図である。なお、ここでは簡単のため、ｘ方向のみの内挿処理について説明する。図２０に示すように、フレームＦｒ１における画素位置ｎおよび画素位置ｎ＋１の間の内挿画素位置Ｐ１にフレームＦｒ２の対応する画素値を内挿する場合において、内挿する画素値が画素位置ｎの画素値Ｖｎと画素位置ｎ＋１の画素値Ｖｎ＋１との間にあるか否かを判定する。そして、画素値Ｖｎと画素値Ｖｎ＋１の間（図中矢印の範囲）にある場合には、フレームＦｒ２の対応する画素の画素値をそのまま内挿画素位置Ｐ１の画素値として採用する。
【００９４】
一方、内挿する画素値が画素値Ｖｎと画素値Ｖｎ＋１との間にない場合には、内挿画素位置Ｐ１の画素値として、画素値Ｖｎと画素値Ｖｎ＋１を線形補間することにより算出された画素値を用いる。
【００９５】
また、内挿画素位置Ｐ１の周囲における画素値の変動量に応じて内挿画素位置Ｐ１における画素値の採用条件を設けてもよい。図２１は、内挿画素位置Ｐ１の周囲における画素値の変動量に応じた画素値の採用条件を説明するための図である。まず、図２１（ａ）に示すように、画素位置ｎの周囲における微分値が正の値となり、画素位置ｎ＋１の周囲における微分値が負の値となった場合、内挿画素位置Ｐ１の画素値は、画素値Ｖｎ，Ｖｎ＋１よりも値が大きいと推定される。このため、画素位置ｎ，ｎ＋１の周囲における画素値の変動量に基づいて、内挿画素位置Ｐ１における画素値を推定し、内挿される画素値が推定された画素値Ｖｐと画素値Ｖｎ，Ｖｎ＋１の小さい方の画素値（ここでは画素値Ｖｎ）との間にある場合には、フレームＦｒ２の対応する画素の画素値をそのまま内挿画素位置Ｐ１の画素値として採用する。
【００９６】
逆に、内挿される画素値が、推定された画素値Ｖｐと画素値Ｖｎ，Ｖｎ＋１の小さい方の画素値（ここでは画素値Ｖｎ）との間にない場合には、例えば推定された画素値Ｖｐを内挿画素位置Ｐ１の画素値として採用する。
【００９７】
なお、ここでは推定画素値Ｖｐは、画素位置ｎ−１，ｎの画素値Ｖｎ−１，Ｖｎを結ぶ直線と内挿画素位置Ｐ１との交点の値および画素位置ｎ＋１，ｎ＋２の画素値Ｖｎ＋１，Ｖｎ＋２を結ぶ直線と内挿画素位置Ｐ１との交点の値のいずれか小さい方の値を用いる。
【００９８】
一方、図２１（ｂ）に示すように、画素位置ｎの周囲における微分値が負の値となり、画素位置ｎ＋１の周囲における微分値が正の値となった場合、内挿画素位置Ｐ１の画素値は、画素値Ｖｎ，Ｖｎ＋１よりも値が小さいと推定される。このため、画素位置ｎ，ｎ＋１の周囲における画素値の変動量に基づいて、内挿画素位置Ｐ１における画素値を推定し、内挿される画素値が、推定された画素値Ｖｐと画素値Ｖｎ，Ｖｎ＋１の大きい方の画素値（ここでは画素値Ｖｎ＋１）との間にある場合には、フレームＦｒ２の対応する画素の画素値をそのまま内挿画素位置Ｐ１の画素値として採用する。
【００９９】
逆に、内挿される画素値が、推定された画素値Ｖｐと画素値Ｖｎ，Ｖｎ＋１の大きい方の画素値（ここでは画素値Ｖｎ＋１）との間にない場合には、例えば推定された画素値Ｖｐを内挿画素位置Ｐ１の画素値として採用する。
【０１００】
なお、ここでは推定画素値Ｖｐは、画素位置ｎ−１，ｎの画素値Ｖｎ−１，Ｖｎを結ぶ直線と内挿画素位置Ｐ１との交点の値および画素位置ｎ＋１，ｎ＋２の画素値Ｖｎ＋１，Ｖｎ＋２を結ぶ直線と内挿画素位置Ｐ１との交点の値の大きい方の値を用いる。
【０１０１】
さらに、動ベクトルＶ１２が適切でないと判定された場合に、画素位置ｎ，ｎ＋１が画像上における例えば人物の肌のようになだらかに画素値が変化する部分にあるか否かを判定し、なだらかな部分にあると判定された場合において、さらに内挿画素位置Ｐ１に内挿される画素値がノイズのような高周波成分である場合には、内挿画素位置Ｐ１の画素値として、例えば上記図２０および図２１を用いて説明した方法により画素値を線形補間して、内挿画素位置Ｐ１の画素値を求める。
【０１０２】
ここで、なだらかさの判定は、フレームＦｒ１における内挿画素位置Ｐ１の周囲における小領域の画素値の平均値を算出し、この平均値と小領域内の各画素の画素値の差との平方値の累積和を算出する。そして、算出された累積和が所定のしきい値よりも小さい場合には、その小領域はなだらかであるとし、所定のしきい値以上である場合にはその小領域はなだらかでないと判定する。
【０１０３】
また、内挿画素位置Ｐ１の周囲における小領域に対してＤＣＴ等の直交変換を施し、変換結果に含まれる高周波成分の含有量を求め、含有量が所定のしきい値よりも小さい場合には、その小領域はなだらかであるとし、所定のしきい値以上である場合にはその小領域はなだらかでないと判定する。
【０１０４】
このように、動ベクトルＶ１２が適切なものか否かを判定し、動ベクトルＶ１２が適切でない場合には、内挿する画素値の採用条件を設けることにより、適切な内挿処理を行うことができる。
【０１０５】
また、上記第２の実施形態のように、３以上のフレームから１の合成高解像度フレームＦｒＧを得る場合において、内挿処理時に図１５（ｃ）に示すように領域Ａ２と領域Ａ５とが重なる領域Ａ２５の画素∴については、第１の内挿処理済みフレームＮＦｒ１２における白三角の画素における画素値と、第２の内挿処理済みフレームＮＦｒ１３における白逆三角の画素における画素値とを動ベクトルＶ１２，Ｖ１３の大きさに応じた重み付け加算を行うことにより算出しているが、動ベクトルＶ１２，Ｖ１３の大きさが小さい方のフレームＦｒ２，Ｆｒ３における画素値（すなわち▲または▼画素の画素値）を画素∴の画素値としてもよい。
【０１０６】
例えば、動ベクトルＶ１２の大きさ｜Ｖ１２｜＜動ベクトルＶ１３の大きさ｜Ｖ１３｜の場合には、フレームＦｒ２の画素値を画素∴の画素値とし、｜Ｖ１２｜＞｜Ｖ１３｜の場合には、フレームＦｒ３の画素値を画素∴の画素値とすればよい。
【０１０７】
また、この場合、内挿画素位置Ｐ１に対応する小領域における動ベクトルＶ１２，Ｖ１３の大きさを単に比較するのみでなく、内挿画素位置Ｐ１の周囲の複数の内挿画素位置における動ベクトルＶ１２，Ｖ１３を求めたときのフレーム間画素差の２乗和に基づいて、画素∴の画素値を▲画素の画素値とするか▼画素の画素値とするかを決定してもよい。
【０１０８】
具体的には、内挿画素位置Ｐ１の座標を（ｘ，ｙ）、内挿画素位置Ｐ１の周囲の４点（以下画素Ｐ２〜Ｐ５とする）の座標を（ｘ−１，ｙ−１）、（ｘ＋１，ｙ−１）、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）とし、各画素Ｐ２〜Ｐ５における動ベクトルＶ１２を求めたときのフレーム間画素差の２乗和をそれぞれ｜Ｖ１２｜Ｐ２、｜Ｖ１２｜Ｐ３、｜Ｖ１２｜Ｐ４、｜Ｖ１２｜Ｐ５、動ベクトルＶ１３を求めたときのフレーム間画素差の２乗和をそれぞれ｜Ｖ１３｜Ｐ２、｜Ｖ１３｜Ｐ３、｜Ｖ１３｜Ｐ４、｜Ｖ１３｜Ｐ５とする。
【０１０９】
そして、｜Ｖ１２｜Ｐ２＋｜Ｖ１２｜Ｐ３＋｜Ｖ１２｜Ｐ４＋｜Ｖ１２｜Ｐ５（＝ＭＳＥ′１２とする）＞｜Ｖ１３｜Ｐ２＋｜Ｖ１３｜Ｐ３＋｜Ｖ１３｜Ｐ４＋｜Ｖ１３｜Ｐ５（＝ＭＳＥ′１３とする）の場合には、フレームＦｒ２の画素値を画素∴の画素値とする。逆に、｜Ｖ１２｜Ｐ２＋｜Ｖ１２｜Ｐ３＋｜Ｖ１２｜Ｐ４＋｜Ｖ１２｜Ｐ５＜｜Ｖ１３｜Ｐ２＋｜Ｖ１３｜Ｐ３＋｜Ｖ１３｜Ｐ４＋｜Ｖ１３｜Ｐ５の場合には、フレームＦｒ３の画素値を画素∴の画素値とする。また、（△×ＭＳＥ′１３＋▽×ＭＳＥ′１２）／（ＭＳＥ′１３＋ＭＳＥ′１２）を画素∴の画素値として用いてもよい。
【０１１０】
また、内挿画素位置Ｐ１に対応する小領域における動ベクトルＶ１２，Ｖ１３の大きさを比較するのみでなく、時間的に近いフレームＦｒ２，Ｆｒ３の画素値を画素∴の画素値として用いてもよい。第２の実施形態においては、図２２に示すように、フレームＦｒ１に時間的に近いフレームはフレームＦｒ２であるため、フレームＦｒ２の黒三角の画素値を画素∴の画素値として用いてもよい。
【０１１１】
さらに、上記第１および第２の実施形態において、フレームＦｒ１に対するフレームＦｒ２，Ｆｒ３のシーンが切り替わったか否かを判定し、切り替わった場合には、フレームＦｒ２，Ｆｒ３を合成高解像度フレームＦｒＧの生成には使用しないようにしてもよい。なお、シーンが切り替わったか否かの判定は、フレームＦｒ１とフレームＦｒ２，Ｆｒ３との相関値を算出し、相関値が所定のしきい値以上である場合に、シーンが切り替わったと判定すればよい。ここで、相関値としては、フレーム間の画素値の差の平方値の累積和を用いればよい。
【０１１２】
ここで、シーンが切り替わったと判定された場合には、フレームＦｒ１から合成高解像度フレームＦｒＧを算出する処理を停止し、新たなフレームから別の合成高解像度フレームＦｒＧを算出する処理を行うようにすればよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による画像処理装置の構成を示す概略ブロック図
【図２】動ベクトルの算出を説明するための図
【図３】動ベクトルの方向に応じて分割されたフレームＦｒ１を示す図
【図４】重み係数の特性を示すグラフ
【図５】フレームＦｒ１，Ｆｒ２の画素配列を示す図
【図６】第１の高解像度フレームＨＦｒ１の画素配列を示す図
【図７】補間フレームＦｒ１′，Ｆｒ２′の画素配列を示す図
【図８】第２の高解像度フレームＨＦｒ２の画素配列を示す図
【図９】合成高解像度フレームＦｒＧの画素配列を示す図
【図１０】第１の実施形態において行われる処理を示すフローチャート
【図１１】本発明の第２の実施形態による画像処理装置の構成を示す概略ブロック図
【図１２】動ベクトルの方向に応じて分割されたフレームＦｒ１を示す図
【図１３】フレームＦｒ１，Ｆｒ３の画素配列を示す図
【図１４】第２の内挿処理済みフレームＮＦｒ１３の画素列を示す図
【図１５】第２の実施形態における内挿処理を説明するための図
【図１６】補間フレームＦｒ１′，Ｆｒ２′，Ｆｒ３′の画素配列を示す図
【図１７】乗算補間フレームＦｒ２″，Ｆｒ３″および補間フレームＦｒ１′の画素配列を示す図
【図１８】第２の実施形態における合成高解像度フレームＦｒＧの画素配列を示す図
【図１９】第２の実施形態において行われる処理を示すフローチャート
【図２０】画素値の採用条件を説明するための図
【図２１】内挿画素位置の周囲における画素値の変動量に応じた画素値の採用条件を説明するための図
【図２２】フレームＦｒ１，Ｆｒ２，Ｆｒ３の時間軸上における位置関係を示す図
【符号の説明】
１，１１ サンプリング手段
２，１２ 記憶手段
３，１３ 動ベクトル算出手段
４，１４ 動ベクトル処理手段
５，１５ 内挿処理手段
６，１６ 時間フィルタ処理手段
７，１７ 合成手段
【発明の属する技術分野】
本発明は、動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、これらのフレームよりも高解像度の１のフレームを作成する画像処理方法および装置並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
近年のデジタルビデオカメラの普及により、動画像を１フレーム単位で扱うことが可能となっている。このような動画像の一部のフレームをプリント出力する際には、画質を向上させるためにフレームを高解像度にする必要がある。このため、動画からサンプリングした複数のフレームから、１の高解像度フレームを作成する方法が提案されている（特開２０００−３５４２４４号公報）。この方法によれば、作成の対象となる複数のフレーム間の動ベクトルを求め、この動ベクトルに基づいて、複数のフレームから高解像度フレームを合成する際に、画素間に内挿する信号値を算出する方法である。とくに特開２０００−３５４２４４号公報に記載された方法では、各フレームを複数のブロックに分割し、フレーム間で対応するブロックの直交座標係数を算出し、この直交座標係数における高周波の情報を他のブロックにおける低周波の情報と合成して内挿される画素値を算出しているため、必要な情報が低減されることなく、高画質の高解像度フレームを得ることができる。また、この方法においては、画素間距離よりもさらに細かい分解能にて動ベクトルを算出しているため、各フレーム間の動きを正確に補償してより高画質の高解像度フレームを得ることができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記特開２０００−３５４２４４号公報に記載された方法では、フレームにノイズやアーチファクトが含まれると、作成された高解像度フレームにもノイズやアーチファクトが含まれてしまうため、高解像度フレームの画質が劣化してしまうという問題がある。
【０００４】
本発明は上記事情に鑑みなされたものであり、動画像からサンプリングされた複数のフレームから、ノイズやアーチファクトを低減しつつも高画質の高解像度フレームを得ることを目的とする。
【０００５】
【課題を解決するための手段】
本発明による第１の画像処理方法は、動画像をサンプリングすることにより得られた連続する２つフレームを合成して、該各フレームよりも解像度が高い１の合成高解像度フレームを作成する画像処理方法において、
前記２つのフレームのうち基準となる１の基準フレームおよび他のフレーム間において、該基準フレームを構成する複数の小領域のそれぞれについての動ベクトルを算出し、
前記動ベクトルに基づいて、前記他のフレームを前記基準フレームに内挿処理して、前記各フレームよりも解像度が高い第１の高解像度フレームを算出し、
前記２つのフレームのそれぞれに対して補間演算を施すことにより得られた前記各フレームよりも解像度が高い２つの補間演算済みフレームに対して、時間フィルタ処理を施すことにより第２の高解像度フレームを算出し、
前記動ベクトルの大きさの小数部の値に応じて、前記第１および前記第２の高解像度フレームを重み付け加算して前記合成高解像度フレームを算出することを特徴とするものである。
【０００６】
本発明による第２の画像処理方法は、動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、該各フレームよりも解像度が高い１の合成高解像度フレームを作成する画像処理方法において、
前記複数のフレームのうち基準となる１の基準フレームおよびこれ以外の他の複数のフレーム間において、該基準フレームを構成する複数の小領域のそれぞれについての複数の動ベクトルを算出し、
前記各動ベクトルに基づいて、前記各他のフレームを前記基準フレームに内挿処理して、前記各フレームよりも解像度が高い複数の内挿処理済みフレームを算出し、
前記各動ベクトルの大きさの小数部の値に基づいて前記複数の内挿処理済みフレームを合成して第１の高解像度フレームを算出し、
前記複数のフレームのそれぞれに対して補間演算を施すことにより、前記各フレームよりも解像度が高い複数の補間演算済みフレームを算出し、
該補間演算済みフレームに対して、前記各動ベクトルの大きさの小数部の値に基づいて時間フィルタ処理を施すことにより第２の高解像度フレームを算出し、
前記第１および前記第２の高解像度フレームを加算平均して前記合成高解像度フレームを算出することを特徴とするものである。
【０００７】
なお、本発明による第１および第２の画像処理方法においては、第１の高解像度フレームの算出と、第２の高解像度フレームの算出とは並列に行ってもよく、直列に行ってもよい。
【０００８】
「動ベクトル」は、基準フレームを構成する各小領域の時間の経過による移動方向および移動量を表すものである。なお、基準フレームの小領域は基準フレームを複数の領域に分割することにより得ることができるが、例えば基準フレームをそれに含まれる被写体毎の領域に分割することにより、小領域を得てもよい。
【０００９】
「内挿処理」としては、例えば、上記特開平７−２０３４４２号公報に記載された方法を用いることができる。具体的には、基準フレームにおいて高解像度化により増加させるべき画素の画素値を、他のフレームにおける対応する画素の画素値を用いて補間する処理が挙げられる。
【００１０】
なお、本発明における補間に用いられる演算としては、スプライン補間演算、線形補間演算等種々の演算方法を用いることができる。
【００１１】
「時間フィルタ処理」とは、例えば、各補間演算済みフレームに含まれる高周波のノイズ（いわゆるモスキートノイズ）を低減するために、合成に用いる複数のフレームを加算してフレーム数により除算することにより、時間軸方向のローパスフィルタを構成して高周波のノイズを低減した１のフレームを得る処理である。
【００１２】
また、フレームに含まれるノイズ等の影響により、動ベクトルを正確に求めることができない場合がある。このように正確でない動ベクトルに基づいて内挿処理を行ったのでは、内挿する画素位置における画素値を精度よく求めることができない。このため、動ベクトルの信頼度を判定し、判定結果に応じた内挿処理を行って前記第１の高解像フレームを算出することが好ましい。
【００１３】
判定結果に応じた内挿処理としては、動ベクトルの信頼度が高い場合には例えば上記特開平７−２０３４４２号公報に記載された内挿処理を行い、動ベクトルの信頼度が低い場合には、内挿する画素の近傍の画素値を用いた補間演算等を行うことをいう。
【００１４】
また、本発明による第２の画像処理方法においては、前記動ベクトルの信頼度を判定し、該判定結果に応じた内挿処理を行って前記内挿処理済みフレームを算出してもよい。
【００１５】
本発明による第１の画像処理装置は、動画像をサンプリングすることにより得られた連続する２つフレームを合成して、該各フレームよりも解像度が高い１の合成高解像度フレームを作成する画像処理装置において、
前記２つのフレームのうち基準となる１の基準フレームおよび他のフレーム間において、該基準フレームを構成する複数の小領域のそれぞれについての動ベクトルを算出する動ベクトル算出手段と、
前記動ベクトルに基づいて、前記他のフレームを前記基準フレームに内挿処理して、前記各フレームよりも解像度が高い第１の高解像度フレームを算出する内挿処理手段と、
前記２つのフレームのそれぞれに対して補間演算を施すことにより得られた前記各フレームよりも解像度が高い２つの補間演算済みフレームに対して、時間フィルタ処理を施すことにより第２の高解像度フレームを算出する時間フィルタ処理手段と、
前記動ベクトルの大きさの小数部の値に応じて、前記第１および前記第２の高解像度フレームを重み付け加算して前記合成高解像度フレームを算出する合成手段とを備えたことを特徴とするものである。
【００１６】
なお、本発明による第１の画像処理装置においては、前記内挿処理手段を、前記動ベクトルの信頼度を判定し、該判定結果に応じた内挿処理を行って前記第１の高解像度フレームを算出する手段としてもよい。
【００１７】
本発明による第２の画像処理装置は、動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、該各フレームよりも解像度が高い１の合成高解像度フレームを作成する画像処理装置において、
前記複数のフレームのうち基準となる１の基準フレームおよびこれ以外の他の複数のフレーム間において、該基準フレームを構成する複数の小領域のそれぞれについての複数の動ベクトルを算出する動ベクトル算出手段と、
前記各動ベクトルに基づいて、前記各他のフレームを前記基準フレームに内挿処理して、前記各フレームよりも解像度が高い複数の内挿処理済みフレームを算出し、さらに、前記各動ベクトルの大きさの小数部の値に基づいて前記複数の内挿処理済みフレームを合成して第１の高解像度フレームを算出する内挿処理手段と、
前記複数のフレームのそれぞれに対して補間演算を施すことにより、前記各フレームよりも解像度が高い複数の補間演算済みフレームを算出し、さらに、該補間演算済みフレームに対して、前記各動ベクトルの大きさの小数部の値に基づいて時間フィルタ処理を施すことにより第２の高解像度フレームを算出する時間フィルタ処理手段と、
前記第１および前記第２の高解像度フレームを加算平均して前記合成高解像度フレームを算出する合成手段とを備えたことを特徴とするものである。
【００１８】
なお、本発明による第２の画像処理装置においては、前記内挿処理手段を、前記動ベクトルの信頼度を判定し、該判定結果に応じた内挿処理を行って前記内挿処理済みフレームを算出する手段としてもよい。
【００１９】
なお、本発明による第１および第２の画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２０】
【発明の効果】
本発明による第１の画像処理方法および装置によれば、２つのフレームのうち基準となる１の基準フレームおよび他のフレーム間において、基準フレームを構成する複数の小領域についての動ベクトルが算出される。そして、動ベクトルに基づいて、他のフレームが基準フレームに内挿処理されて、各フレームよりも解像度が高い第１の高解像度フレームが算出される。
【００２１】
また、２つのフレームのそれぞれに対して補間演算を施すことにより得られた各フレームよりも解像度が高い２つの補間演算済みフレームが算出され、これらの補間演算済みフレームに対して、時間フィルタ処理が施されて第２の高解像度フレームが算出される。
【００２２】
そして、動ベクトルの小数部の値に応じて、第１の高解像度フレームおよび第２の高解像度フレームが重み付け加算されて合成高解像度フレームが算出される。
【００２３】
また、本発明による第１の画像処理方法および装置によれば、複数のフレームのうち基準となる１の基準フレームおよびこれ以外の複数の他のフレーム間において、基準フレームを構成する小領域についての複数の動ベクトルが算出される。そして、各動ベクトルに基づいて、複数の他のフレームが基準フレームに内挿処理されて、各フレームよりも解像度が高い複数の内挿処理済みフレームが算出される。そして、これら複数の内挿処理済みフレームが各動ベクトルの大きさの小数部の値に基づいて合成されて第１の高解像度フレームが算出される。
【００２４】
一方、複数のフレームのそれぞれに対して補間演算を施すことにより得られた各フレームよりも解像度が高い複数の補間演算済みフレームが算出され、これら複数の補間演算済みフレームに対して、各動ベクトルの大きさの小数部の値に基づいて時間フィルタ処理が施されて第２の高解像度フレームが算出される。
【００２５】
そして、第１の高解像度フレームおよび第２の高解像度フレームが加算平均されて合成高解像度フレームが算出される。
【００２６】
ここで、動ベクトルの小数部は０から１の間の値をとるが、本発明において行われる内挿処理は、とくに動ベクトルが小数部を含んでいても、情報を欠落させることなく高解像度フレームを作成できるため、第１の高解像度フレームは動ベクトルの小数部の値に拘わらず高画質の画像を表すものとなる。しかしながら、各フレームに含まれるノイズやアーチファクトは何ら低減されていないため、第１の高解像度フレームには、各フレームに含まれるノイズやアーチファクトはそのまま含まれてしまっている。
【００２７】
一方、時間フィルタ処理によりフレームに含まれるノイズやアーチファクトは低減されるが、１つのフレームのみを用いた補間処理では、高周波の情報を十分に再現することはできないため、第２の高解像度フレームは、画像がぼけてしまっている。
【００２８】
本発明においては、動ベクトルの小数部の値に応じて、高画質ではあるがノイズやアーチファクトを含むの第１の高解像度フレームと、ノイズやアーチファクトは低減されているが多少画像がぼけている第２の高解像度フレームとを重み付け加算しているため、第１および第２の高解像度フレームの互いの欠点を補完した１の合成高解像度フレームを得ることができる。したがって、高周波情報の欠落を防止しつつもノイズやアーチファクトが低減された高画質の高解像度フレームを得ることができる。
【００２９】
また、動ベクトルの信頼度の判定結果に応じた内挿処理を行うことにより、内挿する画素の画素値をより精度よく求めることができるため、合成高解像度フレームをさらに高画質なものとすることができる。
【００３０】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像処理装置の構成を示す概略ブロック図である。図１に示すように、本発明の第１の実施の形態による画像処理装置は、動画像データＭ０から複数のフレームＦｒ１，Ｆｒ２…Ｆｒｎをサンプリングするサンプリング手段１と、サンプリングされた複数のフレームＦｒ１，Ｆｒ２…Ｆｒｎを一時的に記憶する記憶手段２と、合成処理の対象となるフレーム（第１の実施形態においては、フレームＦｒ１，Ｆｒ２）について、基準となるフレームＦｒ１と他のフレームＦｒ２との間における動ベクトルＶ１２を算出する動ベクトル算出手段３と、動ベクトルＶ１２に基づいて、後述する重み係数β１，β２を算出する動ベクトル処理手段４と、フレームＦｒ１，Ｆｒ２に対して内挿処理を施して第１の高解像度フレームＨＦｒ１を算出する内挿処理手段５と、フレームＦｒ１，Ｆｒ２に対して補間演算および時間フィルタ処理を施して第２の高解像度フレームＨＦｒ２を算出する時間フィルタ処理手段６と、第１の高解像度フレームＨＦｒ１に重み係数β１を、第２の高解像度フレームＨＦｒ２に重み係数β２を乗算してこれらを加算することにより合成高解像度フレームＦｒＧを得る合成手段７とを備える。
【００３１】
なお、第１の実施形態においては、合成高解像度フレームＦｒＧは、フレームＦｒ１，Ｆｒ２の２倍の解像度を有するものとする。
【００３２】
動ベクトル算出手段３は、フレームＦｒ１を例えば８×８画素の複数の小領域に分割し、フレームＦｒ１の各小領域をフレームＦｒ２上において平行移動し、各小領域とフレームＦｒ２上における対応する小領域との相関値を算出する。具体的には、小領域内における画素値の差の累積和の逆数を相関値として算出する。そして、相関値が最も高く、すなわち小領域内における画素値の差の累積和が最も小さくなったときの小領域の移動方向および移動量を、動ベクトルＶ１２として算出する。
【００３３】
例えば、図２に示すように、フレームＦｒ１における小領域Ａ１について、フレームＦｒ２における小領域Ａ１′との相関値が最も高い場合には、小領域Ａ１をフレームＦｒ２に投影して得られる小領域Ａ１″を小領域Ａ１′へ移動させるために必要な移動量および移動方向を動ベクトルＶ１２として算出する。ここで、第１の実施形態においては、図３に示すように、フレームＦｒ１における領域Ａ２内の小領域についての動ベクトルＶ１２がｘ方向にのみ成分を有し、領域Ａ３内の小領域についての動ベクトルＶ１２がｙ方向にのみ成分を有するものとする。また、領域Ａ２内の小領域についての動ベクトルＶ１２の大きさの小数部が０．５であり、領域Ａ３内の小領域についての動ベクトルＶ１２の大きさの小数部が０であるものとする。
【００３４】
動ベクトル処理手段４は、動ベクトル算出手段３において算出されたフレームＦｒ１上の各小領域における動ベクトルＶ１２の大きさの小数部に応じて、後述するように合成手段７において第１の高解像度フレームＨＦｒ１および第２の高解像度フレームＨＦｒ２に乗算する重み係数β１，β２を算出する。
【００３５】
ここで、算出される重み係数β１，β２の特性を図４（ａ），（ｂ）にそれぞれ示す。図４（ａ）に示すように、第１の高解像度フレームＨＦｒ１に乗算する重み係数β１は、動ベクトルＶ１２の小数部が０または１のときに０となり、動ベクトルＶ１２の小数部が０．５のときに１となるように直線的に変化する。一方、図４（ｂ）に示すように、第２の高解像度フレームＨＦｒ２に乗算する重み係数β２は、動ベクトルＶ１２の小数部が０または１のときに１となり、動ベクトルＶ１２の小数部が０．５のときに０となるように直線的に変化する。
【００３６】
内挿処理手段５は、動ベクトルＶ１２の方向に基づいて、フレームＦｒ１，Ｆｒ２に対して内挿処理を施して第１の高解像度フレームＨＦｒ１を算出する。図５（ａ）、（ｂ）はフレームＦｒ１，Ｆｒ２の画素配列を示す図、図６はフレームＦｒ１，Ｆｒ２から算出された第１の高解像度フレームＨＦｒ１の画素配列を示す図である。図５（ａ）、（ｂ）に示すように、第１の実施形態においては、フレームＦｒ１が黒丸の画素からなり、フレームＦｒ２が黒三角の画素からなるものとする。
【００３７】
第１の実施形態においては、図３に示すようにフレームＦｒ１の領域Ａ２内の各小領域についての動ベクトルＶ１２はｘ方向にのみ値を有するため、領域Ａ２においては、ｘ方向について黒丸の画素の間にフレームＦｒ２の黒三角の画素が内挿される。一方、ｙ方向については、黒丸の画素が並ぶ画素列については、黒丸の画素における画素値に基づいて補間演算が行われて、黒丸の画素の間に画素が内挿される。ここで、黒丸の画素の間に内挿された画素を白丸で表す。また、内挿により黒三角の画素が並ぶ画素列については、内挿された黒三角の画素における画素値に基づいて補間演算が行われて、黒三角の画素の間に画素が内挿される。ここで、黒三角の画素の間に内挿された画素を白三角で表す。
【００３８】
一方、領域Ａ３内の各小領域についての動ベクトルＶ１２はｙ方向にのみ値を有するため、領域Ａ３については、ｙ方向について黒丸の画素の間にフレームＦｒ２の黒三角の画素が内挿される。一方、ｘ方向については、黒丸の画素が並ぶ画素列については、黒丸の画素における画素値に基づいて補間演算が行われて、黒丸の画素の間に画素が内挿される。ここで、黒丸の画素の間に内挿された画素を白丸で表す。また、内挿により黒三角の画素が並ぶ画素列については、内挿された黒三角の画素における画素値に基づいて補間演算が行われて、黒三角の画素の間に画素が内挿される。ここで、黒三角の画素の間に内挿された画素を白三角で表す。
【００３９】
これにより、図６に示すようにフレームＦｒ１にフレームＦｒ２が内挿されて第１の高解像度フレームＨＦｒ１が算出される。
【００４０】
時間フィルタ処理手段６は、まず、フレームＦｒ１，Ｆｒ２に対して補間演算を行い、補間フレームＦｒ１′，Ｆｒ２′を算出する。図７（ａ），（ｂ）は、補間フレームＦｒ１′，Ｆｒ２′の画素配列を示す図である。補間フレームＦｒ１′は、フレームＦｒ１における黒丸の画素の画素値に基づいて、黒丸の画素間における画素値を補間演算により算出することにより得られるものであり、図７（ａ）においては、補間演算により算出された画素を白丸で示す。
【００４１】
一方、補間フレームＦｒ２′は、フレームＦｒ２における黒三角の画素の画素値に基づいて、黒三角の画素間における画素値を補間演算により算出することにより得られるものであり、図７（ｂ）においては、補間演算により算出された画素を白三角で示す。
【００４２】
そして、時間フィルタ処理手段６は、補間フレームＦｒ１′，Ｆｒ２′に対して時間フィルタ処理を施して第２の高解像度フレームＨＦｒ２を算出する。ここで、時間フィルタ処理は、補間フレームＦｒ１′，Ｆｒ２の相対応する画素の累積加算平均値を算出する処理である。図８は、第２の高解像度フレームＨＦｒ２の画素配列を示す図である。図８において黒四角画素の画素値は、補間フレームＦｒ１′における黒丸画素の画素値と補間フレームＦｒ２′における黒三角画素の画素値との平均値であり、白四角画素の画素値は、補間フレームＦｒ１′における白丸画素の画素値と補間フレームＦｒ２′における白三角画素の画素値との平均値である。
【００４３】
合成手段７は、第１の高解像度フレームＨＦｒ１に重み係数β１を、第２の高解像度フレームＨＦｒ２に重み係数β２をそれぞれ乗算してこれらを加算することにより合成高解像度フレームＦｒＧを算出する。具体的には、第１の高解像度フレームＨＦｒ１、第２の高解像度フレームＨＦｒ２および合成高解像度フレームＦｒＧについて、各画素の画素値をそれぞれＨＦｒ１，ＨＦｒ２，ＦｒＧとすると、下記の式（１）によりＦｒＧを算出する。
ＦｒＧ＝β１×ＨＦｒ１＋β２×ＨＦｒ２ （１）
【００４４】
ここで、第１の実施形態においては、領域Ａ２における動ベクトルＶ１２の大きさの小数部が０．５であるため、領域Ａ２においてはβ１＝１、β２＝０となる。また、領域Ａ３における動ベクトルＶ１２の大きさの小数部が０であるため、領域Ａ３においてはβ１＝０、β２＝１となる。したがって、図９に示すように合成高解像度フレームＦｒＧは、領域Ａ２においては第１の高解像度フレームＨＦｒ１の画素のみからなり、領域Ａ３においては第２の高解像度フレームＨＦｒ２の画素のみからなるものとなる。
【００４５】
次いで、第１の実施の形態の動作について説明する。図１０は第１の実施形態において行われる処理を示すフローチャートである。まず、サンプリング手段１に動画像データＭ０が入力され（ステップＳ１）、ここで動画像データＭ０のサンプリングが行われて複数のフレームＦｒ１，Ｆｒ２，…Ｆｒｎが取得され（ステップＳ２）、記憶手段２に記憶される（ステップＳ３）。続いて、処理の対象となる２つのフレームＦｒ１，Ｆｒ２が記憶手段２から読み出される（ステップＳ４）。
【００４６】
続いて、動ベクトル算出手段３において、基準となるフレームＦｒ１と他のフレームＦｒ２との間の動ベクトルＶ１２が算出され（ステップＳ５）、動ベクトル処理手段４において、動ベクトルＶ１２に基づいて重み係数β１，β２が算出される（ステップＳ６）。
【００４７】
また、内挿処理手段５においては、フレームＦｒ１，Ｆｒ２に対して内挿処理が施されて第１の高解像度フレームＨＦｒ１が算出される（ステップＳ７）。
【００４８】
一方、時間フィルタ処理手段６においては、フレームＦｒ１，Ｆｒ２に対して補間演算および時間フィルタ処理が施されて第２の高解像度フレームＨＦｒ２が算出される（ステップＳ８）。
【００４９】
なお、ここでは、ステップＳ６、ステップＳ７、およびステップＳ８の順で処理を行っているが、処理の順序は任意であり、またこれらの処理を並列に行ってもよい。
【００５０】
そして、合成手段７において、第１の高解像度フレームＨＦｒ１に重み係数β１が、第２の高解像度フレームＨＦｒ２に重み係数β２がそれぞれ乗算されて、さらにこれらが加算されて合成高解像度フレームＦｒＧが算出され（ステップＳ９）、処理を終了する。
【００５１】
ここで、動ベクトル算出手段３において算出される動ベクトルＶ１２の小数部は０から１の間の値をとるが、内挿処理手段５において行われる内挿処理は、とくに動ベクトルＶ１２が小数部を含んでいても、情報を欠落させることなく第１の高解像度フレームＨＦｒ１を作成できるため、第１の高解像度フレームＨＦｒ１は動ベクトルＶ１２の小数部の値に拘わらず高画質の画像を表すものとなる。しかしながら、フレームＦｒ１，Ｆｒ２に含まれるノイズやアーチファクトは何ら低減されないため、第１の高解像度フレームＨＦｒ１には、各フレームＦｒ１，Ｆｒ２に含まれるノイズやアーチファクトはそのまま含まれている。
【００５２】
一方、時間フィルタ処理手段６において行われる時間フィルタ処理により、各フレームＦｒ１，Ｆｒ２に含まれるノイズやアーチファクトは低減されるが、１つのフレームのみを用いた補間処理では、高周波の情報を十分に再現することはできないため、第２の高解像度フレームＨＦｒ２は、画像がぼけてしまっている。
【００５３】
本実施形態においては、動ベクトルＶ１２の小数部の値に応じて、高画質ではあるがノイズやアーチファクトを含むの第１の高解像度フレームＨＦｒ１と、ノイズやアーチファクトは低減されているが多少画像がぼけている第２の高解像度フレームＨＦｒ２とを重み付け加算しているため、第１および第２の高解像度フレームＨＦｒ１，ＨＦｒ２の互いの欠点を補完した１の合成高解像度フレームＦｒＧを得ることができる。したがって、動画像データＭ０からサンプリングしたフレームＦｒ１，Ｆｒ２から、高周波情報の欠落を防止しつつもノイズやアーチファクトが低減された高画質の高解像度フレームを得ることができる。
【００５４】
次いで、本発明の第２の実施形態について説明する。図１１は、本発明の第２の実施形態による画像処理装置の構成を示す概略ブロック図である。図１１に示すように、本発明の第２の実施の形態による画像処理装置は、動画像データＭ０から複数のフレームＦｒ１，Ｆｒ２…Ｆｒｎをサンプリングするサンプリング手段１１と、サンプリングされた複数のフレームＦｒ１，Ｆｒ２…Ｆｒｎを一時的に記憶する記憶手段１２と、合成処理の対象となるフレーム（第２の実施形態においては、３つのフレームＦｒ１，Ｆｒ２，Ｆｒ３）について、基準となるフレームＦｒ１と他のフレームＦｒ２，Ｆｒ３との間における動ベクトルＶ１２，Ｖ１３を算出する動ベクトル算出手段１３と、動ベクトルＶ１２，Ｖ１３に基づいて、後述する重み係数β１（１２），β１（１３），β２（１２），β２（１３）を算出する動ベクトル処理手段１４と、フレームＦｒ１，Ｆｒ２，Ｆｒ３に対して内挿処理を施して第１の高解像度フレームＨＦｒ１を算出する内挿処理手段１５と、フレームＦｒ１，Ｆｒ２，Ｆｒ３に対して補間演算および時間フィルタ処理を施して第２の高解像度フレームＨＦｒ２を算出する時間フィルタ処理手段１６と、第１の高解像度フレームＨＦｒ１と第２の高解像度フレームＨＦｒ２とを加算平均することにより合成高解像度フレームＦｒＧを得る合成手段１７とを備える。
【００５５】
なお、第２の実施形態においては、第１の実施形態と同様に、合成高解像度フレームＦｒＧは、フレームＦｒ１，Ｆｒ２，Ｆｒ３の２倍の解像度を有するものとする。
【００５６】
動ベクトル算出手段１３は、第１の実施形態における動ベクトル算出手段３と同様に、フレームＦｒ１を例えば８×８画素の複数の小領域に分割し、フレームＦｒ１の各小領域をフレームＦｒ２上において平行移動し、各小領域とフレームＦｒ２上における対応する小領域との相関値を算出する。そして、相関値が最も高く、すなわち小領域内における画素値の差の累積和が最も小さくなったときの小領域の移動方向および移動量を、動ベクトルＶ１２として算出する。
【００５７】
さらに動ベクトル算出手段１３は、フレームＦｒ１の各小領域をフレームＦｒ３上において平行移動し、各小領域とフレームＦｒ３上における対応する小領域との相関値を算出する。そして、相関値が最も高く、すなわち画素値の差の小領域内における累積和が最も小さくなったときの小領域の移動方向および移動量を、動ベクトルＶ１３として算出する。
【００５８】
ここで、第２の実施形態においては、図１２（ａ）に示すように、フレームＦｒ１における領域Ａ２内の小領域についての動ベクトルＶ１２がｘ方向にのみ成分を有し、領域Ａ３内の小領域についての動ベクトルＶ１２はｙ方向にのみ成分を有するものとする。また、領域Ａ２内の小領域についての動ベクトルＶ１２の大きさの小数部が０．５であり、領域Ａ３内の小領域についての動ベクトルＶ１２の大きさの小数部が０であるものとする。
【００５９】
また、図１２（ｂ）に示すように、フレームＦｒ１における領域Ａ４内の小領域についての動ベクトルＶ１３がｘ方向にのみ成分を有し、領域Ａ５内の小領域についての動ベクトルＶ１３はｙ方向にのみ成分を有するものとする。また、領域Ａ４内の小領域についての動ベクトルＶ１３の大きさの小数部が０であり、領域Ａ５内の小領域についての動ベクトルＶ１３の大きさの小数部が０．５であるものとする。
【００６０】
動ベクトル処理手段１４は、動ベクトル算出手段１３において算出されたフレームＦｒ１上の各小領域における動ベクトルＶ１２，Ｖ１３の大きさの小数部に応じて、後述するように内挿処理手段１５において第１および第２の内挿処理済みフレームＮＦｒ１，ＮＦｒ２を合成する際の重み係数β１（１２），β１（１３）、および時間フィルタ処理手段１６において補間演算済みフレームを合成する際の重み係数β２（１２），β２（１３）を算出する。
【００６１】
ここで、算出される重み係数β１（１２），β１（１３），β２（１２），β２（１３）の特性は図４（ａ），（ｂ）に示す重み係数β１，β２と同一である。なお、重み係数β１（１２）は、フレームＦｒ１およびフレームＦｒ２に基づいて算出された第１の内挿処理済みフレームＮＦｒ１２に乗算する重み係数であり、重み係数β１（１３）は、フレームＦｒ１およびフレームＦｒ３に基づいて算出された第２の内挿処理済みフレームＮＦｒ１３に乗算する重み係数である。また、重み係数β２（１２）は、フレームＦｒ１およびフレームＦｒ２に基づいて算出された補間フレームＦｒ２′に乗算する重み係数であり、重み係数β２（１３）は、フレームＦｒ１およびフレームＦｒ３に基づいて算出された補間フレームＦｒ３′に乗算する重み係数である。
【００６２】
内挿処理手段１５は、まず、動ベクトルＶ１２の方向に基づいて、フレームＦｒ１，Ｆｒ２に対して内挿処理を施して第１の内挿処理済みフレームＮＦｒ１２を算出する。第１の内挿処理済みフレームＮＦｒ１２は、第１の実施形態において内挿処理手段１５にて算出された第１の高解像度フレームＨＦｒ１に対応するものであり、その画素配列は図６に示すものとなる。
【００６３】
また、内挿処理手段１５は、動ベクトルＶ１３の方向に基づいて、フレームＦｒ１，Ｆｒ３に対して内挿処理を施して第２の内挿処理済みフレームＮＦｒ１３を算出する。図１３（ａ）、（ｂ）はフレームＦｒ１，Ｆｒ３の画素配列を示す図、図１４はフレームＦｒ１，Ｆｒ３から算出された第２の内挿処理済みフレームＮＦｒ１３の画素配列を示す図、図１５は第２の実施形態における内挿処理を説明するための図である。
【００６４】
第２の実施形態においては、図１３（ａ）、（ｂ）に示すように、フレームＦｒ１が黒丸の画素からなり、フレームＦｒ３が黒逆三角の画素からなるものとする。第２の実施形態においては、図１２に示すようにフレームＦｒ１の領域Ａ４内の各小領域についての動ベクトルＶ１３はｘ方向にのみ値を有するため、領域Ａ４においては、ｘ方向について黒丸の画素の間にフレームＦｒ３の黒逆三角の画素が内挿される。一方、ｙ方向については、黒丸の画素が並ぶ画素列については、黒丸の画素における画素値に基づいて補間演算が行われて、黒丸の画素の間に画素が内挿される。ここで、黒丸の画素の間に内挿された画素を白丸で表す。また、内挿により黒逆三角の画素が並ぶ画素列については、内挿された黒逆三角の画素における画素値に基づいて補間演算が行われて、黒逆三角の画素の間に画素が内挿される。ここで、黒逆三角の画素の間に内挿された画素を白逆三角で表す。
【００６５】
一方、領域Ａ５内の各小領域についての動ベクトルＶ１３はｙ方向にのみ値を有するため、領域Ａ５については、ｙ方向について黒丸の画素の間にフレームＦｒ３の黒逆三角の画素が内挿される。一方、ｘ方向については、黒丸の画素が並ぶ画素列については、黒丸の画素における画素値に基づいて補間演算が行われて、黒丸の画素の間に画素が内挿される。ここで、黒丸の画素の間に内挿された画素を白丸で表す。また、内挿により黒逆三角の画素が並ぶ画素列については、内挿された黒逆三角の画素における画素値に基づいて補間演算が行われて、黒逆三角の画素の間に画素が内挿される。ここで、黒三角の画素の間に内挿された画素を白逆三角で表す。
【００６６】
これにより、図１４に示すように画素が内挿されて第２の内挿処理済みフレームＮＦｒ１３が算出される。
【００６７】
続いて、内挿処理手段１５は、第１の内挿処理済みフレームＮＦｒ１２に重み係数β１（１２）を、第２の内挿処理済みフレームＮＦｒ１３に重み係数β１（１３）を乗算してこれらを加算することにより第１の高解像度フレームＨＦｒ１を算出する。具体的には、第１の内挿処理済みフレームＮＦｒ１２、第２の内挿処理済みフレームＮＦｒ１３および第１の高解像度フレームＨＦｒ１について、各画素の画素値をそれぞれＮＦｒ１２，ＮＦｒ１３，ＨＦｒ１とすると、下記の式（２）によりＨＦｒ１を算出する。
ＨＦｒ１＝β１（１２）×ＮＦｒ１２＋β１（１３）×ＮＦｒ１３ （２）
【００６８】
ここで、第２の実施形態においては、領域Ａ２内の各小領域についての動ベクトルＶ１２の大きさの小数部が０．５であるため、領域Ａ２においては、β１（１２）＝１となる。また、領域Ａ３における動ベクトルＶ１２の大きさの小数部が０であるため、領域Ａ３においては、β１（１２）＝０となる。このため、第１の内挿処理済みフレームＮＦｒ１２に重み係数β１（１２）を乗算することにより得られるフレームの画素配列は、図１５（ａ）に示すものとなる。
【００６９】
一方、領域Ａ４における動ベクトルＶ１３の大きさの小数部が０であるため、領域Ａ４においてはβ１（１３）＝０となる。また、領域Ａ５における動ベクトルＶ１３の大きさの小数部が０．５であるため、領域Ａ５においては、β１（１３）＝０．５となる。このため、第２の内挿処理済みフレームＮＦｒ１３に重み係数β１（１３）を乗算することにより得られるフレームの画素配列は、図１５（ｂ）に示すものとなる。
【００７０】
したがって、第１の高解像度フレームＨＦｒ１は、図１５（ｃ）に示すように領域Ａ２および領域Ａ４が重なる領域（Ａ２４とする）においては、第１の内挿処理済みフレームＮＦｒ１２の画素のみからなり、領域Ａ３および領域Ａ５が重なる領域（Ａ３５とする）においては、第２の内挿処理済みフレームＮＦｒ１３の画素のみからなり、さらに、領域Ａ２および領域Ａ５が重なる領域（Ａ２５とする）については、第１の内挿処理済みフレームＮＦｒ１２に第２の内挿処理済みフレームＮＦｒ１３を内挿することにより算出された画素値の画素からなるものとなる。
【００７１】
ここで、領域Ａ２５において、第１および第２の内挿処理済みフレームＮＦｒ１２，ＮＦｒ１３のフレームＦｒ１，Ｆｒ２，Ｆｒ３の画素値をそのまま用いている画素については、フレームＦｒ１，Ｆｒ２，Ｆｒ３の画素値をその画素における画素値として用いる。一方、領域Ａ２５において、第１および第２の内挿処理済みフレームＮＦｒ１２，ＮＦｒ１３のフレームＦｒ１，Ｆｒ２，Ｆｒ３の画素値をそのまま用いていない画素（図１５（ｃ）における∴）については、第１の内挿処理済みフレームＮＦｒ１２における白三角の画素における画素値と、第２の内挿処理済みフレームＮＦｒ１３における白逆三角の画素における画素値とを動ベクトルＶ１２，Ｖ１３を求めたときのフレーム間画素差の２乗和に応じた重み付け加算を行うことにより算出する。具体的には、下記の式（３）に示すように、動ベクトルＶ１２，Ｖ１３を求めたときのフレーム間画素差の２乗和に応じた重み付け加算を行う。なお、式（３）において、動ベクトルＶ１２，Ｖ１３を求めたときのフレーム間画素差の２乗和をそれぞれ｜Ｖ１２｜，｜Ｖ１３｜とする。
（△×｜Ｖ１３｜＋▽×｜Ｖ１２｜）／（｜Ｖ１３｜＋｜Ｖ１２｜） （３）
【００７２】
時間フィルタ手段１６は、フレームＦｒ１，Ｆｒ２，Ｆｒ３に対して補間演算を行い、補間フレームＦｒ１′，Ｆｒ２′，Ｆｒ３′を算出する。図１６は、補間フレームＦｒ１′，Ｆｒ２′，Ｆｒ３′の画素配列を示す図である。補間フレームＦｒ１′は、フレームＦｒ１における黒丸の画素の画素値に基づいて、黒丸の画素間における画素値を補間演算により算出することにより得られるものであり、図１６（ａ）においては、補間演算により算出された画素値を白丸で示す。
【００７３】
また、補間フレームＦｒ２′は、フレームＦｒ２における黒三角の画素の画素値に基づいて、黒三角の画素間における画素値を補間演算により算出することにより得られるものであり、図１６（ｂ）においては、補間演算により算出された画素値を白三角で示す。なお、補間の前にフレームＦｒ２をフレームＦｒ１に対して平行移動し、フレームＦｒ２の各画素をフレームＦｒ１の各画素に対応付ける処理が行われる。
【００７４】
また、補間フレームＦｒ３′は、フレームＦｒ３における黒逆三角の画素の画素値に基づいて、黒逆三角の画素間における画素値を補間演算により算出することにより得られるものであり、図１６（ｃ）においては、補間演算により算出された画素値を白逆三角で示す。なお、補間の前にフレームＦｒ３をフレームＦｒ１に対して平行移動し、フレームＦｒ３の各画素をフレームＦｒ１の各画素に対応付ける処理が行われる。
【００７５】
続いて、時間フィルタ処理手段１６においては、補間フレームＦｒ２′に重み係数β２（１２）を、補間フレームＦｒ３′に重み係数β２（１３）を乗算して乗算補間フレームＦｒ２″，Ｆｒ３″を算出する。
【００７６】
具体的には、補間フレームＦｒ２′，Ｆｒ３′および乗算補間フレームＦｒ２″，Ｆｒ３″について、各画素の画素値をそれぞれＦｒ２′，Ｆｒ３′，Ｆｒ２″，Ｆｒ３″とすると、下記の式（４）、（５）によりＦｒ２″，Ｆｒ３″を算出する。
Ｆｒ２″＝β２（１２）×Ｆｒ２′ （４）
Ｆｒ３″＝β２（１３）×Ｆｒ３′ （５）
【００７７】
ここで、第２の実施形態においては、領域Ａ２における動ベクトルＶ１２の大きさの小数部が０．５であるため、領域Ａ２においてはβ２（１２）＝０となる。また、領域Ａ３における動ベクトルＶ１２の大きさの小数部が０であるため、領域Ａ３においてはβ２（１２）＝１となる。このため、補間フレームＦｒ２′に重み係数β２（１２）を乗算することにより得られる乗算補間フレームＦｒ２″の画素配列は、図１７（ａ）に示すものとなる。
【００７８】
一方、領域Ａ４における動ベクトルＶ１３の大きさの小数部が０であるため、領域Ａ４においてはβ２（１３）＝１となる。また、領域Ａ５における動ベクトルＶ１３の大きさの小数部が０．５であるため、領域Ａ５においてはβ２（１３）＝０となる。このため、補間フレームＦｒ３′に重み係数β２（１３）を乗算することにより得られる乗算補間フレームＦｒ３″の画素配列は、図１７（ｂ）に示すものとなる。
【００７９】
そして、補間フレームＦｒ１′および乗算補間フレームＦｒ２″，Ｆｒ３″の相対応する画素同士の累積加算平均値を算出することにより、第２の高解像度フレームＨＦｒ２を算出する。なお、補間フレームＦｒ１′については、乗算補間フレームＦｒ２″，Ｆｒ３″の双方において画素値が０の画素に対応する画素については、累積加算平均値の算出には使用しないものとする。このため、補間フレームＦｒ１′は、図１７（ｃ）に示すように、領域Ａ２，Ａ５が重なり合う領域Ａ２５は累積加算平均値の算出には使用されないこととなる。
【００８０】
図１８は、第２の高解像度フレームＨＦｒ２の画素配列を示す図である。図１８に示すように第２の高解像度フレームＨＦｒ２における、領域Ａ３と領域Ａ５とが重なる領域Ａ３５の黒四角画素の画素値は、補間フレームＦｒ１′における黒丸画素の画素値と乗算補間フレームＦｒ２″における黒三角画素の画素値との平均値であり、白四角画素の画素値は、補間フレームＦｒ１′における白丸画素の画素値と乗算補間フレームＦｒ２″における白三角画素の画素値との平均値である。
【００８１】
また、領域Ａ２と領域Ａ４とが重なる領域Ａ２４の◆画素の画素値は、補間フレームＦｒ１′における黒丸画素の画素値と乗算補間フレームＦｒ３″における黒逆三角画素の画素値との平均値であり、◇画素の画素値は、補間フレームＦｒ１′における白丸画素の画素値と乗算補間フレームＦｒ３″における白逆三角画素の画素値との平均値である。
【００８２】
また、領域Ａ３と領域Ａ４とが重なる領域Ａ３４の★画素の画素値は、補間フレームＦｒ１′における黒丸画素の画素値と乗算補間フレームＦｒ２″における黒三角画素の画素値と乗算補間フレームＦｒ３″における黒逆三角画素の画素値との平均値であり、☆画素の画素値は、補間フレームＦｒ１′における白丸画素の画素値と乗算補間フレームＦｒ２″における白三角画素の画素値と乗算補間フレームＦｒ３″における白逆三角画素の画素値との平均値である。
【００８３】
合成手段１７は、第１の高解像度フレームＨＦｒ１と第２の高解像度フレームＨＦｒ２とにおける相対応する画素の画素値を加算平均することにより、合成高解像度フレームＦｒＧを算出する。具体的には、第１の高解像度フレームＨＦｒ１、第２の高解像度フレームＨＦｒ２および合成高解像度フレームＦｒＧについて、各画素の画素値をそれぞれＨＦｒ１，ＨＦｒ２，ＦｒＧとすると、下記の式（６）によりＦｒＧを算出する。
ＦｒＧ＝（ＨＦｒ１＋ＨＦｒ２）／２ （６）
【００８４】
次いで、第２の実施の形態の動作について説明する。図１９は第２の実施形態において行われる処理を示すフローチャートである。まず、サンプリング手段１１に動画像データＭ０が入力され（ステップＳ１１）、ここで動画像データＭ０のサンプリングが行われて複数のフレームＦｒ１，Ｆｒ２，…Ｆｒｎが取得され（ステップＳ１２）、記憶手段２に記憶される（ステップＳ１３）。続いて、処理の対象となる３つのフレームＦｒ１，Ｆｒ２，Ｆｒ３が記憶手段２から読み出される（ステップＳ１４）。
【００８５】
続いて、動ベクトル算出手段１３において、基準となるフレームＦｒ１と他のフレームＦｒ２，Ｆｒ３との間の動ベクトルＶ１２，Ｖ１３が算出され（ステップＳ１５）、動ベクトル処理手段１４において、動ベクトルＶ１２，Ｖ１３に基づいて重み係数β１（１２），β１（１３），β２（１２），β２（１３）が算出される（ステップＳ１６）。
【００８６】
また、内挿処理手段１５においては、フレームＦｒ１，Ｆｒ２，Ｆｒ３に対して内挿処理が施されて第１の高解像度フレームＨＦｒ１が算出される（ステップＳ１７）。
【００８７】
一方、時間フィルタ処理手段１６においては、フレームＦｒ１，Ｆｒ２，Ｆｒ３に対して補間演算および時間フィルタ処理が施されて第２の高解像度フレームＨＦｒ２が算出される（ステップＳ１８）。
【００８８】
なお、ここでは、ステップＳ１６、ステップＳ１７、およびステップＳ１８の順で処理を行っているが、処理の順序は任意であり、またこれらの処理を並列に行ってもよい。
【００８９】
そして、合成手段１７において、第１の高解像度フレームＨＦｒ１と第２の高解像度フレームＨＦｒ２とが加算平均されて合成高解像度フレームＦｒＧが算出され（ステップＳ１９）、処理を終了する。
【００９０】
なお、上記第１および第２の実施形態において、動ベクトル算出手段３，１３において算出された動ベクトルＶ１２が全ての小領域において常に正しい移動方向および移動量を表すものではない。例えば、フレームＦｒ１に含まれるある被写体（Ｘ１とする）と類似する被写体（Ｙ１とする）がフレームＦｒ２に存在し、被写体Ｘ１がフレームＦｒ２には含まれない場合、フレームＦｒ２に含まれる類似する被写体Ｙ１に基づいて動ベクトルＶ１２が算出されることとなる。このような場合、算出された動ベクトルＶ１２に基づいて内挿処理を行うと、内挿される画素の画素値が適切なものとはならない。
【００９１】
このため、算出された動ベクトルＶ１２の信頼度を判定し、信頼度が低いと判定された場合には、内挿される画素の画素値を採用するか否かをさらに判定してもよい。
【００９２】
ここで、動ベクトルＶ１２の信頼度の判定は、動ベクトルＶ１２の算出時に算出される相関値を所定のしきい値と比較し、相関値が所定のしきい値未満の場合には、その動ベクトルＶ１２は信頼できないものとして、内挿される画素の画素値を採用するか否かを判定する。
【００９３】
次いで、画素値の採用条件について説明する。図２０は、画素値の採用条件を説明するための図である。なお、ここでは簡単のため、ｘ方向のみの内挿処理について説明する。図２０に示すように、フレームＦｒ１における画素位置ｎおよび画素位置ｎ＋１の間の内挿画素位置Ｐ１にフレームＦｒ２の対応する画素値を内挿する場合において、内挿する画素値が画素位置ｎの画素値Ｖｎと画素位置ｎ＋１の画素値Ｖｎ＋１との間にあるか否かを判定する。そして、画素値Ｖｎと画素値Ｖｎ＋１の間（図中矢印の範囲）にある場合には、フレームＦｒ２の対応する画素の画素値をそのまま内挿画素位置Ｐ１の画素値として採用する。
【００９４】
一方、内挿する画素値が画素値Ｖｎと画素値Ｖｎ＋１との間にない場合には、内挿画素位置Ｐ１の画素値として、画素値Ｖｎと画素値Ｖｎ＋１を線形補間することにより算出された画素値を用いる。
【００９５】
また、内挿画素位置Ｐ１の周囲における画素値の変動量に応じて内挿画素位置Ｐ１における画素値の採用条件を設けてもよい。図２１は、内挿画素位置Ｐ１の周囲における画素値の変動量に応じた画素値の採用条件を説明するための図である。まず、図２１（ａ）に示すように、画素位置ｎの周囲における微分値が正の値となり、画素位置ｎ＋１の周囲における微分値が負の値となった場合、内挿画素位置Ｐ１の画素値は、画素値Ｖｎ，Ｖｎ＋１よりも値が大きいと推定される。このため、画素位置ｎ，ｎ＋１の周囲における画素値の変動量に基づいて、内挿画素位置Ｐ１における画素値を推定し、内挿される画素値が推定された画素値Ｖｐと画素値Ｖｎ，Ｖｎ＋１の小さい方の画素値（ここでは画素値Ｖｎ）との間にある場合には、フレームＦｒ２の対応する画素の画素値をそのまま内挿画素位置Ｐ１の画素値として採用する。
【００９６】
逆に、内挿される画素値が、推定された画素値Ｖｐと画素値Ｖｎ，Ｖｎ＋１の小さい方の画素値（ここでは画素値Ｖｎ）との間にない場合には、例えば推定された画素値Ｖｐを内挿画素位置Ｐ１の画素値として採用する。
【００９７】
なお、ここでは推定画素値Ｖｐは、画素位置ｎ−１，ｎの画素値Ｖｎ−１，Ｖｎを結ぶ直線と内挿画素位置Ｐ１との交点の値および画素位置ｎ＋１，ｎ＋２の画素値Ｖｎ＋１，Ｖｎ＋２を結ぶ直線と内挿画素位置Ｐ１との交点の値のいずれか小さい方の値を用いる。
【００９８】
一方、図２１（ｂ）に示すように、画素位置ｎの周囲における微分値が負の値となり、画素位置ｎ＋１の周囲における微分値が正の値となった場合、内挿画素位置Ｐ１の画素値は、画素値Ｖｎ，Ｖｎ＋１よりも値が小さいと推定される。このため、画素位置ｎ，ｎ＋１の周囲における画素値の変動量に基づいて、内挿画素位置Ｐ１における画素値を推定し、内挿される画素値が、推定された画素値Ｖｐと画素値Ｖｎ，Ｖｎ＋１の大きい方の画素値（ここでは画素値Ｖｎ＋１）との間にある場合には、フレームＦｒ２の対応する画素の画素値をそのまま内挿画素位置Ｐ１の画素値として採用する。
【００９９】
逆に、内挿される画素値が、推定された画素値Ｖｐと画素値Ｖｎ，Ｖｎ＋１の大きい方の画素値（ここでは画素値Ｖｎ＋１）との間にない場合には、例えば推定された画素値Ｖｐを内挿画素位置Ｐ１の画素値として採用する。
【０１００】
なお、ここでは推定画素値Ｖｐは、画素位置ｎ−１，ｎの画素値Ｖｎ−１，Ｖｎを結ぶ直線と内挿画素位置Ｐ１との交点の値および画素位置ｎ＋１，ｎ＋２の画素値Ｖｎ＋１，Ｖｎ＋２を結ぶ直線と内挿画素位置Ｐ１との交点の値の大きい方の値を用いる。
【０１０１】
さらに、動ベクトルＶ１２が適切でないと判定された場合に、画素位置ｎ，ｎ＋１が画像上における例えば人物の肌のようになだらかに画素値が変化する部分にあるか否かを判定し、なだらかな部分にあると判定された場合において、さらに内挿画素位置Ｐ１に内挿される画素値がノイズのような高周波成分である場合には、内挿画素位置Ｐ１の画素値として、例えば上記図２０および図２１を用いて説明した方法により画素値を線形補間して、内挿画素位置Ｐ１の画素値を求める。
【０１０２】
ここで、なだらかさの判定は、フレームＦｒ１における内挿画素位置Ｐ１の周囲における小領域の画素値の平均値を算出し、この平均値と小領域内の各画素の画素値の差との平方値の累積和を算出する。そして、算出された累積和が所定のしきい値よりも小さい場合には、その小領域はなだらかであるとし、所定のしきい値以上である場合にはその小領域はなだらかでないと判定する。
【０１０３】
また、内挿画素位置Ｐ１の周囲における小領域に対してＤＣＴ等の直交変換を施し、変換結果に含まれる高周波成分の含有量を求め、含有量が所定のしきい値よりも小さい場合には、その小領域はなだらかであるとし、所定のしきい値以上である場合にはその小領域はなだらかでないと判定する。
【０１０４】
このように、動ベクトルＶ１２が適切なものか否かを判定し、動ベクトルＶ１２が適切でない場合には、内挿する画素値の採用条件を設けることにより、適切な内挿処理を行うことができる。
【０１０５】
また、上記第２の実施形態のように、３以上のフレームから１の合成高解像度フレームＦｒＧを得る場合において、内挿処理時に図１５（ｃ）に示すように領域Ａ２と領域Ａ５とが重なる領域Ａ２５の画素∴については、第１の内挿処理済みフレームＮＦｒ１２における白三角の画素における画素値と、第２の内挿処理済みフレームＮＦｒ１３における白逆三角の画素における画素値とを動ベクトルＶ１２，Ｖ１３の大きさに応じた重み付け加算を行うことにより算出しているが、動ベクトルＶ１２，Ｖ１３の大きさが小さい方のフレームＦｒ２，Ｆｒ３における画素値（すなわち▲または▼画素の画素値）を画素∴の画素値としてもよい。
【０１０６】
例えば、動ベクトルＶ１２の大きさ｜Ｖ１２｜＜動ベクトルＶ１３の大きさ｜Ｖ１３｜の場合には、フレームＦｒ２の画素値を画素∴の画素値とし、｜Ｖ１２｜＞｜Ｖ１３｜の場合には、フレームＦｒ３の画素値を画素∴の画素値とすればよい。
【０１０７】
また、この場合、内挿画素位置Ｐ１に対応する小領域における動ベクトルＶ１２，Ｖ１３の大きさを単に比較するのみでなく、内挿画素位置Ｐ１の周囲の複数の内挿画素位置における動ベクトルＶ１２，Ｖ１３を求めたときのフレーム間画素差の２乗和に基づいて、画素∴の画素値を▲画素の画素値とするか▼画素の画素値とするかを決定してもよい。
【０１０８】
具体的には、内挿画素位置Ｐ１の座標を（ｘ，ｙ）、内挿画素位置Ｐ１の周囲の４点（以下画素Ｐ２〜Ｐ５とする）の座標を（ｘ−１，ｙ−１）、（ｘ＋１，ｙ−１）、（ｘ−１，ｙ＋１）、（ｘ＋１，ｙ＋１）とし、各画素Ｐ２〜Ｐ５における動ベクトルＶ１２を求めたときのフレーム間画素差の２乗和をそれぞれ｜Ｖ１２｜Ｐ２、｜Ｖ１２｜Ｐ３、｜Ｖ１２｜Ｐ４、｜Ｖ１２｜Ｐ５、動ベクトルＶ１３を求めたときのフレーム間画素差の２乗和をそれぞれ｜Ｖ１３｜Ｐ２、｜Ｖ１３｜Ｐ３、｜Ｖ１３｜Ｐ４、｜Ｖ１３｜Ｐ５とする。
【０１０９】
そして、｜Ｖ１２｜Ｐ２＋｜Ｖ１２｜Ｐ３＋｜Ｖ１２｜Ｐ４＋｜Ｖ１２｜Ｐ５（＝ＭＳＥ′１２とする）＞｜Ｖ１３｜Ｐ２＋｜Ｖ１３｜Ｐ３＋｜Ｖ１３｜Ｐ４＋｜Ｖ１３｜Ｐ５（＝ＭＳＥ′１３とする）の場合には、フレームＦｒ２の画素値を画素∴の画素値とする。逆に、｜Ｖ１２｜Ｐ２＋｜Ｖ１２｜Ｐ３＋｜Ｖ１２｜Ｐ４＋｜Ｖ１２｜Ｐ５＜｜Ｖ１３｜Ｐ２＋｜Ｖ１３｜Ｐ３＋｜Ｖ１３｜Ｐ４＋｜Ｖ１３｜Ｐ５の場合には、フレームＦｒ３の画素値を画素∴の画素値とする。また、（△×ＭＳＥ′１３＋▽×ＭＳＥ′１２）／（ＭＳＥ′１３＋ＭＳＥ′１２）を画素∴の画素値として用いてもよい。
【０１１０】
また、内挿画素位置Ｐ１に対応する小領域における動ベクトルＶ１２，Ｖ１３の大きさを比較するのみでなく、時間的に近いフレームＦｒ２，Ｆｒ３の画素値を画素∴の画素値として用いてもよい。第２の実施形態においては、図２２に示すように、フレームＦｒ１に時間的に近いフレームはフレームＦｒ２であるため、フレームＦｒ２の黒三角の画素値を画素∴の画素値として用いてもよい。
【０１１１】
さらに、上記第１および第２の実施形態において、フレームＦｒ１に対するフレームＦｒ２，Ｆｒ３のシーンが切り替わったか否かを判定し、切り替わった場合には、フレームＦｒ２，Ｆｒ３を合成高解像度フレームＦｒＧの生成には使用しないようにしてもよい。なお、シーンが切り替わったか否かの判定は、フレームＦｒ１とフレームＦｒ２，Ｆｒ３との相関値を算出し、相関値が所定のしきい値以上である場合に、シーンが切り替わったと判定すればよい。ここで、相関値としては、フレーム間の画素値の差の平方値の累積和を用いればよい。
【０１１２】
ここで、シーンが切り替わったと判定された場合には、フレームＦｒ１から合成高解像度フレームＦｒＧを算出する処理を停止し、新たなフレームから別の合成高解像度フレームＦｒＧを算出する処理を行うようにすればよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による画像処理装置の構成を示す概略ブロック図
【図２】動ベクトルの算出を説明するための図
【図３】動ベクトルの方向に応じて分割されたフレームＦｒ１を示す図
【図４】重み係数の特性を示すグラフ
【図５】フレームＦｒ１，Ｆｒ２の画素配列を示す図
【図６】第１の高解像度フレームＨＦｒ１の画素配列を示す図
【図７】補間フレームＦｒ１′，Ｆｒ２′の画素配列を示す図
【図８】第２の高解像度フレームＨＦｒ２の画素配列を示す図
【図９】合成高解像度フレームＦｒＧの画素配列を示す図
【図１０】第１の実施形態において行われる処理を示すフローチャート
【図１１】本発明の第２の実施形態による画像処理装置の構成を示す概略ブロック図
【図１２】動ベクトルの方向に応じて分割されたフレームＦｒ１を示す図
【図１３】フレームＦｒ１，Ｆｒ３の画素配列を示す図
【図１４】第２の内挿処理済みフレームＮＦｒ１３の画素列を示す図
【図１５】第２の実施形態における内挿処理を説明するための図
【図１６】補間フレームＦｒ１′，Ｆｒ２′，Ｆｒ３′の画素配列を示す図
【図１７】乗算補間フレームＦｒ２″，Ｆｒ３″および補間フレームＦｒ１′の画素配列を示す図
【図１８】第２の実施形態における合成高解像度フレームＦｒＧの画素配列を示す図
【図１９】第２の実施形態において行われる処理を示すフローチャート
【図２０】画素値の採用条件を説明するための図
【図２１】内挿画素位置の周囲における画素値の変動量に応じた画素値の採用条件を説明するための図
【図２２】フレームＦｒ１，Ｆｒ２，Ｆｒ３の時間軸上における位置関係を示す図
【符号の説明】
１，１１ サンプリング手段
２，１２ 記憶手段
３，１３ 動ベクトル算出手段
４，１４ 動ベクトル処理手段
５，１５ 内挿処理手段
６，１６ 時間フィルタ処理手段
７，１７ 合成手段
Claims (12)
- 動画像をサンプリングすることにより得られた連続する２つフレームを合成して、該各フレームよりも解像度が高い１の合成高解像度フレームを作成する画像処理方法において、
前記２つのフレームのうち基準となる１の基準フレームおよび他のフレーム間において、該基準フレームを構成する複数の小領域のそれぞれについての動ベクトルを算出し、
前記動ベクトルに基づいて、前記他のフレームを前記基準フレームに内挿処理して、前記各フレームよりも解像度が高い第１の高解像度フレームを算出し、
前記２つのフレームのそれぞれに対して補間演算を施すことにより得られた前記各フレームよりも解像度が高い２つの補間演算済みフレームに対して、時間フィルタ処理を施すことにより第２の高解像度フレームを算出し、
前記動ベクトルの大きさの小数部の値に応じて、前記第１および前記第２の高解像度フレームを重み付け加算して前記合成高解像度フレームを算出することを特徴とする画像処理方法。 - 前記動ベクトルの信頼度を判定し、該判定結果に応じた内挿処理を行って前記第１の高解像度フレームを算出することを特徴とする請求項１記載の画像処理方法。
- 動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、該各フレームよりも解像度が高い１の合成高解像度フレームを作成する画像処理方法において、
前記複数のフレームのうち基準となる１の基準フレームおよびこれ以外の他の複数のフレーム間において、該基準フレームを構成する複数の小領域のそれぞれについての複数の動ベクトルを算出し、
前記各動ベクトルに基づいて、前記各他のフレームを前記基準フレームに内挿処理して、前記各フレームよりも解像度が高い複数の内挿処理済みフレームを算出し、
前記各動ベクトルの大きさの小数部の値に基づいて前記複数の内挿処理済みフレームを合成して第１の高解像度フレームを算出し、
前記複数のフレームのそれぞれに対して補間演算を施すことにより、前記各フレームよりも解像度が高い複数の補間演算済みフレームを算出し、
該補間演算済みフレームに対して、前記各動ベクトルの大きさの小数部の値に基づいて時間フィルタ処理を施すことにより第２の高解像度フレームを算出し、
前記第１および前記第２の高解像度フレームを加算平均して前記合成高解像度フレームを算出することを特徴とする画像処理方法。 - 前記動ベクトルの信頼度を判定し、該判定結果に応じた内挿処理を行って前記内挿処理済みフレームを算出することを特徴とする請求項３記載の画像処理方法。
- 動画像をサンプリングすることにより得られた連続する２つフレームを合成して、該各フレームよりも解像度が高い１の合成高解像度フレームを作成する画像処理装置において、
前記２つのフレームのうち基準となる１の基準フレームおよび他のフレーム間において、該基準フレームを構成する複数の小領域のそれぞれについての動ベクトルを算出する動ベクトル算出手段と、
前記動ベクトルに基づいて、前記他のフレームを前記基準フレームに内挿処理して、前記各フレームよりも解像度が高い第１の高解像度フレームを算出する内挿処理手段と、
前記２つのフレームのそれぞれに対して補間演算を施すことにより得られた前記各フレームよりも解像度が高い２つの補間演算済みフレームに対して、時間フィルタ処理を施すことにより第２の高解像度フレームを算出する時間フィルタ処理手段と、
前記動ベクトルの大きさの小数部の値に応じて、前記第１および前記第２の高解像度フレームを重み付け加算して前記合成高解像度フレームを算出する合成手段とを備えたことを特徴とする画像処理装置。 - 前記内挿処理手段は、前記動ベクトルの信頼度を判定し、該判定結果に応じた内挿処理を行って前記第１の高解像度フレームを算出する手段であることを特徴とする請求項５記載の画像処理装置。
- 動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、該各フレームよりも解像度が高い１の合成高解像度フレームを作成する画像処理装置において、
前記複数のフレームのうち基準となる１の基準フレームおよびこれ以外の他の複数のフレーム間において、該基準フレームを構成する複数の小領域のそれぞれについての複数の動ベクトルを算出する動ベクトル算出手段と、
前記各動ベクトルに基づいて、前記各他のフレームを前記基準フレームに内挿処理して、前記各フレームよりも解像度が高い複数の内挿処理済みフレームを算出し、さらに、前記各動ベクトルの大きさの小数部の値に基づいて前記複数の内挿処理済みフレームを合成して第１の高解像度フレームを算出する内挿処理手段と、
前記複数のフレームのそれぞれに対して補間演算を施すことにより、前記各フレームよりも解像度が高い複数の補間演算済みフレームを算出し、さらに、該補間演算済みフレームに対して、前記各動ベクトルの大きさの小数部の値に基づいて時間フィルタ処理を施すことにより第２の高解像度フレームを算出する時間フィルタ処理手段と、
前記第１および前記第２の高解像度フレームを加算平均して前記合成高解像度フレームを算出する合成手段とを備えたことを特徴とする画像処理装置。 - 前記内挿処理手段は、前記動ベクトルの信頼度を判定し、該判定結果に応じた内挿処理を行って前記内挿処理済みフレームを算出する手段であることを特徴とする請求項７記載の画像処理装置。
- 動画像をサンプリングすることにより得られた連続する２つフレームを合成して、該各フレームよりも解像度が高い１の合成高解像度フレームを作成する画像処理方法をコンピュータに実行させるためのプログラムにおいて、
前記２つのフレームのうち基準となる１の基準フレームおよび他のフレーム間において、該基準フレームを構成する複数の小領域のそれぞれについての動ベクトルを算出する手順と、
前記動ベクトルに基づいて、前記他のフレームを前記基準フレームに内挿処理して、前記各フレームよりも解像度が高い第１の高解像度フレームを算出する手順と、
前記２つのフレームのそれぞれに対して補間演算を施すことにより得られた前記各フレームよりも解像度が高い２つの補間演算済みフレームに対して、時間フィルタ処理を施すことにより第２の高解像度フレームを算出する手順と、
前記動ベクトルの大きさの小数部の値に応じて、前記第１および前記第２の高解像度フレームを重み付け加算して前記合成高解像度フレームを算出する手順とを有するプログラム。 - 前記動ベクトルの信頼度を判定する手順をさらに有し、
前記第１の高解像度フレームを算出する手順は、前記判定結果に応じた内挿処理を行って前記第１の高解像度フレームを算出する手順である請求項９記載のプログラム。 - 動画像をサンプリングすることにより得られた連続する複数のフレームを合成して、該各フレームよりも解像度が高い１の合成高解像度フレームを作成する画像処理方法をコンピュータに実行させるためのプログラムにおいて、
前記複数のフレームのうち基準となる１の基準フレームおよびこれ以外の他の複数のフレーム間において、該基準フレームを構成する複数の小領域のそれぞれについての複数の動ベクトルを算出する手順と、
前記各動ベクトルに基づいて、前記各他のフレームを前記基準フレームに内挿処理して、前記各フレームよりも解像度が高い複数の内挿処理済みフレームを算出する手順と、
前記各動ベクトルの大きさの小数部の値に基づいて前記複数の内挿処理済みフレームを合成して第１の高解像度フレームを算出する手順と、
前記複数のフレームのそれぞれに対して補間演算を施すことにより、前記各フレームよりも解像度が高い複数の補間演算済みフレームを算出する手順と、
該補間演算済みフレームに対して、前記各動ベクトルの大きさの小数部の値に基づいて時間フィルタ処理を施すことにより第２の高解像度フレームを算出する手順と、
前記第１および前記第２の高解像度フレームを加算平均して前記合成高解像度フレームを算出する手順とを有するプログラム。 - 前記動ベクトルの信頼度を判定する手順をさらに有し、
前記内挿処理済みフレームを算出する手順は、前記判定結果に応じた内挿処理を行って前記内挿処理済みフレームを算出する手順である請求項１１記載のプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002283885A JP2004120603A (ja) | 2002-09-27 | 2002-09-27 | 画像処理方法および装置並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002283885A JP2004120603A (ja) | 2002-09-27 | 2002-09-27 | 画像処理方法および装置並びにプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004120603A true JP2004120603A (ja) | 2004-04-15 |
Family
ID=32277625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002283885A Withdrawn JP2004120603A (ja) | 2002-09-27 | 2002-09-27 | 画像処理方法および装置並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004120603A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100727998B1 (ko) | 2005-04-14 | 2007-06-14 | 삼성전자주식회사 | 움직임 보상형 시간적 잡음 제거 방법 및 시스템 |
| KR100772405B1 (ko) | 2005-09-27 | 2007-11-01 | 삼성전자주식회사 | 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템 |
-
2002
- 2002-09-27 JP JP2002283885A patent/JP2004120603A/ja not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100727998B1 (ko) | 2005-04-14 | 2007-06-14 | 삼성전자주식회사 | 움직임 보상형 시간적 잡음 제거 방법 및 시스템 |
| KR100772405B1 (ko) | 2005-09-27 | 2007-11-01 | 삼성전자주식회사 | 전역 움직임 추정에 근거한 적응성 잡음 감쇄 방법 및 영상처리 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10404917B2 (en) | One-pass video stabilization | |
| US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
| US20100067818A1 (en) | System and method for high quality image and video upscaling | |
| US20100123792A1 (en) | Image processing device, image processing method and program | |
| CN102113308B (zh) | 图像处理装置、图像处理方法以及集成电路 | |
| JP2003163894A (ja) | 適応動き補償型フレーム及び／又はフィールドレート変換装置及びその方法 | |
| US20080212687A1 (en) | High accurate subspace extension of phase correlation for global motion estimation | |
| KR101140953B1 (ko) | 영상 왜곡 보정 장치 및 방법 | |
| JP6254938B2 (ja) | 画像ノイズ除去装置、および画像ノイズ除去方法 | |
| JP2010093779A (ja) | 動き補償において周期的構造に対処する方法および装置 | |
| JP5081898B2 (ja) | 補間画像生成方法及びシステム | |
| KR20030059399A (ko) | 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법 | |
| KR102003460B1 (ko) | 왜곡제거장치 및 방법 | |
| US20090079836A1 (en) | Image processing apparatus, method, and computer program product | |
| KR101517233B1 (ko) | 움직임 추정을 이용한 잡음 제거장치 | |
| US20110075948A1 (en) | Image processing apparatus, image processing method, and computer program | |
| JP2008091979A (ja) | 画像高画質化装置、及びその方法、並びに画像表示装置 | |
| JPH07505033A (ja) | ビデオ画像運動補償システムにおける非線形画像変換，例えばズーム及びパンを補償するための機械的方法 | |
| JP2013074571A (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
| JP2012109656A (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
| JP4930304B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
| JP2004120603A (ja) | 画像処理方法および装置並びにプログラム | |
| CN113744277A (zh) | 一种基于局部路径优化的视频去抖方法及系统 | |
| CN101088281B (zh) | 学习装置和学习方法 | |
| WO2023174546A1 (en) | Method and image processor unit for processing image data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060110 |