JP2010141451A - フレームレート変換方法、フレームレート変換装置、フレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】本発明は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで得られた所望のフレームレートの映像信号を符号化する場合に、符号量を低く抑えることができるようにする新たなフレームレート変換技術の提供を目的とする。
【解決手段】等長間隔のダウンサンプリングにより規定されるフレーム位置にある複数のフレームのそれぞれについて、１つ前のフレーム位置にある複数のフレームのそれぞれとの間で低フレームレート映像信号についての符号化効率表示値を算出して、それに基づいて、先頭フレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームを特定することを最終フレーム位置まで繰り返る。そして、最終フレーム位置にある複数のフレームの中から、最小の符号化効率表示値の総和を持つフレームを検出して、それを起点としてフレームを辿ることでダウンサンプリング後のフレームを選択する。
【選択図】図３

Description

本発明は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換方法およびその装置と、そのフレームレート変換方法の実現に用いられるフレームレート変換プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

近年、臨場感あふれる大画面のスポーツ映像やデジタルシネマに代表される超高画質映像への期待が高まっている。これを受けて、映像の高画質化に関する研究が精力的に行われている。

超高画質映像の実現には次の四要素が必要である。すなわち、空間解像度、画素値深度、色再現性、時間解像度である。これを受けて、前者の三要素については、デジタルシネマ等の応用およびナチュラルビジョンプロジェクトにおいて検討が進められている。また、被写体の自然な動きを表現するために不可欠な時間解像度の向上、すなわち、映像の高フレームレート化についても検討がなされている。

１０００[frame/sec] を超える高フレームレート映像を撮像可能な高速度カメラがすでに市場に流通している。ただし、こうした高速度カメラで撮像された映像はスロー再生用途で用いられる。映像の入力・出力システムのフレームレートの上限は非対称である。現行のディスプレイの上限は１２０[fps] 程度であるため、高速度カメラで撮影された映像ソースは、実時間再生を目的とした表示形態ではフレームレートを間引く必要がある。

通常、図７に示すように、ダウンサンプリング後のフレーム時間間隔が等間隔になるようにダウンサンプリングが実施される（例えば、特許文献１参照）。これは、非等長間隔な時間サンプリングでは、ジャーキネス（画質劣化）を発生させるという仮定に基づくものである。

ダウンサンプリングの対象が低フレームレート映像の場合、この仮定は正しい。しかし、ダウンサンプリングの対象が高フレームレート映像の場合は、その限りではない。ダウンサンプリングの対象が高フレームレート映像の場合、フレームを厳密に等間隔に配置してなくても、等間隔からの乖離が一定閾値以内であれば、視覚的には大きなジャーキネス（画質劣化）を発生しない。

したがって、ダウンサンプリングの対象が高フレームレート映像の場合には、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができる。この制約条件の緩和により、ダウンサンプリング後のフレーム選択に関する自由度が高くなる。つまり、符号化効率の観点から最適なフレームレートのダウンサンプリング法を検討する余地があることになる。

このようなことを背景にして、本発明者は、動き補償予測誤差電力を最小化するように、ダウンサンプリング後のフレームを選択するという方法について検討を行った（非特許文献１参照）。
特開２００４−２０１１６５号公報 坂東幸浩，高村誠之，上倉一人，八島由幸："高フレームレート映像信号のダウンサンプリング方法に関する一考察"，画像符号化シンポジウム, p5-02, 2008

前述したように、ダウンサンプリングの対象が高フレームレート映像の場合には、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができ、これにより、ダウンサンプリング後のフレーム選択に関する自由度を高くできる。

しかしながら、従来技術では、この点について一切検討を行っておらず、これから、高フレームレート映像に対してのダウンサンプリングにより得られた低フレームレート映像を符号化する場合に、フレーム間予測誤差電力の低減に改善の余地が残されていた。

このようなことを背景にして、本発明者は、非特許文献１で、動き補償予測誤差電力を最小化するように、ダウンサンプリング後のフレームを選択するという方法について検討を行ったが、この方法では逐次的に選択フレームを設定しており、シーケンス全体での動き補償予測誤差電力の最小化を保証しておらず、その点から改善の余地が残されている。

本発明はかかる事情に鑑みてなされたものであって、高フレームレート映像信号に対してのダウンサンプリングにより得られた低フレームレート映像信号を入力とする映像符号化処理において、ダウンサンプリング後の低フレームレート映像信号の全シーケンスに対する符号化効率を考慮した形で、低フレームレート映像信号を決定する効率的なフレームレートのダウンサンプリング技術を確立することを目的とする。

〔１〕本発明の基本的な考え方
フレームレートの変換の対象となる高フレームレート映像信号について、フレーム間隔をδ_t として、時刻ｔ＝ｊδ_t （ｊ＝０, １, ..... ）のフレームにおける位置ｘの画素値をｆ（ｘ，ｔ）（ｘ＝０, １, .... ,Ｘ−１）と表す。

この画素信号ｆ（ｘ，ｔ）を、ダウンサンプリングによりフレーム数を１／Ｍに変換する場合を考える。ダウンサンプリング前後のフレームレートの比Ｍをダウンサンプリング比と呼ぶ。つまり、この変換は、フレームレートを、“１／δ_t ”から“１／Ｍδ_t ”へ変換することを想定している。

なお、以下では、簡単のために一次元信号を例にとり説明するが、同様の議論は、容易に二次元信号にも拡張可能である。

フレーム間引きにより、前記の変換を行う場合、従来では、
ｆ（ｘ，ｉＭδ_t ） ｉ＝０, １, .....
というように、フレーム間隔をＭ倍するという方法がとられてきた。

これは、ダウンサンプリング後のフレーム間隔が非等長である場合、動きの滑らかさを失うという経験則に基づくものである。この経験則は、δ_t ＝１／３０［秒］といった従来のフレームレートの映像信号の場合には、妥当と言える。

しかし、δ_t ＝１／１０００［秒］といった高フレームレートの映像信号の場合は、その限りではない。例えば、フレーム間隔がδ_t ＝１／１０００［秒］の高フレームレートの映像信号を、Ｍ＝１６として、フレーム間隔１／６２．５［秒］の低フレームレートの映像信号に変換する場合、変換後のフレーム間隔が１／１０００［秒］程度伸縮したとしても、視覚的に検知できない。

このため、フレーム間隔を非等長にすることによる画質劣化は問題とならない。したがって、ダウンサンプリング後のフレーム間隔に対する等長という制約条件を緩和することができる。この制約条件の緩和により、ダウンサンプリング後のフレーム選択に関する自由度が高くなる。

そこで、本発明では、フレーム選択の候補を、
ｆ（ｘ，（ｉＭ＋Ｌ_i ）δ_t ） ｉ＝１, ２, .....
Ｌ_i ＝−Δ, .... ,Δ−１
但し、Ｌ₀ ＝０, .... ,Δ−１
というように、２Δフレーム（ｉ＝０の場合にはΔフレーム）にまで拡大する。

ここで、Ｌ_i は、−Δ, .... ,Δ−１の範囲の整数値をとるパラメータ（以下、Ｌ_i を伸縮パラメータと呼ぶ）であり、ダウンサンプリング後のフレームを指定するために用いるもので、２Δ≦Ｍを満たすものとする。また、Δはダウンサンプリングの対象となるフレーム候補の存在区間を表し、例えば、外部から与えられるパラメータである。

伸縮パラメータＬ_i をΔに限定したのは、このＬ_i の値が大きすぎると、フレーム間隔が等長から大きく外れることで、画質劣化が問題となることになるからである。

このように、本発明では、フレーム選択の候補を２Δフレームにまで拡大することになるが、いずれのフレームを選択するのかについては、次の基準に従うものとする。

フレーム選択の基準として動き補償予測誤差電力を用いることとし、動き補償予測誤差電力を最小化するように、ダウンサンプリング後のフレーム選択を行う。

信号ｆ（ｘ，（ｉＭ＋Ｌ_i ）δ_t ）に対して、サイズＳの区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）に分割し、各区間Ｂ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を単位として動き補償（推定変移量ｄ〔ｋ〕：変移量は動きベクトルと同義）を行った場合、その区間内の動き補償後の予測誤差電力は下記の式（１）のように表現できる。ここで、式（１）では、１つ前のフレームとの間で動き補償後の予測誤差電力を求めるようにしている。

Ｌ_i とＬ_i-1 が与えられた場合、この式（１）に従って、σ_i ² 〔Ｌ_i ，Ｌ_i-1 〕を最小化するように推定変移量ｄ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を設定し、ｄ〔ｋ，Ｌ_i ，Ｌ_i-1 〕（ｋ＝０，１, .... ,Ｋ−１）とおく。このとき、推定変移量ｄ〔ｋ〕の精度は外部から与えられるものとする（例：整数画素精度、１／２画素精度、１／４画素精度など）。

ここで、注意すべきは、Ｌ_i の設定方法（選択方法）である。σ_i ² 〔Ｌ_i ，Ｌ_i-1 〕を最小化するようにＬ_i を設定したのでは、シーケンス全体での予測誤差電力
Σσ_i ² 〔Ｌ_i ，Ｌ_i-1 〕
但し、Σはｉ＝１〜（Ｊ／Ｍ−１）の総和で、Ｊはフレーム数
を最小化したことにはならない。なぜなら、Ｌ_i の選択はσ_i ² 〔Ｌ_i ，Ｌ_i-1 〕にも影響を与えるからである。

従って、求めるべきパラメータは、下記の式（２）を満たすＪ／Ｍ個のパラメータである。

しかしながら、Ｊ／Ｍ個のパラメータ（Ｌ₀ , .... ,Ｌ_J/M-1 ）の取り得る組み合わせはΔ×（２Δ）^J/M-1 通りであり、この中から最適な組み合わせ（Ｌ^* ₀ , .... , Ｌ^* _J/M-1 ）を総当たりで探索するのは、計算量的に困難である。

そこで、本発明では、σ_i ² 〔Ｌ_i ，Ｌ_i-1 〕が直前フレームの結果のみに依存することに着目し、以下のように最適解を算出する。

まず、Ｌ_i として取り得る全ての値に対して、最適なＬ_i-1 , .... ,Ｌ₀ を用いた場合のΣσ_i ² 〔Ｌ_i ，Ｌ_i-1 〕（但し、Σはｉ＝１〜ｉの総和）をＳ_i （Ｌ_i ）として定義する。

ここで、σ_i ² 〔Ｌ_i ，Ｌ_i-1 〕が直前フレームの結果のみに依存することに着目すると、Ｓ_i （Ｌ_i ）はＳ_i-1 （Ｌ_i-1 ）を用いて、図１に示すように、下記の式（３）のように表される。なお、ｉ＝１, .... ,（Ｊ／Ｍ−１）である。

この式（３）に従って算出したＳ_i （Ｌ_i ）（Ｌ_i ＝−Δ, .... ,Δ−１）をメモリに格納しておき、Ｓ_i+1 （Ｌ_i+1 ）の計算で用いるものとする。さらに、この式（３）の最小値を与えるＬ_i-1 を、図１中に示すように、＾Ｌ_i-1 （Ｌ_i ）とおく。この＾Ｌ_i-1 （Ｌ_i ）（Ｌ_i ＝−Δ, .... ,Δ−１）についても、全てメモリに格納しておくものとする。ここで、「＾Ｘ」（Ｘは文字）における記号＾は、「Ｘ」の上に付く記号を示している。

式（２）の最小化問題は、下記の式（４）のように表せる。

この式（４）を最小化するＬ_J/M-1 をＬ^* _J/M-1 とおくと、このＬ^* _J/M-1 は下記の式（５）で表せる。

Ｌ^* _J/M-1 に対する最適解は、＾Ｌ_J/M-2 （Ｌ_J/M-1 ）としてメモリに格納されているので、その値を参照し、Ｌ^* _J/M-2 ＝＾Ｌ_J/M-2 （Ｌ_J/M-1 ）とする。以下、同様の参照処理を、
Ｌ^* _J/M-3 ＝＾Ｌ_J/M-3 （Ｌ_J/M-2 ），・・・・・，Ｌ^* ₀ ＝＾Ｌ₀ （Ｌ₁ ）
として繰り返す。

以上の説明では、動き補償予測誤差電力を最小化するように、ダウンサンプリング後のフレーム選択を行うことで説明したが、特定の符号化器（例えば、Ｈ．２６４準拠の符号化器）により符号化を行い、その符号化歪みＤと符号量Ｒの加重和のラグランジェコスト（符号化コスト：Ｊ＝Ｄ＋λＲ）を最小化するように、ダウンサンプリング後のフレーム選択を行うことでもよい。ここで、λは符号化歪みＤと符号量Ｒの重みを調整するパラメータであり、外部から与えられる。

〔２〕本発明の構成
次に、本発明の構成について説明する。

本発明のフレームレート変換装置は、高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換することを実現するために、（１）等長間隔のダウンサンプリングにより規定されるフレーム位置の所定範囲にある複数のフレームのそれぞれについて、１つ前のフレーム位置の所定範囲にある複数のフレームのそれぞれとの間で、ダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値（符号化効率表示値）を算出して、その算出した符号化効率表示値に基づいて、１つ前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームを特定することを、最終のフレーム位置まで繰り返し実行する実行手段と、（２）最終のフレーム位置にある複数のフレームのそれぞれについて実行手段が算出した符号化効率表示値の総和について、それらの中の最小値を持つフレームを検出する検出手段と、（３）検出手段の検出したフレームを起点として実行手段の特定したフレームを辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択する選択手段とを備えるように構成する。

この構成を採るときに、実行手段は、算出した符号化効率表示値とその算出対象となった１つ前のフレーム位置にあるフレームの持つ符号化効率表示値の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームを特定するとともに、その加算値をその特定元のフレームの持つ符号化効率表示値の総和として設定するように処理する。

また、実行手段は、符号化効率表示値として、動き補償予測誤差電力を算出したり、所定の符号化器を用いて符号化する場合に得られる符号化コストを算出する。

以上の各処理手段が動作することで実現される本発明のフレームレート変換方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明のフレームレート変換装置では、まず最初に、図１に示すように、等長間隔のダウンサンプリングにより規定されるフレーム位置の所定範囲にある複数のフレームのそれぞれについて、１つ前のフレーム位置の所定範囲にある複数のフレームのそれぞれとの間で、ダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率表示値（図１の例では動き補償予測誤差電力）を算出し、その算出した符号化効率表示値とその算出対象となった１つ前のフレーム位置にあるフレームの持つ符号化効率表示値の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームを特定するとともに、その加算値をその特定元のフレームの持つ符号化効率表示値の総和として設定するという処理を、最終のフレーム位置まで繰り返し実行する。

続いて、最終のフレーム位置にある複数のフレームのそれぞれについて算出した符号化効率表示値の総和について、それらの中の最小値を持つフレームを検出して、その検出したフレームを起点として先に特定したフレームを先頭のフレーム位置に向けて辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択する。

このようにして、本発明のフレームレート変換装置は、高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の全シーケンスに対する符号化効率を考慮した形で、そのフレームレート変換処理を実行するように処理するのである。

本発明では、高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに、ダウンサンプリング後の低フレームレート映像信号の全シーケンスに対する符号化効率を考慮した形で、そのフレームレート変換処理を実行する。

これから、本発明によれば、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、均等フレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになるとともに、全シーケンスに対する符号化効率を考慮しないで行う非等長のフレーム間隔の間引きにより得られた映像信号よりも符号量を低く抑えることができるようになる。

以下、実施の形態に従って本発明を詳細に説明する。

図２に、本発明のフレームレート変換装置１の装置構成の一例を図示する。

この図に示すように、本発明のフレームレート変換装置１は、フレームレート変換処理の対象となる高フレームレート映像信号を格納する高フレームレート映像ファイル１０と、フレームレート変換処理された低フレームレート映像信号を格納する低フレームレート映像ファイル１１と、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するフレームレートダウンサンプリング部１２とを備える。

このフレームレートダウンサンプリング部１２は、動き推定部１２００を備えて、動き補償予測誤差電力を算出する動き補償予測誤差算出部１２０と、動き補償予測誤差算出部１２０の算出する動き補償予測誤差電力を使って、高フレームレート映像信号のフレームの中からフレームを選択することでフレームレートダウンサンプリング処理を実行するダウンサンプリング実行部１２１と、ダウンサンプリング実行部１２１の作業用データを記憶する作業用メモリ１２２とを備える。

〔１〕動き推定部１２００の処理
ダウンサンプリング実行部１２１の実行するフレーム選択処理の説明に入る前に、動き補償予測誤差算出部１２０の備える動き推定部１２００の処理について説明する。

動き推定部１２００は、予測対象フレームと参照フレームとを入力として、下記に示す処理を実行することで、予測対象フレーム内のブロック毎の動きベクトルｄ〔ｋ〕、すなわち、式（１）におけるｄ〔ｋ〕（ｋ＝０，１, .... ,Ｋ−１）を推定する処理を行う。ここで、ｋはブロックを同定するインデックスである。

処理：・式（１）のΣ｛ｘ∈Ｂ〔ｋ〕｝の項（第ｋブロックの予測誤差和）を最小化す る動きベクトルｄ〔ｋ〕を求める
・動きベクトルは、予め与えられた探索範囲−Ｄ≦ｄ〔ｋ〕≦Ｄ−１内の値から 選択される
・選択の方法は、探索範囲内の全ての候補ベクトルに対して、その候補ベクトル を用いた場合の予測誤差和を算出し、その予測誤差和を最小化するベクトルを ｄ〔ｋ〕とすることで行う
動き補償予測誤差算出部１２０は、動き推定部１２００の推定したベクトルｄ〔ｋ〕を使い、式（１）に基づいて、予測対象フレームと参照フレームとの間の動き補償予測誤差電力を算出する。

〔２〕ダウンサンプリング実行部１２１の処理
次に、ダウンサンプリング実行部１２１により実行されるフレームレートダウンサンプリング処理について説明する。

以下に説明するダウンサンプリング実行部１２１の処理では、ダウンサンプリングフレームの選択基準として、動き補償予測誤差誤差電力を用いる場合を示す。

図３に、ダウンサンプリング実行部１２１の装置構成の一例を図示する。

この図に示すように、ダウンサンプリング実行部１２１は、入力部１２１０と、処理フレーム位置選択部１２１１と、処理フレーム選択部１２１２と、参照フレーム決定部１２１３と、全フレーム位置終了判定部１２１４と、累積予測誤差最小化最終フレーム検出部１２１５と、決定参照フレーム追跡部１２１６とを備える。

この入力部１２１０は、高フレームレート映像信号のフレーム数Ｊと、高フレームレート映像信号のフレーム間隔δ_t と、ダウンサンプリング比Ｍと、伸縮パラメータΔとを読み込む。

処理フレーム位置選択部１２１１は、ダウンサンプリング比Ｍとフレーム間隔δ_t とに基づく等長間隔のダウンサンプリングにより規定されるダウンサンプリングフレーム位置（以下、フレーム位置と略記する）を選択対象として、先頭のフレーム位置の１つ後のフレーム位置を起点にして、最終のフレーム位置までのフレーム位置を順次、処理フレーム位置として選択する。

処理フレーム選択部１２１２は、処理フレーム位置選択部１２１１の選択した処理フレーム位置の近傍に位置する２Δ枚のフレームを順次、処理フレームとして選択する。

参照フレーム決定部１２１３は、処理フレーム選択部１２１２の選択した処理フレームと、１つ前のフレーム位置の近傍に位置する２Δ枚のフレームのそれぞれとの間で動き補償予測誤差電力を算出して、その算出した動き補償予測誤差電力とその算出対象となった１つ前のフレーム位置の近傍に位置するフレームの持つ動き補償予測誤差電力の総和との加算値を求めて（累積予測誤差算出機能）、それらの中の最小値を特定することで（最小累積予測誤差特定機能）、１つ前のフレーム位置の近傍に位置する２Δ枚のフレームの中から、先頭のフレーム位置からの動き補償予測誤差電力の総和を最小化するつながりを持つフレームを特定することで参照フレームを決定する。

全フレーム位置終了判定部１２１４は、最終のフレーム位置までの全フレーム位置について処理を行ったのか否かを判定して、全フレーム位置について処理を行っていないことを判定するときには、処理フレーム位置選択部１２１１に対して次のフレーム位置を選択するように指示し、全フレーム位置について処理を行ったことを判定するときには、累積予測誤差最小化最終フレーム検出部１２１５に対して処理の実行を指示する。

累積予測誤差最小化最終フレーム検出部１２１５は、最終のフレーム位置の近傍に位置する２Δ枚のフレームのそれぞれについて算出された動き補償予測誤差電力の総和（参照フレーム決定部１２１３が算出したもの）について、それらの中の最小値を持つフレームを検出することで、先頭のフレーム位置からの動き補償予測誤差電力の総和を最小化する最終フレームを検出する。

決定参照フレーム追跡部１２１６は、累積予測誤差最小化最終フレーム検出部１２１５の検出した最終フレームを起点として、参照フレーム決定部１２１３の決定した参照フレームを辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについて参照フレームを抽出して、それらをダウンサンプリング後のフレームとして選択する。

下記に、このように構成されるダウンサンプリング実行部１２１の実行するフレームレートダウンサンプリング処理の流れを示す。

１．撮影された映像信号（フレームレート変換処理の対象となる高フレームレート映像 信号）、そのフレーム数Ｊ、そのフレームレート（フレーム間隔δ_t を算出するた めに用いる）を読み込む
２．ダウンサンプリング比Ｍを読み込む
３．ｉ＝１, .... ,Ｊ／Ｍ−１について以下の処理を行う
４． Ｌ_i ＝−Δ, .... ,Δ−１について以下の処理を行う
５． Ｌ_i-1 ＝−Δ, .... ,Δ−１について以下の処理を行う
（ただし、Ｌ₀ の場合は、Ｌ₀ ＝０, .... ,Δ−１）
６． 参照フレームをｆ（ｘ，（（ｉ−１）Ｍ＋Ｌ_i-1 ）δ_t ）とする場合のｆ（ ｘ，（ｉＭ＋Ｌ_i ）δ_t ）に対する動き補償予測誤差電力（式（１))を最小 化する動きベクトルを求める。動きベクトルの求め方は外部から与えられる 。例えば、探索範囲内の候補をしらみつぶしにあたる全探索法を用いる。求 めた動きベクトルを用いた場合の動き補償予測誤差電力をσ_i ² 〔Ｌ_i ，Ｌ _i-1 〕に格納する
７． σ_i ² 〔Ｌ_i ，Ｌ_i-1 〕＋Ｓ_i-1 （Ｌ_i-1 ）の値を算出する
（ただし、Ｌ₀ の場合は、σ₁ ² 〔Ｌ₁ ，Ｌ₀ 〕の値を算出する）
８． σ_i ² 〔Ｌ_i ，Ｌ_i-1 〕＋Ｓ_i-1 （Ｌ_i-1 ）（Ｌ_i-1 ＝−Δ, .... ,Δ−１） の中での最小値をＳ_i （Ｌ_i ）に格納する
（ただし、Ｌ₀ の場合は、σ₁ ² 〔Ｌ₁ ，Ｌ₀ 〕（Ｌ₀ ＝０, .... ,Δ −１）の中での最小値をＳ₁ （Ｌ₁ ）に格納する）
９． Ｓ_i （Ｌ_i ）を与えるＬ_i-1 を＾Ｌ_i-1 （Ｌ_i ）に格納する
10． Ｓ_J/M-1 （Ｌ_J/M-1 ）を最小化するＬ_J/M-1 をＬ^* _J/M-1 に格納する
11． ｉ＝Ｊ／Ｍ−２, .... ,１について以下の処理を行う
12． Ｌ^* _i-1 ＝＾Ｌ_i-1 （Ｌ_i ）を算出する
13． ダウンサンプリング後の第ｉフレームとして、ｆ（ｘ，（ｉＭ＋Ｌ_i ^* ）δ_t ） （ｘ＝０, .... ,Ｘ−１）を格納する。

このようにして、ダウンサンプリング実行部１２１は、まず最初に、図１に示すように、等長間隔のダウンサンプリングにより規定されるフレーム位置の近傍に位置する２Δ枚のフレームのそれぞれについて、１つ前のフレーム位置の近傍に位置する２Δ枚のフレームのそれぞれとの間で、動き補償予測誤差電力を算出し、その算出した動き補償予測誤差電力とその算出対象となった１つ前のフレーム位置の近傍に位置するフレームの持つ動き補償予測誤差電力の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置の近傍に位置する２Δ枚のフレームの中から、先頭のフレーム位置からの動き補償予測誤差電力の総和を最小化するつながりを持つフレームを特定するという処理を、最終のフレーム位置まで繰り返し実行し、
続いて、最終のフレーム位置の近傍に位置する２Δ枚のフレームのそれぞれについて算出した動き補償予測誤差電力の総和について、それらの中の最小値を持つフレームを検出して、その検出したフレームを起点として先に特定したフレームを先頭のフレーム位置に向けて辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。

次に、実施例に従って本発明を詳細に説明する。

図４〜図６に、ダウンサンプリング実行部１２１の実行するフレームレートダウンサンプリング処理のフローチャートの一例を図示する。

次に、このフローチャートに従って、ダウンサンプリング実行部１２１の実行するフレームレートのダウンサンプリング処理について詳細に説明する。

ダウンサンプリング実行部１２１は、フレームレートダウンサンプリング処理の実行要求があると、図４のフローチャートに示すように、まず最初に、ステップＳ１０で、フレームレート変換処理の対象となる高フレームレート映像信号と、そのフレーム数Ｊと、そのフレーム間隔δ_t と、ダウンサンプリング比Ｍと、伸縮パラメータΔとを読み込む。

続いて、ステップＳ２０で、ｉ＝１およびＬ₁ の指定するフレームと、ｉ＝０およびＬ₀ の指定するフレームとの間でＳ₁ （Ｌ₁ ）を算出して、それを作業用メモリ１２２に格納するとともに、Ｓ₁ （Ｌ₁ ）を与えるＬ₀ を＾Ｌ₀ （Ｌ₁ ）として作業用メモリ１２２に格納する。このステップＳ２０の処理の詳細については、図５のフローチャートで後述する。

続いて、ステップＳ３０で、２≦ｉ≦Ｊ／Ｍ−１について、ｉおよびＬ_i の指定するフレームと、ｉ−１およびＬ_i-1 の指定するフレームとの間でＳ_i （Ｌ_i ）を算出して、それを作業用メモリ１２２に格納するとともに、Ｓ_i （Ｌ_i ）を与えるＬ_i-1 を＾Ｌ_i-1 （Ｌ_i ）として作業用メモリ１２２に格納する。このステップＳ３０の処理の詳細については、図６のフローチャートで後述する。

続いて、ステップＳ４０で、Ｓ_J/M-1 （Ｌ_J/M-1 ）を最小化するＬ_J/M-1 をＬ^* _J/M-1 として作業用メモリ１２２に格納する。

続いて、ステップＳ５０で、変数ｉにＪ／Ｍ−２をセットする。

続いて、ステップＳ６０で、Ｌ^* _i-1 ＝＾Ｌ_i-1 （Ｌ_i ）に従って、Ｌ^* _i-1 を算出して作業用メモリ１２２に格納する。

続いて、ステップＳ７０で、変数ｉの値を１つディクリメントする。

続いて、ステップＳ８０で、変数ｉの値が０に到達したのか否かを判断して、０に到達していないことを判断するときには、ステップＳ６０の処理に戻り、０に到達したことを判断するときには、ステップＳ９０の処理に進む。

続いて、ステップＳ９０で、ダウンサンプリング後の第ｉフレームとして、ｆ（ｘ，（ｉＭ＋Ｌ^* _i ）δ_t ）（ｘ＝０, .... ,Ｘ−１）を格納する。

次に、図５のフローチャートに従って、ステップＳ２０で実行する処理の詳細について説明する。

ダウンサンプリング実行部１２１は、ステップＳ２０の処理に入ると、図５のフローチャートに示すように、まず最初に、ステップＳ２０１で、変数ｉに１をセットし、続くステップＳ２０２で、変数Ｌ_i に−Δをセットし、続くステップＳ２０３で、変数Ｌ_i-1 に０をセットする。すなわち、変数ｉに１をセットして、Ｌ₁ に−Δをセットするとともに、Ｌ₀ に０をセットするのである。

続いて、ステップＳ２０４で、ｉ＝１の場合において、ｉおよびＬ_i の指定するフレームと、ｉ−１およびＬ_i-1 の指定するフレームとの間で動き補償予測誤差電力の最小値σ_i ² 〔Ｌ_i ，Ｌ_i-1 〕を算出して、それを作業用メモリ１２２に格納する。すなわち、σ₁ ² 〔Ｌ₁ ，Ｌ₀ 〕を算出して、それを作業用メモリ１２２に格納するのである。

続いて、ステップＳ２０５で、ｉ＝１の場合において、変数Ｌ_i-1 の値を１つインクリメントし、続くステップＳ２０６で、変数Ｌ_i-1 の値がΔ−１よりも大きくなったのか否かを判断して、Δ−１よりも大きくなっていないことを判断するときには、ステップＳ２０４の処理に戻る。すなわち、Ｌ₀ の値を１つインクリメントして、その値がΔ−１よりも大きくなったのか否かを判断して、Δ−１よりも大きくなっていないことを判断するときには、ステップＳ２０４の処理に戻るのである。

このようにして、ｉ＝１の場合において、変数Ｌ₀ の値を０からΔ−１まで１つずつインクリメントしながらステップＳ２０４の処理を実行することで、ｉ＝１および変数Ｌ₁ の指定するフレームと、１つ前のフレーム位置にあるΔ枚のフレームのそれぞれとの間で動き補償予測誤差電力の最小値σ₁ ² 〔Ｌ₁ ，Ｌ₀ 〕を算出して、それを作業用メモリ１２２に格納するのである。

一方、ステップＳ２０６で、変数Ｌ_i-1 の値がΔ−１よりも大きくなったことを判断するときには、ステップＳ２０７に進んで、作業用メモリ１２２に格納したσ_i ² 〔Ｌ_i ，Ｌ_i-1 〕（Ｌ_i-1 ＝０, .... ,Δ−１）の中の最小値Ｓ_i （Ｌ_i ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳ_i （Ｌ_i ）を与えるＬ_i-1 を＾Ｌ_i-1 （Ｌ_i ）として作業用メモリ１２２に格納する。

すなわち、ｉ＝１の場合において、変数Ｌ₁ のある値について、ステップＳ２０４を繰り返し実行することで求めたσ₁ ² 〔Ｌ₁ ，Ｌ₀ 〕（Ｌ₀ ＝０, .... ,Δ−１）の中の最小値Ｓ₁ （Ｌ₁ ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳ₁ （Ｌ₁ ）を与えるＬ₀ を＾Ｌ₀ （Ｌ₁ ）として作業用メモリ１２２に格納するのである。

続いて、ステップＳ２０８で、ｉ＝１の場合において、変数Ｌ_i の値を１つインクリメントし、続くステップＳ２０９で、変数Ｌ_i の値がΔ−１よりも大きくなったのか否かを判断して、Δ−１よりも大きくなっていないことを判断するときには、ステップＳ２０３の処理に戻る。すなわち、変数Ｌ₁ の値を１つインクリメントして、その値がΔ−１よりも大きくなったのか否かを判断して、Δ−１よりも大きくなっていないことを判断するときには、ステップＳ２０３の処理に戻るのである。

このようにして、ｉ＝１の場合において、変数Ｌ₁ の値を−ΔからΔ−１まで１つずつインクリメントしながらステップＳ２０４／ステップＳ２０７の処理を実行することで、変数Ｌ₁ の値の−Δ〜Δ−１のそれぞれについて、σ₁ ² 〔Ｌ₁ ，Ｌ₀ 〕（Ｌ₀ ＝０, .... ,Δ−１）を求めて、その中の最小値Ｓ₁ （Ｌ₁ ）を特定して作業用メモリ１２２に格納するとともに、そのＳ₁ （Ｌ₁ ）を与えるＬ₀ を＾Ｌ₀ （Ｌ₁ ）として作業用メモリ１２２に格納するのである。

そして、ステップＳ２０９で、ｉ＝１の場合において、変数Ｌ_i の値がΔ−１よりも大きくなったことを判断するときには、ステップＳ２０の処理を終了する。すなわち、Ｌ₁ の値がΔ−１よりも大きくなったことを判断するときには、ステップＳ２０の処理を終了するのである。

このようにして、ダウンサンプリング実行部１２１は、ステップＳ２０の処理に入ると、図５のフローチャートを実行することで、ｉ＝１およびＬ₁ の指定するフレームと、ｉ＝０およびＬ₀ の指定するフレームとの間でＳ₁ （Ｌ₁ ）を算出して、それを作業用メモリ１２２に格納するとともに、そのＳ₁ （Ｌ₁ ）を与えるＬ₀ を＾Ｌ₀ （Ｌ₁ ）として作業用メモリ１２２に格納するように処理するのである。

次に、図６のフローチャートに従って、ステップＳ３０で実行する処理の詳細について説明する。

ダウンサンプリング実行部１２１は、ステップＳ３０の処理に入ると、図６のフローチャートに示すように、まず最初に、ステップＳ３０１で、変数ｉに２をセットし、続くステップＳ３０２で、変数Ｌ_i に−Δをセットし、続くステップＳ３０３で、変数Ｌ_i-1 に−Δをセットする。

続いて、ステップＳ３０４で、ｉおよびＬ_i の指定するフレームと、ｉ−１およびＬ_i-1 の指定するフレームとの間で動き補償予測誤差電力の最小値σ_i ² 〔Ｌ_i ，Ｌ_i-1 〕を算出する。

続いて、ステップＳ３０５で、σ_i ² 〔Ｌ_i ，Ｌ_i-1 〕＋Ｓ_i-1 （Ｌ_i-1 ）を算出して作業用メモリ１２２に格納する。

続いて、ステップＳ３０６で、変数Ｌ_i-1 の値を１つインクリメントし、続くステップＳ３０７で、変数Ｌ_i-1 の値がΔ−１よりも大きくなったのか否かを判断して、Δ−１よりも大きくなっていないことを判断するときには、ステップＳ３０４の処理に戻る。

このようにして、変数Ｌ_i-1 の値を−ΔからΔ−１まで１つずつインクリメントしながらステップＳ３０４／ステップＳ３０５の処理を実行することで、変数ｉおよび変数Ｌ_i の指定するフレームと、１つ前のフレーム位置にある２Δ枚のフレームのそれぞれとの間で動き補償予測誤差電力の最小値σ_i ² 〔Ｌ_i ，Ｌ_i-1 〕を算出して、その算出したσ_i ² 〔Ｌ_i ，Ｌ_i-1 〕と、その２Δ枚のフレームのそれぞれが持つ先頭のフレーム位置からの動き補償予測誤差電力の総和Ｓ_i-1 （Ｌ_i-1 ）との加算値を算出し、それを作業用メモリ１２２に格納するのである。

一方、ステップＳ３０７で、変数Ｌ_i-1 の値がΔ−１よりも大きくなったことを判断するときには、ステップＳ３０８に進んで、作業用メモリ１２２に格納したσ_i ² 〔Ｌ_i ，Ｌ_i-1 〕＋Ｓ_i-1 （Ｌ_i-1 ）（Ｌ_i-1 ＝−Δ, .... ,Δ−１）の中の最小値Ｓ_i （Ｌ_i ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳ_i （Ｌ_i ）を与えるＬ_i-1 を＾Ｌ_i-1 （Ｌ_i ）として作業用メモリ１２２に格納する。

すなわち、変数ｉおよび変数Ｌ_i のある値（この時点では、ｉ＝２、Ｌ_i ＝−Δ）について、ステップＳ３０４／ステップＳ３０５を繰り返し実行することで求めたσ_i ² 〔Ｌ_i ，Ｌ_i-1 〕＋Ｓ_i-1 （Ｌ_i-1 ）（Ｌ_i-1 ＝−Δ, .... ,Δ−１）の中の最小値Ｓ_i （Ｌ_i ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳ_i （Ｌ_i ）を与えるＬ_i を＾Ｌ_i-1 （Ｌ_i ）として作業用メモリ１２２に格納するのである。

続いて、ステップＳ３０９で、変数Ｌ_i の値を１つインクリメントし、続くステップＳ３１０で、変数Ｌ_i の値がΔ−１よりも大きくなったのか否かを判断して、Δ−１よりも大きくなっていないことを判断するときには、ステップＳ３０３の処理に戻る。

このようにして、変数Ｌ_i の値を−ΔからΔ−１まで１つずつインクリメントしながらステップＳ３０４／ステップＳ３０５／ステップＳ３０８の処理を実行することで、変数Ｌ_i の値の−Δ〜Δ−１のそれぞれについて、σ_i ² 〔Ｌ_i ，Ｌ_i-1 〕＋Ｓ_i-1 （Ｌ_i-1 ）（Ｌ_i-1 ＝−Δ, .... ,Δ−１）の中の最小値Ｓ_i （Ｌ_i ）を特定して、それを作業用メモリ１２２に格納するとともに、そのＳ_i （Ｌ_i ）を与えるＬ_i-1 を＾Ｌ_i-1 （Ｌ_i ）として作業用メモリ１２２に格納するのである。

一方、ステップＳ３１０で、変数Ｌ_i の値がΔ−１よりも大きくなったことを判断するときには、ステップＳ３１１に進んで、変数ｉの値を１つインクリメントする。

続いて、ステップＳ３１２で、変数ｉの値がＪ／Ｍ−１よりも大きくなったのか否かを判断して、Ｊ／Ｍ−１よりも大きくなっていないことを判断するときには、ステップＳ３０２の処理に戻ることで、最終のフレーム位置まで、Ｓ_i （Ｌ_i ）を特定して作業用メモリ１２２に格納するとともに、そのＳ_i （Ｌ_i ）を与えるＬ_i を＾Ｌ_i-1 （Ｌ_i ）として作業用メモリ１２２に格納する処理を実行する。

そして、ステップＳ３１２で、変数ｉの値がＪ／Ｍ−１よりも大きくなったことを判断するときには、ステップＳ３０の処理を終了する。

このようにして、ダウンサンプリング実行部１２１は、ステップＳ３０の処理に入ると、図６のフローチャートを実行することで、２≦ｉ≦Ｊ／Ｍ−１について、ｉおよびＬ_i の指定するフレームと、ｉ−１およびＬ_i-1 の指定するフレームとの間でＳ_i （Ｌ_i ）を算出して、それを作業用メモリ１２２に格納するとともに、そのＳ_i （Ｌ_i ）を与えるＬ_i-1 を＾Ｌ_i-1 （Ｌ_i ）として作業用メモリ１２２に格納するように処理するのである。

以上に説明したように、ダウンサンプリング実行部１２１は、図４〜図５のフローチャートを実行することで、まず最初に、図１に示すように、等長間隔のダウンサンプリングにより規定されるフレーム位置の近傍に位置する２Δ枚のフレームのそれぞれについて、１つ前のフレーム位置の近傍に位置する２Δ枚のフレームのそれぞれとの間で、動き補償予測誤差電力を算出し、その算出した動き補償予測誤差電力とその算出対象となった１つ前のフレーム位置の近傍に位置するフレームの持つ動き補償予測誤差電力の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置の近傍に位置する２Δ枚のフレームの中から、先頭のフレーム位置からの動き補償予測誤差電力の総和を最小化するつながりを持つフレームを特定するという処理を、最終のフレーム位置まで繰り返し実行し、
続いて、最終のフレーム位置の近傍に位置する２Δ枚のフレームのそれぞれについて算出した動き補償予測誤差電力の総和について、それらの中の最小値を持つフレームを検出して、その検出したフレームを起点として先に特定したフレームを先頭のフレーム位置に向けて辿ることで、等長間隔のダウンサンプリングにより規定されるフレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択することで、高フレームレート映像信号から低フレームレート映像信号へのフレームレート変換処理を実行するのである。

図示実施例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施例では、式（１）に従って、１つ前に選択したフレームとの間で動き補償予測誤差電力を算出するようにしているが、選択済みの複数のフレームとの間で動き補償予測誤差電力を算出するようにしてもよい。

本発明は高フレームレート映像信号から低フレームレート映像信号へフレームレート変換を実行するときに適用できるものであり、本発明を適用することで、高フレームレート映像信号に対してのダウンサンプリングにより得られた所望のフレームレートの映像信号を符号化する場合に、従来のフレーム間引き処理により得られた映像信号よりも符号量を低く抑えることができるようになる。

本発明で算出するＳ_i （Ｌ_i ）の算出処理の説明図である。 本発明のフレームレート変換装置の装置構成図である。 本発明のフレームレート変換装置の装置構成図である。 ダウンサンプリング実行部の実行するフローチャートである。 ダウンサンプリング実行部の実行するフローチャートである。 ダウンサンプリング実行部の実行するフローチャートである。 従来技術によるフレームレートダウンサンプリング処理の説明図である。

符号の説明

１ フレームレート変換装置
１０ 高フレームレート映像ファイル
１１ 低フレームレート映像ファイル
１２ フレームレートダウンサンプリング部
１２０ 動き補償予測誤差算出部
１２１ ダウンサンプリング実行部
１２２ 作業用メモリ
１２００ 動き推定部
１２１０ 入力部
１２１１ 処理フレーム位置選択部
１２１２ 処理フレーム選択部
１２１３ 参照フレーム決定部
１２１４ 全フレーム位置終了判定部
１２１５ 累積予測誤差最小化最終フレーム検出部
１２１６ 決定参照フレーム追跡部

Claims (8)

1. 高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換方法であって、
   等長間隔のダウンサンプリングにより規定されるフレーム位置の所定範囲にある複数のフレームのそれぞれについて、１つ前のフレーム位置の所定範囲にある複数のフレームのそれぞれとの間で、ダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値を算出して、その算出した符号化効率表示値に基づいて、１つ前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームを特定することを、最終のフレーム位置まで繰り返し実行する過程と、
   前記最終のフレーム位置にある複数のフレームのそれぞれについて算出した符号化効率表示値の総和について、それらの中の最小値を持つフレームを検出する過程と、
   前記検出したフレームを起点として前記特定したフレームを辿ることで、前記フレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択する過程とを備えることを、
   特徴とするフレームレート変換方法。
2. 請求項１に記載のフレームレート変換方法において、
   前記実行する過程では、前記算出した符号化効率表示値とその算出対象となった１つ前のフレーム位置にあるフレームの持つ符号化効率表示値の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームを特定するとともに、その加算値をその特定元のフレームの持つ符号化効率表示値の総和として設定することを、
   特徴とするフレームレート変換方法。
3. 請求項１または２に記載のフレームレート変換方法において、
   前記実行する過程では、前記符号化効率表示値として、動き補償予測誤差電力を算出することを、
   特徴とするフレームレート変換方法。
4. 請求項１または２に記載のフレームレート変換方法において、
   前記実行する過程では、前記符号化効率表示値として、所定の符号化器を用いて符号化する場合に得られる符号化コストを算出することを、
   特徴とするフレームレート変換方法。
5. 高フレームレート映像信号のフレームをダウンサンプリングにより選択することで低フレームレート映像信号に変換するフレームレート変換装置であって、
   等長間隔のダウンサンプリングにより規定されるフレーム位置の所定範囲にある複数のフレームのそれぞれについて、１つ前のフレーム位置の所定範囲にある複数のフレームのそれぞれとの間で、ダウンサンプリングする場合に生成される低フレームレート映像信号の符号化効率を示す値を算出して、その算出した符号化効率表示値に基づいて、１つ前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームを特定することを、最終のフレーム位置まで繰り返し実行する手段と、
   前記最終のフレーム位置にある複数のフレームのそれぞれについて算出した符号化効率表示値の総和について、それらの中の最小値を持つフレームを検出する手段と、
   前記検出したフレームを起点として前記特定したフレームを辿ることで、前記フレーム位置のそれぞれについてフレームを抽出して、それらをダウンサンプリング後のフレームとして選択する手段とを備えることを、
   特徴とするフレームレート変換装置。
6. 請求項５に記載のフレームレート変換装置において、
   前記実行する手段は、前記算出した符号化効率表示値とその算出対象となった１つ前のフレーム位置にあるフレームの持つ符号化効率表示値の総和との加算値を求めて、それらの中の最小値を特定することで、１つ前のフレーム位置の所定範囲にある複数のフレームの中から、先頭のフレーム位置からの符号化効率表示値の総和を最小化するつながりを持つフレームを特定するとともに、その加算値をその特定元のフレームの持つ符号化効率表示値の総和として設定することを、
   特徴とするフレームレート変換装置。
7. 請求項１ないし４のいずれか１項に記載のフレームレート変換方法をコンピュータに実行させるためのフレームレート変換プログラム。
8. 請求項１ないし４のいずれか１項に記載のフレームレート変換方法をコンピュータに実行させるためのフレームレート変換プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images