JP4564564B2 - 動画像再生装置、動画像再生方法および動画像再生プログラム - Google Patents

Description

本発明は、画像フレーム間に内挿される補間フレームをあつかう動画像再生装置、動画像再生方法および動画像再生プログラムに関する。

従来、動画像処理等の分野において、時間的に前後する２枚のフレーム（前フレームと後フレーム）間に内挿する補間フレームを生成するための種々の技術が提案されている。

たとえば特許文献１に開示されたフレームレート変換装置は、この補間フレームの生成にあたり、前後フレーム画像間の動きベクトルを検出して動きベクトルのヒストグラム分布を生成し、この動きベクトルのヒストグラム分布（動きベクトルの分布状況）にもとづいて探索範囲を超える動きベクトルが所定の閾値数以上存在するか否かを判定し、探索範囲を超える動きベクトルが所定の閾値数以上存在する場合は動きベクトルを用いない方法により補間フレームを生成することにより、補間フレームの画質低下を防止することができる。このため、探索範囲を狭く設定しても、探索範囲を超える動きベクトルが所定の閾値数以上存在する場合に補間フレームの画質低下を防止することができる。したがって、この従来の技術によれば、補間フレーム生成処理における計算処理量を低減しつつ、補間フレームの画質低下を抑制することができるようになっている。
特開２００８−１４１５４６号公報

しかし、この特許文献１に開示された技術では、補間フレーム生成の際に検出される動きベクトルの精度を向上させることについて考慮していない。このため、従来の技術では、探索範囲を超える動きベクトルにより引き起こされる補間フレームの画質低下を防止することはできるものの、補間フレームの画質を向上させることはできない。

本発明は、上述した事情を考慮してなされたもので、動きベクトルの分布状況を利用して補間フレーム生成の際の動き推定精度を向上させることができる動画像再生装置、動画像再生方法および動画像再生プログラムを提供することを目的とする。

本発明に係る動画像再生装置は、上述した課題を解決するために、入力された複数の動画像フレーム間の動きベクトルを所定の画素ブロックごとに探索する動きベクトル探索部と、前記探索された前記動きベクトルのうち、同一の前記動きベクトルに対応する前記ブロックの数が１枚の前記動画像フレームに含まれる全ての前記ブロックの数に対して占める割合が最大の前記動きベクトルを第１主ベクトルとして検出するとともに、前記割合が第１の割合以上である他の前記動きベクトルがあると前記他の動きベクトルを主ベクトルとして検出する主ベクトル検出部と、前記複数の動画像フレーム間に内挿される補間フレームを生成する補間フレーム生成部と、を備え、前記動きベクトル探索部は、前記所定の画素ブロックごとに前記動きベクトルを探索する際に、前回入力された前記複数の動画像フレームについて前記主ベクトル検出部により検出された前記第１主ベクトルを含む前記主ベクトルを探索中心ベクトルの候補として用いることを特徴とするものである。

一方、本発明に係る動画像再生方法は、上述した課題を解決するために、入力された複数の動画像フレーム間の動きベクトルを所定の画素ブロックごとに探索するステップと、前記探索された前記動きベクトルのうち、同一の前記動きベクトルに対応する前記ブロックの数が１枚の前記動画像フレームに含まれる全ての前記ブロックの数に対して占める割合が最大の前記動きベクトルを第１主ベクトルとして検出するとともに、前記割合が第１の割合以上である他の前記動きベクトルがあると前記他の動きベクトルを主ベクトルとして検出するステップと、前記複数の動画像フレーム間に内挿される補間フレームを生成するステップと、を有し、前記動きベクトルを探索するステップは、前記所定の画素ブロックごとに前記動きベクトルを探索する際に、前回入力された前記複数の動画像フレームについて検出された前記第１主ベクトルを含む前記主ベクトルを探索中心ベクトルの候補として用いて前記動きベクトルを探索するステップであることを特徴とする方法である。

さらに、本発明に係る動画像再生プログラムは、上述した課題を解決するために、コンピュータに、入力された複数の動画像フレーム間の動きベクトルを所定の画素ブロックごとに探索するステップと、前記探索された前記動きベクトルのうち、同一の前記動きベクトルに対応する前記ブロックの数が１枚の前記動画像フレームに含まれる全ての前記ブロックの数に対して占める割合が最大の前記動きベクトルを第１主ベクトルとして検出するとともに、前記割合が第１の割合以上である他の前記動きベクトルがあると前記他の動きベクトルを主ベクトルとして検出するステップと、前記複数の動画像フレーム間に内挿される補間フレームを生成するステップと、を実行させ、前記動きベクトルを探索するステップは、前記所定の画素ブロックごとに前記動きベクトルを探索する際に、前回入力された前記複数の動画像フレームについて検出された前記第１主ベクトルを含む前記主ベクトルを探索中心ベクトルの候補として用いて前記動きベクトルを探索するステップであることを特徴とするプログラムである。

本発明に係る動画像再生装置、動画像再生方法および動画像再生プログラムによれば、動きベクトルの分布状況を利用して補間フレーム生成の際の動き推定精度を向上させることができる。

本発明に係る動画像再生装置、動画像再生方法および動画像再生プログラムの実施の形態について、添付図面を参照して説明する。

図１は、本発明に係る動画像再生装置の一実施形態を示す概略的な外観図である。なお、本発明は、連続する動画像フレームを利用可能なパーソナルコンピュータ、テレビジョン受像装置、記録再生装置などの種々の情報処理装置に適用することができる。図１には、本発明に係る動画像再生装置として、ノートブック型のパーソナルコンピュータ（以下パーソナルコンピュータという）を用いる場合の一例について示した。

図１に示すように、動画像再生装置１０は、装置本体１１および表示装置としてのディスプレイユニット１２を備える。

装置本体１１は、薄い箱形の筐体を有し、この筐体上面の中央部には、入力部１３としてのキーボードが設けられる。装置本体１１の筐体上面の手前側には、パームレストが形成される。

ディスプレイユニット１２は、ＬＣＤ（Liquid Crystal Display）などにより構成される表示部１４を有し、装置本体１１に対し開閉自在に支持する連結部（ヒンジ）１５を介して連結される。

図２は、動画像再生装置１０の内部構成例を概略的に示すブロック図である。

図２に示すように、動画像再生装置１０は、入力部１３、表示部１４、ネットワーク接続部２１、主制御部２２および前回補間処理情報記憶部２３を有する。

ネットワーク接続部２１は、ネットワークの形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続部２１は、この各種プロトコルに従って動画像再生装置１０と他の電気機器とを接続する。この接続には、電子ネットワークを介した電気的な接続などを適用することができる。ここで電子ネットワークとは、電気通信技術を利用した情報通信網全般を意味し、無線／有線ＬＡＮ（Local Area Network）やインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。

動画像再生装置１０は、連続する動画像フレームを利用可能に構成される。この動画像フレームは、たとえば、動画像再生装置１０がネットワーク接続部２１を介してインターネット網に属するウェブサーバから動画像コンテンツを取得し、この動画像コンテンツに含まれる動画像データを連続する動画像フレームとしてキャプチャすることにより得ることができる。

主制御部２２は、ＣＰＵ、ＲＡＭおよびＲＯＭをはじめとする記憶媒体などにより構成され、この記憶媒体に記憶されたプログラムに従って、動画像再生装置１０の処理動作を制御する。

ＣＰＵは、ＲＯＭをはじめとする記憶媒体に記憶された動画像再生プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、動きベクトルの分布状況を利用して補間フレーム生成の際の動き推定精度を向上させる処理を実行する。

主制御部２２のＲＡＭは、ＣＰＵが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。

主制御部２２のＲＯＭをはじめとする記憶媒体は、動画像再生装置１０の起動プログラム、動画像再生プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。

なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、ＣＰＵにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。

図３は、主制御部２２のＣＰＵによる機能実現部の構成例を示す概略的なブロック図である。なお、この機能実現部は、ＣＰＵを用いることなく回路などのハードウエアロジックによって構成してもよい。

図３に示すように、主制御部２２のＣＰＵは、動画像再生プログラムによって、少なくともフレーム入力部３１、動きベクトル探索部３２、主ベクトル検出部３３、主ベクトル割合判定部３４、補間フレーム生成部３５およびフレーム出力部３６として機能する。この各部３１〜３６は、ＲＡＭの所要のワークエリアを、データの一時的な格納場所として利用する。

フレーム入力部３１は、連続する動画像フレームを入力され、この入力された動画像フレームを動きベクトル探索部３２および補間フレーム生成部３５に与える。

動きベクトル探索部３２は、フレーム入力部３１から連続する複数の動画像フレームを受け、この複数の動画像フレームをそれぞれ所定の画素ブロック（たとえば８画素×８画素）ごとに分割してブロックごとに動きベクトル探索を行う。この動きベクトル探索の方式としては、ブロックマッチングをはじめ従来各種のものが知られており、これらのうちの任意のものを使用することが可能である。

なお、この画素ブロックは、１画素のみで構成されてもよい。この場合、動きベクトル探索部３２は、画素ごとに動きベクトル探索を行う。以下の説明では、動きベクトル探索部３２が２枚の連続する動画像フレームを与えられ、画素ブロックをいわゆるラスタ形式（例えばフレームの一番左上のブロックから右上のブロックへと右のブロックに順に動きベクトル探索し、次に２行目の左端のブロックに移動し、最後に一番右下のブロックの動きベクトル探索を行うなど）の順に走査して動きベクトル探索を行うことにより、動きベクトルの地図（以下、動きベクトルマップという）を得る場合の例について示す。

動きベクトル探索部３２は、この動きベクトルマップの情報を主ベクトル検出部３３および補間フレーム生成部３５に与えるとともに、この動きベクトルマップの情報を前回補間処理情報記憶部２３に記憶させる。

図４は、主ベクトル検出部３３による主ベクトル検出の様子の一例を示す説明図である。

主ベクトル検出部３３は、動きベクトルマップにもとづいて主ベクトルを検出する。具体的には、主ベクトル検出部３３は、まず、動きベクトルマップを構成する動きベクトルのうち、同一の動きベクトルに対応するブロックの数が１枚のフレームに含まれる全ブロック数に対して占める割合が最大の動きベクトルを第１主ベクトルとして検出する（図４左側参照）。次に、主ベクトル検出部３３は、第１主ベクトルとの差の絶対値が所定の値（例えば１画素間の長さ）以下である動きベクトルとこの第１主ベクトルとをあわせて第１主ベクトル群に分類し、この第１主ベクトルを除く動きベクトルのうち、同一の動きベクトルに対応するブロックの数が１枚のフレームに含まれる全ブロック数に対して占める割合が最大かつ第１の割合（たとえば０．０５）以上の動きベクトルを第２主ベクトルとして検出する。

以上の手順を繰り返し、主ベクトル検出部３３は、第１主ベクトルを含む１つ以上の主ベクトル（第１〜第ｎ主ベクトル、ただしｎは自然数を表す）およびベクトル群（第１〜第ｎ主ベクトル群）を検出する（図４右側参照）。そして、主ベクトル検出部３３は、この検出した主ベクトルを、主ベクトル割合判定部３４および前回補間処理情報記憶部２３に与える。

また、主ベクトル検出部３３は、動きベクトルを３つのグループに分類する。具体的には、主ベクトル検出部３３は、まず、第１主ベクトル群により構成される主ベクトル群と、ゼロベクトルではなく且つ主ベクトル群に属さない動きベクトルにより構成される非主ベクトル群と、ゼロベクトルである動きベクトルにより構成される静止ベクトル群と、に分類する。

なお、主ベクトル群は、第１主ベクトル群のみにより構成されてもよいし、第１主ベクトル群と第２主ベクトル群とにより構成されてもよいし、さらに他のベクトル群とにより構成されてもよい。

図５は、主ベクトル割合判定部３４による補間生成方法決定の様子の一例を示す説明図である。図５には、主ベクトル群が第１主ベクトル群のみにより構成される場合の例について示した。

主ベクトル割合判定部３４は、主ベクトル群を構成する動きベクトルの数が主ベクトル群および非主ベクトル群を構成する動きベクトルの数に対して占める割合が第２の割合（たとえば０．５）以上であるか否かを判定する。

補間フレーム生成部３５は、主ベクトル群を構成する動きベクトルの数が主ベクトル群および非主ベクトル群を構成する動きベクトルの数に対して占める割合が第２の割合（たとえば０．５）以上であると、動きベクトル探索部３２から受けた動きベクトルマップにもとづいて動き補償を行うことにより、入力された２枚の動画像フレーム間に内挿される補間フレームを生成する（第１の方法）。また、第２の割合未満であると、補間フレーム生成部３５は、いずれかの入力フレームをコピーしたフレームを補間フレームとして生成するか、２枚の入力フレームの画素値を平均して補間フレームを生成するか、補間フレームを生成しないかのいずれかの処理を行う（第２の方法）。

ここで、主ベクトル割合判定部３４による判定の妥当性について簡単に説明する。

フレーム補間技術は、動きに連続性がないフレーム同士（たとえばシーンチェンジをまたぐシーン同士）に適用すると、動き推定ミスによる歪みが発生しやすいばかりでなく、正確に補間しても視覚的な効果があまり高くないという特徴がある。このため、視覚的に効果の高いフレーム内に支配的な動きがある場合に限り動き補償を用いてフレーム補間を行うことにより、無駄な補間処理を削減することが期待できる。

たとえば、主ベクトル群が第１主ベクトル群のみで構成される場合、主ベクトル群を構成する動きベクトルの数が主ベクトル群および非主ベクトル群を構成する動きベクトルの数に対して占める割合が第２の割合以上であることは、フレーム内に支配的な動きが最低でも１つは存在するということを意味する。また、主ベクトル群が第１主ベクトル群および第２主ベクトル群により構成される場合、主ベクトル群を構成する動きベクトルの数が主ベクトル群および非主ベクトル群を構成する動きベクトルの数に対して占める割合が第２の割合以上であることは、フレーム内に支配的な動きが最低でも２つは存在することを意味する。これより、主ベクトル群の割合は、フレーム補間技術による視覚的な効果の高い領域の割合といえる。

したがって、主ベクトル割合判定部３４による判定（主ベクトル群を構成する動きベクトルの数が主ベクトル群および非主ベクトル群を構成する動きベクトルの数に対して占める割合が第２の割合以上であるか否かの判定）を利用することにより、フレーム内に支配的な動きがある場合に限り動き補償を用いて補間フレームを生成し、フレーム内に支配的な動きがない場合には、動き補償を行わないようにすることができ、効率のよい補間フレーム生成処理を行うことができる。

フレーム出力部３６は、補間フレーム生成部３５から受けた補間フレームを外部に出力する。

前回補間処理情報記憶部２３は、次回の補間フレーム生成における動きベクトル探索部３２のパラメータ用に、動きベクトル探索部３２により探索された動きベクトルマップと、主ベクトル検出部３３により検出された主ベクトルとを記憶する。

次に、本実施形態に係る動画像再生装置１０の動作の一例について説明する。

図６は、動画像再生装置１０の主制御部２２により、動きベクトルの分布状況を利用して補間フレーム生成の際の動き推定精度を向上させる際の手順を示すフローチャートである。図６において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。

この手順は、連続する２枚の動画像フレームがフレーム入力部３１に入力された時点でスタートとなる。

まず、ステップＳ１において、動きベクトル探索部３２は、動きベクトル探索処理を実行する。動きベクトル探索処理は、簡単に説明すると、フレーム入力部３１から受けた連続する２枚の動画像フレームについて所定の画素ブロック（たとえば８画素×８画素）ごとに動きベクトル探索処理を行い、動きベクトルマップを生成する処理である。そして、動きベクトル探索部３２は、この動きベクトルマップの情報を主ベクトル検出部３３および補間フレーム生成部３５に与えるとともに、この動きベクトルマップの情報を前回補間処理情報記憶部２３に記憶させる。

次に、ステップＳ２において、主ベクトル検出部３３は、動きベクトルマップにもとづいて第１主ベクトルを検出し、この第１主ベクトルの情報を主ベクトル割合判定部３４および前回補間処理情報記憶部２３に与える。第１主ベクトルは、動きベクトルマップを構成する動きベクトルのうち、同一の動きベクトルに対応するブロックの数が１枚のフレームに含まれる全ブロック数に対して占める割合が最大の動きベクトルである（図４左側参照）。

次に、ステップＳ３において、主ベクトル検出部３３は、変数ｎに２を代入する。この変数の値の情報は、たとえば主制御部２２のＲＡＭの所要のワークエリアに格納される。

次に、ステップＳ４において、主ベクトル検出部３３は、第ｎ−１主ベクトル群を除く動きベクトルのうち、同一の動きベクトルに対応するブロックの数が１枚のフレームに含まれる全ブロック数に対して占める割合が最大となる動きベクトルを第ｎ主ベクトルとして検出する。

次に、ステップＳ５において、主ベクトル検出部３３は、第ｎ主ベクトルと同一の動きベクトルに対応するブロックの数が１枚のフレームに含まれる全ブロック数に対して占める割合が第１の割合（たとえば０．０５）以上であるか否かを判定する。第１の割合以上である場合はステップＳ６に進む。一方、第１の割合未満である場合は、ステップＳ８に進む。

次に、ステップＳ６において、主ベクトル検出部３３は、第ｎ主ベクトルの情報を主ベクトル割合判定部３４および前回補間処理情報記憶部２３に与える。

次に、ステップＳ７において、主ベクトル検出部３３は、変数ｎに１を加え、再び主ベクトルを検出すべくステップＳ４にもどる。

他方、ステップＳ８において、主ベクトル検出部３３は、動きベクトルを、第１主ベクトル群を含むベクトル群により構成される主ベクトル群と、ゼロベクトルではなく且つ主ベクトル群に属さない動きベクトルにより構成される非主ベクトル群と、ゼロベクトルである動きベクトルにより構成される静止ベクトル群と、の３つのグループに分類する。

次に、ステップＳ９において、主ベクトル割合判定部３４は、主ベクトル群の割合が第２の割合（たとえば０．５）以上であるか否かを判定する。第２の割合以上である場合はステップＳ１０に進む。一方、第２の割合未満である場合はステップＳ１１に進む。

次に、ステップＳ１０において、補間フレーム生成部３５は、第１の方法で補間フレームを生成する。具体的には、補間フレーム生成部３５は、動きベクトル探索部３２から受けた動きベクトルマップにもとづいて動き補償を行うことにより、入力された２枚の動画像フレーム間に内挿される補間フレームを生成する。そして、この補間フレームをフレーム出力部３６に与え、一連の手順は終了となる。

他方、ステップＳ１１において、補間フレーム生成部３５は、第２の方法で補間フレームを生成する。具体的には、補間フレーム生成部３５は、いずれかの入力フレームをコピーしたフレームを補間フレームとして生成するか、２枚の入力フレームの画素値を平均して補間フレームを生成するか、補間フレームを生成しないかのいずれかの処理を行う。

以上の手順により、動きベクトルの分布状況を利用して補間フレーム生成の際の動き推定精度を向上させることができる。これは、ステップＳ２およびステップＳ６において前回補間処理情報記憶部２３に記憶された主ベクトルの情報が動きベクトルの分布状況にもとづいて得られたものであり、この主ベクトルがステップＳ１において動きベクトル探索の探索中心ベクトルの候補の一つとして利用されるためである。

続いて、前回補間処理情報記憶部２３に記憶された主ベクトルの情報を利用して動きベクトルを探索する際の手順を説明する。

図７は、図６のステップＳ１で主制御部２２により実行される動きベクトル探索処理の手順を示すサブルーチンフローチャートである。図７において、Ｓに数字を付した符号は、フローチャートの各ステップを示す。

ステップＳ２１において、動きベクトル探索部３２は、入力された複数の動画像フレームをそれぞれ所定の画素ブロック（たとえば８画素×８画素）ごとに分割する。以下の説明では、分割された各ブロックを、変数ｉを用いてブロックＢｉ（ただしｉ＝１〜ｍ、ｍはブロック数を表す）と表記する。

次に、ステップＳ２２において、動きベクトル探索部３２は、変数ｉに１を代入する。この変数の値の情報は、たとえば主制御部２２のＲＡＭの所要のワークエリアに格納される。

図８は、動きベクトル探索部３２による動きベクトル探索の様子の一例を示す説明図である。また、図９は、動きベクトル探索における探索中心ベクトルの候補となるベクトル（以下、探索中心候補という）の一例を示す説明図である。

ステップＳ２３において、動きベクトル探索部３２は、探索中心候補のそれぞれについてブロックＢｉにおけるブロックマッチングを行うことによりマッチング値を計算する。マッチング値としては、たとえば輝度差の総和（ＳＡＤ）や輝度差の２乗和（ＳＳＤ）などがよく用いられる。そして、動きベクトル探索部３２は、マッチング値の最小値を与える（最もコストが低い）探索中心候補を探索中心ベクトルとして決定する（図８左側参照）。

図９に示すように、本実施形態においては、探索中心候補には前回補間処理情報記憶部２３に記憶されている前回の主ベクトル（第１主ベクトル〜第ｎ主ベクトル）が含まれる。また、図９において、周囲で最少のコストを持つブロックの動きベクトルとは、ラスタ順などにより既に動きベクトル探索を終了した周囲のブロックのうち、マッチング値が最小である動きベクトルをいう。

動画像フレームでは、連続するフレーム間の相関が強い。このため、時間的に先行するフレーム間の動きと同様の動きが現在のフレーム間にも存在する確率が高い。したがって、動きベクトルの探索中心候補に前回の主ベクトルを加えることにより、動き推定精度を向上させることができる。

次に、ステップＳ２４において、動きベクトル探索部３２は、探索中心ベクトルが指す周辺の領域を対象にコストが最小となる動きベクトルを探索することにより、このブロックＢｉの動きベクトルを決定する（図８右側参照）。

次に、ステップＳ２５において、動きベクトル探索部３２は、たとえば主制御部２２のＲＡＭの所要のワークエリアに格納されている変数ｉに１を加える。

次に、ステップＳ２６において、動きベクトル探索部３２は、変数ｉの値がブロック数ｍより大きいか否かを判定する。変数ｉの値がブロック数ｍ以下である場合は、引き続きブロックごとの動きベクトルを探索すべくステップＳ２３に戻る。一方、変数ｉの値がブロック数ｍより大きい場合は、全てのブロックについて動きベクトル探索を終えて動きベクトルマップが完成しているため、この動きベクトルマップの情報を主ベクトル検出部３３および補間フレーム生成部３５に与えるとともに、この動きベクトルマップの情報を前回補間処理情報記憶部２３に記憶させて、図６のステップＳ２に戻る。

以上の手順により、前回補間処理情報記憶部２３に記憶された主ベクトルの情報を利用して動きベクトルを探索することができる。

本実施形態に係る動画像再生装置１０は、動きベクトルを探索する際に、前回の動きベクトル探索における動きベクトルマップと、動きベクトルの分布状況から検出される主ベクトルの情報を利用することができる。動画像フレームでは、連続するフレーム間の相関が強い。このため、時間的に先行するフレーム間の動きと同様の動きが現在のフレーム間にも存在する確率が高い。したがって、本実施形態に係る動画像再生装置１０は、動きベクトルの分布状況を利用することができるため、動き推定精度を向上させることができ、補間フレームの画質を向上させることができる。

また、本実施形態に係る動画像再生装置１０は、主ベクトル割合判定部３４による判定（主ベクトル群を構成する動きベクトルの数が主ベクトル群および非主ベクトル群を構成する動きベクトルの数に対して占める割合が第２の割合以上であるか否かの判定）を利用することにより、フレーム内に支配的な動きがある場合に限り動き補償を用いて補間フレームを生成し、フレーム内に支配的な動きがない場合には、動き補償を行わないようにすることができる。このため、本実施形態に係る動画像再生装置１０によれば、動き推定ミスによる弊害を未然に回避し、効率のよい補間フレーム生成処理を行うことができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

また、本発明は、上記実施形態で説明したノートブック型のパーソナルコンピュータをはじめとするパーソナルコンピュータのほかにも、連続する動画像フレームを利用可能な種々の情報処理装置に適用することが可能であり、たとえばテレビジョン受像装置、記録再生装置などに適用することができる。

また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

本発明に係る動画像再生装置の一実施形態を示す概略的な外観図。 動画像再生装置の内部構成例を概略的に示すブロック図。 主制御部のＣＰＵによる機能実現部の構成例を示す概略的なブロック図。 主ベクトル検出部による主ベクトル検出の様子の一例を示す説明図。 主ベクトル割合判定部による補間生成方法決定の様子の一例を示す説明図。 動画像再生装置の主制御部により、動きベクトルの分布状況を利用して補間フレーム生成の際の動き推定精度を向上させる際の手順を示すフローチャート。 図６のステップＳ１で主制御部により実行される動きベクトル探索処理の手順を示すサブルーチンフローチャート。 動きベクトル探索部による動きベクトル探索の様子の一例を示す説明図。 動きベクトル探索における探索中心ベクトルの候補となるベクトルの一例を示す説明図。

符号の説明

１０ 動画像再生装置
１１ 装置本体
１２ ディスプレイユニット
１３ 入力部
１４ 表示部
２１ ネットワーク接続部
２２ 主制御部
２３ 前回補間処理情報記憶部
３１ フレーム入力部
３２ 動きベクトル探索部
３３ 主ベクトル検出部
３４ 主ベクトル割合判定部
３５ 補間フレーム生成部
３６ フレーム出力部

Claims (8)

1. 入力された複数の動画像フレーム間の動きベクトルを所定の画素ブロックごとに探索する動きベクトル探索部と、
   前記探索された前記動きベクトルのうち、同一の前記動きベクトルに対応する前記ブロックの数が１枚の前記動画像フレームに含まれる全ての前記ブロックの数に対して占める割合が最大の前記動きベクトルを第１主ベクトルとして検出し、前記第１主ベクトルとの差の絶対値が所定の値以下である動きベクトルと前記第１主ベクトルとをあわせて第１主ベクトル群に分類し、
   前記探索された前記動きベクトルから前記第１主ベクトル群を除いた前記動きベクトルのうち、前記割合が第１の割合以上である動きベクトルを第２主ベクトルとして検出し、前記第２主ベクトルとの差の絶対値が前記所定の値以下である動きベクトルと前記第２主ベクトルとをあわせて第２主ベクトル群に分類し、
   この検出と分類とを繰り返すことにより、前記主ベクトルを複数検出するとともに前記探索された前記動きベクトルを複数のベクトル群に分類する主ベクトル検出部と、
   前記複数の動画像フレーム間に内挿される補間フレームの生成方法を判定する判定部と、
   前記判定部により判定された前記補間フレームの生成方法により前記補間フレームを生成する補間フレーム生成部と、
   を備え、
   前記主ベクトル検出部は、
   前記動きベクトル探索部により探索された前記動きベクトルについて、前記第１主ベクトル群により構成される主ベクトル群と、ゼロベクトルではなく且つ前記主ベクトル群に属さない前記動きベクトルにより構成される非主ベクトル群と、ゼロベクトルである前記動きベクトルにより構成される静止ベクトル群と、に分類し、
   前記判定部は、
   前記主ベクトル群を構成する前記動きベクトルの数が前記主ベクトル群および前記非主ベクトル群を構成する前記動きベクトルの数に対して占める割合が第２の割合以上であると、前記補間フレーム生成部に対し第１の方法で補間フレームを生成すべき旨の判定を行う一方、前記第２の割合未満であると、前記補間フレーム生成部に対し第２の方法で補間フレームを生成すべき旨の判定を行い、
   前記動きベクトル探索部は、
   前記所定の画素ブロックごとに前記動きベクトルを探索する際に、前回入力された前記複数の動画像フレームについて前記主ベクトル検出部により検出された前記第１主ベクトルを含む前記主ベクトルを探索中心ベクトルの候補とし、前記探索中心ベクトルの候補のうち最もマッチング値が小さいものを候補中心ベクトルと決定し、この候補中心ベクトルが指す周辺の領域を対象にマッチング値が最小となる動きベクトルを探索することを特徴とする動画像再生装置。
2. 前記主ベクトル検出部は、
   前記動きベクトル探索部により探索された前記動きベクトルについて、前記複数のベクトル群により構成される主ベクトル群と、ゼロベクトルではなく且つ前記主ベクトル群に属さない前記動きベクトルにより構成される非主ベクトル群と、ゼロベクトルである前記動きベクトルにより構成される静止ベクトル群と、に分類する、
   請求項１記載の動画像再生装置。
3. 前記第１の補間フレーム生成方法は、
   前記動きベクトル探索部により探索された前記動きベクトルにもとづいて動き補償を行い前記複数の動画像フレーム間に内挿される補間フレームを生成する方法であり、
   前記第２の補間フレーム生成方法は、
   補間フレームを生成しない方法を含む、
   請求項２記載の動画像再生装置。
4. 前記補間フレームを表示する表示部、
   をさらに備えた請求項１ないし３のいずれか１項に記載の動画像再生装置。
5. 入力された複数の動画像フレーム間の動きベクトルを所定の画素ブロックごとに探索するステップと、
   前記探索された前記動きベクトルのうち、同一の前記動きベクトルに対応する前記ブロックの数が１枚の前記動画像フレームに含まれる全ての前記ブロックの数に対して占める割合が最大の前記動きベクトルを第１主ベクトルとして検出するとともに、前記割合が第１の割合以上である他の前記動きベクトルがあると前記他の動きベクトルを主ベクトルとして検出する、前記第１主ベクトルを含む前記主ベクトルを検出するステップと、
   前記複数の動画像フレーム間に内挿される補間フレームの生成方法を判定するステップと、
   前記補間フレームの生成方法を判定するステップで判定された前記補間フレームの生成方法により前記補間フレームを生成するステップと、
   を有し、
   前記第１主ベクトルを含む前記主ベクトルを検出するステップは、
   前記第１主ベクトルを検出するステップ、前記第１主ベクトルとの差の絶対値が所定の値以下である動きベクトルと前記第１主ベクトルとをあわせて第１主ベクトル群に分類するステップ、前記探索された前記動きベクトルから前記第１主ベクトル群を除いた前記動きベクトルのうち、同一の前記動きベクトルに対応する前記ブロックの数が１枚の前記動画像フレームに含まれる全ての前記ブロックの数に対して占める割合が前記第１の割合以上である動きベクトルを第２主ベクトルとして検出するステップ、および前記第２主ベクトルとの差の絶対値が前記所定の値以下である動きベクトルと前記第２主ベクトルとをあわせて第２主ベクトル群に分類するステップ、を繰り返すことにより、前記主ベクトルを複数検出するとともに前記探索された前記動きベクトルを複数のベクトル群に分類するステップと、
   前記探索された前記動きベクトルについて、前記第１主ベクトル群により構成される主ベクトル群と、ゼロベクトルではなく且つ前記主ベクトル群に属さない前記動きベクトルにより構成される非主ベクトル群と、ゼロベクトルである前記動きベクトルにより構成される静止ベクトル群と、に分類するステップと、を有し、
   前記補間フレームの生成方法を判定するステップは、
   前記主ベクトル群を構成する前記動きベクトルの数が前記主ベクトル群および前記非主ベクトル群を構成する前記動きベクトルの数に対して占める割合が第２の割合以上であると第１の方法で補間フレームを生成すべき旨の判定を行う一方、前記第２の割合未満であると第２の方法で補間フレームを生成すべき旨の判定を行うステップであり、
   前記動きベクトルを探索するステップは、
   前記所定の画素ブロックごとに前記動きベクトルを探索する際に、前回入力された前記複数の動画像フレームについて検出された前記第１主ベクトルを含む前記主ベクトルを探索中心ベクトルの候補とするステップと、
   前記探索中心ベクトルの候補のうち最もマッチング値が小さいものを候補中心ベクトルと決定するステップと、
   この候補中心ベクトルが指す周辺の領域を対象にマッチング値が最小となる動きベクトルを探索するステップと、
   を有することを特徴とする動画像再生方法。
6. 前記第１主ベクトルを含む前記主ベクトルを検出するステップは、
   前記第１主ベクトルを検出するステップ、前記第１主ベクトルとの差の絶対値が所定の値以下である動きベクトルと前記第１主ベクトルとをあわせて第１主ベクトル群に分類するステップ、前記探索された前記動きベクトルから前記第１主ベクトル群を除いた前記動きベクトルのうち、同一の前記動きベクトルに対応する前記ブロックの数が１枚の前記動画像フレームに含まれる全ての前記ブロックの数に対して占める割合が前記第１の割合以上である動きベクトルを第２主ベクトルとして検出するステップ、および前記第２主ベクトルとの差の絶対値が前記所定の値以下である動きベクトルと前記第２主ベクトルとをあわせて第２主ベクトル群に分類するステップ、を繰り返すことにより、前記主ベクトルを複数検出するとともに前記探索された前記動きベクトルを複数のベクトル群に分類するステップと、
   前記探索された前記動きベクトルについて、前記複数のベクトル群により構成される主ベクトル群と、ゼロベクトルではなく且つ前記主ベクトル群に属さない前記動きベクトルにより構成される非主ベクトル群と、ゼロベクトルである前記動きベクトルにより構成される静止ベクトル群と、に分類するステップと、を有する、
   請求項５記載の動画像再生方法。
7. コンピュータに、
   入力された複数の動画像フレーム間の動きベクトルを所定の画素ブロックごとに探索するステップと、
   前記探索された前記動きベクトルのうち、同一の前記動きベクトルに対応する前記ブロックの数が１枚の前記動画像フレームに含まれる全ての前記ブロックの数に対して占める割合が最大の前記動きベクトルを第１主ベクトルとして検出するとともに、前記割合が第１の割合以上である他の前記動きベクトルがあると前記他の動きベクトルを主ベクトルとして検出する、前記第１主ベクトルを含む前記主ベクトルを検出するステップと、
   前記複数の動画像フレーム間に内挿される補間フレームの生成方法を判定するステップと、
   前記補間フレームの生成方法を判定するステップで判定された前記補間フレームの生成方法により前記補間フレームを生成するステップと、
   を実行させ、
   前記第１主ベクトルを含む前記主ベクトルを検出するステップは、
   前記第１主ベクトルを検出するステップ、前記第１主ベクトルとの差の絶対値が所定の値以下である動きベクトルと前記第１主ベクトルとをあわせて第１主ベクトル群に分類するステップ、前記探索された前記動きベクトルから前記第１主ベクトル群を除いた前記動きベクトルのうち、同一の前記動きベクトルに対応する前記ブロックの数が１枚の前記動画像フレームに含まれる全ての前記ブロックの数に対して占める割合が前記第１の割合以上である動きベクトルを第２主ベクトルとして検出するステップ、および前記第２主ベクトルとの差の絶対値が前記所定の値以下である動きベクトルと前記第２主ベクトルとをあわせて第２主ベクトル群に分類するステップ、を繰り返すことにより、前記主ベクトルを複数検出するとともに前記探索された前記動きベクトルを複数のベクトル群に分類するステップと、
   前記探索された前記動きベクトルについて、前記第１主ベクトル群により構成される主ベクトル群と、ゼロベクトルではなく且つ前記主ベクトル群に属さない前記動きベクトルにより構成される非主ベクトル群と、ゼロベクトルである前記動きベクトルにより構成される静止ベクトル群と、に分類するステップと、を有し、
   前記補間フレームの生成方法を判定するステップは、
   前記主ベクトル群を構成する前記動きベクトルの数が前記主ベクトル群および前記非主ベクトル群を構成する前記動きベクトルの数に対して占める割合が第２の割合以上であると第１の方法で補間フレームを生成すべき旨の判定を行う一方、前記第２の割合未満であると第２の方法で補間フレームを生成すべき旨の判定を行うステップであり、
   前記動きベクトルを探索するステップは、
   前記所定の画素ブロックごとに前記動きベクトルを探索する際に、前回入力された前記複数の動画像フレームについて検出された前記第１主ベクトルを含む前記主ベクトルを探索中心ベクトルの候補とするステップと、
   前記探索中心ベクトルの候補のうち最もマッチング値が小さいものを候補中心ベクトルと決定するステップと、
   この候補中心ベクトルが指す周辺の領域を対象にマッチング値が最小となる動きベクトルを探索するステップと、
   を有することを特徴とする動画像再生プログラム。
8. 前記第１主ベクトルを含む前記主ベクトルを検出するステップは、
   前記第１主ベクトルを検出するステップ、前記第１主ベクトルとの差の絶対値が所定の値以下である動きベクトルと前記第１主ベクトルとをあわせて第１主ベクトル群に分類するステップ、前記探索された前記動きベクトルから前記第１主ベクトル群を除いた前記動きベクトルのうち、同一の前記動きベクトルに対応する前記ブロックの数が１枚の前記動画像フレームに含まれる全ての前記ブロックの数に対して占める割合が前記第１の割合以上である動きベクトルを第２主ベクトルとして検出するステップ、および前記第２主ベクトルとの差の絶対値が前記所定の値以下である動きベクトルと前記第２主ベクトルとをあわせて第２主ベクトル群に分類するステップ、を繰り返すことにより、前記主ベクトルを複数検出するとともに前記探索された前記動きベクトルを複数のベクトル群に分類するステップと、
   前記探索された前記動きベクトルについて、前記複数のベクトル群により構成される主ベクトル群と、ゼロベクトルではなく且つ前記主ベクトル群に属さない前記動きベクトルにより構成される非主ベクトル群と、ゼロベクトルである前記動きベクトルにより構成される静止ベクトル群と、に分類するステップと、を有する、
   請求項７記載の動画像再生プログラム。

Images