JP2004357295A - 画像のスループットを安定させた状態で、表示されているマテリアルに最も適した値にフレームレートを変更するための方法およびシステム - Google Patents

Abstract

【課題】 画像のスループットを安定した状態に維持しつつ、表示されているマテリアルにとって最適な値にフレームレートを変更する。
【解決手段】 ビデオ表示システムが開示される。該ビデオ表示システムは、表示タイミング信号を提供するための表示生成部と、入力ビデオデータおよび入力ビデオタイミングを受信すると共に出力ビデオデータを提供するためのフレームレート変換部とを含む。該ビデオ表示システムは、また、フレームレート指示信号、ビデオ入力タイミング、および表示タイミング信号を受信するための制御ロジックを含む。該制御ロジックは、画像のスループットを安定した状態に維持しつつ、番組のネイティブフレームレートにしたがって、表示生成部の表示フレームレートを変更する。
【選択図】 図７

Description

本発明は、一般に、フレームレートの変換に関する。本発明は、より具体的には、表示されるマテリアルに最も適した値にビデオ表示システムのフレームレートを変更することに関する。

ビデオを表示するに当たっては、表示したいマテリアルの作成時のフレームレートが様々に異なるのが普通である。このときは、フレームレートが様々に異なるコンテンツを共通のフレームレートに変換して表示することが通常に行われる。以下では、フレームレートが様々に異なるビデオコンテンツの表示およびフレームレートの変換に関連した事柄の説明を行う。

表示装置の特徴
表示装置は、アナログおよびデジタルの二種類に大別することができる。各種類には、それぞれに利点および欠点がある。

アナログ表示装置
アナログ表示装置すなわちＣＲＴ（陰極線管）は、プログレッシブおよびインターレースの二種類に更に分類される。コンピュータモニタなどのプログレッシブ方式の表示装置が表示するフレームは、それ自体で完結している。これらの表示装置は、ライン１、ライン２、ライン３のように、画像の各ラインを連続的に描画する。従来のテレビ受像機などのインターレース方式の表示装置の場合は、画像を二つのフィールドに分割する。第１のフィールドは奇数番のラインを含み、多くは奇数フィールドと称され、第２のフィールドは偶数番のラインを含み、一般に偶数フィールドと称される。インターレース方式の表示装置は、奇数フィールドと偶数フィールドとを時間的に交互に走査することによってビデオ画像を完成させる。

いずれの種類の表示装置も、類似した特徴を有する。水平方向の表示タイミングは、一定に維持されなければならない。水平方向の偏向回路で使用されるＰＬＬ（位相ロックループ）は、帯域幅が比較的狭いので、水平方向の表示タイミングの瞬時の変更は、ビデオ情報をシフトさせる可能性がある。垂直方向の偏向回路ではＰＬＬが使用されないので、垂直方向の表示タイミングは、いくらかのばらつきを許容することができ、瞬時にリセットすることが可能である。ＣＲＴから出力される光は非連続的であるので（時間的な充填比が低いので）、低いフレームレートでの動作は大面積のちらつきを引き起こす。これは、画像全体の揺らぎとして現れる。したがって、ＣＲＴは、他の表示装置と比べて高いフレームレートで動作するのが通常である。

デジタル表示装置
ＬＣＤパネルやプラズマパネルなどの装置は、デジタル表示装置であると見なされる。これらの表示装置は、画素化されているのが通常である。すなわち、これらの表示装置は、各ライン毎に特定数の画素を、各フレーム毎に特定数のラインを表示する。デジタル表示装置は、プログレッシブ方式の画像を表示するのが通常である。インターレース方式の画像は、普通は表示前にプログレッシブ方式の画像に変換する必要がある。このような表示装置は、以下のような代表的な特徴を有する。
・ 水平方向のアクティブビデオ（アクティブな画素の数）は一定に維持されなければならない。
・ 垂直方向のアクティブビデオ（アクティブなラインの数）は一定に維持されなければならない。
・ 水平方向のタイミングの合計は可変である。
・ 垂直方向のタイミングの合計は可変である。
デジタル表示装置の中には（特にＬＣＤなどは）、サンプル＆ホールドの特徴を有する（時間的な充填比が高い）光を出力するものもあるので、多くの場合は、大面積のちらつきという副作用を生じることなく低いフレームレートでの動作を実現することが可能である。

コンテンツの特徴
マテリアルのコンテンツには、フィルムコンテンツや各種のビデオコンテンツなどの様々な種類がある。

フィルムコンテンツ
図１は、フィルムコンテンツおよび表示画像を示している。フィルムコンテンツは、従来は２４Ｈｚのレートで撮影され表示されてきた。これは、毎秒２４フレームの画像が表示されることを意味する。各画像は、写真のように瞬時に全てのコンテンツを含んでいる。映画館では、フィルムの各フレームを４８Ｈｚまたは７２Ｈｚで表示することによって大面積のちらつきを回避している。

ビデオコンテンツ
ビデオコンテンツは、インターレースおよびプログレッシブの二種類の方式で表示される。インターレース方式では、各ビデオ画像すなわち各フレームは、奇数フィールドおよび偶数フィールドの２フィールドからなる。奇数フィールドは画像の奇数番のラインからなり、偶数フィールドは画像の偶数番のラインからなる。これらのフィールドは、時間的に且つ空間的に交互に配置される。図２は、複数のフィールド１２，１４に分けられたビデオフレーム１０を示している。

フレームのスナップショットの中の点線は、画像の奇数番のサンプルラインである。フレームのスナップショットの中の実線は、画像の偶数番のサンプルラインである。インターレース方式の表示装置が画像を描画する場合は、第１のフィールドタイムスロットの間に偶数番のラインを描画し、第２のフィールドタイムスロットの間に偶数番のラインを奇数番のラインの間に描画する。

アメリカ合衆国などの６０Ｈｚの国では、ビデオフレームレートは３０Ｈｚである。ドイツなどの５０Ｈｚの国では、ビデオフレームレートは２５Ｈｚである。これらのフレームレートを使用する代表的なインターレース方式のビデオシステムは、４８０ｉおよび１０８０ｉ（ＮＴＳＣ）ならびに５７６ｉ（ＰＡＬ）および１０８０ｉ（ＰＡＬ）である。

プログレッシブ方式の各画像は、それ自体で完結している。画像の各ラインは、奇数番であれ偶数番であれ、順番に描画される。これは、フィルムの表示方法と類似しているが、ラスタ形式で行われる即ちラインとして表現されるという点が異なる。この形式を通常に使用しているのは、例えばコンピュータの表示装置などである。ビデオの場合は、ドメイン４８０Ｐおよび７２０Ｐがこの形式で動作する。

インターレース方式であれプログレッシブ方式であれ、いずれの画像も全体に対するアクティブビデオの割合という概念を共有している。図３は、ビデオフレーム全体１１を示している。このフレームは、アクティブビデオおよび消去区間の二つの要素からなる。真ん中に示された白色の領域がアクティブビデオ１３である。この領域は、ＨＡＣＴＩＶＥおよびＶＡＣＴＩＶＥの二つのパラメータによって規定される。ＨＡＣＴＩＶＥは、表示された画像を構成する各ライン毎の画素数を規定する。ＶＡＣＴＩＶＥは、表示された画像を構成するライン数を規定する。黒色の領域は、消去区間１５と称される。水平帰線消去区間は、各ライン毎の画素数（ＨＴＯＴＡＬ）から各ライン毎のアクティブな画素数（ＨＡＣＴＩＶＥ）を引いた数として規定される。垂直帰線消去区間は、各フィールド／フレーム毎のライン数（ＶＴＯＴＡＬ）から各フィールド／フレーム毎のアクティブなライン数（ＶＡＣＴＩＶＥ）を引いた数として規定される。

ビデオフレームレートの変換
ビデオのフレームレートの変換は、最も簡単に言うと、ある画像レートを別の画像レートに変換することである。フレームレートの変換には、簡単なドロップ／リピート方法から高度な動き補正方法まで様々な種類がある。なかでも簡単なドロップ＆リピート方法は、システムとして最も実装しやすく且つ最も費用効率が高いので、広く一般に使用されている。

簡単なドロップ＆リピート方法を詳細に説明するためには、先ず、フレームレートについて述べなくてはならない。ビデオシステム用のフレームレートには、様々な種類がある。前述されたように、ビデオで使用される代表的なフレームレートは、２５Ｈｚ（ＰＡＬ）および３０Ｈｚ（ＮＴＳＣ）の二つである。スポーツ競技やニュース番組などのネイティブなビデオマテリアルは、フィールドのスナップショットを１／５０秒または１／６０秒ごとに撮ることによって作成される。各フィールドは、対象物を固有な時点で捉えた画像をそれぞれ含んでいる。

フィルムマテリアルは、もとは２４Ｈｚで作成されたものなので、ビデオドメインで使用するためには変更を加えなければならない。アメリカ合衆国などの６０Ｈｚの国では、３：２プルダウンとして知られる変換のプロセスが使用される。このプロセスは、第１のフィルムフレームを３ビデオフィールドに変換して表示し、第２のフィルムフレームを２ビデオフィールドに変換して表示する。例として、フレームＡＢＣＤからなるフィルムシーケンスを想定する。各フレームは、すぐ前の取り込みから１／２４秒後に取り込まれる。ビデオに変換されるとき、このシーケンスはＡ_奇数，Ａ_偶数，Ａ_奇数，Ｂ_偶数，Ｂ_奇数，Ｃ_偶数，Ｃ_奇数，Ｃ_偶数，Ｄ_奇数，Ｄ_偶数のようになる。ここで、下付き文字は奇数フィールドまたは偶数フィールドを表し、各フィールドはプログレッシブ方式のフィルムフレームの奇数番のラインまたは偶数番のラインをそれぞれに含む。このシーケンスは、図６に示されている。ドイツなどの５０Ｈｚの国では、２：２プルダウン方法が使用される。このプロセスは、フィルムの各フレームを２ビデオフィールドに変換して表示する。上述されたものと同じフィルムシーケンスに２：２プルダウン変換を行うと、ビデオシーケンスはＡ_奇数，Ａ_偶数，Ｂ_奇数，Ｂ_偶数，Ｃ_奇数，Ｃ_偶数，Ｄ_奇数，Ｄ_偶数のようになる。

３：２のフレームレートに関しては、どのフレームを切り落とすまたは繰り返すかによって、様々なアップ変換およびダウン変換を行うことができる。ＡＡＡＢＢのような３：２シーケンスを６：５の割合でアップ変換する場合は、ＡＡＡＡＢＢまたはＡＡＡＢＢＢのような変換が可能である。同じシーケンスを４：５の割合でダウン変換する場合は、ＡＡＡＢやＡＡＢＢなどの出力が可能である。アップ変換およびダウン変換は、視覚的に大きく異なる。対称的なアップ変換およびダウン変換すなわちＡＡＡＢＢＢおよびＡＡＢＢの場合は、出力時の動きのぶれが入力時と比べて少ない。動きのぶれとは、目が予期する画像の位置と、その画像が実際にある位置との相違を意味する。対称的なシーケンスの場合は、フィルムの各画像は全く同じ時間だけ表示される。ＡＡＡＡＢＢやＡＡＡＢなどの非対称的なシーケンスの場合は、出力時の動きのぶれが入力時と比べて増大する。したがって、非対称的なフィルムマテリアルをアップ変換またはダウン変換する場合は、動きのぶれを増大させないように注意を払わなくてはならない。この手順に関しては、以下で更に詳述される。

アップ変換
アップ変換すなわちフレームを繰り返すプロセスにおいて、もしすぐ前の出力フレームの表示が次の入力フレームが読み込み可能になる前に終わった場合は、そのすぐ前の入力フレームは再度描画される。これが、フレームレートのアップ変換方法である。図４は、フレームレートのアップ変換を示している。ここでは、フレームＡが二度表示される。繰り返されるこのフレームは、斜線によって強調されている。アップ変換では、入力フレームの一つが出力時に繰り返される。入力シーケンスが３：２のプルダウンパターンに従っている場合は、入力時の繰り返しが最も少ないフレームを繰り返すことによって、アップ変換を有利に行うことができる。したがって、入力シーケンスは３：２から３：３に変換される。このように、出力シーケンスの対称性を維持すれば、動きのぶれによって見た目が損なわれる事態を抑えることができる。しかしながら、３：２のプルダウンパターンに従わないビデオなどのマテリアルに対してアップ変換を実施すると、周期的な動きのぶれが生じるので、これは好ましくない。

ダウン変換
表示のフレームレートが入力時のフレームレートよりも遅い場合は、入力フィールドを定期的に切り落とす必要がある。これが、フレームレートのダウン変換方法である。図５は、フレームレートのダウン変換を示している。

フレームレートのダウン変換では、出力時に入力フレームの一つが切り落とされる。これは、二つの入力フレームが、すぐ前の出力フレームが完全に表示される前に読み出し可能になった際に行われる。図５に示されるように、このときは遅いほうの入力フレームのみが採用され、早いほうの入力フレームは切り落とされる。図からわかるように、ここでは斜線で強調された入力フレームＤが出力フレームシーケンスから切り落とされている。

入力シーケンスが３：２のプルダウンパターンに従っている場合は、入力時に最も頻繁に現れるフレームを切り落とすことによって、ダウン変換を有利に実施することができる。したがって、入力シーケンスは、例えば３：２から２：２に、ひいては１：１に変換される。これは、視聴者から見える動きのぶれの量を減少させる。３：２プルダウンのパターンに従わないネイティブビデオマテリアルなどのマテリアルに対してダウン変換を実施すると、周期的な動きのぶれが生じるので、これは好ましくない。

動き補正
より高度なフレームレート変換方法は、動き補正を伴う。この技術では、各フレームに含まれる一画素または一群の画素の動きベクトルを推測する。動きベクトルは、フレームからフレームに画像の詳細がどの程度引き渡されるかを示している。この情報は、次に、最も近い上記二つの入力フレーム間の一時点での状態を表す新しいフレームを、フレームごと時間的に挿入するために使用される。したがって、フレームを単純に切り落としたり繰り返したりすることによって生じる断続的な動きとは異なる、時間的な流れに正確に則ったフレームが生成される。この技術は、高性能であるが高コストでもあるので、家電製品ではあまり一般的でない。

フィルムのフレームレート変換
テレビ番組やコマーシャルは、ビデオとフィルムの混合を含んでいる場合が多い。例えば、テレビの視聴者向けに映画を放送するときは、映画を放送する合間にコマーシャルやニュースブレイクを挿入する。これは、フレームレートコンテンツの混合である。映画は、もとは２４Ｈｚで撮影されたフィルムをビデオに変換したものであるが、ニュースブレイクは、ネイティブビデオとして作成されたものである。表示装置がビデオのフレームレートで動作する場合は、ニュースブレイクが最適に表示される一方で、映画の表示は準最適になって動きにぶれを生じる。反対に、表示装置が映画にとって最適なレートで動作しているあいだは、ニュースブレイクに動きのぶれが生じる。

したがって、フィルム部分とビデオ部分とを組み合わせたビデオ表示を行う場合は、ビデオ表示のフィルム部分のコンテンツに、３：２のフレームレートで表示することによるぶれが生じる。ぶれの問題は、フレームレートの異なるビデオコンテンツを組み合わせる場合にも生じる。したがって、フレームレートの異なるコンテンツの組み合わせを、ぶれを排除できるまたは減少させられ尚かつ不自然さを生じない最適な方法で処理できることが望まれている。これまでは、フレームレートの異なるコンテンツを組み合わせた場合にこのようにビデオ表示を最適に行えるシステムが存在しなかった。このようなシステムおよび方法は、高い費用効率を有するうえに、既存のビデオ表示システムに対して容易に実装可能および適応可能でなければならない。

したがって、フレームレートの異なるコンテンツを組み合わせた場合にビデオ表示を最適なかたちで行うシステムおよび方法が必要とされている。本発明は、このようなニーズに対処している。

ビデオ表示システムが開示される。該ビデオ表示システムは、ビデオ表示タイミング信号を提供するための表示生成部と、入力ビデオデータおよびビデオ入力タイミングを受信すると共に出力ビデオデータを提供するためのフレームレート変換部とを含む。該ビデオ表示システムは、フレームレート指示信号、ビデオ入力タイミング信号、およびビデオ表示タイミング信号を受信するための制御ロジックを含む。該制御ロジックは、画像のスループットを安定した状態に維持しつつ、番組のネイティブフレームレートにしたがって、表示生成部の表示フレームレートを変更する。

本発明は、一般に、フレームレートの変換に関する。本発明は、より具体的には、表示されるマテリアルに最も適した値にビデオ表示システムのフレームレートを変更することに関する。以下の説明は、当業者が本発明を製造および使用できるようなかたちで、特許出願およびその要件に照らして行われる。当業者ならば、ここで説明される好ましい実施形態ならびに原則および特徴に対し、様々な変更を講じることが可能である。したがって、本発明は下記の実施形態に限られるものではなく、ここで説明される原理および特徴に見合う限りにおいて最も広い範囲で解釈することが可能である。

本発明にしたがった方法およびシステムは、画像のシーケンスをそのマテリアルに最も適したフレームレートで表示する。好ましい一実施形態では、映画館でフィルムを上映する場合とほぼ同じ方法で、非対称的なフィルムパターンを有するマテリアルを対称的なパターンに変換する。反対に、画像毎に固有であるビデオなどのマテリアルは、そのネイティブレートで表示される。本発明の特徴の更なる詳細に関しては、添付の図面に関連して行われる以下の説明を参照すると良い。

簡単に言うと、表示フレームレートは、動きを最適なかたちで再生成できるように動的に変更される。フィルムに関しては、これは、ソースの非対称パターンをもとにして対称パターンを表示できるようにフレームレートを変更することを意味する。フィルムコンテンツに関しては、取り扱わなければならないパターンが二つある。すなわち、シーケンスがＡＡＡＢＢＣＣＣＤＤのように現れる従来の３：２パターンと、シーケンスがＡＡＡＢＢＣＣＤＤＤのように現れる変形３：２：２：３パターンの二つである。いずれの場合も、出力されるのは、２４Ｈｚの整数倍のフレームレート（すなわち４８Ｈｚおよび７２Ｈｚなど）で表示される非対称パターンである。ビデオマテリアルに関しては、このアルゴリズムは、そのマテリアルをそのネイティブフレームレートによってそのまま表示することを意味する。ネイティブフレームレートは、通常は５０Ｈｚまたは６０Ｈｚである。フレームレートの移行は、視聴者からは見えないかたちで実施される。

図７は、マテリアルコンテンツのシームレスフレームレート変換のためのシステム１００を示している。このシステムには、ドロップ＆リピートフレームレート変換部（ＦＲＣ）１０２、表示生成部１０４、および制御ロジックブロック１０６の三つの構成要素が含まれている。以下では、各構成要素およびこれらの要素間の相互作用に関して述べる。

ドロップ＆リピートフレームレート変換部（ＦＲＣ）１０２
ドロップ＆リピートフレームレート変換部１０２の目的は、フィルムマテリアルに対し、入力された非対称的なフレームシーケンスをもとにして常に対称的なシーケンスを出力することにある。例えば、ＡＡＡＢＢをもとにしてＡＡＡＢＢＢやＡＡＢＢ、ひいてはＡＢを出力するなどである。ＦＲＣ１０２は、また、入力がビデオであることが判明した場合には、非ＦＲＣモードすなわちネイティブレートに切り替わらなくてはならない。この切り替えは、映像が目に見えて中断しないように行わなくてはならない。ＦＲＣの動作は、ＦＲＣのロジックブロック１０６によって制御される。

表示生成部１０４
表示生成部１０４は、出力画像のタイミングを規定するものであり、ラインのタイミング、各フレーム毎のライン数、および毎秒のフレーム数を変更することができる。表示生成部１０４は、ビデオを破壊しないような、あるいは表示装置による画像のロックを失わないようなかたちで、異なる２フレームレート間で切り替われる必要がある。

そのために変更できるパラメータは、出力クロック周波数、各ライン毎の画素総数、および各フレーム毎のライン総数の３つである。これらのパラメータのうち、どのパラメータを、あるいはどのパラメータの組み合わせを変更するかは、表示装置の特徴に応じて異なる。ＬＣＤパネルなどのデジタル表示装置は、普通は、入力信号の時間的に瞬時の変化に対して耐性がある。このような装置に対しては、出力クロック周波数および各フレーム毎のライン総数を一定に維持しつつ各ライン毎の画素総数を変化させることによって所望のフレームレートを得ると好都合である。このときは、各ライン毎のアクティブ画素数をそのままに維持した状態で、非アクティブ区間（水平帰線消去区間）の画素数を増減させることによって、各ライン毎の画素総数を変化させる。この変化は、例えば垂直同期パルスに続く第１のラインのスタート時などの適切なタイミングで瞬時に行われる。

表示装置のタイミング要件によっては、各ライン毎の画素数および各フレーム毎のライン数を一定に維持しつつ出力クロック周波数を変化させることによって所望のフレームレートを得るほうが好都合である。このときの出力クロック周波数は、２クロック期間の間の境界で瞬時に変化しても良いし、あるいは有限の一期間に渡ってゆっくりと変化しても良い。出力クロック周波数がＰＬＬを使用して合成された場合は、ＰＬＬがループ帯域幅を有するので、出力クロック周波数は有限の一期間に渡って変化させる必要がある。

上述した技術は、ＣＲＴ表示装置の場合にも同様に適用することが可能である。ただし、使用されるＣＲＴ偏向システムの特徴によっては、フレームレートを切り替える際に何らかの異常を生じる可能性がある。ＣＲＴ偏向システムは、一般に、その水平方向のオシレータの特徴がゆえに、水平方向のタイミング（ラインタイミング）の変化に対して耐性がない。ＣＲＴ偏向システムは、しかしながら、その垂直方向の偏向回路が随時にリセット可能であるので、垂直方向のタイミングの変化に対しては耐性がある。したがって、ＣＲＴでのフレームレートの切り替えによって不自然さが発生する事態を回避する方法は、一つには、画素のクロック周波数および各ライン毎の画素数を一定に維持しつつ、アクティブライン数または非アクティブライン数のいずれかを変化させることによって、各フレーム毎のライン総数を変化させることである。いずれの場合も、ビーム電流を比例して変化させ、明るさを一定に維持する必要がある。アクティブライン数を変化させる場合は、先ずは、画像の垂直方向の寸法をデジタル的にスケール変更し、必要な数のラインを作成する必要がある。更には、垂直方向の偏向を調整し、画像の垂直方向の大きさを一定に維持する必要がある。

制御ロジック１０６
制御ロジック１０６は、フレームレート指示信号、ビデオ入力タイミング、およびビデオ表示タイミングの三つの入力を有する。制御ロジック１０６は、最終的にはＦＲＣ１０２および表示生成部１０４に対して変更を行う。フレームレート指示信号は、コンテンツにとって最適なフレームレートを規定するために使用され、コンテンツがフィルムである場合は、入力フレームのシーケンスを規定するために使用される。制御ロジック１０６は、フレームレート指示信号、ビデオ入力タイミング、およびビデオ表示タイミングに基づいてＦＲＣ１０２を操作し、対称的なフレームレート変換の実施を保証する。制御ロジック１０６は、また、表示生成部１０４に対してフレームレートを規定する。

コンテンツのフレームレートに基づいたマテリアルの最適化
非対称的な入力を対称的なかたちで出力する際は、下記の処置のいずれかをとることができる。即ち、ＦＲＣメモリに何が書き込まれるかを変更する、ＦＲＣから何が読み出されるかを変更する、そして表示生成部のフレームレートがどのフレーム境界で変更されるかを変更する、の三つの処置のうちの一つをとることができる。何を変更するかは、制御ロジック１０６によって決定される。

制御ブロックは、最終的には、非対称的な入力シーケンスのどのフレームを落とすかまたは繰り返すかを決定する。そして、ＦＲＣへの書き込みまたはＦＲＣからの読み出しを変更し、そのフィルムに関して対称的な出力がなされることを保証する。入力データがビデオである場合は、制御ブロックは、表示生成部１０４のモードを、フレームレートの変換を生じず且つあらゆる入力情報を出力として表示するモードに強制的に切り替える。制御ロジック１０６の動作は、添付の図面に併せて行われる以下の説明において更に詳述される。

非対称的な入力シーケンスに対し、例えばプルダウン比が３：２であるフィルムに対する変換などの適切な変換を確実に行うためには、どのフレームを落としてどのフレームを繰り返すかに注意しなくてはならない。例えば、ＡＡＡＢＢのようなシーケンスを想定し、Ａフレームのどれか一つを落とすものとすると、対称的な出力シーケンスＡＡＢＢが得られる。また、Ｂフレームの一つを繰り返すものとすると、対称的な出力シーケンスＡＡＡＢＢＢが得られる。

フレームレートは、マテリアルにとって最適な表示フレームレートに基づいて変更されるので、入力ビデオと出力ビデオとの時間的な関係は、常に変化しつづける。この可変性は、フレームレート変換部によるフレームの切り落としまたは繰り返しに影響を及ぼす。図８は、三つのビデオストリームを示している。第１のストリームは入力ビデオである。第２のストリームは、入力ストリームと同じフレームレートを有する出力ビデオである。なお、第１のストリームと第２のストリームとの間には、時間的なオフセットが僅かに存在する。すなわち、第２の出力ストリームは、第１の入力ストリームよりも１／４フレームだけ遅れている。第３のストリームは、入力ストリームよりも高いフレームレートで動作する出力ビデオである。この場合のフレームレートは６：５である。図からわかるように、もしこのときに単純なフレームレート変換を行うと、フレームＡ１は二度表示され、出力パターンは入力パターンよりも更に非対称性を増す。

図９の第１行目は、図８と同じ入力フィルムシーケンスを示している。第２行目は、入力ストリームと同じフレームレートを有する出力シーケンスを示している。ただし、この出力シーケンスは入力ストリームよりも３／４フレームだけ遅れている。第３のストリームは、フレームレートが６：５のアップ変換を示している。この場合はフレームＢ１が繰り返されるので、形成される出力シーケンスは対称的である。

制御ロジックが行うことは、入力フレームと出力フレームとの間の時間的な関係を調べ、そのオフセットに基づいてどのフィールドを繰り返すかまたは切り落とすかを決定し、更に、ＦＲＣに何を書き込むのか、ＦＲＣから何を読み出すか、あるいは表示のフレームレートが実際に変更されるのはいつかを変更することによって、出力パターンが対称的であるように保証することである。何を変更するかは、制御ロジックブロックの一実施形態に相当する。本実施形態による制御ブロックは、表示生成部がいつフレームレートを変更するかを変更することによって、適切な動作が行われるように保証する。なお、本発明はこの実施形態に限られるものではなく、ここで説明される原理および特徴に見合う限りにおいて最も広い範囲で解釈することが可能である

図１０は、制御ロジック１０６のブロック図である。制御ロジック１０６は、入出力フレーム相対オフセット検出部２０２と、ゾーン検出部２０４と、表示変更ロジック２０８とを備える。各構成要素の詳細は後述される。

入力／出力フレームオフセット検出部２０２
入出力フレームオフセット検出部２０２は、入力から出力までのフレームの遅れを画素クロック精度で測定する。カウンタは、垂直方向の入力タイミング信号ｗ＿ｓｙｎｃの立ち下がりでリセットされる。カウンタは、入力クロックｗ＿ｃｌｋに同期して増分される。

垂直方向の出力タイミング信号ｒ＿ｖｓｙｎｃは、準安定性を回避するために、入力クロックｗ＿ｃｌｋドメインに対して再同期化される。この信号の立ち下がりでは、画素精度のカウンタ値がラッチされる。ラッチされたカウンタ値は、オフセットとしてゾーン検出部２０４に引き渡される。

カウンタは、あるいは、画素を基準とする替わりにラインを基準として増分することも可能である。この場合は、変更時点と同じライン内に入力／出力タイミングが含まれないように注意しなければならない。さもないと、エラーを生じる可能性がある。あるいは、入力クロックの替わりに非同期クロックまたは出力クロックを使用することも可能である。

ゾーン検出部２０４
ゾーン検出部２０４は、入力フレームと表示フレームとの間の相対タイミングを調べる。フレームレート信号が高くなると、オフセット値はラッチされる。これらの値は所定の値と比較され、フレームレートモードの開始時におけるタイミング状況が決定される。各ゾーンは、続くフレームシーケンスでどのフレームが切り落とされるかまたは繰り返されるかに関する。特定のフレームレートモードに入った後にゾーンが決定されると、本実施形態では、表示生成部が表示変更信号によって適切なフレームレートの使用を指示する。

図１１のストリームを考える。最初の二つのストリームは図８，９のストリームと同じである。第３のストリームでは、フレームＢ１の入力の最中にフレームレートが変更される。図１１では、フレームレートがいつ変更されるかを制御ロジックによって規定している。制御ロジックは、この場合は、フレームＢ１の入力の最中にフレームレートを変更した。こうして、対称的な出力パターンが形成された。

表示変更ロジック２０８
表示変更ロジック２０８は、検出されたゾーン、フィルムパターンの種類、およびフィルムシーケンスパターンの中の現行フレームの相対位置に基づいて、フレームレートの変換動作に対する変更を行う。表示変更ロジック２０８は、ＦＲＣメモリにどのビデオフレームが書き込まれるかおよび表示フレームレートがいつ変更されるかを規定しても良いし、ＦＲＣメモリからどのビデオフレームが読み出されるかおよび表示フレームレートがいつ変更されるかをフレームレート変換部に通知しても良いし、あるいは表示フレームレートがいつ変更されるかのみを表示生成部に通知しても良い。

実施形態
上述されたコアロジックは、単独でシステムを構成しても良いし、あるいは他の構成要素と結合してシステムを構成しても良い。このようなシステムは、デジタル化された生データ、デコード化されたビデオ、またはＭＰＥＧデコーダからのビデオを取り入れて良い。このようなシステムは、プログレッシブ方式の入力またはインターレース方式の入力を取り入れて良い。このようなシステムは、そのフレームレートに関する変更指示の信号（上述された実施形態ではフィルム指示信号）を、外部のソースから、内部のＭＰＥＧデコーダから、または内部のデコーダから受信して良い。インターレース方式の入力に対して動きに適応して行われるインターレースの解除は、フレームレート変換の前に実施しても良いし、あるいはフレームレート変換の後に実施しても良い。また、各ライン毎の画素数、各フレーム毎のライン数、そしてひいては画像の形状を変更できるように、スキャン変換部を追加することも可能である。上述されたシステムからの出力は、デジタルまたはアナログであることが可能である。

本発明にしたがった方法およびシステムは、フレームレートを動的に切り替えることによって、コンテンツに応じて可能な限り最良の画像を表示する。好ましい一実施形態では、ある画像が３／６０秒間表示されて次の画像が２／６０秒間表示される非対称的なフィルムパターンが、各画像が例えば２／４８秒間または３／７２秒間（いずれも１／２４秒間に相当し、フィルムを映画館で上映する場合と全く同じように各画面を２倍または３倍速さで効率良く更新する）などの同じ時間だけ表示される対称的なフィルムパターンに変換される。これに対し、画像毎に固有であるビデオマテリアルは、そのネイティブレートで表示される。

以上では、種々の実施形態にしたがって本発明を説明したが、当業者ならば明らかなように、これらの実施形態には様々な変更を加えることが可能であり、これらの変更もやはり本発明の趣旨および範囲に含まれる。

例えば、フレームレートは、一定の周波数クロックを使用しつつＨＴＯＴＡＬの値を変化させることによって制御することが可能である。フレームレートは、あるいは、一定の周波数クロックを使用しつつＶＴＯＴＡＬの値を変化させることによって制御することも可能である。フレームレートは、あるいは、一定のＨＴＯＴＡＬおよびＶＴＯＴＡＬを使用しつつクロックレートを変化させることによって制御することも可能である。また、ビデオ表示システムは、ＬＣＤ、ＣＬＰ、ＰＤＰ、または不自然さを生じることなくフレームレートを瞬時に切り替えられる他の画素化された表示手段であっても良い。

フレームレート変換は、ＦＲＣに何が書き込まれるか、ＦＲＣから何が読み出されるか、またはフレームレートが変更されるかを変更することによって、対称的な出力を保証できるように変更することが可能である。

ビデオ表示システムは、ＣＲＴ、または不自然さを生じることなく有限の一期間のあいだにフレームレートを徐々に切り替えられる他のラスタ化された表示手段であっても良い。また、フレームレートの制御は、ソースマテリアルが作り出されたフィルムまたはビデオのいずれであるかに基づいて制御しても良い。また、フレームレート変換部は、非対称的なパターンを対称的なパターンに変換することもできる。したがって、当業者ならば、添付した特許請求の範囲の趣旨および範囲から逸脱することなく様々な構成をとることが可能である。

フィルムコンテンツおよび表示画像を示した図である。 複数のフィールドに分けられたビデオフレームを示した図である。 アクティブビデオのウィンドウを示した図である。 フレームレートのアップ変換を示した図である。 フレームレートのダウン変換を示した図である。 フィルムからビデオへの３：２変換を示した図である。 本発明の一実施形態にしたがって、マテリアルコンテンツに基づいたシームレスフレームレート変換のためのシステムを示した図である。 あるフレームレートアップ変換の様子を示した図である 入力が図８と同じである場合の第２のフレームレートアップ変換の様子を示した図である。 制御ロジックのブロック図である。 入力が図８と同じで且つフレームレートがＢ１フレームの入力中に変更される場合のフレームレート変換の様子を示した図である。

符号の説明

１０...ビデオフレーム
１２...奇数フィールド
１３...アクティブビデオ
１４...偶数フィールド
１５...消去区間
１００...フレームレート変換システム
１０２...ドロップ＆リピートフレームレート変換部（ＦＲＣ）
１０４...表示生成部
１０６...制御ロジックブロック
２０２...入出力フレームオフセット検出部
２０４...ゾーン検出部
２０８...表示変更ロジック

Claims (14)

1. ビデオ表示システムであって、
   ビデオ表示タイミング信号を提供するための表示生成部と、
   入力ビデオデータおよびビデオ入力タイミングを受信すると共に出力ビデオデータを提供するためのフレームレート変換部と、
   フレームレート指示信号、前記ビデオ入力タイミング、および前記ビデオ表示タイミング信号を受信し、番組のネイティブフレームレートにしたがって、画像のスループットを安定した状態に維持しつつ、前記表示生成部の表示フレームレートを変更するための制御ロジックと
   を備えるビデオ表示システム。
2. 請求項１に記載のビデオ表示システムであって、
   フレームレートは、一定の周波数クロックを使用しつつＨＴＯＴＡＬの値を変更することによって制御される、ビデオ表示システム。
3. 請求項１に記載のビデオ表示システムであって、
   フレームレートは、一定の周波数クロックを使用しつつＶＴＯＴＡＬの値を変更することによって制御される、ビデオ表示システム。
4. 請求項１に記載のビデオ表示システムであって、
   フレームレートは、一定のＨＴＯＴＡＬおよびＶＴＯＴＡＬを使用しつつクロックレートを変更することによって制御される、ビデオ表示システム。
5. 請求項１に記載のビデオ表示システムであって、
   前記表示デバイスは、ＬＣＤ、ＤＬＰ、ＰＤＰ、または不自然さを生じることなくフレームレートを瞬時に切り替えられる他の画素化された表示手段であるビデオ表示システム。
6. 請求項１に記載のビデオ表示システムであって、
   前記表示デバイスは、ＣＲＴ、または不自然さを生じることなくフレームレートを有限の一期間のあいだに変更できる他のラスタ化された表示手段であるビデオ表示システム。
7. 請求項１に記載のビデオ表示システムであって、
   前記フレームレートは、ソースマテリアルが作り出されたフィルムまたはビデオのいずれであるかに基づいて制御される、ビデオ表示システム。
8. 請求項１に記載のビデオ表示システムであって、
   前記フレームレート変換部は、非対称的なパターンを対称的なパターンに変換することができる、ビデオ表示システム。
9. 請求項１に記載のビデオ表示システムであって、
   前記フレームレート変換部に書き込まれるデータは、対称的な出力を提供できるように変更される、ビデオ表示システム。
10. 請求項１に記載のビデオ表示システムであって、
    前記フレームレート変換部から読み出されるデータは、対称的な出力を提供できるように変更される、ビデオ表示システム。
11. 請求項１に記載のビデオ表示システムであって、
    前記フレームレートの変更時点は、対称的な出力を提供できるように適切なフィールドまたはフレーム境界に変更される、ビデオ表示システム。
12. 請求項１に記載のビデオ表示システムであって、
    前記フレームレート指示信号はフィルム指示信号である、ビデオ表示システム。
13. 請求項１に記載のビデオ表示システムであって、
    前記制御ロジックは、
    入力フレームから出力フレームまでの遅延を測定するオフセット検出部と、
    入力フレームと表示フレームとの間の相対タイミングを調べるゾーン検出部と、
    フレームレートがいつ変更されるかを規定する表示変更ロジックと
    を含む、ビデオ表示システム。
14. 請求項１に記載のビデオ表示システムであって、
    前記制御ロジックは、入力タイミングと出力タイミングとの間の特定の時間的な関係を検出し、それに適応したかたちでフレームレートを調整する、ビデオ表示システム。

Images