JP4505000B2 - 画像表示装置及び方法、画像処理装置及び方法 - Google Patents

Description

本発明は、フレームレートあるいはフィールドレートを変換する機能を備えた画像表示装置及び方法、画像処理装置及び方法に関し、より詳細には、動き補償型のレート変換処理に起因する、画面端部などの有効画像端部近傍における画質劣化を防止する画像表示装置及び該装置による画像表示方法、画像処理装置及び該装置による画像処理方法に関するものである。

テレビジョン方式には、ＰＡＬ(Phase Alternation by Line)、ＳＥＣＡＭ(SEquentiel Couleur A Memoire)方式、ＮＴＳＣ(National Television Committee)方式が存在する。これらの放送方式は、走査線数やフレーム周波数が異なっており（PAL、SECAMは625本/50Hz、NTSCは525本/60Hz）、そのままでは互換がないので、国際放送や番組交換等を行うために、従来から放送方式を相互に変換する技術が開発され、放送局などで使用されてきた。中でもフレームレートの変換は時間軸上の処理となり、変換処理後の動きの再現性が画質に大きな影響を与えることになるため、放送方式変換技術の中で最も重要な技術のひとつである。

現在、テレビ用のデジタル処理による方式変換装置では、入力画像の動きベクトルを検出・推定し、出力フレームレートに従って生成する内挿画像の動き補償を行うことで、入出力フレームレートの変換処理を行っている（以降、動き補償型フレームレート変換処理と呼ぶ）。

動き補償型フレームレート変換処理の概略は、以下の通りである。まず、入力画像信号の２ないし３枚の連続した複数フレームの画像から、該画像中の動きを検出・推定し、入力画像の動きベクトルを求める（動きベクトル検出）。この動きベクトルの検出・推定方法としては、勾配法、ブロックマッチング法、位相相関法等が知られている。

次に、求められた動きベクトルを評価し、最適なベクトルを選出して、入出力のフレームレートに応じて動きベクトルの長さを按配し、入力画像から内挿フレーム上に内挿ベクトルとして割付を行う（内挿ベクトル割付）。最後に、新たに内挿フレーム上に時間軸で前後に存在する入力フレームから、内挿ベクトルに従って画像信号を割り当て（内挿画像生成）、内挿フレームを含めた出力フレームの周波数変換（画像内挿）を行う。以上、大きく分けて動きベクトル検出、内挿ベクトル割付、内挿画像生成、画像内挿の処理によって入出力フレームレートの変換を行う。

上述した動き補償型フレームレート変換技術は、元来放送方式の異なる画像信号を変換するために開発されてきたが、近年は液晶表示装置に代表されるホールド型表示装置の動きボケ改善にも用いられるようになっている。ホールド型表示方式においては、各画素の発光状態が概ね１フレーム期間保持されるため、画像表示光のインパルス応答が時間的な広がりを持つ。そのため、時間周波数特性が劣化し、それに伴い空間周波数特性も低下して、動きボケが生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、ホールド型表示装置のように発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまう。

動き補償型フレームレート変換技術による入力信号の高フレームレート化によれば、内挿画像信号が動き補償して形成されるため、動きボケの原因となる空間周波数特性の低下を改善することができ、ホールド型表示方式の動きボケ妨害を十分に改善することが可能となる（例えば、特許文献１、非特許文献１参照）。このように、ホールド型表示装置における動きボケを改善するために、フレーム間に画像を内挿することにより、フレームレート（フレーム数）を変換する技術は、ＦＲＣ（Frame Rate Converter）と呼ばれ、液晶表示装置等において実用化されている。

図１２は、従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図で、図中、ＦＲＣ駆動表示回路は、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿することにより入力画像信号のフレーム数を変換するＦＲＣ部１０と、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶表示パネル１３と、ＦＲＣ部１０によりフレームレート変換された画像信号に基づいて液晶表示パネル１３の走査電極及びデータ電極を駆動するための電極駆動部１４と、を備えて構成される。

ＦＲＣ部１０は、入力画像信号から動きベクトル情報を検出する動きベクトル検出部１１と、動きベクトル検出部１１により得られた動きベクトル情報に基づいて内挿フレームを生成する内挿フレーム生成部１２とを備えている。

このように、動きベクトル情報を用いて動き補償フレーム内挿処理を行い、表示フレーム周波数を上げることで、ＬＣＤ（ホールド型表示方式）の表示状態を、ＣＲＴ（インパルス型表示方式）の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画質劣化を改善することが可能となる。

ここで、上述したとおり、動き補償型フレームレート変換を行うためには、入力された画像の連続する前後フレームの画像から正しい動きベクトルを検出する必要がある。しかしながら、画面端部近傍においては、動きベクトル検出が困難になる。この理由について、以下説明する。

ここでは、入力画像の前フレームと現フレームとの２フレーム間で動きベクトルを検出することを考え、動き検出の基準を前フレームに置くとする。まず、図１３に示すように、ある画像が画面枠外から入って来る場合、前フレームに画像欠損が存在することになり、本来ならばこの欠損部分に動き検出の基準が置かれることになる。このため、生成される内挿フレームの図１３中（ａ）で示す部分には、内挿ベクトルがどこからも割り付けられず、不定となってしまう。

また、図１４に示すように、ある画像が画面枠外へ出て行く場合、現フレームに画像欠損が存在することになるため、前フレームの図１４中（ｂ）で示す部分のベクトル検出ができなくなる。

すなわち、いずれの場合においても、画面端部近傍では動きベクトルの検出が正確にできなくなるため、結果として生成される内挿画像には、画像の乱れや歪みなどの劣化が生じる。

ところで、通常動きベクトル検出においては、検出された動きベクトルに適当なフィルタをかける処理を行っている。これはベクトル検出をブロック単位で行う時には、周囲の動きベクトルとある程度平滑化した方が、視覚的に画質劣化が少なくなることが多いためである。このようなフィルタ処理を行うことにより、画面端部近傍においてもある程度所望の動きベクトルを得ることが可能である。

ところが、画面端部近傍では内挿に用いる入力フレーム画像のうち一方の画像が欠損しているため、他の部分と同じ内挿処理（例えば、内挿ベクトルに従って前後フレームから画像の線形補間を行う）を行うことはできず、内挿フレーム生成時にも問題が発生してしまう。

これら動き補償型フレームレート変換処理における画面端部の画像劣化に対する対策としては、例えば特許文献２に開示されたものが知られている。特許文献２のものは、内挿フレーム画像を生成する際に、画面端部近傍においては、前後２フレームからの、すなわち両方向からの内挿（動きベクトル両端の画像からの線形補間）を行わずに、欠損画像がない方のフレームのみからの、すなわち片方向からの内挿（内挿ベクトルによる入力画像の平行移動）へ適応的に切り換えることで、上述した問題点のうち内挿処理時の問題を回避している。
特許第３２９５４３７号明細書 特開昭６２−２１７７８４号公報 石黒秀一、栗田泰市郎、「８倍速ＣＲＴによるホールド発光型ディスプレイの動画質に関する検討」、信学技報、社団法人電子情報通信学会、ＥＩＤ９６−４（１９９６−０６）、ｐ．１９−２６

しかしながら、上記特許文献２に記載の技術によれば、内挿処理時の問題は回避できるものの、画面端部近傍においてはそもそも上述したように動きベクトルの検出自体を正しく行うことができないという問題があり、結局得られる内挿フレーム画像の画面端部近傍には乱れや歪みが生じてしまう。

本発明は、上記問題を解決するためになされたもので、動き補償型フレームレート変換により、内挿フレーム画像の有効画像端部近傍において生じる画質劣化を抑制することが可能な画像表示装置及び方法、画像処理装置及び方法を提供することを目的とする。

本願の第１の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づいて動き補償処理を施した画像信号と、前記動き補償処理を施さない画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成部と、前記入力画像信号のフレーム間あるいはフィールド間に前記内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像内挿部とを有するレート変換手段を備えた画像表示装置であって、前記入力画像信号の動きに応じて可変され、表示パネルに表示する有効画像の少なくとも上下左右のいずれかの端部を含む所定領域に対しては、前記動き補償処理を施した画像信号の加算比率が低くなるように、前記加重加算比率を変化させることを特徴とする。

本願の第２の発明は、前記内挿画像生成部が、前記所定領域に対しては、前記動き補償処理を施さない画像信号を内挿画像信号とし、それ以外の領域に対しては、前記動き補正処理を施した画像信号を内挿画像信号とすることを特徴とする。

本願の第３の発明は、前記内挿画像生成部が、前記動き補償処理を施さない画像信号として、前記入力画像信号のフレーム間あるいはフィールド間において線形補間処理を施した画像信号を用いることを特徴とする。

本願の第４の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づいて動き補償処理を施した画像信号と、前記動き補償処理を施さない画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成工程と、前記入力画像信号のフレーム間あるいはフィールド間に前記内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像内挿工程とを有するレート変換ステップを備えた画像表示方法であって、前記入力画像信号の動きに応じて可変され、表示パネルに表示する有効画像の少なくとも上下左右のいずれかの端部を含む所定領域に対しては、前記動き補償処理を施した画像信号の加算比率が低くなるように、前記加重加算比率を変化させることを特徴とする。

本願の第５の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づいて動き補償処理を施した画像信号と、前記動き補償処理を施さない画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成部と、前記入力画像信号のフレーム間あるいはフィールド間に前記内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像内挿部とを有するレート変換手段を備えた画像処理装置であって、前記入力画像信号の動きに応じて可変され、前記入力画像信号の有効画像領域における少なくとも上下左右のいずれかの端部を含む所定領域に対しては、前記動き補償処理を施した画像信号の加算比率が低くなるように、前記加重加算比率を変化させることを特徴とする。

本願の第６の発明は、入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づいて動き補償処理を施した画像信号と、前記動き補償処理を施さない画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成工程と、前記入力画像信号のフレーム間あるいはフィールド間に前記内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像内挿工程とを有するレート変換ステップを備えた画像処理方法であって、前記入力画像信号の動きに応じて可変され、前記入力画像信号の有効画像領域における少なくとも上下左右のいずれかの端部を含む所定領域に対しては、前記動き補償処理を施した画像信号の加算比率が低くなるように、前記加重加算比率を変化させることを特徴とする。

本発明によれば、有効画像端部を含む所定領域に対しては、前記動き補償処理の強度を小さくすることにより、有効画像の端部近傍における画質劣化を効果的に抑制することが可能となる。

以下、添付図面を参照しながら本発明の好適な画像表示装置の実施の形態について詳細に説明する。なお、本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者（フィールドとフレーム）は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。

（第１の実施形態）
本発明の第１の実施形態は、表示パネルに表示する有効画像の上下或いは左右端部を含む所定領域に対しては、ＦＲＣ部１０における少なくとも垂直、水平方向のいずれかの動き補償処理を無効化するために、動きベクトル検出部で検出された動きベクトルの垂直、水平成分のいずれか或いは両方を強制的に０にするものである。

図１は本実施形態の画像表示装置が備えるＦＲＣ部１０の構成例を示すブロック図である。本実施形態においては、前フレームおよび現フレームの連続した２フレームの入力画像から動きベクトルを検出し、内挿画像を生成する場合について説明する。また、動きベクトルの検出はブロック単位で行い、検出基準ブロックは入力画像の前フレーム上に置くものとする。

一般的に、動画像はフレーム間の相関が高く、また時間軸方向の連続性を持つため、あるフレームにおいて移動している画素あるいはブロックは、それに続くフレーム、あるいはそれより前のフレームにおいても、同様の動き量で移動している場合が多い。すなわち、連続するフレーム間では、動きベクトルに連続性がある場合が多い。

このことから、前フレームでの動きベクトル検出結果を参照することで、その次のフレームにおける動きベクトルの検出をより容易に、あるいはより正確に行うことが可能である。例えば、勾配法を改良した反復勾配法においては、検出基準ブロックに対して、前フレームあるいは現フレームで既に検出された近傍のブロックの動きベクトルを初期偏位ベクトルとし、これを起点として勾配法の演算を繰り返す。この方法によれば、勾配法の繰り返しは２回程度でほぼ正確な動きベクトルを得ることができる。

また、ブロックマッチング法においても、前フレームでの動きベクトル検出結果を参照して探索順序を変えるなどして、効率的な動きベクトル検出を行うことが可能である。

図１において、１は動き検出用のフレームメモリであり、入力画像信号を１フレーム分蓄積・遅延させ、前フレームデータとして出力する。動き検出用フレームメモリ１から出力された前フレームデータは、現フレームの入力画像信号とともに動きベクトル検出回路２に入力される。

動きベクトル検出回路２では、入力された２フレーム分の画像データをもとに、勾配法やブロックマッチング法などを用いて画像の動きベクトルを検出する。検出された動きベクトルは、ベクトル切り換え回路３を経て内挿ベクトル割付回路４へ出力される。

動きベクトル検出回路２で検出された動きベクトルは、前フレーム上の検出ブロックを基準としているため、そのままでは内挿フレーム上でベクトルが存在しない場合や複数のベクトルが割り当てられる場合が発生することがある。そのため、内挿ベクトル割付回路４では、入力された動きベクトルをもとに、周囲のベクトルとの平滑化やベクトルの評価を行うことにより、内挿フレーム上を基準にした内挿ベクトルを作成し直す。これにより、内挿フレーム上のベクトルの欠如や重複を無くす。

有効画像端部判定回路５では、外部より設定入力された設定領域情報や入力画像信号に含まれる同期信号に基づいて、有効画像の端部（ここでは、表示画面の端部）の領域判定を行う。設定領域は、例えば図２（ａ）に示すように、表示画面の上下左右端から一定距離をもった領域ａとする。通常、動きベクトルの長さは回路規模を抑えるため、ベクトル探索範囲で制限されている。従って、この設定領域ａは、画面端部からの距離が、動きベクトル検出部２で検出可能な動きベクトル長の上限以下とすれば良い。

有効画像端部判定回路５において有効画像の端部近傍と判定された領域は、ベクトル切り換え回路３において長さが０（動き量がない）のベクトルを割り当てる。内挿ベクトル割付回路４では、上述したように入力された動きベクトルにフィルタ処理を施すため、ベクトルが０に固定された有効画像の端部近傍領域と通常の動きベクトル検出が行われた他の領域との境界で、ベクトルが急激に変化することを避けることが可能となっている。すなわち、有効画像の端部近傍領域とそれ以外の領域との境界部において、動きベクトル長を連続的に変化させることが可能となっている。

内挿ベクトル割付回路４で割付単位毎に生成された内挿ベクトルは、内挿ベクトルメモリ６に１フレーム分格納される。また、内挿画像生成用フレームメモリ７には、内挿画像の生成に必要となる入力画像データを蓄積しておく。

そして、内挿画像生成回路８は、内挿ベクトルメモリ６に格納された内挿ベクトルを順次読み出し、読み出した内挿ベクトルが指し示す画面座標情報に従って、内挿画像生成用フレームメモリ７から画像データを読み出す。このとき、有効画像の端部近傍領域では、内挿ベクトルが０ベクトルに固定されているため、有効画像端部に対しても画像の動きによらず常に乱れのない内挿が行われる。

尚、本実施形態における内挿画像生成では、前後２枚の入力フレーム画像を用いる方式（両方向内挿）、前後どちらか決められた１枚の入力フレーム画像を用いる方式（片方向内挿）のいずれを適用しても良い。

内挿画像生成回路８によって生成された内挿フレーム画像は、最後に画像内挿回路９によって出力側のフレームレートに変換された上で、入力画像信号と適宜切り換えられて出力される。以上の一連の処理によって、画面端部などの有効画像端部の近傍においても画像の乱れや歪みのない動き補償型のフレームレート変換を実現することができる。

ところで、画面端部近傍での比較的局所的で小さな動きに対しては、図２（ａ）とともに上述したとおり、画面端部から一定の距離をもった領域ａで動きベクトルを０とすればよいが、高速なカメラパンによる画像等のように画面全体が大きく動く画像にも対応するためには、設定領域を動きベクトル長の上限まで広くとっておかなければならなくなる。ただし、この領域では動き補償がなされないため、高速なパンニング等が発生していない通常の画像においては、フレームレート変換による動画質改善効果が期待できなくなる。従って、動きベクトルを０に固定する設定領域はあまり大きくないことが望ましい。

そこで、図２（ｂ）に示すように、画面端領域として、画面端部からの距離が、１フレーム内の画像全体の動きに関する特徴量に応じて可変される領域ｂを、フレーム毎に適用することによって、上記問題に対応することが可能となる。この１フレーム内の画像全体の動きの特徴量としては、例えば１フレーム分全ての動きベクトル、内挿ベクトルの平均値を用いることができる。さらに、これを１〜２倍程度長くしてから画面端領域の設定を行うようにすれば、画面端部近傍での局所的な画像の動きにも対応することが可能となる。

同様の効果は、図２（ｃ）に示すように、入力画像信号によらず画面端部から一定の距離を持った領域ａを小さく設定するとともに、さらにその内側に入力画像信号の動きに関する特徴量に応じた距離をもった領域ｂを設定し、これらを組み合わせることでも得ることができる。

さて、画面端部近傍では動きベクトルの検出が不正になることが多いが、画面上下端近傍では左右方向（水平方向）の動きに限れば正しく検出することが可能である。同様に、画面左右端近傍においても、上下方向（垂直方向）の動きであれば検出することができる。そこで、ベクトル切り換え回路３において、図２（ａ）〜（ｃ）に示す各々の設定領域のうち、画面の上下端部近傍に設けられる領域に対しては、動きベクトルの上下方向成分のみを０とし、左右端部近傍に設けられる領域に対しては、動きベクトルの左右方向成分のみを０とするように、動きベクトルの上下・左右成分を独立に切り換えるように動作させることにより、より良好な内挿画像を得ることができる。

尚、以上の説明では、画像表示装置に備えられた表示パネルの全面に画像が表示され、表示画面と有効画像の端部が一致していることを前提としているが、例えばアスペクト比４：３の映像を１６：９の表示画面を備えた表示装置に表示する場合、図３（ａ）に示すように、本来の画像（有効画像）の左右に黒枠等の有効画像とは無関係な静止画領域が追加されることがあり、有効画像端と表示画面端とが一致しなくなる。

また、例えば４：３の表示画面を備えた表示装置で１６：９の映像を表示する場合には、図３（ｂ）に示すように、本来の画像（有効画像）の上下に黒枠等が追加されることがある。これらのように、画面端部に単色枠などの静止画が表示され、有効画像の端部が画面端部に一致しない場合、この単色枠の検出や付加は、ＦＲＣ部１０の前段に配置されるビデオプロセッサ（図示せず）で行われるため、例えばこのビデオプロセッサからの単色枠情報を受け、有効画像端部判定回路５を動作させることにより、単色枠が付加された画像への対応も可能となる。

以上のように、本実施形態の画像表示装置においては、表示パネルに表示する有効画像の上下端部或いは左右端部を含む所定領域に対しては、動きベクトルの垂直、水平成分のいずれか或いは両方を０に固定して動き補償処理を無効化することにより、有効画像の端部近傍における画質劣化を効果的に抑制することができるとともに、それ以外の領域に対しては、動き補償処理を施すことにより動画質を改善することが可能である。

また、上記第１の実施形態では、有効画像の端部近傍における所定領域で検出された動きベクトルを０に固定するものについて説明したが、内挿フレーム上の有効画像の端部近傍領域に割り当てられる内挿ベクトルを０にすることでも、同様の効果を得ることができる。これについて、本発明の第２の実施形態として、以下説明するが、上記第１の実施形態と同一部分には同一符号を付し、その説明は省略する。

（第２の実施形態）
本発明の第２の実施形態は、表示パネルに表示する有効画像の上下或いは左右端部を含む所定領域に対しては、ＦＲＣ部１０における少なくとも垂直、水平方向のいずれかの動き補償処理を無効化するために、内挿ベクトル割付部で割り付けられる内挿ベクトルの垂直、水平成分のいずれか或いは両方を強制的に０にするものである。

図４は本実施形態の画像表示装置が備えるＦＲＣ部１０の構成例を示すブロック図である。本実施形態においては、図４に示すように、有効画像端部判定回路５による判定結果に従って、内挿ベクトル割付回路４から出力される内挿ベクトルを０に切り換えて固定するベクトル切り換え回路３を備えている。

すなわち、有効画像端部判定回路５において有効画像の上下端部或いは左右端部の近傍と判定された領域は、ベクトル切り換え回路３において垂直、水平成分のいずれか或いは両方の長さが０（動き量がない）のベクトルを割り当て、内挿画像生成回路８に出力する。尚、有効画像端部判定回路５で有効画像の端部として判定される設定領域は、画面端部からの距離が、内挿ベクトル割付回路４で割付可能な内挿ベクトル長の上限以下とされている。

本構成では、直接的に内挿ベクトルを０に固定するため、有効画像の端部近傍領域とそれ以外の領域との境界部において、動き補償の有無が明確に分かれる。そこで、ベクトル切り換え後にフィルタ処理を入れることにより、有効画像の端部近傍領域とそれ以外の領域との境界部で内挿ベクトル長が連続的に変化するようにしておくことが望ましい。

このように、表示パネルに表示する有効画像の上下端部或いは左右端部を含む所定領域に対しては、内挿ベクトルの垂直、水平成分のいずれか或いは両方を０に固定して動き補償処理を無効化することにより、有効画像の端部近傍における画質劣化を効果的に抑制することができるとともに、それ以外の領域に対しては、動き補償処理を施すことにより動画質を改善することが可能である。

（第３の実施形態）
本発明の第３の実施形態は、ＦＲＣ部１０への入力経路とは別の経路上に線形補間内挿処理部を設け、表示パネルに表示する有効画像の端部を含む所定領域に対しては、線形補間内挿処理部側に切り替えて、この所定領域にだけ線形補間を施した画像信号を内挿するものである。すなわち、有効画像の端部を含む所定領域に対しては、ＦＲＣ部１０による動き補償内挿処理を行うのではなく、線形内挿処理を行うことで、フレームレート変換するように切り替えるものである。以下、これについて説明するが、上記第１の実施形態と同一部分には同一符号を付し、その説明は省略する。

図５は、本発明の第３の実施形態に係る画像表示装置の要部構成例を示すブロック図で、ＦＲＣ部１０、有効画像端部判定回路５、切替部２０、液晶表示パネル１３、電極駆動部１４、さらに、ＦＲＣ部１０への入力経路とは別に設けられた経路２１と、経路２１上に線形補間内挿処理部２２とを備えて構成されている。切替部２０は、ＦＲＣ部１０の後段に設けられ、有効画像端部判定部５の判定結果に従って、ＦＲＣ部１０により動き補償内挿された画像信号を出力させるか、線形補間内挿処理部２２により線形補間内挿された画像信号を出力させるかを切り替える。

すなわち、有効画像端部判定回路５において有効画像の端部近傍と判定された領域は、切替部２０を経路２１（線形補間内挿処理部２２）側に切り替えて、入力画像信号のフレーム間に線形補間処理を施した画像信号を内挿して生成された出力画像信号を電極駆動部１４に出力する。また、有効画像の端部近傍以外の領域に対しては、切替部２０をＦＲＣ部１０側に切り替えて、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿して生成された出力画像信号を電極駆動部１４に出力する。

尚、線形補間処理とは、前フレーム信号と現フレーム信号とから、フレーム内挿比αによる線形補間により内挿フレームを得るものである。従って、本実施形態によれば、上記第１、２の実施形態において有効画像の端部近傍領域の動きベクトル／内挿ベクトルを０に固定し、両方向内挿を行った場合と同様の効果を得ることが可能となる。

このように、表示パネルに表示する有効画像の端部を含む所定領域に対しては、動き補償処理を行わないようにすることにより、有効画像の端部近傍における画質劣化を効果的に抑制することができるとともに、それ以外の領域に対しては、動き補償処理を施すことにより動画質を改善することが可能である。

（第４の実施形態）
本発明の第４の実施形態は、ＦＲＣ部１０への入力経路とは別の経路上にメモリを設け、表示パネルに表示する有効画像の端部を含む所定領域に対しては、メモリ側に切り替えて、この所定領域にだけメモリから同一フレームの画像信号を複数回高速で繰り返し読み出して、フレームレート変換するものである。すなわち、有効画像の端部を含む所定領域に対しては、ＦＲＣ部１０による動き補償内挿処理を行うのではなく、入力画像信号を高速連続出力することにより、フレームレート変換するように切り替えるものである。以下、これについて説明するが、上記第１の実施形態と同一部分には同一符号を付し、その説明は省略する。

図６は、本発明の第４の実施形態に係る画像表示装置の要部構成例を示すブロック図で、ＦＲＣ部１０、有効画像端部判定部５、切替部２０、液晶表示パネル１３、電極駆動部１４、さらに、ＦＲＣ部１０への入力経路とは別に設けられた経路２１と、経路２１上にメモリ２３とを備えて構成されている。切替部２０は、ＦＲＣ部１０の後段に設けられ、有効画像端部判定回路５の判定結果に従って、ＦＲＣ部１０により動き補償内挿された画像信号を出力させるか、メモリ２３からの前フレーム又は後フレームの画像信号を出力させるかを切り替える。

すなわち、有効画像端部判定回路５において有効画像の端部近傍と判定された領域は、切替部２０を経路２１（メモリ２３）側に切り替えて、入力画像信号のフレーム間にその前或いは後フレームの画像信号をメモリ２３から繰り返し読み出して挿入し生成された出力画像信号を電極駆動部１４に出力する。また、有効画像の端部近傍以外の領域に対しては、切替部２０をＦＲＣ部１０側に切り替えて、入力画像信号のフレーム間に動き補償処理を施した画像信号を内挿して生成された出力画像信号を電極駆動部１４に出力する。

ここで、本実施形態のように、有効画像の端部近傍領域に対しては、同一フレームの画像信号を高速で繰り返し出力することにより、フレームレート変換する場合、上記第１、２の実施形態において有効画像の端部近傍領域の動きベクトル／内挿ベクトルを０に固定し、片方向内挿を行った場合と同様の効果を得ることが可能となる。

このように、表示パネルに表示する有効画像の端部を含む所定領域に対しては、動き補償処理を行わないようにすることにより、有効画像の端部近傍における画質劣化を効果的に抑制することができるとともに、それ以外の領域に対しては、動き補償処理を施すことにより動画質を改善することが可能である。

（第５の実施形態）
本発明の第５の実施形態は、表示パネルに表示する有効画像の端部を含む所定領域に対しては、内挿画像生成回路８における動き補償処理の強度を可変するように構成される。具体的には、動き補償処理を施した画像信号と、線形補間処理を施した画像信号とを所定の比率で加重加算することにより、内挿フレームを生成する内挿画像生成部を備え、有効画像の端部近傍に対しては加重加算比率を可変する。以下、これについて説明するが、上記第１の実施形態と同一部分には同一符号を付し、その説明は省略する。

図７は、本発明の第７の実施形態に係るＦＲＣ部１０の要部構成例を示すブロック図で、内挿画像生成用フレームメモリ７、内挿画像生成回路８、さらに、ＦＲＣ部１０における動き補償処理の強度を可変する補償強度可変部３１を備えて構成される。図中、Ｖは内挿ベクトル、αはフレーム内挿比、βは動き補償強度（加重加算比率）を示す。

一般に、フレーム内挿処理の方法として、例えば、２フレーム間の線形補間内挿によるフレーム内挿と、動きベクトルを用いたフレーム内挿（動き補償内挿）とが知られている。前者は、前フレームの信号と現フレームの信号とからフレーム内挿比αによる線形補間を行うにより内挿フレームを得るものである。従って、この線形補間内挿を用いれば、動き補償内挿のエラーによる画質劣化を防止できる。

一方、後者は、前フレームと現フレームとから内挿フレームを得るために、前フレームの画像と現フレームの画像間の動きベクトルから内挿ベクトルＶを検出し、その値（内挿ベクトルＶ）をフレーム内挿比αで分割したαＶの大きさだけ前フレームの画像をずらした信号と、現フレームの画像を（１−α）Ｖだけずらした信号との加重加算により内挿フレームを得るものである。

そこで、本実施形態では、内挿画像生成回路８に補償強度可変部３１を設けている。この補償強度可変部３１は、有効画像端部判定回路５において有効画像の端部近傍と判定された領域に対しては、加重加算比率βを可変する。この加重加算比率βは、動き補償処理を施した画像信号と、線形補間処理を施した画像信号とを加重加算する際の比率である。本実施形態の内挿画像生成回路８は、この加重加算比率βに従って、線形補間内挿画像と動き補償内挿画像とを加重加算して内挿フレームを生成する。

例えば、補償強度可変部３１は、有効画像の端部近傍領域に対する加重加算比率βを０とし、線形補間処理を施した画像信号を内挿フレームにして動き補償のエラーによる画質劣化を防止する。一方、有効画像の端部近傍以外の領域に対する加重加算比率βを１とし、動き補償処理を施した画像信号を内挿フレームにして動画像の画質をより良好にする。

また、加重加算比率βは任意に可変設定できるため、０〜１の略中間の値に設定するようにしてもよい。これにより、内挿フレーム画像において動き補償も行いつつ、動き補償のエラーによる画質の劣化を抑制するように制御することができ、動きぼけによる画質劣化と、動き補償のエラーによる画質劣化との双方を適切に改善することが可能となる。さらに、前記有効画像の端部近傍領域とそれ以外の領域との境界部で、加重加算比率βの値を０〜１の間で連続的に変化させることにより、この部分での動き補償処理の強度を連続的に変化させることができる。

このように、表示パネルに表示する有効画像の端部を含む所定領域に対しては、動き補償処理の強度を可変する（弱くする）ことにより、有効画像の端部近傍における画質劣化を効果的に抑制することができるとともに、それ以外の領域に対しては、動き補償処理の強度を強くすることにより動画質を改善することが可能である。

図８は、本発明の画像表示装置による画像表示方法の一例を説明するためのフロー図である。ここでは、前述の第１、２の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、処理対象の画素（或いはブロック）が表示パネルに表示する有効画像の上下或いは左右端部を含む所定領域かどうかを判定し（ステップＳ１１）、この所定領域であると判定された場合（ＹＥＳの場合)、動きベクトルまたは内挿ベクトルの垂直、水平方向のいずれか或いは両方の成分を０にすることにより、ＦＲＣ部１０の少なくとも垂直或いは水平方向の動き補償処理を無効化する（ステップＳ１２）。

また、ステップＳ１１において、処理対象の画素（或いはブロック）が表示パネルに表示する有効画像の上下或いは左右端部を含む所定領域以外であると判定された場合（ＮＯの場合）、ＦＲＣ部１０の動き補償処理を通常通りに実行する（ステップＳ１３）。このようにしてフレーム周波数が変換された画像信号を、表示パネルから表示出力する（ステップＳ１４）。

図９は、本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。ここでは、前述の第３の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、処理対象の画素（或いはブロック）が表示パネルに表示する有効画像の上下或いは左右端部を含む所定領域かどうかを判定し（ステップＳ２１）、この所定領域であると判定された場合（ＹＥＳの場合)、線形補間画像を内挿した画像信号を出力することにより、ＦＲＣ部１０による動き補償内挿処理を部分的に行わないようにする（ステップＳ２２）。

また、ステップＳ２１において、処理対象の画素（或いはブロック）が表示パネルに表示する有効画像の上下或いは左右端部を含む所定領域以外であると判定された場合（ＮＯの場合）、ＦＲＣ部１０により動き補償画像を内挿した画像信号を出力する（ステップＳ２３）。このようにしてフレーム周波数が変換された画像信号を、表示パネルから表示出力する（ステップＳ１４）。

図１０は、本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。ここでは、前述の第４の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、処理対象の画素（或いはブロック）が表示パネルに表示する有効画像の上下或いは左右端部を含む所定領域かどうかを判定し（ステップＳ３１）、この所定領域であると判定された場合（ＹＥＳの場合)、前或いは後フレーム画像を挿入した画像信号を出力することにより、ＦＲＣ部１０による動き補償内挿処理を部分的に行わないようにする（ステップＳ３２）。

また、ステップＳ３１において、処理対象の画素（或いはブロック）が表示パネルに表示する有効画像の上下或いは左右端部を含む所定領域以外であると判定された場合（ＮＯの場合）、ＦＲＣ部１０により動き補償画像を内挿した画像信号を出力する（ステップＳ３３）。このようにしてフレーム周波数が変換された画像信号を、表示パネルから表示出力する（ステップＳ３４）。

図１１は、本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。ここでは、前述の第５の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、処理対象の画素（或いはブロック）が表示パネルに表示する有効画像の上下或いは左右端部を含む所定領域かどうかを判定し（ステップＳ４１）、この所定領域であると判定された場合（ＹＥＳの場合)、ＦＲＣ部１０における動き補償処理の強度を可変（弱く）する（ステップＳ４２）。

また、ステップＳ４１において、処理対象の画素（或いはブロック）が表示パネルに表示する有効画像の上下或いは左右端部を含む所定領域以外であると判定された場合（ＮＯの場合）、ＦＲＣ部１０における動き補償処理の強度を通常通り強くする（ステップＳ４３）。このようにしてフレーム周波数が変換された画像信号を、表示パネルから表示出力する（ステップＳ４４）。

以上説明したように、本発明によれば、表示パネルに表示する有効画像の上下或いは左右端部を含む所定領域に対しては、少なくとも垂直、水平方向の動き補償処理を行わないようにするとともに、それ以外の領域に対しては、動き補償処理を施して表示出力することができるため、有効画像の端部近傍における画質劣化を効果的に抑制することが可能となる。

尚、上述の実施形態においては、表示パネルとして液晶表示パネルを用いた液晶表示装置に本発明を適用した場合を代表例として説明したが、本発明は、液晶ディスプレイ、有機ＥＬディスプレイ、電気泳動ディスプレイなどのホールド型の表示特性を有する画像表示装置全般に適用することが可能である。

また、以上の説明においては、本発明の画像処理装置及び方法に関する実施形態の一例について説明したが、これらの説明から、本画像処理方法をコンピュータによりプログラムとして実行する画像処理プログラム、及び、該画像処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体についても容易に理解することができるであろう。

本発明の第１の実施形態に係る画像表示装置が備えるフレームレート変換部の要部構成例を示すブロック図である。 本発明の第１の実施形態に係る画像表示装置が備える有効画像端部判定回路で判定される画面端部領域を示す説明図である。 有効画像と表示画面のアスペクト比が異なる場合を説明するための図である。 本発明の第２の実施形態に係る画像表示装置が備えるフレームレート変換部の要部構成例を示すブロック図である。 本発明の第３の実施形態に係る画像表示装置の要部構成例を示すブロック図である。 本発明の第４の実施形態に係る画像表示装置の要部構成例を示すブロック図である。 本発明の第５の実施形態に係る画像表示装置が備えるフレームレート変換部の要部構成例を示すブロック図である。 本発明の画像表示装置による画像表示方法の一例を説明するためのフロー図である。 本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。 本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。 本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。 従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図である。 画面枠外から画像が入って来る場合における画面端部近傍での動きベクトル検出の問題点を説明するための図である。 画面枠外へ画像が出て行く場合における画面端部近傍での動きベクトル検出の問題点を説明するための図である。

符号の説明

１ 動き検出用フレームメモリ
２ 動きベクトル検出回路
３ ベクトル切り換え回路
４ 内挿ベクトル割付回路
５ 有効画像端部判定回路
６ 内挿ベクトルメモリ
７ 内挿画像生成用フレームメモリ
８ 内挿画像生成回路
９ 画像内挿回路
１０ フレームレート変換（ＦＲＣ）部
１１ 動きベクトル検出部
１２ 内挿フレーム生成部
１３ 液晶表示パネル
１４ 電極駆動部
２０ 切替部
２１ 経路
２２ 線形補間内挿処理部
２３ メモリ
３１ 補償強度可変部

Claims (6)

1. 入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づいて動き補償処理を施した画像信号と、前記動き補償処理を施さない画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成部と、
   前記入力画像信号のフレーム間あるいはフィールド間に前記内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像内挿部とを有するレート変換手段を備えた画像表示装置であって、
   前記入力画像信号の動きに応じて可変され、表示パネルに表示する有効画像の少なくとも上下左右のいずれかの端部を含む所定領域に対しては、前記動き補償処理を施した画像信号の加算比率が低くなるように、前記加重加算比率を変化させることを特徴とする画像表示装置。
2. 前記請求項１に記載の画像表示装置において、
   前記内挿画像生成部は、前記所定領域に対しては、前記動き補償処理を施さない画像信号を内挿画像信号とし、
   それ以外の領域に対しては、前記動き補正処理を施した画像信号を内挿画像信号とすることを特徴とする画像表示装置。
3. 前記請求項１または２に記載の画像表示装置において、
   前記内挿画像生成部は、前記動き補償処理を施さない画像信号として、前記入力画像信号のフレーム間あるいはフィールド間において線形補間処理を施した画像信号を用いることを特徴とする画像表示装置。
4. 入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づいて動き補償処理を施した画像信号と、前記動き補償処理を施さない画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成工程と、
   前記入力画像信号のフレーム間あるいはフィールド間に前記内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像内挿工程とを有するレート変換ステップを備えた画像表示方法であって、
   前記入力画像信号の動きに応じて可変され、表示パネルに表示する有効画像の少なくとも上下左右のいずれかの端部を含む所定領域に対しては、前記動き補償処理を施した画像信号の加算比率が低くなるように、前記加重加算比率を変化させることを特徴とする画像表示方法。
5. 入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づいて動き補償処理を施した画像信号と、前記動き補償処理を施さない画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成部と、
   前記入力画像信号のフレーム間あるいはフィールド間に前記内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像内挿部とを有するレート変換手段を備えた画像処理装置であって、
   前記入力画像信号の動きに応じて可変され、前記入力画像信号の有効画像領域における少なくとも上下左右のいずれかの端部を含む所定領域に対しては、前記動き補償処理を施した画像信号の加算比率が低くなるように、前記加重加算比率を変化させることを特徴とする画像処理装置。
6. 入力画像信号のフレーム間あるいはフィールド間における動きベクトル情報に基づいて動き補償処理を施した画像信号と、前記動き補償処理を施さない画像信号とを所定の比率で加重加算することにより、内挿画像信号を生成する内挿画像生成工程と、
   前記入力画像信号のフレーム間あるいはフィールド間に前記内挿画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換する画像内挿工程とを有するレート変換ステップを備えた画像処理方法であって、
   前記入力画像信号の動きに応じて可変され、前記入力画像信号の有効画像領域における少なくとも上下左右のいずれかの端部を含む所定領域に対しては、前記動き補償処理を施した画像信号の加算比率が低くなるように、前記加重加算比率を変化させることを特徴とする画像処理方法。