JPH08307834A - 画像情報変換装置および方法 - Google Patents

Abstract

(57)【要約】 【目的】 １つのモードでＳＤ画像をＨＤ画像へ変換す
ることができる。 【構成】 ＳＤ画像が供給された切換器２では、端子３
から供給されるフィールドＩＤに応じて奇数フィールド
は遅延回路５へ供給され、偶数フィールドは位相シフト
フィルタ回路４へ供給される。領域分割化回路６からＡ
ＤＲＣ回路９を介してクラスコード発生回路１１へ再量
子化値が供給され、クラスコード発生回路１１では、領
域分割化回路７、動きクラス決定回路８を介して動きク
ラスmv-classが供給される。そのクラスコード発生回路
１１からクラスコードclass がＲＯＭテーブル１２へ供
給され、ＲＯＭテーブル１２から係数データであるｗi
(class)が推定演算回路１３へ供給される。推定演算回
路１３から水平補間フィルタ１４を介してＨＤ画像が生
成される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えばテレビジョン
受像器やビデオテープレコーダ装置等に用いて好適な画
像情報変換装置に関し、特に、外部から供給される通常
の解像度の画像情報を高解像度の画像情報に変換して出
力するような画像情報変換装置に関する。

【０００２】

【従来の技術】今日において、オーディオ・ビジュアル
指向の高まりから、より高解像度の画像を得ることが出
来るようなテレビジョン受像器の開発が望まれ、この要
望に応えて、いわゆるハイビジョンが開発された。この
ハイビジョンは、いわゆるＮＴＳＣ方式に規定される走
査線数が５２５本なのに対して、２倍以上の１１２５本
となっているうえ、表示画面の縦横比もＮＴＳＣ方式が
３：４に対して９：１６と広角画面になっている。この
ため、高解像度で臨場感のある画面を得ることが出来る
ようになっている。

【０００３】ここで、このような優れた特性を有するハ
イビジョンではあるが、ＮＴＳＣ方式の映像信号をその
まま供給しても画像表示を行うことはできない。これ
は、上述のようにＮＴＳＣ方式とハイビジョン方式とで
は規格が異なるからである。このため、ＮＴＳＣ方式の
映像信号に応じた画像をハイビジョンで表示しようとす
る場合、従来は、例えば図８に示すような画像情報変換
装置を用いて映像信号のレート変換を行っていた。

【０００４】図８において、従来の画像情報変換装置
は、入力端子１００を介して供給されるＮＴＳＣ方式の
映像信号に対して水平方向の補間処理を行う水平補間フ
ィルタ１０１と、水平方向の補間処理の行われた映像信
号に対して垂直方向の補間処理を行う垂直補間フィルタ
１０２とから構成されている。そして、出力端子１０３
からハイビジョン方式の映像信号を得ることができる。

【０００５】具体的には、水平補間フィルタ１０１は、
図９に示すような構成を有しており、入力端子１００を
介して供給されるＮＴＳＣ方式の映像信号は、入力端子
１１０を介して第１〜第ｍの乗算器１１１〜１１１_m に
それぞれ供給される。各乗算器１１１は、それぞれ映像
信号に係数を乗算して出力する。係数の乗算された映像
信号は、それぞれ第１〜第ｍの加算器１１２〜１１２
_m-1 に供給される。各加算器１１２〜１１２_m-1 の間に
は、それぞれ時間Ｔの遅延レジスタ１１３〜１１３_m が
設けられている。そして、第ｍの乗算器１１１_m から出
力された映像信号は、第ｍの遅延レジスタ１１３_m によ
り時間Ｔの遅延が施され、第ｍ−１の加算器１１２_m-1
に供給される。

【０００６】第ｍ−１の加算器１１２_m-1 は、第ｍの遅
延レジスタ１１３_m からの時間Ｔの遅延時間の施された
映像信号と、第ｍ−１の乗算器１１１_m-1 からの映像信
号とを加算処理して出力する。この加算処理の施された
映像信号は、第ｍ−１の遅延レジスタ１１３_m-1 により
再度、時間Ｔの遅延時間が施され、図示しない第ｍ−２
の加算器１１２_m-2 において、同じく図示しない第ｍ−
２の乗算器１１２_m-2からの映像信号と加算処理され
る。水平補間フィルタ１０１は、このようにしてＮＴＳ
Ｃ方式の映像信号を出力端子１２０を介して垂直補間フ
ィルタ１０２に供給する。

【０００７】垂直補間フィルタ１０２は、上述の水平補
間フィルタ１０１と同様の構成を有しており、水平補間
処理の行われた映像信号に対して、垂直方向の画素の補
間を行う。これにより、ＮＴＳＣ方式の映像信号に対し
て、垂直方向の画素の補間を行う。このような変換のな
されたハイビジョンの映像信号は、ハイビジョン受像器
に供給される。これにより、ＮＴＳＣ方式の映像信号に
応じた画像をハイビジョン受像器で表示することができ
る。

【０００８】しかしながら、従来の画像情報変換装置
は、ＮＴＳＣ方式の映像信号を基にして、単に水平方向
および垂直方向の補間を行っているに過ぎないため、解
像度は、基となるＮＴＳＣ方式の映像信号と何ら変わら
なかった。特に、通常の動画を変換対象とした場合、垂
直方向の補間をフィールド内処理で行うのが一般的であ
るが、その場合、画像のフィールド間相関を使用してい
ないため、画像静止部においてはＮＴＳＣ方式の映像信
号よりもむしろ解像度が劣化する欠点があった。

【０００９】これに対し、出願人は、特願平６−２０５
９３４号において、画像信号変換装置に入力信号である
画像信号レベルの３次元（時空間）分布に応じてクラス
分割を行い、クラス毎に予め学習により獲得された予測
係数値を格納した記憶手段を持ち、予測式に基づいた演
算により最適な推定値を出力する、というものを提案し
ている。

【００１０】この手法は、ＨＤ画素を創造する場合、創
造するＨＤ画素の近傍にある複数のＳＤ画素データを用
いてクラス分割し、それぞれのクラス毎に予測係数値を
学習により獲得することで、画像静止部においてはフレ
ーム内相関、また動き部においてはフィールド内相関を
利用して、より真値に近いＨＤ画素値を得る、というよ
うな巧妙なものである。

【００１１】この手法によれば、静止／動き、の切り換
わりも実際の画像を用いて学習することにより滑らかに
表現できるので、従来の動き適応方式のように静止／動
きの切り換わりによる不自然さの発生を大幅に減少させ
ることができる。

【００１２】

【発明が解決しようとする課題】しかしながら、上述の
先の出願に開示されている手法は、創造するＨＤ画素の
間隔を均等とするために、図１０に示すような画素構造
をとっていた。すなわち、中心となるＳＤ画素ｘに近い
ＨＤ画素ｙ₁ を作り出すモードと、ＳＤ画素ｘから遠い
ＨＤ画素ｙ₂ を作り出すモードの２つのモードが必要で
あった。この２つのモードで係数を共用することは不可
能であるから、クラス分類された各々のクラス毎にモー
ド１用の係数とモード２用の係数の２組の係数が必要で
あった。ところで変換の精度をあげるためには、多くの
クラスを持つ必要がある。したがって、複数のモードを
持つことは、係数ＲＯＭがそれだけの倍率で大きくなる
ことを意味しており、実用化の上で問題点となってい
た。

【００１３】また、ＳＤ画素に近いＨＤ画素を作り出す
モード１においては、常に高精度の変換が可能である
が、ＳＤ画素から遠いＨＤ画素を作り出すモード２にお
いて、静止部のときは、他のフィールドの空間的に近い
データが変換に使用できるため高精度の変換が可能であ
るが、動き部のときは、そのデータを変換に使用できな
いため、変換精度が劣化する。それにより動画部のとき
は、モード１とモード２の間でかなりの変換精度差が生
じることになり、時として画質的な問題が生じることも
あった。

【００１４】さて、垂直方向の変換と水平方向の変換を
順番に行う（同時には行わない）セパラブル方式の垂直
方向の変換において、２つの変換モードが必要なのは上
述のように作り出すＨＤの画素間隔を正しいものにする
ためである。作り出すＨＤ画素間隔を均等なものにする
ために、ＳＤ画素からの距離が均等でない２つのモード
が必要になるわけである。ここで、２つのモードを用意
しなくてすむよう、ＳＤ画素からの距離が均等になるよ
うにＨＤ画素を創造するものとすると、図１１に示すよ
うな画素関係になる。すなわち、ＨＤ画素が第１フィー
ルドと第２フィールドで空間的に同じ位置に存在するこ
とになり、ＨＤの画素間隔が正しくないことになってし
まう。したがって、単純にこの手法は使えない。

【００１５】上述の手法を用いて、ＨＤ画素間隔を正し
くするためには、第１フィールドと第２フィールドで処
理を変える必要がある。例えば、図１２のような画素構
造にした場合、ＨＤ画素間隔は正しくなる。しかし、第
１フィールドに関しては１つのモードで済むが、第２フ
ィールドに関しては、第１フィールドとは異なる２つの
モードが必要になり、合計３モード必要なことになり、
係数ＲＯＭの削減どころか増大につながることになる。
このように従来のアプローチでは、モードの削減による
ＲＯＭの削減は困難であった。

【００１６】ところで、従来の変換方式の多くは、セパ
ラブル方式である。例えば、垂直方向の変換が２モー
ド、水平方向の変換が１モードであった場合、セパラブ
ル方式では、（２＋１）で合計３モード分の係数が必要
があったが、垂直方向の変換と水平方向の変換を同時に
行うノン・セパラブル方式においては、（２×１）で計
２モードで済む。したがって、ノン・セパラブル方式を
採用することによって、モード数を減少させることは可
能な場合があるが、同等の性能を得ようとした場合は、
クラス分類のクラス数が増大するので実質的には係数Ｒ
ＯＭの削減にはつながらない。したがって、係数ＲＯＭ
の削減という観点では、ノン・セパラブル方式の採用は
決め手にはならない。

【００１７】この発明は、上述の問題点に鑑みてなされ
たものであり、解像度を向上させてＮＴＳＣ方式の映像
信号をハイビジョン用の映像信号に変換することができ
る画像情報変換装置の提供を目的とする。

【００１８】

【課題を解決するための手段】請求項１に記載の発明
は、ディジタル画像信号を、より画素数の多いディジタ
ル画像信号に変換するようにした画像情報変換装置にお
いて、外部から供給された画像情報の奇数フィールドと
偶数フィールドとを切り換えて出力する切換手段と、奇
数フィールドを遅延させて出力する遅延手段と、偶数フ
ィールドを位相シフトして出力する位相シフト手段と、
遅延手段および位相シフト手段から供給されたデータを
時空間的に近傍に位置する複数の画像データからなる複
数のブロックに分割する画像情報分割手段と、画像情報
分割手段により分割されたブロック毎に画像情報のレベ
ル分布のパターンが検出され、検出されたパターンに基
づいて、ブロックの画像情報が属するクラス情報を出力
するクラス検出手段と、外部から供給された画像情報
を、外部から供給された画像情報よりも高い解像度の画
像情報に変換するための情報である推定式の係数データ
がクラス毎に記憶されており、クラス検出手段からのク
ラス情報に応じて係数データを出力する係数データ記憶
手段と、係数データ記憶手段から供給された係数データ
に応じて、外部から供給された画像情報を、外部から供
給された画像情報よりも高い解像度の画像情報に変換し
て出力する画像変換手段とを有することを特徴とする画
像情報変換装置である。

【００１９】また、請求項３に記載の発明は、ディジタ
ル画像信号を、より画素数の多いディジタル画像信号に
変換するようにした画像情報変換方法において、外部か
ら供給された画像情報の奇数フィールドと偶数フィール
ドとを切り換えて出力するステップと、奇数フィールド
を遅延させて出力するステップと、偶数フィールドを位
相シフトして出力するステップと、遅延ステップおよび
シフトステップから供給されたデータを時空間的に近傍
に位置する複数の画像情報を複数のブロックに分割する
ステップと、分割されたブロック毎に画像情報のレベル
分布のパターンが検出され、検出されたパターンに基づ
いて、ブロックの画像情報が属するクラス情報を出力す
るステップと、外部から供給された画像情報を、外部か
ら供給された画像情報よりも高い解像度の画像情報に変
換するための情報である推定式の係数データがクラス毎
に記憶されており、クラス情報に応じて係数データを出
力するステップと、供給された係数データに応じて、外
部から供給された画像情報を、外部から供給された画像
情報よりも高い解像度の画像情報に変換して出力するス
テップとを有することを特徴とする画像情報変換方法で
ある。

【００２０】

【作用】この発明に係る画像情報変換装置は、奇数フィ
ールドのデータを生成する場合は、入力ＳＤ信号をその
まま画像情報分割手段に送り、偶数フィールドのデータ
を生成する場合は、入力ＳＤ信号を位相シフト手段によ
り、フィールド内ＳＤ画素間隔の１／４だけ上にシフト
させたものを画像情報分割手段割に送る。画像情報分割
手段では、垂直方向に連続する同一フレーム内の複数の
画素からなる、複数の領域に分割し、それぞれの領域毎
に画像情報のレベル分布のパターンを検出し、この検出
したパターンに基づいて、その領域の画像情報が属する
クラスを決定してクラス検出情報を出力する。さらに、
異なる種類の画像情報分割手段により、複数のフレーム
間データの組合せに分割し、それぞれの領域毎に空間的
に同一位置にあるフレーム間差分の絶対値の平均値を算
出し、予め設定したしきい値により動きの程度を表すク
ラスを決定し、クラス検出情報を出力する。２つのクラ
スをクラスコード発生回路により統合し、最終的なクラ
スとして出力する。係数データ記憶手段には、外部から
供給された画像情報をこの画像情報よりも高い解像度の
画像情報に変換するための情報である線形推定式の係数
データがクラス毎に記憶されており、この係数データ
は、クラス検出情報に応じて出力される。そして、画像
情報変換手段が係数データ記憶手段から供給された係数
データに応じて、外部から供給された画像情報を、外部
から供給された画像情報よりも高い解像度の画像情報に
変換する。

【００２１】

【実施例】以下、この発明に係る画像信号変換装置の実
施例について図面を参照しながら詳細に説明する。図１
は、この一実施例、すなわち画像信号変換装置の信号処
理の概略的構成を示す。１で示す入力端子から、外部か
ら供給される画像情報として、例えばいわゆるＮＴＳＣ
方式の映像信号がディジタル化され、ＳＤ（Standerd D
efinition ）データとして供給される。

【００２２】この実施例における、ＳＤ画素と創造する
べきＨＤ画素の位置関係は、第１フィールドにおいて
は、図３に示す通りとする。すなわち、創造するべきＨ
Ｄ画素は、同一フィールド内で見たとき、ＳＤ画素の上
下の均等な距離に存在する。すなわち、中心となるＳＤ
画素のｘの上に位置するＨＤ画素ｙ₁ 、下に位置するＨ
Ｄ画素ｙ₂ は、それぞれＳＤ画素ｘから等しい距離にあ
る。以降ＳＤ画素の上の位置に存在するＨＤ画素を推定
するモードをモード１、ＳＤ画素の下の位置に存在する
ＨＤ画素を推定するモードをモード２、と呼ぶ。

【００２３】しかしながら、第２フィールドのＨＤ画素
創造も同様な構造を用いた場合、上述のように第１フィ
ールドと第２フィールドのＨＤの画素が空間的に同一位
置上に作られてしまうため、この手法は使えない。

【００２４】そこで、第１フィールドのＨＤ画像創造に
おいては、ＳＤ画像のデータをそのまま扱い、第２フィ
ールドのＨＤ画像創造においては、フィルタリングによ
り位相シフトを行ったＳＤ画像を扱うことにする。

【００２５】入力端子１から供給されたＳＤデータは、
切換器２へ供給され、この切換器２は、端子３から供給
されるフィールドＩＤに基づいて、入力端子１から供給
されたＳＤデータが第１フィールドのＳＤデータであれ
ば、遅延回路５へ供給され、第２フィールドのＳＤデー
タであれば、位相シフトフィルタ回路４へ供給される。
位相シフトフィルタ回路４は、第２フィールドのＨＤ画
素生成のためのＳＤ画素の位相シフトを行う回路であ
る。ここでは、すべてのＳＤ画素がフィールド内位相シ
フトフィルタにより、フィールド内ＳＤ画素間隔の１／
４だけ上にシフトした位置に位相シフトされる。この位
相シフトフィルタには特に制限はないが、変換性能の点
から見ると理想フィルタに近いものが望ましい。これに
より、図４上に示す位置に新たにＳＤ画素データが生成
される。第２フィールドのＨＤ画像創造においては、フ
ィルタリングにより生成されたこれらのＳＤ画像を用い
て、第１フィールドと同様の手法でＨＤ画像データが創
造される。すなわち、フィルタリングにより生成された
ＳＤ画像データの上下均等の位置にＨＤ画素が生成され
る。この様子を図５に示す。

【００２６】このように第１フィールドのＨＤ画素に関
しては、入力されたＳＤ画素データをそのまま扱い、第
２フィールドのＨＤ画素に関しては、位相シフトされた
ＳＤ画素データを扱い、ＨＤ画像を生成することによ
り、１つのモードで正規の間隔のＨＤ画像を生成するこ
とができる。

【００２７】一方、遅延回路５は、第１フィールドのＨ
Ｄ画素生成のために、位相シフトフィルタ回路４に要す
るのと同じだけの時間遅延を行う回路である。第１フィ
ールドのＨＤ画素生成の時は、遅延回路５の出力信号が
領域分割化回路６および領域分割化回路７へ供給され、
同様に第２フィールドのＨＤ画素生成の時は、位相シフ
トフィルタ回路４の出力信号が領域分割化回路６および
領域分割化回路７へ供給される。

【００２８】以降簡単のため、第１フィールドのＨＤ画
素生成の場合を中心に述べる。領域分割化回路６では、
位相シフトフィルタ回路４あるいは遅延回路５から供給
されたＳＤ画像信号を複数の領域に分割する。この実施
例では、創造するべきＨＤ画素の同一フィールド内に属
するＳＤ画素と１つ前のフィールドに属するＳＤ画素の
中から、例えば垂直方向に空間的に隣接したものから５
つの画素を選択し、１画素×５ラインの計５画素からな
る領域に分割する。

【００２９】図６におけるＨＤ画素ｙ₁ 、ＨＤ画素
ｙ₂ 、に対するＳＤ画素ｘ₁ 、ｘ₂ 、ｘ₃ 、ｘ₄ 、ｘ₅
がその領域にあたる。

【００３０】領域分割化回路６によりブロック化された
データが、ＡＤＲＣ回路９および遅延回路１０に供給さ
れる。遅延回路１０は、ＡＤＲＣ回路９、クラスコード
発生回路１１、ＲＯＭテーブル１２の処理に必要な時間
だけデータを遅延させて、推定演算回路１３に出力す
る。

【００３１】ＡＤＲＣ回路９は、上述したように領域毎
に供給されるＳＤデータの１次元的あるいは２次元的な
レベル分布のパターンを検出すると共に、上述のように
各領域のデータを、例えば８ビットのＳＤデータから２
ビットのＳＤデータに圧縮するような演算を行うことに
よりパターン圧縮データを形成し、このパターン圧縮デ
ータをクラスコード発生回路１１に供給する。本来、Ａ
ＤＲＣ（Adaptive Dynamic Range Coding ）は、ＶＴＲ
向け高能率符号化用に開発された適応的再量子化法であ
るが、信号レベルの局所的なパターンを短い語長で効率
的に表現できるので、この実施例では、信号パターンの
クラス分類のコード発生に使用している。ＡＤＲＣ回路
９は、領域内のダイナミックレンジをＤＲ、ビット割当
をｎ、領域内画素のデータレベルをＬ、再量子化コード
をＱとして以下の式（１）により、領域内の最大値ＭＡ
Ｘと最小値ＭＩＮとの間を指定されたビット長で均等に
分割して再量子化を行う。

【００３２】 ＤＲ＝ＭＡＸ−ＭＩＮ＋１ Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）・２ⁿ ／ＤＲ〕 （１） ただし、〔 〕は切り捨て処理を意味する。

【００３３】この実施例では、領域分離化回路６により
分離されたそれぞれ５画素のＳＤデータを、各２ビット
に圧縮するものとする。圧縮されたＳＤデータをそれぞ
れｑ₁ 、ｑ₂ 、ｑ₃ 、ｑ₄ 、ｑ₅ とする。

【００３４】一方、位相シフトフィルタ回路４あるいは
遅延回路５から供給されたＳＤ画像信号は、領域分割化
回路７にも供給される。領域分割化回路７においても、
供給されたＳＤ画像信号を複数の領域に分割する。この
実施例では、供給されたＳＤ画像信号から、創造するべ
きＨＤ画素の２フィールド前のＳＤ画素を、例えば１画
素×３ラインの計３画素からなる領域に分割し、さらに
創造するべきＨＤ画素と同一フィールド内のＳＤ画素
を、例えば同様に１画素×３ラインの計３画素からなる
領域に分割する。

【００３５】すなわち、図７におけるＨＤ画素ｙ₁ 、Ｈ
Ｄ画素ｙ₂ に対する前フレームのＳＤ画素ｍ₁ 、ｍ₂ 、
ｍ₃ および同一フレームのＳＤ画素ｎ₁ 、ｎ₂ 、ｎ₃ が
その領域にあたる。

【００３６】領域分割化回路７により切り出されたデー
タが、動きクラス決定回路８に供給される。動きクラス
決定回路８は、上述したように領域毎に供給されるＳＤ
データの差分を算出し、その絶対値の平均値をしきい値
処理することにより動きの指標である動きパラメータを
算出し、この動きクラスmv-classをクラスコード発生回
路１１に供給する。具体的には、動きクラス決定回路８
は、以下の式（２）により、供給されるＳＤデータの差
分の絶対値の平均値param を算出する。

【００３７】

【数１】 ただし、この実施例ではｎ＝３である。

【００３８】上述の手法で算出したＳＤデータの差分の
絶対値の平均値param を予め設定したしきい値により、
このＳＤデータの差分の絶対値の平均値param を用いて
動きクラスmv-classを算出する。例えば、ここでは動き
クラスを４つ設けることとして、動きクラスmv-classを
以下のように決定する。 param ≦２の場合：動きクラス０ param ≦４の場合：動きクラス１ param ≦８の場合：動きクラス２ param ＞８の場合：動きクラス３

【００３９】クラスコード発生回路１１は、ＡＤＲＣ回
路９から供給されるパターン圧縮データ（ｑ₁ 、ｑ₂ 、
ｑ₃ 、ｑ₄ 、ｑ₅ ）および動きクラス決定回路８から供
給される動きクラスmv-classに基づいて以下の式（３）
の演算を行うことにより、そのブロックが属するクラス
を検出し、そのクラスを示すクラスコードclass をＲＯ
Ｍテーブル１２へ供給する。このクラスコードclass
は、ＲＯＭテーブル１２からの読み出しアドレスを示す
のとなっている。

【００４０】

【数２】

【００４１】この実施例では、ｎ＝３、Ｐ＝２である。
ただし、モード１の推定とモード２の推定では、画素の
位置が逆なのでＡＤＲＣの量子化データをモード１とモ
ード２では逆読みにする必要がある。すなわち、モード
１のクラスを式（２）で決定した場合、モード２のクラ
スは以下の式（４）で決定される。

【００４２】

【数３】

【００４３】ＲＯＭテーブル１２には、ＳＤデータのパ
ターンとＨＤデータの関係を学習することにより、線形
推定式を用いて、ＳＤデータに対応するＨＤデータを算
出するための係数データが各クラス毎に記憶されてい
る。これは、線形推定式によりＳＤデータをこの画像情
報よりも高い解像度の画像情報である。いわゆるハイビ
ジョンの規格に合致したＨＤ（High Definition ）デー
タに変換するための情報である。この実施例において、
係数データはモード１とモード２で共通に用意される。
なお、ＲＯＭテーブル１２に記憶されている係数データ
の作成方法については後述する。ＲＯＭテーブル１２か
らは、クラスコードclass で示されるアドレスから、そ
のクラスの係数データであるｗi(class)が読み出され
る。この係数データは、推定演算回路１３へ供給され
る。

【００４４】推定演算回路１３は、遅延回路１０を介し
て領域分割化回路６から供給されるＳＤデータおよびＲ
ＯＭテーブル１２から供給される係数データであるｗi
(class)に基づいて、入力されたＳＤデータに対応する
ＨＤデータを算出する。

【００４５】より具体的には、推定演算回路１３は、遅
延回路１０より供給されたＳＤデータをＲＯＭテーブル
１２より供給された係数データにより、係数データであ
るｗi(class)に基づいて、それぞれ以下の式（５）に示
す演算を行うことにより、入力されたＳＤデータに対応
するＨＤデータを算出する。作成されたＨＤデータは、
水平補間フィルタ１４へ供給される。

【００４６】 ｈｄ´＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋ｗ₃ ｘ₃ ＋ｗ₄ ｘ₄ ＋ｗ₅ ｘ₅ （５）

【００４７】水平補間フィルタ１４は、図８の水平補間
フィルタ１０２と同一なもので、補間処理により水平方
向の画素数を２倍にするものである。水平補間フィルタ
１４の出力は、出力端子１５を介して出力される。この
出力端子１５を介して出力されるＨＤデータは、例えば
ＨＤテレビジョン受像器やＨＤビデオテープレコーダ装
置等に供給される。

【００４８】このように、ＳＤデータに対応するＨＤデ
ータを推定するための係数データを各クラス毎に予め学
習により求めた上で、ＲＯＭテーブル１２に記憶してお
き、入力されるＳＤデータおよびＲＯＭテーブル１２か
ら読み出した係数データ（ｗi(class)）に基づいて演算
を行い、入力されたＳＤデータに対応するＨＤデータを
形成して出力することにより、入力されるＳＤデータを
単に補間処理したのとは異なり、実際のＨＤデータによ
り近いデータを出力することが出来る。

【００４９】続いて、ＲＯＭテーブル１２に格納される
係数データの作成方法について図２を用いて説明する。

【００５０】係数データを学習によって得るためには、
まず、既に知られているＨＤ画像に対応した、ＨＤ画像
の１／４の画素数のＳＤ画像を形成する。具体的には、
図２に示す理想フィルタ回路により、入力端子２１を介
して供給されるＨＤデータの垂直方向の画素を垂直間引
きフィルタ２２において、フィールド内の垂直方向の周
波数が１／２になるように間引き処理し、さらに水平間
引きフィルタ２３において、ＨＤデータの水平方向の画
素を間引き処理することにより、ＳＤデータが得られ
る。垂直間引きフィルタ２３により得られたＳＤデータ
は、領域分割化回路２４に供給される。

【００５１】領域分割化回路２４では、水平間引きフィ
ルタ２３より供給されたＳＤ画像信号が複数の領域に分
割される。具体的には、領域分割化回路２４は、先に説
明した領域分割化回路６と同一の働きをするものであ
る。この実施例では、領域分割化回路６と同じく、各５
画素からなる領域にＳＤ画像信号が分割される。この領
域毎のＳＤデータは、ＡＤＲＣ回路２５および正規方程
式加算回路２９へ供給される。

【００５２】ＡＤＲＣ回路２５は、領域毎に供給される
ＳＤデータの１次元的あるいは２次元的なレベル分布の
パターンを検出すると共に、上述のように各領域の全て
のデータあるいは一部のデータを、例えば８ビットのＳ
Ｄデータから２ビットのＳＤデータに圧縮するような演
算を行うことによりパターン圧縮データを形成し、この
パターン圧縮データは、クラスコード発生回路２８へ供
給される。このＡＤＲＣ回路２５は、先に説明したＡＤ
ＲＣ回路９と同一なものであり、この実施例では、領域
分割化回路２４により分離された、５画素からなる各領
域のＳＤデータ（図６におけるｘ₁ 〜ｘ₅ ）をＡＤＲＣ
により各２ビットに圧縮するものとする。

【００５３】一方、水平間引きフィルタ２３より供給さ
れたＳＤ画像信号は、領域分割化回路２６にも供給され
る。具体的には、領域分割化回路２６は、先に説明した
領域分割化回路７と同一の働きをするものである。領域
分割化回路２６により切り出されたＳＤデータは、動き
クラス決定回路２７へ供給される。具体的には、動きク
ラス決定回路２７は、先に説明した動きクラス決定回路
８と同一の働きをするものである。動きクラス決定回路
２７で決定された動きクラスは、クラスコード発生回路
２８へ供給される。

【００５４】クラスコード発生回路２８は、先に説明し
たクラスコード発生回路１１と同一のものであり、ＡＤ
ＲＣ回路２５から供給されるパターン圧縮データおよび
動きクラス決定回路２７から供給された動きクラスに基
づいて式（２）の演算を行うことにより、そのブロック
が属するクラスを検出し、そのクラスを示すクラスコー
ドを出力するものである。クラスコード発生回路２８
は、クラスコードを正規方程式加算回路２９に出力す
る。

【００５５】ここで、正規方程式加算回路２９の説明の
ために、複数個のＳＤ画素からＨＤ画素への変換式の学
習とその予測式を用いた信号変換について述べる。以下
では、説明のために画素をより一般化してｎ画素による
予測を行う場合について説明する。さらに、ＳＤ画素レ
ベルをそれぞれ、ｘ₁ 、・・・、ｘ_n として、それぞれ
にｐビットＡＤＲＣを行った結果の再量子化データをｑ
₁ 、・・・、ｑ_n とする。

【００５６】このとき、この領域のクラスコードclass
を式（２）で定義する。

【００５７】上述のように、ＳＤ画素レベルをそれぞ
れ、ｘ₁ 、・・・、ｘ_n とし、ＨＤ画素レベルをｙとし
たとき、クラス毎に係数ｗ₁ 、・・・、ｗ_n によるｎタ
ップの線形推定式を設定する。これを式（６）に示す。
学習前は、ｗ_i が未定係数である。

【００５８】 ｙ＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋・・・＋ｗ_n ｘ_n （６）

【００５９】学習は、クラス毎に複数の信号データに対
して行う。データ数がｍの場合、式（６）に従って、以
下に示す式（７）が設定される。

【００６０】 ｙ_k ＝ｗ₁ ｘ_k1＋ｗ₂ ｘ_k2＋・・・＋ｗ_n ｘ_kn （７） （ｋ＝１、２、・・・ｍ）

【００６１】ｍ＞ｎの場合、ｗ₁ 、・・・、ｗ_n は一意
に決まらないので、誤差ベクトルｅの要素を式（８）で
定義して、式（９）を最小にする係数を求める。いわゆ
る、最小二乗法による解法である。

【００６２】 ｅ_k ＝ｙ_k −｛ｗ₁ ｘ_k1＋ｗ₂ ｘ_k2＋・・・＋ｗ_n ｘ_kn｝ （８） （ｋ＝１、２、・・・、ｍ）

【００６３】

【数４】

【００６４】ここで、式（９）のｗ_i による偏微分係数
を求める。それは式（１０）を０にするように、各ｗ_i
を求めればよい。

【００６５】

【数５】

【００６６】以下、式（１１）、式（１２）のように、
Ｘ_ijＹ_i を定義すると、式（１０）は、行列を用いて式
（１３）に書き換えられる。

【００６７】

【数６】

【００６８】

【数７】

【００６９】

【数８】

【００７０】この方程式は、一般に正規方程式と呼ばれ
ている。正規方程式加算回路２９は、クラスコード発生
回路２８から供給されたクラスコード、領域分割化回路
２４より供給されたＳＤデータｘ₁ 、・・・、ｘ_n が入
力端子２１より供給された、ＳＤデータに対応するＨＤ
画素レベルｙを用いて、この正規方程式の加算を行う。

【００７１】すべてのトレーニングデータの入力が終了
した後、正規方程式加算回路２９は、予測係数決定回路
３０に正規方程式データを出力する。予測係数決定回路
３０は、正規方程式を掃き出し法などの一般的な行列解
法を用いて、ｗ_i について解き、予測係数を算出する。
予測係数決定回路３０は、算出された予測係数をメモリ
３１に書き込む。

【００７２】以上のようにトレーニングを行った結果、
メモリ３１には、量子化データｑ₁、ｑ₂ 、ｑ₃ 、
ｑ₄ 、ｑ₅ で規定されるパターン毎に、注目ＨＤデータ
ｙを推定するための、統計的にもっとも真値に近い推定
が出来る予測係数が格納される。このメモリ３１に格納
されたテーブルが上述のように、この発明の画像信号変
換装置において使用されるＲＯＭテーブル１２である。
以上の処理により、線形推定式によりＳＤデータからＨ
Ｄデータを作成するための係数データの学習が終了す
る。

【００７３】なお、上述の実施例の説明では、情報圧縮
手段として、ＡＤＲＣを設けることにしたが、これはほ
んの一例であり、信号波形のパターンの少ないクラスで
表現できるような情報圧縮手段であれば何を設けるかは
自由であり、例えばＤＰＣＭやＶＱ等の圧縮手段を用い
ても良い。

【００７４】さらに、上述の実施例の説明では、簡単の
ため、水平方向のアップコンバージョン、水平補間フィ
ルタ１４を用いたが、このかわりに、水平方向のアップ
コンバージョン用のＲＯＭを用意し、水平方向のアップ
コンバージョンにおいても推定式を用いた方式を採るこ
とも勿論可能である。

【００７５】また、上述の実施例の説明では、垂直方向
の変換と水平方向の変換を順次行うセパラブル方式を採
用していたが、これはこの発明の本質ではなく、垂直方
向の変換と水平方向の変換を同時に行う、ノン・セパラ
ブル方式を採用しても何ら問題はない。

【００７６】さらに、上述の実施例の説明では、領域分
割化回路６により、信号波形のパターンを１次元的に分
割したが、２次元的な分割にしても良い。

【００７７】さらに、上述の実施例の説明では、領域分
割化回路７および動きクラス決定回路８により、１次元
的に分割したＳＤ画像データを用いて、動きクラスmv-c
lassの決定を行っていたが、領域分割を２次元的な分割
にしても良い。むしろ、２次元的なものにするほうが望
ましい。また、今回は簡単のため、領域分割化回路６に
よる領域分割と領域分割化回路７による領域分割は、類
似の領域分割を行ったが本来これらは全く別個のもので
あり、類似の領域分割を行う必要は全くない。

【００７８】さらに、上述の実施例の説明では、クラス
分類に使用するＳＤ画素と、線形推定式で用いるＳＤ画
素を同一のものとしたが、これらは必ずしも同一なもの
である必要はない。異なる画素を使用する場合、クラス
分類に使用するＳＤ画素を線形推定式で用いるＳＤ画素
が包含するような形にするのが望ましく、また追加して
使用する、線形推定式で用いるＳＤ画素は、推定するＨ
Ｄ画素と同一フィールドに属するもののみとすることが
望ましい。

【００７９】さらに、上述の実施例の説明では、ＲＯＭ
テーブル１２の作成時に、位相シフトを行わないＳＤデ
ータのみを入力対象としているが、図１に示すように位
相シフトフィルタ回路４と遅延回路５と同様な回路を用
意し、位相シフトされたＳＤデータをも学習対象として
も良い。

【００８０】

【発明の効果】この発明に依れば、奇数フィールドと偶
数フィールドで処理を変え、偶数フィールドのＨＤ画素
生成は、位相シフトフィルタにより位相をずらしたＳＤ
画素をもとにするという手法を用いることにより、１種
類の変換モードで垂直方向の変換を実現する。これによ
り、ＲＯＭテーブルの大きさが半分になり、また画質の
均質化を実現することが可能となる。

【図面の簡単な説明】

【図１】この発明に係る画像情報変換装置の一実施例の
ブロック図である。

【図２】補正データテーブルの作成を説明するためのブ
ロック図である。

【図３】この発明の変換方式の位相関係を説明するため
の略線図である。

【図４】この発明の変換方式の位相関係を説明するため
の略線図である。

【図５】従来の時空間クラス分割方式の問題点を説明す
るための略線図である。

【図６】この発明に係る時空間クラス決定に使用するデ
ータを説明するための略線図である。

【図７】この発明に係る動きクラス決定に使用するデー
タを説明するための略線図である。

【図８】従来の画像情報変換装置のブロック図である。

【図９】従来の画像情報変換装置に係る水平補間フィル
タの一例の回路図である。

【図１０】従来の変換方式の位相関係を説明するための
略線図である。

【図１１】従来の変換方式の位相関係を説明するための
略線図である。

【図１２】従来の変換方式の位相関係を説明するための
略線図である。

【符号の説明】

２ 切換器 ４ 位相シフトフィルタ回路 ６、７ 領域分割化回路 ８ 動きクラス決定回路 ９ ＡＤＲＣ回路 １１ クラスコード発生回路 １２ ＲＯＭテーブル １３ 推定演算回路 １４ 水平補間フィルタ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ディジタル画像信号を、より画素数の多
   いディジタル画像信号に変換するようにした画像情報変
   換装置において、 外部から供給された画像情報の奇数フィールドと偶数フ
   ィールドとを切り換えて出力する切換手段と、 上記奇数フィールドを遅延させて出力する遅延手段と、 上記偶数フィールドを位相シフトして出力する位相シフ
   ト手段と、 上記遅延手段および上記位相シフト手段から供給された
   データを時空間的に近傍に位置する複数の画像データか
   らなる複数のブロックに分割する画像情報分割手段と、 上記画像情報分割手段により分割された上記ブロック毎
   に画像情報のレベル分布のパターンが検出され、上記検
   出されたパターンに基づいて、上記ブロックの画像情報
   が属するクラス情報を出力するクラス検出手段と、 上記外部から供給された画像情報を、上記外部から供給
   された画像情報よりも高い解像度の画像情報に変換する
   ための情報である推定式の係数データが上記クラス毎に
   記憶されており、上記クラス検出手段からの上記クラス
   情報に応じて上記係数データを出力する係数データ記憶
   手段と、 上記係数データ記憶手段から供給された上記係数データ
   に応じて、上記外部から供給された画像情報を、上記外
   部から供給された画像情報よりも高い解像度の画像情報
   に変換して出力する画像変換手段とを有することを特徴
   とする画像情報変換装置。
2. 【請求項２】 請求項１に記載の画像情報変換装置にお
   いて、 上記係数データ記憶手段は、クラス毎に上記係数データ
   を格納するメモリ手段を有し、 注目画素の空間的および／または時間的に近傍の複数の
   画素の値と上記係数データの線形一次結合によって、上
   記注目画素の値を作成した時に、作成された値と上記注
   目画素の真値との誤差を最小とするようなクラス毎の上
   記係数データを予め学習によって求めておくことを特徴
   とする画像情報変換装置。
3. 【請求項３】 ディジタル画像信号を、より画素数の多
   いディジタル画像信号に変換するようにした画像情報変
   換方法において、 外部から供給された画像情報の奇数フィールドと偶数フ
   ィールドとを切り換えて出力するステップと、 上記奇数フィールドを遅延させて出力する遅延ステップ
   と、 上記偶数フィールドを位相シフトして出力するシフトス
   テップと、 上記遅延ステップおよび上記シフトステップから供給さ
   れたデータを時空間的に近傍に位置する複数の画像情報
   を複数のブロックに分割するステップと、 分割された上記ブロック毎に画像情報のレベル分布のパ
   ターンが検出され、上記検出されたパターンに基づい
   て、上記ブロックの画像情報が属するクラス情報を出力
   するステップと、 上記外部から供給された画像情報を、上記外部から供給
   された画像情報よりも高い解像度の画像情報に変換する
   ための情報である推定式の係数データが上記クラス毎に
   記憶されており、上記クラス情報に応じて上記係数デー
   タを出力するステップと、 供給された上記係数データに応じて、上記外部から供給
   された画像情報を、上記外部から供給された画像情報よ
   りも高い解像度の画像情報に変換して出力するステップ
   とを有することを特徴とする画像情報変換方法。
4. 【請求項４】 請求項３に記載の画像情報変換方法にお
   いて、 クラス毎に上記係数データを格納するステップを有し、 注目画素の空間的および／または時間的に近傍の複数の
   画素の値と上記係数データの線形一次結合によって、上
   記注目画素の値を作成した時に、作成された値と上記注
   目画素の真値との誤差を最小とするようなクラス毎の上
   記係数データを予め学習によって求めておくことを特徴
   とする画像情報変換方法。