JP2000244879A - 画像情報変換装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 精度を低下させることなく、クラス数を減少
させる。 【解決手段】 クラス変換ルール作成部１０は、複数の
クラスタップにより得られるクラスの頻度分布を調べ、
頻度の高いものから順に変換後のクラスへ割り当てる。
その結果、クラス分類で得られたクラスをより少ない数
のクラスに変換するクラス変換ルールが作成される。学
習部２０は、クラス変換ルールに従って変換されたクラ
ス毎にデータ変換ルールとしての予測係数を算出する。
データ変換部３０は、複数の予測タップと予測係数との
線形１次結合によって、出力データの画素値を作成す
る。この予測係数は、変換後のクラス毎に算出されてい
る。データ変換部３０においても、クラス分類の結果が
クラス変換ルールに従って変換されたクラスが生成され
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えば、テレビ
ジョン受像機に用いて好適な画像情報変換装置および方
法に関する。

【０００２】

【従来の技術】入力画像信号を線形補間処理して、垂直
方向の画素数（ライン数）を２倍とする画像処理装置が
知られている。このような画像処理装置は、例えばイン
ターレス方式をプログレッシブ方式に変換するのに適用
できる。この変換は、インターレス方式であることに起
因するラインフリッカを軽減するためになされる。例え
ばグラフィックスの画像では、ラインフリッカが目立つ
問題があり、グラフィックス画像を表示する時には、イ
ンターレス方式よりもプログレッシブ方式の方が高画質
とできる。

【０００３】従来のこの種の画像情報変換装置は、入力
される例えば５２５ｉ信号（走査線５２５本のインター
レス方式の信号）を動き判定処理し、動きがない場合に
は、フレーム間補間を行い、動きがある場合には、フィ
ールド内補間を行うようにしている。フィールド間補間
は、前フィールドのラインの信号を使用して新たなライ
ンの信号を形成し、フィールド内補間は、同一フィール
ドの上下のラインの信号の平均値により新たなラインの
信号を形成する。

【０００４】従来の画像情報変換装置は、入力画像信号
を基にして、単に垂直方向の補間を行っているに過ぎな
いため、解像度は基となるＳＤ信号より高くならない。
また、平均値で作成されたラインは、現存ラインと比較
して垂直解像度が劣化しているために、現存ラインと補
間ラインとの間で、解像度の差が目立つ問題がある。さ
らに、画像信号にノイズがある場合、上下ラインの平均
値を用いた場合には、ランダムノイズを足し合わせるこ
とになり、作成ラインでノイズが減少することになる。
この結果、ノイズが減少した作成ラインと、そうでない
現存ラインとが交互に現れることになり、画質劣化が生
じる。さらに、動き検出の結果に基づいて補間方法（静
止画処理と動画処理）を切り替える時に、動き検出を誤
った時に、画質の劣化が大きい問題があった。

【０００５】また、空間解像度を高くするのに限らず、
時間方向の解像度を高くすることもある。例えばフィー
ルド周波数を元の画像信号の２倍とするフィールド倍速
化の処理がフィールドフリッカを減少させるために行わ
れることがある。従来のフィールド倍速化の処理は、フ
ィールドメモリを使用して、同一のフィールドを２回読
出すものであった。従って、フリッカを低減できるとし
ても、時間方向の解像度を高くすることができない。

【０００６】このような従来の画像情報変換装置の問題
点を解決するために、本願出願人は、既にクラス分類適
応処理に基づく画像情報変換装置を提案している。以
下、先に提案されている画像情報変換装置について説明
する。

【０００７】クラス分類適応処理は、従来の補間処理に
よって高解像度信号を形成するものと異なる。すなわ
ち、クラス分類適応処理は、入力信号である映像信号レ
ベルの３次元（時空間）分布に応じてクラス分割を行
い、クラス毎に予め学習により獲得された予測係数値を
格納した記憶手段を持ち、予測式に基づいた演算により
最適な推定値を出力する方式であり、クラス分類適応処
理によって、解像度を入力映像信号のもの以上に高める
ことが可能である。

【０００８】図１６は、従来の画像情報変換装置の全体
の構成を概略的に示す。図１６において、１００は、学
習部であり、２００がデータ変換部である。学習部１０
０は、生徒データと教師データとを受け取り、データ変
換ルールとしての予測係数を算出する。この予測係数と
入力データとがデータ変換部２００に入力され、データ
変換部２００から変換後の出力データが得られる。例え
ば垂直方向のライン数を２倍とする画像情報変換を行う
時には、教師データが２倍のライン数の画像データであ
り、生徒データが教師データと同一画像であって、１倍
のライン数の画像データである。

【０００９】図１７は、処理の全体的流れを示す。ま
ず、クラス分類の結果別に学習を行い、データ変換ルー
ルを作成する（ステップＳ１００）。これは、学習部１
００によりなされる処理である。次に、クラス分類の結
果に対応するデータ変換ルールを用いてデータ変換を行
う（ステップＳ２００）。これは、データ変換部２００
によりなされる処理である。

【００１０】図１８は、学習部１００の構成を示す。生
徒データがクラス分類回路１０１に供給され、生徒デー
タの複数の画素値（クラスタップ）のレベル分布に対応
してクラスが決定される。クラスが学習回路１０２に供
給される。学習回路１０２には、生徒データおよび教師
データが供給され、予測係数算出回路１０３によって、
予測係数が決定される。学習回路１０２および予測係数
算出回路１０３は、最小自乗法によって予測係数を求め
る。この場合、クラス毎に予測係数が算出される。

【００１１】図１９は、学習部１００の処理の流れを示
す。まず、生徒データと教師データとが入力される（ス
テップＳ１０１）。生徒データをクラス分類する（ステ
ップＳ１０２）。クラス分類の結果別に学習を行う（ス
テップＳ１０３）。最小自乗法を使用するので、正規化
マトリクスに予測タップの画素値と真値とを足し込む。
学習が一般性を持つために、充分な量のデータが使用さ
れる。生徒データと教師データが終了したかどうかがス
テップＳ１０４で決定され、終了した場合には、ステッ
プＳ１０５において、学習結果（正規化マトリクスのデ
ータ）からマトリクス解法を用いてクラス分類の結果別
に予測係数を算出する。

【００１２】図２０は、データ変換部２００の構成を示
す。入力データがクラス分類回路２０１およびデータ変
換回路２０２に供給される。クラス分類回路２０１は、
入力データのクラスタップのレベル分布に基づいてクラ
ス分類を行う。クラス分類の結果がデータ変換回路２０
２に供給される。データ変換回路２０２は、クラスに対
応する予測係数と入力データの複数の画素値（予測タッ
プ）を使用して、出力データの画素値を作成する。すな
わち、予測係数と予測タップの線形１次結合によって、
出力画素値を作成する。予測係数は、学習により求めた
ものであり、実際には、メモリに格納される。

【００１３】図２１は、データ変換部２００の処理の流
れを示す。まず、入力データを入力する（ステップＳ２
０１）。次に、入力データをクラス分類する（ステップ
Ｓ２０２）。そして、予め学習によって求めている、ク
ラス分類の結果に対応する予測係数と、予測タップの線
形１次結合によってデータを作成する（ステップＳ２０
３）。作成したデータを出力する（ステップＳ２０
４）。

【００１４】

【発明が解決しようとする課題】上述したクラス分類適
応処理を使用する画像情報変換装置および方法は、変換
精度を向上させるためには、クラス数を増加させること
が効果的である。しかしながら、クラス数を増やすと、
予測係数の個数が増加する。このことは、データ変換処
理時間の増大、予測係数を格納するメモリの容量の増大
を招く問題がある。

【００１５】従って、この発明の目的は、クラス数を増
加させずに、精度の高い変換を行うことが可能な画像情
報変換装置および方法を提供することにある。

【００１６】

【課題を解決するための手段】上述した課題を達成する
ために、請求項１の発明は、教師データと、教師データ
と同一の画像で且つ教師データより画素数の少ない生徒
データとの間のデータ変換ルールを学習する画像情報変
換ルール学習装置において、教師データの所定の画素位
置の周辺に位置する生徒データの複数の第１の画素に基
づいて、クラス情報を形成し、予め取得されているクラ
ス変換ルールに従って、クラス情報を変換することによ
って、変換後クラスを出力するクラス変換部と、変換後
クラス毎に、教師データの所定の画素位置の周辺に位置
する生徒データの複数の第２の画素と複数の予測係数と
の線形１次結合によって、教師データの所定の画素位置
の真値を予測した時に、誤差を最小とする予測係数を学
習するための学習部とからなり、クラス変換ルールは、
Ｎ個のクラス情報をＭ個の変換後クラスに変換するテー
ブルであり、予め取得されていることを特徴とする画像
情報変換ルール学習装置である。

【００１７】請求項２の発明は、入力画像信号中に存在
しない画素を生成するようにした画像情報変換装置にお
いて、生成しようとする画素位置の周辺に位置する入力
画像信号の複数の第１の画素に基づいて、クラス情報を
形成し、予め取得されているクラス変換ルールに従っ
て、クラス情報を変換することによって、変換後クラス
を出力するクラス変換部と、変換後クラスと、画素位置
の周辺に位置する入力画像信号の複数の第２の画素と、
変換クラス毎に予め取得されている予測係数とが入力さ
れ、第２の画素と予測係数との線形推定式によって、画
素を生成するデータ変換部とからなり、クラス変換ルー
ルは、Ｎ個のクラス情報をＭ個の変換後クラスに変換す
るテーブルであり、予め取得されていることを特徴とす
る画像情報変換装置である。

【００１８】請求項４の発明は、教師データと、教師デ
ータと同一の画像で且つ教師データより画素数の少ない
生徒データとの間のデータ変換ルールを学習する画像情
報変換ルール学習方法において、教師データの所定の画
素位置の周辺に位置する生徒データの複数の第１の画素
に基づいて、クラス情報を形成し、予め取得されている
クラス変換ルールに従って、クラス情報を変換すること
によって、変換後クラスを出力するクラス変換のステッ
プと、変換後クラス毎に、教師データの所定の画素位置
の周辺に位置する生徒データの複数の第２の画素と複数
の予測係数との線形１次結合によって、教師データの所
定の画素位置の真値を予測した時に、誤差を最小とする
予測係数を学習するための学習のステップとからなり、
クラス変換ルールは、Ｎ個のクラス情報をＭ個の変換後
クラスに変換するテーブルであり、予め取得されている
ことを特徴とする画像情報変換ルール学習方法である。

【００１９】請求項５の発明は、入力画像信号中に存在
しない画素を生成するようにした画像情報変換方法にお
いて、生成しようとする画素位置の周辺に位置する入力
画像信号の複数の第１の画素に基づいて、クラス情報を
形成し、予め取得されているクラス変換ルールに従っ
て、クラス情報を変換することによって、変換後クラス
を出力するクラス変換のステップと、変換後クラスと、
画素位置の周辺に位置する入力画像信号の複数の第２の
画素と、変換クラス毎に予め取得されている予測係数と
が入力され、第２の画素と予測係数との線形推定式によ
って、画素を生成するデータ変換のステップとからな
り、クラス変換ルールは、Ｎ個のクラス情報をＭ個の変
換後クラスに変換するテーブルであり、予め取得されて
いることを特徴とする画像情報変換方法である。

【００２０】この発明では、クラス情報を予め作成され
たクラス変換ルールに従ってより少ないクラスに変換
し、変換後クラスを使用して、学習およびデータ変換の
処理を行う。従って、クラス数を少なくしても、クラス
分類の精度を向上することができる。

【００２１】

【発明の実施の形態】以下、この発明の一実施形態につ
いて説明する。図１は、この発明による画像情報変換装
置の全体の構成を概略的に示す。図１において、１０が
クラス変換ルール作成部であり、２０が学習部であり、
３０がデータ変換部である。図２は、一実施形態の処理
の全体的流れを示す。まず、いくつかの入力データから
クラス変換ルールを作成する（ステップＳ１０）。これ
は、クラス変換ルール作成部１０によりなされる処理で
ある。次に、クラス分類を行い、クラス分類の結果をク
ラス変換ルールに従って変換した結果別に学習を行い、
予測係数を算出する（ステップＳ２０）。これは、学習
部２０によりなされる処理である。次に、クラス分類の
結果をクラス変換ルールに従って変換した結果に対応す
る予測係数を用いてデータ変換を行う（ステップＳ３
０）。これは、データ変換部３０によりなされる処理で
ある。なお、ブロック図で表される構成と、フローチャ
ートで表される処理との両方について説明するのは、ハ
ードウエアおよびソフトウェアの何れによっても実現で
きることを意味する。以下の説明においても同様であ
る。

【００２２】図３は、クラス変換ルール作成部１０の構
成を示す。生徒データがクラス分類回路１１に供給さ
れ、生徒データの複数の画素値（クラスタップ）のレベ
ル分布に対応してクラスが決定される。クラスがクラス
変換ルール作成回路１２に供給され、クラス変換ルール
が作成される。

【００２３】図４は、クラス変換ルール作成部１０の処
理の流れを示す。最初に入力データを入力する（ステッ
プＳ１１）。次に、この入力データをクラス分類する
（ステップＳ１２）。クラス分類の結果を記憶する（ス
テップＳ１３）。入力データが終了したかどうかがステ
ップＳ１４で調べられる。入力データが終了していない
ならば、ステップＳ１１に戻り、ステップＳ１２、Ｓ１
３、Ｓ１４によってクラス分類処理がなされる。入力デ
ータが終了した場合には、クラス分類の結果からクラス
変換ルールが作成される（ステップＳ１５）。クラス変
換ルールは、入力データのクラス分類の結果を別のクラ
スへ変換するルールである。クラス変換を行うことによ
って、精度を低下させることなく、クラス数を減少させ
ることができる。

【００２４】図５は、学習部２０の構成を示す。生徒デ
ータがクラス分類回路２１に供給され、生徒データの複
数の画素値（クラスタップ）のレベル分布に対応してク
ラスが決定される。クラス分類結果がクラス変換回路２
２に供給される。クラス変換回路２２において、クラス
変換ルールに従ってクラス分類結果がより少ない数のク
ラス分類結果へ変換される。変換後のクラス分類結果を
変換後クラスと称する。クラス変換回路２２によって、
例えばクラス分類回路２１の結果が１７ビットであった
のが、クラス変換回路２２によって１１ビットへ変換さ
れる。

【００２５】生徒データ、教師データおよび変換後クラ
スが学習回路２３に供給される。学習回路２３と予測係
数算出回路２４によって、予測係数が算出される。学習
回路２３および予測係数算出回路２４は、最小自乗法に
よって予測係数を求める。この場合、変換後のクラス毎
に予測係数が決定される。

【００２６】図６は、学習部２０の処理の流れを示す。
まず、生徒データと教師データとが入力される（ステッ
プＳ２１）。生徒データをクラス分類する（ステップＳ
２２）。クラス変換ルールを使用してクラスを変換する
（ステップＳ２３）。変換後クラス別に学習を行う（ス
テップＳ２４）。最小自乗法を使用するので、正規化マ
トリクスに予測タップの画素値と真値とを足し込む。一
般性を持つ予測係数を得るために、充分な量のデータが
使用されて学習がなされる。生徒データと教師データが
終了したかどうかがステップＳ２５で決定される。終了
していない場合には、ステップＳ２１に戻り、ステップ
Ｓ２２〜Ｓ２５の処理が繰り返される。ステップＳ２５
において、生徒データと教師データとが終了した場合に
は、ステップＳ２６において、学習結果（正規化マトリ
クスのデータ）からマトリクス解法を用いて変換後クラ
ス別に予測係数を算出する。

【００２７】図７は、データ変換部３０の構成を示す。
入力データがクラス分類回路３１およびデータ変換回路
３３に供給される。クラス分類回路３１は、入力データ
のクラスタップのレベル分布に基づいてクラス分類を行
う。クラス分類の結果がクラス変換回路３２に供給され
る。クラス変換回路３２は、学習で得られたクラス変換
ルールに従ってクラスを変換する。クラス分類回路３１
およびクラス変換回路３２は、学習部２０におけるクラ
ス分類回路２１およびクラス変換回路２２と同一のもの
である。すなわち、クラス分類結果がクラス変換ルール
（クラス変換テーブル）に従ってクラス分類結果がより
少ない数のクラス分類結果へ変換される。

【００２８】クラス変換回路３２からの変換後クラスが
データ変換回路３３に供給される。データ変換回路３３
は、変換後クラスに対応する予測係数と入力データの複
数の画素値（予測タップ）の線形１次結合によって、出
力画素値を作成する。予測係数は、学習により求めたも
のであり、実際には、メモリに格納される。

【００２９】図８は、データ変換部３０の処理の流れを
示す。まず、入力データを入力する（ステップＳ３
１）。次に、入力データをクラス分類する（ステップＳ
３２）。得られたクラス分類結果をクラス変換ルールを
使用して変換する（ステップＳ３３）。変換後クラスと
それぞれ対応する予測係数（データ変換ルール）が予め
学習によって求められている。この予測係数と、予測タ
ップの線形１次結合によってデータを作成する（ステッ
プＳ３４）。作成したデータを出力する（ステップＳ３
５）。

【００３０】上述したこの発明の一実施形態についてよ
り詳細に説明する。図９は、クラス変換ルール作成部１
０のより詳細な構成を示す。入力データがクラスタップ
選択回路１１ａに供給される。入力データとしては、学
習に使用する生徒データが使用される。但し、この生徒
データ以外にクラス変換ルールを作成するためのデータ
を使用しても良い。さらに、入力データとして、異なる
種類の画像を使用し、異なる画像の種類毎に変化ルール
を作成しても良い。その場合には、複数のクラス変換テ
ーブルが作成されるので、テーブルを画像の種類によっ
て切り替える切り替え信号がクラス変換回路２２に対し
て供給される。画像の種類は、アニメーション、自然
画、コンピュータグラフィックス、静止画等である。

【００３１】クラスタップ選択回路１１ａは、例えば図
１０において×で示す位置の画素値を作成する時に、そ
の周辺の黒丸で示す入力データの１２個の画素を選択す
る。図１０には、現フレームとその前後のフレームにそ
れぞれ含まれ、空間的に同一位置の部分的画像が示され
ている。各フレームは、偶数フィールドと奇数フィール
ドとからなる。フィールド周波数が６０Hz、フレーム周
波数が３０Hzである。図１０では、ライン位置に対応す
る線と、クラスタップ（黒丸の画素）と、予測タップ
（黒丸の画素および白丸の画素）のみが示されており、
タップとして使用されない画素の図示が省略されてい
る。

【００３２】クラスタップおよび予測タップを複数フィ
ールドにまたがって設定することによって、空間的レベ
ル分布に加えて、時間方向の画像変化（すなわち、動
き）の成分をこれらのタップからの画素データが持つこ
とになる。従って、作成される画素の値が動きを反映し
たものとなる。なお、レベル分布のパターンに対応する
空間的クラスを検出する空間クラス検出回路と、動きの
量に対応する動きクラスを検出する動きクラス検出回路
を分離して設け、空間クラスと動きクラスとを合わせた
クラスを形成するしても良い。

【００３３】クラスタップ選択回路１１ａにより選択さ
れたクラスタップの画素値が１ビットＡＤＲＣ（Adapti
ve Dynamic Range Coding ）回路１１ｂに供給され、例
えば８ビットの各画素値がそれぞれ１ビットへ変換され
る。この処理は、クラス数が膨大となることを防ぐため
になされる。なお、情報圧縮手段としては、ＡＤＲＣ以
外にＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）
等の圧縮手段を用いても良い。

【００３４】本来、ＡＤＲＣは、ＶＴＲ（Video Tape R
ecoder）向け高能率符号化用に開発された適応的再量子
化法であるが、信号レベルの局所的なパターンを短い語
長で効率的に表現できるので、この一例では、ＡＤＲＣ
を空間クラス分類のコード発生に使用している。１ビッ
トＡＤＲＣは、クラスタップのダイナミックレンジをＤ
Ｒ、クラスタップの画素のデータレベルをＬ、再量子化
コードをＱ（０または１）として、以下の式（１）
（２）により、最大値ＭＡＸと最小値ＭＩＮとの間を２
分割して再量子化を行う。

【００３５】 ＤＲ＝ＭＡＸ−ＭＩＮ＋１ （１） Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （２） ただし、｛ ｝は切り捨て処理を意味する。

【００３６】１ビットＡＤＲＣ回路１１ｂからは、クラ
スタップ数に等しいビット数の出力（これをＡＤＲＣク
ラスと称する）が発生する。ＡＤＲＣクラスがクラス頻
度データ作成回路１２ａに供給される。クラス頻度デー
タ作成回路１２ａは、ＡＤＲＣクラス番号毎に、出現し
た頻度を集計する。クラス頻度データ作成回路１２ａの
出力が変換テーブル作成回路１２ｂに供給される。変換
テーブル作成回路１２ｂは、頻度の多い順にＡＤＲＣク
ラスを並び換え、並び換えられたＡＤＲＣクラスに対し
て改めてクラス番号（これを頻度クラスと称する）を付
与する。頻度クラスは、変換後クラスに相当する。変換
テーブル作成回路１２ｂによって、ＡＤＲＣクラスと頻
度クラスとの対応関係を示す変換テーブル（変換ルー
ル）が作成される。

【００３７】図１１Ａは、ＡＤＲＣクラスの出現頻度の
一例である。一例として、５０フレームの画像が入力デ
ータとして使用される。入力データとしては、なるべく
多くの種類の画像が含まれるのが好ましい。各フレーム
の画像に対して、クラスタップが設定される。図１０で
は、１２画素のクラスタップが設定される例であるが、
図１１Ａは、１７画素のクラスタップの例である。すな
わち、ＡＤＲＣクラスとしては、２¹⁷（＝１３１，０７
２）通り存在する。図１１Ａは、横軸がＡＤＲＣクラス
を表し、縦軸が頻度を正規化した値（％）を表す。正規
化は、入力データの（全フレーム数×画素数（１フレー
ム当たり））でもって、各ＡＤＲＣクラスの出現頻度を
割ることでなされる。

【００３８】ＡＤＲＣクラスの出現頻度を高い順に並び
換えることによって、図１１Ｂに示す頻度クラスが得ら
れる。図１１Ｂの横軸は、頻度クラスである。頻度クラ
スは、例えば１１ビットであって、２０４８個のクラス
を表現できる。頻度の高い順に並べられたＡＤＲＣクラ
スの中で、最も頻度が高いものから２０４７個のＡＤＲ
Ｃクラスに対して順番に０から２０４６の頻度クラスが
割り当てられる。２０４８番目以降のＡＤＲＣクラスに
対しては、一括して２０４７の頻度クラスが割り当てら
れる。このようにして、１３１，０７２個のＡＤＲＣク
ラスが２０４８個の頻度クラスへ変換される。頻度を参
照して、クラス数を減少させているので、少ないクラス
数でも精度の低下を防止することができる。

【００３９】図１２は、変換テーブルを示すもので、Ａ
ＤＲＣクラスのＮクラスが頻度クラスのＭ（＜Ｎ）クラ
スへ変換される様子を表している。クラス変換テーブル
作成用のデータが入力された後で、頻度の高いＭ−１個
のＡＤＲＣクラスが頻度クラスに１対１で対応付けら
れ、残りの（Ｎ−（Ｍ−１））個のＡＤＲＣクラスがま
とめて１個の頻度クラスに割り当てられる。このように
して、ＮからＭへのクラス変換テーブルが作成される。

【００４０】図１３は、クラス変換テーブルの具体例を
部分的に示す。１７ビットで表現されるＡＤＲＣクラス
番号が１１ビットで表現される頻度クラスへ変換され
る。図１３では、頻度クラス番号＝２０４７がその他の
ＡＤＲＣクラスを一括して割り当てられるものとされて
いる。このようなクラス変換テーブルは、学習部および
データ変換部において共通して使用される。

【００４１】図１４は、学習部２０のより詳細な構成を
示す。生徒データがクラスタップ選択回路２１ａに供給
される。クラスタップ選択回路２１ａは、前出の図１０
において×で示す位置の画素値を作成する時に、その周
辺の黒丸で示す生徒データの１２個の画素を選択する。
クラスタップ選択回路２１ａにより選択されたクラスタ
ップの画素値が１ビットＡＤＲＣ回路２１ｂに供給さ
れ、８ビットの各画素値がそれぞれ１ビットへ変換され
る。

【００４２】１ビットＡＤＲＣ回路２１ｂからは、クラ
スタップ数に等しいビット数のＡＤＲＣクラスが発生す
る。ＡＤＲＣクラスがクラス変換を行うクラス変換回路
２２に供給される。クラス変換回路２２は、予め上述し
たように作成された変換テーブル（クラス変換ルール）
に従ってクラスを変換するものであり、その出力には、
変換後クラス（頻度クラス）が発生する。

【００４３】頻度クラスが正規化マトリクス選択回路２
３ａに供給される。正規化マトリクス選択回路２３ａか
らの正規化マトリクスが正規化マトリクス足し込み回路
２３ｂに供給される。正規化マトリクス足し込み回路２
３ｂには、予測タップ選択回路２３ｃからの予測タップ
（生徒データ）と真値選択回路２３ｄからの真値（教師
データ）とが供給される。予測タップは、前出の図１０
に示すように、時間的に連続する３フィールドにわたっ
て設定された２０画素である。正規化マトリクス足し込
み回路２３ｂの出力が予測係数算出回路２４に供給され
る。予測係数算出回路２４は、正規化マトリクスを解く
ことによって、予測係数を算出する回路である。

【００４４】学習部２０でなされる学習は、変換後クラ
スである頻度クラス毎に、予測タップと予測係数との線
形１次結合で得られる予測値と、真値との誤差の自乗和
が最小となる予測係数を求める処理である。ｎ画素によ
る予測を行う場合について、学習処理を以下に説明す
る。

【００４５】予測タップとして選択される入力画素のレ
ベルをそれぞれｘ₁ 、‥‥、ｘ_n とし、出力画素レベル
をｙとしたとき、頻度クラス毎に予測係数ｗ₁ 、‥‥、
ｗ_nによるｎタップの線形推定式を設定する。これを下
記の式（３）に示す。学習前は、ｗ_i が未定係数であ
る。

【００４６】 ｙ＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋‥‥＋ｗ_n ｘ_n （３） 学習は、頻度クラス毎に複数の信号データに対して行
う。データ数がｍの場合、式（３）にしたがって、以下
に示す式（４）が設定される。

【００４７】 ｙ_k ＝ｗ₁ ｘ_k1＋ｗ₂ ｘ_k2＋‥‥＋ｗ_n ｘ_kn （４） （ｋ＝１，２，‥‥ｍ） ｍ＞ｎの場合、予測係数ｗ_i 、‥‥ｗ_n は、一意に決ま
らないので、誤差ベクトルｅの要素を以下の式（５）で
定義して、式（６）を最小にする予測係数を求める。い
わゆる、最小自乗法による解法である。

【００４８】 ｅ_k ＝ｙ_k −｛ｗ₁ ｘ_k1＋ｗ₂ ｘ_k2＋‥‥＋ｗ_n ｘ_kn｝ （５） （ｋ＝１，２，‥‥ｍ）

【００４９】

【数１】

【００５０】ここで、式（６）のｗ_i による偏微分係数
を求める。それは以下の式（７）を`０' にするよう
に、各係数ｗ_i を求めればよい。

【００５１】

【数２】

【００５２】以下、式（８）、（９）のようにＸ_ij、Ｙ
_i を定義すると、式（７）は、行列を用いて式（１０）
へ書き換えられる。

【００５３】

【数３】

【００５４】

【数４】

【００５５】

【数５】

【００５６】このマトリクスはが正規化マトリクスと呼
ばれている。図１４中の正規化マトリクス足し込み回路
２３ｂは、頻度クラス毎に、正規化マトリクスの加算を
行う。

【００５７】学習に充分なフレーム数のデータの入力が
終了した後、正規化マトリクス足し込み回路２３ｂは、
予測係数算出部２４に正規化マトリクスデータを出力す
る。予測係数算出部２４は、正規化マトリクスを掃き出
し法等の一般的な行列解法を用いて、ｗ_i について解
き、予測係数を算出する。予測係数算出部２４は、算出
された予測係数を図示しないが、予測係数メモリに書込
む。

【００５８】以上のように学習を行った結果、予測係数
メモリには、頻度クラス毎に、注目画素ｙを推定するた
めの、統計的にもっとも真値に近い推定ができる予測係
数が格納される。予測係数メモリに格納された予測係数
がデータ変換部３０において使用される。

【００５９】図１５は、データ変換部３０のより詳細な
構成を示す。入力データがクラスタップ選択回路３１ａ
に供給される。クラスタップ選択回路３１ａは、前出の
図１０において×で示す位置の画素値を作成する時に、
その周辺の黒丸で示す生徒データの１２個の画素を選択
する。クラスタップ選択回路３１ａにより選択されたク
ラスタップの画素値が１ビットＡＤＲＣ回路３１ｂに供
給され、８ビットの各画素値がそれぞれ１ビットへ変換
される。

【００６０】１ビットＡＤＲＣ回路３１ｂからは、クラ
スタップ数に等しいビット数のＡＤＲＣクラスが発生す
る。ＡＤＲＣクラスがクラス変換回路３２に供給され
る。クラス変換回路３２は、予め上述したように作成さ
れた変換テーブルに従ってＡＤＲＣクラスを頻度クラス
へ変換するものであり、その出力には、変換後クラス
（頻度クラス）が発生する。

【００６１】クラス変換回路３２からの頻度クラスが予
測係数選択回路３３ａに供給される。予測係数選択回路
３３ａには、学習で得られた予測係数が頻度クラス毎に
格納された予測係数メモリが備えられている。予測係数
選択回路３３ａで選択された予測係数が積和演算回路３
３ｂに供給される。積和演算回路３３ｂには、予測タッ
プ選択回路３３ｃで選択された予測タップが供給され、
予測係数と予測タップの線形１次結合によって、出力画
素値を作成する。

【００６２】なお、図示しないが、ライン数を入力デー
タの２倍とするような画像変換を行う場合には、出力デ
ータがラインメモリによってライン倍速の処理、すなわ
ち、ライン周波数を２倍とするライン倍速の処理を受け
る。この場合に、水平方向に関しても画素数を２倍とす
る変換処理を同時に行うようにしても良い。さらに、ラ
イン倍速処理がされた出力映像信号がＣＲＴディスプレ
イに供給される。ＣＲＴディスプレイは、出力映像信号
を表示することが可能なように、その同期系が構成され
ている。入力映像信号としては、放送信号、またはＶＴ
Ｒ等の再生装置の再生信号が供給される。すなわち、こ
の一例をテレビジョン受像機に内蔵することができる。

【００６３】また、この発明は、ライン数および／また
は水平画素数を２倍とする画像情報の変換以外に、フィ
ールド周波数を２倍とするフィールド倍速化された出力
画像を得る場合に対しても適用できる。その場合には、
積和演算回路３３ｂに対してフィールドメモリが接続さ
れ、フィールド周波数が２倍とされる。よりさらに、こ
の発明は、垂直画素数が２倍でフィールド周波数が２倍
の出力画像信号を形成する場合に対しても適用できる。

【００６４】

【発明の効果】この発明は、空間内および／または時間
方向の画素数を増加させる処理をクラス分類適応処理で
行う時に、予めクラス変換ルールを作成し、クラス変換
ルールに従ってクラス情報をより少ない数のクラスへ変
換している。従って、データ変換ルール（予測係数）の
個数を減らすことができ、学習およびデータ変換の処理
時間を短縮することができ、データ変換ルールを記憶す
るためのメモリの容量を少なくできる。さらに、入力デ
ータの傾向に合ったクラス変換ルールを作成するので、
クラス数を少なくしても、精度の劣化を防止することが
できる。

【図面の簡単な説明】

【図１】この発明の一実施形態の全体的な構成を示すブ
ロック図である。

【図２】この発明の一実施形態の全体的な処理を示すフ
ローチャートである。

【図３】この発明の一実施形態におけるクラス変換ルー
ル作成部の一例のブロック図である。

【図４】この発明の一実施形態におけるクラス変換ルー
ル作成処理の一例のフローチャートである。

【図５】この発明の一実施形態における学習部の一例の
ブロック図である。

【図６】この発明の一実施形態における学習処理の一例
のフローチャートである。

【図７】この発明の一実施形態におけるデータ変換部の
一例のブロック図である。

【図８】この発明の一実施形態におけるデータ変換処理
の一例のフローチャートである。

【図９】この発明の一実施形態におけるクラス変換ルー
ル作成部のより詳細な構成を示すブロック図である。

【図１０】この発明の一実施形態におけるクラスタップ
および予測タップの一例を説明するための略線図であ
る。

【図１１】この発明の一実施形態におけるクラス変換ル
ール作成処理の説明に使用するＡＤＲＣクラスの頻度分
布を示す略線図である。

【図１２】この発明の一実施形態におけるクラス変換処
理の説明に使用する略線図である。

【図１３】この発明の一実施形態におけるクラス変換テ
ーブルの一例を示す略線図である。

【図１４】この発明の一実施形態における学習部のより
詳細な構成を示すブロック図である。

【図１５】この発明の一実施形態におけるデータ変換部
のより詳細な構成を示すブロック図である。

【図１６】従来の画像情報変換装置の全体的な構成を示
すブロック図である。

【図１７】従来の画像情報変換装置の全体的な処理を示
すフローチャートである。

【図１８】従来の画像情報変換装置における学習部の一
例のブロック図である。

【図１９】従来の画像情報変換装置における学習処理の
一例のフローチャートである。

【図２０】従来の画像情報変換装置におけるデータ変換
部の一例のブロック図である。

【図２１】従来の画像情報変換装置におけるデータ変換
処理の一例のフローチャートである。

【符号の説明】

１０・・・クラス変換ルール作成部、２０・・・学習
部、３０・・・データ変換部、１１・・・クラス分類
部、１１ａ・・・クラスタップ選択回路、１１ｂ・・・
１ビットＡＤＲＣ回路、１２・・・クラス変換ルール作
成部、１２ａ・・・クラス頻度データ作成回路、１２ｂ
・・・変換テーブル作成回路

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK00 LA00 LB15 LB16 PP01 PP04 PP12 SS21 TA08 TB04 TB05 TC00 TD10 5C063 BA03 CA05 CA16 CA40

Claims (6)

【特許請求の範囲】
1. 【請求項１】 教師データと、教師データと同一の画像
   で且つ教師データより画素数の少ない生徒データとの間
   のデータ変換ルールを学習する画像情報変換ルール学習
   装置において、 教師データの所定の画素位置の周辺に位置する生徒デー
   タの複数の第１の画素に基づいて、クラス情報を形成
   し、予め取得されているクラス変換ルールに従って、上
   記クラス情報を変換することによって、変換後クラスを
   出力するクラス変換部と、 上記変換後クラス毎に、上記教師データの所定の画素位
   置の周辺に位置する上記生徒データの複数の第２の画素
   と複数の予測係数との線形１次結合によって、教師デー
   タの所定の画素位置の真値を予測した時に、誤差を最小
   とする予測係数を学習するための学習部とからなり、 クラス変換ルールは、Ｎ個のクラス情報をＭ個の変換後
   クラスに変換するテーブルであり、予め取得されている
   ことを特徴とする画像情報変換ルール学習装置。
2. 【請求項２】 入力画像信号中に存在しない画素を生成
   するようにした画像情報変換装置において、 生成しようとする画素位置の周辺に位置する入力画像信
   号の複数の第１の画素に基づいて、クラス情報を形成
   し、予め取得されているクラス変換ルールに従って、上
   記クラス情報を変換することによって、変換後クラスを
   出力するクラス変換部と、 上記変換後クラスと、上記画素位置の周辺に位置する入
   力画像信号の複数の第２の画素と、上記変換クラス毎に
   予め取得されている予測係数とが入力され、上記第２の
   画素と上記予測係数との線形推定式によって、画素を生
   成するデータ変換部とからなり、 上記クラス変換ルールは、Ｎ個のクラス情報をＭ個の変
   換後クラスに変換するテーブルであり、予め取得されて
   いることを特徴とする画像情報変換装置。
3. 【請求項３】 請求項１または２において、 上記クラス変換ルールは、上記第１の画素に基づいて形
   成されたクラス情報のそれぞれの出現頻度を求め、上記
   出現頻度の多い方から順番に選択されたＭ−１個の上記
   クラス情報に対して上記変換後クラスを割り当て、残り
   のＮ−（Ｍ−１）個の上記クラス情報に対して一つの上
   記変換後クラスを割り当てることで作成されたものであ
   ることを特徴とする装置。
4. 【請求項４】 教師データと、教師データと同一の画像
   で且つ教師データより画素数の少ない生徒データとの間
   のデータ変換ルールを学習する画像情報変換ルール学習
   方法において、 教師データの所定の画素位置の周辺に位置する生徒デー
   タの複数の第１の画素に基づいて、クラス情報を形成
   し、予め取得されているクラス変換ルールに従って、上
   記クラス情報を変換することによって、変換後クラスを
   出力するクラス変換のステップと、 上記変換後クラス毎に、上記教師データの所定の画素位
   置の周辺に位置する生徒データの複数の第２の画素と複
   数の予測係数との線形１次結合によって、上記教師デー
   タの所定の画素位置の真値を予測した時に、誤差を最小
   とする予測係数を学習するための学習のステップとから
   なり、 上記クラス変換ルールは、Ｎ個のクラス情報をＭ個の変
   換後クラスに変換するテーブルであり、予め取得されて
   いることを特徴とする画像情報変換ルール学習方法。
5. 【請求項５】 入力画像信号中に存在しない画素を生成
   するようにした画像情報変換方法において、 生成しようとする画素位置の周辺に位置する入力画像信
   号の複数の第１の画素に基づいて、クラス情報を形成
   し、予め取得されているクラス変換ルールに従って、上
   記クラス情報を変換することによって、変換後クラスを
   出力するクラス変換のステップと、 上記変換後クラスと、上記画素位置の周辺に位置する入
   力画像信号の複数の第２の画素と、上記変換クラス毎に
   予め取得されている予測係数とが入力され、上記第２の
   画素と上記予測係数との線形推定式によって、画素を生
   成するデータ変換のステップとからなり、 上記クラス変換ルールは、Ｎ個のクラス情報をＭ個の変
   換後クラスに変換するテーブルであり、予め取得されて
   いることを特徴とする画像情報変換方法。
6. 【請求項６】 請求項４または５において、 上記クラス変換ルールは、上記第１の画素に基づいて形
   成されたクラス情報のそれぞれの出現頻度を求め、上記
   出現頻度の多い方から順番に選択されたＭ−１個の上記
   クラス情報に対して上記変換後クラスを割り当て、残り
   のＮ−（Ｍ−１）個の上記クラス情報に対して一つの上
   記変換後クラスを割り当てることで作成されたものであ
   ることを特徴とする方法。