JP4300603B2 - 画像情報変換装置および方法 - Google Patents
画像情報変換装置および方法 Download PDFInfo
- Publication number
- JP4300603B2 JP4300603B2 JP25158198A JP25158198A JP4300603B2 JP 4300603 B2 JP4300603 B2 JP 4300603B2 JP 25158198 A JP25158198 A JP 25158198A JP 25158198 A JP25158198 A JP 25158198A JP 4300603 B2 JP4300603 B2 JP 4300603B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- pixel
- class
- pixels
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、複数の画素データと複数の係数データとの線型１次結合の予測演算を行う画像情報変換装置および方法に関する。
【０００２】
【従来の技術】
入力ディジタル画像信号を異なる走査線構造へ変換する画像信号変換装置の一つとして、予め求められた係数データと入力画像信号の画素データとの線型１次結合によって、出力画像信号の画素値を予測するものが提案されている。この予測演算を行うための予測器は、各画素データと各係数データとを乗算する乗算器と、乗算出力を加算する加算器とにより構成される。予測器としては、画素データの個数（タップ数）が変化する場合にも使用できるような汎用性のある構成が好ましい。また、予測結果の良否を判断するために、予測器を通らない画像データを出力として必要とする場合もある。
【０００３】
【発明が解決しようとする課題】
従来の予測器では、タップ数を最適とすることによって、未使用のタップが生じないようにされている。従って、異なるタップ数に対応できる汎用性を有しないのが普通であった。また、予測器をスルーした画像データを出力したい場合には、予測器をバイパスする信号線を設け、また、予測器の処理に要する遅延を補償するための遅延回路をバイパス信号路に設けるようにしており、遅延回路を必要とする問題があった。
【０００４】
従って、この発明の目的は、タップ数に関して汎用性を有し、また、演算を行わないスルー出力を得るために遅延回路を必要としない画像情報変換装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、入力画像信号から走査線構造の異なる複数の出力画像信号を形成するようにした画像情報変換装置において、
入力画像信号中に存在するラインと同一位置となる出力画像信号の第１のラインの画素を生成するために、生成される画素の周辺に位置する入力画像信号の第１の画素をｍ個選択する第１のデータ選択手段と、
ｍ個の第１の画素のレベル分布を検出し、検出したレベル分布から第１のクラスを決定する第１のクラス決定手段と、
入力画像信号中に存在するライン間の位置となる出力画像信号の第２のラインの画素を生成するために、生成される画素の周辺に位置する入力画像信号の第２の画素をｎ個（ｎ＞ｍ）選択する第２のデータ選択手段と、
ｎ個の第２の画素のレベル分布を検出し、検出したレベル分布から第２のクラスを決定する第２のクラス決定手段と、
第１および第２のクラスのそれぞれに対応して予め決定され、出力画像信号を推定するための第１および第２の係数データを記憶し、記憶した第１および第２の係数データの内から、第１および第２のクラスのそれぞれに対応する第１および第２の係数データをそれぞれ出力するメモリ手段と、
入力画像信号から生成すべき画素の周辺となる第３の画素を予め設定された個数選択する第３のデータ選択手段と、
第１の係数データと第３の画素とを積和演算する線形推定式によって、第１のラインの画素を生成し、第１の係数データと積和演算される第３の画素がない場合、第１の係数データおよび第３の画素の少なくとも一方をゼロデータとする第１の信号生成手段と、
第２の係数データと第３の画素とを積和演算する線形推定式によって、第２のラインの画素を生成し、第２の係数データと積和演算される第３の画素がない場合、第２の係数データおよび第３の画素の少なくとも一方をゼロデータとする第２の信号生成手段と、
第１および第２の信号生成手段に対して接続され、変換画像を指定された走査線構造へ変換するための走査変換手段とを有し、
第１および第２の係数データは、第１および第２のクラス毎に予め学習によって求められてメモリ手段に記憶され、
学習は、
出力画像信号と同一の画素数を有する教師画像信号を間引き処理することによって、入力画像信号と同一の画素数を有する中間画像信号を形成し、中間画像信号の画素の近傍の教師画像信号の複数の画素の対応する位置の画素の値を重み付け加算することによって生徒画像信号を形成し、
積和演算によって、生徒画像信号から教師画像信号を生成した時に、生成された画素値と画素の真値との誤差を最小にするように、求める処理である
画像情報変換装置である。
【０００６】
請求項５の発明は、入力画像信号から走査線構造の異なる複数の出力画像信号を形成するようにした画像情報変換方法において、
入力画像信号中に存在するラインと同一位置となる出力画像信号の第１のラインの画素を生成するために、生成される画素の周辺に位置する入力画像信号の第１の画素をｍ個選択する第１のデータ選択ステップと、
ｍ個の第１の画素のレベル分布を検出し、検出したレベル分布から第１のクラスを決定する第１のクラス決定ステップと、
入力画像信号中に存在するライン間の位置となる出力画像信号の第２のラインの画素を生成するために、生成される画素の周辺に位置する入力画像信号の第２の画素をｎ個（ｎ＞ｍ）選択する第２のデータ選択ステップと、
ｎ個の第２の画素のレベル分布を検出し、検出したレベル分布から第２のクラスを決定する第２のクラス決定ステップと、
第１および第２のクラスのそれぞれに対応して予め決定され、出力画像信号を推定するための第１および第２の係数データをメモリ手段に記憶し、記憶した第１および第２の係数データの内から、第１および第２のクラスのそれぞれに対応する第１および第２の係数データをそれぞれ出力するステップと、
入力画像信号から生成すべき画素の周辺となる第３の画素を予め設定された個数選択する第３のデータ選択ステップと、
第１の係数データと第３の画素とを積和演算する線形推定式によって、第１のラインの画素を生成し、第１の係数データと積和演算される第３の画素がない場合、第１の係数データおよび第３の画素の少なくとも一方をゼロデータとする第１の信号生成ステップと、
第２の係数データと第３の画素とを積和演算する線形推定式によって、第２のラインの画素を生成し、第２の係数データと積和演算される第３の画素がない場合、第２の係数データおよび第３の画素の少なくとも一方をゼロデータとする第２の信号生成ステップと、
第１および第２の信号生成ステップに対して接続され、変換画像を指定された走査線構造へ変換するための走査変換ステップとを有し、
第１および第２の係数データは、第１および第２のクラス毎に予め学習によって求められてメモリ手段に記憶され、
学習は、
出力画像信号と同一の画素数を有する教師画像信号を間引き処理することによって、入力画像信号と同一の画素数を有する中間画像信号を形成し、中間画像信号の画素の近傍の教師画像信号の複数の画素の対応する位置の画素の値を重み付け加算することによって生徒画像信号を形成し、
積和演算によって、生徒画像信号から教師画像信号を生成した時に、生成された画素値と画素の真値との誤差を最小にするように、求める処理である
画像情報変換方法である。
【０００７】
入力タップ数が変化し、動作を休止するタップが生じる時には、そのタップに関する予測タップデータまたは係数データをゼロとする。また、スルーしたいタップデータに関する係数を１とし、それ以外のタップデータに関する係数を０とする。それによって、所望のタップデータをスルーできる。
【０００８】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明を適用することができる予測処理の流れを概略的に示す。中心的な部分は、入力画像信号から切り出された予測タップ３１１と予測係数３１２との線型１次結合で表される演算を行う積和器３１３である。システムの機能を設定するために、コマンドがシステムに対して供給される。３１４で示すエンコーダによって、コマンドの解釈と、解釈した結果に基づいて内部状態を設定する指示が発生する。
【０００９】
予測係数群３１５の中で使用するｎ個の予測係数３１２が予測係数切換指示３１６によって選択される。また、フィルタタップ３１７の中で使用するｎ個の予測タップ３１１が予測タップ切換指示３１８によって設定される。さらに、積和器３１３の入力の幅は、ｎである。予測タップのタップ数および予測係数の個数ｎが入力最適化処理３１９によって、ｎのまま、またはｍ（ｎ＞ｍ）に変換される。入力最適化処理３１９は、エンコーダ３１４において形成されたコマンドの解釈に基づく指示に従って行われる。積和器３１３によって、予測演算がなされ、演算出力がゲイン調整およびリミッター３２０で処理され、最終的な予測演算出力が生成される。
【００１０】
上述したように、入力最適化処理３１９後において、予測タップ３１１および予測係数３１２の個数が積和器３１３の入力の幅ｎと等しければ、予測器３１３において、非動作のタップが生じない。しかしながら、画像信号を変換する変換装置において、後述する画像信号変換装置の実施形態から分かるように、入力画像信号中の画素と、予測すべき画素の位置関係によって、予測の難易度が異なり、その結果、入力最適化処理３１９後において、予測タップ３１１および予測係数３１２の個数がｍ（ｎ＞ｍ）となる場合がある。一方、ハードウエアの規模を小とするために、積和器３１３を共用することが好ましい。従って、タップ数がｍの場合では、積和器３１３のｎ−ｍのタップ数が動作を休止する。さらに、出力として予測係数が乗じられていない所定のタップの画素値をそのまま出力したい場合もある。
【００１１】
予測演算を行わずに、いずれかのタップデータをスルーして出力する場合の従来使用されている構成例を図２に示す。破線で囲んで示す３０１は、積和器を示す。積和器３０１は、ｎ個の乗算器３０２1 ，３０２2 ，・・・，３０２n と、乗算器３０２1 〜３０２n の出力を加算する加算器３０３とによって構成され、入力の幅としてｎタップを有する。乗算器３０２1 〜３０２n の一方の入力として、レジスタＲ１１，Ｒ１２，・・・，Ｒ１ｎからの係数データCOEF1,COEF2,・・・，COEFn がそれぞれ供給される。乗算器３０２1 〜３０２n の他方の入力として、レジスタＲ２１，Ｒ２２，・・・，Ｒ２ｎからのタップデータDT1,DT2,・・・，DTn がそれぞれ供給される。
【００１２】
積和器３０１の加算器３０３の出力がゲインおよびリミッター３０４を介してセレクタ３０５に一方の入力として供給される。セレクタ３０５の他方の入力には、遅延回路３０７を介してセレクタ３０６の出力が供給される。セレクタ３０５は、一方の入力を選択的に出力する。セレクタ３０６には、レジスタＲ２１，Ｒ２２，・・・，Ｒ２ｎからのタップデータDT1,DT2,・・・，DTn が供給され、スルーしたい一つのデータが選択される。
【００１３】
図２に示すように、積和器１をバイパスする信号線を設け、積和器３０１で生じる遅延に対応する時間の遅延回路３０７を設ける構成では、バイパス信号線、セレクタ３０６および遅延回路３０７を付加する必要があり、回路規模が増大する。また、積和器３０１の入力の幅とタップ数とが通常は、等しい個数に選ばれており、タップ数がｎからｍに減少した場合の対策がされていなかった。
【００１４】
図３に示すこの発明による予測演算器の一実施形態は、これらの問題点を解決することができるものである。図２に示す構成と同様に、積和器３０１は、ｎ個の乗算器３０２1 〜３０２n と、乗算器３０２1 〜３０２n の出力を加算する加算器３０３とによって構成され、入力の幅としてｎタップを有する。
【００１５】
乗算器３０２1 〜３０２n の一方の入力として、セレクタＳ１，Ｓ２，・・・，Ｓｎの出力が供給される。セレクタＳ１，Ｓ２，・・・，Ｓｎの一方の入力として、レジスタＲ１１，Ｒ１２，・・・，Ｒ１ｎからの係数データCOEF1,COEF2,・・・，COEFn がそれぞれ供給される。セレクタＳ１〜Ｓｎの他方の入力として、ゼロデータが供給される。セレクタＳ１〜Ｓｎは、それぞれ制御信号ＣＮＴ１〜ＣＮＴｎに応答して係数データまたはゼロデータを選択する。また、乗算器３０２1 〜３０２n の他方の入力として、レジスタＲ２１〜Ｒ２ｎからのタップデータDT1,DT2,・・・，DTn がそれぞれ供給される。
【００１６】
入力ディジタル画像信号が予測タップ選択部（図示しない）に供給され、予測に使用するｎ個のタップデータDT1,DT2,・・・，DTn が同時に取り出される。一方、予め決定された係数データCOEF1,COEF2,・・・，COEFn がメモリ部（図示しない）から読出される。乗算器３０２1 〜３０２n の出力が加算器３０３において加算され、加算器３０３から積和演算出力が取り出される。積和器３０１の出力がゲインおよびリミッター３０４を介して予測演算出力として出力される。ゲインおよびリミッター３０４は、演算結果に対するゲインの補正と、演算結果のビット数の制限とを行うもので、制御信号ｃｎｔによって制御される。
【００１７】
上述したこの発明の一実施形態の動作について説明する。先ず、ｎ個のタップデータDT1,DT2,・・・，DTn とｎ個の係数データCOEF1,COEF2,・・・，COEFn との線型１次結合（COEF1 ×DT1 ＋COEF2 ×DT2 ＋・・・＋COEFn ×DTn ）によって予測演算出力を形成する場合には、セレクタＳ１〜Ｓｎがそれぞれ係数データを乗算器２1 〜２n に供給するように、制御信号ＣＮＴ１〜ＣＮＴｎによってセレクタＳ１〜Ｓｎが制御される。
【００１８】
次に、ｍ（ｎ＞ｍ）個のタップとｍ個の係数データによって予測演算出力を発生する時には、セレクタＳ１〜Ｓｎの内で、ｍ個のセレクタが係数データを選択すると共に、残りのｎ−ｍの個数のセレクタがゼロデータを選択するように、制御信号ＣＮＴ１〜ＣＮＴｎによってセレクタＳ１〜Ｓｎが制御される。ゼロデータは、例えば接地レベルである。従って、ゼロデータが入力された乗算器は、実質的に乗算動作を行わず、無駄な電力消費を防ぐことができる。さらに、必要に応じて、タップ数の相違に応じてゲインおよびリミッター３０４を制御信号ｃｎｔによって最適化する。
【００１９】
さらに、予測演算出力ではなく、入力された１以上のタップの画素値をそのまま出力するスルー動作を行う場合について説明する。例えばタップデータDTn を出力したい場合では、係数データCOEFn を１に設定し、セレクタＳｎがこの１の係数データを選択するように、制御信号ＣＮＴｎによってセレクタＳｎを制御する。従って、乗算器３０２n の出力は、データDTn である。
【００２０】
セレクタＳｎ以外の他のセレクタは、全てゼロデータを選択するように、制御信号によって制御される。従って、乗算器３０２n 以外の乗算器の出力が全てゼロデータとなり、加算器３０３からは、データDTn が出力される。ゲインおよびリミッター３０４は、ゲインを１とし、入力ビット数をそのまま出力するように、制御信号ｃｎｔによって制御する。このようにして、出力としては、タップデータDTn を得ることができる。スルーされるデータが積和器３０１の通っているので、時間合わせ用の遅延回路は、不要である。
【００２１】
この発明では、図４に示すように、セレクタＳ１〜Ｓｎの代わりにアンド回路Ｇ１〜Ｇｎを接続した構成も可能である。すなわち、アンド回路Ｇ１〜Ｇｎの一方の入力として係数データCOEF1 〜COEFn が供給され、その他方の入力として制御信号ＣＮＴ１〜ＣＮＴｎが供給される。乗算器に対する係数データの入力を禁止したい場合には、制御信号ＣＮＴ１〜ＣＮＴｎの中で対応するものを"0" とすれば良い。他の構成および動作は、図３に示す予測器と同様である。
【００２２】
なお、図３に示す構成では、係数データとゼロデータを選択するために、セレクタＳ１〜Ｓｎを使用し、図４に示す構成では、係数データを無効とするためにアンド回路Ｇ１〜Ｇｎを使用している。しかしながら、係数データに対しては何ら処理を行わず、タップデータとゼロデータを選択し、またはタップデータをゼロデータにするようにしても良い。
【００２３】
上述したこの発明による動き判定装置は、画像信号変換装置における動きクラスの生成に対して適用することができる。この画像信号変換装置は、ＳＤ（Standard Definition ）信号が入力され、ＨＤ（High Definition ）信号を出力するものである。また、ＨＤ画素を生成する場合、生成するＨＤ画素の近傍にある、ＳＤ画素をクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで、より真値に近いＨＤ画素を得るものである。図９は、このような手法による画像信号変換装置である。
【００２４】
画像情報変換装置の一例についての説明に先立ち、その前提となる画像情報変換処理について説明する。かかる処理は、標準解像度のディジタル画像信号（以下、ＳＤ信号と表記する）を高解像度の画像信号（ＨＤ信号と称されることがある）に変換して出力するものである。この際のＳＤ信号としては、例えばライン数が５２５本でインターレス方式の画像信号（以下、５２５ｉ信号と表記する）等が用いられる。また、高解像度の画像信号としては、例えばライン数が５２５本でプログレッシブ方式の出力映像信号（以下、５２５ｐ信号と表記する）等が用いられる。さらに、出力画像信号における水平方向の画素数が入力画像信号における水平方向の画素数の２倍とされる。
【００２５】
かかる画像情報変換処理においては、本願出願人の提案に係るクラス分類適応処理によって解像度を高めようとしている。クラス分類適応処理は、従来の補間処理によって高解像度信号を形成するものとは異なる。すなわち、クラス分類適応処理は、入力ＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測計数値を所定の記憶部に格納し、予測式に基づいた演算によって最適な推定値を出力する処理である。クラス分類適応処理によって、入力ＳＤ信号の解像度以上の解像度を得ることが可能となる。
【００２６】
図５は、１フィールドの画像の一部を拡大することによって、入力ＳＤ信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換する画像情報変換処理における画素の配置の一例を示すものである。大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが５２５ｐ信号の画素を示す。ここで、図５は、あるフレームの奇数フィールドの画素配置を示している。他のフィールド（偶数フィールド）では、５２５ｉ信号のラインが空間的に０．５ラインずれたものとなる。図５から分かるように、５２５ｉ信号のラインと同一位置のラインデータｙ１（黒塗りの小さいドットとして示した）および５２５ｉ信号の上下のラインの中間位置のラインデータｙ２（白抜きの小さいドットとして示した）とが形成されることによって５２５ｐ信号が予測生成される。
【００２７】
ここで、ｙ１は既に存在するポイントであるのに対し、ｙ２は新たに予測することによって生成されるポイントである。従って、ｙ２を予測生成する方がｙ１を予測生成するよりも困難である。このため、ｙ２を予測生成する場合には、ｙ１を予測生成する場合よりも多くのクラス数を割り当てる必要がある。また、例えば装置に備えられるメモリー資産が充分な量を有しない場合、または、より少ないクラス数を用いて、効率的な画像情報変換処理を行う場合等においては、クラスの総数をより少なくするようなクラス値の変換を行う必要がある。これらの観点から、以下に説明する画像情報変換装置は、ｙ１，ｙ２の予測生成を効率的に、また、きめ細かく行えるように、クラス数を適切に割り当てるようにしたものである。
【００２８】
以下、かかる画像情報変換装置の一例について適宜図面を参照して説明する。この一例は、入力ＳＤ信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換する画像情報変換処理を行うものである。図６は、画像情報変換処理系の構成の一例を示すブロック図である。入力ＳＤ信号（５２５ｉ信号）がタップ選択回路１、１０、２０に供給される。
【００２９】
タップ選択回路１は、ラインデータｙ１，ｙ２を予測推定するための演算処理（後述する式（１）に従う演算処理）に必要とされる複数の画素が含まれる領域を切り出し、切り出した領域からラインデータｙ１，ｙ２を予測推定するために必要なＳＤ画素（以下、予測タップと表記す）を選択する。選択される予測タップが推定予測演算回路４、５に供給される。ここで、予測タップとしては、後述する空間クラスタップと同様なものを使用することができる。但し、予測精度を向上させるために、クラスに対応する予測タップ位置情報によって予測タップを選択するようにしても良い。
【００３０】
また、推定予測演算回路４、５には、後述する係数メモリ４１からラインデータｙ１，ｙ２を予測推定するために必要な予測係数を供給される。推定予測演算回路４、５は、タップ選択回路１から供給される予測タップ、および係数メモリ４１から供給される予測係数に基づいて、以下の式（１）に従って画素値ｙを順次予測生成する。
【００３１】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （１）
ここで、ｘ1 ，‥‥，ｘn が各予測タップであり、ｗ1 ，‥‥，ｗn が各予測係数である。すなわち、式（１）は、ｎ個の予測タップを用いて画素値ｙを予測生成するための式である。画素値ｙの列として、推定予測演算回路４においてはラインデータｙ１が予測生成され、推定予測演算回路５においてはラインデータｙ２が予測生成される。予測係数ｗ1 ，‥‥，ｗn は、ｙ１，ｙ２についてそれぞれ相違したものである。
【００３２】
ここでは、後述するように、ラインデータｙ１を予測するために、５個の予測タップを使用し（すなわち、ｎ＝５）、ラインデータｙ２を予測するために、６個の予測タップを使用する（すなわち、ｎ＝６）。このようにタップ数が相違し、予測係数も相違するので、図６では、２個の推定予測演算回路４および５が示されている。これらの推定予測演算回路４および５に対して、上述したこの発明による予測演算器を適用することができる。この発明による予測演算器は、予測タップ数の相違に対処することができるので、ハードウエアの構成としては、同一の構成とすることができる。このように、この発明による予測演算器は、汎用性を有するので、推定予測演算回路の集積回路の設計の労力が少なくできる。
【００３３】
推定予測演算回路４、５は、それぞれ、ラインデータｙ１、ｙ２を線順序変換回路６に供給する。線順序変換回路６は、供給されるラインデータにライン倍速処理を施し、高解像度信号を生成する。この高解像度信号が画像情報変換処理系の最終的な出力画像信号とされる。図示しないが、出力画像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力画像信号（５２５ｐ信号）を表示することが可能なように、その同期系が構成されている。また、入力ＳＤ信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、画像情報変換装置をテレビジョン受像機等に内蔵することができる。
【００３４】
一方、タップ選択回路１０、１１は、入力ＳＤ信号からそれぞれ、ラインデータｙ１，ｙ２についての空間クラスを検出するために必要なＳＤ画素（以下、空間クラスタップと表記する）を選択する。また、タップ選択回路２０は、入力ＳＤ信号から動きクラスを検出するために必要なＳＤ画素（以下、動きクラスタップと表記する）動きクラスタップを選択する。タップ選択回路１０、１１の出力が空間クラス検出回路１２、１３にそれぞれ供給され、また、タップ選択回路２０の出力が動きクラス検出回路２１に供給される。
【００３５】
空間クラス検出回路１２、１３は、供給される空間クラスタップに基づいて、それぞれｙ１，ｙ２についての空間クラス値を検出する。そして、検出した空間クラス値をそれぞれクラス合成回路３０、３１に供給する。また、動きクラス検出回路２１は、供給される動きクラスタップに基づいて動きクラス値を検出し、検出した動きクラス値をクラス合成回路３０、３１に供給する。
【００３６】
クラス合成回路３０、３１は、供給される空間クラス値と、動きクラス値とを合成する。クラス合成回路３０、３１の出力は、それぞれ、クラス値変換回路３２、３３に供給される。クラス値変換回路３２、３３は、それぞれ、クラス合成回路３０、３１の出力に後述するようなクラス値変換処理を施す。クラス値変換処理により、クラスの総数が削減される。
【００３７】
変換されたクラス値が係数メモリ４１に供給される。係数メモリ４１は、後述する学習によって予め決められた予測係数を記憶し、記憶した予測係数の内でクラス値変換回路３２、３３から供給されるクラス値によって指定されるものを推定予測演算回路４、５に対して出力する。このような動作を可能とするためには、例えば、クラス値変換によって得られるクラス値によって指定されるアドレスに従って予測係数を記憶する等の方法を用いれば良い。
【００３８】
ここで、空間クラス検出についてより詳細に説明する。一般に、空間クラス検出回路は、空間クラスタップのレベル分布のパターンに基づいて画像データのレベル分布の空間的パターンを検出し、検出した空間的パターンに基づいて空間クラス値を生成する。この場合、クラス数が膨大になることを防ぐために、各画素について８ビットの入力画素データをより少ないビット数のデータに圧縮するような処理を行う。このような情報圧縮処理の一例として、ＡＤＲＣ(Adaptive Dynamic Range Coding) を用いることができる。また、情報圧縮処理として、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いることもできる。
【００３９】
ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recoder)向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一例では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ，ビット割当をｎ，空間クラスタップの画素のデータレベルをＬ，再量子化コードをＱとして、以下の（２）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００４０】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （２）
但し、｛ ｝は切り捨て処理を意味する。
【００４１】
上述したように、ラインデータｙ２についてのクラス数は、ラインデータｙ１についてのクラス数よりも大きい。この点について具体的に説明する。まず、ｙ１についての空間クラス検出に使用される空間クラスタップの配置の一例を図７に示す。図７では、水平方向（左→右）に時間が進行する場合に、各フィールド内の画素を垂直方向に並べて示されている。
【００４２】
図示されているフィールドを、左から順にＦ−１／ｏ、Ｆ−１／ｅ、Ｆ／ｏ、Ｆ／ｅと表記する。なお、Ｆ−１／ｏは、「Ｆ−１番目のフレームの奇数（ｏｄｄ）番目の走査線からなるフィールド」である旨を示す表記である。同様に、Ｆ−１／ｅは、「Ｆ−１番目のフレームの偶数（ｅｖｅｎ）番目の走査線からなるフィールド」を意味し、Ｆ／ｏは、「Ｆ番目のフレームの奇数番目の走査線からなるフィールド」を意味し、また、Ｆ／ｅは、「Ｆ番目のフレームの偶数番目の走査線からなるフィールド」を意味する。
【００４３】
かかる一例においては、フィールドＦ／ｏ内のラインデータｙ１についての空間クラスタップとして、フィールドＦ−１／ｅ内のＴ４，Ｔ５，およびフィールドＦ／ｏ内のＴ１、Ｔ２、Ｔ３の全部で５個の画素値が使用される。但し、空間クラスタップの配置はこれに限定されるものでは無い。例えば、空間クラスタップとして、水平方向の複数の入力画素を使用しても良い。
【００４４】
同様に、ｙ２についての空間クラス検出に使用される空間クラスタップの配置の一例を図８に示す。図８中での表記は図７と同様である。かかる一例においては、フィールドＦ／ｏ内のラインデータｙ２についての空間クラスタップとして、フィールドＦ−１／ｅ内のＴ６、およびフィールドＦ／ｏ内のＴ２、Ｔ３、Ｔ４，Ｔ５，およびフィールドＦ／ｅ内のＴ１の全部で６個の画素値が使用される。但し、空間クラスタップの配置はこれに限定されるものでは無い。例えば、空間クラスタップとして、水平方向の複数の入力画素を使用しても良い。なお、図７および図８にそれぞれ示される空間クラスタップと同一の予測タップがラインデータｙ１およびｙ２を予測するのに使用される。
【００４５】
次に、動きクラス検出についてより詳細に説明する。動きクラス検出回路２１は、供給される動きクラスタップに基づいて、以下の式（３）に従ってフレーム間差分絶対値の平均値ｐａｒａｍを計算する。そして、計算したｐａｒａｍの値に基づいて、動きクラス値を検出する。
【００４６】
【数１】
【００４７】
式（３）においてｎは動きクラスタップ数であり、例えばｎ＝６と設定することができる（図９参照）。そして、ｐａｒａｍの値と、予め設定されたしきい値とを比較することによって動きの指標である動きクラス値が決定される。例えば、ｐａｒａｍ≦２の場合には動きクラス値０、２＜ｐａｒａｍ≦４の場合には動きクラス値１、４＜ｐａｒａｍ≦８の場合には動きクラス値２、ｐａｒａｍ＞８の場合には動きクラス値３というように動きクラス値が生成される。動きクラス値０が動きが最小（静止）であり、動きクラス値１、２、３となるに従って動きが大きいものと判断される。なお、動きベクトルを検出し、検出した動きベクトルに基づいて動きクラスを検出しても良い。
【００４８】
動きクラス検出に使用される動きクラスタップの配置の一例を図９に示す。かかる一例においてフィールドＦ／ｏ内のラインデータｙ１およびｙ２を予測する際に使用される動きクラスタップは、フィールドＦ／ｏ内の画素ｎ１，ｎ３，ｎ５，およびフィールドＦ／ｅ内の画素ｎ２，ｎ４，ｎ６，並びにフィールドＦ−１／ｅ内の画素ｍ２，ｍ４，ｍ６，さらに、フィールドＦ−１／ｏ内の画素ｍ１，ｍ３，ｍ５である。ここで、画素ｍ１と画素ｎ１，画素ｍ２と画素ｎ２，‥‥，画素ｍ６と画素ｎ６の垂直方向の位置が一致している。但し、動きクラスタップの配置はこれに限定されるものでは無い。
【００４９】
図７および図８に示したような空間クラスタップ配置を使用して、１ビットＡＤＲＣでクラス分類する場合には、ｙ１，ｙ２について動きクラス値を共通とし、動きクラス値の分類数を４とすると、クラス数はそれぞれ以下のようになる。
【００５０】
ｙ１についてのクラス数 ＝ ２5 ×４ ＝ １２８
ｙ２についてのクラス数 ＝ ２6 ×４ ＝ ２５６
この場合、合計のクラス数は３８４である。但し、例えば画像情報変換処理系に備えられるメモリー資産（図６中では係数メモリ４１）がこのクラス数に対応するために充分な記憶容量を有しない場合、または、より少ないクラス数で効率的に画像情報変換処理を行う場合等においては、クラスの総数を削減する必要がある。そこで、クラス値変換処理を行うことによってｙ１，ｙ２についてのクラス数を削減する。図１０は、この場合のクラス総数の削減について模式的に示すものである。なお、図１０中の仮予測係数については後述する。
【００５１】
次に、学習、すなわち適切な予測係数を設定する処理について以下に説明する。まず、学習の第１段階である、クラス値変換テーブルの作成に係る処理系の構成の一例を図１１に示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ５１、および正規方程式加算回路６１、６２に供給される。間引きフィルタ５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００５２】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００５３】
ここで、間引きフィルタ５１に対する入力ＳＤ信号の一例としての５２５ｐ信号と、間引きフィルタ５１からの出力画像信号の一例としての５２５ｉ信号との間の画素の空間的関係を図１２に示す。５２５ｐ信号の奇数番目のフィールドでは、偶数番目のラインが間引かれ、また、奇数番目のラインにおいて画素が水平方向に交互に間引かれる。この間引き処理の様子を、図１２では、第１フィールドと第３フィールドについて図示した。一方、５２５ｐ信号の奇数番目のフィールドでは、奇数番目のラインが間引かれ、また、偶数番目のラインにおいて画素が水平方向に交互に間引かれる。この間引き処理の様子を、図１２では、第２フィールドについて図示した。
【００５４】
図１１において、間引きフィルタ５１が生成するインターレス画像信号がタップ選択回路１０１、１１０、１１１および１２０に供給される。タップ選択回路１０１は、後述する正規方程式の計算において使用され得る予測タップを選択し、選択した予測タップを正規方程式加算回路６１、６２に供給する。一方、タップ選択回路１１０、１１１は、それぞれ、ラインデータｙ１，ｙ２についての空間クラスタップを選択し、選択した空間クラスタップをそれぞれ、空間クラス検出回路１１２、１１３に供給する。さらに、タップ選択回路１２０は、動きクラスタップを選択し、選択した動きクラスタップを動きクラス検出回路１２１に供給する。
【００５５】
空間クラス検出回路１１２、１１３は、空間クラスタップのデータをＡＤＲＣによって圧縮し、それぞれ、ｙ１，ｙ２についての空間クラス値を独立に検出する。また、動きクラス検出回路１２１は、動きクラス値を検出する。空間クラス検出回路１１２の出力と動きクラス検出回路１２１の出力とがクラス合成回路１３０に供給される。また、空間クラス検出回路１１３の出力と動きクラス検出回路１２１の出力とがクラス合成回路１３１に供給される。クラス合成回路１３０、１３１は、それぞれｙ１，ｙ２についての空間クラス値と動きクラス値とを合成する。クラス合成回路１３０、１３１の出力が正規方程式加算回路６１、６２に供給される。
【００５６】
正規方程式加算回路６１は、入力ＳＤ信号、タップ選択回路１０１の出力、およびクラス合成回路１３０の出力に基づいてｙ１の予測生成に係る予測係数を解とする正規方程式に係るデータを得るための加算を行う。同様に、正規方程式加算回路６２は、入力ＳＤ信号、タップ選択回路１０１の出力、およびクラス合成回路１３１の出力に基づいてｙ２の予測生成に係る予測係数を解とする正規方程式に係るデータを得るための加算を行う。
【００５７】
正規方程式加算回路６１、６２は、それぞれ、算出したデータを仮予測係数決定回路６３に供給する。仮予測係数決定回路６３は、供給されるデータに基づき、正規方程式を解く計算処理を行って、ｙ１，ｙ２の予測生成に係る仮予測係数を算出する。そして、算出した仮予測係数を近接係数クラス統合処理部６４に供給する。ここで、仮予測係数と称するのは、最終的な予測係数は、後述するように、クラス統合の結果として決定されるからである。正規方程式を解くための計算処理は、後述する予測係数決定回路２６３（図１３参照）における計算処理と同様である。
【００５８】
近接係数クラス統合処理部６４は、供給される仮予測係数の間の距離ｄを、例えば以下の式（４）に従って計算する。
【００５９】
【数２】
【００６０】
ここで、ｋl 、ｋl ’は相異なるクラスの予測係数を示す。また、ｌは、予測タップの番号を示す。また、ｎが予測タップの総数を表す。
【００６１】
さらに、近接係数クラス統合処理部６４は、上述したようにして求めたクラス間の予測係数の距離を所定のしきい値と比較し、互いの距離がしきい値より小さくなるような複数個のクラスを１つのクラスに統合する。クラスを統合することによってクラスの総数を減らすことができる。この際に、あるクラスと他の幾つかのクラスとの間の距離が共にしきい値より小さくなる場合には、距離が最小となるクラス同志を統合するようにすれば良い。上述の所定のしきい値を大きく設定する程、クラス数を削減することができる。従って、しきい値を可変することにより、クラス値変換処理によって得られるクラスの総数を調整することができる。
【００６２】
この際に、画像情報変換処理系に備えられるメモリ資産（図６中では係数メモリ４１）の記憶容量等の条件に応じて、ｙ１、ｙ２について的確なクラス数を割り振るようにすることにより、メモリ資産をより有効に使用できる、または、より少ないクラス数で効率的に画像情報変換処理を行うことができる、等の効果を得ることができる。
【００６３】
そして、近接係数クラス統合処理部６４は、クラスの統合に関する情報をクラス値変換テーブル生成部６５に供給する。クラス値変換テーブル生成部６５は、供給される情報に基づいてクラス値変換テーブルを生成する。このクラス値変換テーブルは、上述したクラス値変換回路３２、３３（図６参照）、および後述するクラス値変換回路８１、８２（図１３参照）に供給され、記憶される。そして、これらの構成要素の動作において参照される。
【００６４】
次に、学習の第２段階としての予測係数の算出処理について詳細に説明する。図１３に、予測係数を算出する予測係数算出処理系の構成の一例を示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ２５１、正規方程式加算回路２６１、２６２に供給される。間引きフィルタ２５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００６５】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。間引きフィルタ２５１が生成するＳＤ信号がタップ選択回路２０１、２１０、２１１、２２０に供給される。間引きフィルタ２５１の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００６６】
タップ選択回路２０１は、予測タップを選択し、選択した予測タップを正規方程式加算回路２６１、２６２に供給する。一方、タップ選択回路２１０、２１１が選択する，ｙ１，ｙ２についての空間クラスタップがそれぞれ空間クラス検出回路２１２、２１３に供給される。さらに、タップ選択回路２２０が選択する予測タップが動きクラス検出回路２２１に供給される。
【００６７】
空間クラス検出回路２１２、２１３は、供給される空間クラスタップに基づいて、それぞれｙ１，ｙ２についての空間クラス値を検出する。また、動きクラス検出回路２２１は、供給される動きクラスタップに基づいて、動きクラス値を検出する。空間クラス検出回路２１２の出力と動きクラス検出回路２２１の出力とがクラス合成回路２３０に供給される。また、空間クラス検出回路２１２の出力と動きクラス検出回路２２１の出力とがクラス合成回路２３１に供給される。クラス合成回路２３０、２３１は、それぞれｙ１，ｙ２についてクラス値を合成し、各クラス値をクラス値変換処理部８１、８２に供給する。
【００６８】
クラス値変換処理部８１、８２は、上述したようにして生成されるクラス値変換テーブルを記憶しており、かかるクラス値変換テーブルを参照して、クラス合成回路２３０、２３１の出力に対してクラス値変換を施す。そして、クラス値変換の結果を、それぞれ、正規方程式加算回路２６１、２６２に供給する。
【００６９】
正規方程式加算回路２６１、２６２は、予測係数を解とする正規方程式を解くための計算処理に使用されるデータを算出する。すなわち、正規方程式加算回路２６１は、入力ＳＤ信号、タップ選択回路２０１の出力、およびクラス値変換回路８１の出力に基づいて加算処理を行うことにより、ｙ１の予測生成に係る予測係数を解とする正規方程式を解くために必要なデータを算出する。また、正規方程式加算回路２６２は、入力ＳＤ信号、タップ選択回路２０１の出力、およびクラス値変換回路８２の出力に基づいて加算処理を行うことにより、ｙ２の予測生成に係る予測係数を解とする正規方程式を解くために必要なデータを算出する。
【００７０】
正規方程式加算回路２６１、２６２が算出したデータが予測係数決定回路２６３に供給される。予測係数決定回路２６３は、供給されるデータに基づいて正規方程式を解くための計算処理を行い、ラインデータｙ１，ｙ２の予測生成に係る予測係数を算出する。算出される予測係数が係数メモリ８４に供給され、記憶される。
【００７１】
予測係数の決定に係る処理、すなわち正規方程式加算回路２６１、２６２、および予測係数決定回路２６３が行う処理について、以下、より詳細に説明する。まず、正規方程式について説明する。上述したように、ｎ個の予測タップを使用して、ラインデータｙ１，ｙ２を構成する各画素を式（１）によって順次予測生成することができる。
【００７２】
式（１）において、学習前は予測係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の信号データに対して行う。信号データの総数をｍと表記する場合、式（１）に従って、以下の式（５）が設定される。
【００７３】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （５）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（６）で定義して、式（７）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００７４】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （６）
（ｋ＝１，２，‥‥ｍ）
【００７５】
【数３】
【００７６】
式（７）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（８））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００７７】
【数４】
【００７８】
式（８）から各予測係数ｗi を定める具体的な手順について説明する。式（９）、（１０）のようにＸji，Ｙi を定義すると、式（８）は、式（１１）の行列式の形に書くことができる。
【００７９】
【数５】
【００８０】
【数６】
【００８１】
【数７】
【００８２】
式（１１）が一般に正規方程式と呼ばれるものである。正規方程式加算回路２６１、２６２のそれぞれは、クラス値変換回路８１、８２から供給されたクラス値、予測タップ選択回路２０１から供給される予測タップ、および入力画像信号と同じ信号形式を有する既知の画像信号を用いて、正規方程式データ、すなわち、式（９）、（１０）に従うＸji，Ｙi の値を算出する。そして、算出した正規方程式データを予測係数決定部４３に供給する。予測係数決定部４３は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って予測係数ｗi を算出する。
【００８３】
なお、以上のように生成される予測係数は、クラス値変換が施されたデータに基づいて算出されるのに対し、図１１を参照して上述した仮予測係数は、クラス値変換が未だ施されていないデータに基づいて算出される。かかる点以外では、両者は正規方程式の解として全く同様な計算処理によって算出される。従って、仮予測係数の決定に係る処理、すなわち図１１中の正規方程式加算回路６１、６２、および予測係数決定回路６３が行う処理も、全く同様なものである。
【００８４】
すなわち、図１１では、クラス合成回路１３０、１３１から供給されるクラス値、予測タップ選択回路１０１から供給される予測タップ、および出力画像信号と同じ信号形式を有する既知の入力画像信号（例えば５２５ｐ信号）を用いて、正規方程式加算回路６１、６２のそれぞれが正規方程式データ、すなわち、式（９）、（１０）に従うＸji，Ｙi の値を算出する。そして、算出した正規方程式データを仮予測係数決定部６３に供給する。仮予測係数決定部６３は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って仮予測係数を算出する。
【００８５】
このように、仮予測係数を算出し、それに基づいてクラス値変換テーブルを生成し、さらに、クラス値変換テーブルを参照してクラス値変換を行いながら予測係数を算出することによって、学習が行なわれる。その結果として、予測係数メモリ８４には、クラス毎に、プログレッシブ画像の注目画素を推定するための、統計的に最も真値に近いと推定ができる予測係数が格納される。予測係数メモリ８４に格納された予測係数は、図６等を参照して上述した画像情報変換処理系内の予測係数メモリ４１にロードされる。
【００８６】
なお、図９示したような画像信号変換処理系、図１１に示したようなクラス値変換テーブルの作成に係る処理系、および図１３に示した予測係数の決定に係る処理系は、各々別個に設けても良いし、スイッチ等を適宜設けることによって構成要素を共通に使用するように構成しても良い。但し、これらの処理系を別個に設ける場合には、学習の有効性を担保するため、同一の機能を有する構成要素は、同一の動作特性を有するものを使用する必要がある。例えばタップ選択回路１、５１、２０１は、同一の動作特性を有する必要がある。構成要素を共通に使用する場合には、スイッチング等に起因して装置全体の処理が複雑化するが、装置全体に関わる回路規模、コスト等の削減に寄与することができる。
【００８７】
また、タップ選択回路２０１が出力する予測タップの個数は、画像情報変換処理系において使用される予測タップの個数より大きいものとされる。従って、図１３中の予測係数決定部２６３では、クラス毎により多くの係数が求まる。このようにして求まった予測係数の中で、絶対値が大きいものから順に使用する数の予測係数が選択される。
【００８８】
次に、線順序変換回路６が行うライン倍速処理について説明する。上述したようにして推定予測演算回路４、５が生成する５２５ｐ信号の水平周期は、画像情報変換処理がなされる前の５２５ｉ信号の水平周期と同一である。線順序変換回路６は、ラインメモリを有し、水平周期を２倍とするライン倍速処理を行う。図１４は、ライン倍速処理をアナログ波形を用いて示すものである。推定予測演算回路４、５によって、ラインデータｙ１およびｙ２が同時に予測生成される。
【００８９】
ラインデータｙ１には、順にａ１，ａ２，ａ３‥‥のラインが含まれ、ラインデータｙ２には、順にｂ１，ｂ２，ｂ３‥‥のラインが含まれる。線順序変換回路５００内には、ラインダブラ（図示せず）とスイッチング回路（図示せず）とが設けられている。ラインダブラは、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータをスイッチング回路に供給する。スイッチング回路は、供給されるデータを交互に選択して出力する。以上のようにして、線順次出力（ａ０，ｂ０，ａ１，ｂ１，‥‥）が形成される。
【００９０】
なお、上述した構成では、現存ライン上の出力画素値（ラインデータＬ１）と、作成ライン上の出力画素値（ラインデータＬ２）とを並列構成でもって作成するようにしている。これに対し、メモリを追加し、回路の動作速度が速ければ時分割処理でラインデータｙ１およびｙ２を順に生成すると共に、ライン倍速処理を行うように構成しても良い。
【００９１】
また、上述した画像情報変換装置の一例は、５２５ｉ信号を５２５ｐ信号に変換するものであるが、５２５本のライン数は、一例であって、他のライン数であっても良い。例えば、入力ＳＤ信号における水平方向の画素数に対して、２倍以外の画素数を含むラインからなる出力画像信号を予測生成するようにしても良い。より具体的には、出力画像信号として１０５０ｉ信号、すなわち走査線数が１０５０本でインターレス方式の画像信号を予測生成するようにしても良い。図１５は、１フィールドの画像の一部を拡大することによって、５２５ｉ信号と、１０５０ｉ信号とにおける画素の配置を示すものである。大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが１０５０ｉ信号の画素を示す。なお、図１５の実線で示したものは、あるフレームの奇数フィールドの画素配置である。他のフィールド（偶数フィールド）のラインは、点線で示すように空間的に０．５ラインずれたものであり、ラインデータｙ１’，ｙ２’の画素が形成される。
【００９２】
なお、この発明による予測演算装置は、クラス分類適応処理を使用した画像情報変換装置に限らず、複数の画素データの線型１次結合により予測値または補間値を生成する他の装置に対して適用することができる。
【００９３】
【発明の効果】
この発明は、係数データまたはタップデータの一方をゼロデータとすることによって、そのタップに関する演算動作を休止することができ、タップ数の変化に柔軟に対応することができる。また、バイパス信号線、遅延回路を設けずに、積和器をスルーしたタップデータを取り出すことができる。
【００９４】
この発明による予測演算装置を使用した画像情報変換装置は、入力画像信号の走査線との位置関係が異なる複数種類の注目点（具体的には、入力画像信号の走査線上に位置するｙ１と、入力画像信号の走査線の間に位置するｙ２等）の各々について決定されるクラスの数を、注目点の入力画像信号の走査線に対する位置関係に応じて（例えば、予測生成がより困難なｙ２に対してより多くのクラス数を割当てる等）、削減するようにしたものである。
【００９５】
このため、装置内のメモリ資産の記憶容量に応じてクラス数を設定できるので、メモリ資産の記憶容量が小さい場合にも的確な処理を行うことが可能となる。また、より少ないクラス数の下で効率的な処理を行う場合にも、この発明を適用することが有効となる。
【００９６】
また、注目点と入力画像信号の走査線との位置関係の違い等に起因する（具体的にはｙ１とｙ２の間での）予測生成の困難さに応じて、各注目点に対して適切なクラス数が割り当てられる。このため、メモリ資産の記憶容量が限られている場合にも、きめ細かく、また効率的な画像情報変換処理を行うことが可能となる。
【図面の簡単な説明】
【図１】この発明を適用することができる予測器を概略的に示す略線図である。
【図２】この発明の説明の参考に用いる予測器の一例のブロック図である。
【図３】この発明による予測器の一実施形態のブロック図である。
【図４】この発明による予測器の他の実施形態のブロック図である。
【図５】この発明が適用される画像情報変換装置の一例によってなされる画像情報変換処理における画素の配置の一例を示す略線図である。
【図６】この発明が適用される画像情報変換装置の一例における画像情報変換処理系の構成の一例を示すブロック図である。
【図７】この発明が適用される画像情報変換装置の一例における、ラインデータｙ１についての空間クラスタップ配置の一例を示す略線図である。
【図８】この発明が適用される画像情報変換装置の一例における、ラインデータｙ２についての空間クラスタップ配置の一例を示す略線図である。
【図９】この発明が適用される画像情報変換装置の一例における、動きクラスタップ配置の一例を示す略線図である。
【図１０】この発明が適用される画像情報変換装置の一例におけるクラス統合について説明するための略線図である。
【図１１】この発明が適用される画像情報変換装置の一例におけるクラス値変換テーブル生成処理系の構成の一例を示すブロック図である。
【図１２】クラス値変換テーブル生成処理系および予測係数算出処理系において使用される間引きフィルタによる処理について説明するための略線図である。
【図１３】この発明が適用される画像情報変換装置の一例における、予測係数算出処理系の構成の一例を示すブロック図である。
【図１４】ライン倍速処理について説明するための略線図である。
【図１５】この発明が適用される画像情報変換装置の他の例における画素の配置の一例を示す略線図である。
【符号の説明】
１・・・予測タップ選択回路、４，５・・・推定予測演算回路、 ３２、３３・・・クラス値変換回路、４１・・・係数メモリ、６４・・・近接係数クラス統合、６５・・・クラス値変換テーブル生成部、８１、８２・・・クラス値変換回路、１８、１９・・・クラス値変換回路、３０１・・・積和器、３０２1 〜３０２n ・・・乗算器、３０３・・・加算器、Ｓ１〜Ｓｎ・・・セレクタ、Ｇ１〜Ｇｎ・・・アンド回路
【発明の属する技術分野】
この発明は、複数の画素データと複数の係数データとの線型１次結合の予測演算を行う画像情報変換装置および方法に関する。
【０００２】
【従来の技術】
入力ディジタル画像信号を異なる走査線構造へ変換する画像信号変換装置の一つとして、予め求められた係数データと入力画像信号の画素データとの線型１次結合によって、出力画像信号の画素値を予測するものが提案されている。この予測演算を行うための予測器は、各画素データと各係数データとを乗算する乗算器と、乗算出力を加算する加算器とにより構成される。予測器としては、画素データの個数（タップ数）が変化する場合にも使用できるような汎用性のある構成が好ましい。また、予測結果の良否を判断するために、予測器を通らない画像データを出力として必要とする場合もある。
【０００３】
【発明が解決しようとする課題】
従来の予測器では、タップ数を最適とすることによって、未使用のタップが生じないようにされている。従って、異なるタップ数に対応できる汎用性を有しないのが普通であった。また、予測器をスルーした画像データを出力したい場合には、予測器をバイパスする信号線を設け、また、予測器の処理に要する遅延を補償するための遅延回路をバイパス信号路に設けるようにしており、遅延回路を必要とする問題があった。
【０００４】
従って、この発明の目的は、タップ数に関して汎用性を有し、また、演算を行わないスルー出力を得るために遅延回路を必要としない画像情報変換装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明は、入力画像信号から走査線構造の異なる複数の出力画像信号を形成するようにした画像情報変換装置において、
入力画像信号中に存在するラインと同一位置となる出力画像信号の第１のラインの画素を生成するために、生成される画素の周辺に位置する入力画像信号の第１の画素をｍ個選択する第１のデータ選択手段と、
ｍ個の第１の画素のレベル分布を検出し、検出したレベル分布から第１のクラスを決定する第１のクラス決定手段と、
入力画像信号中に存在するライン間の位置となる出力画像信号の第２のラインの画素を生成するために、生成される画素の周辺に位置する入力画像信号の第２の画素をｎ個（ｎ＞ｍ）選択する第２のデータ選択手段と、
ｎ個の第２の画素のレベル分布を検出し、検出したレベル分布から第２のクラスを決定する第２のクラス決定手段と、
第１および第２のクラスのそれぞれに対応して予め決定され、出力画像信号を推定するための第１および第２の係数データを記憶し、記憶した第１および第２の係数データの内から、第１および第２のクラスのそれぞれに対応する第１および第２の係数データをそれぞれ出力するメモリ手段と、
入力画像信号から生成すべき画素の周辺となる第３の画素を予め設定された個数選択する第３のデータ選択手段と、
第１の係数データと第３の画素とを積和演算する線形推定式によって、第１のラインの画素を生成し、第１の係数データと積和演算される第３の画素がない場合、第１の係数データおよび第３の画素の少なくとも一方をゼロデータとする第１の信号生成手段と、
第２の係数データと第３の画素とを積和演算する線形推定式によって、第２のラインの画素を生成し、第２の係数データと積和演算される第３の画素がない場合、第２の係数データおよび第３の画素の少なくとも一方をゼロデータとする第２の信号生成手段と、
第１および第２の信号生成手段に対して接続され、変換画像を指定された走査線構造へ変換するための走査変換手段とを有し、
第１および第２の係数データは、第１および第２のクラス毎に予め学習によって求められてメモリ手段に記憶され、
学習は、
出力画像信号と同一の画素数を有する教師画像信号を間引き処理することによって、入力画像信号と同一の画素数を有する中間画像信号を形成し、中間画像信号の画素の近傍の教師画像信号の複数の画素の対応する位置の画素の値を重み付け加算することによって生徒画像信号を形成し、
積和演算によって、生徒画像信号から教師画像信号を生成した時に、生成された画素値と画素の真値との誤差を最小にするように、求める処理である
画像情報変換装置である。
【０００６】
請求項５の発明は、入力画像信号から走査線構造の異なる複数の出力画像信号を形成するようにした画像情報変換方法において、
入力画像信号中に存在するラインと同一位置となる出力画像信号の第１のラインの画素を生成するために、生成される画素の周辺に位置する入力画像信号の第１の画素をｍ個選択する第１のデータ選択ステップと、
ｍ個の第１の画素のレベル分布を検出し、検出したレベル分布から第１のクラスを決定する第１のクラス決定ステップと、
入力画像信号中に存在するライン間の位置となる出力画像信号の第２のラインの画素を生成するために、生成される画素の周辺に位置する入力画像信号の第２の画素をｎ個（ｎ＞ｍ）選択する第２のデータ選択ステップと、
ｎ個の第２の画素のレベル分布を検出し、検出したレベル分布から第２のクラスを決定する第２のクラス決定ステップと、
第１および第２のクラスのそれぞれに対応して予め決定され、出力画像信号を推定するための第１および第２の係数データをメモリ手段に記憶し、記憶した第１および第２の係数データの内から、第１および第２のクラスのそれぞれに対応する第１および第２の係数データをそれぞれ出力するステップと、
入力画像信号から生成すべき画素の周辺となる第３の画素を予め設定された個数選択する第３のデータ選択ステップと、
第１の係数データと第３の画素とを積和演算する線形推定式によって、第１のラインの画素を生成し、第１の係数データと積和演算される第３の画素がない場合、第１の係数データおよび第３の画素の少なくとも一方をゼロデータとする第１の信号生成ステップと、
第２の係数データと第３の画素とを積和演算する線形推定式によって、第２のラインの画素を生成し、第２の係数データと積和演算される第３の画素がない場合、第２の係数データおよび第３の画素の少なくとも一方をゼロデータとする第２の信号生成ステップと、
第１および第２の信号生成ステップに対して接続され、変換画像を指定された走査線構造へ変換するための走査変換ステップとを有し、
第１および第２の係数データは、第１および第２のクラス毎に予め学習によって求められてメモリ手段に記憶され、
学習は、
出力画像信号と同一の画素数を有する教師画像信号を間引き処理することによって、入力画像信号と同一の画素数を有する中間画像信号を形成し、中間画像信号の画素の近傍の教師画像信号の複数の画素の対応する位置の画素の値を重み付け加算することによって生徒画像信号を形成し、
積和演算によって、生徒画像信号から教師画像信号を生成した時に、生成された画素値と画素の真値との誤差を最小にするように、求める処理である
画像情報変換方法である。
【０００７】
入力タップ数が変化し、動作を休止するタップが生じる時には、そのタップに関する予測タップデータまたは係数データをゼロとする。また、スルーしたいタップデータに関する係数を１とし、それ以外のタップデータに関する係数を０とする。それによって、所望のタップデータをスルーできる。
【０００８】
【発明の実施の形態】
以下、この発明の一実施形態について図面を参照して説明する。図１は、この発明を適用することができる予測処理の流れを概略的に示す。中心的な部分は、入力画像信号から切り出された予測タップ３１１と予測係数３１２との線型１次結合で表される演算を行う積和器３１３である。システムの機能を設定するために、コマンドがシステムに対して供給される。３１４で示すエンコーダによって、コマンドの解釈と、解釈した結果に基づいて内部状態を設定する指示が発生する。
【０００９】
予測係数群３１５の中で使用するｎ個の予測係数３１２が予測係数切換指示３１６によって選択される。また、フィルタタップ３１７の中で使用するｎ個の予測タップ３１１が予測タップ切換指示３１８によって設定される。さらに、積和器３１３の入力の幅は、ｎである。予測タップのタップ数および予測係数の個数ｎが入力最適化処理３１９によって、ｎのまま、またはｍ（ｎ＞ｍ）に変換される。入力最適化処理３１９は、エンコーダ３１４において形成されたコマンドの解釈に基づく指示に従って行われる。積和器３１３によって、予測演算がなされ、演算出力がゲイン調整およびリミッター３２０で処理され、最終的な予測演算出力が生成される。
【００１０】
上述したように、入力最適化処理３１９後において、予測タップ３１１および予測係数３１２の個数が積和器３１３の入力の幅ｎと等しければ、予測器３１３において、非動作のタップが生じない。しかしながら、画像信号を変換する変換装置において、後述する画像信号変換装置の実施形態から分かるように、入力画像信号中の画素と、予測すべき画素の位置関係によって、予測の難易度が異なり、その結果、入力最適化処理３１９後において、予測タップ３１１および予測係数３１２の個数がｍ（ｎ＞ｍ）となる場合がある。一方、ハードウエアの規模を小とするために、積和器３１３を共用することが好ましい。従って、タップ数がｍの場合では、積和器３１３のｎ−ｍのタップ数が動作を休止する。さらに、出力として予測係数が乗じられていない所定のタップの画素値をそのまま出力したい場合もある。
【００１１】
予測演算を行わずに、いずれかのタップデータをスルーして出力する場合の従来使用されている構成例を図２に示す。破線で囲んで示す３０１は、積和器を示す。積和器３０１は、ｎ個の乗算器３０２1 ，３０２2 ，・・・，３０２n と、乗算器３０２1 〜３０２n の出力を加算する加算器３０３とによって構成され、入力の幅としてｎタップを有する。乗算器３０２1 〜３０２n の一方の入力として、レジスタＲ１１，Ｒ１２，・・・，Ｒ１ｎからの係数データCOEF1,COEF2,・・・，COEFn がそれぞれ供給される。乗算器３０２1 〜３０２n の他方の入力として、レジスタＲ２１，Ｒ２２，・・・，Ｒ２ｎからのタップデータDT1,DT2,・・・，DTn がそれぞれ供給される。
【００１２】
積和器３０１の加算器３０３の出力がゲインおよびリミッター３０４を介してセレクタ３０５に一方の入力として供給される。セレクタ３０５の他方の入力には、遅延回路３０７を介してセレクタ３０６の出力が供給される。セレクタ３０５は、一方の入力を選択的に出力する。セレクタ３０６には、レジスタＲ２１，Ｒ２２，・・・，Ｒ２ｎからのタップデータDT1,DT2,・・・，DTn が供給され、スルーしたい一つのデータが選択される。
【００１３】
図２に示すように、積和器１をバイパスする信号線を設け、積和器３０１で生じる遅延に対応する時間の遅延回路３０７を設ける構成では、バイパス信号線、セレクタ３０６および遅延回路３０７を付加する必要があり、回路規模が増大する。また、積和器３０１の入力の幅とタップ数とが通常は、等しい個数に選ばれており、タップ数がｎからｍに減少した場合の対策がされていなかった。
【００１４】
図３に示すこの発明による予測演算器の一実施形態は、これらの問題点を解決することができるものである。図２に示す構成と同様に、積和器３０１は、ｎ個の乗算器３０２1 〜３０２n と、乗算器３０２1 〜３０２n の出力を加算する加算器３０３とによって構成され、入力の幅としてｎタップを有する。
【００１５】
乗算器３０２1 〜３０２n の一方の入力として、セレクタＳ１，Ｓ２，・・・，Ｓｎの出力が供給される。セレクタＳ１，Ｓ２，・・・，Ｓｎの一方の入力として、レジスタＲ１１，Ｒ１２，・・・，Ｒ１ｎからの係数データCOEF1,COEF2,・・・，COEFn がそれぞれ供給される。セレクタＳ１〜Ｓｎの他方の入力として、ゼロデータが供給される。セレクタＳ１〜Ｓｎは、それぞれ制御信号ＣＮＴ１〜ＣＮＴｎに応答して係数データまたはゼロデータを選択する。また、乗算器３０２1 〜３０２n の他方の入力として、レジスタＲ２１〜Ｒ２ｎからのタップデータDT1,DT2,・・・，DTn がそれぞれ供給される。
【００１６】
入力ディジタル画像信号が予測タップ選択部（図示しない）に供給され、予測に使用するｎ個のタップデータDT1,DT2,・・・，DTn が同時に取り出される。一方、予め決定された係数データCOEF1,COEF2,・・・，COEFn がメモリ部（図示しない）から読出される。乗算器３０２1 〜３０２n の出力が加算器３０３において加算され、加算器３０３から積和演算出力が取り出される。積和器３０１の出力がゲインおよびリミッター３０４を介して予測演算出力として出力される。ゲインおよびリミッター３０４は、演算結果に対するゲインの補正と、演算結果のビット数の制限とを行うもので、制御信号ｃｎｔによって制御される。
【００１７】
上述したこの発明の一実施形態の動作について説明する。先ず、ｎ個のタップデータDT1,DT2,・・・，DTn とｎ個の係数データCOEF1,COEF2,・・・，COEFn との線型１次結合（COEF1 ×DT1 ＋COEF2 ×DT2 ＋・・・＋COEFn ×DTn ）によって予測演算出力を形成する場合には、セレクタＳ１〜Ｓｎがそれぞれ係数データを乗算器２1 〜２n に供給するように、制御信号ＣＮＴ１〜ＣＮＴｎによってセレクタＳ１〜Ｓｎが制御される。
【００１８】
次に、ｍ（ｎ＞ｍ）個のタップとｍ個の係数データによって予測演算出力を発生する時には、セレクタＳ１〜Ｓｎの内で、ｍ個のセレクタが係数データを選択すると共に、残りのｎ−ｍの個数のセレクタがゼロデータを選択するように、制御信号ＣＮＴ１〜ＣＮＴｎによってセレクタＳ１〜Ｓｎが制御される。ゼロデータは、例えば接地レベルである。従って、ゼロデータが入力された乗算器は、実質的に乗算動作を行わず、無駄な電力消費を防ぐことができる。さらに、必要に応じて、タップ数の相違に応じてゲインおよびリミッター３０４を制御信号ｃｎｔによって最適化する。
【００１９】
さらに、予測演算出力ではなく、入力された１以上のタップの画素値をそのまま出力するスルー動作を行う場合について説明する。例えばタップデータDTn を出力したい場合では、係数データCOEFn を１に設定し、セレクタＳｎがこの１の係数データを選択するように、制御信号ＣＮＴｎによってセレクタＳｎを制御する。従って、乗算器３０２n の出力は、データDTn である。
【００２０】
セレクタＳｎ以外の他のセレクタは、全てゼロデータを選択するように、制御信号によって制御される。従って、乗算器３０２n 以外の乗算器の出力が全てゼロデータとなり、加算器３０３からは、データDTn が出力される。ゲインおよびリミッター３０４は、ゲインを１とし、入力ビット数をそのまま出力するように、制御信号ｃｎｔによって制御する。このようにして、出力としては、タップデータDTn を得ることができる。スルーされるデータが積和器３０１の通っているので、時間合わせ用の遅延回路は、不要である。
【００２１】
この発明では、図４に示すように、セレクタＳ１〜Ｓｎの代わりにアンド回路Ｇ１〜Ｇｎを接続した構成も可能である。すなわち、アンド回路Ｇ１〜Ｇｎの一方の入力として係数データCOEF1 〜COEFn が供給され、その他方の入力として制御信号ＣＮＴ１〜ＣＮＴｎが供給される。乗算器に対する係数データの入力を禁止したい場合には、制御信号ＣＮＴ１〜ＣＮＴｎの中で対応するものを"0" とすれば良い。他の構成および動作は、図３に示す予測器と同様である。
【００２２】
なお、図３に示す構成では、係数データとゼロデータを選択するために、セレクタＳ１〜Ｓｎを使用し、図４に示す構成では、係数データを無効とするためにアンド回路Ｇ１〜Ｇｎを使用している。しかしながら、係数データに対しては何ら処理を行わず、タップデータとゼロデータを選択し、またはタップデータをゼロデータにするようにしても良い。
【００２３】
上述したこの発明による動き判定装置は、画像信号変換装置における動きクラスの生成に対して適用することができる。この画像信号変換装置は、ＳＤ（Standard Definition ）信号が入力され、ＨＤ（High Definition ）信号を出力するものである。また、ＨＤ画素を生成する場合、生成するＨＤ画素の近傍にある、ＳＤ画素をクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで、より真値に近いＨＤ画素を得るものである。図９は、このような手法による画像信号変換装置である。
【００２４】
画像情報変換装置の一例についての説明に先立ち、その前提となる画像情報変換処理について説明する。かかる処理は、標準解像度のディジタル画像信号（以下、ＳＤ信号と表記する）を高解像度の画像信号（ＨＤ信号と称されることがある）に変換して出力するものである。この際のＳＤ信号としては、例えばライン数が５２５本でインターレス方式の画像信号（以下、５２５ｉ信号と表記する）等が用いられる。また、高解像度の画像信号としては、例えばライン数が５２５本でプログレッシブ方式の出力映像信号（以下、５２５ｐ信号と表記する）等が用いられる。さらに、出力画像信号における水平方向の画素数が入力画像信号における水平方向の画素数の２倍とされる。
【００２５】
かかる画像情報変換処理においては、本願出願人の提案に係るクラス分類適応処理によって解像度を高めようとしている。クラス分類適応処理は、従来の補間処理によって高解像度信号を形成するものとは異なる。すなわち、クラス分類適応処理は、入力ＳＤ信号の信号レベルの３次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測計数値を所定の記憶部に格納し、予測式に基づいた演算によって最適な推定値を出力する処理である。クラス分類適応処理によって、入力ＳＤ信号の解像度以上の解像度を得ることが可能となる。
【００２６】
図５は、１フィールドの画像の一部を拡大することによって、入力ＳＤ信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換する画像情報変換処理における画素の配置の一例を示すものである。大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが５２５ｐ信号の画素を示す。ここで、図５は、あるフレームの奇数フィールドの画素配置を示している。他のフィールド（偶数フィールド）では、５２５ｉ信号のラインが空間的に０．５ラインずれたものとなる。図５から分かるように、５２５ｉ信号のラインと同一位置のラインデータｙ１（黒塗りの小さいドットとして示した）および５２５ｉ信号の上下のラインの中間位置のラインデータｙ２（白抜きの小さいドットとして示した）とが形成されることによって５２５ｐ信号が予測生成される。
【００２７】
ここで、ｙ１は既に存在するポイントであるのに対し、ｙ２は新たに予測することによって生成されるポイントである。従って、ｙ２を予測生成する方がｙ１を予測生成するよりも困難である。このため、ｙ２を予測生成する場合には、ｙ１を予測生成する場合よりも多くのクラス数を割り当てる必要がある。また、例えば装置に備えられるメモリー資産が充分な量を有しない場合、または、より少ないクラス数を用いて、効率的な画像情報変換処理を行う場合等においては、クラスの総数をより少なくするようなクラス値の変換を行う必要がある。これらの観点から、以下に説明する画像情報変換装置は、ｙ１，ｙ２の予測生成を効率的に、また、きめ細かく行えるように、クラス数を適切に割り当てるようにしたものである。
【００２８】
以下、かかる画像情報変換装置の一例について適宜図面を参照して説明する。この一例は、入力ＳＤ信号としての５２５ｉ信号を、出力画像信号としての５２５ｐ信号に変換する画像情報変換処理を行うものである。図６は、画像情報変換処理系の構成の一例を示すブロック図である。入力ＳＤ信号（５２５ｉ信号）がタップ選択回路１、１０、２０に供給される。
【００２９】
タップ選択回路１は、ラインデータｙ１，ｙ２を予測推定するための演算処理（後述する式（１）に従う演算処理）に必要とされる複数の画素が含まれる領域を切り出し、切り出した領域からラインデータｙ１，ｙ２を予測推定するために必要なＳＤ画素（以下、予測タップと表記す）を選択する。選択される予測タップが推定予測演算回路４、５に供給される。ここで、予測タップとしては、後述する空間クラスタップと同様なものを使用することができる。但し、予測精度を向上させるために、クラスに対応する予測タップ位置情報によって予測タップを選択するようにしても良い。
【００３０】
また、推定予測演算回路４、５には、後述する係数メモリ４１からラインデータｙ１，ｙ２を予測推定するために必要な予測係数を供給される。推定予測演算回路４、５は、タップ選択回路１から供給される予測タップ、および係数メモリ４１から供給される予測係数に基づいて、以下の式（１）に従って画素値ｙを順次予測生成する。
【００３１】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （１）
ここで、ｘ1 ，‥‥，ｘn が各予測タップであり、ｗ1 ，‥‥，ｗn が各予測係数である。すなわち、式（１）は、ｎ個の予測タップを用いて画素値ｙを予測生成するための式である。画素値ｙの列として、推定予測演算回路４においてはラインデータｙ１が予測生成され、推定予測演算回路５においてはラインデータｙ２が予測生成される。予測係数ｗ1 ，‥‥，ｗn は、ｙ１，ｙ２についてそれぞれ相違したものである。
【００３２】
ここでは、後述するように、ラインデータｙ１を予測するために、５個の予測タップを使用し（すなわち、ｎ＝５）、ラインデータｙ２を予測するために、６個の予測タップを使用する（すなわち、ｎ＝６）。このようにタップ数が相違し、予測係数も相違するので、図６では、２個の推定予測演算回路４および５が示されている。これらの推定予測演算回路４および５に対して、上述したこの発明による予測演算器を適用することができる。この発明による予測演算器は、予測タップ数の相違に対処することができるので、ハードウエアの構成としては、同一の構成とすることができる。このように、この発明による予測演算器は、汎用性を有するので、推定予測演算回路の集積回路の設計の労力が少なくできる。
【００３３】
推定予測演算回路４、５は、それぞれ、ラインデータｙ１、ｙ２を線順序変換回路６に供給する。線順序変換回路６は、供給されるラインデータにライン倍速処理を施し、高解像度信号を生成する。この高解像度信号が画像情報変換処理系の最終的な出力画像信号とされる。図示しないが、出力画像信号がＣＲＴディスプレイに供給される。ＣＲＴディスプレイは、出力画像信号（５２５ｐ信号）を表示することが可能なように、その同期系が構成されている。また、入力ＳＤ信号としては、放送信号、またはＶＴＲ等の再生装置の再生信号が供給される。すなわち、画像情報変換装置をテレビジョン受像機等に内蔵することができる。
【００３４】
一方、タップ選択回路１０、１１は、入力ＳＤ信号からそれぞれ、ラインデータｙ１，ｙ２についての空間クラスを検出するために必要なＳＤ画素（以下、空間クラスタップと表記する）を選択する。また、タップ選択回路２０は、入力ＳＤ信号から動きクラスを検出するために必要なＳＤ画素（以下、動きクラスタップと表記する）動きクラスタップを選択する。タップ選択回路１０、１１の出力が空間クラス検出回路１２、１３にそれぞれ供給され、また、タップ選択回路２０の出力が動きクラス検出回路２１に供給される。
【００３５】
空間クラス検出回路１２、１３は、供給される空間クラスタップに基づいて、それぞれｙ１，ｙ２についての空間クラス値を検出する。そして、検出した空間クラス値をそれぞれクラス合成回路３０、３１に供給する。また、動きクラス検出回路２１は、供給される動きクラスタップに基づいて動きクラス値を検出し、検出した動きクラス値をクラス合成回路３０、３１に供給する。
【００３６】
クラス合成回路３０、３１は、供給される空間クラス値と、動きクラス値とを合成する。クラス合成回路３０、３１の出力は、それぞれ、クラス値変換回路３２、３３に供給される。クラス値変換回路３２、３３は、それぞれ、クラス合成回路３０、３１の出力に後述するようなクラス値変換処理を施す。クラス値変換処理により、クラスの総数が削減される。
【００３７】
変換されたクラス値が係数メモリ４１に供給される。係数メモリ４１は、後述する学習によって予め決められた予測係数を記憶し、記憶した予測係数の内でクラス値変換回路３２、３３から供給されるクラス値によって指定されるものを推定予測演算回路４、５に対して出力する。このような動作を可能とするためには、例えば、クラス値変換によって得られるクラス値によって指定されるアドレスに従って予測係数を記憶する等の方法を用いれば良い。
【００３８】
ここで、空間クラス検出についてより詳細に説明する。一般に、空間クラス検出回路は、空間クラスタップのレベル分布のパターンに基づいて画像データのレベル分布の空間的パターンを検出し、検出した空間的パターンに基づいて空間クラス値を生成する。この場合、クラス数が膨大になることを防ぐために、各画素について８ビットの入力画素データをより少ないビット数のデータに圧縮するような処理を行う。このような情報圧縮処理の一例として、ＡＤＲＣ(Adaptive Dynamic Range Coding) を用いることができる。また、情報圧縮処理として、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を用いることもできる。
【００３９】
ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recoder)向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一例では、ＡＤＲＣを空間クラス分類のコード発生に使用している。ＡＤＲＣは、空間クラスタップのダイナミックレンジをＤＲ，ビット割当をｎ，空間クラスタップの画素のデータレベルをＬ，再量子化コードをＱとして、以下の（２）により、最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００４０】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝｛（Ｌ−ＭＩＮ＋０．５）×２／ＤＲ｝ （２）
但し、｛ ｝は切り捨て処理を意味する。
【００４１】
上述したように、ラインデータｙ２についてのクラス数は、ラインデータｙ１についてのクラス数よりも大きい。この点について具体的に説明する。まず、ｙ１についての空間クラス検出に使用される空間クラスタップの配置の一例を図７に示す。図７では、水平方向（左→右）に時間が進行する場合に、各フィールド内の画素を垂直方向に並べて示されている。
【００４２】
図示されているフィールドを、左から順にＦ−１／ｏ、Ｆ−１／ｅ、Ｆ／ｏ、Ｆ／ｅと表記する。なお、Ｆ−１／ｏは、「Ｆ−１番目のフレームの奇数（ｏｄｄ）番目の走査線からなるフィールド」である旨を示す表記である。同様に、Ｆ−１／ｅは、「Ｆ−１番目のフレームの偶数（ｅｖｅｎ）番目の走査線からなるフィールド」を意味し、Ｆ／ｏは、「Ｆ番目のフレームの奇数番目の走査線からなるフィールド」を意味し、また、Ｆ／ｅは、「Ｆ番目のフレームの偶数番目の走査線からなるフィールド」を意味する。
【００４３】
かかる一例においては、フィールドＦ／ｏ内のラインデータｙ１についての空間クラスタップとして、フィールドＦ−１／ｅ内のＴ４，Ｔ５，およびフィールドＦ／ｏ内のＴ１、Ｔ２、Ｔ３の全部で５個の画素値が使用される。但し、空間クラスタップの配置はこれに限定されるものでは無い。例えば、空間クラスタップとして、水平方向の複数の入力画素を使用しても良い。
【００４４】
同様に、ｙ２についての空間クラス検出に使用される空間クラスタップの配置の一例を図８に示す。図８中での表記は図７と同様である。かかる一例においては、フィールドＦ／ｏ内のラインデータｙ２についての空間クラスタップとして、フィールドＦ−１／ｅ内のＴ６、およびフィールドＦ／ｏ内のＴ２、Ｔ３、Ｔ４，Ｔ５，およびフィールドＦ／ｅ内のＴ１の全部で６個の画素値が使用される。但し、空間クラスタップの配置はこれに限定されるものでは無い。例えば、空間クラスタップとして、水平方向の複数の入力画素を使用しても良い。なお、図７および図８にそれぞれ示される空間クラスタップと同一の予測タップがラインデータｙ１およびｙ２を予測するのに使用される。
【００４５】
次に、動きクラス検出についてより詳細に説明する。動きクラス検出回路２１は、供給される動きクラスタップに基づいて、以下の式（３）に従ってフレーム間差分絶対値の平均値ｐａｒａｍを計算する。そして、計算したｐａｒａｍの値に基づいて、動きクラス値を検出する。
【００４６】
【数１】
式（３）においてｎは動きクラスタップ数であり、例えばｎ＝６と設定することができる（図９参照）。そして、ｐａｒａｍの値と、予め設定されたしきい値とを比較することによって動きの指標である動きクラス値が決定される。例えば、ｐａｒａｍ≦２の場合には動きクラス値０、２＜ｐａｒａｍ≦４の場合には動きクラス値１、４＜ｐａｒａｍ≦８の場合には動きクラス値２、ｐａｒａｍ＞８の場合には動きクラス値３というように動きクラス値が生成される。動きクラス値０が動きが最小（静止）であり、動きクラス値１、２、３となるに従って動きが大きいものと判断される。なお、動きベクトルを検出し、検出した動きベクトルに基づいて動きクラスを検出しても良い。
【００４８】
動きクラス検出に使用される動きクラスタップの配置の一例を図９に示す。かかる一例においてフィールドＦ／ｏ内のラインデータｙ１およびｙ２を予測する際に使用される動きクラスタップは、フィールドＦ／ｏ内の画素ｎ１，ｎ３，ｎ５，およびフィールドＦ／ｅ内の画素ｎ２，ｎ４，ｎ６，並びにフィールドＦ−１／ｅ内の画素ｍ２，ｍ４，ｍ６，さらに、フィールドＦ−１／ｏ内の画素ｍ１，ｍ３，ｍ５である。ここで、画素ｍ１と画素ｎ１，画素ｍ２と画素ｎ２，‥‥，画素ｍ６と画素ｎ６の垂直方向の位置が一致している。但し、動きクラスタップの配置はこれに限定されるものでは無い。
【００４９】
図７および図８に示したような空間クラスタップ配置を使用して、１ビットＡＤＲＣでクラス分類する場合には、ｙ１，ｙ２について動きクラス値を共通とし、動きクラス値の分類数を４とすると、クラス数はそれぞれ以下のようになる。
【００５０】
ｙ１についてのクラス数 ＝ ２5 ×４ ＝ １２８
ｙ２についてのクラス数 ＝ ２6 ×４ ＝ ２５６
この場合、合計のクラス数は３８４である。但し、例えば画像情報変換処理系に備えられるメモリー資産（図６中では係数メモリ４１）がこのクラス数に対応するために充分な記憶容量を有しない場合、または、より少ないクラス数で効率的に画像情報変換処理を行う場合等においては、クラスの総数を削減する必要がある。そこで、クラス値変換処理を行うことによってｙ１，ｙ２についてのクラス数を削減する。図１０は、この場合のクラス総数の削減について模式的に示すものである。なお、図１０中の仮予測係数については後述する。
【００５１】
次に、学習、すなわち適切な予測係数を設定する処理について以下に説明する。まず、学習の第１段階である、クラス値変換テーブルの作成に係る処理系の構成の一例を図１１に示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ５１、および正規方程式加算回路６１、６２に供給される。間引きフィルタ５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００５２】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００５３】
ここで、間引きフィルタ５１に対する入力ＳＤ信号の一例としての５２５ｐ信号と、間引きフィルタ５１からの出力画像信号の一例としての５２５ｉ信号との間の画素の空間的関係を図１２に示す。５２５ｐ信号の奇数番目のフィールドでは、偶数番目のラインが間引かれ、また、奇数番目のラインにおいて画素が水平方向に交互に間引かれる。この間引き処理の様子を、図１２では、第１フィールドと第３フィールドについて図示した。一方、５２５ｐ信号の奇数番目のフィールドでは、奇数番目のラインが間引かれ、また、偶数番目のラインにおいて画素が水平方向に交互に間引かれる。この間引き処理の様子を、図１２では、第２フィールドについて図示した。
【００５４】
図１１において、間引きフィルタ５１が生成するインターレス画像信号がタップ選択回路１０１、１１０、１１１および１２０に供給される。タップ選択回路１０１は、後述する正規方程式の計算において使用され得る予測タップを選択し、選択した予測タップを正規方程式加算回路６１、６２に供給する。一方、タップ選択回路１１０、１１１は、それぞれ、ラインデータｙ１，ｙ２についての空間クラスタップを選択し、選択した空間クラスタップをそれぞれ、空間クラス検出回路１１２、１１３に供給する。さらに、タップ選択回路１２０は、動きクラスタップを選択し、選択した動きクラスタップを動きクラス検出回路１２１に供給する。
【００５５】
空間クラス検出回路１１２、１１３は、空間クラスタップのデータをＡＤＲＣによって圧縮し、それぞれ、ｙ１，ｙ２についての空間クラス値を独立に検出する。また、動きクラス検出回路１２１は、動きクラス値を検出する。空間クラス検出回路１１２の出力と動きクラス検出回路１２１の出力とがクラス合成回路１３０に供給される。また、空間クラス検出回路１１３の出力と動きクラス検出回路１２１の出力とがクラス合成回路１３１に供給される。クラス合成回路１３０、１３１は、それぞれｙ１，ｙ２についての空間クラス値と動きクラス値とを合成する。クラス合成回路１３０、１３１の出力が正規方程式加算回路６１、６２に供給される。
【００５６】
正規方程式加算回路６１は、入力ＳＤ信号、タップ選択回路１０１の出力、およびクラス合成回路１３０の出力に基づいてｙ１の予測生成に係る予測係数を解とする正規方程式に係るデータを得るための加算を行う。同様に、正規方程式加算回路６２は、入力ＳＤ信号、タップ選択回路１０１の出力、およびクラス合成回路１３１の出力に基づいてｙ２の予測生成に係る予測係数を解とする正規方程式に係るデータを得るための加算を行う。
【００５７】
正規方程式加算回路６１、６２は、それぞれ、算出したデータを仮予測係数決定回路６３に供給する。仮予測係数決定回路６３は、供給されるデータに基づき、正規方程式を解く計算処理を行って、ｙ１，ｙ２の予測生成に係る仮予測係数を算出する。そして、算出した仮予測係数を近接係数クラス統合処理部６４に供給する。ここで、仮予測係数と称するのは、最終的な予測係数は、後述するように、クラス統合の結果として決定されるからである。正規方程式を解くための計算処理は、後述する予測係数決定回路２６３（図１３参照）における計算処理と同様である。
【００５８】
近接係数クラス統合処理部６４は、供給される仮予測係数の間の距離ｄを、例えば以下の式（４）に従って計算する。
【００５９】
【数２】
ここで、ｋl 、ｋl ’は相異なるクラスの予測係数を示す。また、ｌは、予測タップの番号を示す。また、ｎが予測タップの総数を表す。
【００６１】
さらに、近接係数クラス統合処理部６４は、上述したようにして求めたクラス間の予測係数の距離を所定のしきい値と比較し、互いの距離がしきい値より小さくなるような複数個のクラスを１つのクラスに統合する。クラスを統合することによってクラスの総数を減らすことができる。この際に、あるクラスと他の幾つかのクラスとの間の距離が共にしきい値より小さくなる場合には、距離が最小となるクラス同志を統合するようにすれば良い。上述の所定のしきい値を大きく設定する程、クラス数を削減することができる。従って、しきい値を可変することにより、クラス値変換処理によって得られるクラスの総数を調整することができる。
【００６２】
この際に、画像情報変換処理系に備えられるメモリ資産（図６中では係数メモリ４１）の記憶容量等の条件に応じて、ｙ１、ｙ２について的確なクラス数を割り振るようにすることにより、メモリ資産をより有効に使用できる、または、より少ないクラス数で効率的に画像情報変換処理を行うことができる、等の効果を得ることができる。
【００６３】
そして、近接係数クラス統合処理部６４は、クラスの統合に関する情報をクラス値変換テーブル生成部６５に供給する。クラス値変換テーブル生成部６５は、供給される情報に基づいてクラス値変換テーブルを生成する。このクラス値変換テーブルは、上述したクラス値変換回路３２、３３（図６参照）、および後述するクラス値変換回路８１、８２（図１３参照）に供給され、記憶される。そして、これらの構成要素の動作において参照される。
【００６４】
次に、学習の第２段階としての予測係数の算出処理について詳細に説明する。図１３に、予測係数を算出する予測係数算出処理系の構成の一例を示す。出力画像信号と同じ信号形式を有する既知の信号（例えば５２５ｐ信号）が間引きフィルタ２５１、正規方程式加算回路２６１、２６２に供給される。間引きフィルタ２５１は、水平方向および垂直方向で画素数がそれぞれ１／２とされ、全体として供給される信号の１／４の画素数を有するＳＤ信号（例えば５２５ｉ信号）を生成する。
【００６５】
かかる処理として、例えば、入力する画像信号について垂直方向の周波数が１／２になるように垂直間引きフィルタによって画素を間引き、さらに、水平方向の周波数が１／２になるように水平間引きフィルタによって画素を間引く等の処理が行われる。間引きフィルタ５１の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。間引きフィルタ２５１が生成するＳＤ信号がタップ選択回路２０１、２１０、２１１、２２０に供給される。間引きフィルタ２５１の特性を変えることによって学習の特性を変え、それによって、変換して得られる画像の画質を制御することができる。
【００６６】
タップ選択回路２０１は、予測タップを選択し、選択した予測タップを正規方程式加算回路２６１、２６２に供給する。一方、タップ選択回路２１０、２１１が選択する，ｙ１，ｙ２についての空間クラスタップがそれぞれ空間クラス検出回路２１２、２１３に供給される。さらに、タップ選択回路２２０が選択する予測タップが動きクラス検出回路２２１に供給される。
【００６７】
空間クラス検出回路２１２、２１３は、供給される空間クラスタップに基づいて、それぞれｙ１，ｙ２についての空間クラス値を検出する。また、動きクラス検出回路２２１は、供給される動きクラスタップに基づいて、動きクラス値を検出する。空間クラス検出回路２１２の出力と動きクラス検出回路２２１の出力とがクラス合成回路２３０に供給される。また、空間クラス検出回路２１２の出力と動きクラス検出回路２２１の出力とがクラス合成回路２３１に供給される。クラス合成回路２３０、２３１は、それぞれｙ１，ｙ２についてクラス値を合成し、各クラス値をクラス値変換処理部８１、８２に供給する。
【００６８】
クラス値変換処理部８１、８２は、上述したようにして生成されるクラス値変換テーブルを記憶しており、かかるクラス値変換テーブルを参照して、クラス合成回路２３０、２３１の出力に対してクラス値変換を施す。そして、クラス値変換の結果を、それぞれ、正規方程式加算回路２６１、２６２に供給する。
【００６９】
正規方程式加算回路２６１、２６２は、予測係数を解とする正規方程式を解くための計算処理に使用されるデータを算出する。すなわち、正規方程式加算回路２６１は、入力ＳＤ信号、タップ選択回路２０１の出力、およびクラス値変換回路８１の出力に基づいて加算処理を行うことにより、ｙ１の予測生成に係る予測係数を解とする正規方程式を解くために必要なデータを算出する。また、正規方程式加算回路２６２は、入力ＳＤ信号、タップ選択回路２０１の出力、およびクラス値変換回路８２の出力に基づいて加算処理を行うことにより、ｙ２の予測生成に係る予測係数を解とする正規方程式を解くために必要なデータを算出する。
【００７０】
正規方程式加算回路２６１、２６２が算出したデータが予測係数決定回路２６３に供給される。予測係数決定回路２６３は、供給されるデータに基づいて正規方程式を解くための計算処理を行い、ラインデータｙ１，ｙ２の予測生成に係る予測係数を算出する。算出される予測係数が係数メモリ８４に供給され、記憶される。
【００７１】
予測係数の決定に係る処理、すなわち正規方程式加算回路２６１、２６２、および予測係数決定回路２６３が行う処理について、以下、より詳細に説明する。まず、正規方程式について説明する。上述したように、ｎ個の予測タップを使用して、ラインデータｙ１，ｙ２を構成する各画素を式（１）によって順次予測生成することができる。
【００７２】
式（１）において、学習前は予測係数ｗ1 ，‥‥，ｗn が未定係数である。学習は、クラス毎に複数の信号データに対して行う。信号データの総数をｍと表記する場合、式（１）に従って、以下の式（５）が設定される。
【００７３】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （５）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（６）で定義して、式（７）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００７４】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （６）
（ｋ＝１，２，‥‥ｍ）
【００７５】
【数３】
式（７）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥）で偏微分し（式（８））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００７７】
【数４】
式（８）から各予測係数ｗi を定める具体的な手順について説明する。式（９）、（１０）のようにＸji，Ｙi を定義すると、式（８）は、式（１１）の行列式の形に書くことができる。
【００７９】
【数５】
【数６】
【数７】
式（１１）が一般に正規方程式と呼ばれるものである。正規方程式加算回路２６１、２６２のそれぞれは、クラス値変換回路８１、８２から供給されたクラス値、予測タップ選択回路２０１から供給される予測タップ、および入力画像信号と同じ信号形式を有する既知の画像信号を用いて、正規方程式データ、すなわち、式（９）、（１０）に従うＸji，Ｙi の値を算出する。そして、算出した正規方程式データを予測係数決定部４３に供給する。予測係数決定部４３は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って予測係数ｗi を算出する。
【００８３】
なお、以上のように生成される予測係数は、クラス値変換が施されたデータに基づいて算出されるのに対し、図１１を参照して上述した仮予測係数は、クラス値変換が未だ施されていないデータに基づいて算出される。かかる点以外では、両者は正規方程式の解として全く同様な計算処理によって算出される。従って、仮予測係数の決定に係る処理、すなわち図１１中の正規方程式加算回路６１、６２、および予測係数決定回路６３が行う処理も、全く同様なものである。
【００８４】
すなわち、図１１では、クラス合成回路１３０、１３１から供給されるクラス値、予測タップ選択回路１０１から供給される予測タップ、および出力画像信号と同じ信号形式を有する既知の入力画像信号（例えば５２５ｐ信号）を用いて、正規方程式加算回路６１、６２のそれぞれが正規方程式データ、すなわち、式（９）、（１０）に従うＸji，Ｙi の値を算出する。そして、算出した正規方程式データを仮予測係数決定部６３に供給する。仮予測係数決定部６３は、正規方程式データに基づいて、掃き出し法等の一般的な行列解法に従って正規方程式を解くための計算処理を行って仮予測係数を算出する。
【００８５】
このように、仮予測係数を算出し、それに基づいてクラス値変換テーブルを生成し、さらに、クラス値変換テーブルを参照してクラス値変換を行いながら予測係数を算出することによって、学習が行なわれる。その結果として、予測係数メモリ８４には、クラス毎に、プログレッシブ画像の注目画素を推定するための、統計的に最も真値に近いと推定ができる予測係数が格納される。予測係数メモリ８４に格納された予測係数は、図６等を参照して上述した画像情報変換処理系内の予測係数メモリ４１にロードされる。
【００８６】
なお、図９示したような画像信号変換処理系、図１１に示したようなクラス値変換テーブルの作成に係る処理系、および図１３に示した予測係数の決定に係る処理系は、各々別個に設けても良いし、スイッチ等を適宜設けることによって構成要素を共通に使用するように構成しても良い。但し、これらの処理系を別個に設ける場合には、学習の有効性を担保するため、同一の機能を有する構成要素は、同一の動作特性を有するものを使用する必要がある。例えばタップ選択回路１、５１、２０１は、同一の動作特性を有する必要がある。構成要素を共通に使用する場合には、スイッチング等に起因して装置全体の処理が複雑化するが、装置全体に関わる回路規模、コスト等の削減に寄与することができる。
【００８７】
また、タップ選択回路２０１が出力する予測タップの個数は、画像情報変換処理系において使用される予測タップの個数より大きいものとされる。従って、図１３中の予測係数決定部２６３では、クラス毎により多くの係数が求まる。このようにして求まった予測係数の中で、絶対値が大きいものから順に使用する数の予測係数が選択される。
【００８８】
次に、線順序変換回路６が行うライン倍速処理について説明する。上述したようにして推定予測演算回路４、５が生成する５２５ｐ信号の水平周期は、画像情報変換処理がなされる前の５２５ｉ信号の水平周期と同一である。線順序変換回路６は、ラインメモリを有し、水平周期を２倍とするライン倍速処理を行う。図１４は、ライン倍速処理をアナログ波形を用いて示すものである。推定予測演算回路４、５によって、ラインデータｙ１およびｙ２が同時に予測生成される。
【００８９】
ラインデータｙ１には、順にａ１，ａ２，ａ３‥‥のラインが含まれ、ラインデータｙ２には、順にｂ１，ｂ２，ｂ３‥‥のラインが含まれる。線順序変換回路５００内には、ラインダブラ（図示せず）とスイッチング回路（図示せず）とが設けられている。ラインダブラは、各ラインのデータを時間軸方向に１／２に圧縮し、圧縮されたデータをスイッチング回路に供給する。スイッチング回路は、供給されるデータを交互に選択して出力する。以上のようにして、線順次出力（ａ０，ｂ０，ａ１，ｂ１，‥‥）が形成される。
【００９０】
なお、上述した構成では、現存ライン上の出力画素値（ラインデータＬ１）と、作成ライン上の出力画素値（ラインデータＬ２）とを並列構成でもって作成するようにしている。これに対し、メモリを追加し、回路の動作速度が速ければ時分割処理でラインデータｙ１およびｙ２を順に生成すると共に、ライン倍速処理を行うように構成しても良い。
【００９１】
また、上述した画像情報変換装置の一例は、５２５ｉ信号を５２５ｐ信号に変換するものであるが、５２５本のライン数は、一例であって、他のライン数であっても良い。例えば、入力ＳＤ信号における水平方向の画素数に対して、２倍以外の画素数を含むラインからなる出力画像信号を予測生成するようにしても良い。より具体的には、出力画像信号として１０５０ｉ信号、すなわち走査線数が１０５０本でインターレス方式の画像信号を予測生成するようにしても良い。図１５は、１フィールドの画像の一部を拡大することによって、５２５ｉ信号と、１０５０ｉ信号とにおける画素の配置を示すものである。大きなドットが５２５ｉ信号の画素を示し、また、小さなドットが１０５０ｉ信号の画素を示す。なお、図１５の実線で示したものは、あるフレームの奇数フィールドの画素配置である。他のフィールド（偶数フィールド）のラインは、点線で示すように空間的に０．５ラインずれたものであり、ラインデータｙ１’，ｙ２’の画素が形成される。
【００９２】
なお、この発明による予測演算装置は、クラス分類適応処理を使用した画像情報変換装置に限らず、複数の画素データの線型１次結合により予測値または補間値を生成する他の装置に対して適用することができる。
【００９３】
【発明の効果】
この発明は、係数データまたはタップデータの一方をゼロデータとすることによって、そのタップに関する演算動作を休止することができ、タップ数の変化に柔軟に対応することができる。また、バイパス信号線、遅延回路を設けずに、積和器をスルーしたタップデータを取り出すことができる。
【００９４】
この発明による予測演算装置を使用した画像情報変換装置は、入力画像信号の走査線との位置関係が異なる複数種類の注目点（具体的には、入力画像信号の走査線上に位置するｙ１と、入力画像信号の走査線の間に位置するｙ２等）の各々について決定されるクラスの数を、注目点の入力画像信号の走査線に対する位置関係に応じて（例えば、予測生成がより困難なｙ２に対してより多くのクラス数を割当てる等）、削減するようにしたものである。
【００９５】
このため、装置内のメモリ資産の記憶容量に応じてクラス数を設定できるので、メモリ資産の記憶容量が小さい場合にも的確な処理を行うことが可能となる。また、より少ないクラス数の下で効率的な処理を行う場合にも、この発明を適用することが有効となる。
【００９６】
また、注目点と入力画像信号の走査線との位置関係の違い等に起因する（具体的にはｙ１とｙ２の間での）予測生成の困難さに応じて、各注目点に対して適切なクラス数が割り当てられる。このため、メモリ資産の記憶容量が限られている場合にも、きめ細かく、また効率的な画像情報変換処理を行うことが可能となる。
【図面の簡単な説明】
【図１】この発明を適用することができる予測器を概略的に示す略線図である。
【図２】この発明の説明の参考に用いる予測器の一例のブロック図である。
【図３】この発明による予測器の一実施形態のブロック図である。
【図４】この発明による予測器の他の実施形態のブロック図である。
【図５】この発明が適用される画像情報変換装置の一例によってなされる画像情報変換処理における画素の配置の一例を示す略線図である。
【図６】この発明が適用される画像情報変換装置の一例における画像情報変換処理系の構成の一例を示すブロック図である。
【図７】この発明が適用される画像情報変換装置の一例における、ラインデータｙ１についての空間クラスタップ配置の一例を示す略線図である。
【図８】この発明が適用される画像情報変換装置の一例における、ラインデータｙ２についての空間クラスタップ配置の一例を示す略線図である。
【図９】この発明が適用される画像情報変換装置の一例における、動きクラスタップ配置の一例を示す略線図である。
【図１０】この発明が適用される画像情報変換装置の一例におけるクラス統合について説明するための略線図である。
【図１１】この発明が適用される画像情報変換装置の一例におけるクラス値変換テーブル生成処理系の構成の一例を示すブロック図である。
【図１２】クラス値変換テーブル生成処理系および予測係数算出処理系において使用される間引きフィルタによる処理について説明するための略線図である。
【図１３】この発明が適用される画像情報変換装置の一例における、予測係数算出処理系の構成の一例を示すブロック図である。
【図１４】ライン倍速処理について説明するための略線図である。
【図１５】この発明が適用される画像情報変換装置の他の例における画素の配置の一例を示す略線図である。
【符号の説明】
１・・・予測タップ選択回路、４，５・・・推定予測演算回路、 ３２、３３・・・クラス値変換回路、４１・・・係数メモリ、６４・・・近接係数クラス統合、６５・・・クラス値変換テーブル生成部、８１、８２・・・クラス値変換回路、１８、１９・・・クラス値変換回路、３０１・・・積和器、３０２1 〜３０２n ・・・乗算器、３０３・・・加算器、Ｓ１〜Ｓｎ・・・セレクタ、Ｇ１〜Ｇｎ・・・アンド回路
Claims (5)
- 入力画像信号から走査線構造の異なる複数の出力画像信号を形成するようにした画像情報変換装置において、
入力画像信号中に存在するラインと同一位置となる出力画像信号の第１のラインの画素を生成するために、上記生成される画素の周辺に位置する上記入力画像信号の第１の画素をｍ個選択する第１のデータ選択手段と、
上記ｍ個の第１の画素のレベル分布を検出し、上記検出したレベル分布から第１のクラスを決定する第１のクラス決定手段と、
上記入力画像信号中に存在するライン間の位置となる上記出力画像信号の第２のラインの画素を生成するために、上記生成される画素の周辺に位置する上記入力画像信号の第２の画素をｎ個（ｎ＞ｍ）選択する第２のデータ選択手段と、
上記ｎ個の第２の画素のレベル分布を検出し、上記検出したレベル分布から第２のクラスを決定する第２のクラス決定手段と、
上記第１および第２のクラスのそれぞれに対応して予め決定され、上記出力画像信号を推定するための第１および第２の係数データを記憶し、上記記憶した第１および第２の係数データの内から、上記第１および第２のクラスのそれぞれに対応する第１および第２の係数データをそれぞれ出力するメモリ手段と、
上記入力画像信号から生成すべき画素の周辺となる第３の画素を予め設定された個数選択する第３のデータ選択手段と、
上記第１の係数データと上記第３の画素とを積和演算する線形推定式によって、上記第１のラインの画素を生成し、上記第１の係数データと上記積和演算される上記第３の画素がない場合、上記第１の係数データおよび上記第３の画素の少なくとも一方をゼロデータとする第１の信号生成手段と、
上記第２の係数データと上記第３の画素とを積和演算する線形推定式によって、上記第２のラインの画素を生成し、上記第２の係数データと上記積和演算される上記第３の画素がない場合、上記第２の係数データおよび上記第３の画素の少なくとも一方をゼロデータとする第２の信号生成手段と、
上記第１および第２の信号生成手段に対して接続され、変換画像を指定された走査線構造へ変換するための走査変換手段とを有し、
上記第１および第２の係数データは、上記第１および第２のクラス毎に予め学習によって求められて上記メモリ手段に記憶され、
上記学習は、
上記出力画像信号と同一の画素数を有する教師画像信号を間引き処理することによって、上記入力画像信号と同一の画素数を有する中間画像信号を形成し、上記中間画像信号の画素の近傍の上記教師画像信号の複数の画素の対応する位置の画素の値を重み付け加算することによって生徒画像信号を形成し、
上記積和演算によって、上記生徒画像信号から上記教師画像信号を生成した時に、生成された画素値と画素の真値との誤差を最小にするように、求める処理である
画像情報変換装置。 - さらに、上記出力画像信号の生成すべき画素の周辺に位置する入力画像信号の複数のフィールドから複数の第４の画素を選択する第４のデータ選択手段と、
上記複数の第４の画素のレベル分布を検出し、上記検出したレベル分布から動きクラスを決定する動きクラス決定手段と、
上記第１のクラスと上記動きクラスとを統合し、第１の統合クラスを生成する第１のクラス統合手段と、
上記第２のクラスと上記動きクラスとを統合し、第２の統合クラスを生成する第２のクラス統合手段とを有し、
上記メモリ手段から上記第１および第２の統合クラスのそれぞれに対応する第１および第２の係数データをそれぞれ出力する請求項１に記載の画像情報変換装置。 - 請求項１において、
インターレス方式入力画像信号からプログレッシブ方式出力画像信号を形成するようにしたことを特徴とする画像情報変換装置。 - 請求項１において、
さらに、水平方向に上記入力画像信号の２倍の画素数の上記出力画像信号を生成することを特徴とする画像情報変換装置。 - 入力画像信号から走査線構造の異なる複数の出力画像信号を形成するようにした画像情報変換方法において、
入力画像信号中に存在するラインと同一位置となる出力画像信号の第１のラインの画素を生成するために、上記生成される画素の周辺に位置する上記入力画像信号の第１の画素をｍ個選択する第１のデータ選択ステップと、
上記ｍ個の第１の画素のレベル分布を検出し、上記検出したレベル分布から第１のクラスを決定する第１のクラス決定ステップと、
上記入力画像信号中に存在するライン間の位置となる上記出力画像信号の第２のラインの画素を生成するために、上記生成される画素の周辺に位置する上記入力画像信号の第２の画素をｎ個（ｎ＞ｍ）選択する第２のデータ選択ステップと、
上記ｎ個の第２の画素のレベル分布を検出し、上記検出したレベル分布から第２のクラスを決定する第２のクラス決定ステップと、
上記第１および第２のクラスのそれぞれに対応して予め決定され、上記出力画像信号を推定するための第１および第２の係数データをメモリ手段に記憶し、上記記憶した第１および第２の係数データの内から、上記第１および第２のクラスのそれぞれに対応する第１および第２の係数データをそれぞれ出力するステップと、
上記入力画像信号から生成すべき画素の周辺となる第３の画素を予め設定された個数選択する第３のデータ選択ステップと、
上記第１の係数データと上記第３の画素とを積和演算する線形推定式によって、上記第１のラインの画素を生成し、上記第１の係数データと上記積和演算される上記第３の画素がない場合、上記第１の係数データおよび上記第３の画素の少なくとも一方をゼロデータとする第１の信号生成ステップと、
上記第２の係数データと上記第３の画素とを積和演算する線形推定式によって、上記第２のラインの画素を生成し、上記第２の係数データと上記積和演算される上記第３の画素がない場合、上記第２の係数データおよび上記第３の画素の少なくとも一方をゼロデータとする第２の信号生成ステップと、
上記第１および第２の信号生成ステップに対して接続され、変換画像を指定された走査線構造へ変換するための走査変換ステップとを有し、
上記第１および第２の係数データは、上記第１および第２のクラス毎に予め学習によって求められてメモリ手段に記憶され、
上記学習は、
上記出力画像信号と同一の画素数を有する教師画像信号を間引き処理することによって、上記入力画像信号と同一の画素数を有する中間画像信号を形成し、上記中間画像信号の画素の近傍の上記教師画像信号の複数の画素の対応する位置の画素の値を重み付け加算することによって生徒画像信号を形成し、
上記積和演算によって、上記生徒画像信号から上記教師画像信号を生成した時に、生成された画素値と画素の真値との誤差を最小にするように、求める処理である
画像情報変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25158198A JP4300603B2 (ja) | 1998-09-04 | 1998-09-04 | 画像情報変換装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25158198A JP4300603B2 (ja) | 1998-09-04 | 1998-09-04 | 画像情報変換装置および方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000083225A JP2000083225A (ja) | 2000-03-21 |
| JP2000083225A5 JP2000083225A5 (ja) | 2005-10-27 |
| JP4300603B2 true JP4300603B2 (ja) | 2009-07-22 |
Family
ID=17224953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25158198A Expired - Fee Related JP4300603B2 (ja) | 1998-09-04 | 1998-09-04 | 画像情報変換装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4300603B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4691831B2 (ja) * | 2001-05-31 | 2011-06-01 | ソニー株式会社 | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する情報の取得装置および取得方法、並びに記録媒体 |
| JP4692801B2 (ja) * | 2001-05-31 | 2011-06-01 | ソニー株式会社 | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、並びに、それに使用する係数情報の生成装置および生成方法 |
| JP4691835B2 (ja) * | 2001-06-12 | 2011-06-01 | ソニー株式会社 | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数データの取得装置および取得方法、並びに情報記録媒体 |
| JP4649786B2 (ja) * | 2001-07-05 | 2011-03-16 | ソニー株式会社 | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法 |
| JP4691849B2 (ja) * | 2001-08-03 | 2011-06-01 | ソニー株式会社 | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する情報の取得装置および取得方法 |
| JP4055655B2 (ja) | 2003-05-29 | 2008-03-05 | ソニー株式会社 | 係数の生成装置および生成方法、クラス構成の生成装置および生成方法、情報信号処理装置、並びに各方法を実行するためのプログラム |
| JP6977719B2 (ja) * | 2016-05-02 | 2021-12-08 | ソニーグループ株式会社 | 符号化装置及び符号化方法、並びに、復号装置及び復号方法 |
-
1998
- 1998-09-04 JP JP25158198A patent/JP4300603B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000083225A (ja) | 2000-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4158232B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP4147632B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| US6057885A (en) | Picture information converting apparatus and method thereof and sum-of-product calculating circuit and method thereof | |
| KR20020074200A (ko) | 정보 신호 처리 장치, 정보 신호 처리 방법, 화상 신호처리 장치 및 그것을 사용한 화상 표시 장치, 그것에사용되는 계수종 데이터 생성 장치 및 생성 방법, 계수데이터 생성 장치 및 생성 방법과 정보 제공 매체 | |
| JP4300603B2 (ja) | 画像情報変換装置および方法 | |
| JP3321915B2 (ja) | 画像信号変換装置 | |
| JP4131048B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4193233B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP2000078539A (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP4140091B2 (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP4099555B2 (ja) | 画像情報変換装置 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP4123587B2 (ja) | 画像情報処理装置および方法 | |
| JP4193236B2 (ja) | 画像情報変換装置、画像情報変換方法、およびテレビジョン受像機 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP4042121B2 (ja) | 画像情報処理装置及び画像情報処理方法 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP2000092454A (ja) | 画像情報変換装置および画像情報変換方法 | |
| JP2000050213A (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP4001143B2 (ja) | 係数生成装置および方法 | |
| JP4154768B2 (ja) | 画像情報変換装置および画像表示装置 | |
| JP2000083223A (ja) | 画像情報変換装置および画像情報変換方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050816 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071127 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090309 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090331 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090413 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120501 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130501 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140501 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |