JP3861309B2 - 信号変換装置および信号変換方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、入力された画像情報に対して走査線補間処理によって出力画像信号を得るようにした信号変換装置および信号変換方法、特に、ジャーキネスの低減を図るものに関する。
【０００２】
【従来の技術】
水平走査、垂直走査により画像を構成するようにした画像信号に関して、走査線補間処理により入力画像信号よりもより高品質の出力画像信号を生成することが知られている。その一つは、より高解像度の出力画像信号を生成するアップコンバージョンである。他のものとして、インターレース画像をノンインターレース画像へ変換する処理、送信時に間引かれた画素の補間等がある。
【０００３】
アップコンバージョンは、例えば標準テレビジョン信号（ＳＤ信号）をＨＤモニタで表示する場合に適用される。アップコンバータの例としては、入力ＳＤ信号に補間フィルタを適用することにより画素並びに走査線補間を行い、ＨＤフォーマット信号を得る装置があげられる。このとき画素数はＨＤフォーマットに合うように増加するが、空間解像度は入力ＳＤ信号のまま向上していない。そこで、別のアップコンバージョンの手法として、入力ＳＤ信号にクラス分類適応処理を適用することにより、解像度の向上したＨＤ信号を得ることが提案されている。
【０００４】
【発明が解決しようとする課題】
補間フィルタによるアップコンバートされた画像と、クラス分類適応処理による処理画像では画質に差があるものの、共通の画質劣化問題の一つとして、ジャーキネスが挙げられる。ジャーキネスは、動きの不連続性として現れる画質劣化である。アップコンバージョンのための画素補間、走査線補間の不充分さにより、動き画像においてはフィールド間動きを表す、特徴的な波形の生成も不充分となる。それが原因となりジャーキネスが発生する。
【０００５】
従って、この発明の目的は、走査線補間処理により生成された画像に対して後処理を行うことによって、ジャーキネスを低減することが可能な信号変換装置および方法を提供することにある。
【０００６】
【課題を解決するための手段】
この発明は、入力画像を、当該入力画像よりも空間方向における画素数の多い出力画像に変換し、入力画像における動きが出力画像における動きに比して粗いために生じるジャーキネスを抑える信号変換装置において、
変換画像の注目画素に対して、当該変換画像と、既に生成された出力画像とから動きベクトルを検出する手段と、
検出された動きベクトルに基づいて、既に生成された出力画像の動き補償を行い、動き補償画像を生成する手段と、
注目画素に関し、検出された動きベクトルと同じ動きベクトルが検出された過去の連続するフレーム数を表す連続フレーム数を検出し、当該連続フレーム数が大きい程、動き補償画像に対する重み付けが大きくなるような重みを決定する重み付け決定手段と、
重み付け決定手段により決定された重みに基づいて変換画像と動き補償画像とを重み付け加算することにより新たな出力画像を生成する処理手段とからなることを特徴とする信号変換装置である。
【０００７】
変換画像から検出された動き量によって動き補償を行い、変換画像と動き補償画像との重み付け加算を行うことによって、動きの不自然さを解消することができる。また、画素幅並びに走査線幅がより小の補間信号を形成し、この補間信号に対して動き補償を行うことによって、画質改善効果をより向上することができる。クラス分類適応処理によって、画素幅並びに走査線幅がより小の補間信号を形成すれば、補間信号の生成を良好に行うことができ、画質をより向上することができる。
【０００８】
【発明の実施の形態】
以下、標準テレビジョン信号（ＳＤ（Standard Definition ）信号）をＨＤ（High Definition ）信号に変換するアップコンバージョンの処理に対してこの発明を適用した一実施例について説明する。最初に、この発明が適用可能なアップコンバージョンの処理のいくつかについて説明する。
【０００９】
まず、ＳＤ信号とＨＤ信号の各画素の空間配置例を図１に示す。ここでは説明の簡素化のため、ＨＤ信号の画素数を水平方向、垂直方向に各々２倍としている。図１中の◎で示されたＳＤ画素に注目すると、この注目ＳＤ画素に対して４種類（mode１，mode２，mode３，mode４）の位置にＨＤ画素が存在する。各注目ＳＤ画素に対して、mode１，mode２，mode３，mode４のそれぞれの位置のＨＤ画素を生成することによって、アップコンバージョンがなされる。アップコンバータの簡素な構成例としては、ＳＤ信号のフィールドデータから、４種類の位置のＨＤ画素を生成することが考えられる。アップコンバージョンの一つの処理は、入力ＳＤ信号に補間フィルタを適用することで補間画素を生成し、ＨＤフォーマットの信号を出力する。
【００１０】
図２は、空間内２次元フィルタを補間フィルタとして使用するアップコンバータの構成例である。入力端子１からＳＤ信号が供給され、入力ＳＤ信号は、mode１の位置のＨＤ画素を生成するためのmode１用２次元フィルタ２、mode２用２次元フィルタ３、mode３用２次元フィルタ４およびmode４用２次元フィルタ５へそれぞれ供給される。すなわち、４種類の位置のＨＤ画素毎に独立した２次元フィルタを用いて補間処理を実行する。その結果、それぞれのフィルタ２、３、４、５の出力は、ＨＤ信号として選択部６へ供給され、選択部６において、直列化がなされ、出力端子７から出力ＨＤ信号が取り出される。
【００１１】
また、図３は、補間フィルタを使用するアップコンバータの他の構成例を示す。図３は、水平方向の補間と垂直方向の補間とを別々に行う、水平／垂直セパラブルフィルタを使用する例である。入力端子１１からＳＤ信号が供給され、入力ＳＤ信号は、垂直補間フィルタ１２および１４へ供給される。垂直補間フィルタ１２および１４において、ＨＤ信号の２本の走査線データがそれぞれ生成される。例えば、垂直補間フィルタ１２によって、mode１およびmode３の位置の走査線の補間がなされ、垂直補間フィルタ１４によって、mode２およびmode４の位置の走査線の補間がなされる。
【００１２】
これらの処理が行われると垂直補間フィルタ１２および１４からの出力信号は、水平補間フィルタ１３および１５へ供給される。この水平補間フィルタ１３および１５では、各走査線毎に４種類の位置のＨＤ画素がそれぞれ補間される。水平補間フィルタ１３および１５の出力が選択部１６へ供給される。選択部１６では、ＨＤ信号の直列化がなされ、出力端子１７から出力ＨＤ信号が取り出される。
【００１３】
上述した補間フィルタを使用するアップコンバータは、補間フィルタとして理想フィルタを使用しても、画素数は増えるものの空間解像度はＳＤ信号と変わらない。実際には理想フィルタを用いることができないため、ＳＤ信号より解像度の低下したＨＤ信号を生成することしかできないという問題がある。また、図１の画素配置に示されるように、垂直方向の補間により新たに走査線を生成する必要がある。走査線補間においても、ＳＤ信号に対し補間フィルタを用いて実行される。そのため、ＨＤ信号本来の走査線を生成することはできない。
【００１４】
そこで、これを改善するため、補間のためにクラス分類適応処理を適用することが提案されている。これは入力ＳＤ信号の特徴に基づき、入力信号をいくつかのクラスに分類し、予め学習により生成されたクラス毎の適応予測手法に従い、出力ＨＤ信号を生成する処理である。周波数フィルタを用いたアップコンバージョン方式に比べ、クラス分類適応処理を適用したアップコンバージョン方式は、解像度が向上したＨＤ信号を生成し、良好な画質を得ることが可能となる。このクラス分類適応処理とは、入力信号の特徴に基づき入力信号をいくつかのクラスに分類し、予め用意されたクラス毎の適切な適応処理を実行するものである。
【００１５】
以下、クラス分類適応処理を適用したアップコンバージョン方式について図面を参照しながら説明する。まず、クラス分類法の例としては、図４Ａのように、注目ＳＤ画素とその周囲の６個のＳＤ画素を使用することによって、入力信号（８ビットＰＣＭデータ）に対しクラス生成タップを設定し、入力信号の波形特性によりクラスを生成する。この例では、７タップクラスであり、信号波形のクラス生成法としては次のものが提案されている。
【００１６】
１）ＰＣＭデータを直接使用する。
２）ＡＤＲＣ（適応的ダイナミックレンジ符号化）を適用し、クラス数を削減する。
３）ＤＰＣＭ（予測符号化）を適用し、クラス数を削減する。
４）ＶＱ（ベクトル量子化）を適用し、クラス数を削減する。
５）ＤＣＴ（離散的コサイン変換）などの周波数領域においてクラス分類を行う。
【００１７】
ＰＣＭデータを直接使用するとクラス数は、８ビットデータが７画素存在するため、２⁵⁶という膨大な数字になり、実用上において問題である。そこで、実際は、ＡＤＲＣ（ダイナミックレンジに適応した符号化）などを適用しクラス数の削減を図る。例えば、７タップデータに対し１ビットＡＤＲＣを適用すると、７画素のデータから定義されるダイナミックレンジに基づき、７画素の最小値を除去した上で、各タップの画素値を適応的に１ビット量子化するので、１２８クラスに削減することが可能となる。
【００１８】
ＡＤＲＣは、ＶＴＲ用の信号圧縮方式として開発されたものであるが、少ないクラス数で、入力信号の波形特性を表現するのに適している。こうして分類されたクラス毎に適応処理を実行するが、その例としては予め学習により生成されたクラス毎の予測係数を用いた予測処理が挙げられる。予測タップの一例を図４Ｂに示す。この一例は、フレーム内１３タップとなる構成である。予測式の例を式（１）に示す。
【００１９】
【数１】

【００２０】
ｙ´：推定ＨＤ画素値
ｘ_i ：ＳＤ信号予測側タップ画素値
ｗ_i ：予測係数
【００２１】
このようにクラス毎に生成された予測係数と入力データとの積和演算によりＨＤ画素値を推定する。クラス分類適応処理の回路構成の一例を図５に示す。２１で示す入力端子から入力信号は供給され、その入力信号は、クラス分類部２２と予測演算部２４に供給される。クラス分類部２２において、上述のようなクラス分類処理に基づき、入力信号に対するクラスが生成される。生成されたクラスがアドレスとして予測係数ＲＯＭ２３へ供給され、予測係数ＲＯＭ２３から予測演算部２４へ予測係数が出力される。予測演算部２４において、入力信号と予測係数を用いて式（１）の予測演算が実行され、出力端子２５に出力（ＨＤ信号）が得られる。
【００２２】
上述の予測係数は、予め学習により生成しておく。以下、その学習方法について述べる。式（１）の線形１次結合モデルに基づく予測係数を最小自乗法により生成する例を示す。その最小自乗法は、次のように適用される。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを推定値としてつぎの式を考える。
【００２３】
観測方程式；ＸＷ＝Ｙ・・・（２）
【００２４】
【数２】

【００２５】
上述の観測方程式により収集されたデータに最小自乗法を適用する。式（１）の例においては、ｎ＝１３、ｍが学習データ数となる。式（２）および式（３）の観測方程式をもとに、式（４）の残差方程式を考える。
【００２６】
【数３】

【００２７】
式（４）の残差方程式から、各ｗ_i の最確値は、誤差の二乗和を最小にする条件が成り立つ場合と考えられる。誤差の二乗和は、次の数式で示される。
【００２８】
【数４】

【００２９】
すなわち、次の式（５）の条件を考慮すれば良いわけである。
【００３０】
【数５】

【００３１】
式（５）のｉに基づくｎ個の条件を考え、これを満たすｗ₁ ，ｗ₂ ，・・・，ｗ_n を算出すれば良い。そこで、残差方程式（４）から式（６）が得られる。
【００３２】
【数６】

【００３３】
式（５）および式（６）により式（７）が得られる。
【００３４】
【数７】

【００３５】
そして、式（４）および式（７）から、正規方程式（８）が得られる。
【００３６】
【数８】

【００３７】
式（８）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗ_i の最確値を求めることができる。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。
【００３８】
ここで、上述の最小自乗法を用いて予測係数の学習をソフトウェアで行う一例を図６のフローチャートに示す。まず、ステップＳ１の学習データ形成からこのフローチャートは始まり、このステップＳ１において、既知の画像に対応した学習データが形成される。そして、ステップＳ３のクラス決定において、入力データに対してクラス分類が行われる。この一例では、図４Ａに示す配置の７画素のデータを使用してクラスが決定される。
【００３９】
ステップＳ４において、各クラス毎に、式（８）の正規方程式が生成される。一般に、ノイズの影響を排除するため、入力データ変化のアクティビティーが小さいものを学習対象から除外する。この学習プロセスにおいて、多くの学習データが登録された正規方程式が生成される。ステップＳ２において学習対象データが終了したものと決定されるまで、正規方程式生成プロセスが繰り返される。
【００４０】
対象となる学習データが全て終了すると、ステップＳ５の予測係数決定に制御が移る。ここでは、多くの学習データより生成された、クラス毎の式（８）の正規方程式が解かれる。その連立方程式の解法としては、上述の掃き出し法が用いられる。こうして得られた予測係数は、ステップＳ６の予測係数登録の過程において、クラス別にアドレス分割されたＲＯＭなどの記憶部に登録される。以上の学習過程により、クラス分類適応処理の予測係数が生成される。
【００４１】
上述したクラス分類適応処理によるアップコンバータの構成例を図７および図８に示す。補間フィルタを使用したアップコンバータの構成例と対応させると、図７に示す２次元ノンセパラブル構成と図８に示す垂直／水平セパラブル構成に分類される。基本的に、各々の予測演算部は、予測係数を用いたディジタルフィルタと同一の回路構成となる。
【００４２】
図１に示す空間位置関係にあるＨＤ画素を予測する場合、図７の２次元ノンセパラブル構成では、入力ＳＤ信号のＳＤ画素に対して、mode１〜mode４の４種類のＨＤ画素が生成される。３１で示す入力端子から供給されるＳＤ信号は、クラス分類部３２、mode１用の予測演算部３４、mode２用の予測演算部３５、mode３用の予測演算部３６およびmode４用の予測演算部３７に供給される。クラス分類部３２では、入力ＳＤ信号から図４Ａに示す画素が取り出され、取り出された画素を使用してクラス分類が行われ、クラス分類部３２から出力されるクラスｄ０は、アドレスとして予測係数ＲＯＭ３３へ供給される。
【００４３】
この予測係数ＲＯＭ３３では、クラスｄ０に対応する予測係数ｄ５が予測演算部３４、予測演算部３５、予測演算部３６および予測演算部３７に供給される。予測演算部３４では、図４Ｂに示す入力ＳＤ信号のＳＤ画素と予測係数ｄ５とを用いて、積和演算を行い、mode１の位置のＨＤ画素ｄ１が生成される。同様に、予測演算部２５では、mode２の位置のＨＤ画素ｄ２が生成され、予測演算部２６では、mode３の位置のＨＤ画素ｄ３が生成され、予測演算部２７では、mode４の位置のＨＤ画素ｄ４が生成される。
【００４４】
そして、選択部３８において、各ＨＤ画素ｄ１〜ｄ４を所望の時系列に並び替え、出力端子３９から出力ＨＤ信号を得ることができる。なお、選択部３８には、画素の並び替えに必要なメモリも含まれる。以上が２次元ノンセパラブル構成の予測演算を使用したときのクラス分類適応処理の構成例である。
【００４５】
一方、図８に、垂直／水平セパラブル構成の予測演算を行なう場合のクラス分類適応処理の構成例を示す。４１で示す入力端子からＳＤ信号が供給され、その入力ＳＤ信号は、クラス分類部４２、垂直予測演算部４４および４５へ供給される。クラス分類部４２では、供給された入力ＳＤ信号から図４Ａに示す画素が取り出され、取り出された画素に対してクラス分類が行われ、クラス分類部４２から出力されるクラスｄ１０は、アドレスとして垂直係数ＲＯＭ４３および水平係数ＲＯＭ４４へ供給される。
【００４６】
垂直係数ＲＯＭ４３では、クラスｄ１０に対応する垂直予測係数ｄ１５が垂直予測演算部４４および４５へ供給される。垂直予測演算部４４では、入力ＳＤ信号のＳＤ画素と垂直予測係数ｄ１５とを用いて、積和演算を行い垂直推定値ｄ１１が生成される。その垂直推定値ｄ１１が垂直予測演算部４４から水平予測演算部４７へ供給される。同様に、垂直予測演算部４５では、垂直推定値ｄ１２が生成され、その垂直推定値ｄ１２が水平予測演算部４８へ供給される。
【００４７】
水平係数ＲＯＭ４６では、クラスｄ１０に対応する水平予測係数ｄ１６が水平予測演算部４７および４８へ供給される。水平予測演算部４７では、垂直予測演算部４４からの垂直推定値ｄ１１と水平予測係数ｄ１６との積和演算を行いＨＤ画素ｄ１３が生成される。そのＨＤ画素ｄ１３は、水平予測演算部４７から選択部４９へ供給される。同様に、水平予測演算部４８では、ＨＤ画素ｄ１４が生成され、そのＨＤ画素ｄ１４は、選択部４９へ供給される。
【００４８】
この垂直予測演算部４４および水平予測演算部４７では、mode１およびmode３の位置に対応したＨＤ画素が生成され、垂直予測演算部４５および水平予測演算部４８では、mode２およびmode４の位置に対応したＨＤ画素が生成される。このように、２種類に分けられ予測演算が行われる。
【００４９】
そして、選択部４９において、各ＨＤ画素ｄ１３、ｄ１４を所望の時系列に並び替え、出力端子５０から出力ＨＤ信号を得ることができる。なお、選択部４９には、上述の選択部３８と同様に並び替えに必要なメモリも含まれる。以上の処理により予測演算を垂直／水平セパラブル構成にした場合のクラス分類適応処理が実現される。
【００５０】
また、以上の予測演算によるクラス分類適応処理の他に、予め重心法により生成された最適予測値を用いるクラス分類適応処理も提案されている。その学習法について以下に示す。例えば、上述のように図４Ａに示す画素に対して１ビットＡＤＲＣを行う、すなわち１２８クラスに分類する場合を考える。これらの学習の一例を図９に示すフローチャートを用いて説明する。
【００５１】
ステップＳ１１からこのフローチャートが始まり、そのステップＳ１１において、全てのクラスの度数カウンタＮ（＊）と、全てのクラスのデータテーブルＥ（＊）の初期化が行われる。ここで、あるクラスをＣ０とすると、対応する度数のカウンタはＮ（Ｃ０）、対応するデータテーブルはＥ（Ｃ０）と定義する。また、＊はクラスの全てを示す。
【００５２】
ステップＳ１２のクラス検出では、学習対象画素近傍データからクラスＣが決定される。このクラスＣは、図４Ａに示すように対象信号の７画素がクラス生成用に使用される。このクラス分類の手法としては、上述のようにＡＤＲＣの他にも、ＰＣＭ表現、ＤＰＣＭ、ＢＴＣ（ブロックトランケーション符号化）、ＶＱ、直交変換などの表現法が考えられる。また、クラス分類対象データより構成されるブロックのアクティビティーを考慮する場合、クラス数をアクティビティーによる分類の種類だけ増やしておく。
【００５３】
そして、ステップＳ１３では、この学習対象となる画素値ｙを検出し、検出された画素値ｙは、ステップＳ１４において、クラスＣ毎に画素値ｙをそれぞれ加算する。すなわち、クラスＣのデータテーブルＥ（Ｃ）の内容にｙを加算した後、ステップＳ１５では、クラスＣの学習画素の度数カウンタＮ（Ｃ）が＋１インクリメントされる。ステップＳ１６では、以上の処理を全学習対象画素について繰り返し実行し、最終的な全てのクラスの度数カウンタＮ（＊）と、対応する全てのクラスのデータテーブルＥ（＊）が生成されると、ステップＳ１７へ制御が移る。
【００５４】
ステップＳ１７では、各クラスのデータテーブルＥ（＊）の内容であるデータ積算値を、対応クラスの度数カウンタＮ（＊）の度数で、除算を実行することで各クラスの平均値を算出する。この値が重心法による各クラスの最適予測値となる。重心法という名称の由来は、学習対象画素値の分布の平均をとることによる。最終的に、ステップＳ１８において、ＲＯＭなどの記憶手段に、クラスと上述の最適予測値を登録することで重心法による学習は終了する。また、学習過程においてノイズの影響を排除するため、アクティビティーの小さい画素は学習対象から除外される。このように、学習により得られた予測値がクラス別にメモリに格納され、クラス分類部で生成されたクラスがアドレスとしてメモリに供給される。メモリから読出された予測値がＨＤ信号として出力される。
【００５５】
クラス分類適応処理を使用したアップコンバータは、補間フィルタを用いたアップコンバータより、アップコンバート画像の解像度はかなり向上する。それに伴い、画質劣化が低減するが、条件によっては、ジャーキネスがアップコンバート画像に現れるという問題があった。この発明は、アップコンバージョンのような走査線補間処理を採用する信号変換装置の出力画像に発生するジャーキネスのような画質劣化を排除しようとするものである。すなわち、出力画像に対して後処理を行うことによって、ジャーキネスを低減するものである。アップコンバータとしては、補間フィルタを使用するもの、クラス分類適応処理によるものの何れであっても良い。
【００５６】
ジャーキネスの低減処理について説明する。ジャーキネスは、解像度復元が不充分のために発生するが、情報の少ない信号から情報の多い信号を生成する以上、必ず発生する問題である。例えば、ＳＤ画像からＨＤフォーマット画像を生成する、アップコンバージョンの場合、ＨＤ画像で表現された動きは、ＳＤ画像中では画素幅並びに走査線幅より小の動きに対応する。そのため、ＳＤ画像から生成されたＨＤフォーマット画像では動きが粗くなる。これがジャーキネスをひきおこす。
【００５７】
そこで、出力画像において、画素幅（画素同士の水平方向の間隔を意味する）並びに走査線幅（画素同士の垂直方向の間隔を意味する）より小の動き量（動きベクトル）を検出し、出力画像と動き補償した過去の出力画像との演算を行うことによって、ジャーキネスを除去することが可能である。この演算としては重み付き加算が考えられる。
【００５８】
既に提案されている動きベクトル検出法は、次の３種類に大別される。
（１）ブロックマッチング法
（２）匂配法
（３）位相相関法
【００５９】
ブロックマッチング法は、パターンマッチングと同じ発想で、現画像のブロック化された領域が、過去の画像中の何処に存在したか、現画像と過去画像の比較を行なうことにより動きベクトルを検出する。具体的には、ブロック内対応画素毎の差分絶対値を加算し、ブロック毎の差分絶対値和が最小となる位置を動きベクトルとするものである。この方法は、検出精度が良いが、演算量が膨大となる欠点がある。
【００６０】
勾配法は、ある空間傾斜を持つ画素が、ある位置まで動くと、動き量に応じた時間差分が発生するというモデルに基づき、動きベクトルを検出する。よって、時間差分を空間傾斜で割算すれば動きベクトルが得られる。演算量は少ないが、動き量が大きくなると、精度が落ちるという欠点がある。それは前述のモデルが成り立たなくなるからである。
【００６１】
位相相関法は、現画像と過去画像の同一位置のブロックデータに対し、各々フーリエ変換を施し、周波数領域で位相のずれ量を検出し、その位相項より逆フーリエ変換を経て動きベクトル値を検出する手法である。この手法の特徴として、精度を確保するためには、ある程度以上の大きいブロックサイズが要求される。そのためフーリエ変換により演算量が膨大となる。また、一般的に大きいブロックの中には複数の動き物体が存在する可能性が高く、その識別が難しくなるという欠点がある。
【００６２】
この発明では、これらの動きベクトル検出法の何れを採用しても良いが、画素幅より小の動きベクトル検出が必要とされる。このような動きベクトル検出法の一例について説明する。例えば、ブロックマッチング法を用いて画素精度の動きベクトルが検出され、その際に生成される動き評価値をもとに、画素幅より小の精度の動きベクトルの検出が行われる。
【００６３】
まず、ブロックマッチング法の説明のために、ブロックデータの構造例を図１０に示す。時間的に隣接するフレームにおいて、あるブロックの動きベクトルを検出する場合を考える。＃ｋフレームと＃（ｋ−１）フレームにおいて、空間的に対応する位置に、Ｍ画素×Ｎラインの大きさのブロックが設定される。サーチ領域において、＃ｋフレームのブロックと、＃（ｋ−１）フレームでの各座標でのブロックの間でパターンマッチングを行ない、マッチングが最良な座標を検出する。各位置毎に対応するＭ画素×Ｎラインの大きさのブロック内の対応画素のフレーム差分絶対値和、フレーム差の二乗和などが評価値として用いられる。
【００６４】
＃ｋフレームの各画素レベルをＬ_n （ｉ，ｊ）、＃（ｋ−１）フレームの各画素レベルをＬ_n-1 （ｉ，ｊ）とすると、座標（ｘ、ｙ）における評価式の例として次の式（９）が使用される。
【００６５】
【数９】

【００６６】
図１０の例においては、Ｘ・Ｙ点の各座標において、式（９）によって動き評価値Ｅの値を算出する。Ｘ・Ｙ点の座標のうち、評価値が最小値を示す座標が動きベクトルとなる。ここで算出される評価値が各画素毎に求められるので、検出される動きベクトルは１画素精度である。
【００６７】
次に、検出された画素精度の動きベクトル座標近傍の動き評価値を使用して１画素精度より高い精度の動きベクトルを検出することができる。説明のため、式（９）の動き評価値を１次元座標位置で検出した例を図１１に示す。座標Ｘ０、Ｘ１、Ｘ２におけるそれぞれの動き評価値をＥ０、Ｅ１、Ｅ２とする。１画素精度の動きベクトルは、動き評価値が最小となる座標であるので、この場合はＸ０となる。
【００６８】
動き評価値Ｅ０、Ｅ１、Ｅ２を用いて、１画素精度より高い精度の動きベクトルを検出する一つの方法としては、図１１のようにＥ０、Ｅ１、Ｅ２をもとに線形補間により、１画素より小の変動値ΔＸを求めることが考えられる。この算出式は、下記の式（１０）により表される。
【００６９】
【数１０】

【００７０】
従って、図１１におけるより高い精度の動きベクトルは、（Ｘ０−ΔＸ）として求められる。より高い精度の動きベクトルを求めるための構成例を図１２に示す。図１２において、５１で示す入力端子には、クラス分類適応処理のアップコンバータで生成されたＨＤ信号が供給される。この入力信号がメモリ部５２と検出部５３に入力される。
【００７１】
検出部５３においては、現在のデータと過去のデータにより、画素精度の動きベクトルが検出される。例えば、前述のようなブロックマッチング法などでは、式（９）の動き評価値の算出と、その最小値の検出が行われ、１画素精度の動きベクトルが得られる。検出部５３に対して検出部５４が接続される。この検出部５４においては、検出部５３で検出された、１画素精度の動きベクトルを基準に、動き評価値を用いてより高い精度動きベクトルの検出が行われる。すなわち、検出部５４では、式（１０）の演算が実行される。検出部５４から出力端子５５に、より高い精度の動きベクトルが出力される。
【００７２】
上述のように検出された動きベクトルを用いて、後処理が実行される。即ち、アップコンバータなどの走査線補間処理により生成された出力画像に対し、この動きベクトルに基づき動き補償された過去の出力画像との間で、次の式（１１）に従って重み付き加算を実行する。
【００７３】
Ｙ＝ｗ×ｙ＋（１−ｗ）×ｙ´ （１１）
Ｙ：最終出力画素値
ｙ：出力画素値
ｙ´：動き補償出力画素値
ｗ：重み
【００７４】
式（１１）中の重みｗは、過去の動き履歴に基づいて決定する。例えば、図１３のような、注目画素の動きの連続フレーム数に基づく重みテーブルを用意しておく。この重みは画像の動きの慣性を反映したものである。すなわち、注目画素に関し、同じ動きベクトルが検出される場合は、その動きが続く連続フレーム数を検出し、連続フレーム数に従った重みにより、式（１１）の重み付け加算により過去の画像との平均化を行う。図１３中の重みは平均化のための重みに他ならない。よって、この処理を行う場合は、各画素の動きの履歴を記憶し、連続フレーム数をカウントして、平均化重みを各画素毎に生成する。
【００７５】
図１４は、この発明の一実施例の全体的構成を示す。６１で示す入力端子には、原画像信号例えばＳＤ信号が供給される。画像変換部６２において、アップコンバージョンなどの処理が実行される。この画像には、ジャーキネスなどの画質劣化が見られる。処理後の画像信号（例えばＨＤ信号）がこの発明が適用された後処理部６３に入力される。この後処理部６３において、式（１１）で示される重み付き加算の処理が実行される。後処理部６３から出力端子６４には、ジャーキネスが低減された出力画像信号が取り出される。
【００７６】
図１５は、この発明が適用された後処理部６３の構成の一例を示す。７１で示す入力端子には、画像変換部６２の出力画像ｘ１が入力される。入力信号ｘ１が乗算器７２および動きベクトル検出部７３に入力される。動きベクトル検出部７３では、後処理部６３の出力信号ｘ９との間で、より高い精度の動きベクトルが検出される。動きベクトル検出部７３としては、図１２に示したような構成を採用できる。
【００７７】
動きベクトル検出部７３により検出された動きベクトルｘ２が動き補償処理部７４および重み決定部７５に供給される。重み決定部７５は、式（１１）中の重みｗに対応する重みｘ４を決定する。重み決定部７５は、図１３に示すように、連続フレーム数に基づく重みテーブルと、各画素の重みの連続フレーム数をカウントするカウンタとを有する。重み決定部７５からの決定された重みｘ４が乗算器７２とＲＯＭ７６に供給される。
【００７８】
動きベクトル検出部７３により検出されたより高い精度の動きベクトルｘ２に基づき、動き補償処理部７４において、出力画像ｘ９の動き補償が実行される。すなわち、動きベクトルｘ２をオフセットとしたメモリの読みだしアドレス制御が行われる。そのため、より高い精度のデータを生成しておく必要がある。出力画像ｘ９が補間部７７に供給され、画素幅並びに走査線幅より小の画像データへ変換され、そして、動き補償処理部７４に供給される。補間部７７では、例えば線形補間によって、画素幅および走査線幅が１／２、１／４等に小とされた補間信号が形成される。図１５の構成と構成なり、動き補償処理部７４の中で、補間信号を生成することも可能である。
【００７９】
動き補償された画像信号ｘ３が乗算器７８に入力される。一方、入力画像信号ｘ１も、別の乗算器７２に入力される。乗算器７２には、重みｘ４（＝ｗ）が乗算係数として入力される。乗算器７８には、ＲＯＭ７６から読出された重みｘ４の相補的な値（＝（１−ｗ））が乗算係数として入力される。乗算器７２および７８のそれぞれの乗算結果ｘ６、ｘ７が加算器７９に入力される。加算器７９から導出された出力端子８０に出力画像を得る。乗算器７２、７８および加算器７９は、上述の式（１１）の演算を行う。
【００８０】
上述の重み決定部７５の一例を図１６に示す。８１で示す入力端子に対して、動きベクトル検出部７３からの動きベクトルｘ２が供給される。動きベクトルｘ２が動き一致検出部８２に供給される。動き一致検出部８２では、注目画素に関し、入力される動きベクトルと過去の動きベクトルとの一致評価がなされる。ここで、過去の動きベクトルは、動きベクトルメモリ８３に記憶されており、必要に応じて読み出される。一致評価の結果、入力される動きベクトルが過去の動きベクトルと異なる場合は、メモリ８３の内容が更新され、新しい動きベクトルが登録される。
【００８１】
動き一致検出部８２の一致評価結果は、時間連続メモリ８４に入力される。時間連続メモリ８４には、各画素の過去の動きベクトルの連続フレーム数が登録されている。動き一致検出部８２においてなされた一致評価結果が一致の場合は、連続フレーム数がインクリメントされる。一方、一致評価結果が不一致の場合は、連続フレーム数がリセットされる。
【００８２】
こうして生成された連続フレーム数がＲＯＭ８５に対してアドレスとして供給され、ＲＯＭ８５が連続フレーム数に基づき、重みを発生する。ＲＯＭ８５には、図１３に示したようなテーブルが記憶されている。ＲＯＭ８５から出力端子８６に重みｘ４が読出される。重みｘ４を使用して重み付き加算がなされるのは、上述した通りである。
【００８３】
以上の後処理によりジャーキネスを排除した良好な画像を得ることが可能となる。また、後処理は、画像変換部６２からの画像と動き補償画像との平均化重み付き加算であるので、ノイズ成分も低減される。
【００８４】
次に、この発明の他の実施例について説明する。上述したこの発明の一実施例においては、式（１１）の演算によって、動き補償画像と入力画像との平均化重み付き加算を実行し、最終出力画素値が生成される。このとき、動き補償画像はより高い精度の動きベクトルにより制御されるため、記憶画像は入力画素位置よりも詳細な位置における画素値が要求される。上述の一実施例では、線形補間によって、より詳細な位置における画素値を生成していた。この発明の他の実施例では、より詳細な位置における画素値の生成に対して、クラス分類適応処理を用いるものである。すなわち、図１５中の補間部７７として、クラス分類適応処理を適用するものであ。
【００８５】
このクラス分類適応処理は、上述したアップコンバータの一例（図４、図５、図６、図９）について説明しており、そこで説明した処理と同様の処理を適用することができる。図１７は、補間部７７の一例である。これは、図５に示したクラス分類適応処理のアップコンバータと同様の構成であり、予め学習により生成されたクラス毎の予測係数を用いて予測演算を行う構成である。
【００８６】
例えば、対象信号画素ｘ₁ 〜ｘ₁₃を用いて予測タップを構成し、対象信号画素位置より詳細な位置の画素値を予測する場合を考える。予測式としては、上述した式（１）と同様のものを使用できる。但し、ｙ´は、詳細位置の予測画素値であり、ｘ_i が対象信号の予測タップ画素値であり、ｗ_i が予測係数である。この予測係数が予め学習により求められ、図１７中の予測係数ＲＯＭ１２３に格納されている。
【００８７】
入力端子１２１からの入力信号がクラス分類部１２２および予測演算部１２４に供給される。クラス分類部１２２がクラス分類を行い、分類結果が予測係数ＲＯＭ１２３にアドレスとして入力される。このクラスに対応し、予め学習により生成済みの予測係数が予測係数ＲＯＭ１２３から出力される。予測演算部１２４においては、式（１）に示されるような線形１次結合によって、詳細位置の予測画素値が形成される。この予測画素値が出力端子１２５に取り出される。詳細位置の予測画素値は、例えば元の画素の画素幅および水平走査線幅が１／２、１／４等されたものである。
【００８８】
予測係数は、予め学習により生成しておくが、その学習方法は、上述した図６の処理と同様に最小自乗法を用いるものであり、重複を避けるためにその説明は省略する。但し、詳細位置の予測画素を生成することが目的であるので、学習には教師信号が必要であり、学習時には、詳細位置における画素値を用意する。
【００８９】
図１８は、クラス分類適応処理として、重心法により生成される予測値を用いるようにした補間部７７の他の例を示す。さらに、図１８の構成は、クラス分類の性能を更に向上させるため、対象信号のレベル分布のみならず、アクティビティーも考慮したクラス分類を行なう。アクティビティーの判定法の例としては、クラス分類法にＡＤＲＣを使用した場合、ダイナミックレンジを用いることが多い。また、ＤＰＣＭならば差分絶対値和、ＢＴＣのときは標準偏差の絶対値などが用いられる。
【００９０】
図１８において、入力端子１３１からの入力信号がクラス分類部１３２およびアクティビティークラス分類部１３３に供給される。各クラス分類部１３２および１３３において、クラスが生成される。これらのクラスが最適予測値ＲＯＭ１３４にアドレスとして入力される。このＲＯＭ１３４には、予め学習により生成された最適予測値が各クラス毎に記憶されている。入力クラスに応じ、最適予測値ＲＯＭ１３４から最適予測値（詳細位置画素値）が出力される。
【００９１】
ＲＯＭ１３４に格納される最適予測値はクラス毎に予め重心法を用いた学習により生成しておく。この学習は、図９に示すフローチャートのような処理に従ってなされる。重複を避けるためにその説明を省略するが、教師信号として、詳細位置における画素値が使用され、また、図１８の構成では、クラス分類対象データから構成されるブロックのアクティビティーを考慮しているので、クラス数をアクティビティーによる分類の種類だけ増加させる。
【００９２】
図１５中の補間部７７として、上述したクラス分類適応処理の構成を採用することによって、重み付き加算処理でのぼけを抑圧し、ジャーキネスが排除された良好な最終出力画像を得ることが可能となる。
【００９３】
なお、この発明は、アップコンバータに限らず、インターレース画像をノンインターレース画像ヘ変換する信号変換装置等の他の信号変換装置の出力に対しても適用することができる。
【００９４】
【発明の効果】
この発明に依れば、走査線補間処理により形成された信号変換装置の変換画像信号に対して、検出動き量を用いた慣性処理を後処理として行うことによって、ジャーキネスのような画質劣化を排除することができる。また、この発明は、重み付き加算を行うので、変換画像信号のノイズを低減することができる。
【図面の簡単な説明】
【図１】ＳＤ信号とＨＤ信号の画素の空間配置を示す略線図である。
【図２】２次元ノンセパラブル補間フィルタを用いたアップコンバータのブロック図である。
【図３】垂直／水平セパラブル補間フィルタを用いたアップコンバータのブロック図である。
【図４】クラス分類に使用する画素と予測に使用する画素の空間的配置を示す略線図である。
【図５】クラス分類適応処理のための構成の一例を示すブロック図である。
【図６】予測係数の学習を説明するためのフローチャートである。
【図７】クラス分類適応処理を用いるアップコンバータの一例を示すブロック図である。
【図８】クラス分類適応処理を用いるアップコンバータの他の例を示すブロック図である。
【図９】予測値の学習を説明するためのフローチャートである。
【図１０】ブロックマッチング法による動きベクトル検出を説明するための略線図である。
【図１１】動きベクトルの線形補間の処理を説明するための略線図である。
【図１２】動きベクトルを線形補間するための構成の一例のブロック図である。
【図１３】連続動きフレーム数と重みとの関係を規定するテーブルの一例を示す略線図である。
【図１４】この発明の一実施例の構成を全体として示すブロック図である。
【図１５】この発明の一実施例における後処理部の一例のブロック図である。
【図１６】この発明の一実施例における重み決定部の一例のブロック図である。
【図１７】この発明の一実施例における補間部の一例のブロック図である。
【図１８】この発明の一実施例における補間部の他の例のブロック図である。
【符号の説明】
６２・・・画像変換部、６３・・・後処理部、７３・・・動きベクトル検出部、７４・・・動き補償処理部、７５・・・重み決定部、７７・・・補間部

Claims (14)

1. 入力画像を、当該入力画像よりも空間方向における画素数の多い出力画像に変換し、上記入力画像における動きが上記出力画像における動きに比して粗いために生じるジャーキネスを抑える信号変換装置において、
   上記変換画像の注目画素に対して、当該変換画像と、既に生成された出力画像とから動きベクトルを検出する手段と、
   検出された動きベクトルに基づいて、上記既に生成された出力画像の動き補償を行い、動き補償画像を生成する手段と、
   上記注目画素に関し、検出された動きベクトルと同じ動きベクトルが検出された過去の連続するフレーム数を表す連続フレーム数を検出し、当該連続フレーム数が大きい程、上記動き補償画像に対する重み付けが大きくなるような重みを決定する重み付け決定手段と、
   上記重み付け決定手段により決定された重みに基づいて上記変換画像と上記動き補償画像とを重み付け加算することにより新たな出力画像を生成する処理手段とからなることを特徴とする信号変換装置。
2. 請求項１に記載の信号変換装置において、
   更に、上記既に生成された出力画像から、上記出力画像よりも画素幅並びに走査線幅が小の補間信号を生成する画素補間手段を備え、
   上記動きベクトルを検出する手段は、上記出力画像の画素幅並びに走査線幅より小の精度の動きベクトルを検出し、
   上記動き補償画像を生成する手段は、上記検出された動きベクトルに基づいて、上記補間信号の動き補償を行い、動き補償画像を生成することを特徴とする装置。
3. 請求項２に記載の信号変換装置において、
   上記補間手段は、上記既に生成された出力画像から抽出された、予測画素の周辺に位置するクラス生成用複数画素の分布から、当該予測画素に対応するクラスを生成するクラス分類手段と、上記予測画素を予測するための予測値がクラス毎に予め学習され記憶されており、当該予測値に基づいて上記補間信号を生成する予測手段とを有することを特徴とする装置。
4. 請求項３に記載の信号変換装置において、
   上記補間手段の上記予測手段は、予測画素の周辺に位置する、既に生成された出力画像内の予測用複数画素との線形一次結合により当該予測画素を予測するための予測係数がクラス毎に予め学習され記憶されており、上記予測画素に対応する予測用複数画素と、上記クラス分類手段により生成されたクラスに対応する予測係数との線形一次結合により、上記補間信号を生成することを特徴とする装置。
5. 請求項３に記載の信号変換装置において、
   上記補間手段の上記予測手段は、上記クラス分類手段により生成されたクラス毎に、予測画素の画素値の平均値が最適予測値として予め学習され記憶されており、上記クラス分類手段により生成されたクラスに対応する最適予測値に基づいて上記補間信号を生成することを特徴とする装置。
6. 請求項３に記載の信号変換装置において、
   上記補間手段の上記クラス分類手段は、上記クラス生成用複数画素に対応する画素の画素値のアクティビティーに基づくクラス分類を行うことを特徴とする装置。
7. 請求項３に記載の信号変換装置において、
   上記補間手段の上記クラス分類手段は、上記クラス生成用複数画素に対応する画素の画素値のアクティビティーに基づくクラス分類と上記クラス生成用複数画素の画素値のレベル分布に基づくクラス分類とを併用しクラス分類を行うことを特徴とする装置。
8. 入力画像を、当該入力画像よりも空間方向における画素数の多い出力画像に変換し、上記入力画像における動きが上記出力画像における動きに比して粗いために生じるジャーキネスを抑える信号変換方法において、
   上記変換画像の注目画素に対して、当該変換画像と、既に生成された出力画像とから動きベクトルを検出するステップと、
   検出された動きベクトルに基づいて、上記既に生成された出力画像の動き補償を行い、動き補償画像を生成するステップと、
   上記注目画素に関し、検出された動きベクトルと同じ動きベクトルが検出された過去の連続するフレーム数を表す連続フレーム数を検出し、当該連続フレーム数が大きい程、上記動き補償画像に対する重み付けが大きくなるような重みを決定する重み付け決定ステップと、
   上記重み付け決定ステップにより決定された重みに基づいて上記変換画像と上記動き補償画像とを重み付け加算することにより新たな出力画像を生成する処理ステップとからなることを特徴とする信号変換方法。
9. 請求項８に記載の信号変換方法において、
   更に、上記既に生成された出力画像から、上記出力画像よりも画素幅並びに走査線幅が小の補間信号を生成する画素補間ステップを備え、
   上記動きベクトルを検出するステップは、上記出力画像の画素幅並びに走査線幅より小の精度の動きベクトルを検出し、
   上記動き補償画像を生成するステップは、上記検出された動きベクトルに基づいて、上記補間信号の動き補償を行い、動き補償画像を生成することを特徴とする方法。
10. 請求項９に記載の信号変換方法において、
    上記補間ステップは、上記既に生成された出力画像から抽出された、予測画素の周辺に位置するクラス生成用複数画素の分布から、当該予測画素に対応するクラスを生成するクラス分類ステップと、上記予測画素を予測するための予測値がクラス毎に予め学習され記憶されており、当該予測値に基づいて上記補間信号を生成する予測ステップとを有することを特徴とする方法。
11. 請求項１０に記載の信号変換方法において、
    上記補間ステップの上記予測ステップは、予測画素の周辺に位置する、既に生成された出力画像内の予測用複数画素との線形一次結合により当該予測画素を予測するための予測係数がクラス毎に予め学習され記憶されており、上記予測画素に対応する予測用複数画素と、上記クラス分類ステップにより生成されたクラスに対応する予測係数との線形一次結合により、上記補間信号を生成することを特徴とする方法。
12. 請求項１０に記載の信号変換方法において、
    上記補間ステップの上記予測ステップは、上記クラス分類ステップにより生成されたクラス毎に、予測画素の画素値の平均値が最適予測値として予め学習され記憶されており、上記クラス分類ステップにより生成されたクラスに対応する最適予測値に基づいて上記補間信号を生成することを特徴とする方法。
13. 請求項１０に記載の信号変換方法において、
    上記補間ステップの上記クラス分類ステップは、上記クラス生成用複数画素に対応する画素の画素値のアクティビティーに基づくクラス分類を行うことを特徴とする方法。
14. 請求項１０に記載の信号変換方法において、
    上記補間ステップの上記クラス分類ステップは、上記クラス生成用複数画素に対応する画素の画素値のアクティビティーに基づくクラス分類と上記クラス生成用複数画素に対応する画素の画素値のレベル分布に基づくクラス分類とを併用しクラス分類を行うことを特徴とする方法。

Images