JP3573832B2 - 動画像符号化装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像符号化技術に関する。
特に、ＭＰＥＧ方式，Ｈ．２６１方式等のＤＣＴにより動画像を圧縮符号化する動画像 符号化装置に関する。
【０００２】
【従来の技術】
動画像の圧縮符号化としては、ＭＰＥＧ（ＩＳＯ／ＩＥＣ １１１７２（ＭＰＥＧ１）、ＩＳＯ／ＩＥＣ １３８１８（ＭＰＥＧ２））が、代表される。
技術的には、動き補償画面間圧縮技術、画面内圧縮技術、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）技術，量子化技術等を折り混ぜて使用している。
【０００３】
ところで、画像をＤＣＴ及び量子化により符号化し、この符号化した画像データを復号すると、画質劣化が生じることが、知られている。
この画質劣化としては、周知の如く、以下のものが、挙げられる。
「ボケ」，「ダ−ティウィンドウ」，「ブロック歪」，「モスキ−トノイズ」，「折り返し歪」，「質感の喪失」，「破綻」，「フリッカ」等である。
【０００４】
そして、これらは、符号化する画像の情報量を低減すると、発生を押さえることが知られている。
また、使用者が、あまり気にならない劣化は、単なる「ボケ」である。尚、画面の一部だけ「ボケ」たり、一瞬だけ画面が「ボケ」ることは、気になる。
そこで、一般的には、入力画像の高域成分等を予かじめ時空間プリフィルタで除去する前処理を行って、情報量を抑えてから、符号化を行っている。
【０００５】
これにより、復号画像には「ボケ」が生じるが、「ボケ」以外の劣化が発生するのを抑圧できる。
つまり、この前処理を行わないと、「ボケ」の発生は抑圧されるが、「ボケ」以外の劣化がひどくなり全体的な画質はかえって悪くなる。
例えば、特開平４−３４２３７２号公報（Ｈ０４Ｎ１／４１），特開平６−１１３１４０号公報（Ｈ０４Ｎ１／４１）では、プリフィルタによる前処理により、ブロック歪の発生を抑えている。
【０００６】
本発明は、符号化処理の負担を削減した符号化装置を提供するものである。
ところで、ＭＰＥＧ２方式のフレーム構造モードでは、周知の如く、フィールド間動き補償圧縮符号化と、フレーム間動き補償圧縮符号化とを、適応的に切り換えている。
本発明は、ＭＰＥＧ２方式のフレーム構造モードにおける現実的に最適なプリフィルタを提供するものである。
【０００７】
つまり、一般に、プリフィルタとしては、大規模であるほど性能が良い。つまり、時間的，空間的に大規模なフィルタが良好である。
しかし、これは、静止している画面部分である。動画像部分に関しては、空間的に大規模なフィルタが良好である。つまり、時間的な遅延回路を含む時空間フィルタは、かえって悪影響を及ぼす。
【０００８】
このため、プリフィルタとして時空間フィルタを用いる場合は、動画像部分を検出し、この部分に関しては、時間方向のフィルタを無効として、空間フィルタのみとすることが考えられる。
しかし、これでは、動画部分を検出する検出手段等が必要となる。
このため、時空間フィルタを使用せずに、空間フィルタでプリフィルタを形成する方が良い。
【０００９】
ＭＰＥＧ２方式のフレーム構造モードでは、これが、更に複雑となる。
つまり、前述の如く、ＭＰＥＧ２方式のフレーム構造モードでは、フィールド間動き補償圧縮符号化とフレーム間動き補償圧縮符号化とを、適応的に切り換えている。
このために、ＭＰＥＧ２方式のフレーム構造モードでは、前述のプリフィルタとして空間フィルタを用いるためには、以下の処理を行わなくてはならない。
【００１０】
つまり、フィールド間動き補償圧縮符号化される画面部分では、フィールド内の空間フィルタを用いて帯域制限を行う。
また、フレーム間動き補償圧縮符号化される画面部分では、フレーム内の空間フィルタを用いて帯域制限を行う。尚、フレーム内の空間フィルタとは、周知の如く、インタレースの映像信号をノンインタレース信号であるフレーム画面に変更し、このフレーム画像内での空間フィルタ処理を行うものである。
【００１１】
しかし、これでは、プリフィルタに入力された動画像が、後段の処理で、フィールド間動き補償圧縮符号化されるか、又はフレーム間動き補償圧縮符号化されるか、を前もって検出しなくてはならず実用的ではない。
そこで、プリフィルタ処理としては、上記２つの処理の内、一方に限定することが、考えられるが、それでは、十分ではない。
【００１２】
そこで、フィールド内の空間フィルタ（水平・垂直方向のフィルタ）では無く、単なるフィールド内の水平フィルタにより帯域を制限することが、考えられるが、これでは、十分ではない。
そこで、フィールド内の空間フィルタか、フレーム内の空間フィルタの内のいずれか一方を選択することが、考えられるが、非選択フィルタに適した符号化においては、符号化能率が低下する。
【００１３】
【発明が解決しようとする課題】
本発明は、符号化処理の負担を削減した符号化装置を提供することを、発明の契機としている。
また、本発明は、ＭＰＥＧ２方式のフレーム構造モード等の符号化処理の前処理用プリフィルタとして好適なプリフィルタを提供するものである。
【００１４】
つまり、本発明は、フィールド間動き補償圧縮符号化と、フレーム間動き補償圧縮符号化とを適応的に行う動画像符号化装置において、好適なプリフィルタを提供することを、発明の契機としている。
【００１５】
【課題を解決するための手段】
本発明の動画像圧縮符号化装置は、入力されたインターレースの動画像信号にフィルタリングを行い所定周波数成分を遮断するプリフィルタ手段（１０）と、
このフィルタ処理された動画像信号をＤＣＴするＤＣＴ手段（１６）と、
このＤＣＴ手段（１６）からの係数データを量子化する量子化手段（１８）と、
この量子化手段（１８）の出力を可変長符号化する可変長符号化手段（２２）とを備え、
前記プリフィルタ手段（１０）は、
前記動画像信号を１フィールド遅延するフィールド遅延手段（１２）と、現フィールドの動画像信号と前記フィールド遅延手段によって遅延された１フィールド前の動画像信号にて構成される画像信号に時空間フィルタリング処理を行うフィルタ手段（１４）とを備え、
前記量子化手段（１８）は、
前記ＤＣＴ手段（１６）からの係数データのうち前記プリフィルタ手段（１０）によって遮断された以外の周波数成分に対する係数データを所定のテーブル値（２０）に基づいて除算する割算手段（１８ａ）と、前記プリフィルタ手段（１０）によって遮断された周波数成分に対する係数データとして所定値の係数データを出力する置換手段（１８ｂ）とを備える、
ことを特徴とする。
より好ましくは、前記置換手段（１８ｂ）から出力される係数データの値が、「０」であることを特徴とする。
【００１６】
また、本発明の動画像圧縮装置は、入力されたインターレースの動画像信号にフィルタリングを行い通過帯域を制限するプリフィルタ手段（１０）と、このフィルタ処理された動画像信号をフィールド間動き補償圧縮符号化により符号化画像データに変換する第１圧縮符号化手段（３０）と、このフィルタ処理された動画像信号をフレーム間動き補償圧縮符号化により符号化画像データに変換する第２圧縮符号化手段（３２）と、この第１、第２圧縮符号化手段による圧縮符号化画像データを選択出力させる選択手段（３８）とを備え、前記プリフィルタ手段（１０）は、前記動画像信号を１フィールド遅延するフィールド遅延手段（１２）と、現フィールドの動画像信号を前記フィールド遅延手段によって遅延された１フィールド前の動画像信号を用いて時空間フィルタリング処理を行うフィルタ手段（１４）とを備えることを特徴とする。
〔作用〕
本発明では、プリフィルタ１０によって既に削除されている空間周波数成分に関しては、後段の量子化回路１８での割り算処理を省略する。
【００１７】
また、本発明では、ＭＰＥＧ２等のフィールド間動き補償圧縮符号化と、フレーム間動き補償圧縮符号化とを適応的に行う動画像符号化装置において、そのプリフィルタをフィールド遅延信号を用いた時空間フィルタとする。
【００１８】
【実施の形態】
図１〜図５を参照しつつ、本発明の第１実施例を説明する。
図１において、１０ａは、通常の映像信号が入力される入力端子である。通常の映像信号とは、インタレースのＮＴＳＣ信号である。
１０は、プリフィルタとしての時空間フィルタである。
【００１９】
１２は、フィールド遅延回路である。
１４は、フィルタ回路である。
この時空間フィルタ１０について、図２〜図４を参照しつつ、説明する。
通過特性を図２に示す。
図３に示すように画素Ａを中心とした場合に、５×５画素の対称フィルタであり、そのタップ係数を図４に示す。
【００２０】
このように、このフィルタ１０では、斜め方向の高域成分をカットしている。
図１の１６は、映像信号を８×８画素のブロックに変換し、このブロック単位でＤＣＴを行うＤＣＴ回路である。
１８は、量子化回路である。
２０は、量子化テーブルである。この内容の一例を図５に示す。
【００２１】
１８ａは、割り算回路である。
１８ｂは、置換回路である。フィルタ１０により、斜め方向の高域成分は既にカットされている。従って、この周波数成分に対応する係数データは、「０」のはずである。従って、このような係数データに対して、割算回路で割り算を行うのは無駄である。従って、このように、フィルタ１０の処理により、その値が「０」と分かっている係数データは、割り算を行わずに「０」とする。
【００２２】
この装置が、ＬＳＩ等のハードウエアで具現され、８×８通りの割り算処理を並列処理するために、割り算回路を設けている装置においては、割り算回路の削減が可能である。また、この装置が、プログラム等のソフトウエアで具現される場合は、割り算のための処理時間が短縮され、符号化の高速化が計れる。
２２は、可変長符号化回路である。この可変長符号化回路２２は、図６に示されるように、量子化回路１８からジグザグスキャンの順で出力された量子化済みの係数データを可変長符号化して出力する。この可変長符号化としては、ランレベル可変長符号化、ハフマン符号化等が考えられる。
【００２３】
この装置の動作を説明する。
通常のＴＶ信号が入力端子１０ａから、プリフィルタ１０に入力される。
ＴＶ信号は、フィールド遅延回路１２で約１フィールド遅延される。
つまり、１フィ−ルド遅延した映像信号（図３の×印の画素に対応）を得ることが出来る。
【００２４】
フィルタ回路１４は、図４に示される係数列によって構成され、図２に示される通過特性で、入力映像信号の斜め方向の高域を中心に周波数成分をカットしている。
ＤＣＴ回路は、プリフィルタ処理された映像信号を８×８画素のブロック単位でＤＣＴする。
【００２５】
これにより、空間周波数成分が求められる。
【００２６】
量子化回路１８で量子化される。
量子化とは、行列除算である。
これは、各周波数成分と対応して所定の値を持った図５の行列で除算するものである。復号装置側（図示せず）は、可変長復号によって得られた量子化データと同じ量子化行列を乗算することにより、空間周波数成分を復元することが可能になる。つまり、人間の視覚特性が高周波側に対して鈍感であることを利用して、高周波側の行列値を大きくして、高周波では粗く符号化・復号化される。
【００２７】
除算回路１８ａでは、上述の行列除算が行われる。
置換回路１８ｂでは、置換が行われる。
つまり、プリフィルタ１０で空間周波数が遮断された周波数成分に関しては、割り算回路１８ａで処理しなくても、その出力データは「０」である。そこで、この置換回路１８ｂは、この対応する空間周波数成分の量子化データとして「０」を出力する。
【００２８】
可変長符号化回路２２では、可変長符号化を行う。
図６の如く、この出力順は、図６の如く、斜め方向の高周波成分は、後の方で連続する。従って、プリフィルタ１０の特性により、可変長符号化回路２２経入力されるデータは、後の方において、「０」が連続する可能性が高くなり、圧縮効率が高くなる可能性が高くなる。
【００２９】
このように、本願では、不必要な割り算回路又は割り算処理又を削除できる。
【００３０】
尚、第１実施例では、プリフィルタの特性と係数列を図２，図４の如く設定したが、図７，図８または図９，図１０の如く、設定しても良い。つまり、斜め方向の高域を遮断する特性をもつものであればよい。
又、第１実施例では、除算回路１８ａでは、単なる割り算を行ったが、周知のレート制御を合わせて行ってもよい。つまり、図５の値でそのまま割り算をするのではなく、圧縮率に対応した量子化ステップ値（スカラ−値）倍した行列によって割り算を行ってもよい。
【００３１】
又、この第１実施例では、動き補償に基づく圧縮符号化を行っていないが、プリフィルタとＤＣＴ回路１６の間に、動き補償のための、ノンインタレ−スへの変換回路（フレーム画面化回路）、フレ−ム遅延回路、差分回路等を設けてもよい。
【００３２】
図１１を参照しつつ、本発明の第２実施例を説明する。
第１実施例と同一部分には、同一符号を付した。
【００３３】
３０は、フィールド間動き補償圧縮符号化回路である。この回路３０は、圧縮対象フィ−ルドの画像データと、他フィ−ルドの画像データとの相関を利用し、その動き及び差分を用いて圧縮符号化を行うものである。
このフィールド間動き補償圧縮符号化回路３０は、フィールド遅延信号の作成、この遅延フィールド信号との動き補償による差分データの検出、差分データのＤＣＴ、この量子化、及び、可変長符号化等を行っている。
【００３４】
３２は、フレーム間動き補償圧縮符号化回路である。この回路３２は、圧縮対象フレームの画像データと、他フレームの画像データとの相関を利用し、その動き及び差分を用いて圧縮符号化を行うものである。
このフレーム間動き補償圧縮符号化回路３０は、ノンインターレース信号（フレーム画面信号）への変換、フレ−ム遅延信号の作成、この遅延フレーム信号との動き補償による差分データの検出、差分データのＤＣＴ、この量子化、及び、可変長符号化等を行っている。また、これらの処理の特性は、それぞれフレーム間動き補償圧縮符号化に最適な値に設定されている。
【００３５】
３４は、フィ−ルド内圧縮符号化回路である。この回路３４は、圧縮対象フィ−ルドの画像内の相関を利用して圧縮符号化を行うものである。
【００３６】
このフィ−ルド内圧縮符号化回路３４は、ＤＣＴ、この量子化、及び、可変長符号化等を行っている。また、これらの処理の特性は、それぞれフィールド内圧縮符号化に最適な値に設定されている。
３６は、フレーム内圧縮符号化回路である。この回路３６は、圧縮対象フレームの画像内の相関を利用して圧縮符号化を行うものである。
【００３７】
このフレーム内圧縮符号化回路３６は、ノンインターレース信号（フレーム画面信号）への変換、ＤＣＴ、この量子化、及び、可変長符号化等を行っている。また、これらの処理の特性は、それぞれフレーム内圧縮符号化に最適な値に設定されている。
３８は、選択回路である。選択回路３８は、各回路３０．３２．３４，３６からの圧縮率を示すデータを入力し、圧縮率の高い符号化を検出する。そして、その回路からの出力を許容する。
【００３８】
このフレーム間動き補償圧縮符号化回路３０に、最適なプリフィルタは、フレーム内の空間フィルタである。
また、フィ−ルド内圧縮符号化回路３４に、最適なプリフィルタは、フィ−ルド内の空間フィルタである。
そこで、この第２実施例では、プリフィルタとして、図１に示すように、１フィールド遅延した映像信号を利用した時空間フィルタとした。
【００３９】
このように、フィ−ルド遅延により時空間フィルタを用いる。
静止画像部分については、このフィールド遅延を用いた時空間フィルタは、フレーム内の空間フィルタと同じである。そして、静止部分であれば、フィ−ルド間動き補償符号化より、フレーム間動き補償符号化で符号化したほうが、圧縮効率は良い。従って、静止画像部分に関しては、実質的に、何ら問題はない。
【００４０】
動画像部分については、このフィールド遅延を用いた時空間フィルタは、フィ−ルド間動き補償符号化及びフレーム間動き補償符号化で符号化した場合の、「ボケ」具合が同等であり、両者に適応することができる。
【００４１】
【発明の効果】
このように、本願では、不必要な割り算回路又は割り算処理を削除できる。入力映像信号の斜め方向を中心に遮断しているので、これらを削減しても主観的な画質劣化は、少ない。
また、本願では、フレーム／フィールド間圧縮を画面内において適応的に切り換える符号化装置に、切り換え不要の最適なプリフィルタを取りつけることが、できる。
【図面の簡単な説明】
【図１】本発明の第１実施例を示す図である。
【図２】この第１実施例の特性を示す図である。
【図３】この第１実施例の動作を説明するための図である。
【図４】この第１実施例の係数を示す図である。
【図５】量子化テーブルの行列値を示す図である。
【図６】ジグザグスキャンを示す図である。
【図７】第２の特性を示す図である。
【図８】第２の係数を示す図である。
【図９】第３の特性を示す図である。
【図１０】第３の係数を示す図である。
【図１１】本発明の第２実施例を示す図である。
【符号の説明】
１０・・・・・プリフィルタ（プリフィルタ手段）、
１２・・・・・フィールド遅延回路（フィールド遅延手段）、
１４・・・・・フィルタ回路（フィルタ手段）、
１６・・・・・ＤＣＴ回路（ＤＣＴ手段）、
１８・・・・・量子化回路（量子化手段）、
１８ａ・・・・割り算回路（割算手段）、
１８ｂ・・・・置換回路（置換手段）、
２０・・・・・量子化テーブル（テーブル値）、
２２・・・・・可変長符号化回路（可変長符号化手段）、
３０・・・・・フィールド間動き補償圧縮符号化回路（第１圧縮符号化手段）、
３２・・・・・フレ−ム間動き補償圧縮符号化回路（第２圧縮符号化手段）、
３３・・・・・選択回路（選択手段）。

Claims (3)

1. 入力されたインターレースの動画像信号にフィルタリングを行い所定周波数成分を遮断するプリフィルタ手段（１０）と、
   このフィルタ処理された動画像信号をＤＣＴするＤＣＴ手段（１６）と、
   このＤＣＴ手段（１６）からの係数データを量子化する量子化手段（１８）と、
   この量子化手段（１８）の出力を可変長符号化する可変長符号化手段（２２）とを備え、
   前記プリフィルタ手段（１０）は、
   前記動画像信号を１フィールド遅延するフィールド遅延手段（１２）と、現フィールドの動画像信号を前記フィールド遅延手段によって遅延された１フィールド前の動画像信号を用いて時空間フィルタリング処理を行うフィルタ手段（１４）とを備え、
   前記量子化手段（１８）は、
   前記ＤＣＴ手段（１６）からの係数データのうち前記プリフィルタ手段（１０）によって遮断された以外の周波数成分に対する係数データを所定のテーブル値（２０）に基づいて除算する割算手段（１８ａ）と、前記プリフィルタ手段（１０）によって遮断された周波数成分に対する係数データとして所定値の係数データを出力する置換手段（１８ｂ）とを備える、
   ことを特徴とする動画像圧縮符号化装置。
2. 前記置換手段（１８ｂ）から出力される係数データの値は、「０」であることを特徴とする請求項１の動画像圧縮符号化装置。
3. 入力されたインターレースの動画像信号にフィルタリングを行い通過帯域を制限するプリフィルタ手段（１０）と、
   このフィルタ処理された動画像信号をフィールド間動き補償圧縮符号化により符号化画像データに変換する第１圧縮符号化手段（３０）と、
   このフィルタ処理された動画像信号をフレーム間動き補償圧縮符号化により符号化画像データに変換する第２圧縮符号化手段（３２）と、
   この第１、第２圧縮符号化手段による圧縮符号化画像データを選択出力させる選択手段（３８）とを備え、
   前記プリフィルタ手段（１０）は、
   前記動画像信号を１フィールド遅延するフィールド遅延手段（１２）と、現フィールドの動画像信号を前記フィールド遅延手段によって遅延された１フィールド前の動画像信号を用いて時空間フィルタリング処理を行うフィルタ手段（１４）とを備える、
   ことを特徴とする動画像圧縮符号化装置。

Images