JPH05199512A

JPH05199512A - 直交変換符号化装置

Info

Publication number: JPH05199512A
Application number: JP4008979A
Authority: JP
Inventors: Shoichi Nishino; 正一西野; Shigeru Awamoto; 繁粟本; Toyohiko Matsuda; 豊彦松田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1992-01-22
Filing date: 1992-01-22
Publication date: 1993-08-06

Abstract

(57)【要約】【目的】本発明は、フレーム間差分処理における復号
化回路なしで各フレームの復号化信号における量子化誤
差は均一で、しかも２フレーム期間で常にフレーム内／
フレーム間差分処理が完結する直交変換符号化装置を提
供することを目的としている。【構成】映像信号をそのフレーム単位で、小ブロック
化器１０にて小ブロック化し、このブロック間信号か
ら、加算器２３および減算器２４にてフレーム間加算し
た和ブロックとフレーム間差分した差ブロックを得て、
その和ブロックおよび差ブロックを直交変換器３０によ
って直交変換する。そして前記和ブロックと差ブロック
を一つの中ブロックとした中ブロックを複数個を集め
て、符号化器５０にて一定データ量にデータ量圧縮して
符号化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ディジタル化された映
像信号のデータ量を削減する直交変換符号化装置に関す
る。

【０００２】

【従来の技術】一般に、映像信号は情報量が非常に大き
いために記録あるいは伝送を行なうにあたって、高能率
符号化によって画質劣化が視覚的に目だたないように情
報量を削減する方法が用いられる。この高能率符号化の
ひとつに直交変換符号化がある。直交変換符号化は、映
像信号をブロック化して、そのブロック毎に直交変換を
用いて周波数分解を行い符号化するものである。そのと
き、映像信号の情報量に応じて、人間の視覚特性上で画
質劣化に影響の少ない高域成分から、そのデータ量の割
当を少なくしてデータ量を削減するものである。直交変
換の手法としては、映像信号のフレーム単位のノンイン
ターレース信号に対しての離散コサイン変換（ＤＣＴ）
が最も盛んに用いられている。

【０００３】また、高品位テレビジョン信号のように非
常にデータ量の多い入力映像信号であったり、記録また
は伝送しなければならないデータ量が非常に少ないデー
タ量であった場合のように、高能率符号化における圧縮
率が小さくなれば、前記フレーム単位の直交変換符号化
では画質劣化を充分に防げない。そこで、前記フレーム
単位の処理（フレーム内処理）に加えて、フレーム間の
差分に対しての高能率符号化（フレーム間処理）を用い
ている。

【０００４】（図３）はフレーム間処理を用いた直交変
換符号化装置のブロック図であって、連続する２フレー
ムでフレーム内処理／フレーム間処理を行う従来例であ
る。同図において、入力された映像信号は減算器１の一
方の入力信号となり、減算器１の出力信号はブロック化
器２によりブロック化され直交変換器３により直交変換
される。符号化器４は、直交変換された信号を視覚的影
響の少ない高域成分ほど粗い量子化ステップで量子化
し、さらに可変長符号化などにより符号化して直交変換
符号化信号として出力するとともに、復号化器５にも同
一の信号を送る。復号化器５で復号化および逆量子化さ
れた信号は、さらに逆直交変換器６により逆直交変換さ
れ、そして逆ブロック化器７で逆ブロック化される。逆
ブロック化器７の出力信号は遅延器８に送られる。遅延
器８は、前記逆ブロック化器７の出力信号を１フレーム
期間遅延して、減算器１のもう一方の入力信号としてい
る。上記構成において、減算器１は入力映像信号の前フ
レームの直交変換復号化映像信号と現フレームの映像信
号との差分を得るものである。

【０００５】本装置において、第１フレームは減算器１
によりフレーム間差分は得られないので、そのままフレ
ーム内処理により直交変換符号化されるが、第２フレー
ムはフレーム間差分が直交変換符号化される。よって、
第２フレームもフレーム内処理するのに比べ、第２フレ
ームはフレーム間における変化分のみが直交変換符号化
されるので、符号化データ量を少なくできる。

【０００６】また、本従来例のようにフレーム内／フレ
ーム間差分の直交変換符号化方式では、フレーム内処理
されたフレームの符号化による量子化誤差を次のフレー
ム間差分に誤差伝搬させないために、符号化時における
復号化処理が必須となる。

【０００７】例えば、第１のフレームの情報をＡとし、
その次の第２のフレームの情報をＢとして、復号化処理
を行なわずにフレーム内（Ａ）／フレーム間差分（Ｂ−
Ａ）処理を行なったときの量子化誤差（ｅ₁、ｅ₂）の状
態を示すと以下のようになる。

【０００８】

【数１】

【０００９】この量子化誤差状態において、前記第１及
び第２のフレームの復号化信号の情報は次式のようにな
る。

【００１０】

【数２】

【００１１】つまり、第２のフレームの復号化信号に
は、第１のフレームのフレーム内処理における量子化誤
差ｅ₁とフレーム間差分処理における量子化誤差ｅ₂が重
畳されてしまい、第１のフレームの復号化信号より必ず
劣化度が大きくなる。

【００１２】それに対して、前記従来例のように復号化
処理を含んだフレーム間差分処理を行なうと、フレーム
間差分には前記フレーム内処理における量子化誤差ｅ₁
を含んでいるので量子化誤差の状態は以下のようにな
る。

【００１３】

【数３】

【００１４】

【数４】

【００１５】つまり、前記第２のフレームの復号化信号
にはフレーム間差分処理における量子化誤差ｅ₃しか発
生しないので、第１のフレームの量子化誤差と同一にで
きる可能性がある。

【００１６】

【発明が解決しようとする課題】しかしながら、上述し
た従来の構成では、以下のような課題を有している。

【００１７】まず、直交変換符号化装置でありながら、
その構成要素に復号化器５、逆直交変換器６および逆ブ
ロック化器７の復号化回路を持っていて、回路規模を非
常に大きくしている。これら構成要素は直交変換符号化
装置によって符号化された信号を、もとの映像信号に直
交変換復号する復号化装置を構成するものであって、符
号化器４、直交変換器３およびブロック化器２と大いに
回路の共用化ができうるものである。

【００１８】次に、フレーム内処理とフレーム間差分処
理される各フレームの復号化信号における量子化誤差を
均一にする可能性を持つことは前述したが、そのために
はフレーム間差分処理するフレーム期間を長くしなけれ
ばならない。つまり、フレーム間差分処理のためにはフ
レーム内処理の復号をも終了していなければならないの
で、フレーム内処理時には次のフレーム間差分の情報量
は不明である。よって、フレーム間差分処理のフレーム
期間が短ければ、前記量子化誤差ｅ₁とｅ₃を等しくする
のは非常に困難であるので、前記フレーム間差分処理の
フレーム間期間を長くして、その間に各フレームの復号
化信号における量子化誤差を均一化していかなければな
らなかった。そのため、誤りによる誤り伝搬が長いフレ
ーム期間にわたって非常な画質劣化の要因となってい
た。特に、ビデオテープレコーダー（ＶＴＲ）に応用す
るには、その誤り伝搬だけでなく、修整、編集、さらに
高速サーチなどの特殊再生の点においても、上記フレー
ム間差分処理の期間を長くするにはその画質劣化のため
に大きな課題となっていた。

【００１９】本発明はかかる従来技術の課題に鑑み、フ
レーム間差分処理における復号化回路なしで各フレーム
の復号化信号における量子化誤差は均一で、しかも２フ
レーム期間で常にフレーム内／フレーム間差分処理が完
結する直交変換符号化装置を提供することを目的として
いる。

【００２０】

【課題を解決するための手段】本発明の直交変換符号化
装置は、映像信号をフレーム単位で小ブロック化する小
ブロック化手段と、前記小ブロック化信号のフレーム間
加算した和ブロックとフレーム間差分した差ブロックを
得るフレーム間演算手段と、前記和ブロックおよび差ブ
ロックを直交変換する直交変換手段と、前記和ブロック
と差ブロックを一つの中ブロックとする中ブロック化手
段と、複数の前記中ブロックを一定データ量にデータ量
圧縮して符号化する符号化手段を備えているものであ
る。

【００２１】

【作用】上記構成により、２フレーム期間の映像信号に
対して、フレーム間の和と差における直交変換、量子化
及び符号化を行なうので、復号化回路がなくても、復号
時に前記和と差の量子化誤差は２フレームの復号化信号
のそれぞれに分散して量子化誤差を均一にできる。さら
に、直交変換手段がフレーム内およびフィールド内の直
交変換を切り換えるので、静止画／動画モードの映像信
号でもデータ量の削減が効率的に行える。

【００２２】

【実施例】（図１）は本発明の一実施例における直交変
換符号化装置のブロック図である。（図１）において、
１０は入力映像信号をフレーム単位内で小ブロック化す
る小ブロック化器であって、本実施例では水平方向に８
画素、垂直方向に８画素連続する６４画素を一つの小ブ
ロックとするものとする。２０はフレーム間演算回路で
あって、前記小ブロック化信号のフレーム間の和ブロッ
クと差ブロックを得るものである。本フレーム間演算回
路２０は、前記小ブロック化信号の２フレーム単位にお
いて、第１フレーム（Ａ）と第２フレーム（Ｂ）に分け
るスイッチ２１、前記第１フレーム（Ａ）を１フレーム
期間遅延する遅延器２２、前記遅延器２２により１フレ
ーム遅延された第１フレーム（Ａ）と前記第２フレーム
（Ｂ）を加算して和ブロック（Ａ＋Ｂ）を得る加算器２
３、遅延器２２により１フレーム遅延された第１フレー
ム（Ａ）と第２フレーム（Ｂ）を減算して差ブロック
（Ａ−Ｂ）を得る減算器２４、および前記和ブロック
（Ａ）と差ブロック（Ｂ）を交互に並べて６４画素毎の
小ブロック列にする結合器２５とで構成される。３０は
直交変換器であって、前記フレーム間演算回路２０より
得る和ブロックまたは差ブロックごとに直交変換を行な
う。ここで直交変換器３０は、相関検出器６０から得る
検出信号によりフレーム内直交変換またはフィールド内
直交変換を切り換えることができる。４０は、前記和ブ
ロックおよび差ブロックの直交変換信号をひとつの中ブ
ロックとして直交変換信号を空間的および時間的な低域
成分から高域成分の順に並べる中ブロック化器であっ
て、相関検出器６０から得る検出信号によりその直交変
換信号の並びを切り換える。５０は符号化器であって、
前記中ブロック化器より得る複数の中ブロック化された
直交変換信号を一定データ量になるように、量子化およ
び可変長符号化して本実施例の直交変換符号化信号とし
て出力する。

【００２３】以下、本実施例の動作を説明する。小ブロ
ック化器１０は、第１フレーム（Ａ）と第２フレーム
（Ｂ）に対して同じ小ブロック化処理を行なう。そのた
め加算器２３および減算器２４により加減算される２つ
の小ブロックはフレームは異なっているが画面上同位置
の信号である。また小ブロック化処理は、上記２フレー
ムに対して同処理であればよく、その小ブロックの並び
は映像信号の走査順通り（水平方向で左から右へ、垂直
方向で上から下）でなくてよい。

【００２４】次に、フレーム内直交変換とフィールド内
直交変換を切り換えることのできる直交変換器３０の構
成は、本出願人が既に出願した特許願平成３−２７２８
４号「直交変換装置」に示している。本発明の場合、直
交変換器３０への入力信号は和ブロック化および差ブロ
ック化されているので、本来のフレーム内／フィールド
内という表現とは異なる。しかし、和ブロックおよび差
ブロックともにフレーム間の演算結果であるので、奇数
フィールド間の和・差演算および偶数フィールド間の和
・差演算である。よって、前記奇数フィールド間の演算
信号のみ、または偶数フィールドの演算信号のみをフィ
ールド信号とし、奇数フィールド間と偶数フィールド間
の和信号をノンインターレース化されている和ブロック
または差信号をノンインターレース化されている差ブロ
ックをフレーム信号とすることにより、前記直交変換器
３０の動作を説明できる。

【００２５】具体的に、第１フレーム（Ａ）が奇数フィ
ールド（Ａ１）と偶数フィールド（Ａ２）のノンインタ
ーレース化信号とし、第２フレーム（Ｂ）が奇数フィー
ルド（Ｂ１）と偶数フィールド（Ｂ２）のノンインター
レース化信号として、

【００２６】

【数５】

【００２７】として表わせば、和ブロック（Ａ＋Ｂ）お
よび差ブロック（Ａ−Ｂ）は次のようになる。

【００２８】

【数６】

【００２９】よって、［Ａ１＋Ｂ１，Ａ２＋Ｂ２］およ
び［Ａ１−Ｂ１，Ａ２−Ｂ２］をフレーム信号とし、Ａ
１＋Ｂ１、Ａ２＋Ｂ２、Ａ１−Ｂ１、およびＡ２−Ｂ２
をそれぞれフィールド信号とすればよい。

【００３０】また、直交変換器３０は、フレーム内直交
変換を行なうときは前記小ブロックに対して８×８の２
次元直交変換をおこなうが、フィールド内直交変換を行
なうときは前記小ブロックのフレーム信号中の各フィー
ルド信号の画素サイズ（水平８画素、垂直４画素）の８
×４の２次元直交変換を行い、そのフィールド間の和及
び差を得るものである。これは、フィールド間差信号の
２次元直交変換における直流成分も時間的高域成分とみ
なすことにより、小ブロック単位での直流成分をフィー
ルド間和信号の直流成分のみにして、フレーム内直交変
換した時と全く同様に後段の符号化器５０の処理を行な
わすものである。

【００３１】以上の直交変換器３０により前記和ブロッ
ク及び差ブロックをフィールド内直交変換された直交変
換信号は、各信号Ａ１，Ａ２，Ｂ１，Ｂ２の直交変換信
号をそれぞれａ１，ａ２，ｂ１，ｂ２として表わせば、
（数６）より次のようになる。

【００３２】

【数７】

【００３３】一方、フレーム内直交変換された直交変換
信号は、各信号Ａ，Ｂの直交変換信号をａ，ｂで表わせ
ば次のようになる。

【００３４】

【数８】

【００３５】次に、中ブロック化器４０は上記した式で
示される直交変換信号を空間的および時間的な低域成分
から高域成分の順に並べるものである。空間的並びにつ
いては、フレーム内およびフィールド内直交変換とも２
次元直交変換の低次成分から高次成分に直交変換係数を
並べる。その一例を（図２）に示す。一方、時間的並び
は、フレーム内直交変換時のフレーム並びをｄ(フレーム)と
し、フィールド内直交変換時のフィールド並びをｄ(フィー
ルト゛)として次のように並べる。

【００３６】

【数９】

【００３７】（数９）において、ｄ(フレーム)は（数８）に
示すように和ブロックから差ブロックの順になってお
り、２フレーム間の時間的平均を低域成分としている。
また、ｄ(フィールト゛)の並びについては、ａ１→ａ２→ｂ１
→ｂ２が時間的な４フィールドのフィールド並びである
が、（数７）に見るようにｃ１(フィールト゛)、ｃ２(フィールト
゛)、ｃ３(フィールト゛)、ｃ４(フィールト゛)の各々は、前記４フィ
ールド分のフィールド内直交変換信号に対する４次のア
ダマール変換になっている。（数９）のｄ(フィールト゛)は、
そのアダマール変換における低域成分から高域成分の順
に並べたものである。

【００３８】以上のように、中ブロック化することによ
り、その中ブロック単位における直流成分はフレーム内
直交変換／フィールド内直交変換にかかわらずただひと
つであって、かつ直交変換信号が空間的にも時間的にも
低域成分から高域成分の順に並んでいるので、符号化器
５０では全く同一の処理が行えることになる。また、符
号化器５０では前記中ブロックに２フレーム分の情報が
含まれているので、従来のフレーム内処理が終了してか
らフレーム間差分処理を行なうようなフィードバック方
式のデータ量制御に対して、２フレーム分をフィードフ
ォワード方式のデータ量制御で行えて回路を簡単にでき
るだけでなく、２フレーム分のデータ量を一定にするデ
ータ量制御が非常に容易である。

【００３９】また、相関検出器６０は前記直交変換器３
０におけるフレーム内／フィールド内直交変換の切り替
え、および中ブロック化器４０における直交変換信号の
並び替えの切り替えを示す検出信号を生成するものであ
るが、その動作は前記差ブロックにおける各信号の振幅
を検出して行うのが最も簡単で有効な相関検出法であ
る。前記差ブロックはそのままフレーム間差分信号であ
るので、その各信号の振幅が小さいときには動き成分の
ない静止画モードである。そのときフレーム内直交変換
を選択することにより差ブロックの直交変換成分はほと
んど無信号状態に近くなるので、後段の符号化器５０に
おいて符号化すべき直交変換信号が和ブロックのみに近
くなりデータ量の削減効果が増す。一方、前記差ブロッ
クの振幅が大きいときには、動画モードであり、前記２
フレームにわたって動き成分が多いことを示すことにな
る。つまり、前記２フレームを構成する４フィールド分
の動き量を持つ中ブロックであって、そのときは動き成
分を充分に符号化できるフィールド内直交変換を選択す
る。

【００４０】以上説明したように本実施例によれば、フ
レーム間和・差また４フィールドのアダマール変換を行
なって、符号化時に復号化処理を行なわなくとも量子化
誤差は２フレームまた４フィールドに分散されて均一化
されるので回路規模および画質の点でもその効果は大き
い。

【００４１】なお、上記説明で相関検出器６０はフレー
ム間演算回路２０の出力信号よりフレーム間相関の検出
を行なうように構成したが、本相関検出器６０の動作の
ように差ブロックの信号のみを用いる場合には、もちろ
ん減算器２４の出力信号を直接用いてもよい。また、差
ブロック、つまりフレーム間差分によるフレーム間相関
のみを用いて静止画／動画モード検出を行なったが、フ
ィールド間相関を用いてもよい。フィールド間相関も当
該４フィールド期間における動き成分の検出に有効な方
法のひとつである。

【００４２】

【発明の効果】以上のように、本発明は、２フレーム期
間の映像信号に対して、フレーム間の和と差における直
交変換、量子化及び符号化を行なうので、復号化回路が
なくても、復号時に前記和と差の量子化誤差は２フレー
ムの復号化信号のそれぞれに分散して量子化誤差を均一
にできる。さらに、直交変換手段がフレーム内およびフ
ィールド内の直交変換を切り換えて静止画／動画モード
の映像信号でもデータ量の削減が効率的に行えて、かつ
前記静止画／動画モードでも前記中ブロック内直交変換
信号が時間的および空間的な低域成分から高域成分の順
に並んでいるので前記２つのモードにかかわらず量子化
・符号化処理を同一にでき、回路の簡単化が図れる。

【図面の簡単な説明】

【図１】本発明の一実施例における直交変換符号化装置
のブロック図である。

【図２】本発明の一実施例における直交変換符号化装置
の構成要素である中ブロック化器４０による直交変換信
号の伝送順序を示す図である。

【図３】従来の直交変換符号化装置のブロック図であ
る。

【符号の説明】

１０小ブロック化器２０フレーム間演算回路３０直交変換器４０中ブロック化器５０符号化器６０相関検出器

Claims

【特許請求の範囲】

【請求項１】映像信号をフレーム単位で小ブロック化
する小ブロック化手段と、前記小ブロック化信号のフレ
ーム間加算した和ブロックとフレーム間差分した差ブロ
ックを得るフレーム間演算手段と、前記和ブロックおよ
び差ブロックを直交変換する直交変換手段と、前記和ブ
ロックと差ブロックを一つの中ブロックとする中ブロッ
ク化手段と、複数の前記中ブロックを一定データ量にデ
ータ量圧縮して符号化する符号化手段を備えていること
を特徴とする直交変換符号化装置。
【請求項２】直交変換手段が、和ブロックおよび差ブ
ロックのフレーム間相関またはフィールド間相関によ
り、フレーム内直交変換またはフィールド内直交変換の
一方の直交変換を選択することを特徴とする請求項１記
載の直交変換符号化装置。
【請求項３】中ブロック化手段は、中ブロック内直交
変換信号を空間的および時間的な低域成分から高域成分
の順に並べることを特徴とする請求項１記載の直交変換
符号化装置。
【請求項４】中ブロック化手段が中ブロック内直交変
換信号を時間的低域成分から高域成分の順に並べるの
に、直交変換手段がフレーム内直交変換を選択するとき
は和ブロック、差ブロックの順に直交変換信号を並べ、
前記直交変換手段がフィールド内直交変換を選択すると
きは和ブロック内フィールド間和、差ブロック内フィー
ルド間和、差ブロック内フィールド間差、和ブロック内
フィールド間差の順に直交変換信号を並べることを特徴
とする請求項３記載の直交変換符号化装置。