JPH0248885A - 動画像信号のハイブリッド復号化方式とその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、高能率に圧縮符号化された動画像信号の復号
化方法およびその装置に関するものである。

（従来の技術） 従来、フレーム間予測符号化と直交変換符号化とを組み
合せた動画像信号の符号化方式として、１９８６年度画
像符号化シンポジウム、４．１２．ｐｐ、５３−５４．
１９８６年９月（文献１）に記載のものが知られている
。文献１の符号化ブロック図を、第７図に示す。

この符号化方式においては、動画像信号の動き補償フレ
ーム間予測誤差信号を、直交変換符号化している。文献
１では、復号化画像信号の画質の劣化をできるだけ抑え
ながら、発生情報量を削減するために、直交変換係数を
量子化するときに、動きの大きさにもとづいた高域係数
の切り捨てと、孤立有意係数の切り捨ての２つのを行っ
ている。

（発明が解決しようとする問題点） 直交変換符号化では、符号化する直交変換係数を切り捨
てて数を減らすことにより、情報量を圧縮することがで
きる。このときフレーム間予測誤差を直交変換符号化す
る従来方式では、復号化信号において、符号化側で切り
捨てられた直交変換係数に対応する信号成分については
、前フレームの復号化信号から予測された予測信号に含
まれる信号成分がそのまま現フレームの復号化信号に出
てくることになる。たとえば、第７図のブロック図にお
いて、第６図（ｂ）に示すような場合が考えられる。第
６図は、１次元の直交変換を用いる場合の例であり、四
角の枠の中に示した２つの波形は直交変換係数の内の２
つの係数に対応する波形を示してν）で、波形の振幅は
係数の大きさを表している。なお、直流成分は除いて示
している。第６図（ｂ）において前フレームの符号化時
には、波形５０５のような局部復号化信号が得られ、復
号化側では波形５１７のような復号化信号が得られたと
する。フレーム間予測方法として単純に前フレームの信
号をそのまま用いる方法を用いるとすると、符号化側で
は波形５０５が現フレームの予測信号となり、復号化側
では波形５１７がフレーム間予測信号となる。現フレー
ムの符号化において、波形５０１のような入力信号を符
号化する場合、符号化側では波形５０１と波形５０５と
でフレーム間差分がとられ、誤差波形５０２が得られる
。この波形５０２を直交変換して波形５０３と５０４に
対応する直交変換係数が得られる。量子化器１６におい
て、波形５０３に対応する直交変換係数は保存され、波
形５０４に対応する直交変換係数は切り捨てられると、
波形５０８と５０９に対応する直交変換係数が符号化さ
れることになる。量子化器１６において、○印はその直
後変換係数は保持され、Ｘ印は切り捨てられることを表
わしている。復号化側では、まず波形５０８と５０９に
対応する直交変換係数を逆変換して波形５２２を得る。

この波形５２２にフレーム間予測信号５１７を加えるこ
とにより復号化信号５２３が得られる。次のフレームの
信号の予測には、符号化側では波形５０８と５０９に対
応する直交変換係数を逆変換して得られる波形５２０と
、フレーム間予測信号５０５との和である波形５２１が
用いられ、復号化側では波形５２３が用いられる。復号
化波形５２３を入力波形５０１と前フレームの復号化波
形５１７と比較すると、係数切捨ての影響により復号化
波形５２３は、入力波形５０１よりも斜面の立ちさがり
位置が右にずれており、前フレームの波形５１７に近い
形となっている。以上のように従来方式においては切捨
てられた直交変換係数に対応する前フレームの復号化波
形が、現フレームの復号化信号にそのまま残ることにな
り、大きな画質劣化が生じる。特に動きがある部分につ
いては、フレーム差分の高域の直交変換係数を切り捨て
ると、動く前の物体の広域信号成分すなわち輪郭が背景
に残る。

本発明の目的は、従来方式の以上のような欠点を解消し
、符号化時に直交変換係数を切り捨てても、復号化画像
信号に前フレームの信号による不要な影響が残るのを防
ぎ、より画質劣化の少ない動画像信号の復号化装置を提
供することにある。

（問題点を解決するための手段） 本発明の復号化方法は、符号化側においては、入力画像
信号と符号化側のフレーム間予測信号との差をとり、差
信号を直交変換して符号化画像信号とし、符号化画像信
号を逆直交変換した信号と前記フレーム間予測信号との
和をとって局部復号化信号とし、局部復号化信号から、
次のフレームの信号を予測して前記符号化側のフレーム
間予測信号とし、復号化側においては、符号化画像信号
を逆直交変換し、逆直交変換した信号と復号化側のフレ
ーム間予測信号との和をとって復号化画像信号とし、復
号化画像信号から次のフレームを予測し前記復号化側の
フレーム間予測信号とする動画像信号の符号化方法にお
いて、復号化側において、フレーム間予測信号かあるい
は復号化画像信号に対して、一部の直交変換係数に対応
する信号成分を除去することを特徴とする。

本発明を実現する第１の復号化装置の構成は符号化画像
信号を逆直交変換する手段と、前記逆直交変換手段の出
力信号とフレーム間予測信号とを加算する手段と、前記
加算手段の出力信号を復号化画像信号として出力する手
段と、前記加算手段の出力信号から次のフレームの信号
を予測し、コノ予測信号から符号化装置で生成されるモ
ード情報をもとにして一部の直交変換係数に対応する信
号成分を切り捨ててフレーム間予測信号として出力する
か、あるいは前記加算手段の出力信号から符号化装置で
生成されるモード情報をもとにして一部の直交変換係数
に対応する信号成分を切り捨て、この成分切捨てを行っ
た信号から次のフレームの信号を予測してフレーム間予
測信号として出力するフレーム間予測器とからなること
を特徴とする。

また本発明を実現する第２の復号化装置は、符号化画像
信号を逆直交変換する手段と、前記逆直交変換手段の出
力信号とフレーム間予測信号とを加算する手段と、前記
加算手段の出力信号から符号化装置で生成されるモード
情報をもとにして一部の直交変換係数に対応する信号成
分を切り捨てる手段と、前記成分切り捨て手段の出力信
号を復号化画像信号として出力する手段と、前記成分切
り捨て手段の出力信号から次のフレームの信号を予測し
て出力するフレーム間予測器とからなることを特徴とす
る （作用） 第６図（ｂ）において復号化装置の出力信号５２３が、
前フレームの復号化信号５１７に近い形となったのは、
波形５１７に含まれている信号成分のうち符号化前で切
り捨てられた直交変換係数に対応する信号成分が、現フ
レームのフレーム復号化において修正されなかったのが
原因であった。符号化側で切り捨てられた直交変換係数
に対応する信号成分は、復号化装置においてもフレーム
間復号化のときに切り捨てることにより画質を改善する
ことができる。本発明では、復号化画像の信号において
符号化側で切り捨てられた直交変換係数に対応する信号
成分が現れないように、復号化側のフレーム間予測信号
またはフレーム間復号化信号に含まれている信号成分の
うち符号化側で切り捨てられた直交変換係数に対応する
信号成分を切り捨てている。この場合、第６図（ｂ）に
あげた例は、第６図（ａ）のようになる。第６図（ａ）
は、本発明の復号化装置に対応する符号化装置の一例と
本発明の第１の構成の復号化装置を組み合わせた符号化
・復号化装置の各部の信号を示している。復号化側では
、フレーム間予測信号５１７に含まれる各直交変換係数
に対応する信号成分（波形５１８，５１９）のうち、符
号化側で切り捨てられた直交変換係数に対応する信号成
分（波形５１９）は切り捨てて波形５１４とし、この波
形５１４と、符号化側から送られてくる波形５０８と５
０９に対応する直交変換係数を逆直交変換して得られる
波形５２２とを加算して、波形５１５の復号化画像信号
を得ている。

また符号化側では、フレーム間予測信号５０５に含まれ
る各直交変換係数に対応する信号成分（波形５０６．５
０７）のうち量子化器１６において切り捨てられた直交
変換係数に対応する信号成分（波形５ｏ７）を切り捨て
て波形５１０とし、この波形５１０と、量子化器１６で
得られる波形５０８と５０９に対応する直交変換係数を
逆直交変換して得られる波形５２０とを加算し、波形５
１２の局部復号化信号を得ている。

波形５１５は、波形５２３に比べ波形が立ちさがってレ
ベルゼロを交叉する位置に関し人力波形５０１に近く、
人力波形５０１とのレベル差が小さくなっている。この
傾向は現フレームで切り捨てられる係数の値とフレーム
間予測信号の対応する係数の値との差が大きいとより顕
著になる。以上のように本発明では、符号化時に復号化
側で直交変換係数に対応する信号成分の切捨てを行わな
い従来方式より復号化画像信号の劣化を抑えることがで
きる。

本発明の復号化装置の第１の構成と第２の構成との違い
は、第１の構成においては、フレーム間予測を行うのに
用いる復号化信号に対してかあるいはフレーム間予測信
号に対して信号成分の切り捨てを行っており、第２の構
成においては復号化信号に対して信号成分の切捨てを行
っている。

（実施例） 第１図（ａ）、（ｂ）は、本発明による復号化装置の構
成を示すブロック図であり、第８図（ａ）、（ｂ）はそ
れらに対応する符号化装置の一例を示している。

本発明の復号化装置の実施例の説明をはじめる前にまず
符号化装置側の説明を行う。

第８図（ａ）において、入力端子１００から入力される
画像信号は、減算器３でフレーム間予測器２が出力する
フレーム間予測信号との差がとられる。この差信号は、
直交変換回路１で直交変換された後、符号化画像信号と
して出力端子２００より出力される。

また、直交変換回路１の出力信号は逆直交変換回路で逆
変換された後、加算器４に加えられる。成分切捨て回路
６では、切捨て成分判定回路９の生成するモード情報を
もとにして、フレーム間予測器２が出力するフレーム間
予測信号から、一部の直交変換係数に対応する信号成分
を切り捨てる。加算器４では、逆直交変換回路８の出力
信号と、成分切捨て回路６の出力信号とを加算する。フ
レーム間予測器２では、加算器４の出力信号から次のフ
レームの画像信号を予測して出力する。切り捨て成分判
定回路９は、どの直交変換係数に対応する信号成分を切
り捨てるかを指示するモード情報を生成する。

モード情報は出力端子２１０より出力される。

第８図（ｂ）においては、入力端子１００から人力され
る画像信号は、減算器３でフレーム間予測器７の出力信
号との差がとられる。この差信号は、直交変換回路１で
直交変換された後、符号化画像信号として出力端子２０
０より出力される。また、直交変換回路１の出力信号は
、逆直交変換回路８で逆直交変換された後、加算器４に
加えられる。加算器４では、逆直交変換回路８の出力信
号と、フレーム間予測器７の出力信号を加算する。フレ
ーム間予測器７では、切捨て成分判定回路９の生成する
モード情報をもとにして、加算器４の出力信号から一部
の直交変換係数に対応する信号成分を切捨て、この信号
から次のフレームの画像信号を予測して出力するか、あ
るいは加算器４の出力信号から次のフレームの画像信号
を予測して、この予測信号から切捨て成分判定回路９の
生成するモード情報をもとにして一部の直交変換係数に
対応する信号成分を切り捨てて出力する。

次に、本発明の実施例についての説明を行なう。

第１図（ａ）においては、入力端子３００より人力され
る符号化画像信号は、逆直交変換回路１３で逆直交変換
された後、加算器１１に加えられる。加算器１１でば、
逆直交変換回路１３の出力信号と、フレーム間予測器１
２の出力信号とを加算して、復号化画像信号として出力
端子４００より出力する。フレーム間予測器１２では、
入力端子３１０より入力されるモード情報をもとにして
、前フレームの復号化画像信号から一部の直交変換係数
に対応する信号成分を切り捨てて、この信号から現フレ
ームの画像信号を予測して出力するか、あるいは、前フ
レームの復号化画像信号から現フレームの画像信号を予
測し、この予測信号から入力端子３１０より入力される
モード情報をもとにして一部の直交変換係数に対応する
信号成分を切り捨てて出力する。

第１図（ｂ）においては、入力端子３００より入力され
る符号化画像信号は、逆直交変換回路１３で逆直交変換
された後、加算器１１に加えられる。加算器１１では、
逆直交変換回路１３の出力信号と、フレーム間予測器１
５の出力信号とを加算する。成分切捨て回路１４では、
入力端子３１０より入力されるモード情報をもとにして
、加算器１１の出力信号から一部の直交変換係数に対応
する信号成分を切捨て、この信号を復号化画像信号とし
て出力端子４００より出力する。フレーム間予測器１５
では、前フレームのフレームの復号化画像信号から現フ
レームの画像信号を予測して出力する。

第１図（ａ）、（ｂ）と従来方式との違いは、第１図（
ａ）ではフレーム間予測器１２において、第１図（ｂ）
では成分切捨て回路１４において、一部の直交変換係数
に対応する信号成分を切り捨てている。

復号化装置の入力端子３１０より入力されるモード情報
としては、どの直交変換係数に対応する信号成分を切り
捨てるかを直接指示する情報の他、切り捨てる信号成分
の直交変換係数のパターンをあらかしめ何種類か用意し
ておいてそのパターンの番号をモード情報とすることも
できる。モード情報は、切り捨てる信号成分を指示する
専用の情報でなくともよく、他の符号化情報がら導き出
せる信号としてもよい。

第１図（ｂ）の成分切捨て回路１４としては、たとえば
第２図（ａ）のブロック図の回路により実現することが
できる。第２図（ａ）においては、入力信号を直交変換
係数に直交変換し、モード情報をもとにして、−部の直
交変換係数を切り捨てた後、逆直交変換して出力信号と
している。

第１図（ａ）のフレーム間予測器１５としても、たとえ
ば第２図（ｂ）、（ｃ）、（ｄ）、（ｅ）のブロック図
の回路により実現することができる。第２図（ｂ）、（
ｃ）、（ｄ）、（ｅ）においては、第２図（ａ）のブロ
ック図にフレーム間予測器５ｏを挿入しており、（ｂ）
、（ｃ）、（ｄ）、（ｅ）り各図においては、フレーム
間予測器５０の挿入位置が異なっている。フレーム間予
測器５０は、第２図（ｂ）、（ｅ）においては画像信号
の振幅レベルでの予測を行い、第２図（Ｃ）、（ｄ）に
おいては、直交変換係数レベルの予測を行うが、第２図
（ｂ）、（ｃ）、（ｄ）、（ｅ）り各回路全体として同
じ伝達特性となるようにすることができる。

第１図（ａ）のフレーム間予測器１２として第２図（ｂ
）、（ｃ）、（ｄ）のブロック図の回路を用いる場合に
は、逆直交変換回路１３と５３は加算器１１の後にもっ
ていってまとめることができる。この場合の実施例を第
３図（ａ）に示す。第３図では、逆直交変換回路１３と
５３の代わりに加算器ｌｌの後に逆直交変換回路５７が
ある。またフレーム間予測器３３は、第２図（ｂ）、（
ｃ）、（ｄ）のブロック図の最後の逆直交変換回路５３
を除いたフレーム間予測器５０と直交変換回路５１と係
数切捨て回路５２とから構成されている。

第１図（ｂ）の成分切捨て回路１４として第２図（ａ）
のブロック図の回路を用いる場合には、逆直交変換回路
１３と直交変換回路５１の代わりに、第３図（ｂ）のよ
うにフレーム間予測器１５に直交変換回路を組み込んで
も実現することができる。第３図（ｂ）のフレーム間予
測器３４は、フレーム間予測器１５と直交変換回路とか
ら構成されるが、フレーム間予測信号を直交変換しても
、直交変換してがらフレーム間予測を行ってもよい。

第４図は、第８図（ａ）の符号化装置と本発明の第１図
（ａ）の復号化装置を用いた符号化・復号化装置の実施
例を示すブロック図である。第４図においては、第１図
の符号化復号化装置の実施例に量子化器・逆量子化器と
マルチプレクサ・デマルチプレクサが加わっている。

第４図（ａ）は、符号化装置のブロック図で、ｌｏｏは
入力端子、ｌは直交変換回路、２はフレーム間予測器、
３は減算器、４は加算器、６は直交変換成分の切捨て回
路、９は切捨て成分判定回路、１６は量子化器、１７は
逆量子化器、１８は量子化器１６の出力する符号化画像
信号と量子化器１６における量子化特性の情報と切捨て
成分判定回路９の出方するモード情報とをマルチプレク
サし出力端子２９０に出力するマルチプレクサである。

第４図（ｂ）は復号化装置のブロック図で、３９０は入
力端子、１９は入力端子３９０がらの信号を符号化画像
信号と量子化情報とモード情報とに分離するデマルチプ
レクサ、２ｏは逆量子化量、１１は加算器、１３は逆直
交変換回路、１２はフレーム間予測直交変換成分の切捨
てを行う回路である。

第４図（ｂ）の復号化装置におけるデマルチプレクサ１
９と逆量子化器２９とは、第１図（ｂ）の復号化装置に
も組み込むことができる。

フレーム間予測器２あるいはフレーム間予測器７に含ま
れるフレーム間予測機能の一実施例としては、入力信号
を単純に次のフレームまで遅延して出力することにより
実現できる。このとき復号化装置のフレーム間予測器１
５あるいはフレーム間予測器１２に含まれるフレーム間
予測機能としては、人力信号を単純に次のフレームまで
遅延して出力する。

この他フレーム間予測器２として動き補償の手法を用い
ることもできる。第５図（ａ）は、第８図（ａ）の符号
化装置においてフレーム間予測器２として動き補償の手
法を導入した実施例を示している。動き検出回路２にお
いては、入力画像信号から画像の移動量を計算し、動き
情報として回路２２とマルチプレクサ１８に出力する。

回路２２では、動き検出回路２１で検出された画像の移
動量分だけ加算器４の出力信号を補正して、次のフレー
ムの予測信号として出力する。マルチプレクサ１８では
、動き検出回路２１の出力する動き情報を他の信号とマ
ルチプレクサして出力端子２９０に出力する。第５図（
ｂ）は、第１図（ｂ）の復号化装置においてフレーム間
予測器１５として動き補償の手法を導入した実施例を示
している。デマルチプレクサ１９では入力端子３９０よ
り入力される信号より動き情報を分離し、回路２３に伝
える。回路２３では、動き情報にもとづいて前フレーム
の復号化画像信号を補正して現フレームの予測信号とし
て出力する。

また、前記動き補償の手法は、第８図（ｂ）の符号化装
置においてフレーム間予測器７として、第２図（ｂ）、
（ｅ）の構成を用いる場合と、第１図（ａ）の復号化装
置においてフレーム間予測器１２として第２図（ｂ）、
（ｅ）の構成を用いる場合にも適用することができる。

第８図（ｂ）の符号化装置のフレーム間予測器７として
、第２図（Ｃ）、（ｄ）の構成を用いる場合や、第１図
（ａ）の復号化装置のフレーム間予測器１２として第２
図（ｃ）、（ｄ）の構成を用いる場合には、フレーム間
予測は、直交変換係数について行われるため、前記動き
補償の手法をそのまま適用することはできないが、イン
ターナショナル・コンファレンス・オン・アコースティ
クス・スピーチ・アンド・シグナル・プロセッシング（
Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　
ｏｎ　Ａｃｏｕｓｔｕｃｓ。

５ｐｅｅｃｈ、　ａｎｄ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓ
ｓｉｎｇ）４．８９．１．　ｐｐ１５７−１６０．１９
８６年４月（文献２）に記載の直交変換係数における動
き補償の手法を用いて動き補償を行うことができる。

（発明の効果） 従来方式では、符号化時に直交変化係数を切り捨てると
、切り捨てられた直交変換係数に対応する信号成分につ
いては修正が行われず、復号化画像信号に前フレームの
信号成分が残って大きな画質劣化となることがあったが
、本発明では、このような現象を抑えることができ画室
劣化を構成することができる。

【図面の簡単な説明】

第１図（ａ）、（ｂ）は本発明の復号化装置のブロック
図、第２図（ａ）〜（ｅ）は本発明の成分切捨て回路の
実施例を示すブロック図、第３図（ａ）、（ｂ）、第４
図（ａ）、（ｂ）、第５図（ａ）、（ｂ）は本発明の符
号化装置・復号化装置実施例を示すブロック図、第６図
（ａ）、（ｂ）は本発明の詳細な説明する図、第７図は
従来方式の説明図、第８図（ａ）、（ｂ）は本発明の復
号化装置に対応する符号化装置の例を示すブロック図で
ある。 図において、１は直交変換回路、２と１５はフレーム間
予測器、３は減算器、４と１１は加算器、６と１４は成
分切捨て回路、７と１２は成分切捨てとフレーム間予測
を行う回路、８と１３は逆直交変換回路、９は切捨て成
分判定回路である。

Claims (3)

【特許請求の範囲】
1. （１）符号化側においては、入力画像信号と符号化側の
   フレーム間予測信号との差をとり、差信号を直交変換し
   て符号化画像信号とし、符号化画像信号を逆直交変換し
   た信号と前記フレーム間予測信号との和をとって局部復
   号化信号とし、局部復号化信号から、次のフレームの信
   号を予測して前記符号化側のフレーム間予測信号とし、
   復号化側においては、符号化画像信号を逆直交変換し、
   逆直交変換した信号と復号化側のフレーム間予測信号と
   の和をとって復号化画像信号とし、復号化画像信号から
   次のフレームを予測し前記復号化側のフレーム間予測信
   号とする動画像信号の符号化方法において、復号化側に
   おいてフレーム間予測信号かあるいは復号化画像信号に
   対して、一部の直交変換係数に対応する信号成分を除去
   することを特徴とする動画像信号の復号化方法。
2. （２）符号化画像信号を逆直交変換する手段と、前記逆
   直交変化手段の出力信号とフレーム間予測信号とを加算
   する手段と、前記加算手段の出力信号を復号化画像信号
   として出力する手段と、前記加算手段の出力信号から次
   の信号を予測し、この予測信号から符号化装置で生成さ
   れるモード情報をもとにして一部の直交変換係数に対応
   する信号成分を切り捨ててフレーム間予測信号として出
   力するか、あるいは前記加算手段の出力信号から符号化
   装置で生成されるモード情報をもとにして一部の直交変
   換係数に対応する信号成分を切り捨て、この成分切り捨
   てを行った信号から次のフレームの信号を予測してフレ
   ーム間予測信号として出力するフレーム間予測器とから
   なることを特徴とする動画像信号の復号化装置。
3. （３）符号化画像信号を逆直交変換する手段と、前記逆
   直交変換手段の出力信号とフレーム間予測信号とを加算
   する手段と、前記加算手段の出力信号から符号化装置で
   生成されるモード情報をもとにして一部の直交変換係数
   に対応する信号成分を切り捨てる手段と、前記成分切捨
   て手段の出力信号を復号化画像信号として出力する手段
   と、前記成分切捨て手段の出力信号から次のフレームの
   信号を予測して出力するフレーム間予測器とからなるこ
   とを特徴とする動画像信号の復号化装置。