JPH0549155B2

JPH0549155B2 -

Info

Publication number: JPH0549155B2
Application number: JP62213904A
Authority: JP
Inventors: Yoshitaka Nakano; Junichi Ooki
Original assignee: Nippon Electric Co Ltd
Current assignee: NEC Corp
Priority date: 1987-08-26
Filing date: 1987-08-26
Publication date: 1993-07-23
Also published as: JPS6455987A

Description

【発明の詳細な説明】（産業上の利用分野）本発明はブロツク単位処理で復号化された画像
に対して、動静ブロツク別および画素位置に強さ
の異なる平滑化フイルタ処理を行ない、さらに復
号化パラメータの粗さに応じて空間的に平滑化フ
イルタの強さを変えることを特徴とする復号動画
像信号の平滑化処理方法およびその装置に関す
る。

（従来の技術）画像信号を高い能率で符号化するため、主にブ
ロツク単位で適応的に符号化する動画像符号化復
号化方式およびその装置が従来から多く使われて
いる。また、符号化によるブロツク歪を除去する
装置フイルタには一般的に復号化した画像信号に
対して全画面に同じ特性の平滑化フイルタを用い
る。あるいはブロツク境界部分のみに用いるとい
う方法が知られている。三ツ矢らの「装置フイル
タ処理によるブロツク符号化画像の画質改善法の
検討」信学技法IE84−46の論文では、得られた
復号画像のブロツクの境界が顕在化する輝度変化
の少ないブロツクに対してだけ、第９図のように
復号画像のブロツク境界の画素あるいはブロツク
の四隅の画素において周囲８画素を用いてフイル
タ処理を行なう方法を用いている。このフイルタ
処理は第８図のブロツク図のように示される。復
号器６１で得られた復号画像信号５１を後置フイ
ルタ回路６２の平滑化フイルタ７１と遅延回路７
２に入力し、同じ特性係数を用いて平滑化フイル
タ処理を施した画像信号５２と遅延回路の出力画
像信号５３をセレクタ７３に入力する。セレクタ
７３では復号器６１から出力される切換え信号５
４により、ブロツクの境界が顕在化しているブロ
ツクの境界の画素あるいはブロツクの四炭の画素
のときは平滑化フイルタ処理を施した画像信号５
２を選択し、その他の画素では遅延回路の出力画
像信号５３を選択し、画像信号５５を出力する。

（発明が解決しようとする問題点）動画像復号化装置において、復号化した画像信
号をそのまま出力すると、符号化による歪が見え
てしまい、視覚的に画像品質の劣化を伴うことが
多い。特に、ブロツク単位で適応性に符号化復号
化する場合では、第３図のａのように復号画像は
符号化によるブロツク歪を生じることが多い。こ
のようなブロツク歪は通常のTV画面では見慣れ
ない歪であるから、視覚上、致命的な画質劣化と
なつてしまうという問題点がある。そこで、従来
の一般的方法のように復号化した動画像に対して
全画面に同じ特性の平滑化フイルタを用いると画
面の解像度が全体的に低下してしまう。また、動
画像の符号化復号化においては、従来例として述
べた三ツ矢らの「後置フイルタ処理によるブロツ
ク符号化画像の画質改善法の検討」信学技報
IE84−46のように輝度変化の少ない部分にブロ
ツク歪が生じるのではなく、動いた部分のみを符
号化復号化するから、動いているブロツクにブロ
ツク歪が生じ易く、特に動画像の輪郭部分にブロ
ツクの境界があることが多い。このとき、ブロツ
ク歪の生じている境界部分だけに平滑化フイルタ
を用いるとブロツク境界部分の解像度だけが低下
し、フイルタ処理をしていない部分とフイルタ処
理をした部分が急激な解像度の違いにより顕在化
してしまうという問題点がある。

そこで、本発明の目的は、画面の全体的な解像
度の低下を抑えながら、符号化歪による画像品質
の劣化を軽減する復号動画像信号平滑化処理方法
とその装置の提供にある。

（問題点を解決するための手段）本願の第１の発明によると、ブロツク単位で復
号化した動画像信号に対して平滑化処理を施す方
法であつて、前記動画像信号について、動ブロツ
ク領域の画素と静止ブロツク領域の画素との判別
をし、当該判別に応じて画素領域ごとに平滑化フ
イルタにおける平滑化の度合を切換えることを特
徴とする復号動画像信号平滑化処理方法が得られ
る。

また、本願の第２の発明によると、ブロツク単
位処理を基本とした動画像復号器から出力される
復号動画像信号に対して平滑化処理を施す装置で
あつて、ブロツク内の画素の位置をカウントする
回路と、このカウント回路の画素カウント値が表
す画素位置の周囲の画素領域における動ブロツク
と静止ブロツクの識別信号と当該画素カウント値
を参照して分割する画素領域を判別する回路と、
この判別回路で判別された画素領域ごとに復号化
に用いた量子化特性等のパラメータの粗さに応じ
た平滑度の指示の信号を生成する平滑度制御回路
と、前記平滑度指示信号に従い前記復号動画像信
号の平滑化処理を行なう回路とを有する復号動画
像信号平滑化処理装置が得られる。

（作用）本願発明によると、復号画像がたとえば、第３
図のａのようなブロツク歪のある画像の場合、ブ
ロツク境界で振幅の不連続（第４図のａ）が生じ
ている。この復号画像を視覚的にブロツク歪のな
い滑らかな画像にするため、ブロツク歪の大きい
ブロツクの境界の画素およびその画素に近い位置
にある画素、あるいはブロツクの内側の画素に対
して高域周波数をカツトする平滑化処理を行なう
とブロツクの境界を滑らかに繁ぐことができ（第
４図のｂ）、第３図のｂのようにブロツク歪のな
い画像が得られる。さらに詳しく述べると、復号
画像において歪の大きい領域とそうでない領域を
視覚的に滑らかにするため、動ブロツク（符号化
したブロツク）の境界の画素とその内側の画素お
よび静止ブロツク（符号化しなかつたブロツク）
の境界の画素とその内側の画素の領域ごとに平滑
化フイルタの特性を切り換えて用いる。第５図に
おいて、フイルタ特性の強さが特性Ａ＜特性Ｂ＜
特性Ｃ＜特性Ｄ＜特性Ｅとなる特性係数を用意
し、特性を切換える領域を次の５つの領域とす
る。

静止ブロツク内におけるブロツク境界の画素
より内側の画素領域、かつ動ブロツクとの境界
から３画素以上離れた静止ブロツク内における
画素領域。

互いに隣接した静止ブロツク内における境界
の周囲画素領域（ただし、の領域は除く）。

動ブロツクの境界から２画素離れた、あるい
は少なくとも２画素以上離れた静止ブロツク内
における画素領域。

動ブロツク内における境界の画素より内側の
画素領域。

動ブロツクと隣接した静止ブロツクとの境界
の画素および互いに隣接した動ブロツク内にお
ける境界の周囲画素領域。

平滑化処理をする画素が動ブロツク内の画素の
とき、ブロツク境界の画素かその内側の画素かを
判別し、の領域との領域に分割する。また、
静止ブロツク内の画素のとき、周囲ブロツクを参
照して動ブロツクが隣接しているか否かを判定
し、動ブロツクが隣接している場合はブロツク境
界から１画素目から２画素目かそれとも３画素以
上離れた内側の画素かを判別し、の領域との
領域およびの領域との領域に分割する。さら
に互いに隣接した静止ブロツクの境界の画素かそ
の内側の画素かを判別し、の領域との領域に
分割する。このように分割された画素がの領域
のときはフイルタ特性Ａを選び、の領域のとき
はフイルタ特性Ｂを選び、の領域のときはフイ
ルタ特性Ｃを選び、の領域のときはフイルタ特
性Ｄを選び、の領域のときはフイルタ特性Ｅを
選んで用いる。すなわち５つの画素領域に対して
＜＜＜＜のようにフイルタ特性の強さ
を切換えることによつて輪郭部分を含むブロツク
の境界も滑らかに繁ぐことができる。

以上の説明では画素を〜の領域に分割した
が、５つの領域を組合せることにより次に示す(a)
〜(p)のように選んでもよい。第６図に(a)〜(l)まで
の領域分割を示す。

(a) ＋、＋＋の２つの領域に分割す
る。

(b) ＋＋、＋の２つの領域に分割す
る。

(c) ＋＋＋、の２つの領域に分割す
る。

(d) ＋、＋＋の２つの領域に分割す
る。

(e) ＋＋、＋の２つの領域に分割す
る。

(f) 、＋＋＋の２つの領域に分割す
る。

(g) 、、＋＋の３つの領域に分割す
る。

(h) ＋、、＋の３つの領域に分割す
る。

(i) ＋＋、、の３つの領域に分割す
る。

(j) ＋、、＋の３つの領域に分割す
る。

(k) 、＋、＋の３つの領域に分割す
る。

(l) ＋、、、の４つの領域に分割す
る。

(m) 、＋、、の４つの領域に分割す
る。

(n) ＋、、、の４つの領域に分割す
る。

(o) 、、、＋の４つの領域に分割す
る。

(p) 、、、＋の４つの領域に分割す
る。

さらに、第７図のように復号化のパラメータの
粗さに応じてフイルタ特性の強さを変える。たと
えば量子化特性が粗いときは歪が大きくなるので
第５図の、の画素領域にボケが強いフイルタ
特性Ｅを用いる。逆に量子化特性がやや細かいと
きにはブロツク歪は顕著に現れないので第５図の
の画素領域にボケが最も弱いフイルタ特性Ａを
用い、の画素領域にボケが比較的弱いフイルタ
特性Ｃを用い、およびの画素領域にフイルタ
特性Ｃを用いる。このように復号化のパラメータ
の粗さに応じて平滑化フイルタの特性を時間的に
変えて用いることによつて、符号化歪の少ない場
合には復号画像の解像度の低下を抑え、符号化歪
の大きい場合には画質が改善できるという特徴が
ある。

（実施例）第１図および第２図を参照して、ブロツク単位
で動画像信号を符号化した信号を受信側において
復号化する動画像信号復号化装置に本願発明を適
用した実施例について詳細に説明する。なお、本
実施例においては各信号はデイジタル信号であ
る。また、送信されてくる信号は送信側において
TVライン走査をブロツク単位のライン走査に変
換されているものとする。

第１図および第２図は本願の第２の発明による
装置の第１及び第２の実施例の構成をそれぞれ示
し、以下にはそれら第２の発明の実施例に併せて
本願の第１の発明の第１及び第２の実施例につい
ても説明する。

まず、第１図の実施例について説明する。

第１図において、受信した圧縮符号化信号１は
バツフアメモリ１０１に一度蓄えられ、復号化の
タイミングに合わせて圧縮符号化信号２を出力す
る。圧縮符号化信号２は復号器１０２において伸
長復号化され、復号画像信号３を出力する。さら
に、復号化処理のために用いたブロツク同期信号
６および動静ブロツク識別信号８と復号化のパラ
メータ１０を出力する。ブロツク同期信号６は画
素アドレスカウンタ１０３に入力され、ブロツク
内の画素の位置を示す画素カウント値７を出力す
る。画素カウント値７と動静ブロツク識別信号８
を画素領域判別回路１０４に入力する。画素領域
判別回路１０４においては画素カウント値７と動
静ブロツク識別信号８を用いて５つの画素領域を
表す識別信号９を出力する。まず動静ブロツク識
別信号８が動ブロツク領域を表しているとき、こ
れからフイルタ処理をする画素が境界の画素かそ
れともその内側の画素かを画素カウント値７によ
つて判別し、第５図のようにの領域かの領域
に分割する。また、静止ブロツク領域を表してい
るときは、周囲の動静ブロツク識別信号を参照し
て動ブロツクが隣接しているか否かを判定し、動
ブロツクが隣接している場合にはブロツク境界か
ら１画素目か２画素目かそれとも３画素以上離れ
た内側の画素かを画素カウント値７によつて判別
し、の領域との領域およびの領域との領
域に分割する。さらに互いに隣接した静止ブロツ
クの境界の画素かその内側の画素かを画素カウン
ト値７によつて判別し、の領域との領域に分
割する。このように分割された５つの画素領域を
表す識別信号９はフイルタ特性制御回路１０５に
入力され、復号化のパラメータ１０が粗い量子化
のときには動ブロツク内の、の領域にボケの
強いフイルタ特性Ｅを選択し、静止ブロツク内の
の領域にやや強めのフイルタ特性Ｃを選択す
る。また復号化のパラメータ１０が細かい量子化
のときにはボケの弱いフイルタ特性Ｂを選択す
る。すなわち第５図に示した〜の画素領域に
対して、復号化のパラメータ１０の粗さに適した
フイルタ特性を第７図のように選択するフイルタ
特性制御信号１１を出力する。このフイルタ特性
制御信号１１は復号画像信号３と同様にブロツク
単位のライン走査順序で出力される。復号画像信
号３およびフイルタ特性制御信号１１はそれぞれ
走査変換器１０６，１０７においてブロツク単位
のライン走査をTVラインの走査に変換し、TV
ラインの走査順に復号画像信号４およびフイルタ
特性制御信号１２を画素単位に出力する。画像信
号４は平滑化フイルタ１０８に入力され、フイル
タ特性制御信号１２に従つて画素領域ごとにフイ
ルタ特性の強さ（特性係数）を切換えて平滑化処
理を行ない、画像信号５を出力する。第１図にお
ける平滑化フイルタ１０８では、周囲の画素およ
び中心の画素に特性係数を掛合わせることにより
平滑化処理され、そのため少なくとも３ライン以
上のラインメモリが必要である。

次に、第２図の実施例について説明する。

第２図において、受信した圧縮符号化信号２１
はバツフアメモリ２０１に一度蓄えられ、復号化
のタイミングに合わせて圧縮符号化信号２２を出
力する。圧縮符号化信号２は復号器２０２におい
て伸長復号化され、復号画像信号２３を出力す
る。さらに、ライン同期信号２６および復号化処
理のために用いた動静ブロツク識別信号２８と復
号化のパラメータ３０を出力する。ここで、動静
ブロツク識別信号２８と復号化のパラメータ３０
は復号化に伴いブロツク単位のライン走査で出力
される。ライン同期信号２６は画素アドレスカウ
ンタ２０３に入力され、ブロツクサイズＮ×Ｎに
対してのＮライン内の画素の位置を示す画素カウ
ント値２７を出力する。動静ブロツク識別信号２
８と復号化のパラメータ３０は走査変換器２０４
においてTVライン走査に変換され、TVライン
走査順にそれぞれ動静識別信号３１と復号化のパ
ラメータ３２を画素単位に出力する。画素カウン
ト値２７と動静識別信号３１を画素領域判別回路
２０５に入力する。画素領域判別回路２０５にお
いては画素カウント値２７と動静識別信号３１を
用いて５つの画素領域を表す識別信号２９を出力
する。まず動静識別信号３１が動ブロツク領域を
表しているとき、これからフイルタ処理をする画
素がブロツク境界の画素かそれともブロツクの内
側の画素かを画素カウント値２７によつて判別
し、第５図のようにの領域かの領域に分割す
る。また、動静識別信号３１が静止ブロツク領域
を表しているときは、周囲の動静識別信号を参照
して動領域の画素が隣接しているか否かを判定
し、動領域が隣接している場合にはブロツク境界
から１画素目か２画素目かそれとも３画素以上離
れた内側の画素かを画素カウント値２７によつて
判別し、の領域との領域およびの領域と
の領域に分割する。さらに互いに隣接した静止ブ
ロツク領域の境界の画素かその内側の画素かを画
素カウント値２７によつて判別し、の領域と
の領域に分割する。このように分割された５つの
画素領域を表す識別信号２９はフイルタ特性制御
回路２０６に入力され、復号化のパラメータ３２
が粗い量子化のときには動ブロツク内の、の
領域にボケの強いフイルタ特性Ｅを選択し、静止
ブロツク内のの領域にやや強めのフイルタ特性
Ｃを選択する。また復号化のパラメータ３２が細
かい量子化のときにはボケの弱いフイルタ特性Ｂ
を選択する。すなわち第５図に示した〜の画
素領域に対して、復号化のパラメータ３２の粗さ
に適したフイルタ特性を第７図のように選択する
フイルタ特性制御信号３３を画素単位に出力す
る。復号画像信号２３は走査変換器２０７におい
てブロツク単位のライン走査をTVラインの走査
に変換し、TVラインの走査順の復号画像信号２
４にする。復号画像信号２４は平滑化フイルタ２
０８に入力され、フイルタ特性制御信号３３に従
つて画素領域ごとにフイルタ特性の強さを切換え
て平滑化処理を行ない、画像信号２５を出力す
る。第２図における平滑化フイルタ２０８では、
周囲の画素および中心の画素に特性係数を掛合わ
せることにより平滑化処理され、そのため少なく
とも３ライン以上のラインメモリが必要である。

第１図および第２図の実施例では、平滑化フイ
ルタ回路１０８，２０８は走査変換器１０７，２
０７の後段に置かれているが、走査変換器１０
７，２０７の前段に置いてもよい。この場合、走
査変換器１０６，２０４は必要なくなる。また、
平滑化フイルタ１０８，２０８には２ブロツクラ
イン以上のメモリが必要である。

以上の説明においては、画素領域を５つに分割
した場合について述べたが第６図に示す(a)〜(f)の
ように２つの画素領域に分割してもよい。また、
(g)〜(k)のように３つの画素領域に分割してもよ
い。さらに(l)〜(p)のように４つの画素領域に分割
してもよい。

（発明の効果）本願発明によると、平滑化フイルタによりブロ
ツク境界の歪が顕著でなくなり符号化歪を大幅に
軽減できるから、視覚上大きな画質改善を得るこ
とができる。また本願発明では、符号化歪の異な
る画素領域および符号化歪の程度に合わせて平滑
化フイルタの特性を変えて平滑化処理をするの
で、復号画像全体の解像度の低下を少なくでき、
視覚的に見やすい復号画像が得られる。

【図面の簡単な説明】

第１図および第２図は本願発明の実施例を示す
ブロツク図、第３図ａ，ｂは本願発明の効果を説
明するための図、第４図ａ，ｂは本願発明の作用
を説明するための図、第５図および第６図は本願
発明における画素領域の分割方法を説明するため
の図、第７図は本願発明のフイルタ処理の制御方
法を説明するための図、第８図は従来例を示すブ
ロツク図、第９図は従来例の方法を説明するため
の図である。１……受信圧縮符号化信号、２……圧縮符号化
信号、３……復号画像信号、４……復号画像信
号、５……平滑化フイルタ出力画像信号、６……
ブロツク同期信号、７……画素カウント値、８…
…動静ブロツク識別信号、９……画素領域識別信
号、１０……復号化のパラメータ、１１……フイ
ルタ特性制御信号、１２……フイルタ特性制御信
号、１０１……バツフアメモリ、１０２……復号
器、１０３……画素アドレスカウンタ、１０４…
…画素領域判別回路、１０５……フイルタ特性制
御回路、１０６……走査変換器、１０７……走査
変換器、１０８……平滑化フイルタ、２１……受
信圧縮符号化信号、２２……圧縮符号化信号、２
３……復号画像信号、２４……復号画像信号、２
５……平滑化フイルタ出力画像信号、２６……ラ
イン同期信号、２７……画素カウント値、２８…
…動静ブロツク識別信号、２９……画素領域識別
信号、３０……復号化のパラメータ、３１……動
静識別信号、３２……復号化のパラメータ、３３
……フイルタ特性制御信号、２０１……バツフア
メモリ、２０２……復号器、２０３……画素アド
レスカウンタ、２０４……走査変換器、２０５…
…画素領域判別回路、２０６……フイルタ特性制
御回路、２０７……走査変換器、２０８……平滑
化フイルタ、５０……圧縮符号化信号、５１……
復号化画像信号、５２……平滑化フイルタ出力画
像信号、５３……遅延回路出力信号、５４……切
換え信号、５５……出力画像信号、６１……復号
器、６２……後置フイルタ回路、７１……平滑化
フイルタ、７２……遅延回路、７３……セレク
タ。

Claims

【特許請求の範囲】１ブロツク単位で復号化した動画像信号に対し
て平滑化処理を施す方法において、前記動画像信
号について動ブロツク領域の画素と静止ブロツク
領域の画素との判別をし、当該判別に応じて画素
領域ごとに平滑化フイルタにおける平滑化の度合
を切換えることを特徴とする復号動画像信号平滑
化処理方法。２ブロツク単位処理を基本とした動画像復号器
から出力される復号動画象信号に対して平滑化処
理を施す装置において、ブロツク内の画素の位置
をカウントする回路と、このカウント回路の画素
カウント値が表す画素位置の周囲の画素領域にお
ける動ブロツクと静止ブロツクの識別信号と当該
画素カウント値を参照して分割する画素領域と判
別する回路と、この判別回路で判別された画素領
域ごとに復号化に用いた量子化特性等のパラメー
タの粗さに応じた平滑度の指示の信号を生成する
平滑度制御回路と、前記平滑度指示信号に従い前
記復号動画像信号の平滑化処理を行なう回路とを
有する復号動画像信号平滑化処理装置。