JPH0767105A

JPH0767105A - 画像符号化方法

Info

Publication number: JPH0767105A
Application number: JP5228283A
Authority: JP
Inventors: Motoaki Hayakawa; 元章早川; Keitarou Oosaki; 経太郎大崎; Kouichi Uchide; 浩一打出
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1993-08-20
Filing date: 1993-08-20
Publication date: 1995-03-10

Abstract

(57)【要約】【目的】伝送データ量の低減を計ることができる画像
符号化方法を提供する。【構成】画像情報を、１フレームの画面を水平方向及
び垂直方向に分割して、複数個のブロックに分割し、各
ブロック毎にフレーム間の差分を求め、その差分につい
て、各ブロック毎にスレッショールド値と比較して、各
ブロックが有意ブロックか、無意ブロックかを判定し、
有意ブロックの画像データのみを符号化して伝送するよ
うにした画像符号化方法である。有意ブロックと判定さ
れたブロックの周囲のブロックを参照し、これら周囲の
ブロックが、すべて無意ブロックのとき、上記有意ブロ
ックと判定されたブロックを無意ブロックに強制的に変
更して、有意ブロックであっても伝送対象としない。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えばフレーム間符
号化と、直交変換符号化を組み合わせたハイブリッド符
号化に適用して好適な画像符号化方法に関する。

【０００２】

【従来の技術】ＩＳＤＮ回線を用いてテレビ会議を行う
システムが知られている。このテレビ会議システムで
は、画像情報をＩＳＤＮ回線で伝送可能なように、画像
データを圧縮符号化して伝送するようにする。この画像
符号化方法としては、ＣＣＩＴＴ標準Ｈ．２６１で採用
されているハイブリッド符号化方式が用いられている。
このハイブリッド符号化方式は、基本的には、フレーム
間符号化と、直交変換符号化（この場合、ＤＣＴ符号
化）との組み合わせ技術である。

【０００３】このハイブリッド符号化方式においては、
図３に示すように、水平方向×垂直方向＝３５２画素×
２８８ラインからなる１フレームの画像情報を、８画素
×８ラインからなるＤＣＴ処理単位のブロックＢＬＫに
分割し、このブロックＢＬＫ単位で、現在のフレームＦ
Ｌの情報と、１フレーム前のフレームＤＦＬの情報との
差分を、それぞれ対応する位置で求める。そして、各ブ
ロックＢＬＫについての差分値ΔＢＬＫをＤＣＴ符号化
して受信側に伝送する。

【０００４】ところで、このハイブリッド符号化方式に
おいては、すべての画像データを受信側に伝送するので
はなく、前後のフレーム間で、差がない、あるいはわず
かなブロックの画像データは受信側に伝送しない。受信
側では、再現する現在のフレームの当該ブロック部分が
差がない、あるいはわずかなブロックであるときは、そ
の画像情報の代わりに、前のフレームの画像情報をその
まま、利用できるからである。

【０００５】このため、ブロックＢＬＫ毎の差分値を、
符号化制御のパラメータの一つである閾値Ｔｈと比較
し、差分値が閾値Ｔｈよりも大きければ、現在フレーム
のそのブロックは、有意ブロックと判定し、差分値が閾
値Ｔｈよりも小さいときには、そのブロックは無意ブロ
ックと判定する判定動作を行う。そして、判定結果が有
意ブロックがあれば、そのブロックについて、受信側に
伝送する手順をとるが、無意ブロックであるときには、
受信側には、伝送しない。

【０００６】また、このハイブリッド符号化方式では、
符号化は、ブロックＢＬＫ単位で行うが、実際に送信側
から受信側に画像情報を伝送するときの、伝送単位は異
なっており、伝送の最小単位は、複数個のブロックを一
纏めにしたマクロブロック単位とされ、また、伝送デー
タは階層構造をしている。

【０００７】図４は、ブロック情報を伝送するときの階
層構造を示している。すなわち、図４Ｄに示すように、
８画素×８ライン＝６４個の画素からなる１ブロックＢ
ＬＫは、差分値ΔＢＬＫを直交変換（ＤＣＴ）して、空
間周波数が低いものから高い方向に順次並べた６４個の
係数データＡＣからなるブロックデータＢＤに変換され
ている。

【０００８】前述したように、このブロックデータＢＤ
は、ＤＣＴ符号化の単位であるが、送信側から受信側へ
の画像情報の伝送は、物理的に、水平方向に２つ、垂直
方向に２つの合計４つのブロックＢＤをまとめたマクロ
ブロックＭＢ（図４Ｃ参照）を最小単位として行われ
る。なお、図４Ｃに示すように、実質的には、マクロブ
ロックＭＢは、輝度信号成分Ｙのブロックが４つ、色差
信号成分（ＣＲ、ＣＢ）の成分のブロックが２つの合計
６ブロックで構成されている。

【０００９】マクロブロックＭＢを水平方向に１１個、
垂直方向に３個の合計３３個に纏めたものは、グループ
オブブロックＧＯＢ（図４Ｂ参照）とされる。そして、
このグループオブブロックＧＯＢを水平方向に２個、垂
直方向に６個、並べたものが、１画面のデータＣＩＦ
（図４Ａ参照）となる。

【００１０】図５は、各階層のデータを伝送するときの
フォーマットを示している。図５の各データの意味は、
以下の通りであり、各データの下側の数値は、そのデー
タのビット長を示している。ビット長として「＊」が示
されているデータは、可変長ビットであることを示して
いる。

【００１１】ＰＳＣフレーム開始番号ＴＲフレーム番号ＰＴＹＰＥタイプ情報ＰＥＩ拡張用データ挿入情報ＰＳＰＡＲＥ予備情報ＧＢＳＣＧＯＢ開始符号ＧＮＧＯＢ番号ＧＱＵＡＮＴ量子化特性情報ＧＥＩ拡張用データ挿入情報ＧＳＰＡＲＥ予備情報ＭＢＡマクロブロックアドレスＭＴＹＰＥマクロブロックのタイプ情報ＭＱＵＡＮＴ量子化特性情報ＭＶＤ動きベクトル情報ＣＢＰ有意ブロックパターン情報ＴＣＯＥＦＦ変換係数ＥＯＢブロック終了符号なお、「ＭＴＹＰＥ」のタイプ情報は、マクロブロック
中の有意ブロックと、無意ブロックとの配置パターンの
種別をパターン番号で示すものとなっている。

【００１２】図５の伝送データのフォーマットにおい
て、マクロブロックＭＢに１以上の有意ブロックがある
ときのマクロブロックＭＢのデータフォーマットは、上
から３段めのフォーマットＭＢ（Ａ）となる。一方、す
べて無意ブロックからなっているマクロブロックＭＢ
の、伝送データフォーマットは、最下段のフォーマット
ＭＢ（Ｂ）となる。

【００１３】両フォーマットを比べると、フォーマット
ＭＢ（Ｂ）の場合には、フォーマットＭＢ（Ａ）に比べ
て、ブロックＢＬＫのデータ［ＴＣＯＥＦＦ］、［ＥＯ
Ｂ］と、［ＭＱＵＡＮＴ］、［ＣＢＰ］とが伝送され
ず、かなり伝送データ量が少なくなることが分かる。つ
まり、ハイブリッド符号化方式においては、無意ブロッ
クの画像データを伝送しない上に、マクロブロックＭＢ
の伝送フォーマットを、１以上の有意ブロックを含む場
合と、すべてが無意ブロックからなる場合とで、変更し
て、さらに伝送データ量を削減するようにしている。

【００１４】

【発明が解決しようとする課題】ところで、上述したよ
うに、従来のハイブリッド符号化方式においては、ブロ
ックＢＬＫのそれぞれを個々に取り扱って有意、無意の
判定を行っている。このため、周囲の殆どが無意ブロッ
クであるときに、孤立的に有意ブロックが存在するよう
な場合であっても、その有意ブロックの画像データを伝
送するようにしていた。しかし、このような孤立の有意
ブロックは、ノイズである場合が多い。また、ノイズで
はない場合であっても、１／１０００などという高圧縮
率の符号化を行う場合には、その孤立有意ブロックが大
きな意味を持たない場合が多い。

【００１５】また、上述したように、従来のハイブリッ
ド符号化方式の場合には、マクロブロック単位で伝送す
ることから、これに含まれる４個のブロックＢＬＫのす
べてが無意ブロックであるときにのみ、少ないデータ量
のフォーマットＭＢ（Ｂ）でデータを伝送するようにし
ている。

【００１６】このため、マクロブロックを構成する４ブ
ロックの内の１つのブロックＢＬＫのみが有意であり、
かつ、そのブロックの周囲がすべて無意ブロックである
ように、有意ブロックが孤立しているような状態の場合
にも、その有意ブロックと判定されたブロックＢＬＫを
含むマクロブロックＭＢは、データ量の多いフォーマッ
トＭＢ（Ａ）で伝送しなければならなかった。

【００１７】この発明は、以上の点に鑑み、できるだ
け、無意味なデータを伝送しないようにして、伝送デー
タ量の低減を計ることができるようにした画像符号化方
法を提供することを目的とする。

【００１８】

【課題を解決するための手段】上記課題を解決するた
め、この発明による画像符号化方法は、画像情報を、１
フレームの画面を水平方向及び垂直方向に分割して、複
数個のブロックに分割し、各ブロック毎にフレーム間の
差分を求め、その差分について、各ブロック毎にスレッ
ショールド値と比較して、各ブロックが有意ブロック
か、無意ブロックかを判定し、有意ブロックの画像デー
タのみを符号化して伝送するようにした画像符号化方法
において、有意ブロックと判定されたブロックの周囲の
ブロックを参照し、これら周囲のブロックが、すべて無
意ブロックのとき、上記有意ブロックと判定されたブロ
ックを無意ブロックに強制的に変更するようにしたこと
を特徴とする。

【００１９】

【作用】上記の構成のこの発明においては、有意ブロッ
クであっても、その周囲のブロックが参照され、その周
囲のブロックがすべて無意ブロックであるような孤立の
有意ブロックであるときには、強制的にその有意ブロッ
クが無意ブロックとされる。このため、その孤立有意ブ
ロックの画像データは、伝送対象とならず、伝送情報量
を削減することができる。

【００２０】

【実施例】以下、この発明による画像符号化方法の一実
施例を、図を参照しながら説明する。図１は、この発明
による方法を実現する画像符号化装置の一実施例のブロ
ック図で、この例は、前述したＣＣＩＴＴ標準Ｈ．２６
１で採用されているハイブリッド符号化方式の場合の例
である。

【００２１】デジタル画像信号は、入力端子１１を通じ
て減算回路１２に供給される。入力端子１１からのデジ
タル画像信号は、また、画像メモリ１８に供給されて、
１フレーム期間遅延される。この画像メモリ１８は、後
述するように、動き補償用可変遅延機能を有する。

【００２２】この画像メモリ１８からの１フレーム前の
デジタル画像信号は、ループ内フィルタ１９を介して減
算回路１２に供給される。ループ内フィルタ１９は、オ
ン・オフ可能であり、そのオン・オフ信号ｆはビデオ信
号多重化部２１に供給される。減算回路１２では、前述
したようにブロックＢＬＫ毎にフレーム間の差分値を求
める。

【００２３】この減算回路１２の出力であるブロックＢ
ＬＫ毎のフレーム間差分値は、スイッチ回路ＳＷ１を介
して変換器１３に供給され、ＤＣＴ変換が行われる。こ
の変換器１３の出力は、量子化器１４に供給され、これ
より変換係数の量子化出力インデックスｑが得られ、ビ
デオ信号多重化部２１に供給される。量子化器１４に
は、符号化制御器２０から量子化特性指定信号ｑｚが供
給され、量子化時の特性が指定される。

【００２４】量子化器１４からの量子化出力インデック
スｑは、また、逆量子化器１５に供給されて逆量子化さ
れ、逆ＤＣＴ変換器１６に供給されて、ブロックＢＬＫ
毎の差分値が再生される。そして、その再生された差分
値が加算回路１７を通じて画像メモリ１８に供給され
る。ループ内フィルタ１９がオンの時には、スイッチ回
路ＳＷ２が図示の状態に符号化制御器２０からの切り換
え信号により切り換え制御されているので、このスイッ
チ回路ＳＷ２を通じて、加算回路１７には、ループ内フ
ィルタ１９からの１フレーム前の画像データが供給され
る。

【００２５】画像メモリ１８では、加算回路１７からの
１フレームの信号と、入力端子１１からの現在のフレー
ムの信号とから動きベクトルｖが検出され、これがビデ
オ信号多重化部２１に供給されると共に、これを用いて
入力画像信号を動き補償して１フレーム遅延させた画像
信号を得る。

【００２６】なお、スイッチ回路ＳＷ１は、画像データ
としてフレーム間差分を求め、それをＤＣＴ符号化する
場合と、差分を求めることなく、画像データをそのまま
ＤＣＴ符号化する場合とを切り換えるためのもので、そ
の切り換え信号は、符号化制御器２０から供給される。
そして、どちらのモードを採用したかを示す識別フラグ
ｐを、符号化制御器２０からビデオ信号多重化器部２１
に供給する。

【００２７】以上の構成は、従来のハイブリッド符号化
方式の画像符号化装置と同一である。この発明において
は、以上の構成に加えて周辺ブロック参照・判定回路３
０を設ける。

【００２８】この判定回路３０には、減算回路１２から
のブロックＢＬＫ毎の差分値が、供給される。回路３０
においては、入力されたブロックＢＬＫ毎の差分値が、
有意／無意判定回路３１に供給されて、ブロックＢＬＫ
毎に、その差分値と閾値Ｔｈとが比較され、各ブロック
ＢＬＫの差分値が有意でるか、無意であるかのフラグＳ
F が求められる。この各ブロックＢＬＫの差分値毎の有
意／無意フラグＳF は、シフトレジスタ３２に供給さ
れ、蓄えられる。

【００２９】このシフトレジスタ３２に蓄えられた、目
的のブロックを中心とした複数個の周囲ブロックのフラ
グＳF は、周囲参照判定回路３３に供給される。周囲参
照判定回路３３は、目的のブロックＢＬＫの周囲の、こ
の例では、上下方向に２ブロックの幅、左右方向にも２
ブロックの幅の、合計２４個のブロックについてのフラ
グＳF を参照し、目的ブロックが有意ブロックであって
も、それが孤立ブロックであるか否かを判定する。その
参照判定方法を、図２を参照しながら説明する。

【００３０】すなわち、この発明では、各ブロックＢＬ
Ｋの周囲のブロックを参照するが、この例では、図２に
示すように、目的のブロックを含むマクロブロックＭＢ
の周囲の８個のマクロブロック内のブロックを参照する
ようにする。そして、そのマクロブロック内の、目的の
ブロックを中心とする、５×５個のブロックを参照のた
めに使用する。このため、シフトレジスタ３２は、３５
２／８×５ライン＝２２０ビット分の容量があればよ
い。図２において、×印は、目的ブロックを含むマクロ
ブロックＭＢの周囲の８個のマクロブロック内の、参照
対象外のブロックを示している。

【００３１】目的ブロックが孤立有意ブロックであるか
否かの判定は、この例では目的ブロックが、有意ブロッ
クであるときに、その目的ブロックを含むマクロブロッ
クの周囲の８個のマクロブロックに含まれるブロックで
あって、目的ブロックを中心とした周囲２４個のブロッ
クのすべてが無意ブロックであるか否かを、それらのフ
ラグＳF から判定する。

【００３２】図２において、フラグＳF が「０」のとき
には無意ブロック、フラグＳF が「１」のときには有意
ブロックを示している。図２の例で、左上のブロックの
座標（ｘ，ｙ）を（１，１）としたとき、座標（２，
１）〜（６，１）、（２，２）〜（６，２）、（２，
３）、（３，３）、（５，３）、（６，３）、（２，
４）〜（６，４）、（２，５）〜（６，５）は、無意ブ
ロックである。また、座標（４，３）のブロックは、目
的ブロックで、有意ブロックであることを示している。

【００３３】すなわち、図２の状態は、座標（４，３）
の目的ブロックが有意ブロックで、その周囲の２４ブロ
ックがすべて無意ブロックであり、まさに、目的ブロッ
クが孤立の有意ブロックである状態となっている。

【００３４】この判定回路３３の判定出力は、フラグ強
制変更回路３４に供給される。また、シフトレジスタ３
２からは目的ブロックのフラグＳF がこのフラグ強制変
更回路３４に供給される。フラグ強制変更回路３４で
は、周囲参照判定回路３３の判定結果が、目的ブロック
が孤立有意ブロックであることを示しているとき、その
フラグを「１」から「０」に強制的に変更して、強制的
に無意ブロックのフラグに変更する。

【００３５】その他の場合は、つまり、目的ブロックが
孤立有意ブロックでない時には、フラグ強制変更回路３
４からは、その目的ブロックのフラグは、そのまま出力
される。フラグ強制変更回路３４からのフラグ出力は、
伝送／非伝送フラグ設定回路３５に供給される。

【００３６】伝送／非伝送フラグ設定回路３５では、マ
クロブロックについて、伝送するか、伝送しないかを決
定し、そのフラグを設定する。孤立ブロックを含むマク
ロブロックは、孤立有意ブロックのフラグが無意ブロッ
クであることを示すフラグに変更されているので、その
マクロブロックは非伝送であると判定され、フラグは、
非伝送とされる。この伝送／非伝送フラグは、符号化制
御器２０を介してフラグｔとして、ビデオ信号多重化部
２１に供給される。

【００３７】ビデオ信号多重化部２１では、これに供給
されるフラグやその他の信号に基づいて、前述したよう
な伝送フォーマットの信号が形成される。この場合、図
２のような孤立有意ブロックを含むマクロブロックは、
非伝送データとされ、フォーマットＭＢ（Ａ）ではな
く、伝送データ量の少ないフォーマットＭＢ（Ｂ）で伝
送される。

【００３８】以上のようにして、マクロブロックＭＢ中
に有意ブロックが１つしかなく、しかも、その有意ブロ
ックが孤立有意ブロックであるときには、そのマクロブ
ロックを強制的に非伝送データとするようにしたことに
より、伝送データの削減ができる。削減された情報の分
を、他の符号化時に利用することにより、全体として符
号化効率の向上が計れる。そして、このような伝送デー
タの削減を行っても、孤立有意ブロックは、ノイズであ
ることが多く、また、ノイズでなくとも、圧縮率の大き
い画像符号化方式においては、孤立有意ブロックを伝送
しなくても画質への影響は少ない。

【００３９】なお、以上の例は、ＣＣＩＴＴ標準Ｈ．２
６１準拠のハイブリッド符号化方式にこの発明を適用し
た場合であるが、この発明は、これに限らず、その他の
符号化方式にも適用できることはいうまでもない。

【００４０】また、目的ブロックが、孤立有意ブロック
であるか否かを見極める方法として、図２に示したよう
に、上下方向及び左右方向に、それぞれ２ブロックづつ
の範囲の周囲ブロックを参照するようにしたが、これら
参照ブロックの範囲としては、画質などの条件を考慮し
て任意の範囲を設定することが可能である。

【００４１】また、図１の例では、この発明の方法を、
ハードウエアで実現したが、マイクロコンピュータを用
いてソフトウエアで実現することも可能である。

【００４２】

【発明の効果】以上説明したように、この発明によれ
ば、符号化に際して、ブロック毎に有意、無意を判定し
て、伝送するか否かを決定するようにする方法におい
て、目的ブロックの周囲ブロックを参照して、目的ブロ
ックが孤立有意ブロックであるときには、その目的ブロ
ックを無意ブロックと見做して、伝送しないようにした
ので、伝送データ量の削減を計ることができる。この減
らした情報の容量を他の符号化時に利用することによ
り、全体として符号化効率が向上するというメリットも
ある。

【００４３】そして、孤立有意ブロックは、ノイズによ
って発生する場合も多々あるので、これを強制的に無意
ブロックに変更することにより、ノイズ除去の効果も期
待できる。

【００４４】ハイブリッド符号化方式に適用した場合に
は、マクロブロックが伝送単位であり、このマクロブロ
ックがすべて無意ブロックからなる場合と、一つでも有
意ブロックが存在する場合とで、伝送フォーマットが異
なり、すべて無意ブロックからなるマクロブロックの伝
送フォーマットは、大幅に伝送データ量が少ないので、
この発明の効果は、より大きい。

【図面の簡単な説明】

【図１】この発明による画像符号化方法を実現する画像
符号化装置の一実施例のブロック図である。

【図２】この発明による画像符号化方法の一実施例を説
明するための図である。

【図３】ハイブリッド符号化方式を説明するための図で
ある。

【図４】ハイブリッド符号化方式における伝送データの
階層構造を説明するための図である。

【図５】ハイブリッド符号化方式における伝送データの
フォーマットを説明するための図である。

【符号の説明】

１２減算回路１３ＤＣＴ変換器１４量子化器１８遅延用の画像メモリ２０符号化制御器２１ビデオ信号多重化部３０周辺ブロック参照・判定回路３１有意／無意判定回路３２シフトレジスタ３３周囲参照判定回路３４フラグ強制変更回路３５伝送／非伝送フラグ設定回路

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 11/04 Ａ 7337−5Ｃ

Claims

【特許請求の範囲】

【請求項１】画像情報を、１フレームの画面を水平方
向及び垂直方向に分割して、複数個のブロックに分割
し、各ブロック毎にフレーム間の差分を求め、その差分
について、各ブロック毎にスレッショールド値と比較し
て、各ブロックが有意ブロックか、無意ブロックかを判
定し、有意ブロックの画像データのみを符号化して伝送
するようにした画像符号化方法において、有意ブロックと判定されたブロックの周囲のブロックを
参照し、これら周囲のブロックが、すべて無意ブロックのとき、
上記有意ブロックと判定されたブロックを無意ブロック
に強制的に変更するようにしたことを特徴とする画像符
号化方法。
【請求項２】請求項１に記載の画像符号化方法におい
て、画像情報の伝送は、符号化の単位である上記ブロックの
複数個からなる伝送単位ブロック毎に行うようにし、この伝送単位ブロックの内に有意ブロックが１ブロック
しか存在しないとき、その有意ブロックの周囲ブロック
の参照を行い、これら周囲ブロックのすべてが無意ブロックのとき、上
記有意ブロックを無意ブロックに強制的に変更して、こ
の１ブロックの有意ブロックを含む伝送単位ブロック
を、すべて無意ブロックからなるときと、同じ伝送フォ
ーマットで伝送するようにしたことを特徴とする画像符
号化方法。
【請求項３】請求項２に記載の画像符号化方法におい
て、上記参照する周囲ブロックには、上記１ブロックの有意
ブロックを含む伝送単位ブロックの周囲の伝送単位ブロ
ック中のブロックが含まれることを特徴とする画像符号
化方法。