JPH0813141B2 - 静止画像の符号化方式 - Google Patents

Description

【発明の詳細な説明】 〔概要〕 本発明は、静止画像を階層的に量子化して伝送し徐々
に精細な画面を再生するという符号化方式において、伝
送速度及び画質の向上のため、原画と予測再生画面との
補間誤差信号をベクトル量子化する際又はした後、前段
までの再生画面から画像のエッジ画素を抽出し、該エッ
ジ画素のみ補間誤差信号をスカラ量子化してスカラ量子
化誤差信号をることにより、エッジ画素に起因する大き
い振幅の画素を無くしてベクトル量子化のマッチングを
より最適にしたものである。

〔産業上の利用分野〕

本発明は、静止画像の符号化方式に関し、特に原画を
サブサンプルし量子化し可変長符号化して伝送するとと
もに、次段画面からは再生面を予測して該次段画面との
サブサンプル補間誤差信号を量子化し可変符号化して伝
送することを所定段数繰り返す静止画像の符号化方式に
関するものである。

画像伝送を画像データベースの検索やテレビ会議にお
ける静止画像伝送等に利用する場合、間引いた、即ち、
サブサンプルした低解像度の画像から徐々に高解像度の
画像が再生できるような階層的な伝送が可能であれば、
画像データベースの検索においては、不必要な画像は初
期の段階で捨てることができるため必要な画像を高速で
検索できるとともに、静止画伝送では初期の段階で見た
い画像の概要を知ることができるため、かかる階層的な
符号化が必要である。

〔従来の技術〕

従来から知られた静止画像の符号化方式の概略構成が
第８図に示されており、図の上半分な送信側を示し、下
半分は受信側を示している。

第８図において、11、14は送信側のサブサンプラー、
19は受信側のサブサンプラー、12及び21はそれぞれ送信
側及び受信側のスカラ量子化器、13及び17はそれぞれ送
信側及び受信側のエントロピーコーダ（可変長符号化
器）及びエントロピーデコーダ（可変長復号化器）、15
及び20はそれぞれ送信側及び受信側で再生画面を記憶す
るフレームメモリ、16及び18はそれぞれ送信側及び受信
側で再生画面を再生するための補間器、を示している。
尚、サブサンプラー19とフレームメモリ20で予測器を構
成している。

第９図は第８図で行うサブサンプルの動作を説明する
ためのもので、図中、（１）〜（６）はそれぞれ画像の
１段目〜６段目の伝送段階での画像全体の一部のブロッ
ク（８×８画素）を示しており、○は新たに伝送する画
素（サブサンプルする位置の画素）、●（斜線で示す黒
丸）は既に伝送した画素であることを示している。

また、第10図は画面再生のための補間動作を説明する
ための図である。

次に、この従来例の動作を説明すると、まず、１段目
に伝送する画面では、静止原画を第９図（１）のように
第８図の送信側のサブサンプラー11でサブサンプルした
後、スカラ量子化器12で量子化した、エントロピーコー
ダ13で可変長符号化して伝送路Ｌに送出する。この２段
目では、予測器のサブサンプラー19からは何も信号は発
生されない。

伝送路Ｌからのデータを受信側では送信側と逆の動作
を行う。即ち、エントロピーデコーダ17でデコードし、
スカラ量子化器21で逆量子化して第10図（１）に●で示
す画面データが得られ、補間器18で第10図（１）〜
（３）に示す順に補関してフレーム画面全体を埋め再生
画面を得るとともにフレームメモリ20にその再生画面を
格納する。

一方、送信側でも、スカラ量子化器12で量子化された
データは補間器16に送られて受信側の補間器18で行われ
た補間動作と同じ補間が行われて第10図（３）に示す同
様の再生画面がフレームメモリ15に格納される。

２段目に伝送する画面では、第９図（２）に示すよう
にサブサンプラー11で○画素がサブサンプルされるが、
１段目と異なり、今度はこれと同期してサブサンプラー
14でもフレームメモリ15に予め格納された画面データの
同じ○画素がサブサンプルされる。

従って、スカラ量子化器12では両サブサンプラー11と
４の補間誤差信号がスカラ量子化されエントロピーコー
ダ13を経て伝送されることになる、サブサプラー14から
の出力信号は再生画面を予測したものである誤差信号が
小さければ小さいほどエントロピーデコーダ13から送出
される伝送量は削減できる。

この２段目の画面の場合には、受信側においてもフレ
ームメモリ20に既に格納されていた画面を送信側のサブ
サンプラー11及び14と同期してサブサンプラー19でサブ
サンプラーしスカラ量子化器21の出力に加えて補間器18
により第10図（２）及び（３）に示す順に補間されて２
段目の画面と近似したフレーム画面全体が再生され、フ
レームメモリ20に格納される。

これと同様の動作が送信側においても、サブサンプラ
ー14及びスカラ量子化器12の両出力を加えて補間器16で
補間することにより行われ、フレームメモリ15に格納さ
れる。

以下、同様にして３段目から６段目までの静止画面が
第９図（３）〜（６）に示すようにサプサンプルして行
く。この場合、３段目は第10図（４）及び（５）、４段
目は第10図（３）、５段目は第10図（５）の各順序で補
間され、６段目で１組の（実線は６枚の）静止画面につ
いての伝送処理が終了する。

〔発明が解決しようとする問題点〕

かかる従来の静止画像の符号化方式では、静止画像の
歪の大きい部分も小さい部分もサブサンプルした画像全
てについてスカラ量子化を行って伝送していたため、情
報量が大きくなってしまい伝送所要時間が長くなってし
まうという問題点があった。

一方、画像情報を低ビットレートで符号化して伝送す
る高能率な符号化方式として、ベクトル量子化の手法を
用いることが考えられる。

即ち、第11図に示すように予め作成した固定的なベク
トル量子化コードブック30（コード群から成る）を用意
しておき、誤差信号に応じてベクトル量子化器31におい
てコードブック30の中から最も誤差が小さくなるものを
選択（マッチング）し、そのインデックスのみを伝送し
て伝送量を削減しようとするものである。

しかしながら、この方式もコードブックが固定的であ
るため、誤差を小さくできない不適切なコードブックを
選択せざるを得ないとともに、ベクトル量子化特有の歪
を伴うという問題点があり、更に、伝送する画像には通
常、エッジ画素があるので、このエッジ画素の振幅が大
きいため上記の誤差信号全体の振幅レベルが高くなって
しまい適切なマッチングができないという問題点があっ
た。

従って、本発明の目的は、エッジ画素を含む画面にお
いても伝送情報量を少なくすることにより伝送時間を削
減でき且つ歪が少ない静止画像の符号化方式を実現する
ことに存る。

〔問題点を解決するための手段〕

第１図は上記の目的を達成するための本発明に係る静
止画像の符号化方式を概念的に示した図で、原画を第１
サブサンプラー11でサブサンプルし量子化器１で量子化
しエントロピーコード13で可変長符号化して伝送すると
ともに、次段画面からは再生画面を予測器２で作成し第
１サブサンプラー11と同期して第２サブサンプラー14に
より前記再生画面をサブサンプルし、次段画面のサブサ
ンプル信号との補間誤差信号を量子化器１で量子化する
ことを所定段数繰り返す静止画像の符号化方式を改良し
たものである。

即ち、本発明では、量子化器１が、補間誤差信号をブ
ロックコード化し固定コードブック４とのマッチングを
とるベクトル量子化器３であり、更に、再生画面からエ
ッジ画素を抽出し補間誤差信号の該エッジ画素のみスカ
ラ量子化した信号を発生するエッジ補正手段５と、その
スカラ量子化信号を補間誤差信号又はベクトル量子化器
３の出力から引いてスカラ量子化誤差信号を発生する減
算器６と、を設けている。

〔作用〕

第１図において、原画をサブサンプルしたものと、再
生予測画面をサブサンプしたものとの補間誤差信号にス
カラ量子化をかける。この場合、スカラ量子化は、予測
器２で予測された再生画面のエッジ画素をエッジ補正手
段５で検出し、このエッジ画素のみスカラ量子化をかけ
て補間誤差信号又はベクトル量子化器出力からそのスカ
ラ量子化値を引いてベクトル量子化器３又は伝送路に送
り出す。

受信側では、この送信側と逆の動作が行われる。

このようにして、画面のエッジ画素に起因する大きな
振幅を平坦にすることにより伝送量を削減することがで
き、ベクトル量子化に伴う歪も減少する。

〔実 施 例〕

以下、本願発明に係る静止画像の符号化方式の実施例
を説明する。

第２図は、第１図に概念的に示した本発明の静止画像
の符号化方式の一実施例を示しており、第２図では、第
１図に示した予測器２は上記の従来例と同様に補間器16
とフレームメモリ15とで構成されており、また、エッジ
補正手段５は、再生画面からエッジ画素を抽出するエッ
ジ抽出器51と、該エッジ抽出画面をサブサンプルする第
３のサブサンプラー52と、このサブサンプルされた画面
中のエッジ画素についてのみ補間誤差信号を選択する制
御回路53と、その選択された補間誤差信号をスカラ量子
化するスカラ量子化器54と、で構成されている。

一方、受信側は第３図に示すように、上記の従来例に
おけるスカラ量子化器の代わりに、送信側と同様にベク
トル量子化器3a、コードブック4a、エッジ抽出器51a、
サブサンプラー52a、制御回路53a、及びスカラ量子化器
54aによる閉ループを形成している。

次に、第２図に示した実施例における送信側（符号化
側）の動作を第４図に示したコードブック変化図並びに
第５図及び第６図に示したフローチャートを参照して説
明する。

まず、最初はサブサンプラー11でサブサンプルして第
９図（１）の１段目の画面を送出するが、この場合、ベ
クトル量子化器３は入力ブロック信号のインデックス
（これはエントロピーコーダ13で作成してもよい）をそ
のまま通過させるか、或いはコードブック４に用意され
た固定ロードをフルサーチして最も誤差の小さなコード
を検出（マッチング）し、そのインデックスを伝送路に
送出する。このとき、補間器16を介してフレームメモリ
15に受信側の画面を予測した画面が記憶される。

このとき、フレームメモリ15に記憶された１段目の画
面情報はラプラシアン・フィルタ等で構成されるエッジ
抽出器51においてその画面中のエッジ部分（画素）が抽
出される。

即ち、第５図に示す如く、フレームメモリ15の再生画
面を512×512、閾値をＤ、そしてフィルタを３×３のマ
スクとすると（第５図のステップS1）、画面の画素Ｘ
（Ｉ、Ｊ）はＩ、Ｊ＝２からフィルタをかけて行く（同
S2）。これは、Ｉ、Ｊ＝１の最左上端画素は使用できな
いためである。

次にエッジ画素を浮き上がらせるため、フィルタＭ
（３×３）を各画素Ｘ（Ｉ、Ｊ）に掛け合わせる（同S
3）。そして、各画素Ｘ（Ｉ、Ｊ）の絶対値が所定の閾
値Ｄ以上か否かをチェックし（同S4）、閾値Ｄを越えて
いれば、その画素Ｘ（Ｉ、Ｊ）を「０」とし、Ｄを越え
ていなければ、その画素Ｘ（Ｉ、Ｊ）を「１」とする
（同S5、６）。即ち、エッジ部分と判別できる所のみ画
素データを「０」にするわけである。

かかる動作を512×512個分実行し（同S7〜S10）、２
値のエッジ情報をエッジ抽出器51に格納しておく（同S1
1）。

第４図（１）はサブサンプラー11とサブサンプラー14
との補間誤差信号が発生開始する第９図（２）の２段目
画面をサブサンプルするときの様子を示したもので、図
中、○印を付した画素がサブサンプラー11及び14でサブ
サンプルされ、その補間誤差として第４図（１）に示す
ものが減算器６に入力される。尚、図を見易くするた
め、以下、サブサンプル点の信号レベル（適当に選択し
てある）のみを示すこととする。

第４図（１）に示した補間誤差はエッジ補正手段５の
制御回路53に入力される。この間、第３のサブサンプラ
ー52は第１及び第２のサブサンプラー11及び14と同期し
てエッジ抽出器51に格納されている２値の画面情報をサ
ブサンプルして制御回路53に出力している。

従って、制御回路53はサブサンプラー52でサブサンプ
ルされた画素のうち、エッジ画素のみの補間誤差をスカ
ラ量子化器54に送りスカラ量子化に供する。

スカラ量子化された補間誤差は減算器６の他方の入力
となっており、サブサンプラー11と14との補間誤差から
更に誤差（これはスカラ量子化誤差となる）を生ずる。

このように、補間誤差を更にスカラ量子化誤差にする
理由は、画面におけるエッジ画素は振幅レベルが高いの
で補間誤差中にも残存し、これをそのままベクトル量子
化したのではエッジ画素レベルに引きずられてマッチン
グがずれてしまうからである。

このようにしてスカラ量子化誤差が入力されるベクト
ル量子化器３では第４図（１）のサブサンプル点の信号
レベルを第４図（２）に示すようにソフトウェア概念的
に詰め替えて４×４のブロックにまとめ、コードブック
４のデータを参照して最も誤差の少ないベクトル量子化
コードを第４図（３）に示すように選択（マッチング）
する。

このように決定されたベクトル量子化コードは３段目
の画面処理に使用されることとなる。尚、この第４図
（３）のベクトル量子化コードも適当に選択した数であ
る。

ここで、３段目の補間誤差を第４図（４）に示す値の
ように仮定すると（第４図（１）〜（３）の値とは特に
関係ない）、△印で示された箇所は２段目の再生画面か
らエッジ抽出器51でエッジ画素と判別されたもので、こ
れら△印の画素がサブサンプラー52でサブサンプルされ
ることによりスカラ量子化器54でスカラ量子化し、第４
図（４）の補間画素から減算器６で引くと、第４図
（５）に示すように振幅の小さな情報としてベクトル量
子化器３に第４図（６）左側のブロック化した形で入力
され、マッチングをとって第４図（６）右側の形で出力
されることとなる。尚、この出力ベクトルは上述のよう
にインデックスの形で受信側に送られる。

第６図は制御回路53、スカラ量子化器54、及び減算器
６の動作手順を示すもので、２値のエッジ情報Ｘ（51
2、512）をサブサンプルすることにより、そのサブサン
プル箇所が「０」であればエッジ画素と判断して補間画
素Ｆ^＊（512、512）にスカラ量子化をかけて、補間画素
の更にスカラ量子化誤差Ｆ^**（512、512）を求める手順
を示している。

同様にして、４〜６段目の画面処理が実行される。

このように、一組の静止画像伝送を完了するための６
段階の画面送信を行う度にベクトル量子化器３の出力コ
ードのデータが小さくなり、振幅を小さくして行くこと
ができる。

尚、第３図に示した受信側のサブサンプル動作も全く
同様に行われるので、説明は省略する。

以上の実施例では、量子化器１としてベクトル量子化
器のみを用いる方式を説明したが、ベクトル量子化だけ
でなく、スカラ量子化も採り入れたハイブリッド量子化
が第７図（１）及び（２）に示されている。第７図では
量子化器１の部分のみを示している。

また、減算器６はベクトル量子化器３の前に挿入した
が、ベクトル量子化３の後に挿入しても同様の作用を呈
する。

更に、第５図のステップS4のステップは制御回路53で
実行してもよい。

更に、エントロピーコーダ13はベクトル量子化器３の
出力を可変長符号化するがスカラ量子化器54の出力をも
可変長符号化することがより好ましい。

〔発明の効果〕

以上のように、本発明の静止画像の符号化方式によれ
ば、送信画面上のエッジ画素に対応する補間誤差上の画
素にスカラ量子化をかけて次段画面でのベクトル量子化
器への補間誤差又はベクトル量子化からのマッチング出
力コードから引いてやるので、ベクトル量子化器でのマ
ッチングがより適切なものとなり、伝送量も小さくベク
トル量子化に起因する歪を小さくすることができるとい
う効果がある。

【図面の簡単な説明】

第１図は本発明に係る静止画像の符号化方式の原理ブロ
ック図、 第２図は第１図に示した静止画像の符号化方式の一実施
例を示すブロック図、 第３図は第２図の送信側に対応する受信側の実施例を示
すブロック図、 第４図は（１）〜（６）は本発明に用いるコードブック
の選択過程を説明するための図、 第５図は本発明で用いるエッジ抽出器の動作を示すフロ
ーチャート図、 第６図は本発明で用いる制御回路、スカラ量子化器、及
び減算器での手順を説明するためのフローチャート図、 第７図（１）及び（２）は本発明の別の実施例を示すブ
ロック図、 第８図は従来の静止画像の符号化方式の一例を示すブロ
ック図、 第９図（１）〜（６）は画面伝送の各段におけるサブサ
ンプルの方法を説明するための図、 第10図（１）〜（５）は補間の方法を説明するための
図、 第11図はベクトル量子化と固定コードブックとを組み合
わせた場合のブロック図、である。 第１図、第２図及び第７図において、 １は量子化器、 ２は予測器、 ３はベクトル量子化器、 ４はコードブック、 ５はエッジ補正手段、 ６は減算器、 11、14はサブサンプラー、 ８はスカラ量子化器、をそれぞれ示す。 尚、図中、同一符号は同一又は相当部分を示す。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 喜一 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 津田 俊隆 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内

Claims (3)

【特許請求の範囲】
1. 【請求項１】原画を第１サブサンプラー（11）でサブサ
   ンプルし量子化器（１）で量子化しエントロピーコーダ
   （13）で可変長符号化して伝送するとともに、次段画面
   からは再生画面を予測器（２）で作成し前記第１サブサ
   ンプラー（11）と同期して第２サブサンプラー（14）に
   より前記再生画面をサブサンプルし、次段画面のサブサ
   ンプル信号との補間誤差信号を前記量子化器（１）で量
   子化することを所定段数繰り返す静止画像の符号化方式
   において、 前記量子化器（１）が、前記補間誤差信号をブロックコ
   ード化し固定コードブック（４）とのマッチングをとる
   ベクトル量子化器（３）であり、更に、 前記再生画面からエッジ画素を抽出し前記補間誤差信号
   の該エッジ画素のみスカラ量子化した信号を発生するエ
   ッジ補正手段（５）と、 前記スカラ量子化信号を前記補間誤差信号又はベクトル
   量子化器（３）の出力から引いてスカラ量子化誤差信号
   を発生する減算器（６）と、 を設けたことを特徴とする静止画像の符号化方式。
2. 【請求項２】前記エッジ補正手段（５）が、前記再生画
   面からエッジ画素を抽出するエッジ抽出器（51）と、該
   エッジ抽出画面をサブサンプルする第３のサブサンプラ
   ー（52）と、このサブサンプルされた画面中のエッジ画
   素についてのみ前記補間誤差信号を選択する制御回路
   （53）と、該選択された補間誤差信号をスカラ量子化す
   るスカラ量子化器（54）と、で構成されている特許請求
   の範囲第１項記載の静止画像の符号化方式。
3. 【請求項３】前記量子化器（１）が、ベクトル量子化器
   （３）によるベクトル量子化とスカラ量子化器（８）に
   よるスラカ量子化とを組み合わせた量子化を行うもので
   ある特許請求の範囲第１項記載の静止画像の符号化方
   式。