JPH07336687A

JPH07336687A - 画像符号化装置

Info

Publication number: JPH07336687A
Application number: JP12244194A
Authority: JP
Inventors: Hiroshi Arakawa; 博荒川; Minoru Eito; 稔栄藤
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-06-03
Filing date: 1994-06-03
Publication date: 1995-12-22

Abstract

(57)【要約】【目的】周波数領域での残差符号化による画像符号化
装置において、回路規模の削減、処理時間の短縮を図る
ことを目的とする。【構成】画像変換器102により周波数帯域ごとの帯域
画像（入力画像-F）を求め、これと動き補償予測画像-F
との残差を求める。さらにこの残差を代表値で置き換え
（量子化器104）、この残差と動き補償予測画像-Fとの
和を画像メモリ107に記憶する。次フレームにおいて、
動き推定器108は、画像メモリ107の帯域画像-Fと入力画
像-Fをもとに動きベクトルを求め、これを用い動き補償
器109が動き補償画像-Fを生成し、これを出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像を少ない符号化量で
伝送蓄積する画像符号化装置に関する。

【０００２】

【従来の技術】従来の画像符号化装置としては、例え
ば、ＣＣＩＴＴ勧告Ｈ．２６１にて開示されたものがあ
る（従来例１）が、Ｈ．２６１の扱う画像サイズは、小
さくとも縦横１４４×１８０画素、符号化量は、毎秒６
４キロビット以上である。この従来例１は、画像変換に
ブロック単位での離散コサイン変換（ＤＣＴ）を用い、
また、動き補償フレーム間予測により情報量の削減を行
うものである。しかしながら、ブロック単位での変換に
より、以下の課題が生じる。

【０００３】（Ａ１）ブロック境界にて、原画像に存在
しない境界が知覚される。この、課題（Ａ１）は、一般
にブロック歪みと呼ばれる。これを解決するものとし
て、画像変換にサブバンド分解を用いたものが、電子情
報通信学会技術研究報告 IE91-82にて開示されている
（従来例２）。この構成を図６に示す。

【０００４】図６において、601は画像の入力端子、603
は差分器、604は量子化器であって、図３の入出力特性
で表されるように、ある範囲の入力値を一つの代表値で
置き換えるものである。606は加算器、607は予測画像を
記憶するための画像メモリ、608は動き推定器であっ
て、ブロックマッチング法によりブロックごとの動きベ
クトルを求めるものである。なお、ブロックマッチング
法は、例えば、日刊工業新聞社"ＴＶ画像の多次元信号
処理"吹抜敬彦著、6.3.2 節を用いることができる。

【０００５】609は動きベクトルに基づき予測画像から
動き補償予測画像を生成する動き補償器であって、ブロ
ック単位の補償方法の説明が雑誌「インターフェース」
Aug.'92, p125, 1.2 節にある。610,611は出力端子であ
って、それぞれ残差と動きベクトルを後段の符号化器へ
出力する。602,612は画像変換器、613は画像逆変換器で
ある。

【０００６】ここで、画像変換器602,612と画像逆変換
器613の構成を図７、図８を用いて説明する。図７にお
いて、701は入力端子、702は水平フィルタＨ0、703は水
平フィルタＨ1、704、705は水平画素数を１画素おきに
間引く２：１ダウンサンプリング回路、706、708は垂直
フィルタＨ0、707,709は垂直フィルタＨ1、710,711,71
2,713は垂直画素数を１画素おきに間引く２：１ダウン
サンプリング回路、714,715,716,717は出力端子であ
る。

【０００７】また図８において、801,802,803,804は入
力端子、805,806,807,808は零の輝度値を持つ画素を垂
直方向一画素おきに挿入する１：２アップサンプリング
回路、809, 811は垂直フィルタＧ0、810,812は垂直フィ
ルタＧ1、813, 814,819は加算回路、815, 816は零の輝
度値を持つ画素を水平方向一画素おきに挿入する１：２
アップサンプリング回路、817は水平フィルタＧ0、818
は垂直フィルタＧ1、821は出力端子である。

【０００８】以上のように構成された画像変換回路602,
612と画像逆変換回路613の動作を以下に説明する。各
フィルタの構成をＺ変換の形式で、（数１）〜（数８）
に示す。Ｚ_h ^-1とＺ_v ^-1は各々、水平１画素、垂直１画素
の遅延演算子である。

【０００９】

【数１】

【００１０】

【数２】

【００１１】

【数３】

【００１２】

【数４】

【００１３】

【数５】

【００１４】

【数６】

【００１５】

【数７】

【００１６】

【数８】

【００１７】フィルタの中で名称の末尾にＨ0と記した
ものは低帯域通過フィルタ、Ｈ1と記したものは高帯域
通過フィルタに相当する。本実施例の画像変換器では、
前記したフィルタの構成（図７）により、出力にLL,LH,
HL,HH の４つの周波数帯域ごとの画像が出力される。こ
れをそれぞれ帯域画像と呼ぶ。また、以後、このような
周波数領域での画像を表す為に、末尾に-Fを付ける。例
えば、帯域画像-Fなどと書く。また、図８より、画像逆
変換器は入力されたLL〜HH帯域画像-Fを基に、空間領域
での画像を生成し、これを出力する。

【００１８】尚、本実施例に示すフィルタ係数は、文献
「アイイーイーイーインターナショナルコンファレ
ンスアコースチックスピーチシグナルプロセッ
シング」（Ｄ.Ｇａｌｌ,Ａ.Ｔａｂａｔａｎｉ：”Ｓｕ
ｂ−ｂａｎｄＣｏｄｉｎｇｏｆＤｉｇｉｔａｌＩｍ
ａｇｅｓＵｓｉｎｇＳｙｍｍｅｔｒｉｃＳｈｏｒｔ
ＫｅｒｎｅｌＦｉｌｔｅｒｓａｎｄＡｒｉｔｈｍｅ
ｔｉｃＣｏｄｉｎｇＴｅｃｈｎｉｑｕｅｓ”、Ｐｒｏ
ｃ。ＩＥＥＥＩｎｔＣｏｎｆ。ＡｃｏｕｓｔｉｃＳｐ
ｅｅｃｈＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ、ｐｐ。
７６１−７６４、Ａｐｒｉｌ、１９８８）記載のフィル
タに基いており、量子化誤差が無ければ、画像はサブバ
ンド分割、サブバンド合成を経て完全に再構成される。
つまり、画像変換器により得た帯域画像-Fを画像逆変換
器に入力することで、もとの画像変換器の入力画像を得
ることができる。

【００１９】以上のような構成要素から成る従来例２に
ついて図６を用いてその動作を説明する。尚、本明細書
に記す従来例、実施例では、実装置の動作を容易に理解
するために、画像は縦横１４４×１７６画素で構成さ
れ、相関演算を行なうブロックは縦８画素、横８画素で
構成されているとする。また、画像変換器の出力は、帯
域画像-Fであり、この成分画像を伝達する信号線は、太
い線で表わされている。

【００２０】まず、画像メモリ607に記録された前フレ
ームでの処理結果である予測画像と入力端子601からの
入力画像を基に、動き推定器608はブロック単位に動き
ベクトルを求める。この動きベクトルは、端子611より
出力され、また、動き補償器609へ送られる。画像メモ
リ607の予測画像は、この動きベクトルを基に動き補償
器609にて動き補償予測画像、さらに画像変換器612にて
動き補償予測画像-Fへと変換される。この動き補償予測
画像-Fと、画像変換器602の出力する入力画像-Fの残差
が差分器603にて計算され、さらに量子化器604にて代表
値に変換される。この代表値から成る残差画像-Fは、端
子610より出力され、また、加算器606にて画像変換器61
2の出力との和が計算される。これは、予測画像-Fであ
って、量子化誤差を除いて入力画像-Fと一致する。これ
を画像逆変換器613を用い予測画像に変換して画像メモ
リ607に記録する。

【００２１】以上の動作を、入力画像のフレームごとに
行い、端子610,611よりそれぞれ残差画像-F,動きベクト
ルを出力する。これら出力を後段の符号化器に通し符号
を得ることで、画像符号化が可能となる。また、画像復
号化装置は、構成要素群614から成り、上記の符号を復
号化して残差画像-F、動きベクトルを得て、これらを入
力することで、予測画像を出力するものである。なお、
画像復号化装置の動作は画像符号化装置の動作と同じで
あるので説明を省略する。

【００２２】以上の構成により、変換に用いるデータが
ブロック内で閉じることのないサブバンド分解を用いる
ことで、課題（Ａ１）を解決することができる。なお、
従来例２では、画像変換後の周波数領域で、動き補償予
測画像-Fとの差分を行う構成である。これは、以下の課
題（Ａ２）を解決するためである。

【００２３】まず、予測画像-Fとして、動き補償フレー
ム間予測（inter）以外に、フレーム内予測（intra）を
追加し、これを局所領域ごとに切り替えるように拡張す
る。すると、空間領域での差分の場合、（intra）と（i
nter）の局所領域境界に信号レベルの段差が生じ、これ
をサブバンド分解するために符号化効率が悪化するとい
う課題（Ａ２）が生じる。従来例２は、この課題（Ａ
２）を、画像変換後の周波数領域で差分を取ることによ
り解決するものである。ところで、従来例１、２が用い
る動き補償フレーム間予測は、時間的連続性を利用する
ため、以下の課題が生じる。

【００２４】（Ａ３）移動体の後ろから現れる部分は、
時間連続性がないため、予測誤差が増大し、後段での符
号化量が増える。なお、これを以後、アンカバーの問題
と呼ぶ。この課題（Ａ３）を解決するものとして、特開
昭６１ー１１４６７７号公報にて開示されたものがある
（従来例３）。

【００２５】

【発明が解決しようとする課題】しかしながら、前記し
た従来技術を用いても以下の課題が存在する。（Ｂ１）従来例２では、動き推定にブロックマッチング
法を用いるため、空間領域での予測画像を得るための画
像逆変換器が必要である。また、周波数領域での差分を
行うため、動き補償予測画像に対する画像変換器が必要
である。

【００２６】以上より、従来例２では、画像変換器、逆
変換器が計３個必要となる。画像変換、逆変換器は、ハ
ードウェア構成ではたくさんのユニットを必要とし、消
費電力、価格に影響を与える。また、処理時間を多く必
要とし、実時間動作の律速部分となる。これら理由よ
り、このような変換器はできるだけ少ないほうが良い。
また、従来例２を毎秒２０キロビット程度の符号化（超
低ビットレート符号化と呼ぶ）に適用すると、以下の問
題が生じる（Ｂ２）符号化量の制限より、周波数領域での残差のう
ち、高帯域成分を伝送できず画質劣化を生じる。これは
例えば、ＣＣＩＴＴ勧告Ｈ．２６１では以上の動作によ
り生じる。符号化量の制限を越えそうになると、予め量
子化の幅を大きくする。この結果、値の小さな変動を無
視することで情報を減らすことができ、符号化量の制限
を満たすことができる。しかしながらこの結果、高帯域
成分での値の小さな変動はすべて代表値零で置き換えら
れ、結果として高帯域成分を伝送できない。このため、
予測画像に前フレームでの高帯域成分から成るエッジが
残り、画像劣化を生じる。この様子を図９、図１０に示
す。

【００２７】図９に示すように、入力画像901中の正方
形902が左に移動している場合を考える。入力画像901に
対し画像変換を施すことで、周波数帯域ごとのLL,LH,H
L,HH画像-Fを得る（903)。これを予測画像-Fとし、次フ
レームにてこれとの残差を送る場合を考える。しかも、
符号化量の制限より、LL帯域画像のみ残差を伝送できた
とする。すると、残差を加算した結果の画像-Fは、904
のように、LL以外の帯域画像はすべて予測信号-F903と
同じとなる。この画像-F904を逆変換すると、905に示す
ように、縦エッジ部分に劣化のある画像となる。これ
は、HL帯域による高域周波数が、LL帯域に対して相対的
にずれているため生じるものである。なお、図１０にお
いて、この時の断面a-bでの輝度分布を906に示す。矩形
点線で囲った部分907が、画像劣化を生じる部分であ
る。

【００２８】さらに、課題（Ｂ１）を解決した第１の実
施例（後述）に、従来例３で示した背景予測方式を導入
する場合、以下の課題が生じる。（Ｂ３）画像変換後の各周波数帯域での画像では、入力
画像と背景画像との差分が変換前の画像のそれに対して
小さいため、前記しきい値の設定が困難となる。

【００２９】本発明は上記課題を解決するもので、周波
数領域での残差符号化による画像符号化装置において、
回路規模の削減、処理時間の短縮を図ることを目的とす
る。

【００３０】

【課題を解決するための手段】上記目的を達成するた
め、第１の発明は、画像を周波数帯域ごとの複数の画像
に分解する画像変換手段と、周波数帯域ごとの画像を記
憶する画像メモリと、前記画像変換手段の出力する周波
数帯域ごとの画像と前記画像メモリの出力するそれらを
もとに局所領域での動きベクトルを算出する動き推定手
段と、前記動きベクトルをもとに、前記画像メモリの出
力する周波数帯域ごとの画像に対し動き補償を局所領域
ごとに行いこれを動き補償予測画像として出力する動き
補償手段を備え、周波数帯域ごとの画像をもとに動きベ
クトルを算出し、これをもとに周波数帯域ごとの動き補
償予測画像を得る構成である。

【００３１】また、第２の発明は、画像を周波数帯域ご
との複数の画像に分解する画像変換手段と、周波数帯域
ごとの画像を記憶する画像メモリと、前記画像変換手段
の出力する周波数帯域ごとの画像と、前記画像メモリの
出力するそれらとの残差を求める減算手段と、前記残差
を代表値に変換する量子化手段と、前記代表値から成る
周波数帯域ごとの画像と前記画像メモリの出力するそれ
らとの和を求める加算手段と、前記和から成る周波数帯
域ごとの画像と、値０から成るそれらのどちらかを選択
し、これを前記画像メモリへ出力する選択手段を備え、
前記代表値から成る周波数帯域ごとの画像を符号化する
符号化器からの量子化幅変更信号に基づき、前記選択器
の出力する画像を周波数帯域ごとに変更する構成であ
る。

【００３２】また、第３の発明は、画像を周波数帯域ご
との複数の画像に分解する画像変換手段と、周波数帯域
ごとの画像を記憶する画像メモリと、前記画像変換手段
の出力する周波数帯域ごとの画像と前記画像メモリの出
力するそれらとの残差を求める減算手段と、前記残差を
代表値に変換する量子化手段と、前記代表値から成る周
波数帯域ごとの画像と前記画像メモリの出力するそれら
との和を求める加算手段と、前記和から成る周波数帯域
ごとの画像と前記画像メモリの出力するそれらを入力と
し、これら入力の差の絶対値の局所領域での総和を、周
波数帯域ごとに総和したものを用い前記画像メモリに出
力する画像として２つの入力のどちらかを選択する制御
手段を備えた構成である。

【００３３】

【作用】第１の発明では、動き推定手段が周波数帯域ご
との画像を用い動きベクトルを推定する。また、動き補
償手段は、この動きベクトルを用い、画像メモリの出力
する周波数帯域ごとの画像に対し動き補償を行う。この
ようにして動き補償画像を得るため、周波数領域での画
像だけで処理できる。つまり、従来例１が行うような、
周波数領域から空間領域への画像逆変換手段や動き補償
画像を空間領域から周波数領域へ変換するための画像変
換手段を必要とせず、それだけ処理時間を短く、また、
ハードウェア実現時の装置コストを低くすることができ
る。

【００３４】また第２の発明では、後段の符号化器から
の量子化幅変更信号によりある周波数帯域の量子化幅が
大きくなると、加算手段の出力の代わりに値０から成る
画像を、その周波数帯域の画像として出力する。この結
果、量子化幅が大きく、量子化手段の出力する高周波数
帯域での画像が値０だけとなり、加算手段の出力のうち
高周波数帯域の画像が前回の値と同じものとなる結果生
じる画質の劣化を避けることができる。

【００３５】また、第３の発明では、画像メモリに記憶
された周波数帯域ごとの背景画像の更新において必要と
なる背景／移動体の識別を、背景画像と加算手段の出力
である予測画像との差分絶対値の周波数帯域ごとの総和
をもとに判断する。これにより、周波数帯域別の画像に
しきい値を設定し周波数帯域ごとに識別を行う場合に生
じる、しきい値設定の困難を回避することができる。

【００３６】

【実施例】以下、本発明の実施例を図面を用いて説明す
る。本発明の第１の実施例を図１および２を用い説明す
る。図１は、第１の実施例の構成図である。

【００３７】図１において、101は入力端子、102は画像
変換器、103は減算器、104は量子化器、105は逆量子化
器106は加算器であり、以上は、従来例２で説明した構
成要素と同じものである。また、107は画像変換後の周
波数帯域 LL,LH,HL,HHごとの４枚の画像を１フレーム分
記録する画像メモリ、108は動き推定器、109は動き補償
器である。また、110、110は出力端子であって、後段の
符号化器に接続される。ここで、動き推定器108の動作
を図２を用い説明する。

【００３８】図２は、変換画像をもとに局所ブロックで
の相関を最良にするブロックの移動量を動きベクトルと
して算出するものである。図２において、201は相関演
算回路、202は動きベクトル格納メモリであり、以上が
動き推定器108の構成要素である。また、210は画像メモ
リ107の出力する帯域画像（図１では予測画像-F）、212
は入力画像の帯域画像（入力画像-F）である。

【００３９】次に動作を説明する。相関演算回路201は
２つの処理から成る。まず、第１の処理を説明する。帯
域画像212のLL帯域画像を６４分割する。この分割され
た１要素は、縦９画素、横11画素から成り、これをブロ
ックと呼ぶ。なお、ブロックの左上座標を（数９）で表
す。

【００４０】

【数９】

【００４１】同様に LH,HL,HH帯域画像も６４分割し、
（数１０）に基づき位置的に対応する４つのブロックの
群213をLL〜HH帯域画像から取り出す。

【００４２】

【数１０】

【００４３】次に、帯域画像210から、（数９）で表さ
れる左上座標を持つブロック群211を（数１０）に基づ
き取り出す。これらブロック群の相関値を（数１１）で
定義し、これを最小にするピクセル単位の変位(△ｊ,△
ｉ) を求める。

【００４４】

【数１１】

【００４５】以上が第１の処理である。次に相関演算回
路201、第２の処理を説明する。これは、帯域画像210
から取り出すブロックの位置を、(数１２)で表される量
だけ変更して相関演算（数１１）を行い、変位(ξ,η)
を求めるものである。

【００４６】

【数１２】

【００４７】これに伴い、画素点の中間点での画素値が
必要となるため、双一次線形補完（数１３）によりこれ
を求める。

【００４８】

【数１３】

【００４９】以上のようにして求まるブロック群 201
と、ブロック群 213 の相関値（数１４）を最小とする
サブピクセル単位の変位(ξ,η) を求める。

【００５０】

【数１４】

【００５１】以上の２段階の処理により求まるピクセル
単位とサブピクセル単位の変位をもとに動きベクトル
(△ｊ＋ξ,△ｉ＋η) を計算し、これを動きベクトル格
納メモリに、(ｊ0,ｉ0) を指標として記録する。

【００５２】以上の相関演算回路201、動きベクトル格
納メモリ202での動作を、ブロック (ｊ0,ｉ0) ごとに実
施する。以上が動き推定器108 の動作である。

【００５３】このような構成要素から成る第１の実施例
について以下にその処理手順を説明する。入力端子101
の入力画像は、画像変換器にて、４つのLL〜HH帯域画像
に分解される。また、このLL〜HH帯域画像と、画像メモ
リ107に記録されたLL〜HH帯域画像を入力とし、動き推
定器はブロックごとの動きベクトルを算出する。この動
きベクトルと画像メモリ107のLL〜HH画像を用い、動き
補償器109 はブロック単位での動き補償を行い、これを
動き補償予測画像-Fとして出力する。なお、この時、サ
ブピクセル単位での動き補償は（数１３）で求まる補完
により行う。

【００５４】以上のようにして求まる動き補償予測画像
-Fと、画像変換器102の出力する入力画像-Fとを基に、
減算器103はLL〜HH帯域画像ごと、位置ごとに画素値の
差分を求める。この差分は、量子化器104にて画素値ご
とに変換特性（図３）により代表値で置き換えられ、出
力端子110より出力される。さらに動き推定器108の出力
する動きベクトルが出力端子111より出力される。以上
の２つは、後段の符号化器へ渡される。また、量子化器
104の出力する差分後の代表値は、加算器106にて動き補
償予測画像-Fと加算され、これは予測画像-Fとして画像
メモリ107に記録される。この予測画像-Fは、次フレー
ムにおいて動き推定器108、動き補償画像109の入力とな
る。

【００５５】以上の動作により、毎フレームごとの入力
画像に対し、前フレームでの予測画像-Fをもとに動き補
償予測画像-Fを生成し、これと入力画像-Fとの残差を出
力する。なお、画像復号化装置は、図１の点線矩形112
内の構成要素群と、画像変換器102と対を成す画像逆変
換器から成り、復号化器の出力する残差の代表値と動き
ベクトルを受取り、動き補償予測信号を求め、これを逆
変換したものを復号結果として出力する。以上のように
して画像の符号化が実現できる。

【００５６】尚、画像変換器102 は、サブバンド変換以
外に、ブロック単位のフーリエ変換やウェーブレット変
換でもよい。また、空間領域での画像のシフトは、周波
数領域での画像（複素数）の絶対値を変えず、位相成分
のみを変えることを利用して動き推定を行うことができ
る。この場合の画像変換器102、動き推定器108、動き補
償器109について説明する。画像変換器102は、入力画像
（縦１４４画素、横１７６画素）を縦１８個、横２２個
のブロックに分割し、このブロック（縦８、横８画素か
ら成る）を、（数１５）（数１６）によりフーリエ変換
係数ａ(ｑ,ｐ),ｂ(ｑ,ｐ) に変換する。

【００５７】

【数１５】

【００５８】

【数１６】

【００５９】動き推定器108は、画像変換器102の出力す
るフーリエ変換係数ａ1,ｂ1と、画像メモリ107に記憶さ
れたそれらａ2,ｂ2を用い、（数１７）により動きベク
トル(ｕ,ｖ)を計算する。以上の動きベクトルは、ブロ
ックごとに計算される。

【００６０】

【数１７】

【００６１】動き補償器109 は（数１８）（数１９）に
基づきフーリエ変換係数ａ3,ｂ3を出力する。

【００６２】

【数１８】

【００６３】

【数１９】

【００６４】なお、サイン成分とコサイン成分の内、コ
サイン成分のみを符号化して伝送し、復号器側ではヒル
ベルト変換によりサイン成分を復元するようにしてもよ
い。これにより伝送すべき情報をさらに減らすことがで
きる。また、フーリエ変換時にブロック内のデータに対
し窓関数をかけても良い。

【００６５】次に、本発明の第２の実施例について図４
を用いて説明する。入力端子101、画像変換器102、差分
をとる減算器103、加算器106、画像メモリ107、動き推
定器108、動き補償器109、出力端子110、111は第１の実
施例の構成要素と同じものである。212は後段の符号化
器での符号化量に基づいて量子化幅を制御するための信
号を受け取る制御端子、204はこの制御信号に基づき、
帯域画像LL〜HHごとの量子化幅を変更する機能を有する
量子化器、213は制御入力に基づき信号を選択する選択
器である。

【００６６】以上の構成要素から成る第２の実施例につ
いて動作を、第１の実施例と異なる部分のみ説明する。
後段の符号化器は、符号化量が制限を越えそうになる
と、制御端子212へ帯域画像ごとの量子化幅ｗLL,ｗLH,
ｗHL,ｗHHを出力する。この制御信号は、まず量子化器2
04に伝送され、帯域画像ごとの量子化幅が変更される。
なお、量子化器の変換特性を表す図３は、量子化幅が４
の場合である。また、選択器213は制御信号が信号の最
大値に等しい場合に端子ａを、それ以外の場合に端子ｂ
を選択するものである。なお、信号の最大値とは、帯域
画像の画素値の、この装置で扱える最大値であって、例
えば量子化器の入力がデジタル信号であって信号線が８
本の場合、信号は−128〜127までの値を取るので、信号
の最大値は127である。

【００６７】以上の構成により、ある高帯域画像の量子
化幅ｗが大きくなり、信号の最大値に等しくなると、図
３より、量子化器204の出力は、零となり、選択器213の
端子ｂには減算器103の出力する残差による修正を受け
ない、動き補償予測画像-Fが入力される。この時、選択
器213はこれを選択せず、端子ａの値０を選択する。以
上のようにして、作用の項で説明したように、残差によ
る修正を受けていない信号の替わりに、高帯域画像を値
０から成る画像で置き換えることができる。尚、選択器
端子ａを選択する場合として、量子化幅が一定値以上の
場合としてもよい。

【００６８】次に、本発明の第３の実施例について、図
５を用いて説明する。入力端子101、画像変換器102、差
分をとる減算器103、量子化器104、加算器106、画像メ
モリ107、動き推定器108、動き補償器109、出力端子11
0、111は第１の実施例と同じ構成要素である。

【００６９】また、512は動き補償予測画像-Fを生成す
るための構成要素群である。513は４つの帯域画像から
成る背景画像-Fを記憶するための画像メモリ、514はこ
の背景画像-Fを予測画像-Fより生成するための制御器、
以上の２つが背景画像-Fを生成するための構成要素群51
1である。515は背景画像-Fと動き補償予測画像-Fのう
ち、一方を出力する選択器、516は選択信号を出力する
制御器であって、従来例３同様に、予測画像-Fつまり入
力画像-Fが、背景画像-Fと動き補償予測画像-Fのどちら
に近いかを選択結果として画素ごとに記録する。そし
て、選択器515へのある画素に対する制御信号として、
その画素の近傍での選択結果より、もっとも選択頻度の
多かった方を選択する制御信号を出力する。

【００７０】ここで、構成要素群511の動作を説明す
る。画像メモリ513の出力する背景画像-Fｆbと加算器10
6の出力する予測画像-Fｆpをもとに、制御器514は、
（数１４）に基づき背景画像-Fｆbを更新する。

【００７１】上記の処理を、各帯域画像の各画素ごとに
行う。尚、ｅ(ｊ0,ｉ0)はブロックＢ(ｊ0,ｉ0)での残差
の総和を、帯域画像ごとにさらに加算したものである。
つまり、ｅ(ｊ0,ｉ0)は、ブロックＢ(ｊ0,ｉ0 )での、
変換前の画像領域での残差の大きさを表す。（数１４）
は、このｅ(ｊ0,ｉ0)が大きい領域を移動体であると判
断し、この点での予測画像-Fｆpつまり移動体を表す信
号が背景画像-Fｆbに含まれないようにするため、もと
の背景画像-Fｆbを次の背景画像-Fとする。これに対
し、ｅ(ｊ0,ｉ0)が小さい場合には、予測信号ｆpを用
い、更新係数αだけ背景画像-Fｆbを変更する。

【００７２】以上のようにして、背景画像-Fが生成され
る。なお、ここで示した背景画像-Fの生成方式は、情報
処理学会論文誌 Vol.28 No.4 "移動物体像の抽出技術",
Apr.'87 に開示された手法を帯域画像LL〜HH に応用し
たものである。

【００７３】以上のように構成された第３の実施例につ
いて、以下その動作を説明する。第１の実施例同様に、
入力端子101の入力画像は、画像変換器102にて帯域画像
（入力画像-F）に分解される。

【００７４】この入力画像-Fと選択器515の出力する帯
域画像-Fとの残差が減算器103にて計算される。さらに
この帯域画像-Fごとの差分は量子化器104（入出力特性
図３）にて代表値で置き換えられ、出力端子110より出
力される。また、この代表値から成る帯域画像-Fと、選
択器515の出力する帯域画像-Fの和が加算器106にて計算
される。これを予測画像-Fと呼ぶ。この予測画像-Fを用
い、構成要素群514は前述した動作により背景画像-Fを
生成する。さらに、予測画像-Fと画像変換器102の出力
する帯域画像-Fとを用い、構成要素群512は第１の実施
例で説明した動作により動き補償予測画像-Fを出力す
る。

【００７５】以上の背景画像-Fと動き補償予測画像-F
は、制御器516の動作により選択器515にてどちらか一方
が選択さる。この選択画像-Fと、入力画像-Fとの残差の
代表値が出力端子110より出力されるとともに、選択画
像-Fにこの残差を加算することで予測画像-Fを求める。

【００７６】以上のようにして、出力端子110から残差
画像-F、出力端子111から動きベクトルを出力する。こ
れらは後段の符号化器にて符号化され、伝送される。ま
た、画像復号化器は構成要素群517から成り、伝送デー
タを復号化し、残差画像-Fと動きベクトルを得て、これ
らを基に、前述の動作に基づき加算器106の出力する予
測画像-Fを求め、これを画像変換器102と対になる画像
逆変換器に通すことで、再生画像を得る。

【００７７】

【発明の効果】以上のように第１の発明の画像符号化装
置を用いれば、画像変換器、逆変換器の個数を減らすこ
とができ、汎用プロセッサでのソフトウェア実現時に処
理時間を短縮することができる。また、ハードウェア実
現時には装置が不要となり、その分、装置コスト、消費
電力を下げることができる。

【００７８】また、第２の発明の画像符号化装置では、
超低ビットレート符号化にて高帯域周波数が伝送できな
い場合の画質劣化を抑えることができる。

【００７９】また、第３の発明の画像符号化装置では、
背景画像生成時のしきい値設定を容易にし、周波数帯域
画像ごとに背景画像を生成する場合に比べて安定に背景
生成を行うことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における画像符号化装置
の構成を示すブロック図

【図２】第１の実施例における動き推定器の動作を示す
図

【図３】量子化器の動作を示す図

【図４】本発明の第２の実施例における画像符号化装置
の構成を示すブロック図

【図５】本発明の第３の実施例における画像符号化装置
の構成を示すブロック図

【図６】従来例１における画像逆変換回路の構成を示す
ブロック図

【図７】画像変換器の構成を示すブロック図

【図８】画像逆変換器の構成を示すブロック図

【図９】課題（Ｂ２）を示す図

【図１０】課題（Ｂ２）を示す図

【符号の説明】

１０２画像変換器１０３減算器１０４量子化器１０６加算器１０７画像メモリ１０８動き推定器１０９動き補償器２０４量子化器２１２出力端子２１３選択器５１３画像メモリ５１４制御器５１５選択器５１６制御器

Claims

【特許請求の範囲】

【請求項１】画像を周波数帯域ごとの複数の画像に分解
する画像変換手段と、周波数帯域ごとの画像を記憶する
画像メモリと、前記画像変換手段の出力する周波数帯域
ごとの画像と前記画像メモリの出力するそれらをもとに
局所領域での動きベクトルを算出する動き推定手段と、
前記動きベクトルをもとに、前記画像メモリの出力する
周波数帯域ごとの画像に対し動き補償を局所領域ごとに
行いこれを動き補償予測画像として出力する動き補償手
段とを備え、周波数帯域ごとの画像をもとに動きベクト
ルを算出し、これをもとに周波数帯域ごとの動き補償予
測画像を得ることを特徴とする画像符号化装置。
【請求項２】画像を周波数帯域ごとの複数の画像に分解
する画像変換手段と、周波数帯域ごとの画像を記憶する
画像メモリと、前記画像変換手段の出力する周波数帯域
ごとの画像と前記画像メモリの出力するそれらとの残差
を求める減算手段と、前記残差を代表値に変換する量子
化手段と、前記代表値から成る周波数帯域ごとの画像と
前記画像メモリの出力するそれらとの和を求める加算手
段と、前記和から成る周波数帯域ごとの画像と、値０か
ら成るそれらのどちらかを選択し、これを前記画像メモ
リへ出力する選択手段とを備え、前記代表値から成る周
波数帯域ごとの画像を符号化する符号化器からの量子化
幅変更信号に基づき、前記選択器の出力する画像を周波
数帯域ごとに変更することを特徴とする画像符号化装
置。
【請求項３】画像を周波数帯域ごとの複数の画像に分解
する画像変換手段と、周波数帯域ごとの画像を記憶する
画像メモリと、前記画像変換手段の出力する周波数帯域
ごとの画像と前記画像メモリの出力するそれらとの残差
を求める減算手段と、前記残差を代表値に変換する量子
化手段と、前記代表値から成る周波数帯域ごとの画像と
前記画像メモリの出力するそれらとの和を求める加算手
段と、前記和から成る周波数帯域ごとの画像と前記画像
メモリの出力するそれらを入力とし、これら入力の差の
絶対値の局所領域での総和を、周波数帯域ごとに総和し
たものを用い前記画像メモリに出力する画像として２つ
の入力のどちらかを選択する制御手段とを備えたことを
特徴とする画像符号化装置。