JPH0614739B2 - 画像信号の動き補償フレ−ム間予測符号化・復号化方法とその装置 - Google Patents

Description

【発明の詳細な説明】 〈産業上の利用分野〉 本発明は画像信号の動き補償フレーム間予測符号化・復
号化方法とその装置（以下予測符号化方法、予測複号化
方法、予測符号化装置及び予測復号化装置と称す）に関
し、特に画像信号の効率的な符号化および復号化を行う
ブロックマッチング型の予測符号化・復号化方法とその
装置に関する。

〈従来技術〉 画像信号の予測符号化・復号化方法に動き補償フレーム
間の予測符号化・復号化がある。この方法では、予測信
号として前フレーム信号を直接用いず動きベクトルだけ
ずれた前フレームの信号を用いる。

第６図は動き補償フレーム間の予測符号化・復号化方法
の画像信号の動きを示す説明図である。例えば第６図に
示すように、時間ｔ＝ｔ_Oにおける座標（Ｘ_O，Ｙ_O）の
信号Ａに対する予測信号の値は動きベクトルが＝（Ｖ
_X，Ｖ_Y）であるなら、時間ｔ＝ｔ_O−τの前フレームに
於ける座標が（Ｘ_O−Ｖ_X，Ｙ_O−Ｖ_Y）の信号Ｃによって
定める。ここで動きベクトルは信号Ａの近傍の画像に
於ける１フレーム間の変位量でありその大きさおよび向
きは一般に信号Ａの位置により異なる。この方法では動
きベクトルさえ精度良く求めれば信号Ｃは信号Ａと非常
に近い値となるので予測誤差信号は０に近い小さな値と
なり符号化効率は高くなる。動きベクトルの求め方とし
てはブロックマッチング法等が提案されている。以下ブ
ロックマッチング法について説明する。まず画面を多数
のブロックに分割する。そして各々のブロックについ
て、前フレーム中に多数の位置のずれたブロックを取り
その中で最も類似度の高いブロックを検出する。この時
の現フレームのブロックと前フレームのブロックのずれ
を動きベクトルとする。ブロックマッチングを用いた動
き補償フレーム間予測符号化については、その一例が19
81年電子通信学会論文誌Ｂ ＶＯＬ．J64−Ｂ No１
Ｐ２４−Ｐ３１に掲載されている二宮らによる論文〈フ
レーム間予測符号化に於ける動き補正予測方式〉に詳し
く書かれている。

〈従来技術の問題点〉 以上述べたような従来の、空間解像度の低下した画像信
号に対して動き補償フレーム間予測符号化・復号化を行
う例においては、それより空間解像度の高い画像信号に
対して動き補償フレーム間予測符号化・復号化を行うと
きに比べて画素当たりの情報量が増加するという欠点が
ある。その理由は以下のとおりである。動き補償フレー
ム間予測符号化・復号化の場合、画素と画素の間の位置
に真の動きベクトルがくるときには、動きベクトル検出
をする際、真の動きベクトルが求まらず２画素のうちの
いずれかの画素の位置に量子化された動きベクトルが検
出される。そのため画像信号の空間解像度が低下するほ
ど、画素と画素の間隔は大きくなり動きベクトルが粗く
検出され、予測誤差信号の値が大きくなり画素当たりの
情報量が増加するというわけである。

〈発明の目的〉 本発明の目的は、空間解像度の低下した画像信号に対し
て、従来のブロックマッチング型の動き補償フレーム間
予測符号化・復号化方法に比べて画質の劣化を抑えつつ
画素当たりの情報量を削減するブロックマッチング型の
動き補償フレーム間予測符号化・復号化方法およびその
装置を提供することにある。

〈発明の構成〉 (1)本発明の予測符号化・複号化方法は、送信側に於い
ては、標本化された入力画像信号の標本点数が多くなる
ように空間補間し、前記入力画像信号の現フレームのブ
ロックと類似度が最も高い空間補間された前記入力画像
信号の前フレームのブロックを検出し、前記現フレーム
のブロックと検出された前記前フレームのブロックとの
位置のずれを示す小数動きベクトルを求め、前記入力画
像信号と予測信号より予測誤差信号と局部復号信号を求
め、前記局部復号信号を空間補間し、空間補間された前
記局部復号信号を前記小数動きベクトルに従って可変遅
延して前記予測信号を作成し、前記予測誤差信号と前記
小数動きベクトルとを圧縮符号化して伝送し、受信側に
於いては、圧縮符号化された前記予測誤差信号と前記小
数動きベクトルとを伸張復号化し、伸張復号化された前
記予測誤差信号と受信側予測信号より再生画像信号を再
生し、前記再生画像信号を空間補間し、空間補間された
前記再生画像信号を伸張復号化された前記小数動きベク
トルに従って可変遅延して前記受信側予測信号としてい
る。

(2)また本発明の予測符号化装置は、標本化された入力
画像信号の標本点数が多くなるように空間補間する手段
と、前記入力画像信号の現フレームのブロックと類似度
が最も高い空間補間された前記入力画像信号の前フレー
ムのブロックを検出し、前記現フレームのブロックと検
出された前記前フレームのブロックの位置のずれを示す
小数動きベクトルを求める手段と、前記入力画像信号と
予測信号より予測誤差信号と局部復号信号を求める手段
と、前記局部復号信号を空間補間する手段と、空間補間
された前記局部複号信号を前記小数動きベクトルに従っ
て可変遅延して前記予測信号を作成する手段と、前記予
測誤差信号と前記小数動きベクトルとを圧縮符号化する
手段とを具備している。

(3)さらにまた本発明の予測復合化装置は、画像信号に
対してブロック毎に小数動きベクトルを検出し、前記小
数動きベクトルに従って動き補償フレーム間予測符号化
することにより得られる予測誤差信号と前記小数動きベ
クトルとを圧縮符号化した信号を入力し、圧縮符号化さ
れた前記予測誤差信号と前記小数動きベクトルとを伸張
復号化する手段と、伸張複号化された前記予測誤差信号
と受信側予測信号より再生画像信号を再生する手段と、
前記再生画像信号を空間補間する手段と、空間補間され
た前記再生画像信号を伸張復号化された前記小数動きベ
クトルに従って可変遅延する手段と、可変遅延された前
記再生画像信号を空間間引きして前記受像側予測信号と
する手段とを具備している。

〈発明の原理〉 空間解像度の低下した画像信号に対して、従来の動き補
償フレーム間予測符号化・復号化を行うと、動きベクト
ルが粗く検出された予測誤差信号の値が大きくなり、画
素当たりの情報量が増加する。そこで本発明に於いて
は、次の２点について従来のブロックマッチング型の動
き補償フレーム間予測符号化・復号化を変更する。

（ｉ）動きベクトルを検出する際、空間解像度の低下し
た画像信号を空間補間することによって空間補間する前
には検出できなかった細かい動きを検出する。

（ii）局部複号信号を空間補間したのち小数動きベクト
ルに従って小数画素遅延する。そして再び空間間引きを
行い空間補間する前の解像度に戻しこれを予測信号とす
る。

上述の（ｉ）のようにして検出された動きベクトルによ
って示される前フレームの位置には、空間補間する前に
は標本点が存在しないため、この動きベクトルを小数動
きベクトルと本発明に於いては称する。

また上述の（ii）のようにすると細かい動きを補償した
予測信号を作成することが可能であるため、空間解像度
の低下した画像信号に対して従来のブロックマッチング
型の動き補償フレーム間予測符号化・復号化を行う場合
に比べて、予測を適確に行なうことが可能である。

〈実施例〉 次に、本発明について図面を参照して説明する。

第１図ないし第４図は本発明の予測符号化装置のそれぞ
れ第１ないし第４の実施例のブロック図、第５図は本発
明の予測復合化装置の一実施例のブロック図、第６図は
動き補償フレーム間の予測符号化・復号化方法の画像信
号の動きを示す説明図である。

始めに第１図により、本発明の予測符号化装置の第１の
実施例について説明する。入力端子１００に加えられた
画像信号は減算回路１３とブロックマッチング型小数動
きベクトル検出回路１０と１フレームを記憶できるフレ
ームメモリ１１に供給される。フレームメモリ１１に供
給された画像信号は空間補間回路１２に送られここで空
間補間され、およそ１フレーム時間遅延したのちに小数
動きベクトル検出に用いられる。ブロックマッチング型
小数動きベクトル検出回路１０に於いては、入力端子１
００から供給される画像信号と空間補間回路１２から供
給される空間補間された前フレームの画像信号とを用い
て画像の動きを検出する。ブロックマッチング型小数動
きベクトル検出回路１０に於いて検出された小数動きベ
クトルは可変遅延回路１９と圧縮符号化回路２１に供給
される。減算回路１３に於いては、入力端子１００から
供給される画像信号と空間間引き回路２０から供給され
る空間間引きされた予測信号との差が求められる。この
差すなわち予測誤差信号は量子化回路１４に供給され量
子化される。量子化には、線形量子化および非線形量子
化等があり、いずれかが選択される。線形量子化に於い
ては予測誤差信号の下位ビットを削減しビット数を低減
することによって伝送すべき情報量を削減する。また非
線形量子化に於いては、非線形量子化特性に従って量子
化操作が行なわれ予測誤差信号のビット数が低減され
る。この量子化された予測誤差信号は逆量子化回路１５
と圧縮符号化回路２１に供給される。逆量子化回路１５
に供給された予測誤差信号はここで逆量子化され加算回
路１６に供給される。逆量子化に於いても線形逆量子化
および非線形逆量子化等がありいずれかが選択される。
線形逆量子化に於いては、予測誤差信号の下位に量子化
回路１４で削減したビット数だけ０を加え量子化する前
のビット数に戻すという操作が行われる。また非線形逆
量子化に於いても、非線形逆量子化特性に従って量子化
する前のビット数に戻すという操作が行われる。加算回
路１６に於いては、逆量子化回路１５から供給される逆
量子化された予測誤差信号と空間間引き回路２０から供
給される予測信号との和が求められる。この和すなわち
局部復号信号はフレームメモリ１７に供給されたのち空
間補間回路１８に出力される。空間補間回路１８に於い
ては、局部復号化信号が空間補間され可変遅延回路１９
に供給される。可変遅延回路１９に於いては、ブロック
マッチング型小数動きベクトル検出回路１０から供給さ
れる小数動きベクトルを用いて動き補償された予測信号
を発生し空間間引き回路２０に供給する。空間間引き回
路２０に於いては、予測信号が空間間引きされて、減算
回路１３と加算回路１６に供給される。圧縮符号化回路
２１に於いては、量子化回路１４から供給される量子化
された予測誤差信号とブロックマッチング型小数動きベ
クトル検出回路１０から供給される小数動きベクトルと
が圧縮符号化され伝送路1000に出力される。

次に第２図に示す第２の実施例は、第１図における量子
化回路１４および逆量子化回路１５のない予測符号化装
置である。この第２の実施例では、入力端子１００から
供給される画像信号と空間間引き回路２０から供給され
る空間間引きされた予測信号との差、すなわち予測誤差
信号は、そのまま圧縮符号化回路２１および加算回路１
６に加えられる。この場合には、量子化誤差のない高品
質の符号化画像が得られる。

また第３図に示す第３の実施例は、第１図における量子
化回路１４および逆量子化回路１５のない予測符号化装
置と等価な機能を持ち、第２の実施例とは異なる構成の
予測符号化装置である。この第３の実施例では、入力端
子３００から供給される画像信号は減算回路３３へ加え
られるとともに、フレームメモリ３４にも加えられる。
フレームメモリ３４に加えられた画像信号は、空間補間
回路３５、可変遅延回路３６，空間間引き回路３７を経
て、動きベクトルだけ遅延され、減算回路３３に加えら
れる。減算回路３３では、この動きベクトルだけ遅延さ
れた画像信号と、全く遅延を受けない画像信号との差が
とられ、この差信号が圧縮符号化回路３８に与えられ
る。

さらに、第１図に示す第１の実施例で量子化の代りにＤ
ＣＴ（Discrete Cosine Transform、ディスクリートコ
サイン変換）などの直交変換を行うことも可能であり、
これらは目的に応じて適宜選択される。

他に、第４の実施例として動きベクトルを検出する際
に、入力画像信号と空間補間された局部復号信号を使う
予測符号化装置も考えられる。第４図に示す第４の実施
例では、ブロックマッチング型小数動きベクトル検出回
路４０は、入力端子４００から供給された画像信号機と
空間補間回路４６から得られる空間補間された局部復号
信号を比較することにより動きベクトルを検出し、可変
遅延回路４７に加える。この場合には、フレームメモリ
が一つで済むため装置構成が簡単となる。

次に、本発明の予測復号化装置の一実施例について、第
５図により説明する。伝送路5000より供給される圧縮符
号化された信号は伸張復号化回路５０に供給される。伸
張復号化回路５０に於いては、圧縮復号化された予測誤
差信号と小数動きベクトルが伸張復号化され、それぞれ
逆量子化回路５１と可変遅延回路５５供給される。逆量
子化回路５１に於いては、量子化された予測誤差信号か
逆量子化され加算回路５２に供給される。加算回路５２
に於いては、逆量子化回路５１から供給される逆量子化
された予測誤差信号と空間間引き回路５６から供給され
る予測信号とから画像信号が予測復号化される。予測復
号化された画像信号は出力端子５００とフレームメモリ
５３に供給される。フレームメモリ５３に供給された画
像信号は空間補間回路５４に送られ、ここで空間補間さ
れ予測信号を発生するために可変遅延回路５５に供給さ
れる。可変遅延回路５５に於いては、伸張復号化回路５
０から供給される小数動きベクトルに従って予測信号を
発生し空間間引き回路５６に供給する。空間間引き回路
５６に於いては、予測信号が空間間引きされ加算回路５
２に供給される。

〈発明の効果〉 以上説明したように本発明は、 （ｉ）動きベクトルを検出する際、空間解像度の低下し
た画像信号を空間補間することによって空間補間する前
には検出できなかった細かい動きを検出する （ii）局部復号信号を空間補間したのち小数動きベクト
ルに従って小数画素遅延する。そして再び空間間引きを
行い空間補間する前の解像度に戻しこれを予測信号とす
る ことにより、空間解像度の低下した画像信号に対し、従
来のブロックマッチング型の動き補償フレーム間予測符
号化・復号化方法を適用する場合に比べて、動きベクト
ルが細かく検出され予測をより的確に行うことができ、
そのため予測誤差信号の値が小さくなり、画素当たりの
情報量が低減できる効果がある。

【図面の簡単な説明】

第１図ないし第４図は本発明の予測符号化装置のそれぞ
れ第１ないし第４の実施例のブロック図、第５図は本発
明の予測復合化装置の一実施例のブロック図、第６図は
動き補償フレーム間の予測符号化・復号化方法の画像信
号の動きを示す説明図である。 １０，３０，４０……ブロックマッチング型小数動きベ
クトル検出回路、１１，１７，３１，３４，４５，５３
……フレームメモリ、１２，１８，３２，３５，４６，
５４……空間補間回路、１３，３３，４１……減算回
路、１４，４２……量子化回路、１５，４３，５１……
逆量子化回路、１６，４４，５２……加算回路、１９，
３６，４７，５５……可変遅延回路、２０，３７，４
８，５６……空間間引き回路、２１，３８，４９……圧
縮符号化回路、５０……伸張復号化回路、１００，３０
０，４００……入力端子、５００……出力端子、1000，
3000，4000，5000……伝送路。

Claims (3)

【特許請求の範囲】
1. 【請求項１】送信側に於いては、標本化された入力画像
   信号の標本点数が多くなるように空間補間し、前記入力
   画像信号の現フレームのブロックと類似度が最も高い空
   間補間された前記入力画像信号の前フレームのブロック
   を検出し、前記現フレームのブロックと検出された前記
   前フレームのブロックとの位置のずれを示す小数動きベ
   クトルを求め、前記入力画像信号と予測信号より予測誤
   差信号と局部復号信号を求め、前記局部復号信号を空間
   補間し、空間補間された前記局部復号信号を前記小数動
   きベクトルに従って可変遅延して前記予測信号を作成
   し、前記予測誤差信号と前記小数動きベクトルとを圧縮
   符号化して伝送し、受信側に於いては、圧縮符号化され
   た前記予測誤差信号と前記小数動きベクトルとを伸張複
   号化し、伸張復号化された前記予測誤差信号と受信側予
   測信号より再生画像信号を再生し、前記再生画像信号を
   空間補間し、空間補間された前記再生画像信号を伸張復
   号化された前記小数動きベクトルに従って可変遅延して
   前記受信側予測信号とすることを特徴とする画像信号の
   動き補償フレーム間予測符号化・復号化方法。
2. 【請求項２】標本化された入力画像信号の標本点数が多
   くなるように空間補間する手段と、前記入力画像信号の
   現フレームのブロックと類似度が最も高い空間補間され
   た前記入力画像信号の前フレームのブロックを検出し、
   前記現フレームのブロックと検出された前記前フレーム
   のブロックの位置のずれを示す小数動きベクトルを求め
   る手段と、前記入力画像信号と予測信号より予測誤差信
   号と局部復号信号を求める手段と、前記局部復号信号を
   空間補間する手段と、空間補間された前記局部復号信号
   を前記小数動きベクトルに従って可変遅延して前記予測
   信号を作成する手段と、前記予測誤差信号と前記小数動
   きベクトルとを圧縮符号化する手段とを具備することを
   特徴とする画像信号の動き補償フレーム間予測符号化装
   置。
3. 【請求項３】画像信号に対してブロック毎に小数動きベ
   クトルを検出し、前記小数動きベクトルに従って動き補
   償フレーム間予測符号化することにより得られる予測誤
   差信号と前記小数動きベクトルとを圧縮符号化した信号
   を入力し、圧縮符号化された前記予測誤差信号と前記小
   数動きベクトルとを伸張復号化する手段と、伸張復号化
   された前記予測誤差信号と受信側予測信号より再生画像
   信号を再生する手段と、前記再生画像信号を空間補間す
   る手段と、空間補間された前記再生画像信号を伸張復号
   化された前記小数動きベクトルに従って可変遅延する手
   段と、可変遅延された前記再生画像信号を空間間引きし
   て前記受信側予測信号とする手段とを具備することを特
   徴とする画像信号の動き補償フレーム間予測複合化装
   置。