JPH0329477A - 画像信号のフレーム間内挿符号化方法とその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は画像信号の蓄積、伝送に鑑み、画像信号を高能
率に符号化するフレーム間内挿符号化方法及びその装置
に関するものである． 従来の技術 画像データは情報量が多いため、画像伝送蓄積において
コストアップ要因になるため、画像信号を高能率に符号
化し、低速で伝送蓄積するための画像符号化復号化装置
の開発が進められている．画像データを低減するための
手段として、駒落しと呼ばれる方法がある．この方法は
例えば第４図の様に１フレームおきにフレームを廃棄し
てデータ盪を削減するものであり、再生側では間引かれ
たフレームを補間することにより動画像を再生できる．
この補間方法として従来からある方法は例えば補間する
フレームの１つ前のフレームを繰り返すことにより捕間
する方法がある。また別の方法として前後のフレームか
ら線形補間して補間フレームを得る方法もある．これら
の方法は動画倣が時間軸方向でみて大きな変化がないこ
とを利用している．ところが動画像の物体の動きが速く
なった場合、前者の方法では動きがぎくしゃくするし、
後者の方法では動物体がぼやけてしまう。

これらの欠点を解決する方法として例えば第５図に示す
ように内挿しようとするフレームをはさむ符号化フレー
ム間の動きベクトルを画素もしくは画素の集合であるブ
ロック単位で求めておき、この動きベクトルを基準にし
て正しい動きベクトルになるように補正をし、内挿フレ
ームを補間する方法が提案されている．（例えば特開昭
６０　−　２８３９２号公報、特開昭６２−２１３４９
３号公報等）発明が解決しようとする課題 しかしながら動きベクトルの完全な検出は難しく、検出
方法は種々提案されているが、特にブロックマッチング
を行う限りブロック内でのベクトル精度の劣化は免れ得
ない． 本発明は上記問題点に鑑み、動きベクトル検出精度の劣
化をみこんだ上で再生内挿画像に重大な劣化が生じない
ようにするための方法及びその装置を提供するものであ
る． ８Ｂを解決するための手段 上記ｉｌｌ題を解決するために本発明は画像信号フレー
ムを間引いてフレーム数を低減し、残りのフレームを符
号化し、符号化フレーム間の動きベクトルを求め間引か
れたフレームを前記動きベクトルを用いて内挿する方法
であって、送信側では伝送する符号化フレーム間の動き
ベクトルを求め、前記動きベクトルを用いて間引かれた
フレームを内挿し、前記内挿したフレームと間引かれた
元のフレームとの間の歪を計算し、前記歪の値が所定の
しきい値以下の場合は前記動きベクトルを伝送し、前記
歪が所定のしきい値以上の場合はフラグを伝送し、受信
側では動きベクトルが伝送された場合は、前記動きベク
トルを用いて間引かれたフレームを内挿し、フラグが伝
送された場合は、符号化されたフレームを繰り返すこと
により間引かれたフレームを補間するものである。

作用 本発明の方法によれば、送信側で求めた動きベクトルを
用いて送信側で内挿して元のフレームと比較することに
より動きベクトルの評価ができるため、動きベクトルの
精度が悪い場合は、前フレームを繰り返すことにより、
画像に重大な劣化が生じないようにするもである． 実施例 以下本発明の一実施例のフレーム間内挿符号化復号化装
置について図面を参照しながら説明する。

本発明の目的は動画像を効率よく符号化する装置を提供
することである． 第１図は本発明の一実施例を示す符号化装置のブロック
図である。

第１図において、ｌ１は入力端子、１２はフレームメモ
リ、１３は間引き回路、１４は符号化回路、ｌ５は多重
化回路、ｌ６は動きベクトル検出回路、ｌ７は内挿回路
、ｌ８は比較回路、１９は切換回路、２０は出力端子で
ある。

以上の様に構威されたフレーム間内挿符号化装置につい
てその動作を説明する． 入力端子１１からは第３図に示すような画像信号の連続
したフレームがＡ，ａ，Ｂ，ｂ，・・・・・・の順序で
入力されるものとする．いまフレームメモリ１２にフレ
ームＡ１フレームａ、フレームＢが蓄えられているもの
とし、間引き回路ｌ３はフレームａを間引き、フレーム
Ａ１フレームＢを符号化回路１４に送る．符号化回路ｌ
４はフレームＡ、フレームＢを符合化して多重化回路ｌ
５に送る．動きベクトル検出回路ｌ６はフレームＡとフ
レームＢの間の動きベクトルを検出する．動きベクトル
を検出する方法には様々な方法があり、１）マッチング
法、２〉勾配法、等あるがここではマ．２チング法を用
いるものとする。マノチング法とは例えば第５図に示す
ように動きベクトルを求めようとするフレーム間の対応
画素もしくはプロノクで動きベクトルを探索範囲内で動
かした場合どのベクトルが最も歪が小さくなるかを調べ
、そのベクトルを動きベクトルとする方法である。

ここで求められた動きベクトルは内挿回路ｌ７に送られ
る．内挿回路ｌ７ではフレームＡ、フレームＢから、求
められた動きベクトルを用いてフレームを内挿する。本
実施例では１フレームおきに間引いているので、補間す
るための動きベクトルはフレームＡ１フレームＢ間の動
きベクトルを２分の１した値により計算できる。この様
にして求められたフレームをフレームａ・　とする。比
較回路ｌ８では内挿されたフレームａ゜　と元の対応す
るフレームａの間の歪を計算し所定の値と比較する．こ
こでは歪の計算の方法として対応する画素間の差を計算
し、その差が所定の値ｍを越えた画素の総数をカウント
し、そのカウント値が所定の値ｎを越えるかどうかを判
定する。この判定結果は切換回路ｌ９に送られ、所定の
値ｎ未満の場合は、求めた動きベクトルが正しいものと
して動きベクトルは多重化回路ｌ５へ送られる．逆に所
定の値ｎ以上の場合は求めた動きベクトルが正しくない
ものとして動きベクトルを送らず、それを示すフラグを
多重化回路ｌ５に送る。多重化回路１５は符号化データ
、動きベクトル、フラグを多重化して出力端子２０より
伝送する， 次にフレームＢ１フレームｂ１フレームＣがフレームメ
モリｌ２に蓄えられているものとして以下上記と同様に
して符号化される． 以上の様に本実施例によれば元の画像信号から求めた動
きベクトルを用いて内挿フレームを再生してみて、元の
フレームと比較することにより動きベクトルの評価がで
きるため、内挿フレームの歪が大きくなる動きベクトル
は伝送しないように制御することができる． 尚、本実施例では内挿フレームの歪の計算方法として対
応する画素間の差を計算し、その差が所定の値ｍを越え
た画素の総数をカウントし、そのカウント値が所定の値
ｎを越えるかどうかを歪のしきい値としたがこれはこの
方法に限るものではなく、例えば対応する画素の差の２
乗の総和を計算しその値が所定の（Ｉｉ！ｋを越えてい
るかどうかを歪のしきい値としてもよい。

第２図は本発明の一実施例を示すフレーム間内挿復号化
装置のブロック図である。第２図において２１は入力端
子、２２は分離回路、２３は復号化回路、２４はフレー
ムメモリ、２５は切換回路、２６は内挿回路、２７は出
力端子である。

以上の様に構威されたフレーム間内挿復号化装置につい
て説明する。

人力端子２ｌには第Ｌ図の出力端子２０から出力された
符号化データ、動きベクトル、フラグが供給されるもの
とする。これらのデータは分離回路２２に送られ、分離
されて符号化データは復号化回路２３に、動きベクトル
とフラグは内挿回路２６にそれぞれ供給される．復号化
回路２３では符号化されたフレーム、すなわち第３図の
フレ−ムＡ１フレームＢ、フレームＣ、・・・・・・が
復号化されて、フレームメモリ２４に送られる。いまフ
レームメモリ２４には復号化されたフレーム八とフレー
ムＣが保持されているものとし、内挿回路２６にはフレ
ームＡとフレームＢの間の動きベクトルが保持されてい
るものとする。内挿回路２６は動きベクトルを用いてフ
レームＡとフレームＢから内挿フレームａ゜を再生する
。切換回路２５は本実施例の場合、１フレーム単位でフ
レームメモリ２４の出力と内挿回路２６の出力を切り換
える．これによりフレームＡ，フレームａ゜　の順で画
像信号が切換回路２５から出力される。

次にフレームメモリ２４にはフレームＢとフレームＣが
保持されているものとし、内挿回路２６にはフラグが保
持されているものとする．フラグが送られた場合は内挿
は行わず前フレームすなわちこの場合はフレームＢがそ
のまま内挿回路２６に送られる．したがって内挿フレー
ムｂ′　−フレームＢとなる．切換回路２５はフレーム
Ｂ、フレームＢの順で画像信号が出力される． 結果として出力端子２７からは上記の例では、フレーム
Ａ，フレームａ゜　　フレームＢ１フレーフレームＢ、
フレームＣ、・・・・・・の順で画像信号が出力される
。以上は入力データの一例であって動きベクトルが送ら
れてくるかフラグが送られてくるかは符号化装置の出力
に依存する。

以上の様に本実施例によれば動きベクトルが送られた場
合は内挿し、フラグが送られた場合は前フレーム保持す
るため、再生画像信号に重大な劣化が現われることがな
い。

尚、本実施例および前記実施例では第３図のように１フ
レームおきに符号化フレームを設定しているが、本発明
はこれに限定するものではなく、例えば２フレームおき
、３フレームおきとしてもよい． 発明の効果 以上のように本発明は送信側で動きベクトルの精度が判
定され精度がよい場合は動きベクトルが送信され、精度
が悪い場合はフラグが送信されるため、画像のフレーム
が内挿されたとき、動きベクトルの検出ξスによる再生
画像の重大な支障が回避できるという効果がある． また動きベクトルの精度が悪い場合はフラグのみを送る
ため符号化データ量が増加することなく、一定値以下に
押さえられるという効果もある。

【図面の簡単な説明】

第１図は本発明の一実施例のフレーム間内挿符号化装置
のブロック図、第２図は本発明の一実施例のフレーム間
内挿復号化装置のブロック図、第３図は画像信号のフレ
ームを示す説明図、第４図は駒落しの説明図、第５図は
動きベクトルの説明図である． １２．２４・・・・・・フレームメモリ、ｌ３・・・・
・・間引き回路、１４・・・・・・符号化回路、ｌ６・
・・・・・動きベクトル検出回路、１７．２６・・・・
・・内挿回路、ｌ８・・・・・・比較回路、１９．２５
・・・・・・切換回路、２３・・・・・・復号化回路。

Claims (2)

【特許請求の範囲】
1. （１）画像信号のフレームを間引いてフレーム数を低減
   し、残りのフレームを符号化し、符号化フレーム間の動
   きベクトルを求め間引かれたフレームを前記動きベクト
   ルを用いて内挿する方法であって、送信側では伝送する
   符号化フレーム間の動きベクトルを求め、前記動きベク
   トルを用いて間引かれたフレームを内挿し、前記内挿し
   たフレームと間引かれた元のフレームとの間の歪を計算
   し、前記歪の値が所定のしきい値以下の場合は前記動き
   ベクトルを伝送し、前記歪が所定のしきい値以上の場合
   はフラグを伝送し、受信側では動きベクトルが伝送され
   た場合は、前記動きベクトルを用いて間引かれたフレー
   ムを内挿し、フラグが伝送された場合は、符号化された
   フレームを繰り返すことにより間引かれたフレームを補
   間することを特徴とする画像信号のフレーム間内挿符号
   化方法。
2. （２）画像信号の連続する複数フレームを記憶するフレ
   ームメモリと、前記フレームメモリの出力をフレーム単
   位で間引くための間引き回路と、前記間引き回路の出力
   すなわち間引かれないフレームを符合化する符号化回路
   と、前記符号化フレーム間の動きベクトルを検出する動
   きベクトル検出回路と、前記動きベクトルを用いて前記
   間引かれたフレームを内挿する内挿回路と、前記内挿回
   路の出力である内挿フレームと元の画像信号の対応する
   間引かれたフレームの間の歪を計算し所定のしきい値と
   比較し比較結果を出力する比較回路と、前記比較回路の
   出力により前記動きベクトルを出力するか動きベクトル
   を出力しないことを示すフラグを出力するかを切り換え
   る切換回路を具備し前記符号化回路の出力と前記切換回
   路の出力を伝送することを特徴とする画像信号のフレー
   ム間内挿符号化装置。（３）請求項（２）記載のフレー
   ム間内挿符号化装置の伝送出力を入力とし、符号化フレ
   ームのデータを復号する復号化回路と、前記復号化フレ
   ームを記憶するフレームメモリと、動きベクトルが伝送
   された場合は前記フレームメモリの出力を用いて前記動
   きベクトルにより内挿しフラグが伝送された場合は前記
   フレームメモリの出力を保持させる内挿回路と、前記フ
   レームメモリの出力と前記内挿回路の出力を切り換えて
   画像信号を出力する切換回路を具備してなることを特徴
   とする画像信号のフレーム間内挿復号化装置。