JPH0683441B2 - 画像信号のフレーム間内挿符号化方法とその装置 - Google Patents

Description

【発明の詳細な説明】 産業上の利用分野 本発明は画像信号の蓄積、伝送に鑑み、画像信号を高能
率に符号化するフレーム間内挿符号化方法及びその装置
に関するものである。

従来の技術 画像データは情報量が多いため、画像伝送蓄積において
コストアップ要因になるため、画像信号を高能率に符号
化し、低速で伝送蓄積するための画像符号化復号化装置
の開発が進められている。

画像データを低減するための手段として、駒落しと呼ば
れる方法がある。この方法は例えば第４図の様に１フレ
ームおきにフレームを廃棄してデータ量を削減するもの
であり、再生側では間引かれたフレームを補間すること
により動画像を再生できる。この補間方法として従来か
らある方法は例えば補間するフレームの１つ前のフレー
ムを繰り返すことにより補間する方法がある。また別の
方法として前後のフレームから線形補間して補間フレー
ムを得る方法もある。これらの方法は動画像が時間軸方
向でみて大きな変化がないことを利用している。ところ
が動画像の物体の動きが速くなった場合、前者の方法で
は動きがぎくしゃくするし、後者の方法では動物体がぼ
やけてしまう。これらの欠点を解決する方法として例え
ば第５図に示すように内挿しようとするフレームをはさ
む符号化フレーム間の動きベクトルを画素もしくは画素
の集合であるブロック単位で求めておき、この動きベク
トルを基準にして正しい動きベクトルになるように補正
をし、内挿フレームを補間する方法が提案されている。
（例えば特開昭60-28392号公報、特開昭62-213493号公
報等） 発明が解決しようとする課題 しかしながら動きベクトルの完全な検出は難しく、検出
方法は種々提案されているが、特にブロックマッチング
を行う限りブロック内でのベクトル精度の劣化は免れ得
ない。

本発明は上記問題点に鑑み、動きベクトル検出精度の劣
化をみこんだ上で再生内挿画像に重大な劣化が生じない
ようにするための方法及びその装置を提供するものであ
る。

課題を解決するための手段 上記課題を解決するために本発明は画像信号フレームを
間引いてフレーム数を低減し、残りのフレームを符号化
し、符号化フレーム間の動きベクトルを求め間引かれた
フレームを前記動きベクトルを用いて内挿する方法であ
って、送信側では伝送する符号化フレーム間の動きベク
トルを求め、前記動きベクトルを用いて間引かれたフレ
ームを内挿し、前記内挿したフレームと間引かれた元の
フレームとの間の歪を計算し、前記歪の値が所定値以下
の場合は前記動きベクトルを伝送し、前記歪の値が所定
値を越えた場合は動きベクトルを出力しないことを示す
フラグを伝送し、受信側では動きベクトルが伝送された
場合は、前記動きベクトルを用いて間引かれたフレーム
を内挿し、フラグが伝送された場合は、符号化されたフ
レームを繰り返すことにより間引かれたフレームを補間
するものである。

作用 本発明の方法によれば、送信側で求めた動きベクトルを
用いて送信側で内挿して元のフレームと比較することに
より動きベクトルの評価ができるため、動きベクトルの
精度が悪い場合は、前フレームを繰り返すことにより、
画像に重大な劣化が生じないようにするものである。

実施例 以下本発明の一実施例のフレーム間内挿符号化復号化装
置について図面を参照しながら説明する。

本発明の目的は動画像を効率よく符号化する装置を提供
することである。

第１図は本発明の一実施例を示す符号化装置のブロック
図である。

第１図において、11は入力端子、12はフレームメモリ、
13は間引き回路、14は符号化回路、15は多重化回路、16
は動きベクトル検出回路、17は内挿回路、18は比較回
路、19は切換回路、20は出力端子である。

以上の様に構成されたフレーム間内挿符号化装置につい
てその動作を説明する。

入力端子11からは第３図に示すような画像信号の連続し
たフレームがA,a,B,b,……の順序で入力されるものとす
る。いまフレームメモリ12にフレームＡ、フレームａ、
フレームＢが蓄えられているものとし、間引き回路13は
フレームａを間引き、フレームＡ、フレームＢを符号化
回路14に送る。符号化回路14はフレームＡ、フレームＢ
を符号化して多重化回路15に送る。

動きベクトル検出回路16はフレームＡとフレームＢの間
の動きベクトルを検出する。動きベクトルを検出する方
法には様々な方法があり、１）マッチング法、２）勾配
法、等あるがここではマッチング法を用いるものとす
る。マッチング法とは例えば第５図に示すように動きベ
クトルを求めようとするフレーム間の対応画素もしくは
ブロックで動きベクトルを探索範囲内で動かした場合ど
のベクトルが最も歪が小さくなるかを調べ、そのベクト
ルを動きベクトルとする方法である。

ここで求められた動きベクトルは内挿回路17に送られ
る。内挿回路17ではフレームＡ、フレームＢから、求め
られた動きベクトルを用いてフレームを内挿する。本実
施例では１フレームおきに間引いているので、補間する
ための動きベクトルはフレームＡ、フレームＢ間の動き
ベクトルを２分の１した値により計算できる。この様に
して求められたフレームをフレームａ′とする。比較回
路18では内挿されたフレームａ′と元の対応するフーム
ａの間の歪を計算し所定の値と比較する。ここでは歪の
計算の方法として対応する画素間の差を計算し、その差
が所定の値ｍを越えた画素の総数をカウントし、そのカ
ウント値が所定の値ｎを越えるかどうかを判定する。こ
の判定結果は切換回路19に送られ、所定の値ｎ未満の場
合は、求めた動きベクトルが正しいものとして動きベク
トルは多重化回路15へ送られる。逆に所定の値ｎ以上の
場合は求めた動きベクトルが正しくないものとして動き
ベクトルを送らず、それを示すフラグを多重化回路15に
送る。多重化回路15は符号化データ、動きベクトル、フ
ラグを多重化して出力端子20より伝送する。

次にフレームＢ、フレームｂ、フレームＣがフレームメ
モリ12に蓄えられているものとして以下上記と同様にし
て符号化される。

以上の様に本実施例によれば元の画像信号から求めた動
きベクトルを用いて内挿フレームを再生してみて、元の
フレームと比較することにより動きベクトルの評価がで
きるため、内挿フレームの歪が大きくなる動きベクトル
は伝送しないように制御することができる。

尚、本実施例では内挿フレームの歪の計算方法として対
応する画素間の差を計算し、その差が所定の値ｍを越え
た画素の総数をカウントし、そのカウント値が所定の値
ｎを越えるかどうかを歪のしきい値としたがこれはこの
方法に限るものではなく、例えば対応する画素の差の２
乗の総和を計算しその値が所定の値ｋを越えているかど
うかを歪のしきい値としてもよい。

第２図は本発明の一実施例を示すフレーム間内挿復号化
装置のブロック図である。第２図において21は入力端
子、22は分離回路、23は復号化回路、24はフレームメモ
リ、25は切換回路、26は内挿回路、27は出力端子であ
る。

以上の様に構成されたフレーム間内挿復号化装置につい
て説明する。

入力端子21には第１図の出力端子20から出力された符号
化データ、動きベクトル、フラグが供給されるものとす
る。これらのデータは分離回路22に送られ、分離されて
符号化データは復号化回路23に、動きベクトルとフラグ
は内挿回路26にそれぞれ供給される。復号化回路23では
符号化されたフレーム、すなわち第３図のフレームＡ、
フレームＢ、フレームＣ、……が復号化されて、フレー
ムメモリ24に送られる。いまフレームメモリ24には復号
化されたフレームＡとフレームＢが保持されているもの
とし、内挿回路26にはフレームＡとフレームＢの間の動
きベクトルが保持されているものとする。内挿回路26は
動きベクトルを用いてフレームＡとフレームＢから内挿
フレームａ′を再生する。切換回路25は本実施例の場
合、１フレーム単位でフレームメモリ24の出力と内挿回
路26の出力を切り換える。これによりフレームＡ、フレ
ームａ′の順で画像信号が切換回路25から出力される。

次にフレームメモリ24にはフレームＢとフレームＣが保
持されているものとし、内挿回路26にはフラグが保持さ
れているものとする。フラグが送られた場合は内挿は行
わず前フレームすなわちこの場合はフレームＢがそのま
ま内挿回路26に送られる。したがって内挿フレームｂ′
＝フレームＢとなる。切換回路25はフレームＢ、フレー
ムＢの順で画像信号が出力される。

結果として出力端子27からは上記の例では、フレーム
Ａ、フレームａ′，フレームＢ、フレームB,フレーム
Ｃ、……の順で画像信号が出力される。以上は入力デー
タの一例であって動きベクトルが送られてくるかフラグ
が送られてくるかは符号化装置の出力に依存する。

以上の様に本実施例によれば動きベクトルが送られた場
合は内挿し、フラグが送られた場合は前フレーム保持す
るため、再生画像信号に重大な劣化が現われることがな
い。

尚、本実施例および前記実施例では第３図のように１フ
レームおきに符号化フレームを設定しているが、本発明
はこれに限定するものではなく、例えば２フレームお
き、３フレームおきとしてもよい。

発明の効果 以上のように本発明は送信側で動きベクトルの精度が判
定され精度がよい場合は動きベクトルが送信され、精度
が悪い場合はフラグが送信されるため、画像のフレーム
が内挿されたとき、動きベクトルの検出ミスによる再生
画像の重大な支障が回避できるという効果がある。

また動きベクトルの精度が悪い場合はフラグのみを送る
ため符号化データ量が増加することなく、一定値以下に
押さえられるという効果もある。

【図面の簡単な説明】

第１図は本発明の一実施例のフレーム間内挿符号化装置
のブロック図、第２図は本発明の一実施例のフレーム間
内挿復号化装置のブロック図、第３図は画像信号のフレ
ームを示す説明図、第４図は駒落しの説明図、第５図は
動きベクトルの説明図である。 12,24……フレームメモリ、13……間引き回路、14……
符号化回路、16……動きベクトル検出回路、17,26……
内挿回路、18……比較回路、19,25……切換回路、23…
…復号化回路。

Claims (3)

【特許請求の範囲】
1. 【請求項１】画像信号のフレームを間引いてフレーム数
   を低減し、残りのフレームを符号化し、符号化フレーム
   間の動きベクトルを求め間引かれたフレームを前記動き
   ベクトルを用いて内挿する方法であって、送信側では伝
   送する符号化フレーム間の動きベクトルを求め、前記動
   きベクトルを用いて間引かれたフレームを内挿し、前記
   内挿したフレームと間引かれた元のフレームとの間の歪
   を計算し、前記歪の値が所定値以下の場合は前記動きベ
   クトルを伝送し、前記歪の値が所定値を越えた場合は動
   きベクトルを出力しないことを示すフラグを伝送し、受
   信側では動きベクトルが伝送された場合は、前記動きベ
   クトルを用いて間引かれたフレームを内挿し、前記フラ
   グが伝送された場合は、符号化されたフレームを繰り返
   すことにより間引かれたフレームを補間することを特徴
   とする画像信号のフレーム間内挿符号化方法。
2. 【請求項２】画像信号の連続する複数フレームを記憶す
   るフレームメモリと、前記フレームメモリの出力をフレ
   ーム単位で間引くための間引き回路と、前記間引き回路
   の出力すなわち間引かれないフレームを符号化する符号
   化回路と、前記符号化フレーム間の動きベクトルを検出
   する動きベクトル検出回路と、前記動きベクトルを用い
   て前記間引かれたフレームを内挿する内挿回路と、前記
   内挿回路の出力である内挿フレームと元の画像信号の対
   応する間引かれたフレームとの間の歪を計算し所定値と
   比較して比較結果を出力する比較回路と、前記比較回路
   の出力により前記動きベクトルを出力するか、動きベク
   トルを出力しないことを示すフラグを出力するかを切り
   換える切換回路を具備し、前記符号化回路の出力と前記
   切換回路の出力を伝送することを特徴とする画像信号の
   フレーム間内挿符号化装置。
3. 【請求項３】請求項（２）記載のフレーム間内挿符号化
   装置の伝送出力を入力し、符号化フレームのデータを複
   号する復号化回路と、前記復号化フレームを記憶するフ
   レームメモリと、動きベクトルが伝送された場合は前記
   フレームメモリの出力を用いて前記動きベクトルにより
   内挿し、前記フラグが伝送された場合は前記フレームメ
   モリの出力を保持させる内挿回路と、前記フレームメモ
   リの出力と前記内挿回路の出力を切り換えて画像信号を
   出力する切換回路を具備してなることを特徴とする画像
   信号のフレーム間内挿復号化装置。