JPH02185187A - 映像信号の符号化方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は映像信号のフレーム間符号化及びフレーム間、
フレーム内適応符号化において、特殊再生を容易にする
映像信号の符号化方法に関する。

従来の技術 テレビジョン信号のような映像信号では、連続する２フ
レーム間の時間差が小さいため、これらのフレーム間の
画像の変化は少ないと考えられる。

フレーム間符号化は、このようなフレーム間の相関を利
用して高能率化を図るものであり、通常は連続する２フ
レーム間の差分信号を量子化、符号化して伝送し、受信
側ではフレーム間差分値を蓄積することによりテレビジ
ョン信号を再生スル。

この方式に加えて、動きによる差分値の急な増大を防ぐ
ために、動き補償やフレーム間・フレーム内適応符号化
などが考案されている。

発明が解決しようとする課題 しかしながら、従来のフレーム間符号化、あるいはフレ
ーム間、フレーム内適応符号化では、時間軸方向の差分
を取っているため、一般に特殊再生を容易に行なうこと
は困難であった。

例えば任意の時間における静止画を表示するためには、
フレーム間差分を取る元となる原信号部分までさかのぼ
って復号する必要がある。ここで原信号部分とは、ｐｃ
ｍ符号化など比較的劣化や誤り伝搬の影響の少ないフレ
ーム内符号化にてリフレッシュを行なっている部分を指
す。多くの場合、１フレーム分全て原信号のみを符号化
していることは希であり、このため１フレーム内の各部
分についてそれぞれ原信号部分までさかのぼり、それを
元に復号化したものを１フレーム分集める必要がある。

この際各原信号部分の時間的隔たりが大きければ、各部
分の復号信号の間の不連続性も大きくなり、画質に劣化
が生じる可能性がある。

また、復号が可能であったとしても、予め何の情報も無
しに原信号部分まで検索しながらさかのぼって行くこと
は、計算装置規模やメモリ容量の点から無理がある。

静止画以外にも、高速再生、スロー再生、逆再生などが
考えられる。スロー再生のばあいには静止画の場合の課
題とほぼ同様の課題を抱えており、画質が問われる。逆
再生についてはその実現方法自体が困難である。すなわ
ち、ある時点から前にさかのぼって行くには、基本的に
は前フレーム（逆再生方向では次フレーム）との差分信
号・を減算していけばよいが、伝送される順序と逆に読
んで行く必要があるため、それ以前の符号語を蓄積して
おく必要があり、装置規模などの点で問題がある。この
課題については、記録系、特に逆方向のサーチが可能な
もの、ランダムアクセスが可能なものについては容易に
解決できる。

上記の課題に加えて、従来の方法では差分を取る原信号
部分に相当するものが逆方向にはなく、逆再生を不可能
にしている。

本発明はかかる点に鑑み、伝送、記録のいずれの系にお
いても特殊再生を容易に行なうことのできる映像信号の
符号化方法を提供することを目的とする。

課題を解決するための手段 請求項１記載の発明は、映像信号のフレーム間の相関を
利用したフレーム間符号化及びフレーム間、フレーム内
適応符号化において、複数フレームにつき周期的に１フ
レームを選び、前記フレームに対し少なくとも符号誤り
による画質劣化の伝搬の影響がフレーム間符号化より少
ないフレーム内符号化方式により符号化するとともに、
前記フレームとその１フレーム前との差分信号を符号化
することを特徴とする 請求項２記載の発明は、映像信号のフレーム間の相関を
利用したフレーム間符号化及びフレーム間、フレーム内
適応符号化において、１フレーム分の画面をｍライン＊
ｎラインの複数個のブロックに分割して、１フレームに
つき１個または複数個のブロックを数フレームで１巡す
るように周期的に選び、前記ブロックに対し少なくとも
符号誤りによる画質劣化の伝搬の影響がフレーム間符号
化より少ないフレーム内符号化方式により符号化すると
ともに、前記ブロックとその１フレーム前の同一の位置
にあるブロックとの差分信号を符号化することを特徴と
する。

作　　　用 本発明は上記の手段により、周期的に数フレームにつき
１フレーム分、フレーム間差分を含まない復号信号が得
られ、これにより静止、スロー高速再生などの特殊再生
を行なうことが容易になる。さらに、フレーム間差分を
含まない復号信号と、その１フレーム前の信号との差分
を別に用意することにより、その時点から時間的に前に
さかのぼることが可能となり、逆再生を容易に行なうこ
とができる。

実施例 本発明の第１の実施例を、第１図、第２図に基き説明す
る。第１図は本実施例における符号化方法を説明するた
めの図である。同図において１はＡ／Ｄ変換器、２はク
ロック発生回路、３はフレームメモリ（フレーム間予測
器）、４は１画素メモリ（フレーム内予測器）、５は減
算器、６は加算器、７．１２はスイッチ、８は符号化器
、９は符号化制御回路、１０は復号化器、１１はバッフ
ァメモリである。

Ａ／Ｄ変換器１によりディジタル信号となった入力映像
信号と、前フレームの映像信号を記憶しているフレーム
メモリ３から得られる予測信号との差分を減算器５によ
り算出し、符号化器８により符号化する。この結果は一
旦バッフ１メモリ１１に蓄積された後出力されるととも
に、加算器６、復号化器１０により復号化され、フレー
ムメモリ３上の相当する位置に記憶され、次フレームの
予測に用いられる。

また、入力映像信号から同期信号が分離され、これに同
期した各種制御クロックがクロック発生回路２により生
成される。

このクロックにより、符号化制御回路９が、所定の複数
フレームにつき１フレーム、フレーム内符号化に切り換
えてリフレッシュを行なう。具体的には、スイッチ７を
切り換えて、符号化しようとする画素の映像信号と、そ
の直前の１画素の情報をメモリに蓄積している１画素メ
モリ４から得られる予測信号との差分を符号化する。符
号化の違いによるデータ量の増減は、バッファメモリ１
１により吸収する。

本実施例ではさらに、リフレッシュされた信号とその前
フレームの信号との差分ち符号化しておく。このためリ
フレッシュ時において、１画素メモリ４によって符号化
、復号化された信号を、スイッッチ１２により入力映像
信号と切り替え、フレームメモリ３内の前フレームの信
号との差分を減算器５により算出する。これを符号化し
たものは、フレーム内符号化による符号語とともに、復
号化時の読み取り順序に合わせてバッファメモリ１１内
に配列した後出力される。

第２図は本実施例における復号化方法を説明するための
図である。同図において１３はバッファメモリ、１４は
クロック発生回路、１５は復号化制御回路、１６は復号
化器、１７はフレームメモリ、１８は１画素メモリ、１
９．２２．２３はスイッチ、２０は加算器、２１はＤ／
Ａ変換器である。

伝送路を通ってきた符号語は、−旦バッファメモリ１３
に蓄えられた後、復号化器１６に送られる。復号された
信号は、Ｄ／Ａ変換器２１により変換された後出力され
るとともに、フレームメモリ１７あるいは１画素メモリ
１８に記憶される。

通常はスイッチ１９はフレームメモリエフ側に接続され
ており、フレーム間復号を行なっているが、リフレッシ
ュされたフレーム位置の情報により、復号化制御回路１
５がスイッチ１９を１画素メモリ１８側に切り換え、フ
レーム内復号を行なう。

この直後にスイッチ２２．２３を切り換え、送られてく
るリフレッシュされた信号とその前フレームの信号との
差分を逆再生要求に備えてフレームメモリ１７に記憶さ
せる。

前記の差分は、一般に通常再生時には復号に用いられず
、特殊再生時に効果を発揮する。すなわち、リフレッシ
ュ信号にも前フレームとの差分値を符号化してお（ため
、それ以前にさかのぼって逆再生を行なうことが容易に
なる。

静止画再生時は最も近いリフレッシュフレームまでさか
のぼり、それを表示することにより画質劣化の少ない静
止画を得ることができる。

スロー再生時には同一フレームを数回ずつ繰り返すこと
になるが、この際画面の不連続性が目立たない範囲でリ
フレッシュフレームの繰り返し割合を増加させることに
より従来より画質劣化の目立たないスロー画を得ること
ができる。

高速再生時にはリフレッシュフレームまたはその一部を
再生速度によって範囲を変えて読み取ることにより、フ
レーム間復号を用いずに再生が可能となり、メモリ規模
、演算規模の増大を抑えることができる。

第３図は本発明の第２の実施例における符号化の方法を
示した図である。同図において、１はＡ／Ｄ変換器、２
はクロック発生回路、３はフレームメモリ（フレーム間
予測器）、４は１画素メモリ（フレーム内予測器）、５
．２５は減算器、６．２６は加算器、１２．２９はスイ
ッチ、８．２７は符号化器、２４は符号化制御回路、１
０．２８は復号化器、１１はバッフ１メモリである。

通常はスイッチ２９はオフになっており、フレーム内符
号化の結果はバッファメモリ１１に送られない。また、
ここで符号化制御回路２４によりフレーム内符号化その
ものを行なわないようにすることも可能である。これに
より制御の複雑さは増すが、処理速度等の面で利点があ
る。

第１の実施例と同様に所定の複数フレームにつき１フレ
ームの間、フレーム内符号化を行なう。

このためスイッチ２９をオンにする。更にスイッチ１２
を入力信号側からフレーム内予測信号、即ちフレーム内
符号化の復号信号側に切り換えることにより、フレーム
内符号化によるリフレッシュ信号とその全フレームの信
号との差分を符号化できる。本実施例では、第１の実施
例に比べ余分に符号化器、復号化器等を必要とするが、
フレーム内符号化とフレーム間符号化を並列的に行える
ためより実際的である。また、フレーム間差分とフレー
ム内差分に対してそれぞれ異なる符号化が可能となる。

第１、第２の実施例において、符号化制御回路９．２４
及び復号化制御回路１５のアルゴリズムを変更すること
により、１フレーム単位で行なっていたリフレッシュを
ｍ画素＊ｎ画素のブロック単位で行なうように変更でき
る。これをそれぞれ本発明の第３、第４の実施例とする
。符号化制御回路９．２４及び復号化制御回路１５は、
数フレームでリフレッシュが１巡するようにブロックの
アドレスを管理する必要がある。通常はリフレッシュブ
ロックのアドレス情報を合わせて伝送するが、特開昭Ｇ
１−１３１９８８号のように予め符号側、復号側双方に
ブロックアドレス発生手段を設けておくことにより、ブ
ロックアドレスの伝送の必要をなくすこともできる。

第３、第４の実施例は、第１、第２の実施例に比べ、１
度にリフレッシュを行なう画素数を分散させることによ
り、リフレッシュ時の情報の急な増大を抑えることがで
き、その前後のフレームの画質を向上できる。

また、特に第４の実施例は、容易にフレーム間、フレー
ム内適応符号化に応用が可能である。

これを本発明の第５の実施例として第４図に示す。第４
の実施例と比べて誤差累積装置３０．３１１　　比較器
３２、スイッチ３３を必要とする。

１つ１つのブロックに対してそれぞれフレーム間符号化
、フレーム内符号化を行ない、誤差累積装置３０．３１
に累積した１ブロック分の両符号化の誤差を比較器３２
により比較し、誤差の小さい方の符号化の結果を、復号
化の際の方式判定に用いるコード符号とともにバッファ
メモリ１１に送る。これによりフレーム間、フレーム内
適応符号化を行なうことが可能となる。この際の誤差の
計算方法、比較の方法には様々なものがあるが、本実施
例はその方法に限定されない。

本実施例では、周期的リフレッシュ部分のみについてフ
レーム間差分を取るとしたが、情報量の増大が許される
範囲内であるならば、全てのフレーム間符号化部分につ
いてフレーム間差分を符号化してもよい。あるいは、バ
ッファメモリ１１の許容範囲内に収まるように適応的に
差分の符号化を行なってもよい。ここでは、通常のフレ
ーム間差分における符号化とリフレッシュにつけ加える
フレーム間差分符号化の方法を同じにしたが、さらにも
う１つずつ符号化器と復号化器を設定することにより、
上記２種類のフレーム間差分に対する符号化方法やビッ
ト数割当を変えることも可能である。

本発明は上記実施例に示す外、種々の態様に構成するこ
とができる。

例えば上記実施例においては、動き補償などを含まない
単純な方式について説明したが、この発明はフレーム間
符号化方式あるいはフレーム間、フレーム内適応符号化
方式のアルゴリズムに依るものではなく、動き補償など
が含まれている場合にも同様の効果を発揮する。また、
フレーム内符号化の方法を、直前の１画素による予測と
したが、その回りの数画素の値による予測などを用いて
もよい。この場合フレーム内予測器とその復号用のメモ
リは１画素メモリでなく、数画素分のメモリが必要とな
る。また第２の実施例において、フレーム内符号化の部
分に、予測を用いない符号化を用いることも可能である
。たとえば単なるｐｃｍ符号化の場合、１画素メモリ４
、減算器２５、加算器２６は必要なくなる。

発明の効果 本発明は上記の手段により、周期的に数フレームにつき
１フレーム分、フレーム間差分を含まない復号信号が得
られ、これにより静止、スロー高速再生を行なうことが
容易になる。さらに、フレーム間差分を含まない復号信
号と、その１フレーム前の信号との差分を別に用意する
ことにより、その時点から時間的に前にさかのぼって行
くことが可能となり、逆再生を容易に行なうことができ
る。

【図面の簡単な説明】

第１図は本発明の第１、第３の実施例における映像信号
の符号化方法を示したブロック図、第２図は同実施例に
おける映像信号の復号化の方法を示したブロック図、第
３図は本発明の第２、第４の実施例における映像信号の
符号化方法を示したブロック図、第４図は本発明の第５
の実施例における映像信号の符号化方法を示したブロッ
ク図である。 ３１６．フレームメモリ、４　、、、１画素メモリ、５
．２５　、、、減算器、６．２Ｂ、、、加算器、７．１
２．１９．２９．３３．、、スイッチ、８．２７．、、
符号化器、９１１．符号化制御回路、１０．１６．２８
゜１．復号化器、３０．３１．、、誤差累積装置、３２
゜０．比較器。

Claims (4)

【特許請求の範囲】
1. （１）映像信号のフレーム間の相関を利用したフレーム
   間符号化及びフレーム間、フレーム内適応符号化におい
   て、複数フレームにつき周期的に１フレームを選び、前
   記フレームに対し少なくとも符号誤りによる画質劣化の
   伝搬の影響がフレーム間符号化より少ないフレーム内符
   号化方式により符号化するとともに、前記フレームとそ
   の１フレーム前との差分信号を符号化することを特徴と
   する映像信号の符号化方法。
2. （２）映像信号のフレーム間の相関を利用したフレーム
   間符号化及びフレーム間、フレーム内適応符号化におい
   て、１フレーム分の画面をｍライン＊ｎラインの複数個
   のブロックに分割して、１フレームにつき１個または複
   数個のブロックを数フレームで１巡するように周期的に
   選び、前記ブロックに対し少なくとも符号誤りによる画
   質劣化の伝搬の影響がフレーム間符号化より少ないフレ
   ーム内符号化方式により符号化するとともに、前記ブロ
   ックとその１フレーム前の同一の位置にあるブロックと
   の差分信号を符号化することを特徴とする映像信号の符
   号化方法。
3. （３）選ばれたフレームとその１フレーム前との差分信
   号を符号化する際に、ある閾値を設け、その閾値以下で
   ある場合には、少なくとも閾値以上である場合より符号
   化に必要なビット数が少なくなるように適応的に切り換
   えることを特徴とする請求項１記載の映像信号の符号化
   方法。
4. （４）選ばれたブロックとその１フレーム前の同一の位
   置にあるブロックとの差分信号を符号化する際に、ある
   閾値を設け、その閾値以下である場合には、少なくとも
   閾値以上である場合より符号化に必要なビット数が少な
   くなるように適応的に切り換えることを特徴とする請求
   項２記載の映像信号の符号化方法。