JPH02200084A - 高能率符号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明はディジタル信号の信号処理を行なう記録、伝送
機器、その他の表示装置などの各種機器において、動画
像信号をより少ない符＠昂で効率的に圧縮符号化して伝
送又は記録するための高能率符号化方式のうちのフレー
ム間予測符号化方式に関するもので、特にテレビ会議な
どの特定の動画像信号でなく一般の動画像信号を情報記
録ディスクや情報記録テープなどの蓄積系メディアに記
録するために有用なものである。

（従来の技術） 動画像信号の高圧縮技術としては、テレビ会議。

テレビ電話用に、より少ない符号量で符号化する符号化
技術（高能率符号化技術）が知られているが、この場合
、同一背景画像中に人物の動きがあるという特殊な動画
像信号の符号化となる。

ここで、符号化の機略を述べると、初期画面又はシーン
・チェンジ（画面転換）のときは、フレームをフリーズ
（例えば、５フレ一ム間位静止画とする）し、その間に
１ル−ムの画像信号をフレーム内符号化し、その後、各
フレームを前フレームの符号化・復号データを基準とし
てフレーム間予測符号化〈例えば、動き補償フレーム間
予測符号化）をする。

フレーム間予測符号化は、通常の動画像が各フレーム間
でかなり似ているので、符号化の汎んだ前のフレームの
信号から符号化しようとするフレームの信号を予測して
、予８Ｉ基準誤差（残差）のみを符号化するものである
。

このとき、１フレームを８×８画素程度の大きさずつの
ブロックに分割して（１フレームが３６０×２４０画素
とすると４５Ｘ３０ブロツクとなる）、各ブロックごと
に前フレーム（実際には、前フレームの符号化復号画像
データ）との動き補償されたフレーム間予ｉ１！！ｌｆ
Ｊ差信号を符号化し、伝送する。

更に、その際、データ圧縮のため前フレームとの相関の
強いブロックのデータは符号化伝送しないなども行なわ
れる。

また、伝送中のエラーによりいったん復号できなくなっ
たブロックは、それ以降は復号再生できなくなるのを防
止するために、少しずつ各ブロックの符号化をフレーム
内符号化をして伝送し、例えば、１秒問に１回位全ブロ
ックがリフレッシュされるような方法がとられる。

第４図は動き補償フレーム間予測符号化の代表的な従来
構成を示すブロック図である。

同図において、画像信号入力端子１より連続して入力さ
れた動画像信号は、予測信号減算器２において予測信号
（予測値）が減算され、その差分である予３基準＋誤差
（残差）について符号化器３で符号化される。この時、
切換えスイッチ７はｂ側に接続される。

予測信号（予測値）は、局部復＠器４で局部復号され、
１フレームメモリ５にス１−アされた前フレームの信号
（符号化・復号データ）から動き補償回路６で動き補償
されることにより得られる。

初期画面（初期状態）やシーン・チェンジ（画面転換）
のときには、切換えスイッチ７がａ側に接続され（この
とき、予測信号減算器２においてＯ（ゼロ）が減算され
、すなわち減算が無いことになり）、１フレ一ム分すべ
てフレーム内符号化される。その様子を第５図に示すが
、本来フレームＦ１〜Ｆ４の符号化をすべきところを、
その時間をフレームＦｏの符号化に割当てている。これ
は符号化に要する時間と伝送データ吊の問題からそうな
っている。従って、フレームＦｏが５フレ。

−ム間継続（フリーズ）し、５フレ一ム間静止画となり
、その後フレームＦ５．ＦＢ、・・・と続いて符号化さ
れる。

なお、第５図において、１０１部分はフレーム間予測符
号化を示し、ｒハツチングＪ部分はフレーム内符号化（
部分リフレッシュ）を示す。

また、初期画面やシーン・チェンジ以外の通常状態では
、第６図に示すように、部分リフレッシュが行なわれ、
その時だけ切換えスイッチ７がａ側に接続され、この図
では６つのフレーム期間ＬフレームＦ　ｎ　、　Ｆｎｎ
＋　Ｆｎ＋２　、　Ｆｎ＋３　、　Ｆｎ＋４　。

Ｆ口＋５］で全リフレッシュが行なわれるが、実際には
３０フレ一ム／秒のフレーム・レートとして１秒間（３
０フレーム）位かけて全リフレッシュされる場合が多い
。

また、第４図の符号化器３における符号化は、第７図に
示すように、まず、８ｘ８ＤＣＴ回路１３において８×
８画素のブロックがそれぞれ２次元！１ｔｒ１．Ｄサイ
ン変換［Ｄ　ＣＴ　；　Ｄｉｓｃｒｅｔｅ　ＣＣｏ５１
ｎｅＴｒａｎｓｆｏｒ　］され、得られた８×８の各係
数は、次に、係数別量子化器１４で係数別に吊子化され
る。

更に、伝送符号化器８では０（ゼロ）係数値から非Ｏ（
ゼロ）係数値までが、第８図に示すような吊子化ＯＣＴ
係数のスキャンニングによりランレングス符号化され、
それらランレングス符号がエントロピー符号化（ハフマ
ン符号などの可変長符号化）により伝送符号化され、バ
ッフ７メモリ９を介して可変長ディジタルデータとして
データ出力端子基準より出力され、伝送あるいは記録さ
れる。

ここで、吊子化後のＯＣＴ係数は、０（ゼロ）となるこ
とが多いため前述したランレングス符号化が有効であり
、更に、第９図に示すように確率分布を予め設定し、ハ
フマン符号化し、伝送することによってデータ圧縮が効
果的に行なえる。

なお、フレーム内／間符号化切換制御回路１０は、動き
補償回路６の出力によりシーン・チェンジを検出し、そ
の際や前記した部分リフレッシュの際に切換えスイッチ
７の接続の切換えを制御すると共に、伝送符号化器８に
フレーム内／間符号化の識別情報を供給し、フレーム内
／間の符号化の切換えを行なう。

伝送符号化器８には動き補償回路６から動きベクｉ〜ル
情報が供給される一方、フレーム内／間符号化切換制御
回路１０からフレーム内／間符号化識別情報が供給され
、それらも−緒に伝送符号化される。

ここで、可変長符号化する場合、バッファメモリが不可
避であるが、各フレームとも同じ符号化を行なっていた
のでは符号発生量が画像の種類（例えば、テレビ会議で
人の動きが大きくなったりしたとき）によって変動する
ため、一定の伝送容量の伝送路ではデータが送れなくな
る。

そのため、画像が少量変動の場合はバッフ７メモリで平
滑化し、大量変動が起こりかけたときはバッファメモリ
の占有最を監視し、それによって符号化制御回路１２を
介して符号化器３における符号化を制御する。

なお、符号化の制御は、具体的には前述した符号化器３
の８Ｘ８ＤＣＴ係数のけ子化ステップを粗くしたり、全
係数を送らず低次側の係数のみにしたりする。

〈発明が解決しようとする課題） ところが、上記した従来の高能率符号化方式、すなわち
前フレームによる巡回型のフレーム間予測符号化方式で
は、一般の動画像のうちテレビ会議などのように連続し
て画像を送る場合には大きな不都合はないが、特に情報
記録ディスクや情報記録テープなどの蓄積系メディアへ
の記録に適用した場合に次の様な問題点がある。

■　一般の動画像ではシーンチェンジがよくあるが、そ
のたびごとにフリーズが起こるのは不自然である。

■　蓄積系メディアへの記録再生では特にエラーへの対
策が必要となるが、エラーが起こったブロック領域の回
復に１秒もかかってしまう。

■　メディアの途中からの再生が頻繁に行なわれる（ラ
ンダムアクセス）が、そのたびに全画面リフレッシュす
るまでの１秒間は再生画像が得られない。

■　蓄積系メディアに記録された場合には、ビジュアル
・サーチ（粗画面を再生モニタしながら早送りや巻戻し
を行なうこと）が必要となるが、それが不可能である。

■　リフレッシュから時間的に離れたブロックのフレー
ム間予測符号化は予測誤差が大きくなり、フレーム間予
測符号化による圧縮効果が少し低下する。

そこで、本発明は上記した従来の技術の課題を解決した
高能率符号化方式を提供することを目的とする。

〈課題を解決するための手段） 本発明は上記の目的を達成するために、連続して入力さ
れる画像信号の連続フレームを２ｎ＋１フレーム［ｎは
１以上の整数］ごとにまとめて符号化する高能率符号化
方式であって、符号化対象となる２ｎ＋１のフレームを
順にＦ−ｎ、　Ｆ−ｎ＋１゜−、Ｆ−２，Ｆ−１，Ｆｏ
、Ｆ　＋、Ｆ２．−、Ｆｎ−＋。

Ｆｎとして、その中のフレームＦｏをフレーム内符号化
する手段と、このフレームＦｏの符号化・復号データを
基準として、その前後のフレームＦ−１，Ｆ＋をフレー
ム間符号化する手段と、このフレームＦｏ、Ｆ−１，Ｆ
　＋の符号化・復号データを基準として、その前後のフ
レームＦ−２，Ｆ２をフレーム間符号化する手段と、以
下順に、フレームＦ　ｏ　、　Ｆｌ、　Ｆ　＋　、　・
”、　Ｆ−ｎ＋１．　Ｆｎ−＋の符号化・復号データを
基準として、その前後のフレームＦ−ｎ、Ｆｎをフレー
ム間符号化する手段とよりなることを特徴とする高能率
符号化方式を提供するものである。

（作　用） 上記した構成の高能率符号化方式においては、（イ）２
ｎ＋１フレームごとにフレーム内符号化することにより
、１フレ一ム全画面を一度にリフレッシュする。そして
、（ハ）フレーム内符号化したフレームの符号化・復号
データを基準として、その前後のフレームをフレーム間
符号化することにより、フレーム間予測を前向きと後向
きの双方向で行ない、よって、従来の技術では最大２ｎ
フレーム離れたフレームのフレーム間符号化をしていた
ものが、最大ｎフレーム離れたフレームのフレーム間符
号化となり、フレーム間距離を半減させられ、その分子
側誤差を少なくできる。

史に、上記（イ）では、例えば１秒間に数回程度のリフ
レッシュをすることになるから、（実用上）フレーム内
符号化が増加し、従って、符号量が増加することになる
が、上記に）によってフレーム間符号化の圧縮率が向上
し、全体として符号量をあまり増加させないで前述した
従来の技術の同題点■〜■を解決することができる。

（実　施　例） 第１図は本発明になる高能率符号化方式の一実施例の構
成を示すブロック図である。

同図における基本的な構成は従来例に準じたものとなっ
ており、前出の第４図中の同一構成部分には同一番号を
付す。

第１図においては、連続して入力される動画像信号の連
続フレームを２ｎ＋１フレーム［ｎは１以上の整数］ご
とにまとめてｒ：ｆ０化するために符号化対象となる２
ｎ＋１のフレームをス１−アする（２ｎ＋１）フレーム
メモリ２１を持つ。

また、予測信号（予測値）を前後のフレームをもとに形
成するために、二つの１フレームメモリ２２、２３と、
これらのメモリから読み出したデータを切換えて動き補
償回路６に供給するための切換えスイッチ２４とがある
。

上記した構成で、連続して入力される動画像信号の連続
フレームを５フレームごとにまとめて符号化する場合に
ついて説明する。

［１第２図に示すように、連続して入力される動画像信
号の連続フレームのうち符号化対象となる最初の５フレ
ームをＦ−２，Ｆ−１，Ｆｏ、Ｆ　＋。

Ｆ２として、まず、この５フレームを（２ｎ＋１）フレ
ームメモリ２１にストアする。

［２１５フレームのうちの真中の順番にあるフレームＦ
ｏを（２ｎ＋１）フレームメモリ２１から読み出し、こ
のフレームＦｏをフレーム内符号化する。この時、切換
えスイッチ７はａ側に接続される。そして、符号化器３
から得られるフレームＦＯの符号化データを局部復号器
４で局部復号して、それを二つの１フレームメモリ２２
．２３にそれぞれストアする。

［３］フレームＦｏの後のフレームであるフレームＦ１
を（２ｎ＋１）フレームメモリ２１から読み出し、この
フレームＦ１について１フレームメモリ２２にストアさ
れているデータ（すなわち、フレームＦｏの符号化・復
号データ）を基準に動き補償予測値との差分を算出し、
フレーム間予測符号化する。この時、切換えスイッチ７
はｂ側に接続され、切換えスイッチ２４はａ側に接続さ
れる。そして、符号化器３から得られるフレームＦ１の
符号化データを局部復号Ｂ４で局部復号して、それを１
フレームメモリ２２に書換えス１−アする。

［４］フレームＦｏの前のフレームであるフレームＦ−
１を（２ｎ＋１＞フレームメモリ２１から読み出し、こ
のフレームＦ−１について１フレームメモリ２３にスト
アされているデータ（すなわち、フレームＦｏの符号化
・復号データ）を基準に動き補償予測値との差分を算出
し、フレーム間予測符号化する。この時、切換えスイッ
チ７はｂ側に接続され、切換えスイッチ２４はｂ側に接
続される。そして、符号化器３から得られるフレームＦ
−１の符号化データを局部復号器４で局部復号して、そ
れを１フレームメモリ２３に書換えストアする。

［５］フレームＦ１の後のフレームであるフレームＦ２
を（２ｎ＋１）フレームメモリ２１から読み出し、この
フレームＦ２について１フレームメモリ２２にストアさ
れているデータ（すなわち、フレームＦ＋の符号化・復
号データ）を基準に動き補償予測値との差分を暮出し、
フレーム間予測符号化する。この時、切換えスイッチ７
はｂ（ｌ！基準に接続され、切換えスイッチ２４はａ側
に接続される。

［６］フレームＦ−１の前のフレームであるフレームＦ
−２を（２ｎ＋１）フレームメモリ２１から読み出し、
このフレームＦ−２について１フレームメモリ２３にス
１へアされているデータ（すなわち、フレームＦ−１の
符号化・復号データ・）を基準に動き補償予測値との差
分を算出し、フレーム間予測符号化する。この時、切換
えスイッチ７はｂ側に接続され、切換えスイッチ２４は
ｂ側に接続される。

以上のように、連続フレームのうら符号化対象となる５
フレームＦ−２，、Ｆ−１，Ｆｏ、Ｆｌ、Ｆ２のうち、
第３図に示すように、まず、５フレームの真中の順番に
あるフレームＦｏをフレーム内符号化し、次に、このフ
レームＦｏの符号化・復号データを基準として、その前
後のフレームＦ−１゜Ｆｌをフレーム間予測符号化し、
更に、このフレームＦ−１，Ｆｏ、Ｆ　＋の符号化・復
号データを基準として、その前後のフレームＦ−２，Ｆ
２をフレーム間予測符号化する。

また、連続フレームのうち符号化対象となる次の５フレ
ームＦ３．Ｆ４．Ｆ５．ＦＢ、Ｆ７についても上記と同
様に、まず、５フレームの真中の順番にあるフレームＦ
５をフレーム内符号化し、次に、その前後のフレームに
ついてフレーム間予測符号化する。

以下同様に、順次５フレームごとに上記と同様の符号化
を行なう。

なお、上記したように５フレームごとの符号化に限らず
、７フレームあるいは９フレームごとのように２ｎ＋１
フレームごとにまとめて符号化する場合も、上記と同様
の符号化手順によるものである。

以上のように、本発明では、２ｎ＋１フレームごとにフ
レーム内符号化することにより、１フレ一ム全画面を一
度にリフレッシュすると共に、フレーム内符号化したフ
レームの符号化・復号データを基準として、その前後の
フレームをフレーム間予測符号化することにより、フレ
ーム間予測を前向きと後向きの双方向で行ない、よって
、従来の技術では最大２ｎフレーム離れたフレームのフ
レーム間予測符号化をしていたものが、最大ロフレーム
離れたフレームのフレーム間予測符号化となり、フレー
ム間距離を半減させられ、その分子側誤差を少なくでき
る。

（発明の効果） 以上の如く、本発明方式では、フレーム間符号化のため
のフレーム間距離を従来の技術に比べ半減させられ、そ
の分子ｉ！１！誤差を少なくでき、符号量をあまり増加
させないで、従来の技術の問題点を解決でき、特に蓄積
系メディアへの記録に適用して有用となり、ランダムア
クセスやビジュアルサーチなどが可能となり、シーンチ
ェンジや動きを伴う一般の動画像に対しても高効率で符
号化が可能となる。

【図面の簡単な説明】

第１図は本発明になる高能率符号化方式の一実施例の構
成を示すブロック図、第２図及び第３図は本発明方式の
符号化について説明するための図、第４図は従来の高能
率符号化方式の一例の構成を示すブロック図・、第５図
及び第６図は従来方式の符号化について説明するための
図、第７図は第４図の符号化器の構成を詳しく示す図、
第８図及び第９図は符号化について説明するための図で
ある。 １・・・画像信号入力端子、２・・・予測信号減算器、
３・・・符号化器、４・・・局部復号器、６・・・動き
補償回路、７．２４・・・切換えスイッチ、８−・・伝
送符号化器、９・・・バッファメモリ、１０・・・フレ
ーム内／間符号化切換υＩｔ基準回路、基準・・・デー
タ出力端子、１２・・・符号化制御回路、１３・・・８
Ｘ８ＤＣＴ回路、１４・・・係数別量子化器、２１・・
・（２ｎ＋１）フレームメモリ、２２、２３・・・１フ
レームメモリ。 特　許　出願人　日本ビクター株式会社代表者　垣木　
邦夫

Claims (1)

1. 【特許請求の範囲】 連続して入力される画像信号の連続フレームを２ｎ＋１
   フレーム［ｎは１以上の整数］ごとにまとめて符号化す
   る高能率符号化方式であって、符号化対象となる２ｎ＋
   １のフレームを順にＦ−ｎ，Ｆ−ｎ＋１，…，Ｆ−２，
   Ｆ−１，Ｆ＿０，Ｆ＿１，Ｆ＿２，…，Ｆ＿ｎ＿−＿１
   ，Ｆ＿ｎとして、その中のフレームＦ＿０をフレーム内
   符号化する手段と、 このフレームＦ＿０の符号化・復号データを基準として
   、その前後のフレームＦ−１，Ｆ＿１をフレーム間符号
   化する手段と、 このフレームＦ＿０，Ｆ−１，Ｆ＿１の符号化・復号デ
   ータを基準として、その前後のフレームＦ−２，Ｆ＿２
   をフレーム間符号化する手段と、 以下順に、フレームＦ＿０，Ｆ−１，Ｆ＿１，…，Ｆ−
   ｎ＋１，Ｆ＿ｎ＿−＿１の符号化・復号データを基準と
   して、その前後のフレームＦ−ｎ，Ｆ＿ｎをフレーム間
   符号化する手段とよりなることを特徴とする高能率符号
   化方式。