JPH06311501A - 動画像符号化方式 - Google Patents

Abstract

(57)【要約】 【目的】 フレーム間予測の効率が低下しないスライス
リフレッシュ方式やカラムリフレッシュ方式を提供す
る。 【構成】 適応予測符号化回路１は、動きベクトル検出
回路２の動きベクトルを用い、リフレッシュ制御手段３
のリフレッシュ制御情報に従って、入力画像を符号化す
る。動きベクトル検出回路２は、入力画像のブロック毎
に動きベクトルを検出し、適応予測符号化回路１に供給
する。動き方向判定手段４は、入力画像から画像全体の
動き方向を検出する。リフレッシュ制御手段３は、動き
方向判定手段４の動き方向から、適応的にリフレッシュ
方向を切り換え、リフレッシュ制御情報を適応予測符号
化回路１に供給する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像の圧縮符号化方
式に関する。特に、通信用符号化方式におけるリフレッ
シュ方式に関する。

【０００２】

【従来の技術】動画像圧縮符号化技術は、動画像信号の
高い時間相関、空間相関を利用して膨大な情報量を大幅
に圧縮する技術である。この動画像符号化技術は幾つも
の要素技術から成り立っている。

【０００３】フレーム間予測符号化技術は、動画像信号
の時間方向の相関を利用する技術であり、フレーム間予
測符号化方式は、符号化処理済の先行フレームから現フ
レームの予測を行い、予測誤差信号を伝送する方式であ
る。このフレーム間予測符号化方式を改良した動き補償
フレーム間予測符号化方式や、フレーム間予測をフィー
ルド間に置き換えたフィールド間予測符号化方式や、更
に前記フレーム間予測符号化方式や、前記動き補償フレ
ーム間予測符号化方式や、前記フィールド間予測符号化
方式や、時間方向の予測を行わずフレームやフィールド
内での処理を行うフレーム内符号化方式やフィールド内
符号化方式等の複数の符号化方式を適応的に切り替える
適応予測符号化方式がある。これらの符号化方式のう
ち、適応予測符号化方式は高い符号化効率をあげること
が知られている。特に、フレーム内符号化やフィールド
内符号化方式を含んだ適応予測符号化方式は、後述する
リフレッシュ技術に用いることができるので有用であ
る。本発明では、この適応予測符号化方式を用いた符号
化方式を対象としている。

【０００４】変換符号化技術は、複数の信号を線形変換
することで情報量を圧縮する技術であり、前記適応予測
符号化方式に対しては、予測誤差信号に対して空間方向
（水平，垂直方向）に適用されるのが普通である。この
変換によって、画像信号の空間方向の冗長性が顕現す
る。

【０００５】可変長符号化技術は、信号レベルの分布の
偏りを用いて情報量を圧縮する技術である。

【０００６】これらの情報量圧縮技術の他に、伝送エラ
ー復旧、中途復号開始に対応するリフレッシュ技術と伝
送チャネルの容量に応じて符号量と画質を調整する符号
量制御技術がある。特に通信用符号化の場合、フレーム
毎の符号量を一定に近付けるために、リフレッシュ技術
と符号量制御技術は重要である。

【０００７】

【発明が解決しようとする課題】符号量制御技術は、前
記の伝送バッファの占有量を伝送画質にフィードバック
することで、発生符号量を制御する技術である。

【０００８】リフレッシュ技術は、伝送エラーが起きた
場合の画面の乱れを復旧したり、伝送データを途中から
復号するのに必須の技術である。一般に先に述べたフレ
ーム内符号化をフレーム全体に用いるフレームリフレッ
シュ方式が用いられている。しかし、フレーム内の全ブ
ロックをフレーム内符号化に制限するために、リフレッ
シュが行われるリフレッシュフレームでの発生符号量が
他のフレームでの発生符号量に比べてかなり大きくな
る。定符号化レート伝送を行うためには、伝送バッファ
を設けて、この発生符号量の差を吸収させるということ
が行われる。これは同時に伝送バッファ分遅延がかかる
ということを意味しているので、通信用符号化には向い
ていない。

【０００９】通信用符号化に用いるリフレッシュ方式と
して、スライスリフレッシュ方式がある。スライス（ｓ
ｌｉｃｅ）とは、図５に示す複数のブロックから構成さ
れる単位である。スライスリフレッシュ方式では、図６
に示すようにフレーム内符号化に制限したリフレッシュ
スライスを上から下へ順に移動していくことで、フレー
ム全体をリフレッシュしている。各フレームでのフレー
ム内符号化に制限したブロック数は同じであり、フレー
ム毎の符号量はほぼ一定となる。

【００１０】このとき、リフレッシュを完全に行うため
に、動き補償予測の範囲が制限される。図７にフレーム
リフレッシュ方式とスライスリフレッシュ方式の動作の
違いを示す。図中の破線で示された領域毎に予測が閉じ
ていれば、リフレッシュが完全に行われる。フレームリ
フレッシュ方式では、フレーム単位でリフレッシュを行
うため、動き補償予測の範囲を制限する必要はない。し
かし、スライスリフレッシュ方式では、前回リフレッシ
ュされたスライスよりも下の領域は参照できないので、
リフレッシュスライスより上のブロックは、動き補償予
測の範囲が制限される。このため、上方向の動きがある
画像に対して、フレーム間予測の効率が低下するという
問題がある。

【００１１】また、スライスリフレッシュ方式と同様な
方式として、カラムリフレッシュ方式がある。カラム
（ｃｏｌｕｍｎ）とは、図８に示す複数のブロックから
構成される単位である。スライスリフレッシュ方式と比
較して優れている点は、伝送遅延が小さいことである。
図９にスライスリフレッシュ方式とカラムリフレッシュ
方式の発生符号量の推移を示す。スライスリフレッシュ
方式では、フレーム内符号化に制限されたブロックが符
号化順で連続するため、大きな伝送バッファが必要とな
り伝送遅延が大きくなるが、カラムリフレッシュ方式で
は、フレーム内符号化に制限されたブロックは符号化順
で分散しているため、小さな伝送バッファで十分であり
伝送遅延は小さい。逆に、スライスリフレッシュ方式と
比較して劣っている点は、横方向の動きがある動画像に
対して、フレーム間予測の効率が低下するという問題を
持っていることである。カメラ操作のパンは頻繁に用い
られるので、一般的な動画像は縦方向の動きより横方向
の動きが多く、かつ大きい。つまり、フレーム間予測の
効率で比較すると、カラムリフレッシュ方式はスライス
リフレッシュ方式より劣っている。

【００１２】本発明の目的は、以上に述べた従来方式の
欠点を除去して、フレーム間予測の効率が低下しないス
ライスリフレッシュ方式やカラムリフレッシュ方式を提
供することにある。

【００１３】

【課題を解決するための手段】本発明は、動画像のフレ
ームをブロックに分割するブロック化手段と、前記ブロ
ック毎に複数の予測手段を適応的に切り替える適応予測
手段と、複数の前記ブロックを単位として周期的リフレ
ッシュを行うように前記適応予測手段を制御するリフレ
ッシュ制御手段を持つ動画像符号化方式において、前記
動画像のフレーム全体の動き方向を検出する動き方向判
定手段を備え、前記リフレッシュ制御手段は、前記動き
方向判定手段の検出した動き方向に応じて動作を適応的
に切り換えることを特徴とする。

【００１４】

【作用】本発明においては、スライスリフレッシュやカ
ラムリフレッシュのリフレッシュ領域の移動方向である
リフレッシュ方向を、動画像の動き方向に合わせること
で、従来方式で問題となっていたフレーム間の効率低下
を抑制する。

【００１５】第一の検討項目は、常時このリフレッシュ
方向の切り換えを行うと、リフレッシュの完全性が保証
できなくなることである。この問題は切り換えに制限を
付けることで解決できる。切り換え後、一方の端から他
方の端までリフレッシュ領域が移動して、全画面のリフ
レッシュが完全に行われるまで、次の切り換えを禁止す
ることで完全性を保証できる。

【００１６】第二の検討項目は、リフレッシュ方向の切
り換えによって、エラー回復までにかかるリカバリー時
間の最悪値が大きくなることである。しかし、スライス
リフレッシュやカラムリフレッシュを用いた段階で、既
にリカバリー時間の最悪値はリフレッシュ周期の２倍に
なっており、この範囲内であれば問題とはならない。

【００１７】リフレッシュ方向の切り換えとリカバリー
時間の関係を図１に示す。縦軸は画面で、端から端まで
を０から１に正規化し、横軸は時間で、リフレッシュ周
期を１に正規化している。リフレッシュ領域がｓの時に
リフレッシュ方向の切り換え、切り換え後はリフレッシ
ュ領域をｔから開始すると、リカバリー時間の最悪値
は、図よりｍａｘ（ｓ＋ｔ，１＋｜ｓ−ｔ｜、２−｜ｓ
−ｔ｜）であり、｜ｓ−ｔ｜＝０．５のとき最小値１．
５をとる。つまり、切り換え後は半画面分だけ離れた所
をリフレッシュ領域とすることで、リカバリー時間の最
悪値を最小化できる。

【００１８】また、リフレッシュ方向の切り換えをシー
ンチェンジ時にしか行わないようにすれば、リフレッシ
ュの完全性やリカバリー時間の問題は発生せず、同一シ
ーン内で動き方向が変化しない限り、予測効率の低下も
生じない。

【００１９】

【実施例】本発明の第一の実施例を図２に示す。この動
画像符号化方式は、適応予測符号化回路１と、動きベク
トル検出回路２と、リフレッシュ制御手段３と、動き方
向判定手段４とから構成されている。

【００２０】適応予測符号化回路１は、動きベクトル検
出回路２の動きベクトルを用い、リフレッシュ制御手段
３のリフレッシュ制御情報に従って、入力画像を符号化
する。動きベクトル検出回路２は、入力画像のブロック
毎に動きベクトルを検出し、適応予測符号化回路１に供
給する。動き方向判定手段４は、入力画像から画像全体
の動き方向を検出し、スライスリフレッシュ方式の場合
には上，下，静止を、カラムリフレッシュ方式の場合に
は左，右，静止を判断して、リフレッシュ制御手段３に
供給する。

【００２１】リフレッシュ制御手段３は、動き方向判定
手段４の動き方向から、適応的にリフレッシュ方向を切
り換え、リフレッシュ制御情報を適応予測符号化回路１
に供給する。リフレッシュ方向の切り換えは、次の条件
が揃った場合に行う。・前回のリフレッシュ方向の切り
換え後、一方の端から他方の端までリフレッシュ領域が
移動して、全画面のリフレッシュが完全に行われてい
る。・動き方向判定手段４の動き方向を確認し、動きが
あり、かつ動き方向がリフレッシュ方向と逆である。

【００２２】動きが無い場合、動き方向が同じ場合、リ
フレッシュが完全に行われていない場合には、リフレッ
シュ方向の切り換えは行わない。リフレッシュ方向を切
り換えた場合、現在のリフレッシュ領域から半画面分移
動した領域を次のリフレッシュ領域とする。

【００２３】本発明の第二の実施例を図３に示す。この
動画像符号化方式は、適応予測符号化回路１と、動きベ
クトル検出回路２と、リフレッシュ制御手段６と、動き
方向判定手段４と、シーンチェンジ検出手段５とから構
成されている。

【００２４】適応予測符号化回路１、動きベクトル検出
回路２、動き方向判定手段４は、第一の実施例と同じで
ある。シーンチェンジ検出手段５は、入力画像からシー
ンチェンジを検出し、リフレッシュ制御手段６に供給す
る。リフレッシュ制御手段６はシーンチェンジ検出手段
５によりシーンチェンジが検出された時に、動き方向判
定手段４の動き方向によって、適応的にリフレッシュ方
向を切り換え、リフレッシュ制御情報を適応予測符号化
回路１に供給する。リフレッシュ方向の切り換えは、次
の条件が揃った場合に行う。・シーンチェンジ直後であ
る。・動き方向判定手段４の動き方向を確認し、動きが
あり、かつ動き方向がリフレッシュ方向と逆である。

【００２５】本発明の第三の実施例を図４に示す。この
動画像符号化方式は、適応予測符号化回路１と、動きベ
クトル検出回路２と、リフレッシュ制御手段３と、動き
方向判定手段７とから構成されている。

【００２６】適応予測符号化回路１、動きベクトル検出
回路２、リフレッシュ制御手段３は、第一の実施例と同
じである。動き方向判定手段７は、動きベクトル検出回
路２の動きベクトルから画像全体の動き方向を判定し、
リフレッシュ制御手段３に供給する。動き方向判定は、
スライスリフレッシュ方式に対しては動きベクトルの縦
方向の成分を、カラムリフレッシュ方式に対しては動き
ベクトルの横方向の成分を集計し、

【００２７】

【数１】

【００２８】得られたｍｏｔｉｏｎと閾値Ｔｈを用い
て、判定する。

【００２９】

【数２】

【００３０】

【発明の効果】以上のように、本発明により、フレーム
間予測の効率が低下しないスライスリフレッシュ方式や
カラムリフレッシュ方式を提供できる。

【図面の簡単な説明】

【図１】リフレッシュ方向の切り換えとリカバリー時間
との関係を示す図である。

【図２】本発明の第一の実施例を示す図である。

【図３】本発明の第二の実施例を示す図である。

【図４】本発明の第三の実施例を示す図である。

【図５】スライス単位を示す図である。

【図６】スライスリフレッシュ方式のリフレッシュ領域
の移動を示す図である。

【図７】スライスリフレッシュ方式とスライスリフレッ
シュ方式のリフレッシュ動作の違いを示す図である

【図８】カラム単位を示す図である。

【図９】スライスリフレッシュ方式とカラムリフレッシ
ュ方式のバッファ占有量の違いを示す図である。

【符号の説明】

１ 適応予測符号化回路 ２ 動きベクトル検出回路 ３ リフレッシュ制御手段 ４ 動き方向判定手段 ５ シーンチェンジ検出手段 ７ 動き方向判定手段

Claims (4)

【特許請求の範囲】
1. 【請求項１】動画像のフレームをブロックに分割するブ
   ロック化手段と、前記ブロック毎に複数の予測手段を適
   応的に切り替える適応予測手段と、複数の前記ブロック
   を単位として周期的リフレッシュを行うように前記適応
   予測手段を制御するリフレッシュ制御手段を持つ動画像
   符号化方式において、 前記動画像のフレーム全体の動き方向を検出する動き方
   向判定手段を備え、 前記リフレッシュ制御手段は、前記動き方向判定手段の
   検出した動き方向に応じて動作を適応的に切り換えるこ
   とを特徴とする動画像符号化方式。
2. 【請求項２】請求項１記載の動画像符号化方式におい
   て、 前記リフレッシュ制御手段は、その動作の切り換えを、
   前回の切り換え後からリフレッシュが完全に行われるま
   で禁止することを特徴とする動画像符号化方式。
3. 【請求項３】請求項１記載の動画像符号化方式におい
   て、 前記リフレッシュ制御手段は、その動作の切り換えを、
   シーンチェンジ時にしか行わないことを特徴とする動画
   像符号化方式。
4. 【請求項４】請求項１，２または３記載の動画像符号化
   方式において、 前記動き方向判定手段は、前記適応予測手段に用いる動
   きベクトルによって動き方向を判定することを特徴とす
   る動画像符号化方式。