JP3340901B2 - 動画像の符号化方法判定装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像の低ビット
レート・高能率符号化装置、画像伝送装置、画像処理装
置などに用いられ、画像の高能率符号化に関するもので
ある。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば、下記文献に記載されるものがあった。安田 浩
著「ＭＰＥＧ／マルチメディア符号化の国際標準」平成
６年９月３０日丸善株式会社発行、ｐｐ．６０ー７５。
この文献には、動画像のフレーム間の動きを検出し、該
動きを補償したフレーム間の差分信号を符号化する方法
において、画像をブロック単位で動き補償の有り無しの
判定及びフレーム内符号化かフレーム間符号化かの判定
をすることによって、動画像の符号化効率の向上を実現
する方法が記載されている。

【０００３】図２は、前記文献に記載された動画像の符
号化方法判定装置のブロック図である。従来のこの種の
判定装置は、画像の２フレーム間の動きベクトルをブロ
ック単位で算出する動きベクトル算出手段(MD)21と、該
算出された動きベクトルに従って、前フレーム画像の動
き補償したブロックデータを出力する動き補償手段(MC)
22と、前記動き補償したブロックデータあるいは動き補
償をしないブロックデータのいずれかを出力する動き補
償オン／オフ判定手段(MC ON/OFF ESTIMATION)23と、フ
レーム間差分ブロックあるいは現フレーム内のブロック
データのいずれかを出力するフレーム内／フレーム間判
定手段(INTRA/INTER ESTIMATION)24とから構成されて
いる。

【０００４】現フレームの入力画像信号s1及び前フレー
ムの入力画像信号s2が、それぞれ動きベクトル算出手段
21及び動き補償オン／オフ判定手段23に接続され、現フ
レームの入力画像信号s1が、さらにフレーム内／フレー
ム間判定手段24に接続され、また前フレームの入力画像
信号s2が、さらに動き補償手段22に接続されている。動
きベクトル算出手段21の出力s21 が、動き補償手段22に
接続され、動き補償手段22の出力s22すなわち動き補償
した前フレーム画像のデータが動き補償オン／オフ判定
手段23に接続され、動き補償オン／オフ判定手段23の出
力s23 が、フレーム内／フレーム間判定手段24に接続さ
れ、フレーム内／フレーム間判定手段24の出力s24 が、
外部端子に出力される。

【０００５】図２の動画像符号化の判定装置において、
動きベクトル算出手段21では、外部より入力される現フ
レームの画像信号s1及び前フレームの画像信号s2に対し
て、まず画像をｎ×ｎの小ブロックに分割する。そして
それぞれのブロックに対して、前フレームのブロックを
予め決められた検索範囲内で移動させ、現フレームのブ
ロックとの一致度が最も高いブロックを例えば平均自乗
誤差あるいは平均絶対誤差等の方法により算出し、該前
フレームブロックの現フレームブロックからの移動距離
s21 (以下、該移動距離を動きベクトルと呼ぶ)を出力す
る。

【０００６】動き補償手段22では、前フレームの画像s2
に対して、現フレームのブロック位置から動きベクトル
算出手段21より入力される該ブロックの動きベクトルs2
1 分だけ移動したブロック画像s22 を出力する。

【０００７】動き補償オン／オフ判定手段23では、現フ
レームの画像ブロックs1と、前フレームの同じ位置の画
像ブロックs2(動き補償されていない画像ブロック)との
差分を求める。また、現フレームの画像ブロックs1と、
動き補償手段22より入力される動き補償された前フレー
ムの画像ブロックs22 との差分を求める。こうして求め
た２種類の差分の平均絶対誤差あるいは平均自乗誤差を
比較し、動き補償されたブロックを用いた方が小さけれ
ば、動き補償をオンとし、現フレームの画像ブロック
と、動き補償された前フレームの画像ブロックとの差分
ブロックを出力する(s23)。 さもなければ、動き補償を
オフとし、現フレームの画像ブロックと、動き補償され
ていない前フレームの画像ブロックとの差分ブロックを
出力する(s23)。

【０００８】フレーム内／フレーム間判定手段24は、現
フレームの画像ブロックs1の画素値の分散と、動き補償
オン／オフ判定手段23より入力される差分画像ブロック
s23 の画素値の自乗平均を求め、両者を比較する。この
比較の結果、現フレームの画像ブロックの分散が小さけ
れば、フレーム内符号化を採用し、現フレームの画像ブ
ロックを出力(s24) する。さもなければ、フレーム間符
号化を採用し、前記差分ブロックを出力(s24) する。

【０００９】

【発明が解決しようとする課題】しかしながら、従来の
動画像の符号化方法判定装置には、次のような課題があ
った。すなわち、低ビットレート符号化において、画像
の品質が低下することによって動きベクトル検出精度も
低下する。それに伴って、フレーム内符号化がより多く
判定され、またブロック間で判定が頻繁に変化する現象
が発生する。それらを符号化するためにより多くの符号
量を必要とし、低ビットレート符号化の障害となる。

【００１０】

【課題を解決するための手段】以上の課題を解決するた
め、本発明は動画像の第１フレーム、および第２フレー
ムから、この第２フレームの符号化方法を判定するため
の動画像の符号化方法判定装置である。この装置は、第
１フレームの画像と第２フレームの画像とから、第１フ
レームと第２フレームとの間の動きベクトルを算出する
動きベクトル算出手段と、算出された動きベクトルと第
１フレームの画像とから、第１フレームの画像を動き補
償した第１動き補償画像を出力する動き補償手段とを有
する。そしてこの装置は、量子化ファクター、たとえば
量子化ステップ数があらかじめ定められた値よりも大で
ある場合には、予め決められた内容に従って動き補償の
オン／オフを判定し、この判定結果に応じて第１動き補
償画像と第２フレームの画像との差分、あるいは第１フ
レームの画像と第２フレームの画像との差分のいずれか
を差分画像として出力する動き補償オン／オフ判定手段
を備える。この装置はさらに、第１フレームの画像と、
動き補償オン／オフ判定手段の出力とを与えられ、量子
化ファクタが予め決められた値より大きい時には、第２
フレームの画像についてフレーム間符号化を選択するフ
レーム内／フレーム間符号化判定手段を備える。

【００１１】

【発明の実施の形態】前記問題点を解決するために、本
発明の第１の実施例の動画像の符号化方法判定装置は、
従来の判定装置において、外部から量子化ファクタが入
力される。動き補償オン／オフ判定手段は、量子化ファ
クタの値によって動き補償のオン／オフ判定を強制的に
いずれかに固定する。またフレーム内／フレーム間判定
手段も、量子化ファクタの値によってフレーム内符号化
／フレーム間符号化の判定を、強制的にいずれかに固定
する。

【００１２】図１は、この発明の第１の実施例の動画像
の符号化方法判定装置のブロック図である。図１におい
て、現フレームの入力画像信号s1が、動きベクトル算出
手段11及び動き補償オン／オフ判定手段(MC ON/OFF EST
IMATION)13 及びフレーム内／フレーム間判定手段(INTR
A/INTER ESTIMATION)14 に接続されている。前フレーム
の入力画像信号s2が、動きベクトル算出手段11、動き補
償手段12及び動き補償オン／オフ判定手段13 に接続さ
れている。

【００１３】外部入力である量子化ファクタs10 が、動
き補償オン／オフ判定手段13及びフレーム内／フレーム
間判定手段14に接続されている。動きベクトル算出手段
11の出力s11 が、動き補償手段12に接続され、動き補償
手段12の出力s12 が、動き補償オン／オフ判定手段13に
接続され、動き補償オン／オフ判定手段13の出力s13
が、フレーム内／フレーム間判定手段14に接続され、フ
レーム内／フレーム間判定手段14の出力s14 が、外部端
子に出力される。ここで現フレームとは符号化するため
に注目しているフレームのことであり、前フレームとは
現フレームより時間的に前に存在するフレームのことを
指すものである。

【００１４】図１に示した、本発明の第１の実施例の動
画像の符号化方法判定装置において、動きベクトル算出
手段11及び動き補償手段12は、従来と同様の動作をする
ので、説明を省略する。

【００１５】動き補償オン／オフ判定手段13は、量子化
ファクタs10 が予め決められた閾値より小さい時には、
従来と同様の動作を行う。すなわち、現フレームの画像
ブロックs1と、前フレームの同じ位置の画像ブロックs2
(動き補償されていない画像ブロック)との差分を求め
る。さらに、現フレームの画像ブロックs1と、動き補償
手段12より入力される、動き補償された前フレームの画
像ブロックs12 との差分を求める。

【００１６】動き補償オン／オフ判定手段13は、こうし
て求めた２種類の差分それぞれについて、平均絶対誤差
あるいは平均自乗誤差を算出し、比較する。この比較の
結果、動き補償されたブロックを用いた方が値が小さけ
れば、動き補償をオンとする。そして、現フレームの画
像ブロックと、動き補償された前フレームの画像ブロッ
クとの差分ブロックを出力する(s13)。さもなければ、
動き補償をオフとする。そして、現フレームの画像ブロ
ックと、動き補償されていない前フレームの画像ブロッ
クとの差分ブロックを出力する(s13)。

【００１７】動き補償オン／オフ判定手段13は、外部よ
り入力される量子化ファクタs10 が、予め決められた閾
値より大きい時には、動き補償をオンあるいはオフの、
いずれか予め決められた一方に固定する。あるいは、動
き補償のオン／オフを、前のブロックの動き補償オン／
オフと同じタイプとする。ここで、平均絶対誤差あるい
は平均自乗誤差に重み係数を付けて行うようにすること
も可能である。

【００１８】こうして判定した動き補償のオン／オフに
応じて、現フレームの画像ブロックと動き補償された前
フレームの画像ブロックとの差分ブロック、あるいは、
現フレームの画像ブロックと動き補償されていない前フ
レームの画像ブロックとの差分ブロックを出力する(s1
3)。

【００１９】フレーム内／フレーム間判定手段14は、量
子化ファクタs10 が予め決められた閾値より小さい時に
は、従来と同様の動作を行う。すなわち、現フレームの
画像ブロックs1の画素値の分散と、動き補償オン／オフ
判定手段13より入力される差分画像ブロックs13 の画素
値の自乗平均を求める。そして両者を比較し、現フレー
ムの画像ブロックの分散が小さければ、フレーム内符号
化を採用し、現フレームの画像ブロックを出力する(s1
4)。 さもなければ、フレーム間符号化を採用し、前記
差分ブロックを出力する(s14)。

【００２０】フレーム内／フレーム間判定手段14は、量
子化ファクタs10 が予め決められた閾値より大きい時に
は、強制的にフレーム間符号化を採用し、該当ブロック
を出力する。ここで前記大小比較に、重み係数を付けて
行うことも可能である。

【００２１】量子化ファクタs10としては、たとえば量
子化ステップサイズを用いることができる。量子化ファ
クタs10としての量子化ステップサイズが閾値より大き
い時とは、たとえば符号量を抑えるために量子化ステッ
プサイズを大きくとっているようなときである。このよ
うなときには強制的にフレーム間符号化を行うようにす
れば、符号量が大きくなるフレーム内符号化を抑制する
ことができる。

【００２２】以上説明したように、本発明の第１の実施
例によれば、動画像の符号化方法判定装置において、量
子化ファクタを入力するようにし、この量子化ファクタ
に応じて動き補償オン／オフ判定及びフレーム内／フレ
ーム間判定を強制的にあらかじめ定められたものにす
る。このため、低ビットレートにおいて、フレーム内符
号化されるブロックの増大及びブロック間の判定の頻繁
な変化が抑制され、安定したレート制御が可能となり、
符号化効率及び画像品質の向上が期待できる。

【００２３】本発明の第２の実施例の動画像の符号化方
法判定装置は、第１の実施例の動画像の符号化方法判定
装置において、動き補償オン／オフ判定手段に、前方フ
レームからの予測あるいは後方フレームからの予測ある
いは双方からの予測のいずれかの予測を可能にする前方
／後方予測判定手段を追加し、また、前方／後方予測判
定手段の追加に伴って、後方動きベクトル検出手段及び
後方動き補償手段をも付け加えたものである。

【００２４】図３は、この発明の第２の実施例の動画像
の符号化方法判定装置のブロック図である。図３におい
て、現フレームの入力画像信号s1が、前方動きベクトル
算出手段(MD1)31、後方動きベクトル算出手段(MD2)32、
前方／後方・動き補償オン／オフ判定手段(FORE/BACK M
C ON/OFF ESTIMATION)35、及びフレーム内／フレーム間
判定手段36に接続されている。

【００２５】前フレームの入力画像信号s2が、前方動き
ベクトル算出手段31及び前方動き補償手段(MC1)33 及び
前方／後方・動き補償オン／オフ判定手段35に接続され
ている。後フレームの入力画像信号s3が、後方動きベク
トル算出手段32、後方動き補償手段(MC2)34 及び前方／
後方・動き補償オン／オフ判定手段35に接続されてい
る。

【００２６】また外部より入力される量子化ファクタs1
0 が、前方／後方・動き補償オン／オフ判定手段35及び
フレーム内／フレーム間判定手段36に接続されている。
前方動きベクトル算出手段31の出力s31 が、前方動き補
償手段33に接続され、前方動き補償手段33の出力s33
が、リミッタ付き前方／後方・動き補償オン／オフ判定
手段35に接続されている。後方動きベクトル算出手段32
の出力s32 が、後方動き補償手段34に接続され、後方動
き補償手段34の出力s34 が、前方／後方・動き補償オン
／オフ判定手段35に接続されている。前方／後方・動き
補償オン／オフ判定手段35の出力s35 が、フレーム内／
フレーム間判定手段36に接続され、フレーム内／フレー
ム間判定手段36の出力s36 が、外部端子に出力される。
ここで後フレームとは現フレームより時間的に後に存在
するフレームのことを指すものである。

【００２７】図３の本発明の第２の実施例の符号化装置
において、前方動きベクトル算出手段31は、現フレーム
と前フレームから、前方動きベクトルを従来と同じ方法
で算出する。後方動きベクトル算出手段32は、現フレー
ムと後フレームから、後方動きベクトルを従来と同じ方
法で算出する。

【００２８】前方動き補償手段33は、前方動きベクトル
算出手段31により算出された前方動きベクトルを用い
て、前フレームに対して従来と同じ動き補償をし、動き
補償した前フレームの画像ブロックを出力する。後方動
き補償手段34は、後方動きベクトル算出手段32により算
出された後方動きベクトルを用いて、後フレームに対し
て従来と同じ動き補償をし、動き補償した後フレームの
画像ブロックを出力する。後フレームは現フレームより
時間的に後に存在しているフレームではあるが、フレー
ム順序の入れ替え等を行うことにより現フレームより先
に後フレームが処理されることになる。

【００２９】前方／後方・動き補償オン／オフ判定手段
35は、外部より入力される量子化ファクタs10 が予め決
められた閾値より小さい時には、以下の４種類の差分を
求める。すなわち： ア）現フレームの画像ブロックs1と、前フレームの動き
補償されていない画像ブロックs2との差分 イ）現フレームの画像ブロックs1と、前フレームの動き
補償された画像ブロックs33 との差分 ウ）現フレームの画像ブロックs1と、後フレームの動き
補償されていない画像ブロックs3との差分 エ）現フレームの画像ブロックs1と、後フレームの動き
補償された画像ブロックs34 との差分

【００３０】次いで前方／後方・動き補償オン／オフ判
定手段35は、これら４種類の平均絶対誤差あるいは平均
自乗誤差の最も小さいものを選択して、その差分ブロッ
クを出力する(s35)。

【００３１】前方／後方・動き補償オン／オフ判定手段
35は、外部より入力される量子化ファクタs10 が予め決
められた閾値より大きい時には、前方フレームからの予
測、後方フレームからの予測、あるいは双方からの予測
のいずれを行うかを、予め決められた一つに固定する。
さらに動き補償を、オンあるいはオフのいずれか、予め
決められた一方に固定する。あるいは、動き補償のオン
／オフを、前のブロックの動き補償オン／オフと同じタ
イプとする。こうして判定した動き補償のオン／オフに
応じて、該当する差分ブロックを出力する。

【００３２】前方フレームからの予測、後方フレームか
らの予測、あるいは双方からの予測の例を以下に説明す
る。前フレームのみを用いる場合は、予め決められた前
フレームの動き補償無しの差分ブロックを出力する。後
フレームのみを用いる場合は、予め決められた後フレー
ムの動き補償無しの差分ブロックを出力する。両方のフ
レームを用いる場合は、予め決められた前後のフレーム
の動き補償無しの画像ブロックの平均と現フレームの画
像ブロックの差分ブロックを出力する。あるいは前のブ
ロックと同じタイプのブロックを出力する方法もある。
また、前記大小比較に重み係数を付けて行うようにする
ことも可能である。

【００３３】フレーム内／フレーム間判定手段36は、第
１の実施例のものと同じ動作をする。

【００３４】第１の実施例におけると同様、量子化ファ
クタs10としては、たとえば量子化ステップサイズを用
いることができる。

【００３５】以上説明したように、本発明の第２の実施
例は、動画像の符号化方法判定装置において、前方／後
方／双方予測の判定及び量子化ファクタを追加し、さら
に該量子化ファクタに従って前方／後方・動き補償オン
／オフ判定手段及びフレーム内／フレーム間判定手段に
強制判定を加えるものである。これにより幅広い符号化
方法を採り入れつつも、低ビットレートにおいて、フレ
ーム内符号化ブロックの増大及びブロック間の判定の変
化が少なくなり、安定したレート制御が可能となり、符
号化効率及び画像品質の向上が期待できる。

【００３６】以上の実施例において、量子化ファクタs1
0として量子化ステップサイズを例に、量子化ファクタs
10と閾値とを比較することを説明したが、閾値を可変に
して符号量の調節を行うようにしてもよい。このように
ビットレートにあわせて符号化方法の判定を簡単に行な
うこともできるため、符号化の効率が向上し、低ビット
レートにおいても高品質の符号化がおこなえるものであ
る。

【００３７】

【発明の効果】本発明による動画像の符号化方法判定装
置によれば、動き補償オン／オフ判定手段13及びフレー
ム内／フレーム間判定手段14に量子化ファクタを入力す
ることにより、強制的に符号化方法を判定することがで
きる。このため、画像の品質低下により低下する動きベ
クトル検出精度に伴い、フレーム内符号化がより多く判
定され、またブロック間で判定が頻繁に変化する等の現
象を防ぐことが可能になる。よって、これらを符号化す
るために必要としていた多くの符号量を削減することに
なり、低ビットレートにおいても効率の良い符号化を行
なえるという効果を奏するものである。

【図面の簡単な説明】

【図１】本発明による具体例１の動画像の符号化方法判
定装置である。

【図２】従来の動画像の符号化方法判定装置である。

【図３】本発明による具体例２の動画像の符号化方法判
定装置である。

【符号の説明】

１１ 動きベクトル算出手段 １２ 動き補償手段 １３ 動き補償オン／オフ判定手段 １４ フレーム内／フレーム間判定手段 ｓ１ 現フレームの入力画像信号 ｓ２ 前フレームの入力画像信号 ｓ１０ 量子化ファクタ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 動画像の第１フレーム、および前記第１
   フレームより後に存在する第２フレームとから前記第２
   フレームの符号化方法を判定する装置であって、 前記第１フレームの画像と前記第２フレームの画像とか
   ら、前記第１フレームと前記第２フレームとの間の動き
   ベクトルを算出する動きベクトル算出手段と、 前記動きベクトル算出手段で算出された動きベクトルと
   前記第１フレームの画像とから、前記第１フレームの画
   像を動き補償した第１動き補償画像を出力する動き補償
   手段とを有する、動画像の符号化方法判定装置におい
   て、 量子化ステップ数があらかじめ定められた値よりも大で
   ある場合に、予め決められた内容に従って動き補償のオ
   ン／オフを判定し、この判定結果に応じて前記第１動き
   補償画像と前記第２フレームの画像との差分、あるいは
   前記第１フレームの画像と前記第２フレームの画像との
   差分のいずれかを、差分画像として出力する動き補償オ
   ン／オフ判定手段と、 前記第１フレームの画像と、前記動き補償オン／オフ判
   定手段の出力とを与えられ、前記量子化ステップ数が予
   め決められた値より大きい時には、前記第２フレームの
   画像についてフレーム間符号化を選択するフレーム内／
   フレーム間符号化判定手段とを有することを特徴とす
   る、動画像の符号化方法判定装置。
2. 【請求項２】 動画像の第１フレーム、前記第１フレー
   ムより後に存在する第２フレーム、および前記第２フレ
   ームより後に存在する第３フレームとから、前記第２フ
   レームの符号化方法を判定する装置であって、 前記第１フレームの画像と前記第２フレームの画像とか
   ら、前記第１フレームと前記第２フレームとの間の動き
   ベクトルを算出する第１動きベクトル算出手段と、 前記第１動きベクトル算出手段で算出された動きベクト
   ルと前記第１フレームの画像とから、前記第１フレーム
   の画像を動き補償した第１動き補償画像を出力する第１
   動き補償手段と、 前記第２フレームの画像と前記第３フレームの画像とか
   ら、前記第２フレームと前記第３フレームとの間の動き
   ベクトルを算出する第２動きベクトル算出手段と、 前記第２動きベクトル算出手段で算出された動きベクト
   ルと前記第３フレームの画像とから、前記第３フレーム
   の画像を動き補償した第２動き補償画像を出力する第２
   動き補償手段と、を有する動画像の符号化方法判定装置
   において、 量子化ステップ数があらかじめ定められた値よりも大で
   ある場合に、予め決められた内容に従って動きベクトル
   による予測動作、および動き補償のオン／オフを判定す
   る動き補償オン／オフ判定手段と前記第１フレームの画
   像と、前記動き補償オン／オフ判定手段の出力とを与え
   られ、前記量子化ステップ数が予め決められた値より大
   きい時には、前記第２フレームの画像についてフレーム
   間符号化を選択するフレーム内／フレーム間符号化判定
   手段とを有することを特徴とする、動画像の符号化方法
   判定装置。