JPH05308627A - 動画像符号化装置 - Google Patents

Abstract

(57)【要約】 【目的】 高能率でかつ高画質の符号化を行うことがで
きる動画像符号化装置を提供する。 【構成】 現画像と前画像または後画像との間でブロッ
クマッチングを行ない、ブロック情報の類似性を示す評
価関数値を求め、かつ、この評価関数値から最適な動ベ
クトルを発生させる動ベクトル検出手段１０１と、前記
評価関数値に基づいて、注目ブロックの予測方式をフレ
ーム予測にするかフィールド予測にするかを判定し、フ
レームあるいはフィールド予測モードおよび動ベクトル
を決定するフレーム／フィールド適応予測決定手段１０
２とを具備する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像符号化装置に関す
る。

【０００２】

【従来の技術】動画像符号化技術の向上に伴い、各分野
から符号化装置が活発に開発されている。その背景とし
て、符号化方式の国際標準化が進んでいることがあげら
れる。中でも、蓄積メディアを想定したＭＰＥＧ（Movi
ng Picture Expert Group)方式においては、仕様決定が
完了している。図３にこの原理図を示す。

【０００３】同方式では、時間軸方向の冗長度を落とす
ために予測部３１０において動き補償を行ない、減算部
３０３で画像の差分を取り、その後、空間軸方向の冗長
度を落とすためにＤＣＴ変換部３０４において直交変換
の一種である離散コサイン変換を施した後、量子化部３
０５で直交係数を量子化している。さらに、可変長符号
化部３０６において可変長符号化を行っている。

【０００４】時間軸方向の冗長度削減については、連続
した動画像が、前後のフレーム間（又はフィールド間）
において高い相関性を有するといった性質を利用してい
る。すなわち、動き検出部３０２で符号化を行なおうと
している画像（現画像）と時間的に前後にある画像との
間で各ブロックごとに動ベクトルを検出し、その情報を
予測部３１０へ出力し同予測部３１０において、逆量子
化部３０７、逆直交変換部３０８および加算部３０９に
より作成された局部復号画像から動き予測を行ない現画
像を予測した後、両者の間における予測誤差を減算部３
０３において算出する。

【０００５】ここで、動画像を構成する各画像は、予測
部３１０において、図４（ａ）に示されるように、Ｉピ
クチャ（フレーム又はフィールド内符号化画像）、Ｐピ
クチャ（前方向予測画像）、Ｂピクチャ（前方向、後方
向、両方向予測画像）の３つの種類に分類され、図４
（ｂ）に示す順序に並びかえられた後、符号化されるこ
とになる。一方、空間軸方向の冗長度については、各画
像の予測誤差信号をブロック単位でＤＣＴ係数に対し量
子化を施した後、同様に可変長符号化を行なっている。

【０００６】多重化部３１１では、可変長符号化部３０
６からの画像に関する符号語およびベクトル信号、モー
ド信号を多重化し、符号語として出力する。ただし、同
部３１１においてベクトル信号およびモード信号は符号
化されることになる。バッファ部３１２は、符号語を一
定の転送レートにする部分であり、そのための一手段と
して制御部３１３を介し量子化部３０５へ制御信号を送
っている。

【０００７】前述した予測信号は、イントラ、前方向予
測、後方向予測、両方向予測の４種類に分類される。ブ
ロック符号化を行なう場合、最適な予測方式を選択しな
ければならないが、同選択部の詳細については標準化の
規定外であり、各方面で多種の方式が提案されている。
例えば、特開平１−１７０２７６号公報において述べら
れているような、予測誤差のブロック内平均値を符号化
する方式があげられる。

【０００８】また、特開平２−２９１８０号公報のよう
に、ブロック符号化方式と動き補償方式の両者から符号
量の少ない方式をブロックごとに適応的に選択するとい
った方式もある。

【０００９】一方、前述した標準化方式の検討段階にお
いて提案されたモデルケースの１つとして、ＳＭ３方式
（MPEG Simulation Model Three ISO-IEC/JTC/SC2/WG8
Documents of Moving Picture Experts Group)がある。
同方式の選択部は、動き補償の有無の判定イントラの有
効無効の判定、動き補償採用時における予測方向の決定
といった各選択要素により構成されている。

【００１０】例えば、動き補償の有無の選択を行なう場
合、図５に示されるように、（Ｘ，Ｙ）座標系が特性図
の斜線領域内にあるとき、動き補償が行なわれる。同図
において、ＢＤは原画像間（現画像と前画像）の１６＊
１６画素ブロックにおける絶対差分和であり、ＤＢＤは
原画像のブロックと動き補償後のブロックとの間におけ
る絶対差分和である。一方、イントラモード有無の選択
を行なう場合、図６に示すように、（ＶＡＲ、ＶＡＲＯ
Ｒ）座標値が特性図の斜線領域内にあるとき、イントラ
モードが選択される。ここで、ＶＡＲは１６＊１６画素
で構成されるブロックに関するフレーム間差分２乗和で
あり、ＶＡＲＯＲは同ブロックに関するフレーム内画素
間の分散を示す。以上の、選択方式等を基準として各ブ
ロック毎に予測信号が作られる。

【００１１】

【発明が解決しようとする課題】従来技術で説明したＭ
ＰＥＧ方式とＳＭ３方式とを組み合せて行なわれる動画
像符号化装置は、フレーム画像のみを対象とした符号化
方式を採用しているため、視覚的見地に立った場合、不
都合が生じる。すなわち、画像内における動領域におい
て、フレーム画像レベルで動ベクトルを検出し動き補償
するため、復号後の動画像が不連続な動きとなり、動き
領域の自然さが損なわれてしまうことになる。

【００１２】従って、インタレース画像を扱かう場合、
フィールド画像レベルで動き予測する必要性が生じる。
すなわち、インタレースされた動画像の高能率符号化に
おいて、画像内の静止領域もしくはそれに近い画像は、
画像の垂直相関性を有効利用し垂直解像度を保つために
フレーム画像レベルで符号化し、一方、画像内の動きの
大きい領域は時間的解像度を保つためにフィールド画像
レベルで符号化することが望まれていたが、これら２つ
のレベルの選択を最適に行うことができなかった。

【００１３】本発明の動画像符号化装置はこのような課
題に着目してなされたものであり、その目的とするとこ
ろは、画像内のｍ×ｎ画素により構成されるブロックご
とに画像のフレームあるいはフィールド予測を適応的に
切り換えることによって、高能率でかつ高画質の符号化
を行うことができる動画像符号化装置を提供することに
ある。

【００１４】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明の動画像符号化装置は、動画像をフレーム
またはフィールド画像内でｍ×ｎ画素ごとにブロック分
割し、符号化すべき現画像内の注目ブロックに対してそ
の画像内の相関のみを用いたイントラ符号化と、符号化
済みの参照画像から予測されたブロックとの間の相関を
用いたインター符号化とを選択的に行なう機能を有し、
現画像と前画像または後画像との間でブロックマッチン
グを行ない、ブロック情報の類似性を示す評価関数値を
求め、かつ、この評価関数値から最適な動ベクトルを発
生させる動ベクトル検出手段と、前記評価関数値に基づ
いて、注目ブロックの予測方式をフレーム予測にするか
フィールド予測にするかを判定し、フレームあるいはフ
ィールド予測モードおよび動ベクトルを決定するフレー
ム／フィールド適応予測決定手段とを具備する。

【００１５】

【作用】すなわち、本発明の動画像符号化装置において
は、現画像と前画像または後画像との間でブロックマッ
チングを行ない、ブロック情報の類似性を示す評価関数
値を求め、かつ、この評価関数値から最適な動ベクトル
を発生させる。そして、前記評価関数値に基づいて、注
目ブロックの予測方式をフレーム予測にするかフィール
ド予測にするかを判定し、フレームあるいはフィールド
予測モードおよび動ベクトルを決定する。

【００１６】

【実施例】以下に、図面を参照して本発明の動画像符号
化装置の一実施例を説明する。まず、本発明の一実施例
の概略を述べる。

【００１７】本実施例の動画像符号化装置は、動画像を
フレームまたはフィールド画像内でｍ×ｎ画素ごとにブ
ロック分割し、符号化すべき現画像内の注目ブロックに
対してその画像内の相関のみを用いたイントラ符号化
と、符号化済みの参照画像から予測されたブロックとの
間の相関を用いたインター符号化とを選択的に行なう機
能を有し、画像内のｍ×ｎ画素により構成されるブロッ
クごとに、画像のフレームあるいはフィールド予測を適
応的に切り換える。

【００１８】このため、本実施例の動画像符号化装置
は、図１に示すように、現画像（フレーム画像またはフ
ィールド画像）と前画像（フレーム画像またはフィール
ド画像）または後画像（フレーム画像またはフィールド
画像）との間でブロックマッチングを行ない、ブロック
情報の類似性を示す評価関数値を求め、かつ、同評価関
数値から最適な動ベクトルを発生させる動ベクトル検出
手段１０１と、前記評価関数値により、注目ブロックの
予測方式をフレーム予測にするかフィールド予測にする
か判定し、フレーム／フィールド予測モードおよび動ベ
クトルを決定するフレーム／フィールド適応予測決定手
段１０２とを具備する。以下に図２を参照して本発明の
一実施例をより詳細に述べる。

【００１９】同図において、画像変換部２０１は動画像
入力信号をフレーム画像単位で符号化順に並べかえるも
のであり、従来技術で述べた図３における画像変換部３
０１に対応するところである。その並べかえの一例は、
すでに図４で説明したとおりである。フィールドメモリ
２０２〜２０６は画像変換部２０１ですでに並べかえら
れたフレーム画像をフィールド画像単位で記憶するとこ
ろであり、ここで述べている前画像（あるいは後画像）
とは、画像変換部２０１へ入力された時点で時系列的に
前（あるいは後）の画像のことを示している。ここで、
フィールドメモリ０は偶数フィールド画像を記憶し、フ
ィールドメモリ１は奇数フィールド画像を記憶する。

【００２０】マッチング部２０７，２１０，２１３は、
それぞれ、フレーム単位、偶数フィールド単位、奇数フ
ィールド単位で画像間のブロックマッチングを行ない、
同ブロックマッチングごとの相関値を出力する。同時
に、マッチング部２０７，２１０，２１３では、画像間
におけるブロックどうしの空間的な位置のずれを示すア
ドレス情報をも出力する。

【００２１】評価関数値算出部２０８，２１１，２１４
は、各々マッチングごとに算出された相関値により最も
最適なマッチングがとれたブロックに対し、そのマッチ
ングの精度を示す評価関数値を算出するところである。
最も簡単な一例として、マッチングによる相関値の算出
方法を２つのブロック間における同一画素位置の画素に
対し、差分絶対値和あるいは差分２乗和として、同値を
相関値としてマッチング部２０７，２１０，２１３から
出力し、評価関数値算出部２０８，２１１，２１４で
は、多種類のマッチングにより入力される相関値の中で
最もマッチングの精度の高いもの、すなわち、最小の相
関値を評価関数値として選び出し出力する。

【００２２】評価関数値算出部２０８，２１１，２１４
からは、評価関数値（評価関数値算出部２０８では
Ｅ_fr、評価関数値算出部２１１ではＥ_fi0 、評価関数値
算出部２１４ではＥ_fi1 ）を出力するとともに、各
Ｅ_fr，Ｅ_fi0 ，Ｅ_fi1 を与えたときのアドレス情報信号
から動ベクトルを作成するように、動ベクトル発生部２
０９，２１２，２１５へ制御信号を送り出す。

【００２３】従って、始めに偶数フィールド画像をフィ
ールドメモリ２０２，２０４ａ，２０５から呼び込み、
マッチング部２０７，２１０，２１３でブロックマッチ
ングさせ、同偶数フィールド画像の相関値および評価関
数値Ｅ_fi0 を算出し、その後、奇数フィールド画像をフ
ィールドメモリ２０３，２０４ｂ，２０６から呼び込
み、同様にマッチング部２０７，２１０，２１３で同奇
数フィールド画像の相関値および評価関数値Ｅ_fi1 を算
出する。また、フレーム画像の評価関数値Ｅ_frについて
は、２つのフィールド画像をフレーム画像に変換するこ
とにより求めることができる。例えば、前画像のフレー
ム画像化は、フィールドメモリ２０２，２０３から画像
をマージした状態で読み込めばよい。

【００２４】さらに、同評価関数値に従って偶数フィー
ルド画像の動ベクトルＭＶ_fi0 、奇数フィールド画像の
動ベクトルＭＶ_fi1 、フレームの動ベクトルＭＶ_frの順
序に求められることになる。

【００２５】前記評価関数値算出部２０８，２１１，２
１４より出力されたＥ_fr，Ｅ_fi0 ，Ｅ_fi1 が判定部２１
６へ入力され、同判定部２１６では、注目ブロックにつ
いて、フレーム予測あるいはフィールド予測のうち最適
な予測方式が決定される。その判定基準の一例として次
式を示す。 Ｅ_fr≦Ｃ×（Ｅ_fi0 ＋Ｅ_fi1 ） （Ｃ：定数で例えばＣ
＝１）

【００２６】ここで、同式が真のときフレーム予測が選
択され、最適予測モード決定部２１８へフレーム予測モ
ード信号「１」が出力される。また、フレーム画像の動
ベクトルＭＶ_fr、偶数フィールド画像の動ベクトルＭＶ
_fi0 、奇数フィールド画像の動ベクトルＭＶ_fi1 がセレ
クタ２１７へ入力されると、前記判定部２１６からの制
御信号により最適な動ベクトルが出力される。すなわ
ち、同制御信号が「１」のとき、ＭＶ_frなるフレーム画
像の動ベクトルがセレクタより出力され、一方、同制御
信号が「０」のとき、ＭＶ_fi0 ，ＭＶ_fi1 の２種のフィ
ールド画像の動ベクトルが出力される。

【００２７】その後、最適予測モード判定部２１８で
は、前記制御信号およびセレクタ２１７より出力された
動ベクトルに従がってフレーム単位あるいはフィールド
単位で動き予測を決定し、予測モードを出力する。予測
するときの動き補償の種類および判定基準は、すでに従
来技術で述べたＳＭ３方式をフィールド画像にも対応さ
せ動作させることなどが考えられる。前記予測モードと
前記セレクタ２１７から出力された前記動ベクトルは、
図３の予測部３１０へ送り出され、現画像を予測するの
に用いられる。また、フィールドメモリ２０２，２０
３，２０４ａ，２０４ｂ，２０５，２０６から出力され
る画像信号は、減算部３０３へ入力される。

【００２８】

【発明の効果】以上から明らかなように、本発明による
と動画像における動き補償を動ベクトルをブロックマッ
チングすることにより求める際、その算出基準となる評
価関数値を用い、フレーム画像単位だけでなく、フィー
ルド画像単位についても行ない、かつ、より最適な予測
方式を適応的にブロック単位で切り換えていくので、高
品質で高能率な動画像符号化を行なうことができる。

【図面の簡単な説明】

【図１】本発明の一実施例の概略を示す構成図である。

【図２】本発明の一実施例の構成をより詳細に示す図で
ある。

【図３】従来の動画像符号化装置の回路構成を示す図で
ある。

【図４】画像入力順序と画像符号化の順序を示す図であ
る。

【図５】原画像の絶対差分和と原画像の絶対差分和との
関係を示す特性図である。

【図６】フレーム内画素値の分散とフレーム間差分２乗
和との関係を示す特性図である。

【符号の説明】

１０１…動ベクトル検出手段、１０２…フレーム／フィ
ールド適応予測決定手段、２０１…画像変換部、２０２
〜２０６…フィールドメモリ、２０８，２１１，２１４
…評価関数値算出部、２０９，２１２，２１５…動ベク
トル発生部、２１６…判定部、２１７…セレクタ、２１
８…最適予測モード決定部。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 動画像をフレームまたはフィールド画像
   内でｍ×ｎ画素ごとにブロック分割し、符号化すべき現
   画像内の注目ブロックに対してその画像内の相関のみを
   用いたイントラ符号化と、符号化済みの参照画像から予
   測されたブロックとの間の相関を用いたインター符号化
   とを選択的に行なう機能を有する動画像符号化方式にお
   いて、 現画像と前画像または後画像との間でブロックマッチン
   グを行ない、ブロック情報の類似性を示す評価関数値を
   求め、かつ、この評価関数値から最適な動ベクトルを発
   生させる動ベクトル検出手段と、 前記評価関数値に基づいて、注目ブロックの予測方式を
   フレーム予測にするかフィールド予測にするかを判定
   し、フレームあるいはフィールド予測モードおよび動ベ
   クトルを決定するフレーム／フィールド適応予測決定手
   段と、 を具備することを特徴とする動画像符号化装置。