JPH11298902A - 画像符号化装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 画質を低下させることなく、画像の符号化効
率を高めること。 【解決手段】 Ｂピクチャの場合には、動き補償を併用
したフレーム間双方向予測符号化を利用した圧縮符号化
処理が行われる。この場合、動き補償情報決定部３９で
は、逆方向および順方向毎の予測困難さに基づいて、逆
方向、順方向および両側方向のいずれの予測方向で予測
符号化を行うかを決定するための判定処理を行い、この
判定に応じたデータを、実際の動き補償のデータＳ₅ と
して動き補償回路４０に出力する。動き補償回路４０で
は、動き補償情報決定部３９によって決定された動き補
償のデータＳ₅ に応じて、保持している参照画像データ
から予測画像データを生成する。また、動き補償回路４
０は、実際に動き補償に用いた動き補償のデータＳ₆を
可変長符号化回路３４に出力する。可変長符号化回路３
４は、動き補償のデータＳ₆ を可変長符号化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データを圧縮
符号化する画像符号化装置および方法に関する。

【０００２】

【従来の技術】送信側で画像データを圧縮して送信する
と共に、受信側では圧縮された画像データを伸張する通
信システムや、画像データを圧縮して記録すると共に、
再生時には圧縮された画像データを伸張して出力する圧
縮画像記録再生システム等において、画像データの圧縮
の方法としては、例えばＭＰＥＧ（Moving Picture Exp
erts Group）規格で採用されている双方向予測符号化方
式がある。この双方向予測符号化方式では、フレーム内
符号化とフレーム間符号化という２つのタイプの符号化
が行われる。フレーム間符号化は、更に、フレーム間順
方向予測符号化とフレーム間双方向予測符号化とに分け
られる。ここで、フレーム内符号化は、例えば、入力さ
れた画像データを、所定の単位毎にマクロブロック化
し、マクロブロック毎にＤＣＴ（離散コサイン変換）の
ような周波数変換を行った後、量子化して圧縮を行うよ
うになっている。一方、フレーム間符号化では、例え
ば、入力された画像データを、所定の単位毎にマクロブ
ロック化すると共に、マクロブロック毎に以前に符号化
した予測参照画像に対する動きベクトルを検出し、この
動きベクトルを用いて動き補償を行って、以前に符号化
した予測参照画像から原画像に対応する予測画像を生成
する。そして、原画像と予測画像との差分を用いた予測
符号化による圧縮がなされる。なお、ＭＰＥＧ規格で
は、この差分に対してＤＣＴを行って符号化をしてい
る。

【０００３】このように、双方向予測符号化方式では、
フレーム内符号化、フレーム間順方向予測符号化および
フレーム間双方向予測符号化の３つのタイプの符号化が
行われ、各符号化タイプによる画像は、それぞれＩピク
チャ（intra coded picture）、Ｐピクチャ（predictiv
e coded picture）およびＢピクチャ（bidirectionally
predictive coded picture）と呼ばれる。

【０００４】ここで、Ｂピクチャに関する符号化処理に
ついて、更に詳述する。Ｂピクチャの符号化処理では、
入力された原画像（Ｂピクチャ）に対して順方向（Forw
ard）の予測を行うための時間軸上で過去にある参照画
像と、逆方向（Backward）の予測を行うための時間軸上
で未来にある参照画像との少なくとも一方の参照画像に
対して、原画像の動きを予測して動き補償を行うことに
より原画像に対応する予測画像を生成し、生成された予
測画像と原画像との差分を用いて予測符号化が行われ
る。このとき、実質的な動き補償を行う前段階におい
て、動き補償に用いる情報を逆方向、順方向および両側
方向（逆方向および順方向の双方）のいずれの予測方向
の参照画像からの情報に基づいて作成するかを決定する
いわゆる参照面決定工程による処理が行われる。この参
照面決定工程では、順方向および逆方向の参照画像から
の予測の困難さをそれぞれ算出し、この算出した予測の
困難さに基づいて、逆方向、順方向および両側方向のい
ずれの予測方向の画像の情報を用いるかの判定が行われ
る。

【０００５】なお、予測の困難さとしては、例えば、Ｍ
Ｅ残差が用いられる。ＭＥ残差とは、符号化の対象とな
る原画像の注目マクロブロックと、参照画像の注目マク
ロブロックとの間の画素値の差分の絶対値和または自乗
和のことである。

【０００６】図９は、従来の参照面決定工程における予
測方向の判定手法の一例を説明するための説明図であ
る。図において、横軸は、逆方向におけるＭＥ残差の値
ＭＥ_BWD を示し、縦軸は、順方向におけるＭＥ残差の値
ＭＥ_FWD を示している。また、この図において、領域Ａ
は、予測方向として両側方向が用いられる領域であり、
領域Ｂは、逆方向のみが用いられる領域である。また、
領域Ｆは、順方向のみが用いられる領域である。

【０００７】この図に示したように、順方向および逆方
向からの予測の困難さ（残差ＭＥ_FWD ，ＭＥ_BWD ）がほ
ぼ等しい場合、すなわち、順方向および逆方向の残差Ｍ
Ｅ_FWD ，ＭＥ_BWD に２倍を超える差がない場合は（領域
Ａ）、その絶対値の大きさに関係なく、全て両側方向か
らの情報を用いた動き補償の予測を伴う符号化処理が行
われる。また、順方向および逆方向の残差ＭＥ_FWD ，Ｍ
Ｅ_BWD に２倍を超える差がある場合には、ＭＥ残差の小
さい方の予測参照面のみの情報を用いた動き補償の予測
を伴う符号化処理が行われる。すなわち、順方向のＭＥ
残差の値ＭＥ_FWD と逆方向のＭＥ残差の値ＭＥ_BWD との
間に、ＭＥ_BWD ＞２ＭＥ_FWD の関係がある場合には（領
域Ｆ）、順方向のみの情報を用いた動き補償の予測を伴
う符号化処理が行われる。また、順方向のＭＥ残差の値
ＭＥ_FWDと逆方向のＭＥ残差の値ＭＥ_BWD との間に、Ｍ
Ｅ_FWD ＞２ＭＥ_BWD の関係がある場合には（領域Ｂ）、
逆方向のみの情報を用いた動き補償の予測を伴う符号化
処理が行われる。このとき、逆方向または順方向の片側
方向のみの情報を用いる場合には、両側方向の情報を用
いた場合より、符号化後に動き補償のための情報として
転送する情報量は、半分となる。

【０００８】なお、例えば、静止画や緩やかに画像が移
動するいわゆるパン画像等の動きの少ない画像において
は、逆方向および順方向、それぞれによるＭＥ残差が小
さくなり、且つそれぞれほぼ等しい値を持つことが知ら
れている。このような場合のＭＥ残差は、図９におい
て、ほぼ領域ａで示した領域に分布する。領域ａに分布
しているような画像の素材は、隣り合う画像のフレーム
同士に強い相関があり、元々ＭＰＥＧによる符号化処理
が得意な素材に属している。

【０００９】

【発明が解決しようとする課題】しかしながら、上記の
ような従来の技術では、例えば、静止画や緩やかに画像
が移動するいわゆるパン画像等、比較的予測が正確に当
たりやすく本来片側方向だけの情報量で十分に符号化で
きるような画像であったとしても、逆方向、順方向から
の予測の困難さがほぼ等しくなるため（図９の領域
ａ）、両側方向からの情報を用いた動き補償の予測が行
われてしまう。従って、この場合には、片側方向の画像
に基づく情報量で十分予測符号化が可能であるにもかか
わらず、２倍の情報量を符号化して転送しなければなら
ず、画像の符号化効率が低くて不経済となるという問題
が生じる。

【００１０】本発明はかかる問題点に鑑みてなされたも
ので、その目的は、画質を低下させることなく、画像の
符号化効率を高めることができる画像符号化装置および
方法を提供することにある。

【００１１】

【課題を解決するための手段】本発明による画像符号化
装置は、入力された画像に対して、入力された画像の種
類に応じて、時間的に過去と未来にある２つの参照画像
のうちの一方を用いた片側方向の動き補償を伴う予測符
号化処理および２つの参照画像の両方を用いた両側方向
の動き補償を伴う予測符号化処理を含む符号化処理を行
う符号化手段と、両側方向の予測符号化処理を行うべき
画像の符号化処理時に、各参照画像毎の予測困難さを表
す値が、一方の参照画像のみを用いた予測符号化処理で
十分と判断される所定の範囲内にある場合には、符号化
手段に対して、一方の参照画像のみを用いた片側方向の
予測符号化処理を行わせる予測方向制限手段とを備えた
ものである。

【００１２】また、本発明による画像符号化方法は、入
力された画像に対して、入力された画像の種類に応じ
て、時間的に過去と未来にある２つの参照画像のうちの
一方を用いた片側方向の動き補償を伴う予測符号化処理
および２つの参照画像の両方を用いた両側方向の動き補
償を伴う予測符号化処理を含む符号化処理を行うと共
に、両側方向の予測符号化処理を行うべき画像の符号化
処理時に、各参照画像毎の予測困難さを表す値が、一方
の参照画像のみを用いた予測符号化処理で十分と判断さ
れる所定の範囲内にある場合には、一方の参照画像のみ
を用いた片側方向の予測符号化処理を行うように予測方
向を制限するようにしたものである。

【００１３】本発明による画像符号化装置では、予測方
向制限手段によって、両側方向の予測符号化処理を行う
べき画像の符号化処理時に、各参照画像毎の予測困難さ
を表す値が、一方の参照画像のみを用いた予測符号化処
理で十分と判断される所定の範囲内にある場合には、一
方の参照画像のみを用いた片側方向の予測符号化処理が
行われるように、予測方向が制限される。

【００１４】また、本発明による画像符号化方法では、
入力された画像に対して、入力された画像の種類に応じ
て、時間的に過去と未来にある２つの参照画像のうちの
一方を用いた片側方向の動き補償を伴う予測符号化処理
および２つの参照画像の両方を用いた両側方向の動き補
償を伴う予測符号化処理を含む符号化処理が行われると
共に、両側方向の予測符号化処理を行うべき画像の符号
化処理時に、各参照画像毎の予測困難さを表す値が、一
方の参照画像のみを用いた予測符号化処理で十分と判断
される所定の範囲内にある場合には、一方の参照画像の
みを用いた片側方向の予測符号化処理が行われるよう
に、予測方向が制限される。

【００１５】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００１６】図１は、本発明の一実施の形態に係る画像
符号化装置の構成を示すブロック図である。本実施の形
態に係る画像符号化装置１は、入力画像信号Ｓ₁ を入力
し、符号化する順番に従ってピクチャ（Ｉピクチャ，Ｐ
ピクチャ，Ｂピクチャ）の順番を並べ替える画像並べ替
え回路２１と、この画像並べ替え回路２１の出力データ
を入力し、フレーム構造かフィールド構造かを判別し、
判別結果に応じた走査変換および１６×１６画素のマク
ロブロック化を行う走査変換・マクロブロック化回路２
２と、この走査変換・マクロブロック化回路２２の出力
データに基づいて動きベクトル等の動き補償のためのデ
ータを検出する動き検出回路３０と、動き検出回路３０
を介して入力された走査変換・マクロブロック化回路２
２からの出力データと予測画像データとの差分をとる減
算回路３１と、この減算回路３１の出力データに対し
て、ＤＣＴブロック単位でＤＣＴを行い、ＤＣＴ係数を
出力するＤＣＴ回路３２と、このＤＣＴ回路３２の出力
データを所定の量子化ステップ（量子化のための割り算
の係数）に基づいて量子化する量子化回路３３と、この
量子化回路３３の出力データを可変長符号化する可変長
符号化回路３４と、この可変長符号化回路３４の出力デ
ータを一旦保持し、ビットストリームからなる圧縮画像
データＳ₂ として出力するバッファメモリ３５とを備え
ている。

【００１７】画像符号化装置１は、更に、量子化回路３
３の出力データを逆量子化する逆量子化回路３６と、こ
の逆量子化回路３６の出力データに対して逆ＤＣＴを行
う逆ＤＣＴ回路３７と、この逆ＤＣＴ回路３７の出力デ
ータと予測画像データとを加算して出力する加算回路３
８と、動き検出回路３０の出力データＳ₃ から予測画像
データの生成に用いられる動き補償のデータを決定して
出力する動き補償情報決定部３９と、加算回路３８の出
力データを保持し、動き補償情報決定部３９から送られ
る動き補償のデータに対応した参照画像に対して動き補
償を行って予測画像データを生成し、予測画像データを
減算回路３１および加算回路３８に出力する動き補償回
路４０とを備えている。動き補償回路４０において、実
際に予測画像データの生成に用いられた動き補償のデー
タＳ₆は、可変長符号化回路３４に出力される。可変長
符号化回路３４は、動き補償回路４０から出力された動
き補償のデータＳ₆も可変長符号化するようになってい
る。ここで、動き補償情報決定部３９が本発明における
予測方向制限手段に対応する。

【００１８】画像符号化装置１は、更に、例えば、発生
符号量（発生ビット量）が目標となる所定の符号量とな
るように量子化回路３３における量子化ステップを決定
し、この決定した量子化ステップを量子化回路３３に与
える符号化制御部４１を備えている。

【００１９】動き検出回路３０は、動き補償回路４０に
おける動き補償に必要となるデータを検出して、検出し
た動き補償のためのデータＳ₃を補償情報決定部３９に
送出するようになっている。動き検出回路３０において
検出される動き補償のためのデータとしては、例えば、
フレーム構造用とフィールド構造用のＭＥ残差や動きベ
クトルに関する情報が含まれる。ここで、ＭＥ残差と
は、符号化の対象となる原画像の各マクロブロックと、
原画像の各マクロブロックに対応する参照画像の各マク
ロブロックとの間の各画素の輝度差の絶対値和または自
乗和のことであり、例えば、次の式によって定義される
ものである。なお、次式において、Ｍａは、原画像の１
つのマクロブロックを表しており、Ｍｂは、マクロブロ
ックＭａに対応する逆方向または順方向の参照画像のマ
クロブロックを表している。また、添え字ｉは、例え
ば、０〜２５５までの整数を表し、Σは、ｉの値の全て
に対する｜Ｍａ_i −Ｍｂ_i ｜の値の総和を表している。

【００２０】ＭＥ＝Σ｜Ｍａ_i −Ｍｂ_i ｜ 図２は、動き検出回路３０において検出される動き補償
のためのデータについて説明するための説明図である。
図２において、Ｐ₁ ，Ｐ₂ は、Ｐピクチャを示してお
り、Ｂ₁ ，Ｂ₂ は、Ｂピクチャを示している。この図に
おけるピクチャのデータ構造は、Ｐピクチャの現れる周
期（Ｍ）が３であり、隣り合うＰピクチャＰ₁ ，Ｐ₂ の
間に、２つのＢピクチャＢ₁ ，Ｂ₂ が挿入されて構成さ
れている。なお、この例では、Ｂピクチャに隣接するピ
クチャがＰピクチャである場合について示したが、Ｂピ
クチャに隣接するピクチャがＩピクチャであってもよ
い。また、図において、動き検出回路３０に現在入力さ
れている原画像のデータは、ピクチャＢ₁ であるものと
し、順方向の予測を行うための時間軸上で過去にあるデ
ータがピクチャＰ₁ であり、逆方向の予測を行うための
時間軸上で未来にあるデータがピクチャＰ₂ であるもの
とする。なお、図２では、時間が経つに従い、四角い物
体が左下から右上に移動するような画像の動きがある例
について示している。

【００２１】動き検出回路３０は、ピクチャＢ₁ が入力
されると、過去にあるピクチャＰ₁と、未来にあるピク
チャＰ₂ との２つの参照画像に対して、ピクチャＢ₁ の
各マクロブロック毎に最も整合性のあるマクロブロック
の位置をピクチャＰ₁ ，Ｐ_２の所定の検索範囲内から探
し出し、それぞれのマクロブロックに対する残差ＭＥ
_ＦＷＤ ，ＭＥ_BWD を求めるようになっている。図２の
例では、ピクチャＢ₁ のマクロブロックＭ_c に最も整合
性のあるピクチャＰ₁ ，Ｐ₂ のマクロブロックが、それ
ぞれマクロブロックＭ_F，Ｍ_Bとなっている。ここで、マ
クロブロックＭ_c の中心の座標は（０，０）であり、マ
クロブロックＭ_F，Ｍ_Bの中心の座標は、（−Ｘ_F ，−Ｘ
_F ），（Ｘ_B ，Ｘ_B ）であるとする。また、動き検出回
路３０は、最も整合性のあるマクロブロックの中心位置
に基づいて動きベクトルＶ_F ，Ｖ_Bを検出するようにな
っている。動きベクトルＶ_F ，Ｖ_B は、マクロブロック
Ｍ_cに対するマクロブロックＭ_F ，Ｍ_B の動きベクトル
である。

【００２２】図３は、動き補償情報決定部３９の構成を
示すブロック図である。動き補償情報決定部３９は、動
き補償回路４０において実質的な動き補償を行う前段階
において、逆方向、順方向および両側方向（逆方向およ
び順方向の双方）のいずれの予測方向で予測符号化を行
うかを決定するための判定処理を行うようになってい
る。例えば、動き補償情報決定部３９は、両側方向の予
測符号化処理を行うべき画像の符号化処理時に、各参照
画像毎の予測困難さを表す値が、一方の参照画像のみを
用いた予測符号化処理で十分と判断される所定の範囲内
にある場合には、一方の参照画像のみを用いた片側方向
の予測符号化処理を行わせるような判定処理を行うよう
になっている。

【００２３】動き補償情報決定部３９は、判定処理の基
準となる基準値を記憶する基準値保持部５１と、この基
準値保持部５１に記憶された基準値と、動き検出回路３
０からのデータＳ₃ から抽出された過去および未来の各
参照画像データの予測の困難さに関するデータＳ₄ とを
比較して、いずれの予測方向で予測符号化処理が行われ
るべきかを判定する判定部５２と、この判定部５２の判
定結果に応じて、動き検出回路３０において検出された
データＳ₃ から動き補償回路４０に送出すべき動き補償
のデータＳ₅ を選択して出力する選択部５３とを備えて
いる。基準値保持部５１は、例えば、予測困難さを表す
値が一方の参照画像のみを用いた予測符号化処理で十分
と判断される所定の範囲を規定するための基準値を記憶
している。判定部５２は、例えば、基準値保持部５１に
記憶された基準値と各参照画像毎の予測困難さを表す値
とを比較して、各参照画像毎の予測困難さを表す値が、
一方の参照画像のみを用いた予測符号化処理で十分と判
断される所定の範囲内にあるか否かを判断するようにな
っている。判定部５２において比較の対象とされる予測
の困難さに関するデータＳ₄としては、例えば、ＭＥ残
差が用いられる。なお、動き補償情報決定部３９による
機能は、ソフトウェア的に実現してもよいし、専用の回
路を組むことによってハードウェア的に実現してもよ
い。

【００２４】図４および図５は、動き補償情報決定部３
９において行われる判定処理について説明するための説
明図である。図４および図５において、横軸は、入力さ
れた原画像データに対して逆方向におけるＭＥ残差の値
ＭＥ_BWD を示し、縦軸は、順方向におけるＭＥ残差の値
ＭＥ_FWD を示している。

【００２５】図４は、ＣＣＩＲ（International Radio
Consultative Committee ：国際無線通信諮問委員
会）により規格化された標準動画像であるdiva with no
ise （以下、ｄｉｖａと記す。）とflower garden （以
下、ｆｗｇｎと記す。）を画像データとして実際に入力
して得られたＭＥ残差の分布を示す図である。図４にお
けるＭＥ残差の分布は、各画素の輝度を８ビットで表し
た場合について示している。また、図４において、２つ
の波線の内側の領域は、従来、両側方向の予測符号化が
行われていた領域に対応し、実線で示した部分は後述の
図５の実線で示した部分に対応している。また、図４に
おいて、白抜きの四角形□で示されたものがｄｉｖａに
関するＭＥ残差であり、黒い四角形■で示されたものが
ｆｗｇｎに関するＭＥ残差である。ｆｗｇｎは、ｄｉｖ
ａに比べて動きの少ない画像であり、緩やかに画像が移
動するいわゆるパン画像である。このため、ｆｗｇｎ
は、隣り合う画像のフレーム同士に強い相関がある。ｆ
ｗｇｎについてのＭＥ残差の分布を見てみると、原点付
近（符号Ｄで示す領域）に集中しているデータ群と、こ
れとは幾分離れて分布しているデータ群があることが分
かる。

【００２６】本実施の形態では、このように原点付近の
領域Ｄに集中しているデータ群については、比較的動き
補償による予測が正確に当たりやすく、片側方向だけの
予測で十分に符号化できるような画像であるとみなし、
一つの参照画像を用いた動き補償のデータにより動き補
償の予測が行われるようにしている。より具体的には、
動き補償情報決定部３９において、まず、判定部５２
が、ＭＥ残差の値が原点付近の所定の領域内の値であっ
た場合には、一つの参照画像を用いた動き補償のデータ
により動き補償の予測が行われるべきと判定し、この判
定結果を選択部５３に通知するようになっている。ま
た、選択部５３は、判定部５２において、一つの参照画
像を用いた動き補償のデータにより動き補償の予測が行
われるべきと判定された場合には、一つの参照画像のみ
の動き補償のデータを選択的に動き補償回路４０に送出
するようになっている。この場合、動き補償回路４０
は、選択部５３によって選択された片側方向のみの動き
補償のデータに基づいて動き補償を行って、予測画像デ
ータを生成するようになっている。動き補償回路４０に
おいて、実際に予測画像データの生成に用いられた片側
方向のみの動き補償のデータＳ₆ は、可変長符号化回路
３４に出力される。

【００２７】ここで、ＭＥ残差の値が原点付近の所定の
領域内の値であった場合に、順方向と逆方向のいずれに
よる動き補償を行うべきかについて考察する。ＭＥ残差
の値が原点付近の所定の領域内の値であった場合には、
隣り合う画像のフレーム同士に強い相関があるため、予
測方向が順方向と逆方向のいずれであっても基本的には
構わない。しかしながら、後の可変長符号化回路３４に
おける可変長符号化処理の特性を考慮して、逆方向によ
る動き補償を行うことが望ましい。例えば、「ＩＳＯ／
ＩＥＣ １３８１８−２：１９９５（Ｅ）」における規
格書によれば、マクロブロックがパターン１の標準のマ
クロブロックであり、フレーム間符号化が行われたもの
である場合には、マクロブロックタイプを表す符号の値
が、順方向によるものでは、０１０１００から００１１
と展開されるのに対し、逆方向によるものでは００１１
００から、０１１と展開されるので、逆方向による動き
補償を伴う予測符号化処理を行った方が可変長符号化後
の符号量が減り、符号化効率が向上することになる。

【００２８】次に、図５を参照して、動き補償情報決定
部３９の判定処理についてより具体的に説明する。図５
において、領域Ａは、過去と未来の２つの参照画像のデ
ータを用いた両側方向の予測符号化が行われる領域であ
り、領域ａを含む領域Ｂは、未来の参照画像のデータの
みを用いた逆方向の予測符号化が行われる領域である。
また、領域Ｆは、過去の参照画像のデータのみを用いた
順方向の予測符号化が行われる領域である。領域ａは、
図４で示した領域Ｄに対応する領域であり、従来では、
両側方向の予測符号化が行われていた領域である。ま
た、図において示されている所定のしきい値αは、例え
ば、残差ＭＥ_BWDの最大値の数％程度の値に設定されて
いる。

【００２９】動き補償情報決定部３９の判定部５２は、
逆方向における残差ＭＥ_BWD の値がしきい値αよりも大
きく、且つ順方向および逆方向における残差ＭＥ_FWD ，
ＭＥ_BWD がほぼ等しい場合、すなわち、逆方向および順
方向のＭＥ残差に２倍以上の差がない場合は（領域
Ａ）、その絶対値の大きさに関係なく、全て両側方向か
らの動き補償の予測が行われるべきとの判定を行うよう
になっている。また、判定部５２は、逆方向における残
差ＭＥ_BWD の値がしきい値αよりも大きく、且つ順方向
および逆方向の残差ＭＥ_FWD ，ＭＥ_BWD との間に、ＭＥ
_BWD ＞２ＭＥ_FWD の関係がある場合には（領域Ｆ）、順
方向の動き補償の予測が行われるべきとの判定を行うよ
うになっている。また、判定部５２は、逆方向における
残差ＭＥ_BWDの値がしきい値α以下の場合と、順方向の
ＭＥ残差の値ＭＥ_FWDと逆方向のＭＥ残差の値ＭＥ_BWD
との間に、ＭＥ_FWD ＞２ＭＥ_BWD の関係がある場合には
（領域Ｂ）、逆方向の動き補償の予測が行われるべきと
の判定を行うようになっている。

【００３０】次に、本実施の形態に係る画像符号化装置
１の動作について説明する。なお、以下の説明は、本実
施の形態に係る画像符号化方法の説明を兼ねている。

【００３１】まず、全体の動作について説明する。画像
符号化装置１では、画像並べ替え回路２１によって、入
力画像信号Ｓ₁ に対して、符号化する順番に従ってピク
チャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）の順番が
並べ替えられる。次に、走査変換・マクロブロック化回
路２２によって、フレーム構造かフィールド構造かが判
別され、判別結果に応じた走査変換およびマクロブロッ
ク化が行われる。走査変換・マクロブロック化回路２２
の出力データは、動き検出回路３０に送られる。動き検
出回路３０は、走査変換・マクロブロック化回路２２の
出力データを減算回路３１に送ると共に、走査変換・マ
クロブロック化回路２２の出力データから動きベクトル
等の動き補償に用いられるデータＳ₃ を検出して動き補
償情報決定部３９に送る。

【００３２】そして、Ｉピクチャ、ＰピクチャおよびＢ
ピクチャのそれぞれに対応した符号化処理が行われる。

【００３３】Ｉピクチャの場合には、フレーム内符号化
による符号化処理が行われる。すなわち、減算回路３１
において予測画像データとの差分をとることなく、走査
変換・マクロブロック化回路２２の出力データをそのま
まＤＣＴ回路３２に入力してＤＣＴを行い、量子化回路
３３によってＤＣＴ係数を量子化し、可変長符号化回路
３４によって量子化回路３３の出力データを可変長符号
化し、バッファメモリ３５によって可変長符号化回路３
４の出力データを一旦保持した後、圧縮画像データＳ₂
を出力する。また、逆量子化回路３６によって量子化回
路３３の出力データを逆量子化し、逆ＤＣＴ回路３７に
よって逆量子化回路３６の出力データに対して逆ＤＣＴ
を行い、逆ＤＣＴ回路３７の出力画像データを加算回路
３８を介して動き補償回路４０に入力して保持させる。

【００３４】Ｐピクチャの場合には、フレーム間順方向
予測符号化を利用した圧縮符号化処理が行われる。すな
わち、動き補償情報決定部３９に入力されたデータＳ₃
がそのまま、実際に動き補償に用いられるデータＳ₅ と
して動き補償回路４０に入力される。動き補償回路４０
では、保持している過去のＩピクチャまたはＰピクチャ
に対応する参照画像データから予測画像データを生成
し、予測画像データを減算回路３１および加算回路３８
に出力する。また、動き補償回路４０は、予測画像デー
タの生成に用いた動き補償のデータＳ₆を生成可変長符
号化回路３４に出力する。また、減算回路３１によっ
て、走査変換・マクロブロック化回路２２の出力データ
と動き補償回路４０からの予測画像データとの差分をと
り、ＤＣＴ回路３２によってＤＣＴを行い、量子化回路
３３によってＤＣＴ係数を量子化し、可変長符号化回路
３４によって量子化回路３３の出力データを可変長符号
化し、バッファメモリ３５によって可変長符号化回路３
４の出力データを一旦保持し圧縮画像データＳ₂として
出力する。また、逆量子化回路３６によって量子化回路
３３の出力データを逆量子化し、逆ＤＣＴ回路３７によ
って逆量子化回路３６の出力データに対して逆ＤＣＴを
行い、加算回路３８によって逆ＤＣＴ回路３７の出力デ
ータと予測画像データとを加算し、動き補償回路４０に
入力して保持させる。

【００３５】また、Ｂピクチャの場合には、フレーム間
双方向予測符号化を利用した圧縮符号化処理が行われ
る。まず、動き補償情報決定部３９では、逆方向、順方
向および両側方向（逆方向および順方向の双方）のいず
れの予測方向で予測符号化を行うかを決定するための判
定処理を行い、この判定に応じたデータを、実際に動き
補償に用いられるデータＳ₅として動き補償回路４０に
出力する。動き補償回路４０では、動き補償情報決定部
３９によって決定された予測方向に応じて、保持してい
る過去のＩピクチャまたはＰピクチャに対応する少なく
とも１つの参照画像データと動き補償情報決定部３９か
らの動きベクトル等の動き補償のデータＳ₅とに基づい
て予測画像データを生成し、予測画像データを減算回路
３１および加算回路３８に出力する。また、動き補償回
路４０は、動き補償のデータＳ₆を可変長符号化回路３
４に出力する。また、減算回路３１によって、走査変換
・マクロブロック化回路２２の出力データと動き補償回
路４０からの予測画像データとの差分をとり、ＤＣＴ回
路３２によってＤＣＴを行い、量子化回路３３によって
ＤＣＴ係数を量子化し、可変長符号化回路３４によって
量子化回路３３の出力データを可変長符号化し、バッフ
ァメモリ３５によって可変長符号化回路３４の出力デー
タを一旦保持し圧縮画像データＳ₂として出力する。な
お、Ｂピクチャは動き補償回路４０に保持させない。

【００３６】次に、図６の流れ図を参照して、動き補償
情報決定部３９における判定処理の動作について説明す
る。

【００３７】まず、動き補償情報決定部３９の判定部５
２は、入力された原画像のデータに対して逆方向におけ
る残差ＭＥ_BWD の値がしきい値αより小さいか否かを判
断する（ステップＳ１０１）。ここで、残差ＭＥ_BWD が
しきい値α以下の場合には（ステップＳ１０１；Ｙ）、
判定部５２は、動き補償回路４０において逆方向のみの
予測符号化が行われるべきとの判定を行う（ステップＳ
１０６）。

【００３８】また、判定部５２は、残差ＭＥ_BWD の値が
しきい値α以下ではない場合には（ステップＳ１０１；
Ｎ）、次に、入力された原画像のデータに対して順方向
の残差ＭＥ_FWD が残差ＭＥ_BWD の２倍より大きいか否か
を判断する（ステップＳ１０２）。ここで、残差ＭＥ
_FWD が残差ＭＥ_BWD の２倍より大きかった場合には（ス
テップＳ１０２；Ｙ）、判定部５２は、逆方向のみのデ
ータを用いた予測符号化が行われるべきとの判定を行う
（ステップＳ１０６）。

【００３９】一方、残差ＭＥ_FWD が残差ＭＥ_BWD の２倍
より大きくなかった場合には（ステップＳ１０２；
Ｎ）、次に、判定部５２は、残差ＭＥ_BWD が残差ＭＥ
_FWD の２倍より大きいか否かを判断する（ステップＳ１
０３）。ここで、残差ＭＥ_BWD が残差ＭＥ_FWD の２倍よ
り大きかった場合には（ステップＳ１０３；Ｙ）、判定
部５２は、順方向のみの予測符号化が行われるべきとの
判定を行う（ステップＳ１０４）。

【００４０】また、残差ＭＥ_BWD が残差ＭＥ_FWD の２倍
より大きくなかった場合には（ステップＳ１０３；Ｎ
Ｏ）、判定部５２は、両側方向の予測符号化が行われる
べきとの判定を行う（ステップＳ１０５）。

【００４１】図７は、上記のような動作によって実際に
符号化処理を行った場合における符号化効率の改善例を
示す説明図である。この図において、横軸は時間（ｓｅ
ｃ）を示し、縦軸は符号化処理によって生じた発生ビッ
ト量の変化率（％）を示している。この図における発生
ビット量の変化率は、本実施の形態の処理によって生じ
た発生ビット量の変化率を、従来の符号化処理によって
生じた発生ビット量に対する相対的な値として示したも
のである。図において縦軸の値が負であれば、従来より
も符号化効率が改善していることを示す。なお、この図
は、ｆｗｇｎを画像データとして用い、符号化処理の際
に、動き補償情報決定部３９における判定処理に用いら
れるしきい値αを、残差ＭＥ_BWD の値で２０００という
値に設定して得られた結果である。この図から、従来の
符号化処理と比較して、平均で約５％前後符号化効率が
改善されていると共に、場合によっては１０％以上も符
号化効率が改善していることが分かる。

【００４２】図８は、動き補償情報決定部３９における
判定処理に用いられるしきい値αを可変して得られた符
号化効率の値を示す説明図である。この図において、横
軸はしきい値α（残差ＭＥ_BWD ）であり、縦軸は符号化
処理によって生じた発生ビット量の変化率（％）を示し
ている。また、この図は、ｆｗｇｎを画像データとして
用いて実際に符号化処理を行った場合に得られたデータ
であり、図において縦軸の値が負であれば、符号化効率
が改善していることを示す。この図から、しきい値αの
値を、０から大きくしていくに従い、符号化効率が改善
され、約２０００前後で符号化効率が最も良くなった
後、次第に、符号化効率の改善率が小さくなり、ある値
以上で符号化効率が悪化するようになることが分かる。

【００４３】以上説明したように、本実施の形態に係る
画像符号化装置１によれば、両側方向の予測符号化処理
を行うべき画像の符号化処理時に、静止画や緩やかに画
像が移動するいわゆるパン画像等、比較的動き補償によ
る予測が正確に当たりやすく一方向だけの参照画像のデ
ータを用いて十分に符号化できるような画像に関して
は、片側方向のみの動き補償を行って予測画像データを
生成し、符号化処理を行うようにしたので、動き補償回
路４０から可変長符号化回路３４に出力される動きベク
トル等の動き補償のデータＳ₆ のデータ量が減少し、画
質を低下させることなく、従来と同等もしくはひずみ感
のない良質な画像が得られ、画像データの符号化効率を
高めることができる。また、動き補償を行った後の可変
長符号化処理の特性を考慮して、ＭＥ残差の値が原点付
近の所定の領域内の値であった場合には、入力された原
画像に対して未来にある参照画像を用いた片側方向のみ
の動き補償を行うようにしたので、画像データの符号化
効率を最大限に高めることができる。

【００４４】なお、本発明は、上記実施の形態に限定さ
れず種々の変形実施が可能である。例えば、上記実施の
形態では、動き補償情報決定部３９が、実際に予測画像
データの生成に用いられる動き補償のデータＳ₅ を決定
して動き補償回路４０に出力するようにしたが、動き補
償情報決定部３９において行われる動き補償のデータＳ
₅ の決定の機能を、動き補償回路４０に持たせるように
して動き補償情報決定部３９を構成から省くようにして
もよい。

【００４５】

【発明の効果】以上説明したように、請求項１ないし３
のいずれかに記載の画像符号化装置または請求項４記載
の画像符号化方法によれば、両側方向の予測符号化処理
を行うべき画像の符号化処理時に、各参照画像毎の予測
困難さを表す値が、一方の参照画像のみを用いた予測符
号化処理で十分と判断される所定の範囲内にある場合に
は、一方の参照画像のみを用いた片側方向の予測符号化
処理を行うようにしたので、画質を低下させることな
く、画像データの符号化効率を高めることができるとい
う効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る画像符号化装置の
構成を示すブロック図である。

【図２】図１に示した画像符号化装置における動き検出
回路により検出される動き補償のためのデータについて
説明するための説明図である。

【図３】図１に示した画像符号化装置における動き補償
情報決定部の構成を示すブロック図である。

【図４】図３に示した動き補償情報決定部において行わ
れる動き補償の判定処理について説明するための説明図
である。

【図５】図３に示した動き補償情報決定部において行わ
れる動き補償の判定処理について説明するための他の説
明図である。

【図６】図１に示した画像符号化装置における動き補償
情報決定部の動作を示す流れ図である。

【図７】図１に示した画像符号化装置による符号化効率
の改善例を示した説明図である。

【図８】図１に示した画像符号化装置による符号化効率
の改善例を示した他の説明図である。

【図９】従来の画像符号化装置において行われている動
き補償の判定処理について説明するための説明図であ
る。

【符号の説明】

１…画像符号化装置、２１…画像並べ替え回路、２２…
走査変換・マクロブロック化回路、３０…動き検出回
路、３１…減算回路、３２…ＤＣＴ回路、３３…量子化
回路、３４…可変長符号化回路、３５…バッファメモ
リ、３６…逆量子化回路、３７…逆ＤＣＴ回路、３８…
加算回路、３９…動き補償情報決定部、４０…動き補償
回路、４１…符号化制御部。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 入力された画像に対して、入力された画
   像の種類に応じて、時間的に過去と未来にある２つの参
   照画像のうちの一方を用いた片側方向の動き補償を伴う
   予測符号化処理および２つの参照画像の両方を用いた両
   側方向の動き補償を伴う予測符号化処理を含む符号化処
   理を行う符号化手段と、 両側方向の予測符号化処理を行うべき画像の符号化処理
   時に、各参照画像毎の予測困難さを表す値が、一方の参
   照画像のみを用いた予測符号化処理で十分と判断される
   所定の範囲内にある場合には、前記符号化手段に対し
   て、一方の参照画像のみを用いた片側方向の予測符号化
   処理を行わせる予測方向制限手段とを備えたことを特徴
   とする画像符号化装置。
2. 【請求項２】 前記予測方向制限手段は、前記予測困難
   さを表す値が、前記所定の範囲内にある場合には、前記
   符号化手段に対して、時間的に未来にある参照画像のみ
   を用いた片側方向の予測符号化処理を行わせることを特
   徴とする請求項１記載の画像符号化装置。
3. 【請求項３】 前記予測方向制限手段は、 前記予測困難さを表す値が、前記所定の範囲を規定する
   ための基準値を記憶する記憶手段と、 この記憶手段に記憶された基準値と、各参照画像毎の予
   測困難さを表す値とを比較して、各参照画像の予測困難
   さを表す値が前記所定の範囲内にあるか否かを判断する
   判断手段と、 この判断手段の判断結果に応じて、前記動き補償を伴う
   予測符号化処理に必要とされる情報を選択する選択手段
   とを有することを特徴とする請求項１記載の画像符号化
   装置。
4. 【請求項４】 入力された画像に対して、入力された画
   像の種類に応じて、時間的に過去と未来にある２つの参
   照画像のうちの一方を用いた片側方向の動き補償を伴う
   予測符号化処理および２つの参照画像の両方を用いた両
   側方向の動き補償を伴う予測符号化処理を含む符号化処
   理を行うと共に、 両側方向の予測符号化処理を行うべき画像の符号化処理
   時に、各参照画像毎の予測困難さを表す値が、一方の参
   照画像のみを用いた予測符号化処理で十分と判断される
   所定の範囲内にある場合には、一方の参照画像のみを用
   いた片側方向の予測符号化処理を行うように予測方向を
   制限することを特徴とする画像符号化方法。