JPH07336689A

JPH07336689A - 動き補償回路

Info

Publication number: JPH07336689A
Application number: JP12495094A
Authority: JP
Inventors: Hiroshi Gunji; 洋郡司; Hiromi Watanabe; 浩已渡辺; Akira Hase; 昌長谷; Koji Kudo; 功二工藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-06-07
Filing date: 1994-06-07
Publication date: 1995-12-22

Abstract

(57)【要約】【目的】高速に処理を行うことを可能とする動き補償
回路を提供すること。【構成】差分画像データおよび予測画像データを書き
込むバッファメモリを２相にして、画像データを連続し
て処理することにより、動き補償処理を高速に行うこと
を特徴とする動き補償回路、フレームメモリのデータバ
ス幅を拡大して、隣接する複数画素をアクセス可能とす
ることを特徴とする動き補償回路。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動き補償回路に関し、特
に高能率符号化された動画像の復号装置等に好適に用い
得る動き補償回路に関する。

【０００２】

【従来の技術】動き補償(ＭＣ：Ｍotion Ｃompensatio
n)は、動画像の高能率符号化において符号化効率を向上
させる手法として用いられており、動画像高能率符号化
の国際標準方式であるＭＰＥＧ(Ｍoving Ｐictures Ｅx
pert Ｇroup 詳細はＩＳＯ/ＩＥＣ，"Ｉnformation Ｔe
chnology - Ｇeneric Ｃoding of Ｍoving Ｐicturesan
d Ａssociated Ａudio"，ＩＳＯ/ＩＥＣＣＤ13818-2，
1993.11等を参照)でも採用されている。この手法では、
画面を縦横一定画素から成るマクロブロックに分割し、
各マクロブロックについて、既に符号化された参照画像
で最も差分の小さい箇所を探索し、その画面上の位置を
示す動きベクトルと、差分画像データとを伝送するもの
である。一般に、画像はフレーム間に強い相関があるた
め、この手法により画像データをそのまま符号化するよ
りも高い圧縮率を得ることができる。復号時には、参照
画像をフレームメモリ(ＦＭ：Ｆrame Ｍemory)に蓄えて
おき、動きベクトルに応じて参照画像の該当箇所を読み
出し、差分画像データに加算することにより再生画像を
得る。

【０００３】ＭＰＥＧでは、符号化処理画像の種類が３
種類あり、これらを組み合わせて一連の動画像を構成す
る。１つは、動き補償による予測を行わず、その画面内
のみで完結した符号化を行うもの(Ｉ-Ｐictureという)
である。残りの２つは予測を行うもので、時間的に過
去の画面を参照して予測を行うＰ-Ｐictureと、過去お
よび未来の画面の２つを参照して予測を行うＢ-Ｐictur
eとに分けられる。但し、参照画面はＩ-Ｐictureまたは
Ｐ-Ｐictureに限られ、時間的には後であってもそれを
参照して予測するＢ-Ｐictureよりも先に符号化され
る。図１４は、基本的な動き補償の構成を示したもの
で、入力された差分画像データのタイミングを調整し画
素の並び替えを行うバッファメモリ８１と、動きベクト
ルに応じてフレームメモリ２０〜２２に書き込まれてい
る参照画像の必要箇所を読み出すメモリアクセス制御回
路１９と、読み出された参照画像から予測画像データを
作成する計算回路１７と、差分画像データと予測画像デ
ータを加算する加算回路１３から成る。この回路にＩ-
Ｐictureが入力された場合には、動き補償による予測を
行わないので予測画像データ計算回路１７の出力を０と
し、差分画像データがそのまま加算回路１３の出力とな
り、メモリアクセス制御回路１９を通してフレームメモ
リ２０〜２２のいずれかに書き込まれる。

【０００４】動き補償による予測を行うＰ-Ｐictureお
よびＢ-Ｐictureでは、メモリアクセス制御回路１９に
よりフレームメモリ２０〜２２に書き込まれている参照
画像の必要箇所を読み出し、これをもとに予測画像デー
タ計算回路１７で予測画像データを作成し、加算回路１
３で差分画像データと予測画像データを加算してメモリ
アクセス制御回路１９を通してフレームメモリ２０〜２
２のいずれかに書き込む。このとき、Ｐ-Ｐictureでは
１枚の参照画像から、Ｂ-Ｐictureでは２枚の参照画像
から予測画像を作成する。図１５は、このときの動作タ
イミングを示したものである。まず、一定画素数分の差
分画像データがバッファメモリに書き込まれる。つぎに
予測画像データ計算回路で予測画像データを作成し、こ
れに同期して差分画像データバッファメモリから差分画
像データを読み出し、加算回路で画像を作成して出力す
る。以上のようにして動き補償を行うことができる。

【０００５】

【発明が解決しようとする課題】上記従来技術は、符号
化処理画像の解像度が高くなるにつれ、１画面内の画素
数が増大し、処理を高速に行う必要がある。しかし、従
来の構成では、差分画像データと予測画像データの加算
を行っている間は、次の差分画像データをバッファメモ
リに書き込むことができないため、連続した処理を行え
ず、高速化が困難であるという問題があった。本発明は
上記事情に鑑みてなされたもので、その目的とするとこ
ろは、従来の技術における上述の如き問題を解消し、処
理を高速に行うことを可能とする動き補償回路を提供す
ることにある。

【０００６】

【課題を解決するための手段】本発明の上述の目的は、
差分画像データならびに予測画像データ用のバッファメ
モリをそれぞれ複数持ち、書き込みと読み出しを異なる
バッファメモリから行い、一定画素数を処理するごとに
使用するバッファメモリを切り替えるようにしたことを
特徴とする動き補償回路、または、フレームメモリのデ
ータバス幅を拡大して、隣接する複数画素をアクセス可
能とすることを特徴とする動き補償回路によって達成さ
れる。

【０００７】

【作用】本発明に係る動き補償回路においては、バッフ
ァメモリを切り替えるようにしたことにより、フレーム
メモリのアクセスが高速に行えること、ならびに、差分
画像データを連続して入力できることから、動き補償処
理の高速化が実現できるものである。

【０００８】

【実施例】以下、本発明の実施例を図面に基づいて詳細
に説明する。図１は、本発明の第１の実施例に係る動き
補償回路のブロック構成図である。図において、１１は
差分画像データの入力端子、１２は図２に示す如く、１
マクロブロック分のバッファメモリ(３１)を２組有する
バッファ回路、１３は加算回路を示している。１７は種
々の動き補償方式による予測画像データを計算する予測
画像データ計算回路、１８は動きベクトルの入力端子、
１９はフレームメモリ２０〜２２のアクセスを制御する
メモリアクセス制御回路を示している。上述の如く構成
される本実施例に係る動き補償回路の動作について、以
下、説明する。なお、ここでは、１マクロブロックとし
て、前述のＭＰＥＧに規定される、輝度１６×１６(＝
２５６)画素，色差８×８×２(Ｃ-Ｂ，Ｃ-Ｒ)(＝１２
８)画素、計３８４画素から成るブロックを用いる。

【０００９】入力端子１１から入力された差分画像デー
タは、バッファ回路１２に書き込まれる。このバッファ
回路は、前述の如く、１マクロブロック分のバッファメ
モリ２組を有し、一方のバッファメモリに書き込みを行
うと同時に、他方から読み出しを行うことができ、マク
ロブロックごとに書き込みと読み出しのバッファメモリ
を切り替えて使用するものである。従って、バッファ回
路１２からは、ひとつ前のマクロブロックの差分画像デ
ータが加算回路１３に送られる。Ｉ-Ｐictureでは動き
補償による予測を行わないので、予測画像データ計算回
路１７の出力を０とし、差分画像データが加算回路の出
力となるようにする。予測を行うＰ-ＰictureおよびＢ-
Ｐictureでは、まず、入力された動きベクトル１８に応
じて、メモリアクセス制御回路１９で読み出すべきフレ
ームメモリのアドレスを計算する。

【００１０】次に、フレームメモリ２０〜２２から必要
な参照画像データを読み出し、予測画像データ計算回路
１７において予測画像データを計算し、バッファ回路１
２に書き込む。このバッファ回路１２も差分画像データ
用のバッファ回路と同様の構成であり、書き込みと同時
にひとつ前のマクロブロックの予測画像データが加算回
路１３に出力される。加算回路１３では、差分画像デー
タと予測画像データを加算し出力する。加算回路１３に
より作成された画像データは、メモリアクセス制御回路
１９を通してフレームメモリ２０〜２２の適当なフレー
ムメモリに書き込まれる。このように、本発明の特長
は、入力画像データ、差分画像データそれぞれにマクロ
ブロック２つ分の大きさのバッファ回路を持ち、読み出
し／書き込みを切り替えて行う点にある。

【００１１】これにより、動き補償による画像作成のマ
クロブロックレベルでのパイプライン化が可能になる。
このときの動作タイミングを、図３により説明する。差
分画像データバッファ回路１２、および、予測画像デー
タ用バッファ回路１２内のバッファメモリは、図に示す
ようにマクロブロック処理単位で読み出しと書き込みが
切り替わり、読み出し時には、加算回路１３により両者
が加算され出力される。この加算回路１３の出力画像デ
ータはメモリアクセス制御回路１９を通して適当なフレ
ームメモリに書き込まれる。この図からわかるように、
加算回路１３からの出力データが連続して得られ、図１
５に示した従来例に比べて、高速に動き補償処理を行う
ことが可能である。

【００１２】図４は、本発明の第２の実施例に係る動き
補償回路のブロック構成図である。図中の記号は、図１
に準じて付されている。入力端子１１から入力された差
分画像データは、図１に示した実施例の場合と同様にバ
ッファ回路１２に書き込まれ、ひとつ前のマクロブロッ
クの差分画像データが加算回路１３に送られる。Ｉ-Ｐi
ctureの場合には、図１に示した実施例の場合と同様に
予測データ計算回路１７の出力を０とする。予測を行う
Ｐ-ＰictureおよびＢ-Ｐictureでは、まず、入力された
動きベクトル１８に応じて、メモリアクセス制御回路１
９で読み出すべきフレームメモリのアドレスを計算し、
フレームメモリ２０〜２２から必要な参照画像データを
読み出してバッファ回路１２に書き込む。

【００1３】このバッファ回路１２も、差分画像データ
用のバッファ回路と同様の構成であり、ひとつ前のマク
ロブロックの参照画像データが予測画像データ計算回路
１７に送られる。予測画像データ計算回路１７では、バ
ッファ回路１２から読み出された参照画像データから、
予測画像データを計算して出力する。加算回路１３の動
作は図１に示した第１の実施例の場合と同様で、差分画
像データと予測画像データを加算し出力する。加算回路
１３により作成された画像データは、メモリアクセス制
御回路１９を通してフレームメモリ２０〜２２の適当な
フレームメモリに書き込まれる。本実施例の構成では、
バッファ回路の容量が図１に示した第１の実施例の場合
に比べて増大するものの、予測画像データ作成に用いる
２枚の参照画像の読み出しを画素単位で同期させる必要
がなく、フレームメモリのアクセス制御が容易になると
いう効果が得られる。

【００１４】このときの動作タイミングを図５に示す。
差分画像データバッファ回路１２、および、２組の参照
画像データバッファ回路１２内のバッファメモリは、図
に示すようにマクロブロック処理単位で読み出しと書き
込みが切り替わる。参照画像データバッファ回路１２よ
り読み出された参照画像データは、予測画像データ計算
回路１７により演算され、予測画像データ計算回路出力
を得る。この結果は更に差分画像データと加算回路１３
により加算され出力される。この加算回路１３の出力画
像データは、メモリアクセス制御回路１９を通して適当
なフレームメモリ２０〜２２に書き込まれる。この図か
らわかるように、加算回路からの出力データが連続して
得られ、図１５に示した従来例に比べて高速に動き補償
処理を行うことが可能である。

【００１５】なお、上述の動作説明において、マクロブ
ロック処理単位での読み出しと書き込みの切り替え制御
は、本実施例に係る動き補償回路全体のタイミング制御
を行うタイミングコントローラからのクロックに基づい
て、所定単位数の画素をカウントして行われる。図６
は、図１に示した第１の実施例の構成において、フレー
ムメモリ２０〜２２とメモリアクセス制御回路１９の
間、メモリアクセス制御回路１９と予測画像データ計算
回路１７の間、予測画像データ計算回路１７とバッファ
回路１２の間のデータバス幅を２倍にした場合の例であ
る。バス幅を２倍にすることにより、フレームメモリか
らの参照画像データの読み出し時間が短縮される。

【００１６】参照画像データの読み出しは、動き補償を
行う場合もっとも転送データ量の大きい部分であり、ま
た、同期制御等、複雑なメモリアクセス制御を行う必要
があるので、この処理時間を短縮することにより、全体
の処理速度の改善が期待できる。図７にその動作タイミ
ングを示す。図３に比べ、予測データバッファ回路１２
内のバッファメモリへの書き込み時間、すなわち、フレ
ームメモリからの参照画像データの読み出し時間が短縮
されている。図８は、図４に示した第２の実施例の構成
において、フレームメモリ２０〜２２とメモリアクセス
制御回路１９の間、メモリアクセス制御回路１９とバッ
ファ回路１２の間のデータバス幅を２倍にした場合の例
である。このときの動作タイミングは、図９に示すよう
になり、この場合も、図６の場合と同様に、フレームメ
モリからの参照画像データの読み出し時間が短縮され、
全体の処理速度の改善が期待できる。

【００１７】図１０は、動き補償により作成された画像
を表示する回路を付加した動き補償回路の一実施例であ
る。図中、記号１１〜１３，１８〜２２は、それぞれ、
図１に準じて付されている。また、１５は表示制御回路
を示している。入力端子１１から入力された差分画像デ
ータは、バッファ回路１２に書き込まれる。このバッフ
ァ回路は図２のように１マクロブロック分のバッファメ
モリ２組を有し、一方のバッファメモリに書き込みを行
うと同時に他方から読み出しを行うことができ、マクロ
ブロックごとに書き込みと読み出しのバッファメモリを
切り替えて使用する。従って、バッファ回路１２から
は、ひとつ前のマクロブロックの差分画像データが加算
回路１３に送られる。

【００１８】Ｉ-Ｐictureでは動き補償による予測を行
わないので、予測画像データ計算回路17の出力を０と
し、差分画像データが加算回路の出力となるようにす
る。予測を行うＰ-ＰictureおよびＢ-Ｐictureでは、ま
ず、入力された動きベクトル１８に応じて、メモリアク
セス制御回路４１で読み出すべきフレームメモリのアド
レスを計算する。次に、フレームメモリ２０〜２２から
必要な参照画像データを読み出し、予測画像データ計算
回路１７において予測画像データを計算し、バッファ回
路１２に書き込む。このバッファ回路１２も差分画像デ
ータ用のバッファ回路と同様の構成であり、書き込みと
同時にひとつ前のマクロブロックの予測画像データが加
算回路１３に出力される。加算回路１３では、差分画像
データと予測画像データを加算し出力する。加算回路１
３により作成された画像データは、メモリアクセス制御
回路４１を通してフレームメモリ２０〜２２の適当なフ
レームメモリに書き込まれる。

【００１９】更に、フレームメモリ２０〜２２のいずれ
かの画像データをメモリアクセス制御回路４１により画
像表示順に読み出し、表示制御回路１５に送る。表示制
御回路１５では、画像データを出力形式に変換し、表示
画像データを出力する。このように表示制御回路１５を
備えた場合、予測画像データを計算するための参照画像
と表示画像とを、同じフレームメモリから読み出さなけ
ればならない場合が生じる。図１０のようにフレームメ
モリ２０〜２２とメモリアクセス制御回路４１の間、メ
モリアクセス制御回路４１と予測画像データ計算回路１
７の間、予測画像データ計算回路１７とバッファ回路１
２の間、メモリアクセス制御回路４１と表示制御回路１
５の間のデータバス幅を２倍にすること、および、図中
のバッファ回路１２の構成により、このような場合で
も、処理速度を低下させずに動き補償と表示を行うこと
ができる。

【００２０】このときの動作タイミングを、図１１に示
す。差分画像データバッファ回路１２および予測画像デ
ータバッファ回路１２内のバッファメモリは、図に示す
ようにマクロブロック単位で読み出しと書き込みが切り
替わり、読み出し時には加算回路１３により両者が加算
され出力される。この加算回路１３の出力画像データは
メモリアクセス制御回路４１を通して適当なフレームメ
モリに書き込まれる。この図からわかるように、加算回
路からの出力データが連続して得られ、図１５に比べて
高速に動き補償処理を行うことが可能である。このと
き、図１０に示すようにバス幅を一部２倍にすることに
より、予測画像データバッファメモリへの書き込み時間
が１/２になる。すなわち、予測画像データを作成する
ためのフレームメモリのアクセス時間が１/２になる。
残りの１/２の時間を表示用画像の読み出し時間とする
ことにより、処理速度を低下させることなく、動き補償
と表示を行うことが可能である。

【００２１】図１２は、動き補償により作成された画像
を表示する回路を付加した動き補償回路の他の実施例で
ある。入力端子１１から入力された差分画像データは、
図１０の場合と同様にバッファ回路１２に書き込まれ、
ひとつ前のマクロブロックの差分画像データが加算回路
１３に送られる。Ｉ-Ｐictureの場合には、図１０と同
様に、予測データ計算回路１７の出力を０とする。予測
を行うＰ-ＰictureおよびＢ-Ｐictureでは、まず、入力
された動きベクトル１８に応じて、メモリアクセス制御
回路４１で読み出すべきフレームメモリのアドレスを計
算し、フレームメモリ２０〜２２から必要な参照画像デ
ータを読み出してバッファ回路１２に書き込む。このバ
ッファ回路１２も差分画像データ用のバッファ回路と同
様の構成であり、ひとつ前のマクロブロックの参照画像
データが予測画像データ計算回路１７に送られる。

【００２２】予測画像データ計算回路１７では、バッフ
ァ回路１２から読み出された参照画像データから予測画
像データを計算して出力する。加算回路１３の動作は図
１０と同様で、差分画像データと予測画像データを加算
し出力する。加算回路１３により作成された画像データ
は、メモリアクセス制御回路４１を通してフレームメモ
リ２０〜２２の適当なフレームメモリに書き込まれる。
更に、フレームメモリ２０〜２２のいずれかの画像デー
タをメモリアクセス制御回路４１により画像表示順に読
み出し、表示制御回路１５に送る。表示制御回路１５で
は、画像データを出力形式に変換し、表示画像データを
出力する。この構成では、バッファ回路の容量が図１０
に比べて増大するものの、予測画像データ作成に用いる
２枚の参照画像の読み出しを画素単位で同期させる必要
がなく、フレームメモリのアクセス制御が容易になる。

【００２３】また、図１２に示すように、フレームメモ
リ２０〜２２とメモリアクセス制御回路４１の間、メモ
リアクセス制御回路４１とバッファ回路１２の間のデー
タバス幅を２倍にすることにより、表示画像と参照画像
を同じフレームメモリから読み出さなければならない場
合でも、処理速度を低下させずに動き補償と表示が可能
となる。このときの動作タイミングを図１３に示す。差
分画像データバッファ回路１２、および、２組の参照画
像データバッファ回路１２内のバッファメモリは、図に
示すようにマクロブロック処理単位で読み出しと書き込
みが切り替わる。参照画像データバッファ回路１２より
読み出された参照画像データは、予測画像データ計算回
路１７により演算され、予測画像データ計算回路出力を
得る。この結果は更に差分画像データと加算回路１３に
より加算され出力される。

【００２４】この加算回路１３の出力画像データは、メ
モリアクセス制御回路４１を通して適当なフレームメモ
リに書き込まれる。このとき、図１２に示すようにバス
幅を一部２倍することにより、参照画像データバッファ
メモリへの書き込み時間、すなわち、フレームメモリの
アクセス時間が１/２になる。残りの１/２の時間を表示
用画像の読み出し時間とすることにより、処理速度を低
下させることなく、動き補償と表示を行うことが可能で
ある。上述の説明では、フレームメモリが３枚の場合を
仮定して説明を行ったが、４枚以上の場合でも、メモリ
アクセス制御回路でフレームメモリを適当に選択するこ
とにより、全く同様にして処理の高速化を図ることが可
能である。

【００２５】なお、上記実施例は本発明の一例を示した
ものであり、本発明はこれに限定されるべきものではな
いことは言うまでもないことである。

【００２６】

【発明の効果】以上、詳細に説明した如く、本発明によ
れば、より高速に処理を行うことを可能とする動き補償
回路を実現できるという顕著な効果を奏するものであ
る。

【図面の簡単な説明】

【図１】本発明に係る動き補償回路の第１の実施例であ
る。

【図２】実施例に係るバッファ回路の構成例である。

【図３】図１に示す構成における動作タイミングを示す
図である。

【図４】本発明に係る動き補償回路の第２の実施例であ
る。

【図５】図４に示す構成における動作タイミングを示す
図である。

【図６】本発明に係る動き補償回路の第３の実施例であ
る。

【図７】図６に示す構成における動作タイミングを示す
図である。

【図８】本発明に係る動き補償回路の第４の実施例であ
る。

【図９】図８に示す構成における動作タイミングを示す
図である。

【図１０】本発明に係る動き補償回路の第５の実施例で
ある。

【図１１】図１０に示す構成における動作タイミングを
示す図である。

【図１２】本発明に係る動き補償回路の第６の実施例で
ある。

【図１３】図１２に示す構成における動作タイミングを
示す図である。

【図１４】従来の動き補償回路の例である。

【図１５】図１４に示す構成における動作タイミングを
示す図である。

【符号の説明】

１２バッファ回路１３加算回路１５表示制御回路１７予測画像データ作成回路１９,４１メモリアクセス制御回路２０,２１,２２フレームメモリ３１バッファメモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者工藤功二東京都小平市上水本町五丁目20番１号株式会社日立製作所半導体事業部内

Claims

【特許請求の範囲】

【請求項１】入力される動きベクトルに応じて参照画
像の該当箇所をフレームメモリから読み出して予測デー
タを作成し、入力された差分画像データに加算して得ら
れる画像データを新たな参照画像としてフレームメモリ
に書き込む動き補償回路において、差分画像データを書き込むバッファメモリを複数持ち、
一定量の画素を処理するごとに入力データを書き込むバ
ッファメモリを切り替え、同時に、書き込み中でないバ
ッファメモリから画像データの読み出しを行うようにし
た差分画像データのバッファ回路と、予測データを書き込むバッファメモリを複数持ち、差分
画像データと同様に一定量の画素を処理するごとに書き
込みと読み出しのバッファメモリを切り替えるようにし
た予測データのバッファ回路とを持つことを特徴とする
動き補償回路。
【請求項２】前記参照画像用フレームメモリから予測
データバッファ回路までのデータバスの幅を１画素のデ
ータ幅より大きくして、１アクセスごとに２画素以上の
予測データが作成できるようにしたことを特徴とする請
求項１記載の動き補償回路。
【請求項３】入力される動きベクトルに応じて参照画
像の該当箇所をフレームメモリから読み出して予測デー
タを作成し、入力された差分画像データに加算して得ら
れる画像データを新たな参照画像としてフレームメモリ
に書き込む動き補償回路において、差分画像データを書き込むバッファメモリを複数持ち、
一定量の画素を処理するごとに入力データを書き込むバ
ッファメモリを切り替え、同時に、書き込み中でないバ
ッファメモリから画像データの読み出しを行うようにし
た差分画像データのバッファ回路と、予測データの作成に用いる参照画像を書き込むバッファ
メモリを複数持ち、差分画像データと同様に一定量の画
素を処理するごとに書き込みと読み出しのバッファメモ
リを切り替えるようにした参照画像データのバッファ回
路とを持つことを特徴とする動き補償回路。
【請求項４】前記参照画像用フレームメモリから参照
画像データバッファ回路までのデータバスの幅を１画素
のデータ幅より大きくして、１アクセスごとに２画素以
上の参照データが読み出せるようにしたことを特徴とす
る請求項３記載の動き補償回路。
【請求項５】フレームメモリ内の画像データを、表示
速度に応じて出力する回路を備えるとともに、入力され
る動きベクトルに応じて参照画像の該当箇所をフレーム
メモリから読み出して予測データを作成し、入力された
差分画像データに加算して得られる画像データを新たな
参照画像としてフレームメモリに書き込む動き補償回路
において、予測データ作成のための読み出しと再生画像の表示のた
めの読み出しを、両者の読み出し期間が重ならないよう
に制御して、画像データを高速で読み出すことを特徴と
する動き補償回路。