JP2003018607A - 画像復号方法、画像復号装置及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 以前フレームデータと現在フレームデー
タをメモリ内に共有する場合に、メモリ転送の処理負荷
と必要となるメモリの大きさとを減らすこと。 【解決手段】 アドレス管理部１０４は、未使用領域と
フレームデータ格納領域を形成するようにフレームメモ
リ１０２の格納アドレスを管理し、以前フレームデータ
のマクロブロック位置が動き補償探索範囲内に属すると
きは、復号化されたマクロブロックを未使用領域に格納
し、以前フレームデータのマクロブロック位置が動き補
償探索範囲を外れた以降は、復号化されたマクロブロッ
クを以前フレームデータのマクロブロック位置に重ね書
きするように制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、フレーム間または
フィールド間の動き補償予測を用いて圧縮符号化された
動画像信号を復号する際に、過去フレームデータと前記
過去フレームデータのマクロブロック単位に予測復号さ
れた現在フレームデータとをフレームメモリ内に共有す
るメモリ構成法を用いる画像復号方法、画像復号装置及
び記録媒体に関する。

【０００２】

【従来の技術】フレーム間またはフィールド間の動き補
償予測を行う場合に必要となる過去フレームデータ格納
用メモリと現在フレームデータ格納用メモリとを共有化
し、必要とするメモリの容量を削減する画像復号方法と
して、従来、例えば特開平６−２０５３９５号公報（動
き補償を用いた動映像信号処理器のためのメモリ装置）
に記載の方法が知られている。

【０００３】ここで、動き補償とは、映像信号処理で物
体の動きの程度を所定のアルゴリズムで推定して過去フ
レームの信号を動きベクトル、即ち、動き映像信号で現
在フレームの画素（または画素ブロック）が過去フレー
ムに比べてどの方向にどれだけ動いたかを示す画素単位
のベクトル量だけ移動させるものである。

【０００４】フレーム間またはフィールド間の動き補償
予測符号化方式は、前述した動き補償を利用して符号化
する映像圧縮方法であって、過去フレームと現在フレー
ムを比較して現在フレームの映像が過去フレームの映像
に比べてどの方向にどれだけ動いたかを推定した動きベ
クトルと過去フレームとで動き補償を行い、現在フレー
ムの信号から動き補償された信号を減算した差分信号を
圧縮符号化するものである。受信機では過去フレーム信
号と動きベクトルとにより動き補償を行い、それを差分
信号に加えて現在フレーム信号を復号化することにな
る。この場合、送信機及び受信機においては、各々過去
フレームが記録されるメモリが必要である。

【０００５】動画像の復号では、仮に動き補償の探索範
囲が水平、垂直方向に各々−１６から＋１６画素である
場合、その探索範囲内において最も類似したマクロブロ
ックを探索する。そして、探索された値と復号された差
分信号とを加算して得られた値が現フレームのマクロブ
ロックデータとなる。探索範囲は±１６画素なので、範
囲外のデータを動き補償によって参照することはない。

【０００６】そこで、上記公報に記載の画像復号方法で
は、現在復号化された部分を一旦フレームメモリとは独
立したバッファメモリに格納し、現在フレームで動き補
償が終了して動き補償探索範囲を外れた後に一旦格納さ
れたデータを過去フレームの対応する部分に変更するこ
とでメモリを共有化し、フレームメモリの大きさを大き
く減らしている。

【０００７】

【発明が解決しようとする課題】しかしながら、上記公
報に記載の画像復号方法では、復号化された画像を一旦
バッファに格納し、その後過去フレームの格納されてい
るメモリに再度格納する必要があるので、データ転送の
処理負荷が大きくなり、ＤＳＰやＣＰＵでの復号化処理
能力が落ちる。また、動画像のレートによっては、処理
が困難となり、駒落ちが生じたりし、動画像の画質の劣
化を招く可能性が大きくなる。さらに、データ転送用の
メモリとしてバッファメモリを必要とするので、多くの
資源を必要とするという問題もある。

【０００８】本発明は、かかる点に鑑みてなされたもの
であり、過去フレームデータと現在フレームデータをメ
モリ内に共有する場合に、メモリ転送の処理負荷と必要
となるメモリの大きさとを減らすことのできる画像復号
方法、画像復号装置及びプログラムを記録した記録媒体
を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明の画像復号方法
は、フレーム間またはフィールド間の動き補償予測を用
いて圧縮符号化された動画像信号を復号する際に、過去
フレームデータと前記過去フレームデータのマクロブロ
ック単位に予測復号された現在フレームデータとをフレ
ームメモリ内に共有するメモリ構成法を用いる画像復号
方法において、１フレームデータが格納できるフレーム
データ格納領域の他に、動き補償探索範囲に相当する領
域が未使用領域として存在するように前記フレームメモ
リの格納アドレスを管理し、前記フレームデータ格納領
域に格納されている過去フレームデータにおけるマクロ
ブロック位置が動き補償探索範囲内に属するときは、復
号化されたマクロブロックを前記未使用領域に格納し、
前記フレームデータ格納領域に格納されている過去フレ
ームデータにおけるマクロブロック位置が動き補償探索
範囲を外れた以降は、復号化されたマクロブロックを前
記フレームデータ格納領域に格納されている過去フレー
ムデータのマクロブロック位置に重ね書きするようにし
た。

【００１０】この方法によれば、フレームメモリ内に１
フレームデータが格納できるフレームデータ格納領域と
動き補償探索範囲に相当する領域である未使用領域とを
形成するように格納アドレスを管理し、復号化されたマ
クロブロックが、動き補償探索範囲内に属するときは、
未使用領域に格納し、動き補償探索範囲を外れた以降
は、フレームデータ格納領域に格納されている過去フレ
ームデータのマクロブロック位置に重ね書きするように
したので、過去フレームデータと現在フレームデータを
メモリ内に共有する際に、復号した画像を一旦別のバッ
ファに格納し、その後バッファから書き戻すという処理
をなくすことが出来る。

【００１１】したがって、処理量の削減が可能となるの
で、ＣＰＵやＤＳＰでのデータ転送の処理負荷を低減で
き、少ないメモリ容量でかつ少ない処理量で、駒落ちや
画質の劣化のない良好な画像復号化が可能となる。

【００１２】本発明の画像復号装置は、フレーム間また
はフィールド間の動き補償予測を用いて圧縮符号化され
た動画像信号を復号する際に、過去フレームデータと前
記過去フレームデータのマクロブロック単位に予測復号
された現在フレームデータとをフレームメモリ内に共有
するメモリ構成法を用いる画像復号装置において、１フ
レームデータと動き補償探索範囲内の複数のマクロブロ
ックとを格納できる容量を有する前記フレームメモリ
と、前記フレームメモリの１フレームデータが格納でき
るフレームデータ格納領域と動き補償探索範囲に相当す
る領域である未使用領域との格納アドレスを管理し、前
記フレームデータ格納領域に格納されている過去フレー
ムデータにおけるマクロブロック位置が動き補償探索範
囲内に属するときは、復号化されたマクロブロックを前
記未使用領域に格納し、前記フレームデータ格納領域に
格納されている過去フレームデータにおけるマクロブロ
ック位置が動き補償探索範囲を外れた以降は、復号化さ
れたマクロブロックを前記フレームデータ格納領域に格
納されている過去フレームデータのマクロブロック位置
に重ね書きするように制御するアドレス管理手段とを具
備することを特徴と採る。

【００１３】この構成によれば、アドレス管理手段が、
１フレームデータと動き補償探索範囲内の複数のマクロ
ブロックとを格納できる容量を有するフレームメモリの
格納アドレスを管理し、フレームメモリ内に１フレーム
データが格納できるフレームデータ格納領域と動き補償
探索範囲に相当する領域である未使用領域とを形成しつ
つ、復号化されたマクロブロックが、動き補償探索範囲
内に属するときは、未使用領域に格納し、動き補償探索
範囲を外れた以降は、フレームデータ格納領域に格納さ
れている過去フレームデータのマクロブロック位置に重
ね書きするように制御するようにしたので、過去フレー
ムデータと現在フレームデータをメモリ内に共有する際
に、復号した画像を一旦別のバッファに格納し、その後
バッファから書き戻すという処理をなくすことが出来
る。

【００１４】したがって、処理量の削減が可能となるの
で、ＣＰＵやＤＳＰでのデータ転送の処理負荷を低減で
き、少ないメモリ容量でかつ少ない処理量で、駒落ちや
画質の劣化のない良好な画像復号化が可能となる。

【００１５】本発明の記録媒体は、フレーム間またはフ
ィールド間の動き補償予測を用いて圧縮符号化された動
画像信号を復号する際に、過去フレームデータと前記過
去フレームデータのマクロブロック単位に予測復号され
た現在フレームデータとをフレームメモリ内に共有する
メモリ構成法を実現するプログラムであって、１フレー
ムデータが格納できるフレームデータ格納領域の他に、
動き補償探索範囲に相当する領域が未使用領域として存
在するように前記フレームメモリの格納アドレスを管理
し、前記フレームデータ格納領域に格納されている過去
フレームデータにおけるマクロブロック位置が動き補償
探索範囲内に属するときは、復号化されたマクロブロッ
クを前記未使用領域に格納し、前記フレームデータ格納
領域に格納されている過去フレームデータにおけるマク
ロブロック位置が動き補償探索範囲を外れた以降は、復
号化されたマクロブロックを前記フレームデータ格納領
域に格納されている過去フレームデータのマクロブロッ
ク位置に重ね書きする手順を含むプログラムがコンピュ
ータに読み取り可能に記録されている構成とした。

【００１６】この構成によれば、フレームメモリ内に１
フレームデータが格納できるフレームデータ格納領域と
動き補償探索範囲に相当する領域である未使用領域とを
形成するように格納アドレスを管理し、復号化されたマ
クロブロックが、動き補償探索範囲内に属するときは、
未使用領域に格納し、動き補償探索範囲を外れた以降
は、フレームデータ格納領域に格納されている過去フレ
ームデータのマクロブロック位置に重ね書きすることに
より、過去フレームデータと現在フレームデータとをフ
レームメモリ内に共有するメモリ構成法を実現するプロ
グラムが記録された記録媒体が提供できる。

【００１７】

【発明の実施の形態】本発明の骨子は、過去フレームデ
ータと現在フレームデータをメモリ内に共有する際に、
復号した画像を一旦別のバッファに格納し、その後バッ
ファからの書き戻すという処理をなくすことにより、デ
ータ転送の処理負荷を削減し、少ないメモリ容量でかつ
少ない処理量で、駒落ちや画質の劣化のない良好な画像
復号化が出来るようにすることである。

【００１８】以下、本発明の実施の形態について、図面
を参照して詳細に説明する。

【００１９】図１は、本発明の一実施の形態に係る画像
復号装置の構成を示すブロック図である。図１に示すよ
うに、本実施の形態に係る画像復号装置は、画像信号復
号化部１００と、動き補償予測部１０１と、フレームメ
モリ１０２と、加算器１０３と、アドレス管理部１０４
とを備えている。

【００２０】画像信号復号化部１００に入力する動画像
信号は、フレーム間またはフィールド間の動き予測を用
いて圧縮符号化された画像信号である。画像信号復号化
部１００は、この動画像信号から差分信号を復号化し、
動き補償予測部１０１と加算器１０３とに出力する。

【００２１】動き補償予測部１０１は、画像信号復号化
部１００からの差分信号とフレームメモリ１０２から読
み出した過去フレームデータとに基づき動きベクトルを
生成して動き補償を行い、加算器１０３に出力する。

【００２２】加算器１０３は、画像信号復号化部１００
からの差分信号と動き補償予測部１０１で動き補償され
た過去フレームデータとを加算し、現在フレームデータ
を出力する。加算器１０３が出力する現在フレームデー
タは、アドレス管理部１０４が指定するフレームメモリ
１０２のアドレスに格納される。

【００２３】フレームメモリ１０２は、複数のマクロブ
ロックと１フレームのデータとを格納できる容量を備え
ている。したがって、フレームメモリ１０２には、フレ
ームデータが格納されるフレームデータ格納領域の他
に、複数のマクロブロックを格納できる格納領域が未使
用領域として存在する。しかし、フレームデータ格納領
域と未使用領域は、固定的に定まっているのではなく、
それらのアドレスを管理するアドレス管理部１０４の制
御下にフレームメモリ１０２内を遷移するようになって
いる。

【００２４】アドレス管理部１０４は、動き補償探索範
囲との関連でフレームメモリ１０２のアドレスを管理し
ている。即ち、アドレス管理部１０４は、フレームデー
タ格納領域に格納されている過去フレームデータにおけ
るマクロブロック位置が動き補償探索範囲内に属すると
きは、加算器１０３が出力する復号化されたマクロブロ
ックを未使用領域に格納して行くようにフレームメモリ
１０２のアドレスを管理している。

【００２５】そして、アドレス管理部１０４は、フレー
ムデータ格納領域に格納されている過去フレームデータ
におけるマクロブロック位置が動き補償探索範囲を外れ
た以降は、加算器１０３が出力する復号化されたマクロ
ブロックを過去フレームデータの格納領域に重ね書きす
るようにフレームメモリ１０２のアドレスを管理してい
る。

【００２６】このように、本実施の形態によるフレーム
メモリ１０２は、アドレス管理部１０４の制御下に、複
数のマクロブロックを格納できる容量の格納領域が未使
用領域とフレームデータを格納できる容量のフレームデ
ータ格納領域とを備え、加算器１０３が出力する現在フ
レームデータが、未使用領域に書き込まれた後に、その
前にフレームデータ格納領域に格納された過去フレーム
データに重ね書きされる形式で格納されるようになって
いる。

【００２７】次に、図２〜図５を用いて、本実施の形態
に係る画像復号装置におけるフレームメモリの共有方法
を説明する。なお、図２は、フレーム画像のフレーム構
成の一例を示す図である。図３は、復号画像格納先が動
き補償の探索範囲内である場合の格納動作を説明する図
である。図４は、復号画像格納先が動き補償の探索範囲
外である場合の格納動作を説明する図である。図５は、
フレームメモリの構成が遷移する状態を説明する図であ
る。

【００２８】図２（ａ）において、フレーム画像の１フ
レームは、例えば、横１7６画素×縦１４４画素で構成
されている。図２（ｂ）において、スライスは、１フレ
ームの左端から右端へ至る一連のマクロブロック集合で
ある。ここでは、１つのスライスは、例えば１１個のマ
クロブロックで構成されているとする。図２（ｃ）にお
いて、マクロブロックは、画像を処理する単位であるい
くつかの画素の集合として、画像復号化、動き補償など
の処理を行うための基本単位であって広く使用されてい
る。ここでは、マクロブロックは、例えば、横１６画素
×縦１６画素で構成されているとする。

【００２９】本実施の形態では、フレームメモリ１０２
の１つの格納領域を過去フレームデータと現在フレーム
とで共有化しようとするものであるが、画像復号化での
動き補償予測復号においては、過去フレーム（Ｎ−１）
のデータが現在フレーム（Ｎ）の動き補償参照画像とし
て使用される。したがって、１つの格納領域を、過去フ
レームデータと現在フレームとで単純に共有化すること
は出来ない。

【００３０】そこで、本実施の形態では、フレームメモ
リ１０２は、フレームデータが格納されるフレームデー
タ格納領域の他に、複数のマクロブロックを格納できる
格納領域が未使用領域として存在するように構成する。
そして、動き補償探索領内にあるときは過去フレームデ
ータは使用中であるので隣接する未使用領域に現在フレ
ームデータを格納し、動き補償探索領域を外れた以後は
現在フレームデータを過去フレームデータの領域に重ね
書きするようにしている。

【００３１】例えば、図３（ａ）に示すフレーム（Ｎ−
１）を格納したフレームデータ領域３０１のみを使用し
て動き補償を行う場合、マクロブロック０からマクロブ
ロック２１までは、後続するマクロブロックの動き補償
探索領域に属するので、フレーム（Ｎ−１）のフレーム
データ領域３０１に復号化されたマクロブロックを格納
することが出来ない。したがって、図３（ｂ）に示すよ
うに、フレームメモリ１０２内に未使用領域３０２とフ
レームデータ格納領域３０３とを隣接して設ける。即
ち、図３（ａ）のフレームデータ領域３０１は、フレー
ムデータ格納領域３０３に対応している。上記の場合に
は、図３（ｂ）に示すように、フレームデータ格納領域
３０３に隣接する未使用領域３０２に、マクロブロック
０からマクロブロック２１までの復号化されたデータを
格納する。

【００３２】そして、図４（ａ）に示すように、フレー
ムデータ領域３０１におけるフレーム（Ｎ−１）のマク
ロブロック２２から動き推定を行った後は、フレーム
（Ｎ−１）のマクロブロック０は、以後使用されない。
したがって、現在フレーム（Ｎ）のマクロブロック２２
の復号後は、図４（ｂ）に示すように、フレーム（Ｎ−
１）のマクロブロック０の位置に格納する。

【００３３】以上の説明から理解できるように、未使用
領域３０２は、動き補償探索領域に相当する容量、つま
り２２個のマクロブロック分のデータを格納することが
出来るように構成する。

【００３４】次に、図５を用いてフレームメモリ１０２
の構成が遷移する状態を説明する。図５（ａ）は、復号
開始前のフレームメモリの構成例に示す。図５（ａ）に
ように、未使用領域５０１は、フレームデータ格納領域
５０２のアドレスの小さい側と隣接している。フレーム
データ格納領域５０２には、Ｎ−１フレームの過去フレ
ームデータが格納されている。

【００３５】図５（ｂ）は、復号中のフレームメモリの
構成例を示す。図５（ｂ）に示すように、過去フレーム
データによる復号が進むにつれて、現在フレームデータ
の先頭マクロブロックが未使用領域の先頭から格納され
て行く。未使用領域５０１の全てが格納された後は、過
去フレームデータの先頭が動き補償探索範囲外になって
いるので、続けて過去フレームデータの先頭に書き込ん
で行く。

【００３６】図５（ｃ）は、１フレーム復号後のフレー
ムメモリの構成例を示す。１フレーム復号後は、フレー
ムメモリの上位に現在フレームデータが格納されるフレ
ームデータ格納領域５０２が存在し、下位に未使用領域
５０１が存在する。

【００３７】続けて復号を行う場合は、同様に未使用領
域５０１に０から２１のマクロブロックを格納して行
き、マクロブロック２２以後は、現在フレームデータの
先頭に重ね書きを行って行く。

【００３８】このように、本実施の形態によれば、フレ
ームメモリに動き補償探索範囲に相当する容量の未使用
領域を備え、その未使用領域に動き補償探索範囲内の復
号データを格納するようにしたので、従来のように復号
した画像を一旦別のバッファに格納し、その後バッファ
からの書き戻すという処理がなくなり、処理量の削減が
可能となる。

【００３９】なお、上記実施の形態では、動画像復号方
法について説明したが、動画像符号化におけるローカル
復号化においても同様に適用することが出来ることは言
うまでもない。

【００４０】

【発明の効果】以上説明したように、本発明によれば、
過去フレームデータと現在フレームデータをメモリ内に
共有する場合に、メモリ転送の処理負荷と必要となるメ
モリの大きさとを減らすことのできる画像復号方法、画
像復号装置及びプログラムを記録した記録媒体を提供す
ることが出来る。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る画像復号装置の構
成を示すブロック図

【図２】本実施の形態で用いるフレーム画像のフレーム
構成の一例を示す図

【図３】復号画像格納先が動き補償の探索範囲内である
場合の格納動作を説明する図

【図４】復号画像格納先が動き補償の探索範囲外である
場合の格納動作を説明する図

【図５】フレームメモリの構成が遷移する状態を説明す
る図。（ａ）は復号前のフレームメモリ構成例を示す
図。（ｂ）は復号中のフレームメモリ構成例を示す図。
（ｃ）は復号後のフレームメモリ構成例を示す図。

【符号の説明】

１００ 画像信号復号化部 １０１ 動き補償予測部 １０２ フレームメモリ １０３ 加算器 １０４ アドレス管理部 ３０１ Ｎ−１フレームのデータのみを格納したフレー
ムデータ領域 ３０２、５０１ 未使用領域 ３０３、５０２ フレームデータ格納領域

Claims (3)

【特許請求の範囲】
1. 【請求項１】 フレーム間またはフィールド間の動き補
   償予測を用いて圧縮符号化された動画像信号を復号する
   際に、過去フレームデータと前記過去フレームデータの
   マクロブロック単位に予測復号された現在フレームデー
   タとをフレームメモリ内に共有するメモリ構成法を用い
   る画像復号方法において、 １フレームデータが格納できるフレームデータ格納領域
   の他に、動き補償探索範囲に相当する領域が未使用領域
   として存在するように前記フレームメモリの格納アドレ
   スを管理し、 前記フレームデータ格納領域に格納されている過去フレ
   ームデータにおけるマクロブロック位置が動き補償探索
   範囲内に属するときは、復号化されたマクロブロックを
   前記未使用領域に格納し、 前記フレームデータ格納領域に格納されている過去フレ
   ームデータにおけるマクロブロック位置が動き補償探索
   範囲を外れた以降は、復号化されたマクロブロックを前
   記フレームデータ格納領域に格納されている過去フレー
   ムデータのマクロブロック位置に重ね書きすることを特
   徴とする画像復号方法。
2. 【請求項２】 フレーム間またはフィールド間の動き補
   償予測を用いて圧縮符号化された動画像信号を復号する
   際に、過去フレームデータと前記過去フレームデータの
   マクロブロック単位に予測復号された現在フレームデー
   タとをフレームメモリ内に共有するメモリ構成法を用い
   る画像復号装置において、 １フレームデータと動き補償探索範囲内の複数のマクロ
   ブロックとを格納できる容量を有する前記フレームメモ
   リと、 前記フレームメモリの１フレームデータが格納できるフ
   レームデータ格納領域と動き補償探索範囲に相当する領
   域である未使用領域との格納アドレスを管理し、前記フ
   レームデータ格納領域に格納されている過去フレームデ
   ータにおけるマクロブロック位置が動き補償探索範囲内
   に属するときは、復号化されたマクロブロックを前記未
   使用領域に格納し、前記フレームデータ格納領域に格納
   されている過去フレームデータにおけるマクロブロック
   位置が動き補償探索範囲を外れた以降は、復号化された
   マクロブロックを前記フレームデータ格納領域に格納さ
   れている過去フレームデータのマクロブロック位置に重
   ね書きするように制御するアドレス管理手段と、を具備
   することを特徴とする画像復号装置。
3. 【請求項３】 フレーム間またはフィールド間の動き補
   償予測を用いて圧縮符号化された動画像信号を復号する
   際に、過去フレームデータと前記過去フレームデータの
   マクロブロック単位に予測復号された現在フレームデー
   タとをフレームメモリ内に共有するメモリ構成法を実現
   するプログラムであって、 １フレームデータが格納できるフレームデータ格納領域
   の他に、動き補償探索範囲に相当する領域が未使用領域
   として存在するように前記フレームメモリの格納アドレ
   スを管理し、 前記フレームデータ格納領域に格納されている過去フレ
   ームデータにおけるマクロブロック位置が動き補償探索
   範囲内に属するときは、復号化されたマクロブロックを
   前記未使用領域に格納し、 前記フレームデータ格納領域に格納されている過去フレ
   ームデータにおけるマクロブロック位置が動き補償探索
   範囲を外れた以降は、復号化されたマクロブロックを前
   記フレームデータ格納領域に格納されている過去フレー
   ムデータのマクロブロック位置に重ね書きする手順を含
   むプログラムがコンピュータに読み取り可能に記録され
   ていることを特徴とする記録媒体。