JP2004236049A - 符号化方法及び復号化方法 - Google Patents
符号化方法及び復号化方法 Download PDFInfo
- Publication number
- JP2004236049A JP2004236049A JP2003022982A JP2003022982A JP2004236049A JP 2004236049 A JP2004236049 A JP 2004236049A JP 2003022982 A JP2003022982 A JP 2003022982A JP 2003022982 A JP2003022982 A JP 2003022982A JP 2004236049 A JP2004236049 A JP 2004236049A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- value
- vertical component
- frame
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】飛越走査によるテレビジョン信号を動き補償フレーム間予測符号化する符号器において、動きベクトルの垂直成分を偶数画素(偶数走査線)単位で探索し、あるいは表現することにより、符号化効率を向上させる。
【解決手段】周知の動き補償フレーム間予測符号器において、例えばブロックマッチングの場合、動きベクトルを探索するために参照するフレームに偏倚(ズレ)を与える計数回路のうち、垂直成分探索のための計数回路では偶数単位で計数する。
【効果】ほぼ現在の回路形式を踏襲しながら、動きベクトル垂直成分を偶数単位で探索することにより、符号化効率の向上、および/あるいは回路構成の簡易化が実現する。
【選択図】 図10
【解決手段】周知の動き補償フレーム間予測符号器において、例えばブロックマッチングの場合、動きベクトルを探索するために参照するフレームに偏倚(ズレ)を与える計数回路のうち、垂直成分探索のための計数回路では偶数単位で計数する。
【効果】ほぼ現在の回路形式を踏襲しながら、動きベクトル垂直成分を偶数単位で探索することにより、符号化効率の向上、および/あるいは回路構成の簡易化が実現する。
【選択図】 図10
Description
【0001】
【発明の属する技術分野】
本発明は、圧縮動画像データの符号化・復号化技術に属するものであり、特に、インタレース画像における動きベクトル表現と動きベクトルの符号化・復号化技術に関する。
【0002】
【従来の技術】
テレビジョン信号(以下、TV信号と記す)の高能率符号化として、動き補償フレーム間予測符号化があり、既に、これに基づくMPEG等がよく知られている。この方法では、周知のように、時間的に異なる2つのフレームを比較して、その中の動く物体が前フレームから如何に移動したかを探索し、その動き分をブロック単位に補償して(それだけ位置を戻して)フレーム間予測を行う。なお、逆方向予測では、未来のフレームから予測する。
【0003】
通常、動きベクトル(MV)の探索は、図1に示すように、ブロックマッチングによって行われる。即ち、現在のフレーム1、fn(x,y) をブロック2(厳密にはマクロブロック)に分け、以下、このブロック毎にMVを探索する。飛越走査では、フレームではなくフィールドの場合もある。これと、過去のフレーム3(双方向予測における逆方向予測では未来のフレームの場合もある)fn−1(x,y) を参照し、このフレーム3を(ξ,η)だけずらして、
SAD(ξ,η)=Σ|fn(x,y)−fn−1(x+ξ,y+η)| (1)
なる差分絶対値和を計算する。これを行うのが、差分絶対値回路4、および総和回路5である。そして、この式(1)における(ξ,η)を、ξ計数回路6、および、η計数回路7により、探索範囲(−LからL)で少しづつ変化させて、SADが最小となる場合の(ξ,η)をMVとする。探索範囲は、水平、垂直とも等しいとは限らない。
【0004】
これを行うため、ある(ξ,η)で得られたSADを以前に求められた最小値記憶回路8の値と比較し、もし以前の最小値より小さい場合、即ち、差分回路9出力が負の場合、このSADを最小値記憶回路8に記憶する。さらにこの時の(ξ,η)をξη記憶回路10に記憶する。
【0005】
この動作を(ξ,η)を変化させながら、探索範囲全体について繰り返す。その結果、SADが最小になる(ξ,η)がξη回路10に記憶されているので、MVとして出力する。なお、ある画像ブロックのMV探索に際しては、SAD最小値の初期値として、十分大きな値を入れておく。
【0006】
(ξ,η)の変更方法としては、例えば、ηをある値にしてξを、−LからLまで、1づつ増やす。これが終ると、ηを、+1して同様なことを繰り返す。
【0007】
変化させる単位としては、図1に示した1画素(垂直方向には1走査線である)単位の他、半画素単位(この場合を半画素精度と言う)がある。例えば、広く用いられているMPEG−2 のMV表現には、画素精度と半画素精度がある。半画素精度の時は実効的に1/2づつ増やす。また、半画素精度で行うための内挿回路が必要であるが、本発明では直接の関係がないため略記する。さらに最近では、1/4や1/8画素精度もあるが、この場合も基本的な構成は同じである。
【0008】
なお、MVの求め方には、上記のフレーム単位の場合の他、フィールド単位の場合がある。符号化において、前者ではMVがマクロブロック当り1本なのに対し、後者では2本を要する。フレーム単位で動きを補償するフレーム予測はゆっくりした動きを伴う部分や静止部分の予測に適しており、フィールド単位で動きを補償するフィールド予測は早い動きを伴う部分の予測に適している。そのため、例えばMPEG−2やMPEG−4では、マクロブロック毎に動き補償の方法をフレーム予測とフィールド予測から選択できる。また、MPEG−2では、さらにフレーム単位で適用する動き補償方法をフレーム予測とフィールド予測から選択できる。
【0009】
そして、MV情報ならびにフレーム構造/フィールド構造の識別情報と、MVだけずらせた前フレームのブロックから現フレームを予測した時の予測誤差を、それぞれ符号化して、両者を合わせて符号化データとする。
【0010】
符号化データの生成方法ならびに符号化データの復元方法については、非特許文献1及び非特許文献2詳細が記載されているため割愛するが、本発明に関連するインタレース信号のマクロブロック構造と動きベクトルの予測符号化手順についてMPEG−4の場合を例として簡単に触れておく。
【0011】
MPEG−4のマクロブロックはフレーム構造であり、16×16画素の輝度ブロック1個と8×8画素の色差ブロック2個(4:2:0フォーマットの場合)から構成される。図4のブロック30が輝度ブロック、ブロック31と32が色差ブロックを示している。図上のラインは信号の走査線を示しており、ここでは、実線が第1フィールド(TOP Field)、破線が第2フィールド(Bottom Field)を意味しているものと考える。
【0012】
MVがマクロブロック当り1本とするフレーム予測の場合には、図4のように2つのフィールドが混在したブロックを単位としてMVの探索と符号化を実施する。この場合、参照とする過去あるいは未来の画像もフレーム構造とする。
【0013】
フィールド単位で動き補償を行う場合には、図5のようにマクロブロックの3信号ブロック40〜42をそれぞれ2個のフィールド単位のブロック(実線がtopフィールドブロック、破線がbottomフィールドブロック)に分け、フィールド単位でMVの探索と符号化を実施する。この場合、参照とする過去あるいは未来の画像もフィールド構造とする。したがって、フィールド単位の動きベクトルの垂直成分の値は、フレーム単位のベクトルの垂直成分に換算すると半分の値となる。
【0014】
一般の符号化方法では、MVはベクトル成分そのものの値ではなく、各成分毎に周囲のブロックから予測値を求め、その差分値を符号化する。復号化側では、復号した差分値に符号化側と同じ方法で求めた予測値を加算することで元の値を再生する。
【0015】
一般的な予測動きベクトルの生成方法を示す。動きベクトルを符号化する対象のブロックを50と仮定する。動きベクトルの水平・垂直成分それぞれについて、隣接位置A, B, Cに位置する3ブロックの動きベクトルを候補としてその中間値を計算し、中間値を各動きベクトル成分の予測値とする。但し、Cに位置するブロックが存在しない場合(画像の外)には、Dに位置するブロックの動きベクトルにて代用する。
【0016】
MPEG−4では、1つのフレーム内にフレーム構造のマクロブロックとフィールド構造のマクロブロックが混在するため、予測の際には垂直成分のフェーズの違いを統一的に扱う処理が必要となる。予測の候補となるA, B, Cに位置するブロックのいずれかがフィールド構造の場合には、そのブロックに属する2本のMVの垂直成分をそれぞれ2倍するとともに、各成分の平均値を求め、1本の予測候補とする。符号化対象ブロック50がフィールド構造の場合には、隣接位置A, B, Cから選択された予測動きベクトルを2本のMVの予測動きベクトルとして用いる。但し、垂直成分については1/2倍した値を予測値する。符号化対象ブロック50がフレーム構造の場合には、予測動きベクトルの垂直成分のフェーズは符号化する符号化対象ブロックの動きベクトルと同じであるため、垂直成分を1/2倍する処理は行わない。
【非特許文献1】
MPEG−2: ITU−T Rec. H.262(2000)|ISO/IEC 13818−2:2000 (2000年12月15日発行)
【非特許文献2】
MPEG−4: ISO/IEC 14496−2:2001 (2001年12月01日発行)
【0017】
【発明が解決しようとする課題】
飛越走査の画像信号をフレーム構造として扱う場合に、MVの垂直成分が、事実上偶数走査線のみと見なすことができるという特徴が既存の標準では見逃されている。そのため、既存の標準では、フレーム構造で動きの補償を行うフレーム予測においても、偶数走査線単位ではなく、奇数走査線も含めた1走査線を単位とした冗長な処理がなされている。
【0018】
【課題を解決するための手段】
フレーム予測を適用する際、垂直方向の動き探索を偶数画素(偶数走査線)のみに限定する。また、MVの垂直成分を偶数値に限定した表現に変更することにより、フレーム予測時のMVの情報量を削減する。
【0019】
【発明の実施の形態】
以下、図面を用いて本願発明を説明する。
【0020】
飛越走査の画像信号、例えばTV信号では、MVの垂直成分は、事実上偶数走査線のみと見なすことができる。これを、図2と図3を用いて説明する。
【0021】
フィールドとフィールドの間に物体が図2に示すように動いたとする。その結果、両フィールドを合わせたフレーム画像は、図3のようになる。即ち、水平移動成分がある場合、フレーム画像においてはその垂直エッジ部分に特有のギザギザが生じる。
【0022】
このようなフレーム画像では、MVの垂直成分は奇数画素(奇数走査線)になり得ない。何故なら、奇数番目走査線と偶数番目走査線における画像のズレ、即ち、ギザギザの様子が、近接するフレームで変わることはほとんどあり得ず、SADが小さくなるためには垂直の偏倚は奇数にならざるを得ないからである。
【0023】
したがって、MVの垂直成分として、奇数画素(奇数走査線)に符号語を割当てる必要がない。
【0024】
本発明では、以上説明したように、飛越走査においては、フレーム予測のMVの垂直成分には偶数画素(偶数走査線)しかないことを利用して、情報量の削減を行い、符号化効率の向上を実現する。
【0025】
即ち、MVの垂直成分については、垂直方向には偶数画素又は偶数走査線のみの偏倚を与えて探索することにより偶数値のみに限定する。そして、非特許文献1や2に定義されるような動きベクトル符号化用の符号化テーブルにおいて偶数値、奇数値の両者に割り与えられている符号語(コード)を、偶数値にのみ与えることによって、同一偶数値に与えられる符号語のビット数を減らす。これにより、符号化効率の向上が図られる。
【0026】
回路構成上では、MVにおける垂直アドレスを変更するη計数回路7において、フレーム予測を行う場合に偶数画素又は偶数走査線のみの偏倚を与える点が従来と異なる。この点を図10に示す。即ち、マクロブロックがフレーム構造の場合には、従来η計数回路7によってηを1だけ増減していたものを、初期値を偶数として2づつ増減するようにスイッチ11を切り替える。これによって、ηは偶数値のみをとることになる。マクロブロックがフィールド構造の場合には、従来の方法と同様にηを1づつ増減する。整数画素探索間隔の設定手順例を図9に示す。ここでは、探索範囲を全探索とし、フレーム/フィールド構造をマクロブロック毎に切り換える場合を例に説明する。まず、探索対象のマクロブロックが切り出され(処理100)、その構造が判定される(処理101)。フレーム構造の場合には、探索開始位置(処理111)の設定後、探索開始位置の水平成分が奇数走査線上の画素の場合には(処理115)、処理112にて偶数画素に修正される。修正の方法としては1画素プラスするなどの手段が考えられる。次に、参照画像をフレーム構造に設定した後(処理113)、探索画素間隔を水平成分1画素、垂直成分2画素に設定する(処理114)。マクロブロック構造がフィールドの場合には、最初にtopフィールドブロック(図5の実線)を切り出す(処理121)。次に、探索開始画素を予測動きベクトルが示す画素に設定し、参照画像をtopフィールドに設定する(処理122と123)。探索画素間隔は、水平成分・垂直成分とも1画素に設定する(処理124)。この処理121〜124をbottomフィールドブロックに対しても実施する。
【0027】
ここでは、全探索を例に説明したが、画素を間引き整数探索を行う場合もある。その場合には、処理114にて垂直成分の探索画素間隔を2の倍数に設定する。また、ここでは予測動きベクトルと探索開始位置としているが、これを0ベクトルとする場合もある。その場合には、処理112は必要ない。
【0028】
又、ここでは、MVの精度を整数画素精度としているが、従来の技術の項目で示したように、これが、半画素精度あるいは1/4画素精度以上の高精度の場合であっても基本構成は同じである。
【0029】
次に、MVの精度を1/2画素精度とした場合を例として、フレーム構造のマクロブロックにおける動きベクトルの符号化ならびに復号化方法を示す。本発明では、垂直方向成分の動きベクトル符号化精度が、マクロブロック構造によって異なるため、精度の異なる動きベクトルがフレーム上に混在する。そのため、精度の低いフレーム構造のマクロブロックに含まれる動きベクトルの垂直成分(…−4,−2, 0, 2, 4…)を、符号化方式にて定められた通常の精度(この例では1/2画素精度, …−2, −1.5, −1, −0.5, 0, 0.5, 1, 1.5, 2…)と同様の方法で符号化することは、決して発生しない値(この例では、−1.5, −1, −0.5, 0.5, 1, 1.5など奇数値と少数値以下第一位が5となる値)を含んだ符号化テーブルを使用することを意味する。これは、符号化効率の面で好ましくない。そこで本発明では、ベクトル表現をスケーリング処理にて変更することにより、符号化効率を低減することなく、通常精度の動きベクトル成分の値と同じ符号化方式(符号化テーブル)を用いることを可能にする。具体的には、フレーム構造のマクロブロックについて、動きベクトルの垂直成分の値を1/4倍(半画素精度の場合)して符号化する。この処理により、垂直成分の値の候補である…−4, −2, 0, 2, 4…は、それぞれ…−1,−0.5, 0, 0.5, 1…として扱われることになる。この際、予測動きベクトルの垂直成分についても、復号側での再現性を確保するため、偶数の値に量子化する。以下に、スケーリング処理の演算式を示す。
下記の式では、MVを1/2画素精度表現の動きベクトル成分を2倍した値、PMVを1/2画素精度表現の予測動きベクトル成分を2倍した値とする。つまり、MVとPMVの値は整数(…−2, −1, 0, 1, 2…)となる。このとき、符号化する差分動きベクトルMVDは以下の式にて算出される。
水平成分:
MVD = MV − PMV
垂直成分:
MVD = (MV − ((PMV>>2)<<2))>>2
または
MVD = (MV>>2) (PMV>>2)
または
MVD = (MV/4) (PMV/4).
このように、フレーム構造のマクロブロックでは、動きベクトルの垂直成分が偶数の数に限定されるため、通常の半画素精度の動きベクトル成分値に対して、1/4倍の値で符号化できる。ここで、割り算でなく、シフト処理を用いているのは、演算工数を減らすためである。垂直成分の第2例について、スケーリング回路の構成例を図11と12に示す。図11では、水平成分への処理を
MVD = (MV>>0) (PMV>>0)
とし、シフト値をフレーム/フィールド構造選択ならびに水平/垂直成分選択という2個のパラメータによってスイッチ203にて切り替える構成である。動きベクトルMVと予測動きベクトルPMVは、それぞれ、スイッチ203によって選択されたシフト値により右シフト演算ユニット201にてシフト処理される。出力値は差分ユニット202にて差分処理され、差分動きベクトルMVDが得られる。図12でも同じ2個のパラメータを用いるが、シフト値ではなく、スイッチ204にて右シフト処理を行うか否かを切り替える構成である。この構成では、水平成分の場合やフィールド構造の場合には、シフト処理は行われない。
【0030】
一方、復号化側では、復号したMVDならびにPMVから、以下の逆スケーリング式にしたがって、各動きベクトル成分の復号MV値を再生する。具体的には、1/2画素精度の動き補償を想定した本例では、フレーム構造のマクロブロックにおける動きベクトルの垂直成分を4倍する。この際、符号化側と同様に予測動きベクトルの垂直成分は、符号化側での再現性を確保するため、偶数の値に量子化する。これらの処理により、フレーム構造のマクロブロックにおける動きベクトルの垂直成分の値は、偶数値に戻される。本処理を行うことにより、復号MV値はすべて1/2画素精度の値に復元され、復号側での動き補償ならびに動きベクトルの予測処理をベクトルの精度を気にせずに統一的に実施することが可能となる。
水平成分:
MV = MVD + PMV
垂直成分:
MV = (MVD<<2) + ((PMV>>2)<<2)
または
MV = (MVD + (PMV>>2))<<2
または
MV = (MVD + (PMV/4))×4.
垂直成分の第2例について、逆スケーリング回路の構成例を図13と14に示す。図13では、水平成分を
MV = (MVD + (PMV>>0))<<0
とし、シフト値をフレーム/フィールド構造ならびに水平/垂直成分という2個のパラメータによってスイッチ203にて切り替える構成である。まず予測動きベクトルPMVは、スイッチ203によって選択されたシフト値により右シフト演算ユニット201にてシフト処理される。シフト処理後の予測動きベクトルと復号された差分動きベクトルMVDは加算ユニット205にて加算処理される。その出力値は、スイッチ203にて選択されたシフト値により左シフト演算ユニット206にて左シフト処理され復号動きベクトルMVを得る。図14でも同じ2個のパラメータを用いるが、シフト値ではなく、スイッチ204にてシフト処理を行うか否かを切り替える構成である。この構成では、水平成分の場合やフィールド構造の場合には、シフト処理は行われない。なお、図11と図13は、2個のパラメータの値に関わらず処理手順が同じであるため、並列処理に向いており、図12と図14は回路規模こそ大きくなるが、高速処理に向いている。さらに、図12と図14については、スイッチ204を用いる代わりに、図15、16に示すように2通りの回路を用意し、パラメータに応じてその使用を切り替えるように設計する方法もある。
【0031】
ここまでは、MV探索時の評価尺度をSADとしてきたが、動きベクトルの影響を考慮した評価尺度を用いるとより効果的である。例えば、符号化する動きベクトルの本数が少ないフレーム構造の場合についてSADから一定値を引くことで、フレーム構造のマクロブロックを選択されやすくする方法がよく用いられる。
【0032】
ここまでは、動きベクトルの精度を半画素精度として説明してきたが、1/4画素精度やそれ以上の高精度でも本発明は適用できる。例えば、1/4画素精度の場合には、フレーム構造のマクロブロックにおける垂直成分の動きベクトル探索について、奇数画素と1/2画素に加えて1/4画素の探索が省略される。この1/4画素精度の場合には、動きベクトルのスケーリング処理では動きベクトルを1/8倍(3ビットシフト)、逆スケーリング処理では8倍する。なお、動き補償の精度が符号化側と復号側で予め定められている通常の符号化/復号化方法では、スケーリング/逆スケーリングを行う際のシフト値は、一意に決定するため、その識別は必要ない。非特許文献2のように2種類の動き補償精度の選択が可能な符号化方式においても、シーケンスあるいはフレームのヘッダ情報として識別情報が伝送されるため、シフト値は事前に知りえる。
【0033】
ここまでは、輝度信号について述べてきたが、ここで色信号についても触れておく。一般の画像符号化方法では、色差信号用の動きベクトルは符号化せず、輝度信号のものをスケーリングして用いる。たとえば、色差フォーマットが4:2:0の場合、輝度信号の動きベクトルの水平・垂直成分をそれぞれ1/2倍して用いる。そのため、本発明を4:2:0色差フォーマットの画像に適用する場合、フレーム構造のマクロブロックにおける輝度信号の動きベクトルの垂直成分の±2.0, 6.0, 10.0....は、色差信号の動きベクトルの垂直成分に換算すると奇数値となる点に注意する必要がある。この場合、フレーム構造の信号としてそのまま奇数値を用いても画像符号化・復号化の手順としては完結しているため方法としての問題は発生しない。しかしながら、これは、1つのマクロブロックにおいて、同一フィールドに属する輝度信号の画素と色差信号の画素が異なるフィールドを対象に動き補償を行うことを意味する。そこで、内挿処理にて生成した同一フィールド内の内挿画素を用いる場合も考えられる。いずれの場合においても、動きベクトルそのものの表現方法ならびに動きベクトルの符号化/復号化方法は変わらないため本発明の構成が適用できる。なお、色差フォーマットが、4:2:2ならびに4:4:4の場合においては、ここで説明した色差信号の問題は発生しない。したがって、本発明の動きベクトル表現ならびに動きベクトル符号化・復号化方法が適用できる。
【0034】
フレーム/フィールド構造を識別する単位としては、図4と図5に示すようなマクロブロック単位の他に、図7と図8に示すように、2個マクロブロックにて区別する場合もある。この場合には、符号化する動きベクトルの数はフレーム構造であってもフィールド構造であっても同じであり、また予測動きベクトルの選定方法も異なるが、フレーム構造における垂直方向の動きベクトル探索ならびに動きベクトルの符号化/復号化については、本発明の構成が適用できる。
【0035】
ここまでは、フレーム/フィールド構造の識別をマクロブロック単位で行う場合について説明してきたが、フレーム単位で切り換える場合もある。この場合には、フレーム構造を選択したフレームに対して、本発明の動きベクトル表現ならびに動きベクトル符号化/復号化方法が適用できる。
【0036】
ここまでは、マクロブロック内の動きベクトルをフレーム構造では1本、フィールド構造では2本として説明してきた。しかしながら、マクロブロックをさらに小ブロックに分割し、その小ブロック単位で動き補償を行う方法も最近では頻繁に用いられる。このように小ブロック分割を実施する符号化/復号化方法おいても、小ブロックがフレーム構造の場合には、動きベクトルの垂直成分を偶数値に限定する本発明の動きベクトル表現ならびに動きベクトル符号化/復号化方法は適用できる。
以下、上記構成に関連した他の実施例を記載する。
(1)ゼロベクトル優遇との関連:画像中に特徴点の乏しい平坦ブロック(空や壁など)では、雑音などの影響で、無意味に大きなMVが探索される場合がある。同様に、[MV垂直成分=奇数]となる場合もあり得る。前者の無意味なMVを避けるため、ゼロベクトル優遇と言う方法が周知である。本発明の場合、このような領域では、しかし、ゼロベクトル優遇により、MV=0(偶数)となる場合が多く、奇数となる場合の数はさらに減る。
(2)MV垂直成分の表現の統一:フィールド単位の予測の場合、MVはフィールド内での走査線数を単位として表している。フレーム予測で、偶数を単位として表すことは、フィールド内の走査線数を単位として表すのと等価であり、統一性があり制御しやすい。
(3)予測モード選択:予測方法の何れのモードを採るかは、符号器設計者の決める所であるが、本願発明を採用することにより、MVが1本でよいフレーム予測が有利となる範囲が拡がる。
(4)MV探索範囲の減少: MVの垂直成分を偶数のみに限定するので、探索ステップ数は当然のことながら半画素精度の場合の1/4以下になる。MV探索は、符号器の処理ステップに占める負担が大きく、これが軽減されれば、回路構成が簡素かされる等の効果がある。
(5)MV垂直成分としては、飛び越し走査画像の特徴を考慮した新規の符号化テーブルを用意することが望ましい。しかし、従来に近い方法としては、偶数値を2で割った値に従来の符号語を割当て、復号の際に2倍するという方法もある。
(6)従来技術の説明や実施例においては、通常用いられているブロックマッチングの場合を示したが、勾配法など、他の手段においても本発明は適用できる。
【0037】
【発明の効果】
ほぼ現在の回路形式を踏襲しながら、動きベクトル垂直成分を偶数単位で探索することにより、符号化効率の向上、および/あるいは回路構成の簡易化が実現する。
【図面の簡単な説明】
【図1】動きベクトルMV探索の公知の一般的な説明図。
【図2】移動する画像例の説明図。
【図3】飛越走査信号からフレーム画像を構成したときの画像例の説明図。
【図4】フレーム構造のマクロブロックの構成を示す図。
【図5】フィールド構造のマクロブロックの構成を示す図。
【図6】予測動きベクトル選定方法の説明図。
【図7】フレーム構造のマクロブロックの別構成を示す図。
【図8】フィールド構造のマクロブロックの構成を示す図。
【図9】整数探索画素設定処理の流れ図。
【図10】本発明における動きベクトルMV探索の回路構成例。
【図11】本発明における動きベクトルスケーリング回路の構成図例。
【図12】本発明における動きベクトルスケーリング回路の構成図別例。
【図13】本発明における復号動きベクトル逆スケーリング回路の構成図例。
【図14】本発明における復号動きベクトル逆スケーリング回路の構成図別例。
【図15】本発明における動きベクトルスケーリング回路の構成図第3例。
【図16】本発明における復号動きベクトル逆スケーリング回路の構成図第3例。
【符号の説明】
1…テレビジョン信号の現フレーム、2…動きベクトルを探索するブロック、3…参照するブロック(例えば前のフレーム)、7…動きベクトルの垂直成分ηを探索するためのη計数回路、9…さらに小さなSADが見付かったとき(差分値が負のとき)、SADやξηをセットするための差分回路、10…探索された動きベクトルの結果を記憶するξη回路、30、60…フレーム構造の輝度ブロック、31、32、61、62…フレーム構造の色差ブロック、40、70…フィールド構造の輝度ブロック、41、42、71、72…フィールド構造の色差ブロック、201…右シフト処理ユニット、203…差分ユニット、203、204…スイッチャー、205…加算ユニット、206…左シフト処理ユニット。
【発明の属する技術分野】
本発明は、圧縮動画像データの符号化・復号化技術に属するものであり、特に、インタレース画像における動きベクトル表現と動きベクトルの符号化・復号化技術に関する。
【0002】
【従来の技術】
テレビジョン信号(以下、TV信号と記す)の高能率符号化として、動き補償フレーム間予測符号化があり、既に、これに基づくMPEG等がよく知られている。この方法では、周知のように、時間的に異なる2つのフレームを比較して、その中の動く物体が前フレームから如何に移動したかを探索し、その動き分をブロック単位に補償して(それだけ位置を戻して)フレーム間予測を行う。なお、逆方向予測では、未来のフレームから予測する。
【0003】
通常、動きベクトル(MV)の探索は、図1に示すように、ブロックマッチングによって行われる。即ち、現在のフレーム1、fn(x,y) をブロック2(厳密にはマクロブロック)に分け、以下、このブロック毎にMVを探索する。飛越走査では、フレームではなくフィールドの場合もある。これと、過去のフレーム3(双方向予測における逆方向予測では未来のフレームの場合もある)fn−1(x,y) を参照し、このフレーム3を(ξ,η)だけずらして、
SAD(ξ,η)=Σ|fn(x,y)−fn−1(x+ξ,y+η)| (1)
なる差分絶対値和を計算する。これを行うのが、差分絶対値回路4、および総和回路5である。そして、この式(1)における(ξ,η)を、ξ計数回路6、および、η計数回路7により、探索範囲(−LからL)で少しづつ変化させて、SADが最小となる場合の(ξ,η)をMVとする。探索範囲は、水平、垂直とも等しいとは限らない。
【0004】
これを行うため、ある(ξ,η)で得られたSADを以前に求められた最小値記憶回路8の値と比較し、もし以前の最小値より小さい場合、即ち、差分回路9出力が負の場合、このSADを最小値記憶回路8に記憶する。さらにこの時の(ξ,η)をξη記憶回路10に記憶する。
【0005】
この動作を(ξ,η)を変化させながら、探索範囲全体について繰り返す。その結果、SADが最小になる(ξ,η)がξη回路10に記憶されているので、MVとして出力する。なお、ある画像ブロックのMV探索に際しては、SAD最小値の初期値として、十分大きな値を入れておく。
【0006】
(ξ,η)の変更方法としては、例えば、ηをある値にしてξを、−LからLまで、1づつ増やす。これが終ると、ηを、+1して同様なことを繰り返す。
【0007】
変化させる単位としては、図1に示した1画素(垂直方向には1走査線である)単位の他、半画素単位(この場合を半画素精度と言う)がある。例えば、広く用いられているMPEG−2 のMV表現には、画素精度と半画素精度がある。半画素精度の時は実効的に1/2づつ増やす。また、半画素精度で行うための内挿回路が必要であるが、本発明では直接の関係がないため略記する。さらに最近では、1/4や1/8画素精度もあるが、この場合も基本的な構成は同じである。
【0008】
なお、MVの求め方には、上記のフレーム単位の場合の他、フィールド単位の場合がある。符号化において、前者ではMVがマクロブロック当り1本なのに対し、後者では2本を要する。フレーム単位で動きを補償するフレーム予測はゆっくりした動きを伴う部分や静止部分の予測に適しており、フィールド単位で動きを補償するフィールド予測は早い動きを伴う部分の予測に適している。そのため、例えばMPEG−2やMPEG−4では、マクロブロック毎に動き補償の方法をフレーム予測とフィールド予測から選択できる。また、MPEG−2では、さらにフレーム単位で適用する動き補償方法をフレーム予測とフィールド予測から選択できる。
【0009】
そして、MV情報ならびにフレーム構造/フィールド構造の識別情報と、MVだけずらせた前フレームのブロックから現フレームを予測した時の予測誤差を、それぞれ符号化して、両者を合わせて符号化データとする。
【0010】
符号化データの生成方法ならびに符号化データの復元方法については、非特許文献1及び非特許文献2詳細が記載されているため割愛するが、本発明に関連するインタレース信号のマクロブロック構造と動きベクトルの予測符号化手順についてMPEG−4の場合を例として簡単に触れておく。
【0011】
MPEG−4のマクロブロックはフレーム構造であり、16×16画素の輝度ブロック1個と8×8画素の色差ブロック2個(4:2:0フォーマットの場合)から構成される。図4のブロック30が輝度ブロック、ブロック31と32が色差ブロックを示している。図上のラインは信号の走査線を示しており、ここでは、実線が第1フィールド(TOP Field)、破線が第2フィールド(Bottom Field)を意味しているものと考える。
【0012】
MVがマクロブロック当り1本とするフレーム予測の場合には、図4のように2つのフィールドが混在したブロックを単位としてMVの探索と符号化を実施する。この場合、参照とする過去あるいは未来の画像もフレーム構造とする。
【0013】
フィールド単位で動き補償を行う場合には、図5のようにマクロブロックの3信号ブロック40〜42をそれぞれ2個のフィールド単位のブロック(実線がtopフィールドブロック、破線がbottomフィールドブロック)に分け、フィールド単位でMVの探索と符号化を実施する。この場合、参照とする過去あるいは未来の画像もフィールド構造とする。したがって、フィールド単位の動きベクトルの垂直成分の値は、フレーム単位のベクトルの垂直成分に換算すると半分の値となる。
【0014】
一般の符号化方法では、MVはベクトル成分そのものの値ではなく、各成分毎に周囲のブロックから予測値を求め、その差分値を符号化する。復号化側では、復号した差分値に符号化側と同じ方法で求めた予測値を加算することで元の値を再生する。
【0015】
一般的な予測動きベクトルの生成方法を示す。動きベクトルを符号化する対象のブロックを50と仮定する。動きベクトルの水平・垂直成分それぞれについて、隣接位置A, B, Cに位置する3ブロックの動きベクトルを候補としてその中間値を計算し、中間値を各動きベクトル成分の予測値とする。但し、Cに位置するブロックが存在しない場合(画像の外)には、Dに位置するブロックの動きベクトルにて代用する。
【0016】
MPEG−4では、1つのフレーム内にフレーム構造のマクロブロックとフィールド構造のマクロブロックが混在するため、予測の際には垂直成分のフェーズの違いを統一的に扱う処理が必要となる。予測の候補となるA, B, Cに位置するブロックのいずれかがフィールド構造の場合には、そのブロックに属する2本のMVの垂直成分をそれぞれ2倍するとともに、各成分の平均値を求め、1本の予測候補とする。符号化対象ブロック50がフィールド構造の場合には、隣接位置A, B, Cから選択された予測動きベクトルを2本のMVの予測動きベクトルとして用いる。但し、垂直成分については1/2倍した値を予測値する。符号化対象ブロック50がフレーム構造の場合には、予測動きベクトルの垂直成分のフェーズは符号化する符号化対象ブロックの動きベクトルと同じであるため、垂直成分を1/2倍する処理は行わない。
【非特許文献1】
MPEG−2: ITU−T Rec. H.262(2000)|ISO/IEC 13818−2:2000 (2000年12月15日発行)
【非特許文献2】
MPEG−4: ISO/IEC 14496−2:2001 (2001年12月01日発行)
【0017】
【発明が解決しようとする課題】
飛越走査の画像信号をフレーム構造として扱う場合に、MVの垂直成分が、事実上偶数走査線のみと見なすことができるという特徴が既存の標準では見逃されている。そのため、既存の標準では、フレーム構造で動きの補償を行うフレーム予測においても、偶数走査線単位ではなく、奇数走査線も含めた1走査線を単位とした冗長な処理がなされている。
【0018】
【課題を解決するための手段】
フレーム予測を適用する際、垂直方向の動き探索を偶数画素(偶数走査線)のみに限定する。また、MVの垂直成分を偶数値に限定した表現に変更することにより、フレーム予測時のMVの情報量を削減する。
【0019】
【発明の実施の形態】
以下、図面を用いて本願発明を説明する。
【0020】
飛越走査の画像信号、例えばTV信号では、MVの垂直成分は、事実上偶数走査線のみと見なすことができる。これを、図2と図3を用いて説明する。
【0021】
フィールドとフィールドの間に物体が図2に示すように動いたとする。その結果、両フィールドを合わせたフレーム画像は、図3のようになる。即ち、水平移動成分がある場合、フレーム画像においてはその垂直エッジ部分に特有のギザギザが生じる。
【0022】
このようなフレーム画像では、MVの垂直成分は奇数画素(奇数走査線)になり得ない。何故なら、奇数番目走査線と偶数番目走査線における画像のズレ、即ち、ギザギザの様子が、近接するフレームで変わることはほとんどあり得ず、SADが小さくなるためには垂直の偏倚は奇数にならざるを得ないからである。
【0023】
したがって、MVの垂直成分として、奇数画素(奇数走査線)に符号語を割当てる必要がない。
【0024】
本発明では、以上説明したように、飛越走査においては、フレーム予測のMVの垂直成分には偶数画素(偶数走査線)しかないことを利用して、情報量の削減を行い、符号化効率の向上を実現する。
【0025】
即ち、MVの垂直成分については、垂直方向には偶数画素又は偶数走査線のみの偏倚を与えて探索することにより偶数値のみに限定する。そして、非特許文献1や2に定義されるような動きベクトル符号化用の符号化テーブルにおいて偶数値、奇数値の両者に割り与えられている符号語(コード)を、偶数値にのみ与えることによって、同一偶数値に与えられる符号語のビット数を減らす。これにより、符号化効率の向上が図られる。
【0026】
回路構成上では、MVにおける垂直アドレスを変更するη計数回路7において、フレーム予測を行う場合に偶数画素又は偶数走査線のみの偏倚を与える点が従来と異なる。この点を図10に示す。即ち、マクロブロックがフレーム構造の場合には、従来η計数回路7によってηを1だけ増減していたものを、初期値を偶数として2づつ増減するようにスイッチ11を切り替える。これによって、ηは偶数値のみをとることになる。マクロブロックがフィールド構造の場合には、従来の方法と同様にηを1づつ増減する。整数画素探索間隔の設定手順例を図9に示す。ここでは、探索範囲を全探索とし、フレーム/フィールド構造をマクロブロック毎に切り換える場合を例に説明する。まず、探索対象のマクロブロックが切り出され(処理100)、その構造が判定される(処理101)。フレーム構造の場合には、探索開始位置(処理111)の設定後、探索開始位置の水平成分が奇数走査線上の画素の場合には(処理115)、処理112にて偶数画素に修正される。修正の方法としては1画素プラスするなどの手段が考えられる。次に、参照画像をフレーム構造に設定した後(処理113)、探索画素間隔を水平成分1画素、垂直成分2画素に設定する(処理114)。マクロブロック構造がフィールドの場合には、最初にtopフィールドブロック(図5の実線)を切り出す(処理121)。次に、探索開始画素を予測動きベクトルが示す画素に設定し、参照画像をtopフィールドに設定する(処理122と123)。探索画素間隔は、水平成分・垂直成分とも1画素に設定する(処理124)。この処理121〜124をbottomフィールドブロックに対しても実施する。
【0027】
ここでは、全探索を例に説明したが、画素を間引き整数探索を行う場合もある。その場合には、処理114にて垂直成分の探索画素間隔を2の倍数に設定する。また、ここでは予測動きベクトルと探索開始位置としているが、これを0ベクトルとする場合もある。その場合には、処理112は必要ない。
【0028】
又、ここでは、MVの精度を整数画素精度としているが、従来の技術の項目で示したように、これが、半画素精度あるいは1/4画素精度以上の高精度の場合であっても基本構成は同じである。
【0029】
次に、MVの精度を1/2画素精度とした場合を例として、フレーム構造のマクロブロックにおける動きベクトルの符号化ならびに復号化方法を示す。本発明では、垂直方向成分の動きベクトル符号化精度が、マクロブロック構造によって異なるため、精度の異なる動きベクトルがフレーム上に混在する。そのため、精度の低いフレーム構造のマクロブロックに含まれる動きベクトルの垂直成分(…−4,−2, 0, 2, 4…)を、符号化方式にて定められた通常の精度(この例では1/2画素精度, …−2, −1.5, −1, −0.5, 0, 0.5, 1, 1.5, 2…)と同様の方法で符号化することは、決して発生しない値(この例では、−1.5, −1, −0.5, 0.5, 1, 1.5など奇数値と少数値以下第一位が5となる値)を含んだ符号化テーブルを使用することを意味する。これは、符号化効率の面で好ましくない。そこで本発明では、ベクトル表現をスケーリング処理にて変更することにより、符号化効率を低減することなく、通常精度の動きベクトル成分の値と同じ符号化方式(符号化テーブル)を用いることを可能にする。具体的には、フレーム構造のマクロブロックについて、動きベクトルの垂直成分の値を1/4倍(半画素精度の場合)して符号化する。この処理により、垂直成分の値の候補である…−4, −2, 0, 2, 4…は、それぞれ…−1,−0.5, 0, 0.5, 1…として扱われることになる。この際、予測動きベクトルの垂直成分についても、復号側での再現性を確保するため、偶数の値に量子化する。以下に、スケーリング処理の演算式を示す。
下記の式では、MVを1/2画素精度表現の動きベクトル成分を2倍した値、PMVを1/2画素精度表現の予測動きベクトル成分を2倍した値とする。つまり、MVとPMVの値は整数(…−2, −1, 0, 1, 2…)となる。このとき、符号化する差分動きベクトルMVDは以下の式にて算出される。
水平成分:
MVD = MV − PMV
垂直成分:
MVD = (MV − ((PMV>>2)<<2))>>2
または
MVD = (MV>>2) (PMV>>2)
または
MVD = (MV/4) (PMV/4).
このように、フレーム構造のマクロブロックでは、動きベクトルの垂直成分が偶数の数に限定されるため、通常の半画素精度の動きベクトル成分値に対して、1/4倍の値で符号化できる。ここで、割り算でなく、シフト処理を用いているのは、演算工数を減らすためである。垂直成分の第2例について、スケーリング回路の構成例を図11と12に示す。図11では、水平成分への処理を
MVD = (MV>>0) (PMV>>0)
とし、シフト値をフレーム/フィールド構造選択ならびに水平/垂直成分選択という2個のパラメータによってスイッチ203にて切り替える構成である。動きベクトルMVと予測動きベクトルPMVは、それぞれ、スイッチ203によって選択されたシフト値により右シフト演算ユニット201にてシフト処理される。出力値は差分ユニット202にて差分処理され、差分動きベクトルMVDが得られる。図12でも同じ2個のパラメータを用いるが、シフト値ではなく、スイッチ204にて右シフト処理を行うか否かを切り替える構成である。この構成では、水平成分の場合やフィールド構造の場合には、シフト処理は行われない。
【0030】
一方、復号化側では、復号したMVDならびにPMVから、以下の逆スケーリング式にしたがって、各動きベクトル成分の復号MV値を再生する。具体的には、1/2画素精度の動き補償を想定した本例では、フレーム構造のマクロブロックにおける動きベクトルの垂直成分を4倍する。この際、符号化側と同様に予測動きベクトルの垂直成分は、符号化側での再現性を確保するため、偶数の値に量子化する。これらの処理により、フレーム構造のマクロブロックにおける動きベクトルの垂直成分の値は、偶数値に戻される。本処理を行うことにより、復号MV値はすべて1/2画素精度の値に復元され、復号側での動き補償ならびに動きベクトルの予測処理をベクトルの精度を気にせずに統一的に実施することが可能となる。
水平成分:
MV = MVD + PMV
垂直成分:
MV = (MVD<<2) + ((PMV>>2)<<2)
または
MV = (MVD + (PMV>>2))<<2
または
MV = (MVD + (PMV/4))×4.
垂直成分の第2例について、逆スケーリング回路の構成例を図13と14に示す。図13では、水平成分を
MV = (MVD + (PMV>>0))<<0
とし、シフト値をフレーム/フィールド構造ならびに水平/垂直成分という2個のパラメータによってスイッチ203にて切り替える構成である。まず予測動きベクトルPMVは、スイッチ203によって選択されたシフト値により右シフト演算ユニット201にてシフト処理される。シフト処理後の予測動きベクトルと復号された差分動きベクトルMVDは加算ユニット205にて加算処理される。その出力値は、スイッチ203にて選択されたシフト値により左シフト演算ユニット206にて左シフト処理され復号動きベクトルMVを得る。図14でも同じ2個のパラメータを用いるが、シフト値ではなく、スイッチ204にてシフト処理を行うか否かを切り替える構成である。この構成では、水平成分の場合やフィールド構造の場合には、シフト処理は行われない。なお、図11と図13は、2個のパラメータの値に関わらず処理手順が同じであるため、並列処理に向いており、図12と図14は回路規模こそ大きくなるが、高速処理に向いている。さらに、図12と図14については、スイッチ204を用いる代わりに、図15、16に示すように2通りの回路を用意し、パラメータに応じてその使用を切り替えるように設計する方法もある。
【0031】
ここまでは、MV探索時の評価尺度をSADとしてきたが、動きベクトルの影響を考慮した評価尺度を用いるとより効果的である。例えば、符号化する動きベクトルの本数が少ないフレーム構造の場合についてSADから一定値を引くことで、フレーム構造のマクロブロックを選択されやすくする方法がよく用いられる。
【0032】
ここまでは、動きベクトルの精度を半画素精度として説明してきたが、1/4画素精度やそれ以上の高精度でも本発明は適用できる。例えば、1/4画素精度の場合には、フレーム構造のマクロブロックにおける垂直成分の動きベクトル探索について、奇数画素と1/2画素に加えて1/4画素の探索が省略される。この1/4画素精度の場合には、動きベクトルのスケーリング処理では動きベクトルを1/8倍(3ビットシフト)、逆スケーリング処理では8倍する。なお、動き補償の精度が符号化側と復号側で予め定められている通常の符号化/復号化方法では、スケーリング/逆スケーリングを行う際のシフト値は、一意に決定するため、その識別は必要ない。非特許文献2のように2種類の動き補償精度の選択が可能な符号化方式においても、シーケンスあるいはフレームのヘッダ情報として識別情報が伝送されるため、シフト値は事前に知りえる。
【0033】
ここまでは、輝度信号について述べてきたが、ここで色信号についても触れておく。一般の画像符号化方法では、色差信号用の動きベクトルは符号化せず、輝度信号のものをスケーリングして用いる。たとえば、色差フォーマットが4:2:0の場合、輝度信号の動きベクトルの水平・垂直成分をそれぞれ1/2倍して用いる。そのため、本発明を4:2:0色差フォーマットの画像に適用する場合、フレーム構造のマクロブロックにおける輝度信号の動きベクトルの垂直成分の±2.0, 6.0, 10.0....は、色差信号の動きベクトルの垂直成分に換算すると奇数値となる点に注意する必要がある。この場合、フレーム構造の信号としてそのまま奇数値を用いても画像符号化・復号化の手順としては完結しているため方法としての問題は発生しない。しかしながら、これは、1つのマクロブロックにおいて、同一フィールドに属する輝度信号の画素と色差信号の画素が異なるフィールドを対象に動き補償を行うことを意味する。そこで、内挿処理にて生成した同一フィールド内の内挿画素を用いる場合も考えられる。いずれの場合においても、動きベクトルそのものの表現方法ならびに動きベクトルの符号化/復号化方法は変わらないため本発明の構成が適用できる。なお、色差フォーマットが、4:2:2ならびに4:4:4の場合においては、ここで説明した色差信号の問題は発生しない。したがって、本発明の動きベクトル表現ならびに動きベクトル符号化・復号化方法が適用できる。
【0034】
フレーム/フィールド構造を識別する単位としては、図4と図5に示すようなマクロブロック単位の他に、図7と図8に示すように、2個マクロブロックにて区別する場合もある。この場合には、符号化する動きベクトルの数はフレーム構造であってもフィールド構造であっても同じであり、また予測動きベクトルの選定方法も異なるが、フレーム構造における垂直方向の動きベクトル探索ならびに動きベクトルの符号化/復号化については、本発明の構成が適用できる。
【0035】
ここまでは、フレーム/フィールド構造の識別をマクロブロック単位で行う場合について説明してきたが、フレーム単位で切り換える場合もある。この場合には、フレーム構造を選択したフレームに対して、本発明の動きベクトル表現ならびに動きベクトル符号化/復号化方法が適用できる。
【0036】
ここまでは、マクロブロック内の動きベクトルをフレーム構造では1本、フィールド構造では2本として説明してきた。しかしながら、マクロブロックをさらに小ブロックに分割し、その小ブロック単位で動き補償を行う方法も最近では頻繁に用いられる。このように小ブロック分割を実施する符号化/復号化方法おいても、小ブロックがフレーム構造の場合には、動きベクトルの垂直成分を偶数値に限定する本発明の動きベクトル表現ならびに動きベクトル符号化/復号化方法は適用できる。
以下、上記構成に関連した他の実施例を記載する。
(1)ゼロベクトル優遇との関連:画像中に特徴点の乏しい平坦ブロック(空や壁など)では、雑音などの影響で、無意味に大きなMVが探索される場合がある。同様に、[MV垂直成分=奇数]となる場合もあり得る。前者の無意味なMVを避けるため、ゼロベクトル優遇と言う方法が周知である。本発明の場合、このような領域では、しかし、ゼロベクトル優遇により、MV=0(偶数)となる場合が多く、奇数となる場合の数はさらに減る。
(2)MV垂直成分の表現の統一:フィールド単位の予測の場合、MVはフィールド内での走査線数を単位として表している。フレーム予測で、偶数を単位として表すことは、フィールド内の走査線数を単位として表すのと等価であり、統一性があり制御しやすい。
(3)予測モード選択:予測方法の何れのモードを採るかは、符号器設計者の決める所であるが、本願発明を採用することにより、MVが1本でよいフレーム予測が有利となる範囲が拡がる。
(4)MV探索範囲の減少: MVの垂直成分を偶数のみに限定するので、探索ステップ数は当然のことながら半画素精度の場合の1/4以下になる。MV探索は、符号器の処理ステップに占める負担が大きく、これが軽減されれば、回路構成が簡素かされる等の効果がある。
(5)MV垂直成分としては、飛び越し走査画像の特徴を考慮した新規の符号化テーブルを用意することが望ましい。しかし、従来に近い方法としては、偶数値を2で割った値に従来の符号語を割当て、復号の際に2倍するという方法もある。
(6)従来技術の説明や実施例においては、通常用いられているブロックマッチングの場合を示したが、勾配法など、他の手段においても本発明は適用できる。
【0037】
【発明の効果】
ほぼ現在の回路形式を踏襲しながら、動きベクトル垂直成分を偶数単位で探索することにより、符号化効率の向上、および/あるいは回路構成の簡易化が実現する。
【図面の簡単な説明】
【図1】動きベクトルMV探索の公知の一般的な説明図。
【図2】移動する画像例の説明図。
【図3】飛越走査信号からフレーム画像を構成したときの画像例の説明図。
【図4】フレーム構造のマクロブロックの構成を示す図。
【図5】フィールド構造のマクロブロックの構成を示す図。
【図6】予測動きベクトル選定方法の説明図。
【図7】フレーム構造のマクロブロックの別構成を示す図。
【図8】フィールド構造のマクロブロックの構成を示す図。
【図9】整数探索画素設定処理の流れ図。
【図10】本発明における動きベクトルMV探索の回路構成例。
【図11】本発明における動きベクトルスケーリング回路の構成図例。
【図12】本発明における動きベクトルスケーリング回路の構成図別例。
【図13】本発明における復号動きベクトル逆スケーリング回路の構成図例。
【図14】本発明における復号動きベクトル逆スケーリング回路の構成図別例。
【図15】本発明における動きベクトルスケーリング回路の構成図第3例。
【図16】本発明における復号動きベクトル逆スケーリング回路の構成図第3例。
【符号の説明】
1…テレビジョン信号の現フレーム、2…動きベクトルを探索するブロック、3…参照するブロック(例えば前のフレーム)、7…動きベクトルの垂直成分ηを探索するためのη計数回路、9…さらに小さなSADが見付かったとき(差分値が負のとき)、SADやξηをセットするための差分回路、10…探索された動きベクトルの結果を記憶するξη回路、30、60…フレーム構造の輝度ブロック、31、32、61、62…フレーム構造の色差ブロック、40、70…フィールド構造の輝度ブロック、41、42、71、72…フィールド構造の色差ブロック、201…右シフト処理ユニット、203…差分ユニット、203、204…スイッチャー、205…加算ユニット、206…左シフト処理ユニット。
Claims (5)
- 飛越走査された画像信号の動き補償フレーム間予測符号化において、フレーム画像のブロック単位に動きベクトルを探索する際に、垂直方向には偶数画素又は偶数走査線のみとする偏倚を与えて探索することを特徴とする符号化方法。
- 飛越走査された2つのフィールド画像から構成されるフレーム画像をブロック分割し、ブロックの動き補償をフレーム構造で行う場合に、動きベクトルの垂直成分の値を偶数の数の精度に限定して動き探索を行うとともに、探索の結果検出された動きベクトルの垂直成分を偶数の数の精度で符号化することを特徴とする符号化方法。
- 飛越走査された2つのフィールド画像から構成されるフレーム画像をブロック分割し、ブロックの動き補償をフレーム構造で行う場合に、動きベクトルの垂直成分を偶数の数に限定して動き探索を行うとともに、探索の結果検出された動きベクトルの垂直成分と偶数の精度に精度修正した予測動きベクトルの垂直成分の差分値を偶数の数の精度で符号化することを特徴とする符号化方法。
- 飛越走査された2つのフィールド画像から構成されるフレーム画像の符号化データをブロック単位で復号する方法であって、ブロックの動き補償をフレーム構造で行う場合に、復号した動きベクトルの垂直成分の値を偶数値に修正することを特徴とする復号化方法。
- 飛越走査された2つのフィールド画像から構成されるフレーム画像の符号化データをブロック単位で復号する方法であって、ブロックの動き補償をフレーム構造で行う場合に、復号した動きベクトルデータの垂直成分の値と偶数の精度に精度修正した予測動きベクトルの垂直成分の値との加算値を算出したのち、該加算値を偶数値に修正することを特徴とする復号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003022982A JP2004236049A (ja) | 2003-01-31 | 2003-01-31 | 符号化方法及び復号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003022982A JP2004236049A (ja) | 2003-01-31 | 2003-01-31 | 符号化方法及び復号化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004236049A true JP2004236049A (ja) | 2004-08-19 |
Family
ID=32951917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003022982A Pending JP2004236049A (ja) | 2003-01-31 | 2003-01-31 | 符号化方法及び復号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004236049A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009088038A1 (ja) * | 2008-01-09 | 2009-07-16 | Mitsubishi Electric Corporation | 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 |
| CN112335248A (zh) * | 2018-06-29 | 2021-02-05 | 英迪股份有限公司 | 使用解码器侧的运动补偿的视频编码方法和装置 |
-
2003
- 2003-01-31 JP JP2003022982A patent/JP2004236049A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009088038A1 (ja) * | 2008-01-09 | 2009-07-16 | Mitsubishi Electric Corporation | 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 |
| JP5197630B2 (ja) * | 2008-01-09 | 2013-05-15 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 |
| CN112335248A (zh) * | 2018-06-29 | 2021-02-05 | 英迪股份有限公司 | 使用解码器侧的运动补偿的视频编码方法和装置 |
| CN112335248B (zh) * | 2018-06-29 | 2023-12-05 | 英迪股份有限公司 | 使用解码器侧的运动补偿的视频编码方法和装置 |
| US12382073B2 (en) | 2018-06-29 | 2025-08-05 | Intellectual Discovery Co., Ltd. | Video coding method and device using motion compensation of decoder side |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8233542B2 (en) | Moving picture signal coding method, decoding method, coding apparatus, and decoding apparatus | |
| JP5368631B2 (ja) | 画像符号化方法、装置、及びプログラム | |
| US7567617B2 (en) | Predicting motion vectors for fields of forward-predicted interlaced video frames | |
| US20040240550A1 (en) | Moving picture signal coding method, decoding method, coding apparatus, and decoding apparatus | |
| CN112292861A (zh) | 用于解码端运动矢量修正的基于误差面的子像素精确修正方法 | |
| CN1882097B (zh) | 运动图像的编码方法、解码方法、编码装置及解码装置 | |
| JP5479648B1 (ja) | 画像符号化方法及び画像復号化方法 | |
| JP5444497B2 (ja) | 画像符号化方法及び画像復号化方法 | |
| JP2014131293A (ja) | 画像符号化方法及び画像復号化方法 | |
| JP5571262B2 (ja) | 画像符号化方法及び画像復号化方法 | |
| JP6609004B2 (ja) | 画像符号化方法及び画像復号化方法 | |
| JP6367452B2 (ja) | 画像符号化方法及び画像復号化方法 | |
| JP6370977B2 (ja) | 画像符号化方法及び画像復号化方法 | |
| JP6271694B2 (ja) | 画像符号化方法及び画像復号化方法 | |
| JP6196341B2 (ja) | 画像符号化方法及び画像復号化方法 | |
| JP5659314B1 (ja) | 画像符号化方法及び画像復号化方法 | |
| JP5571229B2 (ja) | 画像符号化方法及び画像復号化方法 | |
| JP5509398B1 (ja) | 画像符号化方法及び画像復号化方法 | |
| JP2020025308A (ja) | 画像符号化方法及び画像復号化方法 | |
| JP2014131295A (ja) | 画像符号化方法及び画像復号化方法 | |
| JP2000350214A (ja) | 動き補償予測符号化方法及びその装置 | |
| HK1095461B (en) | Moving picture signal coding method, decoding method, coding apparatus, and decoding apparatus | |
| JP2015053729A (ja) | 画像符号化方法及び画像復号化方法 | |
| HK1155017A (en) | Predicting motion vectors for fields of forward-predicted interlaced video frames | |
| KR940020254A (ko) | 개선된 필드시간 적응 움직임 보상기법 |