JPH0595545A - 画像信号の高能率符号化及び復号化装置 - Google Patents

画像信号の高能率符号化及び復号化装置

Info

Publication number
JPH0595545A
JPH0595545A JP35818491A JP35818491A JPH0595545A JP H0595545 A JPH0595545 A JP H0595545A JP 35818491 A JP35818491 A JP 35818491A JP 35818491 A JP35818491 A JP 35818491A JP H0595545 A JPH0595545 A JP H0595545A
Authority
JP
Japan
Prior art keywords
field
frame
mode
motion
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP35818491A
Other languages
English (en)
Other versions
JP3092281B2 (ja
Inventor
Katsuji Igarashi
勝治 五十嵐
Tomoyuki Sato
智之 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to TW081105254A priority Critical patent/TW199257B/zh
Priority to TW81105251A priority patent/TW212235B/zh
Priority to KR1019920013244A priority patent/KR100272812B1/ko
Priority to EP20000201721 priority patent/EP1049335B1/en
Priority to AU23467/92A priority patent/AU662548B2/en
Priority to CA002092295A priority patent/CA2092295C/en
Priority to AT92916244T priority patent/ATE180374T1/de
Priority to DE69232357T priority patent/DE69232357T2/de
Priority to AT98203474T priority patent/ATE224627T1/de
Priority to EP92916244A priority patent/EP0598904B1/en
Priority to EP98203474A priority patent/EP0898426B1/en
Priority to PCT/JP1992/000956 priority patent/WO1993003578A1/ja
Priority to DE69232784T priority patent/DE69232784T2/de
Priority to EP20000201723 priority patent/EP1047270B1/en
Priority to AT98203475T priority patent/ATE209422T1/de
Priority to EP19980203475 priority patent/EP0907289B1/en
Priority to DE69229229T priority patent/DE69229229T2/de
Publication of JPH0595545A publication Critical patent/JPH0595545A/ja
Priority to US08/312,434 priority patent/US5539466A/en
Priority to AU34430/95A priority patent/AU687632B2/en
Application granted granted Critical
Publication of JP3092281B2 publication Critical patent/JP3092281B2/ja
Priority to HK01102047.8A priority patent/HK1032871B/en
Priority to HK01102698.0A priority patent/HK1033059B/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/112Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【構成】 フレーム間,フィールド間の動きベクトルと
絶対値差分和を検出するフレーム/フィールド動き検出
回路22,21と、動き予測と直交変換のブロック化の
第一,第二のモードをそれぞれ判定するフレーム/フィ
ールドモード判定回路33と、ブロック化のモードを適
応切り換える符号化処理モードとブロック化のモードを
フィールドとする符号化処理モードとを判定する符号化
処理モード判定回路34と、回路33の出力を基にフレ
ームメモリ群10を制御するアドレス発生器35と、回
路33,34の出力を基に動作する動き補償器付フレー
ムメモリ群20とを備える。 【効果】 フィールド構成の動画について、動きの少な
い画像も動きの多い画像も、またこれら両者が混在した
画像であってもフィールド処理或いはフレーム処理を効
率よく行うことができる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像信号を直交変換に
よって高能率符号化する画像信号の高能率符号化装置及
びその復号化装置に関するものである。
【0002】
【従来の技術】画像信号を高能率符号化する方式とし
て、例えば、MPEG(Moving PictureExperts Grou
p)による標準化案では、いわゆるディジタルストレー
ジメディア用の画像信号の高能率符号化方式が規定され
ている。ここで、当該方式で対象としているストレージ
メディアは、いわゆるCD(コンパクトディスク)やD
AT(ディジタルオーディオテープ),ハードディスク
等のように、連続的な転送速度が約1.5Mbit/sec以
下のものである。また、これは、直接復号器に接続され
るだけでなく、コンピュータのバス,LAN(ローカル
・エリア・ネットワーク),テレコミュニケーション等
の伝送媒体を介して接続されることも想定されており、
更に、正順再生だけでなく、ランダムアクセスや高速再
生、逆順再生等のような特殊機能についても考慮されて
いる。
【0003】上記MPEGによる画像信号の高能率符号
化方式の原理は、以下に示すようなものである。
【0004】すなわち、この高能率符号化方式では、先
ず、画像間の差分を取ることで時間軸方向の冗長度を落
とし、その後、いわゆる離散コサイン変換(DCT)処
理と可変長符号とを使用して空間軸方向の冗長度を落と
すようにしている。
【0005】先ず、上記時間軸方向の冗長度について以
下に述べる。
【0006】一般に、連続した動画では、時間的に前後
の画像と、ある注目している画像(すなわちある時刻の
画像)とは良く似ているものである。このため、例えば
図22に示すように、今から符号化しようとしている画
像と、時間的に前方の画像との差分を取り、その差分を
伝送するようにすれば、時間軸方向の冗長度を減らして
伝送する情報量を少なくすることが可能となる。このよ
うにして符号化される画像は、後述する前方予測符号化
画像(Predictive-coded picture、Pピクチャ或いはP
フレーム)と呼ばれる。同様に、上記今から符号化しよ
うとしている画像と、時間的に前方或いは後方若しく
は、前方及び後方から作られた補間画像との差分をと
り、それらのうち小さな値の差分を伝送するようにすれ
ば、時間軸方向の冗長度を減らして伝送する情報量を少
なくすることが可能となる。このようにして符号化され
る画像は、後述する両方向予測符号化画像(Bidirectio
nallyPredictive-coded picture、Bピクチャ或いはB
フレーム)と呼ばれる。なお、この図22において、図
中Iで示す画像は後述する画像内符号化画像(イントラ
符号化画像:Intra-coded picture 、Iピクチャ或いは
Iフレーム)を示し、図中Pで示す画像は上記Pピクチ
ャを示し、図中Bで示す画像は上記Bピクチャを示して
いる。
【0007】また、各予測画像を作るためには、いわゆ
る動き補償が行われる。すなわちこの動き補償によれ
ば、例えば8×8画素の単位ブロックにより構成される
例えば16×16画素のブロック(以下マクロブロック
と呼ぶ)を作り、前画像の当該マクロブロックの位置の
近傍で一番差分の少ないところを探索し、この探索され
たマクロブロックとの差分をとることにより、送らなけ
ればならないデータを削減することができる。実際に
は、例えば、上記Pピクチャ(前方予測符号化画像)で
は、動き補償後の予測画と差分をとったものと、当該動
き補償後の予測画と差分をとらないものとのうち、デー
タ量の少ないものを上記16×16画素のマクロブロッ
ク単位で選択して符号化する。
【0008】しかし、上述のような場合、例えば物体が
動いた後ろから出てきた部分(画像)に関しては、多く
のデータを送らなければならない。そこで、例えば上記
Bピクチャ(両方向予測符号化画像)では、既に復号化
された動き補償後の時間的に前方或いは後方の画像及
び、その両者を足して作った補間画像と上記今から符号
化しようとしている画像との差分と、当該差分を取らな
いものすなわち今から符号化しようとしている画像の四
者のうち、一番データ量の少ないものが符号化される。
【0009】次に、上記空間軸方向の冗長度について以
下に述べる。
【0010】画像データの差分は、そのまま伝送するの
ではなく、上記8×8画素の単位ブロック毎に離散コサ
イン変換(DCT)をかける。当該DCTは、画像を画
素レベルでなく、コサイン関数のどの周波数成分がどれ
だけ含まれているかで表現するものであり、例えば2次
元DCTにより、8×8画素の単位ブロックのデータ
は、2次元DCTにより8×8のコサイン関数の成分の
係数ブロックに変換される。例えば、テレビカメラで撮
影したような自然画の画像信号は滑らかな信号になるこ
とが多く、この場合、当該画像信号に対して上記DCT
処理を施すことにより効率良くデータ量を落とすことが
できる。
【0011】すなわち例えば、上述の自然画の画像信号
のような滑らかな信号の場合、上記DCTをかけること
により、ある係数の回りに大きな値が集中するようにな
る。この係数を量子化すると、上記8×8の係数ブロッ
クは殆どが0になり、大きな係数のみが残るようにな
る。そこで、この8×8の係数ブロックのデータを伝送
する際には、いわゆるジグザグスキャンの順で、非零係
数とその係数の前にどれだけ0が続いたかを示すいわゆ
る0ランを一組としたいわゆるハフマン符号で送るよう
にすることで、伝送量を減らすことが可能となる。ま
た、復号器側では、逆の手順で画像を再構成する。
【0012】ここで、上述した符号化方式が取り扱うデ
ータの構造を図23に示す。すなわち、この図23に示
すデータ構造は、下から順に、ブロック層と、マクロブ
ロック層と、スライス層と、ピクチャ層と、グループオ
ブピクチャ(GOP:Groupof Picture)層と、ビデオ
シーケンス層とからなる。以下、この図23において下
の層から順に説明する。
【0013】先ず、上記ブロック層において、当該ブロ
ック層のブロックは、輝度又は色差の隣合った8×8の
画素(8ライン×8画素の画素)から構成される。上述
したDCT(離散コサイン変換)は、この単位ブロック
毎にかけられる。
【0014】上記マクロブロック層において、当該マク
ロブロック層のマクロブロックは、左右及び上下に隣合
った4つの輝度ブロック(輝度の単位ブロック)Y0 ,
Y1,Y2 ,Y3 と、画像上では上記輝度ブロックと同
じ位置に当たる色差ブロック(色差の単位ブロック)C
r ,Cbとの全部で6個のブロックで構成される。これ
らブロックの伝送の順は、Y0 ,Y1 ,Y2 ,Y3 ,C
r ,Cb の順である。ここで、当該符号化方式におい
て、予測画(差分をとる基準の画像)に何を用いるか、
或いは差分を送らなくても良いか等は、このマクロブロ
ック単位で判断される。
【0015】上記スライス層は、画像の走査順に連なる
1つ又は複数のマクロブロックで構成されている。この
スライスの頭(ヘッダ)では、画像内における動きベク
トル及びDC(直流)成分の差分がリセットされ、ま
た、最初のマクロブロックは、画像内での位置を示すデ
ータを持っており、したがってエラーが起こった場合で
も復帰できるようになされている。そのため、上記スラ
イスの長さや始まる位置は任意となり、伝送路のエラー
状態によって変えられるようになっている。
【0016】上記ピクチャ層において、ピクチャすなわ
ち1枚1枚の画像は、少なくとも1つ又は複数の上記ス
ライスから構成される。そして、それぞれが符号化の方
式にしたがって、上述のようなイントラ符号化画像(I
ピクチャ或いはIフレーム),上記前方予測符号化画像
(Pピクチャ或いはPフレーム),両方向予測符号化画
像(Bピクチャ或いはBフレーム),DCイントラ符号
化画像(DC coded (D)picture)の4種類の画像に分類
される。
【0017】ここで、上記イントラ符号化画像(Iピク
チャ)においては、符号化される時に、その画像1枚の
中だけで閉じた情報のみを使用する。したがって、言い
換えれば、復号化する時にIピクチャ自身の情報のみで
画像が再構成できることになる。実際には、差分を取ら
ずにそのままDCT処理して符号化を行う。この符号化
方式は、一般的に効率が悪いが、これを随所に入れてお
けば、ランダムアクセスや高速再生が可能となる。
【0018】上記前方予測符号化画像(Pピクチャ)に
おいては、予測画像(差分をとる基準となる画像)とし
て、入力で時間的に前に位置し既に復号化されたIピク
チャ又はPピクチャを使用する。実際には、動き補償さ
れた予測画像との差を符号化するのと、差を取らずにそ
のまま符号化する(イントラ符号)のと何れか効率の良
い方を上記マクロブロック単位で選択する。
【0019】上記両方向予測符号化画像(Bピクチャ)
においては、予測画像として時間的に前に位置し既に復
号化されたIピクチャ又はPピクチャ及び、その両方か
ら作られた補間画像の3種類を使用する。これにより、
上記3種類の動き補償後の差分の符号化とイントラ符号
との中で一番効率の良いものをマクロブロック単位で選
択できる。
【0020】上記DCイントラ符号化画像は、DCTの
DC係数のみで構成されるイントラ符号化画像であり、
他の3種の画像と同じシーケンスには存在できないもの
である。
【0021】上記グループオブピクチャ(GOP)層
は、1又は複数枚のIピクチャと、0又は複数枚の非I
ピクチャとから構成されている。ここで、符号器への入
力順を、例えば、1I,2B,3B,4P*5B,6
B,7I,8B,9B,10I,11B,12B,13
P,14B,15B,16P*17B,18B,19
I,20B,21B,22Pのようにした時、当該符号
器の出力すなわち復号器の入力は、例えば、1I,4
P,2B,3B*7I,5B,6B,10I,8B,9
B,13P,11B,12B,16P,14B,15B
*19I,17B,18B,22P,20B,21Bと
なる。このように符号器の中で順序の入れ換えがなされ
るのは、例えば、上記Bピクチャを符号化又は復号化す
る場合には、その予測画像となる時間的には後方である
上記Iピクチャ又はPピクチャが先に符号化されていな
くてはならないからである。ここで、上記Iピクチャの
間隔(例えば9)及び、Iピクチャ又はBピクチャの間
隔(例えば3)は自由である。また、Iピクチャ又はP
ピクチャの間隔は、当該グループオブピクチャ層の内部
で変わってもよいものである。なお、グループオブピク
チャ層の切れ目は、上記*で表されている。また、上記
IはIピクチャ、上記PはPピクチャ、上記BはBピク
チャを示している。
【0022】上記ビデオシーケンス層は、画像サイズ、
画像レート等が同じ1又は複数のグループオブピクチャ
層から構成される。
【0023】
【発明が解決しようとする課題】上述したように、上記
MPEGによる高能率符号化方式で標準化された動画像
を伝送する場合には、先ず1枚の画像をピクチャ内で圧
縮した画像が送られ、次にこの画像を動き補償した画像
との差分が伝送される。
【0024】ところが、上記1枚の画像において、例え
ば、フィールドをピクチャとして処理する場合には、2
フィールドで交互に垂直位置が異なることになるため、
例えば静止画を伝送する時にも差分情報を伝送しなけれ
ばならなくなる。
【0025】また、例えば、フレームをピクチャとして
処理する場合には、上記フレーム内で例えば動いている
部分についてはいわゆる櫛形にぶれた画像を処理しなけ
ればならなくなる。すなわち、例えば、図24に示すよ
うに、静止した背景の手前に自動車等の動体CAがある
場合、1フレームを観るとフィールド間で動きがあるた
め、そのような部分は櫛型KSの画像となってしまう。
【0026】更に、例えば、静止部分や動画部分が混在
した画像を処理する場合には、上記フィールドをピクチ
ャとして処理する場合或いはフレームをピクチャとして
処理する場合のいずれの方法を用いたとしても、ピクチ
ャ内に圧縮効率の悪い部分の画像ができてしまうように
なる。
【0027】そこで、本発明は、上述のような実情に鑑
みて提案されたものであり、フィールド構成の動画につ
いて、動きの少ない画像も動きの多い画像も、また、こ
れら両者が混在した画像であってもフィールド処理或い
はフレーム処理を効率よく行うことのできる画像信号の
高能率符号化装置及びその復号化装置を提供することを
目的とするものである。
【0028】
【課題を解決するための手段】このような課題を解決す
るために、本発明による高能率符号化装置は、複数の画
素の2次元配列からなるマクロブロックを単位として符
号化を行う画像信号の高能率符号化装置において、上記
マクロブロック単位でフレーム間の動きベクトルと各画
素の絶対値差分和を検出する手段と上記マクロブロック
単位で上記フレームの画素のスキャンの奇数又は偶数で
分けたものからなるフィールド間の動きベクトルと各画
素の絶対値差分和を検出する手段とからなる動き検出手
段と、上記マクロブロックにおけるフレームを単位とし
て動き補償を行うフレーム予測モードと、上記マクロブ
ロックにおけるフィールドを単位として動き補償を行う
フィールド予測モードとの何れが動き補償をするに際し
て効率が良いかを判定し、効率の良い予測モードを選択
する第一のモード選択手段と、上記マクロブロックにお
けるフレームを単位として直交変換を行うようにブロッ
ク化するフレーム処理モードと上記マクロブロックにお
けるフィールドを単位として直交変換を行うようにブロ
ック化するフィールド処理モードとの何れが直交変換を
行うに際して効率が良いかを上記動き検出手段及び上記
第一のモード選択手段から出力される情報を用いて判定
し、効率の良いブロック化のモードを選択する第二のモ
ード選択手段と、1フレーム内の各マクロブロック毎に
上記ブロック化を上記フレーム処理モード又は上記フィ
ールド処理モードに適応的に切り換え、各モードに基づ
き各マクロブロックを符号化する第一の符号化処理モー
ドと、1フレーム内の全てのマクロブロックの上記ブロ
ック化を上記フィールド処理モードで行い、インタレー
スにおける奇数フィールドのスキャンを行う期間の奇数
サイクルでマクロブロックにおける奇数フィールドのみ
1フレーム分符号化し、次いでインタレースにおける偶
数フィールドのスキャンを行う期間の偶数サイクルでマ
クロブロックにおける偶数フィールドを1フレーム分符
号化する第二の符号化処理モードとの何れが符号化する
に際して効率が良いかを判定し、効率の良い符号化処理
モードを選択する第三のモード選択手段と、上記奇数サ
イクルか上記偶数サイクルかを認識し、上記符号化処理
モードが第一の符号化処理モードの場合には上記奇数サ
イクルで上記ブロック化モードに対応してブロック化さ
れたマクロブロックを出力するようにフレームメモリ群
を制御し、上記符号化処理モードが第二の符号化処理モ
ードの場合には上記奇数サイクル及び偶数サイクルで上
記フィールド処理モードに対応してブロック化されたマ
クロブロックを出力するようにフレームメモリ群を制御
するアドレス発生手段と、上記第一のモード選択手段で
選択された動き予測モード情報と上記第二のモード選択
手段で選択されたブロック化モード情報を受け取り、該
モード情報に対応して動き補償フレーム又はフィールド
間予測を実行する動き補償手段とを備えたものである。
【0029】言い換えれば、本発明の高能率符号化装置
は、2フィールドから1フレームが構成されている動画
像の符号化において、フレーム内の全ブロックについて
奇数フィールド(第1フィールド),偶数フィールド
(第2フィールド)を分割してブロック化し、第1フィ
ールドから第2フィールドを動き予測可能とした符号化
手段(第二の符号化処理モード)と、第1フィールド,
第2フィールドを分割する/分割しないをマクロブロッ
ク単位で切り換えてブロック化する符号化手段(第一の
符号化処理モード)とを有し、フレーム毎にこれらの符
号化手段を適応的に切り換えるようにしたものである。
更に、この場合、符号にこれらの符号化手段を示す1ビ
ットの情報(選択されたモードを示す情報)を付加する
ものである。
【0030】また、本発明の高能率復号化装置は、再生
される画像符号化データ及び検出動きベクトル情報と動
き予測モード情報とブロック化モード情報と符号化処理
モード情報とを含むヘッダ情報を受信して復号化し、上
記復号化された画像復号化データと共に上記検出動きベ
クトル情報と動き予測モード情報とブロック化モード情
報と符号化処理モード情報とを出力する逆可変長符号化
手段と、上記符号化処理モード情報から上記画像復号化
データを蓄積するフレームバッファでのアドレス・イン
クリメント値を算出し、各々のマクロブロックの先頭ア
ドレスを求め、該先頭アドレスを上記フレームバッファ
に与えるアドレス発生手段と、上記先頭アドレス以外の
上記マクロブロックの相対アドレスを上記フレームバッ
ファに加えてデータをアクセスし、上記検出動きベクト
ル情報と上記動き予測モード情報と上記ブロック化モー
ド情報と上記符号化処理モード情報とを受け取り、該モ
ード情報に対応した動き補償を実行し、動き補償された
画像信号を上記フレームバッファに送るように構成した
動き補償手段とを備えたものである。
【0031】
【作用】本発明によれば、第一の符号化処理モードと第
二の符号化処理モードとをマクロブロック単位で切り換
えることができる。第一の符号化処理モードでは、例え
ば画像の動きの大きさに応じてフレーム処理モードとフ
ィールド処理モードを適応的に選ぶことで、効率の良い
符号化ができる。第二の符号化処理モードでは、フレー
ム内の全てのマクロブロックのブロック化をフィールド
処理モードとすることで、例えば特に動きの大きいフレ
ームについて奇数フィールドから偶数フィールドの動き
予測ができるようになり、効率良く動画を符号化できる
ようになる。
【0032】
【実施例】以下、本発明を適用した実施例について図面
を参照しながら説明する。
【0033】図1は本発明の第一の実施例の画像信号の
高能率符号化装置を示すものであり、一画面より小なる
複数画素の2次元配列からなるマクロブロック(例えば
ラスタスキャン順の入力画像データの空間配置における
16×16の画素を1ブロックとするブロック)を単位
として符号化を行う画像信号の高能率符号化装置であ
る。
【0034】この図1に示す第一の実施例の画像信号の
高能率符号化装置は、上記16×16画素の単位ブロッ
ク(マクロブロック)が複数個集まったものからなるフ
レーム(一画面)が複数枚原画像としてメモリされるフ
レームメモリ群10と、上記マクロブロック単位でフレ
ーム間の動きベクトルと各画素の絶対値差分和を検出す
る手段であるフレーム動き検出回路22及び上記マクロ
ブロック単位で上記フレームの画素のスキャンの奇数又
は偶数で分けたものからなるフィールド間の動きベクト
ルと各画素の絶対値差分和を検出するフィールド動き検
出回路21とからなる動き検出手段を有する。
【0035】また、本実施例装置は、上記マクロブロッ
クにおけるフレームを単位として動き補償を行うフレー
ム予測モード(以下フレーム動き予測モードと呼ぶ)と
上記マクロブロックにおけるフィールドを単位として動
き補償を行うフィールド予測モード(以下フィールド動
き予測モードと呼ぶ)との何れが動き補償をするに際し
て効率が良いかを判定して効率の良い動き予測モードを
選択する第一のモード選択手段と、上記マクロブロック
におけるフレームを単位として直交変換(例えば離散コ
サイン変換;DCT)を行うようにブロック化するフレ
ーム処理モード(以下フレーム直交変換モードと呼ぶ)
と上記マクロブロックにおけるフィールドを単位として
直交変換を行うようにブロック化するフィールド処理モ
ード(以下フィールド直交変換モードと呼ぶ)との何れ
が直交変換を行うに際して効率が良いかを上記動き検出
手段及び上記第一のモード選択手段から出力される情報
を用いて判定して効率の良いブロック化のモードを選択
する第二のモード選択手段とからなるフレーム/フィー
ルドモード判定回路33を有する。
【0036】さらに、本実施例装置は、上記動き検出手
段及びフレーム/フィールドモード判定回路33と共
に、1フレーム内の各マクロブロック毎に上記直交変換
のブロック化を上記フレーム直交変換モード又は上記フ
ィールド直交変換モードに適応的に切り換えて各モード
に基づき各マクロブロックを符号化する第一の符号化処
理モードと、1フレーム内の全てのマクロブロックの上
記直交変換のブロック化を上記フィールド直交変換モー
ドで行いインタレースにおける奇数フィールドのスキャ
ンを行う期間の奇数サイクル(オッドサイクル)でマク
ロブロックにおける奇数フィールドのみ1フレーム分符
号化し次いでインタレースにおける偶数フィールドのス
キャンを行う期間の偶数サイクル(イーブンサイクル)
でマクロブロックにおける偶数フィールドを1フレーム
分符号化する第二の符号化処理モードとの何れが符号化
するに際して効率が良いかを判定し、効率の良い符号化
処理モードを選択する第三のモード選択手段である符号
化処理モード判定回路34を有している。
【0037】またさらに、本実施例装置は、上記奇数サ
イクルか上記偶数サイクルかを認識し、上記符号化処理
モードが第一の符号化処理モードの場合には上記奇数サ
イクルで上記直交変換のブロック化のモードに対応して
ブロック化されたマクロブロックを出力するように上記
フレームメモリ群10を制御し、上記符号化処理モード
が第二の符号化処理モードの場合には上記奇数サイクル
及び偶数サイクルで上記フィールド直交変換モードに対
応してブロック化されたマクロブロックを出力するよう
に上記フレームメモリ群10を制御するアドレス発生器
35と、上記第一のモード選択手段で選択された動き予
測モード情報(フレーム/フィールド動き予測モードデ
ータ)と上記第二のモード選択手段で選択されたブロッ
ク化モード情報(フレーム/フィールド直交変換モード
データ)を受け取り、これらモード情報に対応して動き
補償フレーム又はフィールド間予測を実行する動き補償
手段である動き補償器付フレームメモリ群20とを備え
たものである。
【0038】先ず、上記図1に示す本発明の第一の実施
例装置の具体的構成の説明に先立ち、本実施例装置で行
われる画像信号の高能率符号化処理について述べる。
【0039】本実施例の符号化装置では、図2に示すよ
うに、例えば、フレーム内符号化(Iフレーム或いはI
ピクチャ),一方向予測フレーム間符号化(Pフレーム
或いはPピクチャ),双方向ピクチャ間符号化(Bフレ
ーム或いはBピクチャ)の3通りに符号化を行うことが
できる。なお、各ピクチャは、8×8の画素でブロック
化され、2×2ブロック(すなわち16×16の画素)
でマクロブロックを構成する。
【0040】ここで、本実施例の符号化装置において
は、上述した第一のモード選択手段によって上記フレー
ム動き予測モードとフィールド動き予測モードの何れが
動き補償をするに際して効率が良いかを選択し、上記第
二のモード選択手段によって上記フレーム直交変換モー
ドとフィールド直交変換モードの何れが直交変換を行う
に際して効率が良いかを選択することができる。なお、
この第一,第二のモード選択は上述のフレーム/フィー
ルドモード判定回路33によりなされる。
【0041】また、本実施例装置は、上記第一,第二の
モード選択手段によるモード選択処理と共に、各フレー
ムについて2つの符号化処理モードの何れか効率の良い
方で符号化を行うようになされている。すなわち、上述
したように第一の符号化処理モードとしては、1フレー
ム内の各マクロブロック毎に上記フレーム直交変換モー
ドと上記フィールド直交変換モードとを適応的に切り換
えて各マクロブロックを符号化する。更に、上述したよ
うに第二の符号化処理モードとしては、1フレーム内の
全てのマクロブロックの直交変換のブロック化を上記フ
ィールド直交変換モードで行い、奇数フィールド(第1
フィールド)のスキャンを行う期間の奇数サイクルでマ
クロブロックにおける奇数フィールドのみ1フレーム分
符号化し、次いで偶数フィールド(第2フィールド)の
スキャンを行う期間の偶数サイクルでマクロブロックに
おける偶数フィールドを1フレーム分符号化する。上記
第三のモード選択手段によってこれら第一,第二の符号
化処理モードのうち何れが符号化するに際して効率が良
いかを判定し、効率の良い符号化処理モードを選択する
ようにしている。
【0042】すなわち、上記第一の符号化処理モードで
は、各フレームを第1フィールド(奇数フィールド)と
第2フィールド(偶数フィールド)に分割せずにブロッ
ク化して符号化するモード(上記フレーム直交変換モー
ド)と、各フレームを第1,第2フィールドに分割して
フィールドでブロック化して符号化するモード(上記フ
ィールド直交変換モード)とのうち、例えば画像の動き
の小さいマクロブロックでは上記フレーム直交変換モー
ドを用い、逆に例えば画像の動きの大きいマクロブロッ
クでは上記フィールド直交変換モードを用いるように適
応的に切り換える処理を行う。
【0043】したがって、当該第一の符号化処理モード
において上記フレーム直交変換モードが選ばれた場合、
例えば上記P,Bフレームの動き予測では、前後のフレ
ームから動き予測がなされ、この予測画との差分画像が
直交変換(DCT)される。また、当該第一の符号化処
理モードにおいて上記フィールド直交変換モードが選ば
れた場合、例えば上記P,Bフレームの動き予測は、マ
クロブロックの第1フィールド,第2フィールドのそれ
ぞれについて前,後のフレームの第1又は第2フィール
ドから動き予測され、この予測画との差分画像がDCT
変換される。このようなことから、第一の符号化処理モ
ードは、フレーム内フィールド間予測無しの符号化とい
うことができる。また、この第一の符号化処理モードで
は、上記奇数サイクルで符号化処理がなされる。なお、
この第一の符号化処理モードは、フレーム内フィールド
間予測無しの符号化と言うことができる。
【0044】ここで、上記第一の符号化処理モードにお
いては、フレーム内の各フィールド間(同一フレーム内
の奇数フィールドと偶数フィールドとの間の動き予測が
できないことになる。
【0045】したがって、本実施例の上記第二の符号化
処理モードでは、上述したように、各フレーム内の全て
のマクロブロックの直交変換のブロック化を上記フィー
ルド直交変換モードで行うようにしており、奇数サイク
ルでマクロブロックにおける奇数フィールドのみ1フレ
ーム分符号化し、次いで偶数サイクルでマクロブロック
における偶数フィールドを1フレーム分符号化してい
る。したがって、この第二の符号化処理モードによれ
ば、奇数フィールド(第1フィールド)を先に符号化し
ているので、偶数フィールド(第2フィールド)はこの
奇数フィールド(第1フィールド)からの動き予測が可
能となる。なお、このようなことから、上記第二の符号
化処理モードは、フレーム内フィールド間予測有りのフ
レームの符号化と言うことができる。
【0046】再び図1に戻って、この図1の構成を用い
て、本実施例の符号化装置において符号化処理される画
像データの主な流れについて説明する。
【0047】すなわち、この図1において、入力端子1
にはディジタルの画像信号が供給され、上記フレームメ
モリ群10に格納される。当該フレームメモリ群10か
らは、上記16×16画素の単位マクロブロックのデー
タが後述するアドレス発生器35により制御されて読み
出され、差分検出器12に伝送される。当該差分検出器
12には、後述する動き補償器付フレームメモリ群20
からの動き補償された画像データも供給され、当該差分
検出器12でこれらの差分が検出される。
【0048】上記差分検出器12の出力は、直交変換
(DCT)処理を行うDCT回路13に送られる。当該
DCT回路13でDCT処理されて得られたDCT係数
データは、量子化器14に送られる。当該量子化器14
からの量子化データは、例えばいわゆるハフマン符号化
やランレングス符号化等の可変長符号化処理を行う可変
長符号化回路15及びバッファ16を介して、出力端子
2から符号化データとして出力される。
【0049】また、上記動き補償器付フレームメモリ群
20には、上記量子化器14からの量子化データが、当
該量子化器14での量子化処理の逆量子化処理を行う逆
量子化器17と上記DCT回路13でのDCT処理の逆
DCT処理を行う逆DCT回路18とを介し、更に加算
器19を介したデータが供給されるようになっている。
上記加算器19では、上記逆DCT回路18の出力と当
該動き補償器付フレームメモリ群20の出力との加算が
なされる。なお、バッファ16からは、当該バッファ1
6のオーバーフロウを防止するための情報が、上記量子
化器14にフィードバックされるようになっている。
【0050】一方、上記フレームメモリ群10から上記
マクロブロック単位で出力された画像データは、フレー
ム動き検出回路22及びフィールド動き検出回路21に
伝送される。
【0051】上記フレーム動き検出回路22は、上記マ
クロブロック単位でフレーム間の動きベクトルと各画素
の絶対値差分和を検出し、これらのデータ(フレーム間
の動きベクトルのデータFMMVと絶対値差分和のデータ
FMAD)を出力する。また、上記フィールド動き検出回
路21は、上記マクロブロック単位でフィールド間の動
きベクトルと各画素の絶対値差分和を検出し、これらの
データ(フィールド間の動きベクトルのデータFDMVと
絶対値差分和のデータFDAD)を出力する。これら動き
検出回路21及び22の各動きベクトルのデータFMMV
/FDMVは、上記セレクタ24に伝送される。
【0052】また、上記フィールド動き検出回路21と
フレーム動き検出回路22からの各絶対値差分和のデー
タFMAD/FDAD及び各動きベクトルのデータFMMV/
FDMVは、上記フレーム/フィールドモード判定回路3
3にも送られる。
【0053】このフレーム/フィールドモード判定回路
33は、上記フレーム動き検出回路22からの絶対値差
分和データFMADと上記フィールド動き検出回路21か
らの絶対値差分和データFDADとに基づいて、後述する
動き補償器付フレームメモリ群20での動き予測処理の
際に上記フレーム単位で動き予測処理を行うか或いはフ
ィールド単位で動き予測処理を行うかの判定を行い、い
ずれか有利な方(効率の良い方)の動き予測モードを示
すデータを出力するようになっている。具体的にいう
と、このフレーム/フィールドモード判定回路33にお
いて、例えば上記絶対値差分和データFMADと絶対値差
分和データFDADとの差があるしきい値T1 よりも大き
い(FMAD−FDAD>T1 の時)と判定された場合は、
当該回路33から上記フィールド単位で動き予測処理を
行う方が効率が良いことを示すデータ(動き予測におけ
るフィールド動き予測モードのデータMPFD)を出力す
る。逆に、絶対値差分和データFMADと絶対値差分和デ
ータFDADとの差が上記しきい値T1 よりも小さいか或
いは等しい(FMAD−FDAD≦T1 の時)と判定された
場合は、上記フレーム単位で動き予測処理を行う方が効
率が良いことを示すデータ(動き予測におけるフレーム
動き予測モードのデータMPFM)を出力する。
【0054】これら何れかの動き予測モードデータMP
FM/MPFDは、上記動き補償器付フレームメモリ群20
に送られる。また、これら動き予測モードデータMPFM
/MPFDは、セレクタ24にも送られる。
【0055】当該セレクタ24は、上記フレーム/フィ
ールドモード判定回路33からの動き予測モードデータ
MPFM/MPFDに応じて、上記フレーム動き検出回路2
2から供給されているフレーム間の動きベクトルのデー
タFMMVと、上記フィールド動き検出回路21から供給
されているフィールド間の動きベクトルのデータFDMV
のいずれかを選択出力する。すなわち、上記動き予測モ
ードデータがフィールド動き予測モードを示すデータM
PFDの時は上記フィールド動き検出回路21からの動き
ベクトルデータFDMVを選択して出力し、上記動き予測
モードデータがフレーム動き予測モードを示すデータM
PFMの時には上記フレーム動き検出回路22からの動き
ベクトルデータFMMVを選択して出力する。当該セレク
タ24で選択された動きベクトルデータFMMV/FDMV
は、上記動き補償器付フレームメモリ群20に送られる
ようになっている。これにより、当該フレームメモリ群
20では、上記動き予測モードデータMPFM/MPFDと
動きベクトルデータFMMV/FDMVとに基づいて、フレ
ーム単位或いはフィールド単位で動き補償を行うことが
可能となる。
【0056】また更に、上記フレーム/フィールドモー
ド判定回路33には、上記フレームメモリ群10から読
み出された上記マクロブロック単位の画像データも供給
される。当該フレーム/フィールドモード判定回路33
では、上記動き予測モードデータMPFM/MPFD及び上
記動きベクトルデータFMMV/FDMVと、上記フレーム
メモリ群10からの画像データとを用いて差分画像を作
り、当該差分画像に基づいて、上記フレームメモリ群1
0から出力されて上記DCT回路13でDCT処理され
る画像に最も適する直交変換のブロック化の処理のモー
ド(上記フレーム直交変換モード/フィールド直交変換
モード)を選択する処理も同時に行われるようになって
いる。なお、前記Iピクチャ(或いはIフレーム)の場
合は、上記差分画像の代わりにフレームメモリ群10の
画像(原画)のデータを用いる。
【0057】すなわちここで、上記差分画像の例えばマ
クロブロックが例えば図3に示すようなマクロブロック
であったとする(Iピクチャにおいては原画のマクロブ
ロック)。なお、図3において、奇数ライン(o1 ,o
2 ,o3 ,・・・oN 、ただしNはマクロブロックの場
合16)は実線で示し、偶数ライン(e1 ,e2 ,e3
,・・・eN 、ただしNはマクロブロックの場合1
6)は点線で示している。また、偶数ラインの各ピクセ
ルはe(i,j) と表現し、奇数ラインの各ピクセルo(i,
j) と表現している。この図3のような差分画像或いは
原画像(Iピクチャの画像)において、フィールド単位
の上記差分画像の差分EFDは数1の数式で示すことがで
き、フレーム単位の上記差分画像の差分EFMは数2の数
式で示すことができる。
【0058】
【数1】
【0059】
【数2】
【0060】上記フレーム/フィールドモード判定回路
33においては、具体的に、この数1及び数2の数式を
用いてフレームで求めた差分EFMとフィールドで求めた
差分EFDとの差があるしきい値T2 よりも大きい(EFM
−EFD>T2 の時)と判定された場合は、上記DCT回
路13でのDCTをフィールド単位で行うことを示すデ
ータ(直交変換のブロック化処理におけるフィールド直
交変換モードのデータMDFD)を出力する。逆に、上記
差分EFMと上記差分EFDとの差が上記しきい値T2 より
も小さいか或いは等しい(EFM−EFD≦T2 の時)と判
定された場合は、上記DCT回路13でのDCTを上記
フレーム単位で行うことを示すデータ(直交変換のブロ
ック化処理におけるフレーム直交変換モードのデータM
DFM)を出力する。
【0061】ここで、上記フレーム/フィールドモード
判定回路33からのフレーム直交変換モードデータMD
FM或いはフィールド直交変換モードデータMDFDの出力
は、上記符号化処理モード判定回路34からの第一の符
号化処理モード或いは第二の符号化処理モードに対応す
る符号化モードデータEN1/EN2に応じたものとな
される。
【0062】当該符号化処理モード判定回路34は、上
記フレームメモリ群10から読み出された上記マクロブ
ロック単位の画像データを用いて、上述したように、第
一の符号化処理モードと第二の符号化処理モードの何れ
が符号化するに際して効率が良いかを判定し、当該判定
結果に応じた上記符号化モードデータEN1又はEN2
を出力する。具体的にいうと、当該符号化処理モード判
定回路34では、例えば、各フレームの奇数フィールド
(第1フィールド)と偶数フィールド(第2フィール
ド)との間の各画素の絶対値差分和を演算し、この絶対
値差分和の値が例えばあるしきい値T0 未満(すなわち
画像の動きが小さい場合)ならば、上記第一の符号化処
理モードの符号化を行う方が効率が良いことを示す符号
化モードデータEN1を出力し、逆に、上記絶対値差分
和の値が上記しきい値T0 以上(画像の動きが大きい場
合)ならば、上記第二の符号化処理モードの符号化を行
う方が効率が良いことを示す符号化モードデータEN2
を出力するものである。
【0063】なお、上記符号化処理モード判定回路34
における判定の際には、上記フィールド動き検出回路2
1からの動きベクトルデータFDMVを用いて判定を行う
ことも可能である。すなわち、奇数フィールドと偶数フ
ィールドとの間の動きベクトルデータFDMVがあるしき
い値t0 未満ならば第一の符号化処理モードを選択し、
逆に上記しきい値t0 以上ならば第二の符号化処理モー
ドを選択するようなことも可能である。
【0064】当該符号化処理モード判定回路34からの
上記符号化モードデータEN1/EN2が、上記フレー
ム/フィールドモード判定回路33に送られることで、
当該フレーム/フィールドモード判定回路33からは、
上記符号化モードデータEN1/EN2に応じたフレー
ム直交変換モードデータMDFM或いはフィールド直交変
換モードデータMDFDが出力されるようになる。
【0065】すなわち、上記符号化処理モード判定回路
34からの符号化モードデータが上記第一の符号化処理
モードを示すデータEN1であった場合、上記フレーム
/フィールドモード判定回路33は、1フレーム内の各
マクロブロック毎に上記フレーム直交変換モード或いは
フィールド直交変換モードが適応的に切り換える処理を
行う。したがって、当該フレーム/フィールドモード判
定回路33からは、当該適応的に切り換えられた上記フ
レーム直交変換モードMDFM或いはフィールド直交変換
モードデータMDFDが出力されるようになる。
【0066】これに対し、上記符号化処理モード判定回
路34からの符号化モードデータが上記第二の符号化処
理モードを示すデータEN2であった場合、上記フレー
ム/フィールドモード判定回路33では、上述したよう
に、1フレーム内の全てのマクロブロックの直交変換の
ブロック化が上記フィールド直交変換モードで行われ
る。したがって、当該フレーム/フィールドモード判定
回路33からは、上記フィールド直交変換モードデータ
MDFDが出力されるようになる。
【0067】当該フレーム/フィールドモード判定回路
33から出力されるフレーム/フィールド何れかの直交
変換のブロック化のモードデータMDFM/MDFD及び、
上記符号化処理モード判定回路34からの上記符号化モ
ードデータEN1/EN2は、上記アドレス発生器35
及び動き補償器付フレームメモリ群20に伝送される。
なお、上記直交変換モードデータ(MDFM/MDFD)と
上記動き予測モードデータ(MPFM/MPFD)と上記符
号化モードデータEN1/EN2と上記動きベクトルデ
ータ(FMMV/FDMV)とは、上述の可変長符号化回路
15にも送られている。
【0068】上記アドレス発生器35は、上記マクロブ
ロック単位で上記直交変換モードデータMDFM/MDFD
及び上記符号化モードデータEN1/EN2に応じてブ
ロック化されたマクロブロックの画像データを出力する
ようにフレームメモリ群10を制御する。すなわち、当
該アドレス発生器35は、上述したように、例えば上記
符号化モードデータEN1/EN2が上記第一の符号化
処理モードを示すデータEN1の場合には上記奇数サイ
クルで上記直交変換のブロック化のモード(データMD
FM/MDFD)に対応してブロック化されたマクロブロッ
クを出力するようにフレームメモリ群10を制御し、上
記第二の符号化処理モードを示すデータEN2の場合に
は上記奇数サイクル及び偶数サイクルで上記フィールド
直交変換モード(データMDFD)に対応してブロック化
されたマクロブロックを出力するようにフレームメモリ
群10を制御する。
【0069】言い換えれば、例えば、第一の符号化処理
モードが選ばれて上記アドレス発生器35に上記符号化
モードデータEN1が供給されている場合において、例
えば上記直交変換モードデータがフレーム単位でのDC
T処理を示すデータMDFMとなっているならば、当該ア
ドレス発生器35は図4に示すようにイーブンとオッド
が交互にスキャンされたマクロブロック(奇数フィール
ドと偶数フィールドとを合わせたフレーム単位のマクロ
ブロック)を出力するようにフレームメモリ群10を制
御する。すなわち、この場合の上記アドレス発生器34
は、上記図4に示すように、1ライン〜16ラインから
なるマクロブロックを1ライン〜8ラインと9ライン〜
16ラインのように分け、この8×8のブロック4個づ
つ(マクロブロック)出力されるように上記フレームメ
モリ群10を制御する。
【0070】また、第一の符号化処理モードが選ばれて
上記アドレス発生器35に符号化モードデータEN1が
供給されている場合において、例えば上記直交変換モー
ドデータがフィールド単位でのDCT処理を示すデータ
MDFDとなっているならば、上記アドレス発生器35は
図5に示すようにイーブンとオッドのスキャンを別々に
分けてスキャンされたマクロブロック(奇数フィールド
と偶数フィールドのそれぞれフィールド単位のマクロブ
ロック)を出力するようにフレームメモリ群10を制御
する。すなわち、上記アドレス発生器34は、上記図5
に示すように、1ライン,3ライン,5ライン,7ライ
ン,9ライン,11ライン,13ライン,15ライン
(奇数フィールド或いは第1フィールドの各ライン)、
2ライン,4ライン,6ライン,8ライン,10ライ
ン,12ライン,14ライン,16ライン(偶数フィー
ルド或いは第2フィールドの各ライン)のように分割し
て、これら奇数フィールドと偶数フィールドとでそれぞ
れ8×8のブロック2個づつ(マクロブロック)出力さ
れるように上記フレームメモリ群10を制御する。
【0071】なお、上記図4,図5においては、奇数ラ
インは実線で示し、偶数ラインは点線で示している。
【0072】また、例えば、第二の符号化処理モードが
選ばれて上記アドレス発生器35に符号化モードデータ
EN2が供給されている場合においては、上記アドレス
発生器35は上述したように上記奇数サイクル及び偶数
サイクルで上記フィールド直交変換モードに対応してブ
ロック化されたマクロブロックを出力するようにフレー
ムメモリ群10を制御する。すなわち、この第二の符号
化処理モードが選ばれている時の上記アドレス発生器3
5は、常に8×8のブロック2個分づつ(ただし後述す
るように輝度成分のみ)出力されるように上記フレーム
メモリ群10を制御する。具体的に言うと、当該アドレ
ス発生器35は、上記奇数サイクルでは奇数フィールド
のみ上記8×8のブロック2個分のマクロブロックが1
フレーム分(1画面分)出力されるように上記フレーム
メモリ群10を制御し、次いで、上記偶数サイクルでは
偶数フィールドのみ上記8×8のブロック2個分のマク
ロブロックが1フレーム分(1画面分)出力されるよう
に上記フレームメモリ群10を制御する。
【0073】上述のようにして、アドレス発生器35に
よって制御されたフレームメモリ群10から出力された
画像データが、前述のようにDCT回路13でDCT処
理される。すなわち、例えば、上記第一の符号化処理モ
ードが選ばれてフレーム直交変換モードが選ばれている
場合、当該DCT回路13では、上述した図4のような
8×8画素の単位ブロックでDCT変換を行う。また、
例えば、上記第一の符号化処理モードが選ばれフィール
ド直交変換モードが選ばれている場合、上記DCT回路
13では、上述した図5のような8×8画素の単位ブロ
ックでDCT変換を行う。上記第二の符号化処理モード
が選ばれている場合には、上述したように、奇数サイク
ルのとき奇数フィールドのみ上記8×8のブロックでD
CT変換を行い、偶数サイクルのとき偶数フィールドの
み上記8×8のブロックでDCT変換を行う。
【0074】さらに、上記フレーム/フィールドモード
判定回路33からの動き予測モードデータMPFM/MP
FD及び直交変換モードデータMDFM/MDFDと、上記セ
レクタ24で選択された動きベクトルデータFMMV/F
DMVと、上記符号化処理モード判定回路34からの符号
化モードデータEN1/EN2とは、上記動き補償器付
フレームメモリ群20にも供給されるようになってい
る。したがって、当該動き補償器付フレームメモリ群2
0では、上記動き予測における動き予測モードデータM
PFM/MPFD及びDCT処理における直交変換モードデ
ータMDFM/MDFD及び符号化モードデータEN1/E
N2に応じると共に、上記動きベクトルデータFMMV/
FDMVを用いた動き補償が行われる。
【0075】上述のようなことから、上記第一の符号化
処理モードでかつ上記フレーム直交変換モードの時の例
えば上記P,Bフレームの動き予測は、図6に示すよう
に、前,後のフレームから動き予測される。したがっ
て、上記DCT回路13では、当該予測画との差分画像
がDCT変換(8×8画素の単位ブロックでDCT変
換)されることになる。なお、図6には、前フレーム,
現フレーム,後フレームを示し、図中矢印は動きベクト
ルを、MBはマクロブロックを示している。また、上記
第一の符号化処理モードでかつ上記フィールド直交変換
モードの時の上記P,Bフレームの動き予測では、図7
に示すようにマクロブロックの奇数フィールドと偶数フ
ィールドのそれぞれについて前,後のフレームの奇数又
は偶数フィールド(第1又は第2フィールド)から動き
予測がなされる。したがって、上記DCT回路13で
は、当該予測画との差分画像がDCT変換(8×8画素
の単位ブロックでDCT変換)されることになる。な
お、図7には、前フレーム,現フレーム,後フレームの
それぞれの奇数フィールド及び偶数フィールドを示し、
図中矢印は動きベクトルを、MBはマクロブロックを示
している。
【0076】さらに、上記第二の符号化処理モードの場
合の上記フィールド直交変換モードの時の動き予測は、
例えば図8に示すように、マクロブロックの奇数フィー
ルドと偶数フィールドのそれぞれについて前,後のフレ
ームの奇数又は偶数フィールドから動き予測がなされる
と共に、各フレーム内の各フィールド間の動き予測も行
われる。したがって、上記DCT回路13では、当該予
測画との差分画像がDCT変換(8×8画素の単位ブロ
ックでDCT変換)されることになる。なお、図8に
は、前フレーム,現フレーム,後フレームのそれぞれの
奇数フィールド及び偶数フィールドを示し、図中矢印は
動きベクトルを、MBはマクロブロックを示している。
【0077】上述したようなことから、第一の実施例の
画像信号の高能率符号化装置においては、第一,第二の
符号化処理モード(すなわち画像の動きの大きさ)に応
じて、フレーム内のフィールド間予測を行わない符号化
とフレーム内でフィールド間予測を行う符号化とを切り
換えているため、最も効率の良い符号化が可能となって
いる。特に、動きの大きいフレームでは、上記第二の符
号化処理モードが有効となる。
【0078】ところで、上記第一の実施例の符号化装置
は、具体的には、例えばいわゆるディジタルVTRのフ
ォーマット毎に以下に示すような動き予測及びDCT変
換の処理を行っている。
【0079】ここで、図10、図11、図12において
は、前記Iフレーム(Iピクチャ)のフレームを構成す
るフィールドをIo フィールド(Iフレームの奇数フィ
ールド)及びIe フィールド(Iフレームの偶数フィー
ルド)とし、上記Pフレーム(Pピクチャ)を構成する
フィールドをPo フィールド(奇数フィールド)及びP
e フィールド(偶数フィールド)とし、上記Bフレーム
(Bピクチャ)を構成するフィールドをBo フィールド
(奇数フィールド)及びBe フィールド(偶数フィール
ド)としている。
【0080】また、本実施例において、直交変換のブロ
ック化のフレーム直交変換モードは、前述の図4に示し
たように奇数フィールドと偶数フィールドとを合わせて
前記マクロブロックを構成(すなわちフレーム毎にマク
ロブロックを構成)してこのマクロブロックを処理単位
とするモードであり、また、直交変換のブロック化のフ
ィールド直交変換モードは、前述の図5に示したように
奇数フィールドと偶数フィールドとで別々にマクロブロ
ックを構成(すなわちフィールド毎にマクロブロックを
構成)してこのマクロブロックを処理単位とするモード
である。このようなことから、例えば上記Iフレームで
は、上記マクロブロック毎にフレーム直交変換モードと
フィールド直交変換モードとが切り換えられることにな
る。
【0081】さらに、本実施例においては、1つのフレ
ームについて、符号化の処理がインターレースにおける
奇数フィールドのスキャンを行う期間の上記奇数サイク
ル(オッドサイクル)と、偶数フィールドのスキャンを
行う期間の上記偶数サイクル(イーブンサイクル)とで
分けられている。
【0082】したがって、本実施例の場合において、例
えば、いわゆる4:2:0 コンポーネントのディジタルVT
Rフォーマットを扱う際には、例えば図9に示すよう
に、上記直交変換のブロック化がフレーム直交変換モー
ドの時は、例えば、奇数フィールド及び偶数フィールド
からなる輝度ブロックY0 ,Y1 ,Y2 ,Y3 と奇数フ
ィールドの色差ブロックCb0,Cr1とからなるマクロブ
ロックの各単位ブロックのDCT処理が行われる。これ
に対し、上記直交変換のブロック化が上記フィールド直
交変換モードの時は、各奇数フィールドの輝度ブロック
Y02o ,Y13o と各偶数フィールドの輝度ブロックY02
e ,Y13e 及び上記奇数フィールドの色差ブロックCb
0,Cr1からなるマクロブロックの各単位ブロックのD
CT処理が行われる。
【0083】また、本実施例の第一の符号化処理モード
において、上記フレーム動き予測モードの時は、図10
に示すように例えばIフレームとPフレーム間の動き予
測MCPが可能となる。これに対しフィールド動き予測
モードでは、Io フィールドとPo フィールドとの間の
動き予測MCo Poと、Io フィールドとPe フィール
ドとの間の動き予測MCoPe と、Ie フィールドとPo
フィールドとの間の動き予測MCe Po と、Ie フィ
ールドとPe フィールドとの間の動き予測MCe Pe と
が可能となる。すなわち、この図10の場合、動き予測
及び直交変換のモードがフレーム動き予測モード及びフ
レーム直交変換モードと、フィールド動き予測モード及
びフィールド直交変換モードとでそれぞれ独立に存在で
き、フレーム動き予測モードでは動きベクトルが1つ求
められ、フィールド動き予測モードでは動きベクトルが
それぞれ2つ求められる。
【0084】従って、第一の実施例の第一の符号化処理
モードにおいては、例えば、Iフレームの上記直交変換
のブロック化が上記フレーム直交変換モードの時は、上
記奇数サイクル(オッドサイクル)で、上記Io フィー
ルドとIe フィールドとが組み合わされて上記マクロブ
ロックが構成され、例えば上記オッドサイクルで、当該
マクロブロック毎にDCT変換(ただしDCTは8×8
の上記単位ブロック毎になされる),量子化,可変長符
号化がなされる。これに対して、当該フレーム直交変換
モードのイーブンサイクルでは、何もデータは送らな
い。
【0085】また、本実施例の第一の符号化処理モード
において上記直交変換のブロック化がフィールド直交変
換モードの時は、上記オッドサイクルでは上記Io フィ
ールドとIe フィールドとが別々に分かれた形で上記マ
クロブロックが構成され、当該マクロブロック毎にDC
T変換(ただしDCTは8×8の上記単位ブロック毎に
なされる),量子化,可変長符号化がなされる。これに
対して、このフィールド直交変換モードのイーブンサイ
クルでは、図9からも分かるように何もデータは送らな
い。
【0086】上述のようなことから、図11に示すよう
に、更に、上記第一の符号化処理モードで上記Pフレー
ムの場合は、以下の様な処理が行われる。例えば、Pフ
レームの直交変換のブロック化が上記フレーム直交変換
モードで、動き予測が上記フレーム動き予測モードの時
は、上記オッドサイクルでは参照画像を前方向の画像
(Iフレームの画像)としてフレーム間の動きベクトル
MVPを検出し、Io フィールドとIe フィールドが交
互に組み合わされた上記マクロブロックを予測画像とし
て原画像との差分を符号化する。一方、これらモードの
上記イーブンサイクルでは、何もデータは送らない。
【0087】また、上記第一の符号化処理モードでPフ
レームの直交変換のブロック化が上記フレーム直交変換
モードで、動き予測が上記フィールド動き予測モードの
時は、上記オッドサイクルではIo フィールドとIe フ
ィールド(又はPo フィールドとPe フィールド)をそ
れぞれ参照画像として、Io フィールドとPo フィール
ドとの間の動きベクトルMVo Po 、Ie フィールドと
Po フィールドとの間の動きベクトルMVe Po 、Io
フィールドとPe フィールドとの間の動きベクトルMV
o Pe 、Ie フィールドとPe フィールドとの間の動き
ベクトルMVePe を検出し、奇数フィールドの予測と
偶数フィールドの予測と両方の予測(例えば、偶数フィ
ールドの予測と奇数フィールドの予測の平均)の内、現
Pフレームとの予測誤差が最小となる予測を選択し、I
o フィールドとIe フィールドが組み合わされた上記マ
クロブロックを予測画像として原画像との差分を符号化
する。一方、このモードのイーブンサイクルでは何もデ
ータは送らない。
【0088】さらに、上記第一の符号化処理モードでP
フレームの直交変換のブロック化が上記フィールド直交
変換モードで、動き予測が上記フレーム動き予測モード
の時は、上記オッドサイクルでは参照画像をIフレーム
の画像(又はPフレームの画像)として、フレーム間の
動きベクトルMVPを検出し、Io フィールドとIeフ
ィールドが別々に分かれて構成された上記マクロブロッ
クを予測画像として原画像(Po フィールドとPe フィ
ールドが別々に分かれて構成されたマクロブロック)と
の差分を符号化する。一方、このモードのイーブンサイ
クルでは上記同様何もデータは送らない。
【0089】また、上記第一の符号化処理モードでPフ
レームの直交変換のブロック化が上記フィールド直交変
換モードで、動き予測が上記フィールド動き予測モード
の時は、上記オッドサイクルではIo フィールドとIe
フィールド(又はPo フィールドとPe フィールド)を
それぞれ参照画像として、Io フィールドとPo フィー
ルドとの間の動きベクトルMVo Po 、Ie フィールド
とPo フィールドとの間の動きベクトルMVe Po 、I
o フィールドとPe フィールドとの間の動きベクトルM
Vo Pe 、Ie フィールドとPe フィールドとの間の動
きベクトルMVe Pe を検出し、奇数フィールドの予測
と偶数フィールドの予測と両方の予測(例えば、偶数フ
ィールドの予測と奇数フィールドの予測の平均)の内、
現Pフレームとの予測誤差が最小となる予測を選択し、
Io フィールドとIe フィールドが別々に分かれて構成
された上記マクロブロックを予測画像として原画像(P
oフィールドとPe フィールドが別々に分かれて構成さ
れたマクロブロック)との差分を符号化する。一方、こ
のモードのイーブンサイクルでは何もデータは送らな
い。
【0090】さらに、上記第一の符号化処理モードで上
記Bフレームの場合は以下の様な処理が行われる。例え
ば、Bフレームの直交変換のブロック化が上記フレーム
直交変換モードで、動き予測が上記フレーム動き予測モ
ードの時は、上記オッドサイクルでは参照画像を前方と
後方の画像としてフレーム間の動きベクトル、即ち、I
フレームとBフレームとの間の動きベクトルFMVB及
びPフレームとBフレームとの間の動きベクトルBMV
Bを検出し、前方予測と後方予測と両方向予測(前方予
測と後方予測との平均)との内、現フレームとの予測誤
差が最小となる予測を選択し、奇数フィールドと偶数フ
ィールドが交互に組み合わされた上記マクロブロックを
予測画像として原画像との差分を符号化する。一方、こ
のモードのイーブンサイクルでは何もデータは送らな
い。
【0091】また、上記第一の符号化処理モードでBフ
レームの直交変換のブロック化が上記フレーム直交変換
モードで、動き予測が上記フィールド動き予測モードの
時は、上記オッドサイクルでは参照画像を前方と後方の
画像としてこれらの画像について、それぞれ奇数フィー
ルドの予測と偶数フィールドの予測を行い、それぞれの
動きベクトル、即ち、Io フィールドとBo フィールド
との間の動きベクトルFMVo Bo 、Ie フィールドと
Bo フィールドとの間の動きベクトルFMVeBo 、Io
フィールドとBe フィールドとの間の動きベクトルF
MVo Be、Ie フィールドとBe フィールドとの間の
動きベクトルFMVe Be 、Po フィールドとBo フィ
ールドとの間の動きベクトルBMVo Bo 、Pe フィー
ルドとBo フィールドとの間の動きベクトルBMVe B
o 、Po フィールドとBe フィールドとの間の動きベク
トルBMVo Be 、Pe フィールドとBe フィールドと
の間の動きベクトルBMVe Be を検出し、それぞれの
ベクトルによる奇数フィールドの予測と偶数フィールド
の予測と両方の予測(例えば、偶数フィールドの予測と
奇数フィールドの予測の平均)の内、現フレームとの予
測誤差が最小となる予測を選択し、Io フィールドとI
e フィールド(又はPo フィールドとPeフィールド)
が組み合わされた上記マクロブロックを予測画像として
原画像との差分を符号化する。一方、このモードのイー
ブンサイクルでは何もデータは送らない。
【0092】さらに、上記第一の符号化処理モードでB
フレームの直交変換のブロック化が上記フィールド直交
変換モードで、動き予測が上記フレーム動き予測モード
の時は、上記オッドサイクルでは参照画像を前方と後方
の画像としてフレーム間の動きベクトル、即ち、Iフレ
ームとBフレームとの間の動きベクトルFMVB及びP
フレームとBフレームとの間の動きベクトルBMVBを
検出し、前方予測と後方予測と両方向予測(前方予測と
後方予測との平均)との内、現フレームとの予測誤差が
最小となる予測を選択し、奇数フィールドと偶数フィー
ルドが別々に分かれて構成された上記マクロブロックを
予測画像として原画像との差分を符号化する。一方、こ
のモードのイーブンサイクルでは何もデータは送らな
い。
【0093】また、上記第一の符号化処理モードでBフ
レームの直交変換のブロック化が上記フィールド直交変
換モードで動き予測が上記フィールド動き予測モードの
時は、上記オッドサイクルでは参照画像を前方と後方の
画像としてこれらの画像について、それぞれ奇数フィー
ルドの予測と偶数フィールドの予測を行い、それぞれの
動きベクトル、即ち、Io フィールドとBo フィールド
との間の動きベクトルFMVo Bo 、Ie フィールドと
Bo フィールドとの間の動きベクトルFMVeBo 、Io
フィールドとBe フィールドとの間の動きベクトルF
MVo Be、Ie フィールドとBe フィールドとの間の
動きベクトルFMVe Be 、Po フィールドとBo フィ
ールドとの間の動きベクトルBMVo Bo 、Pe フィー
ルドとBo フィールドとの間の動きベクトルBMVe B
o 、Po フィールドとBe フィールドとの間の動きベク
トルBMVo Be 、Pe フィールドとBe フィールドと
の間の動きベクトルBMVe Be を検出し、それぞれの
ベクトルによる奇数フィールドの予測と偶数フィールド
の予測と両方の予測(例えば、偶数フィールドの予測と
奇数フィールドの予測の平均)の内、現フレームとの予
測誤差が最小となる予測を選択し、Io フィールドとI
e フィールド(又はPo フィールドとPeフィールド)
が別々に分かれて構成された上記マクロブロックを予測
画像として原画像との差分を符号化する。一方、このモ
ードのイーブンサイクルでは何もデータは送らない。
【0094】ただし、本実施例の第一の符号化処理モー
ドの場合、前記図10からもわかる様にIo フィールド
とIe フィールドとの間の動き予測と、Po フィールド
とPe フィールドとの間の動き予測と、Boフィールド
とBe フィールドとの間の動き予測ができない。
【0095】この場合、本実施例の上記第二の符号化処
理モードを用いれば、それぞれのピクチャにおいて、奇
数フィールドから偶数フィールドへの予測ができる。す
なわち、上記第二の符号化処理モードの際の上記フィー
ルド直交変換モードの時は、オッドサイクルで上記奇数
フィールドの各輝度ブロックY02o ,Y13o と上記奇数
フィールドの各色差ブロックCb0,Cr1との各単位ブロ
ックをDCT処理する。その後、イーブンサイクルで偶
数フィールドの各輝度ブロックY02e ,Y13eの各単位
ブロックをDCT処理する。
【0096】この第二の符号化処理モードの場合の動き
予測は、図12に示すように、上記図10の各動き予測
MVP,MCo Po ,MCo Pe ,MCe Po ,MCe
Peの他に、Io フィールドとIo フィールドとの間の
動き予測SMCIと、Po フィールドとPe フィールド
との間の動き予測SMCPが可能となる。
【0097】従って、上記第二の符号化処理モードの上
記フィールド直交変換モードの場合は、上記オッドサイ
クルでマクロブロックの奇数フィールドのみを符号化
し、イーブンサイクルでマクロブロックの偶数フィール
ドのみを符号化する。これにより例えば上記オッドサイ
クルの終わった時点では、後述する復号器側では上記I
o フィールドの全面が得られることになる。したがっ
て、Iフレームの上記イーブンサイクルでは、上記フィ
ールド直交変換モードによるIe フィールドのマクロブ
ロックについて、図11に示すように、上記Ioフィー
ルドを参照画像として動き予測を行い、その動きベクト
ルSMVI及び予測画像との差分画像を符号化すること
ができる。
【0098】また、図11に示すように、上記第二の符
号化処理モードのPフレームの場合は以下のような処理
が行われる。例えば、上記Pフレームの動き予測がフレ
ーム動き予測モードの時は、上記オッドサイクルとイー
ブンサイクルの後に参照画像を前方向の画像(Iフレー
ムの画像)としてフレーム間の動きベクトルMVPを検
出し、Io フィールドとIe フィールドが組み合わされ
た上記マクロブロックを予測画像として原画像との差分
を符号化する。
【0099】第二の符号化処理モードのPフレームの動
き予測がフィールド動き予測モードの時は、上記オッド
サイクルではIo フィールドとIeフィールドをそれぞ
れ参照画像像として、Io フィールドとPo フィールド
との間の動きベクトルMVoPo 、Ie フィールドとP
oフィールドとの間の動きベクトルMVe Poを検出す
る。このモードのイーブンサイクルでは、フィールド直
交変換モードのマクロブロックに対し、Ioフィールド
とPe フィールドとの間の動きベクトルMVoPe 及
び、Ie フィールドとPe フィールドとの間の動きベク
トルMVe Pe 及び、Po フィールドとPe フィールド
との間の動きベクトルSMVPを検出し、それぞれのベ
クトルによる奇数フィールドの予測と偶数フィールドの
予測と現フレームの奇数フィールドの予測とそれらの内
から2つの予測の平均による予測との中から予測誤差が
最小となる予測を選択し、その予測画像との差分を符号
化する。
【0100】更に例えば、第二の符号化処理モードで上
記Bフレームの動き予測がフレーム動き予測モードの時
は、上記オッドサイクルとイーブンサイクルの後に参照
画像を前方と後方の画像としてフレーム間の動きベクト
ルすなわちIフレームとBフレームとの間の動きベクト
ルFMVB及びPフレームとBフレームとの間の動きベ
クトルBMVBを検出し、前方予測と後方予測と両方向
予測(前方予測と後方予測との平均)との内、現フレー
ムとの予測誤差が最小となる予測を選択し、その予測画
像との差分を符号化する。
【0101】また、第二の符号化処理モードで上記Bフ
レームの動き予測がフィールド動き予測モードの時は、
上記オッドサイクルで参照画像を前方と後方としてこれ
ら画像についてそれぞれ奇数フィールドの予測と偶数フ
ィールドの予測を行い、それぞれの動きベクトルすなわ
ちIo フィールドとBo フィールドとの間の動きベクト
ルFMVo Bo ,Ie フィールドとBo フィールドとの
間の動きベクトルFMVe Bo ,Po フィールドとBo
フィールドとの間の動きベクトルBMVo Bo,Pe フ
ィールドとBo フィールドとの間の動きベクトルBMV
e Bo を検出する。以下上述と同様にして予測誤差が最
小となる予測を選択し、その予測画像との差分を符号化
する。更に、このモードのイーブンサイクルでは、Io
フィールドとBe フィールドとの間の動きベクトルFM
Vo Be ,Ie フィールドとBeフィールドとの間の動
きベクトルFMVe Be ,Po フィールドとBe フィー
ルドとの間の動きベクトルBMVo Be ,Peフィール
ドとBe フィールドとの間の動きベクトルBMVe Be
による各予測、更に、現フレームの奇数フィールドの予
測(すなわちBo フィールドBe フィールドとの間の動
きベクトルSMVBによる予測)も加えて行い、予測誤
差が最小となる予測を選択し、その予測画像との差分を
符号化する。
【0102】更に、本実施例の場合において、例えば、
いわゆる4:2:2 コンホーネントのディジタルVTRフォ
ーマットを扱う際には、例えば図13に示すように、上
記フレーム直交変換モードの時は、例えば奇数フィール
ド及び偶数フィールドからなる輝度ブロックY0 ,Y1
,Y2 ,Y3 及び奇数フィールドと偶数フィールドか
らなる色差ブロックCb01 ,Cr01 ,Cb23 ,Cr23 で
構成されるマクロブロックの各単位ブロックのDCT処
理が行われる。フィールド直交変換モードの時は、奇数
フィールドの各輝度ブロックY02o ,Y13o 及び各奇数
フィールドの色差ブロックCb0123o,Cr0123oと、偶数
フィールドの各輝度ブロックY02e ,Y13e 及び各偶数
フィールドの色差ブロックCb0123e,Cr0123eからなる
マクロブロックの各単位ブロックのDCT処理が行われ
る。
【0103】また、この図13の例の場合の第一の符号
化処理モードにおける動き予測は、上述した図10に示
すようになる。ただし、この場合も上述同様に、Io フ
ィールドとIe フィールドとの間の動き予測と、Po フ
ィールドとPe フィールドとの間の動き予測と、Bo フ
ィールドとBe フィールドとの間の動き予測ができな
い。
【0104】したがって、この場合は上述のように、第
二の符号化処理モードを用いればよい。すなわち、上記
第二の符号化処理モードの際の上記フィールド直交変換
モードの時は、オッドサイクルで上記奇数フィールドの
各輝度ブロックY02o ,Y13o と上記奇数フィールドの
各色差ブロックCb0123o,Cr0123oとの各単位ブロック
をDCT処理する。その後、イーブンサイクルで偶数フ
ィールドの各輝度ブロックY02e ,Y13e 及び偶数フィ
ールドの各色差ブロックCb0123e,Cr0123eの各単位ブ
ロックをDCT処理する。
【0105】この図13の例の場合の動き予測は、図1
1と同様になる。
【0106】また更に、本実施例において、上記4:2:2
コンポーネントのディジタルVTRフォーマットを扱う
場合は、上述した図13のような処理の他に、例えば、
図14に示すように、フレームの動き予測はマクロブロ
ックMB単位で行うが、フィールドの動き予測をする場
合には、あるマクロブロックMB(i,j) と、その下に位
置するマクロブロックMB(i+1,j)とを組にして、この
マクロブロックの組MBg に対して奇数フィールドの動
き予測と偶数フィールドの動き予測を行うようにするこ
とも可能である。
【0107】この図14の例の場合のフレームの一部の
マクロブロックを抜き出したものを図15に示す。な
お、図15の図中矢印方向に処理が進むとする。すなわ
ち、この図15には、あるマクロブロックMB(i,j) に
対して次のマクロブロックMB(i,j+1) と、それらの下
に位置する(次のラインの)マクロブロックMB(i+1,
j) 及びMB(i+1,j+1) を示している。
【0108】この図15に示すようなマクロブロックに
おいて、例えば、フレーム直交変換モードの場合は、各
マクロブロックMB(i,j) ,MB(i,j+1) ,・・・,M
B(i+1,j) ,MB(i+1,j+1) ・・・毎に、各輝度ブロッ
クY0 ,Y1及び色差ブロックCb01 ,Cr01 がDCT
処理される。このため、当該フレーム直交変換モードの
場合は、各マクロブロックの処理が他のマクロブロック
の直交変換モードに影響されない。
【0109】これに対し、フィールド直交変換モードの
場合は、図16に示すように、上記マクロブロックの組
MBg に対して、当該マクロブロックの組MBg を構成
するマクロブロックを奇数フィールドのマクロブロック
MBgoと偶数フィールドのマクロブロックMBgeに分
け、上記奇数フィールドのマクロブロックMBgo内の各
輝度ブロックY0o ,Y1oと色差ブロックCb01o,Cr0
1oをDCT処理する。ここで、例えば当該マクロブロッ
クの組MBg が、上記図15のマクロブロックMB(i,
j) とMB(i+1,j) とで構成されているとすると、当該
マクロブロックMBg 内の上記奇数フィールドのマクロ
ブロックMBgo内の輝度ブロックY0o ,Y1oは、上記
マクロブロックMB(i,j) の奇数フィールドの輝度ブロ
ックと上記マクロブロックMB(i+1,j) の奇数フィール
ドの輝度ブロックからなるものであり、当該奇数フィー
ルドのマクロブロックMBgo内の色差ブロックCb01o,
Cr01oは、同じく上記マクロブロックMB(i,j) の奇数
フィールドの色差ブロックと上記マクロブロックMB(i
+1,j) の奇数フィールドの色差ブロックからなるもので
ある。同様なことから、上記偶数フィールドのマクロブ
ロックMBge内の輝度ブロックY0e ,Y1eは、上記マ
クロブロックMB(i,j) の偶数フィールドの輝度ブロッ
クと上記マクロブロックMB(i+1,j) の偶数フィールド
の輝度ブロックからなるものであり、当該偶数フィール
ドのマクロブロックMBge内の色差ブロックCb01e,C
r01eは、上記マクロブロックMB(i,j) の偶数フィール
ドの色差ブロックと上記マクロブロックMB(i+1,j) の
偶数フィールドの色差ブロックからなるものである。
【0110】上述したようなことから、動き予測とDC
T変換の各モードとの関係は、以下に述べるようにな
る。すなわち、本実施例の符号化装置においては、例え
ば上記マクロブロックMB(i,j) について、フレーム直
交変換モードの動き予測で、フレーム直交変換モードの
DCT変換である場合、例えば、前記動き補償器付フレ
ームメモリ群20の中で復号化された画像を参照フレー
ムとし、この参照フレームから取り出した予測画像と、
入力画像(原画像)との差分をDCT変換する。そして
そのDCT係数とフレーム動きベクトルとを伝送する。
【0111】また、例えば、上記マクロブロックMB
(i,j) において、動き予測がフィールド動き予測モード
で、DCT変換がフィールド直交変換モードである場
合、当該マクロブロックMB(i,j) では、奇数フィール
ドから取り出した予測画像と奇数フィールドの原画像と
の差分と、奇数フィールドの動きベクトルとを符号化す
る。また、上記マクロブロックMB(i+1,j) では、偶数
フィールドから取り出した予測画像と偶数フィールドの
原画像との差分と、偶数フィールドの動きベクトルとを
符号化する。
【0112】更に、例えば、上記マクロブロックMB
(i,j) において、動き予測がフィールド動き予測モード
で、DCT変換がフレーム直交変換モードである場合、
当該マクロブロックMB(i,j) では、参照フレームから
取り出した当該マクロブロックMB(i,j) の位置に対す
る予測画像と入力画像とのフレーム差分と、奇数フィー
ルドの動きベクトルと偶数フィールドの動きベクトルを
伝送する。また、上記マクロブロックMB(i+1,j)で
は、参照フレームから取り出した当該マクロブロックM
B(i+1,j)の位置に対する予測画像と入力画像とのフレ
ーム差分を伝送する。
【0113】また更に、例えば、上記マクロブロックM
B(i,j) において、動き予測がフレーム動き予測モード
で、DCT変換がフィールド直交変換モードである場
合、当該マクロブロックMB(i,j) では、奇数フィール
ドから取り出した予測画像と奇数フィールドの原画像と
の差分と、当該マクロブロックMB(i,j) のフレーム動
きベクトルと、上記マクロブロックMB(i+1,j) のフレ
ーム動きベクトルを伝送する。また、上記マクロブロッ
クMB(i+1,j) では、奇数フィールドの予測画像と入力
画像との差分を伝送する。
【0114】ところで、本実施例の符号化装置では、従
来のマクロブロックタイプに拡張ビットを付加して従来
との互換性をとることにより本符号を実現している。
【0115】即ち、第一の実施例の場合、例えばBフレ
ームにおいて、マクロブロックタイプは上述のように前
予測、後予測、両予測の3つがあるが、前予測について
フィールド動き予測モードの時は前フレームの奇数フィ
ールドと偶数フィールドからの予測の2通りが考えられ
るので、いずれかの予測か認識する拡張ビットを加える
ことにより本符号を実現している。この場合の予測は2
通りなので、拡張ビットは1つの方向(前、後予測)に
ついて、1ビット付加すればよい。例えば、前又は後予
測で奇数フィールドからの予測の場合は、符号“1”
を、偶数フィールドからの予測の場合は、符号“0”を
拡張ビットとして従来のマクロブロックタイプに付加す
ればよいのである。また、両予測では、前又は後予測に
ついて両方の拡張ビットが付加される。
【0116】尚、フレーム動き予測モードであれば、拡
張ビットは付加せず、従来のビットストリーム(MPE
G)と同じ形式となる。
【0117】以上のことは、Pフレームの場合でも同様
に適用される。
【0118】次に、本実施例の場合、例えばBフレーム
において、マクロブロックタイプは、上述のように前予
測、後予測、両予測があるが、前予測についてフィール
ド動き予測モードの時、奇数フィールドからの予測か、
偶数フィールドからの予測か、自己のフレーム内の奇数
フィールドからの予測か認識させる拡張ビットをマクロ
ブロックタイプに付加しなければならない。即ち、前予
測のフィールド動き予測モードでは、自己フレーム内か
らの予測があるので、奇数・偶数を含め、3通りの予測
を拡張ビットで表現するためには、1又は2ビットの拡
張ビットが必要となり、後予測のフィールド動き予測モ
ードでは、奇数・偶数の2通りのみであるので、常に拡
張ビットは1ビット必要となる。例えば、前予測では、
前フレームの奇数フィールドからの予測の場合は符号
“1”、前フレームの偶数フィールドからの予測の場合
は符号“01”、現フレームの奇数フィールドからの予
測の場合は符号“11”を付加し、後予測では、後フレ
ームの奇数フィールドからの予測の場合は符号“1”、
後フレームの偶数フィールドからの予測の場合は符号
“0”を、拡張ビットとして従来のマクロブロックタイ
プに付加すればよいのである。
【0119】なお、フレームで処理するモードであれ
ば、拡張ビットは付加せず、従来のビットストリーム
(MPEG)と同じ形式となる。また、両予測では、前
又は後予測について両方の拡張ビットが付加される。
【0120】以上のことはPフレームの場合でも同様に
適用される。
【0121】さらに、この変形として、上記前予測の場
合の拡張ビットを1ビットに減らすこともできる。即
ち、フィールド動き予測モードにおけるイーブンサイク
ルにおいて、図17に示すように、時間的及び位置的に
一番離れた前フレームの奇数フィールドからの図中一点
鎖線で示す予測を廃止することにより、前予測を2つに
減らし、1ビットの拡張で前動き予測モードを伝送でき
る。具体的には、オッドサイクルで前予測では、前フレ
ームの奇数フィールドからの予測の場合は符号“1”、
前フレームの偶数フィールドからの予測の場合は符号
“0”、又、イーブンサイクルで前予測では、現フレー
ムの奇数フィールドからの予測の場合は符号“1”、前
フレームの偶数フィールドからの予測の場合は符号
“0”、更に、後予測では、後フレームの奇数フィール
ドからの予測の場合は符号“1”、後フレームの偶数フ
ィールドからの予測の場合は符号“0”を、拡張ビット
として従来のマクロブロックタイプに付加すればよい。
【0122】図18に第二の実施例の符号化装置の構成
例を示す。なお、この図18において、上述した図1と
同様の構成要素には同一の指示符号を付してその詳細な
説明については省略する。
【0123】この第二の実施例装置の構成は、3パスに
よる符号化装置であり、1フレームを処理するのに3回
処理を行うものである。
【0124】すなわち、この第二の実施例装置において
は、1パス目は固定量子化幅による上記第二の符号化処
理モード(フレーム内フレーム間予測有り)の処理を行
い、2パス目は固定量子化幅による上記第一の符号化処
理モード(フレーム内フレーム間予測無し)の処理を行
い、3パス目は上記1パス,2パス目のうちで発生ビッ
ト数が少なかった処理を選択し、量子化幅を制御して処
理する。
【0125】ここで、第二の実施例装置においては、上
記フレームメモリ群10の後段に後述するマクロブロッ
ク化器55と切換スイッチ57とフィールドブロック化
変換回路56と切換スイッチ58とが挿入接続される。
また、フレームメモリ群10からの画像データは、フレ
ーム及びフィールド動き検出を行う動き検出回路51に
送られる。この動き検出回路51からの出力は、直交変
換のブロック化及び動き予測のフレーム/フィールドモ
ードを選択するモード判定回路52と前記フレームメモ
リ群20及び可変長符号化回路15に送られる。
【0126】上記モード判定回路52からの出力モード
データは上記フレームメモリ群20及び可変長符号化回
路15に送られ、そのうちのフィールド直交変換モード
データは2入力ANDゲート53の一方の入力端子に送
られる。当該2入力ANDゲート53の他方の入力端子
には、インバータ54を介して上記1パス目,2パス
目,3パス目に応じて切り換えられる切換スイッチ59
の出力が供給されるようになっている。また、上記2入
力ANDゲートの出力端子は、上記切換スイッチ57,
58の切換制御端子と接続されている。
【0127】上記可変長符号化回路15からは発生ビッ
ト数のデータが出力され、この発生ビット数のデータに
基づいて上記第一,第二の符号化処理モードのうち何れ
か発生ビット数の少ない方のモードを選択する選択回路
(フレーム内フィールド間予測有無判定回路)60に送
られる。更に、上記バッファ16からの蓄積量データ
は、上記可変長符号化回路15と共に、切換スイッチ6
1の一方の被切換端子に供給される。この切換スイッチ
61の他方の被切換端子には1,2パス目の固定値が供
給される。
【0128】このような第二の実施例装置において、端
子1に入力された画像は、1度フレームメモリ群10に
保存され、上記フレームメモリ群10から必要なフレー
ム又はフィールドのデータが呼び出されると共にこれら
画像データを用いて上記動き検出器51により動きベク
トルが求められる。上記モード判定回路52では、上記
動き検出器51からの動き予測残差からマクロブロック
毎にフィールド/フレームのモードの判定を行う。ま
た、フレームメモリ群10の後段に接続されるマクロブ
ロック化器55は、上記切換スイッチ59を介して1パ
ス目,2パス目,3パス目に対応する情報(すなわち上
記第一の符号化処理モード或いは第二の符号化処理モー
ドであるフレーム内フィールド間予測の有り/無しの情
報)を受け取り、この情報として第二の符号化処理モー
ドの情報を受け取った場合には奇数フィールド(第1フ
ィールド)のブロックのみを伝送してから偶数フィール
ド(第2フィールド)を伝送し、フレーム直交変換モー
ドのブロック化はOFFにする。また、上記マクロブロ
ック化器55において上記第一の符号化処理モードの情
報に基づいてマクロブロックがフレーム直交変換モード
のブロックとされた画像データは、動き検出器51から
の残差から上記モード判定回路52においてフィールド
モードと判定された場合にはフィールドブロック化変換
回路56でフレーム直交変換モードのブロックに変換さ
れる。
【0129】上記1パス目,2パス目でそれぞれ固定の
量子化幅で符号化してゆき、上記選択回路60でビット
発生量が比べられフレーム内フィールド間予測有り/無
しのうち発生量の少ないモードがフレーム毎に選択さ
れ、3パス目で実際の符号化が行われる。このとき選択
されたモードの情報はフレーム毎に1ビット付加され
る。
【0130】図19には、画像信号の復号器のブロック
図を示す。すなわち、本実施例の高能率復号化装置は、
再生される画像符号化データ及び検出動きベクトル情報
と動き予測モード情報とブロック化モード情報(直交変
換モード情報)と符号化処理モード情報(符号化処理モ
ードデータ)とを含むヘッダ情報を受信して復号化し、
上記復号化された画像復号化データと共に上記ヘッダ情
報の検出動きベクトル情報と動き予測モード情報と直交
変換モード情報と符号化処理モードデータとを出力する
逆可変長符号化回路51と、上記符号化処理モードデー
タから上記画像復号化データを蓄積するフレームバッフ
ァ61,62,64でのアドレス・インクリメント値を
算出し、各々のマクロブロックの先頭アドレスを求め、
該先頭アドレスを上記フレームバッファ61,62,6
4に与えるアドレス発生器81,82,83と、上記先
頭アドレス以外の上記マクロブロックの相対アドレスを
上記フレームバッファ61,62,64に加えてデータ
をアクセスし、上記検出動きベクトルと上記動き予測モ
ード情報と上記直交変換モード情報と上記符号化処理モ
ードデータとを受け取り、これらモード情報に対応した
動き補償フレーム又はフィールド間予測を実行し、動き
補償された画像信号を上記フレームバッファ61,6
2,64に送るように構成した動き補償回路59,6
0,63,65,66とを備えたものである。
【0131】この図20において、前記実施例の高能率
符号化装置により符号化されたデータは、一旦、CD等
のストレージメディアに記録される。このCD等から再
生されてきた符号化データは、入力端子50を介し、先
ず、逆可変長符号化回路51でシーケンス毎,フレーム
グループ毎,フレーム毎にヘッダ情報等が復号化され
る。上記フレームのオッドサイクルでは、スライス(マ
クロブロックのグループ)毎にヘッダ情報が復号化さ
れ、量子化幅はこのスライスのヘッダに含まれる。そし
てマクロブロック毎にマクロブロックのアドレスと、フ
レーム/フィールド動き予測モード及びフレーム/フィ
ールド直交変換モード情報と、符号化処理モードデータ
と、復号方式を示すマクロブロックタイプが復号化さ
れ、量子化幅は更新するときに復号化される。
【0132】尚、マクロブロックにおけるブロック化が
フレーム直交変換モードであった場合、オッドサイクル
でマクロブロック全体を復号し、イーブンサイクルでは
何も復号しない。また、ブロック化がフィールド直交変
換モードであった場合はマクロブロックの中の奇数フィ
ールドを含むブロックのみを奇数サイクルで復号し、イ
ーブンサイクルで偶数フィールドを含むブロックを復号
する。
【0133】画像情報は、逆量子化処理を行う逆量子化
器53と逆DCT変換処理を行う逆DCT回路54とを
介して復号化され、マクロブロックタイプにより、差分
画像であるかどうかの判定が行われ、この判定結果に応
じて、加算器56により(MPEG符号化の非イントラ
/イントラに対応する)参照画像に加算するか或いは加
算しないことを切り換えるモードスイッチ57を切り換
える。復号化された画像は、Iフレーム又はPフレーム
の場合はフレームバッファ64又は61に(Iフレー
ム,Pフレームを処理する度毎に交互に)入力され、B
フレームの場合はフレームバッファ62に入力される。
なお、各フレームバッファは、2つのフィールドバッフ
ァからなり、奇数/偶数フィールド画像は、それぞれの
フィールドバッファにわけて蓄えられる。また、このフ
レームバッファへの書き込みはスイッチ58の切り換え
により制御される。
【0134】このとき、フレームバツフア61,62,
64に書き込まれるアドレスはアドレス発生器81,8
2,83により与えられる。このアドレス発生器81,
82,83ではマクロブロックのヘッダ情報の中の符号
化処理モードデータからフレームバツフア61,62,
64でのアドレスインクリメント値を計算し、各々のマ
クロブロックの先頭アドレスを求めている。
【0135】更に、量子化幅のデータは、それぞれ1フ
ィールド分メモリ52に記憶される。この量子化幅デー
タは、逆可変長符号化回路51の出力に応じて切り換え
られるスイッチ55を介して、逆量子化器53に送られ
る。ここで、イーブンサイクルでは、フィールド直交変
換モードで処理されたマクロブロックのみを復号するの
で、マクロブロック毎に復号化されるマクロブロックア
ドレスとのマクロブロックタイプとこれが示す予測方式
に必要な動きベクトルが復号され、参照フィールドから
動き補償された画像にさらに伝送されてくる差分画像が
加算され、再生画を得る。
【0136】また、上記各フレームバッファ64,6
2,61のデータは、各動き補償処理回路65,66,
59,60,63により動き補償される。このとき、各
動き補償回路はDCT処理における直交変換モード(フ
レーム/フィールド)によりフレームの動き補償/フィ
ールドの動き補償を切り換える。
【0137】これら動き補償された画像は切換選択スイ
ッチ67,68,71の各被選択端子に送られる。これ
ら切換選択スイッチ67,68,71は、マクロブロッ
クタイプの復号方式が示す参照フィールド又はフレーム
が取り出せるように切り換えられるものである。ここ
で、上記切換選択スイッチ71には、上記切換選択スイ
ッチ67及び68の出力を加算器69で加算した後に割
算器70で1/2とされた信号と、上記スイッチ67の
出力とが供給される。当該スイッチ71の出力は、上記
スイッチ57に送られる。
【0138】更に、各フレームバッファ64,61,6
2の出力は、切換選択スイッチ72を介してディスプレ
イ73に送られる。当該ディスプレイ73には、復号さ
れた順番ではなく、再生画像の順で表示されるように切
り換えられた上記切換選択スイッチ72の出力が供給さ
れる。これにより画像が得られる。
【0139】上述したようなことから、例えば、前述し
た図24に示したように静止した背景の手前で動体CA
があるものの場合には1フレームを観るとフィールド間
で動きがあるためこのような部分は櫛型KSとなるが、
本実施例装置によれば、このような動く部分は、フィー
ルド直交変換モードで符号化されるので、フィールド別
にされたぶれのない画像として処理でき、オッド/イー
ブン間の動き補償により高能率で、高画質の動画が再生
できる。すなわち、例えば図20に示すように、オッド
サイクルの時、動く部分はフィールド動き予測モードで
処理すると共に静止部分はフレーム直交変換モードで処
理する。なお、イーブンサイクルで既に画像ができてい
る部分は、図21の図中斜線で示す部分となる。この図
21の図中斜線部分以外はすなわち動く部分は動き補償
により復号化する。
【0140】ところで、本実施例においては、イーブン
サイクルではフィールド直交変換モードで処理されたマ
クロブロックのみを復号するのでマクロブロックアドレ
スを知る必要がある。このマクロブロックアドレスを知
る方法は、2つあり、1つは先に述べたイーブンサイク
ルのマクロブロック毎にマクロブロックのアドレスを伝
送する方法で、もう1つは、オッドサイクルで1フィー
ルド分フィールド直交変換モード/フレーム直交変換モ
ードの情報を記憶しておき、各直交変換モードの列から
フィールド直交変換モードになっているマクロブロック
のアドレスを換算する方法である。前者の利点はメモリ
の追加が必要ないことであり、後者の利点は伝送情報が
増えないことである。量子化幅も同様で先に述べたオッ
ドサイクルで1フィールド分記憶する方法を取らずにマ
クロブロック毎に伝送することで実現できる。
【0141】以上述べたようなことから、本実施例復号
装置によれば、第一,第二の符号化処理モードに応じ
て、マクロブロック単位でフレーム直交変換モードとフ
ィールド直交変換モードとを切り換えると共に、フレー
ム動き予測モードとフィールド動き予測モードをも切り
換えて、フレーム処理では奇数フィールドと偶数フィー
ルドを共に復号化し、フィールド処理では奇数フィール
ドのみを復号化し、更にこのサイクルでの量子化幅を記
憶しておき、次のイーブンサイクルではこの記憶した情
報を用いてフィールド直交変換モードのマクロブロック
のみを動き補償して再生画像を復号化するようにしてい
るため、効率のよい符号化データを伝送することができ
る。すなわち、少ない伝送情報で高画質の動画を再生す
ることが可能となる。
【0142】
【発明の効果】上述のように、本発明の画像信号の高能
率符号化装置によれば、フィールド構成の動画につい
て、動きの少ない画像も動きの多い画像も、また、これ
ら両者が混在した画像であってもフィールド処理或いは
フレーム処理を効率よく行うことができるようになり、
したがって、少ない伝送情報で後の本発明の高能率復号
化装置における復号化の際に高画質の動画を再生するこ
とが可能となる。
【図面の簡単な説明】
【図1】第一の実施例の画像信号の高能率符号化装置の
概略構成を示すブロック図である。
【図2】本実施例の符号化を説明するための図である。
【図3】マクロブロックを示す図である。
【図4】フレーム直交変換モードのマクロブロックを示
す図である。
【図5】フィールド直交変換モードのマクロブロックを
示す図である。
【図6】第一の符号化処理モードでフレーム直交変換モ
ードの場合の動き予測を示す図である。
【図7】第一の符号化処理モードでフィールド直交変換
モードの場合の動き予測を示す図である。
【図8】第二の符号化処理モードの場合の動き予測を示
す図である。
【図9】ディジタルVTRの一具体例フォーマットにお
けるフレーム直交変換モード/フィールド直交変換モー
ドのDCT処理の単位ブロックを示す図である。
【図10】第一の符号化処理モードでの動き予測の様子
を示す図である。
【図11】本実施例での動き予測の様子を示す図であ
る。
【図12】第二の符号化処理モードでの動き予測の様子
を示す図である。
【図13】ディジタルVTRの他の具体例フォーマット
におけるフレーム直交変換モード/フィールド直交変換
モードのDCT処理の単位ブロックを示す図である。
【図14】マクロブロックの組を示す図である。
【図15】図14の例におけるフレーム直交変換モード
での処理の様子を説明するための図である。
【図16】図14の例におけるフィールド直交変換モー
ドでの処理の様子を説明するための図である。
【図17】拡張ビット付加の変形例(前予測について)
説明するための図である。
【図18】第二の実施例の符号化装置の概略構成を示す
ブロック回路図である。
【図19】復号器の構成を示すブロック図である。
【図20】オッドサイクルの画像を示す図である。
【図21】イーブンサイクルの画像を示す図である。
【図22】各予測画像を説明するための図である。
【図23】データ構造を示す図である。
【図24】動く物体のある画像を示す図である。
【符号の説明】
10・・・・・・・・・フレームメモリ群 12・・・・・・・・・差分検出器 13・・・・・・・・・DCT回路 14・・・・・・・・・量子化器 15・・・・・・・・・可変長符号化回路 16・・・・・・・・・バッファ 17・・・・・・・・・逆量子化器 18・・・・・・・・・逆DCT回路 20・・・・・・・・・動き補償器付フレームメモリ群 21・・・・・・・・・フィールド動き検出回路 22・・・・・・・・・フレーム動き検出回路 24・・・・・・・・・セレクタ 33・・・・・・・・・フレーム/フィールドモード判
定回路 34・・・・・・・・・符号化処理モード判定回路 35・・・・・・・・・アドレス発生器

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 複数の画素の2次元配列からなるマクロ
    ブロックを単位として符号化を行う画像信号の高能率符
    号化装置において、 上記マクロブロック単位でフレーム間の動きベクトルと
    各画素の絶対値差分和を検出する手段と上記マクロブロ
    ック単位で上記フレームの画素のスキャンの奇数又は偶
    数で分けたものからなるフィールド間の動きベクトルと
    各画素の絶対値差分和を検出する手段とからなる動き検
    出手段と、 上記マクロブロックにおけるフレームを単位として動き
    補償を行うフレーム予測モードと、上記マクロブロック
    におけるフィールドを単位として動き補償を行うフィー
    ルド予測モードとの何れが動き補償をするに際して効率
    が良いかを判定し、効率の良い予測モードを選択する第
    一のモード選択手段と、 上記マクロブロックにおけるフレームを単位として直交
    変換を行うようにブロック化するフレーム処理モードと
    上記マクロブロックにおけるフィールドを単位として直
    交変換を行うようにブロック化するフィールド処理モー
    ドとの何れが直交変換を行うに際して効率が良いかを上
    記動き検出手段及び上記第一のモード選択手段から出力
    される情報を用いて判定し、効率の良いブロック化のモ
    ードを選択する第二のモード選択手段と、 1フレーム内の各マクロブロック毎に上記ブロック化を
    上記フレーム処理モード又は上記フィールド処理モード
    に適応的に切り換え、各モードに基づき各マクロブロッ
    クを符号化する第一の符号化処理モードと、1フレーム
    内の全てのマクロブロックの上記ブロック化を上記フィ
    ールド処理モードで行い、インタレースにおける奇数フ
    ィールドのスキャンを行う期間の奇数サイクルでマクロ
    ブロックにおける奇数フィールドのみ1フレーム分符号
    化し、次いでインタレースにおける偶数フィールドのス
    キャンを行う期間の偶数サイクルでマクロブロックにお
    ける偶数フィールドを1フレーム分符号化する第二の符
    号化処理モードとの何れが符号化するに際して効率が良
    いかを判定し、効率の良い符号化処理モードを選択する
    第三のモード選択手段と、 上記奇数サイクルか上記偶数サイクルかを認識し、上記
    符号化処理モードが第一の符号化処理モードの場合には
    上記奇数サイクルで上記ブロック化モードに対応してブ
    ロック化されたマクロブロックを出力するようにフレー
    ムメモリ群を制御し、上記符号化処理モードが第二の符
    号化処理モードの場合には上記奇数サイクル及び偶数サ
    イクルで上記フィールド処理モードに対応してブロック
    化されたマクロブロックを出力するようにフレームメモ
    リ群を制御するアドレス発生手段と、 上記第一のモード選択手段で選択された動き予測モード
    情報と上記第二のモード選択手段で選択されたブロック
    化モード情報を受け取り、該モード情報に対応して動き
    補償フレーム又はフィールド間予測を実行する動き補償
    手段とを備えたことを特徴とする画像信号の高能率符号
    化装置。
  2. 【請求項2】 再生される画像符号化データ及び検出動
    きベクトル情報と動き予測モード情報とブロック化モー
    ド情報と符号化処理モード情報とを含むヘッダ情報を受
    信して復号化し、上記復号化された画像復号化データと
    共に上記検出動きベクトル情報と動き予測モード情報と
    ブロック化モード情報と符号化処理モード情報とを出力
    する逆可変長符号化手段と、 上記符号化処理モード情報から上記画像復号化データを
    蓄積するフレームバッファでのアドレス・インクリメン
    ト値を算出し、各々のマクロブロックの先頭アドレスを
    求め、該先頭アドレスを上記フレームバッファに与える
    アドレス発生手段と、 上記先頭アドレス以外の上記マクロブロックの相対アド
    レスを上記フレームバッファに加えてデータをアクセス
    し、上記検出動きベクトル情報と上記動き予測モード情
    報と上記ブロック化モード情報と上記符号化処理モード
    情報とを受け取り、該モード情報に対応した動き補償を
    実行し、動き補償された画像信号を上記フレームバッフ
    ァに送るように構成した動き補償手段とを備えたことを
    特徴とする画像信号の高能率復号化装置。
JP35818491A 1991-07-30 1991-12-27 画像信号の高能率符号化及び復号化装置 Expired - Lifetime JP3092281B2 (ja)

Priority Applications (21)

Application Number Priority Date Filing Date Title
TW081105254A TW199257B (ja) 1991-07-30 1992-07-02
TW81105251A TW212235B (ja) 1991-07-30 1992-07-02
KR1019920013244A KR100272812B1 (ko) 1991-07-30 1992-07-24 비디오 신호 코더
AT98203475T ATE209422T1 (de) 1991-07-30 1992-07-28 Bildsignaldekodierungsvorrichtung mit hohem wirkungsgrad
CA002092295A CA2092295C (en) 1991-07-30 1992-07-28 Video coding and decoding method and apparatus for selecting between frame-based and field-based predictive modes
AT92916244T ATE180374T1 (de) 1991-07-30 1992-07-28 Bildsignalkodierungsverfahren mit hoher wirkungsgrad
DE69232357T DE69232357T2 (de) 1991-07-30 1992-07-28 Bildsignaldekodierungsvorrichtung mit hohem Wirkungsgrad
AT98203474T ATE224627T1 (de) 1991-07-30 1992-07-28 Kodierer zur kodierung in einem vollbild- oder halbbild-modus
EP92916244A EP0598904B1 (en) 1991-07-30 1992-07-28 Method for coding picture signal with high efficiency
EP98203474A EP0898426B1 (en) 1991-07-30 1992-07-28 Encoder for encoding in frame or field mode
EP20000201721 EP1049335B1 (en) 1991-07-30 1992-07-28 Video decoding apparatus
DE69232784T DE69232784T2 (de) 1991-07-30 1992-07-28 Kodierer zur Kodierung in einem Vollbild- oder Halbbild-Modus
EP20000201723 EP1047270B1 (en) 1991-07-30 1992-07-28 Efficient coding apparatus for picture signal
AU23467/92A AU662548B2 (en) 1991-07-30 1992-07-28 Apparatus for coding and decoding picture signal with high efficiency
EP19980203475 EP0907289B1 (en) 1991-07-30 1992-07-28 Efficient decoding apparatus for picture signal
DE69229229T DE69229229T2 (de) 1991-07-30 1992-07-28 Bildsignalkodierungsverfahren mit hoher wirkungsgrad
PCT/JP1992/000956 WO1993003578A1 (fr) 1991-07-30 1992-07-28 Appareil de haute performance pour le codage et le decodage d'un signal d'image
US08/312,434 US5539466A (en) 1991-07-30 1994-09-26 Efficient coding apparatus for picture signal and decoding apparatus therefor
AU34430/95A AU687632B2 (en) 1991-07-30 1995-10-24 Efficient coding apparatus for picture signal and decoding apparatus therefor
HK01102047.8A HK1032871B (en) 1991-07-30 2001-03-21 Efficient coding apparatus for picture signal
HK01102698.0A HK1033059B (en) 1991-07-30 2001-04-17 Video decoding apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP21138291 1991-07-30
JP3-211382 1992-06-29

Publications (2)

Publication Number Publication Date
JPH0595545A true JPH0595545A (ja) 1993-04-16
JP3092281B2 JP3092281B2 (ja) 2000-09-25

Family

ID=16605041

Family Applications (2)

Application Number Title Priority Date Filing Date
JP35399091A Expired - Lifetime JP3092280B2 (ja) 1991-07-30 1991-12-19 画像信号の高能率符号化及び復号化装置
JP35818491A Expired - Lifetime JP3092281B2 (ja) 1991-07-30 1991-12-27 画像信号の高能率符号化及び復号化装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP35399091A Expired - Lifetime JP3092280B2 (ja) 1991-07-30 1991-12-19 画像信号の高能率符号化及び復号化装置

Country Status (2)

Country Link
JP (2) JP3092280B2 (ja)
KR (2) KR100233764B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002089491A1 (fr) * 2001-04-25 2002-11-07 Sony Corporation Dispositif et procede de traitement d'images
JP2013066016A (ja) * 2011-09-16 2013-04-11 Univ Of Electro-Communications 輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラム

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5784107A (en) * 1991-06-17 1998-07-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for picture coding and method and apparatus for picture decoding
JP2684941B2 (ja) * 1992-11-25 1997-12-03 松下電器産業株式会社 画像符号化方法及び画像符号化装置
JP2925046B2 (ja) * 1991-10-31 1999-07-26 ケイディディ株式会社 動画像の動き補償予測方法
JPH0620828U (ja) * 1992-08-21 1994-03-18 タキゲン製造株式会社 扉用ラッチ装置
KR100363588B1 (ko) * 1993-03-25 2003-02-17 세이코 엡슨 가부시키가이샤 화상처리장치
JPH0846971A (ja) * 1994-07-29 1996-02-16 Sharp Corp 動画像符号化装置
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
KR20020000389A (ko) * 2000-06-24 2002-01-05 박종섭 수신버퍼의 제어장치
KR100450746B1 (ko) 2001-12-15 2004-10-01 한국전자통신연구원 계층탐색 기반의 혼합형 움직임 추정 장치 및 방법
US7088776B2 (en) 2002-07-15 2006-08-08 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US6728315B2 (en) 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
EP2835975A3 (en) * 2002-10-01 2016-03-09 Godo Kaisha IP Bridge 1 Image encoding device and method
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
KR100543611B1 (ko) * 2004-03-02 2006-01-20 엘지전자 주식회사 인트라 압축 방법
KR100667806B1 (ko) * 2005-07-07 2007-01-12 삼성전자주식회사 영상 부호화 및 복호화 방법 및 장치
KR100730689B1 (ko) * 2005-07-29 2007-06-21 엠텍비젼 주식회사 동영상 데이터 인코더 및 그 제어 방법
FR2903271A1 (fr) * 2006-06-30 2008-01-04 Thomson Licensing Sa Procede de codage en mode trame ou bitrame
JP2009260421A (ja) 2008-04-11 2009-11-05 Fujitsu Ltd 動画像処理システム、符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002089491A1 (fr) * 2001-04-25 2002-11-07 Sony Corporation Dispositif et procede de traitement d'images
JP2013066016A (ja) * 2011-09-16 2013-04-11 Univ Of Electro-Communications 輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラム

Also Published As

Publication number Publication date
KR930015863A (ko) 1993-07-24
KR930003745A (ko) 1993-02-24
KR100233764B1 (ko) 1999-12-01
KR100272812B1 (ko) 2000-11-15
JPH0591500A (ja) 1993-04-09
JP3092281B2 (ja) 2000-09-25
JP3092280B2 (ja) 2000-09-25

Similar Documents

Publication Publication Date Title
US5539466A (en) Efficient coding apparatus for picture signal and decoding apparatus therefor
JP3092281B2 (ja) 画像信号の高能率符号化及び復号化装置
EP1047270B1 (en) Efficient coding apparatus for picture signal
KR100345968B1 (ko) 화상신호의고능률부호화,복호화장치및기록매체
JPH05268594A (ja) 動画像の動き検出装置
JP2005510984A (ja) デジタルビデオコンテンツのためのピクチャレベルの適応フレーム/フィールド符号化
JP3032088B2 (ja) 動画像符号化装置
JPH0818979A (ja) 画像処理装置
JP3257052B2 (ja) 画像信号の高能率符号化装置及びその方法
WO2001045402A1 (fr) Procede de reproduction d'image et procede de traitement d'image et dispositif de reproduction d'image, dispositif de traitement d'image et recepteur de television pouvant mettre en oeuvre ces procedes
JPH0541861A (ja) 動画像符号化装置
JPH0698311A (ja) 画像信号の高能率符号化及び復号化装置
JP3381167B2 (ja) 画像信号の高能率復号化装置及びその方法
JP2883592B2 (ja) 動画像復号化装置及び動画像復号化方法
JPH11275591A (ja) 動画像符号化復号化装置、動画像符号化復号化方法及び動画像符号記録媒体
JP3186406B2 (ja) 画像合成符号化方法及び画像合成装置
JPH0630332A (ja) 動画像の符号化及び復号化装置
JP2883585B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2758378B2 (ja) 動画像復号化装置及び動画像復号化方法
JPH06343171A (ja) 画像符号化方法及び装置
JP3590976B2 (ja) 動画像圧縮装置
JPH07255056A (ja) 動画像再生方法及び装置
JP3496926B2 (ja) 画像データ復号化方法
JP2002252855A (ja) 画像データ復号化方法及び装置
HK1033059B (en) Video decoding apparatus

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20000627

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080728

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090728

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090728

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110728

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120728

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120728

Year of fee payment: 12