JPH08182000A - 画像符号化装置及び画像符号化方法 - Google Patents
画像符号化装置及び画像符号化方法Info
- Publication number
- JPH08182000A JPH08182000A JP32477994A JP32477994A JPH08182000A JP H08182000 A JPH08182000 A JP H08182000A JP 32477994 A JP32477994 A JP 32477994A JP 32477994 A JP32477994 A JP 32477994A JP H08182000 A JPH08182000 A JP H08182000A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- prediction
- field
- vector
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【目的】 符号化効率を劣化させずに回路規模が小さく
バンド幅の少ないdmv検出回路を備えた画像符号化装
置を提供する。 【構成】 フレーム予測信号を保持するための手段、フ
ィールド予測信号を保持するための手段、フレーム予測
信号を生成するための動きベクトルを、逆相フィールド
予測信号を生成するためのベクトルに変換する手段、該
逆相フィールド予測信号ベクトルにより得られる逆相フ
ィールド信号候補を保持する手段、保持されているフレ
ーム予測信号及び保持されている逆相フィールド信号候
補の一部分を平均値化して複数の第3の予測信号候補を
生成する手段、該複数の第3の予測信号候補のうち最も
予測誤差の少ない候補を第3の予測信号として選択する
手段を備える。
バンド幅の少ないdmv検出回路を備えた画像符号化装
置を提供する。 【構成】 フレーム予測信号を保持するための手段、フ
ィールド予測信号を保持するための手段、フレーム予測
信号を生成するための動きベクトルを、逆相フィールド
予測信号を生成するためのベクトルに変換する手段、該
逆相フィールド予測信号ベクトルにより得られる逆相フ
ィールド信号候補を保持する手段、保持されているフレ
ーム予測信号及び保持されている逆相フィールド信号候
補の一部分を平均値化して複数の第3の予測信号候補を
生成する手段、該複数の第3の予測信号候補のうち最も
予測誤差の少ない候補を第3の予測信号として選択する
手段を備える。
Description
【0001】
【産業上の利用分野】本発明は、映像信号を符号化する
画像符号化装置及び方法に関し、特に、デジタル放送や
ケーブルテレビジョン等の映像符号化装置又はデジタル
ビデオディスクなどの記録装置若しくはテレビ会議装置
などに用いて好適な装置及び方法に関する。
画像符号化装置及び方法に関し、特に、デジタル放送や
ケーブルテレビジョン等の映像符号化装置又はデジタル
ビデオディスクなどの記録装置若しくはテレビ会議装置
などに用いて好適な装置及び方法に関する。
【0002】
【従来の技術】映像信号は、デジタル化して伝送あるい
は蓄積すると膨大な情報量になるため、これを圧縮する
ための技術検討が盛んに行われている。映像情報を多重
する方式の代表的なものに、インターナショナル・オー
ガニゼーション・スタンダーダイゼーション(ISO)が標
準化を行った、ISO/IEC 13818-2(94.11 、以下、MP
EG2 video)がある。なお、MPEG2 videoの詳細
については上記のISO/IECDIS 13818-2 あるいは渡辺
裕:「MPEG2/H.262」,テレビジョン学会誌Vol.48,
No.1, pp.44〜49 (1994.1) 等に詳しい説明が記載され
ているため、本説明では概略のみを説明する。
は蓄積すると膨大な情報量になるため、これを圧縮する
ための技術検討が盛んに行われている。映像情報を多重
する方式の代表的なものに、インターナショナル・オー
ガニゼーション・スタンダーダイゼーション(ISO)が標
準化を行った、ISO/IEC 13818-2(94.11 、以下、MP
EG2 video)がある。なお、MPEG2 videoの詳細
については上記のISO/IECDIS 13818-2 あるいは渡辺
裕:「MPEG2/H.262」,テレビジョン学会誌Vol.48,
No.1, pp.44〜49 (1994.1) 等に詳しい説明が記載され
ているため、本説明では概略のみを説明する。
【0003】現在放送等に用いられている画像信号は、
図1に示すようにインターレース走査されている。図1
は右方向が時間軸、下方向が画面の垂直軸であり、画像
の一部分を取り出して表示してある。図中の丸印は該当
する時刻に該当する垂直画面位置に画像信号、すなわ
ち、走査線が存在することを示す。画像信号の処理単位
はフレームであり、図では1および2で示した点線の部
分がそれぞれフレームになる。1つのフレームは2つの
フィールド3、4あるいは5、6から構成され、その垂
直位置が半走査線分ずれていることからインターレース
走査と呼ばれている。MPEG2 videoでは様々な画像
を扱うことが出来るが、その中でも主に用いられるのが
上記のフレーム単位の信号である。
図1に示すようにインターレース走査されている。図1
は右方向が時間軸、下方向が画面の垂直軸であり、画像
の一部分を取り出して表示してある。図中の丸印は該当
する時刻に該当する垂直画面位置に画像信号、すなわ
ち、走査線が存在することを示す。画像信号の処理単位
はフレームであり、図では1および2で示した点線の部
分がそれぞれフレームになる。1つのフレームは2つの
フィールド3、4あるいは5、6から構成され、その垂
直位置が半走査線分ずれていることからインターレース
走査と呼ばれている。MPEG2 videoでは様々な画像
を扱うことが出来るが、その中でも主に用いられるのが
上記のフレーム単位の信号である。
【0004】MPEG2 videoでは、一度符号化したフ
レーム画像を符号化装置内にてすぐに復号化(局所復号
化)し、復号化装置が保持している画像と同じ画像を常
に保持する。入力された画像を符号化するときは、この
局所復号化した画像から最も類似した部分を取り出して
予測画像として符号化を行う。具体的には、画面の動き
を検出し、その動きを補正した後に予測画像を生成する
動き補償フレーム間符号化が行われる。この時、画面の
動きの情報は輝度信号16×16画素(マクロブロッ
ク)単位に測定され、画面内での方向と大きさ、すなわ
ち、ベクトルで表す。このベクトルを動きベクトルと呼
ぶ。
レーム画像を符号化装置内にてすぐに復号化(局所復号
化)し、復号化装置が保持している画像と同じ画像を常
に保持する。入力された画像を符号化するときは、この
局所復号化した画像から最も類似した部分を取り出して
予測画像として符号化を行う。具体的には、画面の動き
を検出し、その動きを補正した後に予測画像を生成する
動き補償フレーム間符号化が行われる。この時、画面の
動きの情報は輝度信号16×16画素(マクロブロッ
ク)単位に測定され、画面内での方向と大きさ、すなわ
ち、ベクトルで表す。このベクトルを動きベクトルと呼
ぶ。
【0005】図2は、図1のいくつかの画素を動き補償
フレーム間予測した例である。図中の矢印が動きベクト
ル(図は時間−垂直の関係のみを示しているため実際の
動きベクトルの垂直成分に相当する)を示している。図
には2種類の予測が例示されているが、それぞれ左側の
フレーム1は局所復号画像の信号、右側のフレーム2は
これから符号化する画像の信号を表している。2種類の
予測のうち左側は、フレーム予測である。フレーム予測
では予測画素はすべて1つのベクトル(フレームベクト
ル)によって表される。一方、2種類の予測のうち右側
はフィールド予測であり、フィールド予測ではフレーム
信号1、2をフィールド3、4、5、6に分解し、それ
ぞれのフィールドの画素に対して1つのベクトル(フィ
ールドベクトル)により予測画素を表す。すなわち、1
つのマクロブロックに対し、2つのベクトルが必要で、
予測に用いられる画像は、16×8画素の画像が2つに
なる。なお、このベクトル情報の他に第1フィールド
(フィールド3)、第2フィールド(フィールド4)の
いずれから予測しているかを表す信号も付加される。
フレーム間予測した例である。図中の矢印が動きベクト
ル(図は時間−垂直の関係のみを示しているため実際の
動きベクトルの垂直成分に相当する)を示している。図
には2種類の予測が例示されているが、それぞれ左側の
フレーム1は局所復号画像の信号、右側のフレーム2は
これから符号化する画像の信号を表している。2種類の
予測のうち左側は、フレーム予測である。フレーム予測
では予測画素はすべて1つのベクトル(フレームベクト
ル)によって表される。一方、2種類の予測のうち右側
はフィールド予測であり、フィールド予測ではフレーム
信号1、2をフィールド3、4、5、6に分解し、それ
ぞれのフィールドの画素に対して1つのベクトル(フィ
ールドベクトル)により予測画素を表す。すなわち、1
つのマクロブロックに対し、2つのベクトルが必要で、
予測に用いられる画像は、16×8画素の画像が2つに
なる。なお、このベクトル情報の他に第1フィールド
(フィールド3)、第2フィールド(フィールド4)の
いずれから予測しているかを表す信号も付加される。
【0006】MPEG2 videoでは、動き補償の精度を
高めるためにハーフペル(半画素)予測を採用してい
る。ハーフペル予測は画素と画素の間を補間することに
より少数点精度の動き補償を実現している。図3はフィ
ールド予測におけるハーフペル予測の例である。図中白
丸は実際に画素が存在する位置(フルペルあるいは整数
ペル)、黒点はハーフペルの位置である。例えば画素5
を予測するとき垂直方向のベクトルが0.5、選択する
フィールドが第1フィールドであれば、フィールド3の
「0.5」と記した黒点Pの画素値が予測に用いられ
る。この値は実際には上下の点Q,Rを用いて、 P=(Q+R)/2 …… により計算される。なお、斜線(/)は四捨五入の割り
算を表している。第2フィールドからの予測、あるいは
第2フィールドへの予測の時も同様に計算される。ま
た、水平方向に対しても同様にハーフペルが定義されて
おり、水平垂直共にハーフペルの場合には隣接する4画
素の平均値が予測画素として用いられる。
高めるためにハーフペル(半画素)予測を採用してい
る。ハーフペル予測は画素と画素の間を補間することに
より少数点精度の動き補償を実現している。図3はフィ
ールド予測におけるハーフペル予測の例である。図中白
丸は実際に画素が存在する位置(フルペルあるいは整数
ペル)、黒点はハーフペルの位置である。例えば画素5
を予測するとき垂直方向のベクトルが0.5、選択する
フィールドが第1フィールドであれば、フィールド3の
「0.5」と記した黒点Pの画素値が予測に用いられ
る。この値は実際には上下の点Q,Rを用いて、 P=(Q+R)/2 …… により計算される。なお、斜線(/)は四捨五入の割り
算を表している。第2フィールドからの予測、あるいは
第2フィールドへの予測の時も同様に計算される。ま
た、水平方向に対しても同様にハーフペルが定義されて
おり、水平垂直共にハーフペルの場合には隣接する4画
素の平均値が予測画素として用いられる。
【0007】MPEG2 videoでは、予測効率をさらに
高めるために、デュアルプライム予測が採用されてい
る。図4にデュアルプライム予測の例を示す。デュアル
プライム予測では、例えば第1フィールドの画素5の予
測画素を生成するとき第1フィールドの1つの画素A
と、第2フィールドの1つの画素Dを平均して予測画素
とする。このとき、第2フィールドの画素は第1フィー
ルドの動きベクトルを1/2(実際には垂直方向ではイ
ンターレースの補正のためのオフセットがつく)にした
ときの画素Bを中心に上下左右±0.5画素以内の画素
(図では垂直方向のB、C、D)を選ぶことができる。
この±0.5画素以内の補正成分ベクトルは「dmv」
と呼ばれ、動きベクトルと同時に符号化される。図4の
右側は第2フィールドの画素7の予測画素生成の例であ
る。このとき、第2フィールド4からの動きベクトルを
3/2倍して第1フィールドからの予測のベクトルを生
成する。また、上記の場合と同様に3/2倍されたベク
トルによって示される画素Fの第1フィールドのFの上
下左右±0.5画素以内の画素(図では垂直方向のF、
G、H)から、dmvにより選択することができる。な
お、これらのデュアルプライムベクトルの定数倍の操作
をスケーリングと呼ぶ。ここで、マクロブロック内で
は、第1フィールドのベクトルと第2フィールドのベク
トルは同じベクトルでなければならない。また、第1フ
ィールドのベクトルと第2フィールドのベクトルのdm
vも同じベクトルでなければならない。すなわち、1つ
のマクロブロックに対して、1つのベクトルと1つのd
mvが符号化される。なお、以下、デュアルプライムベ
クトルによって示される信号(画素A、E)を同相フィ
ールド信号、デュアルプライムベクトルとdmvによっ
て示される信号(画素D、H)を逆相フィールド信号と
よぶ。
高めるために、デュアルプライム予測が採用されてい
る。図4にデュアルプライム予測の例を示す。デュアル
プライム予測では、例えば第1フィールドの画素5の予
測画素を生成するとき第1フィールドの1つの画素A
と、第2フィールドの1つの画素Dを平均して予測画素
とする。このとき、第2フィールドの画素は第1フィー
ルドの動きベクトルを1/2(実際には垂直方向ではイ
ンターレースの補正のためのオフセットがつく)にした
ときの画素Bを中心に上下左右±0.5画素以内の画素
(図では垂直方向のB、C、D)を選ぶことができる。
この±0.5画素以内の補正成分ベクトルは「dmv」
と呼ばれ、動きベクトルと同時に符号化される。図4の
右側は第2フィールドの画素7の予測画素生成の例であ
る。このとき、第2フィールド4からの動きベクトルを
3/2倍して第1フィールドからの予測のベクトルを生
成する。また、上記の場合と同様に3/2倍されたベク
トルによって示される画素Fの第1フィールドのFの上
下左右±0.5画素以内の画素(図では垂直方向のF、
G、H)から、dmvにより選択することができる。な
お、これらのデュアルプライムベクトルの定数倍の操作
をスケーリングと呼ぶ。ここで、マクロブロック内で
は、第1フィールドのベクトルと第2フィールドのベク
トルは同じベクトルでなければならない。また、第1フ
ィールドのベクトルと第2フィールドのベクトルのdm
vも同じベクトルでなければならない。すなわち、1つ
のマクロブロックに対して、1つのベクトルと1つのd
mvが符号化される。なお、以下、デュアルプライムベ
クトルによって示される信号(画素A、E)を同相フィ
ールド信号、デュアルプライムベクトルとdmvによっ
て示される信号(画素D、H)を逆相フィールド信号と
よぶ。
【0008】画像を符号化するときは、上記で説明した
各予測に用いるベクトルを算出しなければならない。図
6に一般的な画像符号化装置の構成を示す。図6におい
てフレームベクトルおよびフィールドベクトルは外部に
て計算され、信号線134を介して符号化画像に同期し
て入力されるものとする。入力画像は信号線30より入
力される。一方局所復号化画像を格納したメモリ101
からは、まず、デュアルプライム予測のベクトルを計算
するために、フィールドのベクトルをもとに8種類の画
像をそれぞれバッファ104〜111に入力する。入力
に用いるベクトルについては後に詳述する。デュアルプ
ライム用の画像の入力が終わるとデュアルプライムベク
トル検出・dmv検出回路が起動され1のデュアルプラ
イムベクトルとdmvベクトルが信号線34に出力され
る。これと同時にメモリ101からはフレーム予測画
像、フィールド予測画像が読み出されそれぞれフレーム
予測バッファ102、フィールド予測バッファ103に
格納される。これらのメモリからの読み出しは、バッフ
ァ制御回路が行う。バッファ制御回路123は動きベク
トル等の情報を信号線135によりメモリ制御回路12
4に伝送し、メモリ制御回路124はアドレス及び制御
線136により該当するデータをメモリからバス130
に読み出す。これと同時にバッファ制御回路123は制
御線137−1〜8により所定のバッファに画像データ
を取り込む。フレーム予測画像、フィールド予測画像は
デュアルプライム予測画像36と共に予測モード判定選
択回路120に入力され、最も適した予測モードが選ば
れる。入力画像30は選択された予測画像131を用い
て予測符号化回路121にて差分が取られ、その差分画
像が符号化される。符号化の詳細については省略する。
符号化した符号は132より出力され、同時に局所復号
のための信号133が局所復号化回路122に入力され
局所復号画像が得られる。局所復号画像はバス130を
介して再びメモリ101に格納される。
各予測に用いるベクトルを算出しなければならない。図
6に一般的な画像符号化装置の構成を示す。図6におい
てフレームベクトルおよびフィールドベクトルは外部に
て計算され、信号線134を介して符号化画像に同期し
て入力されるものとする。入力画像は信号線30より入
力される。一方局所復号化画像を格納したメモリ101
からは、まず、デュアルプライム予測のベクトルを計算
するために、フィールドのベクトルをもとに8種類の画
像をそれぞれバッファ104〜111に入力する。入力
に用いるベクトルについては後に詳述する。デュアルプ
ライム用の画像の入力が終わるとデュアルプライムベク
トル検出・dmv検出回路が起動され1のデュアルプラ
イムベクトルとdmvベクトルが信号線34に出力され
る。これと同時にメモリ101からはフレーム予測画
像、フィールド予測画像が読み出されそれぞれフレーム
予測バッファ102、フィールド予測バッファ103に
格納される。これらのメモリからの読み出しは、バッフ
ァ制御回路が行う。バッファ制御回路123は動きベク
トル等の情報を信号線135によりメモリ制御回路12
4に伝送し、メモリ制御回路124はアドレス及び制御
線136により該当するデータをメモリからバス130
に読み出す。これと同時にバッファ制御回路123は制
御線137−1〜8により所定のバッファに画像データ
を取り込む。フレーム予測画像、フィールド予測画像は
デュアルプライム予測画像36と共に予測モード判定選
択回路120に入力され、最も適した予測モードが選ば
れる。入力画像30は選択された予測画像131を用い
て予測符号化回路121にて差分が取られ、その差分画
像が符号化される。符号化の詳細については省略する。
符号化した符号は132より出力され、同時に局所復号
のための信号133が局所復号化回路122に入力され
局所復号画像が得られる。局所復号画像はバス130を
介して再びメモリ101に格納される。
【0009】図7はデュアルプライムのベクトル探索回
路の従来例である。図7では次の4つのフィールドベク
トルをもとに4つのデュアルプライム予測ベクトルの候
補を生成し、各候補ベクトルに対して全てdmv(9通
り)との組み合わせによる予測誤差を計算し、予測誤差
の最も小さい時のベクトルおよびdmvを採用する。探
索回路は4つのdmv検出回路20−1〜4と最小誤差
検出回路21からなる。dmv検出回路20−1は第1
フィールドから第1フィールドへの予測フィールドベク
トルをデュアルプライム予測ベクトルとしてdmvを求
める(図8(a))。符号化する画像信号は信号線30
より入力され、これと同時にデュアルプライム予測ベク
トルにより示される同相フィールド予測信号(フィール
ド1、フィールド2の順)が信号線31−1より、デュ
アルプライム予測ベクトルおよびdmvによって示され
る逆相フィールド信号(フィールド2、フィールド1の
順)が信号線32−1よりより入力される。また、これ
ら4つの信号の動きベクトル(実際にはデュアルプライ
ム予測ベクトルとデュアルプライム予測ベクトルおよび
dmvの2種類)が信号線35−1より入力される。同
様に、dmv検出回路20−2は第1フィールドから第
2フィールドへの予測フィールドベクトルを2/3倍
(垂直方向はインターレース補正のためのオフセットが
つく)をデュアルプライム予測ベクトルとしてdmvを
求め(図8(b))、dmv検出回路20−3は第2フ
ィールドから第1フィールドへの予測フィールドベクト
ルを2倍(垂直方向はインターレース補正のためのオフ
セットがつく)をデュアルプライム予測ベクトルとして
dmvを求め(図8(c))、dmv検出回路20−4
は第2フィールドから第2フィールドへの予測フィール
ドベクトルをデュアルプライム予測ベクトルとしてdm
vを求める(図8(d))。
路の従来例である。図7では次の4つのフィールドベク
トルをもとに4つのデュアルプライム予測ベクトルの候
補を生成し、各候補ベクトルに対して全てdmv(9通
り)との組み合わせによる予測誤差を計算し、予測誤差
の最も小さい時のベクトルおよびdmvを採用する。探
索回路は4つのdmv検出回路20−1〜4と最小誤差
検出回路21からなる。dmv検出回路20−1は第1
フィールドから第1フィールドへの予測フィールドベク
トルをデュアルプライム予測ベクトルとしてdmvを求
める(図8(a))。符号化する画像信号は信号線30
より入力され、これと同時にデュアルプライム予測ベク
トルにより示される同相フィールド予測信号(フィール
ド1、フィールド2の順)が信号線31−1より、デュ
アルプライム予測ベクトルおよびdmvによって示され
る逆相フィールド信号(フィールド2、フィールド1の
順)が信号線32−1よりより入力される。また、これ
ら4つの信号の動きベクトル(実際にはデュアルプライ
ム予測ベクトルとデュアルプライム予測ベクトルおよび
dmvの2種類)が信号線35−1より入力される。同
様に、dmv検出回路20−2は第1フィールドから第
2フィールドへの予測フィールドベクトルを2/3倍
(垂直方向はインターレース補正のためのオフセットが
つく)をデュアルプライム予測ベクトルとしてdmvを
求め(図8(b))、dmv検出回路20−3は第2フ
ィールドから第1フィールドへの予測フィールドベクト
ルを2倍(垂直方向はインターレース補正のためのオフ
セットがつく)をデュアルプライム予測ベクトルとして
dmvを求め(図8(c))、dmv検出回路20−4
は第2フィールドから第2フィールドへの予測フィール
ドベクトルをデュアルプライム予測ベクトルとしてdm
vを求める(図8(d))。
【0010】図9にdmv検出回路の詳細図を示す。入
力された逆相フィールドの予測信号32は水平補間回路
50、垂直補間回路51により水平垂直それぞれ2倍に
アップサンプルされる。アップサンプルされた画像は、
可変遅延回路52−1〜9により所定時間遅延される。
一方、入力された同相フィールドの予測信号31は水平
ハーフペルフィルタ41、垂直ハーフペルフィルタ41
でハーフペルの処理が行われる。ハーフペルフィルタと
補間回路はほとんど同じ構成であり、ハーフペルフィル
タでは補間フィルタを用いて一旦アップサンプルした後
にハーフペルか否かにより所定の位相でダウンサンプル
を行う。補間回路は補間フィルタを用いてアップサンプ
ルした画素をそのまま出力する(出力画素数は2倍にな
る)。フィルタをかけた信号は可変遅延回路42により
逆相フィールドの遅延時間にあうよう遅延補正される。
力された逆相フィールドの予測信号32は水平補間回路
50、垂直補間回路51により水平垂直それぞれ2倍に
アップサンプルされる。アップサンプルされた画像は、
可変遅延回路52−1〜9により所定時間遅延される。
一方、入力された同相フィールドの予測信号31は水平
ハーフペルフィルタ41、垂直ハーフペルフィルタ41
でハーフペルの処理が行われる。ハーフペルフィルタと
補間回路はほとんど同じ構成であり、ハーフペルフィル
タでは補間フィルタを用いて一旦アップサンプルした後
にハーフペルか否かにより所定の位相でダウンサンプル
を行う。補間回路は補間フィルタを用いてアップサンプ
ルした画素をそのまま出力する(出力画素数は2倍にな
る)。フィルタをかけた信号は可変遅延回路42により
逆相フィールドの遅延時間にあうよう遅延補正される。
【0011】図10に逆相信号の遅延量の説明を示す。
図は1つのフィールド予測画像をアップサンプルした様
子を示している。白丸は実在の画素、黒丸は補間した画
素である。図は逆相ベクトル(デュアルプライムベクト
ルをスケーリングしたベクトル)が水平垂直とも整数ペ
ルである場合の例である。点線で囲んだ内部の白丸の画
素がdmv=(0,0)の時の予測画素(16×8)の
位置である。画素に付した番号は可変遅延回路への入力
順であり、左上の画素から水平に順次入力される。この
とき可変遅延回路52−1〜9はそれぞれ、37、3
8、39、73、74、75、109、110、111
画素目の信号が同時に出力されるように遅延量が決定さ
れる。すなわち、可変遅延回路52−9の遅延量を0と
したとき、可変遅延回路52−1〜8はそれぞれ、7
4、73、72、38、37、36、2、1画素遅延す
る。一方可変遅延回路42もこれら9画素が出力される
タイミングに74番目の画素に対応する画素(同相予測
信号の第1画素)が出力されるように遅延され、さらに
符号化するデータの第1画素が信号線30より同時に入
力される。以上をまとめるとこの時点で、各信号線に
は、次表1に示す画素の信号が出力されている。
図は1つのフィールド予測画像をアップサンプルした様
子を示している。白丸は実在の画素、黒丸は補間した画
素である。図は逆相ベクトル(デュアルプライムベクト
ルをスケーリングしたベクトル)が水平垂直とも整数ペ
ルである場合の例である。点線で囲んだ内部の白丸の画
素がdmv=(0,0)の時の予測画素(16×8)の
位置である。画素に付した番号は可変遅延回路への入力
順であり、左上の画素から水平に順次入力される。この
とき可変遅延回路52−1〜9はそれぞれ、37、3
8、39、73、74、75、109、110、111
画素目の信号が同時に出力されるように遅延量が決定さ
れる。すなわち、可変遅延回路52−9の遅延量を0と
したとき、可変遅延回路52−1〜8はそれぞれ、7
4、73、72、38、37、36、2、1画素遅延す
る。一方可変遅延回路42もこれら9画素が出力される
タイミングに74番目の画素に対応する画素(同相予測
信号の第1画素)が出力されるように遅延され、さらに
符号化するデータの第1画素が信号線30より同時に入
力される。以上をまとめるとこの時点で、各信号線に
は、次表1に示す画素の信号が出力されている。
【0012】 ここで、aは同相予測の第1画素、Aは符号化画像の第
1画素である。
1画素である。
【0013】逆相ベクトル(デュアルプライムベクトル
をスケーリングしたベクトル)の水平あるいは垂直成分
がハーフペルである場合も同様に処理をする。これらの
場合はdmv=(0、0)の時に対応する画素(図7の
点線部)が1画素分上あるいは左にずれた位置にあるた
め、上記の遅延量も1あるいは36あるいは37増加す
る。これらの処理を全ての第1フィールド画素(16×
8)および第2フィールド画素(16×8)に対し行う
とdmv9通りの誤差値(例えば誤差電力)が信号線6
7−1〜9に同時に出力される。最小誤差検出回路55
はこれら誤差のうち、最も小さいものを選択しその選択
結果の情報を信号線33に出力する。
をスケーリングしたベクトル)の水平あるいは垂直成分
がハーフペルである場合も同様に処理をする。これらの
場合はdmv=(0、0)の時に対応する画素(図7の
点線部)が1画素分上あるいは左にずれた位置にあるた
め、上記の遅延量も1あるいは36あるいは37増加す
る。これらの処理を全ての第1フィールド画素(16×
8)および第2フィールド画素(16×8)に対し行う
とdmv9通りの誤差値(例えば誤差電力)が信号線6
7−1〜9に同時に出力される。最小誤差検出回路55
はこれら誤差のうち、最も小さいものを選択しその選択
結果の情報を信号線33に出力する。
【0014】上記の処理を4通りのベクトルに対して行
うが、これを1つの回路で時分割多重した場合には、N
TSCテレビジョン信号(水平720画素、480垂直
ライン、29.97Hz)の例では24.7μs(1つ
のマクロブロックの処理時間の単純計算)で4つの処理
をしなければならない。画素の読み出し数は1296
(=18×18×4)画素、補間後の画素数は5184
であるのに対して、処理クロックをサンプリングレート
の2倍の27MHzとしたときの処理時間のクロック数
は667クロックしかないため、単純には時分割処理で
きない。なお、図7のような4並列処理の場合でも27
MHzクロックでは、667クロックで1296画素
(補間後)を処理するため、内部で並列化あるいは処理
クロックの高速化を図らなければならない。
うが、これを1つの回路で時分割多重した場合には、N
TSCテレビジョン信号(水平720画素、480垂直
ライン、29.97Hz)の例では24.7μs(1つ
のマクロブロックの処理時間の単純計算)で4つの処理
をしなければならない。画素の読み出し数は1296
(=18×18×4)画素、補間後の画素数は5184
であるのに対して、処理クロックをサンプリングレート
の2倍の27MHzとしたときの処理時間のクロック数
は667クロックしかないため、単純には時分割処理で
きない。なお、図7のような4並列処理の場合でも27
MHzクロックでは、667クロックで1296画素
(補間後)を処理するため、内部で並列化あるいは処理
クロックの高速化を図らなければならない。
【0015】また、第2の従来例では図7のdmv検出
回路20−4のみの構成、すなわち、フィールド2から
フィールド2へのベクトルのみを用いてデュアルプライ
ムベクトルおよびdmvを求めることにより回路規模の
縮小および、読み出しデータ量の低減を図っている。処
理速度に関しては、内部で並列化あるいは処理クロック
の高速化を図らなければならないのは第1の従来例と同
様である。
回路20−4のみの構成、すなわち、フィールド2から
フィールド2へのベクトルのみを用いてデュアルプライ
ムベクトルおよびdmvを求めることにより回路規模の
縮小および、読み出しデータ量の低減を図っている。処
理速度に関しては、内部で並列化あるいは処理クロック
の高速化を図らなければならないのは第1の従来例と同
様である。
【0016】
【発明が解決しようとする課題】上記に示した従来の画
像符号化装置では、処理速度と画像メモリの単位時間に
アクセスするデータ量(バンド幅)に関して以下の課題
がある。処理速度に関しては上記に記したように内部で
並列化あるいは処理クロックの高速化を図らなければな
らない。一方バンド幅に関しては、1つのdmvを求め
るのに4通りの同相の予測画像と4通りの逆相の画像信
号を入力しなければならない。これら計8通りの画像は
すべて局所復号化の画像を格納するメモリから読み出さ
なければならなず、しかもその処理はマクロブロック処
理時間以内に終了しなければない。通常の予測符号化で
は1画素あたりの局所復号化画像のメモリのアクセス回
数(バンド幅はアクセス回数に比例)は、輝度信号のみ
の読み出しは輝度・色差信号の読み出しに比べ0.7倍
(正確には0.666倍)になると計算して、 (イ)フレーム予測候補画像の読み出し(予測モード判
定用:0.7回) (ロ)フィールド予測候補画像の読み出し(予測モード
判定用:0.7回) (ハ)デュアルフィールド予測候補画像の読み出し(予
測モード判定用:0.7回) (ニ)予測画像の読み出し(1または2回) (ホ)復号結果の書込(1回) の計最大5.1回となる。しかし、実際には(ニ)の予
測画像の読み出しは、それ以前に行われる予測モード判
定時に使った(イ)、(ロ)及び(ハ)の画像を一時的
に蓄える事により色差信号のみ(0.3回または0.6
回)にする事ができ、最終的には3.7回のアクセスで
済む。これに対し、dmvの検出を追加すると、dmv
検出で5.3回(8回×0.666)増加する。このう
ち0.7回分は上記2のフィールド予測候補画像の読み
出しと兼用できるため、実質4.6回増加し、合計で
8.3回と倍増する。
像符号化装置では、処理速度と画像メモリの単位時間に
アクセスするデータ量(バンド幅)に関して以下の課題
がある。処理速度に関しては上記に記したように内部で
並列化あるいは処理クロックの高速化を図らなければな
らない。一方バンド幅に関しては、1つのdmvを求め
るのに4通りの同相の予測画像と4通りの逆相の画像信
号を入力しなければならない。これら計8通りの画像は
すべて局所復号化の画像を格納するメモリから読み出さ
なければならなず、しかもその処理はマクロブロック処
理時間以内に終了しなければない。通常の予測符号化で
は1画素あたりの局所復号化画像のメモリのアクセス回
数(バンド幅はアクセス回数に比例)は、輝度信号のみ
の読み出しは輝度・色差信号の読み出しに比べ0.7倍
(正確には0.666倍)になると計算して、 (イ)フレーム予測候補画像の読み出し(予測モード判
定用:0.7回) (ロ)フィールド予測候補画像の読み出し(予測モード
判定用:0.7回) (ハ)デュアルフィールド予測候補画像の読み出し(予
測モード判定用:0.7回) (ニ)予測画像の読み出し(1または2回) (ホ)復号結果の書込(1回) の計最大5.1回となる。しかし、実際には(ニ)の予
測画像の読み出しは、それ以前に行われる予測モード判
定時に使った(イ)、(ロ)及び(ハ)の画像を一時的
に蓄える事により色差信号のみ(0.3回または0.6
回)にする事ができ、最終的には3.7回のアクセスで
済む。これに対し、dmvの検出を追加すると、dmv
検出で5.3回(8回×0.666)増加する。このう
ち0.7回分は上記2のフィールド予測候補画像の読み
出しと兼用できるため、実質4.6回増加し、合計で
8.3回と倍増する。
【0017】第2の従来例ではバンド幅はdmv増加分
が1.4回(フィールド予測候補画像の読み出しとの兼
用は不可)合計で5.1回となり、バンド幅の増加は4
0%になる。また、処理速度に関して、内部で並列化あ
るいは処理クロックの高速化を図らなければならないの
は第1の従来例と同様である。なお、この時、符号化効
率は4つのベクトルを用いる場合に比べ若干劣化する。
が1.4回(フィールド予測候補画像の読み出しとの兼
用は不可)合計で5.1回となり、バンド幅の増加は4
0%になる。また、処理速度に関して、内部で並列化あ
るいは処理クロックの高速化を図らなければならないの
は第1の従来例と同様である。なお、この時、符号化効
率は4つのベクトルを用いる場合に比べ若干劣化する。
【0018】
【目的】そこで、本発明は、符号化効率を大幅に劣化さ
せることなく、回路規模が小さく、バンド幅の少ないd
mv検出回路を備えた画像符号化装置を提供することを
目的とする。
せることなく、回路規模が小さく、バンド幅の少ないd
mv検出回路を備えた画像符号化装置を提供することを
目的とする。
【0019】
【課題を解決するための手段】本発明は、上記目的を達
成するために、インターレース走査された画像信号を入
力し、該画像信号を複数の小ブロックに分割し、以前に
符号化および復号化して保持されている画像から生成し
た、フレーム予測信号、フィールド予測信号、同相フィ
ールドから予測した信号及び逆相フィールドから予測し
た信号を平均値化した第3の予測信号、の各予測信号の
うち、最も予測誤差の少ない信号を予測信号として選択
し、該ブロック信号を予測符号化する画像符号化装置に
おいて、フレーム予測信号を保持するための手段、フィ
ールド予測信号を保持するための手段、フレーム予測信
号を生成するための動きベクトルを、逆相フィールド予
測信号を生成するためのベクトルに変換する手段、該逆
相フィールド予測信号ベクトルにより得られる逆相フィ
ールド信号候補を保持する手段、保持されているフレー
ム予測信号及び保持されている逆相フィールド信号候補
の一部分を平均値化して複数の第3の予測信号候補を生
成する手段、該複数の第3の予測信号候補のうち、最も
予測誤差の少ない候補を第3の予測信号として選択する
手段を具備することを特徴とする。
成するために、インターレース走査された画像信号を入
力し、該画像信号を複数の小ブロックに分割し、以前に
符号化および復号化して保持されている画像から生成し
た、フレーム予測信号、フィールド予測信号、同相フィ
ールドから予測した信号及び逆相フィールドから予測し
た信号を平均値化した第3の予測信号、の各予測信号の
うち、最も予測誤差の少ない信号を予測信号として選択
し、該ブロック信号を予測符号化する画像符号化装置に
おいて、フレーム予測信号を保持するための手段、フィ
ールド予測信号を保持するための手段、フレーム予測信
号を生成するための動きベクトルを、逆相フィールド予
測信号を生成するためのベクトルに変換する手段、該逆
相フィールド予測信号ベクトルにより得られる逆相フィ
ールド信号候補を保持する手段、保持されているフレー
ム予測信号及び保持されている逆相フィールド信号候補
の一部分を平均値化して複数の第3の予測信号候補を生
成する手段、該複数の第3の予測信号候補のうち、最も
予測誤差の少ない候補を第3の予測信号として選択する
手段を具備することを特徴とする。
【0020】逆相フィールド信号候補として、フレーム
予測信号を生成するための動きベクトルから変換したベ
クトルに垂直方向のオフセットを加えたベクトルを用い
て候補信号を生成する手段を具備してもよい。又は、イ
ンターレース走査された画像信号を入力し、該画像信号
を複数の小ブロックに分割し、以前に符号化および復号
化して保持されている画像から生成した、フレーム予測
信号、フィールド予測信号、同相フィールドから予測し
た信号及び逆相フィールドから予測した信号を平均値化
した第3の予測信号、の各予測信号のうち、最も予測誤
差の少ない信号を予測信号として選択し、該ブロック信
号を予測符号化する画像符号化方法において、フレーム
予測信号を保持するためのステップ、フィールド予測信
号を保持するためのステップ、フレーム予測信号を生成
するための動きベクトルを、逆相フィールド予測信号を
生成するためのベクトルに変換するステップ、該逆相フ
ィールド予測信号ベクトルにより得られる逆相フィール
ド信号候補を保持するステップ、保持されているフレー
ム予測信号及び保持されている逆相フィールド信号候補
の一部分を平均値化して複数の第3の予測信号候補を生
成するステップ、該複数の第3の予測信号候補のうち、
最も予測誤差の少ない候補を第3の予測信号として選択
するステップを含むことを特徴とする。
予測信号を生成するための動きベクトルから変換したベ
クトルに垂直方向のオフセットを加えたベクトルを用い
て候補信号を生成する手段を具備してもよい。又は、イ
ンターレース走査された画像信号を入力し、該画像信号
を複数の小ブロックに分割し、以前に符号化および復号
化して保持されている画像から生成した、フレーム予測
信号、フィールド予測信号、同相フィールドから予測し
た信号及び逆相フィールドから予測した信号を平均値化
した第3の予測信号、の各予測信号のうち、最も予測誤
差の少ない信号を予測信号として選択し、該ブロック信
号を予測符号化する画像符号化方法において、フレーム
予測信号を保持するためのステップ、フィールド予測信
号を保持するためのステップ、フレーム予測信号を生成
するための動きベクトルを、逆相フィールド予測信号を
生成するためのベクトルに変換するステップ、該逆相フ
ィールド予測信号ベクトルにより得られる逆相フィール
ド信号候補を保持するステップ、保持されているフレー
ム予測信号及び保持されている逆相フィールド信号候補
の一部分を平均値化して複数の第3の予測信号候補を生
成するステップ、該複数の第3の予測信号候補のうち、
最も予測誤差の少ない候補を第3の予測信号として選択
するステップを含むことを特徴とする。
【0021】逆相フィールド信号候補として、フレーム
予測信号を生成するための動きベクトルから変換したベ
クトルに垂直方向のオフセットを加えたベクトルを用い
て候補信号を生成するステップを含めてもよい。
予測信号を生成するための動きベクトルから変換したベ
クトルに垂直方向のオフセットを加えたベクトルを用い
て候補信号を生成するステップを含めてもよい。
【0022】
【作用】デュアルプライム予測で用いる予測画像を生成
するための画素は、フレーム予測で用いる予測画像を生
成するための画素を包含するため、先に示したフレーム
予測候補画像の読み出しを省略することができ、バンド
幅を20%弱の増加(画素当たり4.4回アクセス)で
抑えることができる。また、水平方向のdmvの検出を
制限することにより処理する画素数が半分になり、内部
で並列化あるいは処理クロックの高速化を図る必要がな
くなり回路規模を低減できる。また、予測効率の低下
も、第2の従来例と同程度に抑えることができる。
するための画素は、フレーム予測で用いる予測画像を生
成するための画素を包含するため、先に示したフレーム
予測候補画像の読み出しを省略することができ、バンド
幅を20%弱の増加(画素当たり4.4回アクセス)で
抑えることができる。また、水平方向のdmvの検出を
制限することにより処理する画素数が半分になり、内部
で並列化あるいは処理クロックの高速化を図る必要がな
くなり回路規模を低減できる。また、予測効率の低下
も、第2の従来例と同程度に抑えることができる。
【0023】
【実施例】図11に本発明を用いた画像符号化装置の実
施例を示す。デュアルプライムベクトル検出・dmv検
出回路20の部分が本発明を適用した部分である。本発
明の適用によりバッファの数が大幅に減っている。基本
的な処理の流れは図6と同じである。
施例を示す。デュアルプライムベクトル検出・dmv検
出回路20の部分が本発明を適用した部分である。本発
明の適用によりバッファの数が大幅に減っている。基本
的な処理の流れは図6と同じである。
【0024】図12にデュアルプライムベクトル検出・
dmv検出回路20の詳細図を示す。dmv検出回路7
0のみからなり、しかもフレームベクトルからデュアル
プライムベクトルを生成している。垂直方向の数え方が
フレームベクトルとデュアルプライムベクトル(フィー
ルドベクトル)と異なるため、デュアルプライムベクト
ル(Vdx,Vdy)のフレームベクトル(Vfx,V
fy)からの算出は以下の式のようになる。
dmv検出回路20の詳細図を示す。dmv検出回路7
0のみからなり、しかもフレームベクトルからデュアル
プライムベクトルを生成している。垂直方向の数え方が
フレームベクトルとデュアルプライムベクトル(フィー
ルドベクトル)と異なるため、デュアルプライムベクト
ル(Vdx,Vdy)のフレームベクトル(Vfx,V
fy)からの算出は以下の式のようになる。
【0025】 Vdx=Vfx …… Vdy=DIV(Vfy、2、0.5) …… ここで「DIV(a、b,c)」はa/bの結果をcの
精度で0方向へ切り捨てることを示す。図11にdmv
検出回路70の詳細図を示す。第11の基本的な構成は
図8とほぼ同じである。異なる部分は逆位相フィールド
の画像の水平補間が水平ハーフペルフィルタになってい
る点と、予測値生成回路や誤差測定回路が3つになって
いる点である。逆相フィールド信号の水平ハーフペルフ
ィルタの出力位相は、同相フィールドの出力位相と同じ
である。すなわち、dmvのx成分が0に限定されてい
る。これにより可変遅延回路52−1〜3に入力される
信号は図14に示すように、従来の半分になる。図14
において、白丸はハーフペル処理をされた後の画素。黒
丸は補間操作により生成された画素を表す。可変遅延回
路52−1〜3の遅延量は逆相フィールドベクトルの垂
直成分が整数ペルの時はそれぞれ、32、16、0とな
り、逆相フィールドベクトルが垂直成分がハーフペルの
ときは48、32、16となる。以下、図8の場合と同
様に、それぞれのdmvに対する予測誤差が計算され、
最小誤差検出回路73にて誤差最小となるdmvが計算
される。本発明を用いた図12、図13の回路では、図
7、図9の回路に比べ、回路規模で8分の1以下、処理
速度で半分、バンド幅も約半分になっている。また、第
2の従来例に比べても、回路規模で約半分、処理速度で
半分、バンド幅も15%減になっている。一方予測効率
は、シミュレーション実験の結果、図7、図9に比べて
もわずかな低下に抑えられている。例えばMPEG2 v
ideoの代表的な符号化モードであるSP@MLモードに
て、4Mbit/sであるNTSC信号150フレーム
を符号化した時の輝度信号の平均ノイズの対信号比(平
均S/N比)は、次表2のようになる。 (以下余白)
精度で0方向へ切り捨てることを示す。図11にdmv
検出回路70の詳細図を示す。第11の基本的な構成は
図8とほぼ同じである。異なる部分は逆位相フィールド
の画像の水平補間が水平ハーフペルフィルタになってい
る点と、予測値生成回路や誤差測定回路が3つになって
いる点である。逆相フィールド信号の水平ハーフペルフ
ィルタの出力位相は、同相フィールドの出力位相と同じ
である。すなわち、dmvのx成分が0に限定されてい
る。これにより可変遅延回路52−1〜3に入力される
信号は図14に示すように、従来の半分になる。図14
において、白丸はハーフペル処理をされた後の画素。黒
丸は補間操作により生成された画素を表す。可変遅延回
路52−1〜3の遅延量は逆相フィールドベクトルの垂
直成分が整数ペルの時はそれぞれ、32、16、0とな
り、逆相フィールドベクトルが垂直成分がハーフペルの
ときは48、32、16となる。以下、図8の場合と同
様に、それぞれのdmvに対する予測誤差が計算され、
最小誤差検出回路73にて誤差最小となるdmvが計算
される。本発明を用いた図12、図13の回路では、図
7、図9の回路に比べ、回路規模で8分の1以下、処理
速度で半分、バンド幅も約半分になっている。また、第
2の従来例に比べても、回路規模で約半分、処理速度で
半分、バンド幅も15%減になっている。一方予測効率
は、シミュレーション実験の結果、図7、図9に比べて
もわずかな低下に抑えられている。例えばMPEG2 v
ideoの代表的な符号化モードであるSP@MLモードに
て、4Mbit/sであるNTSC信号150フレーム
を符号化した時の輝度信号の平均ノイズの対信号比(平
均S/N比)は、次表2のようになる。 (以下余白)
【0026】 表2から、デュアルプライムによる効果が従来例に比
べ、S/N比の増分で17%、従来例に比べ6%程度の
低下で抑えられていることがわかる。
べ、S/N比の増分で17%、従来例に比べ6%程度の
低下で抑えられていることがわかる。
【0027】図15に図13の第2の実施例を示す。図
15ではデュアルプライムベクトルの垂直成分を整数ペ
ルに限定することにより垂直ハーフペルフィルタを省略
し回路規模の削減をはかっている。 Vdx=Vfx …… Vdy=DIV(Vfy、2、1.0) …… 第1の変形例の予測効率(符号時のS/N)を、次表3
に示す。
15ではデュアルプライムベクトルの垂直成分を整数ペ
ルに限定することにより垂直ハーフペルフィルタを省略
し回路規模の削減をはかっている。 Vdx=Vfx …… Vdy=DIV(Vfy、2、1.0) …… 第1の変形例の予測効率(符号時のS/N)を、次表3
に示す。
【0028】 図16に図13の第3の実施例を示す。これはデュアル
プライム予測が選ばれるときのデュアルプライムベクト
ルの垂直成分が0に近い点、また、この時のdmvの垂
直成分が0の場合が少ない(+1あるいは−1)という
統計的な特徴を利用している。Vdy=0の時はdmv
y=+1の場合も、dmvy=−1の場合も垂直方向は
整数ペルを示す。したがって、逆相フィールド信号の垂
直補間処理が不要になる。同時にVdyが0以外にない
ときは信号線79によりデュアルプライムが選択されな
いような信号を出力するよう制御する。第1の変形例の
予測効率(符号時のS/N)は、次表4のようになり、
他の例よりも若干効率は低下している。
プライム予測が選ばれるときのデュアルプライムベクト
ルの垂直成分が0に近い点、また、この時のdmvの垂
直成分が0の場合が少ない(+1あるいは−1)という
統計的な特徴を利用している。Vdy=0の時はdmv
y=+1の場合も、dmvy=−1の場合も垂直方向は
整数ペルを示す。したがって、逆相フィールド信号の垂
直補間処理が不要になる。同時にVdyが0以外にない
ときは信号線79によりデュアルプライムが選択されな
いような信号を出力するよう制御する。第1の変形例の
予測効率(符号時のS/N)は、次表4のようになり、
他の例よりも若干効率は低下している。
【0029】 以上説明した実施例、第2の実施例、第3の実施例に対
して、以下の変形例も本発明に包含されることは明白で
ある。
して、以下の変形例も本発明に包含されることは明白で
ある。
【0030】実施例、第2の実施例、第3の実施例に示
した方法ではdmvの検出を垂直方向のみに限定した
が、垂直水平9点すべてを探索しても構わない。またd
mv=(0,0)の点とその上下左右の計5点を探索し
ても構わない。いずれも場合にも予測効率は若干向上す
る。dmvの探索の時に整数ペルの画素か否かを判断し
て探索をしても構わない。例えば、フレームベクトルの
垂直成分の大きさによって、探索点を適応的に切り替え
てもよい。すなわち、垂直成分が0に近いときは静止あ
るいは水平方向の動きのため解像度が高いことが推定さ
れるため整数ペルが選択されるdmvのみの探索を行
う。垂直成分が大きいときは動きが大きいため解像度が
低下していることが推定されるためハーフペルが選択さ
れるdmvのみの探索を行う。
した方法ではdmvの検出を垂直方向のみに限定した
が、垂直水平9点すべてを探索しても構わない。またd
mv=(0,0)の点とその上下左右の計5点を探索し
ても構わない。いずれも場合にも予測効率は若干向上す
る。dmvの探索の時に整数ペルの画素か否かを判断し
て探索をしても構わない。例えば、フレームベクトルの
垂直成分の大きさによって、探索点を適応的に切り替え
てもよい。すなわち、垂直成分が0に近いときは静止あ
るいは水平方向の動きのため解像度が高いことが推定さ
れるため整数ペルが選択されるdmvのみの探索を行
う。垂直成分が大きいときは動きが大きいため解像度が
低下していることが推定されるためハーフペルが選択さ
れるdmvのみの探索を行う。
【0031】実施例、第2の実施例、第3の実施例に示
した方法はソフトウェアで符号化を行う場合にも適用で
きる。ソフトウェア処理では並列処理が難しくなるため
本発明による処理量の低減による効果は特に大きい。実
施例、第2の実施例、第3の実施例に示した方法は従来
例の方法と組み合わせても効果がある。例えば、フレー
ムベクトルをもとに生成したデュアルプライムベクトル
と第2フィールド→第2フィールドのフィールドベクト
ルをもとに生成したデュアルプライムベクトルとの2通
りについてdmvを求め予測誤差の小さい方を選択する
ことも可能である。この場合、回路規模、バンド幅はや
や増加するが、符号化効率も向上する。なお、一連の画
像符号化処理中にバンド幅を可変とし、バンド幅に余裕
がある場合には複数通りののデュアルプライムベクトル
から計算を行い、バンド幅に余裕のない場合には実施例
等に示した方法を行うことにより符号化効率は平均的に
向上する。
した方法はソフトウェアで符号化を行う場合にも適用で
きる。ソフトウェア処理では並列処理が難しくなるため
本発明による処理量の低減による効果は特に大きい。実
施例、第2の実施例、第3の実施例に示した方法は従来
例の方法と組み合わせても効果がある。例えば、フレー
ムベクトルをもとに生成したデュアルプライムベクトル
と第2フィールド→第2フィールドのフィールドベクト
ルをもとに生成したデュアルプライムベクトルとの2通
りについてdmvを求め予測誤差の小さい方を選択する
ことも可能である。この場合、回路規模、バンド幅はや
や増加するが、符号化効率も向上する。なお、一連の画
像符号化処理中にバンド幅を可変とし、バンド幅に余裕
がある場合には複数通りののデュアルプライムベクトル
から計算を行い、バンド幅に余裕のない場合には実施例
等に示した方法を行うことにより符号化効率は平均的に
向上する。
【0032】本発明は動きベクトル検出回路と組み合わ
せることも可能である。従来の方法でフレームベクト
ル、フィールドベクトルを求めた後に本手法を用いてデ
ュアルプライムベクトルおよびdmvあるいは双方向予
測用の後方予測ベクトルを求める。動きベクトル検出回
路では画像メモリのバンド幅が非常に大きいが、本手法
を用いればバンド幅をさほど増加させずにデュアルプラ
イムベクトルおよびdmvあるいは双方向予測用の後方
予測ベクトルを求めることができる。
せることも可能である。従来の方法でフレームベクト
ル、フィールドベクトルを求めた後に本手法を用いてデ
ュアルプライムベクトルおよびdmvあるいは双方向予
測用の後方予測ベクトルを求める。動きベクトル検出回
路では画像メモリのバンド幅が非常に大きいが、本手法
を用いればバンド幅をさほど増加させずにデュアルプラ
イムベクトルおよびdmvあるいは双方向予測用の後方
予測ベクトルを求めることができる。
【0033】
【発明の効果】本発明によれば、予測効率の低下を最小
限に抑えつつ、バンド幅の増加を抑えることができる。
また、内部で並列化あるいは処理クロックの高速化を図
る必要がなくなり、回路規模の低減が可能になる。
限に抑えつつ、バンド幅の増加を抑えることができる。
また、内部で並列化あるいは処理クロックの高速化を図
る必要がなくなり、回路規模の低減が可能になる。
【図1】インターレースの画像信号の構成を説明する図
である。
である。
【図2】フレーム予測及びフィールド予測を説明する図
である。
である。
【図3】フィールド予測のハーフペル予測を説明する図
である。
である。
【図4】垂直方向のデュアルプライム予測を説明する図
である。
である。
【図5】水平方向のデュアルプライム予測を説明する図
である。
である。
【図6】従来の画像符号化装置の構成図である。
【図7】図6のデュアルプライムベクトル検出・dmv
検出回路の詳細図である。
検出回路の詳細図である。
【図8】図7のデュアルプライムベクトルを説明する図
である。
である。
【図9】図7のdmv検出回路の詳細図である。
【図10】図9の処理画素のタイミング図である。
【図11】本発明を用いたの画像符号化装置の構成図で
ある。
ある。
【図12】本発明を用いたのデュアルプライムベクトル
検出・dmv検出回路の詳細図である。
検出・dmv検出回路の詳細図である。
【図13】本発明を用いたdmv検出回路の詳細図であ
る。
る。
【図14】図13の処理画素のタイミング図である。
【図15】本発明を用いたdmv検出回路の第2の実施
例の構成図である。
例の構成図である。
【図16】本発明を用いたdmv検出回路の第3の実施
例の構成図である。
例の構成図である。
1:フレーム信号 2:第1フィールド信号 3:第2フィールド信号 10:デュアルプライムベクトル検出・dmv検出回路 20、70:dmv検出回路 30:符号化画像信号 31:同相フィールド予測信号 32:逆相フィールド予測信号 35:ベクトル情報 40:水平ハーフペルフィルタ 41:垂直ハーフペルフィルタ 42、52:可変遅延回路 50:水平補間回路 51:垂直補間回路 53:予測値生成回路 54:誤差測定回路 101:局所復号画像メモリ 121:予測符号化回路 122:局所復号化回路
Claims (4)
- 【請求項1】インターレース走査された画像信号を入力
し、該画像信号を複数の小ブロックに分割し、以前に符
号化および復号化して保持されている画像から生成し
た、フレーム予測信号、フィールド予測信号、同相フィ
ールドから予測した信号及び逆相フィールドから予測し
た信号を平均値化した第3の予測信号、の各予測信号の
うち、最も予測誤差の少ない信号を予測信号として選択
し、該ブロック信号を予測符号化する画像符号化装置に
おいて、フレーム予測信号を保持するための手段、フィ
ールド予測信号を保持するための手段、フレーム予測信
号を生成するための動きベクトルを、逆相フィールド予
測信号を生成するためのベクトルに変換する手段、該逆
相フィールド予測信号ベクトルにより得られる逆相フィ
ールド信号候補を保持する手段、保持されているフレー
ム予測信号及び保持されている逆相フィールド信号候補
の一部分を平均値化して複数の第3の予測信号候補を生
成する手段、該複数の第3の予測信号候補のうち、最も
予測誤差の少ない候補を第3の予測信号として選択する
手段を具備することを特徴とする画像符号化装置。 - 【請求項2】逆相フィールド信号候補として、フレーム
予測信号を生成するための動きベクトルから変換したベ
クトルに垂直方向のオフセットを加えたベクトルを用い
て候補信号を生成する手段を具備することを特徴とする
請求項1記載の画像符号化装置。 - 【請求項3】インターレース走査された画像信号を入力
し、該画像信号を複数の小ブロックに分割し、以前に符
号化および復号化して保持されている画像から生成し
た、フレーム予測信号、フィールド予測信号、同相フィ
ールドから予測した信号及び逆相フィールドから予測し
た信号を平均値化した第3の予測信号、の各予測信号の
うち、最も予測誤差の少ない信号を予測信号として選択
し、該ブロック信号を予測符号化する画像符号化方法に
おいて、フレーム予測信号を保持するためのステップ、
フィールド予測信号を保持するためのステップ、フレー
ム予測信号を生成するための動きベクトルを、逆相フィ
ールド予測信号を生成するためのベクトルに変換するス
テップ、該逆相フィールド予測信号ベクトルにより得ら
れる逆相フィールド信号候補を保持するステップ、保持
されているフレーム予測信号及び保持されている逆相フ
ィールド信号候補の一部分を平均値化して複数の第3の
予測信号候補を生成するステップ、該複数の第3の予測
信号候補のうち、最も予測誤差の少ない候補を第3の予
測信号として選択するステップを含むことを特徴とする
画像符号化方法。 - 【請求項4】逆相フィールド信号候補として、フレーム
予測信号を生成するための動きベクトルから変換したベ
クトルに垂直方向のオフセットを加えたベクトルを用い
て候補信号を生成するステップを含むことを特徴とする
請求項3記載の画像符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32477994A JPH08182000A (ja) | 1994-12-27 | 1994-12-27 | 画像符号化装置及び画像符号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32477994A JPH08182000A (ja) | 1994-12-27 | 1994-12-27 | 画像符号化装置及び画像符号化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08182000A true JPH08182000A (ja) | 1996-07-12 |
Family
ID=18169583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32477994A Pending JPH08182000A (ja) | 1994-12-27 | 1994-12-27 | 画像符号化装置及び画像符号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08182000A (ja) |
-
1994
- 1994-12-27 JP JP32477994A patent/JPH08182000A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6108047A (en) | Variable-size spatial and temporal video scaler | |
| EP0648398B1 (en) | Motion compensated video processing | |
| JP3799099B2 (ja) | ビデオ圧縮方法及び装置 | |
| JPH0325119B2 (ja) | ||
| JP2009532984A (ja) | 補償アーチファクトに対する保護を有する動き補償フレームレート変換 | |
| JP2004516724A (ja) | ブロックベースの動き補償の精度を改善するための方法 | |
| US6930728B2 (en) | Scan conversion apparatus | |
| CN101163247A (zh) | 运动补偿图像的内插方法以及用于所述方法的实现的设备 | |
| US5430490A (en) | Scanning format converting circuit using motion vectors | |
| JPH11112940A (ja) | 動きベクトルの生成方法および装置 | |
| JP4092773B2 (ja) | 画像信号のフレーム数変換方法および装置 | |
| EP1386486B1 (en) | Detection and proper interpolation of interlaced moving areas for mpeg decoding with embedded resizing | |
| US6243140B1 (en) | Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion | |
| EP0817478A1 (en) | Process for interpolating frames for film mode compatibility | |
| JP4483085B2 (ja) | 学習装置、適用装置、学習方法および適用方法 | |
| JP2003333540A (ja) | フレームレート変換装置及びそれを用いた映像表示装置、テレビジョン放送受信装置 | |
| JP3362463B2 (ja) | フレーム補間装置 | |
| JPH08182000A (ja) | 画像符号化装置及び画像符号化方法 | |
| JP4144339B2 (ja) | 動画像符号化方法及び動画像複号化方法 | |
| JP2014057198A (ja) | 画像処理装置、画像処理システム、及び画像処理方法 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| KR100297776B1 (ko) | 영상신호복호시의움직임정보를이용한3차원신호처리장치 | |
| JPH0363275B2 (ja) | ||
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP2003134476A (ja) | 走査変換処理装置 |