JPH0846971A

JPH0846971A - 動画像符号化装置

Info

Publication number: JPH0846971A
Application number: JP6178064A
Authority: JP
Inventors: Yoichi Fujiwara; 陽一藤原; Hiroshi Kusao; 寛草尾; Tomoko Aono; 友子青野; Hiroyuki Katada; 裕之堅田; Toshiyuki Miyake; 俊行三宅
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1994-07-29
Filing date: 1994-07-29
Publication date: 1996-02-16
Also published as: EP0695097B1; EP0695097A3; EP0695097A2; DE69527584D1; US5721588A; DE69527584T2; US5760835A

Abstract

(57)【要約】【目的】フレーム単位の直交変換とフィールド単位の
直交変換とを適応的に切り替え、その切り替えの判断に
動き予測情報を用いることにより、画像の劣化を抑えな
がら、ハードウェアの付加がほとんど無しに直交変換モ
ードのモード判定を行う。【構成】動き推定部１８で算出される「予測誤差量」
を「フレーム直交変換モード」と「フィールド直交変換
モード」の選択の判断に用いる。ここでは、動き推定部
１８で算出された「フレーム予測における予測誤差量」
ＥＦｒと「フィールド予測における予測誤差量」ＥＦｉ
が、直交変換モード判定部６の比較器２１に入力され、
大小を比較され、その結果から直交変換モード切り替え
信号ＴＣが生成される。このように、予測誤差量を直交
変換モード判定に利用することにより、ハードウェア規
模を小さくし、判定の処理速度を向上させることができ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像符号化装置に関
し、より詳細には、フレーム単位の直交変換モードとフ
ィールド単位の直交変換モードを適応的に切り替える符
号化装置において、切り替えの判断に動き予測情報を用
いることにより、画像劣化を抑えながらハードウェアの
簡略化を図るようにした動画像符号化装置に関する。

【０００２】

【従来の技術】インターレース走査（飛び越し走査）さ
れた動画像情報をディジタル伝送もしくは記録する場合
に、フレーム単位の動き予測とフィールド単位の動き予
測，フレーム内符号化とフレーム間符号化，フレーム単
位の直交変換とフィールド単位の直交変換のそれぞれを
適応的に切り替えるフレーム／フィールド適応フレーム
間画像符号化法が知られている。

【０００３】図１３は、一般的なフレーム／フィールド
適応フレーム間画像符号化装置のブロック図で、図中、
６１は入力端子、６２は減算器、６３はフレーム内／間
符号化モード判定部、６４は切替器、６５はフレーム・
フィールド変換器、６６は直交変換モード判定部、６７
は切替器、６８は直交変換符号化器、６９はマルチプレ
クサ（ＭＵＸ）、７０は出力端子、７１は直交変換復号
器、７２はフィールド・フレーム変換器、７３は切替
器、７４は加算器、７５は切替器、７６はフレームメモ
リ、７７は予測器、７８は動き推定部である。

【０００４】符号化フレームは、２Ｎ×２Ｎ画素の大き
さのマクロブロックに分割され、入力端子６１から入力
される。ここで、入力されたマクロブロックをＸとす
る。Ｘはインターレース構造を有する。すなわち、Ｘの
中の奇数ラインは奇フィールドの画素に、偶数ラインは
偶フィールドの画素に対応する。

【０００５】マクロブロックＸとフレームメモリ７６に
格納されている参照フレームを用いて、動き推定部７８
が動きベクトルＭＶを算出し、同時にフレーム単位に予
測を行うか、フィールド単位に予測を行うかを判定し
て、予測モード切り替え信号ＰＣを生成する。ここで、
フレーム単位に予測を行う場合を「フレーム予測モー
ド」と呼び、フィールド単位に予測を行う場合を「フィ
ールド予測モード」と呼ぶ。動きベクトルは「フレーム
予測モード」の時はマクロブロックあたり１本であり、
「フィールド予測モード」の時は偶フィールド用と奇フ
ィールド用が必要なため、マクロブロックあたり２本と
なる。また、前後双方の参照フレームから予測を行う双
方向予測の場合は、ベクトル数はそれぞれ２倍になる。

【０００６】図１４は、図１３における予測器の一般的
な構成を示すブロック図で、図中、７９はフレーム予測
器、８０はフィールド予測器、８１は切替器である。予
測器７７は、ＭＶ，ＰＣを用いて予測マクロブロックＰ
を算出する。ここで、フレーム予測器７９は、フレーム
予測マクロブロックＰＦｒを、フィールド予測器８０は
フィールド予測マクロブロックＰＦｉをそれぞれ生成
し、切替器８１が予測モード切り替え信号ＰＣに従って
ＰＦｒ，ＰＦｉのいずれか一方を選択し、予測マクロブ
ロックＰとする。

【０００７】次に、減算器６２でＸとＰとの差分がとら
れ、フレーム間差分マクロブロックＥが得られる。フレ
ーム内／間符号化モード判定部６３はＸとＥとを比較
し、Ｘを符号化するかＥを符号化するかを判断し、符号
化モード切り替え信号ＥＣによって切替器６４を制御す
る。Ｘが選択された時を「フレーム内符号化モード」と
呼び、Ｅが選択された時を「フレーム間符号化モード」
と呼ぶ。切替器６４で選択されたマクロブロックをＦｒ
とする。Ｆｒはインターレース構造を有する。

【０００８】Ｆｒはフレーム・フィールド変換部６５に
よって、フレーム→フィールド変換される。ここで、フ
レーム→フィールド変換とは、マクロブロックをライン
単位に図１５のように並べ替える操作である。ここで、
フレーム→フィールド変換されたマクロブロックをＦｉ
とする。Ｆｉの上半分２Ｎ×Ｎ画素の大きさのブロック
は奇フィールドの画素で構成され、下半分２Ｎ×Ｎ画素
の大きさのブロックは偶フィールドの画素で構成され
る。

【０００９】直交変換モード判定部６６は、Ｆｒを直交
変換符号化するかＦｉを直交変換符号化するか判定し、
直交変換モード切り替え信号ＴＣによって切替器６７を
制御し、Ｆｒ，Ｆｉのいずれか一方を選択する。そし
て、選択された２Ｎ×２Ｎ画素の大きさのマクロブロッ
クＢが直交変換符号化器６８で左上，右上，左下，右下
のＮ×Ｎ画素の大きさのブロック単位に直交変換符号化
される。ここで、Ｆｒが選択された時を「フレーム直交
変換モード」と呼び、Ｆｉが選択された時を「フィール
ド直交変換モード」と呼ぶ。

【００１０】直交変換符号化器６８の出力Ｙは、上記の
各モードを表す情報ＴＣ，ＥＣ，ＰＣおよび動きベクト
ルＭＶと、マルチプレクサ６９によって多重化され、多
重化出力Ｚが出力端子７０から出力され、伝送もしくは
記録される。復号側での再生画像を得るために、符号化
側では符号化と同時に復号作業が行われ、復号されたマ
クロブロックはフレームメモリ７６に保持される。直交
変換復号器７１に入力された符号化データＹは直交変換
復号され、復号マクロブロックＦｒ′が得られる。

【００１１】次に、Ｆｒ′はフレーム→フィールド変換
の逆の手順でフィールド・フレーム変換器７２によって
フィールド→フレーム変換される。フィールド→フレー
ム変換されたマクロブロックをＦｉ′とする。Ｆｒ′，
Ｆｉ′のうち、一方が直交変換モード切り替え信号ＴＣ
によって制御される切替器７３によって選択される。こ
こで、「フレーム直交変換モード」のときはＦｒ′が選
ばれ、「フィールド直交変換モード」のときはＦｉ′が
選ばれる。

【００１２】そして、選ばれたマクロブロックＸ′は加
算器７４において、予測マクロブロックＰと加算され
る。加算結果をマクロブロックＥ′とする。Ｘ′とＥ′
のうち、一方がフレーム内／間符号化モード切り替え信
号ＥＣによって制御される切替器７５によって選択され
る。ここで、「フレーム内符号化モード」においては
Ｘ′が選ばれ、「フレーム間符号化モード」においては
Ｅ′が選ばれる。こうして、復号マクロブロックＤ′が
求められる。１フレームの処理が終った時点で完全な復
号フレームが得られ、これが以降の符号化対象のための
参照フレームとなる。

【００１３】一般的に、このような符号化方式において
は、シーケンス途中からの復号などに対応するため、１
フレーム内の全マクロブロックが「フレーム内符号化モ
ード」である「フレーム内符号化フレーム」を定期的に
挿入することが行われる。また、以後では、「フレーム
内符号化フレーム」以外のフレームを「フレーム間予測
符号化フレーム」と呼ぶ。ここで、「フレーム直交変換
モード」と「フィールド直交変換モード」とを切り替え
る第１の方式として、「ＭＰＥＧ２フレーム間予測方
式」（テレビジョン学会技術報告 Vol.16, No.61,pp.37
-42）には、以下の方法が述べられている。

【００１４】Ｆｒの縦方向の最高周波数（アダマール変
換の意味での）の電力と、２つのフィールド（Ｆｉの上
半分と下半分のそれぞれ）の縦方向の最高周波数の電力
の和の比較によって行う。すなわち、前者が大きければ
フィールド変換モードとし、後者が大きければフレーム
変換モードとする。

【００１５】図１６は、上述の方法における変換モード
判定部のブロック図で、図中、８２ａ，８２ｂは縦方向
の最高周波数の電力計算部、８３は比較器である。Ｆ
ｒ，Ｆｉは、縮方向の最高周波数の電力計算部８２ａ，
８２ｂに入力される。該電力計算部８２ａ，８２ｂで計
算されたＦｒ，Ｆｉの縦方向の最高周波数の電力は比較
器８３によって比較され、変換モードＴＣが決定され
る。ここで、縦方向の最高周波数の電力は以下の（１）
式で表される。

【００１６】

【数１】

【００１７】ただし、ｘ（１≦ｘ≦２Ｎ）はマクロブロ
ック内の画素のｘ座標、ｙ（１≦ｙ≦２Ｎ）はマクロブ
ロック内の画素のｙ座標である。また、Ｏ（ｘ,ｙ）は
マクロブロック内の座標（ｘ,ｙ）の画素値を表す。

【００１８】図１７は、図１６の縦方向の最高周波数の
電力計算部のブロック図で、図中、８４，８７は切替
器、８５は遅延器、８６は減算器、８８は乗算器、８９
は加算器、９０はレジスタ、９１はラッチ、９２は制御
部である。切替器８４，８７は、ブロックのライン毎に
１回切り替わる。すなわち、ブロックの奇数ラインの画
素が入力されている時はＡ側に切り替えられ、偶数ライ
ンの画素が入力されている時はＢ側に切り替えられる。
遅延器８５は２Ｎ画素分入力を遅延される。したがっ
て、減算器８６にはＯ（ｘ,ｙ）とＯ（ｘ,ｙ−１）が入
力される。該減算器８６の出力Ｏ（ｘ,ｙ）−Ｏ（ｘ,ｙ
−１）は乗算器８８で２乗され、続く加算器８９とレジ
スタ９０によって累積加算される。

【００１９】ただし、（１）式より加算が実行されるの
は、ｙが偶数の時のみであるため、ｙが奇数の時は、切
替器８７によって乗算器の入力は０となり、累積加算に
影響が及ばないようになっている。ラッチ９１は、１ブ
ロック分の累積加算結果のみを保持するよう制御され
る。１ブロック分の累積加算が終了したところで、次の
ブロックの演算のため、レジスタ９０はリセットされ
る。制御部９２は、これら一連の動作を制御する。

【００２０】一方、特開平５−９１５００号公報に記載
の「画像信号の高能率符号化装置及び復号化装置」に
は、「フレーム直交変換モード」と「フィールド直交変
換モード」とを切り替える第２の方式として、以下の方
法が述べられている。

【００２１】Ｆｒに対して、次式で定義される差分ＥＦ
Ｄ（フィールド予測モードにおける予測誤差量）とＥＦ
Ｍ（フレーム予測モードにおける予測誤差量）を算出
し、ＥＦＭとＥＦＤの差が、あるしきい値Ｔ２よりも大
きい（ＥＦＭ−ＥＦＤ＞Ｔ２）の時は、フィールド変換
モードとし、それ以外の時はフレーム変換モードとす
る。

【００２２】

【数２】

【００２３】ただし、（２）式と（３）式は、（１）の
２乗を絶対値に置き換え、Ｆｉ，Ｆｒに適用したものに
それぞれ一致する。このように、前記第１の方式も前記
第２の方式も共に、マクロブロックの画素データを用い
て、「フレーム直交変換モード」と「フィールド直交変
換モード」の切り替えの判定を行っている。

【００２４】

【発明が解決しようとする課題】前記第１の方式では、
「フレーム直交変換モード」と「フィールド直交変換モ
ード」の選択のために、縦方向の最高周波数の電力を計
算するハードウェアが必要となる。この最高周波数の電
力の計算には、乗算器１個，加減算器２個，遅延器のた
めのメモリおよび制御回路などが必要であり、これは大
きなハードウェア規模となる。また、フレームマクロブ
ロック（Ｆｒ），フィールドマクロブロック（Ｆｉ）の
それぞれに対して、最高周波数の電力計算が必要なた
め、ハードウェア規模はさらに２倍となる。

【００２５】一方、前記第２の方式では乗算器は不要な
ため、前記第１の方式に比較してハードウェア規模は幾
分低減されるが、やはり大きなハードウェアが必要であ
る。また、前記第１の方式も前記第２の方式も共に、
「フレーム直交変換モード」と「フィールド直交変換モ
ード」の切り替えの判定にマクロブロック内の全画素デ
ータを用いるため入力データが多く、処理量が大きくな
り、時間がかかるという問題点があった。

【００２６】本発明は、このような実情に鑑みてなされ
たもので、フレーム単位の直交変換モードとフィールド
単位の直交変換モードとを適応的に切り替え、その切り
替えの判断に動き予測情報を用いることにより、画像の
劣化を抑えながら、ハードウェアの付加がほとんど無し
に直交変換モードのモード判定を行うようにした動画像
符号化装置を提供することを目的としたものである。

【００２７】

【課題を解決するための手段】本発明は、上記課題を解
決するために、（１）インターレース走査された動画像
シーケンスの各フレームを符号化ブロックに分割し、分
割された符号化ブロック毎に動き推定によって算出され
る動きベクトルを利用して前後のフレームから予測画像
ブロックを生成し、該予測画像ブロックの生成には、前
記符号化ブロックを単位とする動きベクトルを用いて予
測を行うフレーム予測モードと、前記符号化ブロックの
奇数ラインからなる奇数フィールドと偶数ラインからな
る偶数フィールドのそれぞれに対する動きベクトルを用
いて予測を行うフィールド予測モードとを適応的に用い
る動画像符号化装置において、前記フレーム予測モード
における予測誤差量と前記フィールド予測モードにおけ
る予測誤差量とを算出する動き推定部と、該動き推定部
からの動き推定情報に基づき、フレーム単位の直交変換
モードとフィールド単位の直交変換モードとを適応的に
切り替える直交変換モード判定部とを有し、前記フレー
ム予測モードにおける予測誤差量がフィールド予測モー
ドにおける予測誤差量より大きいときにはフィールド直
交変換モードとし、それ以外はフレーム直交変換モード
とすること、更には、（２）前記直交変換モード判定部
は比較手段を有し、該比較手段により前記フレーム予測
モードにおける予測誤差量とフィールド予測モードにお
ける予測誤差量とを比較すること、更には、（３）前記
フレーム直交変換モードと前記フィールド直交変換モー
ドとの選択には、前記動き推定において算出される動き
ベクトルから動き量を算出する算出手段と、算出された
動き量と所定の値とを比較する比較手段を用い、前記変
換モードの決定に、前記動き量と所定の値との大小関係
を利用すること、更には、（４）前記（３）において、
前記動き量の算出において、１つのマクロブロックに対
して算出される複数の動きベクトルに対する各動き量の
中から、最大のものを当該マクロブロックの動き量とす
ること、更には、（５）前記（３）において、前記動き
量の算出において、１つのマクロブロックに対して算出
される複数の動きベクトルに対する各動き量の総和を当
該マクロブロックの動き量とすること、更には、（６）
前記（３）,（４）又は（５）において、前記動き量と
して動きベクトルの垂直および水平成分の絶対値和を用
いること、更には、（７）前記（３）,（４）又は
（５）において、前記動き量として動きベクトルの垂直
および水平成分の２乗和を用いること、更には、（８）
前記（１）において、前記フレーム直交変換モードと前
記フィールド直交変換モードとの選択には、前記符号化
ブロックに対し、前記フレーム予測モードが選択された
時は、直交変換モードを前記フレーム直交変換モードと
し、前記フィールド予測モードが選択され時は、直交変
換モードを前記フィールド直交変換モードとすること、
更には、（９）前記（１）〜（８）のいずれかにおい
て、１フレーム内の符号化ブロックの一部もしくは全て
がフレーム内符号化モードであっても、該フレーム内符
号化モードの符号化ブロックを含む全ての符号化ブロッ
クに対して、前記動きベクトルの予測を行うことを特徴
としたものである。

【００２８】

【作用】本発明による動画像符号化装置は、動き推定部
において算出される「フレーム予測モードにおける予測
誤差量」と「フィールド予測モードにおける予測誤差
量」、および「動きベクトル」を用いて直交変換モード
を決定するフレーム／フィールド適応フレーム間画像符
号化装置であり、（１）「フレーム予測モードにおける予測誤差量」と
「フィールド予測モードにおける予測誤差量」とを比較
し、その大小関係によって直交変換モードを決定する。
ここで、所定の関数ｆ（ｘ），ｇ（ｙ）に対して、ｆ(フレーム予測モードにおける予測誤差量)＞ｇ(フィールド予測モードにおける予測誤差量) …（４）のときは「フィールド直交変換モード」とし、そうでな
い時は「フレーム直交変換モード」とする。ただし、不
等号＞は≧でもよい。

【００２９】上記の判定は、「フレーム予測モードにお
ける予測誤差量」が「フィールド予測における予測誤差
量」より小さい時は、フレーム画像の隣接ライン間の相
関が高く、直交変換もフレーム単位に行う方が低周波へ
の電力集中の点で有利であり、逆に、「フィールド予測
における予測誤差量」が「フレーム予測モードにおける
予測誤差量」より小さい時は、フィールド画像の隣接ラ
イン間の相関が高く、直交変換もフィールド単位に行う
方が低周波への電力集中の点で有利であるという知見に
基づいている（請求項１,２）。

【００３０】（２）動き予測における動きベクトルから
「動き量」を求め、求めた「動き量」を所定の値と比較
し、その大小関係によって直交変換モードを決定する。
「動き量」が大きい時は、動きにともなうフィールド間
の移動量が大きく、隣接ライン間の相関が小さくなるた
め、フレームのままで直交変換を行うと、縦方向の高周
波成分が発生しやすくなる。したがって、このような場
合には、フィールド単位に直交変換を行った方が効率的
である。一方、「動き量」が小さい時は、動きにともな
うフィールド間の移動量が小さいと考えられる。したが
って、このような場合は、ブロック内の隣接ライン間の
相関が大きくなり、フレーム単位で直交変換を行った方
が、低周波への電力集中の点で有利である。以上の理由
から、「動き量」が所定の値より小さい時は、「フレー
ム直交変換モード」を選択し、そうでない時には「フィ
ールド直交変換モード」を選択する（請求項３〜７）。

【００３１】（３）動き予測において「フレーム予測モ
ード」が選択されるか「フィールド予測モード」が選択
されるかに従って直交変換モードを決定する。すなわ
ち、「フレーム予測モード」が選択され時は、「フレー
ム直交変換モード」とし、「フィールド予測モード」が
選択された時は「フィールド直交変換モード」とする
（請求項８）。

【００３２】（４）「フレーム内符号化モード」,「フ
レーム間符号化モード」にかかわらず動き推定を行う。
そして、動き推定によって得られた情報を請求項１〜８
のいずれかの方法に適用し、「フレーム直交変換モー
ド」と「フィールド直交変換モード」の選択を行う（請
求項９）。

【００３３】

【実施例】実施例について、図面を参照して以下に説明
する。図１は、本発明による動画像符号化装置の一実施
例（請求項１）を説明するためのブロック図である。図
中、１は入力端子、２は減算器、３はフレーム内／間符
号化モード判定部、４は切替器、５はフレーム→フィー
ルド変換部、６は直交変換モード判定部、７は切替器、
８は直交変換符号化器、９はマルチプレクサ（ＭＵ
Ｘ）、１０は出力端子、１１は直交変換復号器、１２は
フィールド→フレーム変換器、１３は切替器、１４は加
算器、１５は切替器、１６はフレームメモリ、１７は予
測器、１８は動き推定部である。

【００３４】符号化に関する手順は、図１３に示す従来
例と全く同じである。すなわち、符号化フレームは、２
Ｎ×２Ｎ画素の大きさのマクロブロックに分割され、入
力端子１から入力される。ここで、入力されたマクロブ
ロックをＸとする。Ｘはインターレース構造を有する。
すなわち、Ｘの中の奇数ラインは奇フィールドの画素
に、偶数ラインは偶フィールドの画素に対応する。

【００３５】マクロブロックＸとフレームメモリ１６に
格納されている参照フレームを用いて、動き推定部１８
が動きベクトルＭＶを算出し、同時にフレーム単位に予
測を行うか、フィールド単位に予測を行うかを判定し
て、予測モード切り替え信号ＰＣを生成する。ここで、
フレーム単位に予測を行う場合を「フレーム予測モー
ド」と呼び、フィールド単位に予測を行う場合を「フィ
ールド予測モード」と呼ぶ。動きベクトルは「フレーム
予測モード」の時はマクロブロックあたり１本であり、
「フィールド予測モード」の時は偶フィールド用と奇フ
ィールド用が必要なため、マクロブロックあたり２本と
なる。また、前後双方の参照フレームから予測を行う双
方向予測の場合は、ベクトル数はそれぞれ２倍になる。

【００３６】予測器１７は、ＭＶ，ＰＣを用いて予測マ
クロブロックＰを算出する。次に、減算器２でＸとＰと
の差分がとられ、フレーム間差分マクロブロックＥが得
られる。フレーム内／間符号化モード判定部３はＸとＥ
とを比較し、Ｘを符号化するかＥを符号化するかを判断
し、符号化モード切り替え信号ＥＣによって切替器４を
制御する。Ｘが選択された時を「フレーム内符号化モー
ド」と呼び、Ｅが選択された時を「フレーム間符号化モ
ード」と呼ぶ。切替器４で選択されたマクロブロックを
Ｆｒとする。Ｆｒはインターレース構造を有する。

【００３７】Ｆｒはフレーム・フィールド変換部５によ
って、フレーム・フィールド変換される。ここで、フレ
ーム・フィールド変換されたマクロブロックをＦｉとす
る。Ｆｉの上半分２Ｎ×Ｎ画素の大きさのブロックは奇
フィールドの画素で構成され、下半分２Ｎ×Ｎ画素の大
きさのブロックは偶フィールドの画素で構成される。

【００３８】直交変換モード切り替え信号ＴＣによって
切替器７を制御し、Ｆｒ，Ｆｉのいずれか一方を選択す
る。そして、選択された２Ｎ×２Ｎ画素の大きさのマク
ロブロックＢが直交変換符号化器８で左上，右上，左
下，右下のＮ×Ｎ画素の大きさのブロック単位に直交変
換符号化される。ここで、Ｆｒが選択された時を「フレ
ーム直交変換モード」と呼び、Ｆｉが選択された時を
「フィールド直交変換モード」と呼ぶ。

【００３９】直交変換符号化器８の出力Ｙは、上記の各
モードを表す情報ＴＣ，ＥＣ，ＰＣおよび動きベクトル
ＭＶと、マルチプレクサ９によって多重化され、多重化
出力Ｚが出力端子１０から出力され、伝送もしくは記録
される。復号側での再生画像を得るために、符号化側で
は符号化と同時に復号作業が行われ、復号されたマクロ
ブロックはフレームメモリ１６に保持される。直交変換
復号器１１に入力された符号化データＹは直交変換復号
され、復号マクロブロックＦｒ′が得られる。

【００４０】次に、Ｆｒ′はフレーム・フィールド変換
の逆の手順でフィールド・フレーム変換器１２によって
フィールド・フレーム変換される。フィールド・フレー
ム変換されたマクロブロックをＦｉ′とする。Ｆｒ′，
Ｆｉ′のうち、一方が直交変換モード切り替え信号ＴＣ
によって制御される切替器１３によって選択される。こ
こで、「フレーム直交変換モード」のときはＦｒ′が選
ばれ、「フィールド直交変換モード」のときはＦｉ′が
選ばれる。

【００４１】そして、選ばれたマクロブロックＸ′は加
算器１４において、予測マクロブロックＰと加算され
る。加算結果をマクロブロックＥ′とする。Ｘ′とＥ′
のうち、一方がフレーム内／間符号化モード切り替え信
号ＥＣによって制御される切替器１５によって選択され
る。ここで、「フレーム内符号化モード」においては
Ｘ′が選ばれ、「フレーム間符号化モード」においては
Ｅ′が選ばれる。こうして、復号マクロブロックＤ′が
求められる。１フレームの処理が終った時点で完全な復
号フレームが得られ、これが以降の符号化対象のための
参照フレームとなる。

【００４２】図１と図３に示した従来例との差異は、図
１３では、直交変換モード判定部６６に入力されている
のはＦｒとＦｉであるが、図１において直交変換モード
判定部６に入力されているのは、動き推定部１８で発生
した情報になっている点である。

【００４３】なお、「フレーム内符号化フレーム」な
ど、１フレーム内すべてのマクロブロックが「フレーム
内符号化モード」にあらかじめ定められているような場
合、従来、動き推定部１８は休止状態にあった。また、
「フレーム内符号化フレーム」以外でも、「フレーム内
符号化モード」の場合には、動き推定部１８で発生した
情報は符号化に使用されなかった。本実施例では、その
ような場合でも、動き推定部１８で発生する情報を用い
て直交変換モードを判定するため、動き推定部を動作さ
せる（請求項９）。ただし、従来、休止していた部分を
作動させるだけであるので、このことによるハードウェ
ア規模の増加は発生しない。

【００４４】また、本実施例とは異なるが、フレーム内
符号化モード時の直交変換モードをフレーム直交変換モ
ードもしくはフィールド直交変換モードに固定すること
も可能である。この場合、「フレーム内符号化フレー
ム」では、動き推定部１８を動作させる必要はなく、省
電力化が図れるが、直交変換モードを適応的に用いるこ
とができないため、符号化効率が低下し、画質の劣化を
生じる。本実施例では、フレーム内符号化モードのマク
ロブロックに対しても、動きの多い／少ないに適応でき
るため、符号化特性の向上が図れる。

【００４５】図２は、図１における直交変換モード判定
部のブロック図の実施例（請求項２）を示す図で、図
中、２１は比較器である。本実施例においては、動き推
定部１８で算出される「予測誤差量」を「フレーム直交
変換モード」と「フィールド直交変換モード」の選択の
判断に用いる。ここでは、動き推定部１８で算出された
「フレーム予測における予測誤差量」ＥＦｒと「フィー
ルド予測における予測誤差量」ＥＦｉが、比較器２１に
入力され、大小を比較され、その結果から直交変換モー
ド切り替え信号ＴＣが生成される。ここで、「フィール
ド予測における予測誤差量」には、「奇フィールドに対
する予測誤差量」と「偶フィールドに対する予測誤差
量」の和を用いる。

【００４６】図から明らかなように、図１７に示す従来
例で必要だった乗算器などがすべて不要となり、大幅に
ハードウェア規模を縮小できることがわかる。さらに、
従来は判定にマクロブロックの画素値を用いていたのに
対して、本実施例においては、予測誤差量のみを用いる
ため、判定に必要なデータ数が少なくなり、処理演算量
が少なくなる。その結果、判定の処理時間も短縮でき
る。

【００４７】図３は、図２における比較器の出力特性の
例を示す図である。この図は、（４）式において、

【００４８】

【数３】

【００４９】とした場合である。判定は、「フレーム予
測を用いた時の予測誤差量」ＥＦｒと「フィールド予測
を用いた予測誤差量」ＥＦｉを図３上にプロットした
時、プロットした点が図上のどちらの領域に属するかで
行う。ここで、プロットした点が直線上にある場合にど
ちらのモードが選択されるかは、（４）式中の不等号が
＞であるか≧であるかに依存する。本実施例において
は、モード判定は「フレーム予測を用いた時の予測誤差
量」と「フィールド予測を用いた時の予測誤差量」の間
の単なる大小比較となる。もちろん、ｆ（ｘ），ｇ
（ｙ）には、その他のさまざまな関数を使用することが
できる。

【００５０】図４は、図１における直交変換モード判定
部の他の実施例（請求項３）を示す図で、図中、２２は
動き量算出部、２３は比較器である。本実施例において
は、図１の動き推定部１８で算出される「動きベクト
ル」を直交変換モードの判定に用いる。動きベクトルＭ
Ｖは動き量算出部２２に入力され、動きベクトルからマ
クロブロックの「動き量」が算出される。算出された
「動き量」は、比較器２３に入力され、所定の定数と比
較され、その大小関係から変換モードＴＣが決定され
る。すなわち、「動き量」が所定の定数よりも小さい時
はフレーム変換モードとなり、それ以外の時はフィール
ド変換モードとなる。

【００５１】図５は、図４における動き量算出部の実施
例（請求項４）を示す図で、図中、３１は切替器、３２
は動き量計算機、３３は最大値選択部、３４は制御部で
ある。入力される動きベクトルの（水平成分，垂直成
分）を、（ＭＶ１ｘ，ＭＶ１ｙ）,（ＭＶ２ｘ，ＭＶ２
ｙ）…とする。以下、ＭＶ１＝（ＭＶ１ｘ，ＭＶ１
ｙ），ＭＶ２＝（ＭＶ２ｘ，ＭＶ２ｙ）…と表す。ここ
で、ＭＶ１，ＭＶ２…は、それぞれ「フレーム予測にお
ける動きベクトル」,「偶フィールドに対するフィール
ド予測における動きベクトル」…というように、図１の
動き推定部１８によって求められる全動きベクトルに対
応する。

【００５２】制御部３４は、ＭＶ１，ＭＶ２…を順に動
き量計算機３２に入力するように、切替器３１を制御す
る。該切替器３１によって選択された動きベクトルの水
平成分，垂直成分をそれぞれＭＶｘ，ＭＶｙとする。最
大値選択部３３は、動き量計算機３２で計算された「各
動きベクトルに対応する動き量」を順に比較して行き、
その中の最大のものを選択する。そして、選択された動
き量をそのマクロブロックの「動き量」として用いる。

【００５３】図６は、図４における動き量算出部の他の
実施例（請求項５）を示す図で、図中、３５は加算器、
３６はレジスタ、３７はラッチで、その他、図５と同じ
作用をする部分は同一の符号を付してある。図５と同
様、動き量計算機３２には、全動きベクトルが順に入力
される。加算器３５とレジスタ３６は累積加算器を構成
している。そして、動きベクトルによる動き量の総和
を、そのマクロブロックの「動き量」とする。ラッチ３
７は、総和のみを保持するよう制御される。ラッチ３７
が値を保持した後、レジスタ３６の内容は、次の累積加
算のためにリセットされる。

【００５４】図７は、図５，図６における動き量計算機
の実施例（請求項６）を示す図で、図中、４１ａ，４１
ｂは絶対値算出部（ＡＢＳ）、４２は加算器である。絶
対値算出部（ＡＢＳ）４１ａ，４１ｂにおいて、動きベ
クトルの水平方向の成分ＭＶｘと垂直方向の成分ＭＶｙ
の絶対値|ＭＶｘ|,|ＭＶｙ|が計算され、加算器４２に
よってその加算値が計算される。そして、計算結果|Ｍ
Ｖｘ|＋|ＭＶｙ|をマクロブロックの動き量として出力
する。ここで、絶対値計算における符号の反転は、動き
ベクトルの各成分が２の補数表現されているならば、ビ
ット反転して１を加えるだけでよい。

【００５５】図８は、図５，図６における動き量計算機
の他の実施例（請求項６）を示す図で、図中、４３ａ，
４３ｂはラッチ、４４は切替器、４５は加算器、４６は
レジスタ、４７はラッチ、４８は制御部である。動き量
として|ＭＶｘ|＋|ＭＶｙ|を用いる点は、図７に示す実
施例と同様であるが、ハードウェア規模を小さくするた
め、時間差処理によって絶対値算出部（ＡＢＳ）をＭＶ
ｘ，ＭＶｙで共用できるようにしている。ここで、時間
差処理を行うことができるのは、従来においては変換モ
ード判定にマクロブロックの画素値を用いていたのに対
して、本実施例においては動きベクトルを用いるため、
判定に必要なデータ数が少なくなり、その結果、直交変
換モード判定部へのデータ入力の時間に余裕ができるた
めである。また、判定に必要なデータが少なくなること
により、判定に要する処理演算量が少なくなり、処理時
間も短縮できる。

【００５６】図９（ａ）〜（ｇ）は、図８の実施例にお
ける制御信号とデータのタイミング例を示した図であ
る。動き量計算機３２に入力された動きベクトルの水平
成分ＭＶｘと垂直成分ＭＶｙは、ラッチ４３ａ，４３ｂ
にそれぞれ保持される。ただし、図９（ａ）に示す反転
ＯＥ１がＬowからＨighに推移するとき、データがラッ
チに取り込まれるとする。保持されたデータは、切替器
４４によって時間差をもって、絶対値算出部（ＡＢＳ）
４１に入力される。該絶対値算出部（ＡＢＳ）４１の出
力は、続く加算器４５とレジスタ４６によって累積加算
される。ラッチ４７は、|ＭＶｘ|＋|ＭＶｙ|のみを保持
するように制御される。制御部は、これら一連の動作を
制御する。ここで、図８と図６を組み合わせる場合に
は、図８の加算器４５，レジスタ４６，ラッチ４７が、
それぞれ図６の加算器３５，レジスタ３６，ラッチ３７
と統合できるため、さらにハードウェア規模を小さくす
ることができる。

【００５７】図１０は、図５，図６における動き量計算
機の更に他の実施例（請求項７）を示す図で、５１ａ，
５１ｂは乗算器で、その他、図７と同じ作用をする部分
は同一の符号を付してある。本実施例においては、動き
ベクトルの水平成分ＭＶｘと垂直成分ＭＶｙの２乗を乗
算器５１ａ，５１ｂで計算し、それらの和ＭＶｘ²＋Ｍ
Ｖｙ²をマクロブロックの動き量として出力する。

【００５８】図１１は、図５，図６における動き量計算
機の更に他の実施例（請求項７）を示す図で、図中、５
１は乗算器で、その他、図８と同じ作用をする部分は同
一の符号を付してある。本実施例の動作に関しては、図
８と同様であるので省略する。本実施例においては、動
き量として図１０と同様、ＭＶｘ²＋ＭＶｙ²を用いる。
また、ハードウェア規模を小さくするため、図８と同様
に、時間差処理によって乗算器をＭＶｘ，ＭＶｙで共用
できるようにしている。

【００５９】図１２は、本発明による動画像符号化装置
の他の実施例（請求項８）を示すブロック図で、図中の
参照番号は図１と同じである。符号化に関する手順は、
図１に示した実施例と全く同じである。本実施例では、
図１の直交変換モード制御部６および直交変換モード信
号ＴＣは省かれ、ＴＣの代わりに予測モード信号ＰＣが
切替器７，１３を制御する。すなわち、ＰＣが「フレー
ム予測モード」を示す時は「フレーム直交変換モード」
とし、ＰＣが「フィールド予測モード」を示す時は「フ
ィールド直交変換モード」とする。したがって、図１３
に示す従来例にあった直交変換モード判定部６６を完全
に省略することができる。このため、図１２に示す実施
例を従来例に比較すると、直交変換モード判定部６がな
くなり、ハードウェア規模を大きく縮小できる。

【００６０】

【発明の効果】以上の説明から明らかなように、本発明
によると、以下のような効果がある。（１）従来、直交変換モード判定に用いるデータとし
て、マクロブロックの画素値を利用していたのに対し、
本発明においては、動き予測誤差量または動きベクトル
を利用することになり、データ数が減少し、これにより
処理演算量が減少するため、直交変換モード判定に要す
る処理時間およびハードウェア規模を大きく縮小でき
る。（２）請求項１,２に対応する効果：変換モード判定部
は比較器１個で構成される。すなわち、従来必要だった
乗算器や加減算器が不要となるため、符号化器のハード
ウェア規模を大きく縮小できる。（３）請求項３〜７に対応する効果：変換モード判定に
動きベクトルを用いることにより、従来必要だった乗算
器や加減算器の数を減少することができ、符号化器のハ
ードウェア規模を大きく縮小できる。（４）請求項８に対応する効果：フレーム予測モード／
フィールド予測モードの選択結果を、そのままフレーム
直交変換モード／フィールド直交変換モードの選択にも
適用するため、変換モード判定部を完全に省略でき、符
号化器のハードウェア規模を更に大きく縮小できる。（５）請求項９に対応する効果：「フレーム内符号化フ
レーム」のように、１フレーム内全てのマクロブロック
が「フレーム内符号化モード」である場合に、従来、こ
の時休止状態にあった動き推定部を、本発明では直交変
換モードの判定のために動作させる。このため、従来は
得られなかった「フレーム内符号化フレーム」における
動き情報を利用することができ、「フレーム内符号化フ
レーム」の各マクロブロックに対しても、フレーム直交
変換モード／フィールド直交変換モードの適応的選択を
行うことが可能となる。さらに、上記の処理は、従来
「フレーム内符号化フレーム」で休止させていた動き推
定部を動作させるだけであるため、ハードウェアの増大
は招かない。また、「フレーム内符号化フレーム」の各
マクロブロックの直交変換モードをフィールドもしくは
フレームに固定した場合に比べ、上記の方法でフレーム
／フィールド直交変換モードを適応的に選択した場合、
シミュレーションによると、フレームあたりの平均で約
０.３デシベルＳＮ比向上が認められ、また、画質の主
観評価でも、その差が大きいことを確認している。ただ
し、上記シミュレーションの結果は、動画像符号化の国
際標準であるＭＰＥＧ−２において標準化作業に用いら
れた「テストモデル」と呼ばれる基準符号化方式を、Ｍ
ＰＥＧテスト画像「チアリーダ」６０フレームに適用し
た場合のものである。本発明による画質改善は、「フレ
ーム内符号化フレーム」に留まらず、フレーム内符号化
フレームから予測される他の「フレーム間予測符号化フ
レーム」にも波及し、その効果は増大することになる。（６）以上のように、本発明によれば、従来フレーム／
フィールド予測でのみ用いられてきた動き推定部からの
動き情報を、フレーム／フィールド直交変換のモード判
定に利用することにより、従来大規模なハードウェアを
必要とした直交変換モードの判定処理をほとんど省略す
ることができ、その効果はきわめて大きい。

【図面の簡単な説明】

【図１】本発明による動画像符号化装置の一実施例を説
明するためのブロック図である。

【図２】図１における直交変換モード判定部の実施例を
示すブロック図である。

【図３】図２における比較器の出力特性の一例を示す図
である。

【図４】図１における直交変換モード判定部の他の実施
例を示すブロック図である。

【図５】図４における動き量算出部の実施例を示すブロ
ック図である。

【図６】図４における動き量算出部の他の実施例を示す
ブロック図である。

【図７】図６における動き量計算機の実施例を示すブロ
ック図である。

【図８】図６における動き量計算機の他の実施例を示す
ブロック図である。

【図９】図８におけるデータと制御信号のタイミングの
一例を示す図である。

【図１０】図６における動き量計算機の更に他の実施例
を示すブロック図である。

【図１１】図６における動き量計算機の更に他の実施例
を示すブロック図である。

【図１２】本発明による動画像符号化装置の他の実施例
を説明するためのブロック図である。

【図１３】従来のフレーム／フィールド適応フレーム間
符号化装置のブロック図である。

【図１４】図１３における一般的な予測器のブロック図
である。

【図１５】従来のフレーム・フィールド変換の処理を示
す図である。

【図１６】図１３における一般的な直交変換モード判定
部のブロック図である。

【図１７】図１６における縦方向の最高周波数の電力計
算部のブロック図である。

【符号の説明】

１…入力端子、２…減算器、３…フレーム内／間符号化
モード判定部、４…切替器、５…フレーム・フィールド
変換部、６…変換モード判定部、７…切替器、８…直交
変換符号化器、９…マルチプレクサ（ＭＵＸ）、１０…
出力端子、１１…直交変換復号器、１２…フィールド・
フレーム変換器、１３…切替器、１４…加算器、１５…
切替器、１６…フレームメモリ、１７…予測器、１８…
動き推定部、２１…比較器、２２…動き量算出部、２３
…比較器、３１…切替器、３２…動き量計算機、３３…
最大値選択部、３４…制御部、３５…加算器、３６…レ
ジスタ、３７…ラッチ、４１ａ，４１ｂ…絶対値算出部
（ＡＢＳ）、４２…加算器、４３ａ，４３ｂ…ラッチ、
４４…切替器、４５…加算器、４６…レジスタ、４７…
ラッチ、４８…制御部、５１，５１ａ，５１ｂ…乗算
器。

フロントページの続き (72)発明者堅田裕之大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内 (72)発明者三宅俊行大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内

Claims

【特許請求の範囲】

【請求項１】インターレース走査された動画像シーケ
ンスの各フレームを符号化ブロックに分割し、分割され
た符号化ブロック毎に動き推定によって算出される動き
ベクトルを利用して前後のフレームから予測画像ブロッ
クを生成し、該予測画像ブロックの生成には、前記符号
化ブロックを単位とする動きベクトルを用いて予測を行
うフレーム予測モードと、前記符号化ブロックの奇数ラ
インからなる奇数フィールドと偶数ラインからなる偶数
フィールドのそれぞれに対する動きベクトルを用いて予
測を行うフィールド予測モードとを適応的に用いる動画
像符号化装置において、前記フレーム予測モードにおけ
る予測誤差量と前記フィールド予測モードにおける予測
誤差量とを算出する動き推定部と、該動き推定部からの
動き推定情報に基づき、フレーム単位の直交変換モード
とフィールド単位の直交変換モードとを適応的に切り替
える直交変換モード判定部とを有し、前記フレーム予測
モードにおける予測誤差量がフィールド予測モードにお
ける予測誤差量より大きいときにはフィールド直交変換
モードとし、それ以外はフレーム直交変換モードとする
ことを特徴とする動画像符号化装置。
【請求項２】前記直交変換モード判定部は比較手段を
有し、該比較手段により前記フレーム予測モードにおけ
る予測誤差量とフィールド予測モードにおける予測誤差
量とを比較することを特徴とする請求項１記載の動画像
符号化装置。
【請求項３】前記フレーム直交変換モードと前記フィ
ールド直交変換モードとの選択には、前記動き推定にお
いて算出される動きベクトルから動き量を算出する算出
手段と、算出された動き量と所定の値とを比較する比較
手段を用い、前記変換モードの決定に、前記動き量と所
定の値との大小関係を利用することを特徴とする請求項
１記載の動画像符号化装置。
【請求項４】前記動き量の算出において、１つのマク
ロブロックに対して算出される複数の動きベクトルに対
する各動き量の中から、最大のものを当該マクロブロッ
クの動き量とすることを特徴とする請求項３記載の動画
像符号化装置。
【請求項５】前記動き量の算出において、１つのマク
ロブロックに対して算出される複数の動きベクトルに対
する各動き量の総和を当該マクロブロックの動き量とす
ることを特徴とする請求項３記載の動画像符号化装置。
【請求項６】前記動き量として動きベクトルの垂直お
よび水平成分の絶対値和を用いることを特徴とする請求
項３,４又は５記載の動画像符号化装置。
【請求項７】前記動き量として動きベクトルの垂直お
よび水平成分の２乗和を用いることを特徴とする請求項
３,４又は５記載の動画像符号化装置。
【請求項８】前記フレーム直交変換モードと前記フィ
ールド直交変換モードとの選択には、前記符号化ブロッ
クに対し、前記フレーム予測モードが選択された時は、
直交変換モードを前記フレーム直交変換モードとし、前
記フィールド予測モードが選択され時は、直交変換モー
ドを前記フィールド直交変換モードとすることを特徴と
する請求項１記載の動画像符号化装置。
【請求項９】１フレーム内の符号化ブロックの一部も
しくは全てがフレーム内符号化モードであっても、該フ
レーム内符号化モードの符号化ブロックを含む全ての符
号化ブロックに対して、前記動きベクトルの予測を行う
ことを特徴とする請求項１〜８いずれか１項に記載の動
画像符号化装置。