JPH10510132A - 予測画像符号化の動き評価 - Google Patents

Abstract

(57)【要約】 ＭＰＥＧ符号化器のようなビデオエンコーダの動き評価段における動きベクトル選択の改善された方法および装置が提案されている。受信（再整列された）画像フレーム順次が入力され、評価器の第１段（14）は候補データ動きベクトルの組を、Ｎ個（Ｎは整数）画素の各々についての半画素候補のリストから適切に発生する。それらそれぞれの精度の指示とともにそれら候補のベクトルはベクトル選択段（16）に送られる。ベクトルビット計数器（18）はベクトル当たり必要とされるビット数を決定し、選択段（16）は次に、ラインについての累積的コスト関数を最小化し、動きベクトル精度とラインの各ブロックについて必要とされるビットレートとの間の最良のトレード‐オフを提供する、マクロブロックライン（または“スライス”）についての候補ベクトルのビット数を選択する。累積的コスト関数の導出と符号化モード選択へのそれの応用が説明されている。

Description

【発明の詳細な説明】 予測画像符号化の動き評価 この発明は画素画像符号化方法および装置に係り、特にＭＰＥＧおよびＨ．２ ６１のような標準規格に係る動き補償予測を使用する符号化技術に関するもので ある。 動き補償予測は信号の時間的冗長性を削減するのに使用されるＭＰＥＧビデオ 圧縮のような技術にとって欠くべからざる要素である。画像順次の１つの画像は 通常その前の画像の位置をずらしたコピーと非常によく似ているから、動きベク トルデータを送信することは前の画像から現在の画像を予測するのに役に立つも のである。 ＭＰＥＧビデオ符号化においては、符号化された画像は情報の異なったタイプ を表わす唯１つのストリームデータ(stream data)に多重されて送信される。そ れは使用される符号化パラメータについての情報を送信するより高位の階層と、 個々の画素値をデコーダに再構成させる情報のいくつかの階級を含むより低位の 階層とを備えた階層符号化構成である。符号化の基本ユニットは１６×１６（２ ５６‐画素）のマクロブロックである。各マクロブロックはそのブロックで使用 される符号化モードを規定する関連“マクロブロックタイプ”、符号化のパラメ ータを規定する他のオーバヘッド（overhead）情報、動き補償予測に適切に使用 される１つまたは複数の動きベクトル、およびディスクリートコーサイン変換（ ＤＣＴ）係数を表わす符号化データを有している。複数の動きベクトルは過去お よび未来の“基準”画像に基づく現在のマクロブロックの複数の画素値の評価（ または予測）を形成するのに使用される。動きベクトルは現在のマクロブロック の予測が見い出される現在のマクロブロックの位置からの基準画像への変位を規 定する。 公知のＭＰＥＧ‐互換性あるエンコーダは、ベクトルを表わすのに必要とされ るビット‐レートに配慮しないで、現在のフレームの良い予測を与える動きベク トルの組をサーチ（search）する。かかるエンコーダの一例はヨーロッパ特許出 願ＥＰ‐Ａ‐0,540,961（Gonzales 他／ＩＢＭ）に記載されており、それは画像 のＤＣＴ係数の適応的量子化によって、順次の異なった画像へ一束のビットを割 当て、その割り当てビット数を与えた各画像の目に見える画質を最適化すること について記載している。 適切なビット割り当てを提供するようサーチする別の技術は、文献Bernd Giro d著，“Rate-constrained motion estimation”，ＳＰＩＥ Vol.2308,1026‐103 3頁に記載されており、そこでは個々のデータタイプを作り上げるビデオデータ ストリームにどのようにビットが適切に割り当てられねばならぬかの一般原理お よびレート制約動き評価の基本的考え方が開示されている。Girod により開示さ れた原理を備えた問題は、引き続く画像フレームにわたる画素から画素へのまた は領域から領域への導出を含んでおり、このことは引き続くマクロブロック動き ベクトルがそのフレーム内の前のブロックのベクトルとの関係で符号化されるＭ ＰＥＧのようなシステムとは相いれるものではない。 従って本発明の目的は、順次の画像フレーム内およびフレーム間両者に異なっ た符号化が適用される符号化案の異なった符号化成分に改善されたビット割り当 てを提供せんとするものである。 この目的を達成するため本発明は、各フレームが整数の画素マクロブロックを 含む行に分割され、それらマクロブロックの少なくともいくつかが順次の別の画 像フレームからのマクロブロックデータについての変位を特定する動きベクトル で符号化され、その画像データが次に符号化された信号を提供するよう変換圧縮 を受ける、整列された順次画素の画像フレームを符号化する方法において、符号 化された信号のベクトルデータビットレートに動きベクトル精度を関係付けるコ スト関数(cost function)に基づいて、一組の候補動きベクトルから前記動きベ クトルが選択されることを特徴とする。 その一形態の導出が以下に説明されるコスト関数の使用によって、その選択さ れた動きベクトルは必ずしも最適ではないが、そのビットレートの節約は復号画 像の画質を全体にわたり改善するよう符号化された変換係数に適用され得るもの である。符号化モード（マクロブロックタイプ）の選択はまた別の価値のたかま りを発生するようコスト関数にゆだねられることができる。 コスト関数は好適には、蓄積される行コスト関数を最小化するように選択され る、行のマクロブロック毎の動きベクトル（およびオプショナルな符号化モード ）でもって、１つのマクロブロック行にわたり累積される。ダイナミックプログ ラミングは行の各マクロブロックについてのコスト関数と全体にわたる行のコス ト関数との間の再現関係を特定するのに適切に使用されることができる。 動きベクトル精度はマクロブロックについての変位フレーム差（すなわちベク トルにより予測されるものと実際に存在するものと間の差）によって適切に決定 され、コスト関数はこの変位フレーム差をベクトルデータビットレートの指数関 数へ関係付けることができる。 候補動きベクトルは好適にはレート制約サーチ(rate constrained search)に よって選択され、その場合半画素精度に対する数多くの動きベクトルが、Ｎを整 数とする時最低のフレーム差を有するＮ個の画素プレースメント(placement)に ついて導出される。この技術は後により詳細に説明される。画像データは符号化 信号がＭＰＥＧ標準規格に応じるようなディスクリートコーサイン変換（ＤＣＴ ）圧縮を適切に受ける。 さらにまた本発明は、画像フレームを受信し、画像データに変換圧縮を適用し 、符号化された画像信号を出力するよう配置されたエンコーダと；画像フレーム を受信し、各フレームを画素マクロブロックの行に分割し、マクロブロックの予 め定められたいくつかについて別の順次の画像フレームからのそれらのマクロブ ロックデータについての変位を特定する動きベクトルを発生するよう配置された 動き評価器と；を具え：その発生された動きベクトルデータがエンコーダに送ら れ出力符号化信号に組み込まれる、整列された順次画素の画像フレームを符号化 する画像信号符号化装置において、 前記動き評価器が：予め定められた標準と各々についての精度の指示に従って 、マクロブロックの予め定められたいくつかの各々用の候補動きベクトルの組を 発生するよう配置されたベクトル発生器と；各候補動きベクトルについて、符号 化信号の動きベクトルデータビットレートにそれぞれの精度を関係付けるコスト 関数を適用し、コスト関数を最小化するそれら動きベクトルをエンコーダに選択 的に送るよう動作するベクトル選択手段と；を具えたことを特徴とする。 好適には、前記エンコーダが符号化された信号のデータビットレートを動きベ クトルデータに割り当て、１つの余分のビットを他のビットに加えることが符号 化された画像が復号される時の画像歪でほぼ同程度の削減を提供するような割合 で係数データを変換すべく動作可能であり、前記評価器が、割り当てられたベク トルデータビットレートの変化に従ってコスト関数を修正すべく動作可能である 。エンコーダが（前に説明したように）多数の符号化モードから選択された１つ に適用されて動作可能な場合には、その選択は前記ベクトル選択手段からのコス ト関数に基づいて適切になされる。さらに前述のごとく、コスト関数がマクロブ ロック行にわたり累積的である場合には、前記ベクトル選択手段と前記エンコー ダとは、蓄積する行コスト関数を最小化するよう各マクロブロックについての動 きベクトルと符号化モードを選択するようそれぞれ適切に配置される。 本発明に係る好適な実施態様を以下実施例により以下に説明する添付図面を参 照しＭＰＥＧシステムで詳細に説明する。 図１はＭＰＥＧエンコーダ回路配置を表わすブロック略線図であり、 図２は本発明を具体化する図１の動き評価段の回路配置を示し、 図３は本発明の符号化最適化の異なった因子間関係を略図的に示し、 図４は１画像にわたるＴブロックからなるマクロブロックラインを表わし、 図５から図７は通常技術と本発明を具体化する技術の実験結果を含む複数の表 である。 以下、本発明は、ＭＰＥＧ‐互換性可能な符号化案（ＩＳＯ１１１７２および ＩＳＯ１３８１８で規定されるような）によって原理的に説明されるが、これは 他の符号化案、特にビデオ‐電話用Ｈ．２６１標準規格のようなハイブリッド‐ ＤＣＴ（ディスクリートコーサイン変換）に適用可能であると認められよう。Ｍ ＰＥＧおよびＨ．２６１は普通の画像順次を記憶して圧縮するのに通常使用され てきたディジタル符号化システムで、かく符号化されたデータを判読し同じもと の順次画像を再生するよう設計されたデコーダを備えている。圧縮されたＭＰＥ Ｇのストリーム（stream）は階層構造の多数の異なったデータ‐タイプからなり 、それらデータのあるものは符号化パラメータや選択されたオプションを記述す るオーバヘッド（overhead）であり、さらにあるものはＤＣＴ係数データの直接 表示である。 ＭＰＥＧ符号化回路配置は図１に示されており、そこでは再整列された順次画 像フレームがエンコーダ段１０およびまた動き評価段１２へ給電されている。動 き評価器１２では、画像の各マクロブロックについての動きベクトルがそのブロ ックの基準画像フレームに対する変位を規定するように選択されている。これら 動きベクトルは次にエンコーダ段１０へと送られる。エンコーダから得られた再 創生（すなわち復号された）画像に基づく動きベクトルがまた発生される。 通常の回路配置では、動き評価器は使用すべき何れかのモードを選択し、その データ送信に使用されねばならぬビット数に関わりなく最良の予測を与える動き ベクトルをサーチする。このオーバヘッドを減じた後の残余である利用できるビ ット‐レート（帯域幅から考慮される）は係数データ用に使用される。より低い ビットレート（例えば３Ｍビット／秒）では、動きベクトルデータはデータレー トの約２５％までを形成する。この環境で、このビット割り当て戦略は一般に必 ずしも最良の画質を与えない。しかしながら、以下に説明されるように、動きベ クトルと符号化モード両者の選択については改善が提案される。 画質を高めるため、本発明はその選択が動きベクトルについてはほとんど余分 にビットを浪費することがなくて、ほぼよい予測をなす（以下に説明される）コ スト関数(cost function)に基づく異なった選択を選択する手段を提供し、かく て節約されるビットはＤＣＴ係数のより精確な表示を提供するよう使用できるの で、ビット‐レートのより良好な使用を提供する。 図２は本発明を具体化した図１の動き評価段用の回路配置を示している。それ ぞれの段によって実行される詳細な作業は後に詳細に説明されるが、簡潔には、 受信された（再整列された）画像フレーム順次から、第１段１４は候補動きベク トルを、Ｎ個（整数）の候補画素の各々について半‐画素候補のリストから適切 に発生する。これら候補ベクトルはそれらそれぞれの精度の指示とともに、ベク トル選択段１６に送られる。ベクトルビット係数器１８はベクトル毎に要求され るビット数を決定し、次にラインについて累積されたコスト関数を最小にすると ともに、動きベクトル精度とラインの各ブロックについて必要とされるビットレ ートとの間の最良のトレード‐オフを提供するマクロブロックライン（または“ スライス(slice)”）の候補ベクトルを選択段１６が選択する。さてここで最適 化の基準を提供するため適切なコスト関数の導出を考えるが、このことはまずＲ₂ のそのベクトルの送信に関連したビット‐レートと変位フレーム差ｄｆｄを有 する動きベクトルＶの選択から始められる（アンダーラインは以下ベクトル成分 を表わす）。符号化の最適化でなされる種々の選択間の関係は図３の“影響力” 線図で近似され、ここでＶはＲ₂を決定しｄｆｄとｑはＤとＲ₁を決定し、さらに ： Ｖ は選択されたベクトルであり； ｑ は選択された量子化パラメータであり； ｄｆｄ は結果としての変位フレーム差であり； Ｄ は結果としての符号化歪であり； Ｒ₁ は係数データと関連するビット‐レートであり； Ｒ₂ はベクトルデータと関連するビット‐レートである。 変位フレーム差ｄｆｄは ｄｆｄ＝Ｅ_{フ゛ロック}［l₁(x)‐l₂(x+v)］² によって与えられ、ここでｌ₁は現画像、ｌ₂は予測のため基準として使用される 基準画像、そしてｘは画像の現在位置である。この変位フレーム差は勿論ＭＰＥ Ｇ Ｂ‐画像の内挿予測の場合を含むよう一般化されることが可能である。 このモデルの適用を仮定するに、この問題の第１（直接）近似は復号後の任意 の歪Ｄで与えられた全ビット‐レート（Ｒ₁＋Ｒ₂）を最小化することである。こ のことはラグランジアンＬを Ｌ＝Ｒ₁＋Ｒ₂＋λＤ （１） と取って、ラグランジアン乗数近似を使用した最適化技術によりなされ、ここで 値λのある選択については最小化を目的とするものである。 さらにこの関数を計算可能とするため、歪Ｄが量子化パラメータｑのセッティ ングのみに依存し、変位フレーム差ｄｆｄには依存しないという単純化の仮定が 始めに適用される。このことは近似ではあるが理由のある仮定であることを実験 結果が一次オーダ(order)で確実に示している。それ故差ｄｆｄは係数Ｒ₁と関連 するレート（rate）を決定するが歪Ｄに直接的な影響は与えない。この近似の 誤差の程度はλの大きな値で（かなり低いビット‐レートで）最大となる。 さらに簡単化のため、係数レートＲ₁は以下の関数 Ｒ₁＝ｃ(q)log［dfd／ｑ］ （２） によりｄｆｄに関係付けられると仮定され、ここで関数ｃ(q)は与えられたｑの 値について一定である。この等式は量子化定理の標準規格の結果に対応し、実験 結果によって近似的に整合がとられる。 今や目的はベクトルの特定の選択についてラグランジアン（等式１）を最小化 するにある。ｃ(q)は定数故Ｌの最小化は（Ｌ／ｃ(q)）の指数の最小化と等価で あり、次の式が得られる。 Ｌ＝ｃ(q)log［dfd/ｑ］＋Ｒ₂＋λｄ L/ｃ(q)＝log［dfd/ｑ］＋Ｒ₂/ｃ(q)＋λＤ/ｃ(q) これは以下の式を与える。 exp［Ｌ/ｃ(q)］＝［dfd/ｑ］exp［Ｒ₂/ｃ(q)］exp［λＤ/ｃ(q)］ （３） ここでＤが量子化パラメータのみに依存するという仮定から、ｅｘｐ（λＤ）の 値がベクトルのいかなる選択についても同じであることは注目されよう。またｃ (q)がベクトルに依存しないということも注目されよう。従って、 Ｃ＝dfd exp［Ｒ₂/c(q)］ （４） を最小化するベクトルの組を見いだしさえすれば十分で、ここでＣはコスト関数 である。 次に最適化手続きについて考察するに、ＭＰＥＧのマクロブロックベクトルに 関連するビット‐レートはその前のマクロブロックのベクトルにより決定され、 それは各動きベクトルがその前のマクロブロックのベクトルとの差分で符号化さ れているからである。このことは隣接ブロックとは独立に最適のマクロブロック を決定することは不可能（等式４のビット‐レートＲ₂はその前のマクロブロッ クのベクトルの選択に依存する）であることを意味し、デシジョン（decision） は全ＭＰＥＧ“スライス”（マクロブロックの１つのライン）にわたり連携して lなされねばならぬという問題に帰着する。例えば文献、Papadimitriou とSteig litz 著，“Combinatorial Optimization ：Algorithms and Complexity”，Pre ntice-Hall 刊 1982，ISBNO‐13‐152462‐3,448 ‐451 頁に記載されているよ う に、ダイナミックプログラミング技術はこの問題を解決するのに使用できること が認められており、以下これについて説明する。 マクロブロックのＭＰＥＧスライスにおいて、各マクロブロックはそのマクロ ブロックタイプに依存する４つのベクトルまで所有することができる。それらベ クトルは０、１または２フレームの基準ベクトルでもよく、または０、１、２、 ３または４フィールドの基準ベクトルでもよく、そして未来のフィールドまたは フレームまたは過去のフィールドまたはフレームまたは過去と未来の組み合わせ の基準ベクトルでもよい。最適化の以下の議論においては、オペレーション中好 適には異なったベクトルタイプを同期して取り扱うよう準備することは可能であ るけれども、ここでは動きベクトルの各タイプを別々に考察するようにする。例 えば、ここではフレーム基準正方向ベクトルはフレーム基準逆方向ベクトルとは 別々に考察される。 スライスの各マクロブロックについては候補動きベクトルの組は（ＭＰＥＧに より特定されるごとく）半画素精度まで計算され、予測誤差関数の値が見い出さ れる。見い出された複数の値から複数の候補ベクトルおよびそれらの予測誤差コ ストを与えるスライスの各マクロブロックについての表が作り上げられる。等式 ４を最小化する時、そのマクロブロックのそのベクトルについての差ｄｆｄの絶 対値を与える予測誤差関数が使用される（ｄｆｄは予測誤差コストである）。異 なったコスト関数Ｃについて、異なった予測誤差関数が以下に理解されるように 要求される。 前記表を作り上げるにあたり、ダイナミックプログラムがスライスのすべての マクロブロックにわたり積算された等式４からのコスト関数Ｃの最小値を与える 、マクロブロックあたり一組のベクトルを見い出すのに使用される。各デシジョ ン（decision）が他のデシジョンに影響する場合には、問題となるデシジョンに 合わせられるようダイナミックプログラミングの使用が提案される。ダイナミッ クプログラムはその問題の最終デシジョンより始まりより前のデシジョンにもど っていく。それは最適であるべくＮ個のデシジョンの組全体について、はじめの (N-1)個のデシジョンが最適である時にはＮ番目のデシジョンもまた最適であら ねばならないとする最適性の原理(Principle of Optimality)に基づくものであ る。この原理を使用して最適化の問題を順次のデシジョンの組に分解し、この問 題を逆方向にたどる反復関係を発生する。 次に図４図示のようなブロックスライスについて一般化された等式４を考察す るに、マクロブロックの特定のベクトルを選択するコストは以下のようにかける ： Ｃ_m(ｖ_m(i),ｖ_m-1(j)) ＝dfd_m(v_m(i))_exp[R(v_m(i)，v_m-1(j))/c(q)] （５） ここで： Ｃ_m（ｖ_m(i),ｖ_m-1(j)）はベクトルｖ_m-1(j)が(m-1)番目のマクロブロックで 選択された場合に、与えられたｍ番目のマクロブロックのベクトルｖ_m（i）を選 択するコストであり、 ｄｆｄ_m(ｖ_m(i))はｍ番目のマクロブロックのベクトルｖ_m（i）についての差 ｄｆｄであり； Ｒ(ｖ_m(i),ｖ_m-1(j))は(m-1)番目のマクロブロックでベクトルｖ_m-1(j)が選択 された場合に、与えられたｍ番目のマクロブロックのベクトルｖ_m（i）のビット ‐レートであり； ｃ(q)は定数。 このことをスライス(slice)全体に拡張すると、Ｊ(n)はそのスライスの終端か らｎ個のマクロブロックの点でデシジョンの最適の組を続けた場合の積算コスト であり、ここでＪ(1)はその点まで最適デシジョンの場合与えられたそのスライ スの最後のマクロブロックについての最適デシジョンのコストであり、Ｊ(2)は そのスライスの最後の２つのマクロブロックの最適デシジョンのコストであるな どなど。最適性の原理を使用して、前のマクロブロックのベクトルの選択がなさ れた場合与えられた各段の最適コストの表は以下の式に従って作り上げられる： Ｊ(n＋1,V_m-1(j))＝min_i[J(n,V_m(i))＋C_m(V_m(i)，V_m-1(j))] （６） ここで図４に示す如く： ｍはマクロブロックの番号； ｎはスライスの終端からの距離； ｍ＝（スライスのマクロブロックの数＋１−ｎ）；である。 この表について、最初のベクトルが零の場合、スライスの始端より出発してベ クトルの最良の選択が各段で決定される。ベクトルのこの組はスライスＪ(T)に ついて最低のコストを与え、それで精度と符号化に必要とされるビット‐レート 間の最良のレート／歪のトレードーオフをを与える（等式４の導出でなされる仮 定を与えれば）。 各マクロブロックについて考察される候補ベクトルの数は、すべての可能なベ クトルがダイナミックプログラムで考察された場合には、必要とされる計算労力 は莫大で、表Ｊ(-----)の大きさは過度になるだろうから制限が設けられる。Ｍ ＰＥＧは半画素以内まで予測の精度を与えるベクトルが使用可能であることを規 定する。数多くのインプリメンテーション（implementation）でベクトルサーチ は２段階でなされる。第１段階では、最良整合単一ベクトルが現在の画像源と基 準画像（もとの符号化されない画像か復号された画像）間の比較をすることで見 い出される。第２段階では最良の半‐画素精度ベクトルを見い出すよう単一画素 まわりの８つの隣接半‐画素ベクトル位置整合が試みられる。 レート制約サーチ(rate constrained search)では、第１段階では、最低の変 位フレーム（フィールド）差を備えたＮ個の候補整数画素の組が見い出される。 第２段階では、半‐画素候補のリストが各単一画素の８つの隣接画素候補に基づ いて作成される。二重の半‐画素ベクトルはこのリストから排除される（複数の 隣接整数画素が２つ同じ半‐画素ベクトルを規定する場合にはだぶりが発生する ）。候補リストの各半‐画素ベクトルについての変位フレーム差ｄｆｄは現在の フレーム源と復号され再構成された基準フレームとを用いて計算される。最後に ダイナミックプログラムは各スライスについてマクロブロックベクトルの最良の 組を見い出すために走行する。この手順は、前に述べたごとく、独立の走行が同 期して発生するかもしれないが、ベクトルの各組（すなわち正方向フレーム‐基 準ベクトル、正方向フィールド‐基準ベクトル、逆方向フレーム‐基準ベクトル および逆方向フィールド‐基準ベクトル）に対して独立に走行する。 ベクトルの完全な最適の組を見い出すため、画像画質の改善は一般にシステム の複雑さを犠牲にしているが、ベクトルを符号化するビット‐レートがマクロブ ロックタイプ（符号化モード）のデシジョンをまた考慮すべきことが認識されよ う。多くのエンコーダでは、ベクトル情報はマクロブロックタイプのデシジョン がなされる前に必要とされるだろう。因果関係の問題をさけるため、２つの通過 手順が、暫定のベクトルを見い出してマクロブロックタイプのデシジョンをする 第１の手順と、ベクトルの最適の組を見い出すようマクロブロックタイプのデシ ジョンを使用するとともにオプション的にマクロブロックタイプのデシジョンを 規定する第２の手順と、を備えて使用される。 好適なオプションは、マクロブロックタイプのデシジョンを、処理（すなわち コスト関数最適化を各々に適用する）するより大きなデシジョンでのベクトルデ シジョンとともになすことであり、唯しこの場合このことは複雑さのペナルティ を有するかもしれない。マクロブロックタイプ／符号化モードの最適化は動きベ クトルサーチ手順について前に説明した方法でなされる。ｄｆｄ．ｅｘｐ（レー ト／定数）の形態でのコスト関数は各ベクトルおよび各モードについて計算され るとともに、スライスにわたる両者（またはそのネット(net)結果）を最適化す るよう前に述べたように進行される。 図５から図７の表は等式６のアルゴリズムがＭＰＥＧ‐２のソフトウェアエン コーダで実行された実験結果を表わしている。処理された題材では、ベクトルに 正規に割り当てられたビット‐レートの約４０‐５０％の節約が見い出された。 このことはほんの少しだけ予測の効果を削減しても係数へ割り当てられるビット 数を増大させるコストを得ることを意味する。コスト関数の導出で使用される仮 定を保持して、同じ画像の画質（同じ信号対ノイズ比ＳＮＲ）についてビットレ ートのネットの削減があるだろう。 テストに際し、ビデオ画像順次の１秒は通常のサーチ（図５）とレート制約フ ル‐サーチ（図６）の両方を使用し、固定の量子化ステップサイズ（ＱＰ）で符 号化された。 ネットの節約量を見い出すために、ＳＮＲの損失を償うため係数データに割り 当てられねばならぬ余分のビットが見積もられた。このことはＱＰ＝８（図７） のレート制約動きサーチでその画像順次を再走行することにより、動作点まわり のレート‐歪曲線の局所勾配を測定して実施された。これらの表から画像画質の 損失を補償するのに必要とされる係数ビットは以下のように外挿される： Δ（計数ビット）＝（35.50‐35.459） ×(2221400−1127081)／(35.8528−35.459)＝113933 それ故： ビットのグロスセービング（gross saving）＝178662ビット 補償係数ビット＝−113933ビット 毎秒当たりビットのネットセービング(net saving) ＝64729ビット（ビット‐レートの４％） 以上、最良の一束の動きベクトルを見いだすためレート‐歪基準を最適化する 動きベクトルサーチに関する技術を開示してきた。その基本には、この技術では 、動きベクトルおよび係数データに連携して割り当てられるビット数が、動きベ クトルデータまたは係数データに余分のビットが割り当てられる時、画像画質の 余裕改善度が等しいように調整されることを要求するものである。 以上本発明の好適な実施形態のいくつかについて詳細に説明してきたが、本発 明はこれらの形態に限定されることなく、以下に記載する特許請求の範囲の発明 の要旨内で各種の変形、変更の可能なことは当業者に自明であろう。

Claims (1)

1. 【特許請求の範囲】 １．各フレームが整数の画素マクロブロックを含む行に分割され、それらマクロ ブロックの少なくともいくつかが順次の別の画像フレームからのマクロブロック データについての変位を特定する動きベクトルで符号化され、その画像データが 次に符号化された信号を提供するよう変換圧縮を受ける、整列された順次画素の 画像フレームを符号化する方法において、符号化された信号のベクトルデータビ ットレートに動きベクトル精度を関係付けるコスト関数に基づいて、一組の候補 動きベクトルから前記動きベクトルが選択されることを特徴とする整列された順 次画素の画像フレームを符号化する方法。 ２．請求項１記載の方法において、前記符号化方法がマクロブロック毎に複数の 可能な符号化モードから１つのモードを選択する付加的ステップを含み、前記選 択がコスト関数に基づいてなされることを特徴とする整列された順次画素の画像 フレームを符号化する方法。 ３．請求項１または２記載の方法において、前記コスト関数が１マクロブロック 行にわたり累積的で、その行のマクロブロック毎の動きベクトルが蓄積された行 コスト関数を最小化するよう選択されることを特徴とする整列された順次画素の 画像フレームを符号化する方法。 ４．請求項３記載の方法において、ダイナミックプログラミング技術が行の各マ クロブロックについてのコスト関数と全体にわたるマクロブロック行のコスト関 数との間の再現関係を特定するのに使用されることを特徴とする整列された順次 画素の画像フレームを符号化する方法。 ５．請求項１記載の方法において、前記動きベクトル精度がマクロブロックにつ いての変位フレーム差によって決定され、前記コスト関数がこの変位フレーム差 をベクトルデータビットレートの指数関数へ関係付けることを特徴とする整列さ れた順次画素の画像フレームを符号化する方法。 ６．請求項１から４いずれか記載の方法において、前記候補動きベクトルがレー ト制約サーチにより選択され、その場合半画素精度に対する数多くの動きベクト ルが、Ｎを整数とする時最低のフレーム差を有するＮ個の画素プレースメン トについて導出されることを特徴とする整列された順次画素の画像フレームを符 号化する方法。 ７．請求項１から６いずれか記載の方法において、前記画像データがディスクリ ートコーサイン変換圧縮を受け、前記符号化信号がＭＰＥＧ標準規格に従うこと を特徴とする整列された順次画素の画像フレームを符号化する方法。 ８．画像フレームを受信し、画像データに変換圧縮を適用し、符号化された画像 信号を出力するよう配置されたエンコーダと；画像フレームを受信し、各フレー ムを画素マクロブロックの行に分割し、マクロブロックの予め定められたいくつ かについて別の順次の画像フレームからのそれらマクロブロックデータについて の変位を特定する動きベクトルを発生するよう配置された動き評価器と；を具え ：その発生された動きベクトルデータがエンコーダに送られ出力符号化信号に組 み込まれる。整列された順次画素の画像フレームを符号化する画像信号符号化装 置において、 前記動き評価器が：予め定められた標準と各々についての精度の指示に従って 、マクロブロックの予め定められたいくつかの各々用の候補動きベクトルの組を 発生するよう配置されたベクトル発生器と；各候補動きベクトルについて、符号 化信号の動きベクトルデータビットレートにそれぞれの精度を関係付けるコスト 関数を適用し、コスト関数を最小化するそれら動きベクトルをエンコーダに選択 的に送るよう動作するベクトル選択手段と；を具えたことを特徴とする整列され た順次画素の画像フレームを符号化する画像信号符号化装置。 ９．請求項８記載の装置において、前記エンコーダが符号化された信号のデータ ビットレートを動きベクトルデータに割り当て、１つの余分のビットを他のビッ トに加えることが符号化された画像が復号化される時の画像歪でほぼ同程度の削 減を提供するような割合で係数データを変換すべく動作可能であることを特徴と する整列された順次画素の画像フレームを符号化する画像信号符号化装置。 10．請求項８記載の装置において、前記エンコーダがマクロブロックに複数の符 号化されたモードの選択された１つを適用すべく動作可能であり、前記選択が前 記ベクトル選択手段から印加されたコスト関数により制御され、前記コスト 関数がマクロブロック行にわたり累積的であり、前記ベクトル選択手段と前記エ ンコーダとが蓄積された行コスト関数を最小化すべくマクロブロック毎の動きベ クトルと符号化モードを選択するようそれぞれ配置されることを特徴とする整列 された順次画素の画像フレームを符号化する画像信号符号化装置。