JPH10501107A - ビデオ映像復号化装置及び方法 - Google Patents

Abstract

(57)【要約】 本発明は伝送又は記憶のために適切な既知のデータモデル化方法に応じて圧縮されたビデオ列を、見るために適切な伸張したフレームに復号する装置を開示し、前記符号化されたデータモデルは、強度ロードと称す複数の空間強度変化パターンと、アドレスロードと称す複数の空間アドレス変化パターンと、各フレーム毎に各ロードがどれくらい存在するかを特定するスコアと称す複数の値とからなり、前記装置は、(a)複数の強度ロードと複数のアドレスロードを受け入れ(320;406,408)、記憶する(326,414,416)手段と、(b)複数のスコアを受け入れて記憶する手段(328;442)と、(c)各強度変化パターンと対応するスコアの出力を中間映像に合算する手段(340,354;446,476)と、(d)各アドレス変化パターンと対応するスコアの出力を動きフィールドに合算する手段(340,352;446,474)と、(e)その動きフィールドに応じた中間映像の内容を移動して(360)、最終フレーム(370)を生成する手段と、からなり、前記手段(a)〜(e)は、並列同期データ経路からなるパイプラインが形成され、そのパイプラインを介して中間映像及び動きフィールドが連続的に伝送されるように接続されている。

Description

【発明の詳細な説明】発明の名称 ビデオ映像復号化装置及び方法詳細な説明 発明の分野 本発明は、ビデオ映像(video image)復号化装置及び方法に関し、特に、伝送 又は記憶のため適切な公知のデータ作成方法に応じて圧縮されたビデオ列を、非 圧縮のフレームに復号する装置及び方法に関する。本発明は、更に、第１の２次 元座標系の整数位置に与えられたソース映像を第２の２次元座標系の整数位置に 与えられた画素からなる目標映像に変換する方法に関する。発明の背景 映像の伝送及び記憶のためのディジタル技術の使用はますます広範囲になって いる。しかしながら、未加工のディジタル映像を表すために要求される高ビット 数はしばじば問題となり、高伝送帯域幅又は記憶媒体の大容量を要求する。これ は、圧縮技術を用いるための動機となる。その技術は画質をひどく低下すること なく画像を表すために要求されるビット数を減少させることを目ざしている。 初期のディジタル映像伝送及び記憶方法はパルスコード変調（ＰＣＭ）を使用 した。最近のシステムはディジタル圧縮技術を使用する。そのような１つの圧縮 技術としては、ＪＰＥＧがある。ＪＰＥＧでは、各フレームは他のフレー ムとは独立して静止画として圧縮される。フレームはピクセル(pixel)と呼ばれ る画素にディジタル化され、そのピクセルは８×８ピクセルのブロックにグルー プ化される。各ブロックはＤＣＴ（離散コサイン変換）を用いて変換される。そ の変換係数は量子化され、そしてランレングス符号化され、その結果はハフマン 符号又は演算符号化のように可変長符号で符号化される。その結果のビットスト リームは伝送又は記憶される。 テレビジョン信号において連続するフレームは、目的物又はカメラの動きに対 応してフレーム内のおそらく異なる位置で同一の目的物を各フレームで見ること ができる点で高い頻度で互いに関係している。これは圧縮技術で補償される関連 の動きを起こす。そのような１つの技術はＭＰＥＧである。ＭＰＥＧではいくつ かのフレームはＪＰＥＧと同様の静止画符号化を用いて圧縮される。他のフレー ムは予測と動き補償とによって符号化される。各ブロックではエンコーダが現ブ ロック位置付近で前に伝送したフレームのうちの小検索範囲内で最も類似のブロ ックの検索を行なう。ブロックの動きベクトルと称する、現ブロック位置に関し て見つけられた最良のマッチの位置だけがＤＣＴ符号化残差と共に変換されるた めに必要である。デコーダは、動きベクトルに応じたピクセルを集めることによ ってフレームを復元し、その符号化残差について逆ＤＣＴを行ない、その結果を いっしょに加算することができる。 ワイヤフレームやオプジェクトベースの領域符号化のような圧縮技術に基づい たモデルについて研究が行なれているが、商業的成功はまだである。 ディジタル圧縮及び伸張技術の１つの可能性ある応用は、ＣＤ−ＲＯＭにビデ オフィルムを保存することである。圧縮なしではディジタル化ビデオフィルムの １分以下しか単一のディスクに保存できない。全ビデオフィルムをディスクに記 憶させるためには圧縮技術を用いる必要がある。その圧縮データは見る時までに 伸張されなければならない。 他の可能性ある応用は、多くのユーザが１つの共通の分配センタに接続されて いるようにされるビデオオンデェマンド（Video On Demand）である。各ユーザ は直ちの再生のために多くの数のフィルムから１つを選択する可能性を有し、分 配センタはユーザに望むフィルムを送信する。おそらく多くのユーザが望まれ、 それらは少なくとも高価なケーブルネットワークを用いて相互接続されるべきで ある。よって、分配センタは見るためにデータを伸張する必要が生ずる圧縮技術 を頻繁に用いる。 他の可能性のある応用は、シミュレータ、ゲームやバーチャルリアリティ（Vi rtual Reality）である。そのようなシステムは既に利用できる映像に部分的に 基づいており、また部分的にインタラクティブユーザ入力の映像を生成する。１ つの規則は表示される映像にユーザ入力がどのように影響を与えるべきであるか 決定する。 特許出願ＷＯ９５／０８２４０ではデータ分析方法及び装置が示されている。 ＩＤＬＥと称するそのシステムは他のデータセットの間での符号化のために適し たエンコーダ、ビデオシーケンス及び同一のデータセットを復号するために適し たデコーダを含む。 本発明の目的は、リアルタイムで実行することができる完全なＩＤＬＥ映像デ コーダをなすハードウエアアーキテクチャを提供することである。 本発明の目的は、更に、ビデオ映像のリアルタイム復号を可能にする映像復号 方法を提供することである。 本発明の目的は、更に、所望の映像サイズ及び複雑さの範囲のために使用する ことができるアーキテクチャを提供することである。よって、本発明は特定のテ レビジョンシステム等のために合わせることなく、むしろ様々なフォーマットに 適合する方法についての説明によって表される。 本発明の目的は、更に、ＩＤＬＥ準拠デコーダの製造コストを低くするための 最適化を提供することである。 本発明の目的は、更に、伝送エラーに強いデコーダを提供することである。 更に、本発明の目的は、インタラクティブなシミュレーションやゲームのため に用いることができるデコーダを提供することである。発明の概要 ＩＤＬＥモデル化原理に応じてシーケンス（列）の内容 がシーンの中に入れられる。各シーンにはホロン（holon）と称すものがブラッ シロード（blush loads）と称す空間強度変化パターンと、スマイルロード（smi le loads）と称す空間アドレス変化パターンと、各フレーム毎に各ロードがどれ くらいホロンを復元するために用いられるべきかを特定するスマイル及びブラッ シスコア（smile and blush scores）と称す対応する値と、に分離モデル化され る。ホロンは見るため等に適切な、終了フレーム内に共に最後に置かれている。 本発明は第１の好ましい実施例において、圧縮されたＩＤＬＥモデルを受け入 れ、それをその中間フォーマットに伸張し、関連する時間それを記憶し、そのモ デルからシーケンスのフレームを復元するモジュールからなる簡単なデコーダで ある。モジュールはパイプラインを用いて互いの間で結果を伝送する。 第２の好ましい実施例においては、更に最適化したデコーダが備えられ、モデ ル化能力を拡張する構成を含み、メモリの使用を最適化し、計算速度を最適化す る。 装置はＶＬＳＩエレクトロニクスを用いて実現のために適応されている。 本発明の利点は、互いに同期して動作する多くの簡単な専用の処理素子の有効 な使用から主に来ている。データは簡単なパイプラインにおいて処理素子間で伝 送される。大きなメモリバンクにランダムアクセスの必要が少しあり、 大部分のアクセスは連続的である。システムは処理素子の大部分が低い精度（４ ，８，１２又は１６ビット）での数値動作を行なうことができるように設計され るが、生成した映像の質は非常に良い。大部分の動作は簡単な加算、乗算及びシ フトである。いくつかの除算モジュールが必要であるが、ルックアップテーブル が使用できるようにそれらを低い精度で計算することができる。 それらの原理に基づいて、このデコーダのハードウエアを、等価ソフトウエア プログラムを走らせるパーソナルコンピュータのそれの１００〜１００００倍の 処理速度を与えるように構成することができるが、量産のコストは低い。少なく ともＰＡＬ又はＮＴＳＣフォーマットのフレームサイズや非常に複雑なモデルに ついては、有用なＶＬＳＩ技術を現在用いて処理することができる。本発明は上 記のＷＯ９５／０８２４０に述べられたシステムに従っているので、そこに記載 された利点も適用する。それらは良好な圧縮率、良好な画質、モデルの良好な解 釈性及び制御可能性を含む。 本発明は、第１の２次元座標系の整数位置に与えられる画素からなるソース映 像を、第２の２次元座標系の整数位置に与えられる画素からなる目標映像に変換 する方法を更に開示する。 映像デコーダ及び映像復号化方法は、ＩＤＬＥモデル化方法に応じて圧縮され たビデオ列のリアルタイム符号化を 可能にすることを示されている。圧縮モデルは映像の多数のファクタ動き表現と 同様に多数のファクタ強度を含んで良い。そのモデルは対話型テレビジョン及び テレビジョンゲームのための可能性を与える復号化の間に付加的に変更されても 良い。図面の簡単な説明 図１はエンコーダ及びデコーダを有するＩＤＬＥモデル化パイプラインに基づ いた伝送システムの概要を与える。 図２は復号化に含まれるステップの一般的概要を与える。 図３は基本バージョンにおけるＩＤＬＥデコーダを示す。 図４はいくつかのオプションを備えたＩＤＬＥデコーダを示す。 図５ａはＳフィールドの基本フォーマットを示す。 図５ｂはＳフィールドのランレングス符号化フォーマットを示す。 図５ｃはＳフィールドの個々のロードバンクアドレス指定を備えた他のランレ ングス符号化フォーマットを示す。 図５ｄ及びｅは共にＳフィールドの他のランレングス符号化フォーマットを示 す。 図６は乗算回路と共にスコアメモリの１つの可能なバージョンを示す。 図７はＹＵＶからＲＧＢに変換するカラー空間コンバータを示す。 図８はアフィン変換を適用するノッド回路を示す。 図９はロードメモリ用のゴミ集め構成を示す。 図１０は分解能について出力フォーマットを適合するモジュールを示す。 図１１は移動モジュールにおける補間の必要を示す。 図１２ａ及びｂは移動モジュールにて４画素について行なわれることを詳細に 示す。 図１３ａ及びｂは三角形に基づいた移動モジュールの原理を示す。 図１４はプログレッシブ補間を有する移動モジュールの構成を与える。 図１５は移動モジュールの一部として用いられるべきループ回路を示す。 図１６ａは移動モジュールの補間回路の数値原理を示す。 図１６ｂは補間回路の構成を与える。 図１７は移動モジュールの最終段として用いられるべき配置回路を示す。 図１８ａは２方向直線補間の原理を示す。 図１８ｂは２方向直線補間の構成を示す。 図１９はバックワードマッピングに基づく移動モジュールのハードウエア構成 を与える。 図２０ａ及びｂは四角形に基づく移動モジュールの原理を示す。 図２１ａはアンチエイリアスング処理する理想戦略を示す。 図２１ｂは理想手法への近似を示す。 図２２は理想手法近似のためのデータフロー図を与える。 図２３はフレームのための最終濾過化残差補正を示す。 図２４はゲーム等に用いられるべき復号化の間に映像を変更するシステムを示 す。 図２５は復号化の間に再生の速度を変更するシステムを示す。実施例の詳細な説明 第１の実施例 図１はＷＯ９５／０８２４０に応じたＩＤＬＥに基づく伝送又は記憶システム の概要を示している。ディジタル化ビデオフレームの列（シーケンス）１１０は ＩＤＬＥモデル化器（modeller）１１５に供給される。その結果のモデル１２０ は、ブロック１２５に示されているように、更にランレングス符号化、可変長符 号化、離散コサイン変換ＤＣＴ又は同様のもののような従来の技術を用いて圧縮 される。その結果のビットストリーム１３０は元の列１１０より非常に少ないビ ットとなり、放送等の分配又は磁気テープや光ディスク等の記憶のために適して いる。 分配した又は記憶した圧縮ビットストリーム１３０は見ることができるように するためには、復号しなければならない。これは２ステップで行なわれる。先ず 、ＩＤＬＥモデルがブロック１３５に示されているように伸張され、その伸張さ れたＩＤＬＥモデルパラメータ１４５が各個々の フレーム１５０を復元するするために使用される。本発明は圧縮ビットストリー ム１３０から見ることができるフレーム１５０への復号に関している。 特許出願ＷＯ９５／０８２４０は一般的なモデル化方法を示している。ＩＤＬ Ｅモデルからフレームを復元するための基本方法は例を用いて図２に示されてい る。元のビデオ列は笑いを表して様々な方向に動く口と共に赤い頬の張りを変え る顔からなる。顔及び背景はホロン(holon)と称する分離の物としてモデル化さ れる。ビデオ列のフレームの１つから来る代表的な顔はブラッシ（赤面）ロード ２１０として記憶される。赤面する傾向は更なるブラッシロード２１２として表 される。各ブラッシロードは関連したスコア（点）を有する。ロード及びスコア の収集はファクタと称する。赤面した映像は各ピクセルのロードをスコアに乗算 し、その結果をピクセル方向に加える各ファクタによって形成される。 その例は白黒の赤面モデルを示すが、その原理はカラー映像にも用いても良い 。好ましい一実施例は各ブラッシロードを表すことであり、各ブラッシロードに １つのカラーチャンネル、例えば、赤、緑又は青を割り当てさせ、そのため対応 するスコアが調整されるとき映像の１つの色チャンネルだけが変化される。これ は分離可能なブラッシと称する。他の好ましい実施例は全色で各ブラッシロード を表すことであり、各ブラッシロードに全ての色チャンネルを 割り当てさせて、そのためスコアを変えることが全ての色チャンネルに影響を与 える。これは分離不可能なブラッシと称する。分離可能なブラッシを用いるモデ ル化は一定数のロードを用いて更なる変化を可能にし、或いは必要なメモリ容量 を節約するように少数のロードを用いて同一の変化を表す利点を有する。分離不 可能なブラッシを用いるモデル化は物理的現実によく対応するモデルに結果的に なるという利点を有する。そのため入力中のブラッシが２以上の色チャンネルに それを明らかにする１つの現象によって引き起こされるとき、それはただ１つの ファクタとして表され、その存在の量は１つのスコアによって制御され得る。 口を動かす２つのメインパターンは２つのスマイル（笑い）ロード２２０，２ ２２として記憶される。スマイルフィールド２３０はスマイルファクタからの出 力を加えることによって見い出され、各スマイルファクタはスコア及びロードの 生成からなる。 例は垂直な動きを示すが、その同じ原理は垂直及び水平な動きの組み合わせに 適用しても良い。好ましい１つの実施例は、各スマイルロードに垂直又は水平の １次元だけを割り当て、これにより１つのスコアを変化することが垂直又は水平 の動きを導く。これは分離可能なスマイルモデル化と称する。他の好ましい実施 例は各スマイルロードに垂直及び水平成分を持たせることであり、それにより１ つのスコアに垂直及び水平方向の動きを与える。これは分離不 可能なスマイルモデル化と称する。分離可能及び分離不可能なスマイルモデル化 の各利点はブラッシのモデル化のそれら利点と同様である。 赤面した映像はスマイルフィールド（笑い部分）に応じて移動させる。動きフ ィールド、ワープフィールド又は置き換えフィールドと称するスマイルフィール ドに対応して映像を移動するワープ又は置き換えと称する方法は「ディジタル映 像ワープ（Digital Image Warping）」（第３版、G. Wolberg，IEEE Computer S ociety Press，1994）に述べられている。その結果２５０はフレーム２６０に置 かれる。全部の処理は他のホロン、この場合、背景のために繰り返される。フレ ームが今、準備され、見る者に対して表示され得る。スコア及びたぶんロードも 更新され、その処理を次のフレームのために継続することができる。 図３は第１の好ましい実施例を更に具体的に示している。デコーダ３００は制 御プロセッサ３０５を含んでいる。制御プロセッサと他の処理素子との接続は簡 単にするという理由で示していないが、その主目的は入力ビットストリームの速 度、他の処理素子の速度及びフレーム速度に様々な素子を同期させることであり 、処理素子を開始、一時停止、停止することによりそれを行なう。制御プロセッ サは個々のピクセルを処理する必要はないので、それは比較的小さい計算負荷で ある。よって、専用プロセット又は例えば、インテル３８６ＳＸのような汎用マ イクロプロセッサで実 行することができる。 圧縮ビットストリーム３１０は、フレームを復号するために必要な全てのモデ ル情報を有する。データの個々の部分は、多重分離ユニット（ＤＥＭＵＸ）３２ ０が適切な処理素子にデータを回送できるように通信プロトコルに応じて分類さ れている。 圧縮ビットストリーム３１０は自動エンコーダによって処理される。それは特 にシュミレーョンやゲームの分野の適用では操作者によって大体手動にて行なわ れている。 ロードは従来の静止映像の特性を有している。すなわち、それらは垂直及び水 平座標の２次元グリッド以上の機能であり、高次の空間的冗長度を有する。よっ て、例えば、「ＪＰＥＧハンドブック（The JPEG Handbook）」（W．Pennebaker & J．Mitchell，Van Nostrand Reinhold，1993）に述べられたＤＣＴ又はウエ ーブレットや予測符号化等の公知の映像圧縮技術に応じてロードを記憶又は伝送 することが有効である。デコーダ側では圧縮したロードはそれを全表示に復号す る静止画デコーダ３２４を介して送出されなければならない。 各ファクタはいくつものフレームに適用され、それでデコーダはそれらフレー ムを復号するために必要な時間の間に対応するロードを記憶する能力を持ってい なければならない。このため、デコーダ３００は多くのロードメモリ３２６を有 している。スイッチ３２５は静止画デコーダ３２ ４からそのロードメモリへその復号結果が出力されるように制御する。そのスイ ッチは制御プロセッサ３０５によって制御される。好ましい実施例はロードを正 しい領域のために最初の空きロードメモリに出力することである。他の好ましい 実施例はその圧縮ビットストリーム３１０にロードが記憶されるロードメモリを 決める関連情報を含ませることである。 各ロードメモリはいくつかの異なるホロン用のデータを記憶することができる 。どのロードメモリもホロンがセグメントフィールドメモリ（Ｓフィールドメモ リ）３２２に記憶されたセグメントフィールド（Ｓフィールド）によって管理さ れるデータを含む。これは各ロードメモリの各成分を１つのホロンに割り当てる 構成である。１つの好ましい実施例は図５ａに示されており、そこには図３のＳ フィールドメモリ３２２が詳細に例示されている。全てのロードメモリは同一の 容量であり、各ホロン用の様々なロードは各ロードメモリ内の同じ位置を占有す る。Ｓフィールドメモリ５００は同一の容量を有し、セグメント内の各成分には ロードメモリ内の対応する成分が割り当てられるホロンの数が記憶される。例は 、１で示された第１のホロン及び２で示された第２のホロンを示し、それらは０ で示された未使用部分で囲まれている。 Ｓフィールドの各成分は垂直座標ｖ及び水平座標ｈと対応し、このホロン用の 各ロードは位置に対応する成分を有 する。軸は、下方の増加方向に走査ラインを示すＶ及び右の増加方向に走査ライ ンを示すｈと共に左上角にｖ＝０，ｈ＝０となる。そのような位置の集まりは基 準位置に物(objects)を含んでいる基準座標系と称する。 成分のために特定されるブラッシロード値、スマイルロード値及びその他の値 全てからなる各基準位置成分をＲｅｆＥｌと簡単に表す（図５ｂ）。 更なる処理はパイプラインに基づいて行なわれ、そのパイプラインはいくつか のパイプラインチャンネルを有するデータ路と、パイプラインに到達したデータ について様々な動作を行なういくつかの処理素子からなる。そのパイプラインは パイプラインクロックに同期される。各パイプラインクロックパルスはパイプラ インに入力する１つの新しいＲｅｆＥｌとパイプラインにある他のＲｅｆＥｌの 各々に適用される１つの動作とに対応する。 全てのロードメモリ３２６及びＳフィールドメモリ３２２からのデータはパイ プライン３３０，３３４の開始に並列に読み出される。好ましい実施例はロード メモリから一定速度でかつ走査順に全てのＲｅｆＥｌを読み出すことである。 このパイプラインの次の段は、乗算ユニット３４０である。乗算ユニット３４ ０ではスコアがロードと乗算される。スコアメモリ３２８と乗算ユニット３４０ とは図６に詳細に示されている。スコア(Sco)の更新はフレーム毎にスコア メモリ６３０にダウンロードされる。そのスコアメモリ６３０は行及び列に構成 され、各行はホロン番号に対応し、各列はファクタに対応する。ロードメモリか らの成分群(Lod1〜Lod8)６２０は、対応するＳ値と共働して供給される。各成分 群毎にＳ値６４０はスコアメモリ内に行を選択し、そして各列の対応するスコア ６５０が乗算器６６０に供給される。乗算器６６０ではスコアが全てのファクタ のロード成分と乗算される。その結果はパイプライン６７０の次のセグメントに 並列に出力される。 ロード成分群毎に最終の映像のアドレスはその現位置とスマイルファクタから の供給との合計として見つけ出される。 好ましい実施例は各フレーム毎に０に初期化され、またループ成分毎に垂直及 び水平の現在座標ｖ及びｈを増加させるループ機構３４２によって現在位置の座 標を与えることである。他の好ましい実施例は、ロードメモリ３２６と連動した アドレス指定ロジックにその現在の座標を発生させることである。 ロード成分群の新たな位置は現在の座標とスマイルファクタからの供給とを合 計スマイルモジュール３５２にて加算することによって見つけ出される。垂直方 向の全ての出力及び水平方向の出力を加算する３構造の加算器としても良い。 同様に、様々なブラッシファクタからの供給は合計ブラ ッシモジュール３５４にて加算される。カラー系の場合、各カラーチャンネル毎 に３構造の加算器としても良い。 赤面した映像の各ピクセルは移動モジュール３６０にその対応する新たな位置 と共に供給される。乗算、合計スマイルモジュール及び合計ブラッシモジュール での処理時間を補償するために遅延モジュール３５０で遅延されたＳフィールド 値３３０も移動モジュール３６０に供給される。 移動モジュール３６０はピクセル値、例えば、ｒ, ｇ，ｂ及びそれらのアドレ スを生成する。移動モジュールの内部構成を以下に示す。 ピクセルは基準位置走査順に発生され、最終フレーム内の他のアドレスに移動 して良いので、それらは普通、移動モジュール３６０から走査順には現れない。 大部分の表示器及び他の出力装置は走査順に適応するので、ピクセルはビデオ回 路によって出力される前にフレームバッファ３７０に直ちに記憶されなければな らない。 動きのため、いくつかのホロンからのピクセルは重複するかもしれない。好ま しい１つの実施例は、フレームバッファ素子位置に現れる最初のピクセルに衝突 の場合に優先させることであり、最前のホロンが最初に復号されるように符号化 ビットストリームを配置する。これをファーストウイン（first-win）と称する 。他の好ましい実施例は、最後に現れるピクセルに優先させることであり、最前 のホロンが最後に復号されるように符号化ビットストリームを配置 する。これをラストウイン（last-win）と称する。第２の実施例 第１の実施例においては、最小限のＩＤＬＥ準拠デコーダが示された。第２の 実施例においては、更に完全なＩＤＬＥ準拠デコーダが示される。メモリ及びチ ップエリアの比較的僅かな増加で、モデル化操作者及び多くのファクタの両方に ついて更に複雑な内容の大きな映像サイズを扱うことができる。 図４は第２の実施例の概略を示している。 圧縮ビットストリーム４０２は先ず、エラー制御及び訂正モジュール（ＥＣＣ ）４０６に供給される。このモジュールは従来から知られたリードソロモン符号 化のような方法を用いて転送エラーを検出し訂正するか、又は周期冗長検査（Ｃ ＲＣ）のような方法を用いてエラーを検出しても良い。「ディジタル通信(Digit al Communications)」（J. Proakis，McGraw Hill，1989）にリードソロモン符 号化の方法は示されている。双方向の伝送が利用できる応用においては、エラー データの再伝送を要求することもできる。 入力ビットストリームにおいて検出されたが未訂正のエラーはエラー除去手法 を行っても良い。そのためにどのような方法を採るかはどのデータが壊されたか による。ブラッシ又はスマイルロードの小さな部分にエラーがあり、その部分が 付近の成分に設定され得るならば、それにより他のパターンよりむしろ失った特 徴に伝送エラー結果を作る。 ブラッシ又はスマイルロードの大きな部分にエラーがあり、対応するスコアに０ が強制的に設定されるならば、完全にそのファクタの効果を除去することになる 。スコアが１以上のフレームについてエラーを有しているならば、そのスコアの 値を前のフレームからの値によって置き換えるか、又は前後のスコア両方に基づ いて補間した値によって置き換えることができる。 ＤＥＭＵＸ４０８は、広範囲の異なるデータタイプを認識してそれに対応して それらを分配する能力を持たなければならないことを除いて、第１の実施例のＤ ＥＭＵＸ３２０と同一の方法で動作する。 ロードメモリ４１４〜４１６はフレームが復号されている間には書き込みでき るように設計されれば良い。これを成すための方法は、ロードメモリとしてビデ オランダムアクセスメモリ（ＶＲＡＭ）を用いることである。ＶＲＡＭには書き 込み用のランダムアクセスポート及び出力用のシリアルポートの２つのポートを 有する利点がある。書き込み時に同時にロードメモリから読み出されている１つ のＲｅｆＥｌから生ずる矛盾を避けるために、対応するホロン及びファクタに対 するスコアメモリ４４２のスコアを０にセットすることができ、それにより書き 込まれるロードからの出力を無効にする。或いは書き込まれているロードからの 結果を進めないように後述のルータ４６３をセットアップすることができる。 他の解決方法はロードメモリのために従来の若干安価な単一ポートのＲＡＭを 用いることであり、それはいつの時点でも各ロードメモリが書き込み又は読み出 しされ得るように切り換えられる。 Ｓフィールドの各成分は垂直座標ｖ及び水平座標ｈと関連している。対応する ホロンに対するロードの各々は同一ｖ及びｈのと関連した成分を有する。Ｓフィ ールド成分、対応するロード成分及び明確に又は暗黙に与えられたｖ，ｈ座標を 簡単にＲｅｆＥｌと称する。ホロンと関連したその座標系を基準位置(reference position)と称する。図５ａに示したＳフィールドのレイアウトについて全ての ホロンは同一の座標系で与えられる。 Ｓフィールドは高次の冗長度を有する。Ｓフィールドの成分が分かるならば、 次のＳフィールドの成分が同一のホロンを示す高い可能性がある。よって、Ｓフ ィールドは図５ｂに示したように、小さいフォーマットを有することができる。 図５ａのようなロードメモリ内の各成分位置に対して１つの数値を記憶する代わ りに、「対話型コンピュータグラフィックスの原理」（McGraw Hill Internatio nal Book Company，第２版、1981，William M．Newman，Robert F．Sproull共著 ）に述べられたように、Ｓフィールドのランレングス符号化版５２０が維持され る。好ましい実施例はロードメモリの非占有部分に対して０であるホロン番号及 びランレングスとして各ランを記憶することである。 他の好ましい実施例は図５ｂに示したようにＳフィールドの非０成分だけランレ ングス符号化することであり、各ランは１行として表される。考えられる基準位 置内のピクセルの垂直及び水平位置はラン(run)のアドレスによって与えられな いので、各行はホロン番号５３０とラン５３６内の成分数とを含むだけでなくラ ンの開始の所望の垂直及び水平位置５３２，５３４を含まなければならない。 Ｓフィールドメモリに所望の垂直及び水平位置５３２，５３４を含む利点はこ れが固定した位置オフセットを補償するために用いられて良いことである。２つ のホロンがいくつかのフレームの同一位置を交互に占有する傾向にあるとする。 それらを図５ａに示した如くデータ構成において同じ位置に記憶することができ ないので、少なくとも１つは他の座標に記憶されなければならない。ホロンの位 置を変更するために他の機構がないならば、分離のスマイルロードはホロンを適 切な位置に戻すために用いられなければならない。図５ｂに示したデータ構成は 各ホロンに対して１つの基準座標系を設定することによって同一の効果を十分に 達成させる。 前者の方法は、全てのロードメモリにおいて同一のアドレスに割り当てられる 各ホロンを全てのロードメモリが有する必要があることを要求した。他の好まし い実施例はホロンにロードメモリ内の異なるアドレスほ持たすことである。この 目的のためのＳフィールドの表現は図５ｃに示さ れる。同一のホロンに属する走査順の連続するＳフィールド成分の各ラン毎に１ 行５４４がある。各ラン毎にそのホロン番号５５０、その最初のＲｅｆＥｌの垂 直５５１及び水平５５２座標、ＲｅｆＥｌの数５５３、及びロードバンク毎のそ の最初の成分５５４〜５５６のアドレスが与えられる。 図５ｄ及び図５ｅに示されたようにＳフィールドの他の表現より、各ホロンが 各ロードメモリ内の連続するメモリ位置を占有すべきと決定されると仮定する。 図５ｄは各ホロンがどのように設定されるか示している。それらは表５６０に表 示され、その表ではホロン番号が列５６２を設定し、各ホロン毎にＲｅｆＥｌ数 ５７０及び各ロードメモリ毎にそのホロンの最初の成分のアドレス５７２〜５７ ６が与えられる。更に、各ランは図５ｅに示されたように対応する表、すなわち 各ラン毎に１行５８２を含む表５８０、各ラン号のホロン番号５９０、その最初 の成分の垂直５９２及び水平５９４位置、並びにこのランのＲｅｆＥｌ数５９６ によって特定されなければならない。 最初の列５９０はホロン番号を与え、次の２つ５９２，５９４はランの最初の 成分の基準位置座標を与え、次の５９６はそのランにおけるピクセル数を与える 。それにより各ロードメモリ内のアドレスは正しく与えられる。ロードメモリ内 で指定するアドレスは、Ｓフィールドメモリが対応して構成される限り、すなわ ちＳフィールドメモリに記 憶された値がその指令又は復号化を設定する限り自由である。 図５ｂ、５ｃ、及び図５ｄ、５ｅに与えられるようにＳフィールドのランレン グス符号化表現の各々はロードメモリに少し異なるアドレス発生ロジックを要求 する。しかしながら、全てのそれらの方法は、ランにおいて最初のＲｅｆＥｌに ついてのアドレス初期化に基づいており、続く読み出しはランにおいてＲｅｆＥ ｌの残りをアクセスするために用いられる。 ランレングス符号化表現の各々はいくつかのホロン用の同一のメモリエリアを 参照することによっていくつかのホロンのロードの繰り返しを可能にする。これ は、例えば、ゲームコントローラ用のうまく制御された符号化系があるアプリケ ーションのために主に有用であると思われ、そこでは操作者がいくつかのホロン がロードを共有する符号化の間に決定できる。 Ｓフィールドは圧縮されても良い。Ｓフィールドのランレングス符号化は圧縮 のために基本であることができ、水平方向の冗長性を利用する。更に、圧縮は垂 直方向の冗長性を利用することによって、例えば、各走査ライン毎に予測器とし て前の走査ラインを用い、訂正器として符号を用いることによって達成すること ができる。この場合、Ｓフィールドデコーダ４１８を備える必要がある。 Ｓフィールドを圧縮する他の方法は差分連続符号化（di fferential chain coding）による方法である。先ず、ホロンの輪郭上の点が識 別される。そして、輪郭の近くの点が見つけ出され、第１の点から第２の点への 方向が伝送される。そして、輪郭近くの次の点が見つけ出され、方向の差異が伝 送され、これが全輪郭が符号化されるまで繰り返される。ランレングス符号化及 び可変符号レングス符号化を方向の差異について用いることができる。輪郭はホ ロン番号で満たされる。これは全Ｓフィールドが伝送されるまで繰り返される。 ロードメモリを更新しても良い。エンコーダがそのファクタを見つける順に従 って、新しいロードが伝送され、Ｓフィールドがある順に更新されれば良い。 デコーダにおいてメモリ容量は限りがある。よって、新しいファクタのための 場所を作る必要があるときロードメモリの古い内容を除去する方法がなければな らない。１つの方法は、エンコーダからの命令で空にする再初期化を行なうこと である。他の方法は、ロードメモリの内容の選択的削除を可能にすることである 。削除する部分をエンコーダ内の優先機構によって選択することができ、その優 先機構はもはや見ないホロンや関連の少ないロードに対しては低い優先度を割り 当てて良い。よって、同様の考えに基づいた他のシステムにおける処理はゴミ集 め（garbage collection）としばしば呼ばれている。 図９はゴミ集め回路を示している。回路９００はロード メモリと関連したアドレス発生ロジックとからなる。それは通常モードではロー ド９１０及びそれらアドレス９１２をロードメモリ９２２に受け入れ、一方、ロ ード９７０を出力する動作を行なうことができる。図５ｂ、図５ｃ及び図５ｄに 示したように、Ｓフィールドのランレングス符号化表現が用いられるならば、通 常モード動作時にパイプラインからのＳフィールド値は入力(S)９１４として必 要とされる。それを、入力信号９１６によるゴミ集めモードにて動作するために 切り換えることもできる。ゴミ集めが可能になる前に、取り去るホロンのリスト ９１８又はその代わりに維持するホロンのリストが収集リストメモリ９３０に読 み取られる。ゴミ集めモードでは、ロードメモリ９２２をアドレス指定するため に通常用いられるノーマルアドレス発生器モジュール９２０からの入力及び出力 アドレスはスイッチ９４０によって他に切り換えられる。代わって、ゴミ集めの ために特に用意されたアドレス発生器モジュール９３２が活性化される。これは 先ず入力及び出力アドレスの両方を０に初期化する。そして、Ｓフィールド９１ ４は循環される。ホロンが収集リストに応じ維持されるべきことが見つけ出され る毎に、ラン中の各ＲｅｆＥｌは循環され、各ＲｅｆＥｌ毎に入力及び出力アド レスが増加され、その出力がスイッチ９４４によってフィードバック伝送ライン ９６０及びスイッチ９４２を介して供給され、ロードメモリに再び書き込まれる 。他のホロンはスキップされ、 それによってロードメモリには書き戻されず、消去される。 ロードメモリからの要求された出力率がロードメモリの最大書き込み速度を越 えないような速度の２ポートＲＡＭを用いてロードメモリを実現する場合には、 通常動作モード及びゴミ集めモードが組み合わされて良く、それによりゴミ集め は通常動作の間、可能となる。 パイプラインの設計はデコーダの性能に応じて変えても良い。 可能なクロックレート、所望の出力分解能及びフレームレートの組み合わせが できるならば、パイプラインは、２以上のロードメモリが１つの物理的パイプラ インチャンネルを共有することにおいて多重化されても良い。 高出力分解能及び高フレームレートを有するシステムのために、ハイパースイ ストリック(hyper-systolic)の実行を選んでも良い。この設計方法を用いては１ つの共通のパイプラインクロックがないが、各パイプライン段は必要な入力があ るとすぐにその処理を始め、またその出力が用意されるとすぐに次段に信号が供 給される。制御の設計はもっと複雑になるが、より高いスループットを達成して も良い。 いくつかの分解能にてロードを表すのための理由がある。１つはカメラが低解 像度ならば、そのデータ自身が低分解能であるからである。又は滑らかな動きの フィールドを促進する動き評価技術が用いられるならば、ブラッシ又はス マイルファクタが低い固有の分解能を有するからである。 異なる分解能にロードを表す他の理由は、同一のビットストリームが異なる性 能のデコーダで復号されても良いことである。ロードは低分解能の復号化に必要 な１群と高分解能の復号化のために加えても良い他のオプション群とに分割して も良い。低い分解能のデコーダは低い分解能のロードだけを復号化し、高い分解 能のデコーダは低い及び高い分解能のロードの両方を復号化する。 他の理由は、人間の目が異なる範囲で分解能に対して異なる感覚を持っている からである。例えば、カラー列に対して、ＰＡＬ方式のテレビジョンシステムで 用いられているＹＵＶ、又はＮＴＳＣ方式のテレビジョンシステムで用いられて いるＹＩＱのような色空間で色が表されるならば、色度成分Ｕ，Ｖ及びＩ，Ｑ各 々は輝度又はブライトネス、Ｙ成分と呼ばれる強度より少ない空間的分解能を必 要とすることは良く知られている。 また、他の理由は異なるレベルのエラー保護が用いられても良いことである。 限られたバンド幅、限られた処理能力等のため、十分なエラー保護を有して全ビ ットストリームを守ることができないならば、低分解能部分は分離され、高分解 能部分よりも保護を与えられるべきである。高分解能部分におけるエラーは、適 当に隠されているとき、低分解能におけるエラーよりも視覚的に少ない影響であ る。 ロードメモリを実現するために必要なメモリはシステム コストに影響を与えるので、ロードを記憶させるとき低分解能を用いると利点が ある。 再度、図４を参照して、ロードメモリ４１４からのロードは、乗算モジュール ４４６に供給される前に空間的拡張段４３０を通過する。 ロードメモリから流れ出る簡単なシストリック(systolic)データを維持するた め、ロードメモリ用の読み出しロジックがその後の拡張モジュールとは独立して 機能するように拡張モジュールを設計することが望ましい。 より柔軟にするために、拡張段には、ロードメモリからのデータに拡張させる か又はそれらにそのまま通過させるイネーブル／バイパススイッチが好ましくは 備えられる。 上記の２つの設計目標を満たす好ましい実施例は、ロードメモリ内の低分解能 ロードを間引く(interleave)ことである。これの動作例は、値を重複することに より実行される簡単に可能なアンサンプリング、及びこれが水平方向にだけ行な われる場合である。その拡張段は、２つの連続する入力毎に、バイパスモードで は１の出力ラインで同一の２つの連続する値を出力し他の出力ラインでゼロを維 持し、又はイネーブルモードでは１つの出力ラインで第１の入力値の２つの連続 するコピー値を出力し第２の出力ラインで第２の入力値の２つの連続するコピー 値を出力するように切り換えることができる。 その拡張は垂直及び水平の両方向のアンサンプリングで 行なっても良く、それにより、４値入力の各群はバイパスモードにて１出力ライ ンで４値か、又はイネーブルモードにて４出力ラインで４値を生成する。 より滑らかな出力を与えて映像に与える影響が少ない再サンプリング方法、例 えば、双直線(bi-linear)補間は既に述べた本「ディジタル映像ワーピング」に 見つけ出すことができる。それらの方法は１以上の入力値に各出力の元を置いて いる。これは、拡張モジュールが水平のアップサンプリングに基づく最も簡単な 直線補間用の１値から双直線補間用の１スキャンラインまでの小容量のメモリを 有さなければならないことを意味する。 拡張モジュールは、拡張が選択したホロンだけに適用され得るように実行する ようにしても良い。この場合に、各拡張モジュールについて各ホロンに対して１ ビット記憶する拡張セットアップメモリ４２６が備えられなければならず、それ は各フレーム前に更新されても良い。それらのビット及びＳフィールド値に基づ いて各拡張モジュールがイネーブル又はバイパスモードにセットされる。 ロード値と同期したＳフィールド値を維持するために、Ｓフィールドは遅延モ ジュール４４０を用いて拡張モジュールの待ち時間に応じて遅延されなければな らない。 拡張モジュールは全てのロードメモリについて必ず実現されなくて良い。パイ プラインの同期を維持するために、拡張モジュールを介して送られない値は遅延 モジュール４ ３２を介して送られなければならない。 拡張モジュールをカスケードすることができ、遅延モジュールはそれに対応し て作成されなければならない。 エンコーダは拡張セットアップを圧縮して良い。デコーダ側では拡張セットア ップは拡張セットアップデコーダ(Dec)４２４にてそれに対応して復元されなれ ばならない。可能な圧縮方法は前のセットアップとの差分を伝送し、この差分を ランレングス及び可変ビット長符号化で符号化することである。 スコアメモリ４４２、乗算モジュール４４６、及び対応する遅延モジュール４ ５０の動作は、第１の実施例と同様である。しかしながら、最適化は可能である 。ランレングス符号化Ｓフィールドの場合のためにはスコアはルックアップされ 、各パイプラインクロックパルスについてスコアメモリ４４２から取り出されな ければならない。むしろ、Ｓフィールド値はそのランの間中一定であるので、ス コアをルックアップしそして各ランの開始時にだけ取り出すこともできる。これ はより高い周波数を用いることを可能にし、初期化のための各ランの間の短い停 止を少なくすることができる。同一の原理は、パイプラインにおける後段のほと んどに適用することができる。 エンコーダはスコアを圧縮しても良い。デコーダ側ではそれらはスコアデコー ダ４４４においてそれに対応して伸張されるなければならない。時系列を圧縮及 び伸張する公 知の方法を個々に各スコアに用いても良い。そのような方法は差分符号化、予測 符号化及びサブバンド符号化を含む。エラー除去方法としては、差分符号化のた めの除去方法は差分が欠けているとき前のスコアを繰り返すことである。予測符 号化のための除去方法はコレクタ(corrector)が欠けているときコレクタなしで プリデクタ(predictor)だけを用いることである。サブバンド符号化のための除 去方法は１つが欠けているならば間違った係数なしでデータを復元することであ る。 代わって、スコアが共通して圧縮及び伸張されても良い。１つの方法はスコア の双直線モデルを維持することである。双直線モデルの形成及び更新方法につい ての説明は「多変量調整(Multivariate Calibration)」(H. Martens & T．Naess ，John Wiley & Sons，Chiceter 1990)に見つけだすことができる。明確にスコ アを伝送することに代えて、スコアがメタロード(meta-loads)、メタスコア(met a-scores)及び残差(residuals)のように再びモデル化される。それらは量子化さ れ、ランレングス符号化及び可変ビット長符号化のような方法を用いて符号化さ れても良い。 他の可能性はエラー除去のためにスコアの双直線モデル化を用いることである 。デコーダ側では、スコアの双直線モデルは維持される。スコアデータが間違っ ているとき、それらはそのモデルを更新するために重み付けゼロを与えられる。 メタスコアをメタロードと乗算することによって 欠けているデータの値を復元するために双直線モデルを用いることができる。 例えば、極端に高い圧縮率での圧縮のような応用のために、カメラノイズ又は 他の表面上はランダムなパターンを表現するように十分なバンド幅があっても良 い。モデルがシュミレーションやゲームのようなコンピュータグラフィックス方 法を用いて生じるような他の応用ではカメラのようなノイズを加えることによっ て主な映像の質を改善しても良い。更に、ロードの伝送における量子化又はフレ ームバッファ内又は後の量子化のためディザリングを用いも良い。ディザリング のための方法としてのランダムノイズを用いる方法については「ディジタル映像 処理の原理(Fundamentals of Digital Image Processing)」(Anil K．Jain, Pre ntice Hall，1989)に見つけだすことができる。 処理パラグラフに与えられた目標を達成する方法のための好ましい実施例は、 テキスチャ発生モジュール４５５を用いることである。それはランダム発生器(R nd)４５７からのランダム数値のフィルタ化に基づいてテキスチャ(texture)を生 成する。テキスチャを合成する方法の例については上記の「ディジタル映像処理 の原理」に見つけだすことができる。ランダム数値がパイプラインの速度と同一 の速度で生成されても良い。フィルタ係数及びそれによる強度等のテキスチャの 特性が、各ホロンについて特有な値によって制御され、テキスチャセットアップ メモリ４５２に記憶 され、各フレームの前に更新されても良い。 更に、フィルタ係数が更に空間的に詳細に制御されても良い。パイプラインチ ャンネルをテキスチャ発生器に接続することによってテキスチャが画素単位で制 御されても良い。 イネーブル／バイパスビットが、拡張セットアップメモリと同様に、テキスチ ャセットアップメモリに記憶され、それによって各ホロンについてテキスチャを 活性化又はバイパスしても良い。よって、パイプラインチャンネル及びそれに対 応するロードメモリがテキスチャ制御及び他の情報タイプのために互いに交換し て用いられて良い。 エンコーダがテキスチャセットアップを圧縮して良い。デコーダ側では、それ らが、テキスチャセットアップデコーダ４５４にてそれに対応して伸張されなけ ればならない。１つの可能な方法は、前のセットアップからの差分を伝送し、ラ ンレングス及び可変ビット長符号化でこの差分を符号化することである。 テキスチャ発生器を通過しないデータはそれに対応して遅延モジュール４５６ によって遅延されなければならない。 スマイル及びブラッシファクタの限られた合計数内では、スマイル及びブラッ シ範囲内でファクタの最適な割り当ては、モデル化されるべきビデオ列に一般的 には従うことになる。いくつかのビデオ列は多くのブラッシのような情報及び少 しのスマイルのような情報を含み、その場合には多 くのブラッシファクタを有することが最適である。他の列は多くの動きを含んで いる。この場合には多くのスマイルファクタを有することが最適である。速くか つ複雑な動きがある場合に、人間の目の心理視覚的空間分解能は貧弱であり、そ のためブラッシファクタがあるならば、それは低分解能で記憶されても良い。 よって、それ自身で考慮されるスマイルの最悪数とそれ自身で考慮されるブラ ッシの最悪数との合計に応じたロードメモリの数にする必要はない。ロードメモ リの最低数は選択することができる。しかしながら、これは、移動モジュール４ ９２の現在の範囲にそれらが終わりになるようにロードメモリの内容を書き直す 必要を作り出す。この目的のため、ルータが用いられる。それはその入力をその 出力に接続する機能を有するクロスバースイッチとして実行されることができる 。 最も簡単な実施例においては、多数のスマイル及びブラッシファクタの間の配 置が全てのホロンについて一定であるように、ルータが各フレームについてセッ トアップされるだけで良い。 更に進んだ実施例では、ルータが各ホロンについて１つのセットアップを有す ることができる。このセットアップは各フレームについて前に更新されるルータ セットアップメモリ４６２に記憶される。ルータセットアップメモリは各ホロン について１つの列及びルータからの各出力チャン ネルについて１つの行に構成されている。ルータセットアップメモリに記憶され た各番号は、どの入力パイプラインチャンネルにてその出力が出力チャンネルと 接続されるべきかを特定する。例えば、第２の列、第３の行の番号が４ならば、 ホロン２に属するエレメントが処理される毎に出力チャンネル３の値出力が入力 チャンネル４から取り出されることを意味する。 好ましい実施例は拡張モジュール４３０の後で、乗算モジュール４４６の前に ルータを配置し、１より多くの出力にその入力を接続する能力をルータに持たせ ることである。これは１つのロードメモリの内容が、各範囲に制御できる影響量 を備えて、出力映像の多くの範囲に影響を与えることができるという利点を有す る。例として、図２のように、ＲＧＢカラー空間内にカラー映像が作り出される 状況を考慮し、また、ブラッシファクタ２１２が赤チャンネルに影響を与えて頬 を更に赤くさせると共に同一の領域を僅かに多く緑及び僅かに少なく青にさせる とする。この場合、これを、１つのロードとして、しかし赤、緑及び青色チャン ネルの個々のスコアと共に繰り返すことができた。この構造はロードメモリに記 憶された１つのロードを３つの異なるパイプラインチャンネルにルーティングす ることによって実現され、その値が後の異なるスコアによって乗算されることが できる。 スマイルとブラッシとの間に同様のリンクを有すること ができる。図２のシーケンスが撮影されたとき光源は天井に配置されたとする。 また、下方のスマイルファクタに対応して人間がときどき前にかがんだとする。 これは、光範囲の角度の変化のため、また暗いブラッシファクタに対応して影の ため顔を暗くする。よって、１つのロードをスマイル及びブラッシの両方のため に用いることができる。 他の好ましい実施例はテキスチャモジュール４５５の後で、合計スマイルモジ ュール４７４及び合計ブラッシモジュール４７６の前にルータ４６３を配置する ことである。これは、テキスチャがスマイル及びブラッシの範囲の間で切り換え られることを可能にするという利点を有する。ブラッシの範囲内のテキスチャの 例は既に与えられている。スマイルの範囲内のテキスチャの例については、降雪 が写されているとする。各雪片は視覚することができ、少なくとも短時間に各雪 片が続いて降っているようにゆっくりと動くが、その経路は、与えられた圧縮比 の制約内で、符号化されたビットストリームの中に個々の雪片毎の経路を表現す ることはできないほど複雑である。動きフィールド内にテキスチャを適用するこ とによって舞う雪片の印象を復元することはできる。 エンコーダはルータセットアップを圧縮しても良い。デコーダ側ではそれらが 対応してルータセットアップデコーダ４６４にて伸張されなければならない。１ つの可能な方法は、以前のセットアップからの差分を伝送し、その差分 をランレングス及び可変ビット長符号化で符号化することである。 全てのファクタがルーティング能力を必要とする訳ではないことを決めること ができる。例えば、１つがカラーチャンネルｒ，ｇ及びｂの各々について少なく とも１つのブラッシファクタがあるシステムを有し、他方がルータ４６３におけ る待ち時間を補償するために遅延モジュール４５８にて適切に遅延された合計ス マイルモジュール４７４に乗算モジュール４４６から直接行く信号４５９のよう に図４に示した座標次元ｖ及びｈの各々について少なくとも１つのスマイルファ クタを常に有することである。 第２の好ましい実施例においては、第１の好ましい実施例と対照的に、図４は ループｖ，ｈモジュール４７２とＳフィールドメモリ４２０との間の接続を示す 。これは、Ｓフィールド及びそれに対応するロードがランレングス符号化される ときの場合のためである。基準位置は各フレームの始めでゼロに初期化された値 からｖ及びｈをローピングすることによって見つけることができる。むしろ、ル ープモジュールは、図５ｂからはｖ，ｈ値５３２，５３４、図５ｃからは同様の 値５５１，５５２、又は図５ｃからは同様の値５９２，５９４によって各ランの 開始時に正しい座標に初期化されなければならない。 伝送したロードは、値及び分解能について量子化されなければならないし、乗 算４４６及び合計４７４，４７６， ４７８のモジュールは精度を制限されている。最も困難で可能な量子化をするこ とは良好な圧縮を与え、また最も小さく可能な精度をすることは乗算及び加算モ ジュールに簡単なハードウエアを与え、全ての動作はよく動くカラー空間にて実 行されるべきである。上記した「映像処理の原理」に定義されたＣ．Ｉ．Ｅ．同 一カラー空間(C.I.E．uniform color space)は、それらに関して良好なカラー空 間であるが、非直線変換を要求する。ＹＵＶのようなその他のカラー空間は少し 旨く行なうが、より簡単な実行を有する。 フレーム又はフィールドバッファ４９７，４９８がＲＧＢで動作する必要があ り、移動モジュール４９２とフレーム又はフィールドバッファとの間で双方向の 通信がある場合に、パイプラインにおいて移動モジュールの後に位置されたカラ ー空間コンバータは移動モジュールとフレーム又はフィールドバッファとの間の 両方向を変換することができる必要がある。これを避けるために、また１方向カ ラー空間コンバータを単に要求するために、好ましい実施例はパイプラインにお いて移動モジュールの直前にカラー空間コンバータを配置することである。図４ において、これは、ＹＵＶカラー空間からＲＧＢカラー空間に変換するＹＵＶ２ ＲＧＢモジュール４８７で例示されている。 図７は、ＹＵＶ２ＲＧＢモジュール７００の内部動作を示している。そのモジ ュール７００は入力としてｙ７１０，ｕ７１２及びｖ７１４からなるカラー信号 を受け入れる。 各出力ｒ７４０，ｇ７４２及びｂ７４４は入力の重み付け合計で作成される。そ の重み付けはルックアップテーブル（ＬＵＴ）７２０を用いて行なうことができ る。その合計は加算器７３０，７４０及びもし必要ならば同時に遅延回路７３２ を用いて行なうことができる。 第１の好ましい実施例において、移動モジュール３６０は１画素以上がフレー ムバッファ又はフィールドバッファ内のある位置で最後になったときどの画素が 優位か決定する非常に簡単な手法、すなわちファーストウイン(first-win)又は ラストウイン(last-win)を用いた。 ホロンの順番に自由度を与えるためにはＺバッファリングアルゴリズムを用い ることができる。上記の本「対話型コンピュータグラフィックスの原理」では名 称「デプスバッファリング(depth buffering)」を用いてこれをどのように行う のか説明している。１つの好ましい実施例においては、これは各ホロンに深さ又 はＺ値を割り当てることによって達成することができる。深さの次元の方向は、 より大きな値がオブザーバの近くに対応するようにあるために独断的に選択され る。Ｚメモリ７４１は各フレームより前に更新される。これは、索引としてホロ ン番号を用いてＺ値を読み出すことができるように構成される。各パイプライン クロックについて又はランレングス符号化のＳフィールドの場合の各ランについ て、Ｓフィールド値は索引として用いられる。それによって見つけ出されるＺフ ィールド値 は移動モジュール４９２に送られ、そこで、それは対応する画素を見ることがで きるか否かを判別するために用いられる。 エンコーダはＺ値を圧縮しても良い。デコーダ側では、それらはＺデコーダ４ ６８にてそれに対応して伸張されなければならない。１つの可能な実施例は以前 のセットアップからの差分を伝送し、ランレングス及び可変ビット長符号化でこ の差分を符号化することである。 全ホロンを越える一定のＺ値を有することに代わって、Ｚ値をロードメモリ内 の各画素について個々に与えることもできる。ロードメモリはこのために用いら れる。乗算モジュール４４６を用いてフィールドを基準化することができる。こ れはアドレス成分すなわち深さアドレス成分における変化に対応するので、これ はスマイルのＺ成分の如く定義した。 スマイルの垂直及び水平成分のように、深さ成分Ｚは１ファクタより多くを有 することができる。合計スマイルモジュール４７４はこの場合、３つのアドレス 、各次元毎に１のアドレスを用いてそれに応じて設計される必要がある。 マルチファクタＺのためには、第１ファクタにＺメモリ４７１から一定値だけ ホロン方向にさせることができる。 スマイルファクタを用いる動き補償は、異なる動きの非常顕著な範囲を表すこ とができる点において非常に強力な構成である。しかしながら、それは、スマイ ルロードが伝 送されて記憶されなければならない点において非常に高価な構成である。多数の 動きは多くの簡単な性質を有し、よってもっと簡潔に述べることができる。動き を表す１つの技術はアフィン(affine)変換の使用である。２及び３次元の両方に てアフィン変換の説明は、上記の本「対話型コンピュータグラフィックスの原理 」に見つけることができる。 アフィン変換はスティフオブジェクト(stiff objects)をモデル化するために 用いることができるのでアフィン変換は本発明ではノッド(nod)変換と称する。 対応する動詞「ノッドする」はアフィン変換を適用することに当てはまる。 １つの好ましい実施例は２Ｄにてノッド変換動作させることである。この表現 において、各ノッド化座標は３×３のマトリックスを用いて変換された古い座標 の古いｖ及びｈ成分に等しい。 他の好ましい実施例は３Ｄにてノッド変換動作させることである。この表現で は各画素のＺ値が用いられる。 ノッド構成はスマイル構成と組み合わせることができる。１つの好ましい実施 例は、スマイルとノッドとの合計としての移動モジュール４９２に行く座標を形 成することである。これは、図３に応じたスマイル置換を形成することによって 実行する一方、同時にルーパ(looper)からノッドモジュールにｖ，ｈ座標を送る ことができる。新たな座標はスマイル及びノッドの出力の合計に等しい。 他の好ましい実施例は、図４に示すように、スマイル化 された座標をノッド化することである。ここで、ループモジュール４７２からの ｖ，ｈ座標及びスマイルファクタからの出力は、合計スマイルモジュール４７４ によってスマイル化座標を生成するために用いられる。その結果の座標はノッド モジュール４８６によって更にノッド化される。適用したノッドマトリックスは ホロン方向を与えられ、ノッドメモリ４８２に記憶され、そして各パイプライン クロックパルスについて又は各ランの開始について、Ｓフィールド値は、所望の ノッドマトリックスがノッドモジュールに伝送されるようにノッドメモリ４８２ を索引するために用いる。 図４はｖ，ｈ成分の座標が用いられるだけでなく深さ成分ｚも用いられる３Ｄ ノッドの使用を示している。ノッドモジュール４８６の更に詳細な図面を図８に 見つけることができる。ノッドモジュール８００は入力としてスマイル化座標ｖ Ｓｍｉ８１０，ｈＳｍｉ８１２及びｚＳｍｉ８１４を受け入れ、スマイル化及び ノッド化座標ｖＮｏｄ８４０，ｈＮｏｄ８４２及びｚＮｏｄ８４４を出力する。 この式が実行される。 ｖＮｏｄ８４０は乗算モジュール８３０でＮｖｖ８２０をｖＳｍｉ８１０と乗 算し、乗算モジュール８３２でＮｖｈ８２２をｈＳｍｉ８１２と乗算し、Ｎｖｚ ８２４をｚＳｍｉ８１４と乗算し、それら３つの中間結果を、３構成の加算器８ ３６，８３８及び８４０を用いてＮｖｔ８２６を遅延したもの８３４といっしょ に合計することによって形成される。 いくつかの異なるフレーム分解能に応じて、その上、１組のロード及びスコア を用いて復号化することができるビットストリームをＩＤＬＥエンコーダに発生 させることができる。 この１つの利用はヨーロッパの一部で使用されているＰＡＬ式のテレビジョン セット、アメリカで使用されているＮＴＳＣ方式のテレビジョンセット及びパー ソナルコンピュータに適合したビデオ信号を生成することができる。 他の利用は、ズーミング、パンニング又は映像の一部を選択する一方、復号す る他の方法を可能にすることである。この１つの特別の場合はフィルムが１６： ９の横／縦比で伝送記憶され、４：３の画面で見なければならないときである。 従来、４：３の画面の中央部分だけが、その画面の上下にブラック縁部分を残し て用いられるか、又は１６：９映像の中央部分が選択されて両側の活動部分が常 に失われるかであった。良い解決方法は、最も興味ある動きが起きる１６：９映 像の部分に追いかけるように伝送したビッ トストリームにこの情報を入れて、４：３の画面にこの部分を選択することであ る。 これはノッドを用いて行なうことができる。１つの方法は各復号フォーマット について１組のノッドマトリックスをビットストリームに入れて、デコーダに適 切なノッドマトリックスを選択使用させることである。他の方法は、１つの特定 の規定に従って符号化し、ＲｅｆＥｌに適用する前にデコーダにそのノッドマト リックスを変更させることである。これは、本「対話型コンピュータグラフィッ クスの原理」に示されたように各ノッドマトリックスを含んでいるマトリックス と乗算することによって行なうことができる。この方法は、ノッドマトリックス の変更だけを必要とするという利点を有する。これは、各ホロンについてフレー ム毎に１回だけ起きる動作であり、それで、制御プロセッサ４０４が汎用マイク ロプロセッサのように実行され、この変換を行うために余分の能力を有するなら ば、この方法はノッドメモリ４８２と制御プロセッサとの間の通信路を除いて追 加のハードウエアを必要としない。 これは、分離ステップとして行なうことができる。図４において、適合フォー マットモジュール４９１はノッドモジュール４８６から来る座標について動作す るように示されている。図１０はそのモジュールの詳細を示している。ＲｅｆＥ ｌについてのｖ１０１０，ｈ１０１２及びｚ１０１４はパイプラインクロックパ ルス毎に到着する。垂直オ フセットｖＯｆｆｓｅｔ１０２０は加算器１０３０にて映像の垂直パン又は変換 に対応するＶ座標と加算される。垂直スケールｖＳｃａｌｅ１０２２は乗算モジ ュール１０３２にて映像のズーム又は拡大縮小に対応する前の動作結果と乗算さ れる。その結果は現ＲｅｆＥｌの最終Ｖ座標１０５０を与える。同様の動作は、 水平成分についても水平オフセットｈＯｆｆｓｅｔ１０２４及び垂直スケールｈ Ｓｃａｌｅを扱うために加算器１０３４及び乗算器１０３６を用いて行われ、現 ＲｅｆＥｌの最終ｈ座標１０５２を生成する。ｚ成分１０１４はそれに対応して 遅延モジュール１０３８にて遅延されなければならず、それによる出力１０５４ は他の成分と適応したタイミングを有する。この方法は、制御プロセッサに十分 な余分の能力がない場合に実行するために簡単で都合が良いという利点を有する 。更なる利点は、図４のノッドモジュール４８６を有することなく設計されたシ ステムに用いることができるということである。一般のアフィン変換において全 ての可能な自由の程度が実行されるわけではないけれど、適合フォーマットモジ ュール４９１がアフィン変換を実行することが理解できる。 スマイル、ノッド及び適合フォーマットモジュール全てが中間結果として映像 又は画素を発生することに代えてアドレスだけによって動作するので、再サンプ リングのため分解能の最小損失がある。 エンコーダはノッドマトリックスを圧縮しても良い。デ コーダ側ではそれらがノッドマトリックスデコーダ４８１においてそれに対応し て伸張されなければならない。１つの可能な方法は、単一のマトリックスからの 差分を計算し、量子化し、そしてランレングス及び可変ビット長符号化でこの差 分を符号化することである。 ３Ｄノッドのために備えられたデコーダが２Ｄノッドのためだけに備えられた デコーダと上位で互換できる。これはノッドマトリックスにゼロを挿入すること によって行うことができ、それによってＺ値を無視するのである。 前のパラグラフにおいて、画素が既に演算した画素の前に置かれたときその新 たな画素が古い画素を完全に覆ったとされた。この仮定を緩めることができ、他 の可能性はその新たな画素だけが古い画素を部分的に覆うことである。ＷＯ９５ ／０８２４０において古い画素に影響を与える新たな画素の程度はプローブ(Pro b)と呼ばれる。他のソースはこれを「アルファキーイング(alpha keying)」又は 「オパシティ(Opacity)」としばしば称する。１のプローブが新たな画素値をそ の古いものと置き換えさせ、０のプローブは古い画素を打ち勝たせるが、中間値 は２つの値の混合を生成する。 プローブ値はロードメモリに記憶させることができる。そのような１組の値を プローブロード(Prob load)と称する。全て前に定義された動作をプローブに適 用しても良い。各ホロンについて個々にそれを与えることができ、それを低 分解能で記憶し、拡張モジュール４３０で拡張することができ、それはスコアメ モリ４４２にそれと関連するスコアを有することができ、それはテキスチャモジ ュール４５５に適用されたテキスチャを有しても良いし、ルートモジュール４６ ３よってルートを定めることができる。いくつかのプローブファクタからの出力 としてそれを計算しても良く、その場合に合計プローブモジュール４７８を必要 とする。 プローブを用いる１つの方法は、エッジでホロンをいっしょに混合させること である。これをときどきエッジアンチエイリアスング(edge anti-aliasing)と称 する。基礎となる原理は２つの物の境界上においてカメラが一方の物だけの明る さのサンプルとして１つの画素及び他方の物だけの明るさのサンプルとして隣接 の画素を捕らえることが通常できない。境界上の少なくとも１画素のために混合 が生成される。それをプローブファクタを用いてシュミレートすることができる 。Ｓフィールドがホロンの境界を表すことに用いられるので、これはしばしば物 の境界の良い推定である。よって、Ｓフィールドの濾過によってホロンの混合を 表すプローブの良い推定を生成することができる。この結果を最終のプローブの １ファクタとして用いることができる。図４において、それは、Ｓフィールドか らシンタックスブロープロードに変換することができるＳ２Ｐｒｏｂモジュール ４６６として示されている。 Ｓフィールドを濾過することによりそうする。Ｓ２Ｐｒｏｂセットアップと呼 ばれ、エンコーダに備えられるフィルタパラメータのフィルタ係数は、Ｓ２Ｐｒ ｏｂセットアップメモリ４６５に記憶される。Ｓ２Ｐｒｏｂセットアップを圧縮 フォーマットで伝送することができ、１つの可能な方法は、前のフレームに比べ ての差分だけを各フレームについて伝送することである。よって、Ｓ２Ｐｒｏｂ セットアップはＳ２Ｐｒｏｂセットアップデコーダ４８４で伸張されなければな らない。 図１１は移動モジュール４９２の基本動作を示している。基準位置に局部座標 １１１０に映像として与えるホロンがそのスマイル及びノッドパラメータに応じ てフレーム座標計１１３０において最終フレーム位置１１２０に移動した。基準 位置に与えられたＲｅｆＥｌ１１４０は最終フレームの特定の画素に必ずしも対 応せず、拡大の場合のため多くの画素を部分的又は完全に包含することができ、 縮小の場合のため１画素の一部分だけに対応することができた。よって、移動モ ジュールのための１つの基本動作は基準位置映像の内容が最終フレームでできる だけよく表されるように基準位置座標系からフレーム座標系に変換することであ る。 図１２ａは２つの連続する走査ライン１２１０，１２１４及び２つの連続する コラム１２１２，１２１６上で隣接する４つのＲｅｆＥｌ１２２０，１２２２， １２２４，１ ２２６の状態を詳細に示している。スマイルファクタ及び場合によってはノッド に基づいて動きベクトル１２３０，１２３２，１２３４，１２３６は、それらＲ ｅｆＥｌのために演算される。その動きベクトルはサブ画素(sub-pixel)精度を 有する。そのＲｅｆＥｌの強度値はブラッシファクタからの出力を合計すること から知られる。 図１２ｂはその実施例に用いられる原理を示す。走査ライン１２６０及びコラ ム１２６２からなる最終フレーム座標系が示されている。ＲｅｆＥｌの移動した 位置１２８０，１２８２，１２８４，１２８６における強度値は知られているが 、その移動した位置が一般に最終フレーム内の画素位置に正確に対応しない。し かしながら、それらを、角に知られた値を有する四角形１２７０によって定義さ れた領域の内側にある画素位置１２９０，１２９２での新たな強度値を補間する ために用いることができる。 １つの好ましい実施例は図１３に示されている。ここで、図１２からの四角形 １２７０は２つの三角形１３２６，１３２８に分けられている。その分割は一定 のルールに従ってして良く、１つの可能性は第１の三角形１３２６を基準位置に おいて４つの隣接ＲｅｆＥｌのうちの上左１３２０、上右１３２２、下左１３２ ４にあるＲｅｆＥｌによって形成し、第２の三角形が上右１３２２、下左１３２ ４及び下右１３２７のＲｅｆＥｌによって形成することである。よって、各三角 形は分離して演算して良い。 三角形１３２６を通る各走査ライン１３１２，１３１４は分離して処理される 。各走査ライン毎に走査ライン１３１２の垂直索引に基づき知られた対の値１３ ２０，１３２４，１３２２，１３２４の間の直線補間に基づいて走査ライン１３ １２と三角形１３２６との間の２つの交差点１３３２，１３３４の水平座標が演 算される。同様の直線補間に基づいて、強度値が交差点１３３２，１３３４につ いて演算されても良い。２つのサブ画素精度垂直座標間の各画素位置について、 強度値は画素の水平位置に基づいて直線補間によって見つけ出すことができる。 この強度値は移動モジュールから出力される。 図１４はこの原理に基づいて移動モジュール１４００の構成を示している。初 パイプライン段からの入力ｒ，ｇ，ｂ、プローブＰｒｏｂ、ｖ，ｈ，ｚ及びＳ値 は１束１４１０の値として簡単に示されている。その値は基準位置走査順に備え られ、それにより図１２及び図１３に示されたように各移動モジュールクロック パルスで隣接画素を得るために入力値１４１０は遅延回路１４１２，１４１４， １４１６で遅延される。 図５ａに示されたようにＳフィールドの簡単なレイアウトのために遅延は基準 位置走査ラインの長さに対応する。図５ｂ，５ｃ，５ｄ及び５ｅに示されたよう にＳフィールドのランレングス符号化表現のためランレングスも考慮されなけれ ばならない。 トグル１４１８はスイッチ１４２０を制御するために用いられる。上左、上右 及び下左のＲｅｆＥｌからなる三角形が生成され、そして上右、下左、下右のＲ ｅｆＥｌからなる三角形が生成される。 比較器１４３０は三角形の３つのＲｅｆＥｌのＳフィールド値をチェックする ために用いられる。それらの値が等しくないならば、ＲｅｆＥｌが同一のホロン に属さないことを意味する。この場合、画素間で補間は起きるべきでなく、信号 １４３２は更なる処理が現三角形について行われるべきではなく次の値がクロッ クインされるべきことを示すためにセットされる。 その後の処理を簡単にするために、３つのＲｅｆＥｌはソートモジュール１４ ４０にてそれらの垂直位置に応じてソート（整列）される。これは上方のＲｅｆ Ｅｌ１４４２、中間のＲｅｆＥｌ１４４４及び下方のＲｅｆＥｌ１４４６を生成 する。それらの間の順に比べて２以上のＲｅｆＥｌが同じ垂直の位置を有する悪 い場合が起きる。 シール(ceil)モジュール１４６０にて大きな数値に向かって上方のＲｅｆＥｌ の垂直座標を回ることによってｖＵｐを生じ、フロアモジュール１４６２にてよ り小さい数値に向かって下方のＲｅｆＥｌの垂直座標を回ることによってｖＬｏ ｗを生じ、三角形を通過できた全ての走査ラインの範囲が得られる。動きフィー ルドがフレームの外の値を発生することができるようにあることができるので、 ｖＵ ｐ，ｖＬｏｗは１４６３でクリップされなければならない。クリップモジュール １４６３の動作はｖＵｐが負ならばそれをゼロで置き換え、ｖＬｏｗがｎｖ−１ より大きいならばそれをｎｖ−１で置き換えることである。 ループｖモジュール１４６４はｖＵｐからｖＬｏｗにフレーム走査ラインを介 してループすることができる。 ループモジュールは図１５に示されている。それは開始パルス１５３０で開始 して第１の値ｖ０（１５１０）から第２の値ｖ１（１５２０）にループする。そ の値は各移動クロックパルスでインクリメンタ１５６０にて増加される。その値 は１５７０で帰還される。これは最終テスト１５８０が満たされるまで継続され る。終了した信号１５９０が出力される。 図１４に戻って、現走査ラインが上方及び下方ＲｅｆＥｌ間の三角形セグメン トを通過することが知られ、それによって補間モジュール（ｉｎｔｅｒｐ）１４ ７４によってその交差点でｈ，ｚ，ｒ，ｇ，ｂ及びプローブを補間することがで きる。比較器１４６６で補間されたｈ値に対して中間ＲｅｆＥｌのＶ座標をチェ ックすることによって、残りの三角形の交差点が２つの残りの三角形側の上方又 は下方であるか否かを見つけることができる。スイッチは上方又は下方ＲｅｆＥ ｌのためのいずれかの値を取り出すために比較器１４６６からの値を用い、それ は他の補間モジュール（ｉｎｔｅｒｐ）１４７２によって値を補間するため 中間ＲｅｆＥｌ用の値と共に用いられる。 補間モジュール１４７４の数による原理は図１６ａに示されている。いくつか の従属変数（例としてｒ，ｇ及びｂ）は１つの独立変数（例ではｖ）に従属して いる。従属変数の値は独立変数のある間隔の端点のために与えられる。独立変数 の中間値ｖｉに基づいて補間値は従属変数の各々毎に見つけれる。これは独立変 数ｖのための座標系１６１０及び従属変数ｒ，ｇ及びｂのための座標系１６２０ ，１６３０，１６４０によって示されている。中間の独立変数ｖｉには従属変数 ｒｉ，ｇｉ及びｂｉを用いられる。 ハードウエアは図１６ｂに与えられている。補間モジュール１６５０は端点ｖ ０及びｖ１で独立変数のための値及び中間値ｖｉを入力して受け入れる。２つの 減算器１６６０，１６６２及び割算器で実行される式、重み＝（ｖｉ−ｖ０）／ （ｖｉ−ｖ０）は従属変数の各々について第２の端点の重みを与える。従属変数 ｅ．ｇ．ｒの各々について、この重みは、２つの減算器１６７０，１６７２及び 加算器１６７４で実行される式、ｒｉ＝（ｒ１−ｒ０）＊重み＋ｒ０によって補 間値を形成するために用いられる。 図１４に戻って参照すると、その後の処理のために中間ＲｅｆＥｌが上方Ｒｅ ｆＥｌと下方ＲｅｆＥｌとの間の三角形側の左又は右にあるか否かを知ることが 有用である。これは中間ＲｅｆＥｌのｖ値に基づいて上方ＲｅｆＥｌと下方Ｒｅ ｆＥｌとの間のラインでのｈ値を補間モジュール １４５０において補間し、ＲｅｆＥｌの実ｈ値とこのｈ値とを比較することによ って分かる。補間したｈ値が比較器１４５２で中間ＲｅｆＥｌのｈ値より大きい ならば、中間値は上方ＲｅｆＥｌと下方ＲｅｆＥｌとの間のラインの右にあり、 この場合に、三角形との２つの交差点の値が、ｈ値のその後のルーピングが左か ら右に発生する画素に対応して増加する値であるために選択された所定の順に起 きることができるように、スワップモジュール１４７６でスワップされるべきで ある。 走査ラインに沿った画素を発生することができる。先ず、回転モジュール１４ ８０及び１４８２によって最も左のｈ値が次の全画素位置まで右に回され、最も 右のｈ値が次の全画素位置まで左に回される。それらの値はクリップモジュール １４８３でフレームサイズに対してクリップされ、そこで、０より小さい左ｈ値 は０に置換され、最も右の画素の索引より大きい右ｈ値はこの索引によって置換 される。 ループｈモジュール１４８４はあるならばそれらｈ値の中でループすることが できる。それらｈ値に基づいてｒ，ｇ，ｂ，ｚ及びプローブの値は補間モジュー ル１４８６にて補間することができる。 ＶＨ２Ａｄｒモジュール１４９０にて現画素のフレームアドレスを計算するた めにｖ及びｈルーパ(looper)１４６４及び１４８４からのｖ及びｈ値を用いるこ とができる。２つのパワーのフレームバッファ走査ラインレングスにつ いてはビットの連続接続によって行なうことができ、そうでなければｖ＊ｎｈ＋ ｖのような式が用いられる。 画素値はｒ，ｇ及びｖ値１４９７を更新するために発生したアドレス１４９５ を用いて配置モジュール１４９２によって映像の中に配置される。 図１７は配置モジュール１４９２を１７００で示したように詳細に示している 。新たな画素のアドレス(Adr)１７１０、Ｚ(zNew)１７２０、プローブ(Prob)１ ７３０、ｒ（rNew)１７４０、ｇ(gNew)１７５０及びｂ(bNew)１７６０値が入力 として与えられる。要求した動作はこのアドレスでのより初めの画素のＺ値をル ックアップすることであり、前の画素がないならば、又はその画素が以前の画素 の前方にあるならば、その画素はプローブ値に応じた変化の程度にて更新される べきである。 そのモジュールは次のように機能する。アドレス１７１０はＺバッファ１４９ ６からの値を読むために用いられ、古いＺ値ｚＯｌｄ１７２２は前に戻される。 ｚＯｌｄは新たなｚ値ｚＮｅｗ１７２０と比較され、ｚＮｅｗがｚＯｌｄより大 きいならば、書き込みパルス(wrt)１７２６がＺバッファ及びフレームバッファ 両方に供給される。ｚＮｅｗはＺバッファに書き込まれる。 書き込まれるべき新たな強度値、例えば、赤成分用の値は古い赤値ｒＯｌｄ１ ７４１と新たな赤値ｒＮｅｗ１７４０との間の差分を減算モジュール１７４２に て演算し、所 望の変化の要求量をみつけるために差分にプローブ値１７３０を乗算器１７４３ にて乗算し、赤成分(rBlended)１７４９の結果の混合値を出力する前にこの変化 を、減算モジュール１７４２及び乗算器１７４３における待ち時間を補償するた めに遅延モジュール１７４４で遅延されたｒＯｌｄに加算器１７４５にて加算す ることによって得られる。 上記において、全ての範囲は先ず走査ラインと三角形との間の各交差点で、そ してその走査ラインに沿った各画素位置で補間される。他の好ましい実施例はフ レーム内の画素位置を基準位置に対応付け、基準位置における値及び距離に基づ いて補間をすることである。図１３はその原理を示している。その例は図１３ａ に示されたものと同じである。図１３ａの３つの移動したＲｅｆＥｌ１３２０， １３２２，１３２４の間で移動した三角形１３２６は、移動される前、同一のＲ ｅｆＥｌ１３７０，１３７２，１３７４間の図１３ｂの基準位置三角形に対応す る。三角形１３２６と走査ライン１３１２との最も左の交差点１３３２は対応す る点１３８０と関係付けることができ、同様に、最も右の交差点１３３４は対応 する点１３８２と関係付けることができる。それらの点に基づいて画素１３３０ は対応する１３９０と関係付けることができる。この点１３９０の座標が分かる と、それらが所望の範囲ｒ，ｇ，ｂ，Ｚ及びプローブの各々について値を補間す るために用いられることができ、それらの補間された値は所望の画素１３３０の 値として移動モジュールから出力される。 このハードウエアの構成にために移動モジュール１９００のアーティテクチャ を図１９に示す。 制御プロセッサ１９０５は回路のタイミング及び連動を制御する。その様々な モジュールとの相互接続は示していない。 ＲｅｆＥｌの入力値ｖ，ｈ，ｚ，ｚ，ｒ，ｇ，ｂ及びプローブＰｒｏｂは１つ のバス１９１０として示されている。 時間遅延を用いることにより、ＲｅｆＥｌバッファ１９１２は四角形に対応す るＲｅｆＥｌ１９２０，１９２１，１９２２，１９２３を生成する。 ｖＦｒａｃｔ１９２５及びｈＦｒａｃｔ１９２６の値はＲｅｆＥｌの各々につ いて供給される。 トグル１９３０は三角形の上左及び下右が生成されるようにスイッチ１９３２ を制御する。 三角形のＲｅｆＥｌのＳフィールド値が比較器１９４０によってチェックされ 、その値が同じでないならば、そのまま、それらが同じホロンに属さないならば 、次の三角形が処理されるべきことを示すために信号Ｎｅｘｔ１９４２が出力さ れる。 ＲｅｆＥｌはソートモジュール１９３４にてそれらのＶ値によってソートされ る。このソート段の後、上方１９３７、中間１９３８及び下方１９３９ＲｅｆＥ ｌであることは知られ、そのためそれらの順が最終フレームの走査順と 一致しない。 上方ＲｅｆＥｌのｖ座標はシールモジュール１９５０で次の走査ラインに回さ れ、下方ＲｅｆＥｌのｖ座標はフロアモジュール１９５２で次の走査ラインに回 される。それらの値は２つのクリップモジュール１９５１，１９５３にてフレー ムの垂直サイズに対してクリップされる。ループモジュール１９５４はそれら２ つの値の第１の値から第２の値にループし、現ｖ値を生成する。 比較器１９６０は現ｖ値が中間点のｖ値より大きいかどうかをチェックする。 このチェックの結果は補間モジュール１９６４が上方又は下方ＲｅｆＥｌを中間 ＲｅｆＥＬと共に用いることができるように、上方又は下方ＲｅｆＥｌのいずれ かを選択するスイッチ１９６２を制御するために使用され、それによってｈ用の 値，現ｖ値用のｖＦｒａｃｔ及びｈＦｒａｃｔを補間するように上方又は下方の 短い三角形のバーテェクス(vertex)で動作する。 補間モジュール１９６６は現ｖ値用の長い三角形のバーテェクスについてｈ， ｖＦｒａｃｔ及びｈＦｒａｃｔを補間する。 ２つの値はソートモジュールでそれらのｈ順にソートされ、そのため２つの画 素は最終フレームの走査順に表れる。 シールモジュール１９７２は次の画素位置まで上に最も左のＲｅｆＥｌのｈ値 を回す一方、フロアモジュール１９７４は前の画素位置まで下に最も右のＲｅｆ Ｅｌのｈ値を 回す。この結果の値は２つのクリップモジュール１９７３，１９７５にてフレー ムサイズに対してクリップされる。ループモジュール１９７６は２つのｈ値の最 も左から最も右にループし、それによって現ｈ値を生成する。 その現ｈ値に基づいてｖＦｒａｃｔ及びｈＦｒａｃｔのための値は補間モジュ ール１９７８にて補間される。ｖＦｒａｃｔ及びｈＦｒａｃｔは最終フレームに おける画素の位置に対応する基準位置座標系にサブピクセル精度位置を特定する 。２方向(two-way:ツーウエイ)の直線補間１９８０を行うためのモジュールは、 サブピクセル精度位置の演算における待ち時間に適合させるため遅延モジュール １９８１にて適切に遅延されたＲｅｆＥｌのための対応する値の間のr，ｇ，ｂ ，ｚ及びプローブ値を補間するためにこのサブピクセル精度位置を用いる。現ｖ ，ｈ値はＶＨ２Ａｒモジュール１９８２にてアドレスに変換され、このアドレス は配置モジュール１９８４によってフレームバッファにｒ，ｇ，ｂ値を配置する ために用いられる。配置モジュールは古いｒ，ｇ，ｂ及びＺ値１９９０を読み取 り、新たに補間した画素のＺ及びプローブ値に応じてｒ，ｇ，ｂ及びＺ値１９９ ２が更新される。 キャッシュ１９８６は性能を増強させるために用いても良い。 図１８ａは２方向直線補間のための数的基礎を示している。これは他のソース においてはバイリニア補間としばし ば呼ばれている。この場合に、１つの従属変数だけのための補間が示されている が、その原理はいくつかの従属変数に対しても適応する。所望値の位置ｖＦｒａ ｃｔ１８２２，ｈＦｒａｃｔ１８２０は４つの知られた値ｒ１１（１８１０）， ｒ１２（１８１２），ｒ２１（１８１４）及びｒ２２（１８１６）の間のサブピ クセル精度を知られている。２つの上方の知られた値１８１０，１８１２に基づ いて１つの中間値１８３０を直線的に補間し、同様に２つの下方の知られた値１ ８１４，１８１６に基づいて１つの中間値１８３２を直線的に補間し、最終結果 １８４０を見つけるためにそれらの間で再び補間を行うことによって所望値を見 つけることができる。 このハードウエアの構成のために図１８ｂを参照する。４つの知られた値ｒ１ １（１８６０），ｒ１２（１８６１），ｒ２１（１８６２）及びｒ２２（１８６ ３）は、ｖＦｒａｃｔ１８６６及びｈＦｒａｃｔ１８６２によって定められた所 望の値の位置と共に入力として与えられる。上方中間値１８８５，１８３０（図 １８ａ参照）は、減算器１８７０、乗算器１８７２、遅延モジュール１８７５（ 減算器１８７０及び乗算器１８７２の待ち時間を補償する）、及び加算器１８７ ７によって行われる式（ｒ１２−ｒ１１）＊ｈＦｒａｃｔ＋ｒ１１によって算出 される。下方中間値１８８６，１８３２（図１８ａ参照）は、減算器１８７１、 乗算器１８７３、遅延モジュール１８７６、及び加算器１ ８７８によって行われる式（ｒ２２−ｒ２１）＊ｈＦｒａｃｔ＋ｒ２１によって 同様に算出される。最終値１８９０は上方及び下方中間値を算出することにおけ る待ち時間を補償するために遅延モジュール１８８０にて遅延されたｖＦｒａｃ ｔを用いて、減算器１８７９、乗算器１８８１、遅延モジュール１８８３、及び 加算器１８８２によって同様に算出される。 上記において、三角形が座標マッピング及び補間のために用いられた。他の好 ましい実施例においては、４つのＲｅｆＥｌ全てに直接基づいた四角形が用いら れる。図２０ａについて、四角形２０２６は動きベクトルに応じて移動される４ つのＲｅｆＥｌ２０２０，２０２２，２０２４，２０２６によって形成される。 この四角形を通る走査ライン２０１２，２０１４各々について、交差点２０３２ ，２０３４，２０３６，２０３８は走査ラインと四角形との間に得られる。それ らは、図１４に示したことと同様に、四角形と走査ラインとの間の交差点で全て の範囲のための値を補間し、各走査ライン上で四角形内での全ての画素２０３０ ，２０３１のために再びそれらの間で補間するために用いることができる。或い は図１９に示したことと同様に、それらを、２方向の直線補間のために用いられ るべきｖＦｒａｃｔ，ｈＦｒａｃｔ値を計算するために用いることができる。後 者は図２０ｂに示されている。図２０ａの四角形２０２６を通る走査ライン２０ １２，２０１４は、ｖＦ ｒａｃｔ値のように表される左四角形交差点２０８０，２０８４と、ｖＦｒａｃ ｔ値のように表される右四角形交差点２０８２，２０８６とを各走査ライン毎に 計算することによって基準位置に関連付けされ、左及び右交差点に基づいて最終 画素位置２０９０，２０９２のためのｖＦｒａｃｔ及びｈＦｒａｃｔ値を計算す ることができる。これは２方向直線補間の基本として用いられる。 この方法のための疑似符号アルゴリズムは付録Ａとして与えられている。 １つの好ましい実施例において、移動モジュール４９２は、高周波数の内容で の映像の再サンプリングからエイリアスングを有する問題を避けるためにアンチ エイリアスングフィルタを形成している。 他の好ましい実施例においては、エンコーダは事前濾過したブラッシファクタ を備える。ホロンの拡大又は縮小がシーケンスの間に生じる場合に、エンコーダ は最も低い分解能のために事前濾過されたブラッシファクタと、必要な濾過され たブラッシ結果と既に伝送されたブラッシとの差分に対応する他のブラッシファ クタとを与え、そのためこの新たなブラッシファクタがフィルタリングをシュミ レートするために用いられる。 図２１ａはローパスフィルタ動作を示している。基準位置における映像は様々 な異なる分解能で再生されるべく、フレームを生成する。映像の領域にある垂直 な長さの映像 特徴を与えるならば、この領域の映像のための垂直拡大ファクタは移動した映像 内の同一の特徴の対応する長さと元の垂直長との間の割合として定義される。同 様の定義は水平拡大に適用できる。様々な異なる分解能での再生は拡大ファクタ の異なる値に対応する。結果の分解能が基準映像における本来の分解能の２倍よ り大きいように基準映像が拡大されたときには、再生された映像は最大の周波数 内容に対応して基準映像からの全ての有用な細部を有するべきである。拡大ファ クタのより小さな値のために基準映像はそれに対応してナイキスト周波数より低 い周波数に濾過されなければならない。よつて、通常、基準映像のための最大周 波数内容２１０２及び最小周波数内容２１０４があり、中間拡大ファクタのため に中間に理想カットオフ周波数２１０６がある。 圧縮比の点から、基準映像の多くのバージョンを再伝送しなくて良いことが通 常好ましい。これはアンチエイリアスングフィルタリングがデコーダにおいて行 われる必要があることを意味する。しかしながら、図２１ｂに示したように、近 似がある。最小２１５４及び最大２１５２の周波数内容の間の可変理想カットオ フ周波数を有する代わりに、ローパス部及びハイパス部に映像を分割しても良く 、使用ハイパス部２１５６の量を拡大ファクタに応じて変化させても良い。 こののデータの流れが図２２に示されている。アンチエ イリアスングプリプロセッサ２２００は入力スマイルスコア２２１０、スマイル ロード２２１０及び基準位置２２１４の映像として与えられる。この例のために １つのファクタスマイル及びブラッシだけが用いられるが、同様の原理が複数の ファクタスマイルを有する入力及びノッドを有する入力に適用できる。 ゼロのスマイルスコアは動きがないことに対応するが、大きな正又は負のスマ イルスコアは基準位置に対する大きな動きに対応する。後者はエイリアスングの 問題について通常、優位である。よって、最大絶対値２２２０を見つけるための モジュールはスマイルスコアの中を検索し、このスコアは、乗算ユニット２２２ ２においてスマイルロードから仮定した最悪の場合のスマイルフィールドを形成 するために用いられる。このスマイルフィールドは、映像の各領域について垂直 及び水平方向の両方向に拡大ファクタを見つけるためのモジュール（ＭｉｎＦａ ｃｔ）２２２４に供給される。それらの領域は画素の非重複又は重複ブロックで あることができる。拡大ファクタは、基準位置映像に作用するローパスフィルタ ２２３０用のフィルタ係数に拡大ファクタを変換するモジュール（Ｍｉｎ２Ｆｉ ｌｔ）２２２６に供給される。その変換は、より小さい拡大がローカット周波数 を有するローパスフィルタに起こるようにすべきである。その結果生じた低周波 数の映像は第１ブラッシファクタのブラッシロード２２６６としてデコーダ２２ ５０に出力される。対応するスコア２２６４は適切なモジュール２２３２によっ て１に固定される。低周波数の映像と元の基準位置映像との差分は減算モジュー ル２２３４にて形成され、第２ブラッシロード２２７０としてデコーダに出力さ れる。高周波数成分の必要な量はモジュール（ＳｍｉＳｃｏ２ＨｉｐａｓｓＳｃ ｏ）２２４０にて計算される。この計算は最悪の場合に近いスコアが０に近い値 になり、小さいスコアが１に近い値になるようにされるべきである。その結果は 第２のブラッシファクタのためのブラッシスコア２２６８としてデコーダに供給 される。元のスマイルスコア２２１０及びスマイルロード２２１２はそのまま２ ２６０，２２６２としてデコーダに供給される。 デコーダは、乗算モジュール２２８０，２２８２でブラッシスコアをブラッシ ロードと乗算し、加算器２２８４でその結果を合計し、スマイルスコア及びスマ イルロードの乗算モジュール２２８６で計算されたものに応じたこの映像を移動 モジュール２２８８で移動させることにおいて、前に述べた全てのデコーダと同 様であり、フレーム位置２２９０にその最終映像を生成する。 移動モジュール４９２とフレーム又はフィールドバッファ４９７又は４９８と の間での画素の移動には問題がある可能性がある。例えば、毎秒２５フレームで ７２０＊５７６でサンプリングされたＰＡＬについて、これは毎秒１０００００ ００画素より多くに対応する。フレームとランと の間で切り換えるときに損失される時間のため、移動モジュールがクロックパル ス毎に１つの画素出力を生成するとは限らないし、また重複するホロンのため１ 度より多くフレーム又はフィールドバッファの１つの位置に値が移動されても良 い。これは、移動モジュールからのピーク速度が毎秒約３０００００００画素で なければならないことを意味する。プローブを備えるシステムの場合にＲ，Ｇ及 びＢについて同一が事実である、各フィールド毎のＺフィールド値が読み取られ なければならず、またセットされても良いので、これは、１つの値がＲ，Ｇ，Ｂ 及びＺの各々毎に一度に移動されなければならないならば、１アクセス当たり約 １６ｎｓに対応する、Ｒ，Ｇ，Ｂ及びＺの各々について約６０００００００メモ リアクセスが毎秒行わなければならいないことを意味する。この速度では、高価 のメモリモジュールが全フレーム又はフィールドバッファのために用いられる必 要があるか、キャッシュ４９４が移動モジュール４９２とフレーム又はフィール ドバッファ４９７，４９８との間に導入されても良い。 移動モジュール４９２からの画素出力は、ランレングス符号化Ｓフィールドを 備える系のためにＳフィールドによって定義された順に及び他の系用の基準位置 からの走査ライン順に従って発生される。これは、出力が有効であるべきキャッ シュのために１つの重要な状態、すなわち空間位置を満たすことを意味する。フ レーム又はフィールドバッ ファのある位置で１つの画素が終わったならば、その次の画素出力は近くの位置 で終わることになる。 キャッシュの設計方法の詳細は、「コンピュータアーキテクチヤ、量的アプロ ーチ(Computer Architecture，a Quantitative Approach)」(J．Hennessy & D． Patterson，Morgan Kaufmann Publishers，1990)に見いだすことができる。 ロードメモリ４１４〜４１６にロードを設定する通常の方法は圧縮状態で伝送 し、静止画デコーダ４１０でそれに応じて伸張することである。他の方法は、Ｉ ＤＬＥモデル化方法を用いてロードを作成することである。帰還伝送ライン４１ ５を用いることにより、これを実行することができ、適切なスイッチ４９５，４ １２によりそれをロードメモリ４１４〜４１６にデコーダからの出力を戻すこと ができる。 メタデコーディングのための応用はデコーダがしばしば又は排他的に用いられ るとき、公知のタイプのシーケンス用である。１つの例は人間の顔がたぶん表示 されるビデオホン(videophone)デコーダである。そのような場合、デコーダ側に 標準ロードを設定し、記憶させることができる。これらの標準ロード４０３は例 えば、スマイルロードとして表現されるスピーチに対応する口の動きを示す動き 又は強度パターンを表すことができる。その標準ロードは先ずデコーダに読み取 られなければならず、入力映像の基準位 置座標系に合うように適合されなければならない。この適合は、デコーダ側で外 部記憶媒体から標準スマイルロードをロードメモリに読み取り、エンコーダによ って与えられて、顔で実際に占められた基準位置に標準ロードを移動するために 必要なノッドマトリックスをノッドメモリに読み取り、そして、１カラーチャン ネルに対してブラッシとしての標準スマイルロードの各々を用いてメタデコーデ ィングし、後で顔のための実スマイルファクタとして用いるその結果をロードメ モリに戻すことによって用いられ得る。 メタモデル化の特徴を用いる方法の他の例は、上記のＷＯ９５／０８２４０に 見いだすことができる。 移動モジュールからの出力は複雑なアドレス順に出て来る。最終の映像が最終 の出力媒体に移動されるとき大部分の場合、走査順に表れるはずである。それは 、移動モジュールからの出力と出力装置との間にバッファを設ける必要があるこ とを意味する。 時間を効果的に利用するために、ダブルバッファを用いることができる。この 場合、一方のバッファがデコーダに書き込まれる一方、他方のバッファがビデオ 回路によって読み取られる。一方のバッファがいっぱいになり、他方のバッファ がもはや見るために要求されない時毎に２つのバッファの役目が切り換えられる 。 １つの好ましい実施例はバッファが切り換えられる毎にバッファの内容を復号 化した映像で満たされるように空に リセットすることである。 他の好ましい実施例は映像を空にリセットしないが、普通に新たな映像が全て の古い映像を最後には消してしまうことである。それが行われないならば、対応 する以前のフレームの部分の維持は通常、良好なエラー除去技術である。 上記の２つの場合において、Ｚバッファは各フレーム間の遠くにリセットされ なければならない。 上記のダブルバッファ化をインタレースイングと組み合わせることができる。 奇数フィールドのためにループｖモジュール１４６４（図１４），１９５４（図 １９）が奇数値中だけでループし、偶数フィールドのためにループｖモジュール １４６４，１９５４は偶数値中だけでループする。 フレーム又はフィールドバッファ４９７，４９８はおそらくエンコーダからの 命令で、各フレーム又はフィールド間で空にするために通常リセットされる。し かしながら、リセットが望まれない場合がある。そのような場合は、重大な伝送 エラーが検出され、ひどいエラーを有する新たなフレーム又はフィールドを生成 する代わりに、現フレーム又はフィールドが維持されるべきときである。同様の 場合は、シーンが変わった後にモデルがデコーダにて十分に更新されないときが きた場合である。他にはデコーダがメタデコーディングで忙しい場合である。リ セットをスキップする決定はエンコーダ又はデコーダのいずれかで行って良い。 上記の説明のようにフレームがＩＤＬＥの原理に応じて復号された後、フレー ムを十分に復元することができないＩＤＬＥモデルによって起きた復元エラーが あっても良い。残差は最後の結果が見られる前に各フレーム毎に伝送及び加算さ れて良い。従来の映像圧縮技術を用いることによって残差の圧縮ゲインは高くな る。なぜならば、元の大部分の構成はＩＤＬＥモデルによって既に表されている からである。 これは図２３に示されている。入力の圧縮されたビットストリーム２３１０は 圧縮のＩＤＬＥモデル２３２４及びフレーム残差２３２２の両方を含む。ＤＥＭ ＵＸ２３２０は、ＩＤＬＥモデル２３３０が上記の復号化方法に応じてフレーム についてのｒ，ｇ，ｂ値に伸張され、従来の映像圧縮／伸張技術を用いて残差が デコーダ２３５０にてｒ，ｇ，ｂ値に伸張されるように２つを分割する。その２ つは加算機２３６０で加算され、その出力２３９０は見るため又はその他の使用 のための最終結果である。 その前に、ビット圧縮されたビットストリームが様々なモデルにどのように復 号されるのかについて説明する。代替の見方を与えるために、ここにシンポル的 に簡単な形で示した圧縮ビットストリームの構成のサンプルがある。 (1) タイム符号１−２３−４５−０６−Ｏｄｄ（奇数） (2) 空のモデルに初期化 (3) １つのホロンを全フレームに等しいフォーマットと加 える (4) 第１のホロンについて１つのブラッシファクタ，Ｒ，Ｇ及びＢを加える［ 圧縮したロード，Ｒ，Ｇ，Ｂ］ (5) スコアをセットする［圧縮したスコア］ (6) 復号化 (7) タイム符号１−２３−４５−０６−ｅｖｅｎ（偶数） (8) 復号化 (9) タイム符号１−２３−４５−０７−Ｏｄｄ (10) １つのホロンを加える［圧縮したＳフィールド］ (11) 第２のホロンについてノッドをセットする［圧縮したノッドマトリックス ］ (12) 第１のホロンについて１つのブラッシファクタ，Ｒを加える［圧縮したロ ード，Ｒ］ (13) 第２のホロンについて１つのブラッシファクタ，Ｒ，Ｇ，Ｂを加える［圧 縮したロード，Ｒ，Ｇ，Ｂ］ (14) 第１のホロンについて１つのスマイルファクタ，Ｖを加える［圧縮したＶ ロード］ (15) 復号化 ライン番号を参照してコメントは次の如くである。 (1) 続くデータはシーケンスの始めから１時間２３分４５秒の奇数フィールド を特定する。そのようなタイム符号は第１の検索のために用いられ、またいくつ かの他の目的のために用いられる。 (2) 全てのロードメモリを含むモデル、Ｓフィールドメモ リ及びスコアメモリは空にセットされる。 (3) ホロンが加えられたときそれらのＳフィールドが与えられるべきである。 この場合に、そのホロンのＳフィールドはフレームサイズと一致され、それは特 定の符号を与えられる。対応するＳフィールドはＳフィールドメモリにセットア ップされる。 (4) 第１のブラッシファクタは定義される。制御プロセッサは３つのロードメ モリを各カラーチャンネル毎に１つずつ割り当てる。ロードは伸張され、割り当 てられたロードメモリに取り込まれる。アドレスはＳフィールドメモリと同期さ れる。制御プロセッサは３つのロードメモリからの出力が合計ブラッシモジュー ルにルートされる（経路を定めて送られる）ようにルータセットアップメモリを セットする。 (5) スコアが、この場合に、ホロン１のブラッシについてだけ、伸張され、ス コアメモリに取り込まれる。 (6) ロードメモリ、スコアメモリ、Ｓフィールドメモリ及びルータセットアッ プメモリの現内容を用いて奇数フィールドが復号される。 (7) 続くデータは対応する偶数フィールドを特定する。 (8) 偶数フィールドが復号される。 (9) 続くデータは次のフレームの奇数フィールドを特定する。 (10) ホロンが加えられる。この場合に明白なＳフィールド が与えられる。これは復号され、Ｓフィールドメモリに記憶される。 (11) 第１のホロンは明白なノッドを有していなかった。すなわち、それはデフ ォルトで単一のマトリックスだけを有していた。第２のホロンは明白なノッドマ トリックスを有し、それは伸張され、ノッドメモリに記憶される。 (12) ホロン１の赤成分のための第２のブラッシファクタが加えられる。１つの ロードメモリが割り当てられ、そのロードが伸張されて取り込まれ、ルーティン グが更新した。 (13) 第２のホロンのためのブラッシが与えられ、通常の処理で処理される。 (14) 垂直スマイルファクタが導入され、ロードは通常の処理で処理される。 (15) フィールドが復号される。 データストリームがどのタイプの動作が初期化されるべきかを示す小さい命令 部分と、ロード等の圧縮表現を含む大きなデータ部分とを有すると理解できる。 本発明の記憶に基づく応用については、小さい命令部分が例えば、検索モードの ためにすぐに走査分析される一方、データ部分が要求あり次第読み取られるよう に、参照して、２つに分割することは利点である。 例えば、ビデオテープ又はコンパクトディスク等の記録媒体からの再生動作す るビデオ再生システムのため、また、配給センタから圧縮したビットストリーム を受け入れるビ デオオンデマンドシステムのため、再生速度の可変が大いに望まれる。再生速度 の可変期間は通常再生、リバース再生、ファースト（高速）フォワード、ファー ストバックワード、スロー（低速）フォワード、スローバックワード及び静止画 を含む。 スローフォワードは通常のフレームについての繰り返しによって実行すること ができる。例えば、半分の速度に対しては全てのフレームを２度表示することに なる。 他の方法は、スコアの補間によってスローフォワードを実行することである。 図２５を参照すると、そこにはビデオ再生装置が示されている。ユーザは速度選 択入力装置２５１０にて再生速度を選択する。これはリモート制御の機能の１つ である。記憶装置２５２０は圧縮ビットストリームを含む。このストリームは２ つの部分として読み取られる。２つの部分は、すなわち、制御プロセッサ２５３ ０に読み取られるスコアと、デコーダ２５４０に読み取られるロードである。通 常再生について、スコアはデコーダの部分であるスコアメモリに直接置かれる。 スローフォワード再生については、スコアはスコアメモリに置かれる前に補間さ れる。例えば、半分の速度に対しては毎秒デコーダ２５４０に供給される１組の スコアが記憶装置２５２０から読み出される一方、残りの値が制御プロセッサ２ ５３０において補間されて得られる。スローフォワードの実行のためのスコアの 補間の使用はなめらかな、段階的でない動き を生じるという利点がある。不利な点は、モデル化表現が物理的現実とうまく対 応しない場合に、期待しない結果を生じるということである。例えば、動きがエ ンコーダでそのように認識されず、その代わりブラシファクタを用いてモデル化 されたとき、そのスロー再生は動きに代わってフェードイン、フェードアウトす るものとなる。 バックワード再生ができても良い。通常のフォワード再生からの主な差は、圧 縮ビットストリームにおける指示リストに続いて、与えられた順にロード及びＳ フィールドを読み取ることに代えて、バックフォワード再生の間、正しいロード 及びＳフィールドを取り込むことができるようにどのホロン、どのファクタがい つ活性状態であるか判別するために、デコーダは圧縮ビットストリーム、特に命 令部分を分析しなければならない。 スローフォワード再生及びバックワード再生の原理についてはスローバックワ ード再生を行うために組み合わせることができる。 ファーストフォワードについては、良好な１組のスコアを通常見つけることが ないという問題がある。むしろ、計算上の障害は通常、圧縮ビットストリームの 読み取り、対応する静止画復号化及びロードメモリの更新にある。これを補償す るためには、全てのロードを入力する時間がないとき重要なものだけ読み取られ るようにロードに優先順位を割り当てることである。これの特別な場合は、１つ だけ のブラッシロードが各場面の移動を許されているときである。この場合、シーケ ンスを通してのファーストフォワードは各場面について１つの静止画を生成し、 それはビデオレコーダ等の通常の高速の動きよりも視覚的にもっといい感じであ る。 ファーストフォワード再生及びバックワード再生の原理についてはファースト バックワード再生を行うために組み合わせることができる。 静止画については様々な方法、例えば、圧縮ビットストリームからの入力を停 止することによって作成することができる。 デコーダについては、シュミレーション、ゲーム又はユーザ入力に応じて映像 を変化させることを要求するその他の応用のために用いても良い。ゲームコント ローラ２４００を示した図２４において、ユーザ入力を受け入れるモジュール２ ４１０はジョイステックで例示されているが、キーパッド、フルキーボード、ゲ ームパドル等の他の入力装置でも良い。ゲーム自身はＣＤ−ＲＯＭ２４２０とし て例示した記憶手段に記憶されている。ゲームは、ユーザ入力がどのように補間 されるべきか、それが映像にどのように影響を与えるかの決まり（ルール）と、 実際の映像及びそれらの映像への可能な変化を定義するロードとから部分的にな る。制御プロセッサ２４３０は補間を行い、それによってスコアを生ずる。ロー ド及びスコアはデコーダ２４４ ０に供給され、そこで、ディスプレイやモニタ、例えば、テレビジョン受像機（ ＴＶセット）に見ることができるフレームを生成する。 シュミレーションやゲーム設計について、多くの仕事は動きを制御する決まり を作成することにある。この仕事の大部分はノッドを制御することにある。この 仕事を簡単にするためにはノッドの構成をより容易に物理的解釈を可能にする方 法で動きを表すことにすると良い。例えば、悪い場合と区別して軸の周りにもの を回転させる間に、各フレーム毎に対応するホロンのためのノッドマトリックス の大部分の係数を代える要求をし、軸は一度特定されたならばそれは良いことに なり、回転の角度だけが各フレーム毎に特定されることになる。 これをする方法はノッドマトリックスがパラメータ化され、また連続的にされ ることである。これは、上記の「対話型コンピュータグラフィックスの原理」に 説明されている。パラメータ化は、１つのパラメータに、解釈、スケーリング、 変形又は回転の程度を制御させることに対応し、その連続は、軸又は点の周りを 表すため、そのような解釈、スケーリング、変形又は回転を可能にすること、ま た様々なそのような効果の組み合わせを可能にすることに対応する。 これの更なる拡張はいくつかのホロンについて座標化した作用を可能にするこ とである。胴体、足、腕、及び頭に っいて分離のホロンとしてモデル化された人間の体が歩くために作られるべきと する。そうすると、体全部の速度又は位置を１つのパラメータに制御させること が利点になる一方、その他のパラメータが体の部分に関する動きを制御すること ができる。 上記したことについてはノッドマトリックスの連続のためのツリー構造を可能 にすることによって達成することができる。４つのテーブルを用いてこれをモデ ル化することができる。第１テーブルは入力が有効なリスト及び番号を付ける。 一般的な入力はジョイステック又はキーボードの状態、クロック又はカウンタか らの時間を示す値、或いは、他のゲーム動作によって生じた状態インジケータで ある。第２テーブルはパラメータ化されたノッドマトリックスが用いられるべき リスト及び番号を付け、バラメータがどのように適用されるべきか示す。第３テ ーブルは３成分のノッドマトリックス番号を与え、マトリックス乗算を特定する 。第３番の成分にマトリックス乗算の結果が置かれ、始めの２つの数はいっしょ に乗算されるべきマトリックスを示し、各々は第２テーブルを参照する番号又は 第３テーブル自身に定義される前のマトリックス乗算の番号のいずれかである。 第４テーブルは、第３テーブルに定義された成分内の３つのうちの１つから番号 を与えることによって用いられるべきノッドマトリックスの番号を各ホロンにつ いて与える。その４つのテーブルについては共にノッドマト リックスを生成するためのプログラムを特定するように見なすことができる。各 フレームを復号する前に更新された入力を用いてこのプログラムをデコーダによ って実行することができる。上記の計算は、汎用マイクロプロセッサ、例えば、 インテル３８６ＳＸからなる制御プロセッサで容易に実行できる少しの計算上負 荷を含んでいる。 スマイル及びスコアについては上記の構成において入力に従って定義しても良 い。 本発明はその好ましい実施例を参照しつつ特に示し説明したが、形状及び細部 の様々な変更が本発明の精神及び範囲から離れることなくされても良いことはこ の分野の当業者に理解され得る。 付録Ａ 動きフィールドに応じて映像を移動させる方法。 方法： 三角形と交差する走査ラインを用いるプログレッシブ補間 入力： 各々が次を含むｎｖ＊ｎｈ ＲｅｆＥｌからなる基準位置映像 ｒ，ｇ，ｂ：赤、緑及び青強度 ｖ，ｈ：新たな位置 ｚ：深さ位置 Ｐｒｏｂ：不透明度 出力： 各々が次を含む画素を有するフレームバッファ ｒ，ｇ，ｂ：補間された赤、緑及び青強度 アルゴリズム： 基準映像に隣接する４つの画素の各グループ毎： ２つの３画素グループの各々毎： 昇順に移動したｖ座標に応じて画素をソートする。ソートした画素をサフィ クス（接尾部）Up,Middle,Lowと各々示す。 第２ポイントが第１及び第３ポイントの間のバーテェ クスの左又は右のいずれであるかを見つけ出す： 第１及び第３画素(first Pixel,third Pixel)のｖ及びｈ座標と与えられた 第２画素(second Pixel)のｖ座標とに基づいて、第１及び第２画素の間のバーテ ェクスと第２画素を通る水平ラインとの間を横切りのｈ座標(hCross)を計算する ： hCross=hUp+(vMiddle-vUp)/(vLow-vMiddle)*(hLow-hUp) SecondLeft=(hCross<hMiddle) フレーム位置にて走査ライン中のルーピングの準備： vUP=ceil(vUp) vLow=floor(vLow) vUPからvLowへの各vCurrent毎：（例えば、各走査ライン毎：） vCurrentでの第１及び第２画素間のバーテェクスのｈ，ｒ，ｂ，ｇ及びＰｒ ｏｂを補間する。その結果をサフィクスLeftScanと示す。 現走査ラインの限界を計算するとき現バーテェクスが用いられるか確かめる ： ifvCurr<=vMiddle EndPixel=firstPixel elae EndPixel=third Pixel 第２画素とEndPixelとの間のバーテェクスのｈ，ｒ，ｇ，ｂ及びＰｒｏｂを 補間する。その結果をサフィクスRightScanと示す。 ifSecondLeft: Swap LeftScan and RightScan For each hCurrent from ceil(hLeftScan) to Floor(hRightScan)（ceil(hL eftScan)からfloor(hRightScan)までの各hCurrent毎）： RightScan及びLeftScanでｈ，ｒ，ｇ，ｂ，ｚ及びＰｒｏｂを補間する。そ の結果をサフィクスCurrentと示す。 vCurrnt,hCurrentでｒ，ｇ，ｂ及びｚを読み取る。その結果をサフィクスOl dと示す。 ifzCurrent>zOld rNew=rOld+(rCurrent-rOld)*ProbCurrnt gNew=gOld+(gCurrent-gOld)*ProbCurrnt bNew=bOld+(bCurrent-bOld)*ProbCurrnt vCurrnt,hCurrentで映像の元の位置にrNew,gNew及びbNewを配置する。 付録Ｂ 動きフィールドに応じて映像を移動させる方法。 方法： ２方向直線補間により四角形をバックマッピング 入力： 各々が次を含むｎｖ＊ｎｈＲｅｆＥｌからなる基準位置映像 ｒ，ｇ，ｂ：赤、緑及び青強度 ｖ，ｈ：新たな位置 ｚ：深さ位置 Ｐｒｏｂ：不透明度 出力： 各々が次を含む画素を有するフレームバッファ ｒ，ｇ，ｂ：補間された赤、 緑及び青強度 使用サブルーチン： NextClockwise: 時計回り(2070,2072,2076,2074,2070)に四角形の次のＲｅｆＥｌを見つける 。 NextAntiClockwise: 反時計回り(2070,2074,2076,2072,2070)に四角形の次のＲｅｆＥｌを見つけ る。 アルゴリズム： Initialize ZBuffer to zeros（ZBufferをゼロに初期化する） For each domain d in［r,g,b］（[ｒ，ｇ，ｂ]の各範囲ｄ毎） Initialize FrameBuffer to zeros（FrameBuffer.dをゼロに初期化する） 基準位置映像にて４つの隣接ＲｅｆＥｌの各四角形毎： Augment upper left RefEl with vFract=0,hFract=0（上方左のＲｅｆＥｌ をvFract=0,hFract=0で増大させる） Augment upper rirht RefEl with vFract=0,hFract=1（上方右のＲｅｆＥｌ をvFract=0,hFract=1で増大させる） Augment lower Ieft RefE１with vFract=1,hFract=0（下方左のＲｅｆＥｌ をvFract=1,hFract=0で増大させる） Augment lower rirht RefEl with vFract=1,hFract=1（下方右のＲｅｆＥｌ をvFract=1,hFract=1で増大させる） Find Upper as the RefEl with smallest v coordinate（最小のｖ座標でそ のＲｅｆＥｌとしてＵｐｐｅｒを見つける） Find Loweras the RefEl with largest v coordinate （最大のｖ座標でそ のＲｅｆＥｌとしてＬｏｗｅｒを見つける） 走査ラインとの交差点の候補として端(edge)を初期化する。 UpperClockwise=Upper LowClockWise=NextClockWise(UpperClockwise) UpperAntiClockwise=Upper LowerAntiClockwise=Lower 四角形を通る全ての走査ライン中を走査する。 vScan=ceil(Upper.v)to floor(Lower.v)： 正確なエッジが交差点補間のために用いられることを確かめる。 WhileL owerCloxkwise.v<vScan UpperClockwise=LowerClockwise LowerClockwise=NextClockwise(LowerClockwise) While LowerAntiCloxkwise.v<vScan UpperAntiClockwise=LowerAntiClockwise LowerAntiClockwise=NextAntiClockwise(LowerAntiClockwise) ２つのエッジ、AntiClockwiseエッジ及びClockwiseエッジのための１組の 値に沿ってh,vFract及びhFractを補間する。 For each domain d in［h,vFract,hFract］: AntiClockwise.d=UpperAntiClockwise.d+ (LowerAntiClockwise.d-UpperAntiClockwise.d)* (vScan-UpperAntiClockwise.v)/ (LowerAntiClockwise.v-UpperAntiClockwise.v) ClockWise.d=UpperClockwise.d+ (LowerClockwise.d-Upperclockwise.d)* (vScan-UpperClockwise.v)/ (LowerClockwise.v-UpperClockwise.v) 画素が左から右へ走査されることを確かめる。 if(AntiCloxkwise.h〈=clockWise.h) Left=AntiClockwise Right=ClockWise elae LeftC=lockWise Right=AntiClockwise 走査ラインの全画素位置を横切る。 for hScan=ceil(Left.h) to floor(Right.h) エッジ値間の基準位置座標vFract,hFractを補間する。 vFract=Left.vFract+ (hScan-Left.h)*(Right.vFract-Left.vFract)/(Right.h-Left.h) hFract=Left.hFract+ (hScan-Left h)*(Right.hFract-Left.hFract)/(Right.h-Left.h) 重みとしてvFract,hFractを用いて現四角形における４つのＲｅｆＥｌの 間の２直線補間を行なう。 for each domain d in[r,g,b,Prob,Z]: Up=UpLeft d+(UpRight-UpLeft)*hFract Lo=LoLeft.d+(LoRight-LoLeft)*hFract New.d=Up+(Up-Lo)*vFract 値を配置する。 ifNew.Z>[vScan,hScan}: For each domain d in[r,g,b]： FrameBuffer.d[vScan,hScan]=FrameBuffer.d[vScan,hScan]+ New.Prob*(New.d-d[vScan,hScan]) ZBuffe[vScan,hScan]=New.Z

【手続補正書】特許法第１８４条の８ 【提出日】１９９６年６月２５日 【補正内容】 特許請求の範囲 １．ビデオ列を復号する装置であって、 伝送、記憶又は分析のために適切なデータモデルに応じて圧縮されたビデオ列を 、見るために適切な伸張したフレームに復号する装置であって、前記データモデ ルは、強度ロードと称す複数の空間強度変化パターンと、アドレスロードと称す 複数の画素アドレス変化パターンと、各フレーム毎に各ロードがどれくらい存在 するかを特定するスコアと称す複数の値と、からなり、 前記装置は、 (a) 複数の強度ロードと複数のアドレスロードを受け入れ(320;406,408)、記 憶する(326;414,416)手段と、 (b) 複数のスコアを受け入れて記憶する手段(328;442)と、 (c) 各強度ロードと対応するスコアの出力を中間映像に合算する手段(340,354 ;446,476)と、 (d) 各アドレスロードと対応するスコアの出力を動きフィールドに合算する手 段(340,352;446,474)と、 (e) その動きフィールドに応じた中間映像の内容を移動して(360;492)、最終 フレーム(370;497,498)を生成する手段と、からなり、 前記手段(a)〜(e)は、並列同期データ経路からなるパイプラインが形成され、 そのパイプラインを介して中間映像及び動きフィールドが連続的に伝送されるよ うに接続されていることを特徴とする装置。 ２．各強度ロードの一部と対応する各アドレスの一部とを共に群化してホロンと 称す群とする手段(322;420)を備え、 前記複数のスコアを受け入れて記憶する手段(328;442)は、各ホロン毎に１組 のスコアを有し、 前記合計する手段(c)及び(d)の各々は出力を合計するとき各ホロンのスコアを 使用することを特徴とする特許請求の範囲第１項記載の装置。 ３．パイプライン内のデータ経路を変更する手段(463)を備えることを特徴する 特許請求の範囲第１項又は第２項記載の装置。 ４．データ経路を変更する手段(463)はどのホロンが伝送されているかに従うこ とを特徴とする特許請求の範囲第２項記載の装置。 ５．強度及びアドレスロードを記憶する手段(326;414,416)は、より低空間分解 能を表すように適合され、より低空間分解能からより高空間分解能に変換する手 段(430)を更に備えることを特徴する特許請求の範囲第１項〜第４項のうちのい ずれか１に記載の装置。 ６．強度及びアドレスロードを記憶する手段(326;414,416)は、圧縮した状態で ロードを表すように適合され、そのロードを伸張する手段を更に備えることを特 徴する特許請求の範囲第１項〜第４項のうちのいずれか１に記載の装置。 ７．記憶する手段(414,416)の後で置き換える手段(360;492)の前にパイプライン に接続されてパラメータ化されたテ キスチャを発生する複数の手段(455)を備えることを特徴とする特許請求の範囲 第１項〜第６項のうちのいずれか１に記載の装置。 ８．各フレーム毎に動きフィールドにアフィン変換を適用する手段(486)を備え たことを特徴とする特許請求の範囲第１項〜第７項のうちのいずれか１に記載の 装置。 ９．前記手段(a)に前記手段(e)の出力の少なくとも一部を戻す手段(415)を備え たことを特徴とする特許請求の範囲第１項〜第８項のうちのいずれか１に記載の 装置。 １０．対話型ユーザ入力に従って部分的に映像を生成する装置であって、 ユーザ入力を与える手段(2410)と、 記録媒体からゲームルール及びロードを読み出す手段（2420）と、 前記ゲームルールに応じた前記ユーザ入力を解釈してそれによってスコアを生 成する手段(2430)と、 前記スコア及びロードを復号してモニタ(2450)の表示用として適切なフレーム にする手段(2440)と、を備え、 復号する前記手段(2440)は特許請求の範囲第１項〜第９項に応じた装置の１で あることを特徴とする装置。 １１．本来の速度以外の他の速度で符号化ビデオ列を再生する装置であって、 符号化ビデオ列を記憶する手段(2520)と、 ユーザからの速度選択を受け入れる手段(2510)と、 前記符号化ビデオ列からスコアを読み取り、前記他の速度に応じて選択された 時点でスコアを補間する手段(2530)と、 映像を復号する手段(2540)と、 その復号化の映像を表示する手段(2550)と、からなり、 前記映像を復号する手段(2540)は特許請求の範囲第１項〜第９項のうちの１に 応じた装置であることを特徴とする装置。 １２．本来の速度以外の他の速度で符号化ビデオ列を再生する装置であって、 符号化ビデオ列を記憶する手段と、 ユーザからの速度選択を受け入れる手段と、 符号化ビデオ列の部分と、その受け入れた速度選択に従った選択と、その符号 化ビデオ列の部分として符号化された優先順位とを選択する手段と、 映像を復号する手段と、 その復号化の映像を表示する手段と、からなり、 前記映像を復号する手段は特許請求の範囲第１項〜第９項のうちの１に応じた 装置であることを特徴とする装置。 １３．強度ロードと称す複数の空間強度変化パターンと、アドレスロードと称す 複数の画素アドレス変化パターンと、各フレーム毎に各ロードがどれくらい存在 するかを特定するスコアと称す複数の値とからなるデータモデルを含むデータキ ャリア。 １４．特許請求の範囲第１項〜第９項のうちの１に応じた装置によってそこに記 録され、また復号されるべく適合された特許請求の範囲第１３項のデータモデル を含むデータキャリア。 １５．強度ロードと称す複数の空間強度変化パターンと、アドレスロードと称す 複数の画素アドレス変化パターンと、各フレーム毎に各ロードがどれくらい存在 するかを特定するスコアと称す複数の値とからなるデータモデルを受け入れる手 段。 １６．特許請求の範囲第１項〜第９項のうちの１に応じた装置によって復号され るべく適合された特許請求の範囲第１５項のデータモデルを受け入れる手段。 １７．第１の２次元座標系において整数位置に与えられる画素からなるソース映 像を第２の２次元座標系において整数位置に与えられる画素からなる目標映像に 変換する方法であって、 各画素は各カラーチャンネル毎に１つの強度値からなり、 その変換はソース映像内の各画素毎に空間マッピングベクトルによって定義さ れ、 ソース映像内の各画素毎に、 ソース映像内それらの位置と空間マッピングベクトルとに基づいた目標映像内 の対応する位置を計算するステップと、 ３つの隣接画素のグループ内のソース映像の画素を構成 するステップと、 各グループ毎に、 １次元と称す目標座標系の２つの次元の最初のそれらの値に応じた画素をソー トして最初、中間、及び最後の画素を生成し、それによって最初及び最後の画素 の間の最長のバーテェクスと、最初及び中間の画素の間の第１の短いバーテェク スと、中間及び最後の画差の間の第２の短いバーテェクスとを識別することがで きるにするステップと、 最初及び最後の画素のための１次元の値によって定義された間隔の内側の１次 元の各整数値毎に、 １次元の整数値によって定義された点での最長のバーテェクスに沿って第１中 間画素と、２次元の第１中間値とを補間するステップと、 １次元の整数値がバーテェクスの端点についての１次元の値によって定義され た間隔の内側にあるように第１又は第２の短いバーテェクスのいずれかを選択す るステップと、 １次元の整数値によって定義された点で選択された短いバーテェクスに沿って 第２中間画素と、２次元の第２中間値とを補間するステップと、 ２次元の第１及び第２中間値によって定義された間隔の内側の２次元の各整数 値毎に、 ２次元の整数値によって定義された点にて第１中間画素及び第２中間画素の間 のラインに沿って最終の目標映像画素を補間するステップと、を備えることを特 徴とする方法。 １８．第１の２次元座標系において整数位置に与えられる画素からなるソース映 像を第２の２次元座標系において整数位置に与えられる画素からなる目標映像に 変換する方法であって、 各画素は各カラーチャンネル毎に１つの強度値からなり、 その変換はソース映像内の各画素毎に空間マッピングベクトルによって定義さ れ、 各画素毎に、 ソース映像内それらの位置と空間マッピングベクトルとに基づいた目標映像内 の対応する位置を計算するステップと、 ３つの隣接画素のグループ内のソース映像の画素を構成するステップと、 各グループ毎に、 １次元と称す目標座標系の２つの次元の最初のそれらの値に応じた画素をソー トして最初、中間、及び最後の画素を生成し、それによって最初及び最後の画素 の間の最長のバーテェクスと、最初及び中間の画素の間の第１の短いバーテェク スと、中間及び最後の画差の間の第２の短いバーテェクスとを識別することがで きるにするステップと、 最初及び最後の画素のための１次元の値によって定義された間隔の内側の１次 元の各整数値毎に、 １次元の整数値について最長のバーテェクスに沿って関連位置を計算するステ ップと、 第２座標系において対応する位置を補間するために最長のバーテェクスに沿っ て関連位置を用い、それによって第１中間目標位置を見つけ出すステップと、 第１座標系において対応する位置へ対応付けるために最長のバーテェクスに沿 って関連位置を用い、それによって第１中間ソース位置を見つけ出すステップと 、 １次元の整数値がバーテェクスの端点についての１次元の値によって定義され た間隔の内側にあるように第１又は第２の短いバーテェクスのいずれかを選択す るステップと、 １次元の整数値について、選択された短いバーテェクスに沿って関連位置を計 算するステップと、 第２座標系において対応する位置を補間するために、選択された短いバーテェ クスに沿って関連位置を用い、それによって第２中間目標位置を見つけ出すステ ップと、 第１座標系において対応する位置に対応付けるために、選択された短いバーテ ェクスに沿って関連位置を用い、それによって第２中間ソース位置を見つけ出す ステップと、 第１及び第２中間目標位置の２次座標によって定義された間隔の内側の２次元 の各整数値毎に、 ２次元の整数値について第１中間目標位置から第２中間目標位置へのラインに 沿って関連位置を計算するステップと、 第１座標系の対応する位置に対応付けるためにラインに沿って関連位置を計算 して最終ソース位置を見つけ出すス テップと、 重み付けを計算するために最終ソース位置を用いてソース映像における画素の 重み付け平均によって最終目標映像画素を計算するステップと、とからなること を特徴とする方法。 １９．４つの画素のグループが３つの画素のクループの代わりに用いられること を特徴とする特許請求の範囲第１７項又は第１８項記載の方法。 ２０．偶数又は奇数走査ラインのいずれかからなり、インターレースされたフレ ームとして与えられるべき映像の１フィールドを発生する方法であって、 特許請求の範囲第１７項〜第１９に応じた方法を備え、 目標映像の１次元又は２次元のいずれかが目標映像の走査ラインに対応し、偶 数フィールドについてはこの次元の偶数整数値だけか考慮され、奇数フィールド については奇数整数値だけが考慮されることを特徴する方法。 ２１．第１の２次元座標系の整数位置に与えられる画素からなるソース映像を、 第２の２次元座標系の整数位置に与えられる画素からなる目標映像に変換する装 置であって、 各画素は各カラーチャンネル毎に１サンプルからなり、 変換はソース映像の画素の各々毎に置き換えベクトルによって与えられており 、 前記装置は、 ソース映像の各画素毎にソース映像のその位置及び対応 する置き換えベクトルに基づいて目標映像の対応する位置を計算する手段(352) と、 ソース映像の画素を３つの隣接画素のグループに群分けする手段(1412,1414,1 416,1418,1420)と、 １つの次元に沿ってそれらの位置に応じたグループの画素をソートする手段(1 440)と、 与えられた間隔の内側に第１の次元のための整数値を発生する手段(1460,1462 ,1464)と、 値が与えられた間隔内にあるか否かを判別する手段(1466)と、 バーテェクスを選択する手段(1470)と、 既知の値の間で画素を補間する手段(1474)と、 既知の値の間で画素を補間する手段(1472)と、 与えられた間隔の内側に第２の次元のための整数値を発生する手段(1480,1482 ,1484)と、 画素値を補間する手段(1486)と、 アドレスを発生する手段(1490)と、 その発生されたアドレスに画素値を配置する手段(1492)と、からなることを特 徴とする装置。 ２２．特許請求の範囲第１８項〜第２０項のうちの１の方法に応じて用いられる ように適合された特許請求の範囲第２１の装置。 ２３．複数の最終映像を生成するために第１映像を再サンプリングするときエイ リアスングの影響を減少させる方法 であって、各最終フレーム毎の前記再サンプリングは置き換えフィールドに応じ て行なわれ、 前記置き換えフィールドは基本置き換えフィールドの基準化バージョンであり 、 そのスケールファクタは置き換えスコアと称され、 前記第１映像の複数の領域について各前記領域でフィルタ係数が前記領域の周 波数内容及び前記置き換えフィールドの対応する領域の特性に応じて適合される ように前記第１映像をローパス濾過し、それによりローパス濾過化映像を生成す るステップと、 前記第１映像と前記ローパス濾過化映像との間の差分を形成し、それにより差 分映像を生成するステップと、 各最終映像毎に前記ローパス濾過化映像と、置き換えスコアの増加機能である ハイパススコアと称すファクタで基準化された差分映像との合計を再サンプリン グの基礎にするステップと、からなることを特徴とする方法。 ２４．再サンプリングは特許請求の範囲第１項〜第９項のうちの１の装置に応じ た装置によって行なわれることを特徴とする特許請求の範囲第２３項記載の方法 。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)， ＡＭ，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，Ｃ Ｈ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ ，ＧＥ，ＨＵ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ， ＫＺ，ＬＫ，ＬＲ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，Ｍ Ｎ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＴ， ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ (72)発明者 レベルク ヤン オットー ドイツ連邦共和国 ミュンヘン デー− 81925 ツェー４／８ フィルツェ−マイ ヤァ−ヴェック 55 【要約の続き】 されるように接続されている。

Claims (1)

1. 【特許請求の範囲】 １．ビデオ列を復号する装置であって、 伝送又は記憶のために適切な既知のデータモデル化方法に応じて圧縮されたビデ オ列を、見るために適切な伸張したフレームに復号する装置であって、前記符号 化されたデータモデルは、強度ロードと称す複数の空間強度変化パターンと、ア ドレスロードと称す複数の空間アドレス変化パターンと、各フレーム毎に各ロー ドがどれくらい存在するかを特定するスコアと称す複数の値と、からなり、 前記装置は、 (a) 複数の強度ロードと複数のアドレスロードを受け入れ(320;406,408)、記 憶する(326;414,416)手段と、 (b) 複数のスコアを受け入れて記憶する手段(328;442)と、 (c) 各強度変化パターンと対応するスコアの出力を中間映像に合算する手段(3 40,354;446,476)と、 (d) 各アドレス変化パターンと対応するスコアの出力を動きフィールドに合算 する手段(340,352;446,474)と、 (e) その動きフィールドに応じた中間映像の内容を移動して(360)、最終フレ ーム(370)を生成する手段と、からなり、 前記手段(a)〜(e)は、並列同期データ経路からなるパイプラインが形成され、 そのパイプラインを介して中間映像及び動きフィールドが連続的に伝送されるよ うに接続されていることを特徴とする装置。 ２．各強度ロードの一部と対応する各アドレスの一部とを共に群化してホロンと 称す群とする手段(322;420)を備え、 前記複数のスコアを受け入れて記憶する手段(328;442)は、各ホロン毎に１組 のスコアを有し、 前記合計する手段(c)及び(d)の各々は出力を合計するとき各ホロンのスコアを 使用することを特徴とする特許請求の範囲第１項記載の装置。 ３．強度及びアドレスロードを記憶する手段(326;414,416)は、より低空間分解 能を表すように適合され、より低空間分解能からより高空間分解能に変換する手 段(430)を更に備えることを特徴する特許請求の範囲第１項又は第２項記載の装 置。 ４．強度及びアドレスロードを記憶する手段(326;414,416)は、圧縮した状態で ロードを表すように適合され、そのロードを伸張する手段を更に備えることを特 徴する特許請求の範囲第１項又は第２項記載の装置。 ５．パラメータ化されたテキスチャを発生する複数の手段を備えることを特徴す る特許請求の範囲第１項〜第４項のうちのいずれか１に記載の装置。 ６．パイプライン内のデータ経路を変更する手段(463)を備えることを特徴する 特許請求の範囲第１項〜第５項のうちのいずれか１に記載の装置。 ７．データ経路を変更する手段(463)はどのホロンが伝送されているかに従うこ とを特徴とする特許請求の範囲第６項 記載の装置。 ８．各フレーム毎に動きフィールドにアフィン変換を適用する手段(486)を備え たことを特徴とする特許請求の範囲第１項〜第７項のうちのいずれか１に記載の 装置。 ９．前記手段(a)に前記手段(e)の出力の少なくとも一部を戻す手段(415)を備え たことを特徴とする特許請求の範囲第１項〜第８項のうちのいずれか１に記載の 装置。 １０．対話型ユーザ入力に従って部分的に映像を生成する装置であって、 ユーザ入力を与える手段(2410)と、 記録媒体からゲームルール及びロードを読み出す手段(2420)と、 前記ゲームルールに応じた前記ユーザ入力を解釈してそれによってスコアを生 成する手段(2430)と、 前記スコア及びロードを復号してモニタ(2450)の表示用として適切なフレーム にする手段(2440)と、を備え、 復号する前記手段(2440)は特許請求の範囲第１項〜第９項に応じた装置の１で あることを特徴とする装置。 １１．本来の速度以外の他の速度で符号化ビデオ列を再生する装置であって、 符号化ビデオ列を記憶する手段(2520)と、 ユーザからの速度選択を受け入れる手段(2510)と、 前記符号化ビデオ列からスコアを読み取り、前記他の速度に応じて選択された 時点でスコアを補間する手段(2530) と、 映像を復号する手段(2540)と、 その復号化の映像を表示する手段(2550)と、からなり、 前記映像を復号する手段(2540)は特許請求の範囲第１項〜第９項のうちの１に 応じた装置であることを特徴とする装置。 １２．本来の速度以外の他の速度で符号化ビデオ列を再生する装置であって、 符号化ビデオ列を記憶する手段と、 ユーザからの速度選択を受け入れる手段と、 符号化ビデオ列の部分と、その受け入れた速度選択に従った選択と、その符号 化ビデオ列の部分として符号化された優先順位とを選択する手段と、 映像を復号する手段と、 その復号化の映像を表示する手段と、からなり、 前記映像を復号する手段は特許請求の範囲第１項〜第９項のうちの１に応じた 装置であることを特徴とする装置。 １３．強度ロードと称す複数の空間強度変化パターンと、アドレスロードと称す 複数の空間アドレス変化パターンと、各フレーム毎に各ロードがどれくらい存在 するかを特定するスコアと称す複数の値とからなるデータモデルを含むデータキ ャリア。 １４．特許請求の範囲第１項〜第９項のうちの１に応じた装置によってそこに記 録され、また復号されるべく適合さ れた特許請求の範囲第１３項のデータモデルを含むデータキャリア。 １５．強度ロードと称す複数の空間強度変化パターンと、アドレスロードと称す 複数の空間アドレス変化パターンと、各フレーム毎に各ロードがどれくらい存在 するかを特定するスコアと称す複数の値とからなるデータモデルを受け入れる手 段。 １６．特許請求の範囲第１項〜第９項のうちの１に応じた装置によって復号され るべく適合された特許請求の範囲第１５項のデータモデルを受け入れる手段。 １７．第１の２次元座標系において整数位置に与えられる画素からなるソース映 像を第２の２次元座標系において整数位置に与えられる画素からなる目標映像に 変換する方法であって、 各画素は各カラーチャンネル毎に１つの強度値からなり、 その変換はソース映像内の各画素毎に空間マッピングベクトルによって定義さ れ、 ソース映像内の各画素毎に、 ソース映像内それらの位置と空間マッピングベクトルとに基づいた目標映像内 の対応する位置を計算するステップと、 ３つの隣接画素のグループ内のソース映像の画素を構成するステップと、 各グループ毎に、 １次元と称す目標座標系の２つの次元の最初のそれらの値に応じた画素をソー トして最初、中間、及び最後の画素を生成し、それによって最初及び最後の画素 の間の最長のバーテェクスと、最初及び中間の画素の間の第１の短いバーテェク スと、中間及び最後の画差の間の第２の短いバーテェクスとを識別することがで きるにするステップと、 最初及び最後の画素のための１次元の値によって定義された間隔の内側の１次 元の各整数値毎に、 １次元の整数値によって定義された点での最長のバーテェクスに沿って第１中 間画素と、２次元の第１中間値とを補間するステップと、 １次元の整数値がバーテェクスの端点についての１次元の値によって定義され た間隔の内側にあるように第１又は第２の短いバーテェクスのいずれかを選択す るステップと、 １次元の整数値によって定義された点で選択された短いバーテェクスに沿って 第２中間画素と、２次元の第２中間値とを補間するステップと、 ２次元の第１及び第２中間値によって定義された間隔の内側の２次元の各整数 値毎に、 ２次元の整数値によって定義された点にて第１中間画素及び第２中間画素の間 のラインに沿って最終の目標映像画素を補間するステップと、を備えることを特 徴とする方法。 １８．第１の２次元座標系において整数位置に与えられる画素からなるソース映 像を第２の２次元座標系において整 数位置に与えられる画素からなる目標映像に変換する方法であって、 各画素は各カラーチャンネル毎に１つの強度値からなり、 その変換はソース映像内の各画素毎に空間マッピングベクトルによって定義さ れ、 各画素毎に、 ソース映像内それらの位置と空間マッピングベクトルとに基づいた目標映像内 の対応する位置を計算するステップと、 ３つの隣接画素のグループ内のソース映像の画素を構成するステップと、 各グループ毎に、 １次元と称す目標座標系の２つの次元の最初のそれらの値に応じた画素をソー トして最初、中間、及び最後の画素を生成し、それによって最初及び最後の画素 の間の最長のバーテェクスと、最初及び中間の画素の間の第１の短いバーテェク スと、中間及び最後の画差の間の第２の短いバーテェクスとを識別することがで きるにするステップと、 最初及び最後の画素のための１次元の値によって定義された間隔の内側の１次 元の各整数値毎に、 １次元の整数値について最長のバーテェクスに沿って関連位置を計算するステ ップと、 第２座標系において対応する位置を補間するために最長のバーテェクスに沿っ て関連位置を用い、それによって第 １中間目標位置を見つけ出すステップと、 第１座標系において対応する位置へ対応付けるために最長のバーテェクスに沿 って関連位置を用い、それによって第１中間ソース位置を見つけ出すステップと 、 １次元の整数値がバーテェクスの端点についての１次元の値によって定義され た間隔の内側にあるように第１又は第２の短いバーテェクスのいずれかを選択す るステップと、 １次元の整数値について、選択された短いバーテェクスに沿って関連位置を計 算するステップと、 第２座標系において対応する位置を補間するために、選択された短いバーテェ クスに沿って関連位置を用い、それによって第２中間目標位置を見つけ出すステ ップと、 第１座標系において対応する位置に対応付けるために、選択された短いバーテ ェクスに沿って関連位置を用い、それによって第２中間ソース位置を見つけ出す ステップと、 第１及び第２中間目標位置の２次座標によって定義された間隔の内側の２次元 の各整数値毎に、 ２次元の整数値について第１中間目標位置から第２中間目標位置へのラインに 沿って関連位置を計算するステップと、 第１座標系の対応する位置に対応付けるためにラインに沿って関連位置を計算 して最終ソース位置を見つけ出すステップと、 重み付けを計算するために最終ソース位置を用いてソー ス映像における画素の重み付け平均によって最終目標映像画素を計算するステッ プと、とからなることを特徴とする方法。 １９．４つの画素のグループが３つの画素のクループの代わりに用いられること を特徴とする特許請求の範囲第１７項又は第１８項記載の方法。 ２０．偶数又は奇数走査ラインのいずれかからなり、インターレースされたフレ ームとして与えられるべき映像の１フィールドを発生する方法であって、 特許請求の範囲第１７項〜第１９に応じた方法を備え、 目標映像の１次元又は２次元のいずれかが目標映像の走査ラインに対応し、偶 数フィールドについてはこの次元の偶数整数値だけか考慮され、奇数フィールド については奇数整数値だけが考慮されることを特徴する方法。 ２１．第１の２次元座標系の整数位置に与えられる画素からなるソース映像を、 第２の２次元座標系の整数位置に与えられる画素からなる目標映像に変換する装 置であって、 各画素は各カラーチャンネル毎に１サンプルからなり、 変換はソース映像の画素の各々毎に置き換えベクトルによって与えられており 、 前記装置は、 ソース映像の各画素毎にソース映像のその位置及び対応する置き換えベクトル に基づいて目標映像の対応する位置を計算する手段(352)と、 ソース映像の画素を３つの隣接画素のグループに群分けする手段(1412,1414,1 416,1418,1420)と、 １つの次元に沿ってそれらの位置に応じたグループの画素をソートする手段(1 440)と、 与えられた間隔の内側に第１の次元のための整数値を発生する手段(1460,1462 ,1464)と、 値が与えられた間隔内にあるか否かを判別する手段(1466)と、 バーテェクスを選択する手段(1470)と、 既知の値の間で画素を補間する手段(1474)と、 既知の値の間で画素を補間する手段(1472)と、 与えられた間隔の内側に第２の次元のための整数値を発生する手段(1480,1482 ,1484)と、 画素値を補間する手段(1486)と、 アドレスを発生する手段(1490)と、 その発生されたアドレスに画素値を配置する手段(1492)と、からなることを特 徴とする装置。 ２２．特許請求の範囲第１８項〜第２０項のうちの１の方法に応じて用いられる ように適合された特許請求の範囲第２１の装置。 ２３．複数の最終映像を生成するために第１映像を再サンプリングするときエイ リアスングの影響を減少させる方法であって、各最終フレーム毎の前記再サンプ リングは置き換えフィールドに応じて行なわれ、 前記置き換えフィールドは基本置き換えフィールドの基準化バージョンであり 、 そのスケールファクタは置き換えスコアと称され、 前記第１映像の複数の領域について各前記領域でフィルタ係数が前記領域の周 波数内容及び前記置き換えフィールドの対応する領域の特性に応じて適合される ように前記第１映像をローパス濾過し、それによりローパス濾過化映像を生成す るステップと、 前記第１映像と前記ローパス濾過化映像との間の差分を形成し、それにより差 分映像を生成するステップと、 各最終映像毎に前記ローパス濾過化映像と、置き換えスコアの増加機能である ハイパススコアと称すファクタで基準化された差分映像との合計を再サンプリン グの基礎にするステップと、からなることを特徴とする方法。 ２４．再サンプリングは特許請求の範囲第１項〜第９項のうちの１の装置に応じ た装置によって行なわれることを特徴とする特許請求の範囲第２３項記載の方法 。