JPH04500747A - デジタル映像効果の形成ならびにそれに関連する改良 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 デジタル映像効果の形成ならびにそれに関連する改良本発明はデジタル映像効果 システムと共に使用し種々の曲面効果をつくりだすことができるようにするため の方法と装置に関する。

今日存在する曲面効果をつくりだすためのシステムは以下の如き欠陥の幾つか又 はその全てを免れていない。まづ、それらは低品質の補間と辺縁部をつくりだし 、第２に精細度の損失なくして画像を拡大することができない。第３に簡単な効 果をつくりだすためにも、過大な計算量を必要とする。

本発明の目的は以上の欠点の少なくとも幾つかを克服可能な、或いは少なくとも 軽減することのできる手段を提供することである。

従って、本発明は記憶された映像を処理して映像信号の一方の映像フレームから 映像情報を再生してそれがあたかも一つの曲面上に転置されたかのように一つの 映像信号の別の映像フレーム内に現われるようにするための方法を提供するもの である。

上記方法はその値が上記一方の映像フレームの画像情報を含む一メモリ内の映像 情報の座標位置を表わす第１の組の座標信号を生成し、所望の曲面を形成する関 数に従って上記第１の組の座標信号の値を変換してその値が上記曲面が現われる 上記他方の映像フレーム内の座標位置を表わす第２の組の座標信号を導出し、上 記第２組の座標信号によって一つのデータメモリをアドレッシングする一方、上 記データメモリ内に上記第１の組の座標信号の値を書込むことによって上記第２ 組の信号の値によって規定されるメモリのそれぞれの座標アドレスに、対応する 第１組の信号の値がストアされるようにし、その値が上記他方の映像フレーム内 に現われる画像情報の座標位置に相当する第３の組の座標信号によって上記デー タメモリにアドレッシングする一方、データメモリから読取られた対応する座標 信号によって上記一方の映像フレームの画像情報を含むメモリにアドレッシング することによって一方の映像フレームの画像情報が他方映像フレームの画像情報 と合成されて適当な位置に現われるようにするための方法を提供する。

本発明は更に、ストアされた映像を処理して一定の映像信号の一方の映像フレー ムから映像情報を再生し、それがあたかも一定の曲面上に転置されたかのように 一定の映像信号のもう一つの映像フレーム内に現われるようにするためのシステ ムを提供するものである。上記システムは、その値が上記一方の映像フレームの 映像情報を含むメモリ内の映像情報の座標位置を表わす第１組の座標信号を生成 する手段と、所望の曲面を規定する関数に従って上記第１組の座標信号の値を変 換しその値が上記曲面が現われることになる上記他方の映像フレーム内の座標位 置を表わす第２の組の座標信号を導出するための手段と、データメモリと、上記 データメモリを上記第２の組の座標信号によってアドレッシングする手段と、上 記第１組の座標信号の値を上記データメモリ内に書込むことによって、上記第２ 組の信号の値によって規定されるメモリの各座標アドレスに、対応する第１組の 信号の値がストアされるようにする手段と、上記データメモリを上記他方の映像 フレーム内に現われる画像情報の座標位置に対応する第３の組の座標信号により アドレッシングしてデータメモリから上記対応する第１組の座標信号の値を導出 して、処理さるべき映像情報を含む上記メモリにアドレッシングする手段とから 成る。

従って、本発明によれば、上記データメモリは一定の中間アドレスメモリとして の働きを行い、その内部には曲面上に再生さるべき映像情報ではなくて、一定の 原始フレームメモリ内におけるかかる情報の座標位置を定義する値が「カーブし た順序」でストアされる。かくしてこの中間アドレスによって一定の映像フレー ムの本来の映像情報を他方の映像フレームの座標信号を活用して「カーブした順 序」で読出すことが可能になるから、映像情報自体を処理するために関数を定義 する曲線を利用せずに所望のカーブ効果を実現することができる。

第１の組の座標信号を変換するために曲面関数が使用されることを考えると、そ れに対応する第２の組の信号の値はデータメモリにアドレッシングするためにこ れら座標信号の整数値が活用されるという事実にもかかわらず必ずしも整数であ るには及ばないことが理解されよう。それ故、対応する両組の信号の値の間の誤 差ベクトルを補正するためには本発明によるシステムは更にそれに応じて第１組 の座標信号のストア値を調節するための手段を備えていることが望ましい。その 場合、これらのストア値は高次値と低次値より成り、高次値はフレームメモリを アドレッシングするために使用され、低次値は検索された映像情報内のエイリア ス誤差を防止する補間器の動作を制御する働きを行うことになろう。かかるスト アされた映像情報を補間する手段は公知のもので、例えばＥＰ−Ａ−０２６０９ ９７号に記述されている。

更にもう一つの本発明の特徴によれば、上記第１組の座標信号の値を変換するた めの手段は、他方の映像フレーム内の情報の位置を規定するＸ軸とＹ軸の信号の 他に、描かるべき仮想的な３次元曲面上における対応する点の映像スクリーンか らの垂直方向距離を表わすいわゆる２軸信号を提供するように構成される。更に 、対応する第１組の信号のＸ値とＹ値と共に２軸信号の値をストアし、Ｘ信号と Ｙ信号の値が第２組の信号中に一度ならず同一値となる事態が発生して曲面がそ れ自体に対して転倒したことを示した場合に２つの２軸信号の値を比較するため の手段が設けられる。このようにすることによって第１組の座標信号をストアす るさいの曖昧さは回避することができる。

他方の映像フレーム内の曲面の折り返し辺縁部に曲面を再生する場合にぎざぎざ の辺縁部を回避するために、本発明によれば、更に合成さるべき８つの映像フレ ームからの映像情報の混合を制御するためのいわゆるキー信号を生成するための 適当な手段を設けることが望ましい。かかるキー信号の使用例の詳細な説明につ いてはＥＰ−Ａ−０２６０９９８を参照されたい。

上記キー信号を生成する手段は、上記第２組の信号の値を解析して上記データメ モリ内に上記第１組の座標信号と共に、上記第３組の座標信号によりデータメモ リが尋問される時にキー信号を生成すべく処理可能なデータ値をストアするため の手段より成ることが望ましい。

以下、添附図面中の例によって本発明を解説する。

第１図は曲面の一座標値を生成するためのデータ処理回路のブロック回路図であ る。

第２図は第１図に示すような回路からの座標信号を処理することによって一定の 映像フィールド内に表示さるべき曲面の位置、向き、および遠近度を判断するた めのデータ処理回路のブロック回路図である。

第３図は第２図の回路の出力信号を処理してアドレッシング信号を生成ストアし 、同信号がフレームメモリから画像情報を検索するさいに活用され、同情報が図 ２の回路からの座標信号によって規定される曲面上に現われるように表示される ようにするためのブロック回路図。

第４図は、第３図の回路によってアドレッシングさるべきフレームメモリからの 映像情報と、曲面が描かれるもう一つの映像フィールドからの映像情報との合成 を制御するためのキー信号を生成する方法を示す線図である。

第５図は第４図に示す方法に従って動作するように構成されたキー信号発生器の ブロック回路図である。曲面は多くの場合、それぞれ４個がｘ、ｙ、ｚ座標に対 して使用されるようになった１２個の関数を使用することによって記述すること ができる。

それぞれの座標を生成するメカニズムは同一であるから、第１図に関して一度だ け説明することにする。

それぞれの座標に対する４個の関数は２対の形でめられる。

各対の一関数はパラメータとして入力画中の一対の直交座標のうちの一つをとる 。上記２対の関数は乗算もしくは加算の何れかによって結合され、その２つの結 果は互いに乗するか加算することによって最終的な差を生成する。

かくして、第１図の構成は４個の関数の継起する値を保持するランダムアクセス メモリＩＡ−ＩＤと、一定の映像の水平・垂直座標値を判断するためのカウンタ ３と、水平・垂直座標値を任意の直交座標値に変換する演算装置２と、ランダム アクセスメモリの出力を最終座標値に変換する第２の演算装置４、とから構成さ れる。

第１図の回路要素は全て参照番号１００により線形に示しコモンデータバス１０ １を介してそこに接続されるデジタルコンピュータによって個別的に制御するこ とができる。コンピュータ１００は、参照番号１０２で示す手動制御入力手段、 例えば従来形のキーボードを備え、適当なプログラムによって制御されることに よってその座標値が生成さるべき所望の曲面を手動にて選択できるようになって いる。かかるプログラムは本発明の一部を構成するものではなく、かかるプログ ラムの考案方法はデジタル映像効果の当業者には容易に理解できよう。上記プロ グラムはコンピュータのオペレータに対して描かるべき任意の曲線形を含むメニ ューを提供し、そこから所望の形を選択することができるということを述べてお くだけで十分であろう。その場合、コンピュータはプログラムの制御の下にラン ダムアクセスメモリに対して適当な関数をロードし、それぞれの演算装置４の要 素４Ａ〜４Ｃの各々をセットして必要に応じてアダーもしくは乗算器として動作 させ、カウンタ３をして線形の一連の水平垂直座標値を生成させることになろう 。また、上記コンピュータはそれぞれのカウンタ３の開始カウントを制御して一 定の映像フレーム内の曲線形の位置を調節したり、演算装置２を制御して映像フ レーム内の曲線形の角度の向きを調節したりすることもできる。

更に、デジタルコンピュータ１００によって第１図の回路からのｘ、ｙ、ｚの座 標値によって決定される曲線形を変形して図形を回転させたリスケーリングした り遠近感を与えることもできる。

これは第２図の回路について行われる。

第２図について述べると、乗算回路段５と、一方の入力が対応する第１図の回路 からＸ、Ｙ又は２座標値を受取るように接続され他方の入力がデータバス１０１ を介して接続され、デジタルコンピュータ１００によりつくりだされる９個の重 みＷｌ−Ｗ９のうちの一つを受取るようになった９個の乗算回路より成るグリッ ドより構成される。乗算回路段５の出力からの信号は座標系が回転しスケーリン グされるようにアダ一段Ｇ内で加算される。再度繰返すと、重みＷｌ−Ｗ９の値 が所望の視覚効果に従って導出されるようにコンピュータをプログラミングする 方法は当業者が周知のところであろう。

アダ一段６の出力は第７によって構成される追加的なアダーの入力に接続される 。上記アダーの各々は第２の入力がデータバス１０１に接続されることによって ３つのオフセット０１．０２゜０３がＸ、Ｙおよび２の座標信号に加算されるこ とによって画像を観察者の目の周囲に集中するようにすることができる。

アダー回路７の出力には追加的な乗算回路８．９が接続される。乗算回路８の入 力はデータバス１０１に接続され重み係数ＷｌＯを受取ることによって乗算回路 ８内で２座標がスケーリングされ、その結果を使用して乗算回路９によってＸと Ｙ座標をスケーリングして遠近性を与えるようになっている。画像は再びデータ バス１０１を介してコンピュータからオフセット０４．０５゜０６を加えること によってアダ一段１０内でその最終位置へ偏位できるようになっている。

テレビカメラにより走査される入力画像の連続的な位置に対応するｘ、ｙ、ｚ座 標を得た後でこれらを使用して入力画面が規定の形に歪んだという錯感をつくり だすことが必要である。

上記の画像の欠陥を避けるために、このことは第３図に示す回路内で行われる。

゛第２図の回路で発生する座標は、第１図のカウンタ３によりつくりだされる水 平垂直座標よりも高次の解像度に生成される結果、それらが一定のフレーム若し くはデータメモリにアドレッシングするために必要とされるような整数値と中間 小数値の双方を含むものと考えることができるということを説明しておくべきで ある。

第２図の回路からのＸとＹ座標信号は、とりわけ回路２３へ印加され、そこから ＸとＹの座標の整数値は放棄され入力１１．１２で加えられ、データ入力１４． １５で加えられる数を「カーブした」順序で満たされる中間アドレスメモリ１３ にアドレッシングする。上記数はそれら特定のＸ、Ｙ座標をつくりだすために第 １図のカウンタ３により生成された入力画像座標を表わす。

入力１１．１２に加えられるＸ、Ｙ座標のみがその数が書込まれるメモリ１３内 のアドレスを決定する。Ｚ座標は入力１４．１５からのデータと共にメモリに書 込まれる数の一部として書込まれる。

もし特定のフィールドもしくはフレーム時間中に関数が同一の点を再訪して（即 ち、もし同一のＸ、Ｙ座標値が入力１１．１２において２度生ずる場合）曲線形 がそれ自身を包みこんだことを示すばあには、新旧の点の２座標どうしが比較さ れ、何れが「正面にある」かどうかが判断され、従ってメモリ内に凹点を上書き するかそれをそのままに放置すべきかの判断が行われる。

このことはメモリ１３から既にストアされているＺ値を読取り、それを一定の方 法（図示せず）によりその新たに提示された値と比較することによって行われる 。

Ｘ、Ｙの座標値は既に整数ではないから、入力１４．１５に加えられる整数によ って表わされる各点についてＸ、Ｙ座標の放棄された小数部分を表わす誤差ベク トルが存在する。この誤差の補正はライン遅延１６．１７とピクセル遅延１８． １９を介して演算装置２０の減算回路により高解像度のＸ、Ｙ座標値を加えるこ とによって、１点における入力に対する出力座標系の微分値を表わす４個の偏微 分値より成るマトリックスを構成することによって行うことができる。さて、こ のマトリックスは２１で反転され、その結果は、２３で、ＸとＹの入力信号の整 数部分を放棄することによって得られる誤差ベクトル上へ掛は合わせられる。こ のことによって補正ベクトルが得られ、同ベクトルは入力１４．１５で加えられ る数から差し引かれる。上記数はメモリに書込まれる前の入力画像座標を見積る ことになる。このプロセスはメモリ内へ書込まれるデータを、単に座標の小数部 分を放棄することによってひきおこされるような「エイリアス」効果が最初に触 れたような補間方法を活用することによって除去できるような具合に摂動する。

かくして、中間アドレスメモリ１３は曲面が描か葛べき最終的な映像フィールド の画像情報の位置に相当する座標値を生成する第２組のカウンタ２４によって順 次読取ることができる。その場合、メモリ１３の出力２５には補間器制御用の小 数値と共に画像情報を含むメモリから読取るべきアドレスに相当する一連の整数 値が得られる。このように画像情報を読取ることによって、不都合な「エイリア シングｊなしに、必要とされる曲面の幻影がつくりだされる。カウンタ２４によ り生成される値はテレビラスフの走査点の座標と一致し、テレビ信号と同期して リアルタイムに生成されることが理解されよう。このことはカウンタ３により生 成され入力１４．１５で加えられる値には必ずしもあてはまらない。メモリが入 力１１．１２を介してアドレッシングされる各サイクルは同じメモリロケーシタ ンがカウンタ２４によりアドレッシングされるサイクルどうしの間で完了するこ とだけが必要である。実際には、このためには普通、メモリ１３が独立にアドレ ッシング可能な少なくとも２つの映像フレームに対応するエリアを有することが 必要であろう。上記基本システムから生ずる画像辺縁のぎざぎざを回避するため に第５図の３０に示すような中間アドレスメモリ１３に対して更にもう一つのエ リアを加えることができる。

このエリアは中間アドレスメモリ１３の残部とぴったり同一の信号によってアド レッシングされるものであり、最終画像の走査点がどれ程そこに示される曲面の 折返し辺縁に近接しているかを判断するために使用される数を保持するために使 用される。

第４図はこれが行われる方法を示す。曲線４１は原画の走査線を示す。画像辺縁 近くで画像はほぼ直線に圧縮され、従って原始画像のベクトルは全て非常に短い か、４２に示すようなカーブした走査線の包絡線にほとんど平行であるかの何れ かのベクトルに退化する。

第３図において得られる偏微分を使用することによって原画の水平垂直ベクトル が出力効果中へ突出す方向と長さを決定することができる。２つの突出４３のう ち長い方の方向は従って包絡線に沿って広範囲に位置する。

その場合、中間アドレスメモ１月３中の１０ケーシヨンを表わすボックス４４の ４隅のそれぞれからの垂線の長さを計算することができる。これらの４つの数は 、もし使用される特定の点が包絡線上又はそれに十分近接した位置に位置する場 合には、ボックス４４の各隅から包絡線を表わす線４２へ至る距離を表わす。

４つの数の各々についてボックス内部に落ちる任意の点によって与えられる最大 値は現在点の値をメモリ３ｏ内に保持される値と比較しその２つの値のうちの大 きい方を書き込むことによって決定される。メモリ内のロケーンツンは全て各フ ィールドの端でゼロに設定される。

メモリから読出す際、隣接しあう点どうしを調べて包絡線の幅の広い方向を判断 することによって４つの数の何れを使用すべきかを決定することができる。

かくして、第５図において、第３図の段２０からの偏微分は演算装置５２へ送ら れ、同装置５２は最大係数を有する列を選択し、それが表わすベクトルを直角だ け回転する。その結果得られる数はメモリ５３内のボックスの４隅からの点の距 離を重みづけするために使用される。上記距離はボックス内の点の座標を段５４ におけるボックスの隅の座標から差引くことによって得られる。

その結果得られる数は重線の長さを表わし、既にメモリ内にある値と比較され、 （段５５）、大きい方の値がメモリ３０内に書込まれる。

カウンタ２４によりアドレッシングされる時メモリ３０から出力されると各ピク セルの８個の隣接ピクセルがテストされ、書込まれたメモリロケ−シランと書込 まれていないメモリロケーシジンのパターンを使用してリード・オンリー・メモ リ５６がアドレッシングされる。同メモリ５６は４個の数のうち何れがメモリか ら読出されるかをセレクタ５７を介して制御する。

区 特表千４−５００７４７　（６） 国際調査報告

Claims (8)

【特許請求の範囲】
1. １．ストアされた映像群を処理して一つの映像信号の一映像フレームから映像情 報を再生することによってあたかも一定の曲面上に転置されたかのように一つの 映像信号のもう一つの映像フレーム内に現われるようにする方法において、その 値が上記一方の映像フレームの画像情報を含むメモリ内映像情報の座標位置を表 わす第１の組の座標信号を生成し、所望の曲面を形成する関数に従って上記第１ 組の座標信号の値を変換して、その値が上記曲面が現われる上記他方の映像フレ ーム内の座標位置を表わす第２の組の座標信号を導出し、上記第２の組の座標信 号によってデータメモリをアドレッシングする一方、上記第１組の座標信号の値 を上記データメモリ内に書込むことによって、上記第２組の信号の値によって決 定されるメモリの各座標アドレスに、対応する第１の組の信号の値がストアされ るようにし、その値が上記他方の映像フレーム内に現われる画像情報の座標位置 に相当する第３の組の座標信号により上記データメモリをアドレッシングする一 方、上記一方の映像フレームの画像情報を含むメモリをデータメモリから読出さ れる対応座標信号によりアドレッシングすることによって上記一方の映像フレー ムの画像情報が他方の映像フレームの画像情報と合成されて適当な位置に現われ るようにする前記方法。
2. ２．上記第２組の座標信号が上記データメモリにアドレッシングするために必要 とされるよりも高次の解像度に導出されて高低次値を提供し、上記高次値を使用 して上記データメモリにアドレッシングし、上記低次値を使用して誤差ベクトル 補正値を計算し、上記誤差ベクトル補正値を上記第１組の座標信号によって提供 される対応する高次値と共に低次値としてストアする請求項１の方法。
3. ３．上記映像情報を含むメモリのアドレッシング中にデータメモリからの高次値 が座標アドレス値として使用され、データメモリからの低次値が映像情報の補間 用に使用される請求項２の方法。
4. ４．上記第１組の座標信号の値が変換されて他方の映像フレーム内の情報の位置 を規定するＸ軸とＹ軸信号の他に、描かるべき仮想上の３次元曲面上の対応する 点の画像スクリーンからの垂直距離を表わすＺ軸信号を提供し、Ｚ軸信号の値が 上記第１組の対応するＸ，Ｙ信号の値と共にストアされ、Ｘ，Ｙ信号の値が第２ の組の信号中で一回以上同一となり曲面が自転したことを示した場合に、それと 関連するＺ軸信号どうしが比較されて上記第１組の信号のどの値がメモリ内の上 記第２組の信号の同一値によって決定されるロケーションに保持さるべきかを判 断する請求項１ないし３の何れか一の方法。
5. ５．上記データメモリ内に、上記第１組の信号の値と共に、上記曲面の折返し辺 縁からの上記他方の映像フレームの走査点の距離を表わす値が更にストアされる ことによって上記データメモリのアドレッシング中に上記距離値がキ−信号を生 成して合成さるべき２つの映像フレームからの画像情報の混合を制御する請求項 １ないし４の何れか一の方法。
6. ６．ストアされた映像を処理して一定の映像信号の一つの映像フレームから映像 情報を再生することによってそれがあたかも一定の曲面上に転置されたかのよう に映像信号のもう一つの映像フレーム中に現われるようにする装置において、そ の値が上記一っの映像フレームの画像情報を含むメモリ内の映像情報の座標位置 を表わす第１の組の座標信号を生成する手段（３）と、所望曲面を定義する関数 に従って上記第１の組の座標信号の値を変換してその値が上記曲面が現われる上 記他方の映像フレーム内の座標位置を表わす第２の組の座標信号を導出する手段 （１Ａ−１Ｄ，２，４）と、データメモリ（１３）と、上記第２の組の座標信号 によって上記データメモリ（１３）をアドレッシングする手段（１１，１２）と 、上記データメモリ（１３）内に上記第１の組の座標信号の値を書込むことによ って上記第２の組の信号の値によって決定されるメモリ（１３）の各座標アドレ スに第１の組の信号の対応する値がストアされるようにする手段（１１，１２） と、上記データメモリ（１３）をその値が上記他方の映像フレーム内に現われる 映像情報の座標位置に対応する第３の組の座標信号によってアドレッシングする ことによって上記第１の組の座標信号の値をデータメモリ（１３）から導出して 処理さるべき画像情報を含む上記メモリをアドレッシングするための手段（２４ ）と、を備える前記装置。
7. ７．更に、上記第２の組の座標信号を整数値と小数値とに分離する手段（２３） を備え、上記分離手段（２３）が接続されて上記整数値を上記アドレッシング手 段（１１，１２）へ提供し、上記小数値を誤差ベクトル補正回路（１６−２２） へ提供し、上記第１組の座標信号に加えられるべき補正値を導出する請求項１の 装置。
8. ８．上記誤差ベクトル補正回路が上記第２の組の信号のＸ，Ｙ座標信号の各々を それぞれライン周期とピクセル周期だけ遅延させる手段（１６−１９）と、各対 の遅延信号と非遅延信号を差し引いて偏微分値のマトリックスを形成する手段と 、上記マトリックスを反転させる手段（２１）と、上記第２組の信号の小数値を 上記判定手段（２１）の出力信号によりて乗ずる手段（２２）を構える請求項７ の装置。