JP3679426B2 - 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム - Google Patents
画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム Download PDFInfo
- Publication number
- JP3679426B2 JP3679426B2 JP04405594A JP4405594A JP3679426B2 JP 3679426 B2 JP3679426 B2 JP 3679426B2 JP 04405594 A JP04405594 A JP 04405594A JP 4405594 A JP4405594 A JP 4405594A JP 3679426 B2 JP3679426 B2 JP 3679426B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- pixel
- image
- region
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Processing (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、広くは画像の符号化に関するものであり、より詳しくは、画像データに対して、その格納、伝送、ないし復号化が容易なように、圧縮処理を施す機構に関するものである。
【０００２】
【従来の技術及び発明が解決しようとする課題】
本願の関連出願として、その発明の名称を「画像の符号化のための層構造表現（Layered Representation For Image Coding ）」とした、Edward H. Adelson による米国特許出願第０７／８８８８０１号があり、同米国出願は、この言及をもって本開示に組み込むものとする。同米国出願には、１つの画像を、その画像中の「深さ」によって順序付けた一連の複数の層で表わすようにした、画像圧縮システムが記載されている。このシステムは、それら複数の層の各々に、画像シーケンスの継続時間に亙って、その層にどのような操作を加えて行けば良いか、あるいは、その層をどのように変形させて行けば良いかということに関する情報を包含させるようにしており、それによって、画像シーケンスを表わせるようにしている。
【０００３】
１つの層は、一連の複数のデータ・マップによって構成されており、それらマップの各々は、画像中の、他のどの物体の動きとも明確に異なった動きをしている１つの物体ないし物体の１つの部分に関連付けられている。各々のマップは、離散した２次元位置に関するデータの集合として構成されており、それらマップのうちには、第３次元として時間の次元を含んでいるものもある。それらマップは、各々の位置ごとに、（ｉ）例えばシーケンスの開始点等の一定の瞬間における輝度値と、（ii）時間の経過に伴う減衰量と、（iii）時間の経過に伴う速度変化とを示している。更に任意に含めることのできるマップとして、コントラスト変化マップ、ブレ／ボケ・マップ、等々のマップがあり、コントラスト変化マップは、それに対応する層の輝度値マップにどのような数を乗じて時間の経過に伴うコントラストの変遷を作り出すべきかを記述したマップであり、また、ブレ／ボケ・マップは、１つないし複数の位置に、動きブレや焦点ボケを追加するものである。これら任意マップを、必要に応じて含めるようにして、対応した物体の時間の経過に伴う変化を記述するようにしても良い。それら複数の層から画像シーケンスを再生あるいは復号化するには、それら複数の層を然るべき順序で組合せた上で、それら層に時間の経過に従って然るべき操作を加えて行き、即ち「ワープ（warp）」させて行くようにする。
【０００４】
物体を規定するための方法、即ち物体の境界を判別するための方法には、様々なものがある。例えば、動き解析を反復実行するという方法があり、その一例は主要動き解析という方法であって、この方法は、画像シーケンスの中にただ１つの主要動きが存在しているということを繰り返して仮定し、その仮定した動きに基づいて１つの物体（主要物体）を規定する。続いて、この主要物体をマスクした上で、あるいは画像から除外した上で、その画像の残りの部分について第２の主要動きが存在するものと仮定して再度解析を行なう。第２の物体が識別されたならば、その物体をも画像から消去した上で、その画像に再びワープ処理を施して更なる動き解析を行なうようにすれば良い。この種の主要動き解析は「反復的動き解析を利用した画像シーケンス・エンハンスメント（Image Sequence Enhancement Using Multple Motions Analysis ）」という題名の Iraniと Pelegによる論文に記載されている。この方法は、画像中にただ１つの、そして明確に主要動きであるといえる動きが存在している場合には、その主要物体を正確に識別することができる。しかしながら、画像中に複数の主要動きが存在している場合には、それら複数の物体を正確に識別することができない。
【０００５】
画像中の物体を判別するための更に別の方法に、ブロック・マッチング法がある。この方法では、１つのフレームからその次のフレームへかけての、複数の矩形のピクセル・ブロックの動きを判定し、それらブロックに対して夫々に動きベクトルを対応付ける。そして、互いに類似した動きをしているブロックどうしは同一の物体の夫々の部分であると見なす。不整な形状の物体をも含めて、全ての物体がそれらブロックの組合せで表わされる。「低ビット・レートの映像信号の圧縮のための、セグメンテーションを利用した、動きの差分及び動きフィールド画像の符号化（Segmentation-Based Coding of Motion Difference and Motion Field Images For Low Bit-Rate Video Compression ）」という題名の、 Liuと Hayesによる論文に記載されているように、１つの物体を表わすのに様々な大きさのブロックを使用することができるが、不整な形状の物体は、それらブロックによって完全に正確に表わすことはできない。
【０００６】
【課題を解決するための手段】
本発明は、複数の物体を包含している画像について、（ｉ）画像シーケンス又はフレーム・シーケンスの全体の中における複数のコヒーレント動き領域の夫々の境界と、（ii）１つのフレームからその次のフレームへかけてのそれら領域の変形を記述した、それら領域の各々に対応した動き式の動きパラメータ又は係数を同時に判別するためのシステム、並びにそのシステムの動作方法である。その動き式が例えばアフィン変換式である場合には、１つのフレームからその次のフレームへかけてのその画像の領域の全体の動きは、６個のアフィン・パラメータから成るアフィン・パラメータ集合で記述される。このシステムは、この情報を用いて画像シーケンスを符号化することにより、その画像シーケンスを各々が１つずつの領域に対応した一連の複数の層にすると共に、速度マップを圧縮して動きパラメータの集合にする。
【０００７】
本発明のシステムは、画像中に主要動きが存在していることを必要とせず、画像中の動きが、選択した動き式の集合で記述し得るような動きでありさえすれば良い。例えばアフィン変換式は、滑らかな動きを記述するものであるため、非常に複雑な動きはエラー状態として取り扱われることになる。このシステムは更に、物体が、例えば複数の矩形ブロックで表現し得るような、整った形状であることを必要としてない。このシステムは、個々のピクセルをコヒーレント動き領域に割当てるようにしており、そのため、基本的に、いかなる形状の物体でも表現することができる。
【０００８】
手短に要約して述べると、このシステムは、先ず最初に、動きの局所的な推定を行ない、それには、１つの画像フレームｉからその次の画像フレームｉ＋１へかけての、幾つかのピクセルから成る小近傍の動きを判定して、画像の光学流れモデル、又は稠密な動きモデルすなわち稠密動きモデルを生成する。このシステムは続いて、アフィン変換式等の低次の滑らかな変換式を用いて、このシステムが先にコヒーレント動きをしているものと識別したところの、即ちフレームｉ−１からフレームｉへかけての動きを解析した際に識別したところの、複数の領域から成る１つの領域集合の中の動きの推定を行なう。このシステムは続いて、それら領域の各々ごとに動きモデルすなわち領域動きモデルを作成する。
【０００９】
続いてこのシステムは、互いに類似している動きモデルどうしをグループ化、又はクラスタ化し、そして、その画像についての、更新した動きモデルの集合を反復して生成する。このシステムは続いて、局所的動き推定結果に基づいて、画像中の個々のピクセルを、そのピクセルの動きを最も良く近似している動きモデルに割当てることによって、コヒーレント動き領域の更新を行なう。このシステムは、こうして更新した領域に基づいて、再びその動きモデルを更新し、そして更なる更新をすべきである場合には、コヒーレント動き領域を更に更新し、以下同様にして、反復実行してもピクセルの割当てが殆ど変化しなくなったならば、反復実行を終了する。
【００１０】
続いてこのシステムは、フレームｉ＋１及びｉ＋２についての動き解析を行ない、その際に、このフレーム・ペアにおけるコヒーレント動き領域の初期推定結果として、その直前のフレームｉ及びｉ＋１の解析において識別した更新した領域の集合を用いる。このシステムは続いて、局所的動きの推定処理と、上述の領域の動きを推定する処理と、ピクセル割当て処理とを反復実行し、そして、今回のフレーム・ペアに対応した、反復実行してもピクセルの割当てが殆ど変化しない更新領域が識別された時点で、その反復実行を終了する。続いてこのシステムはその更新領域の集合を、その次のフレーム・ペアの解析において使用し、以下同様にして、フレーム・シーケンスの中の全てのフレーム・ペアの解析を完了するまで以上の処理を繰り返す。
【００１１】
このシステムは、全てのフレーム・ペアの解析を完了した時点において、既に画像のセグメンテーションを完了して、その画像を複数のコヒーレント動き領域に分け終っている。従ってこのシステムは、それら複数の領域の夫々に対応する層を「抽出」する必要があり、即ち、それら夫々の層を、（１）ピクセル輝度値と、（２）その層に対応した動きモデル・パラメータと、（３）画像中における「深さ」の順序とによって規定する必要がある。それら層の順序付けは、覆い覆われている関係と不透明性の関係とを保存するためのものであり、なぜならば、この順序付けによって、前景の物体に対応している層が、背景中の物体に対応している層の手前に位置付けられるからである。
【００１２】
このシステムは、層抽出を行なうためには、層の中の各々のピクセル位置ごとにピクセル輝度情報を決定する。従って、このシステムは、各フレームにおいて処理対象の領域に関係している個々のピクセルの動きを判定する。このシステムは１つのフレームを選択し、例えばフレーム・シーケンスの中央のフレーム等を選択する。そして、その被選択フレーム以外の各々のフレームの中の、処理対象の領域内に存在するピクセルを、被選択フレームの中の対応する領域に対して位置揃えし、それを、その領域に付随している動きパラメータを用いて、１つのフレームからその次のフレームへのピクセルの動きをたどることによって行なっている。またそのときに、このシステムは、それら動きパラメータに修正処理を施し、即ち、それら動きパラメータどうしを適当に結合させて、それら動きパラメータが、所与のフレームの中の領域と被選択フレームの中の同じ領域との間での動きを記述できるようにしており、これについては後に詳しく説明する。続いてこのシステムは、その層の中の各ピクセル位置ごとの輝度値を決定し、この輝度値は、互いに位置揃えした夫々のピクセルの輝度値の組合せに基づいた値である。そのためにこのシステムはそれらピクセルの輝度値を積算し、即ち、それら輝度値を時間の流れの中で結合し、そして、その結合における中央値を算出する。続いてこのシステムは、算出したその中央値を、その層の中の対応するピクセル位置に割当てる。これによって層の輝度マップが得られる。続いてこのシステムは、残りの各層について位置揃えとピクセル輝度値の算出とを反復して実行し、それによって、各層ごとに、その層に関する輝度値マップを作成する。
【００１３】
あるフレームにおいて他のものに覆い隠されているピクセルの輝度値は、層の輝度値の算出に使用しないようにしている。このシステムは、各々の層の輝度値の算出に使用したピクセルの個数をカウントしており、輝度値の算出に使用された寄与ピクセルの個数が多い層を、輝度値の算出に使用された寄与ピクセルの個数が少ない層よりも手前に置くようにして、層どうしの間の順序付けを行なう。続いてこのシステムは、輝度値マップと、修正後動きパラメータと、順序付け情報とを、１つの層として格納する。
【００１４】
格納されている複数の層に復号処理を施して、それらを１つの画像シーケンスにするためには、復号器が、先ず、それら層を順序付け情報に従って重ね合わせて１つの画像を生成し、続いてその画像に対し、格納されている動きパラメータに従ってワープ処理を施すことによって、画像フレーム・シーケンスを生成する。層抽出を実行した際に、層の中の全てのピクセル位置の各々に１つずつ輝度値を付与してあるため、フレーム・シーケンスの一部分においてある領域のある部分が他のものに覆い隠されている場合でも、その覆い隠されている部分は、輝度値マップの中では、覆い隠された状態から回復されて表現されている。従って、覆い隠している側の物体に対応した層を排除して、その覆い隠している側の物体をフレーム・シーケンスから消去することができ、そうすることによって、本来は部分的に覆い隠されていた物体を完全な姿で生成することができる。このシステムは、それら層を利用して、「超高解像度」の画像シーケンス、あるいは、フレーム・レートを異ならせた画像シーケンスを生成することもでき、それが可能であるのは、このシステムは、画像シーケンスの全体を通しての夫々のコヒーレント動き領域及びそれらコヒーレント動き領域の中の個々のピクセルの算出された動きに基づき、補間法を用いて、中間ピクセル及び／または中間フレームを正確に生成することができるからである。
【００１５】
【実施例】
本発明の以上の利点、並びにその他の利点は、添付図面と共に以下の説明を参照することによって更に明瞭に理解することができる。図１は、Motion Picture Expert Group （ＭＰＥＧ）が製作した「Flower Garden （花園）」というタイトルの作品の、一連のフレームから成るフレーム・シーケンスのうちの３枚のフレームの画像を図示している。以下に、これらフレームを参照しつつ、「画像の層」の概念について更に詳細に説明して行く。
【００１６】
それらのフレームは、１つの撮影シーンを横切って移動するカメラから発生された一連のフレームから成るフレーム・シーケンスの一部分であり、前景の立ち木１と、中景の地面の花園２と、背景の家並み３とを含んでいる。立ち木１、花園２、それに家並み３という夫々の物体は、このフレーム・シーケンスの中で時間的コヒーレンシーを有しており、時間的コヒーレンシーを有しているというのは、それら物体がその形状ないしテクスチャのパターンを時間の経過と共にゆっくりと変化させているという意味である。それら物体は更に、このフレーム・シーケンスの中で空間的コヒーレンシーを有しており、空間的コヒーレンシーを有しているというのは、それら物体が、異なったフレームでは異なった部分が覆い隠されているため、その部分に関する情報が後のフレームでは含まれたり含まれなかったりしているにもかかわらず、このフレーム・シーケンスの全体に亙ってその形状ないしテクスチャのパターンを滑らかに変形させつつ変化させているという意味である。立ち木１、花園２、それに家並み３は、カメラに対する相対位置が互いに異なっているため、このフレーム・シーケンスの全体に亙って夫々に異なった動きをしている。
【００１７】
図示した画像は、それにセグメンテーション処理を施すことによって、各層が夫々、立ち木１と、家並み２と、花園３と、実質的に動きのない背景即ち空４との各々に対応した、合計４つの層１ａ〜４ａに分けることができる。そして、そのように４つの層に分けたならば、それら４つの層１ａ〜４ａの各々をその層に付随する動きパラメータに従って変形させつつ、それら４つの層を合成することによって、このフレーム・シーケンスを表わすということが可能になる。従ってそれら層と、それら層の変形量と、時間の経過に従ったそれら層の変形の仕方を記述した数式とで、この画像シーケンスを表わすことによって、この画像シーケンスを圧縮形で表わすことができる。ここでいう層とは、アニメーション用のセルのようなものであり、アニメーション用のセルは、例えば、静止或いは動いている背景に対してそのセルを相対的にずらしたり平行移動させたりすることによって、そのセルに描き込んである人物や物体の動きを表現することができる。ただしここでいう層は、アニメーション用のセルとは異なり、それら層を利用することによって、アニメーション用のセルの平行移動よりはるかに複雑な動きを表現することができる。
【００１８】
画像にセグメンテーション処理を施して複数の層に分けるには、複数の物体の境界を判定することが、即ち、複数のコヒーレント動き領域を判定することが必要であり、また更にそれと同時に、それら領域の夫々の動きを判定することも必要である。本発明者らは、アフィン変換式を用いてそれらの動きを表わすことにしたが、ただし、アフィン変換式に限らず、その他の種類の、滑らかな低次の関数の集合を使用することも可能である。アフィン動きモデルでは、ある動きを規定するのに、平行移動、剪断変形、縮倍変形、ないしはそれらの組合せとして規定するため、使用するパラメータの個数は６個になる。例えば回転は、垂直剪断変形と水平剪断変形との組合せである。
【００１９】
次に図２について説明すると、システム１０は、データを符号化し、従って圧縮し、そしてその圧縮したデータを復号化して画像を再生するシステムであり、符号器１２を含んでいる。符号器１２は、一連の画像フレームから成る画像フレーム・シーケンスに対応したディジタル画像データを符号化して圧縮し、それによって、（ｉ）各層がその画像の中のコヒーレント動き領域の１つずつを表わしている一連の順序付けされた複数の層と、（ii）それら層の各々に付随する、１つのフレームからその次のフレームへかけてのその層の変形を記述した動きパラメータとを生成する。データ格納／伝送装置１４は、様々な層とそれら層に付随する動きパラメータとを表わしているデータを格納すると共に、その情報を復号器１６へ伝送するものであり、復号器１６は、それら様々な層を組み立てて１つの画像を生成した上、更に、格納されていた動きパラメータに従って様々な層をワープさせて行くことによって画像シーケンスを再生する。続いて復号器１４は、このようにして復号化したフレーム・シーケンスを、ビデオ・ディスプレイ・ユニット（不図示）へ送出してディスプレイさせる。
【００２０】
次に図３について説明すると、符号器１２は、局所的動き推定部２２を含んでおり、この局所的動き推定部２２は、前後に連続した２枚のフレームｉとｉ＋１との間における、ピクセルの小さなアレイ又はピクセル近傍の中の動きを推定するものである。この近傍は、例えば３ピクセル×３ピクセルのアレイとすることができる。推定部２２は、それら近傍の各々について、その平均的動きを表わす速度ベクトルを発生し、そしてその速度ベクトルを、その近傍の中央に位置しているピクセルに対応付ける。続いてこの推定部２２は、その次のピクセルに対応した、先の近傍との間に重なり部を有する新たな近傍を選択し、その平均的動きベクトルを決定し、そしてその速度ベクトルを、その新たな近傍の中央に位置するピクセルに対応付ける。推定部２２は、以下同様に反復実行して、画像中の全てのピクセルの各々に動きベクトルを対応付ける。これによって例えば図４に示したような、その画像の光学流れモデル又は稠密動きモデルが得られる。以下に、図５並びに図６および図７を参照しつつ、この局所的動き推定部の動作について更に詳細に説明して行く。
【００２１】
動きセグメンテーション処理部２４は、コヒーレント動き領域推定部２４ａと動き推定部２４ｂとで構成されており、それらは協働して、画像中の複数のコヒーレント動き領域と、それら領域に付随する夫々の動きモデルの集合とを同時に判定する。動き推定部２４ｂは、コヒーレント動き領域推定部２４ａが識別した複数のコヒーレント動き領域における夫々の動きを推定して、それら領域の各々に対し１つずつの推定した動きモデル（例えばアフィン動きモデル）を生成する。続いて、動き推定部２４ｂは、互いに類似した動きモデルどうしをまとめてグループ化し、各グループごとに１つずつの合成動きモデルを生成する。続いてコヒーレント動き領域推定部２４ａが、個々の画像ピクセルをそれら合成動きモデルに対応付けて行き、その際に、個々のピクセルを、それら動きモデルのうち、そのピクセルの局所的動きを最も良く近似して表わしている動きモデルに対応付けるようにする。この処理部は、これを行なうことによって、更新したコヒーレント動き領域を生成する。この処理部は、それら更新した領域を用いて更に新たな動きモデルを生成し、それによって更に領域を更新するというようにして、反復実行により更新を繰り返す。
【００２２】
その反復実行の回数が所定回数に達した時点で、或いは、ある反復実行によって得られたピクセルの対応付けの結果が、その直前の反復実行によって得られたピクセルの対応付けの結果と殆ど変わりないということが最初に起きた時点で、処理部２４は、動きモデルのパラメータと、夫々のコヒーレント動き領域を特定している情報とを、そのときの処理対象のフレーム・ペアのうちの後の方のフレーム、即ちフレームｉ＋１に対応した格納位置に格納する。処理部２４は更に、こうして特定されたコヒーレント動き領域を、続く次のフレーム・ペア、即ちフレームｉ＋１及びｉ＋２を対象とした解析における、コヒーレント動き領域の推定の初期値として使用する。以下にこの動きセグメンテーション処理部２４の動作について、図８を参照しつつ更に詳細に説明して行く。
【００２３】
局所的動き推定部２２は、各々のフレーム・ペアごとに、局所的動きの推定の処理と各ピクセルに１つずつの動きベクトルを対応付ける処理とを行なって行く。続いて、動きセグメンテーション処理部２４が、その処理対象の画像のセグメンテーション処理を実行して、その画像を複数のコヒーレント動き領域に分ける。この処理は、上述の処理手順に従って、先行フレーム・ペアに関して識別された夫々のコヒーレント動き領域を、現在フレーム・ペアにおける夫々のコヒーレント動き領域の推定の初期値として使用して行なうものであり、これを次々と反復実行して、そのフレーム・シーケンスの中の全てのフレーム・ペアについての解析を完了する。従ってこの処理部は、そのフレーム・シーケンスの中にあってコヒーレント動きを行なっている夫々の領域を特定すると共に、各々のフレーム・ペアごとに、そのフレーム・ペアの第１のフレームから第２のフレームへかけてのそれら夫々の領域の動きを記述した動きモデルの集合を決定する。
【００２４】
層抽出処理部２６は、フレーム・シーケンスの中の全てのフレームの夫々に対応したコヒーレント動き領域の情報とそのコヒーレント動き領域に関連した動きモデルの情報とを結合して、各コヒーレント動き領域ごとに１つずつの層を生成する。この処理部２６は、先ず最初に、フレーム・シーケンスの中央に位置するフレームを選択し、その被選択フレームより先行しているフレーム及びその被選択フレームより後のフレームの各々について、そのフレームの中の様々なコヒーレント動き領域をどのように変形させれば、それらコヒーレント動き領域を、被選択フレームの中のそれらに対応するコヒーレント動き領域に位置揃えすることができるかを判定する。そのためにこの処理部２６は、ある１つのフレームの中のある１つのコヒーレント動き領域に付随している動きパラメータを、そのフレームと被選択フレームとの間に存在している中間フレームの中の同じ領域に付随している動きパラメータと結合して、修正した動きパラメータ集合を生成するようにしている。
【００２５】
処理部２６は、こうして得られた修正後動きパラメータを用いて、被選択フレームの中の領域に、各々のフレームの中のそれに対応する夫々の領域を位置揃えし、そして、その領域内の全てのピクセル位置の各々に対する夫々の合成ピクセル輝度値を算出する。続いてこのシステムは、決定したそれら輝度値を用いて、層の輝度値マップを作成する。
【００２６】
処理部２６はそれら合成輝度値を算出する際に、他のものに覆い隠されているピクセルの輝度値は計算に用いないようにしている。従って、部分的に覆い隠されている物体に対応している層では、合成輝度値を算出するために結合するピクセル輝度値の個数が、そうでない層と比べて少なくなっている。処理部２６は、合成輝度値の算出に寄与しているピクセルの個数を数えることによって、層どうしの間の順序付けを行なうようにしている。従って各々の層は、（ｉ）ピクセル輝度値のマップと、（ii）被選択フレームからフレーム・シーケンスの中のその他の各々のフレームへかけてのその層の動きを規定した修正後動きパラメータの集合と、（iii）画像を復号化即ち再生する際に、その層をその他の層とどのようにして合成すべきかを指示した層順序情報（層深さ情報）とで構成されている。また、処理部２４は、必要に応じて、各層の中に更に、減衰、動きブレ、等々に関する情報を含ませるようにもしている。続いて処理部２６は、それらの層情報をデータ格納／伝送装置１４（図１）へ送出して、格納及び／または伝送を行なわせる。以下に、この層抽出処理部２６の動作について、図１１を参照しつつ更に詳細に説明して行く。
【００２７】
システム１０は、局所的動きの推定から出発して再び局所的動きの推定へ帰るようにして、それら局所的動きに関係したコヒーレント動き領域の動き及び境界の決定を反復して行なうことにより、画像の中の複数のコヒーレント動き領域の内部における単一の動きの推定を複数回に亙って行なって、その画像全体の中に存在している複数の動きを解析するという課題を達成している。このようにしているため、システム１０は、僅かな数の層と、それら層に付随する動きパラメータとで、画像データを表わすことが可能になっている。従って、このシステム１０では、画像データを格納する際に、従来公知のシステムにおいて必要とされていた記憶容量よりも小さな記憶容量の中に格納することと、画像データを伝送する際に、従来公知のシステムにおいて必要とされていた帯域幅よりも狭い帯域幅で伝送するということとが、潜在的に可能になっている。例えば、３０枚のフレームから成るフレーム・シーケンスを、各々が複数の層から成る数枚の静止画像と、１つの層の１枚のフレームについて６個ずつのパラメータとで表わすことができる。
【００２８】
次に図３〜図７を参照しつつ説明すると、局所的動き推定部２２は、局所的動きを推定するために、ある１枚のフレーム２０ｉからその次のフレーム２０i+1へかけての、複数のピクセル３１から成る小さなアレイ又は近傍３０の内部での動きを判定する。画像の動きの大きさに関してはいかなる前提条件も存在していないため、即ち、その動きが小さい場合も大きい場合もあり得るため、各々の近傍の内部の動きを判定するために、「初めは粗く次第に細かく」という方式の動き推定方法を用いるようにしており、それによって、大きな動きも小さな動きもいずれも追跡できるようにしている。好適実施例においては、この推定部２２は、マルチ・スケール最小二乗法を用いたものにしている。基本的に、この局所的動き推定部２２は、画像から「ズーム」アウトするために、その画像に対応したガウス・ピラミッド（図６）を形成し、即ち、大きな動きであっても小さな動きとして検出されるようになるまで、その画像の解像度を次第に低下させた表示を次々と生成して行く。この推定部２２は、エリアシングの発生を防止するために、２枚のフレームの画像に対してガウス・フィルタを用いたフィルタ処理を施すことによって、それら画像にボケを導入するようにしている。続いてこの推定部２２は、そのフィルタ処理後データに対してサブサンプリング処理を施し、即ち、そのフィルタ処理後データの、例えばその他の全てのピクセル位置のデータ等の部分集合を抽出し、それによって、新たな画像２１ｉ及び２１ｉ＋１の集合を形成する。この推定部２２は、それら画像に対して更にフィルタ処理を施し、そのフィルタ処理後データのサブサンプリングを行なうことによって、更に低い解像度の画像を生成して、適度に低い解像度の画像Ｉi及びＩi+1が生成されるまで、この処理を反復実行する。
【００２９】
続いてこの推定部２２は、こうして得られた新たな画像Ｉi及びＩi+1の互いに対応する近傍どうしの間の小さな動きを、公知の勾配方式の最小二乗推定法を用いて推定する。従ってこの推定部２２は、その低解像度の近傍に関して、画像Ｉiの中のその近傍３０の内部の位置の関数としてピクセル輝度値を表わしている曲線Ｆ（ｘ）と、画像Ｉi+1の中のその近傍３０の内部の位置の関数としてピクセル輝度値を表わしている曲線Ｇ（ｘ）との間の「隔たり」を表わす、動き速度ベクトルｈを決定する。２次元最小二乗法という解析法を用いて、以下の式を反復して解くことによって、Ｆ（Ｘ）からのＧ（Ｘ）の変位の大きさを表わすこのベクトルｈを求めることができる。
【数１】
ここで、∂ｆ／∂ｘは勾配演算子であり、ｗ（ｘ）は、その動きを推定しようとしているピクセルから遠く離れたピクセルほど寄与分が減少するようにするための重み付け係数である。小さな動きを検出するための同様の方法に、ときに「画像見当合わせ（image registration）と呼ばれる方法があり、これについては Lucasと Kanade による次の論文の中に詳細に記載されている：「An Iterative Image Registration Technique with an Application to Stereo Vision by Lucas and Kanade, Image Understanding Workshop, April, 1981, pp.121-130 」。推定部２２は、動きを解析する際に、Ｇ（ｘ）が、その新たな位置を占めるためにはどこから移動したはずであるかという、元の位置を判定するようにしており、即ち、「ワープ元」を解析するようにしている。従ってこの推定部２２は、上掲の Lucasと Kanade の論文に記載されている方法の変形方法を用いているということができ、 Lucasと Kanade の論文に記載されている方法では、動きを解析するのに、曲線がどこへ向かって動いているのか、即ち「ワープ先」を解析するようにしている。推定部２２は、「ワープ元」という方式を用いて、動きの解析を行なうことによって、ピクセル１個分の大きさ以下の小さな動きを、より正確に判定し得るものとなっている。
【００３０】
画像Ｉi及びＩi+1についての小型動き解析によって判定された動き情報は、ガウス・ピラミッドにおける１つ上の階層へ伝播され、この階層において、より高い解像度を有するそれら画像を用いて動き解析が行なわれる。この階層の第１番目の画像は、基本的に、それより１段階低い解像度の階層で推定された動きに対応した位置へ変位しており、即ちワープされており、この画像について小型動き解析を再び実行する。それによって新たな推定が得られたならば、その推定を、ガウス・ピラミッドの更に１つ上の階層へ伝播させ、そして、その階層における動き解析を実行し、最終的には、解像度を低下させる前の元の解像度を有する画像の、被選択近傍の中での動きが判定されることになる。図７には、階層数が３層のピラミッドを示した。
【００３１】
以上の局所的動き解析を、画像中の全てのピクセルの各々について行なうことによって、その画像の光学流れ動きモデル又は稠密動きモデル（図４）が作成される。上述の近傍の寸法は、この「初めは粗く次第に細かく」という方式の動き検出法を用いたときに、小さな動きのディテールが失われることもなく、また、大きな動きの検出も正確に行なえるような寸法に選定する。
【００３２】
次に図８について説明すると、動きモデル推定部２４ｂ（図３）の一部をなしているアフィン動きモデル推定部３２は、局所的動き推定部２４（図３）が生成した稠密動きモデルの解釈を行なって、フレーム・ペア（ｉ、ｉ＋１）に関するコヒーレント動き領域の夫々のアフィン動きモデルを表わす推定を生成する。物体の形状に関する初期制約条件は存在しておらず、従ってコヒーレント動き領域の推定の初期値は存在しないため、上述の処理部は、フレーム・シーケンスの中のフレーム０とフレーム１とに関連しているコヒーレント動き領域の推定の初期値としては、各々がｎピクセル×ｍピクセルの寸法のｒ個の矩形ブロックから成るグリッドを用いる。続いてこの処理部は、コヒーレント動き領域の各々の内部の動きを、次の形のアフィン変形式としてモデル化する。
【数２】
これらの式において、ＶｘとＶｙとは夫々、位置（ｘ，ｙ）に存在しているピクセルの動き速度ベクトルのｘ成分とｙ成分とであり、また、ａｋは、ｘ方向ないしｙ方向における、夫々、平行移動、剪断変形、及び傾斜変形を表わすアフィン・パラメータである。
【００３３】
推定部３２は、線形回帰法を用いることによって、アフィン動きパラメータの推定結果の値を、それに関係している局所的動きベクトルから求めるようにしている。また、計算量を減らすために、各々の速度成分ごとに個別にこの線形回帰法を適用するようにしており、これが可能であるのは各々の速度成分が互いに独立だからである。ここで、Ｈｉを、アフィン・パラメータ空間内のアフィン・パラメータの第ｉ番目の推定の値とし、そのｘ成分とｙ成分とを、ＨｘｉとＨｙｉとし、更にφを回帰ベクトルとするならば、以下の式が得られる。
【数３】
以上の式において、Ｐｉはその画像中の第ｉ番目の領域である。これは、基本的に、速度空間内における平面の当てはめに他ならない。
【００３４】
アフィン・パラメータ推定部３２は、ある領域についてのアフィン動きパラメータを推定したならば、従って、その領域に対する推定した動きモデルを得たならば、それに続いて、その動きモデルを、その動きに対応している複数の局所的動きの推定の夫々と比較することによって、その領域の全域に亙る分散の値を算出する。続いて、この推定部３２は、その分散の値の逆数である信頼性等級をその動きモデルに付与する。信頼性等級が低い推定は「悪い」推定であると見なされ、無視されることになる。「悪い」推定は、典型的な例としては、１つないし２つ以上の物体境界を含んでいる領域に付随するものであり、なぜならば、そのような領域の中に存在している２つの動きが単一のアフィン動きモデルには適合するということは、通常あり得ないからである。
【００３５】
初期値として用いる領域の寸法は、ある１つの領域が物体境界を包含する確率を低く抑えることができる充分に小さな寸法とする一方で、その領域に付随するアフィン動きパラメータの合理的な推定値を得るための基礎となるデータが充分に含まれるような充分に大きな寸法となるように選定している。
【００３６】
アフィン・パラメータ推定部３２は、設定した上述のグリッドをなしている複数の矩形ブロックの各々に対して１つずつ、合計ｒ個の動きモデルを生成する。それら動きモデルのうちには、互いに同じ物体に対応した動きモデルであるものがあり、そのような動きモデルどうしは互いに類似しているはずである。従ってそのような動きモデルを１つにまとめるようにすれば、画像のセグメンテーション処理の精度を更に高めることができる。
【００３７】
再び図６および図７について説明すると、クラスタ化処理部３４は、ｒ個のアフィン動きモデルの夫々に付随するパラメータを受け取り、それらのうちで最も信頼性の高い方からＣ個の動きモデルを、クラスタ化「中心」の初期値として選択する。選択するそれら中心の各々は、その他のいずれの中心からも、少なくとも、アフィン・パラメータ空間における正規化距離の最小値として定めた距離だけ離れていなければならない。
【００３８】
クラスタ化処理部３４は、ｋ平均クラスタ化法を用いて、選択した各々の中心から所定半径以内に存在している動きモデルをまとめてグループ化し、それによってＣ個の初期クラスタを形成する。続いてこの処理部３４は、所定個数未満の動きモデルしか含んでいないクラスタを無視して、それ以外の夫々のクラスタについて、新たなクラスタ中心の推定値を生成する。即ち、この処理部３４は、任意の１つのクラスタに関して、そのクラスタの中に含まれている複数の動きモデルの各々に付随している夫々のアフィン・パラメータの平均値を求め、それら平均値を新たな中心のパラメータとして使用する。それら平均値に対して、動きモデルに付随している信頼性等級値で重み付けをすることが適当である場合には、そのようにしても良い。
【００３９】
もし、新たな中心のうちの、ある２つの中心の間の距離が、アフィン・パラメータ空間内の所定の離隔距離だけ離れていなかったならば、それら２つの中心に対応しているクラスタどうしを併合した上、その併合クラスタに対応した新たな１つの中心を算出する。クラスタ化処理部３４は、このクラスタ化の処理を行なっている間に、もはや処理結果に変化が生じなくなったならば、その処理結果として得られたｑ個（ｑ≦ｒ）のアフィン動きモデルを、仮説検定部３６へ受け渡し、この仮説検定部３６が、夫々のピクセルを個別に、それら動きモデルの各々と突き合わせて、最良のピクセル−動きモデル間の一致を判定し、即ち、それら動きモデルのうちのどの動きモデルが、そのピクセルの推定した局所的動きを最も良く近似して表わしているかを判定する。
【００４０】
検定部３６は、この仮説検定を実行する間に、各ピクセルをそのピクセルの位置において誤差を最小にする動きモデルに割当てて行くが、それには、次の式で示す値を最小にする動きモデルを選択するようにする。
【数４】
ここで、Ｖａｃｔｕａｌ（ｘ，ｙ）は、局所的動きベクトルのベクトル場であり、また、ＶＨｉは第ｉ番目の動きモデル又は仮説に対応したアフィン動きの場であって、動きモデルｉ＝０、１、...、 ｑの検定を行う。位置（ｘ，ｙ）にあるピクセルは、その位置においてそのピクセルの局所的動きを最も良く近似して表わしている動きモデルに割当てるようにする。いずれの動きモデルとの間で算出した誤差も所定の最小値を超えているピクセルが存在していた場合には、検定部３６は、そのピクセルを割当てないままにしておく。続いて検定部３６は、画像のセグメンテーション処理を実行し、それには、１つ１つのピクセルごとに仕分けを行なって、ｑ個の領域と１つないし複数の未割当てピクセルとに分ける。検定部３６は、未割当てのピクセルの割当てを次のようにして行なっても良く、即ち、フレームとフレームとの間におけるそのピクセルの輝度値の変化量を、夫々の動きモデルによって予測される夫々の輝度値の変化量とを比較した上で、そのピクセルの輝度値を所定の誤差の範囲内で最も良く近似して予測している動きモデルに、そのピクセルを割当てるというものである。従ってこのシステムは、あるピクセルの局所的動きの推定が悪い推定である場合でも、そのピクセルをいずれかの領域に割り振ることができる。
【００４１】
こうして得られたｑ個の領域に基づいて、アフィン・パラメータ推定部３２がアフィン・パラメータの値を更新する。そして、その更新されたアフィン・パラメータの値に基づいて、クラスタ化処理部３４がクラスタ化処理を、仮説検定部３６が仮説検定処理を実行することにより、今度はそれら領域が更新される。更に、その更新された領域に基づいてアフィン動きモデルの生成が再び行なわれ、こうして新たに生成されたアフィン動きモデルを対象として再び上述のクラスタ化処理と仮説検定処理とが実行される。この反復実行は、反復実行して得られた領域が、その直前の実行によって得られた領域と殆ど変化がなくなった時点か、或いは、反復実行の回数が適当に定めた最大回数に達した時点で終了する。以上の反復実行処理によって生成された、あるフレーム・ペアに関する最終的な更新された領域は、フレーム・シーケンスの中のそれに続く次のフレーム・ペアの画像の動きセグメンテーション処理のための領域の初期値として使用される。
【００４２】
符号器１０（図３）が、連続するフレーム・ペアの夫々に対応した動きモデルを次々と推定して行く処理において実行する動作を、図９および図１０のフローチャートに示した。局所的動き推定部２２は、フレームｉからフレームｉ＋１へかけての個々のピクセルの夫々の局所的動きを、マルチ・スケール勾配方式の方法を用いて推定して行き、それによって画像の稠密動きモデルを生成する（ステップ４０）。これに続いて、フレームｉ−１からフレームｉへかけての動きの解析によって得られた複数のコヒーレント動き領域に対応した、夫々のアフィン動きパラメータを算出する（ステップ４２）。なお、そのとき解析しているのが、フレーム・シーケンスの中の第１番目のフレーム・ペアである場合には、互いに重なり部分を持たない任意の複数の領域を用いるようにする。
【００４３】
このシステムは、互いに類似している動きモデルどうし、即ち、対応したパラメータ空間内において所定の最小離隔距離よりも更に互いに近接して存在している動きモデルどうしを、まとめてグループ化し、幾つかのクラスタを形成する。最初のクラスタ中心は予め定めてあり、中心間の距離がアフィン・パラメータ空間内における所定離隔距離より小さいクラスタどうしは併合し、一方、ある１つのクラスタに包含されている動きモデルどうしが所定の最大正規化距離以上に互いから離隔している場合には、そのクラスタを２つのクラスタに分割する（ステップ４４）。続いてこのシステム１０は、同じ１つのクラスタの中に包含されている複数の動きモデルに付随している夫々のアフィン動きパラメータの平均値を求め、そして、各クラスタごとに、新たなアフィン・パラメータ集合が付随した新たなクラスタ中心を生成する（ステップ４６）。以上を更に反復実行することによって、クラスタを繰り返し更新し、そして、ある反復実行をしたときに、それによって割当てを変更された動きモデルの個数が、所定個数に達しなくなった時点で、或いは、反復実行の回数が適当に定めた最大回数に達した時点で、反復実行を終了する（ステップ４６〜４８）。
【００４４】
続いてこのシステムは、以上のようにして得られた複数の動きモデルの各々に個々のピクセルを突き合わせ、そして個々のピクセルを、それら動きモデルのうちで、そのピクセルに対応した位置においてそのピクセルの局所的動きを最も良く近似して表わしている動きモデルに割当てる（ステップ５２）。これに関して、もしあるピクセルｐを２つ以上の動きモデルが完全に同一程度に近似して表わしていた場合には、そのピクセルｐを、そのピクセルｐに最も近い幾つかの画像ピクセルに関連して推定された動きに基づいて生成された動きモデルに割当てるようにしている。また、これと別の方法として、そのピクセルｐを、割当てられたピクセルの個数が最大の動きモデルに割当てるようにしても良い。あるピクセルの局所的動きを、どの動きモデルも、所定の最小誤差（例えば±１ピクセル）以内の精度で近似していないという場合には、そのようなピクセルは、未割当てピクセルとして取扱うようにし、この種のピクセルは、輝度値の変化量の解析によってその割当てを決定するようにしても良い。
【００４５】
領域を更新したならばそのたびに、それら領域のアフィン・パラメータの値を推定する処理手順と、クラスタ化する処理手順と、ピクセル割当ての処理手順とを反復実行し、それらによって、それら更新した領域に更に更新を施し、これを反復実行して更新を繰り返す。そして、新たに反復実行して得た領域が、その直前の反復実行によって得た領域と殆ど変わらないものとなったか、或いは、反復実行の回数が、適当に定めた最大回数に達したならば、その時点で反復実行を終了する（ステップ５４〜５８）。続いてこのシステムは、更新して得たそれら領域を、続く次のフレーム・ペアにおける複数の動きとそれら動きに付随する夫々のコヒーレント動き領域とを解析するための初期条件として使用し、これを次々と繰り返して全てのフレーム・ペアの解析を完了する（ステップ６０〜６２）。解析が完了したフレームの数が増えるにつれて、コヒーレント動き領域の推定をより高精度で行なえるようになり、また、それら領域に付随するアフィン・パラメータが安定して行く。従って、新たなフレームにおける動きを解析するために必要な時間は次第に短縮されて行く。
【００４６】
フレームｉ及びｉ＋１に関して判定された夫々の領域に付随するアフィン・パラメータは、更に、そのフレーム・シーケンスの中の続く次のフレームｉ＋２における動きモデルとして使用するようにしても良く、そうすることによってシステムを安定化させることができる。更に、それらアフィン・パラメータは、仮説検定処理における、動きの予測値として使用することができる。例えば、続く次のフレームにまで同じ動きが継続しているような場合には、ピクセルをその動きモデルに容易に割当てることができ、そのため、収束させるための反復実行の回数を減らすことができる。
【００４７】
以上のようにしてコヒーレント動き領域の識別を完了したならば、このシステムは、続いて、それら領域に対応した夫々の層を抽出する処理を実行し、そのために、動き補償処理（ステップ６４）を実行する。あるコヒーレント動き領域の境界とその領域に付随するアフィン動きパラメータとが共に正確に判定されているならば、適当なアフィン変換式を用いて画像にワープ処理を施すことによって、各フレームの中の互いに対応する領域どうしを位置揃えすることができる。従って、例えば図１の立ち木等の物体を、適当なワープ処理を施したフレーム・シーケンスの中に静止させたままで、花壇と家並みとを動かすようにすることも可能である。また、互いに異なったフレームの中の互いに同一の領域の中に存在する対応するピクセルどうしを結合させて、その領域に対応した層における輝度値を、その層の中の各々のピクセル位置ごとに決定することができるようにしている。
【００４８】
いずれのフレームであれ、１枚のフレームからだけでは得られないような情報を層に包含させることも可能であり、例えば、他のものによって覆い隠されている位置にあるピクセルの輝度値のような情報も、そのピクセルがフレーム・シーケンスの中のその他全てのフレームにおいても同様に覆い隠されているのでない限り、層に包含させることができる。尚、あるピクセルが全てのフレームにおいて覆い隠されているような場合には、そのフレーム・シーケンスを正確に符号化することは要求されない。
【００４９】
次に図１１について説明すると、層抽出処理部２６（図３）は、層の輝度値マップを作成するために、フレーム・シーケンスの中の中央に位置するフレームｆs を選択する。続いて層抽出処理部２６は、その他のフレームのコヒーレント動き領域をこのフレームの対応する領域に対して位置揃えし、それによって層抽出処理部２６は、様々なフレームから得たピクセル情報を組合せて、領域の輝度値マップ、又は層の輝度値マップを生成することができるようになる。これを行なうために、このシステムは、フレーム・シーケンスの中の夫々のフレームに付随している動きパラメータに修正を加えて、そのフレームから被選択フレームへの動きを記述するパラメータを生成する（ステップ７２）。被選択フレームよりも先行しているフレームｉについては、このシステムは、そのフレームｉに付随しているアフィン・パラメータＰｉと、そのフレームｉから被選択フレームまでの間に存在している中間フレームに付随しているアフィン・パラメータＰｊ（ここでｊ＝ｉ＋１、ｉ＋２、...ｓである）とを組合せて、フレームｉからフレームｓへかけての動きを表わす修正後動きパラメータＰｉを生成する。説明を分かり易くするために、ｉ＝０、且つ、ｓ＝２であるものと仮定し、従って、中間フレームが１枚だけであるものとし、また更に、Ｉ２が画像データを表わし、ｘ ２がピクセル位置を表わすものとすれば、修正後アフィン・パラメータは、以下に示すように定義される。
【数５】
この式は「ワープ元」を記述している式であり、この式において、Ｖ２＝Ａ１＋Ｂ１ ｘ ２はアフィン変換式であり、更にここで、Ａ１はフレーム１からフレーム２へかけての定数アフィン・パラメータを表わし、Ｂ１はフレーム１からフレーム２へかけての変数アフィン・パラメータの係数を表わしている。従って次のようになる。
【数６】
以上の式において、Ａ０，２は、フレーム０からフレーム２へかけての定数アフィン・パラメータを表わし、Ｂ０，２は、フレーム０からフレーム２へかけての変数アフィン・パラメータの係数を表わしている。
被選択フレームよりも後のフレームに付随するパラメータを算出するには、以上に説明したのと同様にして、先ず、被選択フレームｓからそのフレームｊへかけてのパラメータを算出し、その後に、フレームｊからフレームｓへ戻るためのパラメータを以下の式によって求める。
【数７】
これらの式において、Ｉは単位行列である。
【００５０】
このシステムは、このようにして求めた修正後動きパラメータを用いて、各々のフレームの中の処理対象のコヒーレント動き領域を、被選択フレームｆｓの中の同じ領域に対して位置揃えする。続いてこのシステムは、それら各々のフレームの中の互いに対応するピクセル位置の輝度値を組合せるようにし、従って、ある長さの時間に亙って輝度値を組合せ、それによって、ピクセル位置に各々ごとに輝度値の中央値を求める（ステップ７４）。続いてこのシステムは、このようにして求めた輝度値の中央値を、層の中の夫々のピクセル位置に割当て、それによって、層の中の全てのピクセル位置の各々に１つずつのピクセル輝度値を当てはめる（ステップ７６）。
【００５１】
処理対象の領域におけるある特定のピクセル位置が、あるフレームにおいては他のものに覆い隠されているという場合には、その領域に関する輝度値中央値の算出を行なう際に、その覆い隠されているピクセル位置の輝度値は考慮しない。このシステムは、各々のピクセル位置に対応した輝度値中央値を算出する際にその計算に使用したピクセルの総数を常に追跡している（ステップ７８）。そしてこのシステムは、その値の算出に寄与したピクセルの個数に基づいて、複数の層を、画像中の深さとして順序付けるようにしている。前景の物体は決して他のものによって覆い隠されることがないため、その全てのピクセル位置において、算出に寄与したピクセルの個数が大きな数になっている。一方、他のものに覆い隠されている物体は、そのうちの幾つかのピクセル位置において、寄与ピクセルの個数が小さな数になっている。従ってこのシステムは、覆い隠されている部分を有する層を、覆い隠されている部分のない層の背後に置くことによって、層の順序付けを行なうことができる。
【００５２】
このシステムは、符号化処理によって複数の層を生成するものであり、それら複数の層は、その各々が、ピクセル輝度値マップと、修正後動きパラメータの集合と、順序付け情報とをを含んでいる。このシステムはそれらの情報を、後に復号化処理を実行したり伝送したりするために、格納しておくようにしている。
【００５３】
それら複数の層は、このシステムに、フレーム・シーケンスの中の１枚のフレームからだけでは得られない情報を提供する。例えば、再び図１について説明すると、視線を遮る立ち木が存在しているため、フレーム・シーケンスの中に花園の全体が見えるフレームは１枚も存在していないにもかかわらず、花園に対応した層２ａは、花園の全てのピクセルを含んでいる。同様に、家並みに対応した層３ａは、図示のフレーム・シーケンスの最後の部分に至らねば見えない家に関するピクセル情報を含んでいる。このシステムは、これらピクセル情報の全てを保持しているため、動きパラメータに補間法を適用することによって、単位時間あたりのフレーム数を変化させる場合等に必要な中間フレームの生成を行なうことができる。更にこのシステムは、認識システムへデータを供給する際には、覆い隠されている部分を解消した後にそのデータを供給することによって、その認識システムが物体をより容易に認識できるようにすることができる。更にこのシステムは、物体の動きに基づいてその物体を認識するようにした認識システムへデータを提供するためのシステムとすることもでき、それには、その種の認識システムへ、処理対象の物体だけに関係したデータを供給するようにする。
【００５４】
物体が不透明なものであれば、全ての画像情報が層及び動きパラメータの中に包含されることになる。一方、画像のある１つの部分ないしは幾つかの部分が透明である場合や、焦点ボケや動きブレ等の「特殊効果」を呈している場合には、そのような効果に関係した追加情報を、別に格納しておくようにする。更には、そのような領域の縁部における透明度の変化をより正確に表わすためには、更なる修正計算処理が必要になることもあり得る。
【００５５】
ある領域が静止している場合、或いは、ある領域がテクスチャを持たない場合には、そのような領域は、１つのフレームから別のフレームへかけて変形されることのない単一の層に対応付けるようにしている。そのような領域へ動きを対応付けることにおけるいかなる誤りも、検出することは不可能であり、従って無視することになる。
【００５６】
ある特定の動きが、選択した種類の動き式（本実施例ではアフィン変換式）では正確に記述することができないような動きである場合には、その動きによって影響を受けるピクセルの輝度値を制御するための誤差修正情報を層に含めておく必要がある。例えば、回転することによってその姿が著しく変化する物体を記述している層には、誤差マップを含めておくようにする。
【００５７】
簡潔に要約するならば、このシステムは、コヒーレント動き領域を判定するための解析の一部として局所的動きの推定を行なって、画像を符号化して一連の複数の層にするものである。このシステムは、その解析の対象を主要な動きや小さな動きに限ってはいない。更にこのシステムは、物体の境界の割当てを行なったり、物体に境界を任意に制限したりしてはいない。そうではなくて、このシステムは、個々のピクセルを、そのピクセルの局所的動きを最も良く近似して予測している動きモデルに割当てるようにしているのである。
【００５８】
画像にセグメンテーション処理を施して、その画像を複数のコヒーレント動き領域に分け、その後に、それら領域の各々を個別の層に対応付けるようにしているため、画像シーケンスを、一連の順序付けした複数の層のマップとそれに付随する動きパラメータ集合という形で格納しておけるようになっている。そのため非常に僅かな記憶容量の中に画像を格納することができ、また、非常に狭い帯域幅で画像を伝送することができる。
【００５９】
このシステムは、各層に、その層の中の全てのピクセル位置ごとに１つずつの輝度値を含ませるようにしている。従って、このシステムにおいては、１枚だけのフレームの中に存在している画像情報以上の量の画像情報が入手可能となっている。このシステムは更に、その情報を利用して、例えば特定の物体を消去した画像シーケンスを生成することや、単位時間あたりのフレーム枚数が異なる「超高解像度」のフレーム・シーケンスを生成することもできる。このシステムは更に、その情報を利用して、ブレがなくなるように動き補償する低ノイズ化処理を行なうことも可能にしている。
【図面の簡単な説明】
【図１】 「花園（Flower Garden ）」という題名の画像シーケンスの３枚のフレームとその画像シーケンスに対応した、画像の複数の層を示した図である。
【図２】 １つの画像を一連の複数の層として符号化及び復号化するためのシステムの機能を示したブロック図である。
【図３】 図２のシステムに含まれている符号器の機能を示したブロック図である。
【図４】 図１に示したうちの１枚のフレームの稠密動きモデルを示した図である。
【図５】 局所的動きの判定に用いるピクセル近傍を示した図である。
【図６】 ガウス・ピラミッドの中での画像の変化を示した図である。
【図７】 ガウス・ピラミッドの中での画像の変化を示した図である。
【図８】 図２のシステムに含まれている動きセグメンテーション処理部の機能を示したブロック図である。
【図９】 図２のシステムに含まれている局所的動き推定部及び動きセグメンテーション処理部の動作を示したフローチャートであり、図１０へ続く図である。
【図１０】 図２のシステムに含まれている局所的動き推定部及び動きセグメンテーション処理部の動作を示したフローチャートであり、図９から続く図である。
【図１１】 図２のシステムに含まれている層抽出処理部の動作を示したフローチャートである。
【符号の説明】
１０ 符号化／復号化システム
１２ 符号器
１４ データ格納／伝送装置
１６ 復号器
２２ 局所的動き推定部
２４ 動きセグメンテーション処理部
２４ａ コヒーレント動き領域推定部
２４ｂ 動きモデル推定部
２６ 層抽出処理部
３２ アフィン動きモデル推定部
３４ クラスタ化処理部
３６ 仮説検定部
【産業上の利用分野】
本発明は、広くは画像の符号化に関するものであり、より詳しくは、画像データに対して、その格納、伝送、ないし復号化が容易なように、圧縮処理を施す機構に関するものである。
【０００２】
【従来の技術及び発明が解決しようとする課題】
本願の関連出願として、その発明の名称を「画像の符号化のための層構造表現（Layered Representation For Image Coding ）」とした、Edward H. Adelson による米国特許出願第０７／８８８８０１号があり、同米国出願は、この言及をもって本開示に組み込むものとする。同米国出願には、１つの画像を、その画像中の「深さ」によって順序付けた一連の複数の層で表わすようにした、画像圧縮システムが記載されている。このシステムは、それら複数の層の各々に、画像シーケンスの継続時間に亙って、その層にどのような操作を加えて行けば良いか、あるいは、その層をどのように変形させて行けば良いかということに関する情報を包含させるようにしており、それによって、画像シーケンスを表わせるようにしている。
【０００３】
１つの層は、一連の複数のデータ・マップによって構成されており、それらマップの各々は、画像中の、他のどの物体の動きとも明確に異なった動きをしている１つの物体ないし物体の１つの部分に関連付けられている。各々のマップは、離散した２次元位置に関するデータの集合として構成されており、それらマップのうちには、第３次元として時間の次元を含んでいるものもある。それらマップは、各々の位置ごとに、（ｉ）例えばシーケンスの開始点等の一定の瞬間における輝度値と、（ii）時間の経過に伴う減衰量と、（iii）時間の経過に伴う速度変化とを示している。更に任意に含めることのできるマップとして、コントラスト変化マップ、ブレ／ボケ・マップ、等々のマップがあり、コントラスト変化マップは、それに対応する層の輝度値マップにどのような数を乗じて時間の経過に伴うコントラストの変遷を作り出すべきかを記述したマップであり、また、ブレ／ボケ・マップは、１つないし複数の位置に、動きブレや焦点ボケを追加するものである。これら任意マップを、必要に応じて含めるようにして、対応した物体の時間の経過に伴う変化を記述するようにしても良い。それら複数の層から画像シーケンスを再生あるいは復号化するには、それら複数の層を然るべき順序で組合せた上で、それら層に時間の経過に従って然るべき操作を加えて行き、即ち「ワープ（warp）」させて行くようにする。
【０００４】
物体を規定するための方法、即ち物体の境界を判別するための方法には、様々なものがある。例えば、動き解析を反復実行するという方法があり、その一例は主要動き解析という方法であって、この方法は、画像シーケンスの中にただ１つの主要動きが存在しているということを繰り返して仮定し、その仮定した動きに基づいて１つの物体（主要物体）を規定する。続いて、この主要物体をマスクした上で、あるいは画像から除外した上で、その画像の残りの部分について第２の主要動きが存在するものと仮定して再度解析を行なう。第２の物体が識別されたならば、その物体をも画像から消去した上で、その画像に再びワープ処理を施して更なる動き解析を行なうようにすれば良い。この種の主要動き解析は「反復的動き解析を利用した画像シーケンス・エンハンスメント（Image Sequence Enhancement Using Multple Motions Analysis ）」という題名の Iraniと Pelegによる論文に記載されている。この方法は、画像中にただ１つの、そして明確に主要動きであるといえる動きが存在している場合には、その主要物体を正確に識別することができる。しかしながら、画像中に複数の主要動きが存在している場合には、それら複数の物体を正確に識別することができない。
【０００５】
画像中の物体を判別するための更に別の方法に、ブロック・マッチング法がある。この方法では、１つのフレームからその次のフレームへかけての、複数の矩形のピクセル・ブロックの動きを判定し、それらブロックに対して夫々に動きベクトルを対応付ける。そして、互いに類似した動きをしているブロックどうしは同一の物体の夫々の部分であると見なす。不整な形状の物体をも含めて、全ての物体がそれらブロックの組合せで表わされる。「低ビット・レートの映像信号の圧縮のための、セグメンテーションを利用した、動きの差分及び動きフィールド画像の符号化（Segmentation-Based Coding of Motion Difference and Motion Field Images For Low Bit-Rate Video Compression ）」という題名の、 Liuと Hayesによる論文に記載されているように、１つの物体を表わすのに様々な大きさのブロックを使用することができるが、不整な形状の物体は、それらブロックによって完全に正確に表わすことはできない。
【０００６】
【課題を解決するための手段】
本発明は、複数の物体を包含している画像について、（ｉ）画像シーケンス又はフレーム・シーケンスの全体の中における複数のコヒーレント動き領域の夫々の境界と、（ii）１つのフレームからその次のフレームへかけてのそれら領域の変形を記述した、それら領域の各々に対応した動き式の動きパラメータ又は係数を同時に判別するためのシステム、並びにそのシステムの動作方法である。その動き式が例えばアフィン変換式である場合には、１つのフレームからその次のフレームへかけてのその画像の領域の全体の動きは、６個のアフィン・パラメータから成るアフィン・パラメータ集合で記述される。このシステムは、この情報を用いて画像シーケンスを符号化することにより、その画像シーケンスを各々が１つずつの領域に対応した一連の複数の層にすると共に、速度マップを圧縮して動きパラメータの集合にする。
【０００７】
本発明のシステムは、画像中に主要動きが存在していることを必要とせず、画像中の動きが、選択した動き式の集合で記述し得るような動きでありさえすれば良い。例えばアフィン変換式は、滑らかな動きを記述するものであるため、非常に複雑な動きはエラー状態として取り扱われることになる。このシステムは更に、物体が、例えば複数の矩形ブロックで表現し得るような、整った形状であることを必要としてない。このシステムは、個々のピクセルをコヒーレント動き領域に割当てるようにしており、そのため、基本的に、いかなる形状の物体でも表現することができる。
【０００８】
手短に要約して述べると、このシステムは、先ず最初に、動きの局所的な推定を行ない、それには、１つの画像フレームｉからその次の画像フレームｉ＋１へかけての、幾つかのピクセルから成る小近傍の動きを判定して、画像の光学流れモデル、又は稠密な動きモデルすなわち稠密動きモデルを生成する。このシステムは続いて、アフィン変換式等の低次の滑らかな変換式を用いて、このシステムが先にコヒーレント動きをしているものと識別したところの、即ちフレームｉ−１からフレームｉへかけての動きを解析した際に識別したところの、複数の領域から成る１つの領域集合の中の動きの推定を行なう。このシステムは続いて、それら領域の各々ごとに動きモデルすなわち領域動きモデルを作成する。
【０００９】
続いてこのシステムは、互いに類似している動きモデルどうしをグループ化、又はクラスタ化し、そして、その画像についての、更新した動きモデルの集合を反復して生成する。このシステムは続いて、局所的動き推定結果に基づいて、画像中の個々のピクセルを、そのピクセルの動きを最も良く近似している動きモデルに割当てることによって、コヒーレント動き領域の更新を行なう。このシステムは、こうして更新した領域に基づいて、再びその動きモデルを更新し、そして更なる更新をすべきである場合には、コヒーレント動き領域を更に更新し、以下同様にして、反復実行してもピクセルの割当てが殆ど変化しなくなったならば、反復実行を終了する。
【００１０】
続いてこのシステムは、フレームｉ＋１及びｉ＋２についての動き解析を行ない、その際に、このフレーム・ペアにおけるコヒーレント動き領域の初期推定結果として、その直前のフレームｉ及びｉ＋１の解析において識別した更新した領域の集合を用いる。このシステムは続いて、局所的動きの推定処理と、上述の領域の動きを推定する処理と、ピクセル割当て処理とを反復実行し、そして、今回のフレーム・ペアに対応した、反復実行してもピクセルの割当てが殆ど変化しない更新領域が識別された時点で、その反復実行を終了する。続いてこのシステムはその更新領域の集合を、その次のフレーム・ペアの解析において使用し、以下同様にして、フレーム・シーケンスの中の全てのフレーム・ペアの解析を完了するまで以上の処理を繰り返す。
【００１１】
このシステムは、全てのフレーム・ペアの解析を完了した時点において、既に画像のセグメンテーションを完了して、その画像を複数のコヒーレント動き領域に分け終っている。従ってこのシステムは、それら複数の領域の夫々に対応する層を「抽出」する必要があり、即ち、それら夫々の層を、（１）ピクセル輝度値と、（２）その層に対応した動きモデル・パラメータと、（３）画像中における「深さ」の順序とによって規定する必要がある。それら層の順序付けは、覆い覆われている関係と不透明性の関係とを保存するためのものであり、なぜならば、この順序付けによって、前景の物体に対応している層が、背景中の物体に対応している層の手前に位置付けられるからである。
【００１２】
このシステムは、層抽出を行なうためには、層の中の各々のピクセル位置ごとにピクセル輝度情報を決定する。従って、このシステムは、各フレームにおいて処理対象の領域に関係している個々のピクセルの動きを判定する。このシステムは１つのフレームを選択し、例えばフレーム・シーケンスの中央のフレーム等を選択する。そして、その被選択フレーム以外の各々のフレームの中の、処理対象の領域内に存在するピクセルを、被選択フレームの中の対応する領域に対して位置揃えし、それを、その領域に付随している動きパラメータを用いて、１つのフレームからその次のフレームへのピクセルの動きをたどることによって行なっている。またそのときに、このシステムは、それら動きパラメータに修正処理を施し、即ち、それら動きパラメータどうしを適当に結合させて、それら動きパラメータが、所与のフレームの中の領域と被選択フレームの中の同じ領域との間での動きを記述できるようにしており、これについては後に詳しく説明する。続いてこのシステムは、その層の中の各ピクセル位置ごとの輝度値を決定し、この輝度値は、互いに位置揃えした夫々のピクセルの輝度値の組合せに基づいた値である。そのためにこのシステムはそれらピクセルの輝度値を積算し、即ち、それら輝度値を時間の流れの中で結合し、そして、その結合における中央値を算出する。続いてこのシステムは、算出したその中央値を、その層の中の対応するピクセル位置に割当てる。これによって層の輝度マップが得られる。続いてこのシステムは、残りの各層について位置揃えとピクセル輝度値の算出とを反復して実行し、それによって、各層ごとに、その層に関する輝度値マップを作成する。
【００１３】
あるフレームにおいて他のものに覆い隠されているピクセルの輝度値は、層の輝度値の算出に使用しないようにしている。このシステムは、各々の層の輝度値の算出に使用したピクセルの個数をカウントしており、輝度値の算出に使用された寄与ピクセルの個数が多い層を、輝度値の算出に使用された寄与ピクセルの個数が少ない層よりも手前に置くようにして、層どうしの間の順序付けを行なう。続いてこのシステムは、輝度値マップと、修正後動きパラメータと、順序付け情報とを、１つの層として格納する。
【００１４】
格納されている複数の層に復号処理を施して、それらを１つの画像シーケンスにするためには、復号器が、先ず、それら層を順序付け情報に従って重ね合わせて１つの画像を生成し、続いてその画像に対し、格納されている動きパラメータに従ってワープ処理を施すことによって、画像フレーム・シーケンスを生成する。層抽出を実行した際に、層の中の全てのピクセル位置の各々に１つずつ輝度値を付与してあるため、フレーム・シーケンスの一部分においてある領域のある部分が他のものに覆い隠されている場合でも、その覆い隠されている部分は、輝度値マップの中では、覆い隠された状態から回復されて表現されている。従って、覆い隠している側の物体に対応した層を排除して、その覆い隠している側の物体をフレーム・シーケンスから消去することができ、そうすることによって、本来は部分的に覆い隠されていた物体を完全な姿で生成することができる。このシステムは、それら層を利用して、「超高解像度」の画像シーケンス、あるいは、フレーム・レートを異ならせた画像シーケンスを生成することもでき、それが可能であるのは、このシステムは、画像シーケンスの全体を通しての夫々のコヒーレント動き領域及びそれらコヒーレント動き領域の中の個々のピクセルの算出された動きに基づき、補間法を用いて、中間ピクセル及び／または中間フレームを正確に生成することができるからである。
【００１５】
【実施例】
本発明の以上の利点、並びにその他の利点は、添付図面と共に以下の説明を参照することによって更に明瞭に理解することができる。図１は、Motion Picture Expert Group （ＭＰＥＧ）が製作した「Flower Garden （花園）」というタイトルの作品の、一連のフレームから成るフレーム・シーケンスのうちの３枚のフレームの画像を図示している。以下に、これらフレームを参照しつつ、「画像の層」の概念について更に詳細に説明して行く。
【００１６】
それらのフレームは、１つの撮影シーンを横切って移動するカメラから発生された一連のフレームから成るフレーム・シーケンスの一部分であり、前景の立ち木１と、中景の地面の花園２と、背景の家並み３とを含んでいる。立ち木１、花園２、それに家並み３という夫々の物体は、このフレーム・シーケンスの中で時間的コヒーレンシーを有しており、時間的コヒーレンシーを有しているというのは、それら物体がその形状ないしテクスチャのパターンを時間の経過と共にゆっくりと変化させているという意味である。それら物体は更に、このフレーム・シーケンスの中で空間的コヒーレンシーを有しており、空間的コヒーレンシーを有しているというのは、それら物体が、異なったフレームでは異なった部分が覆い隠されているため、その部分に関する情報が後のフレームでは含まれたり含まれなかったりしているにもかかわらず、このフレーム・シーケンスの全体に亙ってその形状ないしテクスチャのパターンを滑らかに変形させつつ変化させているという意味である。立ち木１、花園２、それに家並み３は、カメラに対する相対位置が互いに異なっているため、このフレーム・シーケンスの全体に亙って夫々に異なった動きをしている。
【００１７】
図示した画像は、それにセグメンテーション処理を施すことによって、各層が夫々、立ち木１と、家並み２と、花園３と、実質的に動きのない背景即ち空４との各々に対応した、合計４つの層１ａ〜４ａに分けることができる。そして、そのように４つの層に分けたならば、それら４つの層１ａ〜４ａの各々をその層に付随する動きパラメータに従って変形させつつ、それら４つの層を合成することによって、このフレーム・シーケンスを表わすということが可能になる。従ってそれら層と、それら層の変形量と、時間の経過に従ったそれら層の変形の仕方を記述した数式とで、この画像シーケンスを表わすことによって、この画像シーケンスを圧縮形で表わすことができる。ここでいう層とは、アニメーション用のセルのようなものであり、アニメーション用のセルは、例えば、静止或いは動いている背景に対してそのセルを相対的にずらしたり平行移動させたりすることによって、そのセルに描き込んである人物や物体の動きを表現することができる。ただしここでいう層は、アニメーション用のセルとは異なり、それら層を利用することによって、アニメーション用のセルの平行移動よりはるかに複雑な動きを表現することができる。
【００１８】
画像にセグメンテーション処理を施して複数の層に分けるには、複数の物体の境界を判定することが、即ち、複数のコヒーレント動き領域を判定することが必要であり、また更にそれと同時に、それら領域の夫々の動きを判定することも必要である。本発明者らは、アフィン変換式を用いてそれらの動きを表わすことにしたが、ただし、アフィン変換式に限らず、その他の種類の、滑らかな低次の関数の集合を使用することも可能である。アフィン動きモデルでは、ある動きを規定するのに、平行移動、剪断変形、縮倍変形、ないしはそれらの組合せとして規定するため、使用するパラメータの個数は６個になる。例えば回転は、垂直剪断変形と水平剪断変形との組合せである。
【００１９】
次に図２について説明すると、システム１０は、データを符号化し、従って圧縮し、そしてその圧縮したデータを復号化して画像を再生するシステムであり、符号器１２を含んでいる。符号器１２は、一連の画像フレームから成る画像フレーム・シーケンスに対応したディジタル画像データを符号化して圧縮し、それによって、（ｉ）各層がその画像の中のコヒーレント動き領域の１つずつを表わしている一連の順序付けされた複数の層と、（ii）それら層の各々に付随する、１つのフレームからその次のフレームへかけてのその層の変形を記述した動きパラメータとを生成する。データ格納／伝送装置１４は、様々な層とそれら層に付随する動きパラメータとを表わしているデータを格納すると共に、その情報を復号器１６へ伝送するものであり、復号器１６は、それら様々な層を組み立てて１つの画像を生成した上、更に、格納されていた動きパラメータに従って様々な層をワープさせて行くことによって画像シーケンスを再生する。続いて復号器１４は、このようにして復号化したフレーム・シーケンスを、ビデオ・ディスプレイ・ユニット（不図示）へ送出してディスプレイさせる。
【００２０】
次に図３について説明すると、符号器１２は、局所的動き推定部２２を含んでおり、この局所的動き推定部２２は、前後に連続した２枚のフレームｉとｉ＋１との間における、ピクセルの小さなアレイ又はピクセル近傍の中の動きを推定するものである。この近傍は、例えば３ピクセル×３ピクセルのアレイとすることができる。推定部２２は、それら近傍の各々について、その平均的動きを表わす速度ベクトルを発生し、そしてその速度ベクトルを、その近傍の中央に位置しているピクセルに対応付ける。続いてこの推定部２２は、その次のピクセルに対応した、先の近傍との間に重なり部を有する新たな近傍を選択し、その平均的動きベクトルを決定し、そしてその速度ベクトルを、その新たな近傍の中央に位置するピクセルに対応付ける。推定部２２は、以下同様に反復実行して、画像中の全てのピクセルの各々に動きベクトルを対応付ける。これによって例えば図４に示したような、その画像の光学流れモデル又は稠密動きモデルが得られる。以下に、図５並びに図６および図７を参照しつつ、この局所的動き推定部の動作について更に詳細に説明して行く。
【００２１】
動きセグメンテーション処理部２４は、コヒーレント動き領域推定部２４ａと動き推定部２４ｂとで構成されており、それらは協働して、画像中の複数のコヒーレント動き領域と、それら領域に付随する夫々の動きモデルの集合とを同時に判定する。動き推定部２４ｂは、コヒーレント動き領域推定部２４ａが識別した複数のコヒーレント動き領域における夫々の動きを推定して、それら領域の各々に対し１つずつの推定した動きモデル（例えばアフィン動きモデル）を生成する。続いて、動き推定部２４ｂは、互いに類似した動きモデルどうしをまとめてグループ化し、各グループごとに１つずつの合成動きモデルを生成する。続いてコヒーレント動き領域推定部２４ａが、個々の画像ピクセルをそれら合成動きモデルに対応付けて行き、その際に、個々のピクセルを、それら動きモデルのうち、そのピクセルの局所的動きを最も良く近似して表わしている動きモデルに対応付けるようにする。この処理部は、これを行なうことによって、更新したコヒーレント動き領域を生成する。この処理部は、それら更新した領域を用いて更に新たな動きモデルを生成し、それによって更に領域を更新するというようにして、反復実行により更新を繰り返す。
【００２２】
その反復実行の回数が所定回数に達した時点で、或いは、ある反復実行によって得られたピクセルの対応付けの結果が、その直前の反復実行によって得られたピクセルの対応付けの結果と殆ど変わりないということが最初に起きた時点で、処理部２４は、動きモデルのパラメータと、夫々のコヒーレント動き領域を特定している情報とを、そのときの処理対象のフレーム・ペアのうちの後の方のフレーム、即ちフレームｉ＋１に対応した格納位置に格納する。処理部２４は更に、こうして特定されたコヒーレント動き領域を、続く次のフレーム・ペア、即ちフレームｉ＋１及びｉ＋２を対象とした解析における、コヒーレント動き領域の推定の初期値として使用する。以下にこの動きセグメンテーション処理部２４の動作について、図８を参照しつつ更に詳細に説明して行く。
【００２３】
局所的動き推定部２２は、各々のフレーム・ペアごとに、局所的動きの推定の処理と各ピクセルに１つずつの動きベクトルを対応付ける処理とを行なって行く。続いて、動きセグメンテーション処理部２４が、その処理対象の画像のセグメンテーション処理を実行して、その画像を複数のコヒーレント動き領域に分ける。この処理は、上述の処理手順に従って、先行フレーム・ペアに関して識別された夫々のコヒーレント動き領域を、現在フレーム・ペアにおける夫々のコヒーレント動き領域の推定の初期値として使用して行なうものであり、これを次々と反復実行して、そのフレーム・シーケンスの中の全てのフレーム・ペアについての解析を完了する。従ってこの処理部は、そのフレーム・シーケンスの中にあってコヒーレント動きを行なっている夫々の領域を特定すると共に、各々のフレーム・ペアごとに、そのフレーム・ペアの第１のフレームから第２のフレームへかけてのそれら夫々の領域の動きを記述した動きモデルの集合を決定する。
【００２４】
層抽出処理部２６は、フレーム・シーケンスの中の全てのフレームの夫々に対応したコヒーレント動き領域の情報とそのコヒーレント動き領域に関連した動きモデルの情報とを結合して、各コヒーレント動き領域ごとに１つずつの層を生成する。この処理部２６は、先ず最初に、フレーム・シーケンスの中央に位置するフレームを選択し、その被選択フレームより先行しているフレーム及びその被選択フレームより後のフレームの各々について、そのフレームの中の様々なコヒーレント動き領域をどのように変形させれば、それらコヒーレント動き領域を、被選択フレームの中のそれらに対応するコヒーレント動き領域に位置揃えすることができるかを判定する。そのためにこの処理部２６は、ある１つのフレームの中のある１つのコヒーレント動き領域に付随している動きパラメータを、そのフレームと被選択フレームとの間に存在している中間フレームの中の同じ領域に付随している動きパラメータと結合して、修正した動きパラメータ集合を生成するようにしている。
【００２５】
処理部２６は、こうして得られた修正後動きパラメータを用いて、被選択フレームの中の領域に、各々のフレームの中のそれに対応する夫々の領域を位置揃えし、そして、その領域内の全てのピクセル位置の各々に対する夫々の合成ピクセル輝度値を算出する。続いてこのシステムは、決定したそれら輝度値を用いて、層の輝度値マップを作成する。
【００２６】
処理部２６はそれら合成輝度値を算出する際に、他のものに覆い隠されているピクセルの輝度値は計算に用いないようにしている。従って、部分的に覆い隠されている物体に対応している層では、合成輝度値を算出するために結合するピクセル輝度値の個数が、そうでない層と比べて少なくなっている。処理部２６は、合成輝度値の算出に寄与しているピクセルの個数を数えることによって、層どうしの間の順序付けを行なうようにしている。従って各々の層は、（ｉ）ピクセル輝度値のマップと、（ii）被選択フレームからフレーム・シーケンスの中のその他の各々のフレームへかけてのその層の動きを規定した修正後動きパラメータの集合と、（iii）画像を復号化即ち再生する際に、その層をその他の層とどのようにして合成すべきかを指示した層順序情報（層深さ情報）とで構成されている。また、処理部２４は、必要に応じて、各層の中に更に、減衰、動きブレ、等々に関する情報を含ませるようにもしている。続いて処理部２６は、それらの層情報をデータ格納／伝送装置１４（図１）へ送出して、格納及び／または伝送を行なわせる。以下に、この層抽出処理部２６の動作について、図１１を参照しつつ更に詳細に説明して行く。
【００２７】
システム１０は、局所的動きの推定から出発して再び局所的動きの推定へ帰るようにして、それら局所的動きに関係したコヒーレント動き領域の動き及び境界の決定を反復して行なうことにより、画像の中の複数のコヒーレント動き領域の内部における単一の動きの推定を複数回に亙って行なって、その画像全体の中に存在している複数の動きを解析するという課題を達成している。このようにしているため、システム１０は、僅かな数の層と、それら層に付随する動きパラメータとで、画像データを表わすことが可能になっている。従って、このシステム１０では、画像データを格納する際に、従来公知のシステムにおいて必要とされていた記憶容量よりも小さな記憶容量の中に格納することと、画像データを伝送する際に、従来公知のシステムにおいて必要とされていた帯域幅よりも狭い帯域幅で伝送するということとが、潜在的に可能になっている。例えば、３０枚のフレームから成るフレーム・シーケンスを、各々が複数の層から成る数枚の静止画像と、１つの層の１枚のフレームについて６個ずつのパラメータとで表わすことができる。
【００２８】
次に図３〜図７を参照しつつ説明すると、局所的動き推定部２２は、局所的動きを推定するために、ある１枚のフレーム２０ｉからその次のフレーム２０i+1へかけての、複数のピクセル３１から成る小さなアレイ又は近傍３０の内部での動きを判定する。画像の動きの大きさに関してはいかなる前提条件も存在していないため、即ち、その動きが小さい場合も大きい場合もあり得るため、各々の近傍の内部の動きを判定するために、「初めは粗く次第に細かく」という方式の動き推定方法を用いるようにしており、それによって、大きな動きも小さな動きもいずれも追跡できるようにしている。好適実施例においては、この推定部２２は、マルチ・スケール最小二乗法を用いたものにしている。基本的に、この局所的動き推定部２２は、画像から「ズーム」アウトするために、その画像に対応したガウス・ピラミッド（図６）を形成し、即ち、大きな動きであっても小さな動きとして検出されるようになるまで、その画像の解像度を次第に低下させた表示を次々と生成して行く。この推定部２２は、エリアシングの発生を防止するために、２枚のフレームの画像に対してガウス・フィルタを用いたフィルタ処理を施すことによって、それら画像にボケを導入するようにしている。続いてこの推定部２２は、そのフィルタ処理後データに対してサブサンプリング処理を施し、即ち、そのフィルタ処理後データの、例えばその他の全てのピクセル位置のデータ等の部分集合を抽出し、それによって、新たな画像２１ｉ及び２１ｉ＋１の集合を形成する。この推定部２２は、それら画像に対して更にフィルタ処理を施し、そのフィルタ処理後データのサブサンプリングを行なうことによって、更に低い解像度の画像を生成して、適度に低い解像度の画像Ｉi及びＩi+1が生成されるまで、この処理を反復実行する。
【００２９】
続いてこの推定部２２は、こうして得られた新たな画像Ｉi及びＩi+1の互いに対応する近傍どうしの間の小さな動きを、公知の勾配方式の最小二乗推定法を用いて推定する。従ってこの推定部２２は、その低解像度の近傍に関して、画像Ｉiの中のその近傍３０の内部の位置の関数としてピクセル輝度値を表わしている曲線Ｆ（ｘ）と、画像Ｉi+1の中のその近傍３０の内部の位置の関数としてピクセル輝度値を表わしている曲線Ｇ（ｘ）との間の「隔たり」を表わす、動き速度ベクトルｈを決定する。２次元最小二乗法という解析法を用いて、以下の式を反復して解くことによって、Ｆ（Ｘ）からのＧ（Ｘ）の変位の大きさを表わすこのベクトルｈを求めることができる。
【数１】
【００３０】
画像Ｉi及びＩi+1についての小型動き解析によって判定された動き情報は、ガウス・ピラミッドにおける１つ上の階層へ伝播され、この階層において、より高い解像度を有するそれら画像を用いて動き解析が行なわれる。この階層の第１番目の画像は、基本的に、それより１段階低い解像度の階層で推定された動きに対応した位置へ変位しており、即ちワープされており、この画像について小型動き解析を再び実行する。それによって新たな推定が得られたならば、その推定を、ガウス・ピラミッドの更に１つ上の階層へ伝播させ、そして、その階層における動き解析を実行し、最終的には、解像度を低下させる前の元の解像度を有する画像の、被選択近傍の中での動きが判定されることになる。図７には、階層数が３層のピラミッドを示した。
【００３１】
以上の局所的動き解析を、画像中の全てのピクセルの各々について行なうことによって、その画像の光学流れ動きモデル又は稠密動きモデル（図４）が作成される。上述の近傍の寸法は、この「初めは粗く次第に細かく」という方式の動き検出法を用いたときに、小さな動きのディテールが失われることもなく、また、大きな動きの検出も正確に行なえるような寸法に選定する。
【００３２】
次に図８について説明すると、動きモデル推定部２４ｂ（図３）の一部をなしているアフィン動きモデル推定部３２は、局所的動き推定部２４（図３）が生成した稠密動きモデルの解釈を行なって、フレーム・ペア（ｉ、ｉ＋１）に関するコヒーレント動き領域の夫々のアフィン動きモデルを表わす推定を生成する。物体の形状に関する初期制約条件は存在しておらず、従ってコヒーレント動き領域の推定の初期値は存在しないため、上述の処理部は、フレーム・シーケンスの中のフレーム０とフレーム１とに関連しているコヒーレント動き領域の推定の初期値としては、各々がｎピクセル×ｍピクセルの寸法のｒ個の矩形ブロックから成るグリッドを用いる。続いてこの処理部は、コヒーレント動き領域の各々の内部の動きを、次の形のアフィン変形式としてモデル化する。
【数２】
【００３３】
推定部３２は、線形回帰法を用いることによって、アフィン動きパラメータの推定結果の値を、それに関係している局所的動きベクトルから求めるようにしている。また、計算量を減らすために、各々の速度成分ごとに個別にこの線形回帰法を適用するようにしており、これが可能であるのは各々の速度成分が互いに独立だからである。ここで、Ｈｉを、アフィン・パラメータ空間内のアフィン・パラメータの第ｉ番目の推定の値とし、そのｘ成分とｙ成分とを、ＨｘｉとＨｙｉとし、更にφを回帰ベクトルとするならば、以下の式が得られる。
【数３】
【００３４】
アフィン・パラメータ推定部３２は、ある領域についてのアフィン動きパラメータを推定したならば、従って、その領域に対する推定した動きモデルを得たならば、それに続いて、その動きモデルを、その動きに対応している複数の局所的動きの推定の夫々と比較することによって、その領域の全域に亙る分散の値を算出する。続いて、この推定部３２は、その分散の値の逆数である信頼性等級をその動きモデルに付与する。信頼性等級が低い推定は「悪い」推定であると見なされ、無視されることになる。「悪い」推定は、典型的な例としては、１つないし２つ以上の物体境界を含んでいる領域に付随するものであり、なぜならば、そのような領域の中に存在している２つの動きが単一のアフィン動きモデルには適合するということは、通常あり得ないからである。
【００３５】
初期値として用いる領域の寸法は、ある１つの領域が物体境界を包含する確率を低く抑えることができる充分に小さな寸法とする一方で、その領域に付随するアフィン動きパラメータの合理的な推定値を得るための基礎となるデータが充分に含まれるような充分に大きな寸法となるように選定している。
【００３６】
アフィン・パラメータ推定部３２は、設定した上述のグリッドをなしている複数の矩形ブロックの各々に対して１つずつ、合計ｒ個の動きモデルを生成する。それら動きモデルのうちには、互いに同じ物体に対応した動きモデルであるものがあり、そのような動きモデルどうしは互いに類似しているはずである。従ってそのような動きモデルを１つにまとめるようにすれば、画像のセグメンテーション処理の精度を更に高めることができる。
【００３７】
再び図６および図７について説明すると、クラスタ化処理部３４は、ｒ個のアフィン動きモデルの夫々に付随するパラメータを受け取り、それらのうちで最も信頼性の高い方からＣ個の動きモデルを、クラスタ化「中心」の初期値として選択する。選択するそれら中心の各々は、その他のいずれの中心からも、少なくとも、アフィン・パラメータ空間における正規化距離の最小値として定めた距離だけ離れていなければならない。
【００３８】
クラスタ化処理部３４は、ｋ平均クラスタ化法を用いて、選択した各々の中心から所定半径以内に存在している動きモデルをまとめてグループ化し、それによってＣ個の初期クラスタを形成する。続いてこの処理部３４は、所定個数未満の動きモデルしか含んでいないクラスタを無視して、それ以外の夫々のクラスタについて、新たなクラスタ中心の推定値を生成する。即ち、この処理部３４は、任意の１つのクラスタに関して、そのクラスタの中に含まれている複数の動きモデルの各々に付随している夫々のアフィン・パラメータの平均値を求め、それら平均値を新たな中心のパラメータとして使用する。それら平均値に対して、動きモデルに付随している信頼性等級値で重み付けをすることが適当である場合には、そのようにしても良い。
【００３９】
もし、新たな中心のうちの、ある２つの中心の間の距離が、アフィン・パラメータ空間内の所定の離隔距離だけ離れていなかったならば、それら２つの中心に対応しているクラスタどうしを併合した上、その併合クラスタに対応した新たな１つの中心を算出する。クラスタ化処理部３４は、このクラスタ化の処理を行なっている間に、もはや処理結果に変化が生じなくなったならば、その処理結果として得られたｑ個（ｑ≦ｒ）のアフィン動きモデルを、仮説検定部３６へ受け渡し、この仮説検定部３６が、夫々のピクセルを個別に、それら動きモデルの各々と突き合わせて、最良のピクセル−動きモデル間の一致を判定し、即ち、それら動きモデルのうちのどの動きモデルが、そのピクセルの推定した局所的動きを最も良く近似して表わしているかを判定する。
【００４０】
検定部３６は、この仮説検定を実行する間に、各ピクセルをそのピクセルの位置において誤差を最小にする動きモデルに割当てて行くが、それには、次の式で示す値を最小にする動きモデルを選択するようにする。
【数４】
【００４１】
こうして得られたｑ個の領域に基づいて、アフィン・パラメータ推定部３２がアフィン・パラメータの値を更新する。そして、その更新されたアフィン・パラメータの値に基づいて、クラスタ化処理部３４がクラスタ化処理を、仮説検定部３６が仮説検定処理を実行することにより、今度はそれら領域が更新される。更に、その更新された領域に基づいてアフィン動きモデルの生成が再び行なわれ、こうして新たに生成されたアフィン動きモデルを対象として再び上述のクラスタ化処理と仮説検定処理とが実行される。この反復実行は、反復実行して得られた領域が、その直前の実行によって得られた領域と殆ど変化がなくなった時点か、或いは、反復実行の回数が適当に定めた最大回数に達した時点で終了する。以上の反復実行処理によって生成された、あるフレーム・ペアに関する最終的な更新された領域は、フレーム・シーケンスの中のそれに続く次のフレーム・ペアの画像の動きセグメンテーション処理のための領域の初期値として使用される。
【００４２】
符号器１０（図３）が、連続するフレーム・ペアの夫々に対応した動きモデルを次々と推定して行く処理において実行する動作を、図９および図１０のフローチャートに示した。局所的動き推定部２２は、フレームｉからフレームｉ＋１へかけての個々のピクセルの夫々の局所的動きを、マルチ・スケール勾配方式の方法を用いて推定して行き、それによって画像の稠密動きモデルを生成する（ステップ４０）。これに続いて、フレームｉ−１からフレームｉへかけての動きの解析によって得られた複数のコヒーレント動き領域に対応した、夫々のアフィン動きパラメータを算出する（ステップ４２）。なお、そのとき解析しているのが、フレーム・シーケンスの中の第１番目のフレーム・ペアである場合には、互いに重なり部分を持たない任意の複数の領域を用いるようにする。
【００４３】
このシステムは、互いに類似している動きモデルどうし、即ち、対応したパラメータ空間内において所定の最小離隔距離よりも更に互いに近接して存在している動きモデルどうしを、まとめてグループ化し、幾つかのクラスタを形成する。最初のクラスタ中心は予め定めてあり、中心間の距離がアフィン・パラメータ空間内における所定離隔距離より小さいクラスタどうしは併合し、一方、ある１つのクラスタに包含されている動きモデルどうしが所定の最大正規化距離以上に互いから離隔している場合には、そのクラスタを２つのクラスタに分割する（ステップ４４）。続いてこのシステム１０は、同じ１つのクラスタの中に包含されている複数の動きモデルに付随している夫々のアフィン動きパラメータの平均値を求め、そして、各クラスタごとに、新たなアフィン・パラメータ集合が付随した新たなクラスタ中心を生成する（ステップ４６）。以上を更に反復実行することによって、クラスタを繰り返し更新し、そして、ある反復実行をしたときに、それによって割当てを変更された動きモデルの個数が、所定個数に達しなくなった時点で、或いは、反復実行の回数が適当に定めた最大回数に達した時点で、反復実行を終了する（ステップ４６〜４８）。
【００４４】
続いてこのシステムは、以上のようにして得られた複数の動きモデルの各々に個々のピクセルを突き合わせ、そして個々のピクセルを、それら動きモデルのうちで、そのピクセルに対応した位置においてそのピクセルの局所的動きを最も良く近似して表わしている動きモデルに割当てる（ステップ５２）。これに関して、もしあるピクセルｐを２つ以上の動きモデルが完全に同一程度に近似して表わしていた場合には、そのピクセルｐを、そのピクセルｐに最も近い幾つかの画像ピクセルに関連して推定された動きに基づいて生成された動きモデルに割当てるようにしている。また、これと別の方法として、そのピクセルｐを、割当てられたピクセルの個数が最大の動きモデルに割当てるようにしても良い。あるピクセルの局所的動きを、どの動きモデルも、所定の最小誤差（例えば±１ピクセル）以内の精度で近似していないという場合には、そのようなピクセルは、未割当てピクセルとして取扱うようにし、この種のピクセルは、輝度値の変化量の解析によってその割当てを決定するようにしても良い。
【００４５】
領域を更新したならばそのたびに、それら領域のアフィン・パラメータの値を推定する処理手順と、クラスタ化する処理手順と、ピクセル割当ての処理手順とを反復実行し、それらによって、それら更新した領域に更に更新を施し、これを反復実行して更新を繰り返す。そして、新たに反復実行して得た領域が、その直前の反復実行によって得た領域と殆ど変わらないものとなったか、或いは、反復実行の回数が、適当に定めた最大回数に達したならば、その時点で反復実行を終了する（ステップ５４〜５８）。続いてこのシステムは、更新して得たそれら領域を、続く次のフレーム・ペアにおける複数の動きとそれら動きに付随する夫々のコヒーレント動き領域とを解析するための初期条件として使用し、これを次々と繰り返して全てのフレーム・ペアの解析を完了する（ステップ６０〜６２）。解析が完了したフレームの数が増えるにつれて、コヒーレント動き領域の推定をより高精度で行なえるようになり、また、それら領域に付随するアフィン・パラメータが安定して行く。従って、新たなフレームにおける動きを解析するために必要な時間は次第に短縮されて行く。
【００４６】
フレームｉ及びｉ＋１に関して判定された夫々の領域に付随するアフィン・パラメータは、更に、そのフレーム・シーケンスの中の続く次のフレームｉ＋２における動きモデルとして使用するようにしても良く、そうすることによってシステムを安定化させることができる。更に、それらアフィン・パラメータは、仮説検定処理における、動きの予測値として使用することができる。例えば、続く次のフレームにまで同じ動きが継続しているような場合には、ピクセルをその動きモデルに容易に割当てることができ、そのため、収束させるための反復実行の回数を減らすことができる。
【００４７】
以上のようにしてコヒーレント動き領域の識別を完了したならば、このシステムは、続いて、それら領域に対応した夫々の層を抽出する処理を実行し、そのために、動き補償処理（ステップ６４）を実行する。あるコヒーレント動き領域の境界とその領域に付随するアフィン動きパラメータとが共に正確に判定されているならば、適当なアフィン変換式を用いて画像にワープ処理を施すことによって、各フレームの中の互いに対応する領域どうしを位置揃えすることができる。従って、例えば図１の立ち木等の物体を、適当なワープ処理を施したフレーム・シーケンスの中に静止させたままで、花壇と家並みとを動かすようにすることも可能である。また、互いに異なったフレームの中の互いに同一の領域の中に存在する対応するピクセルどうしを結合させて、その領域に対応した層における輝度値を、その層の中の各々のピクセル位置ごとに決定することができるようにしている。
【００４８】
いずれのフレームであれ、１枚のフレームからだけでは得られないような情報を層に包含させることも可能であり、例えば、他のものによって覆い隠されている位置にあるピクセルの輝度値のような情報も、そのピクセルがフレーム・シーケンスの中のその他全てのフレームにおいても同様に覆い隠されているのでない限り、層に包含させることができる。尚、あるピクセルが全てのフレームにおいて覆い隠されているような場合には、そのフレーム・シーケンスを正確に符号化することは要求されない。
【００４９】
次に図１１について説明すると、層抽出処理部２６（図３）は、層の輝度値マップを作成するために、フレーム・シーケンスの中の中央に位置するフレームｆs を選択する。続いて層抽出処理部２６は、その他のフレームのコヒーレント動き領域をこのフレームの対応する領域に対して位置揃えし、それによって層抽出処理部２６は、様々なフレームから得たピクセル情報を組合せて、領域の輝度値マップ、又は層の輝度値マップを生成することができるようになる。これを行なうために、このシステムは、フレーム・シーケンスの中の夫々のフレームに付随している動きパラメータに修正を加えて、そのフレームから被選択フレームへの動きを記述するパラメータを生成する（ステップ７２）。被選択フレームよりも先行しているフレームｉについては、このシステムは、そのフレームｉに付随しているアフィン・パラメータＰｉと、そのフレームｉから被選択フレームまでの間に存在している中間フレームに付随しているアフィン・パラメータＰｊ（ここでｊ＝ｉ＋１、ｉ＋２、...ｓである）とを組合せて、フレームｉからフレームｓへかけての動きを表わす修正後動きパラメータＰｉを生成する。説明を分かり易くするために、ｉ＝０、且つ、ｓ＝２であるものと仮定し、従って、中間フレームが１枚だけであるものとし、また更に、Ｉ２が画像データを表わし、ｘ ２がピクセル位置を表わすものとすれば、修正後アフィン・パラメータは、以下に示すように定義される。
【数５】
【数６】
被選択フレームよりも後のフレームに付随するパラメータを算出するには、以上に説明したのと同様にして、先ず、被選択フレームｓからそのフレームｊへかけてのパラメータを算出し、その後に、フレームｊからフレームｓへ戻るためのパラメータを以下の式によって求める。
【数７】
【００５０】
このシステムは、このようにして求めた修正後動きパラメータを用いて、各々のフレームの中の処理対象のコヒーレント動き領域を、被選択フレームｆｓの中の同じ領域に対して位置揃えする。続いてこのシステムは、それら各々のフレームの中の互いに対応するピクセル位置の輝度値を組合せるようにし、従って、ある長さの時間に亙って輝度値を組合せ、それによって、ピクセル位置に各々ごとに輝度値の中央値を求める（ステップ７４）。続いてこのシステムは、このようにして求めた輝度値の中央値を、層の中の夫々のピクセル位置に割当て、それによって、層の中の全てのピクセル位置の各々に１つずつのピクセル輝度値を当てはめる（ステップ７６）。
【００５１】
処理対象の領域におけるある特定のピクセル位置が、あるフレームにおいては他のものに覆い隠されているという場合には、その領域に関する輝度値中央値の算出を行なう際に、その覆い隠されているピクセル位置の輝度値は考慮しない。このシステムは、各々のピクセル位置に対応した輝度値中央値を算出する際にその計算に使用したピクセルの総数を常に追跡している（ステップ７８）。そしてこのシステムは、その値の算出に寄与したピクセルの個数に基づいて、複数の層を、画像中の深さとして順序付けるようにしている。前景の物体は決して他のものによって覆い隠されることがないため、その全てのピクセル位置において、算出に寄与したピクセルの個数が大きな数になっている。一方、他のものに覆い隠されている物体は、そのうちの幾つかのピクセル位置において、寄与ピクセルの個数が小さな数になっている。従ってこのシステムは、覆い隠されている部分を有する層を、覆い隠されている部分のない層の背後に置くことによって、層の順序付けを行なうことができる。
【００５２】
このシステムは、符号化処理によって複数の層を生成するものであり、それら複数の層は、その各々が、ピクセル輝度値マップと、修正後動きパラメータの集合と、順序付け情報とをを含んでいる。このシステムはそれらの情報を、後に復号化処理を実行したり伝送したりするために、格納しておくようにしている。
【００５３】
それら複数の層は、このシステムに、フレーム・シーケンスの中の１枚のフレームからだけでは得られない情報を提供する。例えば、再び図１について説明すると、視線を遮る立ち木が存在しているため、フレーム・シーケンスの中に花園の全体が見えるフレームは１枚も存在していないにもかかわらず、花園に対応した層２ａは、花園の全てのピクセルを含んでいる。同様に、家並みに対応した層３ａは、図示のフレーム・シーケンスの最後の部分に至らねば見えない家に関するピクセル情報を含んでいる。このシステムは、これらピクセル情報の全てを保持しているため、動きパラメータに補間法を適用することによって、単位時間あたりのフレーム数を変化させる場合等に必要な中間フレームの生成を行なうことができる。更にこのシステムは、認識システムへデータを供給する際には、覆い隠されている部分を解消した後にそのデータを供給することによって、その認識システムが物体をより容易に認識できるようにすることができる。更にこのシステムは、物体の動きに基づいてその物体を認識するようにした認識システムへデータを提供するためのシステムとすることもでき、それには、その種の認識システムへ、処理対象の物体だけに関係したデータを供給するようにする。
【００５４】
物体が不透明なものであれば、全ての画像情報が層及び動きパラメータの中に包含されることになる。一方、画像のある１つの部分ないしは幾つかの部分が透明である場合や、焦点ボケや動きブレ等の「特殊効果」を呈している場合には、そのような効果に関係した追加情報を、別に格納しておくようにする。更には、そのような領域の縁部における透明度の変化をより正確に表わすためには、更なる修正計算処理が必要になることもあり得る。
【００５５】
ある領域が静止している場合、或いは、ある領域がテクスチャを持たない場合には、そのような領域は、１つのフレームから別のフレームへかけて変形されることのない単一の層に対応付けるようにしている。そのような領域へ動きを対応付けることにおけるいかなる誤りも、検出することは不可能であり、従って無視することになる。
【００５６】
ある特定の動きが、選択した種類の動き式（本実施例ではアフィン変換式）では正確に記述することができないような動きである場合には、その動きによって影響を受けるピクセルの輝度値を制御するための誤差修正情報を層に含めておく必要がある。例えば、回転することによってその姿が著しく変化する物体を記述している層には、誤差マップを含めておくようにする。
【００５７】
簡潔に要約するならば、このシステムは、コヒーレント動き領域を判定するための解析の一部として局所的動きの推定を行なって、画像を符号化して一連の複数の層にするものである。このシステムは、その解析の対象を主要な動きや小さな動きに限ってはいない。更にこのシステムは、物体の境界の割当てを行なったり、物体に境界を任意に制限したりしてはいない。そうではなくて、このシステムは、個々のピクセルを、そのピクセルの局所的動きを最も良く近似して予測している動きモデルに割当てるようにしているのである。
【００５８】
画像にセグメンテーション処理を施して、その画像を複数のコヒーレント動き領域に分け、その後に、それら領域の各々を個別の層に対応付けるようにしているため、画像シーケンスを、一連の順序付けした複数の層のマップとそれに付随する動きパラメータ集合という形で格納しておけるようになっている。そのため非常に僅かな記憶容量の中に画像を格納することができ、また、非常に狭い帯域幅で画像を伝送することができる。
【００５９】
このシステムは、各層に、その層の中の全てのピクセル位置ごとに１つずつの輝度値を含ませるようにしている。従って、このシステムにおいては、１枚だけのフレームの中に存在している画像情報以上の量の画像情報が入手可能となっている。このシステムは更に、その情報を利用して、例えば特定の物体を消去した画像シーケンスを生成することや、単位時間あたりのフレーム枚数が異なる「超高解像度」のフレーム・シーケンスを生成することもできる。このシステムは更に、その情報を利用して、ブレがなくなるように動き補償する低ノイズ化処理を行なうことも可能にしている。
【図面の簡単な説明】
【図１】 「花園（Flower Garden ）」という題名の画像シーケンスの３枚のフレームとその画像シーケンスに対応した、画像の複数の層を示した図である。
【図２】 １つの画像を一連の複数の層として符号化及び復号化するためのシステムの機能を示したブロック図である。
【図３】 図２のシステムに含まれている符号器の機能を示したブロック図である。
【図４】 図１に示したうちの１枚のフレームの稠密動きモデルを示した図である。
【図５】 局所的動きの判定に用いるピクセル近傍を示した図である。
【図６】 ガウス・ピラミッドの中での画像の変化を示した図である。
【図７】 ガウス・ピラミッドの中での画像の変化を示した図である。
【図８】 図２のシステムに含まれている動きセグメンテーション処理部の機能を示したブロック図である。
【図９】 図２のシステムに含まれている局所的動き推定部及び動きセグメンテーション処理部の動作を示したフローチャートであり、図１０へ続く図である。
【図１０】 図２のシステムに含まれている局所的動き推定部及び動きセグメンテーション処理部の動作を示したフローチャートであり、図９から続く図である。
【図１１】 図２のシステムに含まれている層抽出処理部の動作を示したフローチャートである。
【符号の説明】
１０ 符号化／復号化システム
１２ 符号器
１４ データ格納／伝送装置
１６ 復号器
２２ 局所的動き推定部
２４ 動きセグメンテーション処理部
２４ａ コヒーレント動き領域推定部
２４ｂ 動きモデル推定部
２６ 層抽出処理部
３２ アフィン動きモデル推定部
３４ クラスタ化処理部
３６ 仮説検定部
Claims (7)
- 一連の画像フレームから成るフレーム・シーケンスに関するディジタル画像データを符号化するためのシステムにおいて、
Ａ．連続したフレームにおける夫々のピクセル近傍における局所的動きを推定して該推定した局所的動きを表す局所的動きベクトルを生成し、そしてそれに関連した稠密な動きモデルを生成する局所的動き推定部であって、生成した前記局所的動きベクトルは、各前記ピクセル近傍に含まれる１つのピクセルに割り当てられ、前記稠密動きモデルは、フレームを構成するピクセルに割り当てられた前記局所的動きベクトルのアレイから成る、前記の局所的動き推定部と、
Ｂ．前記稠密動きモデルから
ｉ．前記フレーム・シーケンスの全体の中のコヒーレントな動きの領域と、
ii．フレームからフレームへかけての前記コヒーレント動き領域の各々の動きを表わす夫々の領域動きモデルと、
を決定する動きセグメンテーション処理部と、
Ｃ．前記コヒーレント動き領域の各々について層を形成する層抽出処理部であって、前記層が、
ｉ．当該コヒーレント動き領域に含まれる前記ピクセルの各々について、前記フレーム・シーケンス内のフレームから得たピクセル輝度情報を表すデータと、
ii．当該層の他の層に対する順序付けを、前記画像における深さにより表すデータであって、該層抽出処理部が、当該層を形成する前記コヒーレント動き領域内のピクセル位置におけるピクセルが、前記シーケンス中における前記フレームの任意のものにおいて覆い隠されるかどうかを判定し、前記シーケンス中において前記ピクセル位置にて覆い隠されないピクセルの個数を算出し、該算出したピクセル個数を当該層の前記深さとして使用することにより、当該層の前記深さを判定するようになった、前記のデータと、
iii．前記動きセグメンテーション処理部による当該コヒーレント動き領域に関連した前記領域動きモデルに関係するパラメータを含む動き情報を表すデータと、
を含む、前記の層抽出処理部と、
を備えたことを特徴とするシステム。 - 前記動きセグメンテーション処理部が、
ａ．前記コヒーレント動き領域の各々について前記領域動きモデルを生成する動き推定部と、
ｂ．互いに類似した領域動きモデルどうしをグループ化してクラスタを形成し、そして各クラスタについてクラスタ動きモデルを生成するクラスタ化処理部と、
ｃ．個々のピクセルを、各該ピクセルに関連した前記局所的動きベクトルに最も良く対応する動きを定める領域動きモデルまたはクラスタ動きモデルと関連付ける、ピクセル割当て処理部と、
を含んでいることを特徴とする請求項１記載のシステム。 - 前記局所的動き推定部が、
ａ．前記画像データにフィルタ処理を施して画像にブレないしボケを加えるフィルタであって、フィルタ処理後データを発生するようにしたフィルタと、
ｂ．前記フィルタ処理後データのサブサンプリングを行なって、低解像度版の画像を生成する手段と、
ｃ．前記画像の前記低解像度版の選択したピクセル近傍どうしの間の小さな動きを推定する手段と、
ｄ．前記画像の前記低解像度版における推定した前記小さな動きを用いてその画像の関連したピクセル近傍における動きを推定する手段と、
を含んでいることを特徴とする請求項１記載のシステム。 - 複数のフレームから成る画像シーケンスの中の、複数のコヒーレント動き領域と、それら領域に関連する動きとを判定する方法において、
Ａ．連続したフレームにおける夫々のピクセル近傍における局所的動きを推定して該推定した局所的動きを表す局所的動きベクトルを生成し、そしてそれに関連した稠密動きモデルを生成するステップであって、生成した前記局所的動きベクトルは、各前記ピクセル近傍に含まれる１つのピクセルに割り当てられ、前記稠密動きモデルは、フレームを構成するピクセルに割り当てられた前記局所的動きベクトルのアレイから成る、推定ステップと、
Ｂ．前記稠密動きモデルを用いて、一連の画像フレームから成る画像シーケンスの全体の中の互いに類似の局所的動きベクトルを有する夫々のコヒーレント動き領域と、フレームからフレームへかけての前記コヒーレント動き領域の各々の動きを表わす夫々の領域動きモデルとを判定するステップと、
Ｃ．前記コヒーレント動き領域の各々について層を形成するステップであって、前記層が、
ｉ．当該コヒーレント動き領域に含まれる前記ピクセルの各々について、前記フレーム・シーケンス内のフレームから得たピクセル輝度情報を表すデータと、
ii．当該層の他の層に対する順序付けを、前記画像における深さにより表すデータであって、当該層の前記深さの判定は、当該層を形成する前記コヒーレント動き領域内のピクセル位置におけるピクセルが、前記シーケンス中における前記フレームの任意のものにおいて覆い隠されるかどうかを判定し、前記シーケンス中において前記ピクセル位置にて覆い隠されないピクセルの個数を算出し、該算出したピクセル個数を当該層の前記深さとして使用することにより行う、前記のデータと、
iii．当該コヒーレント動き領域に関連する前記領域動きモデルに関係したパラメータを含む動き情報を表すデータと、
を含む、前記のステップと、
Ｄ．前記画像シーケンスを、各層が関係した動き情報を含んでいる一連の順序付けした複数の層として格納するステップと、
を含んでいることを特徴とする方法。 - 前記ステップＡが、
ａ．前記画像データにフィルタ処理を施して画像にブレないしボケを加えるステップであって、フィルタ処理後データを発生するようにしたステップと、
ｂ．前記フィルタ処理後データのサブサンプリングを行なって、前記画像の低解像度版を生成するステップと、
ｃ．前記画像の前記低解像度版の選択したピクセル近傍どうしの間の小さな動きを推定するステップと、
ｄ．前記画像の前記低解像度版における推定した前記小さな動きを用いてその画像の関連するピクセル近傍における動きを推定するステップと、
を含んでいることを特徴とする請求項４記載の方法。 - 前記ステップＢが、
ａ．前記コヒーレント動き領域の各々について前記領域動きモデルを推定するステップと、
ｂ．互いに類似した領域動きモデルどうしをグループ化してクラスタを形成し、それらクラスタの各々についてクラスタ動きモデルを生成するステップと、
ｃ．個々のピクセルを、このピクセルに関連した前記局所的動きベクトルを最も良く近似する動きを定める、領域動きモデルまたは前記ステップｂで生成したクラスタ動きモデルに関連付けるステップと、
を含んでいることを特徴とする請求項４記載の方法。 - 前記ステップＢが、更に、
ｄ．前記ステップｃにおいて個々のピクセルに関連付けられた前記領域動きモデルまたはクラスタ動きモデルを用いて、推定された前記領域動きモデルを反復して更新するステップと、
ｅ．前記ステップｄにおいて更新された前記領域動きモデルを用いて、前記クラスタ動きモデルを反復して更新するステップと、
ｆ．前記ステップｃ〜ｅを、その反復実行の回数が最大回数に達するか、或いは、連続する反復実行の間で得られる前記クラスタ動きモデルに大きな変化が生じなくなるまで、反復実行するステップと、
を含んでいることを特徴とする請求項６記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US3164293A | 1993-03-15 | 1993-03-15 | |
| US031642 | 1993-03-15 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0795592A JPH0795592A (ja) | 1995-04-07 |
| JP3679426B2 true JP3679426B2 (ja) | 2005-08-03 |
Family
ID=21860620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04405594A Expired - Lifetime JP3679426B2 (ja) | 1993-03-15 | 1994-03-15 | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5557684A (ja) |
| JP (1) | JP3679426B2 (ja) |
Families Citing this family (221)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5621807A (en) * | 1993-06-21 | 1997-04-15 | Dornier Gmbh | Intelligent range image camera for object measurement |
| US5754692A (en) * | 1993-07-31 | 1998-05-19 | Sony Corporation | Picture coincidence detecting apparatus and method |
| WO1995016213A1 (en) * | 1993-12-08 | 1995-06-15 | Minnesota Mining And Manufacturing Company | Method and apparatus for background determination and subtraction for a monocular vision system |
| JP2951230B2 (ja) * | 1994-09-22 | 1999-09-20 | 三洋電機株式会社 | ２次元映像から３次元映像を生成する方法 |
| US5777690A (en) * | 1995-01-20 | 1998-07-07 | Kabushiki Kaisha Toshiba | Device and method for detection of moving obstacles |
| KR0181036B1 (ko) * | 1995-04-08 | 1999-05-01 | 배순훈 | 움직임 영상의 이동 물체 분할 및 그 움직임 추정방법 |
| US5812787A (en) * | 1995-06-30 | 1998-09-22 | Intel Corporation | Video coding scheme with foreground/background separation |
| MY121607A (en) * | 1995-07-10 | 2006-02-28 | Hyundai Curitel Inc | Grid moving method of object image and apparatus using the same and compaction/motion estimation method using the same and apparatus thereof |
| CN1110957C (zh) * | 1995-07-21 | 2003-06-04 | 大宇电子株式会社 | 用运动模型的分层结构分割与估算移动目标的运动的方法 |
| JP3772185B2 (ja) * | 1995-07-28 | 2006-05-10 | 独立行政法人情報通信研究機構 | 画像符号化方式 |
| US5825929A (en) * | 1995-10-05 | 1998-10-20 | Microsoft Corporation | Transformation block optimization method |
| US6526173B1 (en) * | 1995-10-31 | 2003-02-25 | Hughes Electronics Corporation | Method and system for compression encoding video signals representative of image frames |
| US5802220A (en) * | 1995-12-15 | 1998-09-01 | Xerox Corporation | Apparatus and method for tracking facial motion through a sequence of images |
| US6049619A (en) * | 1996-02-12 | 2000-04-11 | Sarnoff Corporation | Method and apparatus for detecting moving objects in two- and three-dimensional scenes |
| DE19605218C1 (de) * | 1996-02-13 | 1997-04-17 | Dornier Gmbh | Hinderniswarnsystem für tieffliegende Fluggeräte |
| US6037988A (en) * | 1996-03-22 | 2000-03-14 | Microsoft Corp | Method for generating sprites for object-based coding sytems using masks and rounding average |
| US5982438A (en) * | 1996-03-22 | 1999-11-09 | Microsoft Corporation | Overlapped motion compensation for object coding |
| US6137920A (en) * | 1996-05-01 | 2000-10-24 | Hughes Electronics Corporation | Method and system for generating image frame sequences using morphing transformations |
| US5801778A (en) * | 1996-05-23 | 1998-09-01 | C-Cube Microsystems, Inc. | Video encoding with multi-stage projection motion estimation |
| JP2000512091A (ja) * | 1996-05-24 | 2000-09-12 | フィリップス エレクトロニクス ネムローゼ フェンノートシャップ | 動作ベクトル処理 |
| US5883627A (en) | 1996-09-25 | 1999-03-16 | Microsoft Corporation | Advanced graphics controls |
| US6075875A (en) * | 1996-09-30 | 2000-06-13 | Microsoft Corporation | Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results |
| KR19980035080A (ko) * | 1996-11-11 | 1998-08-05 | 김영환 | 응용 유전 알고리즘을 이용한 모션 벡터 추정 방법 |
| US5990959A (en) * | 1996-12-20 | 1999-11-23 | U S West, Inc. | Method, system and product for direct rendering of video images to a video data stream |
| WO1998044739A1 (en) * | 1997-03-31 | 1998-10-08 | Sharp Kabushiki Kaisha | Mosaic generation and sprite-based image coding with automatic foreground and background separation |
| US6219462B1 (en) * | 1997-05-09 | 2001-04-17 | Sarnoff Corporation | Method and apparatus for performing global image alignment using any local match measure |
| JPH10320590A (ja) * | 1997-05-19 | 1998-12-04 | Honda Motor Co Ltd | 合成映像作成装置及び合成映像作成方法 |
| US6594311B1 (en) * | 1997-10-20 | 2003-07-15 | Hitachi America, Ltd. | Methods for reduced cost insertion of video subwindows into compressed video |
| US6349113B1 (en) * | 1997-11-03 | 2002-02-19 | At&T Corp. | Method for detecting moving cast shadows object segmentation |
| US6396961B1 (en) * | 1997-11-12 | 2002-05-28 | Sarnoff Corporation | Method and apparatus for fixating a camera on a target point using image alignment |
| US6856698B1 (en) * | 1997-11-26 | 2005-02-15 | Cognex Corporation | Fast high-accuracy multi-dimensional pattern localization |
| CA2320694C (en) | 1998-02-20 | 2005-07-12 | Deep Video Imaging Limited | A multi-layer display and a method for displaying images on such a display |
| US6266068B1 (en) | 1998-03-13 | 2001-07-24 | Compaq Computer Corporation | Multi-layer image-based rendering for video synthesis |
| US6239807B1 (en) * | 1998-03-13 | 2001-05-29 | Mgi Software Corporation | Method and system for multi-resolution texture mapping |
| IL123738A0 (en) | 1998-03-19 | 1998-10-30 | Banitt Shmuel | Method for processing variable speed scenes for computer games |
| US6400831B2 (en) | 1998-04-02 | 2002-06-04 | Microsoft Corporation | Semantic video object segmentation and tracking |
| US6259737B1 (en) * | 1998-06-05 | 2001-07-10 | Innomedia Pte Ltd | Method and apparatus for fast motion estimation in video coding |
| US7016539B1 (en) | 1998-07-13 | 2006-03-21 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
| EP1110176B1 (en) * | 1998-09-07 | 2002-12-18 | THOMSON multimedia | Methof of motion estimation for transmission cost reduction of motion vectors |
| US6711278B1 (en) | 1998-09-10 | 2004-03-23 | Microsoft Corporation | Tracking semantic objects in vector image sequences |
| US6252975B1 (en) * | 1998-12-17 | 2001-06-26 | Xerox Corporation | Method and system for real time feature based motion analysis for key frame selection from a video |
| US6580812B1 (en) * | 1998-12-21 | 2003-06-17 | Xerox Corporation | Methods and systems for automatically adding motion lines representing motion to a still image |
| US6643387B1 (en) * | 1999-01-28 | 2003-11-04 | Sarnoff Corporation | Apparatus and method for context-based indexing and retrieval of image sequences |
| US6594403B1 (en) * | 1999-01-29 | 2003-07-15 | Xerox Corporation | Systems and methods for registering scanned documents |
| US6499060B1 (en) * | 1999-03-12 | 2002-12-24 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
| JP4496595B2 (ja) * | 1999-03-29 | 2010-07-07 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに記録媒体 |
| US7269221B2 (en) * | 1999-04-17 | 2007-09-11 | Altera Corporation | Encoding system using motion vectors to represent frame-to-frame changes, including motion vector grouping for coding or processing |
| WO2000070879A1 (en) * | 1999-05-13 | 2000-11-23 | Stmicroelectronics Asia Pacific Pte Ltd. | Adaptive motion estimator |
| GB9920256D0 (en) * | 1999-08-26 | 1999-10-27 | Wave Limited M | Motion estimation and compensation in video compression |
| US6668080B1 (en) * | 1999-09-21 | 2003-12-23 | Microsoft Corporation | Automated layer extraction and pixel assignment from image sequences |
| US6665423B1 (en) * | 2000-01-27 | 2003-12-16 | Eastman Kodak Company | Method and system for object-oriented motion-based video description |
| US6473460B1 (en) * | 2000-03-31 | 2002-10-29 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for calculating motion vectors |
| US6826292B1 (en) | 2000-06-23 | 2004-11-30 | Sarnoff Corporation | Method and apparatus for tracking moving objects in a sequence of two-dimensional images using a dynamic layered representation |
| US6795068B1 (en) * | 2000-07-21 | 2004-09-21 | Sony Computer Entertainment Inc. | Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program |
| US7071914B1 (en) | 2000-09-01 | 2006-07-04 | Sony Computer Entertainment Inc. | User input device and method for interaction with graphic images |
| US6987865B1 (en) * | 2000-09-09 | 2006-01-17 | Microsoft Corp. | System and method for extracting reflection and transparency layers from multiple images |
| US7095444B1 (en) * | 2000-11-06 | 2006-08-22 | Sri International | Method and apparatus for generating, distributing and reconstructing deconstructed video |
| AU2002224242B2 (en) * | 2000-11-17 | 2007-05-17 | Pure Depth Limited | Altering surface of display screen from matt to optically smooth |
| FR2820860B1 (fr) * | 2001-02-15 | 2003-04-11 | Thomson Multimedia Sa | Procede pour l'arret d'une fragmentation d'images numeriques |
| JP4121376B2 (ja) * | 2001-03-07 | 2008-07-23 | アルテラ コーポレイション | 動き整合のための局所的制約 |
| NZ511255A (en) * | 2001-04-20 | 2003-12-19 | Deep Video Imaging Ltd | Multi-focal plane display having an optical retarder and a diffuser interposed between its screens |
| JP4765194B2 (ja) * | 2001-05-10 | 2011-09-07 | ソニー株式会社 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム |
| US7046732B1 (en) * | 2001-06-15 | 2006-05-16 | Objectvideo, Inc. | Video coloring book |
| US20030053659A1 (en) * | 2001-06-29 | 2003-03-20 | Honeywell International Inc. | Moving object assessment system and method |
| US20030053658A1 (en) * | 2001-06-29 | 2003-03-20 | Honeywell International Inc. | Surveillance system and methods regarding same |
| US20030123703A1 (en) * | 2001-06-29 | 2003-07-03 | Honeywell International Inc. | Method for monitoring a moving object and system regarding same |
| EP1286551A1 (en) * | 2001-07-17 | 2003-02-26 | Telefonaktiebolaget L M Ericsson (Publ) | Error concealment for image information |
| NZ514500A (en) * | 2001-10-11 | 2004-06-25 | Deep Video Imaging Ltd | A multiplane visual display unit with a transparent emissive layer disposed between two display planes |
| US20030095707A1 (en) * | 2001-11-19 | 2003-05-22 | Koninklijke Philips Electronics N.V. | Computer vision method and system for blob-based analysis using a probabilistic pramework |
| EP1474781A2 (en) * | 2002-02-05 | 2004-11-10 | Koninklijke Philips Electronics N.V. | A method of and unit for estimating a motion vector of a group of pixels |
| US7742239B2 (en) * | 2002-03-17 | 2010-06-22 | Puredepth Limited | Method to control point spread function of an image |
| US7444006B2 (en) * | 2002-04-16 | 2008-10-28 | Pixart Imaging Inc. | Method of image qualification for optical navigation sensor |
| CN100394252C (zh) * | 2002-07-15 | 2008-06-11 | 普尔·代普斯有限公司 | 改进的多层显示屏 |
| US7161579B2 (en) | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
| US7623115B2 (en) | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
| US7883415B2 (en) | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
| US7646372B2 (en) | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
| US8797260B2 (en) | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
| US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
| US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
| US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
| US8686939B2 (en) | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
| US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
| US8313380B2 (en) | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
| US7627139B2 (en) | 2002-07-27 | 2009-12-01 | Sony Computer Entertainment Inc. | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
| US9682319B2 (en) | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
| NZ521505A (en) | 2002-09-20 | 2005-05-27 | Deep Video Imaging Ltd | Multi-view display |
| US20040091047A1 (en) | 2002-11-11 | 2004-05-13 | Sony Corporation | Method and apparatus for nonlinear multiple motion model and moving boundary extraction |
| US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
| US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| US8081820B2 (en) | 2003-07-22 | 2011-12-20 | Cognex Technology And Investment Corporation | Method for partitioning a pattern into optimized sub-patterns |
| US7190834B2 (en) | 2003-07-22 | 2007-03-13 | Cognex Technology And Investment Corporation | Methods for finding and characterizing a deformed pattern in an image |
| KR100575733B1 (ko) * | 2003-08-26 | 2006-05-03 | 엘지전자 주식회사 | 압축 동영상의 움직임 객체 분할 방법 |
| WO2005022922A1 (en) * | 2003-09-02 | 2005-03-10 | Koninklijke Philips Electronics N.V. | Temporal interpolation of a pixel on basis of occlusion detection |
| US7349583B2 (en) * | 2003-09-05 | 2008-03-25 | The Regents Of The University Of California | Global motion estimation image coding and processing |
| US7577198B2 (en) * | 2003-09-07 | 2009-08-18 | Microsoft Corporation | Number of reference fields for an interlaced forward-predicted field |
| US8085844B2 (en) * | 2003-09-07 | 2011-12-27 | Microsoft Corporation | Signaling reference frame distances |
| US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
| US10279254B2 (en) | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
| US8287373B2 (en) | 2008-12-05 | 2012-10-16 | Sony Computer Entertainment Inc. | Control device for communicating visual information |
| US8323106B2 (en) | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
| US9573056B2 (en) | 2005-10-26 | 2017-02-21 | Sony Interactive Entertainment Inc. | Expandable control device via hardware attachment |
| US8133115B2 (en) | 2003-10-22 | 2012-03-13 | Sony Computer Entertainment America Llc | System and method for recording and displaying a graphical path in a video game |
| US7616220B2 (en) * | 2003-12-23 | 2009-11-10 | Intel Corporation | Spatio-temporal generation of motion blur |
| US7506267B2 (en) * | 2003-12-23 | 2009-03-17 | Intel Corporation | Compose rate reduction for displays |
| US7663689B2 (en) * | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
| US7433497B2 (en) * | 2004-01-23 | 2008-10-07 | Hewlett-Packard Development Company, L.P. | Stabilizing a sequence of image frames |
| KR101092287B1 (ko) * | 2004-02-13 | 2011-12-13 | 소니 주식회사 | 화상 처리 장치 및 화상 처리 방법 |
| KR20060119707A (ko) * | 2004-02-13 | 2006-11-24 | 소니 가부시끼 가이샤 | 화상 처리 장치와 화상 처리 방법 및 프로그램 |
| US8036494B2 (en) * | 2004-04-15 | 2011-10-11 | Hewlett-Packard Development Company, L.P. | Enhancing image resolution |
| US7817869B2 (en) * | 2004-05-07 | 2010-10-19 | Sony Corporation | Variable support robust transform for multiple description coding |
| US8503530B2 (en) * | 2004-05-27 | 2013-08-06 | Zhourong Miao | Temporal classified filtering for video compression |
| CN101036150B (zh) * | 2004-07-30 | 2010-06-09 | 欧几里得发现有限责任公司 | 用来处理视频数据的装置和方法 |
| KR100668303B1 (ko) * | 2004-08-04 | 2007-01-12 | 삼성전자주식회사 | 피부색 및 패턴 매칭을 이용한 얼굴 검출 방법 |
| US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
| US8437502B1 (en) | 2004-09-25 | 2013-05-07 | Cognex Technology And Investment Corporation | General pose refinement and tracking tool |
| US20060071933A1 (en) | 2004-10-06 | 2006-04-06 | Sony Computer Entertainment Inc. | Application binary interface for multi-pass shaders |
| US7730406B2 (en) * | 2004-10-20 | 2010-06-01 | Hewlett-Packard Development Company, L.P. | Image processing system and method |
| WO2006052508A2 (en) * | 2004-11-03 | 2006-05-18 | Tyzx, Inc. | An integrated image processor |
| US8213496B2 (en) * | 2004-12-21 | 2012-07-03 | Sony Corporation | Image processing device, image processing method, and image processing program |
| US8634413B2 (en) | 2004-12-30 | 2014-01-21 | Microsoft Corporation | Use of frame caching to improve packet loss recovery |
| US7760956B2 (en) | 2005-05-12 | 2010-07-20 | Hewlett-Packard Development Company, L.P. | System and method for producing a page using frames of a video stream |
| US7636126B2 (en) | 2005-06-22 | 2009-12-22 | Sony Computer Entertainment Inc. | Delay matching in audio/video systems |
| WO2007007225A2 (en) * | 2005-07-12 | 2007-01-18 | Nxp B.V. | Method and device for removing motion blur effects |
| US20070076796A1 (en) * | 2005-09-27 | 2007-04-05 | Fang Shi | Frame interpolation using more accurate motion information |
| US9258519B2 (en) * | 2005-09-27 | 2016-02-09 | Qualcomm Incorporated | Encoder assisted frame rate up conversion using various motion models |
| US20070074251A1 (en) * | 2005-09-27 | 2007-03-29 | Oguz Seyfullah H | Method and apparatus for using random field models to improve picture and video compression and frame rate up conversion |
| US8233535B2 (en) * | 2005-11-18 | 2012-07-31 | Apple Inc. | Region-based processing of predicted pixels |
| US8295343B2 (en) * | 2005-11-18 | 2012-10-23 | Apple Inc. | Video bit rate control method |
| JP5226181B2 (ja) * | 2005-11-24 | 2013-07-03 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 画像診断装置 |
| US20070126864A1 (en) * | 2005-12-05 | 2007-06-07 | Kiran Bhat | Synthesizing three-dimensional surround visual field |
| US8130330B2 (en) * | 2005-12-05 | 2012-03-06 | Seiko Epson Corporation | Immersive surround visual fields |
| US20070126932A1 (en) * | 2005-12-05 | 2007-06-07 | Kiran Bhat | Systems and methods for utilizing idle display area |
| US20070141545A1 (en) * | 2005-12-05 | 2007-06-21 | Kar-Han Tan | Content-Based Indexing and Retrieval Methods for Surround Video Synthesis |
| US20070174010A1 (en) * | 2006-01-24 | 2007-07-26 | Kiran Bhat | Collective Behavior Modeling for Content Synthesis |
| WO2007091213A2 (en) * | 2006-02-10 | 2007-08-16 | Koninklijke Philips Electronics N.V. | Video processor comprising a motion estimator of the recursive type |
| US7880746B2 (en) | 2006-05-04 | 2011-02-01 | Sony Computer Entertainment Inc. | Bandwidth management through lighting control of a user environment via a display device |
| US7965859B2 (en) | 2006-05-04 | 2011-06-21 | Sony Computer Entertainment Inc. | Lighting control of a user environment via a display device |
| US20080018792A1 (en) * | 2006-07-19 | 2008-01-24 | Kiran Bhat | Systems and Methods for Interactive Surround Visual Field |
| US7940971B2 (en) * | 2006-07-24 | 2011-05-10 | Siemens Medical Solutions Usa, Inc. | System and method for coronary digital subtraction angiography |
| WO2008019156A2 (en) * | 2006-08-08 | 2008-02-14 | Digital Media Cartridge, Ltd. | System and method for cartoon compression |
| US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
| USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
| US8310656B2 (en) | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
| KR100846498B1 (ko) * | 2006-10-18 | 2008-07-17 | 삼성전자주식회사 | 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템 |
| KR100829581B1 (ko) * | 2006-11-28 | 2008-05-14 | 삼성전자주식회사 | 영상 처리 방법, 기록매체 및 장치 |
| US8416851B2 (en) * | 2006-12-20 | 2013-04-09 | Intel Corporation | Motion detection for video processing |
| KR100846513B1 (ko) * | 2007-01-15 | 2008-07-17 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| US7995800B2 (en) * | 2007-02-28 | 2011-08-09 | Imec | System and method for motion detection and the use thereof in video coding |
| JP2008310418A (ja) * | 2007-06-12 | 2008-12-25 | Nikon Corp | 画像処理装置、画像処理プログラム及びそれらを搭載した電子カメラ |
| US8094903B2 (en) * | 2007-06-28 | 2012-01-10 | Siemens Aktiengesellschaft | System and method for coronary digital subtraction angiography |
| CN101897196A (zh) | 2007-08-22 | 2010-11-24 | 普尔·代普斯有限公司 | 确定多组件显示器的空隙漫射器的位置 |
| US8121367B2 (en) * | 2007-09-21 | 2012-02-21 | Siemens Aktiengesellschaft | Method and system for vessel segmentation in fluoroscopic images |
| US8086006B2 (en) * | 2007-09-21 | 2011-12-27 | Siemens Aktiengesellschaft | Method and system for evaluating image segmentation based on visibility |
| US8103085B1 (en) | 2007-09-25 | 2012-01-24 | Cognex Corporation | System and method for detecting flaws in objects using machine vision |
| WO2009070508A1 (en) * | 2007-11-30 | 2009-06-04 | Dolby Laboratories Licensing Corp. | Temporally smoothing a motion estimate |
| US8542907B2 (en) | 2007-12-17 | 2013-09-24 | Sony Computer Entertainment America Llc | Dynamic three-dimensional object mapping for user-defined control device |
| US8665958B2 (en) * | 2008-01-29 | 2014-03-04 | Electronics And Telecommunications Research Institute | Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation |
| WO2009096721A2 (en) * | 2008-01-29 | 2009-08-06 | Electronics And Telecommunications Research Institute | Method and apparatus for encoding and decoding video signal using motion compensation based on affine transformation |
| EP2257911B1 (en) | 2008-02-27 | 2018-10-10 | Sony Computer Entertainment America LLC | Methods for capturing depth data of a scene and applying computer actions |
| US8368753B2 (en) | 2008-03-17 | 2013-02-05 | Sony Computer Entertainment America Llc | Controller with an integrated depth camera |
| JP2011519227A (ja) * | 2008-04-25 | 2011-06-30 | トムソン ライセンシング | 奥行き信号の符号化 |
| US8059908B2 (en) * | 2008-04-29 | 2011-11-15 | Sony Corporation | Adaptive area of influence filter for irregular spatial sub-sampled images |
| US8059909B2 (en) * | 2008-04-29 | 2011-11-15 | Sony Corporation | Adaptive generation of irregular spatial sub-sampling for images |
| US8055087B2 (en) * | 2008-04-29 | 2011-11-08 | Sony Corporation | Sample level variation for spatial sub-sampled images |
| US8144766B2 (en) * | 2008-07-16 | 2012-03-27 | Sony Corporation | Simple next search position selection for motion estimation iterative search |
| US8345944B2 (en) * | 2008-08-06 | 2013-01-01 | Siemens Aktiengesellschaft | System and method for coronary digital subtraction angiography |
| JP5566385B2 (ja) | 2008-08-20 | 2014-08-06 | トムソン ライセンシング | 洗練された奥行きマップ |
| ES2386327T3 (es) * | 2008-08-21 | 2012-08-17 | Vestel Elektronik Sanayi Ve Ticaret A.S. | Método y aparato para aumentar la frecuencia de trama de una señal de video |
| US8961313B2 (en) | 2009-05-29 | 2015-02-24 | Sony Computer Entertainment America Llc | Multi-positional three-dimensional controller |
| US20100165123A1 (en) * | 2008-12-29 | 2010-07-01 | Microsoft Corporation | Data-Driven Video Stabilization |
| CN102272778B (zh) | 2009-01-07 | 2015-05-20 | 汤姆森特许公司 | 联合深度估计 |
| US8527657B2 (en) | 2009-03-20 | 2013-09-03 | Sony Computer Entertainment America Llc | Methods and systems for dynamically adjusting update rates in multi-player network gaming |
| US8342963B2 (en) | 2009-04-10 | 2013-01-01 | Sony Computer Entertainment America Inc. | Methods and systems for enabling control of artificial intelligence game characters |
| US9524550B2 (en) | 2009-05-05 | 2016-12-20 | Siemens Healthcare Gmbh | System and method for coronary digital subtraction angiography |
| US8142288B2 (en) | 2009-05-08 | 2012-03-27 | Sony Computer Entertainment America Llc | Base station movement detection and compensation |
| US8393964B2 (en) | 2009-05-08 | 2013-03-12 | Sony Computer Entertainment America Llc | Base station for position location |
| US8488007B2 (en) * | 2010-01-19 | 2013-07-16 | Sony Corporation | Method to estimate segmented motion |
| WO2011090798A1 (en) * | 2010-01-22 | 2011-07-28 | Thomson Licensing | Data pruning for video compression using example-based super-resolution |
| JP5911809B2 (ja) | 2010-01-22 | 2016-04-27 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | サンプリングベースの超解像度ビデオ符号化および復号化方法並びに装置 |
| US8285079B2 (en) * | 2010-03-19 | 2012-10-09 | Sony Corporation | Method for highly accurate estimation of motion using phase correlation |
| US10786736B2 (en) | 2010-05-11 | 2020-09-29 | Sony Interactive Entertainment LLC | Placement of user information in a game space |
| KR101665567B1 (ko) * | 2010-05-20 | 2016-10-12 | 삼성전자주식회사 | 3차원 뎁스 영상 시간 보간 방법 및 장치 |
| CN101894379A (zh) * | 2010-06-21 | 2010-11-24 | 清华大学 | 一种针对大帧间运动视频的特征点运动分割方法和装置 |
| WO2012033972A1 (en) | 2010-09-10 | 2012-03-15 | Thomson Licensing | Methods and apparatus for pruning decision optimization in example-based data pruning compression |
| WO2012033971A1 (en) | 2010-09-10 | 2012-03-15 | Thomson Licensing | Recovering a pruned version of a picture in a video sequence for example - based data pruning using intra- frame patch similarity |
| US8582909B2 (en) * | 2011-05-23 | 2013-11-12 | Intel Corporation | Adaptive multi-grid contrast optical flow |
| WO2013002716A2 (en) * | 2011-06-30 | 2013-01-03 | Telefonaktiebolaget L M Ericsson (Publ) | A method a decoder and encoder for processing a motion vector |
| US9342817B2 (en) | 2011-07-07 | 2016-05-17 | Sony Interactive Entertainment LLC | Auto-creating groups for sharing photos |
| KR101839617B1 (ko) * | 2011-07-11 | 2018-03-19 | 포항공과대학교 산학협력단 | 멀티프레임을 이용한 비균일 모션 블러 제거 방법 및 장치 |
| KR101896026B1 (ko) * | 2011-11-08 | 2018-09-07 | 삼성전자주식회사 | 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법 |
| US9230303B2 (en) * | 2013-04-16 | 2016-01-05 | The United States Of America, As Represented By The Secretary Of The Navy | Multi-frame super-resolution of image sequence with arbitrary motion patterns |
| US9679224B2 (en) | 2013-06-28 | 2017-06-13 | Cognex Corporation | Semi-supervised method for training multiple pattern recognition and registration tool models |
| JPWO2015173891A1 (ja) * | 2014-05-13 | 2017-04-20 | 三菱電機株式会社 | レーダ装置 |
| US10234553B2 (en) * | 2014-09-19 | 2019-03-19 | GM Global Technology Operations LLC | Doppler-based compression of imaging radar data |
| US10719727B2 (en) | 2014-10-01 | 2020-07-21 | Apple Inc. | Method and system for determining at least one property related to at least part of a real environment |
| US10726593B2 (en) * | 2015-09-22 | 2020-07-28 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
| KR101726844B1 (ko) * | 2015-03-25 | 2017-04-13 | 네이버 주식회사 | 만화 데이터 생성 시스템 및 방법 |
| US10222932B2 (en) | 2015-07-15 | 2019-03-05 | Fyusion, Inc. | Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations |
| US11095869B2 (en) | 2015-09-22 | 2021-08-17 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
| US10242474B2 (en) * | 2015-07-15 | 2019-03-26 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
| US11006095B2 (en) | 2015-07-15 | 2021-05-11 | Fyusion, Inc. | Drone based capture of a multi-view interactive digital media |
| US10147211B2 (en) | 2015-07-15 | 2018-12-04 | Fyusion, Inc. | Artificially rendering images using viewpoint interpolation and extrapolation |
| US12495134B2 (en) | 2015-07-15 | 2025-12-09 | Fyusion, Inc. | Drone based capture of multi-view interactive digital media |
| US12261990B2 (en) | 2015-07-15 | 2025-03-25 | Fyusion, Inc. | System and method for generating combined embedded multi-view interactive digital media representations |
| US11783864B2 (en) | 2015-09-22 | 2023-10-10 | Fyusion, Inc. | Integration of audio into a multi-view interactive digital media representation |
| US10354394B2 (en) | 2016-09-16 | 2019-07-16 | Dolby Laboratories Licensing Corporation | Dynamic adjustment of frame rate conversion settings |
| US11202017B2 (en) | 2016-10-06 | 2021-12-14 | Fyusion, Inc. | Live style transfer on a mobile device |
| US10437879B2 (en) | 2017-01-18 | 2019-10-08 | Fyusion, Inc. | Visual search using multi-view interactive digital media representations |
| US20180227482A1 (en) | 2017-02-07 | 2018-08-09 | Fyusion, Inc. | Scene-aware selection of filters and effects for visual digital media content |
| US10313651B2 (en) | 2017-05-22 | 2019-06-04 | Fyusion, Inc. | Snapshots at predefined intervals or angles |
| US11069147B2 (en) | 2017-06-26 | 2021-07-20 | Fyusion, Inc. | Modification of multi-view interactive digital media representation |
| US10977809B2 (en) * | 2017-12-11 | 2021-04-13 | Dolby Laboratories Licensing Corporation | Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings |
| US10592747B2 (en) | 2018-04-26 | 2020-03-17 | Fyusion, Inc. | Method and apparatus for 3-D auto tagging |
| IL280232B2 (en) * | 2018-07-18 | 2025-04-01 | Pixellot Ltd | System and method for content layer-based video compression |
| US11044473B2 (en) * | 2018-12-21 | 2021-06-22 | Qualcomm Incorporated | Adaptive loop filtering classification in video coding |
| CN109919126B (zh) * | 2019-03-19 | 2023-07-25 | 北京鑫洋泉电子科技有限公司 | 一种移动物体探测方法、装置及存储介质 |
| US10951902B2 (en) | 2019-06-12 | 2021-03-16 | Rovi Guides, Inc. | Systems and methods for multiple bit rate content encoding |
| US11430134B2 (en) * | 2019-09-03 | 2022-08-30 | Nvidia Corporation | Hardware-based optical flow acceleration |
| US10970855B1 (en) | 2020-03-05 | 2021-04-06 | International Business Machines Corporation | Memory-efficient video tracking in real-time using direction vectors |
| CN118924343B (zh) * | 2024-10-14 | 2024-12-06 | 首都医科大学附属北京妇产医院 | 基于超声技术的子宫内膜蠕动辅助测量方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2569219B2 (ja) * | 1990-01-31 | 1997-01-08 | 富士通株式会社 | 動画像予測方式 |
-
1994
- 1994-03-15 JP JP04405594A patent/JP3679426B2/ja not_active Expired - Lifetime
- 1994-12-27 US US08/464,108 patent/US5557684A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US5557684A (en) | 1996-09-17 |
| JPH0795592A (ja) | 1995-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5557684A (en) | System for encoding image data into multiple layers representing regions of coherent motion and associated motion parameters | |
| KR102709925B1 (ko) | 투영 기반 메시 압축 | |
| EP2033164B1 (en) | Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition | |
| JP4074062B2 (ja) | ベクトル画像シーケンスにおける意味対象物の追跡 | |
| KR100306948B1 (ko) | 모자이크식이미지처리시스템및이미지처리방법 | |
| EP1977395B1 (en) | Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality | |
| US5943445A (en) | Dynamic sprites for encoding video data | |
| KR100583902B1 (ko) | 이미지세그멘테이션 | |
| KR101370718B1 (ko) | 파노라마 이미지를 이용한 2d에서 3d로의 변환 방법 및 장치 | |
| EP0952552A2 (en) | Method for generating 2-D images from 3-D video data | |
| US7616782B2 (en) | Mesh based frame processing and applications | |
| GB2553782A (en) | Predicting depth from image data using a statistical model | |
| CN102014281A (zh) | 具有非线性运动场平滑的运动估计的方法和系统 | |
| CN109903315B (zh) | 用于光流预测的方法、装置、设备以及可读存储介质 | |
| CN110942484A (zh) | 基于遮挡感知和特征金字塔匹配的相机自运动估计方法 | |
| JP7762256B2 (ja) | 美的制御可能な立体視変換 | |
| Tzovaras et al. | 3D object articulation and motion estimation in model-based stereoscopic videoconference image sequence analysis and coding | |
| WO2025206410A1 (en) | Dynamic (4d) scene reconstruction using multiple neural radiance fields | |
| CN119338668A (zh) | 基于深度学习的视频图像空间转换方法 | |
| CN117173330A (zh) | 针对无约束图像数据的三维重建方法、系统、装置及介质 | |
| CN121099086B (zh) | 基于数字视频技术的自适应视频修复方法 | |
| Aguiar et al. | Content-based image sequence representation | |
| Li et al. | A hybrid model-based image coding system for very low bit-rate coding | |
| CN100405818C (zh) | 在数字视频序列中执行时间运动矢量滤波的方法 | |
| Pohl et al. | Semi-Automatic 2D to 3D Video Conversion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040810 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20041110 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20041117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050415 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050513 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090520 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100520 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110520 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120520 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130520 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |