JPH10285602A5 - - Google Patents

Claims (23)

1. シーンを表す映像データを処理するためのコンピュータで実施される方法において、
   映像データを剛体的及び非剛体的に運動する映像オブジェクトへとセグメント化し、
   上記剛体的に運動するオブジェクトに対する運動情報を推定し、そして
   上記運動情報を用いて、上記剛体的に運動するオブジェクトを、メモリに記憶された対応する動的スプライトへと徐々に統合する、
   という段階を備えたことを特徴とする方法。
2. 映像データに対するローカル運動ベクトルを推定し、
   上記ローカル運動ベクトルをクラスター化して、優勢運動を決定し、そして
   上記優勢運動に実質的に類似したローカル運動ベクトルを有する映像データを上記剛体的に運動するオブジェクトとしてセグメント化する、
   という段階を更に備えた請求項１に記載の方法。
3. 上記優勢運動の予想エラーに存在する第１の残留情報を決定し、
   上記ローカル運動ベクトルの予想エラーに存在する第２の残留情報を決定し、 上記第１の残留情報が第２の残留情報に実質的に類似している場合には、映像データを上記剛体的に運動するオブジェクトとしてセグメント化し、さもなくば、 映像データを上記非剛体的に運動するオブジェクトとしてセグメント化する、
   という段階を更に備えた請求項２に記載の方法。
4. パラメトリック運動モデルを用いて上記優勢運動を推定するという段階を更に備える請求項１に記載の方法。
5. 上記パラメトリック運動モデルは、パースペクティブ運動モデルである請求項４に記載の方法。
6. 各々の優勢運動に対して１つの映像オブジェクトと、それに対応するスプライトがある請求項２に記載の方法。
7. 上記映像データは、フレームの時間的シーケンスとして編成され、そして更に、フレームを座標系に対して整列するという段階を備える請求項１に記載の方法。
8. フレームをフレームの時間的シーケンスの第１のフレームに対して整列してスプライトのための固定基準座標系を確立するという段階を更に備える請求項７に記載の方法。
9. 各フレーム及び各スプライトは、複数のピクセルを含み、各ピクセルは、シーンの光強度値を表し、そして更に、統合の前に逆方向変換を用いて上記フレームの時間的シーケンスの現在フレームのピクセルをスプライトの固定基準座標系へとワープするという段階を備える請求項８に記載の方法。
10. 上記スプライトを上記フレームの時間的シーケンスの現在フレームに対して整列してスプライトのための経時変化座標系を確立するという段階を更に備える請求項７に記載の方法。
11. 各フレーム及び各スプライトは、複数のピクセルを含み、各ピクセルは、シーンの光強度値を表し、そして更に、統合の前に順方向変換を用いてスプライトのピクセルを上記フレームの時間的シーケンスの現在フレームへとワープするという段階を備える請求項１０に記載の方法。
12. 上記映像データ並びに運動及び形状情報を、第１処理システムのエンコーダを用いてエンコードされたデータとしてエンコードし、
    上記エンコードされたデータを第１デコーダを用いてデコードして、上記第１処理システムの第１メモリに第１スプライトを形成し、
    上記エンコードされたデータを第２処理システムに送信し、
    上記エンコードされたデータを第２デコーダを用いてデコードして、上記第２処理システムの第２メモリに第２スプライトを形成するという段階を更に備え、上記第１及び第２スプライトは、実質的に同一である請求項１に記載の方法。
13. 上記映像データは、フレームの時間的シーケンスとして編成され、各フレームは、複数のピクセルブロックを含み、そして更に、第１スプライト又は上記フレームの時間的シーケンスの手前のフレームからエンコードを行うために上記フレームの時間的シーケンスの現在フレームの特定ピクセルブロックを選択するという段階を備える請求項１２に記載の方法。
14. 第１スプライトからエンコードを行うために特定ブロックが選択された場合には運動情報を用いて特定ブロックをエンコードし、そして手前のフレームからエンコードを行うために特定ブロックが選択された場合にはローカル運動ベクトルを用いて特定ブロックをエンコードするという段階を更に備える請求項１３に記載の方法。
15. 第１スプライトから特定ブロックをエンコードするのに基づいて特定ブロックに対する第１予想エラーを決定し、
    手前のフレームから特定ブロックをエンコードするのに基づいて特定ブロックに対する第２予想エラーを決定し、そして
    上記第１予想エラーが第２予想エラーより小さい場合には第１スプライトからエンコードするために特定ブロックを選択し、さもなくば、手前のフレームからエンコードするために特定ブロックを選択するという段階を更に備える請求項１３に記載の方法。
16. 固定基準座標系を有するスプライトの１つを選択して、映像データにより表されたシーンの背景部分のパノラマ図を構成するという段階を更に備え、このパノラマ図は、剛体的に運動する映像オブジェクトのみを含む請求項８に記載の方法。
17. シーンを表す映像データを処理する装置において、
    シーンの光強度値を表す映像データを収集するカメラと、
    上記映像データを剛体的に及び非剛体的に運動する映像オブジェクトへとセグメント化する手段と、
    上記剛体的に運動するオブジェクトに対して運動情報を推定する手段と、
    上記剛体的に運動するオブジェクトの統合を動的なスプライトとして徐々に記憶するメモリとを備えたことを特徴とする装置。
18. シーンを表す映像データを処理するためのコンピュータで実施される方法において、
    映像データを剛体的に及び非剛体的に運動する映像オブジェクトへとセグメント化し、
    上記剛体的に運動するオブジェクトに対する運動情報を推定し、
    上記運動情報を用いて、上記剛体的に運動するオブジェクトを、メモリにおいて少なくとも１つの対応するスプライトへと統合するという段階を備えており、
    上記映像データは、複数のピクセルブロックを各々が含むフレームの時間的シーケンスとして編成されて、上記フレームの時間的シーケンスの第１のフレームの特定のピクセルブロックが、上記スプライトおよび上記フレームの時間的シーケンスの上記第１のフレームより前に起こる上記フレームの時間的シーケンスの第２のフレームのうちの１つからエンコードを行うために選択されることを特徴とする方法。
19. 上記特定のピクセルブロックが上記スプライトから選択される場合には、上記エンコードは、上記運動情報を使用し、上記特定のピクセルブロックが上記フレームの時間的シーケンスの第２のフレームから選択される場合には、上記エンコードは、上記運動情報とは異なる他の運動情報を使用する請求項１８に記載の方法。
20. シーンを表す映像データを処理する装置において、
    上記映像データを受け取り、上記映像データを剛体的におよび非剛体的に運動するオブジェクトへとセグメント化し、上記剛体的に運動するオブジェクトに対する運動情報を推定するように構成されたプロセッサと、
    上記剛体的に運動するオブジェクトの統合を少なくとも１つの動的スプライトとして徐所に記憶するように構成されたメモリと、
    上記少なくとも１つの動的スプライトを使用して上記映像データをエンコードするように構成されたエンコーダとを備えることを特徴とする装置。
21. 上記プロセッサは、複数のピクセルブロックを各々が含むフレームの時間的シーケンスとして上記映像データを編成し、上記フレームの時間的シーケンスの第１のフレームの特定のピクセルブロックを、上記エンコーダが上記少なくとも１つのスプライトおよび上記第１のフレームの前に起こる上記フレームの時間的シーケンスの第２のフレームのうちの１つからエンコードするように、選択するように更に構成されている請求項２０に記載の装置。
22. シーンを表す映像データを処理するためのコンピュータで実施される方法において、
    上記シーン内の剛体的に運動するオブジェクトに対する運動情報を推定し、
    上記運動情報を使用して上記剛体的に運動するオブジェクトを徐々に統合することにより少なくとも１つの動的スプライトを形成するという段階を備えることを特徴とする方法。
23. 上記少なくとも１つのスプライトを使用して上記映像データをエンコードするという段階を更に備える請求項２２に記載の方法。