JPH08149461A - 動画像処理装置とその方法 - Google Patents

Abstract

(57)【要約】 【目的】一連の動画像を構成する各セグメントの３次元
形状情報を抽出し、その情報を用いてその一連の動画像
を高い圧縮率で符号化する。 【構成】動画像を画像分析部１１で分析し特徴点を求め
分析画像記憶部１２に記憶する。その１フレーム目より
セグメンテーション部１３でセグメントを抽出し記憶部
１４に記憶する。動き推定・対応探索部１５で各セグメ
ントの各フレーム間での動きを推定し、投影部１６で各
セグメントを移動させ２次元画面上に投影し、誤差検出
部１７で投影された各特徴点と実際の特徴点の差を求め
る。その動き推定値と差からカルマンフィルタ１８で記
憶部１４の３次元形状情報を更新する。最初に３次元形
状情報と各特徴点の分析値を符号化し、各フレームにつ
いてはその３次元形状情報に基づいた動き推定値と各特
徴点の差を符号化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、たとえば動画像の伝送
・記録などに用いて好適な、動画像中の物体の３次元形
状モデルを抽出する動画像処理装置、および、その形状
モデルを用いて高圧縮率で動画像を符号化および復号化
する動画像符号化装置、動画像復号化装置、さらに、そ
の符号化された動画像を記録媒体上に記録する動画像記
録装置、および、それを再生する動画像再生装置に関す
る。

【０００２】

【従来の技術】動画像系列の中の各物体の３次元モデル
を使って動画像を符号化することで、動画像系列を圧縮
する方法が提案されている。各物体の３次元形状とその
動きがわかれば、元の動画像系列と全く同じ動画像系列
が生成できる。そこで、たとえば画像通信において、送
信側と受信側で３次元モデルを共有し、送信側で入力画
像の動きの情報を検出し、受信側でその動きの情報から
画像合成を行えば、画像が再生できる。この場合、動き
の情報のみを伝送すればよいことから超低レートでの画
像通信が期待できる。具体的には、顔の３次元構造モデ
ルをワイヤフレームに変形し送信側と受信側で共有し、
表情などの特徴のみを伝送して顔画像の合成を行う方法
が盛んに試みられている。

【０００３】しかし、この符号化方法を自然画像に応用
する場合には、予め３次元モデルを用意しておくことは
不可能であり、与えられた動画像系列から３次元モデル
を抽出する必要がある。そのような、動画像系列の中か
ら３次元形状モデルを抽出し、そのモデルを利用して動
画像を符号化する方法としては、Hans George Musmann
、Michael Hotter、Jorn Ostermannらによる「OBJECT-
ORIENTED analysis coding of moving images．」〔Sig
nal processing:Image Communication 1(1989):117-13
8,Elsvier SCIENCE PUBLISHERS B.V. 〕に開示されてい
る方法がある。この方法によれば、エッジ部分について
は動きベクトルを求めそれを利用して奥行きを求め、エ
ッジ以外の部分については奥行きを補間して、３次元形
状を推測する。また、輝度情報は、３次元上に属性とし
てマッピングし、補間された３次元形状のデータと共に
送出を行っている。

【０００４】

【発明が解決しようとする課題】しかし、前述したよう
な方法で３次元形状を推測し、動画像系列を圧縮する方
法においては、輝度が急変するエッジ部分さえ動きベク
トルを求めることは難しく、動きベクトルから正確な奥
行きを推測することは非常に難しかった。したがって、
エッジ部分の奥行きを補間して３次元形状を推測して
も、正確な３次元形状が求められなかった。また、その
ため、実際の形状とのずれがあるため余分な情報が増加
して、圧縮率が上げられなかったさらに、前述したよう
な方法では、３次元上に属性としてマッピングした輝度
情報を初期情報として伝送するので初期情報量が多いと
いう問題があった。

【０００５】したがって、本発明の目的は、動画像系列
から忠実度の高い３次元形状モデルを抽出する動画像処
理装置を提供することにある。また、その３次元形状モ
デルを使って高い圧縮率で動画像の符号化が可能な動画
像符号化装置、および、それを復号する動画像復号化装
置を提供することにある。さらに、その符号化された動
画像を記録媒体上に記録する動画像記録装置、および、
それを再生する動画像再生装置を提供することにある。

【０００６】

【課題を解決するための手段】本発明の動画像処理装置
においては、３次元物体の表面データではなく、２次元
動画像にしたときに視覚的に重要な点の３次元位置、お
よび、その点の分析値を初期値として持ち、物体の移動
を検出しながら、３次元位置情報を獲得するようにし
た。

【０００７】したがって、本発明の動画像処理装置は、
入力された連続的な動画像に関する所定の静止画像を分
析し、該画像を構成する各セグメントの３次元形状情報
を得るモデリング手段と、前記モデリング手段により得
られた前記各セグメントの３次元形状情報を記憶する記
憶手段と、前記連続的な動画像の各フレーム間における
該動画像を構成する各セグメントの３次元的な動きを、
前記記憶手段に記憶されている前記各セグメントの３次
元形状情報に基づいて推定する動き推定手段と、前記推
定された動きにより各セグメントを３次元的に移動させ
た結果の位置と実際の位置の差に基づいて、前記記憶手
段に記憶されている各セグメントの３次元形状情報を更
新する更新手段とを有する。

【０００８】好適には、前記モデリング手段は、前記入
力された連続的な動画像の各フレームを分析して特徴点
を抽出する画像分析手段と、前記連続的な動画像の１フ
レーム目を構成するセグメントを抽出するセグメンテー
ション手段と、前記各セグメントごとの前記各特徴点に
所定の奥行き値を付加し、前記各セグメントの３次元形
状情報の初期値を生成する３次元情報生成手段とを有
し、前記動き推定手段は、前記連続的な動画像の各フレ
ーム間における前記各セグメントの３次元的な動きを、
前記記憶手段に記憶されている各セグメントの３次元形
状情報に基づいて推定し、前記更新手段は、前記推定さ
れた動きにより各セグメントを３次元的に移動させた結
果の各特徴点の位置と、実際の各特徴点との位置の差に
基づいて、前記記憶手段に記憶されている各セグメント
の３次元形状情報を各フレームごとに更新する。

【０００９】また好適には、前記画像分析手段は、それ
ぞれ異なる解像度スケールを持つ複数のフィルターで分
析する。

【００１０】また好適には、前記更新手段は、前記推定
された動きにより各セグメントを３次元的に移動させた
結果の各特徴点の位置を状態量、当該特徴点の実際の位
置を観測量、対応する各特徴点間の位置の差をノイズと
し、カルマンフィルタにより前記状態量の最小自乗推定
値を求めることにより、前記各セグメントの３次元形状
情報を更新する。

【００１１】また、本発明の動画像符号化装置は、前記
動画像処理装置と、前記獲得された３次元形状情報と、
前記画像分析手段により分析された当該３次元形状情報
を構成する各特徴点の分析値とを符号化する初期符号化
手段と、前記連続的な動画像の各フレーム間における前
記各セグメントの３次元的な動きを、前記動画像処理装
置により獲得され前記記憶手段に記憶されている各セグ
メントの３次元形状情報に基づいて推定する第２の動き
推定手段と、前記第２の動き推定手段により推定された
動きにより各セグメントを３次元的に移動させた結果の
各特徴点の位置と、実際の各特徴点の位置の差を求める
差検出手段と、前記第２の動き推定手段により推定され
た各セグメントの動き推定値と、前記差検出手段により
検出された各特徴点の位置の差とを、各フレームごとに
符号化する符号化手段とを有する。

【００１２】また、本発明の動画像記録装置は、前記動
画像符号化装置と、その動画像符号化装置により符号化
された前記連続的な動画像を記録媒体上に記録する記録
手段とを有する。

【００１３】また、本発明の動画像復号化装置は、符号
化された連続的な動画像を構成する各セグメントの３次
元形状情報と、該３次元形状情報を構成する各特徴点の
分析値とを復号化する初期復号化手段と、前記連続的な
動画像の各フレームごとに符号化された、前記各セグメ
ントの動き推定値と、各特徴点ごとの変位とを復号化す
る復号化手段と、前記各セグメントの位置を、前記復号
化手段により復号化された各セグメントの動き推定値に
基づいて３次元的に移動させる移動手段と、前記移動手
段により移動された位置の前記各セグメントを、２次元
画面上に投影した投影画像を得る投影手段と、前記投影
画像における各セグメントの各特徴点の位置を、前記復
号化手段により復号化された各セグメントの各特徴点ご
との変位に基づいて移動させる変形手段と、前記変形手
段により変形された結果の画像と、前記初期復号化手段
により復号化された各特徴点の分析値とに基づいて、画
像を合成する画像合成手段とを有する。

【００１４】また、本発明の動画像再生装置は、記録媒
体上に記録された符号化された連続的な動画像信号を読
み出す信号読み取り手段と、前記読み出された符号化さ
れた連続的な動画像信号を復号化し、前記連続的な動画
像を合成する前記動画像復号化手段とを有する。

【００１５】また、本発明の動画像符号化方法は、所定
の２次元画像より３次元モデルを抽出し、抽出された各
モデルの全体の動きと、その各モデルの各部分の変形に
相当する微小な動きに基づいて連続的な動画像を符号化
する。

【００１６】

【作用】本発明の動画像処理装置においては、２次元動
画像にしたときに視覚的に重要な点の３次元位置、およ
び、その点の分析値を特徴点として、物体の移動を検出
しながら、３次元形状情報を順次更新しするようにし
た。したがって、その連続的な動画像系列を通して最も
矛盾が無い３次元形状情報が抽出できる。また、３次元
形状情報が精度よく抽出できるので、動画像系列の各フ
レーム間の動きをそのセグメント全体の動きで表した際
に、各特徴点ごとの微小な変位が少なくなり、その分布
は変位０を中心に局在化する。その結果、さらに圧縮率
が向上する。

【００１７】

【実施例】本発明の一実施例の動画像符号化装置につい
て、図１を参照して説明する。図１は、本発明の一実施
例の動画像符号化装置１０の構成を示すブロック図であ
る。動画像符号化装置１０は、画像分析部１１、分析画
像記憶部１２、セグメンテーション部１３、記憶部１
４、動き推定・対応探索部１５、投影部１６、誤差検出
部１７、カルマンフィルタ１８、および、符号化部１９
を有する。この動画像符号化装置１０は、後述する動画
像復号化装置３０と協働して画像処理系を構成する。

【００１８】本実施例の動画像符号化装置１０は、ＶＴ
Ｒなどからの動画像系列より、図示せぬ連続シーケンス
検出部で連続した画像データを検出し、その各連続した
画像データ系列を符号化し記録する、動画像記録装置で
ある。その記録に際しては、前記連続シーケンスより、
そのシーケンスを構成するセグメントの３次元形状情報
を抽出する第１のステップと、抽出された３次元形状情
報を用いて符号化を行う第２のステップとに分けられ
る。以下、各部の動作について、前記第１のステップ、
第２のステップごとに説明する。

【００１９】まず、連続的な動画像系列より、その動画
像を構成する各セグメントの３次元形状情報を抽出する
ステップにおける各部の動作について説明する。ＶＴＲ
などから入力された動画像系列は、連続したシーケンス
が検出され、画像分析部１１に入力される。画像分析部
１１は、順次入力される各フレームの画像データを分析
し、特徴点を抽出し、特徴点の位置と分析値を求める。
本実施例においては、入力画像データに対して、異なる
解像度スケールを持つ複数のフィルタで画像データの分
析を行い、エッジを構成する点を特徴点として検出し、
入力画像データを特徴画像データであるエッジの画像デ
ータに変換し、そのエッジを構成する各点の位置と分析
値を抽出する。

【００２０】分析画像記憶部１２は、画像分析部１１で
分析された連続的な連続シーケンスの特徴点画像を記憶
するメモリである。記憶されている各フレームの特徴点
の情報は、動き推定・対応探索部１５より順次参照さ
れ、また、１フレーム目の特徴点の情報は、セグメンテ
ーション部１３および符号化部１９より参照される。

【００２１】セグメンテーション部１３は、画像分析部
１１より入力された１フレーム目の特徴画像データの特
徴点の位置と分析値より、セグメンテーションを行い、
この画像データを構成しているセグメントを抽出し、各
セグメント毎の特徴点の情報を記憶部１４に記憶する。
このセグメンテーションは、カラー画像から赤・緑・青
・明度・色相・彩度の信号、および、テレビ信号に対応
したＹ信号、Ｉ信号、Ｑ信号の合計９種類の特徴を抽出
し、その特徴に関するヒストグラムに基づいてセグメン
テーションを行う再帰的しきい値処理により行う。

【００２２】記憶部１４は、各セグメントの各特徴点に
ついて、位置情報Ｘ，Ｙ，Ｚと、分析値ｇ、確率共分散
行列ｖ、付加情報ａを記憶する記憶手段であり、メモリ
により構成される。記憶部１４に記憶されている情報
は、入力された連続シーケンスがＳ個のセグメントを有
し、各セグメントがＵs 個（ｓ＝１〜Ｓ）のエッジより
構成され、その各エッジがＮsu個（ｕ＝１〜Ｕs 、ｓ＝
１〜Ｓ）の特徴点より構成される場合、式１のように表
される。

【００２３】

【数１】

【００２４】なお、確率共分散行列ｖsun （ｎ＝１〜Ｎ
su、ｕ＝１〜Ｕs 、ｓ＝１〜Ｓ）は、各エッジを構成す
る点のちらばりであるので、同一のエッジを構成する各
特徴点については同一の値が付される。

【００２５】記憶部１４に記憶されている情報は、ま
ず、１フレーム目についての情報がセグメンテーション
部１３より入力され、初期データが生成される。その
後、２フレーム目以降の画像データが入力されるごと
に、後述するカルマンフィルタ１８によりその内容が更
新される。

【００２６】動き推定・対応探索部１５は、前フレーム
の画像のエッジ画像の各点の情報｛Ｆsun ｝と現フレー
ムのエッジ位置と分析値から、セグメントの動いた量を
推定し、前フレームの各点の情報｛Ｆsun ｝と、現フレ
ームのエッジ画像の特徴点の対応付けを行う。その方法
について具体的に以下に説明する。まず、図２におい
て、座標系ＸＹＺはカメラ座標系で、座標系の原点はレ
ンズの中心で、光軸は奥行き方向となるＺ軸と一致させ
ているものとする。このような座標系においては、点Ｐ
の像はＸＹ平面に平行で原点からカメラの焦点距離ｆだ
け離れた所に設置された平面に投影されると考えること
ができる。この投影面上の点Ｐの像の位置がカメラより
入力された画像上の画素の位置となる。その投影面に対
して、その面のＺ軸との交点を原点とし、Ｘ軸およびＹ
軸と平行な座標系ｘｙを設定する。

【００２７】ＸＹＺ空間内の点Ｐの座標をｐ＝（Ｘp ，
Ｙp ，Ｚp ）、点Ｐのｘｙ平面上の像である点Ｑの座標
をｑ＝（ｘq ，ｙq ）とすると、点Ｑの座標ｑは式２の
ように表される。

【００２８】

【数２】

【００２９】あるセグメントｓ（ｓ＝１〜Ｓ）がＵs 個
（ｓ＝１〜Ｓ）のエッジより構成され、その各エッジが
Ｎsu個（ｕ＝１〜Ｕｓ，ｓ＝１〜Ｓ）の点の情報で表さ
れ、それら各点の位置はｐsun ＝（Ｘsun ，Ｙsun ，Ｚ
sun ）（ｎ＝１〜Ｎsu）で表されるとする。このセグメ
ントが、相対的にＸ軸周りにΔωｘ、Ｙ軸周りにΔω
ｙ、Ｚ軸周りにΔωｚ回転し、また、Δｔ＝（Δｔｘ，
Δｔｙ，Δｔｚ）だけ平行移動した場合、このセグメン
トを構成する各点ｐsun の移動量Δｐsun ＝（ΔＸsun
，ΔＹsun ，ΔＺsun ）は、前記各軸周りの回転Δω
ｘ，Δωｙ，Δωｚ、および，平行移動量Δｔが小さい
とすると、式３のようになる。

【００３０】

【数３】

【００３１】点ｐsun のｘｙ平面上への投影点をｑsun
＝（ｘsun ，ｙsun ）とすると、前記セグメントの移動
にともなう投影点ｑsun の移動量Δｑsun ＝（Δｘsun
，Δｙsun ）は式４のようになる。

【００３２】

【数４】

【００３３】式２と式４より式５が得られる。

【００３４】

【数５】

【００３５】式２および式５を、Ｎ個の点の内のｍ＝１
〜ＭのＭ個に適用すると、式６のようになる。

【００３６】

【数６】

【００３７】なお、Δｔ^t は行列Δｔの転置行列を示
す。Δｑについては、新たな画像が入力される前に得て
いた３次元位置ｐｍの式２による仮想の投影点ｑｍ’に
対応する画像上の点が分からないので、図３に示すよう
に、３次元位置情報の仮想の投影像Ｉｐにおいて物体像
Ｉｒの投影特徴点ｑｍから最も近い点と仮定する。Ｍ≧
３のとき回転および平行移動量のパラメータΔＣの推定
値ΔＣ’は、最小自乗法により式７により求められる。

【００３８】

【数７】

【００３９】式７により得られたΔＣ’による３次元位
置情報の移動量Δｑsun を式２より計算して、新たに式
３により仮想の投影像を作り、同様に近い点を対応点と
仮定し、式７の計算を繰り返し、式８のようにしていく
と、仮想の投影像と物体像Ｉｒは近づく。

【００４０】

【数８】

【００４１】この計算を、Σ｜Δｑsun ｜² が予め定め
た所定値ε以下になるまで繰り返すことにより、元の画
像の３次元位置情報ｐsun に対する新たな画像の対応点
ｑsun が求められる。

【００４２】以上述べたような動き推定・対応探索の方
法によれば、物体を剛体と仮定し、回転および平行移動
についての６個のパラメータで３次元位置情報を構成す
る点を拘束することで、個々の点それぞれ独立にではな
く、包括的に動き推定・対応探索が行われている。した
がって、全体として矛盾のない対応関係が全ての点につ
いて得られ、誤対応による３次元位置情報におけるノイ
ズが減る。

【００４３】投影部１６は、動き推定・対応探索部１５
により得られた、各セグメントの平行移動量ｔ、回転移
動量ωによって各セグメントの情報｛Ｆsun ｝の位置情
報を、３次元空間において平行および回転移動させ、さ
らに、各セグメントの各点の３次元位置ｐsun ＝（Ｘsu
n ，Ｙsun ，Ｚsun ）を画像上の位置ｑsun ＝（ｘsun
，ｙsun ）に変換し、得られた画像上の点ｑsun に分
析値ｇsun を与える。３次元位置ｐsun から投影点ｑsu
n への変換は式３により行う。

【００４４】誤差検出部１７は、投影後の各特徴点の情
報｛Ｆsun ｝の画像上での位置ｑsun'と対応する入力画
像のエッジ位置ｑsun との差を求め、さらに、その差を
量子化し、フラクチュエーションを求める。量子化方法
としては、一定の適切な量子化ステップ（たとえば１画
素幅）による線形な量子化、いくつかの線形でない量子
化ステップを設定した非線形量子化、量子化ステップを
固定せず、入力される画像の性質により量子化ステップ
を適宜変える量子化などがあり、要求される伝送レー
ト、画質に応じて、適切な量子化方法を用いれば良い。
たとえば、高圧縮率が要求される場合には、量子化ステ
ップを大きくしたり、画像に直線が多く量子化ノイズに
よる直線の不連続性が目立つ場合は、非線形量子化を行
い、フラクチュエーションの小さい部分の量子化を細か
くするようにする。求められたフラクチュエーション
は、カルマンフィルタ１８に入力される。

【００４５】カルマンフィルタ１８は、前の画像におけ
る各セグメントの各点の情報｛Ｆsun ｝の３次元位置ｐ
sun とそれに対応する入力画像のエッジ位置ｑsun から
３次元位置ｐsun を更新する。カルマンフィルタはノイ
ズを含むシステムにおいて時系列の観測量から状態量の
最小自乗推定値を逐次得ることのできるフィルタであ
る。本実施例において、状態量は３次元位置ｐsun 、観
測量である２次元位置ｑsun である。２次元位置ｑsun
にはΔｑsun の量子化によるノイズが含まれる。また、
動き推定値にもノイズが含まれる。初期値の平面上の３
次元形状｛ｐsun｝は、カルマンフィルタによりセグメ
ントに動きがあるごとに、実際の３次元形状に近づくよ
うに更新されていく。各点の情報｛Ｆsun ｝における確
率共分散行列ｖsun はｐsun の確率共分散行列（３×
３）でｐsun を更新するのに用いられ、同時に確率共分
散行列ｖsun も更新される。

【００４６】以上の、カルマンフィルタにおける更新
を、連続的な動画像の全フレームについて行うと、最終
的に記憶部１４には、各セグメントごとの忠実度の高い
３次元形状モデルが記憶される。

【００４７】次に、前記第１のステップにおいて抽出さ
れた３次元形状モデルを用いて、この連続的な動画像を
符号化する第２のステップについて説明する。第２のス
テップにおいても、各部の動作は第１のステップと同じ
である。しかし、第２のステップにおいては、記憶部１
４に記憶されている最終的な各セグメントの３次元形状
情報を用いて動き推定・対応探索を行い、セグメントご
との動きを抽出し、各特徴点の実際の位置との差を求め
る。

【００４８】したがって、まず、動き推定・対応探索部
１５において、記憶部１４に記憶されている各セグメン
トの３次元形状情報を用いて、分析画像記憶部１２に記
憶されている各フレームごとの特徴点の位置より、各セ
グメントの全体の動きと、各特徴点の対応を求める。そ
の求め方は、前記第１のステップの場合と同一である。
ここで求められた動きは投影部１６および符号化部１９
に出力される。

【００４９】そして、投影部１６は、動き推定・対応探
索部１５により得られた各セグメントの移動量によって
各セグメントの位置情報を、３次元空間において平行お
よび回転移動させ、さらに、各セグメントの各点の３次
元位置を、画像上の位置に変換する。誤差検出部１７
は、投影後の各特徴点の画像上での位置と対応する入力
画像のエッジ位置との差を求め、さらに、その差を量子
化し、フラクチュエーションを求める。求められたフラ
クチュエーションは、符号化部１９に出力される。

【００５０】符号化部１９は、入力された動画像系列の
情報を符号化し、伝送路に送出する。符号化部１９は、
各連続画像シーケンスについて、まず、記憶部１４に記
憶されている３次元形状情報、および、分析値、を符号
化する。また、各フレームの画像データについては、各
セグメント毎に、動き推定・対応探索部１５より出力さ
れる動き推定値と、誤差検出部１７より出力されるフラ
クチュエーションを符号化し出力する。符号化された各
連続画像シーケンスごとのデータは、たとえば、ＶＴＲ
などの画像記録装置に記録される。

【００５１】このように、本実施例の動画像符号化装置
１０によれば、各フレームごとのセグメントの動きを推
定しながら、忠実度の高い３次元形状モデルを抽出し、
その抽出された３次元形状モデルを参照して、さらに、
各フレームごとに各モデルの動き、および、各特徴点の
微小な変位を求めている。したがって、各特徴点の微小
な変位の情報は分散せず、変位が無い場合を中心に局在
化する。その結果符号化の圧縮率を上げることができ
る。

【００５２】なお、本実施例においては動画像符号化装
置について説明したが、本発明の動画像処理装置は、本
実施例の構成において符号化部１９を持たない構成で実
現できる。連続的な動画像よりその動画像を構成する各
セグメントの３次元形状情報を抽出し、その情報を用い
て種々の画像処理を行うような装置、たとえば、特殊効
果装置などに本発明を適用する場合には、その符号化部
１９を持たない構成の画像処理装置を適宜適用すればよ
い。また、本発明の動画像記録装置は、本実施例の構成
にさらに、符号化部１９で符号化された結果を記録媒体
上に記録する手段を追加することにより実現できる。そ
のようにすれば、従来の符号化方法よりはるかに高圧縮
率で動画像を記録でき、同一の記録媒体に、より長時間
の動画像を記録できる動画像記録装置が提供できる。

【００５３】次に、本発明の一実施例の動画像復号化装
置について、図４を参照して説明する。図４は、本発明
の一実施例の動画像復号化装置３０の構成を示すブロッ
ク図である。動画像復号化装置３０は、復号部３１、記
憶部３２、動き処理部３３、投影部３４、変形部３５、
再合成部３６、および、合成画像記憶部３７より構成さ
れる。本実施例の動画像復号化装置３０は、伝送路より
伝送された符号化された動画像系列を展開し、合成し、
出力する動画像復号化装置であって、前述した動画像符
号化装置１０と協働して画像処理系を構成する。

【００５４】以下、各部の動作について説明する。復号
部３１は、伝送路より伝送された信号を受信し、復号化
して各情報を取り出し、適宜各部に出力する受信手段で
ある。復号部３１は、まず、連続的な動画像シーケンス
を構成する各セグメントの３次元形状情報を受信し、復
号し、記憶部３２に記憶する。その際の各セグメントの
位置は、その連続的な動画像の１フレーム目での位置で
表される。そして、２フレーム目以降については、符号
化されたその各セグメントの全体の移動量（グローバル
モーション）と各特徴点の細かな動き（フラクチュエー
ション）を受信し、復号し、グローバルモーションは動
き処理部３３に、フラクチュエーションは変形部３５に
出力される。

【００５５】記憶部３２は、連続的な動画像シーケンス
を構成する各セグメントの３次元形状情報と、各セグメ
ントの位置情報を記憶するメモリである。記憶部３２
は、復号部３１より入力された連続的な動画像シーケン
スを構成する各セグメントの３次元形状情報を初期値と
して記憶し、以後、動き処理部３３によりその位置を各
フレームごと更新される。動き処理部３３は、復号部３
１により入力された動き推定値に基づいて、記憶部３２
に記憶されている各セグメントを移動させる。移動させ
た情報は、投影部３４に出力するとともに、記憶部３２
の各セグメントの位置情報を更新する。

【００５６】投影部３４は、動き処理部３３により移動
された各セグメントを２次元画像上に投影する。変形部
３５は、投影部３４により投影された画像の各特徴点の
位置に対して、復号部３１より入力されたフラクチュエ
ーションを各特徴点に加え、各特徴点の位置を補正す
る。再合成部３６は、変形部３５より入力された各特徴
点の情報、および、記憶部３２に記憶されている各特徴
点の分析値、および、この連続的な動画像のＤＣ成分に
基づいて、画像データを復元する。合成画像記憶部３７
は、再合成部３６により復元された画像データを記憶し
ておくメモリである。合成画像記憶部３７に記憶されて
いる動画像情報は、適宜表示装置などに出力される。

【００５７】なお、本発明の動画像再生装置は、本実施
例の動画像復号化装置の構成にさらに、記録媒体上に記
録された信号を読み出す手段を加えることにより実現で
きる。そのような動画像再生装置においては、高い圧縮
率で長時間記録されている動画像系列を再生でき、さら
に、各セグメントの移動量を各フレーム間の移動量を細
分した値に設定することにより、原画像のフレームには
存在しなかったような各セグメントを微小に送った超ス
ローモーション画像などの動画像を生成することができ
る。

【００５８】

【発明の効果】本発明によれば、動画像系列から忠実度
の高い３次元形状モデルを抽出することのできる動画像
処理装置を提供することができた。したがって、その３
次元形状モデルを使って高い圧縮率で動画像の符号化が
可能な動画像符号化装置、および、それを復号する動画
像復号化装置を提供することができた。さらに、動画像
を記録媒体上に長時間記録することのできる動画像記録
装置、および、それを再生する動画像再生装置を提供す
ることができた。

【図面の簡単な説明】

【図１】本発明の一実施例の動画像符号化装置の構成を
示すブロック図である。

【図２】図１に示した動画像符号化装置の動き推定・対
応探索部の方法を説明する図であり、３次元空間の点Ｐ
を望む様子を示し座標系の説明をする図である。

【図３】図１に示した動画像符号化装置の動き推定・対
応探索の方法を説明する図である。

【図４】本発明の一実施例の動画像復号化装置の構成を
示すブロック図である。

【符号の説明】

１０…動画像符号化装置 １１…画像分析部 １２…分析画像記憶部 １３…セグメンテーション部 １４…記憶部 １５…動き推定・対応探索部 １６…投影部 １７…誤差検出部 １８…カルマンフィル
タ ３０…動画像復号化装置 ３１…復号部 ３２…記憶部 ３３…動き処理部 ３４…投影部 ３５…変形部 ３６…再合成部 ３７…合成画像記憶部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 有沢 繁 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (9)

【特許請求の範囲】
1. 【請求項１】入力された連続的な動画像に関する所定の
   静止画像を分析し、該画像を構成する各セグメントの３
   次元形状情報を得るモデリング手段と、 前記モデリング手段により得られた前記各セグメントの
   ３次元形状情報を記憶する記憶手段と、 前記連続的な動画像の各フレーム間における該動画像を
   構成する各セグメントの３次元的な動きを、前記記憶手
   段に記憶されている前記各セグメントの３次元形状情報
   に基づいて推定する動き推定手段と、 前記推定された動きにより各セグメントを３次元的に移
   動させた結果の位置と実際の位置の差に基づいて、前記
   記憶手段に記憶されている各セグメントの３次元形状情
   報を更新する更新手段とを有し、前記連続的な動画像を
   構成する各セグメントの３次元形状情報を獲得する動画
   像処理装置。
2. 【請求項２】前記モデリング手段は、 前記入力された連続的な動画像の各フレームを分析して
   特徴点を抽出する画像分析手段と、 前記連続的な動画像の１フレーム目を構成するセグメン
   トを抽出するセグメンテーション手段と、 前記各セグメントごとの前記各特徴点に所定の奥行き値
   を付加し、前記各セグメントの３次元形状情報の初期値
   を生成する３次元情報生成手段とを有し、 前記動き推定手段は、前記連続的な動画像の各フレーム
   間における前記各セグメントの３次元的な動きを、前記
   記憶手段に記憶されている各セグメントの３次元形状情
   報に基づいて推定し、 前記更新手段は、前記推定された動きにより各セグメン
   トを３次元的に移動させた結果の各特徴点の位置と、実
   際の各特徴点との位置の差に基づいて、前記記憶手段に
   記憶されている各セグメントの３次元形状情報を各フレ
   ームごとに更新する請求項１記載の動画像処理装置。
3. 【請求項３】前記画像分析手段は、それぞれ異なる解像
   度スケールを持つ複数のフィルターで分析する請求項２
   記載の動画像処理装置。
4. 【請求項４】前記更新手段は、前記推定された動きによ
   り各セグメントを３次元的に移動させた結果の各特徴点
   の位置を状態量、当該特徴点の実際の位置を観測量、対
   応する各特徴点間の位置の差をノイズとし、カルマンフ
   ィルタにより前記状態量の最小自乗推定値を求めること
   により、前記各セグメントの３次元形状情報を更新する
   請求項２または３記載の動画像処理装置。
5. 【請求項５】請求項２〜４いずれか記載の動画像処理装
   置と、 前記獲得された３次元形状情報と、前記画像分析手段に
   より分析された当該３次元形状情報を構成する各特徴点
   の分析値とを符号化する初期符号化手段と、 前記連続的な動画像の各フレーム間における前記各セグ
   メントの３次元的な動きを、前記動画像処理装置により
   獲得され前記記憶手段に記憶されている各セグメントの
   ３次元形状情報に基づいて推定する第２の動き推定手段
   と、 前記第２の動き推定手段により推定された動きにより各
   セグメントを３次元的に移動させた結果の各特徴点の位
   置と、実際の各特徴点の位置の差を求める差検出手段
   と、 前記第２の動き推定手段により推定された各セグメント
   の動き推定値と、前記差検出手段により検出された各特
   徴点の位置の差とを、各フレームごとに符号化する符号
   化手段とを有し、前記連続的な動画像を符号化する動画
   像符号化装置。
6. 【請求項６】請求項５記載の動画像符号化装置と、 該動画像符号化装置により符号化された前記連続的な動
   画像を記録媒体上に記録する記録手段とを有する動画像
   記録装置。
7. 【請求項７】符号化された連続的な動画像を構成する各
   セグメントの３次元形状情報と、該３次元形状情報を構
   成する各特徴点の分析値とを復号化する初期復号化手段
   と、 前記連続的な動画像の各フレームごとに符号化された、
   前記各セグメントの動き推定値と、各特徴点ごとの変位
   とを復号化する復号化手段と、 前記各セグメントの位置を、前記復号化手段により復号
   化された各セグメントの動き推定値に基づいて３次元的
   に移動させる移動手段と、 前記移動手段により移動された位置の前記各セグメント
   を、２次元画面上に投影した投影画像を得る投影手段
   と、 前記投影画像における各セグメントの各特徴点の位置
   を、前記復号化手段により復号化された各セグメントの
   各特徴点ごとの変位に基づいて移動させる変形手段と、 前記変形手段により変形された結果の画像と、前記初期
   復号化手段により復号化された各特徴点の分析値とに基
   づいて、画像を合成する画像合成手段とを有し、符号化
   された連続的な動画像を復号化する動画像復号化装置。
8. 【請求項８】記録媒体上に記録された符号化された連続
   的な動画像信号を読み出す信号読み取り手段と、 前記読み出された符号化された連続的な動画像信号を復
   号化し、前記連続的な動画像を合成する請求項７記載の
   動画像復号化装置とを有する動画像再生装置。
9. 【請求項９】所定の２次元画像より３次元モデルを抽出
   し、 抽出された各モデルの全体の動きと、その各モデルの各
   部分の変形に相当する微小な動きに基づいて連続的な動
   画像を符号化する動画像符号化方法。