JPH08153210A

JPH08153210A - 動画像符号化装置および動画像復号装置

Info

Publication number: JPH08153210A
Application number: JP29682394A
Authority: JP
Inventors: Shigeru Arisawa; 繁有沢
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-11-30
Filing date: 1994-11-30
Publication date: 1996-06-11

Abstract

(57)【要約】【目的】動画像を高圧縮率で符号化可能な動画像符号化
装置を提供する。【構成】各特徴点の細かな動きを表すフラクチュエーシ
ョンは、投影部４２で２次元平面に投影され連結線素抽
出部４３で連結線素が抽出される。その連結線素の位置
情報は、チェーンコード化部４４でコード化され、ハフ
マン符号生成部４５で符号化され送出される。フラクチ
ュエーションのデータは連結線素抽出部４３から平均化
部４６に出力され、各連結線素ごとの平均値が求められ
る。その平均値はフレーム間符号化部４７に入力されＫ
Ｌ展開される。その平均値を全フレームについて記憶部
４８に記憶し、分散行列計算部４９で分散行列を求め固
有ベクトル計算部５０で固有ベクトルを求め、その固有
ベクトルにより展開係数計算部５１で展開係数を求め、
その固有ベクトルと展開係数が各々送出される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像を、その動画像
を構成する各セグメントの全体的な動きと、その動きに
基づいて各セグメントを移動させた結果に対する各特徴
点の細かな動きに基づいて符号化する動画像符号化装置
に関し、特に、前記各特徴点の細かな動きを高圧縮率で
符号化することのできる動画像符号化装置、および、そ
の符号化された動画像を復号する動画像復号装置に関す
る。

【０００２】

【従来の技術】動画像系列の中の各物体の３次元モデル
を使って動画像を符号化し、その動画像系列を圧縮する
方法が提案されている。各物体の３次元形状とその動き
が分かれば、元の動画像系列と全く同じ動画像系列が生
成できる。そこで、たとえば画像通信において、送信側
と受信側で３次元モデルを共有し、送信側で入力画像の
動きの情報を検出し、受信側でその動きの情報から画像
合成を行えば、画像が再生できる。この場合、動きの情
報のみを伝送すればよいので超低レートでの画像通信が
期待できる。具体的には、顔の３次元構造モデルをワイ
ヤフレームに変形し送信側と受信側で共有し、表情など
の特徴のみを伝送して顔画像の合成を行う方法などが試
みられている。

【０００３】しかし、この符号化方法を自然画像に応用
する場合には、予め３次元モデルを用意できないため、
与えられた動画像系列から３次元モデルを抽出する必要
がある。そのような、動画像系列の中から３次元形状モ
デルを抽出し、そのモデルを利用して動画像を符号化す
る方法としては、Hans George Musmann 、Michael Hott
er、Jorn Ostermannらによる "OBJECT-ORIENTED analys
is coding of movingimages．",Signal processing:Ima
ge Communication 1(1989):117-138,ElsvierSCIENCE PU
BLISHERS B.V. に開示されている方法がある。この方法
によれば、エッジ部分については動きベクトルを求めそ
れを利用して奥行きを求め、エッジ以外の部分について
は奥行きを補間して、３次元形状を推測する。また、輝
度情報は、３次元上に属性としてマッピングし、補間さ
れた３次元形状のデータと共に送出している。

【０００４】しかし、前述したような方法で３次元形状
を推測し、動画像系列を圧縮する方法においては、輝度
が急変するエッジ部分でさえ動きベクトルを求めること
は難しく、動きベクトルから正確な奥行きを推測するこ
とは非常に難しかった。したがって、エッジ部分の奥行
きを補間して３次元形状を推測しても、正確な３次元形
状が求められなかった。そのため、実際の形状とずれが
生じ、そのずれを表す余分な情報が増加して、圧縮率が
上げられなかった。また、３次元上に属性としてマッピ
ングした輝度情報を初期情報として伝送するので初期情
報量が非常に多かった。

【０００５】また、３次元形状モデルを抽出する同様な
方法として、次のような方法がある。動画像系列の１フ
レーム目の各セグメントの２次元形状情報に、所定の奥
行き方向の情報を付加して３次元モデルの初期値とす
る。その３次元モデルの動きを推定し、その推定に基づ
いて得られる画像と、入力される各フレームの画像の各
特徴点の位置を比較し、その３次元モデルの全体的な動
きと、各特徴点のズレを抽出する。その３次元モデルの
全体の動き（グローバルモーション）と各特徴点のズレ
（フラクチュエーション）に基づいて、順次前記３次元
モデルを更新し、忠実な３次元モデルを獲得する。そし
て、その獲得された忠実な３次元モデルの形状情報を用
いて、各フレームごとに再びグローバルモーションとフ
ラクチュエーションを求め、これを伝送することで各フ
レームの画像が再生できる。

【０００６】この動画像符号化方法について図８を参照
して具体的に説明する。図８（Ａ）は一連の動画像を示
す図であり、人間が右から左に顔を回転させながら徐々
に口を閉じている画像である。まず、前述した方法によ
り図８（Ａ）に示す画像より顔の３次元モデルＢが抽出
される。次にこの顔の３次元モデルＢを用いて、グロー
バルモーションとフラクチュエーションが求められる。
図８（Ｂ）は、そのグローバルモーションにより顔の３
次元モデルＢを移動させた画像であり、顔の全体的な動
きは再生されているものの口の開閉のような細かい動き
は再生されていない。

【０００７】また、図８（Ｃ）は口の部分のフラクチュ
エーションを示す図であり、各フレームの口の形状は３
次元モデルＤにおける口の形状Ｃからの変形として表さ
れている。この変形を示すものが口を構成する各特徴点
ごとのフラクチュエーションｅ_i（ｉは特徴点を示す番
号）である。この図８（Ａ）の画像と図８（Ｂ）の画像
を合わせることにより、元の図８（Ａ）の画像が再生で
きる。この方法によれば、前述したような方法に比べ
て、初期情報量が少なく忠実な３次元モデルを獲得で
き、適切に動画像の符号化が行える。

【０００８】

【発明が解決しようとする課題】しかし、前述した動画
像の符号化方法においても、フラクチュエーションのデ
ータ量が十分少なくはなく、より少なくしたいという要
望があった。すなわち、前述した動画像の符号化方法に
おいてフラクチュエーションは、各フレームごと、各特
徴点ごとに求めて符号化しているため、基本的にデータ
量が多く、効率よく圧縮することが難しかった。特に、
その動画像を構成する３次元モデルが剛体と見なせない
ような場合には、各特徴点の誤差が非常に多くなり、フ
ラクチュエーションのデータ量が著しく多くなってい
た。

【０００９】したがって、本発明の目的は、フラクチュ
エーションを効率よく符号化することのできる動画像符
号化装置を提供することにある。また、本発明の他の目
的は、前記動画像符号化装置により高圧縮率で符号化さ
れた動画像を適切に再生することのできる動画像復号装
置を提供することにある。

【００１０】

【課題を解決するための手段】各特徴点の細かな動きで
あるフラクチュエーションも、連続的な動画像系列の中
では比較的規則正しい動きをしている。したがって、そ
のような連続的な動画像系列の中の細かな動きをモデル
化することができれば、フラクチュエーションの情報量
を大幅に減少させることができる。したがって、本発明
の動画像符号化装置においては、フラクチュエーション
の空間的冗長性および時間的冗長性を省いて符号化する
ようにした。

【００１１】本発明の動画像符号化装置は、連続的な動
画像を解析して得られた特徴点に基づいて、その動画像
を構成する各セグメントの３次元形状情報を獲得する３
次元形状獲得手段と、前記３次元形状獲得手段により獲
得された３次元形状情報を符号化する形状符号化手段
と、前記連続的な動画像の各フレーム間における前記各
セグメントの３次元的な動きを、前記３次元形状情報に
基づいて推定する動き推定手段と、前記動き推定手段に
より推定された各セグメントの動き推定値を符号化する
動き符号化手段と、前記動き推定手段により推定された
動きにより各セグメントを３次元的に移動させた結果の
前記各特徴点の位置と、実際の各特徴点の位置の差を求
める差検出手段と、前記各特徴点より連結線素を抽出
し、前記差検出手段により求められた前記各特徴点の位
置の差に基づいて各フレーム間における前記連結線素の
位置の差を求め、その連結線素ごとの位置の差を符号化
する差符号化手段とを有し、前記連続的な動画像を符号
化する。

【００１２】好適には、前記差符号化手段は、前記連結
線素ごとの位置の差を、前記連続的な動画像のフレーム
間の相関に基づいて符号化する。

【００１３】また好適には、前記差符号化手段は、前記
連続的な動画像の全てのフレームについての前記連結線
素ごとの位置の差をＫＬ展開（Karhunen-Loeve展開）
し、その固有値と固有ベクトルを求める。

【００１４】また好適には、前記３次元形状獲得手段
は、前記連続的な動画像に関する所定の静止画像を分析
し特徴点を求め、その画像を構成する各セグメントの３
次元形状情報を得るモデリング手段と、前記モデリング
手段により得られた前記各セグメントの３次元形状情報
を記憶する記憶手段と、前記連続的な動画像の各フレー
ム間におけるその動画像を構成する各セグメントの３次
元的な動きを、前記記憶手段に記憶されている前記各セ
グメントの３次元形状情報に基づいて推定する動き推定
手段と、前記推定された動きにより各セグメントを３次
元的に移動させた結果の位置と実際の位置の差に基づい
て、前記記憶手段に記憶されている各セグメントの３次
元形状情報を更新する更新手段とを有し、該動画像を構
成する３次元形状情報を獲得する。

【００１５】また、本発明の動画像復号装置は、符号化
された連続的な動画像を構成する各セグメントの３次元
形状情報を復号する３次元形状復号手段と、前記連続的
な動画像の、符号化された前記各セグメントの動き推定
値を復号する動き復号手段と、前記連続的な動画像のフ
レーム間の相関に基づいて符号化された連結線素ごとの
位置の差を復号し、その連結線素ごとの位置の差に基づ
いてその連結線素を構成する各特徴点の位置の差を得る
差復号手段と、前記各セグメントの位置を、前記動き復
号手段により復号された各セグメントの動き推定値に基
づいて３次元的に移動させる移動手段と、前記移動手段
により移動された位置の前記各セグメントを、２次元画
面上に投影した投影画像を得る投影手段と、前記投影画
像における各セグメントの各特徴点の位置を、前記差復
号手段により復号された各特徴点の位置の差に基づいて
移動させる変形手段と、前記変形手段により変形された
各セグメントの形状に基づいて、画像を合成する画像合
成手段とを有し、符号化された連続的な動画像を復号す
る。

【００１６】

【作用】本発明の動画像符号化装置は、連続的な動画像
を解析して特徴点を求め、その特徴点に基づいてその動
画像を構成する各セグメントの３次元形状情報を獲得す
る。この３次元形状情報に基づいて、各フレーム間にお
ける前記各セグメントの３次元的な動きを推定し、さら
に、この推定された動きにより各セグメントを３次元的
に移動させた結果の前記各特徴点の位置と、実際の前記
各特徴点の位置の差を求める。また、前記各特徴点より
連結線素を抽出し、前記各特徴点の位置の差に基づいて
前記連結線素の位置の差を求める。そして、獲得した３
次元形状情報、各フレームごとの動き推定値、および、
各フレームごとの前記連結線素ごとの位置の差を符号化
する。さらに、その連結線素ごとの位置の差の符号化に
際しては、その連続的な動画像の全てのフレームについ
ての前記連結線素ごとの位置の差を求め、ＫＬ展開し、
その固有値と固有ベクトルを求める。

【００１７】また、本発明の動画像復号装置は、符号化
された連続的な動画像を構成する各セグメントの３次元
形状情報と、符号化された各セグメントの動き推定値
と、符号化された連結線素ごとの位置の差を復号し、そ
の連結線素ごとの位置の差に基づいてその連結線素を構
成する各特徴点の位置の差を求める。そして、各セグメ
ントの位置を前記動き推定値に基づいて３次元的に移動
させ、２次元画面上に投影し、その投影画像における各
セグメントの各特徴点の位置を前記各特徴点の位置の差
に基づいて移動させる。その結果えられた各セグメント
の形状に基づいて画像を合成する。

【００１８】

【実施例】本発明の一実施例の動画像符号化装置につい
て、図１〜図７を参照して説明する。図１は、本発明の
一実施例の動画像符号化装置１０の構成を示すブロック
図である。動画像符号化装置１０は、画像分析部１１、
分析画像記憶部１２、セグメンテーション部１３、記憶
部１４、動き推定・対応探索部１５、投影部１６、誤差
検出部１７、カルマンフィルタ１８、および、符号化部
１９を有する。

【００１９】この動画像符号化装置１０は、後述する動
画像復号装置３０と協働して画像処理系を構成する。本
実施例の動画像符号化装置１０は、ＶＴＲなどからの動
画像系列より、図示せぬ連続シーケンス検出部で連続し
た動画像データを検出し、その動画像データ系列を符号
化し伝送する動画像伝送装置である。その伝送に際して
は、前記連続シーケンスより、そのシーケンスを構成す
るセグメントの３次元形状情報を抽出する第１のステッ
プと、抽出された３次元形状情報を用いて符号化を行う
第２のステップとに分けられる。以下、各部の動作につ
いて、前記第１のステップ、第２のステップごとに説明
する。

【００２０】まず、連続的な動画像系列より、その動画
像を構成する各セグメントの３次元形状情報を抽出する
第１のステップの各部の動作について説明する。ＶＴＲ
などから入力された動画像系列は、連続したシーケンス
が検出され、画像分析部１１に入力される。画像分析部
１１は、順次入力される各フレームの画像データを分析
し、特徴点を抽出し、特徴点の位置と分析値を求める。
本実施例においては、入力画像データに対して、異なる
解像度スケールを持つ複数のフィルタで画像データの分
析を行い、エッジを構成する点を特徴点として検出し、
入力画像データを特徴画像データであるエッジの画像デ
ータに変換し、そのエッジを構成する各点の位置と分析
値を抽出する。

【００２１】分析画像記憶部１２は、画像分析部１１で
分析された連続的な連続シーケンスの特徴点画像を記憶
するメモリである。記憶されている各フレームの特徴点
の情報は、動き推定・対応探索部１５より順次参照さ
れ、また、１フレーム目の特徴点の情報は、セグメンテ
ーション部１３および符号化部１９より参照される。

【００２２】セグメンテーション部１３は、画像分析部
１１より入力された１フレーム目の特徴画像データの特
徴点の位置と分析値より、セグメンテーションを行い、
この画像データを構成しているセグメントを抽出し、各
セグメントごとの特徴点の情報を記憶部１４に記憶す
る。このセグメンテーションは、カラー画像から赤、
緑、青、明度、色相、彩度の信号、および、テレビ信号
に対応したＹ信号、Ｉ信号、Ｑ信号の合計９種類の特徴
を抽出し、その特徴に関するヒストグラムに基づいてセ
グメンテーションを行う再帰的しきい値処理により行
う。

【００２３】記憶部１４は、各セグメントの各特徴点に
ついて、位置情報Ｘ，Ｙ，Ｚと、分析値ｇ、確率共分散
行列ｖ、付加情報ａを記憶する記憶手段であり、メモリ
により構成される。記憶部１４に記憶されている情報
は、入力された連続シーケンスがＳ個のセグメントを有
し、各セグメントがＵs 個（ｓ＝１〜Ｓ）のエッジより
構成され、その各エッジがＮsu個（ｕ＝１〜Ｕs 、ｓ＝
１〜Ｓ）の特徴点より成される場合、式１のように表さ
れる。

【００２４】

【数１】

【００２５】なお、確率共分散行列ｖsun （ｎ＝１〜Ｎ
su、ｕ＝１〜Ｕs 、ｓ＝１〜Ｓ）は、各エッジを構成す
る点のちらばりなので、同一のエッジを構成する各特徴
点については同一の値が付される。

【００２６】記憶部１４に記憶されている情報は、ま
ず、１フレーム目についての情報がセグメンテーション
部１３より入力され、初期データが生成される。その
後、２フレーム目以降の画像データが入力されるごと
に、後述するカルマンフィルタ１８によりその内容が更
新される。

【００２７】動き推定・対応探索部１５は、前フレーム
の画像のエッジ画像の各点の情報｛Ｆsun ｝と現フレー
ムのエッジ位置と分析値から、各セグメントの動いた量
を推定し、前フレームの各点の情報｛Ｆsun ｝と、現フ
レームのエッジ画像の特徴点の対応付けを行う。

【００２８】その方法について具体的に以下に説明す
る。まず、図２において、座標系ＸＹＺはカメラ座標系
で、座標系の原点はレンズの中心で、光軸は奥行き方向
となるＺ軸と一致させているとする。この座標系におい
ては、点Ｐの像はＸＹ平面に平行で原点からカメラの焦
点距離ｆだけ離れた所に設置された平面に投影されると
考えることができる。この投影面上の点Ｐの像の位置が
カメラより入力された画像上の画素の位置となる。その
投影面に対して、その面のＺ軸との交点を原点とし、Ｘ
軸およびＹ軸と平行な座標系ｘｙを設定する。

【００２９】ＸＹＺ空間内の点Ｐの座標をｐ＝（Ｘp ，
Ｙp ，Ｚp ）、点Ｐのｘｙ平面上の像である点Ｑの座標
をｑ＝（ｘq ，ｙq ）とすると、点Ｑの座標ｑは式２の
ように表される。

【００３０】

【数２】

【００３１】あるセグメントｓ（ｓ＝１〜Ｓ）がＵs 個
（ｓ＝１〜Ｓ）のエッジより構成され、その各エッジが
Ｎsu個（ｕ＝１〜Ｕｓ）の点の情報で表され、それら各
点の位置はｐsun ＝（Ｘsun ，Ｙsun ，Ｚsun ）（ｎ＝
１〜Ｎsu）で表されるとする。このセグメントが、相対
的にＸ軸周りにΔωｘ、Ｙ軸周りにΔωｙ、Ｚ軸周りに
Δωｚ回転し、また、Δｔ＝（Δｔｘ，Δｔｙ，Δｔ
ｚ）だけ平行移動した場合、このセグメントを構成する
各点ｐsun の移動量Δｐsun ＝（ΔＸsun ，ΔＹsun ，
ΔＺsun ）は、前記各軸周りの回転Δωｘ，Δωｙ，Δ
ωｚ、および，平行移動量Δｔが小さいとすると、式３
のようになる。

【００３２】

【数３】

【００３３】点ｐsun のｘｙ平面上への投影点をｑsun
＝（ｘsun ，ｙsun ）とすると、前記セグメントの移動
にともなう投影点ｑsun の移動量Δｑsun ＝（Δｘsun
，Δｙsun ）は式４のようになる。

【００３４】

【数４】

【００３５】式２と式４より式５が得られる。

【００３６】

【数５】

【００３７】式２および式５を、Ｎ個の点の内のｍ＝１
〜ＭのＭ個に適用すると、式６のようになる。

【００３８】

【数６】

【００３９】なお、〔Δｔ〕^tはベクトル〔Δｔ〕の転
置行列を示す。Δｑについては、新たな画像が入力され
る前に得ていた３次元位置ｐｍの式２による仮想の投影
点ｑｍ’に対応する画像上の点が分からないので、図３
に示すように、３次元位置情報の仮想の投影像Ｉｐにお
いて物体像Ｉｒの投影特徴点ｑｍから最も近い点と仮定
する。Ｍ≧３のとき回転および平行移動量のパラメータ
ΔＣの推定値ΔＣ’は、最小二乗法により式７により求
められる。

【００４０】

【数７】

【００４１】式７により得られたΔＣ’による３次元位
置情報の移動量Δｑsun を式２より計算して、新たに式
３により仮想の投影像を作り、同様に近い点を対応点と
仮定し、式７の計算を繰り返し、式８のようにしていく
と、仮想の投影像と物体像Ｉｒは近づく。

【００４２】

【数８】

【００４３】この計算を、Σ｜Δｑsun ｜²が予め定め
た所定値ε以下になるまで繰り返すことにより、元の画
像の３次元位置情報ｐsun に対する新たな画像の対応点
ｑsun が求められる。

【００４４】以上述べた動き推定・対応探索の方法によ
れば、物体を剛体と仮定し、回転および平行移動につい
ての６個のパラメータで３次元位置情報を構成する点を
拘束することで、個々の点それぞれ独立にではなく、包
括的に動き推定・対応探索が行われている。したがっ
て、全体として矛盾のない対応関係が全ての点について
得られ、誤対応による３次元位置情報におけるノイズが
減る。

【００４５】投影部１６は、動き推定・対応探索部１５
により得られた、各セグメントの平行移動量ｔ、回転移
動量ωによって各セグメントの情報｛Ｆsun ｝の位置情
報を３次元空間において平行および回転移動させ、さら
に、各セグメントの各点の３次元位置ｐsun ＝（Ｘsun
，Ｙsun ，Ｚsun ）を画像上の位置ｑsun ＝（ｘsun，
ｙsun ）に変換し、得られた画像上の点ｑsun に分析値
ｇsun を与える。３次元位置ｐsun から投影点ｑsun へ
の変換は式３により行う。

【００４６】誤差検出部１７は、投影後の各特徴点の情
報｛Ｆsun ｝の画像上での位置ｑsun'と対応する入力画
像のエッジ位置ｑsun との差を求め、さらに、その差を
量子化しフラクチュエーションを求める。量子化方法と
しては、一定の適切な量子化ステップ（たとえば１画素
幅）による線形な量子化、いくつかの線形でない量子化
ステップを設定した非線形量子化、量子化ステップを固
定せず入力される画像の性質により量子化ステップを適
宜変える量子化などがあり、要求される伝送レート・画
質などに応じて適切な量子化方法を用いれば良い。たと
えば、高圧縮率が要求される場合には量子化ステップを
大きくしたり、画像に直線が多く量子化ノイズによる直
線の不連続性が目立つ場合は非線形量子化を行い、フラ
クチュエーションの小さい部分の量子化を細かくするよ
うにする。求められたフラクチュエーションは、カルマ
ンフィルタ１８に入力される。

【００４７】カルマンフィルタ１８は、前の画像におけ
る各セグメントの各点の情報｛Ｆsun ｝の３次元位置ｐ
sun とそれに対応する入力画像のエッジ位置ｑsun から
３次元位置ｐsun を更新する。カルマンフィルタはノイ
ズを含むシステムにおいて時系列の観測量から状態量の
最小二乗推定値を逐次得ることのできるフィルタであ
る。本実施例において、状態量は３次元位置ｐsun 、観
測量である２次元位置ｑsun である。２次元位置ｑsun
にはΔｑsun の量子化によるノイズが含まれる。また、
動き推定値にもノイズが含まれる。初期値の平面上の３
次元形状｛ｐsun｝は、カルマンフィルタによりセグメ
ントに動きがあるごとに、実際の３次元形状に近づくよ
うに更新されていく。各点の情報｛Ｆsun ｝における確
率共分散行列ｖsun はｐsun の確率共分散行列（３×
３）でｐsun を更新するのに用いられ、同時に確率共分
散行列ｖsun も更新される。

【００４８】以上の、カルマンフィルタにおける更新
を、連続的な動画像の全フレームについて行うと、最終
的に記憶部１４には、各セグメントごとの忠実度の高い
３次元形状モデルが記憶される。

【００４９】次に、前記第１のステップにおいて抽出さ
れた３次元形状モデルを用いて、この連続的な動画像を
符号化する第２のステップについて説明する。第２のス
テップにおいても、各部の動作は第１のステップと同じ
である。しかし、第２のステップにおいては、記憶部１
４に記憶されている最終的な各セグメントの３次元形状
情報を用いて動き推定・対応探索を行い、セグメントご
との動きを抽出し、各特徴点の実際の位置との差を求め
る。

【００５０】したがって、まず、動き推定・対応探索部
１５において、記憶部１４に記憶されている各セグメン
トの３次元形状情報を用いて、分析画像記憶部１２に記
憶されている各フレームごとの特徴点の位置より、各セ
グメントの全体の動きと、各特徴点の対応を求める。そ
の求め方は、前記第１のステップの場合と同一である。
ここで求められた動きは投影部１６および符号化部１９
に出力される。

【００５１】そして、投影部１６は、動き推定・対応探
索部１５により得られた各セグメントの移動量によって
各セグメントの位置情報を、３次元空間において平行お
よび回転移動させ、さらに、各セグメントの各点の３次
元位置を、画像上の位置に変換する。誤差検出部１７
は、投影後の各特徴点の画像上での位置と対応する入力
画像のエッジ位置との差を求め、さらに、その差を量子
化し、フラクチュエーションを求める。求められたフラ
クチュエーションは、符号化部１９に出力される。

【００５２】最後に、符号化部１９の動作について説明
する。符号化部１９は前記第１のステップ第２のステッ
プ各々で得られた情報を符号化して伝送路に送出する手
段である。符号化部１９は、各連続画像シーケンスごと
に、まず、記憶部１４に記憶されている３次元形状情
報、および、分析値を符号化する。また、各フレームご
との画像データについては、各セグメントごとに動き推
定・対応探索部１５より出力される動き推定値と、誤差
検出部１７より出力されるフラクチュエーションとを符
号化し出力する。

【００５３】符号化部１９に含まれ、本発明に係わる前
記フラクチュエーションを符号化するフラクチュエーシ
ョン符号化部４０の構成および動作について図４を参照
して説明する。図４は、図１に示した動画像符号化装置
１０の符号化部１９に含まれるフラクチュエーション符
号化部４０の構成を示すブロック図である。フラクチュ
エーション符号化部４０は、フラクチュエーション平均
化部４１とフレーム間符号化部４７を有する。フラクチ
ュエーション平均化部４１は、投影部４２、連結線素抽
出部４３、チェーンコード化部４４、ハフマン符号生成
部４５、および、平均化部４６を有する。フレーム間符
号化部４７は、記憶部４８、分散行列計算部４９、固有
ベクトル計算部５０、および、展開係数計算部５１を有
する。

【００５４】フラクチュエーション平均化部４１におい
ては、入力されたフラクチュエーションより、各連結線
素ごとにその位置情報とフラクチュエーションの平均値
を求め、位置情報はチェーンコード化し伝送路に送出
し、フラクチュエーションの平均値はフレーム間符号化
部４７に出力する。

【００５５】すなわち、各フラクチュエーションの位置
情報が投影部４２において所定の２次元平面に投影さ
れ、２次元投影像が得られる。その２次元投影像より、
連結線素抽出部４３において連結線素が抽出される。連
結線素抽出部４３において抽出された連結線素の、隣合
う特徴点の位置情報はチェーンコード化部４４に順次入
力され各連結線素ごとにチェーンコード化される。その
チェーンコード化された位置情報は、ハフマン符号生成
部４５において適切なコードが割り付けられてハフマン
符号化され、伝送路に送出される。一方、前記連結線素
ごとのフラクチュエーションのデータは、連結線素抽出
部４３から平均化部４６に出力される。そして、各連結
線素ごとにフラクチュエーションの平均値が求められ、
フレーム間符号化部４７に入力される。

【００５６】フレーム間符号化部４７においては、入力
された各連結線素ごとのフラクチュエーションをＫＬ展
開を用いてフレーム間の相関に基づいて符号化する。ま
ず、この符号化方法について説明する。一連の連続した
動画像の全フレームにおけるその連結線素のフラクチュ
エーションの分布の分散行列Ｓの固有ベクトルをＥ
（ｌ）とすると、フラクチュエーションｅ（ｉ）は式９
のように展開できる。

【００５７】

【数９】

【００５８】そして、一連のフラクチュエーションｅ
（ｉ）はお互いに相関があるので、Ｎを所定の数Ｎ’で
打ち切ることも可能でその場合式９は式１０のように表
される。

【００５９】

【数１０】

【００６０】これより、初期値としてＥ（ｌ）（ｌ＝１
〜Ｎ’）を伝送しておれば、その後のｉフレーム目で
は、分散行列の固有値である展開係数Ｋ（ｉ）のみを伝
送すればよいことになる。

【００６１】したがって、フレーム間符号化部４７にお
いては、各連結線素ごとのフラクチュエーションを全フ
レームについて記憶しＫＬ展開して固有ベクトルと展開
係数を求め、各々伝送路に送出する。まず、フレーム間
符号化部４７に入力されたフラクチュエーションは、順
次記憶部４８に記憶される。全フレームについてのフラ
クチュエーションが入力されたら、分散行列計算部４９
において、そのフラクチュエーションの分散行列Ｓを式
１１に基づいて計算する。

【００６２】

【数１１】

【００６３】次に、固有ベクトル計算部５０において、
分散行列Ｓに基づいて固有ベクトルＥを寄与率の大きい
順に所定数だけ求める。求められた固有ベクトルＥ
（ｌ）は伝送路に送出されるとともに展開係数計算部５
１に出力される。展開係数計算部５１においては、入力
された固有値ベクトルＥを用いて各フレームごとの展開
係数を計算し、その展開係数を伝送路に送出する。

【００６４】このような、動画像符号化方法について図
７を参照して具体的に説明する。図７（Ａ）は一連の動
画像を示す図であり、人間が右から左に顔を回転させな
がら徐々に口を閉じている画像である。まず、図７
（Ａ）に示す画像より顔の３次元モデルＢが抽出され
る。次にこの顔の３次元モデルＢを用いて、グローバル
モーションとフラクチュエーションが求められる。図７
（Ｂ）は、そのグローバルモーションにより顔の３次元
モデルＢを移動させた画像である。

【００６５】次に、前記求められたフラクチュエーショ
ンに基づいて、連結線素が抽出され、その連結線素ごと
のフラクチュエーションが求められる。たとえば、図７
（Ｃ）に示すように、顔の３次元モデルＢの口の部分に
おいては、連結線素として上の口の輪郭線Ｃ1 と下の口
の輪郭線Ｃ2 が抽出され、各々その連結線素のフラクチ
ュエーションｅ_j（ｊは連結線素を示す番号）が求めら
れる。そして、この図７（Ｂ）の画像と図７（Ｃ）の画
像を合わせることにより、元の図７（Ａ）の画像が再生
できる。

【００６６】このように、本実施例の動画像符号化装置
１０のフラクチュエーション符号化部４０によれば、フ
ラクチュエーションを２次元平面に投影し、連結成分を
抽出し、各特徴点のフラクチュエーションを平均化して
その連結線素のフラクチュエーションを求め、その連結
線素ごとのフラクチュエーションを符号化しているの
で、情報量を圧縮できる。さらに、全フレームのその連
結線素のフラクチュエーションの分布をＫＬ展開し、展
開係数と固有ベクトルによりその分布を表し伝送するよ
うにしているので、一層高圧縮率で効率よく伝送でき
る。

【００６７】次に、本発明の一実施例の動画像復号装置
について、図５および図６を参照して説明する。図５
は、本発明の一実施例の動画像復号装置３０の構成を示
すブロック図である。動画像復号装置３０は、復号部３
１、記憶部３２、動き処理部３３、投影部３４、変形部
３５、再合成部３６、および、合成画像記憶部３７を有
する。本実施例の動画像復号装置３０は、伝送路より伝
送された符号化された動画像系列を展開し、合成し、出
力する動画像復号装置であって、前述した動画像符号化
装置１０と協働して画像処理系を構成する。

【００６８】以下、各部の動作について説明する。復号
部３１は、伝送路より伝送された信号を受信し、復号し
て各情報を取り出し、適宜各部に出力する受信手段であ
る。復号部３１は、まず、連続的な動画像シーケンスを
構成する各セグメントの３次元形状情報を受信し、復号
し、記憶部３２に記憶する。その際の各セグメントの位
置は、その連続的な動画像の１フレーム目での位置で表
される。そして、２フレーム目以降については、符号化
されたその各セグメントの全体の移動量（グローバルモ
ーション）と各特徴点の細かな動き（フラクチュエーシ
ョン）を受信し、復号し、グローバルモーションは動き
処理部３３に、フラクチュエーションは変形部３５に出
力される。

【００６９】復号部３１に含まれ、本発明に係わる前記
フラクチュエーションを受信するフラクチュエーション
復号部６０の構成および動作について図６を参照して説
明する。図６は、図５に示した動画像復号装置３０の復
号部３１に含まれるフラクチュエーション復号部６０の
構成を示すブロック図である。フラクチュエーション復
号部６０は、フラクチュエーション計算部６１およびフ
ラクチュエーションデータ復号部６４を有する。フラク
チュエーション計算部６１は、記憶部６２および計算部
６３を有する。フラクチュエーションデータ復号部６４
は、ハフマン符号解読部６５、チェーンコード解読部６
６、および、対応付け部６７を有する。

【００７０】フラクチュエーション計算部６１において
は、動画像符号化装置より伝送された固有ベクトルと展
開係数に基づいて、各連結線素のフラクチュエーション
を計算しフラクチュエーションデータ復号部６４に出力
する。すなわち、記憶部６２は、伝送路から受信した固
有ベクトルを計算部６３より参照可能に記憶する。そし
て、計算部６３において各フレームごとの展開係数を受
信するごとに、式１０に基づき各フレームにおける各連
結線素のフラクチュエーションを計算する。計算された
各連結線素のフラクチュエーションはフラクチュエーシ
ョンデータ復号部６４に出力される。

【００７１】フラクチュエーションデータ復号部６４に
おいては、フラクチュエーション計算部６１より入力さ
れた各連結線素のフラクチュエーションと伝送された位
置情報に基づいて各特徴点のフラクチュエーションを再
生し出力する。すなわち、伝送路から受信した位置情報
のデータは、ハフマン符号解読部６５でハフマン符号が
復号され、さらにチェーンコード解読部６６においてチ
ェーンコードが復号される。そして、対応付け部６７に
おいて、フラクチュエーション計算部６１より入力され
た各連結線素のフラクチュエーションと対応付けられ
て、各特徴点のフラクチュエーションとして出力され
る。

【００７２】記憶部３２は、連続的な動画像シーケンス
を構成する各セグメントの３次元形状情報と、各セグメ
ントの位置情報を記憶するメモリである。記憶部３２
は、復号部３１より入力された連続的な動画像シーケン
スを構成する各セグメントの３次元形状情報を初期値と
して記憶し、以後、動き処理部３３によりその位置を各
フレームごと更新される。動き処理部３３は、復号部３
１により入力された動き推定値に基づいて、記憶部３２
に記憶されている各セグメントを移動させる。移動させ
た情報は、投影部３４に出力するとともに、記憶部３２
の各セグメントの位置情報を更新する。

【００７３】投影部３４は、動き処理部３３により移動
された各セグメントを２次元画像上に投影する。変形部
３５は、投影部３４により投影された画像の各特徴点の
位置に対して、復号部３１より入力されたフラクチュエ
ーションを各特徴点に加え、各特徴点の位置を補正す
る。再合成部３６は、変形部３５より入力された各特徴
点の情報、および、記憶部３２に記憶されている各特徴
点の分析値、および、この連続的な動画像のＤＣ成分に
基づいて、画像データを復元する。合成画像記憶部３７
は、再合成部３６により復元された画像データを記憶し
ておくメモリである。合成画像記憶部３７に記憶されて
いる動画像情報は、適宜表示装置などに出力される。

【００７４】このように、本実施例の動画像復号装置３
０によれば、前述した本実施例の動画像符号化装置１０
により符号化され送信された動画像の情報を適切に受信
し再生することができる。特に、フラクチュエーション
を平均化すると同時に、その平均化されたフラクチュエ
ーションをＫＬ展開してフレーム間で相関を持たせて伝
送した場合においても、適切に受信し、フラクチュエー
ションを復元し、３次元形状情報を生成することができ
る。

【００７５】

【発明の効果】本発明の動画像符号化装置によれば、フ
ラクチュエーションを効率よく符号化することができ、
高圧縮率で動画像を符号化することができる。また、本
発明の動画像復号装置によれば、前記動画像符号化装置
により高圧縮率で符号化された動画像を適切に再生する
ことができる。

【図面の簡単な説明】

【図１】本発明の一実施例の動画像符号化装置の構成を
示すブロック図である。

【図２】図１に示した動画像符号化装置の動き推定・対
応探索部の方法を説明する図であり、３次元空間の点Ｐ
を望む様子を示し座標系の説明をする図である。

【図３】図１に示した動画像符号化装置の動き推定・対
応探索の方法を説明する図である。

【図４】図１に示した動画像符号化装置の符号化部に含
まれるフラクチュエーション符号化部の構成を示すブロ
ック図である。

【図５】本発明の一実施例の動画像復号装置の構成を示
すブロック図である。

【図６】図５に示した動画像復号装置の復号部に含まれ
るフラクチュエーション復号部の構成を示すブロック図
である。

【図７】３次元構造獲得による動画像符号化の説明をす
る図であり、（Ａ）は被符号化動画像を示す図であり、
（Ｂ）は動き推定値により３次元モデルを移動させた画
像を示す図であり、（Ｃ）はフラクチュエーションを示
す図である。

【図８】従来の３次元構造獲得による動画像符号化の説
明をする図であり、（Ａ）は被符号化動画像を示す図で
あり、（Ｂ）は動き推定値により３次元モデルを移動さ
せた画像を示す図であり、（Ｃ）はフラクチュエーショ
ンを示す図である。

【符号の説明】

１０…動画像符号化装置１１…画像分析部１２…分析画像記憶部１３…セグメンテーション部１４…記憶部１５…動き推定・対応探索部１６…投影部１７…誤差検出部１８…カルマンフィル
タ１９…符号化部３０…動画像復号装置３１…復号部３２…記憶部３３…動き処理部３４…投影部３５…変形部３６…再合成部３７…合成画像記憶部４０…フラクチュエーション符号化部４１…フラクチュエーション平均化部４２…投影部４３…連結線素抽出部４４…チェーンコード化部４５…ハフマン符号生成
部４６…平均化部４７…フレーム間符号化部４８…記憶部４９…分散行列計算部５０…固有ベクトル計算部５１…展開係数計算部６０…フラクチュエーション復号部６１…フラクチュエーション計算部６２…記憶部６３…計算部６４…フラクチュエーションデータ復号部６５…ハフマン符号解読部６６…チェーンコード解
読部６７…対応付け部

Claims

【特許請求の範囲】

【請求項１】連続的な動画像を解析して得られた特徴点
に基づいて、該動画像を構成する各セグメントの３次元
形状情報を獲得する３次元形状獲得手段と、前記３次元形状獲得手段により獲得された３次元形状情
報を符号化する形状符号化手段と、前記連続的な動画像の各フレーム間における前記各セグ
メントの３次元的な動きを、前記３次元形状情報に基づ
いて推定する動き推定手段と、前記動き推定手段により推定された各セグメントの動き
推定値を符号化する動き符号化手段と、前記動き推定手段により推定された動きにより各セグメ
ントを３次元的に移動させた結果の前記各特徴点の位置
と、実際の各特徴点の位置の差を求める差検出手段と、前記各特徴点より連結線素を抽出し、前記差検出手段に
より求められた前記各特徴点の位置の差に基づいて各フ
レーム間における前記連結線素の位置の差を求め、該連
結線素ごとの位置の差を符号化する差符号化手段とを有
し、前記連続的な動画像を符号化する動画像符号化装
置。
【請求項２】前記差符号化手段は、前記連結線素ごとの
位置の差を、前記連続的な動画像のフレーム間の相関に
基づいて符号化する請求項１記載の動画像符号化装置。
【請求項３】前記差符号化手段は、前記連続的な動画像
の全てのフレームについての前記連結線素ごとの位置の
差をＫＬ展開し、その固有値と固有ベクトルを求める請
求項２記載の動画像符号化装置。
【請求項４】前記３次元形状獲得手段は、前記連続的な動画像に関する所定の静止画像を分析し特
徴点を求め、該画像を構成する各セグメントの３次元形
状情報を得るモデリング手段と、前記モデリング手段により得られた前記各セグメントの
３次元形状情報を記憶する記憶手段と、前記連続的な動画像の各フレーム間における該動画像を
構成する各セグメントの３次元的な動きを、前記記憶手
段に記憶されている前記各セグメントの３次元形状情報
に基づいて推定する動き推定手段と、前記推定された動きにより各セグメントを３次元的に移
動させた結果の位置と実際の位置の差に基づいて、前記
記憶手段に記憶されている各セグメントの３次元形状情
報を更新する更新手段とを有し、該動画像を構成する各
セグメントの３次元形状情報を獲得する請求項１〜３い
ずれか記載の動画像符号化装置。
【請求項５】符号化された連続的な動画像を構成する各
セグメントの３次元形状情報を復号する３次元形状復号
手段と、前記連続的な動画像の、符号化された前記各セグメント
の動き推定値を復号する動き復号手段と、前記連続的な動画像のフレーム間の相関に基づいて符号
化された連結線素ごとの位置の差を復号し、該連結線素
ごとの位置の差に基づいて当該連結線素を構成する各特
徴点の位置の差を得る差復号手段と、前記各セグメントの位置を、前記動き復号手段により復
号された各セグメントの動き推定値に基づいて３次元的
に移動させる移動手段と、前記移動手段により移動された位置の前記各セグメント
を、２次元画面上に投影した投影画像を得る投影手段
と、前記投影画像における各セグメントの各特徴点の位置
を、前記差復号手段により復号された各特徴点の位置の
差に基づいて移動させる変形手段と、前記変形手段により変形された各セグメントの形状に基
づいて、画像を合成する画像合成手段とを有し、符号化
された連続的な動画像を復号する動画像復号装置。