JPH082107B2 - 動画像のハイブリッド符号化方法及びその装置 - Google Patents
動画像のハイブリッド符号化方法及びその装置Info
- Publication number
- JPH082107B2 JPH082107B2 JP2049506A JP4950690A JPH082107B2 JP H082107 B2 JPH082107 B2 JP H082107B2 JP 2049506 A JP2049506 A JP 2049506A JP 4950690 A JP4950690 A JP 4950690A JP H082107 B2 JPH082107 B2 JP H082107B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- information
- input image
- dimensional shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 93
- 230000008569 process Effects 0.000 claims description 45
- 238000001514 detection method Methods 0.000 claims description 37
- 230000008859 change Effects 0.000 claims description 20
- 230000015572 biosynthetic process Effects 0.000 claims description 18
- 238000003786 synthesis reaction Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 31
- 238000010586 diagram Methods 0.000 description 14
- 238000013139 quantization Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の詳細な説明】 （発明の技術分野） 本発明は、テレビ会議・電話動画像のフレーム間予測
符号化に関わり、特に波形符号化的予測手段と、３次元
形状モデル等を用いるモデルベース符号化的合成手法を
組み合わせたハイブリッド符号化方法及び装置に関する
ものである。
符号化に関わり、特に波形符号化的予測手段と、３次元
形状モデル等を用いるモデルベース符号化的合成手法を
組み合わせたハイブリッド符号化方法及び装置に関する
ものである。
（従来の技術） 動画像の符号化方法としては、予測符号化、変換符号
化、動き補償予測フレーム間符号化など画像の統計的な
性質を用いる波形符号化がよく知られている。動き検出
に関しては、ブロック単位で行われることが多く、検出
範囲においても２次元平面内に限られる場合が多い。し
かしながら、符号化対象に関しては、特に限定されない
という利点がある。これに対して、近年では符号化対象
物の３次元形状モデルを用いたモデルベース符号化が次
世代符号化方法として注目を集めている。対象物の３次
元形状モデルを用いるため、符号化対象は限定される
が、波形符号化に比べより高い圧縮効率を得ることが可
能である。このような観点から、両符号化方法の長所を
組み合わせたハイブリッド符号化方法の検討も開始され
つつある。（例えば、中屋、原、斉藤：「分析パラメー
タと波形情報のハイブリッド画像符号化方式」電子情報
通信学会画像工学研究会、IE89-72,pp.13-18、平成元年
11月、など）第８図に、中屋らの方法のブロック図を示
す。第８図において、21は画像入力端子、27はフレーム
メモリ部、22は減算部、26は加算部、32は領域分割・分
析部、30は動き補償部、28は画像合成部、23は離散的コ
サイン変換（DCT）部、24は量子化部、25は逆量子化・
逆離散的コサイン変換部、29は信号切り換えスイッチで
ある。波形符号化的手法としてブロック単位での２次元
平面内での動き補償予測及び離散的コサイン変換による
変換符号化手法を採用している。一方、モデルベース符
号化的手法としては対象（ここでは、人物頭部）の３次
元形状モデルを用いた分析／合成符号化手法を採用して
いる。詳細については、相沢らの文献（相沢、原島、斉
藤：「構造モデルを用いた画像の分析合成符号化方式」
電子情報通信学会論文誌（Ｂ−Ｉ）、J71-B−I,3,pp.20
0-207、平成元年３月）に記述されている。ここで、形
状モデルの表面の濃淡情報としては、第１フレームの濃
淡情報を利用する場合と、前フレームの復号画像を使用
する方法が示されている。前フレームの復号画像を用い
る方法について以下に説明を行う。
化、動き補償予測フレーム間符号化など画像の統計的な
性質を用いる波形符号化がよく知られている。動き検出
に関しては、ブロック単位で行われることが多く、検出
範囲においても２次元平面内に限られる場合が多い。し
かしながら、符号化対象に関しては、特に限定されない
という利点がある。これに対して、近年では符号化対象
物の３次元形状モデルを用いたモデルベース符号化が次
世代符号化方法として注目を集めている。対象物の３次
元形状モデルを用いるため、符号化対象は限定される
が、波形符号化に比べより高い圧縮効率を得ることが可
能である。このような観点から、両符号化方法の長所を
組み合わせたハイブリッド符号化方法の検討も開始され
つつある。（例えば、中屋、原、斉藤：「分析パラメー
タと波形情報のハイブリッド画像符号化方式」電子情報
通信学会画像工学研究会、IE89-72,pp.13-18、平成元年
11月、など）第８図に、中屋らの方法のブロック図を示
す。第８図において、21は画像入力端子、27はフレーム
メモリ部、22は減算部、26は加算部、32は領域分割・分
析部、30は動き補償部、28は画像合成部、23は離散的コ
サイン変換（DCT）部、24は量子化部、25は逆量子化・
逆離散的コサイン変換部、29は信号切り換えスイッチで
ある。波形符号化的手法としてブロック単位での２次元
平面内での動き補償予測及び離散的コサイン変換による
変換符号化手法を採用している。一方、モデルベース符
号化的手法としては対象（ここでは、人物頭部）の３次
元形状モデルを用いた分析／合成符号化手法を採用して
いる。詳細については、相沢らの文献（相沢、原島、斉
藤：「構造モデルを用いた画像の分析合成符号化方式」
電子情報通信学会論文誌（Ｂ−Ｉ）、J71-B−I,3,pp.20
0-207、平成元年３月）に記述されている。ここで、形
状モデルの表面の濃淡情報としては、第１フレームの濃
淡情報を利用する場合と、前フレームの復号画像を使用
する方法が示されている。前フレームの復号画像を用い
る方法について以下に説明を行う。
画像の入力端子21から入力された画像に対しては、領
域分割・分析部32で画像解析が行われ、背景部と人物頭
部領域に分割されるとともに、頭部の動きや位置などの
分析が行われる。合成部28では、領域分割・分析情報に
基づきフレームメモリ部27内に蓄えられている前フレー
ムの復号画像を用いて頭部の３次元形状モデルに濃淡情
報を付与することにより頭部領域の画像を合成する。第
８図に示すように、合成を行った領域に対して更に動き
補償予測を行う場合はスイッチ29をＡ側に接続し、そう
でない場合にはスイッチ29をＢ側に接続をする。それぞ
れ方法Ａ、方法Ｂと呼ぶことにする。方法Ａにおいて、
動き補償部30では、フレームメモリ部27に蓄えられてい
る前フレームの復号画像における背景部領域の画像と合
成部28から得られる頭部領域の画像を加えた画像を作
り、この画像を用いて入力画像に対する動き補償予測を
行い予測画像を求める。一方、方法Ｂでは、背景部領域
に関する予測画像は動き補償予測を用い、頭部領域に関
しては合成部28で合成された画像が用いられ、加算部31
において両画像が加算され予測画像が得られる。減算部
22では、入力画像端子21から入力された現入力画像と予
測画像との差分、すなわち予測誤差が求められる。得ら
れた予測誤差に対して離散的コサイン変換がDCT部23で
施され、量子化部24において量子化が行われる。得られ
た量子化結果が符号化される。また、量子化結果は逆量
子化・逆離散的コサイン変換部25において逆量子化・逆
離散的コサイン変換が施され、加算部26において予測画
像との加算が行われ、得られた結果がフレームメモリ部
27に蓄えられる。
域分割・分析部32で画像解析が行われ、背景部と人物頭
部領域に分割されるとともに、頭部の動きや位置などの
分析が行われる。合成部28では、領域分割・分析情報に
基づきフレームメモリ部27内に蓄えられている前フレー
ムの復号画像を用いて頭部の３次元形状モデルに濃淡情
報を付与することにより頭部領域の画像を合成する。第
８図に示すように、合成を行った領域に対して更に動き
補償予測を行う場合はスイッチ29をＡ側に接続し、そう
でない場合にはスイッチ29をＢ側に接続をする。それぞ
れ方法Ａ、方法Ｂと呼ぶことにする。方法Ａにおいて、
動き補償部30では、フレームメモリ部27に蓄えられてい
る前フレームの復号画像における背景部領域の画像と合
成部28から得られる頭部領域の画像を加えた画像を作
り、この画像を用いて入力画像に対する動き補償予測を
行い予測画像を求める。一方、方法Ｂでは、背景部領域
に関する予測画像は動き補償予測を用い、頭部領域に関
しては合成部28で合成された画像が用いられ、加算部31
において両画像が加算され予測画像が得られる。減算部
22では、入力画像端子21から入力された現入力画像と予
測画像との差分、すなわち予測誤差が求められる。得ら
れた予測誤差に対して離散的コサイン変換がDCT部23で
施され、量子化部24において量子化が行われる。得られ
た量子化結果が符号化される。また、量子化結果は逆量
子化・逆離散的コサイン変換部25において逆量子化・逆
離散的コサイン変換が施され、加算部26において予測画
像との加算が行われ、得られた結果がフレームメモリ部
27に蓄えられる。
（発明が解決しようとする課題） 従来技術として、波形符号化的手法とモデルベース符
号化的手法とを組み合わせたハイブリッド符号化方法を
示したが、次のような問題点がある。
号化的手法とを組み合わせたハイブリッド符号化方法を
示したが、次のような問題点がある。
方法Ａでは、前フレームの復号画像における背景部領
域の画像と合成部28から得られる頭部領域の画像を加え
た画像を作り、この画像を用いて入力画像に対する動き
補償予測を行い予測画像を求める。このため得られた予
測画像の入力画像に対する予測効率が必ずしも高くな
く、この結果として符号化効率を低下させる原因となっ
ている。また、同様な理由から方法Ｂにおいても予測効
率の低下をまねくという問題がある。また、波形符号化
的予測手法とモデルベース符号化的合成手法により得ら
れた予測画像領域の境界付近において画像の濃淡レベル
が第９図に示すように不連続になり、その結果として復
号画像においてブロック状の雑音などが発生するという
問題がある。
域の画像と合成部28から得られる頭部領域の画像を加え
た画像を作り、この画像を用いて入力画像に対する動き
補償予測を行い予測画像を求める。このため得られた予
測画像の入力画像に対する予測効率が必ずしも高くな
く、この結果として符号化効率を低下させる原因となっ
ている。また、同様な理由から方法Ｂにおいても予測効
率の低下をまねくという問題がある。また、波形符号化
的予測手法とモデルベース符号化的合成手法により得ら
れた予測画像領域の境界付近において画像の濃淡レベル
が第９図に示すように不連続になり、その結果として復
号画像においてブロック状の雑音などが発生するという
問題がある。
（発明の目的） 本発明は、上述した従来技術の問題を解決するために
なされたものであり、予測効率を改善することができ、
かつ予測画像における画像信号の不連続な部分を滑らか
にし、その結果符号化効率を改善することが可能な動画
像のハイブリッド符号化方法及び装置を提供することを
目的とする。
なされたものであり、予測効率を改善することができ、
かつ予測画像における画像信号の不連続な部分を滑らか
にし、その結果符号化効率を改善することが可能な動画
像のハイブリッド符号化方法及び装置を提供することを
目的とする。
（発明の構成） 前記課題を解決するための本願の第１の発明は、動き
を有する物体を含む動画像に対して、動き補償予測フレ
ーム間符号化などで代表される波形符号化的手法と符号
化対象物の３次元形状モデルを用いるモデルベース符号
化的手法とを組み合わせたハイブリッド符号化方法にお
いて、現入力画像情報から、フレームメモリに蓄えられ
ている前フレームの復号画像情報に対する動き検出を行
う動き検出過程と、該動き検出過程において検出された
動きベクトルに従い前記前フレームの復号画像情報を用
いて前記現入力画像に対応する予測画像を予測する動き
補償予測過程と、前記前フレームの入力画像情報を前フ
レーム入力画像用メモリに蓄える過程と、３次元形状モ
デル格納用メモリに蓄えられている前フレームの入力画
像の前記物体の形状・位置に対応する３次元形状モデル
情報と前記現入力画像情報と前記前フレームの入力画像
情報とを用いて前記物体の３次元動きパラメータを推定
する３次元動きパラメータ推定過程と、前記３次元形状
モデル情報に対して前記３次元動きパラメータを作用さ
せ前記現入力画像の前記物体の形状・位置に対応するよ
うにモデル形状を操作する３次元形状モデル操作過程
と、該３次元形状モデル操作過程により得られた３次元
形状モデル情報を３次元形状モデル格納用メモリに蓄え
る過程と、該３次元形状モデル操作過程により得られた
情報に対して前記フレームメモリに格納されている前記
前フレームの復号画像の濃淡情報の付与を行い前記現入
力画像の前記物体に対応する予測画像を合成する画像合
成過程と、該画像合成過程及び前記動き補償予測過程に
よって得られた画像情報を前記現入力画像情報とそれぞ
れ比較し前記現入力画像との差が小さい方の画像情報を
出力する画像比較過程と、該画像比較過程により得られ
た画像情報を予測画像メモリに蓄える過程と、前記現入
力画像と前記予測画像メモリから出力される画像情報と
の差分を計算する減算過程と、該減算過程により得られ
た情報を符号化する符号化過程と、該符号化過程により
得られた情報を復号化する復号化過程と、該復号化過程
により得られた情報を前記予測画像メモリの出力に加え
る加算過程と、該加算過程により得られた画像情報を前
フレームの復号画像情報として前記フレームメモリに蓄
える過程とを備えた動画像のハイブリッド符号化を行う
ことにある。
を有する物体を含む動画像に対して、動き補償予測フレ
ーム間符号化などで代表される波形符号化的手法と符号
化対象物の３次元形状モデルを用いるモデルベース符号
化的手法とを組み合わせたハイブリッド符号化方法にお
いて、現入力画像情報から、フレームメモリに蓄えられ
ている前フレームの復号画像情報に対する動き検出を行
う動き検出過程と、該動き検出過程において検出された
動きベクトルに従い前記前フレームの復号画像情報を用
いて前記現入力画像に対応する予測画像を予測する動き
補償予測過程と、前記前フレームの入力画像情報を前フ
レーム入力画像用メモリに蓄える過程と、３次元形状モ
デル格納用メモリに蓄えられている前フレームの入力画
像の前記物体の形状・位置に対応する３次元形状モデル
情報と前記現入力画像情報と前記前フレームの入力画像
情報とを用いて前記物体の３次元動きパラメータを推定
する３次元動きパラメータ推定過程と、前記３次元形状
モデル情報に対して前記３次元動きパラメータを作用さ
せ前記現入力画像の前記物体の形状・位置に対応するよ
うにモデル形状を操作する３次元形状モデル操作過程
と、該３次元形状モデル操作過程により得られた３次元
形状モデル情報を３次元形状モデル格納用メモリに蓄え
る過程と、該３次元形状モデル操作過程により得られた
情報に対して前記フレームメモリに格納されている前記
前フレームの復号画像の濃淡情報の付与を行い前記現入
力画像の前記物体に対応する予測画像を合成する画像合
成過程と、該画像合成過程及び前記動き補償予測過程に
よって得られた画像情報を前記現入力画像情報とそれぞ
れ比較し前記現入力画像との差が小さい方の画像情報を
出力する画像比較過程と、該画像比較過程により得られ
た画像情報を予測画像メモリに蓄える過程と、前記現入
力画像と前記予測画像メモリから出力される画像情報と
の差分を計算する減算過程と、該減算過程により得られ
た情報を符号化する符号化過程と、該符号化過程により
得られた情報を復号化する復号化過程と、該復号化過程
により得られた情報を前記予測画像メモリの出力に加え
る加算過程と、該加算過程により得られた画像情報を前
フレームの復号画像情報として前記フレームメモリに蓄
える過程とを備えた動画像のハイブリッド符号化を行う
ことにある。
本願の第２の発明は、前記３次元形状モデル操作過程
の後に実行される、前記物体の形状の変化を検出する形
状変化検出過程と、該形状変化検出過程により得られた
情報に基づき前記３次元モデル形状操作過程により得ら
れた３次元形状モデルのモデル形状の変形を行う３次元
形状モデル変形過程と、前記予測画像メモリの出力に対
してフィルタ作用を行うフィルタ過程とを更に備えたこ
とにある。
の後に実行される、前記物体の形状の変化を検出する形
状変化検出過程と、該形状変化検出過程により得られた
情報に基づき前記３次元モデル形状操作過程により得ら
れた３次元形状モデルのモデル形状の変形を行う３次元
形状モデル変形過程と、前記予測画像メモリの出力に対
してフィルタ作用を行うフィルタ過程とを更に備えたこ
とにある。
なお、以下では顔動画像を対象として、頭部の３次元
形状モデルを用いた説明を行う。
形状モデルを用いた説明を行う。
（実施例１） 第１図は、本発明の第１の実施例を説明するための動
画像のハイブリッド符号化装置のブロック図である。第
１図において、１は入力画像を入力するための入力端
子、２は波形符号化的予測部、３はモデルベース符号化
的合成部、４はフレームメモリ部、５は画像比較部、６
は減算部、７は符号化部、８は復号化部、９は加算部で
ある。
画像のハイブリッド符号化装置のブロック図である。第
１図において、１は入力画像を入力するための入力端
子、２は波形符号化的予測部、３はモデルベース符号化
的合成部、４はフレームメモリ部、５は画像比較部、６
は減算部、７は符号化部、８は復号化部、９は加算部で
ある。
モデルベース符号化的合成部３では、入力画像端子１
から入力された入力画像とフレームメモリ部４の出力
（前フレームの復号画像）を用いて人物頭部の動き、形
状、位置などの解析が行われ、更に得られた解析結果と
頭部の３次元形状モデルを用いて頭部領域の画像合成が
行われる。波形符号化的予測部２では、例えば動き補償
予測手法などにより入力画像に対応した予測画像が求め
られる。動き補償予測については、例えば古閑らの文献
（古閑、平野、大木、飯沼：「テレビ会議信号の動き補
償フレーム間符号化」電子情報通信学会、画像工学研究
会、IE81-54、昭和56年７月）に詳細が記載されてい
る。入力画像から前フレームの復号画像に対する動き検
出がブロック単位で行われ、水平・垂直方向の動きベク
トルが求められる。得られた動きベクトルだけ変位した
位置の画像がフレームメモリ部４から読み出され、予測
画像が作られる。画像比較部５では、波形符号化的予測
部２の出力とモデル符号化的合成部３の出力がそれぞれ
入力画像とブロック単位で比較され入力画像との差が小
さい画像が出力される。減算部６では、画像比較部５の
出力である予測画像と入力画像の差分、すなわち予測誤
差が計算される。予測誤差は、符号化部７において符号
化され受信側に送られる。符号化部７の出力は、復号化
部８において復号化され、画像比較部５の出力である予
測画像に加算部９において加算され、フレームメモリ部
４に蓄えられる。
から入力された入力画像とフレームメモリ部４の出力
（前フレームの復号画像）を用いて人物頭部の動き、形
状、位置などの解析が行われ、更に得られた解析結果と
頭部の３次元形状モデルを用いて頭部領域の画像合成が
行われる。波形符号化的予測部２では、例えば動き補償
予測手法などにより入力画像に対応した予測画像が求め
られる。動き補償予測については、例えば古閑らの文献
（古閑、平野、大木、飯沼：「テレビ会議信号の動き補
償フレーム間符号化」電子情報通信学会、画像工学研究
会、IE81-54、昭和56年７月）に詳細が記載されてい
る。入力画像から前フレームの復号画像に対する動き検
出がブロック単位で行われ、水平・垂直方向の動きベク
トルが求められる。得られた動きベクトルだけ変位した
位置の画像がフレームメモリ部４から読み出され、予測
画像が作られる。画像比較部５では、波形符号化的予測
部２の出力とモデル符号化的合成部３の出力がそれぞれ
入力画像とブロック単位で比較され入力画像との差が小
さい画像が出力される。減算部６では、画像比較部５の
出力である予測画像と入力画像の差分、すなわち予測誤
差が計算される。予測誤差は、符号化部７において符号
化され受信側に送られる。符号化部７の出力は、復号化
部８において復号化され、画像比較部５の出力である予
測画像に加算部９において加算され、フレームメモリ部
４に蓄えられる。
ここで、モデルベース符号化的合成部３について説明
を行う。モデルベース符号化の基本的な枠組み及び具体
的な方法については、すでにいくつかの文献で報告がさ
れている。（例えば、金子、羽鳥、小池：「形状変化の
検出と３次元形状モデルに基づく顔動画像の符号化」電
子情報通信学会論文誌（Ｂ）、J71−B,pp.1154-156、昭
和63年12月）モデルベース符号化的合成は、物体の３次
元形状モデルの操作・変形が基本となる。３次元形成モ
デルは、３角形を要素としたワイヤーフレームモデルか
ら構成される。対象物体の３次元形状モデルは２次元面
上に投影され、各々の三角形に濃淡情報（明るさ、色情
報）が付与される。入力画像から物体の動きや変形情報
の検出が行われ、得られた動きに基づいて３次元形状モ
デルが操作・変形され、入力画像に対応した画像が合成
される。
を行う。モデルベース符号化の基本的な枠組み及び具体
的な方法については、すでにいくつかの文献で報告がさ
れている。（例えば、金子、羽鳥、小池：「形状変化の
検出と３次元形状モデルに基づく顔動画像の符号化」電
子情報通信学会論文誌（Ｂ）、J71−B,pp.1154-156、昭
和63年12月）モデルベース符号化的合成は、物体の３次
元形状モデルの操作・変形が基本となる。３次元形成モ
デルは、３角形を要素としたワイヤーフレームモデルか
ら構成される。対象物体の３次元形状モデルは２次元面
上に投影され、各々の三角形に濃淡情報（明るさ、色情
報）が付与される。入力画像から物体の動きや変形情報
の検出が行われ、得られた動きに基づいて３次元形状モ
デルが操作・変形され、入力画像に対応した画像が合成
される。
次に画像比較部５について説明を行う。第２図に第１
図中の画像比較部５の機能を説明する図、第３図に画像
比較部５のブロック図を示す。スイッチ部502が画像比
較スイッチ制御部501の制御信号によって切り換えられ
る。Ａ側は波形符号化的予測部からの画像が予測画像と
して判定された場合、Ｂ側はモデルベース符号化的合成
部３からの画像が予測画像として判定された場合に対応
している。ブロック単位に入力画像に対する予測画像が
求められる。ブロックが頭部領域に含まれない場合、ス
イッチがＡ側に接続されるように制御信号が画像比較ス
イッチ制御部501からスイッチ502へ出力される。すなわ
ち、波形符号化的予測部２の出力が強制的に予測画像と
なる。頭部領域に含まれる場合には、それぞれの出力と
入力画像との差分値の絶対値和（あるいは２乗和）がそ
れぞれ計算され、それらの絶対値和の大小比較が行われ
る。もし波形符号化的予測部２の出力から求まった絶対
値和がモデルベース符号化的合成部３の出力から計算さ
れた絶対値和より小さいなら、スイッチ502はＡ側に接
続されるように、そうでないなら、スイッチ502はＢ側
に接続されるように制御信号が画像比較スイッチ部501
から出力される。
図中の画像比較部５の機能を説明する図、第３図に画像
比較部５のブロック図を示す。スイッチ部502が画像比
較スイッチ制御部501の制御信号によって切り換えられ
る。Ａ側は波形符号化的予測部からの画像が予測画像と
して判定された場合、Ｂ側はモデルベース符号化的合成
部３からの画像が予測画像として判定された場合に対応
している。ブロック単位に入力画像に対する予測画像が
求められる。ブロックが頭部領域に含まれない場合、ス
イッチがＡ側に接続されるように制御信号が画像比較ス
イッチ制御部501からスイッチ502へ出力される。すなわ
ち、波形符号化的予測部２の出力が強制的に予測画像と
なる。頭部領域に含まれる場合には、それぞれの出力と
入力画像との差分値の絶対値和（あるいは２乗和）がそ
れぞれ計算され、それらの絶対値和の大小比較が行われ
る。もし波形符号化的予測部２の出力から求まった絶対
値和がモデルベース符号化的合成部３の出力から計算さ
れた絶対値和より小さいなら、スイッチ502はＡ側に接
続されるように、そうでないなら、スイッチ502はＢ側
に接続されるように制御信号が画像比較スイッチ部501
から出力される。
（実施例２） 第４図は、本発明の第２の実施例を説明するための動
画像のハイブリッド符号化装置のブロック図である。第
４図において、10は前フレーム入力画像メモリ部、11は
３次元動きパラメータ推定部、12は３次元形状モデル格
納部、13は３次元形状モデル操作部、14は画像合成部、
15は動き検出部、16は動き補償予測部、17は予測画像メ
モリ部で、その他は第１図と同様である。動き検出部15
は、入力画像から前フレームの復号画像に対する動きベ
クトルの検出がブロック単位で行われる。検出方法とし
ては、ブロックマッチング方法や勾配方法などがある。
（例えば、二宮：「フレーム間符号化における動き補
正」電子情報通信学会、画像工学研究会IE76−６、昭和
53年５月、吹抜：「画像信号による動対象の移動量、速
度の計測」電子情報通信学会、画像工学研究会IE78-6
7、昭和53年10月など）動き補償予測部16では動き検出
部15で得られた動きベクトルに従い、入力画像に対する
動き補償予測画像が求められる。３次元動きパラメータ
推定部11では現入力画像と前フレームの入力画像及び前
フレームの入力画像の頭部に対応した３次元形状モデル
が利用されて頭部の３次元動きパラメータが推定され
る。具体的には、頭部の回転移動及び平行移動速度パラ
メータが求められる。３次元形状モデル操作部13では、
３次元動きパラメータ推定部11の出力が前フレームの入
力画像の頭部の形状・位置に対応する３次元形状モデル
に作用され、現入力画像の頭部領域に対応する３次元形
状モデルが得られる。得られた３次元形状モデルは、３
次元形状モデル格納部12に格納される。画像合成部14で
は、３次元形状モデル操作部13の出力である現入力画像
の頭部の形状・位置に対応する３次元形状モデルに対し
て、フレームメモリ部４から得られる前フレームの復号
画像の濃淡情報が付与されて入力画像の頭部領域に対応
する画像が合成される。画像比較部５では、画像合成部
14及び動き補償予測部16の出力画像が入力画像とブロッ
ク単位にそれぞれ比較が行われ、得られた結果に基づき
予測画像が出力される。ここで、比較しているブロック
の位置が頭部領域に含まれる場合、入力画像との差が小
さい画像が予測画像として出力される。もし対応するブ
ロックの位置が頭部領域に含まれていない場合は、動き
補償予測部16からの動き補償予測画像が予測画像として
出力される。画像比較部５からの出力は、予測画像メモ
リ部17において入力画像の予測画像として蓄えられる。
減算部６では、入力画像と予測画像との差分、すなわち
予測誤差が求められる。符号化部７では予測誤差に対し
てブロック単位に直交変換が施され、量子化・符号化が
行われる。復号化部８では逆量子化・逆直交変換が施さ
れる。加算部９では、復号化部８と予測画像メモリ部17
の出力が加算されて、加算結果がフレームメモリ部４に
蓄えられる。
画像のハイブリッド符号化装置のブロック図である。第
４図において、10は前フレーム入力画像メモリ部、11は
３次元動きパラメータ推定部、12は３次元形状モデル格
納部、13は３次元形状モデル操作部、14は画像合成部、
15は動き検出部、16は動き補償予測部、17は予測画像メ
モリ部で、その他は第１図と同様である。動き検出部15
は、入力画像から前フレームの復号画像に対する動きベ
クトルの検出がブロック単位で行われる。検出方法とし
ては、ブロックマッチング方法や勾配方法などがある。
（例えば、二宮：「フレーム間符号化における動き補
正」電子情報通信学会、画像工学研究会IE76−６、昭和
53年５月、吹抜：「画像信号による動対象の移動量、速
度の計測」電子情報通信学会、画像工学研究会IE78-6
7、昭和53年10月など）動き補償予測部16では動き検出
部15で得られた動きベクトルに従い、入力画像に対する
動き補償予測画像が求められる。３次元動きパラメータ
推定部11では現入力画像と前フレームの入力画像及び前
フレームの入力画像の頭部に対応した３次元形状モデル
が利用されて頭部の３次元動きパラメータが推定され
る。具体的には、頭部の回転移動及び平行移動速度パラ
メータが求められる。３次元形状モデル操作部13では、
３次元動きパラメータ推定部11の出力が前フレームの入
力画像の頭部の形状・位置に対応する３次元形状モデル
に作用され、現入力画像の頭部領域に対応する３次元形
状モデルが得られる。得られた３次元形状モデルは、３
次元形状モデル格納部12に格納される。画像合成部14で
は、３次元形状モデル操作部13の出力である現入力画像
の頭部の形状・位置に対応する３次元形状モデルに対し
て、フレームメモリ部４から得られる前フレームの復号
画像の濃淡情報が付与されて入力画像の頭部領域に対応
する画像が合成される。画像比較部５では、画像合成部
14及び動き補償予測部16の出力画像が入力画像とブロッ
ク単位にそれぞれ比較が行われ、得られた結果に基づき
予測画像が出力される。ここで、比較しているブロック
の位置が頭部領域に含まれる場合、入力画像との差が小
さい画像が予測画像として出力される。もし対応するブ
ロックの位置が頭部領域に含まれていない場合は、動き
補償予測部16からの動き補償予測画像が予測画像として
出力される。画像比較部５からの出力は、予測画像メモ
リ部17において入力画像の予測画像として蓄えられる。
減算部６では、入力画像と予測画像との差分、すなわち
予測誤差が求められる。符号化部７では予測誤差に対し
てブロック単位に直交変換が施され、量子化・符号化が
行われる。復号化部８では逆量子化・逆直交変換が施さ
れる。加算部９では、復号化部８と予測画像メモリ部17
の出力が加算されて、加算結果がフレームメモリ部４に
蓄えられる。
頭部の３次元的な動きパラメータの推定法について説
明を行う。物体の３次元的な動きの推定方法の詳細に関
しては、例えば小池らの文献（小池、金子、羽鳥：「顔
動画像からの頭部の３次元的な動きの推定」電子情報通
信学会画像工学研究会、IE898−３、平成元年４月）に
記述されている。第５図に３次元動きパラメータの推定
部11のブロック図を示す。領域検出部1102では、３次元
形状モデル格納部12から読み出された頭部の形状モデル
の位置情報を用いて頭部の領域を検出する。速度ベクト
ル検出部1101では、領域検出部1102の出力に従って前フ
レームの画像の頭部領域の入力画像に対する速度ベクト
ルがブロック単位で求められる。奥行き座標推定部1103
では、頭部領域における奥行き座標がブロック単位で得
られる。３次元運動パラメータ推定部1104では、速度ベ
クトル検出部1101でブロック単位に検出された頭部領域
上の速度ベクトルと対応する奥行き座標を用いて頭部の
３次元動きパラメータが推定される。
明を行う。物体の３次元的な動きの推定方法の詳細に関
しては、例えば小池らの文献（小池、金子、羽鳥：「顔
動画像からの頭部の３次元的な動きの推定」電子情報通
信学会画像工学研究会、IE898−３、平成元年４月）に
記述されている。第５図に３次元動きパラメータの推定
部11のブロック図を示す。領域検出部1102では、３次元
形状モデル格納部12から読み出された頭部の形状モデル
の位置情報を用いて頭部の領域を検出する。速度ベクト
ル検出部1101では、領域検出部1102の出力に従って前フ
レームの画像の頭部領域の入力画像に対する速度ベクト
ルがブロック単位で求められる。奥行き座標推定部1103
では、頭部領域における奥行き座標がブロック単位で得
られる。３次元運動パラメータ推定部1104では、速度ベ
クトル検出部1101でブロック単位に検出された頭部領域
上の速度ベクトルと対応する奥行き座標を用いて頭部の
３次元動きパラメータが推定される。
（実施例３） 第６図は、本発明の第３の実施例を説明するための動
画像のハイブリッド符号化装置のブロック図である。第
６図において、18はフィルタ部、19は形状変化検出部、
20は３次元形状モデル変化部で、その他は第４図と同様
である。第２の実施例と異なる点は、３次元形状モデル
操作部13の後段に眼や口部分などの要素の形状の変化を
検出する形状変化検出部19と検出結果に基づき３次元形
状モデルの変化を行う３次元形状モデル変形部20を加え
た点にある。形状変化の検出及びモデルの変形方法の詳
細に関しては、例えば小池らの方法（小池、金子、羽
鳥：「３次元的な動きの推定と形状変化の検出に基づく
顔動画像のモデルベース符号化」情報処理学会コンピュ
ータビジョン研究会、CV63−６、平成元年11月）に記述
されている。また、予測画像メモリ部17の出力に対して
低減通過型フィルタ部18を挿入し、適応的にフィルタの
ON/OFFを制御するようにした点にある。第７図に示すよ
うに予測画像中の画像合成部と動き補償予測部からの出
力画像の境界部の画素に対しては、フィルタをON、そう
でない画素に対してはOFFにする。
画像のハイブリッド符号化装置のブロック図である。第
６図において、18はフィルタ部、19は形状変化検出部、
20は３次元形状モデル変化部で、その他は第４図と同様
である。第２の実施例と異なる点は、３次元形状モデル
操作部13の後段に眼や口部分などの要素の形状の変化を
検出する形状変化検出部19と検出結果に基づき３次元形
状モデルの変化を行う３次元形状モデル変形部20を加え
た点にある。形状変化の検出及びモデルの変形方法の詳
細に関しては、例えば小池らの方法（小池、金子、羽
鳥：「３次元的な動きの推定と形状変化の検出に基づく
顔動画像のモデルベース符号化」情報処理学会コンピュ
ータビジョン研究会、CV63−６、平成元年11月）に記述
されている。また、予測画像メモリ部17の出力に対して
低減通過型フィルタ部18を挿入し、適応的にフィルタの
ON/OFFを制御するようにした点にある。第７図に示すよ
うに予測画像中の画像合成部と動き補償予測部からの出
力画像の境界部の画素に対しては、フィルタをON、そう
でない画素に対してはOFFにする。
（発明の効果） 以上述べたように、動き補償予測などの波形符号化的
手法と３次元形状モデルに基づくモデルベース符号化的
手法による画像を適応的に切り換えて予測画像を求める
ことにより、従来の方法に比べて入力画像に対する画像
の予測効率を改善することができ、結果として復号画像
の画像品質を改善することができる。また、物体の３次
元形状モデルを用いて物体の３次元的な動きを推定し、
得られた結果に基づく画像合成との動き検出に基づく動
き補償予測をブロック単位に適応的に切り換えることに
より、従来の方法に比べて入力画像に対する画像の予測
効率を改善することができる。
手法と３次元形状モデルに基づくモデルベース符号化的
手法による画像を適応的に切り換えて予測画像を求める
ことにより、従来の方法に比べて入力画像に対する画像
の予測効率を改善することができ、結果として復号画像
の画像品質を改善することができる。また、物体の３次
元形状モデルを用いて物体の３次元的な動きを推定し、
得られた結果に基づく画像合成との動き検出に基づく動
き補償予測をブロック単位に適応的に切り換えることに
より、従来の方法に比べて入力画像に対する画像の予測
効率を改善することができる。
特に本発明によれば、３次元形状モデル格納用メモリ
に蓄えられている前フレームの入力画像の物体の形状・
位置に対応する３次元形状モデル情報と現入力画像情報
と前フレームの入力画像情報とを用いてこの物体の３次
元動きパラメータを推定し、３次元形状モデル情報に対
してこの推定した３次元動きパラメータを作用させ現入
力画像の物体の形状・位置に対応するようにモデル形状
を操作し、これによって得られた情報に対して前フレー
ムの復号画像の濃淡情報の付与を行い現入力画像の物体
に対応する予測画像を合成するようにしているので、左
右・上下の動きなどの物体の３次元的な動きにも充分対
処することができ、入力画像に対する画像の予測効率を
大幅に改善することができる。もちろん、物体の一部の
形状変化の検出（顔動画像においては眼や唇などの形状
変化の検出）を行うこともできる。更に、予測画像に適
応的に低域通過型フィルタを作用させることにより、従
来の方法において予測画像に発生する画像信号の濃淡レ
ベルの不連続を滑らかにすることができ、結果として復
号画像の画像品質を改善することができる。
に蓄えられている前フレームの入力画像の物体の形状・
位置に対応する３次元形状モデル情報と現入力画像情報
と前フレームの入力画像情報とを用いてこの物体の３次
元動きパラメータを推定し、３次元形状モデル情報に対
してこの推定した３次元動きパラメータを作用させ現入
力画像の物体の形状・位置に対応するようにモデル形状
を操作し、これによって得られた情報に対して前フレー
ムの復号画像の濃淡情報の付与を行い現入力画像の物体
に対応する予測画像を合成するようにしているので、左
右・上下の動きなどの物体の３次元的な動きにも充分対
処することができ、入力画像に対する画像の予測効率を
大幅に改善することができる。もちろん、物体の一部の
形状変化の検出（顔動画像においては眼や唇などの形状
変化の検出）を行うこともできる。更に、予測画像に適
応的に低域通過型フィルタを作用させることにより、従
来の方法において予測画像に発生する画像信号の濃淡レ
ベルの不連続を滑らかにすることができ、結果として復
号画像の画像品質を改善することができる。
本発明は、動画像の高能率符号化への適用が可能であ
る。特にテレビ電話のための符号化など高い圧縮が必要
な場合その効果は極めて大である。
る。特にテレビ電話のための符号化など高い圧縮が必要
な場合その効果は極めて大である。
第１図は本発明による第１の実施例としての動画像のハ
イブリッド符号化装置のブロック図、 第２図は第１図中の画像比較部５の機能を説明する図、 第３図は画像比較部に関するブロック図、 第４図は本発明の第２の実施例としての動画像のハイブ
リッド符号化装置のブロック図、 第５図は第４図の３次元動きパラメータ推定部11に関す
るブロック図、 第６図は本発明による第３の実施例としての動画像のハ
イブリッド符号化装置のブロック図、 第７図はフィルタ部の機能を説明する図、 第８図は従来の動画像のハイブリッド符号化装置のブロ
ック図、 第９図は背景領域と顔領域の境界部分における画像の濃
淡レベルの不連続の発生に関する原理図である。 1:入力端子、2:波形符号化的予測部、3:モデルベース符
号化的合成部、4:フレームメモリ部、5:画像比較部、6:
減算部、7:符号化部、8:復号化部、9:加算部、501:画像
比較スイッチ制御部、502:スイッチ部、10:前フレーム
入力画像メモリ部、11:3次元動きパラメータ推定部、1
2:3次元形状モデル格納部、13:3次元形状モデル操作
部、14:画像合成部、15:動き検出部、16:動き補償予測
部、17:予測画像メモリ部、1101:速度ベクトル検出部、
1102:領域検出部、1103:奥行き座標計算部、1104:3次元
運動パラメータ推定部、18:フィルタ部、19:形状変化検
出部、20:3次元形状モデル変形部、21:画像入力端子、2
2:加算部、23:離散的コサイン変換部、24:量子化部、2
5:逆量子化・逆離散的コサイン変換、26:加算部、27:フ
レームメモリ部、28:合成部、29:スイッチ部、30:動き
補償部、31:加算部、32:領域分割・分析部。
イブリッド符号化装置のブロック図、 第２図は第１図中の画像比較部５の機能を説明する図、 第３図は画像比較部に関するブロック図、 第４図は本発明の第２の実施例としての動画像のハイブ
リッド符号化装置のブロック図、 第５図は第４図の３次元動きパラメータ推定部11に関す
るブロック図、 第６図は本発明による第３の実施例としての動画像のハ
イブリッド符号化装置のブロック図、 第７図はフィルタ部の機能を説明する図、 第８図は従来の動画像のハイブリッド符号化装置のブロ
ック図、 第９図は背景領域と顔領域の境界部分における画像の濃
淡レベルの不連続の発生に関する原理図である。 1:入力端子、2:波形符号化的予測部、3:モデルベース符
号化的合成部、4:フレームメモリ部、5:画像比較部、6:
減算部、7:符号化部、8:復号化部、9:加算部、501:画像
比較スイッチ制御部、502:スイッチ部、10:前フレーム
入力画像メモリ部、11:3次元動きパラメータ推定部、1
2:3次元形状モデル格納部、13:3次元形状モデル操作
部、14:画像合成部、15:動き検出部、16:動き補償予測
部、17:予測画像メモリ部、1101:速度ベクトル検出部、
1102:領域検出部、1103:奥行き座標計算部、1104:3次元
運動パラメータ推定部、18:フィルタ部、19:形状変化検
出部、20:3次元形状モデル変形部、21:画像入力端子、2
2:加算部、23:離散的コサイン変換部、24:量子化部、2
5:逆量子化・逆離散的コサイン変換、26:加算部、27:フ
レームメモリ部、28:合成部、29:スイッチ部、30:動き
補償部、31:加算部、32:領域分割・分析部。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭59−194589（ＪＰ，Ａ) 特開 昭62−164392（ＪＰ，Ａ) 電子情報通信学会論文誌，Ｊ71Ｂ〔12〕 Ｐ．1554−1563
Claims (4)
- 【請求項１】動きを有する物体を含む動画像に対して、
動き補償予測フレーム間符号化などで代表される波形符
号化的手法と符号化対象物の３次元形状モデルを用いる
モデルベース符号化的手法とを組み合わせたハイブリッ
ド符号化方法において、 現入力画像情報から、フレームメモリに蓄えられている
前フレームの復号画像情報に対する動き検出を行う動き
検出過程と、 該動き検出過程において検出された動きベクトルに従い
前記前フレームの復号画像情報を用いて前記現入力画像
に対応する予測画像を予測する動き補償予測過程と、 前記前フレームの入力画像情報を前フレーム入力画像用
メモリに蓄える過程と、 ３次元形状モデル格納用メモリに蓄えられている前フレ
ームの入力画像の前記物体の形状・位置に対応する３次
元形状モデル情報と前記現入力画像情報と前記前フレー
ムの入力画像情報とを用いて前記物体の３次元動きパラ
メータを推定する３次元動きパラメータ推定過程と、 前記３次元形状モデル情報に対して前記３次元動きパラ
メータを作用させ前記現入力画像の前記物体の形状・位
置に対応するようにモデル形状を操作する３次元形状モ
デル操作過程と、 該３次元形状モデル操作過程により得られた３次元形状
モデル情報を３次元形状モデル格納用メモリに蓄える過
程と、 該３次元形状モデル操作過程により得られた情報に対し
て前記フレームメモリに格納されている前記前フレーム
の復号画像の濃淡情報の付与を行い前記現入力画像の前
記物体に対応する予測画像を合成する画像合成過程と、 該画像合成過程及び前記動き補償予測過程によって得ら
れた画像情報を前記現入力画像情報とそれぞれ比較し前
記現入力画像との差が小さい方の画像情報を出力する画
像比較過程と、 該画像比較過程により得られた画像情報を予測画像メモ
リに蓄える過程と、 前記現入力画像と前記予測画像メモリから出力される画
像情報との差分を計算する減算過程と、 該減算過程により得られた情報を符号化する符号化過程
と、 該符号化過程により得られた情報を復号化する復号化過
程と、 該復号化過程により得られた情報を前記予測画像メモリ
の出力に加える加算過程と、 該加算過程により得られた画像情報を前フレームの復号
画像情報として前記フレームメモリに蓄える過程と、 を備えたことを特徴とする動画像のハイブリッド符号化
方法。 - 【請求項２】前記３次元形状モデル操作過程の後に実行
される、前記物体の形状の変化を検出する形状変化検出
過程と、該形状変化検出過程により得られた情報に基づ
き前記３次元モデル形状操作過程により得られた３次元
形状モデルのモデル形状の変形を行う３次元形状モデル
変形過程と、前記予測画像メモリの出力に対してフィル
タ作用を行うフィルタ過程とを更に備えたことを特徴と
する請求項１に記載の符号化方法。 - 【請求項３】動きを有する物体をテレビカメラで撮影し
ディジタル化して得られた画像信号を入力する端子と、 前フレームの復号画像を蓄えておくフレームメモリ部
と、 前記入力端子から入力された現入力画像情報から前記フ
レームメモリ部に蓄えられている前記前フレームの復号
画像情報に対して動き検出を行う動き検出部と、 該動き検出部において検出された動きベクトルに従い前
記前フレームの復号画像情報を用いて前記現入力画像に
対応する画像を予測する動き補償予測部と、 前記前フレームの入力画像の前記物体の形状・位置に対
応する３次元形状モデル情報を蓄えている３次元形状モ
デル格納部と、 前フレームの入力画像情報を蓄えている前フレーム入力
画像メモリ部と、 前記３次元形状モデル情報と前記現入力画像情報と前記
前フレームの入力画像情報とを用いて前記物体の３次元
的動きパラメータを推定する３次元動きパラメータ推定
部と、 前記前フレームの入力画像の前記物体の形状・位置に対
応した前記３次元形状モデル情報に対して前記３次元動
きパラメータを作用させ前記現入力画像の物体の形状・
位置に対応するようにモデル形状を操作する３次元形状
モデル操作部と、 該３次元形状モデル操作部の出力情報に対して前記フレ
ームメモリ部に格納されている前記前フレームの復号画
像の濃淡情報の付与を行い前記現入力画像の物体に対応
する予測画像を合成する画像合成部と、 該画像合成部及び前記動き補償予測部の出力情報をそれ
ぞれ前記現入力画像信号と比較し前記現入力画像との差
が小さい方の画像を出力する画像比較部と、 該画像比較部の出力情報を蓄える予測画像メモリ部と、 前記現入力画像信号と前記予測画像メモリ部から出力さ
れる画像情報との差分を計算する減算部と、 該減算部の出力情報を符号化する符号化部と、 該符号化部の出力情報を復号化する復号化部と、 該復号化部の出力情報を前記予測画像メモリ部の出力情
報に加える加算部と、 を備えており、該加算部の出力情報が前フレームに対す
る復号画像情報として前記フレームメモリ部に蓄えられ
ることを特徴とする動画像のハイブリッド符号化装置。 - 【請求項４】前記３次元形状モデル操作部の後段に前記
物体の形状の変化を検出する形状変化検出部と、該形状
変化検出部の出力情報に基づき前記３次元形状モデル操
作部から出力された３次元形状モデルのモデル形状の変
化を行う３次元形状モデル変形部と、前記予測画像メモ
リ部の出力情報に対してフィルタ作用を行うフィルタ部
とを更に備えたことを特徴とする請求項３に記載の符号
化装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2049506A JPH082107B2 (ja) | 1990-03-02 | 1990-03-02 | 動画像のハイブリッド符号化方法及びその装置 |
| US07/664,181 US5117287A (en) | 1990-03-02 | 1991-03-01 | Hybrid coding system for moving image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2049506A JPH082107B2 (ja) | 1990-03-02 | 1990-03-02 | 動画像のハイブリッド符号化方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03253190A JPH03253190A (ja) | 1991-11-12 |
| JPH082107B2 true JPH082107B2 (ja) | 1996-01-10 |
Family
ID=12833020
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2049506A Expired - Lifetime JPH082107B2 (ja) | 1990-03-02 | 1990-03-02 | 動画像のハイブリッド符号化方法及びその装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5117287A (ja) |
| JP (1) | JPH082107B2 (ja) |
Families Citing this family (95)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5379351A (en) * | 1992-02-19 | 1995-01-03 | Integrated Information Technology, Inc. | Video compression/decompression processing and processors |
| EP0412713B1 (en) * | 1989-08-05 | 1996-02-14 | Matsushita Electric Industrial Co., Ltd. | Picture coding method |
| DE4013842A1 (de) * | 1990-04-30 | 1991-10-31 | Ant Nachrichtentech | Verfahren zur aufbereitung von bilddaten fuer uebertragungszwecke sowie anwendung |
| JPH04101278A (ja) * | 1990-08-20 | 1992-04-02 | Fuji Photo Film Co Ltd | 画像ファイリング装置 |
| US5870497A (en) * | 1991-03-15 | 1999-02-09 | C-Cube Microsystems | Decoder for compressed video signals |
| WO1993002529A1 (en) * | 1991-07-23 | 1993-02-04 | British Telecommunications Public Limited Company | Method and device for frame interpolation of a moving image |
| JP2646921B2 (ja) * | 1991-11-15 | 1997-08-27 | 日本ビクター株式会社 | 適応量子化装置 |
| US6965644B2 (en) * | 1992-02-19 | 2005-11-15 | 8×8, Inc. | Programmable architecture and methods for motion estimation |
| US5420638A (en) * | 1992-04-14 | 1995-05-30 | U.S. Philips Corporation | Subassembly for coding images with refresh correction of the data to be coded, and subassembly for decording signals representing these images and previously coded by means of a subassembly of the former kind |
| FR2693291A1 (fr) * | 1992-07-01 | 1994-01-07 | Philips Electronique Lab | Sous-ensemble de décodage d'images codées transmises dans un canal à très bas débit et/ou stockées avec un taux de compression de données élevé. |
| JPH05308630A (ja) * | 1992-04-28 | 1993-11-19 | Victor Co Of Japan Ltd | 動きベクトル検出方法 |
| KR0121162B1 (ko) * | 1992-05-20 | 1997-11-18 | 구자홍 | 디지탈 티브이의 영상움직임 보상장치 |
| JPH0622301A (ja) * | 1992-06-30 | 1994-01-28 | Sony Corp | 画像符号化装置 |
| US6301390B1 (en) | 1993-03-31 | 2001-10-09 | Canon Kabushiki Kaisha | Encoding image data in blocks read out in a predetermined order |
| US5610657A (en) * | 1993-09-14 | 1997-03-11 | Envistech Inc. | Video compression using an iterative error data coding method |
| US5512939A (en) * | 1994-04-06 | 1996-04-30 | At&T Corp. | Low bit rate audio-visual communication system having integrated perceptual speech and video coding |
| CA2145914A1 (en) * | 1994-05-27 | 1995-11-28 | Alexandros Eleftheriadis | Model-assisted coding of video sequences at low bit rates |
| JP2770137B2 (ja) * | 1994-09-22 | 1998-06-25 | 日本プレシジョン・サーキッツ株式会社 | 波形データ圧縮装置 |
| US5608458A (en) * | 1994-10-13 | 1997-03-04 | Lucent Technologies Inc. | Method and apparatus for a region-based approach to coding a sequence of video images |
| US5654771A (en) * | 1995-05-23 | 1997-08-05 | The University Of Rochester | Video compression system using a dense motion vector field and a triangular patch mesh overlay model |
| US6023301A (en) * | 1995-07-14 | 2000-02-08 | Sharp Kabushiki Kaisha | Video coding device and video decoding device |
| DE69608781T2 (de) * | 1995-09-12 | 2000-12-28 | Koninkl Philips Electronics Nv | Hybride wellenform- und modellbasierte kodierung und dekodierung von bildsignalen |
| US5784175A (en) * | 1995-10-05 | 1998-07-21 | Microsoft Corporation | Pixel block correlation process |
| US5787203A (en) * | 1996-01-19 | 1998-07-28 | Microsoft Corporation | Method and system for filtering compressed video images |
| US5692063A (en) * | 1996-01-19 | 1997-11-25 | Microsoft Corporation | Method and system for unrestricted motion estimation for video |
| US5799113A (en) * | 1996-01-19 | 1998-08-25 | Microsoft Corporation | Method for expanding contracted video images |
| US5838823A (en) * | 1996-02-29 | 1998-11-17 | Electronic Arts, Inc. | Video image compression and decompression |
| KR100212559B1 (ko) * | 1996-03-22 | 1999-08-02 | 전주범 | 물체의 윤곽 부호화 시스템 및 그의 움직임 추정방법 |
| US5764814A (en) * | 1996-03-22 | 1998-06-09 | Microsoft Corporation | Representation and encoding of general arbitrary shapes |
| US5778098A (en) * | 1996-03-22 | 1998-07-07 | Microsoft Corporation | Sprite coding |
| KR100202565B1 (ko) * | 1996-03-23 | 1999-06-15 | 구자홍 | 복합영상신호의 3차원 휘도/색신호 분리 장치 |
| US6529631B1 (en) | 1996-03-29 | 2003-03-04 | Sarnoff Corporation | Apparatus and method for optimizing encoding and performing automated steerable image compression in an image coding system using a perceptual metric |
| US5764803A (en) * | 1996-04-03 | 1998-06-09 | Lucent Technologies Inc. | Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences |
| EP0817499A3 (en) * | 1996-06-28 | 2002-05-22 | Matsushita Electric Industrial Co., Ltd. | Image coding method using extrapolated pixels in insignificant areas of blocks |
| US6341144B1 (en) * | 1996-09-20 | 2002-01-22 | At&T Corp. | Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video |
| US8625665B2 (en) * | 1996-09-20 | 2014-01-07 | At&T Intellectual Property Ii, L.P. | Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video |
| US6075875A (en) * | 1996-09-30 | 2000-06-13 | Microsoft Corporation | Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results |
| US5748789A (en) * | 1996-10-31 | 1998-05-05 | Microsoft Corporation | Transparent block skipping in object-based video coding systems |
| AU722393B2 (en) * | 1996-11-07 | 2000-08-03 | Broderbund Software, Inc. | System for adaptive animation compression |
| JP3223962B2 (ja) * | 1997-01-24 | 2001-10-29 | 松下電器産業株式会社 | 画像復号化方法 |
| KR100463004B1 (ko) | 1997-03-20 | 2005-06-02 | 주식회사 팬택앤큐리텔 | Mpeg-4vop부호화방법 |
| KR100463003B1 (ko) * | 1997-03-20 | 2005-06-01 | 주식회사 팬택앤큐리텔 | Mpeg-4vop의윤곽선부호화방법 |
| KR100265720B1 (ko) * | 1997-03-31 | 2000-09-15 | 윤종용 | 2차원삼각형선격자모델을이용한동영상의움직임보상방법 |
| US6633611B2 (en) * | 1997-04-24 | 2003-10-14 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for region-based moving image encoding and decoding |
| US6400831B2 (en) | 1998-04-02 | 2002-06-04 | Microsoft Corporation | Semantic video object segmentation and tracking |
| GB9817500D0 (en) | 1998-08-12 | 1998-10-07 | Domain Dynamics Ltd | Advantageous time encoded (TESPAR) signal processing arrangements |
| US6711278B1 (en) | 1998-09-10 | 2004-03-23 | Microsoft Corporation | Tracking semantic objects in vector image sequences |
| US6563953B2 (en) | 1998-11-30 | 2003-05-13 | Microsoft Corporation | Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock |
| US6983018B1 (en) | 1998-11-30 | 2006-01-03 | Microsoft Corporation | Efficient motion vector coding for video compression |
| US6330281B1 (en) | 1999-08-06 | 2001-12-11 | Richfx Ltd. | Model-based view extrapolation for interactive virtual reality systems |
| US6577766B1 (en) * | 1999-11-10 | 2003-06-10 | Logitech, Inc. | Method and apparatus for motion detection in the discrete cosine transform domain |
| JP2001245269A (ja) * | 2000-02-25 | 2001-09-07 | Sony Corp | コミュニケーション・データ作成装置及び作成方法、コミュニケーション・データ再生装置及び再生方法、並びに、プログラム記憶媒体 |
| GB0013764D0 (en) * | 2000-06-07 | 2000-07-26 | Koninkl Philips Electronics Nv | Animated graphic image generation and coding |
| EP2262269B1 (en) | 2001-12-17 | 2018-01-24 | Microsoft Technology Licensing, LLC | Skip macroblock coding |
| CN101448162B (zh) | 2001-12-17 | 2013-01-02 | 微软公司 | 处理视频图像的方法 |
| US7003035B2 (en) * | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
| US20040001546A1 (en) | 2002-06-03 | 2004-01-01 | Alexandros Tourapis | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
| US7280700B2 (en) * | 2002-07-05 | 2007-10-09 | Microsoft Corporation | Optimization techniques for data compression |
| US7154952B2 (en) | 2002-07-19 | 2006-12-26 | Microsoft Corporation | Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures |
| US20050013498A1 (en) * | 2003-07-18 | 2005-01-20 | Microsoft Corporation | Coding of motion vector information |
| US7609763B2 (en) * | 2003-07-18 | 2009-10-27 | Microsoft Corporation | Advanced bi-directional predictive coding of video frames |
| US7830963B2 (en) * | 2003-07-18 | 2010-11-09 | Microsoft Corporation | Decoding jointly coded transform type and subblock pattern information |
| US7499495B2 (en) * | 2003-07-18 | 2009-03-03 | Microsoft Corporation | Extended range motion vectors |
| US10554985B2 (en) | 2003-07-18 | 2020-02-04 | Microsoft Technology Licensing, Llc | DC coefficient signaling at small quantization step sizes |
| US7599438B2 (en) * | 2003-09-07 | 2009-10-06 | Microsoft Corporation | Motion vector block pattern coding and decoding |
| US7577200B2 (en) | 2003-09-07 | 2009-08-18 | Microsoft Corporation | Extended range variable length coding/decoding of differential motion vector information |
| US7623574B2 (en) | 2003-09-07 | 2009-11-24 | Microsoft Corporation | Selecting between dominant and non-dominant motion vector predictor polarities |
| US7567617B2 (en) * | 2003-09-07 | 2009-07-28 | Microsoft Corporation | Predicting motion vectors for fields of forward-predicted interlaced video frames |
| US7317839B2 (en) * | 2003-09-07 | 2008-01-08 | Microsoft Corporation | Chroma motion vector derivation for interlaced forward-predicted fields |
| US7616692B2 (en) | 2003-09-07 | 2009-11-10 | Microsoft Corporation | Hybrid motion vector prediction for interlaced forward-predicted fields |
| US8064520B2 (en) | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
| US7606308B2 (en) * | 2003-09-07 | 2009-10-20 | Microsoft Corporation | Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields |
| US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
| US7620106B2 (en) | 2003-09-07 | 2009-11-17 | Microsoft Corporation | Joint coding and decoding of a reference field selection and differential motion vector information |
| US7492820B2 (en) * | 2004-02-06 | 2009-02-17 | Apple Inc. | Rate control for video coder employing adaptive linear regression bits modeling |
| US7986731B2 (en) * | 2004-02-06 | 2011-07-26 | Apple Inc. | H.264/AVC coder incorporating rate and quality controller |
| US9578345B2 (en) | 2005-03-31 | 2017-02-21 | Euclid Discoveries, Llc | Model-based video encoding and decoding |
| US9743078B2 (en) | 2004-07-30 | 2017-08-22 | Euclid Discoveries, Llc | Standards-compliant model-based video encoding and decoding |
| US8902971B2 (en) | 2004-07-30 | 2014-12-02 | Euclid Discoveries, Llc | Video compression repository and model reuse |
| US9532069B2 (en) | 2004-07-30 | 2016-12-27 | Euclid Discoveries, Llc | Video compression repository and model reuse |
| DE602005025887D1 (de) * | 2004-08-19 | 2011-02-24 | Nippon Telegraph & Telephone | Mehrkanal-signaldekodierverfahren dafür, zugehörige vorrichtung, programm und aufzeichnungsmedium dafür |
| US9077960B2 (en) * | 2005-08-12 | 2015-07-07 | Microsoft Corporation | Non-zero coefficient block pattern coding |
| CA2675957C (en) | 2007-01-23 | 2016-02-16 | Euclid Discoveries, Llc | Object archival systems and methods |
| CN101939991A (zh) * | 2007-01-23 | 2011-01-05 | 欧几里得发现有限责任公司 | 用于处理图像数据的计算机方法和装置 |
| EP2106664A2 (en) | 2007-01-23 | 2009-10-07 | Euclid Discoveries, LLC | Systems and methods for providing personal video services |
| JP4687658B2 (ja) * | 2007-01-29 | 2011-05-25 | 株式会社デンソー | 画像の認識装置 |
| US8254455B2 (en) * | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
| JP2009284298A (ja) * | 2008-05-23 | 2009-12-03 | Hitachi Ltd | 動画像符号化装置、動画像復号化装置、動画像符号化方法及び動画像復号化方法 |
| TW201016016A (en) * | 2008-10-07 | 2010-04-16 | Euclid Discoveries Llc | Feature-based video compression |
| US8189666B2 (en) | 2009-02-02 | 2012-05-29 | Microsoft Corporation | Local picture identifier and computation of co-located information |
| JP5573316B2 (ja) * | 2009-05-13 | 2014-08-20 | セイコーエプソン株式会社 | 画像処理方法および画像処理装置 |
| US10097851B2 (en) | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
| US9621917B2 (en) | 2014-03-10 | 2017-04-11 | Euclid Discoveries, Llc | Continuous block tracking for temporal prediction in video encoding |
| US10091507B2 (en) | 2014-03-10 | 2018-10-02 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
| US10484697B2 (en) | 2014-09-09 | 2019-11-19 | Qualcomm Incorporated | Simultaneous localization and mapping for video coding |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59194589A (ja) * | 1983-04-20 | 1984-11-05 | Nippon Telegr & Teleph Corp <Ntt> | 背景予測フレーム間符号化装置 |
| JPS62164392A (ja) * | 1986-01-14 | 1987-07-21 | Mitsubishi Electric Corp | フレ−ム間適応ベクトル量子化符号化装置 |
| FR2599577B1 (fr) * | 1986-05-29 | 1988-08-05 | Guichard Jacques | Procede de codage par transformation pour la transmission de signaux d'image. |
| DE3877105D1 (ja) * | 1987-09-30 | 1993-02-11 | Siemens Ag, 8000 Muenchen, De | |
| US4951140A (en) * | 1988-02-22 | 1990-08-21 | Kabushiki Kaisha Toshiba | Image encoding apparatus |
| US4999705A (en) * | 1990-05-03 | 1991-03-12 | At&T Bell Laboratories | Three dimensional motion compensated video coding |
-
1990
- 1990-03-02 JP JP2049506A patent/JPH082107B2/ja not_active Expired - Lifetime
-
1991
- 1991-03-01 US US07/664,181 patent/US5117287A/en not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| 電子情報通信学会論文誌，Ｊ７１Ｂ〔１２〕Ｐ．１５５４−１５６３ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH03253190A (ja) | 1991-11-12 |
| US5117287A (en) | 1992-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH082107B2 (ja) | 動画像のハイブリッド符号化方法及びその装置 | |
| JP2911055B2 (ja) | 動き推定方法及びその装置 | |
| JP3068304B2 (ja) | 動画像符号化方式および復号化方式 | |
| US7822231B2 (en) | Optical flow estimation method | |
| US7227896B2 (en) | Method and apparatus for global motion estimation | |
| JP2877768B2 (ja) | 動補償された映像のブロック化効果及びリンギングノイズ減少のためのループフィルタリング方法 | |
| US5832115A (en) | Ternary image templates for improved semantic compression | |
| EP0740473A2 (en) | Apparatus for encoding a video signal using feature point based motion estimation | |
| EP0734177A2 (en) | Method and apparatus for encoding/decoding a video signal | |
| CN113612994A (zh) | 具有仿射运动补偿的视频编解码的方法及装置 | |
| JPH10285602A5 (ja) | ||
| JPH08265781A (ja) | 動きベクトル特定方法及び装置 | |
| Kim et al. | Zoom motion estimation using block-based fast local area scaling | |
| JP3823767B2 (ja) | 動画像の前景背景領域分離方法、及びその方法を用いた条件付画素補填による動画像符号化方法 | |
| JPH10322705A (ja) | 動き検出及び動き補償予測回路 | |
| JP2955526B2 (ja) | 動画像符号化方法及び装置 | |
| Zhang et al. | Image sequence coding using multiple-level segmentation and affine motion estimation | |
| JPH07240944A (ja) | ステレオ画像符号化装置 | |
| JP3700230B2 (ja) | 動画像符号化における動き補償方法 | |
| JP2616552B2 (ja) | 動画像の符号化・復号化装置 | |
| JPH0691653B2 (ja) | 適応形符号化方式 | |
| JPH0879759A (ja) | 画像符号化装置及び画像復号装置 | |
| JP3937247B2 (ja) | 静止画像データ生成装置および静止画像データ生成方法 | |
| JPH099263A (ja) | 動画像の動き補償予測符号化方法および符号化器 | |
| JPH08228351A (ja) | 動画像の動き補償予測符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110110 Year of fee payment: 15 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110110 Year of fee payment: 15 |