JPH11341494A - 映像の形状およびテクスチャを符号化するための方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、ビデオ・テクスチャ情報の符号化
に関し、特にＭＰＥＧ−４規格に適合する情報の符号化
に関する。 【解決手段】 元の形状情報は、符号化された形状情報
または符号化され、復号された情報ではない。好適な実
施形態の場合には、テクスチャ情報は、インター・モー
ド中のビデオ対象物の境界の近くでのゼロはり付け、ま
たは上記ビデオ対象物の境界が上記元の形状情報により
定義される場合の、イントラ・モード中の上記ビデオ対
象物の境界の近くでの低域通過外挿フィルタリング画素
により調整される。損失を含む形状符号化は、それ故、
全体の符号化したビットレートを減少しながら、また復
号したビデオ対象物の本質的外見を改善しながら、また
エンコーダおよび／または符号化方法の複雑な計算を簡
単なものにしながら、実行することができる。全体のビ
ットレートに全然影響を与えないで、また上記符号化プ
ロセスの複雑な計算を有意により簡単なものにしなが
ら、マクロブロックの適応走査およびサブサンプリング
を回避することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオ・テクスチ
ャ情報の符号化に関し、特にＭＰＥＧ−４規格に適合す
る情報の符号化に関する。

【０００２】

【従来の技術、及び、発明が解決しようとする課題】Ｍ
ＰＥＧ−４ビジュアル、すなわち、自然および合成ビデ
オ信号の符号化に関する、将来制定されるＭＰＥＧ−４
規格の該当部分を使用すれば、運動、テクスチャおよび
形状の情報を使用することにより、ビデオ対象物を符号
化することができる。例えば、ある画像の異なる本体ま
たは部分のようなビデオ対象物を識別し、輪郭、すなわ
ち、ビデオ対象物の形状を識別することができる。ＭＰ
ＥＧ−４ビジュアルの一つの機能によれば、ビットマッ
プの形のビデオ対象物の形状情報が符号化され、テクス
チャ情報をはり付け、テクスチャ情報を符号化するため
にこの符号化された形状情報が使用される。

【０００３】

【課題を解決するための手段】テクスチャ情報をはり付
け、符号化するために、符号化された形状情報を使用す
ると、損失のある符号化形状情報が送信される場合、全
体のビットレートが増大する等の問題が起きる場合があ
る。本発明者は、符号化を行う前に、テクスチャ情報を
はり付けるために、元の形状情報、すなわち、符号化し
ていない形状情報を使用すると、特に、損失を含む符号
化形状情報の場合に、形状の歪をより目立たなくし、全
体のデータ速度が遅くなることを発見した。

【０００４】本発明は、テクスチャ情報の符号化を行う
前に、テクスチャ情報を調整するために、あるビット対
象物の元の形状情報を使用する場合に、ビデオ情報を符
号化するための方法および装置を提供する。ＭＰＥＧ−
４規格に適合する好適な実施形態の場合には、形状情報
の生成は、最初にビデオ・フレームまたはフレームの一
部のあるビデオ対象物を識別し、次に現在の時点、すな
わち、現在のビデオ対象物の面（ＶＯＰ）のビデオ対象
物の輪郭を示すビットマップを作ることにより行われ
る。この符号化してない形状情報は、その後、例えば、
現在のＶＯＰに対して、テクスチャ予測誤差を決定する
前の現在のＶＯＰに対するテクスチャ情報のような、テ
クスチャ予測誤差または他のテクスチャ・パラメータの
どの領域をはり付けるべきかを決定するために使用され
る。まだはり付けていないテクスチャ予測誤差は、詰め
込まれた基準ＶＯＰテクスチャ情報、現在のＶＯＰに対
する予想テクスチャ運動情報、および現在のＶＯＰに対
するはり付けられていないテクスチャ情報に基づいて決
定される。はり付けられた基準ＶＯＰテクスチャ情報、
および現在のＶＯＰに対する予測テクスチャ運動情報
は、基準ＶＯＰに対する予測テクスチャ情報を生成する
ために使用される。基準ＶＯＰに対する予測テクスチャ
情報と、現在のＶＯＰに対するテクスチャ情報との間の
差が、テクスチャ予測誤差である。

【０００５】本発明は、また、損失を含んで符号化され
た形状の、より予測し易い品質を提供するために、対象
物の境界を滑らかにするための技術を提供する。本発明
の一つの特徴は、送信したデータに対して全体のビット
レートを低くしたり、または維持したりするために、符
号化を行う前に、あるビデオ対象物の境界を滑らかにす
る目的で、形態学的フィルタリングのようなフィルタリ
ングを使用することである。フィルタリングは、符号化
していないか、または基準としての元の形状を使用し
て、運動補償形状予測誤差に対して行うことができる。
それ故、復号したビデオ対象物の本質的外観を維持し、
符号化した画像データの全体のビットレートを最小化す
る際の、ある対象物の位相の変化を避けることができ
る。形態学的フィルタリングは、全ＶＯＰまたはある対
象物の各境界ブロック上で行うことができる。

【０００６】本発明は、また、全体のビットレート、お
よび／または画像品質に少しも影響を与えないで、ビデ
オ情報の符号化の複雑な計算を有意に簡単にする技術を
提供する。損失のある形状符号化は、本質的画像品質ま
たは全体のビットレートに全然影響を与えず、サブサン
プリングを行わないで実行することができる。同様に、
エンコーダは、適応走査、すなわち、水平および垂直走
査の間で切り替えを行わないで、形状符号化中にマクロ
ブロックの水平走査だけを行うことができるような方法
で動作することができる。水平走査だけを使用すると、
通常、形状ビットレートが約１−８％増大するが、エン
コーダの複雑な計算が有意に簡単になり、全体のビット
レートには全然影響はない。

【０００７】以下の説明を読めば、本発明の上記および
他の特徴を理解することができるだろう。図面につい
て、以下に詳細に説明する。図面中、類似の要素には、
類似の参照番号がつけてある。

【０００８】

【発明の実施の形態】本発明を、ＭＰＥＧ−４規格によ
るビデオ・データ符号化に関連して説明する。しかし、
本発明は、他の圧縮技術と一緒に使用することもでき
る。さらに、本発明を理解してもらうために、以下にＭ
ＰＥＧ−４符号化について簡単に説明するが、ＭＰＥＧ
−４符号化のすべての特徴についての詳細な説明は行わ
ない。何故なら、当業者であれば、標準ＭＰＥＧ−４符
号化の詳細についてよく知っているからである。

【０００９】ＭＰＥＧ−４ビジュアルを使用すれば、ビ
デオ・シーケンスの形で、任意の形状のビデオ対象物
（ＶＯ）を送信することができる。すでに説明したよう
に、あるＶＯのある時点は、長方形のビデオ・フレーム
またはビデオ・フレームの一部であってもよい、ビデオ
対象物平面（ＶＯＰ）である。

【００１０】図１は、ＭＰＥＧ−４規格に適合する、ビ
デオ・データを符号化するための符号化装置１０の簡単
な略図である。あるＶＯのデータを符号化するために、
上記ＶＯの現在のＶＯＰ Ｓを表すデータが、画像分析
モジュール１により受信され、処理される。例えば、図
２に示す画像のＶＯである木のデータを画像分析モジュ
ール１に送ることができる。画像分析モジュール１は、
図３に示すように、ＶＯ、すなわち、木の現在のＶＯＰ
の境界ボックス１１を生成する。境界ボックス１１は、
上記ＶＯを完全に含む最小のサイズの長方形のボックス
である。境界ボックス１１の各側面は、１６画素の（す
なわち、マクロブロック・サイズの）倍数に等しい長さ
を持つ。図３のボックスは、マクロブロックであって、
画素ではない。上記境界ボックス内の三つの異なるタイ
プのマクロブロック、すなわち、あるＶＯの外側に位置
する透明なマクロブロック、あるＶＯの内側に位置する
不透明なマクロブロック、および上記ＶＯの境界上に位
置し、上記対象物の内側および外側の両方の部分を含む
境界マクロブロックを識別することができる。画像分析
モジュール１は、パラメータ符号化モジュール２に、形
状、テクスチャ、形状運動およびテクスチャ運動パラメ
ータを送信し、パラメータ符号化モジュール２は、各Ｖ
Ｏに対する単一のビットストリームに、符号化したテク
スチャ、運動および形状情報を生成する。形状運動情報
およびテクスチャ運動情報は、パラメータ符号化モジュ
ール２により処理および符号化された後、復号モジュー
ル３により復号され、ＶＯＰメモリ４に記憶され、画像
分析モジュール１およびパラメータ符号化モジュール２
にフィードバックされた前の基準ＶＯＰ Ｓ’に対して
作成される。

【００１１】画像分析モジュール１およびＶＯＰメモリ
４からの、上記形状、テクスチャおよび運動情報に基づ
いて、パラメータ符号化モジュール２は、予想として、
上記ＶＯに対して、上記形状、テクスチャ、形状運動お
よびテクスチャ運動パラメータを符号化する。図４に示
すように、テクスチャ運動および形状運動パラメータ
は、それぞれ、符号化モジュール２１および２２により
符号化される。上記形状パラメータは、符号化されてい
ない形状運動情報および基準ＶＯＰ Ｓ’に関する情報
に基づいて、符号化モジュール２３により符号化され
る。形状運動パラメータは、テクスチャ運動情報および
符号化モジュール２３からの符号化された形状情報に基
づいて、符号化モジュール２２により符号化される。

【００１２】インター・モードでのテクスチャ情報の符
号化は、最初、はり付けモジュール２４に上記基準ＶＯ
Ｐ Ｓ’をはり付けることにより行われる。現在のＶＯ
ＰＳのテクスチャの運動補償予測の場合には、上記基準
ＶＯＰ Ｓ’は、重畳したブロック運動補償により補償
された運動である。その後、上記基準ＶＯＰの上記境界
および透明ボックスがはり付けられる。境界ブロック
は、反復はり付けによりはり付けられる。この場合、境
界画素は、最初、水平方向に反復され、その後垂直方向
に反復される。ある数値をある画素に対して両方のはり
付け方向に割り当てることができる場合には、ある平均
値が上記画素に対して割り当てられる。透明なマクロブ
ロックに境界を接する境界ブロックに、その隣接する埋
め込みが行われたブロックの画素から決定された平均値
が割り当てられるステップでは、もっと簡単な平均はり
付けが行われる。例えば、図５は、反復してはり付けら
れ、一定の数値プロセスを使ってはり付けられた基準Ｖ
ＯＰ Ｓ’を示す。図５のブロックはマクロブロックで
あり、個々の画素ではない。図５は、また上記基準ＶＯ
Ｐ Ｓ’に関連する現在のＶＯＰ Ｓも示す。

【００１３】上記基準ＶＯＰ Ｓ’は、はり付けられた
場合には、上記現在のＶＯＰ Ｓおよび上記はり付けら
れ基準ＶＯＰ Ｓ’に対する、テクスチャ運動情報に基
づいて、予測モジュール２５で、上記現在のＶＯＰ Ｓ
に対するテクスチャ情報の予測が行われる。上記現在の
ＶＯＰ Ｓに対する上記テクスチャ情報と、上記予測テ
クスチャ情報との間の差が、第二のはり付けモジュール
２６に供給される上記テクスチャ予測誤差である。上記
予測誤差および上記現在のＶＯＰ Ｓに対する元の形状
情報に基づいて、第二のはり付けモジュール２６は、上
記予測誤差をはり付ける。本明細書においては、上記用
語、元の形状情報は、符号化していない形状情報を意味
し、符号化した形状情報からの形状情報のことではな
い。

【００１４】上記テクスチャ予測誤差は、上記元の形状
パラメータを使用してはり付けられ、その結果、インタ
ー・モードの場合には、上記予測誤差のはり付けは、好
適には、「ゼロはり付け」技術を使用して行うことが好
ましい。インター・モードの上記予測誤差の平均値はゼ
ロであるので、ゼロはり付け、すなわち、ゼロの数値を
持つ（元の形状情報により定義した）対象物の外側のは
り付け画素は、非常に好適なものである。イントラ・モ
ードの場合には、好適には、低域通過外挿フィルタを使
用することが好ましい。好適な低域通過外挿フィルタの
場合には、各境界ブロックの上記ＶＯに対する平均信号
値が、上記元の形状情報により定義された対象物の外側
の画素に割り当てられる。その後、上記対象物の外側の
各画素に対して、各画素の隣接する画素の平均が割り当
てられる。このプロセスは、各マクロブロックの一番上
の左隅からスタートし、走査順序により反復して行われ
る。その結果、対象物の境界において、上記テクスチャ
信号の滑らかな外挿が行われる。図６は、あるＶＯに対
する単一の境界マクロブロックの一例を示す。上記対象
物の境界の外側の画素は、インター・モード中、ゼロで
はり付けられる。イントラ・モード中、上記対象物の外
側の画素には、上記境界ブロックの画素に対する平均信
号値が割り当てられる。その後、上記対象物の外側の画
素に対して、各画素に隣接する４つの画素の平均値が割
り当てられる。

【００１５】上記予測誤差または他のテクスチャ情報が
はり付けられると、上記予測誤差または他のテクスチャ
情報が、一部符号化モジュール２３からの符号化された
形状情報に基づいて、符号化モジュール２７により符号
化される。符号化されたパラメータは、マルチプレクサ
２８により出力される。

【００１６】現在のＶＯＰに対するテクスチャ・パラメ
ータの追加はり付けも、元の形状情報に基づいて、任意
のはり付けモジュール２９により行うことができる。こ
のはり付けは、第二のはり付けモジュール２６で行われ
るはり付けと一緒に、または上記第二のはり付けモジュ
ール２６でのはり付けの代わりに行うことができる。

【００１７】上記形状情報の符号化は、符号化モジュー
ル２３の前後関係に基づいて、算術コーダ（図示せず）
により行われる。すでに説明したように、三つの異なる
タイプのマクロブロック、すなわち、あるＶＯの外側に
位置する透明なマクロブロック、あるＶＯの内側に位置
する不透明なマクロブロック、およびあるＶＯの境界上
に位置し、上記対象物の内側および外側の両方に一部を
含む境界マクロブロックを識別することができる。二つ
のタイプのＶＯ、すなわち、不透明な対象物および透明
な対象物が可能である。不透明な対象物の場合には、上
記境界ブロックの形状情報は、ビットマップとして符号
化される。透明な対象物の場合には、好適には、２進形
状情報および透明度の値を使用することが好ましい。上
記透明性は、輪郭を指定するグレイ・スケール・アルフ
ァ・マップおよび、ある対象物の変化する透明度により
表すこともできる。しかし、上記境界ブロックの透明な
対象物の輪郭は、上記２進形状コーダを使ってビットマ
ップとして符号化することもできる。

【００１８】イントラ・モード中の境界マクロブロック
の場合には、図７の１０の画素のテンプレートが、上記
現在の画素の形状値を予測するための一時的な前後関係
を明らかにするために使用される。上記テンプレート
は、符号化される画素の左方向、右方向および頂部方向
に最高２画素だけ延びる。それ故、あるマクロブロック
の一番上の二つの横列の左端の画素を符号化するために
は、上記テンプレートの一部が、現在のマクロブロック
の上および左に位置する、すでに送信したマクロブロッ
クの形状情報により定義される。二つの左端の縦列の場
合には、上記前後関係の明らかにされていない画素が、
上記現在のマクロブロックの最も近い隣接する数値にセ
ットされる。

【００１９】符号化効率を向上し、損失を含む形状符号
化を可能にするために、任意のマクロブロックを係数２
または４によりサブサンプリングすることができ、その
結果、それぞれ、８×８または４×４の画素ができる。
上記サブブロックは符号化され、上記サブサンプリング
係数が上記デコーダに送信され、その結果、上記デコー
ダは、上記形状情報を復号し、上記復号されたサブブロ
ックをマクロブロック・サイズにアップサンプルするこ
とができる。アップサンプリング・フィルタにより、上
記復号形状をややブロックに似た状態で表示することが
できる。本質的画質の点から見て、好適には、アップサ
ンプリング・フィルタとしては、適応非直線的アップサ
ンプリング・フィルタを使用することが好ましい。しか
し、好適には、サブサンプリングをエンコーダ用に使用
しないことが好ましい。何故なら、サブサンプリングの
全体のビットレートに対する影響は予想できないし、上
記エンコーダおよびデコーダの複雑な計算上をさらに有
意に複雑にするからである。

【００２０】さらに、上記エンコーダは、符号化を行う
前にマクロブロックの位置を変えることができるが、水
平および垂直走査のこのタイプの切り替えを行うと、上
記エンコーダの複雑な計算がさらに複雑になり、一方、
平均約１％だけビットレートが低くなる。それ故、好適
には、上記エンコーダは、水平マクロブロック走査が何
時でも行われ、それにより上記エンコーダの計算上の複
雑さが軽減され、すなわち、全ビットレートの増大に全
然影響がないように動作することが好ましい。

【００２１】図８は、境界ブロックの画素に対する前後
関係を明らかにするために、インター・モード中に上記
エンコーダが使用するテンプレートである。テンプレー
ト形状情報の一時的な冗長度を活用するために、運動補
償が行われ、その結果、次元整数画素運動ベクトルが、
上記基準ＶＯＰ Ｓ’の上記符号化した形状と、現在の
ＶＯＰ Ｓの形状との間の予測誤差を最小にするため
に、各マクロブロックを完全にサーチすることにより推
定される。上記形状運動ベクトルは、隣接するマクロブ
ロックの形状運動ベクトルに関する予測として符号化さ
れる。形状運動ベクトルが使用できない場合には、テク
スチャ運動ベクトルが、予測データとして使用される。
現在のブロックの上記形状運動ベクトルは、上記形状情
報を符号化する目的で、図８のテンプレートを整合する
ために使用される。上記前後関係の４つの画素は、符号
化される画素に隣接していて、上記コンテキストの５つ
の画素は、上記基準ＶＯＰ Ｓ’上の運動補償位置に位
置している。

【００２２】上記のサブサンプリングおよ位置移動オプ
ションは、インター・モードにおいても使用することが
できる。しかし、すでに説明したように、サブサンプリ
ングオプション位置移動は、好適には、使用しないこと
が好ましい。損失を含む形状符号化の場合には、上記エ
ンコーダは、また運動補償を行うことだけで達成した形
状表示が十分であることを明らかにし、それにより上記
予測誤差が符号化されるのを防止することができる。

【００２３】ＭＰＥＧ−４は、あるマクロブロックにお
いて、不正確に符号化された画素の最大数を指定するア
ルファしきい値を使用して、損失を含む形状符号化を制
御する。それ故、特に上記対象物境界のところの孤立画
素が、上記対象物の一部として符号化される場合、形状
の位相を変更することができる。形状の符号化を行う前
に、対象物の境界を平滑にするために、形態学的フィル
タまたは他の類似のフィルタを使用することにより、損
失を含む符号化された形状の、よりいっそう予測可能な
品質を提供することができる。上記フィルタリングは、
符号化モジュール２３の上記画像分析モジュール１によ
り、または上記形状情報が符号化される前の他のモジュ
ールで行うことができる。上記符号化モジュール２３で
実行される場合には、上記濾過は、上記対象物の上記の
元の形状を基準として使用して、運動補償形状予測誤差
に関して実行することができる。それ故、上記復号ビデ
オ対象物の本質的外観を維持し、復号画像データの全体
のビットレートを最小化する一方で、対象物の位相の変
動を防止することができる。形態学的フィルタリング
は、全ＶＯＰまたはある対象物の各境界ブロックに関し
て行うことができる。

【００２４】形態学的フィルタリングが画像分析モジュ
ール１で行われる場合には、侵食フィルタの後に膨張フ
ィルタを配置するか、または中間フィルタまたは形態の
開放および閉鎖により、上記対象物の形状を滑らかにす
ることができる。（上記形態に対する動作である、侵
食、膨張、開放および閉鎖は当業者には周知であるの
で、ここでは詳細な説明は省略する。）このフィルタリ
ングの結果は、本発明で定義した符号化されていない形
状ではなく、上記形状コーダへの単なる入力である。

【００２５】形態学的フィルタリングが、形状符号化モ
ジュール２３で行われる場合には、フィルタリングは、
隣接ブロックを考慮に入れる場合もあるが、マクロブロ
ックベースで行われる。上記フィルタリングの目的は、
高い本質的品質を維持しながら、損失のある形状符号化
ができるようにすることである。好適な実施形態の場合
には、上記フィルタは、上記元の形状を運動補償予測形
状と比較する。上記比較の最初のステップにおいては、
孔部を追加する領域に印がつけられ、または図９の９０
１および９０２のような、上記対象物への領域が切り離
される。次に、上記の元の形状から、指定の数の画素よ
り長い距離だけ離れている画素に印がつけられる。一例
として、１画素のしきい値の場合、部分９０３により識
別される画素に印がつけれられる。損失を含む形状符号
化の場合には、コーダ２３は、好適には、上記印のつい
た画素だけを修正することが好ましい。この例の場合、
符号化および解読が行われた後で、上記対象物は、結果
として図９に示す形状を持つ。

【００２６】符号化装置１０は、汎用データ処理システ
ムである。上記処理システムは、汎用コンピュータ、ま
たは汎用コンピュータのネットワーク、および通信装
置、モデム、および／または必要な入力／出力、または
他の機能を実行するために必要な他の回路または構成部
分を含む他の関連装置であってもよい。符号化装置１０
は、少なくとも部分的に、単一の特殊用途向け集積回路
（例えば、ＡＳＩＣ）、または、それぞれが、全体のシ
ステム・レベルの制御のための主または中央プロセサ
部、および上記中央プロセサ部の制御の下で、種々の異
なる特定の計算、機能および他の処理を実行するため
の、専用独立部を含むＡＳＩＣのアレイとして実行する
ことができる。符号化装置１０は、例えば、複数の個々
の専用プログラム可能な集積回路、または個々の素子回
路またはプログラム可能な論理装置のような、ハード配
線された電子または論理回路のような、他の電子回路ま
たは装置を使用して実行することもできる。

【００２７】上記ＶＯＰ・メモリ４としては、光学的デ
ィスク、磁気媒体、半導体または他のメモリ装置のよう
な、一つまたはそれ以上の揮発性および／または非揮発
性メモリ装置を使用することができる。

【００２８】画像分析モジュール１、パラメータ符号化
モジュール２、復号モジュール３、他の符号化モジュー
ル２１、２２、２３および２７、はり付けモジュール２
４および２６および／または予測モジュール２５は、符
号化装置１０または他の任意のデータ処理装置により実
行されるソフトウェア・モジュールとして実行すること
ができる。別の方法としては、上記モジュールは、個々
の素子回路またはプログラム可能な論理装置のような、
ハード配線された電子または論理回路のような、ハード
配線された電子回路または他のプログラムされた集積回
路、または他の電子回路または装置として実行すること
ができる。

【００２９】図１０は、ビデオ映像のあるビデオ対象物
の、テクスチャ情報を符号化する方法のステップのフロ
ーチャートである。ステップ１００においては、あるビ
デオ・フレームのあるビデオ対象物または他の画像デー
タが識別される。ステップ２００においては、上記ビデ
オ対象物の、元のステップを定義する形状情報が生成さ
れる。すなわち、上記形状情報は、上記ビデオ対象物の
形状または輪郭を生の入力データに表示されるように定
義する。上記元の情報は、上記ビデオ対象物の形状また
は輪郭を符号化し、その後で復号することにより得られ
た形状情報ではない。例えば、上記ビデオ対象物の輪郭
を画定するビットマップまたは他のデータを生成される
ことができる。ステップ３００においては、上記形状情
報が、上記ビデオ対象物のテクスチャ情報を調整するた
めに使用される。例えば、上記形状情報を、上記ビデオ
対象物の外側の画素のテクスチャ値を識別し、はり付け
るために使用することができる。上記はり付けは、上記
の「ゼロはり付け」、または上記ビデオ対象物の近く、
または上記映像の他の部分の上記映像の一部の画素値の
平均のような他の技術を含むことができる。ステップ４
００においては、上記の調整されたテクスチャ情報が、
例えば、ＤＣＴまたは任意の他の変形または符号化技術
により、符号化される。

【００３０】上記方法は、また、例えば、ステップ２０
０と３００との間に、上記ビデオ対象物の元の形状を近
似する形状情報を生成するステップを含むことができ
る。例えば、このステップは、損失のある符号化形状情
報の生成を含むことができる。特定の実施形態を参照し
ながら本発明を説明してきたが、当業者であれば、多く
の別の装置、修正および変更を考えつくことができるこ
とは明らかであろう。従って、本明細書に記載した本発
明の好適な実施形態は、例示としてのものであって、本
発明を制限するものではない。本発明の精神および範囲
から逸脱することなしに種々の変更を行うことができ
る。

【図面の簡単な説明】

【図１】符号化装置の略ブロック図である。

【図２】ビデオ画像の例である。

【図３】図３の画像および対応する境界ボックスからの
ビデオ対象物である。

【図４】図１の符号化装置のパラメータ符号化モジュー
ルの一部の略ブロック図である。

【図５】例示としての基準ＶＯＰおよび現在のＶＯＰで
ある。

【図６】図５の境界マクロブロックである。

【図７】画素に対するの形状の前後関係を決定するため
のテンプレートである。

【図８】画素に対するの形状の前後関係を決定するため
のテンプレートである。

【図９】例示としてのビデオ対象物および対応する元の
形状、予想形状および符号化／復号後の形状である。

【図１０】本発明のテクスチャ情報を符号化するための
方法のステップのフローチャートである。

Claims (24)

【特許請求の範囲】
1. 【請求項１】 ビデオ対象物のテクスチャ情報を符号化
   するための方法であって、 ビデオ対象物の少なくとも元の形状とテクスチャ情報を
   表す画像データのビデオ対象物を識別するステップと、 前記ビデオ対象物の元の形状を表す元の形状情報を生成
   するステップと、 前記元の形状情報を使用して、前記画像データのテクス
   チャ情報を調整するステップと、 前記の調整したテクスチャ情報を符号化するステップと
   を含む方法。
2. 【請求項２】 請求項１記載の方法において、元の形状
   情報を生成する前記ステップが、前記ビデオ対象物の形
   状を画定するビットマップの生成を含む方法。
3. 【請求項３】 請求項１記載の方法において、元の形状
   情報を生成する前記ステップが、前記ビデオ対象物の画
   素の透明な境界、および不透明なマクロブロックの識別
   を含む方法。
4. 【請求項４】 請求項１記載の方法において、テクスチ
   ャ情報を調整する前記ステップが、ゼロはり付け技術を
   使用して画素に対するテクスチャ予測誤差のはり付けを
   含む方法。
5. 【請求項５】 請求項１記載の方法において、テクスチ
   ャ情報を調整する前記ステップが、低域外挿フィルタを
   使用する画素のためのテクスチャ・パラメータのはり付
   けを含む方法。
6. 【請求項６】 請求項１記載の方法において、テクスチ
   ャ情報を調整する前記ステップが、水平方向の境界画素
   の反復と、垂直方向の境界画素の反復と、透明なマクロ
   ブロックの境界ブロックへの隣接画素の平均値の割当を
   含む方法。
7. 【請求項７】 請求項１記載の方法において、さらに、
   前記ビデオ対象物のための損失のある形状情報の符号化
   を含む方法。
8. 【請求項８】 請求項１記載の方法において、さらに、
   サブサンプリングを行わない、損失のある形状情報の損
   失を含む符号化を含む方法。
9. 【請求項９】 請求項１記載の方法において、さらに、
   マクロブロックの垂直方向の走査を行わない形状情報の
   符号化を含む方向。
10. 【請求項１０】 請求項１記載の方法において、さら
    に、フィルタを使用する前記ビデオ対象物の境界の平滑
    化を含む方法。
11. 【請求項１１】 請求項１０記載の方法において、フィ
    ルタを使用する前記ビデオ対象物の境界を平滑化する前
    記ステップが、全ＶＯＰに関する形態学的フィルタリン
    グの使用、及びＶＯＰの各境界に関する形態学的フィル
    タリングの使用のうちの１つを含む方法。
12. 【請求項１２】 請求項１０記載の方法において、フィ
    ルタを使用する前記ビデオ対象物の境界を平滑化する前
    記ステップが、前記ビデオ対象物の位相の変化を避ける
    ため、またビットレートを最小化し、また本質的画像品
    質を維持するために、前記元の形状情報を基準として使
    用して、運動補償形状予測誤差に関する形態学的フィル
    タリングの使用を含む方法。
13. 【請求項１３】 請求項１記載の方法により符号化され
    た画像データを含む、コンピュータが読むことができる
    記録媒体。
14. 【請求項１４】 符号化装置であって、 少なくとも一つのビデオ対象物を表す画像データから、
    形状、テクスチャおよび運動情報を生成する画像分析モ
    ジュールと、 前記画像分析モジュールからの元の形状情報に基づい
    て、前記画画像分析モジュールが生成したテクスチャ情
    報を調整し、前記の調整したテクスチャ情報並びに形状
    及び運動情報を符号化するパラメータ符号化モジュール
    と、 前記パラメータ符号化モジュールからの符号化したテク
    スチャ、形状および運動情報を復号する復号モジュール
    と、 前記復号モジュールからの復号データを記憶するメモリ
    とを備える装置。
15. 【請求項１５】 請求項１４記載の符号化装置におい
    て、前記画像分析モジュールが、前記ビデオ対象物の形
    状を画定するビットマップを含む元の形状情報を生成す
    る符号化装置。
16. 【請求項１６】 請求項１４記載の符号化装置におい
    て、前記パラメータ符号化モジュールが、ゼロはり付け
    技術を使用する画素のためのテクスチャ予測誤差のはり
    付け、および低域通過外挿フィルタの使用のいずれかに
    よりテクスチャ情報を調整する符号化装置。
17. 【請求項１７】 請求項１４記載の符号化装置におい
    て、前記パラメータ符号化モジュールが、水平方向に境
    界画素を反復することにより、また垂直方向に境界画素
    を反復することにより、また境界ブロックに接する透明
    なマイクロブロックに隣接画素の平均値を割り当てるこ
    とにより、テクスチャ情報を調整する符号化装置。
18. 【請求項１８】 請求項１４記載の符号化装置におい
    て、前記パラメータ符号化モジューが、損失のある形状
    符号化を行う符号化装置。
19. 【請求項１９】 請求項１４記載の符号化装置におい
    て、前記パラメータ符号化モジュールが、サブサンプリ
    ングを行わないで、損失のある形状符号化を行う符号化
    装置。
20. 【請求項２０】 請求項１４記載の符号化装置におい
    て、前記パラメータ符号化モジュールが、マクロブロッ
    クの垂直方向の走査を行わないで、形状符号化を行う符
    号化装置。
21. 【請求項２１】 請求項１４記載の符号化装置におい
    て、さらにフィルタを使用して、前記ビデオ対象物の境
    界を平滑にする平滑モジュールを備える符号化装置。
22. 【請求項２２】 請求項２１記載の符号化装置におい
    て、前記平滑モジュールが、全ＶＯＰに対する形態学的
    フィルタリングおよびＶＯＰの各境界ブロックに対する
    形態学的フィルタリングのいずれかを行う符号化装置。
23. 【請求項２３】 請求項２１記載の符号化装置におい
    て、前記平滑モジュールが、前記ビデオ対象物の位相の
    変化を避け、ビットレートを最小化し、また本質的画像
    品質を維持するために、前記元の形状情報を基準として
    使用して、運動補償形状予測誤差に対して形態学的フィ
    ルタリングを行う符号化装置。
24. 【請求項２４】 ビデオ対象物の少なくとも元の形状情
    報とテクスチャ情報を表す画像データに関する前記ビデ
    オ対象物の識別手段と、 前記ビデオ対象物の元の形状を表す元の形状情報の生成
    手段と、 前記元の形状情報を使用して、前記画像データに関して
    テクスチャ情報を調整するための調整手段と、 前記の調整したテクスチャ情報を符号化するための符号
    化手段とを備える符号化装置。