JPH1132337A - 画像伝送用データ構造,符号化方法及び復号化方法 - Google Patents
画像伝送用データ構造,符号化方法及び復号化方法Info
- Publication number
- JPH1132337A JPH1132337A JP13393698A JP13393698A JPH1132337A JP H1132337 A JPH1132337 A JP H1132337A JP 13393698 A JP13393698 A JP 13393698A JP 13393698 A JP13393698 A JP 13393698A JP H1132337 A JPH1132337 A JP H1132337A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- signal
- pixel value
- image
- transparency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 画像データの伝送途中でエラーが発生した場
合でも、受信側での画像表示における悪影響を極力抑え
る。 【解決手段】 表示画面上の、該当する物体を含む所定
領域内の各画素に対応する、その画素が上記該当する物
体の内部の画素であるか物体外部の画素であるかを示す
2値形状信号を符号化した2値形状ビット列を、上記2
値形状信号より得られる動きベクトル情報を符号化して
得られる第1のビット列D2mvと、上記2値形状信号を
該動きベクトル情報に基づいて符号化して得られる第2
のビット列D2otとを含み、該第1のビット列を第2の
ビット列より先に伝送されるよう配置した構造とした。
合でも、受信側での画像表示における悪影響を極力抑え
る。 【解決手段】 表示画面上の、該当する物体を含む所定
領域内の各画素に対応する、その画素が上記該当する物
体の内部の画素であるか物体外部の画素であるかを示す
2値形状信号を符号化した2値形状ビット列を、上記2
値形状信号より得られる動きベクトル情報を符号化して
得られる第1のビット列D2mvと、上記2値形状信号を
該動きベクトル情報に基づいて符号化して得られる第2
のビット列D2otとを含み、該第1のビット列を第2の
ビット列より先に伝送されるよう配置した構造とした。
Description
【0001】
【発明の属する技術分野】この発明は、画像伝送用デー
タ構造,符号化方法及び符号化装置,復号化方法及び復
号化装置,並びにデータ記憶媒体に関し、特に、近年規
格化されつつあるMPEG4(動画像圧縮方式の国際標
準)に基づいて符号化した画像表示用データのビットス
トリームに関するものである。
タ構造,符号化方法及び符号化装置,復号化方法及び復
号化装置,並びにデータ記憶媒体に関し、特に、近年規
格化されつつあるMPEG4(動画像圧縮方式の国際標
準)に基づいて符号化した画像表示用データのビットス
トリームに関するものである。
【0002】
【従来の技術】近年、音声,画像,その他のデータを統
合的に扱うマルチメディア時代を迎え、従来からの情報
メディア,つまり新聞,雑誌,テレビ,ラジオ,電話等
の情報を人に伝達する手段がマルチメディアの対象とし
て取り上げられるようになってきた。一般に、マルチメ
ディアとは、文字だけでなく、図形、音声、特に画像等
を同時に関連づけて表すことをいうが、上記従来の情報
メディアをマルチメディアの対象とするには、その情報
をディジタル形式にして表すことが必須条件となる。
合的に扱うマルチメディア時代を迎え、従来からの情報
メディア,つまり新聞,雑誌,テレビ,ラジオ,電話等
の情報を人に伝達する手段がマルチメディアの対象とし
て取り上げられるようになってきた。一般に、マルチメ
ディアとは、文字だけでなく、図形、音声、特に画像等
を同時に関連づけて表すことをいうが、上記従来の情報
メディアをマルチメディアの対象とするには、その情報
をディジタル形式にして表すことが必須条件となる。
【0003】ところが、上記各情報メディアの持つ情報
量をディジタル情報量として見積もってみると、文字の
場合1文字当たりの情報量は1〜2バイトであるのに対
し、音声の場合1秒当たり64kbits(電話品質)、さ
らに動画については1秒当たり100Mbits(現行テレ
ビ受信品質)以上の情報量が必要となり、上記情報メデ
ィアにはその情報をディジタル形式で扱うのに現実性の
あるものから、そうでないものまで含まれる。例えば、
テレビ電話は、64Kbps〜1.5Mbpsの伝送速度を持つ
サービス総合ディジタル網(ISDN:Integrated Serv
ices Digital Network)によってすでに実用化されてい
るが、テレビカメラの映像をそのままISDNで送るこ
とは不可能である。
量をディジタル情報量として見積もってみると、文字の
場合1文字当たりの情報量は1〜2バイトであるのに対
し、音声の場合1秒当たり64kbits(電話品質)、さ
らに動画については1秒当たり100Mbits(現行テレ
ビ受信品質)以上の情報量が必要となり、上記情報メデ
ィアにはその情報をディジタル形式で扱うのに現実性の
あるものから、そうでないものまで含まれる。例えば、
テレビ電話は、64Kbps〜1.5Mbpsの伝送速度を持つ
サービス総合ディジタル網(ISDN:Integrated Serv
ices Digital Network)によってすでに実用化されてい
るが、テレビカメラの映像をそのままISDNで送るこ
とは不可能である。
【0004】そこで、必要となってくるのが情報の圧縮
技術であり、例えば、テレビ電話の場合、ITU−T
(国際電気通信連合 電気通信標準化部門)で国際標準
化されたH.261規格の動画圧縮技術が用いられてい
る。また、MPEG1規格の情報圧縮技術によると、通
常の音楽用CD(コンパクト・ディスク)に音声情報と
ともに画像情報を入れることも可能となる。
技術であり、例えば、テレビ電話の場合、ITU−T
(国際電気通信連合 電気通信標準化部門)で国際標準
化されたH.261規格の動画圧縮技術が用いられてい
る。また、MPEG1規格の情報圧縮技術によると、通
常の音楽用CD(コンパクト・ディスク)に音声情報と
ともに画像情報を入れることも可能となる。
【0005】ここで、MPEG(Moving Picture Exper
ts Group) とは、動画像のデータ圧縮の国際規格であ
り、MPEG1は、動画データを1.5Mbpsまで、つま
りテレビ信号の情報を約100分の1にまで圧縮する規
格である。また、MPEG1規格を対象とする伝送速度
が主として約1.5Mbpsに制限されていることから、さ
らなる高画質化の要求をみたすべく規格化されたMPE
G2では、動画データが2〜15Mbpsに圧縮される。さ
らに現状では、MPEG1,MPEG2と標準化を進め
てきた作業グループ(ISO/IEC JTC1/SC29/WG11) によっ
て、超低ビット・レートでのAV符号化(Very-Low Bit
Rate Audio-Visual Coding )を可能とし、新しい機能
を実現するMPEG4が規格化されつつある。
ts Group) とは、動画像のデータ圧縮の国際規格であ
り、MPEG1は、動画データを1.5Mbpsまで、つま
りテレビ信号の情報を約100分の1にまで圧縮する規
格である。また、MPEG1規格を対象とする伝送速度
が主として約1.5Mbpsに制限されていることから、さ
らなる高画質化の要求をみたすべく規格化されたMPE
G2では、動画データが2〜15Mbpsに圧縮される。さ
らに現状では、MPEG1,MPEG2と標準化を進め
てきた作業グループ(ISO/IEC JTC1/SC29/WG11) によっ
て、超低ビット・レートでのAV符号化(Very-Low Bit
Rate Audio-Visual Coding )を可能とし、新しい機能
を実現するMPEG4が規格化されつつある。
【0006】以下、MPEG4規格で採用されている情
報圧縮法について説明する。まず、情報圧縮法として
は、第1に、自然画では隣接画素間の値が近い値である
(相関が高い)ことから、画面内(空間的)相関関係を
利用して情報圧縮を行う方法がある。この情報圧縮法で
は、離散コサイン変換(DCT:Discrete Cosine Trans
form) が直交変換として用いられ、この変換により得ら
れた値に対して量子化処理が行われる。
報圧縮法について説明する。まず、情報圧縮法として
は、第1に、自然画では隣接画素間の値が近い値である
(相関が高い)ことから、画面内(空間的)相関関係を
利用して情報圧縮を行う方法がある。この情報圧縮法で
は、離散コサイン変換(DCT:Discrete Cosine Trans
form) が直交変換として用いられ、この変換により得ら
れた値に対して量子化処理が行われる。
【0007】また、第2に、前画面の画像情報を記憶し
ておき、現画面の画像情報をこれと前画面の画像情報と
の差分値で表すことによって、画面間(時間的)相関関
係を利用して情報圧縮を行う方法があり、この方法で
は、現画面の表示画像が前画面のものに対して変化がな
い場合、変化なしという符号を送るだけで再生でき、ま
た現画面の表示画像が前画面の表示画像の一部が移動し
たものとなっている場合には、その移動部分の画像の移
動量を動きベクトルとして送るだけで再生できる。
ておき、現画面の画像情報をこれと前画面の画像情報と
の差分値で表すことによって、画面間(時間的)相関関
係を利用して情報圧縮を行う方法があり、この方法で
は、現画面の表示画像が前画面のものに対して変化がな
い場合、変化なしという符号を送るだけで再生でき、ま
た現画面の表示画像が前画面の表示画像の一部が移動し
たものとなっている場合には、その移動部分の画像の移
動量を動きベクトルとして送るだけで再生できる。
【0008】さらに、第3の方法として、上記第1,第
2の情報圧縮法にて符号化を行う際、符号の出現確率の
偏りを利用して情報圧縮を行う方法がある。この方法は
エントロピー符号化あるいは可変長符号化と呼ばれ、D
CT変換後の係数(DCT係数)や動きベクトル値等で
は、その出現確率に偏りがあることから、これらの値の
出現率の高い値には短い符号長を割り当て、出現率の低
い値には長い符号長を割り当てることにより、平均情報
量を減らすものである。
2の情報圧縮法にて符号化を行う際、符号の出現確率の
偏りを利用して情報圧縮を行う方法がある。この方法は
エントロピー符号化あるいは可変長符号化と呼ばれ、D
CT変換後の係数(DCT係数)や動きベクトル値等で
は、その出現確率に偏りがあることから、これらの値の
出現率の高い値には短い符号長を割り当て、出現率の低
い値には長い符号長を割り当てることにより、平均情報
量を減らすものである。
【0009】そして、実際の画像信号の圧縮に際して
は、空間的相関性に基づく画面内符号化と、時間的相関
性に基づく画面間符号化とを使い分けたり、併用したり
することが行われる。このうち画面間符号化を行う場合
には、近接する画面における動き(動きベクトル)を検
出し、その動き分を動き補償することが行われる。
は、空間的相関性に基づく画面内符号化と、時間的相関
性に基づく画面間符号化とを使い分けたり、併用したり
することが行われる。このうち画面間符号化を行う場合
には、近接する画面における動き(動きベクトル)を検
出し、その動き分を動き補償することが行われる。
【0010】また、上記情報圧縮法とは全く異なる観点
から、画像信号を、表示画面上の各物体(オブジェク
ト)毎に分離し、分離した各オブジェクトの形状を任意
形状として扱う方法が考えられており、この方法は、オ
ブジェクト単位で画像を操作したり合成したりすること
ができ、画像情報の効率的な伝送につながるものであ
る。例えば、この方法を、ビット数の制約を受ける用途
に用いた場合、オブジェクト単位で画像を処理すること
によって、重要な物体を選択的に優先して伝送したり記
録したりすることも可能となる。
から、画像信号を、表示画面上の各物体(オブジェク
ト)毎に分離し、分離した各オブジェクトの形状を任意
形状として扱う方法が考えられており、この方法は、オ
ブジェクト単位で画像を操作したり合成したりすること
ができ、画像情報の効率的な伝送につながるものであ
る。例えば、この方法を、ビット数の制約を受ける用途
に用いた場合、オブジェクト単位で画像を処理すること
によって、重要な物体を選択的に優先して伝送したり記
録したりすることも可能となる。
【0011】そこで、MPEG4では、現在、VM7.
0(ISO/IEC JTC1/SC29/WG11 MPEG97/N1642 に記載)と
呼ばれる評価モデルが作成されており、この最新の評価
モデルは、任意形状,つまりオブジェクトに対応する画
像信号を符号化することができる、現状で知られる唯一
の画像符号化手法となっている。つまり、MPEG4で
は、画像表示用データに対する処理として、上記第1〜
第3の情報圧縮法による処理とともに、オブジェクト単
位で画像信号を扱う処理を行うようにしている。
0(ISO/IEC JTC1/SC29/WG11 MPEG97/N1642 に記載)と
呼ばれる評価モデルが作成されており、この最新の評価
モデルは、任意形状,つまりオブジェクトに対応する画
像信号を符号化することができる、現状で知られる唯一
の画像符号化手法となっている。つまり、MPEG4で
は、画像表示用データに対する処理として、上記第1〜
第3の情報圧縮法による処理とともに、オブジェクト単
位で画像信号を扱う処理を行うようにしている。
【0012】具体的に説明すると、MPEG4では、コ
ンピュータからの画像表示用信号は、カラー表示を行う
ための通常のY信号(輝度信号),U信号(B−Yの色
差信号),及びV信号(R−Yの色差信号)に、2値形
状信号及び透過度信号を付加した構成としている。ここ
で、上記Y,U,V信号(以下、画素値信号という。)
は通常のカラー表示のための画像信号である。上記透過
度信号は、上記オブジェクトの透明度に対応するもの、
つまり1つの任意形状を有するオブジェクトが、その背
景となる画像をどの程度遮るかを示す係数であり、この
ような透過度信号を用いるのは、コンピュータグラフィ
ックでは、オブジェクト単位で画像信号の処理を行うた
め、オブジェクトを背景に重ねる際、上記カラー表示を
行うための画素値信号(通常の画像信号)の他に、重ね
合わせる比率(オブジェクトの画像の透明度)が必要に
なるからである。また、上記2値形状信号は、表示画面
上の任意形状(あるオブジェクト)を含む所定領域内の
各画素に対応する、その画素が上記任意形状の内部に位
置するものであるか、該任意形状の外部に位置するもの
であるかを示す2値データを含むものであり、この信号
を用いるのは、MPEG4では、オブジェクト内部の信
号は送る必要があるが、オブジェクト外部の信号は送る
必要がないからである。
ンピュータからの画像表示用信号は、カラー表示を行う
ための通常のY信号(輝度信号),U信号(B−Yの色
差信号),及びV信号(R−Yの色差信号)に、2値形
状信号及び透過度信号を付加した構成としている。ここ
で、上記Y,U,V信号(以下、画素値信号という。)
は通常のカラー表示のための画像信号である。上記透過
度信号は、上記オブジェクトの透明度に対応するもの、
つまり1つの任意形状を有するオブジェクトが、その背
景となる画像をどの程度遮るかを示す係数であり、この
ような透過度信号を用いるのは、コンピュータグラフィ
ックでは、オブジェクト単位で画像信号の処理を行うた
め、オブジェクトを背景に重ねる際、上記カラー表示を
行うための画素値信号(通常の画像信号)の他に、重ね
合わせる比率(オブジェクトの画像の透明度)が必要に
なるからである。また、上記2値形状信号は、表示画面
上の任意形状(あるオブジェクト)を含む所定領域内の
各画素に対応する、その画素が上記任意形状の内部に位
置するものであるか、該任意形状の外部に位置するもの
であるかを示す2値データを含むものであり、この信号
を用いるのは、MPEG4では、オブジェクト内部の信
号は送る必要があるが、オブジェクト外部の信号は送る
必要がないからである。
【0013】例えばコンピュータグラフィックによるオ
ブジェクトの形状が図7(e) に示す魚の形状である場
合、上記画素値信号からは図7(c) に示す画像情報を得
ることができる。また、上記透過度信号からは図7(b)
に示す画像情報を得ることができ、図7(b) の画像で
は、魚の形状の胴体部分が不透明に、その尻尾部分が半
透明となっている。さらに上記2値形状信号からは、図
7(a) に示す魚の形状の輪郭を示す画像情報が得られ
る。また、図7(d) は上記魚の形状と重ね合わせられる
背景画像であり、これらを重ね合わせると、図7(e) に
示すような合成画像が得られる。なお、上記透過度信号
の値として0パーセントと100パーセントの2通りし
か存在しない場合は、上記2値形状信号と透過度信号と
は一致するので、画像信号は2値形状信号と、各画素に
対応するY,U,V信号,つまり画素値信号とにより表
現されることとなる。
ブジェクトの形状が図7(e) に示す魚の形状である場
合、上記画素値信号からは図7(c) に示す画像情報を得
ることができる。また、上記透過度信号からは図7(b)
に示す画像情報を得ることができ、図7(b) の画像で
は、魚の形状の胴体部分が不透明に、その尻尾部分が半
透明となっている。さらに上記2値形状信号からは、図
7(a) に示す魚の形状の輪郭を示す画像情報が得られ
る。また、図7(d) は上記魚の形状と重ね合わせられる
背景画像であり、これらを重ね合わせると、図7(e) に
示すような合成画像が得られる。なお、上記透過度信号
の値として0パーセントと100パーセントの2通りし
か存在しない場合は、上記2値形状信号と透過度信号と
は一致するので、画像信号は2値形状信号と、各画素に
対応するY,U,V信号,つまり画素値信号とにより表
現されることとなる。
【0014】そして、このようなMPEG4規格による
画像処理では、MPEG2規格による画像処理に比べて
以下のような有利な点がある。コンピュータグラフィッ
クを普通の自然画像(ビデオカメラからの映像)と合成
する場合、コンピュータグラフィック用データでは、画
面上のオブジェクトの動きが明確に分かっているので、
オブジェクト単位での動き補償が行いやすいが、MPE
G2では、オブジェクト単位ではなく1画面単位で画像
信号の処理を行っているため、オブジェクト単位での動
き補償を行うことができず、オブジェクトの境界で、右
に動くものと、左に動くものとがあると、動き補償を正
確に行うことができない。これに対し、MPEG4で
は、オブジェクト単位で画像処理を行うので、動き補償
を正確かつ効率よく行うことができる。
画像処理では、MPEG2規格による画像処理に比べて
以下のような有利な点がある。コンピュータグラフィッ
クを普通の自然画像(ビデオカメラからの映像)と合成
する場合、コンピュータグラフィック用データでは、画
面上のオブジェクトの動きが明確に分かっているので、
オブジェクト単位での動き補償が行いやすいが、MPE
G2では、オブジェクト単位ではなく1画面単位で画像
信号の処理を行っているため、オブジェクト単位での動
き補償を行うことができず、オブジェクトの境界で、右
に動くものと、左に動くものとがあると、動き補償を正
確に行うことができない。これに対し、MPEG4で
は、オブジェクト単位で画像処理を行うので、動き補償
を正確かつ効率よく行うことができる。
【0015】次に、MPEG4に準拠した、画像データ
を符号化して伝送する方法について説明する。まず、第
1の方法は、表示画面上のあるオブジェクトに対応し
た、これを含む領域R(図8(a) 参照)を、図8(b) に
示すように、マトリクス状に配列された複数のブロック
(ここでは12個のブロック)に分割し、各ブロック毎
にその内部の画像に対するDCT処理及び動き補償を行
って、画像表示用データを伝送する方法である。この方
法では、復号化の際には各ブロックにおけるオブジェク
ト外部のデータは捨てる。上記ブロックはマクロブロッ
クMbと呼ばれ、縦16画素×横16画素のサイズとな
っており、DCT処理はマクロブロックをさらに分割し
た縦8画素×横8画素のサイズの領域を単位として行わ
れる。この方法はデコーダ(復号化装置)からみれば、
そのデコード処理がより簡単であるので、MPEG4の
規格では必須の項目に指定されている。
を符号化して伝送する方法について説明する。まず、第
1の方法は、表示画面上のあるオブジェクトに対応し
た、これを含む領域R(図8(a) 参照)を、図8(b) に
示すように、マトリクス状に配列された複数のブロック
(ここでは12個のブロック)に分割し、各ブロック毎
にその内部の画像に対するDCT処理及び動き補償を行
って、画像表示用データを伝送する方法である。この方
法では、復号化の際には各ブロックにおけるオブジェク
ト外部のデータは捨てる。上記ブロックはマクロブロッ
クMbと呼ばれ、縦16画素×横16画素のサイズとな
っており、DCT処理はマクロブロックをさらに分割し
た縦8画素×横8画素のサイズの領域を単位として行わ
れる。この方法はデコーダ(復号化装置)からみれば、
そのデコード処理がより簡単であるので、MPEG4の
規格では必須の項目に指定されている。
【0016】また、第2の方法は、第1の方法と同様、
表示画面上のあるオブジェクトに対応した、これを含む
領域Rを、マトリクス状に配列された12個のマクロブ
ロックMbに分割し、各マクロブロック内におけるオブ
ジェクトの画像部分に対して、この画像形状に応じたD
CT処理を施す。この第2の方法では、DCT処理とし
て、各ブロック毎に対する処理の度に演算により最適な
ものを算出し、算出されたDCT処理を、対応するマク
ロブロックに対して施すようにしており、このため符号
化効率がよく画質が向上する。但し、この第2の方法は
MPEG4ではオプション扱いとなっている。
表示画面上のあるオブジェクトに対応した、これを含む
領域Rを、マトリクス状に配列された12個のマクロブ
ロックMbに分割し、各マクロブロック内におけるオブ
ジェクトの画像部分に対して、この画像形状に応じたD
CT処理を施す。この第2の方法では、DCT処理とし
て、各ブロック毎に対する処理の度に演算により最適な
ものを算出し、算出されたDCT処理を、対応するマク
ロブロックに対して施すようにしており、このため符号
化効率がよく画質が向上する。但し、この第2の方法は
MPEG4ではオプション扱いとなっている。
【0017】いずれの方法も、画像圧縮(符号化)は動
き補償とDCT処理により行われており、1つのオブジ
ェクトに対応する画像表示用データの伝送は、該当する
ブロックに対応する符号化したデータを、図9に示すよ
うな単位ビットストリームBsu毎に繰り返し送りだすこ
とにより行われる。
き補償とDCT処理により行われており、1つのオブジ
ェクトに対応する画像表示用データの伝送は、該当する
ブロックに対応する符号化したデータを、図9に示すよ
うな単位ビットストリームBsu毎に繰り返し送りだすこ
とにより行われる。
【0018】なお、上記DCT処理は、画像信号を構成
する画素値信号及び透過度信号に対して行われ、上記画
像信号を構成する2値形状信号に対しては算術符号化処
理が行われる。図9に示すように、まず各ブロックのヘ
ッダデータに対応するヘッダビット列Dhを送る。この
ヘッダデータには、そのブロックに送るべきオブジェク
トの画像情報があるか否かの情報や各ブロックに対応す
る2値形状信号の符号化処理を画面内符号化と画面間符
号化のいずれのものとするかとっいた情報が含まれてい
る。
する画素値信号及び透過度信号に対して行われ、上記画
像信号を構成する2値形状信号に対しては算術符号化処
理が行われる。図9に示すように、まず各ブロックのヘ
ッダデータに対応するヘッダビット列Dhを送る。この
ヘッダデータには、そのブロックに送るべきオブジェク
トの画像情報があるか否かの情報や各ブロックに対応す
る2値形状信号の符号化処理を画面内符号化と画面間符
号化のいずれのものとするかとっいた情報が含まれてい
る。
【0019】上記ヘッダビット列Dhに続いて、各ブロ
ックの2値形状信号を符号化した2値形状ビット列D2
を送る。この2値形状信号には、そのブロック内の各画
素に対応する、それぞれの画素がオブジェクトの画像形
状の内部に位置するか外部に位置するかを示す2値デー
タが含まれている。
ックの2値形状信号を符号化した2値形状ビット列D2
を送る。この2値形状信号には、そのブロック内の各画
素に対応する、それぞれの画素がオブジェクトの画像形
状の内部に位置するか外部に位置するかを示す2値デー
タが含まれている。
【0020】上記2値形状ビット列D2に続いて、画素
値信号及び透過度信号についての動きベクトルに対応す
る動きベクトルビット列Dgtmvを送る。ここでは、この
動きベクトルはブロック単位で設定されており、最大4
つの動きベクトルを送ることができるようになってい
る。
値信号及び透過度信号についての動きベクトルに対応す
る動きベクトルビット列Dgtmvを送る。ここでは、この
動きベクトルはブロック単位で設定されており、最大4
つの動きベクトルを送ることができるようになってい
る。
【0021】さらに、動きベクトルビット列Dgtmvに続
いて、各ブロック内の各画素についての透過度信号を符
号化した透過度ビット列Dt、各ブロック内の各画素に
ついての画素値信号を符号化した画素値ビット列Dgを
順次送る。そして、伝送先ではこれらのビット列を復号
化して2値形状信号、透過度信号及び画素値信号を生成
し、これらの信号に基づいてオブジェクトの画像表示を
行う。
いて、各ブロック内の各画素についての透過度信号を符
号化した透過度ビット列Dt、各ブロック内の各画素に
ついての画素値信号を符号化した画素値ビット列Dgを
順次送る。そして、伝送先ではこれらのビット列を復号
化して2値形状信号、透過度信号及び画素値信号を生成
し、これらの信号に基づいてオブジェクトの画像表示を
行う。
【0022】
【発明が解決しようとする課題】ところで、図9に示す
単位ビットストリームは、1つのマクロブロック分に対
応する場合だけでなく、1〜4のマクロブロック分に対
応するデータである場合もある。つまり、各ビット列D
h,D2,Dgtmv,Dt,Dgが、1つのマクロブロッ
クに対応するデータを符号化したものである場合や、こ
れらのビット列が、例えば、図8(a) に示す領域Rにお
ける横1列分のマクロブロック(4つのマクロブロッ
ク)に対応するデータを符号化したものである場合があ
る。
単位ビットストリームは、1つのマクロブロック分に対
応する場合だけでなく、1〜4のマクロブロック分に対
応するデータである場合もある。つまり、各ビット列D
h,D2,Dgtmv,Dt,Dgが、1つのマクロブロッ
クに対応するデータを符号化したものである場合や、こ
れらのビット列が、例えば、図8(a) に示す領域Rにお
ける横1列分のマクロブロック(4つのマクロブロッ
ク)に対応するデータを符号化したものである場合があ
る。
【0023】ところがいずれの場合であっても、1つの
単位ビットストリームの伝送途中でエラーが発生する
と、この単位ビットストリームにおける、エラー発生位
置から後のデータは全く復号化できない。例えば、画素
値ビット列Dgや透過度ビット例Dtの伝送中にエラー
が発生した場合には、ヘッダビット列Dhから画素値信
号及び透過度信号の動きベクトルのビット列Dgtmvまで
は正常に伝送されているため、伝送先では、ヘッダビッ
ト列Dh,2値形状ビット列D2 及び動きベクトルのビ
ット列Dgtmvに基づいて、オブジェクトの形状について
は一応表示可能であるが、動きベクトルビット列Dgtmv
の伝送中や、2値形状ビット列D2 の伝送中にエラーが
発生した場合には、受信側ではオブジェクトについての
画像表示はほとんど行うことができず、エラーが発生し
た単位ビットストリームに対応するマクロブロック内の
画像が抜けてしまうという問題がある。
単位ビットストリームの伝送途中でエラーが発生する
と、この単位ビットストリームにおける、エラー発生位
置から後のデータは全く復号化できない。例えば、画素
値ビット列Dgや透過度ビット例Dtの伝送中にエラー
が発生した場合には、ヘッダビット列Dhから画素値信
号及び透過度信号の動きベクトルのビット列Dgtmvまで
は正常に伝送されているため、伝送先では、ヘッダビッ
ト列Dh,2値形状ビット列D2 及び動きベクトルのビ
ット列Dgtmvに基づいて、オブジェクトの形状について
は一応表示可能であるが、動きベクトルビット列Dgtmv
の伝送中や、2値形状ビット列D2 の伝送中にエラーが
発生した場合には、受信側ではオブジェクトについての
画像表示はほとんど行うことができず、エラーが発生し
た単位ビットストリームに対応するマクロブロック内の
画像が抜けてしまうという問題がある。
【0024】また、近年、伝送エラーの発生しやすい伝
送路に対応した画像伝送用データ構造が提案されてい
る。このデータ構造は、図10(a) に示すように、1つ
のオブジェクトに対応する領域(以下オブジェクト領域
ともいう。)R′に対応する画像表示用データをマクロ
ブロック毎に符号化して得られる画像符号化データを、
マクロブロックスライス(スライス領域)S1,S2,
・・・毎にまとめて配列した構造となっている。ここで
マクロブロックスライスは、上記オブジェクト領域R′
における符号化処理順に並ぶ4つのマクロブロックから
なる領域としており、具体的には、図10(a) に示すよ
うに、マクロブロックスライスS1はマクロブロックM
B1〜MB4からなり、マクロブロックスライスS2は
マクロブロックMB5〜MB8からなる。
送路に対応した画像伝送用データ構造が提案されてい
る。このデータ構造は、図10(a) に示すように、1つ
のオブジェクトに対応する領域(以下オブジェクト領域
ともいう。)R′に対応する画像表示用データをマクロ
ブロック毎に符号化して得られる画像符号化データを、
マクロブロックスライス(スライス領域)S1,S2,
・・・毎にまとめて配列した構造となっている。ここで
マクロブロックスライスは、上記オブジェクト領域R′
における符号化処理順に並ぶ4つのマクロブロックから
なる領域としており、具体的には、図10(a) に示すよ
うに、マクロブロックスライスS1はマクロブロックM
B1〜MB4からなり、マクロブロックスライスS2は
マクロブロックMB5〜MB8からなる。
【0025】図10(b) は、上記オブジェクト領域R′
に対応するビットストリームBsr、及びマクロブロッ
クスライスS1に対応する単位ビットストリームBsu
1を示している。
に対応するビットストリームBsr、及びマクロブロッ
クスライスS1に対応する単位ビットストリームBsu
1を示している。
【0026】上記オブジェクト領域R′に対応するビッ
トストリームBsrでは、オブジェクト領域Rに対応す
る同期信号Dsynに続いて、各マクロブロックスライ
スS1,S2,・・・に対応する単位ビットストリーム
Bsu1,Bsu2,・・・が配列されている。つまり
上記同期信号Dsynに続いて、各マクロブロックスラ
イスのヘッダに対応するスライスヘッダビット列Dhs
1,Dhs2,・・・及び各マクロブロックスライスに
対応する符号化データDs1,Ds2,・・・が順次配
列されている。
トストリームBsrでは、オブジェクト領域Rに対応す
る同期信号Dsynに続いて、各マクロブロックスライ
スS1,S2,・・・に対応する単位ビットストリーム
Bsu1,Bsu2,・・・が配列されている。つまり
上記同期信号Dsynに続いて、各マクロブロックスラ
イスのヘッダに対応するスライスヘッダビット列Dhs
1,Dhs2,・・・及び各マクロブロックスライスに
対応する符号化データDs1,Ds2,・・・が順次配
列されている。
【0027】また、上記マクロブロックスライスS1に
対応する単位ビットストリームBsu1では、マクロブ
ロックスライスS1に対応するスライスヘッダビット列
Dhs1,該マクロブロックスライスS1を構成する4
つのマクロブロックの、MB位置ビット列Dbp,2値
形状ビット列D2,テクスチャータイプビット列Dt
y,動きベクトルビット列Dgtmv,再同期信号Drsy
n,画素値DC成分ビット列Dgd,画素値AC成分ビ
ット列Dgaがこの順に配列されている。
対応する単位ビットストリームBsu1では、マクロブ
ロックスライスS1に対応するスライスヘッダビット列
Dhs1,該マクロブロックスライスS1を構成する4
つのマクロブロックの、MB位置ビット列Dbp,2値
形状ビット列D2,テクスチャータイプビット列Dt
y,動きベクトルビット列Dgtmv,再同期信号Drsy
n,画素値DC成分ビット列Dgd,画素値AC成分ビ
ット列Dgaがこの順に配列されている。
【0028】ここで、上記MB位置ビット列Dbpは、
各マクロブロックの、マクロブロックスライスS1の先
頭からの位置を示す位置情報としてのビット列(図では
MBの位置と記載)であり、上記2値形状ビット列D2
は該各マクロブロックの2値形状信号に対応する符号化
データ(図では2値形状と記載)であり、上記テクスチ
ャータイプビット列Dtyは、各マクロブロックがイン
ターブロック(画面間予測符号化処理が施されたもの)
であるかイントラブロック(画面内符号化処理が施され
たもの)であるかを示す情報としてのビット列(図では
Texture Typeと記載)である。また、動きベクトルビッ
ト列Dgtmvは、上記各マクロブロックの動きベクトル情
報としてのビット列(図ではMVと記載)であり、上記
画素値信号から得られる動きベクトルを符号化してなる
ものである。さらに、上記再同期信号Drsynは、上
記単位ビットストリームBsu1中での位置を検知する
ための信号である。また、上記画素値ビット列Dgd及
びDgaは、それぞれ各マクロブロックにおける画素値
信号を符号化して得られるものであり、画素値DC成分
ビット列Dgdは、各マクロブロックに対応する画素値
信号に、空間領域のデータを周波数領域のデータに変換
する変換処理を施して得られる複数の変換係数のうちの
直流成分を可変長符号化したもの(図では画素値DC成
分と記載)、画素値AC成分ビット列Dgaは、上記複
数の変換係数のうちの交流成分を可変長符号化したもの
(図では画素値AC成分と記載)である。
各マクロブロックの、マクロブロックスライスS1の先
頭からの位置を示す位置情報としてのビット列(図では
MBの位置と記載)であり、上記2値形状ビット列D2
は該各マクロブロックの2値形状信号に対応する符号化
データ(図では2値形状と記載)であり、上記テクスチ
ャータイプビット列Dtyは、各マクロブロックがイン
ターブロック(画面間予測符号化処理が施されたもの)
であるかイントラブロック(画面内符号化処理が施され
たもの)であるかを示す情報としてのビット列(図では
Texture Typeと記載)である。また、動きベクトルビッ
ト列Dgtmvは、上記各マクロブロックの動きベクトル情
報としてのビット列(図ではMVと記載)であり、上記
画素値信号から得られる動きベクトルを符号化してなる
ものである。さらに、上記再同期信号Drsynは、上
記単位ビットストリームBsu1中での位置を検知する
ための信号である。また、上記画素値ビット列Dgd及
びDgaは、それぞれ各マクロブロックにおける画素値
信号を符号化して得られるものであり、画素値DC成分
ビット列Dgdは、各マクロブロックに対応する画素値
信号に、空間領域のデータを周波数領域のデータに変換
する変換処理を施して得られる複数の変換係数のうちの
直流成分を可変長符号化したもの(図では画素値DC成
分と記載)、画素値AC成分ビット列Dgaは、上記複
数の変換係数のうちの交流成分を可変長符号化したもの
(図では画素値AC成分と記載)である。
【0029】なお、上記オブジェクト領域R′に対応す
るビットストリームBurに含まれる、他のスライス領
域S2,・・・に対応する単位ビットストリームBsu
2,・・・も、上記単位ビットストリームBsu1と同
一のデータ構造となっている。
るビットストリームBurに含まれる、他のスライス領
域S2,・・・に対応する単位ビットストリームBsu
2,・・・も、上記単位ビットストリームBsu1と同
一のデータ構造となっている。
【0030】このようなデータ構造を有する単位ビット
ストリームBsu1,Bsu2,・・・では、再同期信
号Drsynを含んでいるので、再同期信号の前に送ら
れる符号化データの復号化処理が終わった時点で再同期
信号が検出されれば、誤りなくデータ伝送が行われたこ
とが検知でき、また、再同期信号の前で伝送エラーが発
生した場合でも、再同期信号を検出することができれ
ば、再同期信号からその前の伝送エラーが発生した位置
までの符号化データを復号化することが可能となる。
ストリームBsu1,Bsu2,・・・では、再同期信
号Drsynを含んでいるので、再同期信号の前に送ら
れる符号化データの復号化処理が終わった時点で再同期
信号が検出されれば、誤りなくデータ伝送が行われたこ
とが検知でき、また、再同期信号の前で伝送エラーが発
生した場合でも、再同期信号を検出することができれ
ば、再同期信号からその前の伝送エラーが発生した位置
までの符号化データを復号化することが可能となる。
【0031】ところで、上記提案されている、伝送エラ
ーの発生しやすい伝送路に対応した画像伝送用データ構
造(図10(a) 参照)では、透過度信号に対応する符号
化データの配置については何ら示されていない。ここ
で、透過度信号に対応する符号化データには、上記画素
値信号に対する符号化データと同様、上記透過度DC成
分ビット列Dtd及び透過度AC成分ビット列Dtaと
があり、透過度DC成分ビット列Dtdは、各マクロブ
ロックに対応する透過度信号に、空間領域のデータを周
波数領域のデータに変換する変換処理を施して得られる
複数の変換係数のうちの直流成分を可変長符号化したも
の(図では透過度DC成分と記載)、透過度AC成分ビ
ット列Dtaは、上記複数の変換係数のうちの交流成分
を可変長符号化したもの(図では透過度AC成分と記
載)である。
ーの発生しやすい伝送路に対応した画像伝送用データ構
造(図10(a) 参照)では、透過度信号に対応する符号
化データの配置については何ら示されていない。ここ
で、透過度信号に対応する符号化データには、上記画素
値信号に対する符号化データと同様、上記透過度DC成
分ビット列Dtd及び透過度AC成分ビット列Dtaと
があり、透過度DC成分ビット列Dtdは、各マクロブ
ロックに対応する透過度信号に、空間領域のデータを周
波数領域のデータに変換する変換処理を施して得られる
複数の変換係数のうちの直流成分を可変長符号化したも
の(図では透過度DC成分と記載)、透過度AC成分ビ
ット列Dtaは、上記複数の変換係数のうちの交流成分
を可変長符号化したもの(図では透過度AC成分と記
載)である。
【0032】そこで、透過度ビット列を含むデータ構造
としては、透過度信号が画素値信号と同様な符号化処理
が施されるという観点から、例えば、上記単位ビットス
トリームBsu1のデータ構造としては、画素値DC成
分ビット列Dgdと再同期信号Drsynの間に透過度
DC成分ビット列Dtdを配置し、画素値DC成分ビッ
ト列Dgdと画素値AC成分ビット列Dgaの間に透過
度AC成分ビット列Dtaを配置するデータ構造(図1
0(c) 参照)が考えられる。
としては、透過度信号が画素値信号と同様な符号化処理
が施されるという観点から、例えば、上記単位ビットス
トリームBsu1のデータ構造としては、画素値DC成
分ビット列Dgdと再同期信号Drsynの間に透過度
DC成分ビット列Dtdを配置し、画素値DC成分ビッ
ト列Dgdと画素値AC成分ビット列Dgaの間に透過
度AC成分ビット列Dtaを配置するデータ構造(図1
0(c) 参照)が考えられる。
【0033】ところが、図10(c) に示すデータ構造の
単位ビットストリームBsut1では、透過度DC成分
ビット列Dtdの部分で伝送エラーが発生した場合に
は、画素値AC成分ビット列Dgaの最後端から伝送エ
ラーの発生位置までビット列をたどって伝送データを検
出する処理が行われるが、画素値AC成分ビット列Dg
aと画素値DC成分ビット列Dgdの間に透過度AC成
分ビット列Dtaが存在するため、画素値AC成分のビ
ット列Dgaの最後端から伝送データをたどる場合に、
重要なデータである画素値DC成分のビット列Dgdに
到達するまでに時間がかかるという問題がある。
単位ビットストリームBsut1では、透過度DC成分
ビット列Dtdの部分で伝送エラーが発生した場合に
は、画素値AC成分ビット列Dgaの最後端から伝送エ
ラーの発生位置までビット列をたどって伝送データを検
出する処理が行われるが、画素値AC成分ビット列Dg
aと画素値DC成分ビット列Dgdの間に透過度AC成
分ビット列Dtaが存在するため、画素値AC成分のビ
ット列Dgaの最後端から伝送データをたどる場合に、
重要なデータである画素値DC成分のビット列Dgdに
到達するまでに時間がかかるという問題がある。
【0034】本発明は上記のような問題点を解決するた
めになされたもので、画像表示用データに対する符号化
データの伝送途中でエラーが発生した場合でも、伝送先
での画像表示品質の劣化を極力抑えることができる画像
伝送用データ構造,該画像伝送用データ構造の符号化デ
ータを生成することができる符号化方法及び符号化装
置,上記画像伝送用データ構造の符号化データを復号化
することができる復号化方法及び復号化装置,並びに,
符号化及び復号化方法による処理を行うためのプログラ
ムを格納した、あるいは上記画像伝送用データ構造を有
する符号化データを格納した伝送データ記憶媒体を得る
ことを目的とする。
めになされたもので、画像表示用データに対する符号化
データの伝送途中でエラーが発生した場合でも、伝送先
での画像表示品質の劣化を極力抑えることができる画像
伝送用データ構造,該画像伝送用データ構造の符号化デ
ータを生成することができる符号化方法及び符号化装
置,上記画像伝送用データ構造の符号化データを復号化
することができる復号化方法及び復号化装置,並びに,
符号化及び復号化方法による処理を行うためのプログラ
ムを格納した、あるいは上記画像伝送用データ構造を有
する符号化データを格納した伝送データ記憶媒体を得る
ことを目的とする。
【0035】また、本発明は、画像表示用データに対す
る符号化データの伝送途中でエラーが発生した場合で
も、伝送先にて重要な符号化データの復号化処理に支障
をきたすのを極力回避することができ、しかもこの場合
に、重要な符号化データの復号化処理を短時間で行うこ
とができる画像伝送用データ構造,該画像伝送用データ
構造の符号化データを生成することができる符号化方法
及び符号化装置,該画像伝送用データ構造の符号化デー
タを復号化することができる復号化方法及び復号化装
置,並びに,符号化及び復号化方法による処理を行うた
めのプログラムを格納した、あるいは上記画像伝送用デ
ータ構造を有する符号化データを格納した伝送データ記
憶媒体を得ることを目的とする。
る符号化データの伝送途中でエラーが発生した場合で
も、伝送先にて重要な符号化データの復号化処理に支障
をきたすのを極力回避することができ、しかもこの場合
に、重要な符号化データの復号化処理を短時間で行うこ
とができる画像伝送用データ構造,該画像伝送用データ
構造の符号化データを生成することができる符号化方法
及び符号化装置,該画像伝送用データ構造の符号化デー
タを復号化することができる復号化方法及び復号化装
置,並びに,符号化及び復号化方法による処理を行うた
めのプログラムを格納した、あるいは上記画像伝送用デ
ータ構造を有する符号化データを格納した伝送データ記
憶媒体を得ることを目的とする。
【0036】
【課題を解決するための手段】この発明(請求項1)に
係る画像伝送用データ構造は、表示画面上に表示される
個々の物体に対応する画像表示用データを物体毎に符号
化して得られる画像符号化データを伝送するための画像
伝送用データ構造であって、上記表示画面上の該当する
物体を含む所定領域内の各画素に対応する、その画素が
物体内部に位置するかあるいは物体外部に位置するかを
示す2値形状信号を、符号化して得られる2値形状ビッ
ト列を、上記画像符号化データの一部として含み、該2
値形状ビット列を、上記2値形状信号より得られる、上
記物体の表示画面上での動きを示す動きベクトル情報
を、符号化して得られる第1のビット列と、上記2値形
状信号を上記動きベクトル情報に基づいて符号化して得
られる第2のビット列とを含み、該第1及び第2のビッ
ト列を該第1のビット列が該第2のビット列より先に伝
送されるよう配列した構成としたものである。
係る画像伝送用データ構造は、表示画面上に表示される
個々の物体に対応する画像表示用データを物体毎に符号
化して得られる画像符号化データを伝送するための画像
伝送用データ構造であって、上記表示画面上の該当する
物体を含む所定領域内の各画素に対応する、その画素が
物体内部に位置するかあるいは物体外部に位置するかを
示す2値形状信号を、符号化して得られる2値形状ビッ
ト列を、上記画像符号化データの一部として含み、該2
値形状ビット列を、上記2値形状信号より得られる、上
記物体の表示画面上での動きを示す動きベクトル情報
を、符号化して得られる第1のビット列と、上記2値形
状信号を上記動きベクトル情報に基づいて符号化して得
られる第2のビット列とを含み、該第1及び第2のビッ
ト列を該第1のビット列が該第2のビット列より先に伝
送されるよう配列した構成としたものである。
【0037】この発明(請求項2)は、請求項1記載の
画像伝送用データ構造において、上記表示画面上の上記
物体を含む所定領域を、複数のブロックに分割し、上記
第1のビット列を、上記2値形状信号より得られる動き
ベクトル情報を、上記複数のブロックのうちの隣接する
所定数のブロックに相当する分だけ符号化して得られた
ものとし、上記第2のビット列を、上記2値形状信号を
該動きベクトル情報に基づいて、上記複数のブロックの
うちの隣接する所定数のブロックに相当する分だけ符号
化して得られたものとしたものである。
画像伝送用データ構造において、上記表示画面上の上記
物体を含む所定領域を、複数のブロックに分割し、上記
第1のビット列を、上記2値形状信号より得られる動き
ベクトル情報を、上記複数のブロックのうちの隣接する
所定数のブロックに相当する分だけ符号化して得られた
ものとし、上記第2のビット列を、上記2値形状信号を
該動きベクトル情報に基づいて、上記複数のブロックの
うちの隣接する所定数のブロックに相当する分だけ符号
化して得られたものとしたものである。
【0038】この発明(請求項3)は、請求項1記載の
画像伝送用データ構造において、上記2値形状ビット列
に加えて、上記表示画面上の該当する物体を構成する各
画素に対応する、該物体の画像の透明度に相当する透過
度信号を符号化して得られる透過度ビット列と、上記表
示画面上の該当する物体を構成する各画素に対応する、
該物体を画像表示するための画素値信号を符号化して得
られる画素値ビット列と、上記画素値信号及び透過度信
号に共通し該両信号のうちの少なくとも画素値信号によ
り得られる、上記物体の表示画面上での動きを示す動き
ベクトルを、符号化して得られる動きベクトルビット列
と、上記各ビット列に関連する関連情報を符号化して得
られるヘッダビット列とを、上記画像符号化データの一
部として含み、上記各ビット列を、最初に伝送されるヘ
ッダビット列に続いて、2値形状ビット列,動きベクト
ルビット列,画素値ビット列,及び透過度ビット列がこ
の順序で伝送されるよう配列したものである。
画像伝送用データ構造において、上記2値形状ビット列
に加えて、上記表示画面上の該当する物体を構成する各
画素に対応する、該物体の画像の透明度に相当する透過
度信号を符号化して得られる透過度ビット列と、上記表
示画面上の該当する物体を構成する各画素に対応する、
該物体を画像表示するための画素値信号を符号化して得
られる画素値ビット列と、上記画素値信号及び透過度信
号に共通し該両信号のうちの少なくとも画素値信号によ
り得られる、上記物体の表示画面上での動きを示す動き
ベクトルを、符号化して得られる動きベクトルビット列
と、上記各ビット列に関連する関連情報を符号化して得
られるヘッダビット列とを、上記画像符号化データの一
部として含み、上記各ビット列を、最初に伝送されるヘ
ッダビット列に続いて、2値形状ビット列,動きベクト
ルビット列,画素値ビット列,及び透過度ビット列がこ
の順序で伝送されるよう配列したものである。
【0039】この発明(請求項4)に係る画像伝送用デ
ータ構造は、表示画面上に表示される個々の物体に対応
する画像表示用データを物体毎に符号化して得られる画
像符号化データを伝送するための画像伝送用データ構造
であって、上記表示画面上の該当する物体を含む所定領
域内の各画素に対応する、その画素が物体内部に位置す
るかあるいは物体外部に位置するかを示す2値形状信号
を、符号化して得られる2値形状ビット列と、上記表示
画面上の該当する物体を構成する各画素に対応する、該
物体の画像の透明度に対応する透過度信号を、符号化し
て得られる透過度ビット列と、上記表示画面上の該当す
る物体を構成する各画素に対応する、該物体をカラー表
示するための画素値信号を、符号化して得られる画素値
ビット列とを上記画像符号化データの一部として含み、
上記各ビット列を、上記透過度ビット列が2値形状ビッ
ト列及び画素値ビット列より後に伝送されるよう配列し
たものである。
ータ構造は、表示画面上に表示される個々の物体に対応
する画像表示用データを物体毎に符号化して得られる画
像符号化データを伝送するための画像伝送用データ構造
であって、上記表示画面上の該当する物体を含む所定領
域内の各画素に対応する、その画素が物体内部に位置す
るかあるいは物体外部に位置するかを示す2値形状信号
を、符号化して得られる2値形状ビット列と、上記表示
画面上の該当する物体を構成する各画素に対応する、該
物体の画像の透明度に対応する透過度信号を、符号化し
て得られる透過度ビット列と、上記表示画面上の該当す
る物体を構成する各画素に対応する、該物体をカラー表
示するための画素値信号を、符号化して得られる画素値
ビット列とを上記画像符号化データの一部として含み、
上記各ビット列を、上記透過度ビット列が2値形状ビッ
ト列及び画素値ビット列より後に伝送されるよう配列し
たものである。
【0040】この発明(請求項5)は、請求項4記載の
画像伝送用データ構造において、上記表示画面上の該当
する物体を含む所定領域を、複数のブロックに分割し、
上記2値形状ビット列を、上記2値形状信号を、上記複
数のブロックのうちの隣接する所定数のブロックに相当
する分だけ符号化してなるものとし、上記透過度ビット
列を、上記透過度信号を、上記複数のブロックのうちの
隣接する所定数のブロックに相当する分だけ符号化して
なるものとし、上記画素値ビット列を、上記画素値信号
を、上記複数のブロックのうちの隣接する所定数のブロ
ックに相当する分だけ符号化してなるものとしたもので
ある。
画像伝送用データ構造において、上記表示画面上の該当
する物体を含む所定領域を、複数のブロックに分割し、
上記2値形状ビット列を、上記2値形状信号を、上記複
数のブロックのうちの隣接する所定数のブロックに相当
する分だけ符号化してなるものとし、上記透過度ビット
列を、上記透過度信号を、上記複数のブロックのうちの
隣接する所定数のブロックに相当する分だけ符号化して
なるものとし、上記画素値ビット列を、上記画素値信号
を、上記複数のブロックのうちの隣接する所定数のブロ
ックに相当する分だけ符号化してなるものとしたもので
ある。
【0041】この発明(請求項6)は、請求項4記載の
画像伝送用データ構造において、上記各ビット列に加え
て、上記画素値信号及び透過度信号に共通し該両信号の
うちの少なくとも画素値信号より得られる、上記物体の
表示画面上での動きを示す動きベクトルを、符号化して
得られる動きベクトルビット列を上記画像符号化データ
の一部として含むとともに、上記2値形状ビット列を、
上記2値形状信号より得られる、上記物体の表示画面上
での動きを示す動きベクトル情報を、符号化して得られ
る第1のビット列と、上記2値形状信号を上記動きベク
トル情報に基づいて符号化して得られる第2のビット列
とを含む構成とし、上記各ビット列を、上記第1のビッ
ト列の伝送後に上記動きベクトルビット列が伝送され、
その後第2のビット列が伝送されるよう配列したもので
ある。
画像伝送用データ構造において、上記各ビット列に加え
て、上記画素値信号及び透過度信号に共通し該両信号の
うちの少なくとも画素値信号より得られる、上記物体の
表示画面上での動きを示す動きベクトルを、符号化して
得られる動きベクトルビット列を上記画像符号化データ
の一部として含むとともに、上記2値形状ビット列を、
上記2値形状信号より得られる、上記物体の表示画面上
での動きを示す動きベクトル情報を、符号化して得られ
る第1のビット列と、上記2値形状信号を上記動きベク
トル情報に基づいて符号化して得られる第2のビット列
とを含む構成とし、上記各ビット列を、上記第1のビッ
ト列の伝送後に上記動きベクトルビット列が伝送され、
その後第2のビット列が伝送されるよう配列したもので
ある。
【0042】この発明(請求項7)に係る符号化方法
は、表示画面上に表示される個々の物体に対応する画像
表示用データを物体毎に符号化して画像符号化データを
出力する符号化方法であって、上記表示画面上の該当す
る物体を含む所定領域内の各画素に対応する、その画素
が物体内部に位置するかあるいは物体外部に位置するか
を示す2値データを含む2値形状信号に基づいて、上記
物体の表示画面上での動きを示す動きベクトルを検出す
る動き検出処理と、上記動きベクトルを符号化して第1
のビット列を生成する処理と、上記2値形状信号を構成
する2値データを上記動きベクトルに基づいて符号化し
て第2のビット列を生成する処理とを含み、上記各ビッ
ト列を、該第1のビット列が第2のビット列より先に伝
送されるよう配列して上記画像符号化データの一部とし
て出力するものである。
は、表示画面上に表示される個々の物体に対応する画像
表示用データを物体毎に符号化して画像符号化データを
出力する符号化方法であって、上記表示画面上の該当す
る物体を含む所定領域内の各画素に対応する、その画素
が物体内部に位置するかあるいは物体外部に位置するか
を示す2値データを含む2値形状信号に基づいて、上記
物体の表示画面上での動きを示す動きベクトルを検出す
る動き検出処理と、上記動きベクトルを符号化して第1
のビット列を生成する処理と、上記2値形状信号を構成
する2値データを上記動きベクトルに基づいて符号化し
て第2のビット列を生成する処理とを含み、上記各ビッ
ト列を、該第1のビット列が第2のビット列より先に伝
送されるよう配列して上記画像符号化データの一部とし
て出力するものである。
【0043】この発明(請求項8)に係る符号化方法
は、表示画面上に表示される個々の物体に対応する画像
表示用データを物体毎に符号化して画像符号化データを
出力する符号化方法であって、上記表示画面上の該当す
る物体を含む所定領域内の各画素に対応する、その画素
が物体内部に位置するかあるいは物体外部に位置するか
を示す2値形状信号を、符号化して2値形状信号ビット
列を生成する処理と、上記表示画面上の該当する物体を
構成する各画素に対応する、該物体をカラー表示するた
めの画素値信号を、符号化して画素値ビット列を生成す
る処理と、上記表示画面上の該当する物体を構成する各
画素に対応する、該物体の画像の透明度に対応する透過
度信号を、符号化して透過度ビット列を生成する処理と
を含み、上記各ビット列を、該透過度ビット列が上記2
値形状ビット列及び画素値ビット列より後に伝送される
よう配列して上記画像符号化データの一部として出力す
るものである。
は、表示画面上に表示される個々の物体に対応する画像
表示用データを物体毎に符号化して画像符号化データを
出力する符号化方法であって、上記表示画面上の該当す
る物体を含む所定領域内の各画素に対応する、その画素
が物体内部に位置するかあるいは物体外部に位置するか
を示す2値形状信号を、符号化して2値形状信号ビット
列を生成する処理と、上記表示画面上の該当する物体を
構成する各画素に対応する、該物体をカラー表示するた
めの画素値信号を、符号化して画素値ビット列を生成す
る処理と、上記表示画面上の該当する物体を構成する各
画素に対応する、該物体の画像の透明度に対応する透過
度信号を、符号化して透過度ビット列を生成する処理と
を含み、上記各ビット列を、該透過度ビット列が上記2
値形状ビット列及び画素値ビット列より後に伝送される
よう配列して上記画像符号化データの一部として出力す
るものである。
【0044】この発明(請求項9)に係る符号化装置
は、表示画面上に表示される個々の物体に対応する画像
表示用データを物体毎に符号化して画像符号化データを
出力する符号化装置であって、上記表示画面上の該当す
る物体を含む所定領域内の各画素に対応する、その画素
が物体内部に位置するかあるいは物体外部に位置するか
を示す2値データを含む2値形状信号に基づいて、上記
物体の表示画面上での動きを示す動きベクトルを検出す
る動き検出手段と、上記動きベクトルを符号化して、第
1のビット列を生成する第1の符号化手段と、上記2値
形状信号を構成する2値データを上記動きベクトルに基
づいて符号化して第2のビット列を生成する第2の符号
化手段とを備え、上記各ビット列を該第1のビット列が
第2のビット列より先に伝送されるよう配列して、上記
画像符号化データの一部として出力するものである。
は、表示画面上に表示される個々の物体に対応する画像
表示用データを物体毎に符号化して画像符号化データを
出力する符号化装置であって、上記表示画面上の該当す
る物体を含む所定領域内の各画素に対応する、その画素
が物体内部に位置するかあるいは物体外部に位置するか
を示す2値データを含む2値形状信号に基づいて、上記
物体の表示画面上での動きを示す動きベクトルを検出す
る動き検出手段と、上記動きベクトルを符号化して、第
1のビット列を生成する第1の符号化手段と、上記2値
形状信号を構成する2値データを上記動きベクトルに基
づいて符号化して第2のビット列を生成する第2の符号
化手段とを備え、上記各ビット列を該第1のビット列が
第2のビット列より先に伝送されるよう配列して、上記
画像符号化データの一部として出力するものである。
【0045】この発明(請求項10)に係る符号化装置
は、表示画面上に表示される個々の物体に対応する画像
表示用データを物体毎に符号化して画像符号化データを
出力する符号化装置であって、上記表示画面上の該当す
る物体を含む所定領域内の各画素に対応する、その画素
が物体内部に位置するかあるいは物体外部に位置するか
を示す2値形状信号を、符号化して2値形状信号ビット
列を生成する2値形状符号化手段と、上記表示画面上の
該当する物体を構成する各画素に対応する、該物体をカ
ラー表示するための画素値信号を、符号化して画素値ビ
ット列を生成する画素値符号化手段と、上記表示画面上
の該当する物体を構成する各画素に対応する、該物体の
画像の透明度に対応する透過度信号を、符号化して透過
度ビット列を生成する透過度符号化手段とを備え、上記
各ビット列を該透過度ビット列が上記2値形状ビット列
及び画素値ビット列より後に伝送されるよう配列して、
上記画像符号化データの一部として出力するものであ
る。
は、表示画面上に表示される個々の物体に対応する画像
表示用データを物体毎に符号化して画像符号化データを
出力する符号化装置であって、上記表示画面上の該当す
る物体を含む所定領域内の各画素に対応する、その画素
が物体内部に位置するかあるいは物体外部に位置するか
を示す2値形状信号を、符号化して2値形状信号ビット
列を生成する2値形状符号化手段と、上記表示画面上の
該当する物体を構成する各画素に対応する、該物体をカ
ラー表示するための画素値信号を、符号化して画素値ビ
ット列を生成する画素値符号化手段と、上記表示画面上
の該当する物体を構成する各画素に対応する、該物体の
画像の透明度に対応する透過度信号を、符号化して透過
度ビット列を生成する透過度符号化手段とを備え、上記
各ビット列を該透過度ビット列が上記2値形状ビット列
及び画素値ビット列より後に伝送されるよう配列して、
上記画像符号化データの一部として出力するものであ
る。
【0046】この発明(請求項11)に係る復号化方法
は、請求項7記載の符号化方法により得られる、各物体
に対応する画像符号化データを復号化する復号化方法で
あって、上記第1のビット列を復号化して、上記2値形
状信号より得られる動きベクトルを生成する処理と、上
記第2のビット列を上記動きベクトルに基づいて復号化
して、上記2値形状信号を構成する2値データを生成す
る処理と、上記動きベクトル及び2値データに基づいて
上記2値形状信号を生成する処理とを含み、表示画面上
に表示される個々の物体に対応する画像表示用データを
再生するものである。
は、請求項7記載の符号化方法により得られる、各物体
に対応する画像符号化データを復号化する復号化方法で
あって、上記第1のビット列を復号化して、上記2値形
状信号より得られる動きベクトルを生成する処理と、上
記第2のビット列を上記動きベクトルに基づいて復号化
して、上記2値形状信号を構成する2値データを生成す
る処理と、上記動きベクトル及び2値データに基づいて
上記2値形状信号を生成する処理とを含み、表示画面上
に表示される個々の物体に対応する画像表示用データを
再生するものである。
【0047】この発明(請求項12)に係る復号化方法
は、請求項8記載の符号化方法により得られる、各物体
に対応する画像符号化データを復号化する復号化方法で
あって、上記2値形状ビット列を復号化して上記2値形
状信号を生成する処理と、上記画素値ビット列を復号化
して上記画素値信号を生成する処理と、上記透過度ビッ
ト列を復号化して上記透過度信号を生成する処理とを含
み、上記生成された各信号に基づいて、表示画面上に表
示される個々の物体に対応する画像表示用データを再生
するものである。
は、請求項8記載の符号化方法により得られる、各物体
に対応する画像符号化データを復号化する復号化方法で
あって、上記2値形状ビット列を復号化して上記2値形
状信号を生成する処理と、上記画素値ビット列を復号化
して上記画素値信号を生成する処理と、上記透過度ビッ
ト列を復号化して上記透過度信号を生成する処理とを含
み、上記生成された各信号に基づいて、表示画面上に表
示される個々の物体に対応する画像表示用データを再生
するものである。
【0048】この発明(請求項13)に係る復号化装置
は、請求項7記載の符号化方法により得られる、各物体
に対応する画像符号化データを復号化する復号化装置で
あって、上記第1のビット列を復号化して、上記2値形
状信号より得られる動きベクトルを生成する第1の復号
化手段と、上記第2のビット列を上記動きベクトルに基
づいて復号化して、上記2値形状信号を構成する2値デ
ータを生成する第2の復号化手段と、上記各復号化手段
の出力に基づいて、上記2値形状信号を生成する第3の
復号化手段とを備え、表示画面上に表示される個々の物
体に対応する画像表示用データを再生するものである。
は、請求項7記載の符号化方法により得られる、各物体
に対応する画像符号化データを復号化する復号化装置で
あって、上記第1のビット列を復号化して、上記2値形
状信号より得られる動きベクトルを生成する第1の復号
化手段と、上記第2のビット列を上記動きベクトルに基
づいて復号化して、上記2値形状信号を構成する2値デ
ータを生成する第2の復号化手段と、上記各復号化手段
の出力に基づいて、上記2値形状信号を生成する第3の
復号化手段とを備え、表示画面上に表示される個々の物
体に対応する画像表示用データを再生するものである。
【0049】この発明(請求項14)に係る復号化装置
は、請求項8記載の符号化方法により得られる、各物体
に対応する画像符号化データを復号化する復号化装置で
あって、上記2値形状ビット列を復号化して上記2値形
状信号を生成する2値形状復号化手段と、上記画素値ビ
ット列を復号化して上記画素値信号を生成する画素値復
号化手段と、上記透過度ビット列を復号化して上記透過
度信号を生成する透過度復号化手段とを備え、上記各復
号化手段の出力に基づいて、表示画面上に表示される個
々の物体に対応する画像表示用データを再生するもので
ある。
は、請求項8記載の符号化方法により得られる、各物体
に対応する画像符号化データを復号化する復号化装置で
あって、上記2値形状ビット列を復号化して上記2値形
状信号を生成する2値形状復号化手段と、上記画素値ビ
ット列を復号化して上記画素値信号を生成する画素値復
号化手段と、上記透過度ビット列を復号化して上記透過
度信号を生成する透過度復号化手段とを備え、上記各復
号化手段の出力に基づいて、表示画面上に表示される個
々の物体に対応する画像表示用データを再生するもので
ある。
【0050】この発明(請求項15)に係るデータ記憶
媒体は、表示画面上に表示される個々の物体に対応する
画像表示用データを符号化して画像符号化データを出力
する符号化処理をコンピュータにより行うためのプログ
ラムを格納したデータ記憶媒体であって、上記プログラ
ムが、コンピュータに、上記表示画面上の該当する物体
を含む所定領域内の各画素に対応する、その画素が物体
内部に位置するかあるいは物体外部に位置するかを示す
2値データを含む2値形状信号に基づいて、該物体の表
示画面上での動きを示す動きベクトルを検出する処理、
上記動きベクトルを符号化して第1のビット列を生成す
る処理、上記2値形状信号を構成する2値データを上記
動きベクトルに基づいて符号化して第2のビット列を生
成する処理、及び、上記各ビット列を、該第1のビット
列が第2のビット列より先に伝送されるよう配列して上
記画像符号化データの一部として出力する処理を行わせ
る構成となっているものである。
媒体は、表示画面上に表示される個々の物体に対応する
画像表示用データを符号化して画像符号化データを出力
する符号化処理をコンピュータにより行うためのプログ
ラムを格納したデータ記憶媒体であって、上記プログラ
ムが、コンピュータに、上記表示画面上の該当する物体
を含む所定領域内の各画素に対応する、その画素が物体
内部に位置するかあるいは物体外部に位置するかを示す
2値データを含む2値形状信号に基づいて、該物体の表
示画面上での動きを示す動きベクトルを検出する処理、
上記動きベクトルを符号化して第1のビット列を生成す
る処理、上記2値形状信号を構成する2値データを上記
動きベクトルに基づいて符号化して第2のビット列を生
成する処理、及び、上記各ビット列を、該第1のビット
列が第2のビット列より先に伝送されるよう配列して上
記画像符号化データの一部として出力する処理を行わせ
る構成となっているものである。
【0051】この発明(請求項16)に係るデータ記憶
媒体は、表示画面上に表示される個々の物体に対応する
画像表示用データを符号化して画像符号化データを出力
する符号化処理をコンピュータにより行うためのプログ
ラムを格納したデータ記憶媒体であって、上記プログラ
ムが、コンピュータに、上記表示画面上の該当する物体
を含む所定領域内の各画素に対応する、その画素が物体
内部に位置するかあるいは物体外部に位置するかを示す
2値形状信号を符号化して2値形状ビット列を生成する
処理、上記表示画面上の該当する物体を構成する各画素
に対応する、該物体をカラー表示するための画素値信号
を符号化して画素値ビット列を生成する処理、上記表示
画面上の該当する物体を構成する各画素に対応する、該
物体の画像の透明度に対応する透過度信号を符号化して
透過度ビット列を生成する処理、及び、上記各ビット列
を、該透過度ビット列が上記2値形状ビット列及び画素
値ビット列より後に伝送されるよう配列して上記画像符
号化データの一部として出力する処理を行わせる構成と
なっているものである。
媒体は、表示画面上に表示される個々の物体に対応する
画像表示用データを符号化して画像符号化データを出力
する符号化処理をコンピュータにより行うためのプログ
ラムを格納したデータ記憶媒体であって、上記プログラ
ムが、コンピュータに、上記表示画面上の該当する物体
を含む所定領域内の各画素に対応する、その画素が物体
内部に位置するかあるいは物体外部に位置するかを示す
2値形状信号を符号化して2値形状ビット列を生成する
処理、上記表示画面上の該当する物体を構成する各画素
に対応する、該物体をカラー表示するための画素値信号
を符号化して画素値ビット列を生成する処理、上記表示
画面上の該当する物体を構成する各画素に対応する、該
物体の画像の透明度に対応する透過度信号を符号化して
透過度ビット列を生成する処理、及び、上記各ビット列
を、該透過度ビット列が上記2値形状ビット列及び画素
値ビット列より後に伝送されるよう配列して上記画像符
号化データの一部として出力する処理を行わせる構成と
なっているものである。
【0052】この発明(請求項17)に係るデータ記憶
媒体は、請求項7記載の符号化方法により得られる、表
示画面上に表示される個々の物体に対応する画像符号化
データに対する復号化処理を、コンピュータにより行う
ためのプログラムを格納したデータ記憶媒体であって、
該プログラムが、コンピュータに、上記第1のビット列
を復号化して、上記2値形状信号より得られる動きベク
トルを生成する処理、上記第2のビット列を上記動きベ
クトルに基づいて復号化して、上記2値形状信号を構成
する2値データを生成する処理、及び、上記動きベクト
ル及び2値データに基づいて、上記2値形状信号を再生
する処理を行わせる構成となっているものである。
媒体は、請求項7記載の符号化方法により得られる、表
示画面上に表示される個々の物体に対応する画像符号化
データに対する復号化処理を、コンピュータにより行う
ためのプログラムを格納したデータ記憶媒体であって、
該プログラムが、コンピュータに、上記第1のビット列
を復号化して、上記2値形状信号より得られる動きベク
トルを生成する処理、上記第2のビット列を上記動きベ
クトルに基づいて復号化して、上記2値形状信号を構成
する2値データを生成する処理、及び、上記動きベクト
ル及び2値データに基づいて、上記2値形状信号を再生
する処理を行わせる構成となっているものである。
【0053】この発明(請求項18)に係るデータ記憶
媒体は、請求項8記載の符号化方法により得られる、表
示画面上に表示される個々の物体に対応する画像符号化
データに対する復号化処理を、コンピュータにより行わ
せるプログラムを格納したデータ記憶媒体であって、上
記プログラムが、コンピュータに、上記2値形状ビット
列を復号化して上記2値形状信号を生成する処理、上記
画素値ビット列を復号化して上記画素値信号を生成する
処理、及び、上記透過度ビット列を復号化して上記透過
度信号を生成する処理を行わせる構成となっているもの
である。
媒体は、請求項8記載の符号化方法により得られる、表
示画面上に表示される個々の物体に対応する画像符号化
データに対する復号化処理を、コンピュータにより行わ
せるプログラムを格納したデータ記憶媒体であって、上
記プログラムが、コンピュータに、上記2値形状ビット
列を復号化して上記2値形状信号を生成する処理、上記
画素値ビット列を復号化して上記画素値信号を生成する
処理、及び、上記透過度ビット列を復号化して上記透過
度信号を生成する処理を行わせる構成となっているもの
である。
【0054】この発明(請求項19)に係るデータ記憶
媒体は、表示画面上に表示される個々の物体に対応する
画像表示用データを物体毎に符号化して得られる画像符
号化データを記憶したデータ記憶媒体であって、上記画
像符号化データを、上記表示画面上の該当する物体を含
む所定領域内の各画素に対応する、その画素が物体内部
に位置するかあるいは物体外部に位置するかを示す2値
形状信号を符号化して得られた2値形状ビット列を含む
ものとし、該2値形状ビット列を、上記2値形状信号よ
り得られる、上記物体の表示画面上での動きを示す動き
ベクトル情報を、符号化して得られる第1のビット列
と、上記2値形状信号を上記動きベクトル情報に基づい
て符号化して得られる第2のビット列とを含み、該第1
及び第2のビット列を第1のビット列が第2のビット列
より先に伝送されるよう配列した構成としたものであ
る。
媒体は、表示画面上に表示される個々の物体に対応する
画像表示用データを物体毎に符号化して得られる画像符
号化データを記憶したデータ記憶媒体であって、上記画
像符号化データを、上記表示画面上の該当する物体を含
む所定領域内の各画素に対応する、その画素が物体内部
に位置するかあるいは物体外部に位置するかを示す2値
形状信号を符号化して得られた2値形状ビット列を含む
ものとし、該2値形状ビット列を、上記2値形状信号よ
り得られる、上記物体の表示画面上での動きを示す動き
ベクトル情報を、符号化して得られる第1のビット列
と、上記2値形状信号を上記動きベクトル情報に基づい
て符号化して得られる第2のビット列とを含み、該第1
及び第2のビット列を第1のビット列が第2のビット列
より先に伝送されるよう配列した構成としたものであ
る。
【0055】この発明(請求項20)に係るデータ記憶
媒体は、表示画面上に表示される個々の物体に対応する
画像表示用データを物体毎に符号化して得られる画像符
号化データを記憶したデータ記憶媒体であって、上記画
像符号化データを、上記表示画面上の該当する物体を含
む所定領域内の各画素に対応する、その画素が物体内部
に位置するかあるいは物体外部に位置するかを示す2値
形状信号を符号化して得られる2値形状ビット列と、上
記表示画面上の該当する物体を構成する各画素に対応す
る、該物体の画像の透明度に対応する透過度信号を符号
化して得られる透過度ビット列と、上記表示画面上の該
当する物体を構成する各画素に対応する、該物体をカラ
ー表示するための画素値信号を符号化して得られる画素
値ビット列とを含み、上記各ビット列を、該透過度ビッ
ト列が上記2値形状ビット列及び画素値ビット列より後
に伝送されるよう配列した構成としたものである。
媒体は、表示画面上に表示される個々の物体に対応する
画像表示用データを物体毎に符号化して得られる画像符
号化データを記憶したデータ記憶媒体であって、上記画
像符号化データを、上記表示画面上の該当する物体を含
む所定領域内の各画素に対応する、その画素が物体内部
に位置するかあるいは物体外部に位置するかを示す2値
形状信号を符号化して得られる2値形状ビット列と、上
記表示画面上の該当する物体を構成する各画素に対応す
る、該物体の画像の透明度に対応する透過度信号を符号
化して得られる透過度ビット列と、上記表示画面上の該
当する物体を構成する各画素に対応する、該物体をカラ
ー表示するための画素値信号を符号化して得られる画素
値ビット列とを含み、上記各ビット列を、該透過度ビッ
ト列が上記2値形状ビット列及び画素値ビット列より後
に伝送されるよう配列した構成としたものである。
【0056】この発明(請求項21)に係る画像伝送用
データ構造は、表示画面上に表示される個々の物体を含
む所定領域に対応する画像表示用データに、該所定領域
を分割するブロック毎に符号化処理を施して得られた画
像符号化データを、符号化処理順に並ぶ所定数のブロッ
クからなるスライス領域毎にまとめて伝送するための画
像伝送用データ構造であって、上記表示画面上の該当す
る物体を含む所定領域内の各画素に対応する、その画素
が物体内部に位置するかあるいは物体外部に位置するか
を示す2値形状信号を、符号化して得られる2値形状ビ
ット列と、上記表示画面上の該当する物体を構成する各
画素に対応する、該物体の透明度を示す透過度信号を符
号化して得られる透過度ビット列と、上記表示画面上の
該当する物体を構成する各画素に対応する、該物体をカ
ラー表示するための画素値信号を符号化して得られる画
素値ビット列とを、上記画像符号化データの一部として
含むとともに、上記画素値ビット列の先頭位置を示す画
素値同期信号及び透過度ビット列の先頭位置を示す透過
度同期信号を、上記画像符号化データの一部として含
み、該画素値ビット列及び透過度ビット列を、それぞれ
に対応する同期信号に続いて伝送されるよう配列したも
のである。
データ構造は、表示画面上に表示される個々の物体を含
む所定領域に対応する画像表示用データに、該所定領域
を分割するブロック毎に符号化処理を施して得られた画
像符号化データを、符号化処理順に並ぶ所定数のブロッ
クからなるスライス領域毎にまとめて伝送するための画
像伝送用データ構造であって、上記表示画面上の該当す
る物体を含む所定領域内の各画素に対応する、その画素
が物体内部に位置するかあるいは物体外部に位置するか
を示す2値形状信号を、符号化して得られる2値形状ビ
ット列と、上記表示画面上の該当する物体を構成する各
画素に対応する、該物体の透明度を示す透過度信号を符
号化して得られる透過度ビット列と、上記表示画面上の
該当する物体を構成する各画素に対応する、該物体をカ
ラー表示するための画素値信号を符号化して得られる画
素値ビット列とを、上記画像符号化データの一部として
含むとともに、上記画素値ビット列の先頭位置を示す画
素値同期信号及び透過度ビット列の先頭位置を示す透過
度同期信号を、上記画像符号化データの一部として含
み、該画素値ビット列及び透過度ビット列を、それぞれ
に対応する同期信号に続いて伝送されるよう配列したも
のである。
【0057】この発明(請求項22)は、請求項21記
載の画像伝送用データ構造において、上記画素値同期信
号及び画素値ビット列が上記透過度同期信号及び透過度
ビット列に続いて伝送されるよう、これらの同期信号及
びビット列が配列されているものである。
載の画像伝送用データ構造において、上記画素値同期信
号及び画素値ビット列が上記透過度同期信号及び透過度
ビット列に続いて伝送されるよう、これらの同期信号及
びビット列が配列されているものである。
【0058】この発明(請求項23)は、請求項21記
載の画像伝送用データ構造において、上記透過度同期信
号及び透過度ビット列が上記画素値同期信号及び画素値
ビット列に続いて伝送されるよう、これらの同期信号及
びビット列が配列されているものである。
載の画像伝送用データ構造において、上記透過度同期信
号及び透過度ビット列が上記画素値同期信号及び画素値
ビット列に続いて伝送されるよう、これらの同期信号及
びビット列が配列されているものである。
【0059】この発明(請求項24)に係る符号化方法
は、表示画面上に表示される個々の物体を含む所定領域
に対応する画像表示用データに、該所定領域を分割する
ブロック毎に符号化処理を施して画像符号化データを生
成し、該画像符号化データを、符号化処理順に並ぶ所定
数のブロックからなるスライス領域毎にまとめて出力す
る符号化方法であって、上記表示画面上の該当する物体
を含む所定領域内の各画素に対応する、その画素が物体
内部に位置するかあるいは物体外部に位置するかを示す
2値形状信号を、符号化して2値形状信号ビット列を生
成する処理と、上記表示画面上の該当する物体を構成す
る各画素に対応する、該物体をカラー表示するための画
素値信号を、符号化して画素値ビット列を生成する処理
と、上記表示画面上の該当する物体を構成する各画素に
対応する、該物体の画像の透明度を示す透過度信号を、
符号化して透過度ビット列を生成する処理と、上記画素
値ビット列の先頭位置を示す画素値同期信号及び透過度
ビット列の先頭位置を示す透過度同期信号を生成する処
理とを含み、該画素値ビット列及び透過度ビット列を、
これらのビット列がそれぞれに対応する同期信号に続い
て伝送されるよう配列して、上記画像符号化データの一
部として出力するものである。
は、表示画面上に表示される個々の物体を含む所定領域
に対応する画像表示用データに、該所定領域を分割する
ブロック毎に符号化処理を施して画像符号化データを生
成し、該画像符号化データを、符号化処理順に並ぶ所定
数のブロックからなるスライス領域毎にまとめて出力す
る符号化方法であって、上記表示画面上の該当する物体
を含む所定領域内の各画素に対応する、その画素が物体
内部に位置するかあるいは物体外部に位置するかを示す
2値形状信号を、符号化して2値形状信号ビット列を生
成する処理と、上記表示画面上の該当する物体を構成す
る各画素に対応する、該物体をカラー表示するための画
素値信号を、符号化して画素値ビット列を生成する処理
と、上記表示画面上の該当する物体を構成する各画素に
対応する、該物体の画像の透明度を示す透過度信号を、
符号化して透過度ビット列を生成する処理と、上記画素
値ビット列の先頭位置を示す画素値同期信号及び透過度
ビット列の先頭位置を示す透過度同期信号を生成する処
理とを含み、該画素値ビット列及び透過度ビット列を、
これらのビット列がそれぞれに対応する同期信号に続い
て伝送されるよう配列して、上記画像符号化データの一
部として出力するものである。
【0060】この発明(請求項25)に係る符号化装置
は、表示画面上に表示される個々の物体を含む所定領域
に対応する画像表示用データに、該所定領域を分割する
ブロック毎に符号化処理を施して画像符号化データを生
成し、該画像符号化データを、符号化処理順に並ぶ所定
数のブロックからなるスライス領域毎にまとめて出力す
る符号化装置であって、上記表示画面上の該当する物体
を含む所定領域内の各画素に対応する、その画素が物体
内部に位置するかあるいは物体外部に位置するかを示す
2値形状信号を、符号化して2値形状信号ビット列を形
成する2値形状符号化手段と、上記表示画面上の該当す
る物体を構成する各画素に対応する、該物体をカラー表
示するための画素値信号を、符号化して画素値ビット列
を生成する画素値符号化手段と、上記表示画面上の該当
する物体を構成する各画素に対応する、該物体の透明度
を示す透過度信号を、符号化して透過度ビット列を生成
する透過度符号化手段と、上記画素値ビット列の先頭位
置を示す画素値同期信号及び透過度ビット列の先頭位置
を示す透過度同期信号を生成する同期信号生成手段とを
備え、該画素値ビット列及び透過度ビット列を、これら
のビット列がそれぞれに対応する同期信号に続いて伝送
されるよう配列して出力するものである。
は、表示画面上に表示される個々の物体を含む所定領域
に対応する画像表示用データに、該所定領域を分割する
ブロック毎に符号化処理を施して画像符号化データを生
成し、該画像符号化データを、符号化処理順に並ぶ所定
数のブロックからなるスライス領域毎にまとめて出力す
る符号化装置であって、上記表示画面上の該当する物体
を含む所定領域内の各画素に対応する、その画素が物体
内部に位置するかあるいは物体外部に位置するかを示す
2値形状信号を、符号化して2値形状信号ビット列を形
成する2値形状符号化手段と、上記表示画面上の該当す
る物体を構成する各画素に対応する、該物体をカラー表
示するための画素値信号を、符号化して画素値ビット列
を生成する画素値符号化手段と、上記表示画面上の該当
する物体を構成する各画素に対応する、該物体の透明度
を示す透過度信号を、符号化して透過度ビット列を生成
する透過度符号化手段と、上記画素値ビット列の先頭位
置を示す画素値同期信号及び透過度ビット列の先頭位置
を示す透過度同期信号を生成する同期信号生成手段とを
備え、該画素値ビット列及び透過度ビット列を、これら
のビット列がそれぞれに対応する同期信号に続いて伝送
されるよう配列して出力するものである。
【0061】この発明(請求項26)に係る復号化方法
は、請求項24記載の符号化方法により得られる、表示
画面上に表示される個々の物体を含む所定領域に対応す
る画像符号化データに、該所定領域を分割するブロック
毎に復号化処理を施す復号化方法であって、上記2値形
状ビット列を復号化して上記2値形状信号を生成する処
理と、上記画素値ビット列を、これに対応する画素値同
期信号に基づいて上記画像符号化データから検出し、該
検出した画素値ビット列を復号化して上記画素値信号を
生成する処理と、上記透過度ビット列を、これに対応す
る透過度同期信号に基づいて上記画像符号化データから
検出し、該検出した透過度ビット列を復号化して上記透
過度信号を生成する処理とを含み、上記生成された各信
号に基づいて、表示画面上に表示される個々の物体に対
応する画像表示用データを再生するものである。
は、請求項24記載の符号化方法により得られる、表示
画面上に表示される個々の物体を含む所定領域に対応す
る画像符号化データに、該所定領域を分割するブロック
毎に復号化処理を施す復号化方法であって、上記2値形
状ビット列を復号化して上記2値形状信号を生成する処
理と、上記画素値ビット列を、これに対応する画素値同
期信号に基づいて上記画像符号化データから検出し、該
検出した画素値ビット列を復号化して上記画素値信号を
生成する処理と、上記透過度ビット列を、これに対応す
る透過度同期信号に基づいて上記画像符号化データから
検出し、該検出した透過度ビット列を復号化して上記透
過度信号を生成する処理とを含み、上記生成された各信
号に基づいて、表示画面上に表示される個々の物体に対
応する画像表示用データを再生するものである。
【0062】この発明(請求項27)に係る復号化装置
は、請求項24記載の符号化方法により得られる、表示
画面上に表示される個々の物体を含む所定領域に対応す
る画像符号化データに、該所定領域を分割するブロック
毎に復号化処理を施す復号化装置であって、上記2値形
状ビット列を復号化して上記2値形状信号を形成する第
1の復号化手段と、上記画素値ビット列を、これに対応
する画素値同期信号に基づいて上記画像符号化データか
ら検出し、該検出した画素値ビット列を復号化して上記
画素値信号を形成する第2の復号化手段と、上記透過度
ビット列を、これに対応する透過度同期信号に基づいて
上記画像符号化データから検出し、該検出した透過度ビ
ット列を復号化して上記透過度信号を形成する第3の復
号化手段とを備え、上記各復号化手段の出力に基づい
て、表示画面上に表示される個々の物体に対応する画像
表示用データを生成するものである。
は、請求項24記載の符号化方法により得られる、表示
画面上に表示される個々の物体を含む所定領域に対応す
る画像符号化データに、該所定領域を分割するブロック
毎に復号化処理を施す復号化装置であって、上記2値形
状ビット列を復号化して上記2値形状信号を形成する第
1の復号化手段と、上記画素値ビット列を、これに対応
する画素値同期信号に基づいて上記画像符号化データか
ら検出し、該検出した画素値ビット列を復号化して上記
画素値信号を形成する第2の復号化手段と、上記透過度
ビット列を、これに対応する透過度同期信号に基づいて
上記画像符号化データから検出し、該検出した透過度ビ
ット列を復号化して上記透過度信号を形成する第3の復
号化手段とを備え、上記各復号化手段の出力に基づい
て、表示画面上に表示される個々の物体に対応する画像
表示用データを生成するものである。
【0063】この発明(請求項28)に係るデータ記憶
媒体は、表示画面上に表示される個々の物体を含む所定
領域に対応する画像表示用データに、該所定領域を分割
するブロック毎に符号化処理を施して画像符号化データ
を生成し、該画像符号化データを、符号化処理順に並ぶ
所定数のブロックからなるスライス領域毎にまとめて出
力する処理を、コンピュータにより行うためのプログラ
ムを格納したデータ記憶媒体であって、上記プログラム
が、コンピュータに、上記表示画面上の該当する物体を
含む所定領域内の各画素に対応する、その画素が物体内
部に位置するかあるいは物体外部に位置するかを示す2
値形状信号を、符号化して2値形状ビット列を形成する
処理、上記表示画面上の該当する物体を構成する各画素
に対応する、該物体をカラー表示するための画素値信号
を、符号化して画素値ビット列を形成する処理、上記表
示画面上の該当する物体を構成する各画素に対応する、
該物体の透明度を示す透過度信号を、符号化して透過度
ビット列を形成する処理と、上記画素値ビット列の先頭
位置を示す画素値同期信号及び透過度ビット列の先頭位
置を示す透過度同期信号を生成する処理、及び、上記画
素値ビット列及び透過度ビット列を、これらのビット列
がそれぞれに対応する同期信号に続いて伝送されるよう
配列して出力する処理を行わせる構成となってるもので
ある。
媒体は、表示画面上に表示される個々の物体を含む所定
領域に対応する画像表示用データに、該所定領域を分割
するブロック毎に符号化処理を施して画像符号化データ
を生成し、該画像符号化データを、符号化処理順に並ぶ
所定数のブロックからなるスライス領域毎にまとめて出
力する処理を、コンピュータにより行うためのプログラ
ムを格納したデータ記憶媒体であって、上記プログラム
が、コンピュータに、上記表示画面上の該当する物体を
含む所定領域内の各画素に対応する、その画素が物体内
部に位置するかあるいは物体外部に位置するかを示す2
値形状信号を、符号化して2値形状ビット列を形成する
処理、上記表示画面上の該当する物体を構成する各画素
に対応する、該物体をカラー表示するための画素値信号
を、符号化して画素値ビット列を形成する処理、上記表
示画面上の該当する物体を構成する各画素に対応する、
該物体の透明度を示す透過度信号を、符号化して透過度
ビット列を形成する処理と、上記画素値ビット列の先頭
位置を示す画素値同期信号及び透過度ビット列の先頭位
置を示す透過度同期信号を生成する処理、及び、上記画
素値ビット列及び透過度ビット列を、これらのビット列
がそれぞれに対応する同期信号に続いて伝送されるよう
配列して出力する処理を行わせる構成となってるもので
ある。
【0064】この発明(請求項29)に係るデータ記憶
媒体は、請求項24記載の符号化方法により得られる、
表示画面上に表示される個々の物体を含む所定領域に対
応する画像符号化データを、該所定領域を分割するブロ
ック毎に復号化する処理を、コンピュータにより行わせ
るプログラムを格納したデータ記憶媒体であって、上記
プログラムが、コンピュータに、上記2値形状ビット列
を復号化して上記2値形状信号を形成する処理、上記画
素値ビット列を、これに対応する画素値同期信号に基づ
いて上記画像符号化データから検出し、該検出した画素
値ビット列を復号化して上記画素値信号を形成する処
理、及び、上記透過度ビット列を、これに対応する透過
度同期信号に基づいて上記画像符号化データから検出
し、該検出した透過度ビット列を復号化して上記透過度
信号を形成する処理を行わせる構成となっているもので
ある。
媒体は、請求項24記載の符号化方法により得られる、
表示画面上に表示される個々の物体を含む所定領域に対
応する画像符号化データを、該所定領域を分割するブロ
ック毎に復号化する処理を、コンピュータにより行わせ
るプログラムを格納したデータ記憶媒体であって、上記
プログラムが、コンピュータに、上記2値形状ビット列
を復号化して上記2値形状信号を形成する処理、上記画
素値ビット列を、これに対応する画素値同期信号に基づ
いて上記画像符号化データから検出し、該検出した画素
値ビット列を復号化して上記画素値信号を形成する処
理、及び、上記透過度ビット列を、これに対応する透過
度同期信号に基づいて上記画像符号化データから検出
し、該検出した透過度ビット列を復号化して上記透過度
信号を形成する処理を行わせる構成となっているもので
ある。
【0065】この発明(請求項30)に係るデータ記憶
媒体は、表示画面上に表示される個々の物体を含む所定
領域に対応する画像表示用データに、該所定領域を分割
するブロック毎に符号化処理を施して得られた画像符号
化データを記憶したデータ記憶媒体であって、上記画像
符号化データを、上記表示画面上の該当する物体を含む
所定領域内の各画素に対応する、その画素が物体内部に
位置するかあるいは物体外部に位置するかを示す2値形
状信号を、符号化して得られる2値形状ビット列と、上
記表示画面上の該当する物体を構成する各画素に対応す
る、該物体の透明度を示す透過度信号を、符号化して得
られる透過度ビット列と、上記表示画面上の該当する物
体を構成する各画素に対応する、該物体をカラー表示す
るための画素値信号を、符号化して得られる画素値ビッ
ト列とを、上記画像符号化データの一部として含むとと
もに、上記画素値ビット列の先頭位置を示す画素値同期
信号及び透過度ビット列の先頭位置を示す透過度同期信
号を、上記画像符号化データの一部として含み、該画素
値ビット列及び透過度ビット列を、それぞれに対応する
同期信号に続いて伝送されるよう配列した構成としたも
のである。
媒体は、表示画面上に表示される個々の物体を含む所定
領域に対応する画像表示用データに、該所定領域を分割
するブロック毎に符号化処理を施して得られた画像符号
化データを記憶したデータ記憶媒体であって、上記画像
符号化データを、上記表示画面上の該当する物体を含む
所定領域内の各画素に対応する、その画素が物体内部に
位置するかあるいは物体外部に位置するかを示す2値形
状信号を、符号化して得られる2値形状ビット列と、上
記表示画面上の該当する物体を構成する各画素に対応す
る、該物体の透明度を示す透過度信号を、符号化して得
られる透過度ビット列と、上記表示画面上の該当する物
体を構成する各画素に対応する、該物体をカラー表示す
るための画素値信号を、符号化して得られる画素値ビッ
ト列とを、上記画像符号化データの一部として含むとと
もに、上記画素値ビット列の先頭位置を示す画素値同期
信号及び透過度ビット列の先頭位置を示す透過度同期信
号を、上記画像符号化データの一部として含み、該画素
値ビット列及び透過度ビット列を、それぞれに対応する
同期信号に続いて伝送されるよう配列した構成としたも
のである。
【0066】
【発明の実施の形態】まず、本発明の着眼点及び基本原
理について説明する。本件発明者は、表示画面上のある
物体を含む所定領域内の各画素について設定されている
2値形状信号は、各画素が物体内部に位置するか物体外
部に位置するかを示すものであるが、この2値形状信号
から、現画面と前画面との間での該物体の動きを示す動
きベクトルを生成可能であり、しかもこの2値形状信号
に関する動きベクトルによりある程度物体の画像形状を
再生できることに着目し、この動きベクトルをできるだ
け伝送エラーの影響を受けることなく復号化可能な画像
伝送用データ構造を発明した。
理について説明する。本件発明者は、表示画面上のある
物体を含む所定領域内の各画素について設定されている
2値形状信号は、各画素が物体内部に位置するか物体外
部に位置するかを示すものであるが、この2値形状信号
から、現画面と前画面との間での該物体の動きを示す動
きベクトルを生成可能であり、しかもこの2値形状信号
に関する動きベクトルによりある程度物体の画像形状を
再生できることに着目し、この動きベクトルをできるだ
け伝送エラーの影響を受けることなく復号化可能な画像
伝送用データ構造を発明した。
【0067】この発明に係る画像伝送用データ構造は、
2値形状信号を、これから得られる動きベクトル情報と
該2値形状信号を構成する2値データとに分け、該動き
ベクトル情報を符号化して得られた第1のビット列を、
2値データを符号化して得られた第2のビット列より先
に伝送されるよう、これらのビット列を配列したもので
ある。
2値形状信号を、これから得られる動きベクトル情報と
該2値形状信号を構成する2値データとに分け、該動き
ベクトル情報を符号化して得られた第1のビット列を、
2値データを符号化して得られた第2のビット列より先
に伝送されるよう、これらのビット列を配列したもので
ある。
【0068】また、本件発明者は、物体の画像表示用デ
ータの符号化処理が、表示画面上のある物体を含む所定
領域を複数に分割したブロック単位で行われることか
ら、符号化した画像表示用データを所定数のブロック分
まとめて伝送することが可能であり、このような伝送を
行うことにより、伝送エラーの再生画像品質への影響が
低減できることを発明した。この発明に係る画像伝送用
データ構造は、上記第1のビット列を、2値形状信号に
関する動きベクトル情報を、所定数のブロックに相当す
る分だけ符号化して得られたものとし、第2のビット列
を、2値形状信号を構成する2値データ上記動きベクト
ルに基づいて所定数のブロックに相当する分だけ符号化
して得られたものとしたものである。
ータの符号化処理が、表示画面上のある物体を含む所定
領域を複数に分割したブロック単位で行われることか
ら、符号化した画像表示用データを所定数のブロック分
まとめて伝送することが可能であり、このような伝送を
行うことにより、伝送エラーの再生画像品質への影響が
低減できることを発明した。この発明に係る画像伝送用
データ構造は、上記第1のビット列を、2値形状信号に
関する動きベクトル情報を、所定数のブロックに相当す
る分だけ符号化して得られたものとし、第2のビット列
を、2値形状信号を構成する2値データ上記動きベクト
ルに基づいて所定数のブロックに相当する分だけ符号化
して得られたものとしたものである。
【0069】さらに、本件発明者は、符号化された画像
表示用データ(画像符号化データ)を復号化して画像表
示を行う場合、画像品質を維持する上では、物体の画像
の透明度に対応する透過度信号より、物体をカラー表示
するための画素値信号の方が重要である点に気づき、M
PEG4でMPEG1,2との互換性を考慮して透過度
信号の符号化データを画素値信号の符号化データより先
に伝送していた伝送順序を、入れ換えることを発明し
た。この発明に係る画像伝送用データ構造は、上記画素
値信号を符号化した画素値ビット列、及び透過度信号を
符号化した透過度ビットを、画素値ビット列が透過度ビ
ット列より先に伝送されるよう配列したものである。
表示用データ(画像符号化データ)を復号化して画像表
示を行う場合、画像品質を維持する上では、物体の画像
の透明度に対応する透過度信号より、物体をカラー表示
するための画素値信号の方が重要である点に気づき、M
PEG4でMPEG1,2との互換性を考慮して透過度
信号の符号化データを画素値信号の符号化データより先
に伝送していた伝送順序を、入れ換えることを発明し
た。この発明に係る画像伝送用データ構造は、上記画素
値信号を符号化した画素値ビット列、及び透過度信号を
符号化した透過度ビットを、画素値ビット列が透過度ビ
ット列より先に伝送されるよう配列したものである。
【0070】またさらに、本件発明者は、近年提案され
ている、符号化された画像表示用データ(画像符号化デ
ータ)をマクロブロックスライス毎に伝送するためのデ
ータ構造では、画素値信号に対応する画素値ビット列の
直前に、該画素値ビット列に対応する再同期信号が配列
されているため、再同期信号の前で伝送エラーが発生し
た時でも、再同期信号から伝送エラーの発生位置までの
符号化データを検出できる点に着目し、伝送エラーの発
生時でも、重要な符号化データの復号化処理に支障をき
たすのを極力回避することができるデータ構造を発明し
た。
ている、符号化された画像表示用データ(画像符号化デ
ータ)をマクロブロックスライス毎に伝送するためのデ
ータ構造では、画素値信号に対応する画素値ビット列の
直前に、該画素値ビット列に対応する再同期信号が配列
されているため、再同期信号の前で伝送エラーが発生し
た時でも、再同期信号から伝送エラーの発生位置までの
符号化データを検出できる点に着目し、伝送エラーの発
生時でも、重要な符号化データの復号化処理に支障をき
たすのを極力回避することができるデータ構造を発明し
た。
【0071】この発明に係る画像伝送用データ構造は、
透過度ビット列に対応する再同期信号と、これに続く透
過度ビット列が、画素値ビット列の直後、あるいは画素
値ビット列に対応する再同期信号の直前に伝送されるよ
う、これらの再同期信号及びビット列を配置したもので
ある。
透過度ビット列に対応する再同期信号と、これに続く透
過度ビット列が、画素値ビット列の直後、あるいは画素
値ビット列に対応する再同期信号の直前に伝送されるよ
う、これらの再同期信号及びビット列を配置したもので
ある。
【0072】以下、本発明の実施の形態について説明す
る。 実施の形態1.図1は、本発明の実施の形態1による画
像伝送用データ構造を説明するための図である。図にお
いて、1は、表示画面上の物体に対応する画像表示用デ
ータをオブジェクト単位で符号化して伝送する場合の、
伝送の繰り返し単位となる単位ビットストリームであ
る。
る。 実施の形態1.図1は、本発明の実施の形態1による画
像伝送用データ構造を説明するための図である。図にお
いて、1は、表示画面上の物体に対応する画像表示用デ
ータをオブジェクト単位で符号化して伝送する場合の、
伝送の繰り返し単位となる単位ビットストリームであ
る。
【0073】上記単位ビットストリーム1は、ヘッダビ
ット列Dh,2値形状ビット列D2,動きベクトルビット
列Dgtmv,画素値ビット列Dg,透過度ビット列Dt
を、これらのビット列がこの順序で繰り返し伝送される
よう配列されている。また、該2値形状ビット列D2
は、2値形状動きベクトルビット列D2mvと2値データ
ビット列D2otとに分かれており、これらのビット列D
2mv及びD2otは、該2値形状動きベクトルビット列D
2mvが2値形状の他のビット列D2otより先に伝送され
るよう配列されている。
ット列Dh,2値形状ビット列D2,動きベクトルビット
列Dgtmv,画素値ビット列Dg,透過度ビット列Dt
を、これらのビット列がこの順序で繰り返し伝送される
よう配列されている。また、該2値形状ビット列D2
は、2値形状動きベクトルビット列D2mvと2値データ
ビット列D2otとに分かれており、これらのビット列D
2mv及びD2otは、該2値形状動きベクトルビット列D
2mvが2値形状の他のビット列D2otより先に伝送され
るよう配列されている。
【0074】上記2値形状ビット列D2は、上記表示画
面上の該当する物体を含む所定領域内の各画素について
設定された、その画素が物体内部に位置するかあるいは
物体外部に位置するかを示す2値形状信号を、符号化し
て得られる符号化データである。上記2値形状動きベク
トルビット列D2mvは、該2値形状信号に関する動き情
報(動きベクトル情報)を符号化して得られた符号化デ
ータ、上記2値データビット列D2otは、該2値形状信
号を構成する2値データを上記動きベクトルに基づいて
符号化して得られた符号化データである。
面上の該当する物体を含む所定領域内の各画素について
設定された、その画素が物体内部に位置するかあるいは
物体外部に位置するかを示す2値形状信号を、符号化し
て得られる符号化データである。上記2値形状動きベク
トルビット列D2mvは、該2値形状信号に関する動き情
報(動きベクトル情報)を符号化して得られた符号化デ
ータ、上記2値データビット列D2otは、該2値形状信
号を構成する2値データを上記動きベクトルに基づいて
符号化して得られた符号化データである。
【0075】また、上記透過度ビット列Dtは、上記表
示画面上の上記物体を構成する各画素に対応する、該物
体の画像の透明度に対応する透過度信号を符号化して得
られた符号化データ、画素値ビット列Dgは、上記表示
画面上の上記物体を構成する各画素に対応する、該物体
をカラー表示するための画素値信号を符号化して得られ
た符号化データである。さらに、動きベクトルビット列
Dgtmvは、上記画素値信号から得られる、該画素値信号
及び透過度信号に共通する、上記物体の表示画面上での
動きを示す動きベクトルを符号化して得られた符号化デ
ータであり、上記ヘッダビット列Dhは、上記各ビット
列に関連する関連情報を符号化して得られた符号化デー
タである。
示画面上の上記物体を構成する各画素に対応する、該物
体の画像の透明度に対応する透過度信号を符号化して得
られた符号化データ、画素値ビット列Dgは、上記表示
画面上の上記物体を構成する各画素に対応する、該物体
をカラー表示するための画素値信号を符号化して得られ
た符号化データである。さらに、動きベクトルビット列
Dgtmvは、上記画素値信号から得られる、該画素値信号
及び透過度信号に共通する、上記物体の表示画面上での
動きを示す動きベクトルを符号化して得られた符号化デ
ータであり、上記ヘッダビット列Dhは、上記各ビット
列に関連する関連情報を符号化して得られた符号化デー
タである。
【0076】ここで2値形状信号,画面間信号,透過度
信号の符号化処理は、物体に対応するオブジェクト領域
を分割するマクロブロック毎に行われ、単位ビットスト
リーム1は所定数のマクロブロックに対応する各ビット
列Dh,D2,Dgtmv,Dg,Dtからなる。なお、上
記ヘッダビット列Dhには、各マクロブロックに対する
2値形状ビット列D2が画面間符号化処理により得られ
たものか、画面内符号化処理により得られたものかを示
す情報(イントラ・インター情報)が含まれている。
信号の符号化処理は、物体に対応するオブジェクト領域
を分割するマクロブロック毎に行われ、単位ビットスト
リーム1は所定数のマクロブロックに対応する各ビット
列Dh,D2,Dgtmv,Dg,Dtからなる。なお、上
記ヘッダビット列Dhには、各マクロブロックに対する
2値形状ビット列D2が画面間符号化処理により得られ
たものか、画面内符号化処理により得られたものかを示
す情報(イントラ・インター情報)が含まれている。
【0077】図2は本実施の形態1の画像伝送用データ
構造を扱うシステムにおける符号化及び復号化処理を概
念的に示す図である。図において、100はMPEG4
に準拠した、本発明の実施の形態1による画像表示用信
号の伝送システムであり、カメラ(撮像装置)やコンピ
ュータ等、異なる画像データ供給源からの画像表示用信
号を受け、それぞれに上述した各マクロブロック単位で
符号化処理を施し、さらに多重化して伝送する符号化装
置100aと、該符号化装置100aからの伝送データ
を受け、これを各画像データ供給源に対応する画像符号
化信号に分離し、それぞれに各マクロブロック単位で復
号化処理を施し、復号化した画像データを合成する復号
化装置100bとを備えている。
構造を扱うシステムにおける符号化及び復号化処理を概
念的に示す図である。図において、100はMPEG4
に準拠した、本発明の実施の形態1による画像表示用信
号の伝送システムであり、カメラ(撮像装置)やコンピ
ュータ等、異なる画像データ供給源からの画像表示用信
号を受け、それぞれに上述した各マクロブロック単位で
符号化処理を施し、さらに多重化して伝送する符号化装
置100aと、該符号化装置100aからの伝送データ
を受け、これを各画像データ供給源に対応する画像符号
化信号に分離し、それぞれに各マクロブロック単位で復
号化処理を施し、復号化した画像データを合成する復号
化装置100bとを備えている。
【0078】上記符号化装置100aは、コンピュータ
グラフィック処理により作成された、表示画面上に表示
すべき表示オブジェクトであるLOGOの画像Aの表示
用データを符号化する符号化回路110aと、コンピュ
ータグラフィック処理により作成された、表示画面上に
表示すべき表示オブジェクトである魚の画像Bの表示用
データを符号化する符号化回路110bと、カメラ(撮
像装置)からの映像である背景画像Cの表示用データを
符号化する符号化回路110cとを有している。また、
上記符号化装置100aは、各符号化回路110a〜1
10cにて符号化されたデータを多重化する多重化処理
部120を有し、多重化処理部120にて多重化された
データを出力する構成となっている。
グラフィック処理により作成された、表示画面上に表示
すべき表示オブジェクトであるLOGOの画像Aの表示
用データを符号化する符号化回路110aと、コンピュ
ータグラフィック処理により作成された、表示画面上に
表示すべき表示オブジェクトである魚の画像Bの表示用
データを符号化する符号化回路110bと、カメラ(撮
像装置)からの映像である背景画像Cの表示用データを
符号化する符号化回路110cとを有している。また、
上記符号化装置100aは、各符号化回路110a〜1
10cにて符号化されたデータを多重化する多重化処理
部120を有し、多重化処理部120にて多重化された
データを出力する構成となっている。
【0079】上記復号化装置100bは、該符号化装置
100aからの伝送データを各画像データ供給源に対応
する画像符号化信号に分離する分離処理部130と、分
離された画像A,画像B,画像Cに対応する符号化デー
タを復号化する復号化回路140a〜140cと、復号
化された各画像A,B,Cのデータを合成する合成処理
部150とを有している。
100aからの伝送データを各画像データ供給源に対応
する画像符号化信号に分離する分離処理部130と、分
離された画像A,画像B,画像Cに対応する符号化デー
タを復号化する復号化回路140a〜140cと、復号
化された各画像A,B,Cのデータを合成する合成処理
部150とを有している。
【0080】図3は上記各符号化回路110a〜110
cの具体的な回路構成を示している。各符号化回路はそ
れぞれ、2値形状信号S2 の符号化部10と、透過度信
号Stの符号化部20と、画素値信号Sgの符号化部3
0とから構成されている。上記2値形状信号の符号化部
10は、上記各オブジェクトの画像に対応する2値形状
信号を受け、この信号に関する動き情報(2値形状動き
ベクトル)を検出する2値形状動き検出回路11と、そ
の検出出力を受け動き補償を行う2値形状動き補償回路
12と、2値形状信号S2を受け、動き補償回路12の
出力に基づいて、上記2値形状信号(厳密には、これを
構成する2値データ)S2に算術符号化処理を施すとと
もに、上記イントラ・インター情報を出力する2値形状
符号化回路14とを有している。さらに、この符号化部
10は、上記2値形状動きベクトルを可変長符号化する
可変長符号化回路16,該符号化回路14にて生成され
た、2値形状信号についてのヘッダデータを可変長符号
化する可変長符号化回路17,及び該符号化回路14に
て生成された2値形状信号を可変長符号化する可変長符
号化回路18を有している。
cの具体的な回路構成を示している。各符号化回路はそ
れぞれ、2値形状信号S2 の符号化部10と、透過度信
号Stの符号化部20と、画素値信号Sgの符号化部3
0とから構成されている。上記2値形状信号の符号化部
10は、上記各オブジェクトの画像に対応する2値形状
信号を受け、この信号に関する動き情報(2値形状動き
ベクトル)を検出する2値形状動き検出回路11と、そ
の検出出力を受け動き補償を行う2値形状動き補償回路
12と、2値形状信号S2を受け、動き補償回路12の
出力に基づいて、上記2値形状信号(厳密には、これを
構成する2値データ)S2に算術符号化処理を施すとと
もに、上記イントラ・インター情報を出力する2値形状
符号化回路14とを有している。さらに、この符号化部
10は、上記2値形状動きベクトルを可変長符号化する
可変長符号化回路16,該符号化回路14にて生成され
た、2値形状信号についてのヘッダデータを可変長符号
化する可変長符号化回路17,及び該符号化回路14に
て生成された2値形状信号を可変長符号化する可変長符
号化回路18を有している。
【0081】また、この符号化部10では、2値形状符
号化回路14にて符号化された2値形状信号は、復号化
されて動き補償用メモリ13に格納されるようになって
おり、このメモリ内の復号化された2値形状信号は、上
記2値形状動き検出回路11及び2値形状動き補償回路
12に出力され、動き検出処理及び動き補償処理に用い
られるようになっている。さらに、この符号化部10で
は、2値形状動き検出回路11からの2値形状信号に関
する動きベクトル(2値形状動きベクトル)の出力を制
御するスイッチ15が、上記2値形状動き検出回路11
と可変長符号化回路16との間に配設されている。この
スイッチ15は、上記イントラ・インター情報に基づい
て各マクロブロックに対する符号化処理が画面間符号化
処理である場合のみONとなるよう2値形状符号化回路
14により開閉制御されるようになっている。
号化回路14にて符号化された2値形状信号は、復号化
されて動き補償用メモリ13に格納されるようになって
おり、このメモリ内の復号化された2値形状信号は、上
記2値形状動き検出回路11及び2値形状動き補償回路
12に出力され、動き検出処理及び動き補償処理に用い
られるようになっている。さらに、この符号化部10で
は、2値形状動き検出回路11からの2値形状信号に関
する動きベクトル(2値形状動きベクトル)の出力を制
御するスイッチ15が、上記2値形状動き検出回路11
と可変長符号化回路16との間に配設されている。この
スイッチ15は、上記イントラ・インター情報に基づい
て各マクロブロックに対する符号化処理が画面間符号化
処理である場合のみONとなるよう2値形状符号化回路
14により開閉制御されるようになっている。
【0082】上記画素値信号Sgの符号化部30は、上
記各オブジェクトの画像に対応する画素値信号Sg、及
び上記符号化された2値形状信号の復号化出力を受け、
画素値信号に関する動き情報を、画素値信号及び透過度
信号についての動きベクトル(画素値・透過度動きベク
トル)として検出する画素値動き検出回路31と、その
検出出力を受けて動き補償を行う画素値動き補償回路3
2と、画素値信号Sgを受け、上記2値形状信号の復号
化出力,及び動き補償回路32の出力に基づいて、画素
値信号SgをDCT変換しさらに量子化する符号化処理
を行う画素値符号化回路34とを有している。さらに、
この符号化部30は、上記画素値・透過度動きベクトル
を可変長符号化する可変長符号化回路36,及び該符号
化回路34にて符号化された画素値信号をさらに可変長
符号化する可変長符号化回路35を有している。
記各オブジェクトの画像に対応する画素値信号Sg、及
び上記符号化された2値形状信号の復号化出力を受け、
画素値信号に関する動き情報を、画素値信号及び透過度
信号についての動きベクトル(画素値・透過度動きベク
トル)として検出する画素値動き検出回路31と、その
検出出力を受けて動き補償を行う画素値動き補償回路3
2と、画素値信号Sgを受け、上記2値形状信号の復号
化出力,及び動き補償回路32の出力に基づいて、画素
値信号SgをDCT変換しさらに量子化する符号化処理
を行う画素値符号化回路34とを有している。さらに、
この符号化部30は、上記画素値・透過度動きベクトル
を可変長符号化する可変長符号化回路36,及び該符号
化回路34にて符号化された画素値信号をさらに可変長
符号化する可変長符号化回路35を有している。
【0083】また、この符号化部30では、画素値符号
化回路34にて符号化された画素値信号は、復号化され
て動き補償用メモリ33に格納されるようになってお
り、このメモリ33内の復号化された画素値信号は、上
記画素値動き検出回路31及び画素値動き補償回路32
に出力され、動き検出処理及び動き補償処理に用いられ
るようになっている。
化回路34にて符号化された画素値信号は、復号化され
て動き補償用メモリ33に格納されるようになってお
り、このメモリ33内の復号化された画素値信号は、上
記画素値動き検出回路31及び画素値動き補償回路32
に出力され、動き検出処理及び動き補償処理に用いられ
るようになっている。
【0084】上記透過度信号Stの符号化部20は、上
記画素値動き検出回路31の出力を受けて透過度動き補
償を行う透過度動き補償回路22と、上記各オブジェク
トの画像に対応する透過度信号Stを受け、上記透過度
動き補償出力及び上記符号化された2値形状信号の復号
化出力に基づいて、透過度信号StをDCT変換しさら
に量子化する符号化処理を行う透過度符号化回路24
と、該回路24の出力をさらに可変長符号化する可変長
符号化回路25とを有している。
記画素値動き検出回路31の出力を受けて透過度動き補
償を行う透過度動き補償回路22と、上記各オブジェク
トの画像に対応する透過度信号Stを受け、上記透過度
動き補償出力及び上記符号化された2値形状信号の復号
化出力に基づいて、透過度信号StをDCT変換しさら
に量子化する符号化処理を行う透過度符号化回路24
と、該回路24の出力をさらに可変長符号化する可変長
符号化回路25とを有している。
【0085】また、この符号化部20では、透過度符号
化回路24にて符号化された透過度信号は、復号化され
て動き補償用メモリ23に格納されるようになってお
り、このメモリ23内の復号化された透過度信号は、上
記透過度動き検出回路22に出力され、動き補償処理に
用いられるようになっている。
化回路24にて符号化された透過度信号は、復号化され
て動き補償用メモリ23に格納されるようになってお
り、このメモリ23内の復号化された透過度信号は、上
記透過度動き検出回路22に出力され、動き補償処理に
用いられるようになっている。
【0086】図4は上記各復号化回路140a〜140
cの具体的な回路構成を示している。各復号化回路はそ
れぞれ、2値形状信号に対応する復号化部50と、透過
度信号に対応する復号化部60と、画素値信号に対応す
る復号化部70とから構成されている。
cの具体的な回路構成を示している。各復号化回路はそ
れぞれ、2値形状信号に対応する復号化部50と、透過
度信号に対応する復号化部60と、画素値信号に対応す
る復号化部70とから構成されている。
【0087】上記2値形状信号に対応する復号化部50
は、符号化装置100aからの2値形状動きベクトルの
符号化データ(2値形状動きベクトルビット列)D2m
v,ヘッダの符号化データ(ヘッダビット列)Dh,及
び2値データの符号化データ(2値データビット列)D
2otに対応して設けられ、それぞれの符号化データに対
して可変長復号化処理を施す可変長復号化回路55,5
6,57を有する。またこの復号化部50は、上記可変
長復号化回路55の出力を受け、2値形状の動き補償を
行う2値形状動き補償回路52と、その動き補償出力,
該復号化回路56からのヘッダデータ及び該復号化回路
57からの2値データを受け、算術符号化処理により2
値形状信号S2 ' を再生する復号化処理を行う2値形状
復号化回路51とを有している。この符号化部50で
は、2値形状復号化回路51にて復号化された2値形状
信号S2 ' は、動き補償用メモリ53に格納されるよう
になっており、このメモリ内の2値形状信号は、上記2
値形状動き補償回路52に出力され、動き補償処理に用
いられるようになっている。さらに、この符号化部50
では、2値形状動き補償回路52と可変長符号化回路5
5との間にスイッチ54が配設されており、このスイッ
チ54は、上記イントラ・インター情報に基づいて各マ
クロブロックに対する符号化処理が画面間符号化処理で
ある場合のみONとなるよう2値形状復号化回路51に
より開閉制御されるようになっている。
は、符号化装置100aからの2値形状動きベクトルの
符号化データ(2値形状動きベクトルビット列)D2m
v,ヘッダの符号化データ(ヘッダビット列)Dh,及
び2値データの符号化データ(2値データビット列)D
2otに対応して設けられ、それぞれの符号化データに対
して可変長復号化処理を施す可変長復号化回路55,5
6,57を有する。またこの復号化部50は、上記可変
長復号化回路55の出力を受け、2値形状の動き補償を
行う2値形状動き補償回路52と、その動き補償出力,
該復号化回路56からのヘッダデータ及び該復号化回路
57からの2値データを受け、算術符号化処理により2
値形状信号S2 ' を再生する復号化処理を行う2値形状
復号化回路51とを有している。この符号化部50で
は、2値形状復号化回路51にて復号化された2値形状
信号S2 ' は、動き補償用メモリ53に格納されるよう
になっており、このメモリ内の2値形状信号は、上記2
値形状動き補償回路52に出力され、動き補償処理に用
いられるようになっている。さらに、この符号化部50
では、2値形状動き補償回路52と可変長符号化回路5
5との間にスイッチ54が配設されており、このスイッ
チ54は、上記イントラ・インター情報に基づいて各マ
クロブロックに対する符号化処理が画面間符号化処理で
ある場合のみONとなるよう2値形状復号化回路51に
より開閉制御されるようになっている。
【0088】上記画素値信号Dgに対応する復号化部7
0は、画素値・透過度動きベクトルの符号化データ(動
きベクトルビット列)Dgtmv及び上記画素値信号の符号
化データ(画素値ビット列)Dgに対応して設けられ、
これらの符号化データをそれぞれ可変長復号化する可変
長復号化回路75,74を有している。またこの復号化
部70は、上記可変長復号化回路75の出力を受け、上
記2値形状信号S2 'に基づいて画素値の動き補償を行
う画素値動き補償回路72と、上記2値形状信号S2 '
及び動き補償出力に基づいて、上記可変長復号化回路7
4の出力を逆量子化しさらに逆DCT変換して画素値信
号Sg' を再生する復号化処理を行う画素値復号化回路
71とを有している。また該符号化部70では、画素値
復号化回路71からの画素値信号Sg' を格納する動き
補償用メモリ73を有しており、このメモリ内の画素値
信号は、上記画素値動き補償回路72に出力されて動き
補償処理に用いられるようになっている。
0は、画素値・透過度動きベクトルの符号化データ(動
きベクトルビット列)Dgtmv及び上記画素値信号の符号
化データ(画素値ビット列)Dgに対応して設けられ、
これらの符号化データをそれぞれ可変長復号化する可変
長復号化回路75,74を有している。またこの復号化
部70は、上記可変長復号化回路75の出力を受け、上
記2値形状信号S2 'に基づいて画素値の動き補償を行
う画素値動き補償回路72と、上記2値形状信号S2 '
及び動き補償出力に基づいて、上記可変長復号化回路7
4の出力を逆量子化しさらに逆DCT変換して画素値信
号Sg' を再生する復号化処理を行う画素値復号化回路
71とを有している。また該符号化部70では、画素値
復号化回路71からの画素値信号Sg' を格納する動き
補償用メモリ73を有しており、このメモリ内の画素値
信号は、上記画素値動き補償回路72に出力されて動き
補償処理に用いられるようになっている。
【0089】上記透過度信号の符号化データ(透過度ビ
ット列)Dtの復号化部60は、上記透過度信号の符号
化データDtを可変長復号化する可変長復号化回路64
と、上記可変長復号化回路75の出力を受け、上記2値
形状信号S2 ' に基づいて、透過度に関する動き補償を
行う透過度動き補償回路62と、上記2値形状信号S2
' 及び該動き補償出力に基づいて、上記可変長復号化
回路64の出力を逆量子化しさらに逆DCT変換して透
過度信号St' を再生する復号化処理を行う透過度復号
化回路61とを有している。また、この符号化部60
は、透過度復号化回路61からの透過度信号St' を格
納する動き補償用メモリ63を有しており、このメモリ
内の透過度信号は、上記透過度動き補償回路62に出力
され、動き補償処理に用いられるようになっている。
ット列)Dtの復号化部60は、上記透過度信号の符号
化データDtを可変長復号化する可変長復号化回路64
と、上記可変長復号化回路75の出力を受け、上記2値
形状信号S2 ' に基づいて、透過度に関する動き補償を
行う透過度動き補償回路62と、上記2値形状信号S2
' 及び該動き補償出力に基づいて、上記可変長復号化
回路64の出力を逆量子化しさらに逆DCT変換して透
過度信号St' を再生する復号化処理を行う透過度復号
化回路61とを有している。また、この符号化部60
は、透過度復号化回路61からの透過度信号St' を格
納する動き補償用メモリ63を有しており、このメモリ
内の透過度信号は、上記透過度動き補償回路62に出力
され、動き補償処理に用いられるようになっている。
【0090】次に動作について説明する。例えば、画像
表示用信号として、コンピュータグラフィック処理によ
り作成された画像A及び画像Bの表示用信号、ビデオカ
メラからの映像信号にクロマティ処理が施された画像C
の表示用信号が符号化装置100aに供給されると、各
画像表示用データの供給源に対応した符号化回路110
a〜110cでは、画像表示用データの符号化処理が行
われる。
表示用信号として、コンピュータグラフィック処理によ
り作成された画像A及び画像Bの表示用信号、ビデオカ
メラからの映像信号にクロマティ処理が施された画像C
の表示用信号が符号化装置100aに供給されると、各
画像表示用データの供給源に対応した符号化回路110
a〜110cでは、画像表示用データの符号化処理が行
われる。
【0091】例えば、表示画面上のオブジェクトである
魚の画像Bを表示するための画像表示用データには、2
値形状信号S2,透過度信号St,画素値信号Sgが含
まれており、これらの信号が、上記各符号化部10,2
0,30にて符号化処理される。ここで、画像Bに対応
するオブジェクト領域Rは例えば図8(a) に示すよう
に、12個のマクロブロックMbに分割され、各マクロ
ブロック毎に符号化処理が施される。ここで1つのマク
ロブロックMbは、表示画面上における、画素を縦16
個,横16個にマトリクス状に配列してなる領域に相当
している。
魚の画像Bを表示するための画像表示用データには、2
値形状信号S2,透過度信号St,画素値信号Sgが含
まれており、これらの信号が、上記各符号化部10,2
0,30にて符号化処理される。ここで、画像Bに対応
するオブジェクト領域Rは例えば図8(a) に示すよう
に、12個のマクロブロックMbに分割され、各マクロ
ブロック毎に符号化処理が施される。ここで1つのマク
ロブロックMbは、表示画面上における、画素を縦16
個,横16個にマトリクス状に配列してなる領域に相当
している。
【0092】図5は、上記2値形状信号S2,透過度信
号St,画素値信号Sgの符号化処理を示すフローであ
り、この図5に示すように、まず、画像表示用データを
構成する2値形状信号S2に対して上記符号化部10に
て符号化処理が行われる。
号St,画素値信号Sgの符号化処理を示すフローであ
り、この図5に示すように、まず、画像表示用データを
構成する2値形状信号S2に対して上記符号化部10に
て符号化処理が行われる。
【0093】すなわち、まず、2値形状動き検出回路1
1にて、各マクロブロックの画像表示用データについ
て、これに含まれる2値形状信号S2、及びメモリ13
に格納されている前画面の対応する2値形状信号(以
下、格納2値形状信号という。)に基づいて2値形状に
関する動きベクトルを検出する(ステップS1)。続い
て、2値形状動き補償回路12にて、この2値形状動き
ベクトル及び上記格納2値形状信号に基づいて、2値形
状信号の動き補償を行う(ステップS2)。さらに、2
値形状符号化回路14にて、2値形状動き補償回路の出
力(動き補償データ)に基づいて、2値形状信号(厳密
には2値形状信号を構成する2値データ)S2 に対して
算術符号化処理を施す(ステップS3)。
1にて、各マクロブロックの画像表示用データについ
て、これに含まれる2値形状信号S2、及びメモリ13
に格納されている前画面の対応する2値形状信号(以
下、格納2値形状信号という。)に基づいて2値形状に
関する動きベクトルを検出する(ステップS1)。続い
て、2値形状動き補償回路12にて、この2値形状動き
ベクトル及び上記格納2値形状信号に基づいて、2値形
状信号の動き補償を行う(ステップS2)。さらに、2
値形状符号化回路14にて、2値形状動き補償回路の出
力(動き補償データ)に基づいて、2値形状信号(厳密
には2値形状信号を構成する2値データ)S2 に対して
算術符号化処理を施す(ステップS3)。
【0094】そして、ステップS4では、上記2値形状
信号S2に対するステップS1〜S3の処理が、所定数
(例えば、図8(b) の横1列に対応する4つ)のマクロ
ブロックについて行われたか否かを判定し、処理された
マクロブロックの個数が所定数に達していない場合は、
続くマクロブロックに対して、上記ステップS1〜S4
の処理を行い、処理されたマクロブロックの個数が所定
数に達している場合は、ステップS5の処理を行う。
信号S2に対するステップS1〜S3の処理が、所定数
(例えば、図8(b) の横1列に対応する4つ)のマクロ
ブロックについて行われたか否かを判定し、処理された
マクロブロックの個数が所定数に達していない場合は、
続くマクロブロックに対して、上記ステップS1〜S4
の処理を行い、処理されたマクロブロックの個数が所定
数に達している場合は、ステップS5の処理を行う。
【0095】このステップS5では、2値形状符号化回
路14での符号化処理により得られた、上記単位ビット
ストリーム1(図1参照)の先頭部分を構成するヘッダ
情報の可変長符号化が可変長符号化回路17により行わ
れ、これによりヘッダの符号化データ(ヘッダビット
列)Dhが出力される。このとき、ヘッダの符号化デー
タDhは、各マクロブロックに対応するイントラ・イン
ター情報を含めて出力される。続くステップS6では、
該ヘッダの可変長符号化処理が、所定数(ここでは4
つ)のマクロブロックについて行われたか否かを判定
し、判定結果がNOである場合は、続くマクロブロック
に対してヘッダの符号化処理が行われ、判定結果がYE
Sである場合は、ステップS7の処理を行う。
路14での符号化処理により得られた、上記単位ビット
ストリーム1(図1参照)の先頭部分を構成するヘッダ
情報の可変長符号化が可変長符号化回路17により行わ
れ、これによりヘッダの符号化データ(ヘッダビット
列)Dhが出力される。このとき、ヘッダの符号化デー
タDhは、各マクロブロックに対応するイントラ・イン
ター情報を含めて出力される。続くステップS6では、
該ヘッダの可変長符号化処理が、所定数(ここでは4
つ)のマクロブロックについて行われたか否かを判定
し、判定結果がNOである場合は、続くマクロブロック
に対してヘッダの符号化処理が行われ、判定結果がYE
Sである場合は、ステップS7の処理を行う。
【0096】ステップS7では、2値形状動き検出回路
11にて検出された2値形状動きベクトルが、2値形状
符号化回路14からのイントラ・インター情報に基づく
制御によりスイッチ15を介して可変長符号化回路16
に出力され、この回路16にて2値形状動きベクトルに
対する可変長符号化が行われ、これにより2値形状動き
ベクトルの符号化データ(2値形状動きベクトルビット
列)D2mvが出力される。続くステップS8では、該2
値形状動きベクトルの可変長符号化処理が、所定数(こ
こでは4つ)のマクロブロックについて行われたか否か
を判定し、判定結果がNOである場合は、続くマクロブ
ロックについて2値形状動きベクトルの可変長符号化処
理が行われ、判定結果がYESである場合は、ステップ
S9の処理を行う。なお、上記2値形状動きベクトルを
可変長符号化したデータD2mvは、上記単位ビットスト
リーム1では、ヘッダの符号化データDhの次に配列さ
れる。
11にて検出された2値形状動きベクトルが、2値形状
符号化回路14からのイントラ・インター情報に基づく
制御によりスイッチ15を介して可変長符号化回路16
に出力され、この回路16にて2値形状動きベクトルに
対する可変長符号化が行われ、これにより2値形状動き
ベクトルの符号化データ(2値形状動きベクトルビット
列)D2mvが出力される。続くステップS8では、該2
値形状動きベクトルの可変長符号化処理が、所定数(こ
こでは4つ)のマクロブロックについて行われたか否か
を判定し、判定結果がNOである場合は、続くマクロブ
ロックについて2値形状動きベクトルの可変長符号化処
理が行われ、判定結果がYESである場合は、ステップ
S9の処理を行う。なお、上記2値形状動きベクトルを
可変長符号化したデータD2mvは、上記単位ビットスト
リーム1では、ヘッダの符号化データDhの次に配列さ
れる。
【0097】ステップS9では、可変長符号化回路18
にて、2値形状信号を構成する2値データに対する可変
長符号化処理が行われ、2値データの符号化データ(2
値データビット列)D2otが出力される。続くステップ
S10では、該2値データの可変長符号化処理が、所定
数(ここでは4つ)のマクロブロックについて行われた
か否かを判定し、判定結果がNOである場合は、続くマ
クロブロックについての2値データの可変長符号化処理
が行われ、判定結果がYESである場合は、ステップS
11の処理を行う。なお、この2値データを可変長符号
化して得られるデータD2otは、上記単位ビットストリ
ーム1では、2値形状動きベクトルの符号化データD2
mvの次に配列される。
にて、2値形状信号を構成する2値データに対する可変
長符号化処理が行われ、2値データの符号化データ(2
値データビット列)D2otが出力される。続くステップ
S10では、該2値データの可変長符号化処理が、所定
数(ここでは4つ)のマクロブロックについて行われた
か否かを判定し、判定結果がNOである場合は、続くマ
クロブロックについての2値データの可変長符号化処理
が行われ、判定結果がYESである場合は、ステップS
11の処理を行う。なお、この2値データを可変長符号
化して得られるデータD2otは、上記単位ビットストリ
ーム1では、2値形状動きベクトルの符号化データD2
mvの次に配列される。
【0098】ステップS11では、符号化部30の画素
値動き検出回路31にて、各マクロブロックの画像表示
用信号に含まれる画素値信号Sg、メモリ33に格納さ
れている前画面の対応する画素値信号(以下、格納画素
値データという。)、及び上記格納2値形状信号に基づ
いて、画素値信号Sgに関する動きベクトル(画素値動
きベクトル)が検出される。そして続くステップS12
では、画素値動きベクトルの可変長符号化処理が可変長
符号化回路36にて行われる。なお、この画素値動きベ
クトルは透過度信号に関する動きベクトルとしても用い
られる。そして、ステップS13では、画素値動きベク
トルの可変長符号化処理が、所定数(ここでは4つ)の
マクロブロックについて行われたか否かを判定し、処理
されたマクロブロックの個数が所定数に達していない場
合は、続くマクロブロックに対して、上記ステップS1
1〜S13の処理を行い、処理されたマクロブロックの
個数が所定数に達している場合は、ステップS14の処
理を行う。なお、上記可変長符号化回路36の出力であ
る画素値・透過度動きベクトルの符号化データ(動きベ
クトルビット列)Dgtmvは、上記単位ビットストリーム
1では、2値データの符号化データ(2値データビット
列)D2otの次に配列される。
値動き検出回路31にて、各マクロブロックの画像表示
用信号に含まれる画素値信号Sg、メモリ33に格納さ
れている前画面の対応する画素値信号(以下、格納画素
値データという。)、及び上記格納2値形状信号に基づ
いて、画素値信号Sgに関する動きベクトル(画素値動
きベクトル)が検出される。そして続くステップS12
では、画素値動きベクトルの可変長符号化処理が可変長
符号化回路36にて行われる。なお、この画素値動きベ
クトルは透過度信号に関する動きベクトルとしても用い
られる。そして、ステップS13では、画素値動きベク
トルの可変長符号化処理が、所定数(ここでは4つ)の
マクロブロックについて行われたか否かを判定し、処理
されたマクロブロックの個数が所定数に達していない場
合は、続くマクロブロックに対して、上記ステップS1
1〜S13の処理を行い、処理されたマクロブロックの
個数が所定数に達している場合は、ステップS14の処
理を行う。なお、上記可変長符号化回路36の出力であ
る画素値・透過度動きベクトルの符号化データ(動きベ
クトルビット列)Dgtmvは、上記単位ビットストリーム
1では、2値データの符号化データ(2値データビット
列)D2otの次に配列される。
【0099】上記ステップS14では、画素値動き補償
回路32にて、画素値動きベクトル,格納画素値信号
(メモリ33に格納されている前画面の画素値信号),
及び上記格納2値形状信号に基づいて、画素値の動き補
償が行われる。続くステップS15では、画素値符号化
回路34にて、その動き補償出力と上記格納2値形状デ
ータに基づいて、画素値信号SgをDCT変換し量子化
する符号化処理が行われ、さらに可変長符号化処理35
にて、該回路34の出力に対して可変長符号化処理が行
われる。その後、ステップS16では、該画素値信号の
符号化処理が、所定数(ここでは4つ)のマクロブロッ
クについて行われたか否かを判定し、判定結果がNOで
ある場合は、続くマクロブロックについての画素値信号
の符号化処理が行われ、判定結果がYESである場合
は、ステップS17の処理を行う。なお、上記可変長符
号化回路35の出力である画素値信号の符号化データ
(画素値ビット列)Dgは、上記単位ビットストリーム
1では、画素値・透過度動きベクトルの符号化データD
gtmvの次に配列される。
回路32にて、画素値動きベクトル,格納画素値信号
(メモリ33に格納されている前画面の画素値信号),
及び上記格納2値形状信号に基づいて、画素値の動き補
償が行われる。続くステップS15では、画素値符号化
回路34にて、その動き補償出力と上記格納2値形状デ
ータに基づいて、画素値信号SgをDCT変換し量子化
する符号化処理が行われ、さらに可変長符号化処理35
にて、該回路34の出力に対して可変長符号化処理が行
われる。その後、ステップS16では、該画素値信号の
符号化処理が、所定数(ここでは4つ)のマクロブロッ
クについて行われたか否かを判定し、判定結果がNOで
ある場合は、続くマクロブロックについての画素値信号
の符号化処理が行われ、判定結果がYESである場合
は、ステップS17の処理を行う。なお、上記可変長符
号化回路35の出力である画素値信号の符号化データ
(画素値ビット列)Dgは、上記単位ビットストリーム
1では、画素値・透過度動きベクトルの符号化データD
gtmvの次に配列される。
【0100】さらにステップS17では、上記符号化部
20の透過度動き補償回路22にて、上記画素値検出回
路31からの画素値動きベクトル,格納透過度信号(メ
モリ23に格納されている前画面の対応する透過度信
号),及び上記格納2値形状データに基づいて、透過度
信号に関する動き補償が行われる。続くステップS18
では、透過度符号化回路24にて、その動き補償出力と
上記格納2値形状信号に基づいて、透過度信号StをD
CT変換し量子化する符号化処理が行われ、さらに可変
長符号化処理25にて、該回路24の出力が可変長符号
化される。その後、ステップS19では、上記透過度信
号の符号化処理が、所定数(ここでは4つ)のマクロブ
ロックについて行われたか否かを判定し、判定結果がN
Oである場合は、続くマクロブロックについての透過度
信号の符号化処理が行われ、判定結果がYESである場
合は、対応するオブジェクトの画像表示用信号について
の符号化処理を終了する。なお、上記可変長符号化回路
25の出力である透過度信号の符号化データ(透過度ビ
ット列)Dtは、上記単位ビットストリーム1では、画
素値信号の符号化データDgの次に配列される。
20の透過度動き補償回路22にて、上記画素値検出回
路31からの画素値動きベクトル,格納透過度信号(メ
モリ23に格納されている前画面の対応する透過度信
号),及び上記格納2値形状データに基づいて、透過度
信号に関する動き補償が行われる。続くステップS18
では、透過度符号化回路24にて、その動き補償出力と
上記格納2値形状信号に基づいて、透過度信号StをD
CT変換し量子化する符号化処理が行われ、さらに可変
長符号化処理25にて、該回路24の出力が可変長符号
化される。その後、ステップS19では、上記透過度信
号の符号化処理が、所定数(ここでは4つ)のマクロブ
ロックについて行われたか否かを判定し、判定結果がN
Oである場合は、続くマクロブロックについての透過度
信号の符号化処理が行われ、判定結果がYESである場
合は、対応するオブジェクトの画像表示用信号について
の符号化処理を終了する。なお、上記可変長符号化回路
25の出力である透過度信号の符号化データ(透過度ビ
ット列)Dtは、上記単位ビットストリーム1では、画
素値信号の符号化データDgの次に配列される。
【0101】また、このような画像Bについての符号化
処理と同様な符号化処理が、画像A及び画像Cについて
もそれぞれ符号化回路110a,110cにて行われ
る。そして各画像A,B,Cについてのビットストリー
ムが形成されると、これらが多重化処理部120にて多
重化されて、符号化装置100aから復号化装置100
bへ伝送されることとなる。
処理と同様な符号化処理が、画像A及び画像Cについて
もそれぞれ符号化回路110a,110cにて行われ
る。そして各画像A,B,Cについてのビットストリー
ムが形成されると、これらが多重化処理部120にて多
重化されて、符号化装置100aから復号化装置100
bへ伝送されることとなる。
【0102】一方、復号化装置100bでは、多重化さ
れた画像A,画像B,画像Cの符号化データを受ける
と、分離処理部130にて、各画像に対応する符号化デ
ータに分離し、対応する画像の復号化回路140a,1
40b,140cに供給される。なお、各復号化回路で
は全く同一の復号化処理が行われる。
れた画像A,画像B,画像Cの符号化データを受ける
と、分離処理部130にて、各画像に対応する符号化デ
ータに分離し、対応する画像の復号化回路140a,1
40b,140cに供給される。なお、各復号化回路で
は全く同一の復号化処理が行われる。
【0103】図6は、符号化装置100aからの伝送デ
ータのビットストリームを構成するヘッダの符号化デー
タ(ヘッダビット列)Dh,2値形状動きベクトルの符
号化データ(2値形状動きベクトルビット列)D2mv,
2値形状信号を構成する2値データの符号化データ(2
値データビット列)D2ot,画素値・透過度動きベクト
ルの符号化データ(動きベクトルビット列)Dgtmv,画
素値信号の符号化データ(画素値ビット列)Dg,透過
度信号の符号化データ(透過度ビット列)Dtを復号化
する処理を示すフローである。
ータのビットストリームを構成するヘッダの符号化デー
タ(ヘッダビット列)Dh,2値形状動きベクトルの符
号化データ(2値形状動きベクトルビット列)D2mv,
2値形状信号を構成する2値データの符号化データ(2
値データビット列)D2ot,画素値・透過度動きベクト
ルの符号化データ(動きベクトルビット列)Dgtmv,画
素値信号の符号化データ(画素値ビット列)Dg,透過
度信号の符号化データ(透過度ビット列)Dtを復号化
する処理を示すフローである。
【0104】この図6に示すように、まず、上記ヘッダ
の符号化データDhの可変長復号化を復号化部50の可
変長復号化回路55にて行う(ステップT1)。続くス
テップT2では、上記ヘッダの復号化処理が、所定数
(ここでは4つ)のマクロブロックについて行われたか
否かを判定し、処理されたマクロブロックの個数が所定
数に達していない場合は、続くマクロブロックに対し
て、上記ヘッダの復号化処理を行い、処理されたマクロ
ブロックの個数が所定数に達している場合は、ステップ
T3の処理を行う。
の符号化データDhの可変長復号化を復号化部50の可
変長復号化回路55にて行う(ステップT1)。続くス
テップT2では、上記ヘッダの復号化処理が、所定数
(ここでは4つ)のマクロブロックについて行われたか
否かを判定し、処理されたマクロブロックの個数が所定
数に達していない場合は、続くマクロブロックに対し
て、上記ヘッダの復号化処理を行い、処理されたマクロ
ブロックの個数が所定数に達している場合は、ステップ
T3の処理を行う。
【0105】このステップT3では、2値形状動きベク
トルの符号化データD2mv の可変長復号化が可変長復
号化回路55にて行われる。続くステップT4では、該
復号化処理が、所定数(ここでは4つ)のマクロブロッ
クについて行われたか否かを判定する。その判定結果が
NOである場合は、続くマクロブロックに対して上記復
号化処理が行われ、判定結果がYESである場合は、ス
テップT5の処理が行われる。
トルの符号化データD2mv の可変長復号化が可変長復
号化回路55にて行われる。続くステップT4では、該
復号化処理が、所定数(ここでは4つ)のマクロブロッ
クについて行われたか否かを判定する。その判定結果が
NOである場合は、続くマクロブロックに対して上記復
号化処理が行われ、判定結果がYESである場合は、ス
テップT5の処理が行われる。
【0106】このステップT5では、上記可変長復号化
回路55の出力である復号化された2値形状動きベクト
ルがイントラ・インター情報に基づく制御によりスイッ
チ54を介して2値形状動き補償回路52に供給され、
ここで動き補償が行われる。この際、メモリ53に格納
されている、復号化された2値形状信号(つまり、前画
面の対応するマクロブロックの復号化される2値形状信
号)が利用される。
回路55の出力である復号化された2値形状動きベクト
ルがイントラ・インター情報に基づく制御によりスイッ
チ54を介して2値形状動き補償回路52に供給され、
ここで動き補償が行われる。この際、メモリ53に格納
されている、復号化された2値形状信号(つまり、前画
面の対応するマクロブロックの復号化される2値形状信
号)が利用される。
【0107】続いてステップT6では、2値形状信号の
動きベクトル以外の符号化データD2を可変長復号化す
る回路57の出力が2値形状復号化回路51に入力され
ると、該回路51では、上記可変長復号化回路56の出
力であるヘッダ情報,及び2値形状動き補償回路52の
出力に基づいて、符号化された2値形状信号(厳密には
この2値形状信号を構成する2値データ)に対して算術
復号化処理が行われる。なおこのとき、ヘッダ情報に含
まれるイントラ・インター情報が上記スイッチ54に出
力される。これにより2値形状信号S2 ' が再生され
る。続くステップT7では、該2値形状信号の復号化処
理が、所定数(ここでは4つ)のマクロブロックについ
て行われたか否かを判定し、判定結果がNOである場合
は、続くマクロブロックについての2値形状信号の復号
化処理が行われ、判定結果がYESである場合は、ステ
ップT8の処理を行う。
動きベクトル以外の符号化データD2を可変長復号化す
る回路57の出力が2値形状復号化回路51に入力され
ると、該回路51では、上記可変長復号化回路56の出
力であるヘッダ情報,及び2値形状動き補償回路52の
出力に基づいて、符号化された2値形状信号(厳密には
この2値形状信号を構成する2値データ)に対して算術
復号化処理が行われる。なおこのとき、ヘッダ情報に含
まれるイントラ・インター情報が上記スイッチ54に出
力される。これにより2値形状信号S2 ' が再生され
る。続くステップT7では、該2値形状信号の復号化処
理が、所定数(ここでは4つ)のマクロブロックについ
て行われたか否かを判定し、判定結果がNOである場合
は、続くマクロブロックについての2値形状信号の復号
化処理が行われ、判定結果がYESである場合は、ステ
ップT8の処理を行う。
【0108】ステップT8では、上記復号化部70の可
変長復号化回路75にて、画素値・透過度動きベクトル
の符号化データ(動きベクトルビット列)Dgtmvの可変
長復号化が行われ、さらに画素値動き補償回路72に
て、該復号化された動きベクトル,メモリ73内の画素
値信号,及び上記再生された2値形状信号S2 ' に基づ
いて、画素値の動き補償を行われる。続いて、ステップ
T9では、画素値信号の符号化データ(画素値ビット
列)Dgが可変長復号化回路74にて可変長復号化さ
れ、さらに画素値復号化回路71にて、2値形状信号S
2 ' に基づいて、該復号化された画素値信号を逆量子化
し逆DCT変換する復号化処理が行われる。これにより
画素値信号Sg' が再生される。続くステップT10で
は、上記画素値動き補償処理、及び画素値信号の復号化
処理が、所定数(ここでは4つ)のマクロブロックにつ
いて行われたか否かを判定し、判定結果がNOである場
合は、続くマクロブロついてこれらの処理が行われ、判
定結果Sである場合は、ステップT11の処理が行われ
る。
変長復号化回路75にて、画素値・透過度動きベクトル
の符号化データ(動きベクトルビット列)Dgtmvの可変
長復号化が行われ、さらに画素値動き補償回路72に
て、該復号化された動きベクトル,メモリ73内の画素
値信号,及び上記再生された2値形状信号S2 ' に基づ
いて、画素値の動き補償を行われる。続いて、ステップ
T9では、画素値信号の符号化データ(画素値ビット
列)Dgが可変長復号化回路74にて可変長復号化さ
れ、さらに画素値復号化回路71にて、2値形状信号S
2 ' に基づいて、該復号化された画素値信号を逆量子化
し逆DCT変換する復号化処理が行われる。これにより
画素値信号Sg' が再生される。続くステップT10で
は、上記画素値動き補償処理、及び画素値信号の復号化
処理が、所定数(ここでは4つ)のマクロブロックにつ
いて行われたか否かを判定し、判定結果がNOである場
合は、続くマクロブロついてこれらの処理が行われ、判
定結果Sである場合は、ステップT11の処理が行われ
る。
【0109】ステップT11では、上記復号化部60の
透過度動き補償回路62にて、上記復号化された画素値
・透過度動きベクトルを受け、上記再生された2値形状
信号S2' 及びメモリ63内の透過度信号に基づいて、
透過度の動き補償が行われる。続いて、ステップT12
では、透過度信号の符号化データ(透過度ビット列)D
tが可変長復号化回路64にて可変長復号化され、さら
に透過度復号化回路61にて、2値形状信号S2' 及び
動き補償出力に基づいて、該復号化された透過度信号を
逆量子化し逆DCT変換する復号化処理が行われる。こ
れにより透過度信号St' が再生される。
透過度動き補償回路62にて、上記復号化された画素値
・透過度動きベクトルを受け、上記再生された2値形状
信号S2' 及びメモリ63内の透過度信号に基づいて、
透過度の動き補償が行われる。続いて、ステップT12
では、透過度信号の符号化データ(透過度ビット列)D
tが可変長復号化回路64にて可変長復号化され、さら
に透過度復号化回路61にて、2値形状信号S2' 及び
動き補償出力に基づいて、該復号化された透過度信号を
逆量子化し逆DCT変換する復号化処理が行われる。こ
れにより透過度信号St' が再生される。
【0110】そして続くステップT13では、上記透過
度動き補償処理、及び透過度復号化処理が、所定数(こ
こでは4つ)のマクロブロックについて行われたか否か
を判定し、判定結果がNOである場合は、続くマクロブ
ロックについてこれらの処理が行われ、判定結果がYE
Sである場合は、該当するオブジェクトの画像表示用信
号についての復号化処理を終了する。
度動き補償処理、及び透過度復号化処理が、所定数(こ
こでは4つ)のマクロブロックについて行われたか否か
を判定し、判定結果がNOである場合は、続くマクロブ
ロックについてこれらの処理が行われ、判定結果がYE
Sである場合は、該当するオブジェクトの画像表示用信
号についての復号化処理を終了する。
【0111】また、このような画像Bについての復号化
処理と同様な復号化処理が、画像A及び画像Cについて
もそれぞれ復号化回路140a,140cにて行われ
る。そして各画像A,B,Cについて2値形状信号S
2' ,透過度信号St' ,画素値信号Sg' が再生され
ると、これらが合成処理部150にて合成され、復号画
像(図2参照)が表示されることとなる。
処理と同様な復号化処理が、画像A及び画像Cについて
もそれぞれ復号化回路140a,140cにて行われ
る。そして各画像A,B,Cについて2値形状信号S
2' ,透過度信号St' ,画素値信号Sg' が再生され
ると、これらが合成処理部150にて合成され、復号画
像(図2参照)が表示されることとなる。
【0112】このように本実施の形態1では、2値形状
信号を、これから得られる動きベクトル情報と該2値形
状信号を構成する2値データとに分け、該動きベクトル
情報を符号化して得られた2値形状動きベクトルの符号
化データ(第1のビット列)D2mvを、2値データを符
号化して得られた符号化データ(第2のビット列)D2
otより先に伝送されるよう、これらのビット列を単位ビ
ットストリーム1上にて配列したので、物体の画像形状
に重要な要素である2値形状信号に関する動きベクトル
を、できるだけ伝送エラーの影響を受けることなく復号
化することが可能となる。
信号を、これから得られる動きベクトル情報と該2値形
状信号を構成する2値データとに分け、該動きベクトル
情報を符号化して得られた2値形状動きベクトルの符号
化データ(第1のビット列)D2mvを、2値データを符
号化して得られた符号化データ(第2のビット列)D2
otより先に伝送されるよう、これらのビット列を単位ビ
ットストリーム1上にて配列したので、物体の画像形状
に重要な要素である2値形状信号に関する動きベクトル
を、できるだけ伝送エラーの影響を受けることなく復号
化することが可能となる。
【0113】また、本実施の形態1では、符号化した画
像表示用データを所定数のブロック分まとめて一度に伝
送するので、さらに伝送エラーの再生画像品質への影響
が低減できる。また、本実施の形態1では、上記画素値
信号を符号化して得られる画素値ビット列Dg、及び透
過度信号を符号化して得られる透過度ビット列Dtを、
画素値ビット列Dgが透過度ビット列Dtより先に伝送
されるよう配列したので、画像カラー表示品質を維持す
る上で重要な画素値信号が、これより重要度の低い透過
度信号より先に伝送されることとなり、伝送エラーによ
るカラー表示品位の劣化を低減できる。
像表示用データを所定数のブロック分まとめて一度に伝
送するので、さらに伝送エラーの再生画像品質への影響
が低減できる。また、本実施の形態1では、上記画素値
信号を符号化して得られる画素値ビット列Dg、及び透
過度信号を符号化して得られる透過度ビット列Dtを、
画素値ビット列Dgが透過度ビット列Dtより先に伝送
されるよう配列したので、画像カラー表示品質を維持す
る上で重要な画素値信号が、これより重要度の低い透過
度信号より先に伝送されることとなり、伝送エラーによ
るカラー表示品位の劣化を低減できる。
【0114】なお、上記実施の形態1では、単位ビット
ストリーム1を構成する各ビット列Dh,D2mv,D2
ot,Dgtmv,Dg,Dtは、それぞれ4つのマクロブロ
ックに対応するものとしているが、上記各ビット列はも
っと多数のマクロブロックに対応するものでも、あるい
は1つのマクロブロックに対応するものでもよい。
ストリーム1を構成する各ビット列Dh,D2mv,D2
ot,Dgtmv,Dg,Dtは、それぞれ4つのマクロブロ
ックに対応するものとしているが、上記各ビット列はも
っと多数のマクロブロックに対応するものでも、あるい
は1つのマクロブロックに対応するものでもよい。
【0115】実施の形態2.図11(a) は、本発明の実
施の形態2による画像伝送用データ構造を説明するため
の図である。図において、2は、表示画面上の個々の物
体を含む所定領域(オブジェクト領域)に対応する画像
表示用データを、物体単位で符号化してマクロブロック
スライス毎に伝送する場合の、伝送の繰り返し単位とな
る単位ビットストリームである。ここで、マクロブロッ
クスライスは、オブジェクト領域内にて符号化処理順に
並ぶ所定数のマクロブロックからなる領域であり、ここ
では説明の都合上、マクロブロックスライスは、図10
(a) に示すように、上記オブジェクト領域R′における
符号化処理順に並ぶ4つのマクロブロックからなる領域
としている。例えば、マクロブロックスライスS1はマ
クロブロックMB1〜MB4からなり、マクロブロック
スライスS2はマクロブロックMB5〜MB8からな
る。
施の形態2による画像伝送用データ構造を説明するため
の図である。図において、2は、表示画面上の個々の物
体を含む所定領域(オブジェクト領域)に対応する画像
表示用データを、物体単位で符号化してマクロブロック
スライス毎に伝送する場合の、伝送の繰り返し単位とな
る単位ビットストリームである。ここで、マクロブロッ
クスライスは、オブジェクト領域内にて符号化処理順に
並ぶ所定数のマクロブロックからなる領域であり、ここ
では説明の都合上、マクロブロックスライスは、図10
(a) に示すように、上記オブジェクト領域R′における
符号化処理順に並ぶ4つのマクロブロックからなる領域
としている。例えば、マクロブロックスライスS1はマ
クロブロックMB1〜MB4からなり、マクロブロック
スライスS2はマクロブロックMB5〜MB8からな
る。
【0116】上記単位ビットストリーム2は、スライス
ヘッダビット列Dhs,MB位置ビット列Dbp,ヘッ
ダビット列Dh,2値形状ビット列D2 ,テクスチャー
タイプビット列Dty,動きベクトルビット列Dgtmv,再
同期信号Dtsyn,透過度ビット列Dt,再同期信号Dgs
yn,画素値ビット列Dgを含み、これらのビット列がマ
クロブロックスライス毎に繰り返し上記順序で伝送され
る画像伝送用データ構造を有している。
ヘッダビット列Dhs,MB位置ビット列Dbp,ヘッ
ダビット列Dh,2値形状ビット列D2 ,テクスチャー
タイプビット列Dty,動きベクトルビット列Dgtmv,再
同期信号Dtsyn,透過度ビット列Dt,再同期信号Dgs
yn,画素値ビット列Dgを含み、これらのビット列がマ
クロブロックスライス毎に繰り返し上記順序で伝送され
る画像伝送用データ構造を有している。
【0117】ここで、上記ヘッダビット列Dh,2値形
状ビット列D2,及び動きベクトルビット列Dgtmvは、
上記実施の形態1の単位ビットストリーム1におけるも
のと全く同一であり、該ヘッダビット列Dhは、2値形
状ビット列D2の先頭位置を示すヘッダ情報であり、こ
のヘッダビット列Dhには、各マクロブロックに対応す
る2値形状ビット列が画面内符号化モードと画面間符号
化モードのいずれのモードの符号化処理が施されたもの
かを示す情報(イントラ・インター情報)が含まれてお
り、このイントラ・インター情報は、2値形状信号に対
する符号化及び復号化処理の際に符号化,復号化処理モ
ードの切替に用いられる。また、該2値形状ビット列D
2は、2値形状信号から得られる2値形状動きベクトル
ビット列D2mvと2値形状信号を構成する2値データを
算術符号化して得られる2値データビット列D2otとに
分かれている。
状ビット列D2,及び動きベクトルビット列Dgtmvは、
上記実施の形態1の単位ビットストリーム1におけるも
のと全く同一であり、該ヘッダビット列Dhは、2値形
状ビット列D2の先頭位置を示すヘッダ情報であり、こ
のヘッダビット列Dhには、各マクロブロックに対応す
る2値形状ビット列が画面内符号化モードと画面間符号
化モードのいずれのモードの符号化処理が施されたもの
かを示す情報(イントラ・インター情報)が含まれてお
り、このイントラ・インター情報は、2値形状信号に対
する符号化及び復号化処理の際に符号化,復号化処理モ
ードの切替に用いられる。また、該2値形状ビット列D
2は、2値形状信号から得られる2値形状動きベクトル
ビット列D2mvと2値形状信号を構成する2値データを
算術符号化して得られる2値データビット列D2otとに
分かれている。
【0118】また、上記透過度ビット列Dtは、上記マ
クロブロックスライスを構成するマクロブロックに対応
する透過度信号に周波数変換処理(DCT変換処理)及
び量子化処理を施して得られる複数の変換係数のうちの
DC係数を可変長符号化したもの(透過度DC成分ビッ
ト列)Dtdと、該複数の変換係数のうちのAC係数を
可変長符号化したもの(透過度AC成分ビット列)Dt
aとからなり、これらのビット列Dtd及びDtaが、
透過度DC成分ビット列Dtdが透過度AC成分ビット
列Dtaより先に伝送されるよう配列されている。
クロブロックスライスを構成するマクロブロックに対応
する透過度信号に周波数変換処理(DCT変換処理)及
び量子化処理を施して得られる複数の変換係数のうちの
DC係数を可変長符号化したもの(透過度DC成分ビッ
ト列)Dtdと、該複数の変換係数のうちのAC係数を
可変長符号化したもの(透過度AC成分ビット列)Dt
aとからなり、これらのビット列Dtd及びDtaが、
透過度DC成分ビット列Dtdが透過度AC成分ビット
列Dtaより先に伝送されるよう配列されている。
【0119】また、上記画素値ビット列Dgは、上記マ
クロブロックスライスを構成する各マクロブロックに対
応する画素値信号に周波数変換処理(DCT変換処理)
及び量子化処理を施して得られる複数の変換係数のうち
のDC係数を可変長符号化したもの(画素値DC成分ビ
ット列)Dgdと、該複数の変換係数のうちのAC係数
を可変長符号化したもの(画素値AC成分ビット列)D
gaとから構成されており、これらのビット列Dgd及
びDgaが、画素値DC成分ビット列Dgdが画素値A
C成分ビット列Dgaより先に伝送されるよう配列され
ている。
クロブロックスライスを構成する各マクロブロックに対
応する画素値信号に周波数変換処理(DCT変換処理)
及び量子化処理を施して得られる複数の変換係数のうち
のDC係数を可変長符号化したもの(画素値DC成分ビ
ット列)Dgdと、該複数の変換係数のうちのAC係数
を可変長符号化したもの(画素値AC成分ビット列)D
gaとから構成されており、これらのビット列Dgd及
びDgaが、画素値DC成分ビット列Dgdが画素値A
C成分ビット列Dgaより先に伝送されるよう配列され
ている。
【0120】また、上記再同期信号Dtsynは、透過度ビ
ット列Dtの直前に配置されており、該再同期信号Dts
ynを検出することにより、この信号に続くビット列が透
過度ビット列Dtであることを認識できる。また、再同
期信号Dgsynは、画素値ビット列Dgの直前に配置され
ており、該再同期信号Dgsynを検出することにより、こ
の信号に続くビット列が画素値ビット列Dgであること
を認識できる。
ット列Dtの直前に配置されており、該再同期信号Dts
ynを検出することにより、この信号に続くビット列が透
過度ビット列Dtであることを認識できる。また、再同
期信号Dgsynは、画素値ビット列Dgの直前に配置され
ており、該再同期信号Dgsynを検出することにより、こ
の信号に続くビット列が画素値ビット列Dgであること
を認識できる。
【0121】さらに、上記MB位置ビット列Dbpは、
1つのマクロブロックスライスを構成する各マクロブロ
ックの、対応するマクロブロックスライスの先頭からの
位置を示す位置情報に対応するものであり、上記テクス
チャータイプビット列Dtyは、各マクロブロックがイ
ンターブロック(画面間予測符号化処理が施されたも
の)であるかイントラブロック(画面内符号化処理が施
されたもの)であるかを示す情報としてのビット列であ
り、これらのビット列Dbp及びDtyは、図10(b)
に示す従来の単位ビットストリームBsu1におけるもの
と同一である。
1つのマクロブロックスライスを構成する各マクロブロ
ックの、対応するマクロブロックスライスの先頭からの
位置を示す位置情報に対応するものであり、上記テクス
チャータイプビット列Dtyは、各マクロブロックがイ
ンターブロック(画面間予測符号化処理が施されたも
の)であるかイントラブロック(画面内符号化処理が施
されたもの)であるかを示す情報としてのビット列であ
り、これらのビット列Dbp及びDtyは、図10(b)
に示す従来の単位ビットストリームBsu1におけるもの
と同一である。
【0122】またさらに、上記スライスヘッダビット列
Dhsは、マクロブロックスライスに対応する単位ビッ
トストリーム2の先頭位置を示すヘッダ情報である。
Dhsは、マクロブロックスライスに対応する単位ビッ
トストリーム2の先頭位置を示すヘッダ情報である。
【0123】本実施の形態2の画像伝送用データ構造を
有する単位ビットストリーム2からなる画像符号化デー
タを扱うシステムにおける符号化及び復号化処理は、実
施の形態1にて図2を用いて説明したものと同様に行わ
れ、さらに、このシステムに用いられる符号化装置及び
復号化装置も、実施の形態1における、図3及び図4を
用いて説明したものと基本的に同様な構成となってい
る。
有する単位ビットストリーム2からなる画像符号化デー
タを扱うシステムにおける符号化及び復号化処理は、実
施の形態1にて図2を用いて説明したものと同様に行わ
れ、さらに、このシステムに用いられる符号化装置及び
復号化装置も、実施の形態1における、図3及び図4を
用いて説明したものと基本的に同様な構成となってい
る。
【0124】以下、図12及び図13を用いて本実施の
形態2における符号化装置及び復号化装置の構成につい
て説明する。図12は、本実施の形態2の画像伝送用デ
ータ構造を有する単位ビットストリームからなる画像符
号化データを生成する符号化装置を説明するための図で
あり、該符号化装置を構成する、図2に示す画像A,画
像B,画像Cに対応する各符号化回路の構成を示してい
る。
形態2における符号化装置及び復号化装置の構成につい
て説明する。図12は、本実施の形態2の画像伝送用デ
ータ構造を有する単位ビットストリームからなる画像符
号化データを生成する符号化装置を説明するための図で
あり、該符号化装置を構成する、図2に示す画像A,画
像B,画像Cに対応する各符号化回路の構成を示してい
る。
【0125】上記各符号化回路は、2値形状信号S2に
対する符号化処理により、上記ヘッダビット列Dh,2
値形状動きベクトルビット列D2mv,2値形状のその他
のビット列D2otを生成する符号化部10aと、透過度
信号Stに対する符号化処理により上記透過度ビット列
Dtとして、透過度DC成分ビット列Dtdと透過度A
C成分ビット列Dtaを生成する符号化部20aと、上
記画素値信号Sgの符号化処理により、必要に応じて動
きベクトルビット列Dgtmvを付加したテクスチャータイ
プビット列Dty,画素値DC成分ビット列Dgd,及び
画素値AC成分ビット列Dgaを生成する符号化部30
aを有している。
対する符号化処理により、上記ヘッダビット列Dh,2
値形状動きベクトルビット列D2mv,2値形状のその他
のビット列D2otを生成する符号化部10aと、透過度
信号Stに対する符号化処理により上記透過度ビット列
Dtとして、透過度DC成分ビット列Dtdと透過度A
C成分ビット列Dtaを生成する符号化部20aと、上
記画素値信号Sgの符号化処理により、必要に応じて動
きベクトルビット列Dgtmvを付加したテクスチャータイ
プビット列Dty,画素値DC成分ビット列Dgd,及び
画素値AC成分ビット列Dgaを生成する符号化部30
aを有している。
【0126】ここで、上記符号化部10aは、上記実施
の形態1における図3に示す符号化部10と全く同一構
成となっており、また、上記符号化部20aは、その可
変長符号化回路25からは、透過度ビット列Dtとし
て、透過度DC成分ビット列Dtdと透過度AC成分ビ
ット列Dtaが分けて出力される点のみ、上記実施の形
態1における図3に示す符号化部20と異なっている。
さらに、上記符号化部30aは、その可変長符号化回路
35からは、画素値ビット列Dgとして、画素値DC成
分ビット列Dgdと画素値AC成分ビット列Dgaが分
けて出力される点、及びその可変長符号化回路36から
は、テクスチャータイプビット列Dtyが、必要に応じて
動きベクトルビット列Dgtmvが付加されて出力される点
のみ、上記実施の形態1における図3に示す符号化部3
0と異なっている。
の形態1における図3に示す符号化部10と全く同一構
成となっており、また、上記符号化部20aは、その可
変長符号化回路25からは、透過度ビット列Dtとし
て、透過度DC成分ビット列Dtdと透過度AC成分ビ
ット列Dtaが分けて出力される点のみ、上記実施の形
態1における図3に示す符号化部20と異なっている。
さらに、上記符号化部30aは、その可変長符号化回路
35からは、画素値ビット列Dgとして、画素値DC成
分ビット列Dgdと画素値AC成分ビット列Dgaが分
けて出力される点、及びその可変長符号化回路36から
は、テクスチャータイプビット列Dtyが、必要に応じて
動きベクトルビット列Dgtmvが付加されて出力される点
のみ、上記実施の形態1における図3に示す符号化部3
0と異なっている。
【0127】この符号化部30aは、符号化処理の対象
となっている対象マクロブロックがインターブロックで
あるときは、テクスチャータイプビット列Dtyをこれに
動きベクトルビット列Dgtmvを付加して出力し、符号化
処理の対象となっている対象マクロブロックがイントラ
ブロックであるときは、テクスチャータイプビット列D
tyをこれに動きベクトルビット列Dgtmvを付加せずに出
力する構成となっている。
となっている対象マクロブロックがインターブロックで
あるときは、テクスチャータイプビット列Dtyをこれに
動きベクトルビット列Dgtmvを付加して出力し、符号化
処理の対象となっている対象マクロブロックがイントラ
ブロックであるときは、テクスチャータイプビット列D
tyをこれに動きベクトルビット列Dgtmvを付加せずに出
力する構成となっている。
【0128】また、上記各符号化回路は、上記2値形状
信号S2,透過度信号St,及び画素値信号Sgを受
け、上記スライスヘッダ ビット列Dhs,MB位置ビ
ット列Dbp及び再同期信号Dgsyn,Dtsynを生成する
とともに、上記各符号化部からのビット列Dh,D2m
v,D2ot,Dty,Dgtmv,Dtd,Dta,Dgd及
びDgaに、上記スライスヘッダ ビット列Dhs,
MB位置ビット列Dbp及び再同期信号Dgsyn,Dtsyn
を付加してなる、これらのビット列及び再同期信号が図
11(a) に示す順序で配列された単位ビットストリーム
2を、マクロブロックスライス毎に繰り返し出力するビ
ットストリーム生成部40aを有している。
信号S2,透過度信号St,及び画素値信号Sgを受
け、上記スライスヘッダ ビット列Dhs,MB位置ビ
ット列Dbp及び再同期信号Dgsyn,Dtsynを生成する
とともに、上記各符号化部からのビット列Dh,D2m
v,D2ot,Dty,Dgtmv,Dtd,Dta,Dgd及
びDgaに、上記スライスヘッダ ビット列Dhs,
MB位置ビット列Dbp及び再同期信号Dgsyn,Dtsyn
を付加してなる、これらのビット列及び再同期信号が図
11(a) に示す順序で配列された単位ビットストリーム
2を、マクロブロックスライス毎に繰り返し出力するビ
ットストリーム生成部40aを有している。
【0129】図13は、本実施の形態2の画像伝送用デ
ータ構造を有する単位ビットストリームからなる画像符
号化データを復号化する復号化装置を説明するための図
であり、該復号化装置を構成する、図2に示す画像A,
画像B,画像Cに対応する各復号化回路の構成を示して
いる。
ータ構造を有する単位ビットストリームからなる画像符
号化データを復号化する復号化装置を説明するための図
であり、該復号化装置を構成する、図2に示す画像A,
画像B,画像Cに対応する各復号化回路の構成を示して
いる。
【0130】上記各復号化回路は、上記各符号化回路か
らの画像符号化データを構成する単位ビットストリーム
2から、該単位ビットストリームに含まれるスライスヘ
ッダビット列Dhs,MB位置ビット列Dbp及び再同
期信号Dgsyn,Dtsynに基づいて、上記ヘッダビット列
Dh,2値形状動きベクトルビット列D2mv,2値デー
タビット列D2ot,動きベクトルビット列Dgtmv,テキ
スチャータイプビット列Dty,透過度ビット列Dt,画
素値ビット列Dgを抽出するビットストリーム分割部4
0bを有している。
らの画像符号化データを構成する単位ビットストリーム
2から、該単位ビットストリームに含まれるスライスヘ
ッダビット列Dhs,MB位置ビット列Dbp及び再同
期信号Dgsyn,Dtsynに基づいて、上記ヘッダビット列
Dh,2値形状動きベクトルビット列D2mv,2値デー
タビット列D2ot,動きベクトルビット列Dgtmv,テキ
スチャータイプビット列Dty,透過度ビット列Dt,画
素値ビット列Dgを抽出するビットストリーム分割部4
0bを有している。
【0131】また、上記各復号化回路は、上記ヘッダビ
ット列Dh,2値形状動きベクトルビット列D2mv,2
値データビット列D2otに対する復号化処理により2値
形状信号S2′を再生する2値形状信号の復号化部50
aと、上記透過度ビット列Dtを受け、透過度信号S
t′を再生する透過度信号の復号化部60aと、上記画
素値ビット列Dgとともに、必要に応じて動きベクトル
ビット列Dgtmvが付加されたテクスチャータイプビット
列Dtyを受け、画素値信号Sg′を再生する画素値信号
の復号化部70aとを有している。
ット列Dh,2値形状動きベクトルビット列D2mv,2
値データビット列D2otに対する復号化処理により2値
形状信号S2′を再生する2値形状信号の復号化部50
aと、上記透過度ビット列Dtを受け、透過度信号S
t′を再生する透過度信号の復号化部60aと、上記画
素値ビット列Dgとともに、必要に応じて動きベクトル
ビット列Dgtmvが付加されたテクスチャータイプビット
列Dtyを受け、画素値信号Sg′を再生する画素値信号
の復号化部70aとを有している。
【0132】ここで、上記復号化部50aは、上記実施
の形態1における図4に示す符号化部40と全く同一構
成となっており、また、上記符号化部60aは、その可
変長復号化回路64に、透過度ビット列Dtが、透過度
DC成分ビット列Dtdと透過度AC成分ビット列Dt
aとに分けて供給される点のみ、上記実施の形態1にお
ける図4に示す符号化部60と異なっている。さらに、
上記符号化部70aは、その可変長復号化回路74に、
画素値ビット列Dgが、画素値DC成分ビット列Dgd
と画素値AC成分ビット列Dgaに分けて供給される
点、及びその可変長復号化回路75に、テクスチャータ
イプビット列Dtyが、必要に応じて動きベクトルビット
列Dgtmvが付加されて供給される点のみ、上記実施の形
態1における図4に示す符号化部70と異なっている。
の形態1における図4に示す符号化部40と全く同一構
成となっており、また、上記符号化部60aは、その可
変長復号化回路64に、透過度ビット列Dtが、透過度
DC成分ビット列Dtdと透過度AC成分ビット列Dt
aとに分けて供給される点のみ、上記実施の形態1にお
ける図4に示す符号化部60と異なっている。さらに、
上記符号化部70aは、その可変長復号化回路74に、
画素値ビット列Dgが、画素値DC成分ビット列Dgd
と画素値AC成分ビット列Dgaに分けて供給される
点、及びその可変長復号化回路75に、テクスチャータ
イプビット列Dtyが、必要に応じて動きベクトルビット
列Dgtmvが付加されて供給される点のみ、上記実施の形
態1における図4に示す符号化部70と異なっている。
【0133】このように本実施の形態2における、図2
に示す各画像A〜Cに対応する復号化回路は、図11
(a) に示す画像伝送用データ構造の単位ビットストリー
ム2からなる画像符号化データを受け、該単位ビットス
トリーム2から、上記ヘッダビット列Dh,2値形状ビ
ット列D2,動きベクトルビット列Dgtmv,テキスチャ
ータイプビット列Dty,透過度ビット列Dt,画素値ビ
ット列Dgを分離して、上記実施の形態1における復号
化回路と同様に復号化処理を行う構成となっている。
に示す各画像A〜Cに対応する復号化回路は、図11
(a) に示す画像伝送用データ構造の単位ビットストリー
ム2からなる画像符号化データを受け、該単位ビットス
トリーム2から、上記ヘッダビット列Dh,2値形状ビ
ット列D2,動きベクトルビット列Dgtmv,テキスチャ
ータイプビット列Dty,透過度ビット列Dt,画素値ビ
ット列Dgを分離して、上記実施の形態1における復号
化回路と同様に復号化処理を行う構成となっている。
【0134】そしてさらにこの実施の形態2の復号化回
路では、伝送エラーが発生した時には、上記再同期信号
Dtsyn,Dgsynに基づいて、該再同期信号からその前後
の伝送エラー発生位置までのビット列としての符号化デ
ータを認識する処理を行って、符号化データを復号化す
る処理を行う構成となっている。
路では、伝送エラーが発生した時には、上記再同期信号
Dtsyn,Dgsynに基づいて、該再同期信号からその前後
の伝送エラー発生位置までのビット列としての符号化デ
ータを認識する処理を行って、符号化データを復号化す
る処理を行う構成となっている。
【0135】次に動作について説明する。例えば、図2
に示す画像A〜画像Cのいずれかの画像に対応する画像
表示用データが、対応する符号化回路に入力されると、
該画像表示用データに含まれる2値形状信号S2 ,透過
度信号St,画素値信号Sgに対する符号化処理が、上
記各符号化部10a,20a,30aにて行われ、各信
号から得られるビット列からなる単位ビットストリーム
2がマクロブロックスライス毎に出力される。ここで、
マクロブロックスライスは図10(a) に示すように4つ
のマクロブロックからなるものとする。
に示す画像A〜画像Cのいずれかの画像に対応する画像
表示用データが、対応する符号化回路に入力されると、
該画像表示用データに含まれる2値形状信号S2 ,透過
度信号St,画素値信号Sgに対する符号化処理が、上
記各符号化部10a,20a,30aにて行われ、各信
号から得られるビット列からなる単位ビットストリーム
2がマクロブロックスライス毎に出力される。ここで、
マクロブロックスライスは図10(a) に示すように4つ
のマクロブロックからなるものとする。
【0136】図14は、上記画像表示用データに含まれ
る2値形状信号S2 ,透過度信号St,画素値信号Sg
の符号化処理のフローを示している。まず、ビットスト
リーム生成部40aでは、入力される画像表示用データ
に含まれる2値形状信号S2 ,透過度信号St,及び画
素値信号Sgに基づいて、上記スライスヘッダビット列
Dhs,MB位置ビット列Dbp,再同期信号Dtsyn,
Dgsynが生成される(ステップS0)。
る2値形状信号S2 ,透過度信号St,画素値信号Sg
の符号化処理のフローを示している。まず、ビットスト
リーム生成部40aでは、入力される画像表示用データ
に含まれる2値形状信号S2 ,透過度信号St,及び画
素値信号Sgに基づいて、上記スライスヘッダビット列
Dhs,MB位置ビット列Dbp,再同期信号Dtsyn,
Dgsynが生成される(ステップS0)。
【0137】その後は、実施の形態1と同様、ステップ
S1〜S6の処理により、ヘッダビット列Dhが生成さ
れ、ステップS7〜S10の処理により、2値形状動き
ベクトルビット列D2mv及び2値データビット列D2ot
が生成される。
S1〜S6の処理により、ヘッダビット列Dhが生成さ
れ、ステップS7〜S10の処理により、2値形状動き
ベクトルビット列D2mv及び2値データビット列D2ot
が生成される。
【0138】次に、ステップS11,S12a,S13
の処理により、テキスチャータイプビット列Dty,動き
ベクトルDgtmvが生成される。なお上記ステップS12
aでは、符号化処理の対象となっているマクロブロック
が画面間予測符号化処理を行うべきものである場合は、
テキスチャータイプビット列Dtyをこれに動きベクトル
Dgtmvを付加して出力し、符号化処理の対象となってい
るマクロブロックが画面内符号化処理を行うべきもので
ある場合は、テキスチャータイプビット列Dtyをこれに
動きベクトルDgtmvを付加せずに出力する。
の処理により、テキスチャータイプビット列Dty,動き
ベクトルDgtmvが生成される。なお上記ステップS12
aでは、符号化処理の対象となっているマクロブロック
が画面間予測符号化処理を行うべきものである場合は、
テキスチャータイプビット列Dtyをこれに動きベクトル
Dgtmvを付加して出力し、符号化処理の対象となってい
るマクロブロックが画面内符号化処理を行うべきもので
ある場合は、テキスチャータイプビット列Dtyをこれに
動きベクトルDgtmvを付加せずに出力する。
【0139】その後、ステップS14〜S16の処理に
より、画素値ビット列Dgが、画素値DC成分ビット列
Dgdと画素値AC成分ビット列Dgaとに分けて出力
され、さらにステップS17〜S19の処理により、透
過度ビット列Dtが、透過度DC成分ビット列Dtdと
透過度AC成分ビット列Dtaとに分けて出力される。
より、画素値ビット列Dgが、画素値DC成分ビット列
Dgdと画素値AC成分ビット列Dgaとに分けて出力
され、さらにステップS17〜S19の処理により、透
過度ビット列Dtが、透過度DC成分ビット列Dtdと
透過度AC成分ビット列Dtaとに分けて出力される。
【0140】なお、本実施の形態2では、それまでに処
理されたマクロブロックの個数が所定の個数に達したか
否かを判定するステップS4,S6,S8,S10,S
13,S16,S19では、マクロブロックスライスを
構成するマクロブロックの個数(本実施の形態2では4
つ)を基準として判定処理を行っている。
理されたマクロブロックの個数が所定の個数に達したか
否かを判定するステップS4,S6,S8,S10,S
13,S16,S19では、マクロブロックスライスを
構成するマクロブロックの個数(本実施の形態2では4
つ)を基準として判定処理を行っている。
【0141】最後に、ビットストリーム生成部40aで
は、上記各符号化部からのビット列Dh,D2mv,D2
ot,Dty,Dgtmv,Dtd,Dta,Dgd及びDga
に、上記スライスヘッダビット列Dhs,MB位置ビッ
ト列Dbp及び再同期信号Dgsyn,Dtsynを付加すると
同時に、これらのビット列及び再同期信号が図11(a)
に示す順序で伝送されるよう配列して、単位ビットスト
リーム2を出力する(ステップS20)。
は、上記各符号化部からのビット列Dh,D2mv,D2
ot,Dty,Dgtmv,Dtd,Dta,Dgd及びDga
に、上記スライスヘッダビット列Dhs,MB位置ビッ
ト列Dbp及び再同期信号Dgsyn,Dtsynを付加すると
同時に、これらのビット列及び再同期信号が図11(a)
に示す順序で伝送されるよう配列して、単位ビットスト
リーム2を出力する(ステップS20)。
【0142】このような符号化処理が、上記画像A〜画
像Cについて行われ、各画像A,B,Cに対応する単位
ビットストリーム2が形成されると、これらが多重化処
理部にて多重化されて、符号化装置から復号化装置へ伝
送されることとなる(図2参照)。
像Cについて行われ、各画像A,B,Cに対応する単位
ビットストリーム2が形成されると、これらが多重化処
理部にて多重化されて、符号化装置から復号化装置へ伝
送されることとなる(図2参照)。
【0143】一方、復号化装置では、多重化された画像
A,画像B,画像Cの符号化データを受けると、分離処
理部にて、各画像に対応する符号化データに分離し、対
応する画像の復号化回路に供給される(図2参照)。な
お、各復号化回路では全く同一の復号化処理が行われ
る。
A,画像B,画像Cの符号化データを受けると、分離処
理部にて、各画像に対応する符号化データに分離し、対
応する画像の復号化回路に供給される(図2参照)。な
お、各復号化回路では全く同一の復号化処理が行われ
る。
【0144】図15は、符号化装置からの画像符号化デ
ータを構成する単位ビットストリームにおける各ビット
列Dh,D2mv,D2ot,Dty,Dgtmv,Dg,Dtを
復号化する処理を示すフローである。
ータを構成する単位ビットストリームにおける各ビット
列Dh,D2mv,D2ot,Dty,Dgtmv,Dg,Dtを
復号化する処理を示すフローである。
【0145】まず、復号化装置におけるビットストリー
ム分割部40bに上記単位ビットストリーム2が入力さ
れると、該分割部40bでは、該単位ビットストリーム
2から、単位ビットストリームに含まれるスライスヘッ
ダビット列Dhs,MB位置ビット列Dbp及び再同期
信号Dgsyn,Dtsynに基づいて、上記ヘッダビット列D
h,2値形状動きベクトルビット列D2mv,2値データ
ビット列D2ot,テキスチャータイプビット列Dty,動
きベクトルビット列Dgtmv,透過度ビット列Dt,画素
値ビット列Dgが抽出される。
ム分割部40bに上記単位ビットストリーム2が入力さ
れると、該分割部40bでは、該単位ビットストリーム
2から、単位ビットストリームに含まれるスライスヘッ
ダビット列Dhs,MB位置ビット列Dbp及び再同期
信号Dgsyn,Dtsynに基づいて、上記ヘッダビット列D
h,2値形状動きベクトルビット列D2mv,2値データ
ビット列D2ot,テキスチャータイプビット列Dty,動
きベクトルビット列Dgtmv,透過度ビット列Dt,画素
値ビット列Dgが抽出される。
【0146】その後は、実施の形態1と同様、ステップ
T1,T2の処理により、上記ヘッダビット列Dhの可
変長復号化が行われ、さらに、ステップT3〜T7の処
理により、上記2値形状動きベクトルビット列D2mv及
び2値データビット列D2otの可変長復号化が行われ
る。
T1,T2の処理により、上記ヘッダビット列Dhの可
変長復号化が行われ、さらに、ステップT3〜T7の処
理により、上記2値形状動きベクトルビット列D2mv及
び2値データビット列D2otの可変長復号化が行われ
る。
【0147】さらにステップT8〜T10の処理によ
り、画素値ビット列Dgの復号化処理が行われ、ステッ
プT11〜T13の処理により、透過度ビット列Dtの
復号化処理が行われる。なお、本実施の形態2では、上
記ステップT9にて、テキスチャータイプビット列Dty
及び動きベクトルDgtmvに基づいて、画素値ビット列D
gとしての画素値DC成分ビット列Dgd及び画素値A
C成分ビット列Dgaの復号化処理が行われ、上記ステ
ップT12にて、テキスチャータイプビット列Dty及び
動きベクトルDgtmvに基づいて、透過度ビット列Dtと
しての透過度DC成分ビット列Dtd及び透過度AC成
分ビット列Dtaの復号化処理が行われる。また、それ
までに処理されたマクロブロックの個数が所定の個数に
達したか否かを判定するステップT2,T4,T7,T
10,T13では、マクロブロックスライスを構成する
ブロックの個数(本実施の形態2では4つ)を基準とし
て判定処理を行っている。
り、画素値ビット列Dgの復号化処理が行われ、ステッ
プT11〜T13の処理により、透過度ビット列Dtの
復号化処理が行われる。なお、本実施の形態2では、上
記ステップT9にて、テキスチャータイプビット列Dty
及び動きベクトルDgtmvに基づいて、画素値ビット列D
gとしての画素値DC成分ビット列Dgd及び画素値A
C成分ビット列Dgaの復号化処理が行われ、上記ステ
ップT12にて、テキスチャータイプビット列Dty及び
動きベクトルDgtmvに基づいて、透過度ビット列Dtと
しての透過度DC成分ビット列Dtd及び透過度AC成
分ビット列Dtaの復号化処理が行われる。また、それ
までに処理されたマクロブロックの個数が所定の個数に
達したか否かを判定するステップT2,T4,T7,T
10,T13では、マクロブロックスライスを構成する
ブロックの個数(本実施の形態2では4つ)を基準とし
て判定処理を行っている。
【0148】その他の処理は上記実施の形態1の復号化
処理におけるものと同一である。そして各画像A,B,
Cについて2値形状信号S2' ,透過度信号St' ,画
素値信号Sg' が再生されると、これらが合成処理部に
て合成され、復号画像が表示されることとなる(図2参
照)。
処理におけるものと同一である。そして各画像A,B,
Cについて2値形状信号S2' ,透過度信号St' ,画
素値信号Sg' が再生されると、これらが合成処理部に
て合成され、復号画像が表示されることとなる(図2参
照)。
【0149】このような構成の実施の形態2では、透過
度ビット列Dtに対応する再同期信号Dtsynと、これに
続く透過度ビット列Dtとを、画素値ビット列Dgに対
応する再同期信号Dgsynの前に伝送されるよう配置した
ので、重要なデータである画素値ビット列が、単位ビッ
トストリームを構成する最後のビット列として伝送され
るよう配置されることとなり、単位ビットストリームの
伝送中にエラーが発生した場合には、重要な画素値ビッ
ト列を単位ビットストリームの後尾から順にたどって短
時間で復号化することが可能となる。
度ビット列Dtに対応する再同期信号Dtsynと、これに
続く透過度ビット列Dtとを、画素値ビット列Dgに対
応する再同期信号Dgsynの前に伝送されるよう配置した
ので、重要なデータである画素値ビット列が、単位ビッ
トストリームを構成する最後のビット列として伝送され
るよう配置されることとなり、単位ビットストリームの
伝送中にエラーが発生した場合には、重要な画素値ビッ
ト列を単位ビットストリームの後尾から順にたどって短
時間で復号化することが可能となる。
【0150】実施の形態3.図11(b) は、本発明の実
施の形態3による画像伝送用データ構造を説明するため
の図である。図において、3は、表示画面上の個々の物
体を含む所定領域(オブジェクト領域)に対応する画像
表示用データを、物体単位で符号化してマクロブロック
スライス毎に伝送する場合の、伝送の繰り返し単位とな
る単位ビットストリームである。ここでは、マクロブロ
ックスライスは、上記実施の形態2と同様、図10(a)
に示すオブジェクト領域R′における符号化処理順に並
ぶ4つのマクロブロックからなる領域としている。
施の形態3による画像伝送用データ構造を説明するため
の図である。図において、3は、表示画面上の個々の物
体を含む所定領域(オブジェクト領域)に対応する画像
表示用データを、物体単位で符号化してマクロブロック
スライス毎に伝送する場合の、伝送の繰り返し単位とな
る単位ビットストリームである。ここでは、マクロブロ
ックスライスは、上記実施の形態2と同様、図10(a)
に示すオブジェクト領域R′における符号化処理順に並
ぶ4つのマクロブロックからなる領域としている。
【0151】上記単位ビットストリーム3は、スライス
ヘッダビット列Dhs,MB位置ビット列Dbp,ヘッ
ダビット列Dh,2値形状ビット列D2,テクスチャー
タイプビット列Dty,動きベクトルビット列Dgtmv,再
同期信号Dgsyn,画素値ビット列Dg,再同期信号Dts
yn,透過度ビット列Dtを、これらのビット列がこの順
序で繰り返し伝送されるよう配列したものであり、上記
実施の形態2の単位ビットストリーム2とは、透過度ビ
ット列Dt及びこれに対応する再同期信号Dtsynと、画
素値ビット列Dg及びこれらに対応する再同期信号Dgs
ynとの配列順序が逆となっている点のみ異なっている。
ヘッダビット列Dhs,MB位置ビット列Dbp,ヘッ
ダビット列Dh,2値形状ビット列D2,テクスチャー
タイプビット列Dty,動きベクトルビット列Dgtmv,再
同期信号Dgsyn,画素値ビット列Dg,再同期信号Dts
yn,透過度ビット列Dtを、これらのビット列がこの順
序で繰り返し伝送されるよう配列したものであり、上記
実施の形態2の単位ビットストリーム2とは、透過度ビ
ット列Dt及びこれに対応する再同期信号Dtsynと、画
素値ビット列Dg及びこれらに対応する再同期信号Dgs
ynとの配列順序が逆となっている点のみ異なっている。
【0152】また、本実施の形態3の単位ビットストリ
ームからなる画像符号化データを扱うシステムにおける
符号化及び復号化処理は、上記実施の形態2で説明した
ものと同様に行われ、さらに、このシステムに用いられ
る符号化装置及び復号化装置も、図12及び図13に示
すものとほぼ同一の構成を有している。
ームからなる画像符号化データを扱うシステムにおける
符号化及び復号化処理は、上記実施の形態2で説明した
ものと同様に行われ、さらに、このシステムに用いられ
る符号化装置及び復号化装置も、図12及び図13に示
すものとほぼ同一の構成を有している。
【0153】つまり、本実施の形態3では、画像符号化
データを生成する符号化装置を構成するビットストリー
ム生成部は、上記スライスヘッダビット列Dhs,MB
位置ビット列Dbp,ヘッダビット列Dh,2値形状ビ
ット列D2,テクスチャータイプビット列Dty,動きベ
クトルビット列Dgtmv,再同期信号Dgsyn,画素値ビッ
ト列Dg,再同期信号Dtsyn,透過度ビット列Dtを、
この順序(図11(b)に示す順序)で繰り返し伝送され
るよう配列して出力する構成となっている点で、上記実
施の形態2のものと異なっている。
データを生成する符号化装置を構成するビットストリー
ム生成部は、上記スライスヘッダビット列Dhs,MB
位置ビット列Dbp,ヘッダビット列Dh,2値形状ビ
ット列D2,テクスチャータイプビット列Dty,動きベ
クトルビット列Dgtmv,再同期信号Dgsyn,画素値ビッ
ト列Dg,再同期信号Dtsyn,透過度ビット列Dtを、
この順序(図11(b)に示す順序)で繰り返し伝送され
るよう配列して出力する構成となっている点で、上記実
施の形態2のものと異なっている。
【0154】また、本実施の形態3では、上記画像符号
化データを復号化する復号化装置を構成するビットスト
リーム分割部は、図11(b) に示す画像伝送用データ構
造のビットストリーム3を受け、該ビットストリーム3
から、上記スライスヘッダビット列Dhs,MB位置ビ
ット列Dbp及び再同期信号Dgsyn,Dtsynに基づい
て、上記ヘッダビット列Dh,2値形状ビット列D2 ,
動きベクトルビット列Dgtmv,画素値ビット列Dg,透
過度ビット列Dtを分離して、上記実施の形態2の復号
化装置と同様な復号化処理を行う構成となっている。
化データを復号化する復号化装置を構成するビットスト
リーム分割部は、図11(b) に示す画像伝送用データ構
造のビットストリーム3を受け、該ビットストリーム3
から、上記スライスヘッダビット列Dhs,MB位置ビ
ット列Dbp及び再同期信号Dgsyn,Dtsynに基づい
て、上記ヘッダビット列Dh,2値形状ビット列D2 ,
動きベクトルビット列Dgtmv,画素値ビット列Dg,透
過度ビット列Dtを分離して、上記実施の形態2の復号
化装置と同様な復号化処理を行う構成となっている。
【0155】そしてさらにこの実施の形態3の復号化装
置を構成する復号化回路は、伝送エラーが発生した時に
は、上記再同期信号Dgsyn,Dtsynに基づいて、該再同
期信号からその前後の伝送エラー発生位置までのビット
列としての符号化データを認識する処理を行って、符号
化データを復号化する処理を行う構成となっている。
置を構成する復号化回路は、伝送エラーが発生した時に
は、上記再同期信号Dgsyn,Dtsynに基づいて、該再同
期信号からその前後の伝送エラー発生位置までのビット
列としての符号化データを認識する処理を行って、符号
化データを復号化する処理を行う構成となっている。
【0156】このような構成の実施の形態3では、透過
度ビット列Dtに対応する再同期信号Dtsynと、これに
続く透過度ビット列Dtとを、画素値ビット列Dgの後
に伝送されるよう配置したので、復号化側で、透過度情
報を必要としない場合には、簡単にこの透過度ビット列
Dtを廃棄することができる。
度ビット列Dtに対応する再同期信号Dtsynと、これに
続く透過度ビット列Dtとを、画素値ビット列Dgの後
に伝送されるよう配置したので、復号化側で、透過度情
報を必要としない場合には、簡単にこの透過度ビット列
Dtを廃棄することができる。
【0157】また、単位ビットストリームの伝送中に画
素値ビット列Dgの一部でエラーが発生した場合には、
重要な画素値ビット列Dgの前,後に位置する再同期信
号Dgsyn,Dtsynを基準として、画素値ビット列Dgに
おけるデータをその前端及び後端からエラー発生位置ま
でたどって、画素値ビット列Dgのほとんどのデータを
短時間で復号化することができる。
素値ビット列Dgの一部でエラーが発生した場合には、
重要な画素値ビット列Dgの前,後に位置する再同期信
号Dgsyn,Dtsynを基準として、画素値ビット列Dgに
おけるデータをその前端及び後端からエラー発生位置ま
でたどって、画素値ビット列Dgのほとんどのデータを
短時間で復号化することができる。
【0158】なお、上記実施の形態2,3では、単位ビ
ットストリームとして、MB位置ビット列Dbpと再同
期信号DtsynあるいはDgsynの間に位置する各ビット列
Dh,D2mv,D2ot,Dty,Dgtmvが、マクロブロッ
クスライスごとに、つまりマクロブロックスライスを構
成する4つのマクロブロック毎にまとめて配列されてい
るものについて示したが、マクロブロックスライスに対
応した単位ビットストリームは、MB位置ビット列Db
pと再同期信号DtsynあるいはDgsynの間に、1つのマ
クロブロックに対応する各ビット列Dh,D2mv,D2
ot,Dty,Dgtmvがマクロブロックごとに繰り返し配列
されたものでもよい。
ットストリームとして、MB位置ビット列Dbpと再同
期信号DtsynあるいはDgsynの間に位置する各ビット列
Dh,D2mv,D2ot,Dty,Dgtmvが、マクロブロッ
クスライスごとに、つまりマクロブロックスライスを構
成する4つのマクロブロック毎にまとめて配列されてい
るものについて示したが、マクロブロックスライスに対
応した単位ビットストリームは、MB位置ビット列Db
pと再同期信号DtsynあるいはDgsynの間に、1つのマ
クロブロックに対応する各ビット列Dh,D2mv,D2
ot,Dty,Dgtmvがマクロブロックごとに繰り返し配列
されたものでもよい。
【0159】上記各実施の形態では、符号化装置及び復
号化装置の構成は、ハードウエアあるいはソフトウエア
のいずれによって実現してもよい。例えば、MPEG1
規格に準拠した符号化装置及び復号化装置の構成は、ソ
フトウエアーで実現しており、近年のCPU等の演算処
理の高速化を考慮すると、上記各実施の形態のようなM
PEG4規格に準拠した符号化装置及び復号化装置も、
その大部分をソフトウエアーだけで実現可能である。
号化装置の構成は、ハードウエアあるいはソフトウエア
のいずれによって実現してもよい。例えば、MPEG1
規格に準拠した符号化装置及び復号化装置の構成は、ソ
フトウエアーで実現しており、近年のCPU等の演算処
理の高速化を考慮すると、上記各実施の形態のようなM
PEG4規格に準拠した符号化装置及び復号化装置も、
その大部分をソフトウエアーだけで実現可能である。
【0160】ただし、この場合、大量のデータが受信側
に送られてきたときには、CPUの処理能力の不足によ
り、復号化できなくなる状況もあり得る。このような一
時的に復号化処理が困難となるという問題に対しては、
一般的に画像表示用データが部分的に完全に欠落してし
まうよりは、画質の劣化が多少生じても表示すべき画像
全体としての雰囲気は伝送されるようにする方が望まし
いという考えから、コンプテーションデータデクラレー
ションという対処法が提案されている。これは、上記の
ような大量のデータが受信側に送られてきた場合には、
画質を少し落としてでも該当するオブジェクトの画像符
号化データの復号化を行えるようにするものであり、こ
のような方法を用いることにより、MPEG4規格の符
号化あるいは復号化処理についてもソフトウエアにより
実現可能となる。
に送られてきたときには、CPUの処理能力の不足によ
り、復号化できなくなる状況もあり得る。このような一
時的に復号化処理が困難となるという問題に対しては、
一般的に画像表示用データが部分的に完全に欠落してし
まうよりは、画質の劣化が多少生じても表示すべき画像
全体としての雰囲気は伝送されるようにする方が望まし
いという考えから、コンプテーションデータデクラレー
ションという対処法が提案されている。これは、上記の
ような大量のデータが受信側に送られてきた場合には、
画質を少し落としてでも該当するオブジェクトの画像符
号化データの復号化を行えるようにするものであり、こ
のような方法を用いることにより、MPEG4規格の符
号化あるいは復号化処理についてもソフトウエアにより
実現可能となる。
【0161】また、MPEG4では、オブジェクト単位
で画像表示用データの符号化及び復号化処理を行うの
で、オブジェクトに対応する画像表示用データとして、
上記各実施の形態のように画像A,B,Cの画像符号化
データを伝送する場合、送るデータ自体の優先準位を設
定しておけば、CPUの処理能力との兼ね合いで、重要
でないものから順に伝送を行わないようにしていく方法
も考えられる。
で画像表示用データの符号化及び復号化処理を行うの
で、オブジェクトに対応する画像表示用データとして、
上記各実施の形態のように画像A,B,Cの画像符号化
データを伝送する場合、送るデータ自体の優先準位を設
定しておけば、CPUの処理能力との兼ね合いで、重要
でないものから順に伝送を行わないようにしていく方法
も考えられる。
【0162】さらに、上記各実施の形態で示した符号化
装置あるいは復号化装置の構成を実現するための符号化
あるいは復号化プログラムを、フロッピーディスク等の
データ記憶媒体に記録するようにすることにより、本発
明の各実施の形態で示した処理を、独立したコンピュー
タシステムにおいて簡単に実施することが可能となる。
装置あるいは復号化装置の構成を実現するための符号化
あるいは復号化プログラムを、フロッピーディスク等の
データ記憶媒体に記録するようにすることにより、本発
明の各実施の形態で示した処理を、独立したコンピュー
タシステムにおいて簡単に実施することが可能となる。
【0163】図16は、上記各実施の形態の符号化ある
いは復号化処理を、上記符号化あるいは復号化プログラ
ムを格納したフロッピーディスクを用いて、コンピュー
タシステムにより実施する場合を説明するための図であ
る。
いは復号化処理を、上記符号化あるいは復号化プログラ
ムを格納したフロッピーディスクを用いて、コンピュー
タシステムにより実施する場合を説明するための図であ
る。
【0164】図16(a) は、フロッピーディスクの正面
からみた外観、断面構造、及びフロッピーディスク本体
を示し、図16(b) は、該フロッピーディスク本体の物
理フォーマットの例を示している。
からみた外観、断面構造、及びフロッピーディスク本体
を示し、図16(b) は、該フロッピーディスク本体の物
理フォーマットの例を示している。
【0165】上記フロッピーディスクFDは、上記フロ
ッピーディスク本体DをフロッピーディスクケースFC
内に収容した構造となっており、該フロッピーディスク
本体Dの表面には、同心円状に外周からは内周に向かっ
て複数のトラックTrが形成され、各トラックTrは角
度方向に16のセクタSeに分割されている。従って、
上記プログラムを格納したフロッピーディスクFDで
は、上記フロッピーディスク本体Dは、その上に割り当
てられた領域(セクタ)Seに、上記プログラムとして
のデータが記録されたものとなっている。
ッピーディスク本体DをフロッピーディスクケースFC
内に収容した構造となっており、該フロッピーディスク
本体Dの表面には、同心円状に外周からは内周に向かっ
て複数のトラックTrが形成され、各トラックTrは角
度方向に16のセクタSeに分割されている。従って、
上記プログラムを格納したフロッピーディスクFDで
は、上記フロッピーディスク本体Dは、その上に割り当
てられた領域(セクタ)Seに、上記プログラムとして
のデータが記録されたものとなっている。
【0166】また、図16(c) は、フロッピーディスク
FDに対する上記プログラムの記録、及びフロッピーデ
ィスクFDに格納したプログラムを用いた画像処理を行
うための構成を示している。
FDに対する上記プログラムの記録、及びフロッピーデ
ィスクFDに格納したプログラムを用いた画像処理を行
うための構成を示している。
【0167】上記プログラムをフロッピーディスクFD
に記録する場合は、コンピュータシステムCsから上記
プログラムとしてのデータを、フロッピーディスクドラ
イブFDDを介してフロッピーディスクFDに書き込む。
また、フロッピーディスクFDに記録されたプログラム
により、上記符号化装置あるいは復号化装置をコンピュ
ータシステムCs中に構築する場合は、フロッピーディ
スクドライブFDDによりプログラムをフロッピーディス
クFDから読み出し、コンピュータシステムCsにロー
ドする。
に記録する場合は、コンピュータシステムCsから上記
プログラムとしてのデータを、フロッピーディスクドラ
イブFDDを介してフロッピーディスクFDに書き込む。
また、フロッピーディスクFDに記録されたプログラム
により、上記符号化装置あるいは復号化装置をコンピュ
ータシステムCs中に構築する場合は、フロッピーディ
スクドライブFDDによりプログラムをフロッピーディス
クFDから読み出し、コンピュータシステムCsにロー
ドする。
【0168】なお、上記説明では、データ記録媒体とし
てフロッピーディスクを用いて説明を行ったが、光ディ
スクを用いても上記フロッピーディスクの場合と同様に
ソフトウェアによる符号化処理あるいは復号化処理を行
うことができる。また、記録媒体は上記光ディスクやフ
ロッピーディスクに限るものではなく、ICカード、R
OMカセット等、プログラムを記録できるものであれば
よく、これらの記録媒体を用いる場合でも、上記フロッ
ピーディスク等を用いる場合と同様にソフトウェアによ
る符号化処理あるいは復号化処理を実施することができ
る。
てフロッピーディスクを用いて説明を行ったが、光ディ
スクを用いても上記フロッピーディスクの場合と同様に
ソフトウェアによる符号化処理あるいは復号化処理を行
うことができる。また、記録媒体は上記光ディスクやフ
ロッピーディスクに限るものではなく、ICカード、R
OMカセット等、プログラムを記録できるものであれば
よく、これらの記録媒体を用いる場合でも、上記フロッ
ピーディスク等を用いる場合と同様にソフトウェアによ
る符号化処理あるいは復号化処理を実施することができ
る。
【0169】さらに、光ディスク等のデータ記憶媒体に
符号化して格納された画像符号化データを、上記各実施
の形態の画像伝送用データ構造を有するものとすること
により、該光ディスクからの画像符号化データを復号化
して画像表示する場合には、読出しエラーが生じた時で
も該エラーによる表示画像の品質劣化を低減したり、重
要な画素値ビット列を短時間で復号化したりすることが
可能となる。
符号化して格納された画像符号化データを、上記各実施
の形態の画像伝送用データ構造を有するものとすること
により、該光ディスクからの画像符号化データを復号化
して画像表示する場合には、読出しエラーが生じた時で
も該エラーによる表示画像の品質劣化を低減したり、重
要な画素値ビット列を短時間で復号化したりすることが
可能となる。
【0170】
【発明の効果】以上のように本発明(請求項1)に係る
画像伝送用データ構造によれば、表示画面上の該当する
物体を含む所定領域内の各画素に対応する、その画素が
物体内部に位置するかあるいは物体外部に位置するかを
示す2値形状信号を符号化して得られる2値形状ビット
列を含み、上記2値形状信号より得られる動きベクトル
情報を符号化して得られた第1のビット列と、上記2値
形状信号を動きベクトル情報に基づいて符号化して得ら
れた第2のビット列とを、該第1のビット列が該第2の
ビット列より先に伝送されるよう配列して、上記2値形
状ビット列を構成したので、画像符号化データの伝送途
中でエラーが発生した場合でも、伝送先で画像表示を行
うのに重要な2値形状についての動きベクトルの情報を
伝送できる確率が高くなり、これにより伝送エラーによ
る伝送先での画像表示における品位が劣化するのを低減
することができる。
画像伝送用データ構造によれば、表示画面上の該当する
物体を含む所定領域内の各画素に対応する、その画素が
物体内部に位置するかあるいは物体外部に位置するかを
示す2値形状信号を符号化して得られる2値形状ビット
列を含み、上記2値形状信号より得られる動きベクトル
情報を符号化して得られた第1のビット列と、上記2値
形状信号を動きベクトル情報に基づいて符号化して得ら
れた第2のビット列とを、該第1のビット列が該第2の
ビット列より先に伝送されるよう配列して、上記2値形
状ビット列を構成したので、画像符号化データの伝送途
中でエラーが発生した場合でも、伝送先で画像表示を行
うのに重要な2値形状についての動きベクトルの情報を
伝送できる確率が高くなり、これにより伝送エラーによ
る伝送先での画像表示における品位が劣化するのを低減
することができる。
【0171】この発明(請求項2)によれば、請求項1
記載の画像伝送用データ構造において、表示画面上の該
当する物体を含む所定領域を複数のブロックに分割し、
上記第1のビット列を、上記2値形状信号より得られる
動きベクトル情報を、上記複数のブロックのうちの隣接
する所定数のブロックに相当する分だけ符号化して得ら
れたものとし、上記第2のビット列を、上記2値形状信
号を該動きベクトル情報に基づいて上記複数のブロック
のうちの隣接する所定数のブロックに相当する分だけ符
号化して得られたものとしたので、2値形状についての
動きベクトルの情報が伝送されれば、表示画面上の、該
所定数のブロックに相当する領域では完全ではないがあ
る程度の画像表示が行われることとなる。このため、伝
送エラーによって、表示画面上での特定のブロックに相
当する領域の画像が抜けてしまう等の不具合が発生する
のを低減することができる。
記載の画像伝送用データ構造において、表示画面上の該
当する物体を含む所定領域を複数のブロックに分割し、
上記第1のビット列を、上記2値形状信号より得られる
動きベクトル情報を、上記複数のブロックのうちの隣接
する所定数のブロックに相当する分だけ符号化して得ら
れたものとし、上記第2のビット列を、上記2値形状信
号を該動きベクトル情報に基づいて上記複数のブロック
のうちの隣接する所定数のブロックに相当する分だけ符
号化して得られたものとしたので、2値形状についての
動きベクトルの情報が伝送されれば、表示画面上の、該
所定数のブロックに相当する領域では完全ではないがあ
る程度の画像表示が行われることとなる。このため、伝
送エラーによって、表示画面上での特定のブロックに相
当する領域の画像が抜けてしまう等の不具合が発生する
のを低減することができる。
【0172】この発明(請求項3)によれば、請求項1
記載の画像伝送用データ構造において、上記2値形状ビ
ット列、透過度ビット列、及び画素値ビット列ととも
に、上記画素値信号あるいは透過度信号より得られかつ
これらの信号に共通する、上記物体の表示画面上での動
きを示す動きベクトルを、符号化して得られた動きベク
トルビット列を含み、上記各ビット列に関連する関連情
報を符号化して得られた、最初に伝送されるヘッダビッ
ト列に続いて、2値形状ビット列,動きベクトルビット
列,画素値ビット列,及び透過度ビット列がこの順序で
伝送されるよう配列したので、画素値ビット列以降のビ
ット列の伝送中にエラーが発生しても、伝送先では画像
表示を行うのに重要な2値形状ビット列及び動きベクト
ルビット列を復号化することができる。このため、伝送
先での画像表示を、伝送エラーによる画質劣化が低減さ
れたものとできる。
記載の画像伝送用データ構造において、上記2値形状ビ
ット列、透過度ビット列、及び画素値ビット列ととも
に、上記画素値信号あるいは透過度信号より得られかつ
これらの信号に共通する、上記物体の表示画面上での動
きを示す動きベクトルを、符号化して得られた動きベク
トルビット列を含み、上記各ビット列に関連する関連情
報を符号化して得られた、最初に伝送されるヘッダビッ
ト列に続いて、2値形状ビット列,動きベクトルビット
列,画素値ビット列,及び透過度ビット列がこの順序で
伝送されるよう配列したので、画素値ビット列以降のビ
ット列の伝送中にエラーが発生しても、伝送先では画像
表示を行うのに重要な2値形状ビット列及び動きベクト
ルビット列を復号化することができる。このため、伝送
先での画像表示を、伝送エラーによる画質劣化が低減さ
れたものとできる。
【0173】この発明(請求項4)に係る画像伝送用デ
ータ構造によれば、表示画面上の該当する物体を含む所
定領域内の各画素に対応する、その画素が物体内部に位
置するかあるいは物体外部に位置するかを示す2値形状
信号を、符号化して得られる2値形状ビット列と、上記
表示画面上の上記物体を構成する各画素に対応する、該
物体の画像の透明度に対応する透過度信号を符号化して
得られる透過度ビット列と、上記表示画面上の上記物体
を構成する各画素に対応する、該物体をカラー表示する
ための画素値信号を符号化して得られる画素値ビット列
とを含み、上記各ビット列を、該透過度ビット列が上記
2値形状ビット列及び画素値ビット列より後に伝送され
るよう配列したので、画像表示を行うのに透過度信号に
比べて重要度の高い2値形状信号及び画素値信号のビッ
ト列が、伝送エラーによって復号できなくなるのを低減
することができ、伝送先での画像表示を、伝送エラーに
よる画質劣化が低減されたものとできる。
ータ構造によれば、表示画面上の該当する物体を含む所
定領域内の各画素に対応する、その画素が物体内部に位
置するかあるいは物体外部に位置するかを示す2値形状
信号を、符号化して得られる2値形状ビット列と、上記
表示画面上の上記物体を構成する各画素に対応する、該
物体の画像の透明度に対応する透過度信号を符号化して
得られる透過度ビット列と、上記表示画面上の上記物体
を構成する各画素に対応する、該物体をカラー表示する
ための画素値信号を符号化して得られる画素値ビット列
とを含み、上記各ビット列を、該透過度ビット列が上記
2値形状ビット列及び画素値ビット列より後に伝送され
るよう配列したので、画像表示を行うのに透過度信号に
比べて重要度の高い2値形状信号及び画素値信号のビッ
ト列が、伝送エラーによって復号できなくなるのを低減
することができ、伝送先での画像表示を、伝送エラーに
よる画質劣化が低減されたものとできる。
【0174】この発明(請求項5)は、請求項4記載の
画像伝送用データ構造において、上記表示画面上の上記
物体を含む所定領域を複数のブロックに分割し、上記2
値形状ビット列,透過度ビット列,及び画素値ビット列
を、上記2値形状信号,透過度信号及び画素値信号を上
記複数のブロックのうちの隣接する所定数のブロックに
相当する分だけ符号化してなる構成としたので、透過度
ビット列の伝送中にエラーが発生しても、2値形状ビッ
ト列及び画素値ビット列の復号化は可能であり、これに
より、表示画面上の、該所定数のブロックに相当する領
域では2値形状信号及び画素値信号によりほぼ完全な画
像表示が行われることとなる。このため、伝送エラーに
よって、表示画面上での特定のブロックに相当する領域
の画像が抜けてしまったり、極端に画質の劣化したもの
となったりする等の不具合の発生を低減することができ
る。
画像伝送用データ構造において、上記表示画面上の上記
物体を含む所定領域を複数のブロックに分割し、上記2
値形状ビット列,透過度ビット列,及び画素値ビット列
を、上記2値形状信号,透過度信号及び画素値信号を上
記複数のブロックのうちの隣接する所定数のブロックに
相当する分だけ符号化してなる構成としたので、透過度
ビット列の伝送中にエラーが発生しても、2値形状ビッ
ト列及び画素値ビット列の復号化は可能であり、これに
より、表示画面上の、該所定数のブロックに相当する領
域では2値形状信号及び画素値信号によりほぼ完全な画
像表示が行われることとなる。このため、伝送エラーに
よって、表示画面上での特定のブロックに相当する領域
の画像が抜けてしまったり、極端に画質の劣化したもの
となったりする等の不具合の発生を低減することができ
る。
【0175】この発明(請求項6)によれば、請求項3
記載の画像伝送用データ構造において、上記2値形状ビ
ット列を、上記2値形状信号より得られる、上記物体の
表示画面上での動きを示す動きベクトル情報を、符号化
して得られた第1のビット列と、上記2値形状信号を該
動きベクトル情報に基づいて符号化して得られた第2の
ビット列とを含み、上記各ビット列を、上記第1のビッ
ト列の伝送後、上記動きベクトルビット列が伝送され、
その後第2のビット列が伝送されるよう配列したので、
上記ビット列の伝送途中にエラーが発生しても、画像表
示を行う上で特に重要となる2値形状動きベクトル、並
びに画素値及び透過度に共通な動きベクトルに対応する
ビット列を復号化できる確率が高くなり、これにより伝
送先での画像表示を、伝送エラーによる画質劣化が低減
されたものとできる。
記載の画像伝送用データ構造において、上記2値形状ビ
ット列を、上記2値形状信号より得られる、上記物体の
表示画面上での動きを示す動きベクトル情報を、符号化
して得られた第1のビット列と、上記2値形状信号を該
動きベクトル情報に基づいて符号化して得られた第2の
ビット列とを含み、上記各ビット列を、上記第1のビッ
ト列の伝送後、上記動きベクトルビット列が伝送され、
その後第2のビット列が伝送されるよう配列したので、
上記ビット列の伝送途中にエラーが発生しても、画像表
示を行う上で特に重要となる2値形状動きベクトル、並
びに画素値及び透過度に共通な動きベクトルに対応する
ビット列を復号化できる確率が高くなり、これにより伝
送先での画像表示を、伝送エラーによる画質劣化が低減
されたものとできる。
【0176】この発明(請求項7,9)によれば、表示
画面上に表示される個々の物体に対応する画像表示用デ
ータを物体毎に符号化する際、表示画面上の該当する物
体を含む所定領域内の各画素に対応する、その画素が物
体内部に位置するかあるいは物体外部に位置するかを示
す2値形状信号を用いて、上記物体の表示画面上での動
きを示す動きベクトルを検出し、該動きベクトルを符号
化して第1のビット列を形成し、上記2値形状信号を構
成する2値データを動きベクトルに基づいて符号化して
第2のビット列を形成し、上記各ビット列を、該第1の
ビット列が第2のビット列より先に伝送されるよう配列
するので、画像符号化データの伝送途中でエラーが発生
した場合でも、伝送先で画像表示を行うのに重要な2値
形状についての動きベクトルの情報を伝送できる確率が
高くなる。これにより伝送エラーにより伝送先での画像
表示における品位が劣化するのを低減することができる
符号化方法及び符号化装置を得ることができる。
画面上に表示される個々の物体に対応する画像表示用デ
ータを物体毎に符号化する際、表示画面上の該当する物
体を含む所定領域内の各画素に対応する、その画素が物
体内部に位置するかあるいは物体外部に位置するかを示
す2値形状信号を用いて、上記物体の表示画面上での動
きを示す動きベクトルを検出し、該動きベクトルを符号
化して第1のビット列を形成し、上記2値形状信号を構
成する2値データを動きベクトルに基づいて符号化して
第2のビット列を形成し、上記各ビット列を、該第1の
ビット列が第2のビット列より先に伝送されるよう配列
するので、画像符号化データの伝送途中でエラーが発生
した場合でも、伝送先で画像表示を行うのに重要な2値
形状についての動きベクトルの情報を伝送できる確率が
高くなる。これにより伝送エラーにより伝送先での画像
表示における品位が劣化するのを低減することができる
符号化方法及び符号化装置を得ることができる。
【0177】この発明(請求項8,10)によれば、表
示画面上に表示される個々の物体に対応する画像表示用
データを物体毎に符号化する際、表示画面上の該当する
物体を含む所定領域内の各画素に対応する、その画素が
物体内部に位置するかあるいは物体外部に位置するかを
示す2値形状信号を、符号化して2値形状信号ビット列
を形成し、上記各画素に対応する、該物体をカラー表示
するための画素値信号を、符号化して画素値ビット列を
形成し、上記各画素に対応する、該物体の画像の透明度
に対応する透過度信号を、符号化して透過度ビット列を
形成し、上記各ビット列を、該透過度ビット列が上記2
値形状ビット列及び画素値ビット列より後に伝送される
よう配列するので、画像表示を行うのに透過度信号に比
べて重要度の高い2値形状信号及び画素値信号のビット
列が、伝送エラーによって復号できなくなるのを低減す
ることができ、これにより伝送先での画像表示を、伝送
エラーによる画質劣化が低減されたものとできる符号化
方法及び符号化装置を得ることができる。
示画面上に表示される個々の物体に対応する画像表示用
データを物体毎に符号化する際、表示画面上の該当する
物体を含む所定領域内の各画素に対応する、その画素が
物体内部に位置するかあるいは物体外部に位置するかを
示す2値形状信号を、符号化して2値形状信号ビット列
を形成し、上記各画素に対応する、該物体をカラー表示
するための画素値信号を、符号化して画素値ビット列を
形成し、上記各画素に対応する、該物体の画像の透明度
に対応する透過度信号を、符号化して透過度ビット列を
形成し、上記各ビット列を、該透過度ビット列が上記2
値形状ビット列及び画素値ビット列より後に伝送される
よう配列するので、画像表示を行うのに透過度信号に比
べて重要度の高い2値形状信号及び画素値信号のビット
列が、伝送エラーによって復号できなくなるのを低減す
ることができ、これにより伝送先での画像表示を、伝送
エラーによる画質劣化が低減されたものとできる符号化
方法及び符号化装置を得ることができる。
【0178】この発明(請求項11,13)によれば、
請求項7記載の符号化方法により符号化した、各物体に
対応する画像符号化データを復号化する際、上記第1の
ビット列を復号化して上記2値形状信号より得られる動
きベクトルを形成し、上記第2のビット列を上記動きベ
クトルに基づいて復号化して上記2値形状信号を構成す
る2値データを形成して上記2値形状信号を生成するの
で、画像データの伝送途中でエラーが発生した場合で
も、伝送先で画像表示を行うのに重要な2値形状に関す
る動きベクトルの情報を伝送できる確率が高い画像伝送
用データ構造のビット列を復号化可能な復号化方法及び
復号化装置を得ることができる。
請求項7記載の符号化方法により符号化した、各物体に
対応する画像符号化データを復号化する際、上記第1の
ビット列を復号化して上記2値形状信号より得られる動
きベクトルを形成し、上記第2のビット列を上記動きベ
クトルに基づいて復号化して上記2値形状信号を構成す
る2値データを形成して上記2値形状信号を生成するの
で、画像データの伝送途中でエラーが発生した場合で
も、伝送先で画像表示を行うのに重要な2値形状に関す
る動きベクトルの情報を伝送できる確率が高い画像伝送
用データ構造のビット列を復号化可能な復号化方法及び
復号化装置を得ることができる。
【0179】この発明(請求項12,14)によれば、
請求項8記載の符号化方法により符号化した、各物体に
対応する画像符号化データを復号化する際、上記2値形
状ビット列を復号化して上記2値形状信号を形成し、上
記画素値ビット列を復号化して上記画素値信号を形成
し、上記透過度ビット列を復号化して上記透過度信号を
形成して、表示画面上に表示される個々の物体に対応す
る画像表示用データを生成するので、画像表示を行うの
に透過度信号に比べて重要度の高い2値形状信号及び画
素値信号のビット列が、伝送エラーによって復号できな
くなるのを低減することができる画像伝送用データ構造
のビット列を復号化可能な復号化方法及び復号化装置を
得ることができる。
請求項8記載の符号化方法により符号化した、各物体に
対応する画像符号化データを復号化する際、上記2値形
状ビット列を復号化して上記2値形状信号を形成し、上
記画素値ビット列を復号化して上記画素値信号を形成
し、上記透過度ビット列を復号化して上記透過度信号を
形成して、表示画面上に表示される個々の物体に対応す
る画像表示用データを生成するので、画像表示を行うの
に透過度信号に比べて重要度の高い2値形状信号及び画
素値信号のビット列が、伝送エラーによって復号できな
くなるのを低減することができる画像伝送用データ構造
のビット列を復号化可能な復号化方法及び復号化装置を
得ることができる。
【0180】この発明(請求項15)に係るデータ記憶
媒体によれば、表示画面上の物体に対応する画像表示用
データを符号化する際、表示画面上の該当する物体を含
む所定領域内の各画素に対応する、その画素が物体内部
に位置するかあるいは物体外部に位置するかを示す2値
形状信号を用いて、上記物体の表示画面上での動きを示
す動きベクトルを検出し、上記動きベクトルを符号化し
て第1のビット列を形成し、上記2値形状信号を構成す
る2値データを動きベクトルに基づいて符号化して第2
のビット列を形成し、上記各ビット列を、該第1のビッ
ト列が第2のビット列より先に伝送されるよう配列する
処理を、コンピュータに行わせるためのプログラムを格
納したので、該プログラムをコンピュータにロードする
ことにより、画像符号化データの伝送途中でエラーが発
生した場合でも、伝送先で画像表示を行うのに重要な2
値形状に関する動きベクトルの情報の復号化を高い確率
でもって行うための符号化処理を実現でき、これにより
伝送エラーによる伝送先での画像表示における品位が劣
化するのを低減することが可能となる。
媒体によれば、表示画面上の物体に対応する画像表示用
データを符号化する際、表示画面上の該当する物体を含
む所定領域内の各画素に対応する、その画素が物体内部
に位置するかあるいは物体外部に位置するかを示す2値
形状信号を用いて、上記物体の表示画面上での動きを示
す動きベクトルを検出し、上記動きベクトルを符号化し
て第1のビット列を形成し、上記2値形状信号を構成す
る2値データを動きベクトルに基づいて符号化して第2
のビット列を形成し、上記各ビット列を、該第1のビッ
ト列が第2のビット列より先に伝送されるよう配列する
処理を、コンピュータに行わせるためのプログラムを格
納したので、該プログラムをコンピュータにロードする
ことにより、画像符号化データの伝送途中でエラーが発
生した場合でも、伝送先で画像表示を行うのに重要な2
値形状に関する動きベクトルの情報の復号化を高い確率
でもって行うための符号化処理を実現でき、これにより
伝送エラーによる伝送先での画像表示における品位が劣
化するのを低減することが可能となる。
【0181】この発明(請求項16)に係るデータ記憶
媒体によれば、表示画面上の物体に対応する画像表示用
データを符号化する際、表示画面上の該当する物体を含
む所定領域内の各画素に対応する、その画素が物体内部
に位置するかあるいは物体外部に位置するかを示す2値
形状信号を符号化して2値形状信号ビット列を形成し、
上記各画素に対応する、該物体をカラー表示するための
画素値信号を符号化して画素値ビット列を形成し、上記
各画素に対応する、該物体の画像の透明度に対応する透
過度信号を符号化して透過度ビット列を形成し、上記各
ビット列を、該透過度ビット列が上記2値形状ビット列
及び画素値ビット列より後に伝送されるよう配列させる
処理を、コンピュータに行わせるためのプログラムを格
納したので、該プログラムをコンピュータにロードする
ことにより、伝送エラーが発生した場合でも、画像表示
を行うのに透過度信号に比べて重要度の高い2値形状信
号及び画素値信号のビット列の復号化を高い確率でもっ
て行うための符号化処理を実現でき、これにより伝送エ
ラーによる伝送先での画像表示における品位が劣化する
のを低減することが可能となる。
媒体によれば、表示画面上の物体に対応する画像表示用
データを符号化する際、表示画面上の該当する物体を含
む所定領域内の各画素に対応する、その画素が物体内部
に位置するかあるいは物体外部に位置するかを示す2値
形状信号を符号化して2値形状信号ビット列を形成し、
上記各画素に対応する、該物体をカラー表示するための
画素値信号を符号化して画素値ビット列を形成し、上記
各画素に対応する、該物体の画像の透明度に対応する透
過度信号を符号化して透過度ビット列を形成し、上記各
ビット列を、該透過度ビット列が上記2値形状ビット列
及び画素値ビット列より後に伝送されるよう配列させる
処理を、コンピュータに行わせるためのプログラムを格
納したので、該プログラムをコンピュータにロードする
ことにより、伝送エラーが発生した場合でも、画像表示
を行うのに透過度信号に比べて重要度の高い2値形状信
号及び画素値信号のビット列の復号化を高い確率でもっ
て行うための符号化処理を実現でき、これにより伝送エ
ラーによる伝送先での画像表示における品位が劣化する
のを低減することが可能となる。
【0182】この発明(請求項17)に係るデータ記憶
媒体によれば、請求項7記載の符号化方法により符号化
した、各物体に対応する画像表示用データを復号化する
処理を、コンピュータにより行うためのプログラムを格
納し、該プログラムを、コンピュータに、上記第1のビ
ット列を復号化して、上記2値形状信号より得られる動
きベクトルを形成し、上記第2のビット列を上記動きベ
クトルに基づいて復号化して、上記2値形状信号を構成
する2値データを形成し、上記表示画面上の、該当する
物体を含む所定領域内の各画素に対応する、その画素が
上記該当する物体の内部の画素であるか物体外部の画素
であるかを示す2値形状信号を生成させるものとしたの
で、該プログラムをコンピュータにロードすることによ
り、画像データの伝送途中でエラーが発生した場合で
も、伝送先で画像表示を行うのに重要な2値形状に関す
る動きベクトルの情報を伝送できる確率が高い画像伝送
用データ構造のビット列を復号化可能な復号化方法及び
復号化装置を実現できる。
媒体によれば、請求項7記載の符号化方法により符号化
した、各物体に対応する画像表示用データを復号化する
処理を、コンピュータにより行うためのプログラムを格
納し、該プログラムを、コンピュータに、上記第1のビ
ット列を復号化して、上記2値形状信号より得られる動
きベクトルを形成し、上記第2のビット列を上記動きベ
クトルに基づいて復号化して、上記2値形状信号を構成
する2値データを形成し、上記表示画面上の、該当する
物体を含む所定領域内の各画素に対応する、その画素が
上記該当する物体の内部の画素であるか物体外部の画素
であるかを示す2値形状信号を生成させるものとしたの
で、該プログラムをコンピュータにロードすることによ
り、画像データの伝送途中でエラーが発生した場合で
も、伝送先で画像表示を行うのに重要な2値形状に関す
る動きベクトルの情報を伝送できる確率が高い画像伝送
用データ構造のビット列を復号化可能な復号化方法及び
復号化装置を実現できる。
【0183】この発明(請求項18)に係るデータ記憶
媒体によれば、請求項8記載の符号化方法により符号化
された、各物体に対応する画像表示用データを復号化す
る処理を、コンピュータにより行わせるプログラムを格
納し、上記プログラムを、コンピュータに、上記2値形
状ビット列を復号化して上記2値形状信号を形成し、上
記画素値ビット列を復号化して上記画素値信号を形成
し、上記透過度ビット列を復号化して上記透過度信号を
形成し、表示画面上に表示される個々の物体に対応する
画像表示用データを生成させる処理を行わせるものとし
たので、該プログラムをコンピュータにロードすること
により、画像表示を行うのに透過度信号に比べて重要度
の高い2値形状信号及び画素値信号のビット列が、伝送
エラーによって復号できなくなるのを低減することがで
きる画像伝送用データ構造のビット列を復号化可能な復
号化方法及び復号化装置を実現できる。
媒体によれば、請求項8記載の符号化方法により符号化
された、各物体に対応する画像表示用データを復号化す
る処理を、コンピュータにより行わせるプログラムを格
納し、上記プログラムを、コンピュータに、上記2値形
状ビット列を復号化して上記2値形状信号を形成し、上
記画素値ビット列を復号化して上記画素値信号を形成
し、上記透過度ビット列を復号化して上記透過度信号を
形成し、表示画面上に表示される個々の物体に対応する
画像表示用データを生成させる処理を行わせるものとし
たので、該プログラムをコンピュータにロードすること
により、画像表示を行うのに透過度信号に比べて重要度
の高い2値形状信号及び画素値信号のビット列が、伝送
エラーによって復号できなくなるのを低減することがで
きる画像伝送用データ構造のビット列を復号化可能な復
号化方法及び復号化装置を実現できる。
【0184】この発明(請求項19)に係るデータ記憶
媒体によれば、表示画面上に表示される個々の物体単位
でもって伝送される、各物体に対応する符号化された画
像表示用データを記憶し、該画像表示用データを、上記
表示画面上の該当する物体を含む所定領域内の各画素に
対応する、その画素が物体内部に位置するかあるいは物
体外部に位置するかを示す2値形状信号を符号化して得
られた2値形状ビット列を含むものとし、該2値形状ビ
ット列を、上記2値形状信号より得られる、上記物体の
表示画面上での動きを示す動きベクトル情報を、符号化
して得られた第1のビット列と、上記2値形状信号を該
動きベクトル情報に基づいて符号化して得られた第2の
ビット列とを含み、該第1及び第2のビット列を第1の
ビット列が第2のビット列より先に伝送されるよう配列
した構成としたので、該データ記憶媒体を用いることに
より、画像表示装置では、画像データの伝送途中でエラ
ーが発生した場合でも、画像表示を行うのに重要な2値
形状に関する動きベクトルの情報の復号化を高い確率で
もって行うことができ、これにより表示品位の劣化の少
ない画像再生を行うことができる。
媒体によれば、表示画面上に表示される個々の物体単位
でもって伝送される、各物体に対応する符号化された画
像表示用データを記憶し、該画像表示用データを、上記
表示画面上の該当する物体を含む所定領域内の各画素に
対応する、その画素が物体内部に位置するかあるいは物
体外部に位置するかを示す2値形状信号を符号化して得
られた2値形状ビット列を含むものとし、該2値形状ビ
ット列を、上記2値形状信号より得られる、上記物体の
表示画面上での動きを示す動きベクトル情報を、符号化
して得られた第1のビット列と、上記2値形状信号を該
動きベクトル情報に基づいて符号化して得られた第2の
ビット列とを含み、該第1及び第2のビット列を第1の
ビット列が第2のビット列より先に伝送されるよう配列
した構成としたので、該データ記憶媒体を用いることに
より、画像表示装置では、画像データの伝送途中でエラ
ーが発生した場合でも、画像表示を行うのに重要な2値
形状に関する動きベクトルの情報の復号化を高い確率で
もって行うことができ、これにより表示品位の劣化の少
ない画像再生を行うことができる。
【0185】この発明(請求項20)に係るデータ記憶
媒体によれば、表示画面上に表示される個々の物体単位
でもって伝送される、各物体に対応する符号化された画
像表示用データを記憶し、上記画像表示用データを、上
記表示画面上の該当する物体を含む所定領域内の各画素
に対応する、その画素が物体内部に位置するかあるいは
物体外部に位置するかを示す2値形状信号を符号化して
得られる2値形状ビット列と、上記各画素に対応する、
該物体の画像の透明度に対応する透過度信号を符号化し
て得られる透過度ビット列と、上記各画素に対応する、
該物体をカラー表示するための画素値信号を符号化して
得られる画素値ビット列とを含み、上記各ビット列を、
該透過度ビット列が上記2値形状ビット列及び画素値ビ
ット列より後に伝送されるよう配列した構成としたの
で、該データ記憶媒体を用いることにより、画像表示装
置では、画像データの伝送途中でエラーが発生した場合
でも、画像表示を行うのに透過度信号に比べて重要度の
高い2値形状信号及び画素値信号のビット列の復号化を
高い確率でもって行うことができ、これにより表示品位
の劣化の少ない画像再生を行うことができる。
媒体によれば、表示画面上に表示される個々の物体単位
でもって伝送される、各物体に対応する符号化された画
像表示用データを記憶し、上記画像表示用データを、上
記表示画面上の該当する物体を含む所定領域内の各画素
に対応する、その画素が物体内部に位置するかあるいは
物体外部に位置するかを示す2値形状信号を符号化して
得られる2値形状ビット列と、上記各画素に対応する、
該物体の画像の透明度に対応する透過度信号を符号化し
て得られる透過度ビット列と、上記各画素に対応する、
該物体をカラー表示するための画素値信号を符号化して
得られる画素値ビット列とを含み、上記各ビット列を、
該透過度ビット列が上記2値形状ビット列及び画素値ビ
ット列より後に伝送されるよう配列した構成としたの
で、該データ記憶媒体を用いることにより、画像表示装
置では、画像データの伝送途中でエラーが発生した場合
でも、画像表示を行うのに透過度信号に比べて重要度の
高い2値形状信号及び画素値信号のビット列の復号化を
高い確率でもって行うことができ、これにより表示品位
の劣化の少ない画像再生を行うことができる。
【0186】この発明(請求項21)に係る画像伝送用
データ構造によれば、表示画面上の該当する物体を含む
所定領域内の各画素に対応する、その画素が物体内部に
位置するかあるいは物体外部に位置するかを示す2値形
状信号を、符号化して得られる2値形状ビット列と、上
記表示画面上の該当する物体を構成する各画素に対応す
る、該物体の透明度を示す透過度信号を符号化して得ら
れる透過度ビット列と、上記表示画面上の該当する物体
を構成する各画素に対応する、該物体をカラー表示する
ための画素値信号を符号化して得られる画素値ビット列
とを、上記画像符号化データの一部として含むととも
に、上記画素値ビット列の先頭位置を示す画素値同期信
号及び透過度ビット列の先頭位置を示す透過度同期信号
を、上記画像符号化データの一部として含み、該画素値
ビット列及び透過度ビット列を、それぞれに対応する同
期信号に続いて伝送されるよう配列したので、画像表示
用データに対する符号化データの伝送途中でエラーが発
生した場合でも、同期信号を基準として、符号化データ
の前端あるいは後端からエラー発生位置まで符号化デー
タをたどって各ビット列のデータを識別することができ
る。これにより、伝送エラーが発生した場合でも、伝送
先にて重要な符号化データの復号化処理に支障をきたす
のを極力回避することができ、しかもこの際、重要な符
号化データの復号化処理を短い時間で行うことができ
る。
データ構造によれば、表示画面上の該当する物体を含む
所定領域内の各画素に対応する、その画素が物体内部に
位置するかあるいは物体外部に位置するかを示す2値形
状信号を、符号化して得られる2値形状ビット列と、上
記表示画面上の該当する物体を構成する各画素に対応す
る、該物体の透明度を示す透過度信号を符号化して得ら
れる透過度ビット列と、上記表示画面上の該当する物体
を構成する各画素に対応する、該物体をカラー表示する
ための画素値信号を符号化して得られる画素値ビット列
とを、上記画像符号化データの一部として含むととも
に、上記画素値ビット列の先頭位置を示す画素値同期信
号及び透過度ビット列の先頭位置を示す透過度同期信号
を、上記画像符号化データの一部として含み、該画素値
ビット列及び透過度ビット列を、それぞれに対応する同
期信号に続いて伝送されるよう配列したので、画像表示
用データに対する符号化データの伝送途中でエラーが発
生した場合でも、同期信号を基準として、符号化データ
の前端あるいは後端からエラー発生位置まで符号化デー
タをたどって各ビット列のデータを識別することができ
る。これにより、伝送エラーが発生した場合でも、伝送
先にて重要な符号化データの復号化処理に支障をきたす
のを極力回避することができ、しかもこの際、重要な符
号化データの復号化処理を短い時間で行うことができ
る。
【0187】この発明(請求項22)によれば、請求項
21記載の画像伝送用データ構造において、上記画素値
同期信号及び画素値ビット列が上記透過度同期信号及び
透過度ビット列に続いて伝送されるよう、これらの同期
信号及びビット列が配列されているので、単位ビットス
トリームにおける重要なデータである画素値ビット列が
最後尾に配置されることとなり、単位ビットストリーム
の伝送中にエラーが発生した場合には、重要な画素値ビ
ット列を単位ビットストリームの後尾からたどって短時
間にて復号化することが可能となる。
21記載の画像伝送用データ構造において、上記画素値
同期信号及び画素値ビット列が上記透過度同期信号及び
透過度ビット列に続いて伝送されるよう、これらの同期
信号及びビット列が配列されているので、単位ビットス
トリームにおける重要なデータである画素値ビット列が
最後尾に配置されることとなり、単位ビットストリーム
の伝送中にエラーが発生した場合には、重要な画素値ビ
ット列を単位ビットストリームの後尾からたどって短時
間にて復号化することが可能となる。
【0188】この発明(請求項23)によれば、請求項
21記載の画像伝送用データ構造において、上記透過度
同期信号及び透過度ビット列が上記画素値同期信号及び
画素値ビット列に続いて伝送されるよう、これらの同期
信号及びビット列が配列されているので、単位ビットス
トリームにおける重要でないデータである透過度ビット
列がその最後尾に配置されることとなり、復号化側で、
透過度情報を必要としない場合には、簡単にこの透過度
情報を廃棄することができる。
21記載の画像伝送用データ構造において、上記透過度
同期信号及び透過度ビット列が上記画素値同期信号及び
画素値ビット列に続いて伝送されるよう、これらの同期
信号及びビット列が配列されているので、単位ビットス
トリームにおける重要でないデータである透過度ビット
列がその最後尾に配置されることとなり、復号化側で、
透過度情報を必要としない場合には、簡単にこの透過度
情報を廃棄することができる。
【0189】また、単位ビットストリームの伝送中に画
素値ビット列の一部でエラーが発生した場合には、重要
な画素値ビット列の前後に位置する再同期信号を基準と
して、画素値ビット列におけるデータをその前端及び後
端からエラー発生位置まで短時間でたどって、画素値ビ
ット列のほとんどのデータを復号化することが可能とな
る。
素値ビット列の一部でエラーが発生した場合には、重要
な画素値ビット列の前後に位置する再同期信号を基準と
して、画素値ビット列におけるデータをその前端及び後
端からエラー発生位置まで短時間でたどって、画素値ビ
ット列のほとんどのデータを復号化することが可能とな
る。
【0190】この発明(請求項24,25)によれば、
表示画面上の物体に対応する画像表示用データを符号化
する際、表示画面上の該当する物体を含む所定領域内の
各画素に対応する、その画素が物体内部に位置するかあ
るいは物体外部に位置するかを示す2値形状信号を、符
号化して2値形状信号ビット列を生成し、上記表示画面
上の該当する物体を構成する各画素に対応する、該物体
をカラー表示するための画素値信号を、符号化して画素
値ビット列を生成し、上記表示画面上の該当する物体を
構成する各画素に対応する、該物体の画像の透明度を示
す透過度信号を、符号化して透過度ビット列を生成し、
上記画素値ビット列の先頭位置を示す画素値同期信号及
び透過度ビット列の先頭位置を示す透過度同期信号を生
成し、該画素値ビット列及び透過度ビット列を、これら
のビット列がそれぞれに対応する同期信号に続いて伝送
されるよう配列して、上記画像符号化データの一部とし
て出力するので、画像表示用データに対する符号化デー
タの伝送途中でエラーが発生した場合でも、同期信号を
基準として、符号化データの前端あるいは後端からエラ
ー発生位置まで符号化データをたどって各ビット列のデ
ータを識別することができる。これにより、伝送エラー
が発生した場合でも、伝送先にて重要な符号化データの
復号化処理に支障をきたすのを極力回避することがで
き、しかもこの際、重要な符号化データの復号化処理を
短い時間で行うことができる。
表示画面上の物体に対応する画像表示用データを符号化
する際、表示画面上の該当する物体を含む所定領域内の
各画素に対応する、その画素が物体内部に位置するかあ
るいは物体外部に位置するかを示す2値形状信号を、符
号化して2値形状信号ビット列を生成し、上記表示画面
上の該当する物体を構成する各画素に対応する、該物体
をカラー表示するための画素値信号を、符号化して画素
値ビット列を生成し、上記表示画面上の該当する物体を
構成する各画素に対応する、該物体の画像の透明度を示
す透過度信号を、符号化して透過度ビット列を生成し、
上記画素値ビット列の先頭位置を示す画素値同期信号及
び透過度ビット列の先頭位置を示す透過度同期信号を生
成し、該画素値ビット列及び透過度ビット列を、これら
のビット列がそれぞれに対応する同期信号に続いて伝送
されるよう配列して、上記画像符号化データの一部とし
て出力するので、画像表示用データに対する符号化デー
タの伝送途中でエラーが発生した場合でも、同期信号を
基準として、符号化データの前端あるいは後端からエラ
ー発生位置まで符号化データをたどって各ビット列のデ
ータを識別することができる。これにより、伝送エラー
が発生した場合でも、伝送先にて重要な符号化データの
復号化処理に支障をきたすのを極力回避することがで
き、しかもこの際、重要な符号化データの復号化処理を
短い時間で行うことができる。
【0191】この発明(請求項26,27)によれば、
請求項24記載の符号化方法により得られる、表示画面
上に表示される個々の物体を含む所定領域に対応する画
像符号化データに、該所定領域を分割するブロック毎に
復号化処理を施す際、上記2値形状ビット列を復号化し
て上記2値形状信号を生成し、上記画素値ビット列を、
これに対応する画素値同期信号に基づいて上記画像符号
化データから検出し、該検出した画素値ビット列を復号
化して上記画素値信号を生成し、上記透過度ビット列
を、これに対応する透過度同期信号に基づいて上記画像
符号化データから検出し、該検出した透過度ビット列を
復号化して上記透過度信号を生成し、上記生成された各
信号に基づいて、表示画面上に表示される個々の物体に
対応する画像表示用データを再生するので、伝送エラー
が発生した場合でも、伝送先にて重要な符号化データの
復号化処理に支障をきたすのを極力回避することがで
き、しかもこの際、重要な符号化データの復号化処理を
短い時間で行うことができる画像伝送用データ構造のビ
ットストリームを復号化可能な復号化方法及び復号化装
置を得ることができる。
請求項24記載の符号化方法により得られる、表示画面
上に表示される個々の物体を含む所定領域に対応する画
像符号化データに、該所定領域を分割するブロック毎に
復号化処理を施す際、上記2値形状ビット列を復号化し
て上記2値形状信号を生成し、上記画素値ビット列を、
これに対応する画素値同期信号に基づいて上記画像符号
化データから検出し、該検出した画素値ビット列を復号
化して上記画素値信号を生成し、上記透過度ビット列
を、これに対応する透過度同期信号に基づいて上記画像
符号化データから検出し、該検出した透過度ビット列を
復号化して上記透過度信号を生成し、上記生成された各
信号に基づいて、表示画面上に表示される個々の物体に
対応する画像表示用データを再生するので、伝送エラー
が発生した場合でも、伝送先にて重要な符号化データの
復号化処理に支障をきたすのを極力回避することがで
き、しかもこの際、重要な符号化データの復号化処理を
短い時間で行うことができる画像伝送用データ構造のビ
ットストリームを復号化可能な復号化方法及び復号化装
置を得ることができる。
【0192】この発明(請求項28)に係るデータ記憶
媒体によれば、表示画面上の各物体に対応する画像表示
用データを符号化する際、表示画面上の該当する物体を
含む所定領域内の各画素に対応する、その画素が物体内
部に位置するかあるいは物体外部に位置するかを示す2
値形状信号を、符号化して2値形状ビット列を形成する
処理、上記表示画面上の該当する物体を構成する各画素
に対応する、該物体をカラー表示するための画素値信号
を、符号化して画素値ビット列を形成する処理、上記表
示画面上の該当する物体を構成する各画素に対応する、
該物体の透明度を示す透過度信号を、符号化して透過度
ビット列を形成する処理、上記画素値ビット列の先頭位
置を示す画素値同期信号及び透過度ビット列の先頭位置
を示す透過度同期信号を生成する処理、及び、上記画素
値ビット列及び透過度ビット列を、これらのビット列が
それぞれに対応する同期信号に続いて伝送されるよう配
列して出力する処理を、コンピュータに行わせるプログ
ラムを格納したので、該プログラムをコンピュータにロ
ードすることにより、画像表示用データに対する符号化
データの伝送途中でエラーが発生した場合でも、伝送先
にて重要な符号化データの復号化処理に支障をきたすの
を極力回避することができ、しかもこの際、重要な符号
化データの復号化処理を短い時間で行うことが可能とな
る。
媒体によれば、表示画面上の各物体に対応する画像表示
用データを符号化する際、表示画面上の該当する物体を
含む所定領域内の各画素に対応する、その画素が物体内
部に位置するかあるいは物体外部に位置するかを示す2
値形状信号を、符号化して2値形状ビット列を形成する
処理、上記表示画面上の該当する物体を構成する各画素
に対応する、該物体をカラー表示するための画素値信号
を、符号化して画素値ビット列を形成する処理、上記表
示画面上の該当する物体を構成する各画素に対応する、
該物体の透明度を示す透過度信号を、符号化して透過度
ビット列を形成する処理、上記画素値ビット列の先頭位
置を示す画素値同期信号及び透過度ビット列の先頭位置
を示す透過度同期信号を生成する処理、及び、上記画素
値ビット列及び透過度ビット列を、これらのビット列が
それぞれに対応する同期信号に続いて伝送されるよう配
列して出力する処理を、コンピュータに行わせるプログ
ラムを格納したので、該プログラムをコンピュータにロ
ードすることにより、画像表示用データに対する符号化
データの伝送途中でエラーが発生した場合でも、伝送先
にて重要な符号化データの復号化処理に支障をきたすの
を極力回避することができ、しかもこの際、重要な符号
化データの復号化処理を短い時間で行うことが可能とな
る。
【0193】この発明(請求項29)に係るデータ記憶
媒体によれば、請求項24記載の符号化方法により得ら
れる、表示画面上に表示される個々の物体を含む所定領
域に対応する画像符号化データを、該所定領域を分割す
るブロック毎に復号化する処理を、コンピュータにより
行わせるプログラムを格納し、該プログラムを、コンピ
ュータに、上記2値形状ビット列を復号化して上記2値
形状信号を形成する処理、上記画素値ビット列を、これ
に対応する画素値同期信号に基づいて上記画像符号化デ
ータから検出し、該検出した画素値ビット列を復号化し
て上記画素値信号を形成する処理、及び、上記透過度ビ
ット列を、これに対応する透過度同期信号に基づいて上
記画像符号化データから検出し、該検出した透過度ビッ
ト列を復号化して上記透過度信号を形成する処理をコン
ピュータに行わせるものとしたので、該プログラムをコ
ンピュータにロードすることにより、伝送エラーが発生
した場合でも、伝送先にて重要な符号化データの復号化
処理に支障をきたすのを極力回避することができ、しか
もこの際、重要な符号化データの復号化処理を短い時間
で行うことができる画像伝送用データ構造のビット列を
復号化可能な復号化方法及び復号化装置を実現できる。
媒体によれば、請求項24記載の符号化方法により得ら
れる、表示画面上に表示される個々の物体を含む所定領
域に対応する画像符号化データを、該所定領域を分割す
るブロック毎に復号化する処理を、コンピュータにより
行わせるプログラムを格納し、該プログラムを、コンピ
ュータに、上記2値形状ビット列を復号化して上記2値
形状信号を形成する処理、上記画素値ビット列を、これ
に対応する画素値同期信号に基づいて上記画像符号化デ
ータから検出し、該検出した画素値ビット列を復号化し
て上記画素値信号を形成する処理、及び、上記透過度ビ
ット列を、これに対応する透過度同期信号に基づいて上
記画像符号化データから検出し、該検出した透過度ビッ
ト列を復号化して上記透過度信号を形成する処理をコン
ピュータに行わせるものとしたので、該プログラムをコ
ンピュータにロードすることにより、伝送エラーが発生
した場合でも、伝送先にて重要な符号化データの復号化
処理に支障をきたすのを極力回避することができ、しか
もこの際、重要な符号化データの復号化処理を短い時間
で行うことができる画像伝送用データ構造のビット列を
復号化可能な復号化方法及び復号化装置を実現できる。
【0194】この発明(請求項30)に係るデータ記憶
媒体によれば、表示画面上に表示される個々の物体を含
む所定領域に対応する画像表示用データに、該所定領域
を分割するブロック毎に符号化処理を施して得られた画
像符号化データを記憶し、該画像符号化データを、上記
表示画面上の該当する物体を含む所定領域内の各画素に
対応する、その画素が物体内部に位置するかあるいは物
体外部に位置するかを示す2値形状信号を、符号化して
得られる2値形状ビット列と、上記表示画面上の該当す
る物体を構成する各画素に対応する、該物体の透明度を
示す透過度信号を、符号化して得られる透過度ビット列
と、上記表示画面上の該当する物体を構成する各画素に
対応する、該物体をカラー表示するための画素値信号
を、符号化して得られる画素値ビット列とを、上記画像
符号化データの一部として含むとともに、上記画素値ビ
ット列の先頭位置を示す画素値同期信号及び透過度ビッ
ト列の先頭位置を示す透過度同期信号を、上記画像符号
化データの一部として含み、該画素値ビット列及び透過
度ビット列を、それぞれに対応する同期信号に続いて伝
送されるよう配列したデータ構造としたので、該データ
構造を有する画像符号化データを用いることにより、復
号化装置では、画像表示用データに対する符号化データ
の伝送途中でエラーが発生した場合でも、伝送先にて重
要な符号化データの復号化処理に支障をきたすのを極力
回避することができ、しかもこの際、重要な符号化デー
タの復号化処理を短い時間で行うことが可能となる。
媒体によれば、表示画面上に表示される個々の物体を含
む所定領域に対応する画像表示用データに、該所定領域
を分割するブロック毎に符号化処理を施して得られた画
像符号化データを記憶し、該画像符号化データを、上記
表示画面上の該当する物体を含む所定領域内の各画素に
対応する、その画素が物体内部に位置するかあるいは物
体外部に位置するかを示す2値形状信号を、符号化して
得られる2値形状ビット列と、上記表示画面上の該当す
る物体を構成する各画素に対応する、該物体の透明度を
示す透過度信号を、符号化して得られる透過度ビット列
と、上記表示画面上の該当する物体を構成する各画素に
対応する、該物体をカラー表示するための画素値信号
を、符号化して得られる画素値ビット列とを、上記画像
符号化データの一部として含むとともに、上記画素値ビ
ット列の先頭位置を示す画素値同期信号及び透過度ビッ
ト列の先頭位置を示す透過度同期信号を、上記画像符号
化データの一部として含み、該画素値ビット列及び透過
度ビット列を、それぞれに対応する同期信号に続いて伝
送されるよう配列したデータ構造としたので、該データ
構造を有する画像符号化データを用いることにより、復
号化装置では、画像表示用データに対する符号化データ
の伝送途中でエラーが発生した場合でも、伝送先にて重
要な符号化データの復号化処理に支障をきたすのを極力
回避することができ、しかもこの際、重要な符号化デー
タの復号化処理を短い時間で行うことが可能となる。
【図1】本発明の実施の形態1による画像伝送用データ
構造における、伝送の繰り返し単位となる単位ビットス
トリームを示す図である。
構造における、伝送の繰り返し単位となる単位ビットス
トリームを示す図である。
【図2】上記実施の形態1による画像伝送用データ構造
を有する画像符号化データを生成する符号化処理、及び
該画像符号化データを復号化する復号化処理を概念的に
示す図である。
を有する画像符号化データを生成する符号化処理、及び
該画像符号化データを復号化する復号化処理を概念的に
示す図である。
【図3】上記実施の形態1による符号化処理を行う符号
化装置の構成を示すブロック図である。
化装置の構成を示すブロック図である。
【図4】上記実施の形態1による復号化処理を行う復号
化装置の構成を示すブロック図である。
化装置の構成を示すブロック図である。
【図5】上記実施の形態1による符号化処理のフローを
示す図である。
示す図である。
【図6】上記実施の形態1による復号化処理のフローを
示す図である。
示す図である。
【図7】MPEG4に準拠した、コンピュータグラフィ
ック処理に用いられる画像表示用信号を説明するための
図であり、図(a) ,(b) ,(c) はそれぞれあるオブジェ
クトの2値形状信号,透過度信号,画素値信号に対応す
る画像情報を示し、図(d) は背景画像、図(e) は上記オ
ブジェクトと背景画像との合成画像を示す。
ック処理に用いられる画像表示用信号を説明するための
図であり、図(a) ,(b) ,(c) はそれぞれあるオブジェ
クトの2値形状信号,透過度信号,画素値信号に対応す
る画像情報を示し、図(d) は背景画像、図(e) は上記オ
ブジェクトと背景画像との合成画像を示す。
【図8】MPEG4における前景(オブジェクト)の符
号化処理を説明するための図である。
号化処理を説明するための図である。
【図9】MPEG4での前景画像情報の画像伝送用デー
タ構造における、伝送の繰り返し単位となる単位ビット
ストリームを示す図である。
タ構造における、伝送の繰り返し単位となる単位ビット
ストリームを示す図である。
【図10】MPEG4での前景画像情報の画像伝送用デ
ータ構造における、伝送の繰り返し単位となる、他の単
位ビットストリームを示す図である。
ータ構造における、伝送の繰り返し単位となる、他の単
位ビットストリームを示す図である。
【図11】本発明の実施の形態2及び3による画像伝送
用データ構造を説明するための図であり、図(a) ,図
(b) は実施の形態2,3における伝送の繰り返し単位と
なる単位ビットストリームを示す図である。
用データ構造を説明するための図であり、図(a) ,図
(b) は実施の形態2,3における伝送の繰り返し単位と
なる単位ビットストリームを示す図である。
【図12】上記実施の形態2による画像伝送用データ構
造を有する画像符号化データを生成する符号化装置の構
成を説明するためのブロック図である。
造を有する画像符号化データを生成する符号化装置の構
成を説明するためのブロック図である。
【図13】上記実施の形態2による画像伝送用データ構
造を有する画像符号化データを復号化する復号化装置の
構成を説明するためのブロック図である。
造を有する画像符号化データを復号化する復号化装置の
構成を説明するためのブロック図である。
【図14】上記実施の形態2の符号化装置による符号化
処理のフローを示す図である。
処理のフローを示す図である。
【図15】上記実施の形態2の復号化装置による復号化
処理のフローを示す図である。
処理のフローを示す図である。
【図16】図16は、上記実施の形態の符号化あるいは
復号化装置を、コンピュータシステムにより実現するた
めのプログラムを格納するためのデータ記録媒体につい
て説明するための図であり、図16(a) ,(b) は、上記
データ記録媒体の構造を示す図、図16(c) は上記シス
テムを示す概念図である。
復号化装置を、コンピュータシステムにより実現するた
めのプログラムを格納するためのデータ記録媒体につい
て説明するための図であり、図16(a) ,(b) は、上記
データ記録媒体の構造を示す図、図16(c) は上記シス
テムを示す概念図である。
1〜3 単位ビットストリーム 10,10a,20,20a,30,30a 符号化部 11 2値形状動き検出回路 12,52 2値形状動き補償回路 13,23,33,53,63,73 メモリ 14 2値形状符号化回路 15,54 スイッチ 22,62 透過度動き補償回路 24 透過度符号化回路 31 画素値動き検出回路 32,72 画素値動き補償回路 50,50a,60,60a,70,70a 復号化部 61 透過度符号化回路 71 画素値符号化回路 100 画像表示用信号の伝送システム 100a 符号化装置 100b 復号化装置 110a〜110c 符号化回路 120 多重化処理部 130 分離処理部 140a〜140c 復号化回路 150 合成処理部 Dbp MB位置ビット列 Dh ヘッダの符号化データ(ヘッダビット列) Dhs スライスヘッダビット列 D2mv 2値形状動きベクトルの符号化データ(第1の
ビット例) D2ot 2値データの符号化データ(第2のビット列) Dgtmv 画素値・透過度動きベクトルの符号化データ
(動きベクトルビット列) Dg 画素値信号の符号化データ(画素値ビット列) Dt 透過度信号の符号化データ(透過度ビット列) Dty テキスチャータイプビット列 Dga 画素値AC成分ビット列 Dta 透過度AC成分ビット列 Dgd 画素値DC成分ビット列 Dtd 透過度DC成分ビット列 Dgsyn 画素値同期信号 Dtsyn 透過度同期信号
ビット例) D2ot 2値データの符号化データ(第2のビット列) Dgtmv 画素値・透過度動きベクトルの符号化データ
(動きベクトルビット列) Dg 画素値信号の符号化データ(画素値ビット列) Dt 透過度信号の符号化データ(透過度ビット列) Dty テキスチャータイプビット列 Dga 画素値AC成分ビット列 Dta 透過度AC成分ビット列 Dgd 画素値DC成分ビット列 Dtd 透過度DC成分ビット列 Dgsyn 画素値同期信号 Dtsyn 透過度同期信号
Claims (30)
- 【請求項1】 表示画面上に表示される個々の物体に対
応する画像表示用データを物体毎に符号化して得られる
画像符号化データを伝送するための画像伝送用データ構
造であって、 上記表示画面上の該当する物体を含む所定領域内の各画
素に対応する、その画素が物体内部に位置するかあるい
は物体外部に位置するかを示す2値形状信号を、符号化
して得られる2値形状ビット列を、上記画像符号化デー
タの一部として含み、 該2値形状ビット列は、 上記2値形状信号より得られる、上記物体の表示画面上
での動きを示す動きベクトル情報を、符号化して得られ
る第1のビット列と、 上記2値形状信号を上記動きベクトル情報に基づいて符
号化して得られる第2のビット列とを含み、 該第1及び第2のビット列を該第1のビット列が該第2
のビット列より先に伝送されるよう配列したものである
ことを特徴とする画像伝送用データ構造。 - 【請求項2】 請求項1記載の画像伝送用データ構造に
おいて、 上記表示画面上の上記物体を含む所定領域は、複数のブ
ロックに分割されており、 上記第1のビット列は、上記2値形状信号より得られる
動きベクトル情報を、上記複数のブロックのうちの隣接
する所定数のブロックに相当する分だけ符号化して得ら
れたものであり、 上記第2のビット列は、上記2値形状信号を、該動きベ
クトル情報に基づいて上記複数のブロックのうちの隣接
する所定数のブロックに相当する分だけ符号化して得ら
れたものであることを特徴とする画像伝送用データ構
造。 - 【請求項3】 請求項1記載の画像伝送用データ構造に
おいて、 上記2値形状ビット列に加えて、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体の画像の透明度に相当する透過度信号を符
号化して得られる透過度ビット列と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体を画像表示するための画素値信号を符号化
して得られる画素値ビット列と、 上記画素値信号及び透過度信号に共通し該両信号のうち
の少なくとも画素値信号により得られる、上記物体の表
示画面上での動きを示す動きベクトルを、符号化して得
られる動きベクトルビット列と、 上記各ビット列に関連する関連情報を符号化して得られ
るヘッダビット列とを、上記画像符号化データの一部と
して含み、 上記各ビット列は、最初に伝送されるヘッダビット列に
続いて、2値形状ビット列,動きベクトルビット列,画
素値ビット列,及び透過度ビット列がこの順序で伝送さ
れるよう配列されていることを特徴とする画像伝送用デ
ータ構造。 - 【請求項4】 表示画面上に表示される個々の物体に対
応する画像表示用データを物体毎に符号化して得られる
画像符号化データを伝送するための画像伝送用データ構
造であって、 上記表示画面上の該当する物体を含む所定領域内の各画
素に対応する、その画素が物体内部に位置するかあるい
は物体外部に位置するかを示す2値形状信号を、符号化
して得られる2値形状ビット列と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体の画像の透明度に対応する透過度信号を、
符号化して得られる透過度ビット列と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体をカラー表示するための画素値信号を、符
号化して得られる画素値ビット列とを上記画像符号化デ
ータの一部として含み、 上記各ビット列を、上記透過度ビット列が2値形状ビッ
ト列及び画素値ビット列より後に伝送されるよう配列し
たことを特徴とする画像伝送用データ構造。 - 【請求項5】 請求項4記載の画像伝送用データ構造に
おいて、 上記表示画面上の該当する物体を含む所定領域は、複数
のブロックに分割されており、 上記2値形状ビット列は、上記2値形状信号を、上記複
数のブロックのうちの隣接する所定数のブロックに相当
する分だけ符号化してなるものであり、 上記透過度ビット列は、上記透過度信号を、上記複数の
ブロックのうちの隣接する所定数のブロックに相当する
分だけ符号化してなるものであり、 上記画素値ビット列は、上記画素値信号を、上記複数の
ブロックのうちの隣接する所定数のブロックに相当する
分だけ符号化してなるものであることを特徴とする画像
伝送用データ構造。 - 【請求項6】 請求項4記載の画像伝送用データ構造に
おいて、 上記各ビット列に加えて、上記画素値信号及び透過度信
号に共通し該両信号のうちの少なくとも画素値信号より
得られる、上記物体の表示画面上での動きを示す動きベ
クトルを、符号化して得られる動きベクトルビット列を
上記画像符号化データの一部として含むとともに、 上記2値形状ビット列を、 上記2値形状信号より得られる、上記物体の表示画面上
での動きを示す動きベクトル情報を、符号化して得られ
る第1のビット列と、 上記2値形状信号を該動きベクトル情報に基づいて符号
化して得られる第2のビット列とを含む構成とし、 上記各ビット列を、上記第1のビット列の伝送後に上記
動きベクトルビット列が伝送され、その後第2のビット
列が伝送されるよう配列したことを特徴とする画像伝送
用データ構造。 - 【請求項7】 表示画面上に表示される個々の物体に対
応する画像表示用データを物体毎に符号化して画像符号
化データを出力する符号化方法であって、 上記表示画面上の該当する物体を含む所定領域内の各画
素に対応する、その画素が物体内部に位置するかあるい
は物体外部に位置するかを示す2値データを含む2値形
状信号に基づいて、上記物体の表示画面上での動きを示
す動きベクトルを検出する動き検出処理と、 上記動きベクトルを符号化して第1のビット列を生成す
る処理と、 上記2値形状信号を構成する2値データを上記動きベク
トルに基づいて符号化して第2のビット列を生成する処
理とを含み、 上記各ビット列を、該第1のビット列が第2のビット列
より先に伝送されるよう配列して上記画像符号化データ
の一部として出力することを特徴とする符号化方法。 - 【請求項8】 表示画面上に表示される個々の物体に対
応する画像表示用データを物体毎に符号化して画像符号
化データを出力する符号化方法であって、 上記表示画面上の該当する物体を含む所定領域内の各画
素に対応する、その画素が物体内部に位置するかあるい
は物体外部に位置するかを示す2値形状信号を、符号化
して2値形状信号ビット列を生成する処理と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体をカラー表示するための画素値信号を、符
号化して画素値ビット列を生成する処理と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体の画像の透明度に対応する透過度信号を、
符号化して透過度ビット列を生成する処理とを含み、 上記各ビット列を、該透過度ビット列が上記2値形状ビ
ット列及び画素値ビット列より後に伝送されるよう配列
して上記画像符号化データの一部として出力することを
特徴とする符号化方法。 - 【請求項9】 表示画面上に表示される個々の物体に対
応する画像表示用データを物体毎に符号化して画像符号
化データを出力する符号化装置であって、 上記表示画面上の該当する物体を含む所定領域内の各画
素に対応する、その画素が物体内部に位置するかあるい
は物体外部に位置するかを示す2値データを含む2値形
状信号に基づいて、上記物体の表示画面上での動きを示
す動きベクトルを検出する動き検出手段と、 上記動きベクトルを符号化して、第1のビット列を生成
する第1の符号化手段と、 上記2値形状信号を構成する2値データを、上記動きベ
クトルに基づいて符号化して第2のビット列を生成する
第2の符号化手段とを備え、 上記各ビット列を該第1のビット列が第2のビット列よ
り先に伝送されるよう配列して、上記画像符号化データ
の一部として出力することを特徴とする符号化装置。 - 【請求項10】 表示画面上に表示される個々の物体に
対応する画像表示用データを物体毎に符号化して画像符
号化データを出力する符号化装置であって、 上記表示画面上の該当する物体を含む所定領域内の各画
素に対応する、その画素が物体内部に位置するかあるい
は物体外部に位置するかを示す2値形状信号を、符号化
して2値形状信号ビット列を生成する2値形状符号化手
段と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体をカラー表示するための画素値信号を、符
号化して画素値ビット列を生成する画素値符号化手段
と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体の画像の透明度に対応する透過度信号を、
符号化して透過度ビット列を生成する透過度符号化手段
とを備え、 上記各ビット列を該透過度ビット列が上記2値形状ビッ
ト列及び画素値ビット列より後に伝送されるよう配列し
て、上記画像符号化データの一部として出力することを
特徴とする符号化装置。 - 【請求項11】 請求項7記載の符号化方法により得ら
れる、各物体に対応する画像符号化データを復号化する
復号化方法であって、 上記第1のビット列を復号化して、上記2値形状信号よ
り得られる動きベクトルを生成する処理と、 上記第2のビット列を上記動きベクトルに基づいて復号
化して、上記2値形状信号を構成する2値データを生成
する処理と、 上記動きベクトル及び2値データに基づいて上記2値形
状信号を生成する処理とを含み、 表示画面上に表示される個々の物体に対応する画像表示
用データを再生することを特徴とする復号化方法。 - 【請求項12】 請求項8記載の符号化方法により得ら
れる、各物体に対応する画像符号化データを復号化する
復号化方法であって、 上記2値形状ビット列を復号化して上記2値形状信号を
生成する処理と、 上記画素値ビット列を復号化して上記画素値信号を生成
する処理と、 上記透過度ビット列を復号化して上記透過度信号を生成
する処理とを含み、 上記生成された各信号に基づいて、表示画面上に表示さ
れる個々の物体に対応する画像表示用データを再生する
ことを特徴とする復号化方法。 - 【請求項13】 請求項7記載の符号化方法により得ら
れる、各物体に対応する画像符号化データを復号化する
復号化装置であって、 上記第1のビット列を復号化して、上記2値形状信号よ
り得られる動きベクトルを生成する第1の復号化手段
と、 上記第2のビット列を上記動きベクトルに基づいて復号
化して、上記2値形状信号を構成する2値データを生成
する第2の復号化手段と、 上記各復号化手段の出力に基づいて、上記2値形状信号
を生成する第3の復号化手段とを備え、 表示画面上に表示される個々の物体に対応する画像表示
用データを再生することを特徴とする復号化装置。 - 【請求項14】 請求項8記載の符号化方法により得ら
れる、各物体に対応する画像符号化データを復号化する
復号化装置であって、 上記2値形状ビット列を復号化して上記2値形状信号を
生成する2値形状復号化手段と、 上記画素値ビット列を復号化して上記画素値信号を生成
する画素値復号化手段と、 上記透過度ビット列を復号化して上記透過度信号を生成
する透過度復号化手段とを備え、 上記各復号化手段の出力に基づいて、表示画面上に表示
される個々の物体に対応する画像表示用データを再生す
ることを特徴とする復号化装置。 - 【請求項15】 表示画面上に表示される個々の物体に
対応する画像表示用データを符号化して画像符号化デー
タを出力する符号化処理をコンピュータにより行うため
のプログラムを格納したデータ記憶媒体であって、 上記プログラムはコンピュータに、 上記表示画面上の該当する物体を含む所定領域内の各画
素に対応する、その画素が物体内部に位置するかあるい
は物体外部に位置するかを示す2値形状信号に基づい
て、該物体の表示画面上での動きを示す動きベクトルを
検出する処理、 上記動きベクトルを符号化して第1のビット列を生成す
る処理、 上記2値形状信号を構成する2値データを上記動きベク
トルに基づいて符号化して第2のビット列を生成する処
理、 及び、上記各ビット列を、該第1のビット列が第2のビ
ット列より先に伝送されるよう配列して上記画像符号化
データの一部として出力する処理を行わせるものである
ことを特徴とするデータ記憶媒体。 - 【請求項16】 表示画面上に表示される個々の物体に
対応する画像表示用データを符号化して画像符号化デー
タを出力する符号化処理をコンピュータにより行うため
のプログラムを格納したデータ記憶媒体であって、 上記プログラムは、コンピュータに、 上記表示画面上の該当する物体を含む所定領域内の各画
素に対応する、その画素が物体内部に位置するかあるい
は物体外部に位置するかを示す2値形状信号を符号化し
て2値形状ビット列を生成する処理、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体をカラー表示するための画素値信号を符号
化して画素値ビット列を生成する処理、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体の画像の透明度に対応する透過度信号を符
号化して透過度ビット列を生成する処理、 及び、上記各ビット列を、該透過度ビット列が上記2値
形状ビット列及び画素値ビット列より後に伝送されるよ
う配列して上記画像符号化データの一部として出力する
処理を行わせるものであることを特徴とするデータ記憶
媒体。 - 【請求項17】 請求項7記載の符号化方法により得ら
れる、表示画面上に表示される個々の物体に対応する画
像符号化データに対する復号化処理を、コンピュータに
より行うためのプログラムを格納したデータ記憶媒体で
あって、 該プログラムは、コンピュータに、 上記第1のビット列を復号化して、上記2値形状信号よ
り得られる動きベクトルを生成する処理、 上記第2のビット列を上記動きベクトルに基づいて復号
化して、上記2値形状信号を構成する2値データを生成
する処理、 及び、上記動きベクトル及び2値データに基づいて、上
記2値形状信号を再生する処理を行わせるものであるこ
とを特徴とするデータ記憶媒体。 - 【請求項18】 請求項8記載の符号化方法により得ら
れる、表示画面上に表示される個々の物体に対応する画
像符号化データに対する復号化処理を、コンピュータに
より行わせるプログラムを格納したデータ記憶媒体であ
って、 上記プログラムは、コンピュータに、 上記2値形状ビット列を復号化して上記2値形状信号を
生成する処理、 上記画素値ビット列を復号化して上記画素値信号を生成
する処理、 及び、上記透過度ビット列を復号化して上記透過度信号
を生成する処理を行わせるものであることを特徴とする
データ記憶媒体。 - 【請求項19】 表示画面上に表示される個々の物体に
対応する画像表示用データを物体毎に符号化して得られ
る画像符号化データを記憶したデータ記憶媒体であっ
て、 上記画像符号化データは、 上記表示画面上の該当する物体を含む所定領域内の各画
素に対応する、その画素が物体内部に位置するかあるい
は物体外部に位置するかを示す2値形状信号を符号化し
て得られた2値形状ビット列を含み、 該2値形状ビット列は、 上記2値形状信号より得られる、上記物体の表示画面上
での動きを示す動きベクトル情報を、符号化して得られ
る第1のビット列と、 上記2値形状信号を上記動きベクトル情報に基づいて符
号化して得られる第2のビット列とを含み、 該第1及び第2のビット列を第1のビット列が第2のビ
ット列より先に伝送されるよう配列したものであること
を特徴とするデータ記録媒体。 - 【請求項20】 表示画面上に表示される個々の物体に
対応する画像表示用データを物体毎に符号化して得られ
る画像符号化データを記憶したデータ記憶媒体であっ
て、 上記画像符号化データは、 上記表示画面上の該当する物体を含む所定領域内の各画
素に対応する、その画素が物体内部に位置するかあるい
は物体外部に位置するかを示す2値形状信号を符号化し
て得られる2値形状ビット列と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体の画像の透明度に対応する透過度信号を符
号化して得られる透過度ビット列と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体をカラー表示するための画素値信号を符号
化して得られる画素値ビット列とを含み、 上記各ビット列を、該透過度ビット列が上記2値形状ビ
ット列及び画素値ビット列より後に伝送されるよう配列
したものであることを特徴とするデータ記憶媒体。 - 【請求項21】 表示画面上に表示される個々の物体を
含む所定領域に対応する画像表示用データに、該所定領
域を分割するブロック毎に符号化処理を施して得られた
画像符号化データを、符号化処理順に並ぶ所定数のブロ
ックからなるスライス領域毎にまとめて伝送するための
画像伝送用データ構造であって、 上記表示画面上の該当する物体を含む所定領域内の各画
素に対応する、その画素が物体内部に位置するかあるい
は物体外部に位置するかを示す2値形状信号を、符号化
して得られる2値形状ビット列と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体の透明度を示す透過度信号を符号化して得
られる透過度ビット列と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体をカラー表示するための画素値信号を符号
化して得られる画素値ビット列とを、上記画像符号化デ
ータの一部として含むとともに、 上記画素値ビット列の先頭位置を示す画素値同期信号及
び透過度ビット列の先頭位置を示す透過度同期信号を、
上記画像符号化データの一部として含み、 該画素値ビット列及び透過度ビット列を、それぞれに対
応する同期信号に続いて伝送されるよう配列したことを
特徴とする画像伝送用データ構造。 - 【請求項22】 請求項21記載の画像伝送用データ構
造において上記画素値同期信号及び画素値ビット列が上
記透過度同期信号及び透過度ビット列に続いて伝送され
るよう、これらの同期信号及びビット列が配列されてい
ることを特徴とする画像伝送用データ構造。 - 【請求項23】 請求項21記載の画像伝送用データ構
造において上記透過度同期信号及び透過度ビット列が上
記画素値同期信号及び画素値ビット列に続いて伝送され
るよう、これらの同期信号及びビット列が配列されてい
ることを特徴とする画像伝送用データ構造。 - 【請求項24】 表示画面上に表示される個々の物体を
含む所定領域に対応する画像表示用データに、該所定領
域を分割するブロック毎に符号化処理を施して画像符号
化データを生成し、該画像符号化データを、符号化処理
順に並ぶ所定数のブロックからなるスライス領域毎にま
とめて出力する符号化方法であって、 上記表示画面上の該当する物体を含む所定領域内の各画
素に対応する、その画素が物体内部に位置するかあるい
は物体外部に位置するかを示す2値形状信号を、符号化
して2値形状信号ビット列を生成する処理と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体をカラー表示するための画素値信号を、符
号化して画素値ビット列を生成する処理と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体の画像の透明度を示す透過度信号を、符号
化して透過度ビット列を生成する処理と、 上記画素値ビット列の先頭位置を示す画素値同期信号及
び透過度ビット列の先頭位置を示す透過度同期信号を生
成する処理とを含み、 該画素値ビット列及び透過度ビット列を、これらのビッ
ト列がそれぞれに対応する同期信号に続いて伝送される
よう配列して、上記画像符号化データの一部として出力
することを特徴とする符号化方法。 - 【請求項25】 表示画面上に表示される個々の物体を
含む所定領域に対応する画像表示用データに、該所定領
域を分割するブロック毎に符号化処理を施して画像符号
化データを生成し、該画像符号化データを、符号化処理
順に並ぶ所定数のブロックからなるスライス領域毎にま
とめて出力する符号化装置であって、 上記表示画面上の該当する物体を含む所定領域内の各画
素に対応する、その画素が物体内部に位置するかあるい
は物体外部に位置するかを示す2値形状信号を、符号化
して2値形状信号ビット列を形成する2値形状符号化手
段と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体をカラー表示するための画素値信号を、符
号化して画素値ビット列を生成する画素値符号化手段
と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体の透明度を示す透過度信号を、符号化して
透過度ビット列を生成する透過度符号化手段と、 上記画素値ビット列の先頭位置を示す画素値同期信号及
び透過度ビット列の先頭位置を示す透過度同期信号を生
成する同期信号生成手段とを備え、 該画素値ビット列及び透過度ビット列を、これらのビッ
ト列がそれぞれに対応する同期信号に続いて伝送される
よう配列して出力することを特徴とする符号化装置。 - 【請求項26】 請求項24記載の符号化方法により得
られる、表示画面上に表示される個々の物体を含む所定
領域に対応する画像符号化データに、該所定領域を分割
するブロック毎に復号化処理を施す復号化方法であっ
て、 上記2値形状ビット列を復号化して上記2値形状信号を
生成する処理と、 上記画素値ビット列を、これに対応する画素値同期信号
に基づいて上記画像符号化データから検出し、該検出し
た画素値ビット列を復号化して上記画素値信号を生成す
る処理と、 上記透過度ビット列を、これに対応する透過度同期信号
に基づいて上記画像符号化データから検出し、該検出し
た透過度ビット列を復号化して上記透過度信号を生成す
る処理とを含み、 上記生成された各信号に基づいて、表示画面上に表示さ
れる個々の物体に対応する画像表示用データを再生する
ことを特徴とする復号化方法。 - 【請求項27】 請求項24記載の符号化方法により得
られる、表示画面上に表示される個々の物体を含む所定
領域に対応する画像符号化データに、該所定領域を分割
するブロック毎に復号化処理を施す復号化装置であっ
て、 上記2値形状ビット列を復号化して上記2値形状信号を
形成する第1の復号化手段と、 上記画素値ビット列を、これに対応する画素値同期信号
に基づいて上記画像符号化データから検出し、該検出し
た画素値ビット列を復号化して上記画素値信号を形成す
る第2の復号化手段と、 上記透過度ビット列を、これに対応する透過度同期信号
に基づいて上記画像符号化データから検出し、該検出し
た透過度ビット列を復号化して上記透過度信号を形成す
る第3の復号化手段とを備え、 上記各復号化手段の出力に基づいて、表示画面上に表示
される個々の物体に対応する画像表示用データを生成す
ることを特徴とする復号化装置。 - 【請求項28】 表示画面上に表示される個々の物体を
含む所定領域に対応する画像表示用データに、該所定領
域を分割するブロック毎に符号化処理を施して画像符号
化データを生成し、該画像符号化データを、符号化処理
順に並ぶ所定数のブロックからなるスライス領域毎にま
とめて出力する処理を、コンピュータにより行うための
プログラムを格納したデータ記憶媒体であって、 上記プログラムは、コンピュータに、 上記表示画面上の該当する物体を含む所定領域内の各画
素に対応する、その画素が物体内部に位置するかあるい
は物体外部に位置するかを示す2値形状信号を、符号化
して2値形状ビット列を形成する処理、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体をカラー表示するための画素値信号を、符
号化して画素値ビット列を形成する処理、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体の透明度を示す透過度信号を、符号化して
透過度ビット列を形成する処理と、 上記画素値ビット列の先頭位置を示す画素値同期信号及
び透過度ビット列の先頭位置を示す透過度同期信号を生
成する処理、 及び、上記画素値ビット列及び透過度ビット列を、これ
らのビット列がそれぞれに対応する同期信号に続いて伝
送されるよう配列して出力する処理を行わせるものであ
ることを特徴とするデータ記憶媒体。 - 【請求項29】 請求項24記載の符号化方法により得
られる、表示画面上に表示される個々の物体を含む所定
領域に対応する画像符号化データを、該所定領域を分割
するブロック毎に復号化する処理を、コンピュータによ
り行わせるプログラムを格納したデータ記憶媒体であっ
て、 上記プログラムは、コンピュータに、 上記2値形状ビット列を復号化して上記2値形状信号を
形成する処理、 上記画素値ビット列を、これに対応する画素値同期信号
に基づいて上記画像符号化データから検出し、該検出し
た画素値ビット列を復号化して上記画素値信号を形成す
る処理、 及び、上記透過度ビット列を、これに対応する透過度同
期信号に基づいて上記画像符号化データから検出し、該
検出した透過度ビット列を復号化して上記透過度信号を
形成する処理を行わせるものであることを特徴とするデ
ータ記憶媒体。 - 【請求項30】 表示画面上に表示される個々の物体を
含む所定領域に対応する画像表示用データに、該所定領
域を分割するブロック毎に符号化処理を施して得られた
画像符号化データを記憶したデータ記憶媒体であって、 上記画像符号化データは、 上記表示画面上の該当する物体を含む所定領域内の各画
素に対応する、その画素が物体内部に位置するかあるい
は物体外部に位置するかを示す2値形状信号を、符号化
して得られる2値形状ビット列と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体の透明度を示す透過度信号を、符号化して
得られる透過度ビット列と、 上記表示画面上の該当する物体を構成する各画素に対応
する、該物体をカラー表示するための画素値信号を、符
号化して得られる画素値ビット列とを、上記画像符号化
データの一部として含むとともに、 上記画素値ビット列の先頭位置を示す画素値同期信号及
び透過度ビット列の先頭位置を示す透過度同期信号を、
上記画像符号化データの一部として含み、 該画素値ビット列及び透過度ビット列を、それぞれに対
応する同期信号に続いて伝送されるよう配列したもので
あることを特徴とするデータ記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13393698A JPH1132337A (ja) | 1997-05-15 | 1998-05-15 | 画像伝送用データ構造,符号化方法及び復号化方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12584597 | 1997-05-15 | ||
| JP9-125845 | 1997-05-15 | ||
| JP13393698A JPH1132337A (ja) | 1997-05-15 | 1998-05-15 | 画像伝送用データ構造,符号化方法及び復号化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1132337A true JPH1132337A (ja) | 1999-02-02 |
Family
ID=26462156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13393698A Pending JPH1132337A (ja) | 1997-05-15 | 1998-05-15 | 画像伝送用データ構造,符号化方法及び復号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1132337A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7085379B1 (en) | 1999-11-26 | 2006-08-01 | Sharp Kabushiki Kaisha | Image compression device and image decompressing device, and computer-readable recorded medium on which program for allowing computer to execute image compressing method and image decompressing method |
| JP2007124690A (ja) * | 2006-12-19 | 2007-05-17 | Hynix Semiconductor Inc | グレー形状情報を含むデジタル動映像の符号化方法及び復号化方法 |
| JP2011097370A (ja) * | 2009-10-29 | 2011-05-12 | Yamaha Corp | 画像処理装置 |
| JP2013042449A (ja) * | 2011-08-19 | 2013-02-28 | Axell Corp | 画像圧縮方法、画像伸長方法、及び画像処理装置 |
-
1998
- 1998-05-15 JP JP13393698A patent/JPH1132337A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7085379B1 (en) | 1999-11-26 | 2006-08-01 | Sharp Kabushiki Kaisha | Image compression device and image decompressing device, and computer-readable recorded medium on which program for allowing computer to execute image compressing method and image decompressing method |
| JP2007124690A (ja) * | 2006-12-19 | 2007-05-17 | Hynix Semiconductor Inc | グレー形状情報を含むデジタル動映像の符号化方法及び復号化方法 |
| JP2011097370A (ja) * | 2009-10-29 | 2011-05-12 | Yamaha Corp | 画像処理装置 |
| JP2013042449A (ja) * | 2011-08-19 | 2013-02-28 | Axell Corp | 画像圧縮方法、画像伸長方法、及び画像処理装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6567427B1 (en) | Image signal multiplexing apparatus and methods, image signal demultiplexing apparatus and methods, and transmission media | |
| US5995150A (en) | Dual compressed video bitstream camera for universal serial bus connection | |
| US6081551A (en) | Image coding and decoding apparatus and methods thereof | |
| KR100574184B1 (ko) | 비디오 인코더, 비디오 디코더, 비디오 처리기 및 그 방법 | |
| US6377309B1 (en) | Image processing apparatus and method for reproducing at least an image from a digital data sequence | |
| JP3149303B2 (ja) | デジタル画像符号化方法及びデジタル画像復号化方法 | |
| US9338453B2 (en) | Method and device for encoding/decoding video signals using base layer | |
| TWI407796B (zh) | An image signal decoding apparatus, an image signal decoding method, an image signal coding apparatus, an image signal coding method, and a program | |
| KR100368342B1 (ko) | 동화상 복호화 방법, 동화상 복호화 장치 및 프로그램기록 매체 | |
| JPH11252559A (ja) | 透過度符号化装置および透過度復号化装置、ならびにその方法、並びに画像データ構造、並びにデータ記録媒体 | |
| JP3803349B2 (ja) | 画像復号化装置および画像復号化方法 | |
| KR20000022500A (ko) | 복수의 화상 정보의 부호화 방법, 부호화 장치, 복호화 및 합성방법, 복호화 및 합성 장치, 및 상기 방법을 기록한 기록 매체 | |
| JPH1132337A (ja) | 画像伝送用データ構造,符号化方法及び復号化方法 | |
| US20060120454A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer | |
| JP4499204B2 (ja) | 画像信号多重化装置および方法、並びに伝送媒体 | |
| JPH09247667A (ja) | 動画像符号化装置および動画像復号化装置 | |
| JP3898885B2 (ja) | 動画像復号化方法、動画像復号化装置、及びプログラム記録媒体 | |
| JP2988686B2 (ja) | 放射受信システム | |
| JP4193252B2 (ja) | 信号処理装置及び方法、信号復号装置、並びに信号符号化装置 | |
| WO1999000985A1 (en) | Image encoding method and image decoding method | |
| KR100256648B1 (ko) | 영상 부호화 시스템의 압축 정보 포맷 | |
| JP2005051816A (ja) | 動画像復号化方法、動画像復号化装置、及びプログラム記録媒体 | |
| JPH10290453A (ja) | 映像伝送方法および装置 | |
| KR20060059773A (ko) | 베이스 레이어 픽처의 벡터를 이용하는 영상신호의엔코딩/디코딩 방법 및 장치 | |
| JPH1093977A (ja) | 画像信号処理装置とその方法 |