WO2003092302A1

WO2003092302A1 - Systeme de transfert d'images en mouvement, appareils de codage et de decodage d'images en mouvement, et programme de transfert d'images en mouvement

Info

Publication number: WO2003092302A1
Application number: PCT/JP2003/005321
Authority: WO
Inventors: Atsushi Hatabu; Kazunori Ozawa; Hiroaki Dei
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2002-04-26
Filing date: 2003-04-25
Publication date: 2003-11-06
Anticipated expiration: 2004-10-26
Also published as: EP1501314A4; JP4280927B2; JPWO2003092302A1; EP1501314A1; US20050117643A1

Description

明細書動画像伝送システム、動画像符号化装置、 '

動画像複号化装置、及び動画像伝送プログラム技術分野

本発明は、動画像データを符号化して送信し、送信された符号化データを受信して復号化する動画像伝送システムに関し、特に、符号化データの伝送誤りにより生じる復号画像の乱れを極力抑えることを可能にする動画像伝送システム、動画像符号化装置、動画像複号化装置、及び動画像伝送プログラムに関する。背景技術

近年、動画像データを効率良く伝送する方法として、フレーム間予測に基づく高能率圧縮符号化を行って伝送する方法が多く用いられており、このような動画像圧縮符号化方式の代表例としては、 MP EG (Mo v i n g P i c t u r e E x p e r t G r o u p) — 1、 MPEG— 2、 MP EG— 4等がある。

これらの方式では、時間的に前後のフレームから動き補償などの手法により +符号化画像を予測して、得られたフレーム間予測パラメータと予測残差画像データを符号化することで、時間方向の相関が高い動画像データの情報量を削減するものである。さらに、予測残差画像データを変換符号化や量子化により効率良く圧縮することで、少ない伝送帯域で画質の良い動画像データ伝送を可能としている _c しかしながら、従来の動画像データ伝送方法においては、誤り訂正符号を用いても復元不可能な長いバースト性をもった伝送データの誤りや伝送バケツトの欠落が発生すると、受信側では誤りや欠落が発生したフレームの画像データを正しく複号化できないという問題があった。

また、このような問題に対する受信側における対策としては、正しくデコードできた時間的に前後のフレームの画像や同一フレーム内の周囲の画像データから. 誤りをなるベく目立たなくするような画像データを生成するエラーコンシールメント手法が用いられているが、復号化画像の乱れを除去することは不可能である ₍ さらに、この手法ではフレーム間予測を利用しているため、一度発生した画像の乱れが後続フレームにも伝搬してしまうという問題もある。発明の開示

本発明は上記の事情を考慮してなされたものであり、その第 1の目的は、符号化データの伝送誤りにより生じる受信側における復号画像の乱れを極力抑えることを可能にする動画像伝送システム、動画像符号化装置、動画像復号化装置、及び動画像伝送プログラムを提供することにある。

また、本発明の第 2の目的は、必要な伝送帯域の増大を小さく抑えながら第 1 の目的を達成する動画像伝送システム、動画像符号化装置、動画像復号化装置、及び動画像伝送プログラムを提供することにある。

本発明の第 3の目的は、圧縮符号化データの複号化に要する演算量の増大を防ぎながら第 1の目的を達成する動画像伝送システム、動画像符号化装置、動画像複号化装置、及び動画像伝送プログラムを提供することにある。

上記目的を達成するため、本発明の動画像伝送システムは、

送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであって、

送信側で、入力した動画像データのフレームをフレーム間予測符号化により圧縮符号化した所定の符号化データと、符号化データを復号化して得られるフレーム画像を参照するフレーム間予測により、入力フレームを所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した少なくとも 1以上の符号化データとからなる、複数の符号化データを送信すると共に、受信側で受信した複数の符号化データであつて正常に受信された符号化デ一タから、何れか

1つの符号化データをフレーム毎に選択して復号化する。

送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであって、送信側で、入力した動画像データのフレームをフレーム間予測符号化により一又は複数のバケツトデータに圧縮符号化した所定の符号化データと、符号化データを復号化して得られるフレーム画像を参照するフレーム間予測により、符号化されたバケツトデータが含む入力フレーム中の画像領域を所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化したパケットデータと同じ画像領域を含むバケツトデータとからなる、複数の符号化データを送信すると共に、受信側で受信した複数の符号化データであって正常に受信された符号化データから、何れか 1つの符号化データを同一の画像領域を含むバケツトデータ毎に選択して復号化する。

送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであて、

送信側で、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化デ一タと、符号化されたフレームを所定の符号化データのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを送信すると共に、受信側で受信した複数の符号化データであつて正常に受信された符号化データから、何れか 1つの符号化データをフレーム毎に選択して復号化する。

送信側で、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、符号化されたフレームの少なくとも一部を所定の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データとからなる複数の符号化データを送信すると共に、受信側で受信した複数の符号化デ一タであって正常に受信された符号化データから、何れか 1つの符号化データをフレーム毎に選択して復号化する。

送信側で、入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のバケツトデータと、所定のバケツトデータにおける符号化された画像領域を、所定のバケツトデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、所定のパケットデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した所定のパケットデータと同じ画像領域を含むパケットデータとからなる複数の符号化データを送信すると共に、受信側で受信した複数の符号化データであって正常に受信された符号化データから、何れか 1つの符号化データを同一の画像領域を含むバケツトデータ毎に選択して復号化する。

送信側で、入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のバケツトデータと、所定のバケツトデータにおいて符号化された画像領域を、所定のバケツトデータのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により所定のパケットデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した所定のバケツトデータと同じ画像領域を含むバケツトデータとからなる複数の符号化データを送信すると共に、受信側で受信した複数の符号化データであつて正常に受信された符号化データから、何れか 1つの符号化データを同一の画像領域を含むパケットデータ毎に選択して復号化する。

また、圧縮符号化された全ての符号化データ、或いは選択された一部のフレームの符号化データからなる複数の符号化デ一タを送信してもよレ、。また、圧縮符号化された全てのパケットデータ、或いは選択された一部のパケ. ットデータからなる複数の符号化デ一タを送信してもよい。

また、受信側は、複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データを選択して複号化してもよい。

また、複数の符号化データを、所定の順序付けをして送信すると共に、受信側で、受信した複数の符号化データであって正常に受信された符号化データから、順序付けの最も高い符号化データを選択して復号化してもよレ、。

また、符号化した複数の符号化データ同士に時間差を加えて多重化して送信し、受信側で多重化されて送信されたデータを複数の符号化データに分離してもよいまた、送信側である動画像符号化装置と、受信側である動画像復号化装置とを備え、動画像符号化装置は、入力した動画像データのフレームを、少なくとも 1 つの圧縮率が異なる複数の符号化データに圧縮符号化して送信する複数の符号化手段を有し、動画像復号化装置は、送信された複数の符号化データを受信し、受信された符号化データのビット誤り又はバケツトロスを検出する複数の符号化データ受信手段と、符号化データ受信手段でビット誤り又はバケツトロスがなく受信された符号化データから、何れか 1つの符号化データを選択する選択手段と、選択手段で選択された符号化データを複号化する複号化手段とを有してもよい。また、送信側に、一部の符号化データを遅延させることで複数の符号化データ同士に時間差を加える遅延付加手段と、時間差を加えた複数の符号化データを多重化して送信する多重化手段とを備え、受信側に、多重化されて送信されたデータを複数の符号化データに分離する分離手段を備えてもよい。

送信側から受信側にフレーム間予測により圧縮符号化された動画像データを伝送する動画像伝送システムであって、

任意の 2以上の整数 Nに対して、送信側が、入力された動画像フレームをフレーム間予測により圧縮符号化して、得られた符号化データを所定の伝送手段を用いて送信する第 1の動画像符号化送信手段と、第 1の動画像符号化送信手段が符号化したフレームの少なくとも一部を、当該フレームに対する第 1の動画像符号化送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して、第 1の動画像符号化送信手段よりも高い圧縮率もしくは同じ圧縮率となるように符号化し、得られた符号化データを送信する第 2乃至第 Nの（N— 1 ) 個の動画像符号化送信手段とを備え、受信側が、受信した動画像圧縮符号化データの誤りもしくは欠落をフレーム単位で検出可能な N個の符号化データ受信手段と、 N個の符号化データ受信手段で伝送誤りも欠落もなく受信された、同一フレームの符号化データの中から、圧縮率が最も低い動画像符号化データをフレーム毎に選択して復号化する動画像復号化手段とを備える。

任意の 2以上の整数 Nに対して、送信側が、第 1の動画像符号化送信手段は、入力された動画像フレームをフレーム間予測により一個または複数個のパケットデータに圧縮符号化して、得られた一個または複数個のバケツトデータを所定の伝送手段を用いて送信する第 1の動画像符号化送信手段と、第 1の動画像符号化送信手段が符号化したバケツトデータの画像領域を、当該画像領域に対する第 1 の動画像符号化送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して、第 1の動画像符号化送信手段よりも高い圧縮率もしくは同じ圧縮率となるように、当該バケツトデータと同一画像領域を含むバケツトデータに符号化し、得られたパケットデータを送信する第 2乃至第 Nの（N— 1 ) 個の動画像符号化送信手段とを備え、受信側が、受信した動画像圧縮符号化データの誤りもしくは欠落を、所定の符号化バケツトデ一タ単位で検出可能な N個の符号化データ受信手段と、 N個の符号化データ受信手段で伝送誤りも欠落もなく受信され、同一フレームの同一領域の画像を符号化したバケツトデータの中から、圧縮率が最も低い符号化バケツトデータを同一の画像領域を含むバケツトデータ毎に選択して複号化する動画像復号化手段とを備える。

上記目的を達成するため、本発明の動画像伝送システムは、送信側から受信側にフレーム間予測により圧縮符号化された動画像データを伝送する動画像伝送システムであって、

任意の 2以上の整数 Nに対して、送信側が、入力された動画像フレームをフレーム間予測により圧縮符号化して、得られた符号化データを所定の伝送手段を用いて送信する第 1の動画像符号化送信手段と、第 1の動画像符号化送信手段が符号化したフレームの少なくとも一部を、当該フレームに対する第 1の動画像符号化送信手段によるフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用して、第 1の動画像符号化送信手段よりも高い圧縮率もしくは同じ圧縮率となるように符号化し、得られた符号化データを送信する第 2乃至第 Nの（N— 1 ) 個の動画像符号化送信手段とを備え、受信側が、受信した動画像圧縮符号化データの誤りもしくは欠落をフレーム単位で検出可能な N個の符号化データ受信手段と、符号化データ受信手段で伝送誤りも欠落もなく受信された、同一フレームの符号化データの中から、圧縮率が最も低い動画像符号化データをフレーム毎に選択して復号化する動画像複号化手段とを備える。

任意の 2以上の整数 Nに対して、送信側が、入力された動画像フレームをフレーム間予測を用いて一個または複数個のバケツトデータに圧縮符号化して、得られた符号化バケツトデータを所定の伝送手段を用いて送信する第 1の動画像符号化送信手段と、第 1の動画像符号化送信手段が符号化したバケツトデータの画像領域を、当該画像領域に対する第 1の動画像符号化送信手段によるフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用して、第 1の動画像符号化送信手段よりも高い圧縮率もしくは同じ圧縮率となるように、当該バケツトデータと同一画像領域を含むバケツトデータに符号化し、得られた符号化パケットデータを送信する第 2乃至第 Nの（N— 1 ) 個の動画像符号化送信手段とを備え、受信側が、受信した動画像圧縮符号化データの誤りもしくは欠落を、所定の符号化バケツトデータ単位で検出可能な N個の符号化データ受信手段と、 N個の符号化データ受信手段で伝送誤りも欠落もなく受信され、同一フレームの同一領域の画像を符号化したバケツトデータの中から、圧縮率が最も低い符号化バケツトデータを同一の画像領域を含むバケツトデータ毎に選択して復号化する動画像複号化手段とを備える。

上記目的を達成するため、本発明の動画像符号化装置は、

動画像データを圧縮符号化して動画像複号化装置に送信する動画像符号化装置であって、

入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、符号化されたフレームを所定の符号化データのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを送信する。

上記目的を達成するため、本発明の動画像符号化装置は、

入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のバケツトデータと、所定のバケツトデータにおいて符号化された画像領域を、所定のバケツトデータのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により所定のバケツトデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した所定のバケツトデータと同じ画像領域を含むパケットデータとからなる複数の符号化データを送信する。

上記目的を達成するため、本発明の動画像符号化装置は、

動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、

入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、符号化されたフレームの少なくとも一部を所定の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを送信する。

上記目的を達成するため、本発明の動画像符号化装置は、

入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のバケツトデータと、所定のバケツトデータにおける符号化された画像領域を、所定のバケツトデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、所定のバケツトデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した所定のバケツトデータと同じ画像領域を含むバケツトデータとからなる複数の符号化データを送信する。上記目的を達成するため、本発明の動画像復号化装置は、

動画像データを圧縮符号化したデータを動画像符号化装置から受信して複号化する動画像複号化装置であって、

動画像符号化装置から送信された、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、符号化されたフレームを所定の符号化データのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを受信し、受信した符号化データのうち、ビット誤り又はバケツトロスの無い符号化デ一タから最も圧縮率の低い符号化データをフレーム毎に選択して復号化する。

上記目的を達成するため、本発明の動画像復号化装置は、

動画像データを圧縮符号化したデータを動画像符号化装置から受信して複号化する動画像複号化装置であつて、

動画像符号化装置から送信された、入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のバケツトデータと、所定のパケットデータにおいて符号化された画像領域を、所定のバケツトデータのフレ一ム間予測で利用された参照フレーム画像を用いたフレーム間予測により所定のパケットデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した所定のパケットデータと同じ画像領域を含むバケツトデータとからなる複数の符号化データを受信し、受信した符号化データのうち、ビット誤り又はパケットロスの無い符号化データから最も圧縮率の低い符号化データを同一の画像領域を含むバケツトデータ毎に選択して複号化する。

上記目的を達成するため、本発明の動画像復号化装置は、

動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像複号化装置であって、動画像符号化装置から送信された、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化デ一タと、符号化されたフレームの少なくとも一部を所定の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを受信し、受信した符号化データのうち、ビット誤り又はバケツトロスの無い符号化データから最も圧縮率の低い符号化データをフレーム毎に選択して復号化する。

上記目的を達成するため、本発明の動画像復号化装置は、

動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であって、

動画像符号化装置から送信された、入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のパケットデータと、所定のパケットデータにおける符号化された画像領域を、所定のバケツトデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、所定のバケツトデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した所定のバケツトデータと同じ画像領域を含むバケツトデータとからなる複数の符号化データを受信し、受信した符号化データのうち、ビット誤り又はパケットロスの無い符号化データから最も圧縮率の低い符号化データを同一の画像領域を含むバケツトデータ毎に選択して復号化する。上記目的を達成するため、本発明の動画像伝送プログラムを備える動画像伝送システムは、

送信側でコンピュータ処理装置に動画像デ一タを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、

送信側で、コンピュータ処理装置に、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、符号化されたフレームを所定の符号化データのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを送信する処理を実行させ、受信側で、コンピュータ処理装置に、受信した複数の符号化デ一タであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データをフレーム毎に選択して複号化する処理を実行させるための動画像伝送プログラムを備える。

上記目的を達成するため、本発明の動画像伝送プログラムを備える動画像伝送システムは、

送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、

送信側で、コンピュータ処理装置に、入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のバケツトデータと、所定のバケツトデータにおいて符号化された画像領域を、所定のバケツトデータのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により所定のバケツトデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した所定のパケットデータと同じ画像領域を含むバケツトデータとからなる複数の符号化データを送信する処理を実行させ、受信側で、コンピュータ処理装置に、受信した複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データを同一の画像領域を含むバケツトデータ毎に選択して復号化する処理を実行させるための動画像伝送プログラムを備える。

送信側で、コンピュータ処理装置に、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、符号化されたフレームの少なくとも一部を所定の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを送信する処理を実行させ、受信側で、コンビュータ処理装置に、受信した複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データをフレーム毎に選択して復号化する処理を実行させるための動画像伝送プログラムを備える。

送信側で、コンピュータ処理装置に、入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のバケツトデータと、所定のバケツトデータにおける符号化された画像領域を、所定のバケツトデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、所定のバケツトデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した所定のバケツトデータと同じ画像領域を含むバケツトデータとからなる複数の符号化データを送信する処理を実行させ、受信側で、コンピュータ処理装置に、受信した複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低レ、符号化データを同一の画像領域を含むパケットデータ毎に選択して復号化する処理を実行させるための動画像伝送プログラムを備える。

以上説明したように本発明によれば、送信側で動画像データを所定の符号化データに圧縮符号化し、さらに符号化されたフレームを、当該フレームの符号化で得られたフレーム間予測パラメータと予測残差画像データもしくは参照フレーム画像を利用して符号化することで複数の符号化データを送信し、受信側で正常に受信できた符号化データの中から最も圧縮率が低く画質の良い符号化データをフレームまたはバケツト単位で選択して復号化するようにしたので、バースト性の高い伝送誤りやパケットロスが発生する信頼性の低レ、伝送路を用いた場合でも、符号化データ全てが誤って伝送される確率が小さくなり、復号化画像に著しい乱れが生じるのを防ぐことが可能である。

また、本発明によれば、複数の符号化データの所定の符号化データ以外の符号化データが、所定の符号化データより高い圧縮率で符号化され、また、所定の符号化データ以外の符号化データの符号化は、所定の符号化データの符号化を行なつたフレームまたは画像領域の一部に対してだけ行うことが可能なため、複数の符号化データ送信による伝送レートの増大を小さく抑えることが可能である。さらに、本発明によれば、送信側は同一のフレームまたは同一画像領域を含む符号化データを生成し、受信側は受信した複数の符号化データの中からフレームまたはバケツト単位で選択して復号化するため、受信側は同一フレームまたは同一画像領域の復号化のために、受信した複数の符号化データを復号化する必要がなく、受信側が要する演算量の増大を抑えることが可能である。図面の簡単な説明

図 1は、本発明の第 1の実施の形態に係る動画像データ伝送方法を実現する動画像伝送システムの構成を示すブロック図である。図 2は、本発明の第 1の実施の形態に係る動画像符号化装置の構成を示すプロック図である。

図 3は、本発明の第 1の実施の形態に係る動画像複号化装置の構成を示すプロック図である。

図 4は、本発明の第 1の実施の形態に係る動画像複号化装置での符号化データ再構成手順を示すフローチャートである。

図 5は、第 1の実施の形態において、 3つの符号化パケットデータが動画像復号化装置に伝送される場合の符号化データ再構成手順を示すフローチヤ一トである。

図 6は、本発明の第 2の実施の形態に係る動画像符号化データバケツト伝送方法を実現する動画像伝送システムの構成を示すブロック図である。

図 7は、本発明の第 3の実施の形態に係る動画像復号化装置での符号化データ再構成手順を示すフローチヤ一トである。

図 8は、第 3の実施の形態において、 3つの符号化パケットデータが動画像復号化装置に伝送される場合の符号化データ再構成手順を示すフローチヤ一トである。

図 9は、本発明の第 4の実施の形態に係る動画像符号化装置の構成を示す図である。発明を実施するための最良の形態

以下、本発明の好適な実施の形態について図面を参照して詳細に説明する。

(第 1の実施の形態）

本発明の第 1の実施の形態による動画像伝送システムについて図面を参照して詳細に説明する。図 1に、第 1の実施の形態による動画像伝送システムの全体構成を示す。

図 1に示すように、本実施の形態による動画像伝送システムは、動画像データの符号化を行なう動画像符号化装置 1 0 0と、動画像複号化装置 2 0 0及び動画像データの動画像符号化装置 1 0 0から動画像複号化装置 2 0 0に对して符号化データを伝送するための伝送路 3 0 0から構成される。図 1において、 Nは 2以上の整数であり、動画像符号化装置 1 0 0が送信する符号化データの個数を表す。動画像符号化装置 1 0 0は、動画像データをフレーム単位で入力し、入力された動画像データを N個の符号化データに符号化し、第 1から第 Nの動画像符号化バケツトデータとして伝送路 3 0 0に送信する。

この動画像符号化装置 1 0 0は、図 1に示すように、第 1から第 Nの N個の動画像符号化送信部 1 0 1 _ 1〜 1 0 1— Nを備える。第 1の動画像符号化送信部 1 0 1— 1は、動画像符号化装置 1 0 0に入力された動画像データのフレームに対しフレーム間予測により所定の圧縮符号化を行って、得られた符号化データを動画像複号化装置 2 0 0へ送信する。

第 2から第 Nの動画像符号化送信部 1 0 1— 2〜1 0 1— Nは、第 1の動画像符号化送信部 1 0 1— 1で符号化されたフレームの全てまたは一部のフレームを、当該フレームに対する第 1の動画像符号化送信部のフレーム間予測で得られたフレーム間予測パラメータと予測差分画像データを利用して、第 1の動画像符号化送信部 1 0 1— 1よりも高い圧縮率で符号化し、得られた符号化データを動画像複号化装置 2 0 0へ送信する。

上記のように、第 2から第 Nの動画像符号化送信部 1 0 1— 2〜1 0 1— Nによる、フレームの符号化における圧縮率は、第 1の動画像符号化送信部 1 0 1— 1のそれよりも高く設定する。また、第 2から第 Nの動画像符号化送信部 1 0 1 一 2〜1 0 1— Nのそれぞれの圧縮率は、互いに異なっていてもよいし、同じであってもよレヽ。

動画像復号化装置 2 0 0は、動画像符号化装置 1 0 0から送信された N個の符号化データを受信し復号化することにより動画像データを得る。この動画像復号化装置 2 0 0は、図 1に示すように、動画像符号化装置 1 0 0の備える第 1から第 Nの動画像符号化送信部 1 0 1— 1〜1 0 1— Nにより送信された符号化データを受信する第 1から第 Nの符号化データ受信部 2 0 1— :！〜 2 0 1— Nと、符号化データ再構成部 2 0 2と、動画像データ復号化部 2 0 3とを備える。符号化データ再構成部 2 0 2は、第 1から第 Nの符号化データ受信部 2 0 1一 1〜2 0 1—Nにおいて伝送誤りも欠落もなく受信された最大 N個の符号化データの中から、圧縮率が最も低い 1つの符号化デ一タを復号化する符号化データとして選択する。

動画像データ複号化部 2 0 3は、符号化データ再構成部 2 0 2から出力された符号化データを復号化し、動画像データを得る。

動画像符号化装置 1 0 0の動画像符号化送信部の詳細な構成を図 2に示す。図 2においては、簡単のため、装置が出力する符号化データの個数 Nを「2」として示している。

図 2の第 1の動画像符号化送信部 1 0 1— 1において、 1 1 1は入力された動画像データのフレームを符号化順に並び替えるフレーム走査部、 1 1 2は参照フレーム格納メモリ 1 1 9に格納された 1つまたは複数の復号画像から、フレーム走査部 1 1 1より入力された画像へのフレーム間予測を行うフレーム間予測部、 1 1 3は入力されたフレーム画像から、フレーム間予測部 1 1 2で得られた予測画像を減算することで予測残差を算出する予測残差算出部、 1 1 4一 1は予測残差算出部 1 1 3で得られた予測残差画像を所定の方法で圧縮符号化する第 1の予測残差圧縮符号化部、 1 1 5— 1はフレーム間予測部 1 1 2で得られたフレーム間予測パラメータと第 1の予測残差圧縮符号化部 1 1 4— 1で得られた予測残差画像の圧縮データをビット列に可変長符号化し、所定のバケツト単位で出力する第 1の符号化バケツト生成部である。

1 1 6—1は、第 1の符号化バケツト生成部 1 1 5 _ 1が出力した符号化パケットデータの伝送誤りとバケツトロスを受信装置で検出するための、誤り検出符号とフレーム/バケツト識別番号を付加する第 1のバケツト誤り検出符号 · フレームノパケット識別番号付加部、 1 1 7は第 1の予測残差圧縮符号化部 1 1 4— 1で符号化された予測残差の複号化データを求める予測残差複号化部、 1 1 8はフレーム間予測部 1 1 2で生成された予測画像と予測残差復号化部 1 1 7で復号化された予測残差の和により複号化画像を求める復号化画像算出部、 1 1 9は次のフレームの符号化に備え複号化画像を格納する参照フレーム格納メモリである _t 本実施の形態における第 1の動画像符号化送信部 1 0 1 — 1は、以上の各処理部により動作する。

図 2の第 2の動画像符号化送信部 1 0 1— 2において、 1 1 4— 2は予測残差算出部 1 1 3で得られた予測残差画像を第 1の予測残差圧縮符号化部 1 1 4— 1 よりも高い圧縮率で符号化する第 2の予測残差圧縮符号化部、 1 1 5— 2はフレーム間予測部 1 1 2で得られたフレーム間予測パラメータと第 2の予測残差圧縮符号化部 1 1 4— 2で得られた予測残差の圧縮データをビット列に可変長符号化し、所定のバケツト単位で出力する第 2の符号化バケツト生成部である。 1 1 6 . _ 2は、第 2の符号化バケツト生成部 1 1 5— 2が出力した圧縮バケツトデータの伝送誤りとバケツトロスを受信装置で検出するための、誤り検出符号とフレーム /バケツト識別番号を付加する第 2のバケツト誤り検出符号 · フレームバケツト識別番号付加部である。

以上の各処理部の動作により第 2の動画像符号化データが得られ、所定の送信手段によってバケツト単位で送信される。本実施の形態における動画像符号化装置 1 0 0が備える第 2の動画像符号化送信部 1 0 1— 2は、以上の各処理部により動作する。

なお、図 2においては、第 2の動画像符号化送信部 1 0 1 — 2についてのみ示したが、図 1の第 3〜第 Nの動画像符号化送信部 1 0 1— 3〜1 0 1— Nについても、上記第 2の動画像符号化送信部 1 0 1— 2と同様の構成である。

以上が、本実施の形態における動画像符号化装置 1 0 0の構成及び動作である _t 本実施の形態において、第 1のバケツト誤り検出符号 ' フレーム/バケツト識別番号付加部 1 1 6— 1を設けることにより、第 1の符号化バケツト生成部 1 1 5— 1から出力された第 1の符号化バケツトデータに誤り検出符号とフレーム Z バケツト識別番号を付加しているが、送信された符号化バケツトデータの伝送誤りとバケツトロスを動画像復号化装置 2 0 0で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。例えば、第 1の符号化パケッ卜の伝送路において伝送誤り検出を行う機構が備わっている場合は、第 1のパケット誤り検出符号 ' フレームノバケツト識別番号付加部 1 1 6— 1で誤り検出符号を付加する必要は無い。別の例として、第 1の符号化パケット生成部 1 1 5 — 1から出力された符号化データにフレームやバケツトを識別できる情報が含まれているならば、第 1のバケツト誤り検出符号 ·フレームバケツト識別番号付加部 1 1 6— 1でフレーム/バケツト識別番号を付加する必要は無い。

同様に、第 2のバケツト誤り検出符号 .フレームバケツト識別番号付加部 1 1 6— 2を設け、第 2の符号化バケツトデータに誤り検出符号とフレーム/パケット識別番号を付加しているが、送信された符号化バケツトデータの伝送誤りとバケツトロスを動画像復号化装置 200で検出することを可能にする方法であれば、他のいかなる実現方法であっても構わない。

以上で説明した第 1の実施の形態の好ましい具体例では、例えば、動画像符号化装置はインターネット通信網に接続され、カメラなどで入力された動画像を M PEG— 4 V i s u a 1方式に従った符号化データに圧縮し、 UDP/ I Pプ口トコルを用いて伝送する。フレーム間予測部 1 1 2は動き補償によるフレーム間予測を行う。第 1の予測残差圧縮符号化部 1 14一 1と第 2の予測残差圧縮符号化部 1 14— 2は 2次元離散コサイン変換（2D— DCT) と量子化による圧縮処理を行う。

また、第 2の予測残差圧縮符号化部 1 14一 2は、第 1の予測残差圧縮符号化部 1 14— 1よりも大きい量子化パラメータを用いて 2D— DC T係数を量子化する方法や、高次の 2D— DCTを適応的にカットするなどの方法で、第 2の符号化データの圧縮率が第 1の符号化デ一タの圧縮率よりも高くなるように圧縮する。

予測残差複号化部 1 1 7は、逆量子化と逆 2次元離散コサイン変換（2D— I DCT) を行う。第 1の符号化パケット生成部 1 1 5— 1は、第 1の予測残差圧縮符号化部 1 14一 1から出力される量子化 DCT係数とフレーム間予測部 1 1 2から出力される動きべクトルなどを、 MPEG—4 V i s u a lで規定されたシンタッタスに従って符号化する。

同様に、第 2の符号化バケツト生成部 1 1 5— 2は、第 2の予測残差圧縮符号化部 1 14一 2から出力される量子化 DC T係数と、フレーム間予測部 1 1 2から出力される動きべクトルなどを、 M P E G— 4 V i s u a lで規定されたシンタックスに従って符号化する。第 1のパケット誤り検出符号 ' フレームパケット識別番号付加部 1 1 6— 1と第 2のバケツト誤り検出符号 · フレームノパケット識別番号付加部 1 1 6— 2は、誤り検出のためのチェックサムを含んだ U D Pデータグラムを作成し、インターネッ卜に接続された動画像復号化装置に送出する。

図 3は、第 1の実施の形態による動画像復号化装置 2 0 0の詳細な構成を示している。

図 3に示す第 1の符号化データ受信部 2 0 1— 1において、 2 1 1一 1は符号化装置から送信された第 1の符号化バケツトデータを受信するための第 1のパケット受信バッファ、 2 1 2— 1は第 1のパケット受信バッファ 2 1 1— 1で受信されたバケツトデータから動画像符号化データを抽出する第 1の符号化データ抽出部、 2 1 3 _ 1は第 1の符号化パケットデータの伝送時に発生したビット誤りとバケツトロスを検出する第 1のバケツト誤り検出 ·バケツトロス検出部である, 以上の各構成要素の処理部により、第 1の符号化データ受信部 2 0 1— 1が動作する。

同じく図 3に示す第 2の符号化データ受信部 2 0 1— 2において、 2 1 1— 2 は符号化装置から送信された第 2の符号化パケットデータを受信するための第 2 のバケツト受信バッファ、 2 1 2— 2は 2 1 1— 2.で受信されたバケツトデータから動画像符号化データを抽出する第 2の符号化データ抽出部、 2 1 3— 2は第 2の符号化バケツトデータの伝送時に発生したビット誤りとバケツトロスを検出する第 2のバケツト誤り検出 ·バケツトロス検出部である。

以上の各構成要素の処理部により、第 2の符号化データ受信部 2 0 1— 2が動作する。

符号化データ再構成部 2 0 2は、第 1のバケツト誤り検出 ·バケツトロス検出部 2 1 3— 1と第 2のバケツト誤り検出 ·バケツトロス検出部 2 1 3— 2で誤り及びバケツトロスを検出した結果に従って、符号化装置より送信された 2つの符号化データを 1つの符号化データに再構成する。図 3に示す動画像データ復号化部 2 0 3において、 2 5 1は符号化データ再構成部 2 0 2で再構成された符号化データを可変長復号化する可変長複号化部、 2 5 2は予測残差複号化部、 2 5 3はフレーム間予測画像生成部、 2 5 4は予測残差復号化部 2 5 2で得られた予測残差とフレーム間予測画像生成部 2 5 3で得られた予測画像を加算して複号化画像を求める復号化画像算出部、 2 5 5は後続のフレームの復号化で利用するために復号化画像算出部 2 5 4で得られた復号化画像データを格納する参照フレーム格納メモリ、 2 5 6は復号化画像を再生順に並び替えて出力するフレーム走査部である。

以上の各構成要素の処理部により、動画像復号化装置 2 0 0が備える動画像デ一タ復号化部 2 0 3が動作し、動画像符号化装置 1 0 0より伝送された動画像データが得られる。

本実施の形態における、符号化データ再構成部 2 0 2での符号化データ再構成手順を、図 4のフローチャートをもとに説明する。図 4の一連の手順は、ある整数 nに対し第 nフレームの符号化データの再構成処理を示している。

ステップ S 4 0 1では、第 nフレームの全ての符号化データが第 1のバケツト受信バッファ 2 1 1— 1と第 2のバケツト受信バッファ 2 1 1— 2に到着すべき時刻に、所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップ S 4 0 2に進む。

ステップ S 4 0 2では、第 1のバケツト誤り検出 'バケツトロス検出部 2 1 3 — 1における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第 1のバケツト受信バッファ 2 1 1— 1に第 nフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップ S 4 0 3に進む。それ以外の場合は、ステップ S 4 0 4に進む。

ステップ S 4 0 3に進んだ場合、第 1の符号化データ抽出部 2 1 2— 1が出力する第 nフレームの符号化データを、復号化する符号化データとして可変長復号化部 2 5 1に受け渡し、符号化データ再構成処理を終了する。

ステップ S 4 0 4に進んだ場合は、第 2のバケツト誤り検出 ·バケツトロス検出部 2 1 3— 2における誤りとバケツトロスの検出結果に従い、以下の分岐処理を行う。第 2のバケツト受信バッファ 2 1 1一 2に第 nフレームの全ての符号化データが受信され、かつデータに誤りが検出されない場合は、ステップ S 4 0 5 に進む。それ以外の場合は、ステップ S 4 0 6に進む。

ステップ S 4 0 5では、第 2の符号化データ抽出部 2 1 2一 2が出力する第 n フレームの符号化データを、復号化する符号化データとして可変長複号化部 2 5 1に受け渡し、符号化データ再構成処理を終了する。

ステップ S 4 0 6に進むのは、第 1及び第 2のバケツト受信バッファ 2 1 1— 1、 2 1 1— 2のいずれにおいても、第 nフレームの符号化データをビット誤りやパケットロスなく受信することができなかった場合である。

このため、ステップ S 4 0 6では、受信エラーによる複号化画像の乱れをなるベく目立たなくするためのコンシールメントを適切な方法で施すための処理を行 9。

例えば、一つ前の第（n— 1 ) フレームの復号化画像を第 nフレームの復号化画像として利用するように動画像データ復号化部 2 0 3に指令を送るのが、その —つの方法である。

あるいは、以下に述べるような方法が利用できる。

第 1のバケツト受信バッファ 2 1 1— 1に第 nフレームの一部の符号化データが受信されているならば、この一部の符号化データを第 nフレームの復号化に利用する。第 1のバケツト受信バッファ 2 1 1 - 1に符号化データが全く受信されず、かつ第 2のバケツト受信バッファ 2 1 1—2に第 nフレームの一部の符号化データが受信された場合は、第 2のバケツト受信バッファで得られた一部の符号化データを第 nフレームの複号化に利用する。そして、第 1及び第 2のパケット受信バッファ双方で第 nフレームの符号化データが全く受信されない場合は、一つ前の（n— 1 ) フレームの複号化画像を出力するようにする。

本ステップ 4 0 6では、このようなコンシールメン卜のための処理を行った後、第 nフレームの符号化データ再構成処理を終了する。

以上が、符号化データ再構成部 2 0 2での符号化データ再構成手順である。なお、図 4に示す符号化データ再構成部 2 0 2の動作においては、図 2及び図 3に示すように、図 1の Nが「2」の場合であって、動画像符号化装置 1 0 0が第 1の動画像符号化送信部 1 0 1— 1と第 2の動画像符号化送信部 1 0 1— 2を備え、動画像複号化装置 2 0 0が第 1の符号化データ受信部 2 0 1— 1と第 2の符号化データ受信部 2 0 1一 2を備えている場合の動作を示した。

図 1の Nが「3」以上で、動画像符号化装置 1 0 0から 3つ以上の符号化パケットデータが動画像復号化装置 2 0 0に伝送される場合には、符号化データ再構成部 2 0 2は図 5のフローチヤ一卜のように動作する。

ここでは、 Nが「3」の場合で、動画像符号化装置 1 0 0が第 1の動画像符号化送信部 1 0 1— 1〜第 3の動画像符号化送信部 1 0 1— 3を備え、動画像復号化装置 2 0 0が第 1の符号化データ受信部 2 0 1— 1〜第 3の符号化データ受信部 2 0 1— 3を備えている場合であり、かつフレーム符号化における圧縮率が第 1の動画像符号化送信部 1 0 1— 1から第 3の動画像符号化送信部 1 0 1— 3の J頃に高くなっている場合である。

図 5において、図 4と同じステップ番号を付したステップは、図 4と同じ処理であり、ここでは、ステップ S 5 0 1と S 5 0 2が追加されている。すなわち、第 2のバケツト受信バッファ中の符号化データにビット誤りとバケツトロスが存在する場合には、ステップ S 5 0 1で第 3のバケツト受信バッファ中の符号化データにビット誤りとバケツトロスが存在するかどうかが判別され、存在しない場合には、ステップ S 5 0 2で、第 3のパケット受信バッファ中の符号化データを復号化する符号化データとして可変長複号化部 2 5 1に受け渡す。

何れのバケツト受信バッファにも、第 nフレームの符号化データをビット誤りやバケツトロスなく受信することができなかった場合には、上述したステップ S 4 0 6のコンシールメントのための処理を行う。

上述したように、フレーム符号化における圧縮率が低い順に、そのパケット受信バッファ中のフレームの符号化データに、ビット誤りとバケツトロスが無いかどうかを判定することにより、圧縮率が低い符号化データが優先されるように、復号化する符号化データとして可変長復号化部 2 5 1に受け渡す。なお、第 2の動画像符号化送信部 1 0 1— 2と第 3の動画像符号化送信部 1 0 1— 3のフレーム符号化における圧縮率を同じにした場合には、何れを優先させてもよい。

また、動画像符号化装置 1 0 0の第 1から第 Nの動画像符号化送信部 1 0 1— ：!〜 1 0 1— Nから送信される符号化データに、例えば圧縮率の低いものが優先されるように、所定の順序付けをし、動画像複号化装置 2 0 0の符号化データ再構成部 2 0 2で、受信した複数の符号化データであって正常に受信された符号化データから、順序付けの最も高い符号化データをフレーム毎に選択するようにしてもよい。

本実施の形態において、第 1のバケツト誤り検出 ·バケツトロス検出部 2 1 3 — 1で第 1の符号化バケツトデータの伝送誤りと誤りバケツトロスを検出する方法はいかなる方法でも構わない。例えば、動画像符号化装置 1 0 0で付加された誤り検出符号とフレームノパケット番号より検出を行っても良い。あるいは、符号化データの伝送路に誤り検出機能が備わっている場合は、その検出結果を利用してもよい。符号化されたフレームを特定する情報が符号化データに含まれている場合は、符号化データに含まれる情報を利用しても良レ、。

同様に、第 2のバケツト誤り検出 'バケツトロス検出部 2 1 3一 2で第 1の符号化バケツトデータの伝送誤りと誤りバケツトロスを検出する方法はいかなる方法でも構わない。

符号化データ再構成部 2 0 2での符号化データ再構成手順において、ステップ S 4 0 1で第 nフレーム符号化データ受信を待機する方法は、バケツト伝送遅延を所定の範囲内に抑えながらバケツトロスを検出できる方法であれば、他のいかなる方法でも構わない。

本実施の形態の更に好ましい具体例では、例えば、動画像復号化装置 2 0 0はインターネット通信網に接続され、別地点でインターネット通信網に接続された動画像符号化装置 1 0 0カゝら U D P Z I Pプロトコルを用いて送信されるバケツトデータを受信し、受信した U D Pデータグラムに含まれる動画像符号化データを複号化して、得られた動画像をディスプレイに表示する。動画像符号化データは、例えば MP EG— 4 V i s u a 1方式に従ったデータである。第 1のパケット誤り検出 ·バケツトロス検出部 21 3- 1と第 2のバケツト誤り検出 ·パケットロス検出部 21 3— 2は、 UDPデ一タグラムに含まれるチェックサムを計算することで、伝送誤りを検出する。可変長復号化部 25 1、予測残差複号化部 252、フレーム間予測画像生成部 253、複号化画像算出部 254、参照フレーム格納メモリ 255及びフレーム走査部 256から構成される動画像データ復号化部 203は、 MPEG— 4 V i s u a l方式に对応した通常の複号化装置である。

可変長複号化部 25 1は、 MPEG— 4 V i s u a l方式で符号化されたデータを可変長復号化して D C T量子化係数や動きべクトル等の圧縮情報を取り出す。予測残差復号化部 252は逆量子化処理と逆 2次元離散コサイン変換を行う, フレーム間予測画像生成部 253は、復号化された動きべクトルに従って動き補償画像を生成する。

(第 2の実施の形態）

上述した第 1の実施の形態では、第 1ないし第 2の符号化パケットデータを動画像符号化装置 100から動画像復号化装置 200へいかなる方法で伝送しても構わないが、本発明の効果を高め、著しい復号化画像の乱れの発生を少なくするためには、第 1の符号化バケツトデータに発生するビット誤りやバケツトロスと同一フレーム画像を符号化した第 2の符号化バケツトデータに発生するビット誤りやバケツトロスとの相関が小さくなる方法が望ましい。

図 6は、このような好ましい符号化バケツトデータ伝送方法を実現する第 2の実施の形態を示している。

図 6の第 2の実施の形態において、 601は図 2に示した第 1の実施の形態による動画像符号化装置 100から出力される第 2の符号化バケツトデータに、一定または適応的に変化する遅延時間を加えて送信する遅延付加部、 602は動画像符号化装置 100から出力される第 1の符号化バケツトデータと遅延付加部 6 01から出力される第 2の符号化バケツトデータを多重化して伝送路に送信する多重化部である。 603は多重化部 602で多重化されたデータを送信装置から受信装置へ伝送する伝送路、 6 0 4は伝送路 6 0 3からバケツトデータを受信し, 第 1の符号化バケツトデータと第 2の符号化バケツトデータに分離して第 1の実施の形態による動画像複号化装置 2 0 0に出力する分離部である。

ここで、遅延付加部 6 0 1で第 2の符号化バケツトデータに加えられる遅延時間は、伝送路 6 0 3で発生するビット誤りやバケツトロスの最大バースト時間により決定される。これにより、伝送路 6 0 3でバースト誤りが発生しても、同一フレームを符号化した第 1と第 2の符号化デ一タの双方が誤りの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。

以上で説明した第 2の実施の形態によれば、動画像符号化装置 1 0 0は同一の動画像データを 2個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信する。第 2の符号化送信部 1 0 1— 2は、第 1の符号化送信部 1 0 1— 1で符号化されたフレームを、第 1の符号化送信部 1 0 1— 1 による当該フレームの符号化で得られたフレーム間予測パラメータと予測残差画像データを利用して符号化する。受信側である動画像復号化装置 2 0 0は正常に受信できた符号化データの中から圧縮率が低く画質の良レ、符号化データをフレーム単位で選択して復号化する。その結果、バースト性の高い伝送誤りやパケットロスが頻発する信頼性の低レ、伝送路を用いる場合でも、 2個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の複号化画像に著しい乱れが生じるのを防ぐことが可能である。

さらに、第 2の符号化データの圧縮率を高くすることで、第 2の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。

また、動画像複号化装置 2 0 0では、受信した 2個の符号化データの中から 1 個だけを復号化すれば良いので、通常の動画像復号化装置と比べて必要な演算量が大きく増大することもない。

第 2の実施の形態では、第 1の実施の形態の効果に加えて、動画像符号化装置 1 0 0は同一の動画像データを 2個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信するので、伝送路でバースト誤りが発生しても、同一フレームを符号化した第 1と第 2の符号化データの双方が誤りの影響を受ける確率が小さくなるため、フレーム符号化データの損失による著しい画質の劣化の発生を少なくすることが可能である。

(第 3の実施の形態）

次に、本発明の第 3の実施の形態について説明する。

第 3の実施の形態の構成及び動作は、第 1の実施の形態とほぼ同じであり、図 1に示されるように、動画像符号化装置 1 0 0と動画像復号化装置 2 0 0及び符号化データを伝送するための伝送路 3 0 0から構成される。整数 Nは、動画像符号化装置 1 0 0が送信する符号化データの個数である。

動画像符号化装置 1 0 0の構成は第 1の実施の形態とほぼ同じであるが、この装置を構成する各構成要素の動作において第 1の実施の形態の場合と相違する。第 1の動画像符号化送信部 1 0 1— 1で符号化される入力フレーム画像の符号化データは、一個または複数個のパケットデータから構成されており、各バケツトデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメ一タ及び予測差分画像圧縮データが符号化されている。

また、第 2乃至第 Nの動画像符号化送信部 1 0 1— 2〜1 0 1— Nは、第 1の動画像符号化送信部で符号化されたバケツ卜の全てまたは一部のバケツトが含む画像領域を、当該画像領域に対する第 1の動画像符号化送信部 1 0 1— 1のフレーム間予測で得られたフレーム間予測パラメータと予測差分画像データを利用して、第 1の動画像符号化送信部 1 0 1— 1よりも高い圧縮率で符号化し、得られた符号化バケツトデータを動画像復号化装置 2 0 0へ送信する。上記以外の動作に関しては、基本的に第 1の実施の形態と同じである。

動画像複号化装置 2 0 0の構成も第 1の実施の形態とほぼ同じであるが、この装置を構成する各部の動作において第 1の実施の形態と相違する。

符号化データ再構成部 2 0 2は、第 1の実施の形態と同様に、第 1乃至第 Nの符号化データ受信部 2 0 1— :！〜 2 0 1— Nで伝送誤りも欠落もなく受信され、同一フレームの同一領域の圧縮データを含む最大 N個の符号化パケットデータの中から、圧縮率が最も低い 1個のバケツトを復号化される符号化データとして選択し、この選択を動画像符号化装置 1 0 0が送信するバケツトデータ単位で行う上記以外の動作に関しては、基本的に第 1の実施の形態と同じである。

本第 3の実施の形態における動画像符号化送信部の構成及び動作は、図 2に示した第 1の実施の形態における動画像符号化送信部とほぼ同じであり、図 2における第 1の符号化バケツト生成部 1 1 5— 1と、第 2の符号化バケツト生成部 1 1 5— 2と、第 1のバケツト誤り検出符号 · フレームバケツト識別番号付加部 1 1 6 _ 1と、第 2のバケツト誤り検出符号 · フレーム/バケツト識別番号付加部 1 1 6— 2の動作においてのみ相違する。

本実施の形態における動画像符号化装置 1 0 0において、第 1の符号化バケツト生成部 1 1 5— 1と第 2の符号化バケツト生成部 1 1 5— 2は、第 1の符号化バケツト生成部 1 1 5— 1で生成する符号化バケツトデータが含む画像領域と、第 2の符号化バケツト生成部 1 1 5— 2で生成する符号化バケツトデータが含む画像領域が一致するように、符号化バケツトデータを生成する。

第 1のバケツト誤り検出符号 · フレームノバケツト識別番号付加部 1 1 6— 1 と第 2のバケツト誤り検出符号 ' フレームノバケツト識別番号付加部 1 1 6— 2 は、同一フレームの同一画像領域に対応する符号化バケツトデータに同一のパケット識別番号が付加されるように動作する。ただし、第 1乃至第 2の符号化パケット生成部 1 1 5— 1、 1 1 5— 2が符号化するパケットデータに、フレームの番号や、当該バケツトデータが含む画像領域の位置を特定するための情報が含まれる場合は、フレームノバケツト識別番号を付加しなくても良い。

上記以外の処理部の動作は、第 1の実施の形態と同様である。

本実施の形態の更に好ましい具体例においては、動画像の圧縮符号化に M P E G— 4 V i s u a 1方式を利用する。同方式では、入力画像フレームをマクロブロックと呼ばれる一定サイズの矩形領域に分割して圧縮し、マクロブロック単位で圧縮された画像情報をビデオバケツ卜と呼ばれるバケツト単位でビット列に符号化する。ビデオバケツトは同一フレーム内の任意個数のマクロブロックに関する圧縮データを含み、同方式により符号化されたビット列データはビデオパケット単位で複号化可能である。第 1の符号化バケツト生成部 1 1 5— 1と第 2の符号化バケツト生成部 1 1 5 一 2は、符号化データをビデオパケット単位で出力する。第 2の符号化パケット生成部 1 1 5— 2で符号化されたビデオパケットは、第 1の符号化パケット生成部 1 1 5— 1で符号化されたビデオパケットと同一領域のマクロブロックを含むように生成される。

本実施の形態における動画像復号化装置 2 0 0の構成及び動作は、図 3に示した第 1の実施の形態の動画像複号化装置とほぼ同じであり、図 3における符号化データ再構成部 2 0 2の動作のみが相違する。

この第 3の実施の形態における、符号化データ再構成部 2 0 2での符号化データ再構成の手順を、図 7のフローチャートをもとに説明する。図 7の一連の手順は、ある整数 nに対し第 nフレームの符号化データの再構成処理を示している。ステップ S 7 0 1では、第 nフレームの全ての符号化データが第 1のバケツト受信バッファ 2 1 1— 1と第 2のバケツト受信バッファ 2 1 1— 2に到着すべき時刻に、所定の許容される最大遅延時間を加えた時刻まで待機した後、ステップ S 7 0 2に進む。

ステップ S 7 0 2では、バケツト番号を記憶する変数 aに第 nフレームのパケット番号の最小値を格納し、変数 bに第 nフレームのバケツト番号の最大値を格納する。

ステップ S 7 0 3では、バケツト番号を記憶する変数 iに変数 aの値を代入し、ステップ S 7 0 4からの繰り返し処理を開始する。

ステップ S 7 0 4では、第 1のバケツト誤り検出 ·バケツトロス検出部 2 1 3 一 1における誤りとパケットロスの検出結果に従い、以下の分岐処理を行う。第 1のバケツト受信バッファ 2 1 1— 1に第 nフレームの第 iバケツ卜が受信され、かつデータに誤りが検出されない場合は、ステップ S 7 0 5に進む。それ以外の場合は、ステップ S 7 0 6に進む。

ステップ S 7 0 5に進んだ場合は、第 1の符号化データ抽出部 2 1 2— 1が出力する第 nフレームの第 iバケツトデータを、複号化する符号化データとして可変長複号化部 2 5 1に受け渡し、ステップ S 7 0 9に進む。ステップ S 7 0 6に進んだ場合は、第 2のバケツト誤り検出 ·バケツトロス検出部 2 1 3— 2における誤りとバケツトロスの検出結果に従い、以下の分岐処理を行う。第 2のバケツト受信バッファ 2 1 1—2に第 nフレームの第 iバケツトが受信され、力、つ受信データに誤りが検出されない場合は、ステップ S 7 0 7に進む。それ以外の場合は、ステップ S 7 0 8に進む。

ステップ S 7 0 7では、第 2の符号化データ抽出部 2 1 2— 2が出力する第 n フレームの第 iバケツトデータを、複号化する符号化データとして可変長複号化部 2 5 1に受け渡し、ステップ S 7 0 9に進む。

ステップ S 7 0 8に進むのは、第 1及び第 2のバケツト受信バッファのいずれにおいても、第 _nフレームの第 iバケツトデータをビット誤りやバケツトロスなく受信できなかった場合である。このため、ステップ S 7 0 8では、第 iバケツトデータが含む復号化画像領域の乱れをなるべく目立たなくするコンシールメントを適切な方法で施すための処理を行う。

例えば、第 nフレームの第 iパケットデータが含む複号化画像として、一つ前の第（n— 1 ) フレームの複号化画像を利用するように動画像複号化部に指令を送るのが、その一^ 3の方法である。あるいは、第 1のパケット受信バッファ 2 1 1 - 1に第 nフレームの第 iバケツトデータが不完全ながらも受信されているならば、このパケットデータを第 nフレームの復号化に利用し、第 1のパケット受信バッファ 2 1 1 _ 1に当該バケツトデータが受信されず、かつ第 2のバケツト受信バッファ 2 1 1—2に第 nフレームの第 iバケツトデータが不完全ながらも受信された場合は、第 2のバケツト受信バッファで得られたバケツトデータを第 nフレームの複号化に利用し、第 1及び第 2のバケツト受信バッファ双方で第 n フレーム第 iパケットデータが受信されない場合は、一つ前の（n _ l ) フレームの複号化画像を表示するのも一つの方法である。

本ステップでは、このようなコンシールメントのための処理を行った後、ステップ S 7 0 9に進む。

ステップ S 7 0 9では、変数 iを 1増加させる。続くステップ S 7 1 0では、変数 iが変数 bの値を超えていないか判定し、超えていない場合はステップ S 7 0 4からの処理を繰り返す。変数 iが変数 bの値を超えた場合は、一連の繰り返し処理を終え、第 nフレーム符号化データの再構成処理を終了する。

以上が、第 3の実施の形態における符号化データ再構成部 2 0 2の動作である _t なお、図 7に示す符号化データ再構成部 2 0 2の動作においては、図 2及び図 3に示すように、図 1の Nが「2」の場合であって、動画像符号化装置 1 0 0が第 1の動画像符号化送信部 1 0 1— 1と第 2の動画像符号化送信部 1 0 1— 2を備え、動画像復号化装置 2 0 0が第 1の符号化データ受信部 2 0 1— 1と第 2の符号化データ受信部 2 0 1一 2を備えている場合の動作を示した。

図 1の Nが「3」以上で、動画像符号化装置 1 0 0から 3つ以上の符号化パケットデータが動画像復号化装置 2 0 0に伝送される場合には、符号化データ再構成部 2 0 2は図 8のフローチヤ一トのように動作する。

ここでは、 Nが「3」の場合で、動画像符号化装置 1 0 0が第 1の動画像符号化送信部 1 0 1— 1〜第 3の動画像符号化送信部 1 0 1— 3を備え、動画像復号化装置 2 0 0が第 1の符号化データ受信部 2 0 1一 1〜第 3の符号化データ受信部 2 0 1— 3を備えている場合であり、かつフレーム符号化における圧縮率が第 1の動画像符号化送信部 1 0 1— 1から第 3の動画像符号化送信部 1 0 1— 3の順に高くなつている場合である。

図 8において、図 7と同じステップ番号を付したステップは、図 7と同じ処理であり、ここでは、ステップ S 8 0 1と S 8 0 2が追加されている。すなわち、第 2のバケツト受信バッファ中に第 iバケツ卜が存在しないかまたは存在してもビット誤りがある場合には、ステップ S 8 0 1で第 3のバケツト受信バッファ中第 nフレームの第 iバケツトが受信され、かつ受信データに誤りが検出されない場合には、ステップ S 8 0 2で第 3の符号化データ抽出部 2 1 2— 3が出力する第 nフレームの第 iバケツトデータを、復号化する符号化データとして可変長復号化部 2 5 1に受け渡す。

何れのバケツト受信バッファにも第 ηフレームの第 iバケツトが存在せず、あるいは存在しても何れにもビット誤りが検出された場合には、上述したステップ S 7 0 8のコンシ一ノレメントのための処理を行う。上述したように、フレーム符号化における圧縮率が低いバケツトデータを優先して、符号化データとして可変長複号化部 2 5 1に受け渡す。

なお、第 2の動画像符号化送信部 1 0 1— 2と第 3の動画像符号化送信部 1 0 1一 3のレーム符号化における圧縮率を同じにした場合には、何れを優先させてあよい。

なお、本実施の形態の符号化データ再構成部 2 0 2での符号化データ再構成手順における、ステップ S 7 0 1で第 nフレーム符号化データの受信を待機する方法は、バケツト伝送遅延を所定の範囲内に抑えながらバケツトロスを検出できる方法であれば他のいかなる方法でも構わない。

以上で説明した第 3の実施の形態によれば、動画像符号化装置 1 0 0は、同一の動画像データを 2個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信する。第 2の動画像符号化送信部 1 0 1— 2は、第 1の動画像符号化送信部 1 0 1— 1で符号化されたバケツ卜が含む画像領域を、第 1の動画像符号化送信部 1 0 1— 1による当該フレームの符号化で得られたフレーム間予測パラメータと予測残差画像データを利用して符号化する。受信側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをバケツト単位で選択して復号化する。

その結果、バースト性の高い伝送誤りやバケツトロスが頻発する信頼性の低い伝送路を用いる場合でも、 2個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の復号化画像に著しい乱れが生じるのを防ぐことが可能である。さらに、第 2の符号化データの圧縮率を高くすることで、第 2の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。また、動画像復号化装置 2 0 0では、受信した 2個の符号化データの中から 1個だけを復号化すれば良いので、通常の動画像復号化装置と比べて必要な演算量が大きく増大することはない。

(第 4の実施の形態）

次に、本発明の第 4の実施の形態による動画像伝送システムについて説明する ₍ 本実施の形態の構成および動作は第 1の実施の形態とほぼ同じであり、図 1に示されるように、動画像データの動画像符号化装置 1 0 0と動画像複号化装置 2 0 0および符号化データを伝送するための伝送路 3 0 0から構成される。

この実施の形態においては、動画像符号化装置 1 0 0を構成する各部の動作において第 1の実施の形態と相違する。

第 2乃至第 Nの動画像符号化送信部 1 0 1— 2〜 1 0 1— Nにおける入力フレーム画像の符号化は、当該フレームに対する第 1の動画像符号化送信部 1 0 1— 1のフレーム間予測で用いた参照フレーム画像を用いて行われる。

第 1の動画像符号化送信部 1 0 1— 1と異なる制御によりフレーム間予測を行つて得られた、第 1の動画像符号化送信部 1 0 1— 1と異なるフレーム間予測パラメータと予測差分画像データを符号化しても良い。上記以外の動作に関しては、基本的に第 1の実施の形態と同じである。

動画像復号化装置 2 0 0の構成は第 1の実施の形態と全く同じである。

図 9は、本発明の第 4の実施の形態における動画像符号化装置 1 0 0の詳細な構成を示している。ここでは、簡単のためこの装置が出力する符号化データの個数 Nを「2」としている。

図 9において、第 4の実施の形態における動画像符号化装置 1 0 0の第1の動画像符号化送信部 1 0 1— 1の構成は、図 2に示した第 1の実施の形態と同じであり、その動作も同様である。

本実施の形態における第 2の動画像符号化送信部 1 0 1— 2は、第 1の実施の形態とはその構成及び動作において相違する。第 2の動画像符号化送信部 1 0 1 一 2は、第 2のフレーム間予測部 1 1 2— 2と、第 2の予測残差算出部 1 1 3— 2と、第 2の予測残差圧縮符号化部 1 1 4 _ 2、第 2の符号化パケット生成部 1

1 5— 2、第 2のバケツト誤り検出符号 · フレーム/バケツト識別番号付加部 1

1 6一 2により構成される。

第 2のフレーム間予測部 1 1 2— 2は、参照フレーム格納メモリ 1 1 9に格納された 1つまたは複数の復号画像から、フレーム走查部 1 1 1より入力された画像へのフレーム間予測を行う。第 2の予測残差算出部 1 1 3— 2は、入力フレーム画像から、第 2のフレーム間予測部 1 1 2— 2で得られた予測画像を減算することで予測残差を算出する。第 2の予測残差圧縮符号化部 1 1 4一 2は、第 2の予測残差算出部 1 1 3— 2で得られた予測残差画像を第 1の予測残差圧縮符号化部 1 1 4— 1よりも高い圧縮率で符号化する。

また、第 2の符号化バケツト生成部 1 1 5— 2は、第 2のフレーム間予測部 1 1 2 - 2で得られたフレーム間予測パラメータと第 2の予測残差圧縮符号化部 1 1 4 _ 2で得られた予測残差の圧縮データをビット列に可変長符号化し、所定のバケツト単位で出力する。第 2のバケツト誤り検出符号 · フレーム/バケツト識別番号付加部 1 1 6— 2は、第 2の符号化パケット生成部 1 1 5— 2が出力した圧縮バケツトデータの伝送誤りとバケツトロスを受信装置で検出するための、誤り検出符号とフレーム/バケツト識別番号を付加する。以上の処理部の動作により第 2の動画像符号化データが得られ、所定の送信手段によってバケツト単位で送信される。

なお、第 2のフレーム間予測部 1 1 2— 2は、第 1のフレーム間予測部 1 1 2 - 1と同一の入力フレーム画像および参照フレーム画像を利用してフレーム間予測を行うが、その結果、第 1のフレーム間予測部 1 1 2— 1とは異なるフレーム間予測パラメータおよび予測画像が得られても構わない。このため、例えば、第 2のフレーム間予測部 1 1 2 _ 2力第 1のフレーム間予測部 1 1 2— 1よりもフレーム間予測パラメータの符号化長を重視して予測パラメータを決定することで、本発明の効果を高めることが可能である。

以上で説明した第 4の実施の形態によれば、動画像符号化装置 1 0 0は同一の動画像データを 2個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信する。第 2の動画像符号化送信部 1 0 1— 2は、第 1 の動画像符号化送信部 1 0 1— 1で符号化されたフレームを、第 1の動画像符号化送信部 1 0 1— 1による当該フレームの符号化で用いられた参照フレーム画像を利用して符号化する。受信側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをフレーム単位で選択して復号化する。その結果、バースト性の高い伝送誤りやバケツトロスが頻発する信頼性の低い伝送路を用いる場合でも、 2個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の複号化画像に著しい乱れが生じるのを防ぐことが可能である。

さらに、第 2の符号化データの圧縮率を高くすることで、第 2の符号化データ送信に伴う伝送帯域の増大を小さく抑えることができる。また、動画像復号化装置で 2 0 0は、受信した 2個の符号化データの中から 1個だけを復号化すれば良いので、通常の動画像複号化装置と比べて必要な演算量が大きく増大することはない。

(第 5の実施の形態）

次に、本発明の第 5の実施の形態による動画像伝送システムについて説明する ( 本実施の形態の全体構成は、第 4の実施の形態と同じであり、図 1に示されるように、動画像データの動画像符号化装置 1 0 0と動画像復号化装置 2 0 0および符号化データを伝送するための伝送路 3 0 0から構成される。

動画像符号化装置 1 0 0の構成は第 4の実施の形態と同じであるが、この装置を構成する各部の動作において第 4の実施の形態と相違する。

第 1の動画像符号化送信部 1 0 1— 1で符号化される入力フレーム画像の符号化データは、一個または複数個のパケットデータから構成されており、各バケツトデータには入力フレーム画像に含まれる一部の画像領域に対するフレーム間予測パラメ一タおよび差分画像圧縮データが符号化されている。

また、第 2乃至第 Nの動画像符号化送信部 1 0 1— 2〜 1 0 1— Nは、第 1の動画像符号化送信部 1 0 1— 1で符号化されたバケツトの全てまたは一部のパケットが含む画像領域を、当該画像領域に対する第 1の動画像符号化送信部 1 0 1 一 1のフレーム間予測で用いた参照フレーム画像を利用して、第 1の動画像符号化送信部 1 0 1— 1よりも高い圧縮率で符号化し、得られた符号化バケツトデータを動画像復号化装置 2 0 0へ送信する。上記以外の動作に関しては、基本的に第 4の実施の形態と同じである。

動画像復号化装置 2 0 0の構成は第 3の実施の形態と全く同じである。本実施の形態における動画像符号化装置 1 0 0の構成および動作は、図 9に示した第 4の実施の形態における動画像符号化装置とほぼ同じであり、図 3における第 1の符号化バケツト生成部 1 1 5— 1と、第 2の符号化バケツト生成部 1 1 5— 2と、第 1のバケツト誤り検出符号 · フレーム/バケツト識別番号付加部 1 1 6— 1と、第 2のバケツト誤り検出符号 · フレーム Zバケツト識別番号付加部 1 1 6 - 2の動作のみが相違する。

本実施の形態における動画像符号化装置 1 0 0において、第 1の符号化パケット生成部 1 1 5— 1と第 2の符号化パケット生成部 1 1 5— 2は、第 1の符号化バケツト生成部 1 1 5— 1で生成する符号化バケツトデータが含む画像領域と、第 2の符号化バケツト生成部 1 1 5— 2で生成する符号化バケツトデータが含む画像領域が一致するように、符号化バケツトデータを生成する。

第 1のバケツト誤り検出符号 · フレームバケツト識別番号付加部 1 1 6— 1 と第 2のバケツト誤り検出符号 · フレーム Zバケツト識別番号付加部 1 1 6— 2 は、同一フレームの同一画像領域に対応する符号化バケツトデータに同一のパケット識別番号が付加されるように動作する。ただし、第 1乃至第 2の符号化パケット生成部が符号化するパケットデータに、フレームの番号や、当該パケットデータが含む画像領域の位置を特定するための情報が含まれる場合は、フレーム Z バケツト識別番号を付加しなくても良い。

上記以外の処理部の動作は第 3の実施の形態と同様である。

以上で説明した第 5の実施の形態によれば、動画像符号化装置 1 0 0の第 1の動画像符号化送信部 1 0 1— 1は同一の動画像データを 2個の符号化データに符号化して、一定または適応的に変化する時間間隔を空けながら送信する。

第 2の動画像符号化送信部 1 0 1— 2は、第 1の動画像符号化送信部 1 0 1— 1で符号化されたバケツトが含む画像領域を、第 1の動画像符号化送信部 1 0 1 一 1による当該フレームの符号化で用いられた参照フレーム画像を利用して符号化する。受信側は正常に受信できた符号化データの中から圧縮率が低く画質の良い符号化データをパケット単位で選択して複号化する。その結果、バースト性の高い伝送誤りやバケツトロスが頻発する信頼性の低い伝送路を用いる場合でも、 2個の符号化データの両方が誤って伝送される確率が小さくなり、伝送後の複号化画像に著しい乱れが生じるのを防ぐことが可能である。

また、動画像複号化装置 2 0 0では、受信した 2個の符号化データの中から 1 個だけを複号化すれば良いので、通常の動画像複号化装置と比べて必要な演算量が大きく増大することはない。

なお、上記各実施の形態の動画像伝送システムは、動画像符号化装置及び動画像複号化装置の各機能をハードウエア的に実現することは勿論として、上記した動画像符号化装置及び動画像復号化装置の機能を備える動画像符号化プログラム 8 0 0及び動画像複号化プログラム 9 0 0からなる動画像伝送プログラムをコンピュータ処理装置のメモリにロードして実行することで実現することができる。この動画像符号化プログラム 8 0 0及び動画像復号化プログラム 9 0 0は、磁気ディスク、半導体メモリその他の記録媒体に格納され、その記録媒体からコンビユータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。

以上好ましい実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。

Claims

請求の範囲

1 . 送信側から動画像データを圧縮符号化して送信し、受信側で複号化する動画像伝送システムであって、

前記送信側で、入力した動画像データのフレームをフレーム間予測符号化により圧縮符号化した所定の符号化データと、前記符号化データを復号化して得られるフレーム画像を参照するフレーム間予測により、入カフレームを前記所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した少なくとも 1以上の符号化データとからなる、複数の符号化データを送信すると共に前記受信側で受信した前記複数の符号化データであって正常に受信された符号化データから、何れか 1つの符号化データをフレーム毎に選択して復号化する動画像伝送システム。

2 . 送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであって、

前記送信側で、入力した動画像データのフレームをフレーム間予測符号化により一又は複数のバケツトデータに圧縮符号化した所定の符号化データと、前記符号化データを復号化して得られるフレーム画像を参照するフレーム間予測により符号化されたバケツトデータが含む入力フレーム中の画像領域を前記所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した前記パケットデータと同じ画像領域を含むバケツトデータとからなる、複数の符号化データを送信すると共に、

前記受信側で受信した前記複数の符号化データであって正常に受信された符号化データから、何れか 1つの符号化データを同一の画像領域を含むバケツトデ一タ毎に選択して複号化する動画像伝送システム。

3 . 送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであって、

前記送信側で、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、符号化されたフレームを前記所定の符号化デ一タのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により前記所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを送信すると共に、前記受信側で受信した前記複数の符号化データであって正常に受信された符号化データから、何れか 1つの符号化データをフレーム毎に選択して復号化する動画像伝送システム。

4 . 送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであって、

前記送信側で、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、符号化されたフレームの少なくとも一部を前記所定の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、前記所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データとからなる複数の符号化データを送信すると共に、

前記受信側で受信した前記複数の符号化データであって正常に受信された符号化データから、何れか 1つの符号化データをフレーム毎に選択して復号化する動画像伝送システム。

5 . 送信側から動画像データを圧縮符号化して送信し、受信側で復号化する動画像伝送システムであって、

前記送信側で、入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のバケツトデータと、前記所定のバケツトデータにおける符号化された画像領域を、前記所定のバケツトデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、前記所定のバケツトデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した前記所定のバケツトデータと同じ画像領域を含むバケツトデータとからなる複数の符号化データを送信すると共に、前記受信側で受信した前記複数の符号化データであって正常に受信された符号化データから、何れか 1つの符号化データを同一の画像領域を含むバケツトデータ毎に選択して復号化する動画像伝送システム。

6 . 送信側から動画像データを圧縮符号化して送信し、受信側で複号化する動画像伝送システムであって、

前記送信側で、入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のバケツトデータと、前記所定のバケツトデータにおいて符号化された画像領域を、前記所定のバケツトデータのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により前記所定のバケツトデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した前記所定のパケットデータと同じ画像領域を含むパケットデータとからなる複数の符号化データを送信すると共に、

前記受信側で受信した前記複数の符号化データであって正常に受信された符号化データから、何れか 1つの符号化データを同一の画像領域を含むバケツトデータ毎に選択して復号化する動画像伝送システム。

7 . 圧縮符号化された全ての符号化データ、或いは選択された一部のフレームの符号化データからなる複数の符号化データを送信する請求項 1に記載の動画像伝送システム。

8 . 圧縮符号化された全ての符号化データ、或いは選択された一部のフレームの符号化データからなる複数の符号化データを送信する請求項 3に記載の動画像伝送システム。

9 . 圧縮符号化された全ての符号化データ、或いは選択された一部のフレームの符号化データからなる複数の符号化データを送信する請求項 4に記載の動画像伝送システム。

1 0 . 圧縮符号化された全てのパケットデータ、或いは選択された一部のパケットデータからなる複数の符号化データを送信する請求項 2に記載の動画像伝送システム。

1 1 . 圧縮符号化された全てのバケツトデータ、或いは選択された一部のパケットデータからなる複数の符号化データを送信する請求項 5に記載の動画像伝送システム。

1 2 . 圧縮符号化された全てのパケットデータ、或いは選択された一部のパケットデータからなる複数の符号化データを送信する請求項 6に記載の動画像伝送システム。

1 3 . 前記受信側は、前記複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データを選択して復号化する請求項 7に記載の動画像伝送システム。

1 4 . 前記受信側は、前記複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データを選択して復号化する請求項 1 0に記載の動画像伝送システム。

1 5 . 前記複数の符号化データを、所定の順序付けをして送信すると共に、前記受信側で、受信した前記複数の符号化データであって正常に受信された符号化データから、前記順序付けの最も高い符号化データを選択して複号化する請求項 7に記載の動画像伝送システム。

1 6 . 前記複数の符号化データを、所定の順序付けをして送信すると共に、前記受信側で、受信した前記複数の符号化データであって正常に受信された符号化データから、前記順序付けの最も高い符号化デ一タを選択して複号化する請求項 1 0に記載の動画像伝送システム。

1 7 . 符号化した複数の前記符号化データ同士に時間差を加えて多重化して送信し、受信側で前記多重化されて送信されたデータを複数の符号化データに分離する請求項 1 5に記載の動画像伝送システム。

1 8 . 符号化した複数の前記符号化データ同士に時間差を加えて多重化して送信し、受信側で前記多重化されて送信されたデ一タを複数の符号化データに分離する請求項 1 6に記載の動画像伝送システム。

1 9 . 送信側である動画像符号化装置と、受信側である動画像復号化装置とを備え、前記動画像符号化装置は、

入力した動画像データのフレームを、少なくとも 1つの圧縮率が異なる複数の符号化データに圧縮符号化して送信する複数の符号化手段を有し、

前記動画像復号化装置は、

送信された複数の符号化データを受信し、受信された前記符号化データのビット誤り又はパケットロスを検出する複数の符号化データ受信手段と、

前記符号化データ受信手段でビット誤り又はバケツトロスがなく受信された前記符号化データから、何れか 1つの符号化データを選択する選択手段と、前記選択手段で選択された符号化データを復号化する複号化手段とを有する請求項 1 7に記載の動画像伝送システム。

2 0 . 送信側である動画像符号化装置と、受信側である動画像復号化装置とを備え、

前記動画像符号化装置は、

前記動画像複号化装置は、

前記符号化データ受信手段でビット誤り又はバケツトロスがなく受信された前記符号化データから、何れか 1つの符号化データを選択する選択手段と、前記選択手段で選択された符号化データを復号化する複号化手段とを有する請求項 1 8に記載の動画像伝送システム。

2 1 . 前記送信側に、一部の前記符号化データを遅延させることで複数の前記符号化データ同士に時間差を加える遅延付加手段と、時間差を加えた複数の前記符号化データを多重化して送信する多重化手段とを備え、

前記受信側に、前記多重化されて送信されたデータを複数の符号化データに分離する分離手段を備える請求項 1 7に記載の動画像伝送システム。

2 2 . 前記送信側に、一部の前記符号化データを遅延させることで複数の前記符号化データ同士に時間差を加える遅延付加手段と、時間差を加えた複数の前記符号化データを多重化して送信する多重化手段とを備え、

前記受信側に、前記多重化されて送信されたデータを複数の符号化データに分離する分離手段を備える請求項 1 8に記載の動画像伝送システム。

2 3 . 送信側から受信側にフレーム間予測により圧縮符号化された動画像データを伝送する動画像伝送システムであって、

任意の 2以上の整数 Nに対して、

送信側が、

入力された動画像フレームをフレーム間予測により圧縮符号化して、得られた符号化データを所定の伝送手段を用いて送信する第 1の動画像符号化送信手段と前記第 1の動画像符号化送信手段が符号化したフレームの少なくとも一部を、当該フレームに対する前記第 1の動画像符号化送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して、前記第 1の動画像符号化送信手段よりも高い圧縮率もしくは同じ圧縮率となるように符号化し、得られた符号化デ一タを送信する第 2乃至第 Nの（N— 1 ) 個の動画像符号化送信手段とを備え、受信側が、

受信した動画像圧縮符号化データの誤りもしくは欠落をフレーム単位で検出可能な N個の符号化データ受信手段と、

前記の N個の符号化データ受信手段で伝送誤りも欠落もなく受信された、同一フレームの符号化データの中から、圧縮率が最も低レ、動画像符号化データをフレーム毎に選択して複号化する動画像複号化手段とを備える動画像伝送システム。

2 4 . 送信側から受信側にフレーム間予測により圧縮符号化された動画像データを伝送する動画像伝送システムであって、

任意の 2以上の整数 Nに対して、

送信側が、

前記第 1の動画像符号化送信手段は、入力された動画像フレームをフレーム間予測により一個または複数個のバケツトデータに圧縮符号化して、得られた一個または複数個のパケットデータを所定の伝送手段を用いて送信する第 1の動画像符号化送信手段と、

前記第 1の動画像符号化送信手段が符号化したバケツトデータの画像領域を、当該画像領域に対する第 1の動画像符号化送信手段によるフレーム間予測で用いられた参照フレーム画像を利用して、第 1の動画像符号化送信手段よりも高い圧縮率もしくは同じ圧縮率となるように、当該パケットデータと同一画像領域を含むバケツトデータに符号化し、得られたバケツトデータを送信する第 2乃至第 N の（N— 1 ) 個の動画像符号化送信手段とを備え、

受信側が、

受信した動画像圧縮符号化データの誤りもしくは欠落を、所定の符号化バケツトデータ単位で検出可能な N個の符号化データ受信手段と、

前記の N個の符号化データ受信手段で伝送誤りも欠落もなく受信され、同一フレームの同一領域の画像を符号化したバケツトデータの中から、圧縮率が最も低い符号化バケツトデータを同一の画像領域を含むバケツトデータ毎に選択して復号化する動画像復号化手段とを備える動画像伝送システム。

2 5 . 送信側から受信側にフレーム間予測により圧縮符号化された動画像デ一タを伝送する動画像伝送システムであって、

任意の 2以上の整数 Nに対して、

送信側が、

入力された動画像フレームをフレーム間予測により圧縮符号化して、得られた符号化データを所定の伝送手段を用いて送信する第 1の動画像符号化送信手段と前記第 1の動画像符号化送信手段が符号化したフレームの少なくとも一部を、当該フレームに対する前記第 1の動画像符号化送信手段によるフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用して、前記第 1の動画像符号化送信手段よりも高い圧縮率もしくは同じ圧縮率となるように符号化し、得られた符号化データを送信する第 2乃至第 Nの（N— 1 ) 個の動画像符号化送信手段とを備え、

受信側が、受信した動画像圧縮符号化データの誤りもしくは欠落をフレーム単位で検出可能な N個の符号化データ受信手段と、

前記符号化データ受信手段で伝送誤りも欠落もなく受信された、同一フレームの符号化デ一タの中から、圧縮率が最も低レ、動画像符号化データをフレーム毎に選択して複号化する動画像復号化手段とを備える動画像伝送システム。

2 6 . 送信側から受信側にフレーム間予測により圧縮符号化された動画像デ一タを伝送する動画像伝送システムであって、

任意の 2以上の整数 Nに対して、

送信側が、

入力された動画像フレームをフレーム間予測を用いて一個または複数個のパケットデータに圧縮符号化して、得られた符号化バケツトデータを所定の伝送手段を用いて送信する第 1の動画像符号化送信手段と、

前記第 1の動画像符号化送信手段が符号化したバケツトデータの画像領域を、当該画像領域に対する前記第 1の動画像符号化送信手段によるフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用して、第 1の動画像符号化送信手段よりも高い圧縮率もしくは同じ圧縮率となるように、当該バケツトデータと同一画像領域を含むバケツトデータに符号化し、得られた符号化パケットデータを送信する第 2乃至第 Nの（N— 1 ) 個の動画像符号化送信手段とを備え、

受信側が、

受信した動画像圧縮符号化データの誤りもしくは欠落を、所定の符号化パケットデータ単位で検出可能な N個の符号化データ受信手段と、

前記の N個の符号化データ受信手段で伝送誤りも欠落もなく受信され、同一フレームの同一領域の画像を符号化したバケツトデータの中から、圧縮率が最も低い符号化バケツトデータを同一の画像領域を含むバケツトデータ毎に選択して復号化する動画像複号化手段とを備える動画像伝送システム。

2 7 . 動画像データを圧縮符号化して動画像複号化装置に送信する動画像符号化装置であって、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、前記符号化されたフレームを前記所定の符号化データのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により前記所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを送信する動画像符号化装置。

2 8 . 動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、

入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のバケツトデータと、前記所定のバケツトデータにおいて符号化された画像領域を、前記所定のバケツトデータのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により前記所定のバケツトデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した前記所定のパケットデータと同じ画像領域を含むバケツトデータとからなる複数の符号化データを送信する動画像符号化装置。

2 9 . 動画像データを圧縮符号化して動画像復号化装置に送信する動画像符号化装置であって、

入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、前記符号化されたフレームの少なくとも一部を前記所定の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、前記所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを送信する動画像符号化装置。

3 0 . 動画像データを圧縮符号化して動画像複号化装置に送信する動画像符号化装置であって、

入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のバケツトデータと、前記所定のバケツトデータにおける符号化された画像領域を、前記所定のバケツトデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、前記所定のバケツトデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した前記所定のバケツトデータと同じ画像領域を含むバケツトデータとからなる複数の符号化データを送信する動画像符号化装置。

3 1 . 動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であつて、

前記動画像符号化装置から送信された、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、前記符号化されたフレームを前記所定の符号化データのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により前記所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを受信し、

受信した前記符号化データのうち、ビット誤り又はバケツトロスの無い前記符号化データから最も圧縮率の低い符号化データをフレーム毎に選択して復号化する動画像複号化装置。

3 2 . 動画像データを圧縮符号化したデータを動画像符号化装置から受信して復号化する動画像復号化装置であつて、

前記動画像符号化装置から送信された、入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のパケットデータと、前記所定のバケツトデータにおいて符号化された画像領域を、前記所定のパケットデータのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により前記所定のバケツトデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した前記所定のバケツトデータと同じ画像領域を含むバケツトデータとからなる複数の符号化データを受信し、

受信した前記符号化データのうち、ビット誤り又はバケツトロスの無い前記符号化データから最も圧縮率の低い符号化データを同一の画像領域を含むバケツトデータ毎に選択して複号化する動画像復号化装置。

3 3 . 動画像データを圧縮符号化したデータを動画像符号化装置から受信して複号化する動画像複号化装置であつて、前記動画像符号化装置から送信された、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、前記符号化されたフレームの少なくとも一部を前記所定の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、前記所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを受信し、

受信した前記符号化データのうち、ビット誤り又はバケツトロスの無い前記符号化データから最も圧縮率の低い符号化データをフレーム毎に選択して複号化する動画像複号化装置。

3 4 . 動画像データを圧縮符号化したデータを動画像符号化装置から受信して複号化する動画像復号化装置であって、

前記動画像符号化装置から送信された、入力した動画像デ一タのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のバケツトデータと、前記所定のバケツトデータにおける符号化された画像領域を、前記所定のバケツトデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、前記所定のバケツトデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した前記所定のパケットデータと同じ画像領域を含むパケットデータとからなる複数の符号化データを受信し、

受信した前記符号化データのうち、ビット誤り又はバケツトロスの無い前記符号化データから最も圧縮率の低い符号化データを同一の画像領域を含むバケツトデータ毎に選択して複号化する動画像複号化装置。

3 5 . 送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して複号化する処理を実行させるための動画像伝送プログラムであって、前記送信側で、コンピュータ処理装置に、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、前記符号化されたフレームを前記所定の符号化データのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により前記所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化デ一タからなる複数の符号化データを送信する処理を実行させ、

前記受信側で、コンピュータ処理装置に、受信した前記複数の符号化データであつて正常に受信された符号化データのうち、最も圧縮率の低レ、符号化デ一タをフレーム毎に選択して複号化する処理を実行させるための動画像伝送プログラムを備える動画像伝送システム。

3 6 . 送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、前記送信側で、コンピュータ処理装置に、入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のバケツトデータと、前記所定のバケツトデータにおいて符号化された画像領域を、前記所定のバケツトデータのフレーム間予測で利用された参照フレーム画像を用いたフレーム間予測により前記所定のバケツトデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した前記所定のバケツトデータと同じ画像領域を含むバケツトデータとからなる複数の符号化データを送信する処理を実行させ、

前記受信側で、コンピュータ処理装置に、受信した前記複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データを同一の画像領域を含むバケツトデ一タ毎に選択して復号化する処理を実行させるための動画像伝送プログラムを備える動画像伝送システム。

3 7 . 送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して復号化する処理を実行させるための動画像伝送プログラムであって、前記送信側で、コンピュータ処理装置に、入力した動画像データのフレームをフレーム間予測により圧縮符号化した所定の符号化データと、前記符号化されたフレームの少なくとも一部を前記所定の符号化データのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分データを再利用することにより、前記所定の符号化データより高い圧縮率もしくは同じ圧縮率となるように圧縮符号化した符号化データからなる複数の符号化データを送信する処理を実行させ、前記受信側で、コンピュータ処理装置に、受信した前記複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データをフレーム毎に選択して復号化する処理を実行させるための動画像伝送プログラムを備える動画像伝送システム。

3 8 . 送信側でコンピュータ処理装置に動画像データを圧縮符号化して送信する処理を実行させ、受信側でコンピュータ処理装置に符号化されたデータを受信して複号化する処理を実行させるための動画像伝送プログラムであって、前記送信側で、コンピュータ処理装置に、入力した動画像データのフレームをフレーム間予測により圧縮符号化した一又は複数の所定のバケツトデータと、前記所定のバケツトデータにおける符号化された画像領域を、前記所定のバケツトデータのフレーム間予測で得られたフレーム間予測パラメータおよび予測差分デ一タを再利用することにより、前記所定のパケットデータより高い圧縮率もしくは同じ圧縮率で圧縮符号化した前記所定のパケットデータと同じ画像領域を含むパケットデータとからなる複数の符号化データを送信する処理を実行させ、前記受信側で、コンピュータ処理装置に、受信した前記複数の符号化データであって正常に受信された符号化データのうち、最も圧縮率の低い符号化データを同一の画像領域を含むバケツトデータ毎に選択して複号化する処理を実行させるための動画像伝送プログラムを備える動画像伝送