JPH10341434A - 画像・音声データ通信システム - Google Patents

Abstract

(57)【要約】 【課題】 伝送誤りに対して、音声データと画像データ
との特性及びそれぞれに対する要求に則して、一定以上
の品質を確保したデータ通信を実現する。 【解決手段】 送信側装置１から受信側装置１１へ画像
データと音声データとを同一の通信路１０を介して送信
するに際して、送信側装置１では、送信する画像データ
を誤り検出符号化器８により誤り検出符号化し、送信す
る音声データを誤り訂正符号化器６により誤り訂正符号
化する。そして、受信側装置１１では、受信した音声デ
ータ中の誤り部分を誤り訂正復号化器１４により訂正し
て再生音声の品質を高める一方、受信した画像データ中
の誤り部分を誤り検出復号化器１８により検出して廃棄
し、当該廃棄した部分の画像データを補間器１９により
正常受信された画像データから補間し、再生画像の情報
価値が大きく損なわれてしまわないように、より高度に
訂正する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データと音声
データとを同一の通信路を介して送信する画像・音声デ
ータ通信方式に関し、特に、通信路で生じた伝送誤りに
対して画像データと音声データとに異なる処置を施す画
像・音声データ通信システムに関する。

【０００２】

【従来の技術】近年、テレビ会議システムやテレビ電話
システム等のように、音声データと共に画像データを伝
送するシステムが開発されて実用に供されている。この
ような画像データと音声データとを合わせて伝送する画
像・音声データ通信システムの従来例を、図５及び図６
を参照して説明する。

【０００３】図５に示す画像・音声データ通信システム
は、動画像と対応する音声とに対して動画像を駒落とし
して得た静止画像（準動画像）のデータを音声のデータ
と共に、送信側装置１から受信側装置１１へ通信路１０
を介して送信しており、受信側装置１１では受信した音
声データに基づく音声を出力するとともに静止画像デー
タに基づく静止画像を順次切り換えて表示出力する。

【０００４】送信側装置１では、入力されたデジタル画
像データを離散コサイン変換器２で離散コサイン変換
（ＤＣＴ：Discrete Cosine Transform）し、この変換
により得たＤＣＴ係数を量子化器３で量子化して有効係
数の数を削減し、更に、量子化されたＤＣＴ係数をハフ
マン符号化器４でエントロピー符号化して情報源符号化
画像データを生成する。また、これとともに、送信側装
置１では、入力されたデジタル音声データを離散コサイ
ン変換器２で離散コサイン変換し、この変換により得た
ＤＣＴ係数を量子化器３で量子化して情報源符号化音声
データを生成する。

【０００５】そして、送信側装置１では、通信制御部５
の誤り訂正符号化器６で、これら情報源符号化画像デー
タと情報源符号化音声データとをそれぞれ誤り訂正符号
化し、通信制御部５によるデータフロー制御の下に、こ
れら情報源符号化画像データと情報源符号化音声データ
とを変調器７で通信路１０に適合した信号に変調して送
信する。なお、誤り訂正符号としてはデータ８ビットに
対して誤り訂正符号を８ビット付加するＢＣＨ（１６，
８）等が用いられる。また、情報源符号化画像データと
情報源符号化音声データとは図６に示すように、同一の
通信フレームにまとめられて通信路１０へ送信される。

【０００６】一方、受信側装置１１では、通信路１０か
ら受信した通信フレーム信号を復調器１２で復調し、通
信制御部１３の誤り訂正復号化器１４で、受信フレーム
中に含まれている情報源符号化画像データと情報源符号
化音声データとをそれぞれ誤り訂正符号を用いて誤り訂
正復号化する。そして、受信側装置１１では、情報源符
号化と逆の過程をたどって、誤り訂正復号化された情報
源符号化画像データを、ハフマン復号化器１５でエント
ロピー復号化、逆量子化器１６で逆量子化、逆離散コサ
イン変換器１７で逆離散コサイン変換して復号化したデ
ジタル画像データを出力するとともに、誤り訂正復号化
された情報源符号化音声データを、逆量子化器１６で逆
量子化、逆離散コサイン変換器１７で逆離散コサイン変
換して復号化したデジタル音声データを出力する。

【０００７】

【発明が解決しようとする課題】ここで、上記のような
画像・音声データ通信システムにおいて、通信路１０の
伝送において伝送誤りが生じてしまった場合には、或る
程度までの誤りであれば誤り訂正処理によって画像デー
タや音声データを訂正して出力することができる。しか
しながら、例えば電話回線や無線区間を含む通信回線の
ように誤り発生率が高い低品質な通信回線を通信路１０
として用いた場合には、伝送誤りを十分に訂正すること
ができなり、出力される画像データや音声データの品質
が極端に低下してしまう。

【０００８】このような品質低下が生じてしまった場
合、音声については人間の感覚によって何とかその内容
を判別することも可能ではあるが、画像については誤り
によって再生できない領域が画像中の大半を占めるよう
なことともなって、その内容を判別することが不可能と
なってしまっていた。図７及び図８には、画像データを
ＪＰＥＧ方式で情報源符号化して送信し、データ中に１
ビットの伝送誤り（ＢＥＲ＝１×１０^-6に相当）が生じ
てしまったときの実験結果を示してある。すなわち、図
７に示す原画像に対して、高々この程度の伝送誤りが生
じただけで、図８に示すように画像中のほぼ半分の領域
が再生不可能となってしまう。

【０００９】本発明は上記従来の事情に鑑みなされたも
ので、比較的多くの伝送誤りが生じてしまった場合にあ
っても、音声とともに、受信した画像データによって再
生される画像の品質を或る程度以上に維持することがで
きる画像・音声データ通信システムを提供することを目
的とする。また、本発明は、誤り発生率が高い低品質な
通信路を用いて、画像データと音声データとを実用上支
障なく送信することができる画像・音声データ通信シス
テムを提供することを目的とする。

【００１０】

【課題を解決するための手段】本発明に係る画像・音声
データ通信システムでは、送信側装置から受信側装置へ
画像データと音声データとを同一の通信路を介して送信
するに際して、送信側装置では、送信する画像データを
誤り検出符号化器により誤り検出符号化し、送信する音
声データを誤り訂正符号化器により誤り訂正符号化す
る。そして、受信側装置では、受信した音声データ中の
誤り部分を誤り訂正復号化器により誤り訂正符号に基づ
いて訂正して再生音声の品質を高める一方、受信した画
像データ中の誤り部分を誤り検出復号化器により誤り検
出符号に基づいて検出して廃棄し、当該廃棄した部分の
画像データを補間器により当該部分の周囲の正常受信さ
れた画像データから補間することにより再生画像の品質
を高める。

【００１１】すなわち、本発明は、音声データに比して
画像データは誤りを高度に訂正しなければ再生画像の情
報価値が大きく損なわれてしまいという特性に鑑み、音
声データに対しては誤り訂正符号を用いた訂正処理を行
い、画像データに対しては正常なデータ部分を用いた補
間処理を行っており、訂正処理に比して処理時間は長く
要することとなるが誤りデータをより良く復元すること
ができる補間処理を画像データに適用している。

【００１２】なお、本発明は、動画像データと音声デー
タとの通信、静止画像データと音声データとの通信、準
動画像データと音声データとの通信、といったように種
々な画像データと音声データとの通信に適用することが
できるが、特に、静止画像や準動画像といったように音
声に比してリアルタイム性がそれほど要求されない画像
データの通信においては、表示画像を切り換える間隔時
間を利用して、遅延なく画像表示を行うことができる。

【００１３】

【発明の実施の形態】本発明の一実施形態を図面を参照
して説明する。図１には、本実施形態に係る画像・音声
データ通信システムを示してある。なお、図５を参照し
て前述した画像・音声データ通信システムとほぼ同一な
機能を奏する部分には同一符号を付して、重複する説明
は割愛する。この画像・音声データ通信システムの送信
側装置１には、通信制御部５に誤り訂正符号化器６に加
えて誤り検出符号化器８が設けられている。また、この
画像・音声データ通信システムの受信側装置１１には、
通信制御部１３に誤り訂正復号化器１４に加えて誤り検
出復号化器１８が設けられ、更に、逆離散コサイン変換
器１７の画像データ出力端に補間器１９が設けられてい
る。

【００１４】送信側装置１の誤り訂正符号化器６は、量
子化器３から出力された情報源符号化音声データに対し
てのみＢＣＨ（１６，８）等で誤り訂正符号化し、ハフ
マン符号化器４から出力された情報源符号化画像データ
に対しては誤り訂正符号化を行わない。この情報源符号
化画像データに対しては誤り検出符号化器８で誤り検出
符号化を行っており、具体的には、通信制御部５で図２
に示すような通信フレーム化を行う際に、当該通信フレ
ームに含まれる情報源符号化画像データをＣＲＣ（Cycl
ick Redunduncy Check）を用いて誤り検出符号化してい
る。すなわち、誤り検出符号化器８は、情報源符号化画
像データと誤り訂正符号化された情報源符号化音声デー
タとが含まれた通信フレームに、例えば、ＩＴＵ−Ｔに
準拠した一般的な生成多項式（Ｘ¹⁶＋Ｘ¹²＋Ｘ⁵＋１）
を適用して、当該通信フレームに１６ビットの誤り検出
符号（ＣＲＣ）を付加する処理を行う。

【００１５】一方、受信側装置１１の誤り訂正復号化器
１４は、復調器１２から得られた情報源符号化音声デー
タに対してのみその誤り訂正符号（ＢＣＨ）を用いて誤
り訂正復号化し、復調器１２から得られた情報源符号化
画像データに対してはこのような誤り訂正復号化を行わ
ない。この情報源符号化画像データに対しては誤り検出
復号化器１８で誤り検出復号化を行っており、具体的に
は、通信制御部１３で図２に示す通信フレームを分解す
る際に、当該通信フレームをＣＲＣを用いて誤り検出復
号化することにより、その情報源符号化画像データの誤
り検出を行っている。

【００１６】ここで、図２に示す通信フレームには、情
報源符号化の単位（ＤＣＴ符号化される８画素×８画
素、１６画素×１６画素等といったブロック）を１個又
は複数個まとめて包含しており、特に、情報源符号化画
像データに対しては画像フレーム内における各ブロック
の位置を表すための情報（通し番号等）も包含してい
る。そして、誤り検出復号化器１８は、誤りを検出した
通信フレーム内に含まれている情報源符号化画像データ
を廃棄し、以降のハフマン復号化、逆量子化、逆離散コ
サイン変換を可能ならしめるために、廃棄した画像デー
タのブロック部分に復号化可能なビットパターンブロッ
ク（例えば黒画素又は白画素のみのパターン）を挿入し
て出力する。

【００１７】なお、本例においては、情報源符号化音声
データをも含めた形で通信フレームに対して誤り検出を
行っているが、このような方法によっても、実質的に、
通信フレーム中に含まれている情報源符号化画像データ
の誤り検出処理を行うこととなる。また、このような手
法とせずに、通信フレームに情報源符号化画像データの
みを対象とした誤り検出符号を付加して、情報源符号化
画像データについてはこの誤り検出符号により誤り検出
処理を行い、情報源符号化音声データについては誤り訂
正符号により誤り訂正処理を行うようにしてもよい。

【００１８】上記のように画像データと音声データとに
対する処理を異ならせることに伴って、ハフマン復号化
器１５には誤り検出復号化器１８から出力された情報源
符号化画像データが入力され、逆量子化器１６にはハフ
マン復号化器１５から出力された情報源符号化画像デー
タと誤り訂正復号化器１４から出力された情報源符号化
音声データが入力される。また、音声データについては
図５のシステムと同様であるが、逆離散コサイン変換器
１７から出力された画像データは補間器１９に入力さ
れ、この補間器１９で誤りが検出されたデータ部分（ブ
ロック）に補間処理が施された後に出力される。

【００１９】この補間器１９での補間処理は、本例では
図３に示すような方法で行われ、情報源復号化された画
像データ中の誤り検出によって廃棄されたブロック部分
の画素値を、周囲の正常受信された画素値に基づいて補
間する。具体的には、同図に示す情報源復号化された画
像データ中において、廃棄されたブロック部分（図中の
灰色部分）の画素値ｘを、当該部分に隣接する正常受信
された４つの画素値ａ〜ｄに基づいて、下記の演算式か
ら画素間距離や予め設定した重みＷを用いて加重平均に
より求める。

【００２０】

【数１】

【００２１】上記構成の画像・音声データ通信システム
によれば、次のようにして画像データと音声データとが
同一の通信路１０を介して、送信側装置１から受信側装
置１１へ送信される。送信側装置１では、入力されたデ
ジタル画像データを離散コサイン変換器２、量子化器
３、ハフマン符号化器４で順次処理して情報源符号化画
像データを生成し、また、これとともに、入力されたデ
ジタル音声データを離散コサイン変換器２、量子化器３
で順次処理して情報源符号化音声データを生成する。そ
して、情報源符号化音声データについては誤り訂正符号
化器６で誤り訂正符号化した後、通信制御部５で、これ
ら情報源符号化画像データと情報源符号化音声データと
をまとめて通信フレームに載せ、更に、当該通信フレー
ムに対して誤り検出符号化器８で誤り検出符号化し、当
該通信フレームを変調器７を介して通信路１０へ送信す
る。

【００２２】一方、受信側装置１１では、通信路１０か
ら受信した通信フレーム信号を復調器１２で復調し、誤
り検出復号化器１８で当該通信フレームを誤り検出復号
化して情報源符号化画像データに伝送誤りがあるか否か
を検査し、また、誤り訂正復号化器１４で情報源符号化
音声データを誤り訂正復号化する。そして、誤り訂正復
号化器１４から逆量子化器１６へ情報源符号化音声デー
タを出力するとともに、誤り検出復号化器１８からハフ
マン復号化器１５へ情報源符号化画像データを出力する
が、当該情報源符号化画像データ中の上記検査で誤りが
検出された部分（ブロック）は、誤り検出復号化器１８
で破棄されて他のビットパターンに差し替えられる。

【００２３】そして、情報源符号化と逆の過程をたどっ
て、情報源符号化音声データは逆量子化器１６、逆離散
コサイン変換器１７で順次処理されてデジタル音声デー
タに復号化され、情報源符号化画像データはハフマン復
号化器１５、逆量子化器１６、逆離散コサイン変換器１
７で順次処理されてデジタル画像データに復号化され
る。更に、デジタル画像データは補間器１９に入力さ
れ、誤り検出で廃棄された部分（ブロック）の画素値が
補間される。上記のように、伝送誤りが生じてしまった
場合にあっても、音声データは誤り訂正されて或る程度
の品質を維持して遅延なく出力され、また、画像データ
は正常なデータから再生画像が利用者によって視認し得
る程度まで補間されて出力される。したがって、誤り発
生率が高い低品質な通信路１０を用いても、画像データ
と音声データとを実用上支障なく送信することができ
る。

【００２４】図４には、図７及び図８に示したと同じ条
件で、上記の実施形態によって画像データを補間した再
生画像を示してある。図４と図８との比較から明らかな
ように、補間処理を施すことによって、図７に示す原画
像とほぼ同等の品質で画像を再生することができる。

【００２５】なお、上記した実施形態では、間欠的なフ
レームとなる静止画像データや準動画像データを例にと
って説明したが、本発明は、動画像データを音声データ
とともに送信するシステムにも適用することができ、こ
の場合には、例えば動き補償ベクトルを正常データ部分
から推定して、再生された動画像データ中の誤り部分を
補間することができる。また、補間の手法としては、公
知の種々な手法を用いることができる。また、本発明に
おいては情報源符号化は必須ではないが、情報源符号化
及び情報源復号化には任意の手法を用いることができ
る。

【００２６】また、本発明は、画像データと音声データ
とを送信する機能と画像データと音声データとを受信す
る機能とを兼備した複数の送受信装置によって、画像・
音声データ通信システムを構成する場合にも勿論適用す
ることができる。また、本発明は、有線、無線を問わず
種々な伝送路を用いた動画像データ伝送システムに適用
可能であるが、特に、無線区間を含むような低品質の伝
送路を用いたシステムに適用して大きな効果が得られ
る。

【００２７】

【発明の効果】以上説明したように、本発明によれば、
伝送誤りに対して、音声データは誤り訂正処理し、画像
データは正常データから補間処理するようにしたため、
音声データと画像データとの特性及びそれぞれに対する
要求に則して、一定以上の品質を確保したデータ通信を
実現することができる。

【図面の簡単な説明】

【図１】 本発明の一実施形態に係る画像・音声データ
通信システムの構成図である。

【図２】 通信フレームの一例を示すフレーム構造図で
ある。

【図３】 補間処理の一例を説明する概念図である。

【図４】 ディスプレイ上に表示した画像を示す図面代
用写真である。

【図５】 従来例に係る画像・音声データ通信システム
の構成図である。

【図６】 通信フレームの一例を示すフレーム構造図で
ある。

【図７】 ディスプレイ上に表示した画像を示す図面代
用写真である。

【図８】 ディスプレイ上に表示した画像を示す図面代
用写真である。

【符号の説明】

１・・・送信側装置、 ６・・・誤り訂正符号化器、８
・・・誤り検出符号化器、 １０・・・通信路、 １１
・・・受信側装置、１４・・・誤り訂正復号化器、 １
８・・・誤り検出復号化器、１９・・・補間器、

Claims (1)

【特許請求の範囲】
1. 【請求項１】 送信側装置から受信側装置へ画像データ
   と音声データとを同一の通信路を介して送信する画像・
   音声データ通信システムにおいて、 送信側装置では、送信する画像データを誤り検出符号化
   器により誤り検出符号化し、送信する音声データを誤り
   訂正符号化器により誤り訂正符号化し、 受信側装置では、受信した音声データ中の誤り部分を誤
   り訂正復号化器により誤り訂正符号に基づいて訂正し、
   受信した画像データ中の誤り部分を誤り検出復号化器に
   より誤り検出符号に基づいて検出して廃棄し、当該廃棄
   した部分の画像データを補間器により当該部分の周囲の
   正常受信された画像データから補間することを特徴とす
   る画像・音声データ通信システム。