JPH0918457A - データ通信再送装置 - Google Patents

Abstract

(57)【要約】 【目的】 データ通信再送装置において、スループット
の向上を図る。また、無駄な再送を避ける。 【構成】 画像通信におけるＡＲＱ装置において、通信
路誤りの発生する双方向通信系を用いてディジタル圧縮
符号化された画像を伝送する場合、画像受信側は受信デ
ータを画像復号化した後に画像ブロックに生じた歪みを
隣接画素間の誤差を計算して求め、画像ブロックの歪み
が閾値を超えるとその画像ブロックに通信路誤りによる
歪みが発生していると判定して誤りを検出し、この誤り
の検出に基づいて画像歪みが検出されたフレームの識別
番号を指定し、指定した前記フレームの再送要求を行
う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ディジタル符号化され
た画像を通信路誤りの発生する双方向通信系を用いて伝
送する場合のデータ通信再送装置に関し、特に、再生画
像に発生した視覚に感知されにくい歪みを許容する場合
のスループット向上に適用して有効な技術に関するもの
である。

【０００２】

【従来の技術】図５は、従来方式の画像データ通信にお
けるＡＲＱ（automatic request forrepeat transmissi
on）装置を具体的に説明するためのブロック構成図であ
る。送信側は画像符号化器１、フレーム構成器２、送信
バッファ３で構成され、受信側は通信路誤り検出器４、
受信バッファ６、画像復号化器７で構成されている。

【０００３】送信側と受信側は、双方向の通信を可能と
する通信路で接続される。この通信路は、信号伝送中に
伝送誤りを発生する可能性がある。

【０００４】送信すべき情報である原画像は、画像符号
化器１により複数のブロックに分割されたのち圧縮さ
れ、圧縮画像データに符号化される。圧縮画像データ
は、フレーム構成器２により、一定長のフレームごとに
分割され、誤り検出符号が計算され、そのフレームに付
加される。そして、それぞれ番号が付与された後、送信
バッファ３に蓄積される。送信バッファ３は、受信側か
らの再送要求が受信されない限り、順次、圧縮画像デー
タを通信路に送信する。受信側から再送要求があった場
合の動作については後述する。

【０００５】通信路は送信側から送信された圧縮画像デ
ータを受信側に伝送する。

【０００６】受信側は、通信路から受信した番号が付与
された圧縮画像データに対し、通信路誤り検出器４によ
り、フレーム単位で通信路誤り検出を行なう。誤りが検
出されなかった場合はそのフレームの受信を確認する通
知として受信確認信号が通信路に送信され、送信側に伝
送される。誤りが検出された場合は、この番号は再送要
求信号として通信路に送信され、送信側に伝送される。

【０００７】送信側は、受信側から受信確認信号を受け
取った場合は、送信バッファ３内の該当するフレームは
廃棄し、新規フレームを蓄積するために空きエリアとし
て確保する。また、受信側から再送要求があった場合に
は、新規の圧縮画像データを通信路に送信する代わり
に、再送要求内に含まれる番号で指定された送信バッフ
ァ３内のフレームを通信路に送信する。

【０００８】通信路から受信した番号が付与された圧縮
画像データを一定長毎に受信バッファ６に蓄積する。受
信バッファ６に画像復号化器７で復号可能な長さの圧縮
画像データが蓄積された時点で、圧縮画像データを画像
復号化器７に出力する。画像復号化器７は、受信した圧
縮画像データから再生画像を出力する。

【０００９】再生画像は、受信器から出力されると同時
に、受信バッファ６に蓄積されている圧縮画像データは
廃棄され、新規データを蓄積するために空きエリアとし
て確保される。

【００１０】この従来方式におけるＡＲＱ装置を用いる
と、誤り検出符号を用いてフレームを再送信して通信路
誤りを改善するため、画質劣化のない画像が得られる。

【００１１】

【発明が解決しようとする課題】本発明者は、前記従来
のＡＲＱ装置を検討した結果、以下の問題点を見いだし
た。

【００１２】前記従来のＡＲＱ装置では、通信路誤りに
より画像に生じた歪みが視覚に感知されにくい歪みであ
る場合でも再送が行なわれるため、誤りが多発する通信
路においてはスループットの低下が生じるという問題点
がある。

【００１３】本発明の目的は、データ通信再送装置にお
いて、スループットの向上を図ることが可能な技術を提
供することにある。

【００１４】本発明の他の目的は、無駄な再送を避ける
ことが可能な技術を提供することにある。

【００１５】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。

【００１６】

【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば以下
のとおりである。

【００１７】（１）通信路誤りの発生する双方向通信系
を用いてディジタル圧縮符号化された画像を伝送する場
合、受信されたデータに誤りが存在しているとき、その
誤りを受信側で検出し、送信側にそのデータの再送を要
求するデータ通信再送装置において、送信側には、原画
像を圧縮画像データに変換する画像符号化手段と、前記
圧縮画像データを一定長毎に区分けして各々に固有の識
別番号を定めたフレームを構成し、前記各フレームを識
別番号順に組合わせて送信データを構成するフレーム構
成手段と、前記送信データを蓄積する送信バッファとを
備え、受信側には、送信側から出力された前記送信デー
タを受信して蓄積する受信バッファと、前記受信バッフ
ァの受信データから画像を再生する画像復号化手段と、
前記画像復号化手段の出力信号の画像歪みを前記フレー
ム毎に検出する画像歪み検出手段と、画像歪みが検出さ
れた場合に、画像歪みが検出された前記フレームの識別
番号を指定し、指定した前記フレームの再送要求を行う
再送要求信号を出力する再送フレーム決定手段とを備
え、送信側は受信側から前記再送要求信号が送られてき
た場合に、前記送信バッファは前記再送要求信号をもと
に再送する前記フレームの再送データを決定し、前記再
送データを前記受信バッファに送り、前記受信バッファ
は指定された識別番号に前記再送データを割り当て前記
受信データを更新し、前記画像復号化手段は更新された
前記受信データをもとに画像を再生するものである。

【００１８】（２）通信路誤りの発生する双方向通信系
を用いてディジタル圧縮符号化された画像を伝送する場
合、受信されたデータに誤りが存在しているとき、その
誤りを受信側で検出し、送信側にそのデータの再送を要
求するデータ通信再送装置において、送信側には、原画
像を圧縮画像データに変換する画像符号化手段と、前記
圧縮画像データを一定長毎に区分けして各々に固有の識
別番号を定めたフレームを構成し、前記各フレームを識
別番号順に組合わせたデータに対して誤り検出符号を付
加した送信データを構成するフレーム構成手段と、前記
送信データを蓄積する送信バッファとを備え、受信側に
は、送信側から出力された前記送信データを受信したデ
ータの符号誤りを検出する通信路誤り検出手段と、前記
受信データを蓄積する受信バッファと、前記受信データ
から画像を再生する画像復号化手段と、前記画像復号化
手段の出力信号の画像歪みを前記フレーム毎に検出する
画像歪み検出手段と、前記画像歪み検出手段により画像
歪みが検出され、かつ前記通信路誤り検出手段から符号
誤りを検出した場合に、画像歪みが検出された前記フレ
ームの識別番号を指定し、指定した前記フレームの再送
要求を行う再送要求信号を出力する再送フレーム決定手
段とを備え、送信側は受信側から前記再送要求信号が送
られてきた場合に、前記送信バッファは前記再送要求信
号をもとに再送する前記フレームの再送データを決定
し、前記再送データを前記受信バッファに送り、前記受
信バッファは指定された識別番号に前記再送データを割
り当て前記受信データを更新し、前記画像復号化手段は
更新された前記受信データをもとに画像を再生するもの
である。

【００１９】

【作用】前述した手段によれば、本発明のＡＲＱ装置お
いては、再生画像に発生した視覚に感知されにくい歪み
は画像歪み検出器で検出されないため、通信路で生じた
誤りが再生画像の画質に及ぼす影響が小さい場合は再送
を行なわないので、スループットの向上を図ることがで
きる。また、誤り検出符号による検出と組み合わせて再
送要求をしているため、通信路誤りにより生じる歪み以
外の画像固有の歪みを、画像歪み検出器で誤検出するこ
とによるスループットの低下を防止することができる。

【００２０】

【実施例】以下、図面を参照して本発明について実施例
とともに詳細に説明する。

【００２１】なお、実施例を説明するための全図におい
て、同一機能を有するものは同一符号を付け、その繰り
返しの説明は省略する。

【００２２】（実施例１）図１は本発明の一実施例（実
施例１）のデータ通信再送装置の概略構成を示すブロッ
ク図であり、１００は送信器、２００は受信器、１は画
像符号化器、２はフレーム構成器、３は送信バッファ、
５は再送信フレーム決定器、６は受信バッファ、７は画
像復号化器、８は画像歪み検出器である。

【００２３】本実施例のデータ通信再送装置は、図１に
示すように、送信器１００には画像符号化器１、フレー
ム構成器２、及び送信バッファ３が備えられ、受信器２
００には再送信フレーム決定器５、受信バッファ６、画
像復号化器７、及び画像歪み検出器８が備えられてい
る。そして、送信側と受信側は、双方向の通信を可能と
する通信路で接続される。この通信路は、信号伝送中に
伝送誤りを発生する可能性がある。

【００２４】送信すべき情報である原画像は、画像符号
化器１により複数のブロックに分割されたのち圧縮さ
れ、圧縮画像データに符号化される。圧縮画像データ
は、フレーム構成器２により、一定長のフレームごとに
分割され、それぞれ番号が付与された後、送信バッファ
３に蓄積される。送信バッファ３は、受信側からの再送
要求が受信されない限り、順次、圧縮画像データを通信
路に送信する。受信器２００側から再送要求があった場
合の動作については後述する。

【００２５】通信路は、送信器１００側から送信された
圧縮画像データを受信器２００側に伝送する。

【００２６】受信器２００側は、通信路から受信した番
号が付与された圧縮画像データを一定長毎に受信バッフ
ァ６に蓄積する。受信バッファ６に１画像分の圧縮画像
データが蓄積された時点で、受信した圧縮画像データを
画像復号化器７に出力し、画像復号化器７は、受信した
圧縮画像データから画像を再生する。再生された画像
は、画像歪み検出器８に入力される。画像歪み検出器８
は、ブロック毎に画像の歪みを検出するが、その詳細な
動作は後述する。

【００２７】通信路で発生した伝送誤りは、再生画像に
歪みとして現れるので、画像歪み検出器８により検出さ
れる。

【００２８】画像歪み検出器８により受信した画像に歪
みが検出されなかった場合は、再生画像は、良好な受信
画像として受信器２００から出力されると同時に、受信
バッファ６に蓄積されている圧縮画像データは廃棄さ
れ、新規データを蓄積するために空きエリアとして確保
される。さらに、受信確認信号を通信路に送出し、新し
い画像圧縮データの受信を待つ。

【００２９】一方、画像歪み検出器８により受信した画
像に歪みが検出された場合には、画像歪みが検出された
ブロック位置を再送信フレーム決定器５に入力し、その
ブロックが含まれているフレームの番号を決定する。こ
の画像歪みが発生したブロックを構成するフレームの番
号は、再送要求信号として通信路に送信され、送信器１
００側に伝送される。

【００３０】送信器１００側は、受信器２００側から受
信確認信号を受け取った場合は、送信バッファ３内の該
当するフレームは廃棄し、新規フレームを蓄積するため
に空きエリアとして確保する。また、受信器２００側か
ら再送要求があった場合には、新規の圧縮画像データを
通信路に送信する代わりに、再送要求内に含まれる番号
で指定された送信バッファ３内のフレームを通信路に送
信する。

【００３１】受信器２００側は、送信器１００側から再
送されたフレームで受信バッファ６の内容を更新し、１
画像分の受信フレームが揃った時点で、再び画像復号化
器７で画像を再生し、再生画像を画像歪み検出器８に入
力し、画像歪みが検出された場合は前述の再送要求を送
信器１００側に送信する受信処理を画像の歪みが検出さ
れなくなるまで繰り返す。画像歪み検出器８では、画像
の性質により通信路誤りによる画像の歪みが生じていな
くても、原画像固有の画素間の誤差を通信路誤りに起因
する歪みとみなして検出してしまう場合がある。それを
防止するために、検出を繰り返す場合に画像歪み検出器
８の検出特性を決定する閾値を変化させる。また、それ
で対応できない場合は、有限回で再送を打ち切る。

【００３２】（実施例２）図２は本発明の他の実施例
（実施例２）のデータ通信再送装置の概略構成を示すブ
ロック図であり、４は通信路誤り検出器である。

【００３３】本実施例２のデータ通信再送装置は、図２
に示すように、送信器１００側には画像符号化器１、フ
レーム構成器２、及び送信バッファ３が備えられ、受信
器２００側には通信路誤り検出器４、再送信フレーム決
定器５、受信バッファ６、画像復号化器７、及び画像歪
み検出器８が備えられている。そして、通信路の状況は
前記実施例１と同一である。

【００３４】送信すべき情報である原画像は、画像符号
化器１により複数のブロックに分割されたのち圧縮さ
れ、圧縮画像データに符号化される。圧縮画像データ
は、フレーム構成器２により、一定長のフレームごとに
分割され、誤り検出符号が計算され、そのフレームに付
加される。そして、それぞれ番号が付与された後、送信
バッファに蓄積される。送信バッファ３は、受信器２０
０側からの再送要求が受信されない限り、順次、圧縮画
像データを通信路に送信する。受信器２００側から再送
要求があった場合の動作については後述する。

【００３５】通信路は送信器１００側から送信された圧
縮画像データを受信器２００側に伝送する。

【００３６】受信器２００側は、通信路から受信した番
号が付与された圧縮画像データに対し、通信路誤り検出
器４により、フレーム単位で通信路誤り検出を行なう。
通信路誤りが検出されたフレームの番号が再送信フレー
ム決定器５に記録される。

【００３７】また、通信路から受信した番号が付与され
た圧縮画像データは、一定長毎にバッファ６に蓄積され
る。受信バッファ６に１画像分の圧縮画像データが蓄積
された時点で、受信した圧縮画像データを画像復号器に
出力し、画像復号化器７は、受信した圧縮画像データか
ら送信された画像を再生する。再生された画像は、画像
歪み検出器８に入力される。画像歪み検出器８は、ブロ
ック毎に画像の歪みを検出するが、その詳細な動作は後
述する。通信路で発生した伝送誤りは、再生画像に歪み
として現れるので、画像歪み検出器８により検出され
る。

【００３８】画像歪み検出器８により受信した画像に歪
みが検出されなかった場合は、再生画像は、良好な受信
画像として受信器から出力されると同時に、受信バッフ
ァ６に蓄積されている圧縮画像データは廃棄され、新規
データを蓄積するために空きエリアとして確保される。
さらに、受信確認信号を通信路に送出し、新しい画像圧
縮データの受信を待つ。

【００３９】一方、画像歪み検出器８により受信した画
像に歪みが検出された場合には、画像歪みが検出された
ブロック位置を再送信フレーム決定器５に入力し、その
ブロックが含まれているフレームの番号を決定する。そ
して、その番号が再送信フレーム検出器５に既に記録さ
れている、通信路誤りが検出されたフレームと同一であ
れば、この番号は再送要求信号として通信路に送信さ
れ、送信器１００側に伝送される。この番号が再送信フ
レーム決定器５に記録されていない場合は検出された歪
みは原画像に固有な画素間の誤差であり、通信路誤りに
起因するものではないので、再送要求番号は送信器１０
０側に伝送しない。

【００４０】再送要求に対する送信器１００側の動作は
前記実施例１と同じである。

【００４１】受信器２００側は、送信器１００側から再
送されたフレームで受信バッファ６の内容を更新し、１
画像分の受信フレームが揃った時点で、再び画像復号化
器７で画像を再生し、再生画像を画像歪み検出器８に入
力し、画像歪みが検出された場合は前述の再送要求を送
信器１００側に送信する受信処理を通信路誤り検出器４
と画像歪み検出器８が同一のフレームを検出しなくなる
まで繰り返す。または、有限回で再送を打ち切る。

【００４２】前記実施例における再生画像の歪みを検出
する方法について述べる。

【００４３】図３は前記実施例における画像復号化後に
再生画像の誤りを検出する方法を具体的に説明するため
の図であり、Ｎｘ，Ｓｘ，Ｗｘ，Ｅｘはそれぞれ、Ｘの
北、南、西、東に隣接するブロックである。前記実施例
において、画像のブロック符号化を行ない、ブロックご
との同期がとれていると仮定とした場合、通信路誤りに
よる再生画像の劣化はブロック単位で生じる。つまり、
ブロック内で誤りが伝搬するという特徴がある。

【００４４】そこで、これらの特徴を利用し、再生画像
に生じた歪みをブロック単位で検出する。具体的には、
まず、特定のブロックに対し、歪み関数dsmを次のよう
に定義する。画像の１ブロック（８×８）の画素値をＸ
のように行列形式で表すことにし、［Ｘ］ｆｃ、［Ｘ］
ｌｃ、［Ｘ］ｆｒ、［Ｘ］ｌｒをそれぞれ１番目の画素
の列ベクトル、最後の画素の列ベクトル、１番目の画素
の行ベクトル、最後の画素の行ベクトルとする。する
と、ｄsmは次の数１の式（１）のように表される。

【００４５】

【数１】

【００４６】ここで、Ｎｘ，Ｓｘ，Ｗｘ，Ｅｘはそれぞ
れ、Ｘの北、南、西、東に隣接するブロックである。ま
た、α，β，γ，δはそれぞれ、この隣接のブロック自
身に誤りが検出されている場合は”０”、そうでないと
きには”１”をとる係数である。このdsmが小さいほ
ど、ブロックＸは正しいブロックである可能性が高いと
考えられる。

【００４７】そして、この計算を各ブロックに適用し、
歪み関数dsmがある閾値以上であれば、誤りが生じてい
るとして誤り検出を行なう方法である。

【００４８】ここで、この装置を用いて行なった計算機
シミュレーションの諸元を表１に示す。通信路のＣＮＲ
−スループット特性を図４に示す。再生画像のＳＮＲが
３０（ｄＢ）以上のものについて示す。歪み関数の閾値
は３１６２とした。従来技術による方式では再生画像の
劣化が起こらないが、ＣＮＲが低くなるとスループット
が大きく低下する。それと比較して、前記実施例１の方
式では、視覚に感知されにくい画質劣化を許容している
ため、スループット特性が改善されていることがわか
る。

【００４９】

【表１】

【００５０】以上、本発明者によってなされた発明を、
前記実施例に基づき具体的に説明したが、本発明は、前
記実施例に限定されるものではなく、その要旨を逸脱し
ない範囲において種々変更可能であることは勿論であ
る。

【００５１】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すると以下
のとおりである。

【００５２】（１）再生画像に発生した視覚に感知され
にくい歪みを許容するために、スループットの向上を図
ることができる。

【００５３】（２）誤り検出符号による検出と組み合わ
せて再送要求をしているため、無駄な再送を避けること
により、更にスループット特性を改善していることがで
きる。

【図面の簡単な説明】

【図１】本発明の一実施例（実施例１）のデータ通信再
送装置の概略構成を示すブロック図である。

【図２】本発明の他の実施例（実施例２）のデータ通信
再送装置の概略構成を示すブロック図である。

【図３】本発明の実施例における画像復号化後に再生画
像の誤りを検出する方法を具体的に説明するための図で
ある。

【図４】本発明の実施例における画像に生じた歪みを検
出する具体的方法を説明する図である。

【図５】従来のデータ通信再送装置の問題点を説明する
ためのブロック構成図である。

【符号の説明】

１…画像符号化器、２…フレーム構成器、３…送信バッ
ファ、４…通信路誤り検出器、５…再送信フレーム決定
器、６…受信バッファ、７…画像復号化器、８…画像歪
み検出器。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 通信路誤りの発生する双方向通信系を用
   いてディジタル圧縮符号化された画像を伝送する場合、
   受信されたデータに誤りが存在しているとき、その誤り
   を受信側で検出し、送信側にそのデータの再送を要求す
   るデータ通信再送装置において、 送信側には、原画像を圧縮画像データに変換する画像符
   号化手段と、前記圧縮画像データを一定長毎に区分けし
   て各々に固有の識別番号を定めたフレームを構成し、前
   記各フレームを識別番号順に組合わせて送信データを構
   成するフレーム構成手段と、前記送信データを蓄積する
   送信バッファとを備え、 受信側には、送信側から出力された前記送信データを受
   信して蓄積する受信バッファと、前記受信バッファの受
   信データから画像を再生する画像復号化手段と、前記画
   像復号化手段の出力信号の画像歪みを前記フレーム毎に
   検出する画像歪み検出手段と、画像歪みが検出された場
   合に、画像歪みが検出された前記フレームの識別番号を
   指定し、指定した前記フレームの再送要求を行う再送要
   求信号を出力する再送フレーム決定手段とを備え、 送信側は受信側から前記再送要求信号が送られてきた場
   合に、前記送信バッファは前記再送要求信号をもとに再
   送する前記フレームの再送データを決定し、前記再送デ
   ータを前記受信バッファに送り、前記受信バッファは指
   定された識別番号に前記再送データを割り当て前記受信
   データを更新し、前記画像復号化手段は更新された前記
   受信データをもとに画像を再生することを特徴とするデ
   ータ通信再送装置。
2. 【請求項２】 通信路誤りの発生する双方向通信系を用
   いてディジタル圧縮符号化された画像を伝送する場合、
   受信されたデータに誤りが存在しているとき、その誤り
   を受信側で検出し、送信側にそのデータの再送を要求す
   るデータ通信再送装置において、 送信側には、原画像を圧縮画像データに変換する画像符
   号化手段と、前記圧縮画像データを一定長毎に区分けし
   て各々に固有の識別番号を定めたフレームを構成し、前
   記各フレームを識別番号順に組合わせたデータに対して
   誤り検出符号を付加した送信データを構成するフレーム
   構成手段と、前記送信データを蓄積する送信バッファと
   を備え、 受信側には、送信側から出力された前記送信データを受
   信したデータの符号誤りを検出する通信路誤り検出手段
   と、前記受信データを蓄積する受信バッファと、前記受
   信データから画像を再生する画像復号化手段と、前記画
   像復号化手段の出力信号の画像歪みを前記フレーム毎に
   検出する画像歪み検出手段と、前記画像歪み検出手段に
   より画像歪みが検出され、かつ前記通信路誤り検出手段
   から符号誤りを検出した場合に、画像歪みが検出された
   前記フレームの識別番号を指定し、指定した前記フレー
   ムの再送要求を行う再送要求信号を出力する再送フレー
   ム決定手段とを備え、 送信側は受信側から前記再送要求信号が送られてきた場
   合に、前記送信バッファは前記再送要求信号をもとに再
   送する前記フレームの再送データを決定し、前記再送デ
   ータを前記受信バッファに送り、前記受信バッファは指
   定された識別番号に前記再送データを割り当て前記受信
   データを更新し、前記画像復号化手段は更新された前記
   受信データをもとに画像を再生することを特徴とするデ
   ータ通信再送装置。