JPS63267080A - 映像信号伝送方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （発明の属する技術分野） 本発明は誤シ等によ多情報の欠落する可能性のある通信
路を介して、映像信号を符号化し、伝送する際にできる
だけ情報の欠落による劣化の波及を少なくするための方
式を与えるものである。

（従来の技術） 従来のディジタル映像伝送方式では、特にフレーム間差
分符号化方式を用いた場合、伝送路の誤シ等による映像
の劣化が長く影響を与えることから、一定周期リフレッ
シ＝−またはデマンドリフレッシュの方式が用いられて
いる。

一方、従来の高能率符号化方式で映像信号に対して有効
なものはフレーム間予測符号化、離散的コサイン変換、
ベクトル符号化、等と動き補償を組み合わせた方式であ
シ、テレビ会議用の６４ｋｂ７８程度の符号化方式とし
て既に発表されている。

これらの符号化技術で基本的に用いられている手法は映
像信号のフレームをｎｚｍ画素のブロックに分割し以前
のフレームの信号と比較して映像の動き量を推定し、こ
の動き貴に基づいて現フレーム信号の予測を行うことに
よシ高能率な符号化を実現するものである。

（発明が解決しようとする問題点） 従来のりフレッシユにおいて一般的に存在した欠点は、
以下の通シである。一定周期リフレッシュの場合は一定
周期で伝送情報量が大幅に増加してしまうという欠点が
ある。またデマンドリフレッシュの場合は誤シの発生を
検出したときのみ情報量が増加するが、受信側から送信
側へのフィードバック手段と情報が必要となシ、また誤
シを検出できなかった場合には大きな劣化を許してしま
うという欠点があった。

また、従来のリフレッシュ方式は、最近開発されつつあ
る、高能率な映像符号化方式と組み合わせた場合にはさ
らに次のような問題が生ずる。即ち極めて高能率な符号
化方式を用いた伝送を行っている場合には、情報の欠落
等によシ定常状態からずれた場合には、定常値の伝送レ
ートに比較して極めて高い伝送レートでリフレッシュを
行わないと、品質が保てない。これは従来の単純な差分
符号化方式ではそれほど情報量が圧縮されず、もともと
伝送レートが高かったため、余シ問題とならなかったが
、符号化方式が高能率になればなるほどこれが問題とな
っている。

本発明は上記の欠点を克服するために、ＩＪフレッシェ
による情報量の増加を極力小さく抑え、かつ受信側から
送信側へのフィードバック情報を必要としない、映像品
質劣化の少ないリフレッシュ方式を与えるものである。

（問題点を解決するための手段） 本発明は主として ■符号化の対象とする映像を適当なブロックに分け、そ
れぞれを符号化・伝送するか（これを有効ブロックと椰
する。）、否かを判断する手段を有する、 ■全てのブロックについて、過去に伝送された情報量に
相当する統計的数値を与えるものとして、ブロックが有
効となる統計的性質をある周期毎に把握する手段を有す
る、 ■前記■の手段で得られた統計的性質を基準にして、フ
レーム間差分に基づく通常の符号化（復号化）そ−ドと
差分値に基づかないリフレッシ為符号化（復号化）モー
ドをブロック毎に切り替える手段を符号器、局部復号器
、復号器が有する、ことを特徴とする。

従来技術との差をまずり７レツシエによる情報量の増加
の観点から示す。本発明では、ある期間有意でないブロ
ックは非常に長い周期でリフレッシ１されることになシ
、情報量の増加は少ない。

一方、有効となる確率の高いブロック、および映像の動
きの性質から引続き有効となる確率が高いその周囲のブ
ロックは、比較的短い周期で１リフレツシエされること
になるが、この様なブロックはもともと伝送すべ、き大
部分の情報を発生している源であシ、リフレッシ１によ
る情報量増加は存在するものの、該ブロックの統計的性
質を基にしてリフレッシ１するため、従来の一定周期す
フレッシェに比べ僅かである。一方、従来の一定周期リ
フレッシュでは、この様な点を考慮してないため情報量
はほぼり７レツシエ周期に比例して増加していた。

一方、従来のデマンドリフレッシュでは受信側から送信
側へのデマンド（フィードバック情報）が必要であった
が、本発明では全く不用であシ、余分なフィードバック
情報伝送をなくシ、端末間のプロトコルも簡易化できる
。

（実施例） 第１図は本発明の実施例を示すものであシ、符号化装置
及び復号化装置を示す。

同図において、１００は入力映像データ、１１０はブロ
ック分割部、１１１は分割されたブロックデータ、１２
０はフレーム間差分モード／リフレッシェクトル情報を
統合した符号化データ、１３０はブロックの有効無効判
定部、１３１はブロックの有効／無効を表すデータ、１
３２はブロックが有効の場合にその差分値の大きさを示
すデータ、１４０はブロックの情報発生に関する統計的
性質の測定部、１４１はブロックの有効となる統計的性
質を示す各ブロック毎のデータ、１５０は前フレームの
局部復号データを蓄積するメモリ部、１５１は前フレー
ムの局部復号データ、１６１は今回のフレームで局部復
号されたデータ、１８０は１２１を伝送路上の速度に合
わせて多重化して伝送できる形態に変換するマルチプレ
クサ部、１８１は伝送対象となるデータ、２３９は伝送
され受信側に届いたデータ、２４０は多重化された信号
を元に戻すデマルチプレクサ部、２４１は受信された符
号化情報、２２０はフレーム間差分モード／リフレッシ
エモード切り替え復号化部、２２１は１フレ一ム分の復
号データ、２５０は復号データメモリ、２５１は前フレ
ームの復号データ、２１０は後処理回路、２００は受信
側で得られる最終的復号データである。

第２図はフレーム間差分モード／リフレッシュモード切
り替え符号化部および復号化部を示す。

同図において、１２００はモード切り替え部、１２０１
は差分符号化モードで処理されるブロックのデータ、１
２０２はリフレッシエモードで処理されるブロックのデ
ータ、１２０３は各ブロックのモード情報、１２１０は
動きベクトル算出部、１１は動きベクトルの量子化部、
１２１１は算出された動きベクトルを量子化したデータ
、１２は逆量子化部、１２１９は１２１１を逆量子化し
た動きベクトル値、１２２０は動き補償を行うための復
号データ移動部、１２２１は１２２０によシ得られた動
き補償参照データ、１２５９は動き補償により得られた
差分データ、１２６０は適応的な量子化を行う符号器、
１２６１は量子化データ、１２９０は逆量子化を行う局
部復号器、１２２９はブロック毎のフレーム間差分復号
化データ、 １２４０はリフレッシェモード用参照データ作成部、１
２４１はブロック毎のりフレッシェ参照データ、１２５
０はりフレッシェモード参照値メモリ部、１２６９はリ
フレッシュモードのブロックにおける入力データと参照
値との差分、１２７０は適応的な量子化を行う符号器、
１２７１は量子化データ、１２８０は逆量子化を行う局
部復号器、１２８１は復号差分データ、１２２８はブロ
ック毎のりフレッシェモード復号化データ、１２３０は
全てのブロックを総合するフレーム復号データ生成部、
１２９９は各ブロックのモード（有効か無効か、有効の
場合は、フレーム間差分モードかりフレッシェモードか
）に応じて符号化情報を作成するモード切り替えを意識
したデータ統合部である。

（以上は符号化部） また、２２００は受信された符号化情報２４１をブロッ
ク毎に分解するデータ分解部、２２ｏ１ハフレ一ム間差
分符号化モードのブロックに対する符号化データ、２２
１０は復号器、２２１１は復号データ、２２０２は受信
された動きベクトル符号化データ、２２は逆量子化部、
２２１９　は復号された動きベクトル量、２２２０は動
き補償用データ移動部、２２２１は動き補償用データ、
２２４９は復号化部におけるフレーム間差分モードブロ
ックの復号化データ、２２０３は受信されたりフレッシ
ェモードの符号化データ、２２３０は復号器、２２３１
はリフレッシュモードの差分データに対する復号値、２
２４０は参照データメモリ、２２４１は参照データ、２
２４８はりフレッシネモードにおける復号化データ、２
２５０は対象の１フレームについての復号データ生成部
、２２６０はリフレッシュ用参照データ作成部、２２６
１はリフレッシュ用参照データ、２２０４は受信された
有効・無効データを示す。

次に本実施例における動作を説明する。

■符号化装置側の概要について第１図に基づき説明する
。入力映像データ（１００）は通常画素数が横にｍ個、
縦にｎ個のｍＸｎの平面で１フレ一ム分のデータが与え
られる。ブロック分割部（１１０）はこの平面データを
フレーム間の差分をできるだけ小さくするために通常用
いられる動き補償の技術を符号器に於て適用するために
、適轟なブロックに分割する。（この大きさは通常４×
４から８×８程度である。）分割されたブロックデータ
（１１１）はブロックの有効／無効判定部（１３０）に
おいてブロック毎に前フレームの局部復号データ（１５
１）と比較され、その差分がある値よシ大きいかどうか
によシ、有効または無効と判断される。この値は要求さ
れる符号化品質（Ｓ／Ｎ値）によシ、定められる。この
ようにして得られたブロックの有効／無効データ（１３
１）およびブロックが有効の場合にその差分値の大きさ
を示すデータ（１３２）は、ブロックが有効となる統計
的性質の測定部（１４０）においてブロック毎に累積さ
れ、入力映像のもつ動きに合わせた時定数で平滑化され
、情報量の過去の累積値に相当する値（１４１）に変換
される。これによりて得られた統計値は各ブロック毎の
データトシて、フレーム間差分モード／す７レツシエモ
ード切り替えの判断用に符号化部（１ｉｏ）に入力され
る。また符号化部から１は局部復号データ（１６１）が
出力され、前フレームの局部復号データを蓄積するメモ
リ（ｉｓｏ）に蓄えられる。前フレームの局部復号デー
タ（１５１）はりフレッシェモード参照データ作成のた
めに符号化部に送られる。さらに符号化部からは符号化
されたディジタルコード情報（１２１）　、が出力され
、これらを復号装置側に伝送するために多重化するマル
チプレクサ（１８０）にて多重化され、多重化データ（
１８１）を得る。

０次に復号化装置の概要について第１図に基づき説明す
る。伝送さ五た多電化データ（２３９）はデマルチプレ
クサ（２４０）によシ、フレーム間差分モード／リフレ
ッシ−モード切り替え復号化部（２２０）が扱うデータ
（２４１）に変換される。復号化部からは１フレ一ム分
の復号化データ（２２１）が得られ、後処理回路（２１
０）および前フレームの復号データメモリに入力される
。前フレームの復号データ（２５１）はまた復号化部に
おいて参照データとして使われる。後処理回路の出力と
して復号データ（２００）を得る。

■次ニフレーム間差分モード／リフレッシュモード切り
替え符号化部について第２図に基づき説明する。ブロッ
クに分割された映像データ（１１１）は各ブロックの有
効となる統計値（１４０）に基づき、モード切り替え部
（１２００）ブロック毎に、また各フレーム毎に判断さ
れ、フレーム間差分モードブロックのデータ（１２０１
）とりフレッシュモードブ四ツクのデータ（１２０２）
に分けられる。フレーム間差分モードブロックのデータ
については通常の動き補償符号化を適用する。すなわち
動きベクトル算出部（１２１０）で動き量を検出し、こ
れを量子化部（１１）で実際に伝送するピット長で量子
化しく１２１１）　、さらに、１２で逆量子化した際の
動きベクトル値（１２１９）によシ復号データの移動を
行い（１２２０）、動き補償参照データ（１２２１）を
得、動き補償を施した差分値（１２５９）を得る。これ
を適応差分符号化部（１２６０）にて量子化し、フレー
ム間差分モードの差分情報データ（１２６１）を得る。

１２６１はまた局部復号化部（１２９０）にて逆量子化
され差分値の局部復号データ（１２９１ｊを得る。これ
と動き補償参照データ（１２２１）を加え、動き補償モ
ードのブロックのフレーム間差分復号化データ（１２２
９）を得る。一方すフレッシェモードのブロックについ
ては、リフレッシェモード用参照データ作成部（１２４
０）、にて例えばグレイレベルデータを作成する、又は
復号データのブロックごとの平均値を作成する、又は映
像信号の変化の大きさに従って、これらのデータを組合
せて参照データメモリ（１２５０）に与える。この参照
データ（１２５１）とリフレッシュモードブロック映像
データ（１２０２）との差をとシ、差分値（１２６９）
を得る。この後は上と同様に適応差分符号化部（１２７
０）によシ量子化された差分情報（１２７１）を得、さ
らに局部復号（１２８０）によシ復号差分データ（１２
８１）を得、リフレッシュ参照データ（１２５１）との
和によりブロック毎のりフレッシェモード復号化データ
（１２２８）を得る。さらに１２２８と１２２９を用い
、１フレームについてフレーム間符号化モードとりフレ
ッシェモードを総合した復号データを作成する（１２３
の。

その結果は１フレ一ム分の復号デー夛として（１６１）
出力される。一方各ブロックのモード情報（１２０３）
、有効・無効情報（１３１）　、差分符号化データ（１
２６１，１２７１）、および動きベクトル値の量子化デ
ータ（１２１１）は各ブロックについて整理され、復号
化部で解釈できる形態にデータ統合され（１２１）、マ
ルチプレクサに送られる。

■次に、復号化部の動作を説明する。受信されデマルチ
プレクサで復号化部が解釈できる形態に変換された符号
化データ２４１は、データ分割部（２２００）にて、動
きベクトルデータ（２２０２）、フレーム間差分符号化
モードのブロックに対する符号化データ（２２０１）、
リフレッシュモードの符号化データ（２２０３）　、ブ
ロックの有効・無効情報（２２０４）に分割される。動
きベクトル符号化デー４り（２２０２）は逆量子化部（
２２）で復号され、動きベクトル量（２２１９）を得る
。動き補償用データ移動部（２２２０）で２２１９に基
づき補償データ２２２１を求める。フレーム間差分符号
化モードのブロックに対する差分符号化データ（２２０
１）は復号化部（２２１０）で復号され、復号差分値（
２″２１１）を得る。

２２１１と２２２１によシフレーム間差分符号化モード
のブロックに対する復号値（２２４９）を得る。一方、
リフレッシュモードのブロックに対する復号化は同様に
して、リフレッシュモード符号化データ２２０３を復号
化部２２３０によシ復号し、差分値（２２３１）を得、
参照データメモリ２２４０の値を加えて、リフレッシュ
モードのブロックのデータに対する復号データ２２４８
を得る。１フレ一ム分のデータは２２５０にてブロック
の有効・無効情報２２０４を参考にして２２４８と２２
４９を合成して作成する。また前フレームの復号データ
からりフレッシェ用の参照データを作成する（２２６０
）。２２６０は１２４０と同一の参照データを作成する
ように構成する。即ち符号器側参照データ１２４１と復
号器側参照データ２２６１はブロック単位で同一となる
ようにする。

（発明の効果） 上記で説明したように各ブロック対応に、発生情報の統
計値に基づいて適応的にり７レツシエモードとフレーム
間差分符号化モードが切り替えられて伝送されることに
よシ、従来に比べ極めて能率の良いリフレッシユが実現
できる。

例を挙げて説明すると、以下のようになる。ある期間有
意でないブロックは本発明によれば非常に長い周期でリ
フレッシュされることになる。この様なブロックは、シ
かじ、欠落しても前フレームのデータを用いて復号して
も劣化は少ない。一方、有意となる確率の高いブロック
は発生情報量も多く伝送路で欠落した可能性も高い。こ
の様なブロックおよびその周囲のブロックは、映像の動
きの性質から引続き有意となる確率が高く、欠落した際
に、前フレームのデータを基に復号すると劣化が極めて
大きくなる。従って比較的短い周期でリフレッシュモー
ドに移行することによシ劣化を減少させることができる
。

実際には有意となる性質に応じていくつかのｔｈｒｅｓ
ｈｏｌｄを設けて適当なリフレッシュ周期を適用するこ
とによシ、さらに効果を高めることができる。

【図面の簡単な説明】

第１図は本発明の実施例の全体のブロック図を示す。第
２図は本発明の符号化部及び復号化部の詳細な実施例を
示す。 第１図において、１００は入力映像データ、１１０はブ
ロックに分割する部分、１１１は分割されたプロンクデ
ータ、１２０はフレーム間差分モード／リフレッシ−モ
ード切り替え符号化部、１２１は符号化されたディジタ
ルコード情報、１３０はブロックの有効／無効判定部、
１３１はブロックの有効／無効データ、１３２はブロッ
クが有効の場合にその差分値の大きさを示すデータ、１
４０はブロックが有効となる統計的性質から情報量の過
去の累積値を算出する測定部、１４１はブロックの情報
量の過去の累積値に相当する統計値、１５０は前フレー
ムの復号データを蓄積するメモリ、１５１は前フレーム
の復号データ、１６１は局部復号データ、１８０は伝送
路用にデータを多重化するマルチプレクサ、１８１は伝
送データ、２３９は受信された伝送データ、２４０はデ
マルチプレクサ、２４１は受信された符号化データ、２
２０はフレーム間差分モニド／リフレッシュモード切り
替え復号化部、２２１は１フレ一ム分の復号化データ、
２５０は前フレーム復号データメモリ、２５１は前フレ
ーム復号データ、２１０は後処理回路、２００は最終的
な復号データである。 第２図に於て、１１１はブロック分割映像データ、１４
１は情報量の過去の累積値に相当する統計値、１３１は
ブロックの有効／無効データ、１６１は局部復号データ
、１５１は前フレームの局部復号データ、１２００はモ
ード切り替え部、１２０１はフレーム間差分モードブロ
ックのデータ、１２０２はリフレッシュモードブロック
のデータ、１２０３はモード情報、１２１０は動きベク
トル算出部、１１は動きベクトル量子化部、１２１１は
量子化した動きベクトル値、１２は動きベクトル逆量子
化部、１２１９は局部復号化動きベクトル、１２２０は
復号データ移動部、１２２１は動き補償参照データ、１
２５９は動き補償によるフレーム間差分データ、１２６
０は量子化を行う適応差分符号化部、１２６１は量子化
データ、１２９０は逆量子化を行う局部復号器、１２９
１は局部復号された差分データ、１２２９、は局部復号
ブロックデータ、１２４０はリフレッシェモード参照デ
ータ作成部、１２４１はりフレッシェモード参照データ
、１２５０はリフレッシュモード参照データメモリ、１
２５１はリフレッシュモード参照データ、１２６９はリ
フレッシュモードにおける差分データ、１２７０はリフ
レッシュモードにおける適応差分符号化器、１２７１は
リフレッシュモードにおける量子化差分データ、１２８
０は局部復号器、１２８１はリフレッシュモードにおけ
る局部復号差分データ１．１２８８はリフレッシュモー
ドブロックの局部復号データ、１２３０は１フレームに
ついて７ｖ−ム間符号化モードとリフレッシュモードを
総合した局部復号データ生成部、１２９９は符号化デー
タ統合部、１２１は統合された符号化データ、２４１は
伝送され受信された符号化データ、２２００は受信され
た符号化データの分割部、２２０１はフレーム間差分符
号化モードのブロックに対する符号化データ、２２０２
は動きベクトルデータ、２２０３はリフレッシュモード
の符号化データ、２２０４はブロックの有効・無効情報
、２２は動きベクトル逆量子化部、２２１９は復号化さ
れた動きベクトル、２２２０は動き補償用データ移動部
、２５１は前フレーム復号データ、２２２１は復号器に
おける動き補償参照データ、２２１０はフレーム間差分
符号化モードのブロックに対する差分符号化データ復号
化部、２２１１はフレーム間差分符号化モードのブロッ
クに対する復号化差分データ、２２４９はフレーム間差
分符号化モードのブロックに対する復号データ、２２３
０はリフレッシュモード符号化モードのブロックに対す
る復号器、２２３１はリフレッシュモード符号化モード
のブロックに対する復号差分データ、２２４８はリフレ
ッシュモード符号化モードのブロックに対する復号デー
タ、２２６ｏは復号化部におけるリフレッシェモード参
照データ作成部、２２６１は新規のりフレッシェモード
参照データ、２２４０はりフレッシェモード参照データ
メモリ、２２４１はリフレッシュモード参照データ、２
２５０ハ１フレームについてフレーム間符号化−ｒニー
ドとリフレッシュモードを総合した復号データ生成部、
２２１は１フレ一ム復号デー夛である。

Claims (1)

1. 【特許請求の範囲】 映像信号をディジタルコードに符号化して伝送する方式
   において、 １フレームの信号をいくつかのブロックに分けてそのブ
   ロック毎に前フレームとの差を品質の観点から評価し、
   該ブロックを有効ブロックとして符号化・伝送するかま
   たは無効ブロックとして符号化・伝送せずに受信側で前
   フレームの値をそのまま用いるか、を判断する第１の手
   段を有し、全てのブロックについて、各々のブロックに
   ついて過去に伝送された情報量に関する統計値を観測す
   る第２の手段と、 前記第２の手段で得られた統計値を基準にして、符号器
   、局部復号器、復号器が同一の基準でブロック毎に判断
   して、フレーム間差分に基づく通常の符号化（復号化）
   モードと、前フレームデータに基づかないリフレッシュ
   符号化（復号化）モードを切り替える第３の手段とを有
   することを特徴とする映像信号伝送方式。