JPH03201890A

JPH03201890A - 伝送装置及び伝送方法

Info

Publication number: JPH03201890A
Application number: JP1343092A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Yasuhiro Fujimori; 泰弘藤森
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1989-12-28
Filing date: 1989-12-28
Publication date: 1991-09-03
Anticipated expiration: 2014-10-06
Also published as: JP2959007B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕この発明は、伝送装置、特にデジタル画像信号の帯域幅
をサブサンプリングによって圧縮して伝送する伝送装置
に関する。

〔発明の概要〕

この発明では、伝送装置において、入力された画素デー
タを動画処理した信号と、静止画処理した信号とを、制
御信号に応じて合成してサブサンプル出力を得る手段と
、このサブサンプル出力が所定単位期間、遅延せしめら
れた信号と、入力された画素データを動画処理した信号
及び静止画処理した信号とを、夫々、比較する手段と、
この比較する手段からの出力をブロック単位で集計し、
制御信号を発生する手段とを備えたことにより、動き判
定の誤りが後続のフレーム或いはブロックに伝播するこ
とを防止でき、画質劣化を防止できるようにしたもので
ある。

〔従来の技術〕

デジタル画像信号を伝送する場合に、伝送するデータ量
を圧縮する技術として、フレームオフセットサブサンプ
リングによって画素を間引くものが知られている。この
種の技術では、伝送するデータを良好に補間すると共に
データ量を圧縮するため、静止画、動画の判別が必要と
される。

従来の画像の動き判定に際しては、単純なフレーム差分
が用いられていた。即ち、フレームを複数のプロ、ツタ
に分割すると共に、動画処理或いは静止画処理される前
で且つ空間的に対応する位置にあるブロック間での画素
データのレベル差、・つまりフレーム差分を検出し、こ
のブロック毎のフレーム差分を絶対値化して集計し、こ
の集計されたフレーム差分が所定値を越えた場合には動
画と判断するものである。

しかしながら、このような従来の技術では、動き判定が
、動画処理或いは静止画処理される前の画素データＤＰ
のみの比較に基づいてなされるため、実際にデコーダ側
で受信するデータを考慮した動き検出は、エンコーダ側
では行えないという問題点があった。このため、デコー
ダ側に於いて画質劣化が発生するという問題点があった
。

即ち、デコーダ側では、エンコーダ側から伝送される動
き判定結果と、画素データの復元に必要なデータに基づ
いて、画素データＤＰの再生と非伝送画素の補間がなさ
れる。この補間に於いて、前フレームが動きフレームと
判定され、現在のフレームが静止フレームと判定されて
いる場合には、現在の静止フレームの非伝送画素の補間
値として、前フレームの画素データＤＰが用いられるこ
とになる。従って、現在のフレームの静止画像には、動
画処理の施された画素データＵＰと、静止画処理の施さ
れた画素データＤＰとが混在している状態になり、この
ため画質が劣化してしまうものである。

そこで、このような画質劣化を防止するために、第７図
に示されるような技術が提案されている。

第７図に示される構成に於いて、入力端子４１の前段に
は、図示せぬブロック化回路が配されており、このブロ
ック化回路で、１フレームの画像が所定の画素数を有す
る複数のブロックに分割される。従って、入力端子４１
には画素データＤＰが各ブロック毎に供給される。この
画素データＤＰは、減算器４２、動画用ブリフィルタ４
４、静止画用ブリフィルタ４５に、夫々、供給される。

一方、フレームメモリ４３からは、動き判定に基づいて
選択された前フレームのブロックの画素データＤＰが、
減算器４２に供給される。

減算器４２では、入力端子４１から供給される現在のフ
レームのブロック内の画素データＤＰから、前フレーム
のブロック内で対応する位置の画素の画素データＤＰが
減算される。減算器４２の出力、即ち、フレーム差分が
判定回路４６に供給される。

判定回路４６では、上述のフレーム差分の絶対値がとら
れ、ブロック単位で集計される。そして、このブロック
単位で集計され絶対値化されたフレーム差分が所定の閾
値と比較され、フレーム差分が闇値よりも大きい時は動
きブロックと判断され、動きブロックに対応する制御信
号ＳＣが合成回路４７に供給される。また、フレーム差
分が闇値よりも小さい時は静止ブロックと判断され、静
止ブロックに対応する制御信号ＳＣが合成回路４７に供
給される。また、この制御信号ＳＣが、動き判定の結果
を表す信号として端子４８から取出され、図示せぬ伝送
路を介してデコーダ側に供給される。

前述の動画用ブリフィルタ４４では、画素データＤＰの
２次元周波数特性が動き領域に適合するように帯域制限
され、この動画用ブリフィルタ４４を通過した画素デー
タＤＰは、サブサンプリング回路４９に供給される。

静止画用ブリフィルタ４５は、弱い時空間のフィルタ特
性〔即ち、あまり帯域制限のきつくない特性〕を有して
おり、この静止画用ブリフィルタ４５を通過した画素デ
ータＤＰは、サブサンプリング回路５０に供給される。

サブサンプリング回路４９．５０では、夫々、フレーム
オフセット、例えば、水平方向に画素数が（１／２）に
間引かれる、いわゆる水平（１／２）サブサンプリング
が行われる。

サブサンプリング回路４９．５０からは、上述の伝送画
素の画素データＤＰが合成回路４７に、夫々、供給され
る。

合成回路４７では、上述の制御信号ＳＣに基づいて、サ
ブサンプリング後の画素データＤＰが選択される。即ち
、判定回路４６に於いて、動きブロックと判断される場
合には、制御信号Ｓｃによりサブサンプリング回路４９
から供給された画素データＤＰが選択される。また、判
定回路４６に於いて、静止ブロックと判断される場合に
は、制御信号５ｃａｒｆよりサブサンプリング回路５０
から供給された画素データＤＰが選択される。このよう
にして、選択された画素データＤＰは、フレームメモリ
４３及び＾ＤＲＣエンコーダ５１に供給される。

このＡＤＲＣエンコーダ５１は、２次元ＡＤＲＣエンコ
ーダであり、１ブロツクＢＬＫ内の画素データＤＰに基
づいて、最小値ＭＩＮ、ダイナミックレンジＤＲ、コー
ド信号ＤＴが求められ、端子５２から取出される。上述
のダイナξツクレンジＤＲ，最小（ｔｉＭＩＮ、コード
信号ＤＴは、図示せぬ伝送路を介してデコーダ側に供給
される。図示せぬもののデコーダ側では、ダイナミック
レンジＤＲ，最小値ＭＩＮ、コード信号ＤＴに基づいて
画素データの復元がなされる。

〔発明が解決しようとする課題〕

上述のようにして行われる動き検出では、動き検出に判
定誤りを生じた場合、動き判定の誤りが伝播し、画質劣
化が発生するという問題点があった。

即ち、第９図は、フレームオフセットサブサンプリング
格子を有するブロックの断面を概念的に示す図である。

第９図上側ＪＡには各ブロック毎の本来なされるべき動
き判定の結果が示され、第９図下側ＪＢには各ブロック
毎の実際になされる動き判定の結果が示されている。

例えば、第９図に示されるようにフレームＦＢが、フレ
ームＦＡとの比較によって、動きブロックと判定される
と、フレームメモリ４３に保持されているフレームＦＢ
のＩＨ（Ｈはｌ水平走査線を表す）分の画素データＤＰ
は、動画処理されているため、レベル的には第８図破線
に示されるような、なまった波形Ｗ１となる。

フレームＦＣのタイミングにて、フレームＦＢと同一の
画素データＤＰが、端子４１を介して減算器４２に供給
されると、この画素データＤＰは動画処理が施されてい
ないため、第８図実線にて示されるような波形Ｗ２とな
る。この場合、波形Ｗ１、Ｗ２間では、第８図中、矢示
にて示されるように、レベル差があるため、フレームＦ
Ｃは動きブロックと判定される。

上述のように、フレームＦＣとフレームＦＢの画素デー
タＤＰは同一であるため、本来ならば、フレ、−ムＦＣ
は静止ブロックと判定されなければならないのに対し、
実際には、上述のように波形Ｗ１、Ｗ２間のレベル差に
よって、動きブロックと判定される。

これによって合成回路４７では、フレームＦＣのタイミ
ングに於いて、動画処理の施された画素データＤＰが選
択され、フレームメモリ４３及びＡＤＲＣエンコーダ５
１に供給される。

以下、フレームＦＤ、　ＦＥの画素データＤＰは、フレ
ームＦＣと同一で、静止フレームであるとした場合、本
来ならば、フレームＦＣ以後は全て静止ブロックと判定
されなければならないのに対し、実際には、上述したよ
うに波形Ｗｂ　Ｗ２間でのレベル差によって、全て動き
ブロックと判定され、動き判定の誤りが後続のブロック
に伝播するという問題点があった。

また、上述の動き判定の誤りが伝播すると、例えば、本
来、静止フレームであるはずのブロックの画素データＤ
Ｐが、動画処理の施された画素データＤＰで代替されて
しまうので、画質劣化が発生するという問題点があった
。

従って、この発明の目的は、動き判定の誤りの伝播を防
止でき、画質劣化を防止できるようにした伝送装置を提
供することにある。

〔課題を解決するための手段〕

この発明は、ブロック化された画素データを時間方向に
連続する所定単位期間毎に反転する位相でサブサンプル
し、間引かれない画素データを、ブロック単位で符号化
して伝送する伝送装置に於いて、入力された画素データ
を動画処理した信号と、静止画処理した信号とを、制御
信号に応じて合成してサブサンプル出力を得る手段と、
このサブサンプル出力が所定単位期間、遅延せしめられ
た信号と、入力された画素データを動画処理した信号及
び静止画処理した信号とを、夫々、比較する手段と、こ
の比較する手段からの出力をブロック単位で集計し、制
御信号を発生する手段とを備えた構成とされている。

〔作用〕

この発明では、入力された画素データから動画処理した
信号と、静止画処理した信号とが形成される。そして、
制御信号に応じて、上述の動画処理した信号と、静止画
処理した信号とが合成されて、ブロック毎にサブサンプ
リング出力が求められる。

所定単位期間、遅延せしめられた上述のブロック毎のサ
ブサンプリング出力と、入力された画素データを動画処
理した信号及び静止画処理した信号とが、夫々、比較さ
れ、この比較出力がブロック単位で集計される。

ブロック単位の集計結果が、所定のレベルと比較され、
動き判定がなされる。そして、動き判定の結果に対応す
る制御信号が発生され、これによって、ブロック毎に動
き判定の結果に対応する画素データが選択され、保持さ
れる。

〔実施例〕

以下、この発明の一実施例について第１図乃至第６図を
参照して説明する。

第１図に示される構成に於いて、入力端子１の前段には
、図示せぬもののブロック化回路が配されており、この
ブロック化回路にて、１フレームの画像が所定の画素数
を有する複数のブロックＢＬＫに分割される。従って、
入力端子１には画素データＤＰが各ブロックＢＬＫ毎に
供給される。この画素データＤＰは、動画用ブリフィル
タ３、静止画用ブリフィルタ４に、夫々、供給される。

動画用ブリフィルタ３では、画素データＤＰの２次元周
波数特性が動き領域に適合するように帯域制限され、こ
の動画用ブリフィルタ３を通過した画素データＤＰは、
減算器２及びサブサンプリング回路９に供給される。

静止画用ブリフィルタ４は、弱い時空間のフィルタ特性
［即ち、あまり帯域制限のきつくない特性］を有してお
り、この静止画用ブリフィルタ４を通過した画素データ
ＤＰは、減算器１１及びサブサンプリング回路１０に供
給される。

サブサンプリング回路９．１０では、夫々、フレーム相
補型のサブサンプリングが行われる。上述のフレーム相
補型のサブサンプリングの例として第２図及び第３図に
は、各ブロックＢＬＫＩ、ＢＬＫ２が（６ライン×６サ
ンプル一３６Ｍ素）とされているフレームオフセットサ
ブサンプリング、この実施例では、水平（１／２）サブ
サンプリングのサンプリング格子が示されている。

第２図及び第３図に示されるように、時間方向に順次配
された前フレームＦ１、現在のフレームＦ２の夫々にブ
ロックＢＬＫＩ、　ＢＬＫ２が形成されており、このブ
ロックＢＬＫＩ、ＢＬＫ２内では、データの伝送される
伝送画素（１８画素）が○印で示され、サブサンプリン
グで間引かれる非伝送画素（１８画素）が×印で夫々示
されている。更に、第１フイールドの走査線が実線で示
され、第２フイールドの走査線が破線で示されている。

サブサンプリング回路９、ＩＯからは、伝送画素の画素
データＤＰが合成回路７に、夫々、供給される。

一方、フレームメモリ５からは、前フレームＦ１のブロ
ックＢＬＫＩの画素データＤＰが減算器２．１１に供給
される。

前述の減算器２では、入力端子１から供給され動画用ブ
リフィルタ３にて動画処理の施されている現在のフレー
ムＦ２のブロックＢＬＫＺ内の画素データＤＰと、前フ
レームＦ１のブロックＢＬＸＩ内で対応する位置にある
画素データＤＰとの減算がなされる。そして、減算器２
から減算出力ｃｐが誤差検出回路１４に供給される。

減算器ＩＩでは、入力端子Ｉから供給され静止両用ブリ
フィルタ４にて静止画処理の施されている現在のフレー
ムＦ２のブロックＢＬＫ２内の画素データＤＰと、前フ
レームＦ１のブロックＢＬＫＩ内で対応する位置にある
画素データＤＰとの減算がなされる。そして、減算器１
１から減算出力ｃｐが誤差検出回路１５に供給される。

誤差検出回路１４．１５では、供給される減算器２．１
゛１からの減算出力ｃｐの絶対値がとられ、この絶対値
化された減算出力ｃｐに基づいて誤差ＥＲ１、εＲ２が
ブロックＢＬＫ単位で求められ、判定回路６に供給され
る。尚、以上及び以下の説明では特にことわらない限り
減算出力ｃｐは絶対値化されたものを意味するものであ
る。

判定回路６では、誤差検出回路１４．１５から供給され
るブロックＢＬＫ単位の誤差ＥＲＩ、εＲ２の値が参考
にされて、正しい動き判定が可能とされる。

この動き判定の基準の一例として、誤差ＥＲＩ、εＲ２
の内の少なくとも一方が闇値を下回った場合には、静止
ブロックと判定することが考えられる。

例えば、第３図に示される前フレームＦ１のブロックＢ
ＬＫＩが、動きブロックと判定されているとすると、動
画用ブリフィルタ３及びサブサンプリング回路９を経た
画素データロＰがフレームメモリ５に保持されている。

この画素データＤＰは、動画処理されているため、第６
図Ｂに示されるような波形ＷＭ５となる。

次いで、前フレームＦ１のブロックＢＩＪＩと同一の画
素データＤＰを有し、第２図に示される現在のフレーム
Ｆ２のブロックＢＬＫ２の画素データＤＰが端子１に供
給されると、この画素データＤＰは、一方では、動画用
ブリフィルタ３を経て第６図Ｃに示される波形ＷＭ３と
され、また他方では、静止画用ブリフィルタ４を経て第
６図りに示される波形ＷＳとされる。尚、第６図Ａには
、入力端子１に供給される段階での画素データＤＰの信
号の波形ＷＩＮが示されている。

フレームメモリ５からは、動画処理の施されている前フ
レームＦ１のブロックＢＬＫＩの画素データＤＰが、減
算器２．１１に供給される。

減算器２．１１にて、波形ＷＭ５と、波形ＷＭ３、ＷＳ
との比較がなされる。波形ＷＭ５、ＷＭ３間では、レベ
ル差は殆どないため、誤差ＥＲ１は小とされ、また、波
形ＷＭ５、ＷＳ間では、レベル差が発生するため、誤差
ＥＲ２は、誤差ＥＲＩより大となる。しかし、この誤差
ＥＲ２は、動きブロックの場合と比しては小さい。

判定回路６では、誤差ＥＲＩ、εＲ２の双方を参照する
ことにより、現在のフレームＦ２のブロックＢＬＫ２は
静止ブロックと判定され、静止画処理の施された画素デ
ータＤＰを選択するための制御信号ＳＣが合成回路７に
供給される。

尚、動き判定の基準は、これに限定されるものではなく
、任意に設定できるもので、例えば、誤差ＥＲＩ、εＲ
２を夫々、闇値と比較して動き判定をしたり、或いは、
誤差ＥＲＩ、ＥＲ２を加えて闇値と比較し、動き判定を
するようにしてもよい。

また、この制御信号ＳＣが、動き判定の結果を表す信号
として端子８から取出され、図示せぬ伝送路を介してデ
コーダ側に供給される。

これによって、動き判定の誤りが後続のブロックに伝播
することを防止でき、画質劣化を防止できる。

合成回路７では、上述の制御信号ＳＣに基づいて、現在
のブロックＢＬＫ２のサブサンプリング後の画素データ
ＤＰが選択される。即ち、判定回路６に於いて、現在の
ブロックＢＩＪ２が動きブロックと判断される場合には
、制御信号ＳＣによりサブサンプリング回路９から供給
された画素データＤＰが選択される。また、判定回路６
に於いて、現在のブロックＢＬＫ２が静止ブロックと判
断される場合には、制御信号ＳＣによりサブサンプリン
グ回路１０から供給された画素データＤＰが選択される
。このようにして、選択された画素データＤＰは、フレ
ームメモリ５及びＡＤＲＣエンコーダ１３に供給される
。

尚、この実施例の説明では、ブロックＢＬＫ毎の誤差Ｅ
ＲＬ、ＥＲ２の集計結果と閾値との比較によって、サブ
サンプリング回路９．１０から供給される画素データＤ
Ｐの内、一方が選択されるものとしているが、これに代
えて、上述の誤差ＥＲＩ、ＥＲ２に基づいて混合比を設
定し、この混合比に基づいて、新たな画素データＤＰＯ
を形成するようにしてもよい。

この場合には、例えば、判定回路６から合成回路７に混
合比αが供給されると、合成回路７では、上述の混合比
αに基づいて、サブサンプリング回路９．１０から出力
される画素データＤＰが合成されることによって新たな
画素データＤＰＯが形成され、この画素データＤＰＯが
フレームメモリ５及びＡＤＲＣエンコーダ１３に供給さ
れる。

ＡＤＲＣエンコーダ１３の構成が第４図に示されている
。このＡＤＲＣエンコーダ１３は、２次元ＡＤＲＣエン
コーダであり、端子２１から供給される画素データＤＰ
、　ＤＰＯが、最大値及び最小値検出回路〔以下、単に
検出回路と称する。〕２２及び遅延回路２３に供給され
る。

検出回路２２では、１ブロツクＢＬＫに含まれる１８個
の画素データＤＰの中の最大値ＭＡＸと、最小値ＭＩＮ
が検出される。そして、最大値ＭＡＸが減算器２４に供
給され、最小値ＭＩＮが減算器２４．２５及び端子２９
に、夫々、供給される。

遅延回路２３では、検出回路２２にて最大値ＭＡＸ及び
最小値ＭＩＮが検出される時間、供給される画素データ
ＤＰ、ＤＰＯが遅延される。

減算器２４では、（ＭＡＸ−ＭＩＮ）が求められること
によって、ダイナくツクレンジＤＲが得られる。このダ
イナミックレンジＤＲがＲＯＭ２６及び端子３０に供給
される。ダイナもツクレンジＤＲがＲＯＭ２６及び端子
３０に供給されることによって、例えば、４ビツトのコ
ード信号ＤＴを得る時にはダイナｆｉ　７クレンジＤＲ
は（１／１６）とされる。このＲＯＭ２６からは量子化
ステップΔが得られ、量子化回路２７に供給される。

減算器２５では、遅延回路２３からの画素データＯＰか
ら最小値ＭＩＮが減算され、この減算器２５からは最小
（＋！！ＭＩＮの除去された画素データＰＤＩが得られ
る。減算器２５に於ける最小値除去によって正規化され
た画素データＰＤｒ及び量子化ステップΔが、量子化回
路２７に供給される。

量子化回路２７では、ダイナｌ　７クレンジＤＲに適応
した量子化が行われることによって、元の画素データＤ
Ｐのビット数（８ビツト）より少ないビット数のコード
信号ＤＴが、端子２８から得られる。

例えば、コード信号ＤＴのビット数を２ビツトとすると
、ダイナミックレンジＤＲを（２”＝４）等分した量子
化ステップΔで、最小値ＭＩＮの除去された画素データ
叶が除算され、得られた商の小数部分を切り捨てて整数
化された値がコード信号ＤＴとされる。この量子化回路
２７は、除算回路或いはＲＯＭで構成できる。第５図で
示されるＬＯ，ＬＬ、Ｌ２、Ｌ３が復号レベルとされる
。

上述のようにして形成されたダイナ旦ツクレンジＤＲ１
最小値ＭＩＮ、コード信号ＤＴは、ＡＤＲＣエンコーダ
１３から図示せぬ伝送路を介してデコーダ側に供給され
る。図示せぬもののデコーダ側では、ダイナミックレン
ジＤＲ，最小値Ｍ　Ｉ　Ｎ。

コード信号ＤＴ、及び前述の制御信号Ｓｃに基づいて画
素データの復元がなされる。

この実施例の説明では、２次元ブロックＢＬＫの単位で
動き検出が行なわれる例について説明されているが、こ
れに限定されるものではなく、３次元ブロック単位での
動き検出を行う場合についても同様に適用できる。また
、この発明では、ＡＤＲＣ以外の高能率符号例えばＤＣ
Ｔ　（ディスクリート・コサイン変換）を用いても良い
。しかしながら、圧縮符号を行うことは、必ずしも必要
ない。

また、実施例の説明では、フレームオフセットサブサン
プリングの例として、水平（１／２）サブサンプリング
を説明しているが、これに限定されるものではなく、他
のフレームオフセットサブサンプリング、例えば五の目
格子型のサンプリングパターンに対しても通用し得るも
のである。

〔発明の効果〕

この発明によれば、動き判定の誤りが後続のフレーム或
いはブロックに伝播することを防止でき、画質劣化を防
止できるという効果がある。

【図面の簡単な説明】

第１図はこの発明の一実施例のブロック図、第２図及び
第３図は夫々フレーム相補型（水平１／２）のサブサン
プリング格子を示す路線図、第４図はＡＤＲＣエンコー
ダの詳細を示すブロック図、第５図はダイナミックレン
ジと量子化ステップの関係を示す路線図、第６図は夫々
動画処理による信号レベルの変化を示す図、第７図は従
来例のブロック図、第８図は動画処理の施されていない
波形と動画処理の施された波形を示す図、第９図は各ブ
ロックのサブサンプリング回路と動き検出の判定結果を
示す路線図である。図面における主要な符号の説明２．４２：減算器、３．４４：動画用ブリフィルタ、　
４．４５：静止画用ブリフィルタ、５：フレームメモリ
、６：判定回路、７：合成回路、９．１０．４９．１４
．１５：誤差検出回路、５０：サブサンプリング回路、
ＳＣ：制御信号、ＥＲＩ、ＥＲ２：誤差、ＤＰ、　ＤＰ
ＯｌＰＤＩ：画素データ、Ｂ、Ｌに、ＢＬＫＩ、ＢＬＫ
２　ニブロック。

Claims

【特許請求の範囲】ブロック化された画素データを時間方向に連続する所定
単位期間毎に反転する位相でサブサンプルし、間引かれ
ない画素データを、上記ブロック単位で符号化して伝送
する伝送装置に於いて、入力された画素データを動画処
理した信号と、静止画処理した信号とを、制御信号に応
じて合成してサブサンプル出力を得る手段と、このサブサンプル出力が上記所定単位期間、遅延せしめ
られた信号と、上記入力された画素データを動画処理し
た信号及び静止画処理した信号とを、夫々、比較する手
段と、この比較する手段からの出力をブロック単位で集計し、
上記制御信号を発生する手段とを備えてなる伝送装置。