JPH03250886A - 映像信号符号化方法及びその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 以下の順序で本発明を説明する。

Ａ産業上の利用分野 Ｂ発明の概要 Ｃ従来の技術（第９図〜第１１図） Ｄ発明が解決しようとする課題（第１０図）８課題を解
決するための手段（第１図及び第８図）Ｆ作用（第１図
及び第８図） Ｇ実施例 （Ｇ１）画像情報伝送システムの全体構成（第１図〜第
５図） （Ｇ２）フレーム間／フレーム内符号化制御（第１図、
第６図及び第７図） （Ｇ３）実施例による強制リフレッシュ処理（第１図、
第３図及び第８図） （Ｇ４）他の実施例 Ｈ発明の効果 Ａ産業上の利用分野 本発明は映像信号符号化方法に関し、特に映像信号を高
能率符号化して画像データに変換処理する際に通用して
好適なものである。

Ｂ発明の概要 本発明は、映像信号符号化方法において、各フレームご
とに強制的にフレーム内符号化処理するブロックを、乱
数を用いてランダムに選択することにより、部分的に発
生する目障りな画質の変化を視覚上抑制することができ
る。

Ｃ従来の技術 従来、テレビ電話システム、会議電話システムにおいて
、動画映像でなる映像信号をフレーム内符号化データ及
びフレーム間符号化データに高能率符号化することによ
り、伝送容量に比較的厳しい制限がある伝送路を通じて
動画映像信号を伝送する映像信号伝送システムが提案さ
れている（特開昭６３−１１８３号公報）。

すなわち、例えば第９図（Ａ）に示すように、時点ｔ”
ｕ＋　、ｔｔ　、Ｌｙ・・・・・・において動画を構成
する各画像ＰＣＩ、ＰＯ２、ＰＯ２・・・・・・を伝送
しようとする場合、映像信号には時間の経過に従って自
己相関が大きい特徴がある点を利用して伝送処理すべき
画像データを圧縮処理することにより伝送効率を高める
ような処理をするもので、フレーム内符号化処理は画像
Ｐ、Ｃ１、ＰＯ２、ＰＯ２・・・・・・を例えば画素デ
ータを所定の基準値と比較して差分を求めるような圧縮
処理を実行し、かくして各画像ＰＣＩ、ＰＯ２、ＰＯ２
・・・・・・について同一フレーム内における画素デー
タ間の自己相関を利用して圧縮されたデータ量の画像デ
ータを伝送する。

またフレーム間符号化処理は、第９図（Ｂ）に示すよう
に、順次隣合う画像ＰＣＩ及びＰＯ２、ＰＯ２及びＰＯ
２・・・・・・間の画素データの差分てなる画像データ
ＰＣ１２、ＰＯ２３・・・・・・を求め、これを時点１
　＝　１　＋における初期画像ＰＣＩについてフレーム
内符号化処理された画像データと共に伝送する。

かくして画像ＰＣＩ、ＰＯ２、ＰＯ２・・・・・・をそ
のすべての画像データを伝送する場合と比較して格段的
にデータ量が少ないディジタルデータに高能率符号化し
て伝送路に送出することができる。

かかる映像信号の符号化処理は、第１０図に示す構成の
画像データ発生装置１において実行される。

画像データ発生装置１は入力映像信号ＶＤを前処理回路
２において処理することにより片フィールド落し処理及
び片フィールドライン間引き処理等の処理をした後、輝
度信号及びクロマ信号を１６画素（水平方向に）×１６
画素（垂直方向に）分のデータでなる伝送単位ブロック
（これをマクロブロックと呼ぶ）データＳｌｌに変換し
て画像データ符号化回路３に供給する。

画像データ符号化回路３は予測符号化回路４において形
成される予測現フレームデータ３１２を受けてマクロブ
ロックデータＳ１１との差分を求めることによってフレ
ーム間符号化データを発生しくこれをフレーム間符号化
モードと呼ぶ）、又はマクロブロックデータＳｌｌと基
準値データとの差分を求めることによりフレーム内符号
化データを形成してこれを差分データ３１３として変換
符号化回路５に供給する。

変換符号化回路５はディスクリートコサイン変換回路で
構成され、差分データ３１３を直交変換することによっ
て高能率符号化してなる変換符号化データＳ１４を量子
化回路６に与えることにより量子化画像データＳ１５を
送出させる。

かくして量子化回路６から得られる量子化画像データ３
１５は可変長符号化回路を含んでなる再変換符号化回路
７において再度高能率符号化処理された後、伝送画像デ
ータＳ１６として伝送バッファメモリ８に供給される。

これに加えて量子化画像データ３１５は予測符号化回路
４において逆量子化、逆変換符号化処理されることより
差分データに復号化された後予測前フレームデータを差
分データによって修正演算することにより新たな予測前
フレームデータを保存すると共に、マクロブロックデー
タＳｌｌに基づいて形成される動き検出データによって
予測符号化回路４に保存されている予測前フレームデー
タを動き補償することにより予測現フレームデータを形
成して画像データ符号化回路３に供給できるようになさ
れ、これにより現在伝送しようとするフレーム（すなわ
ち現フレーム）のマクロブロックデータ３１１と予測現
フレームデータＳ１２との差分を差分データ３１３とし
て得るようになされている。

第１０図の構成において、第９図について上述した動画
像を伝送する場合、先ず第９図（Ａ）の時点ｔ、におい
て画像ＰＣＩの画像データがマクロブロックデータＳｌ
ｌとして与えられたとき、画像データ符号化回路３はフ
レーム内符号化モードになってこれをフレーム内符号化
処理された差分データ３１３として変換符号化回路５に
供給し、これにより量子化回路６、再変換符号化回路７
を介して伝送バッファメモリ８に伝送画像データＳ１６
を供給する。

これと共に、量子化回路６の出力端に得られる量子化画
像データＳ１５が予測符号化回路４において予測符号化
処理されることにより、伝送バッファメモリ８に送出さ
れた伝送画像データ３１６を表す予測前フレームデータ
が前フレームメモリに保持され、続いて時点ｔ２におい
て画像ＰＣ２を表すマクロブロックデータＳｌｌが画像
データ符号化回路３に供給されたとき、予測現フレーム
データＳ１２に動き補償されて画像データ符号化回路３
に供給される。

かくして時点ｊ　ｗａ　ｔｔにおいて画像データ符号化
回路３はフレーム間符号化処理された差分データ５１３
を変換符号化回路５に供給し、これにより当該フレーム
間の画像の変化を表す差分データが伝送画像データ３１
６として伝送バッファメモリ８に供給されると共に、そ
の量子化画像データＳ１５が予測符号化回路４に供給さ
れることにより予測符号化回路４において予測前フレー
ムデータが形成、保存される。

以下同様の動作が繰り返されることにより、画像データ
符号化回路３がフレーム間符号化処理を実行している間
、前フレームと現フレームとの間の画像の変化を表す差
分データだけが伝送バッファメモリ８に順次送出される
ことになる。

伝送バッファメモリ８はこのようにして送出されて来る
伝送画像データＳ１６を溜めておき、伝送路９の伝送容
量によって決まる所定のデータ伝送速度で、溜めた伝送
画像データ３１６を順次伝送データＤＴＩＡＮ３として
引き出して伝送路９に伝送して行（。

これと同時に伝送バッファメモリ８は残留しているデー
タ量を検出して当該残留データ量に応じて変化する残量
データ３１７を量子化回路６にフィードバックして残量
データ３１７に応じて量子化ステップサイズを制御する
ことにより、伝送画像データ３１６として発生されるデ
ータ量を調整することにより伝送バッファメモリ８内に
適正な残量（オーバーフロー又はアンダーフローを生じ
させないようなデータ量）のデータを維持できるように
なされている。

因に伝送バッファメモリ８のデータ残量が許容上限にま
で増量して来たとき、残量データ３１７によって量子化
回路６の量子化ステップ５ＴＰＳ（第１１図）のステッ
プサイズを太き（することにより、量子化回路６におい
て粗い量子化を実行させることにより伝送画像データ３
１６のデータ量を低下させる。

これとは逆に伝送バッファメモリ８のデータ残量が許容
下限値まで減量して来たとき、残量データ３１７は量子
化回路６の量子化ステップ５ＴＰＳのステップサイズを
小さい値になるように制御し、これにより量子化回路６
において細かい量子化を実行させるようにすることによ
り伝送画像データ３１６のデータ発生量を増大させる。

Ｄ発明が解決しようとする課題 このように従来の画像データ発生装置１は、伝送データ
Ｄ０□、のデータ伝送速度が伝送路９の伝送容量に基づ
いて制限されている伝送条件に整合させながら最も効率
良く有意画像情報を伝送する手段として伝送バッファメ
モリ８を設け、この伝送バッファメモリ８のデータ残量
が常にオーバーフロー又はアンダーフローしないような
状態に維持するように伝送バッファメモリ８のデータ残
量に応じて量子化回路６の量子化ステップサイズを制御
するようにしているが、このままであると予測符号化回
路４に保存されている予測前フレームデータを強制リフ
レッシュする際に、伝送データＤ　？、、Ｎ、の画質が
目障りになる程度化するおそれがある。

因に強制リフレッシュ処理は、−旦フレーム内符号化処
理した画像データを伝送データＤ４、。

として伝送した後、これに基づいて長い時間に亘ってフ
レーム間符号化処理した画像データを伝送し続けると、
この間に１ビツトでも伝送誤りが生じた場合には受信側
において復号化される画像の画質が劣化したまま回復で
きない状態になるのを防止するために、所定の周期ごと
に画像データ符号化回路３を強制的にフレーム内符号化
モードに切り換えさせることにより、受信側において画
像データの復号化の基準となるフレーム内符号化データ
を伝送データＤＴｌＡＮ３として送出すると共に、予測
符号化回路４に保存されている予測前フレームデータを
リフレッシュする（この動作を強制リフレッシュモード
と呼ぶ）ようになされている（特開昭６１−１３１９８
６号公報）。

本発明は以上の点を素置してなされたもので、目障りな
画質の変化を視覚上抑制させ；から強制リフレッシュ処
理を実行し得るようにした映像信号符号化方法を提案し
ようとするものである。

Ｅ１ｍ題を解決するための手段 かかる課題を解決するため本発明においては、フレーム
内符号化又はフレーム間符号化を選択して映像信号ＶＤ
ＩＮを符号化処理することにより伝送画像データ３４０
に変換する映像信号符号化方法において、ｌフレームＦ
ＲＭの画像を所定画素数でなる所定数のブロックＭＢに
分割し、所定周期でブロックＭＢをランダムに選択し、
選択したブロックＭＢをフレーム内符号化処理するよう
にする。

２作用 各フレームＦＲＭごとに強制的にフレーム内符号化処理
されるブロックＭＢを乱数を用いてランダムに選択する
ことにより、当該フレーム内符号化処理されるブロック
ＭＢを視覚上認識し得なくすることができ、これにより
部分的に発生する目障りな画質の変化を目立たなくする
ことができる。

Ｇ実施例 以下図面について、本発明をテレビ電話に通用した場合
の実施例を詳述する。

（Ｇ１）画像情報伝送システムの全体構成第１図及び第
２図において画像情報伝送システム２１はエンコーダ２
１Ａ及びデコーダ２１Ｂによって構成され、エンコーダ
２１Ａは、入力映像信号Ｖ　Ｄ　Ｉ　Ｎを入力回路部２
２において前処理した後、アナログ／ディジタル変換回
路２３において１６Ｘ１６画素分の画素データでなる伝
送単位ブロックデータ、すなわちマクロブロックＭＢの
画素データでなる入力画像データ３２１を画素データ処
理系ＳＹＭＩに送り込むと共に、当該画素データ処理系
ＳＹＭＩの各処理段においてマクロブロックＭＢを単位
として画素データが処理されるタイミングにおいて当該
処理されるデータに対応する処理情報データがへラダデ
ータ処理系ＳＹＭ２を介して順次伝送されて行くように
なされ、かくして画素データ及びヘッダデータがそれぞ
れ画素データ処理系ＳＹＭＩ及びヘッダデータ処理系Ｓ
ＹＭ２においてパイプライン方式によって処理されて行
（。

この実施例の場合、入力画像データＳ２１として順次送
出されて来るマクロブロックデータは、第３図に示すよ
うな手法でフレーム画像データＦＲＭから抽出される。

第１に入力映像信号ＶＤＩＮがＱＣＩＦの画サイズ（１
７６Ｘ　１４４画素）でなる場合、先ず１枚のフレーム
画像データＦＲＭは第３図（Ａ１）に示すように２個（
水平方向に）×３個（垂直方向に）のブロックグループ
ＧＯＢに分割され、各ブロックグループＧＯＢが第３図
（Ｂ）に示すように１１個（水平方向に）×３個（垂直
方向に）のマクロブロックＭＢを含むようになされ、各
マクロブロックＭＢは第３図（Ｃ）に示すように１６Ｘ
１６画素分の輝度信号データＹ０゜〜Ｙ、（それぞれ８
×８画素分の輝度信号データでなる）及び輝度信号デー
タＹｏ０〜Ｙｌｌの全画素データに対応する色信号デー
タでなる色信号データＣ１及びＣ，を含んでなる。

これに対して第２に入力映像信号Ｖ　Ｄ　Ｉ　ＮがＣＩ
Ｆの画サイズ（２５２ｘ２８８画素）でなる場合、１枚
のフレーム画像データＦＲＭは第３図（Ａ２）に示すよ
うに２個（水平方向に）×６個（垂直方向に）のブロッ
クグループＧＯＢに分割され、各ブロックグループＧＯ
Ｂが第３図（Ｂ）に示すように１１個（水平方向に）×
３個（垂直方向に）のマクロブロックＭＢを含むように
なされ、各マクロブロックＭＢは第３図（Ｃ）に示すよ
うに１６×１６画素分の輝度信号データＹ、。〜Ｙ、、
（それぞれ８×８画素分の輝度信号データでなる）及び
輝度信号データＹ、、％Ｙ、、の全画素データに対応す
る色信号データでなる色信号データＣ１及びＣ２を含ん
でなる。

かくしてマクロブロックＭＢごとに送出される入力画像
データＳ２１は動き補償回路２５に与えられ、動き補償
回路２５はへラダデータ処理系ＳＹＭ２に対して設けら
れている動き補償制御ユニット２６から与えられる動き
検出制御信号３２２に応動して予測前フレームメモリ２
７の予測前フレームデータＳ２３と入力画像データ３２
１とを比較して動きベクトルデータＭＶＤ　（ｘ）及び
＊ｖｏｃｙ）を検出して動き補償制御ユニット２６に第
１のへラダデータＨＤＩ（第４図）のデータとして供給
すると共に、動き補償回路本体２５Ａにおいて予測前フ
レームデータ３２３に対して動きベクトルデータＭＶＤ
　（ｘ）及びＭＶＤ　（ｙ）分の動き補償をすることに
より予測現フレームデータ３２４を形成して現在処理し
ようとしている入力画像データ３２１でなる現フレーム
データ３２５と共に画像データ符号化回路２８に供給す
る。

ここで動き補償制御ユニット２６は、第４図に示すよう
に、第１のへラダデータＨＤＩとして現在処理している
マクロブロックごとに、フレーム画像データＦＲＭの伝
送順序を表す伝送フレーム番号データＴＲＣｏｕｎｔｅ
ｒと、そのブロックグループＧＯＢ　（第３図（Ａ１）
、（Ａ２））を表すブロックグループ番号データＧＯＢ
　ａｄｄｒｅｓｓ　と、そのうちのマクロブロックＭＢ
を表すマクロブロック番号データＭＢ　ａｄｄｒｅｓｓ
とを付加することによって順次画素データ処理系ＳＹＭ
Ｉの各処理段に伝送されて行くマクロブロックＭＢを表
示するようになされていると共に、当該処理対象マクロ
ブロックＭＢの処理ないし処理形式を表すフラグデータ
ＦＬＡＧＳと、当該マクロブロックＭＢの動きベクトル
データーＶＤ（ｘ）及びＭＶＤ　（ｙ）と、その評価値
を表す差分データΣｌ　Ａ−Ｂ　ｌと形成する。

フラグデータＦＬＡＧＳは第５図に示すように、最大限
ｌワード（１６ビツト）分のフラグをもち得るようにな
され、第Ｏビットには、当該処理対象マクロブロックＭ
Ｂについて動き補償モードで処理すべきか否かを表す動
き補償制御フラグＭＣｏｎｌｏｆｆがセットされる。

またフラグデータＦＬＡＧＳの第１ビツトには、当該処
理対象マクロブロックＭＢをフレーム間符号化モードで
処理すべきであるか又はフレーム内符号化モードで処理
すべきであるかを表すフレーム間／フレーム内フラグＩ
ｎ　ｔｅｒ／　Ｉｎ　ｔｒａがセットされる。

またフラグデータＦＬＡＧＳの第２ビツトには、動き補
償回路２５のループフィルタ２５Ｂを使用するか否かを
表すフィルタフラグＦｉｌｔｅｒ　ｏｎｌｏｆｆが設定
される。

またフラグデータＦＬＡＧＳの第３ビツトには、当該処
理対象マクロブロックに含まれるブロックデータＹｏ０
〜Ｃ，（第３図（Ｃ））を伝送すべきであるか否かを表
す送信フラグＣｏｄｅｄ／Ｎｏｔ−ｃｏｄｅｄを設定で
きるようになされている。

またフラグデータＦＬＡＧＳの第４ビツトには、当該処
理対象マクロブロックＭＢを駒落しするが否かを表す駒
落しフラグＤｒｏｐ　ｆｒａｍｅ　ｆｌａｇを設定し得
るようになされている。

またフラグデータＦＬＡＧＳの第５ビツトには、当該処
理対象マクロブロックＭＢを強制リフレッシュするか否
かを表す強制リフレッシュフラグＲｅｆｒｅｓｈ　ｏｎ
ｌｏｆｆを設定できるようになされている。

またフラグデータＦＬＡＧＳの第６ビツトには、マクロ
ブロックパワー評″価フラグ−ＢＰ　ａρｐｒｅｃｉａ
ｔｅを設定できるようになされている。

また差分データΣＩＡ−Ｂｌは、現フレームデータ３２
５の現在処理しようとするマクロブロックデータＡと、
予測前フレームデータＳ２３の検出用動きベクトルによ
って補償されたマクロブロックデータＢとの差分のうち
の最小値を表し、これにより検出された動きベクトルの
評価をなし得るようになされている。

画像データ符号化回路２８はフレーム内符号化モードの
とき動き補償回路２５から与えられる現フレームデータ
Ｓ２５をそのまま差分データＳ２６として変換符号化回
路２９に供給し、これに対してフレーム間符号化モード
のとき現フレームデータＳ２５の画素データと予測現フ
レームデータ３２４の画素データとの差分てなる差分デ
ータ８２６を変換符号化回路２９に供給する。

ヘッダデータ処理系ＳＹＭ２には画像データ符号化回路
２８に対応するようにフレーム関／フレーム内符号化制
御ユニット３０が設けられ、動き補償制御ユニット２６
から供給されるヘッダデータＨＤＩ及び画像データ符号
化回路２日から供給される演算データ５３１に基づいて
、画像データ符号化回路２８の符号化モードを指定する
ためのフレーム間／フレーム内フラグＥｎｔｅｒ／Ｉｎ
ｔｒａ　　（第５図）及び動き補償回路２５のループフ
ィルタ２５Ｂの動作を制御するためのフィルタフラグＦ
ｉｌｔｅｒ　ｏｎｌｏｆｆ　　（第５図）とを得るのに
必要なデータを演算して第２のへラダデータＨＤ２とし
てフィルタ制御ユニット３１に送出する。

第２のへラダデータＨＤ２は、第４図に示すように、ヘ
ッダデータＨＤＩを構成する伝送フレーム番号データＴ
ＲＣｏｕｎｔｅｒ〜差分データΣｌ　Ａ−Ｂをそのまま
引き継ぐと共に、フィルタ制御ユニット３１においてフ
レーム間／フレーム内符号化モード切換信号３３３及び
フィルタオン／オフ信号３３４を形成するために必要な
パワーデータΣ（Ａ）”　（Ｌ）及びΣ（Ａ）”（Ｈ）
、Σ（Ａ−Ｂ）”（Ｌ）及びΣ（Ａ−Ｂ）”　（Ｈ）　
、Σ（Ａ−ＦＢ）”（Ｌ）及びΣ（Ａ−ＦＢ）”　（Ｈ
）　、Σ（Ａ）をフレーム間／フレーム内符号化制御ユ
ニット３０において付加されるようになされている。

ここで、パワーデータΣ（Ａ）”（Ｌ）及びΣ（Ａ）”
（Ｈ）は現フレームデータ３２５のマクロブロック画素
データＡの２乗和の下位ビット及び上位ビットを表し、
パワーデータΣ（Ａ−Ｂ）”　（Ｌ）及びΣ（Ａ−Ｂ）
”　（Ｈ）は現フレームデータＳ２５のマクロブロック
画素データＡとループフィルタ２５Ｂを介さずに形成さ
れた予測現フレームデータＳ２４のマクロブロック画素
データＢとの差分Ａ−Ｂの２乗和の下位ビット及び上位
ビットを表し、パワーデータΣ（Ａ−ＦＢ）”（Ｌ）及
びΣ（Ａ−ＦＢ）”　（Ｈ）　は現フレームデータＳ２
５のマクロブロック画素データＡとループフィルタ２５
Ｂを介して形成された予測現フレームデータＳ２４のマ
クロブロック画素データＦＢとの差分Ａ−ＦＢの２乗和
の下位ビット及び上位ビットを表し、パワーデータΣ（
Ａ）は現フレームデータ３２５のマクロブロック画素デ
ータＡの和を表し、それぞれ処理するデータの大きさを
評価するためにデータ量をパワー値として表現したもの
（２乗和は符号に無関係な値として求めた）である。

フィルタｆ１ｉｉ１？１１ユニット３１は、フレーム間
／フレーム内符号化制御ユニット３０から渡された第２
のへラダデータＨＤ２と、伝送バッファメモリ３２から
供給される残量データＳ３２とに基づいて、画像データ
符号化回路２８に対してフレーム間／フレーム内符号化
モード切換信号Ｓ３３を送出すると共に、ループフィル
タ２５Ｂに対してフィルタオン／オフ信号３３４を送出
すると共に、当該フィルタオン／オフ信号Ｓ３４の内容
を表すフィルタフラグＦｉｌｔｅｒ　ｏｎｌｏｆｆを第
２のへラダデータＨＤ２に付加して第３のへラダデータ
ＨＤ３としてスレショルド制御ユニット３５に渡す。

ここでフィルタ制御ユニット３１は第１に、フレーム間
符号化処理をした場合の伝送データ量の方がフレーム内
符号化処理をした場合の伝送データ量より大きくなった
とき画像データ符号化回路２８をフレーム内符号化モー
ドに制御する。

またフィルタ制御ユニット３１は第２に、フレーム間符
号化モードで処理をしている状態においてループフィル
タ２５Ｂにおける処理を受けた予測現フレームデータＳ
２４より当該処理を受けない予測現フレームデータＳ２
４の方が差分値が小さい場合には、フィルタオン／オフ
信号３３４によってフィルタリング動作をさせないよう
にループフィルタ２５Ｂを制御する。

またフィルタ制御ユニット３１は第３に、強制リフレッ
シュモードになったとき、フレーム間／フレーム内符号
化モード切換信号Ｓ３３によって画像データ符号化回路
２８をフレーム内符号化モードに切り換える。

さらにフィルタ制御ユニット３１は第４に、伝送バッフ
ァメモリ３２から供給される残量データ３３２に基づい
て伝送バッファメモリ３２がオーバーフローするおそれ
がある状態になったとき、これを検出して防落し処理を
すべきことを命令するフラグを含んでなる第３のへラダ
データＨＤ３をスレショルド制御ユニット３５に送出す
る。

かくして画像データ符号化回路２８は現フレームデータ
３２５と予測現フレームデータＳ２４との差分が最も小
さくなるようなモードで符号化してなる差分データＳ２
６を変換符号化回路２９に供給する。

第３のへラダデータＨＤ３は、第４図に示すように、ヘ
ッダデータＨＤ２から伝送フレーム番号データＴＲＣｏ
ｕｎｔｅｒ〜動きベクトルデーターＶＤ（Ｘ）及び門ν
Ｄ（ｙ）を引き継ぐと共に、フィルタ制御ユニット３１
においてブロックデータＹ０゜〜Ｃ４に対応する６ビツ
ト分のフィルタフラグＦｉｌｔｅｒ　ｏｎｌｏｆｆを付
加される。

変換符号化回路２９はディスクリートコサイン変換回路
でなり、　ディスクリートコサイン変換後の係数値を６
個のブロックＹ・。、Ｙ０６、Ｙｌ。、Ｙｏ、Ｃ，、Ｃ
，ごとにジグザグスキャンしてなる変換符号化データ５
３５として伝送ブロック設定回路３４に送出する。

伝送ブロック設定回路３４は変換符号化データＳ３５と
して送出されて来る６個のブロックデータＹ。。〜Ｃ，
（第３図（Ｃ））について、それぞれ先頭の係数データ
からｎ個までの２乗和を演算して当該演算結果をパワー
検出データ３３６としてスレショルド制御ユニット３５
に渡す。

このときスレショルド制御ユニット３５は各ブロックデ
ータＹ０゜〜Ｃ１ごとにパワー検出データＳ３６を所定
のスレショルドと比較し、パワー検出データＳ３６が当
該スレショルドより小さいとき当該ブロックデータの伝
送を許容せず、これに対して大きいとき許容することを
表す６ビツト分の伝送可否データＣＢＰＮを形成してこ
れをフィルタ制御ユニット３１から渡された第３のへラ
ダデータＨＤ３に付加して第４のへラダデータＨＤ４と
して量子化制御ユニット３６に渡すと共に、伝送ブロッ
ク設定回路３４から対応するブロックデータＹ。−Ｃ，
を量子化回路３７に送信ブロックパターン化データ３３
７として送出させる。

ここで第４のへラダデータＨＤ４は第４図に示すように
、ヘッダデータＨＤ３の伝送フレーム番号データＴＲＣ
ｏｕｎｔｅｒ〜フィルタフラグＦｉｌｔｅｒ　ｏｎｌｏ
ｆｆをそのまま引き継ぐと共に、スレショルド制御ユニ
ット３５においてブロックＹ０゜〜Ｃ，，に対応して発
生する６ビツト分の送信可否フラグＣＢＰＮが付加され
る。

量子化制御ユニット３６はスレショルド制御ユニット３
５から渡された第４のへラダデータＨＤ４と、伝送バッ
ファメモリ３２から送出される残量データ３３２とに基
づいて　　　　−零；＃；＃＃量子化ステップサイズ制
御信号Ｓ３８を量子化回路３７に与え、これにより量子
化回路３７をマクロブロックＭＢに含まれるデータに適
応した量子化ステップサイズで量子化処理させ、その結
果量子化回路３７の出力端に得られる量子化画像データ
Ｓ３９を可変長符号化回路３８に供給させる。

これと共に量子化制御ユニット３６は、第４図に示すよ
うに、　第５のへラダデータＨＤ　５として、ヘッダデ
ータＨＤ４に基づいてブロックデータＹ００〜Ｃ，（第
３図（Ｃ））にそれぞれ対応するフラグデータＦＬＡＧ
Ｓ及び動きベクトルデータ１Ｄ　（ｘ）及びＭＶＤ　（
ｙ）に分離してこれを直列に配列させたデータを形成し
て可変長符号化回路３８及び逆量子化回路４０に渡す。

ここで、ヘッダデータＨＤ５は、第４図に示すように、
ヘッダデータＨＤ４のうち伝送フレーム番号データＴＲ
Ｃｏｕｎｔｅｒ〜マクロブロック番号データＭＢ　ａｄ
ｄｒｅｓｓをそのまま引き継ぐと共に、量子化制御ユニ
ット３６において量子化サイズデータＱＮＴと、ブロッ
クデータＹ０゜〜ＣＰに対するフラグデータＦＬＡＧＳ
　、動きベクトルデータＭＶＤ　（Ｘ）及びＭＶＤ　（
ｙ）を付加する。

可変長符号化回路３８はへラダデータＨＤ５及び量子化
画像データ３３９を可変長符号化処理して伝送画像デー
タＳ４０を形成し、これを伝送バッファメモリ３２に供
給する。

可変長符号化回路３８はブロックデータＹｏｏ〜Ｃ，，
を可変長符号化する際に、対応するフラグデータＦＬＡ
ＧＳに基づいて「防落し」、又は「送信不可」が指定さ
れているとき、当該ブロックデータを伝送画像データ３
４０として送出させずに捨てるような処理をする。

伝送バ″ンファメモリ３２は伝送画像データＳ４０を溜
め込んで行くと共に、これを所定の伝送速度で読み出し
てマルチプレクサ４１において音声データ発生装置４２
から送出される伝送音声データ５４１と合成して伝送路
４３に送出する。

逆量子化回路４０は量子化回路３７から送出される量子
化画像データＳ３９をヘッダデータＨＤ５に基づいて逆
量子化した後、当該逆量子化データＳ４２を逆変換符号
化回路４３に供給することにより逆変換符号化データＳ
４３に変換させた後デコーダ回路４４に供給させ、かく
して伝送画像データ３４０として送出された画像情報を
表す符号化差分データ３４４を予測前フレームメモリ２
７に供給させる。

このとき予測前フレームメモリ２７は、符号化差分デー
タＳ４４を用いてそれまで保存していた予測前フレーム
データを修正演夏して新たな予測前フレームデータとし
て保存する。

かくして第１図の構成のエンコーダ２１Ａによれば、ヘ
ッダデータ処理系ＳＹＭ２から供給されるヘッダ情報に
基づいて画素データ処理系ＳＹＭ１において画素データ
がマクロブロック単位でパイプライン処理されて行くの
に対して、これと同期するようにヘッダデータ処理系Ｓ
ＹＭ２においてへラダデータを受は渡して行くようにす
ることにより、ヘッダデータ処理系Ｓ　Ｙ　Ｍ　２の各
処理段において必要に応じてヘッダデータを付加又は削
除することにより画素データを必要に応じて適応処理で
きる。

デコーダ２１Ｂは第２図に示すように、伝送路４３を介
してエンコーダ２１Ａから伝送されて来る伝送データを
デマルチプレクサ５１を介して伝送バッファメモリ５２
に受けると共に、伝送音声データ３５１を音声データ受
信装置５３に受ける。

伝送バッファメモリ５２に受けた画像データは可変長逆
変換回路５４において受信画像データＳ５２及びヘッダ
データＨＤＩＩに分離され、逆量子化回路５５において
逆量子化データ３５３に逆量子化された後逆変換符号化
回路５６においてディスクリート逆変換処理されて逆変
換符号化データ３５４に逆変換される。

この逆変換符号化データＳ５４は逆量子化回路５５にお
いて形成されたヘッダデータＨＤ１２と共にデコーダ回
路５７に与えられ、符号化差分データＳ５５としてフレ
ームメモリ５８に蓄積される。

かくしてフレームメモリ５８には符号化差分データ３５
５に基づいて伝送されて来た画像データが復号化され、
当該復号化画像データ３５６がディジタル／アナログ変
換回路５９においてアナログ信号に変換された後出力回
路部６０を介して出力映像信号■Ｄｏｕアとして送出さ
れる。

（Ｇ２）フレーム間／フレーム内符号化制硼フレーム間
／フレーム内符号化制御ユニ・ント３０は、現在処理し
ようとする画像の重みと予測誤差の重みとに基づいてフ
レーム間符号化処理又はフレーム内符号化処理を選択す
るようになされている。

すなわち現フレームデータ３２５の現在処理しようとす
るマクロブロックの（ｉ、ｊ）座標の画素データをＡ（
ｉ、ＤとするとパワーデータΣ（Ａ）によって表される
現フレームデータ３２５の現在処理しようとするマクロ
ブロックデータＡは次式によって表され、さらにパワー
データΣ（Ａ）”　（Ｌ）、Σ（Ａ）”（Ｈ）によって
表されるマクロブロックデータの２乗和Ａ２は次式 によって表され、さらに予測前フレームデータＳ２３の
検出用動きベクトルデータＭＶＤ　（ｘ）及び−ＶＤ（
ｙ）によって補償されたマクロブロックのｃｉ、　Ｄ座
標の画素データをＢ　（ｉ、ｊ、ｘ、ｙ）とすると、パ
ワーデータΣ（Ａ−Ｂ）”　（Ｌ）　、Σ（Ａ−Ｂ）”
　（Ｈ）によって表されるマクロブロックデータＡ及び
Ｂの差分データの２乗和（Ａ−Ｂ）”は次式％式％） （３） によって表され、さらに及び及びループフィルタ２５Ｂ
を介して形成された予測現フレームデータＳ２４のマク
ロブロックの（ｉ、　ｊ）座標の画素データをＦ　Ｂ　
（ｉ、ｊ、ｘ、いとすると、パワーデータΣ（Ａ−ＦＢ
）”（Ｌ）、Σ（Ａ−ＦＢ）”　（Ｈ）によって表され
るマクロブロックデータＡ及びＦＢの差分データの２乗
和（Ａ−ＦＢ）”は次式 ％式％） （４） によって表される（但し動き補償モードを実行しないと
きはｘ＝ｙ＝ｏ）。

従って（１）式及び（２）式より現在処理しようとする
画像の重みＶＡＲＯＲは次式 によって表され、さらに（３）式よりループフィルタを
用いない場合の予測誤差の重みＶＡＲは次式 によって表され、さらに（４）式より、ループフィルタ
を用いた場合の予測誤差の重みＦＶＡＲは次式 によって表される。

従ってこのようにして夏山されたマクロブロックＭＢの
重みに基づいて、フィルタ制御Ｂユニット３１はフレー
ム間符号化モード又はフレーム内符号化モードを選択指
定する。

すなわち動き補償モードを実行しない場合（ループフィ
ルタを用いない場合）は、第６図に示すように現在処理
しようとする画像の重みＶＡＲＯＲ及びループフィルタ
を用いない場合の予測誤差の重みＶＡＲによって決まる
領域が斜線領域１ｎｔｒａにある場合には、フィルタ制
御ユニット３１は画像データ符号化回路２８をフレーム
内符号化モードに制御し、他の領域Ｉｎｔｅｒにある場
合にはこれをフレーム間符号化モードに制御する。

かくしてフレーム間符号化モードの場合はＡ（ｉ、ｊ）
　−Ｂ　（ｉ、ｊ、ｘ、ｙ）を符号化し、フレーム内符
号化モードの場合はＡ（ｉ、　ｊ）を符号化することに
より、画像データを効率良く伝送することができる。

これに対して動き補償モードを実行する場合（すなわち
ループフィルタを用いる場合）は、第７図に示すように
現在処理しようとする画像の重みＶＡＲＯＲ及びループ
フィルタを用いる場合の予測誤差の重みＦＶＡＲによっ
て決まる領域が斜線領域１ｎｔｒａにある場合には、フ
ィルタ制御ユニット３１は画像データ符号化回路２８を
フレーム内符号化モードに制御し、他の領域Ｉｎｔｅｒ
にある場合にはこれをフレーム間符号化モードに制御す
る。

かくしてフレーム間符号化モードの場合はＡ（ｉ、ｊ）
　−Ｆ　Ｂ　（ｉ、ｊ、ｘ、ｙ）及び動きベクトルデー
タＭＶＤ（Ｘ）　、ＭＶＤ（ｙ）を符号化し、フレーム
内符号化モードの場合はＡ（ｉ、Ｄを符号化することに
より、画像データを効率良く伝送することができる。

かくしてフィルタ制御ユニット３１はマクロブロックの
重みに基づいてフレーム間符号化モード又はフレーム内
符号化モードの切り換え処理を実行することができる。

（Ｇ３）実施例による強制リフレッシュ処理フィルタ制
御ユニット３１は各マクロブロックＭＢについてフレー
ム間符号化モード又はフレーム内符号化モードを指定し
た後、所定のマクロブロックＭＢについて強制リフレッ
シュ処理を実行する。

すなわちＱＣＩＦの画サイズでなる画像データ（第３図
（Ａｌ））を符号化処理する場合、第８図に示すように
フィルタ制御ユニット３１には１枚のフレーム画像の全
てのマクロブロックＭＢに対応して９９個のカウンタＣ
ＮＴが配列され、初期設定時において各カウンタにそれ
ぞれ０〜９８までの値を乱数を用いてランダムに代入し
て所定のリフレッシュパターンを形成しておく。

この状態において符号化動作が開始されると、各マクロ
ブロックデータが入力された際にこれに対応するカウン
タの埴が９７以下の場合は、当該カウンタがインクリメ
ントされる。

このようにしてインクリメントされたカウンタの値が９
８になると、当該カウンタに対応するマクロフロックの
フラグデータＦ　Ｌ　Ａ　Ｇ　Ｓのフレーム間／フレー
ム内フラグを「０」に指定して、当該マクロブロックを
強制的にフレーム内符号化モードによって処理すると共
に、当該カウンタの値を０に戻す。

カ＜シて１フレームにつき１つのマクロプロ、ツクを強
制的にフレーム内符号化モードに切り換えて符号化する
（すなわち強制リフレッシュする）ことにより、９９フ
レ一ム分のデータを処理した時点において全てのマクロ
ブロックがリフレッシュされる。

かくして当該強制リフレッシュを繰り返し実行すること
により９９フレ一ム分のデータが処理された時点におい
て常に画面がリフレッシュされる。

従って伝送エラーが生じてデコーダ２１Ｂ側において復
号化される画像の画質が劣化したにもかかわらず、フレ
ーム間符号化処理した画像データが長い時間に亘って伝
送され続けるような場合においても、９９フレ一ム分の
画像データが伝送される間に全てのマクロブロックがリ
フレッシュされることにより、画質の劣化が補正される
。

ここで強制リッツシュされたマクロブロックＭＢにおい
ては、他のマクロブロックとは異なる量子化ステップサ
イズで量子化処理される場合があり、このような場合に
おいては画像上に強制リフレッシュされたマクロブロッ
ク部分だけが目障りな画質変化を生じることになるが、
フィルタ制御ユニット３１におけるリフレッシュパター
ン（第８図）を乱数を用いて形成したことにより、各マ
クロブロックＭＢがランダムに強制リフレッシュされ、
部分的に発生する目障りな両賞の変化を目立たないよう
にすることができる。

かくして目障りな画質の変化を視覚上抑制しながら強制
リフレッシュをすることができる。

因に防落し処理されるフレームにおいては、強制リフレ
ッシュを実行しないようになされており、受信側に伝送
される画像データだけを確実にリフレッシュすることに
より、伝送される９９フレ一ム分の画像データにつきｌ
フレーム分のマクロフロックが確実にリフレッシュされ
る。

（Ｇ４）他の実施例 上述の実施例においては、ＱＣＩＦの画サイズでなる画
像を符号化して伝送する際に本発明を適用した場合につ
いて述べたが、本発明はこれに限らず、ＣＩＦの画サイ
ズ（第３図（Ａ２））でなる画像を符号化する場合にお
いても本発明を適用し得る。

この場合第８図に示す各リフレッシュカウンタに対して
４つのマクロブロックを対応させ、ｌフレームにつき４
つのマクロブロックを強制リフレッシュさせるようにす
れば良い。

また上述の実施例においては、第８図に示すリフレッシ
ュパターンを用いて強制リフレッシュする場合について
述べたが、本発明はこれに限らず、乱数を用いて配列し
た他の種々のリフレッシュパターンを適用し得る。

さらに上述の実施例においては、音声信号と共に映像信
号を伝送する画像情報伝送システムに本発明を適用した
場合について述べたが、本発明はこれに限らず、映像信
号を高能率符号化処理して伝送する場合等に広（適用す
ることができる。

Ｈ発明の効果 上述のように本発明によれば、乱数を用いてリフレッシ
ュパターンを形成するようにしたことにより、各マクロ
ブロックをランダムに強制リフレッシュさせることがで
き、これにより部分的に発生する目障りな両頁の変化を
視覚上抑制することができる。

【図面の簡単な説明】

第１図及び第２図は本発明による映像信号符号化方法を
適用した画像情報伝送システムを構成するエンコーダ及
びデコーダを示すブロック図、第３図はフレーム画像デ
ータの構成を示す路線図、第４図は第１図のへラダデー
タ処理系を示すブロック図、第５図は第４図のフラグデ
ータの構成を示す路線図、第６図及び第７図はフレーム
間／フレーム内符号化モードの選択基準を示す特性曲線
図、第８図はマクロブロックのリフレッシュパターンを
示す路線図、第９図はフレーム内／フレーム間符号化処
理の説明に供する路線図、第１０図は従来の画像データ
発生装置を示すブロック図、第１１図；よその量子化ス
テップを示す曲線図である。 ２１・・・・・・画像情報伝送システム、２１Ａ・・・
・・・エンコーダ、２１Ｂ・・・・・・デコーダ、２５
・・・・・・動き補償回路、２６・・・・・・動き補償
制御ユニット、２７・・・・・・予測前フレームメモリ
、２８・・・・・・画像データ符号化回路、２９・・・
・・・変換符号化回路、３０・・・・・・フレーム間／
フレーム内符号化制御ユニット、３１・・・・・・フィ
ルタ制御ユニット、３２・・・・・・伝送バッファメモ
リ、３４・・・・・・伝送ブロック設定回路、３５・・
・・・・スレショルド制御ユニット、３６・・・・・・
量子化制御ユニット、３７・・・・・・量子化回路、３
８・・・・・・可変長符号可回路。

Claims (1)

1. 【特許請求の範囲】 フレーム内符号化又はフレーム間符号化を選択して映像
   信号を符号化処理することにより伝送画像データに変換
   する映像信号符号化方法において、１フレームの画像を
   所定画素数でなる所定数のブロックに分割し、 所定周期で上記ブロックをランダムに選択し、選択した
   上記ブロックをフレーム内符号化処理する ことを特徴とする映像信号符号化方法。