JPH047152B2

JPH047152B2 -

Info

Publication number: JPH047152B2
Application number: JP56215026A
Authority: JP
Inventors: Akira Hirano
Original assignee: Nippon Electric Co Ltd
Current assignee: NEC Corp
Priority date: 1981-12-28
Filing date: 1981-12-28
Publication date: 1992-02-10
Also published as: JPS58115990A

Description

【発明の詳細な説明】この発明はテレビジヨン信号の動きを補償した
フレーム間符号化装置に関する。

テレビジヨン信号のデイジタル伝送において
は、隣接するフレームの差分信号（フレーム差分
信号）を符号化して伝送するフレーム間符号化方
式を用いることにより通常のパルス符号変調
（PCM）を用いる場合にくらべて伝送ビツト数を
大幅に低減することができ、特に静止画像や動き
の少い画像において高い圧縮率（PCMにくらべ
て伝送ビツト数が低減される比率）を得ることが
できる。しかし大きな動きを含んだ画像について
はフレーム差分信号が大きくなるため圧縮率が低
下する。大きな動きを含んだ画像に対しても高い
圧縮率を維持するために「動き補償フレーム間符
号化」が提案されている。この方法ではテレビジ
ヨン信号の動きを検出し、テレビジヨン信号の動
きを補償した予測信号を発生して予測符号化を行
う。

＜動き補償フレーム間符号化の原理＞第１図は前フレームにおいて点B′にあつた物
体が現フレームにおいては点Ａに移動したところ
を示している。動き補償フレーム間符号化におい
ては現フレームの点Ａとテレビジヨン画面上で同
一位置にある点A′と点B′との変位量υ→（このυ→
を動ベクトルと称する）を求め、現フレームの点
Ａの信号値Ｙ（ｒ→）の予測信号としては単純フレ
ーム間符号化の場合の予測信号である点A′の信
号値Y′（ｒ→）の代りに点B′の信号値Y′（ｒ→＋υ
→）
を用いる。なおｒ→はテレビジヨン画面上の位置を
示す位置ベクトルである。

動き補償フレーム間符号化における予測誤差信
号Ｙ（ｒ→）−Y′（ｒ→＋υ→）は単純フレーム間符
号化
における予測誤差信号Ｙ（ｒ→）−Y′（ｒ→）よりも
ず
つと小さな値を示すので、動き補償フレーム間符
号化によつて動きの大きな画像に対しても効率の
良い符号化ができる。

この動ベクトルの検出方法としてはたとえば二
宮により「フレーム間符号化における動き補正
（電子通信学会画像工学研究会、資料番号IE78−
６，1978年５月26日、文献１）と題して報告され
た方法を用いることができる。この方法において
はテレビジヨン信号を複数個のブロツクに分割
し、各々の現フレームのブロツク内のテレビジヨ
ン信号に対してテレビジヨン画面上の同一位置を
基準として種々の変位量（シフトベクトルと称す
る）だけずれた位置の前フレームのブロツク内の
信号と現フレームのブロツク内の信号との類似度
を示す評価値を求め、最も類似度の高い前フレー
ムのブロツクに対するシフトベクトルを動ベクト
ルとして検出する。なおこの類似度判定のための
評価値としては現フレームのブロツク内信号とシ
フトベクトルだけずれた前フレームのブロツク内
信号との差信号の絶対値和、あるいは差信号の絶
対値が一定のしきい値を越えたものの個数、など
が考えられている。

＜従来の欠点＞以上動き補償フレーム間符号化の原理、利点に
ついて説明したが動き補償フレーム間符号化にお
いては以下に述べるような欠点がある。すなわち
前述したフレーム間符号化においては予測誤差信
号に対する量子化特性を粗くした場合には画像の
静止部分において量子化雑音がテレビジヨン画面
上に貼りついて見えるダーテイウインドウ
（dirtywindow）効果とよばれる特有の画質劣化
があるが、動き補償フレーム間符号化においては
このダーテイウインドウが動いて見えるという画
質劣化が新たに発生し、特に入力テレビジヨン信
号対雑音比（Ｓ／Ｎ比）が低い場合テレビジヨン
画像の静止部分において顕著である。

動き補償フレーム間符号化においてこのような
画質劣化が新たに生じる原因は次の通りである。
前述した通り動き補償フレーム間符号化において
は、現フレームのブロツク信号と最も類似度の高
い前フレーム信号をもつて予測信号とし予測符号
化を行うが、入力テレビジヨン信号に含まれる雑
音などにより静止部分であつても当該ブロツクが
静止していることを示すベクトルに対する類似度
が必ずしも最大とならず、むしろ静止でないベク
トルについての類似度の方が高くなり静止してい
る部分が動いていると判定されることがある。し
たがつてフレーム間符号化では静止して見えるダ
ーテイウインドウが、動き補償フレーム間符号化
では動いて見えることとなる。なお、このダーテ
イウインドウの動きはブロツクを単位として発生
するので、これを画面上で観察すると、ダーテイ
ウインドウがブロツクを単位として乱雑に動き回
つてみえ、きわめて不自然な印象を観察者に与え
る。

＜発明の概要＞この発明の目的は上述した動き補償フレーム間
符号化における画質劣化要因を大幅に軽減した動
き補償フレーム間符号化装置を提供することにあ
る。

この発明は入力テレビジヨン信号のブロツクに
ついて動ベクトルを検出する手段と、当該ブロツ
クと時間的空間的に近傍にあるブロツクについて
検出された動ベクトルのうち画像が静止している
ことを示すベクトル（零ベクトルと称する）の発
生頻度が大である時には当該ブロツクに対する動
ベクトルをそのベクトル値の如何にかかわらず零
ベクトルに修正する動ベクトル修正手段と、その
修正手段の出力である修正動ベクトルにもとづい
て予測信号を発生し、前記入力テレビジヨン信号
を予測符号化する手段とから構成されている。

＜発明の原理＞次にこの発明の原理について説明する。この発
明においては現フレームのあるブロツク（注目ブ
ロツクと称する）について検出された動ベクトル
を、注目ブロツクの周辺のブロツク（参照ブロツ
クと称する）において検出された動ベクトルとを
比較し、参照ブロツクのテレビジヨン信号が静止
している場合には、注目ブロツクに対する動ベク
トル検出結果を当該ブロツクが静止していること
を示すベクトル（すなわち零ベクトル）に修正す
る。このような修正をうけた動ベクトル（修正動
ベクトル）に基づいて予測信号を発生することに
より前述したダーテイウインドウが動いて見える
という重大な画質劣化を軽減する。

次に第２図を参照してこの発明の動ベクトル修
正方法をより具体体的に説明する。第２図ａ〜ｃ
が参照ブロツクの配置例を示す図であり、図にお
いてＸは注目ブロツク、Ａ〜Ｐは参照ブロツクの
注目ブロツクＸに対するテレビジヨン画面の位置
を示している。第２図ａは注目ブロツクＸと同一
フレーム内に、注目ブロツクＸの左側と上側に参
照ブロツクＡ〜Ｄを配置した場合であり、第２図
ｂは注目ブロツクＸと同一フレームのＡ〜Ｄ（第
２図ａの場合と同一）と、注目ブロツクＸの１フ
レーム時刻前のブロツクＥと、空間的にＥを囲む
Ｆ〜Ｍとを参照ブロツクとして配置した場合であ
り、第２図ｃは注目ブロツクＸと同一フレーム内
に注目ブロツクＸを囲む形で参照ブロツクＡ〜
Ｄ，Ｎ〜Ｒを配置した場合である。

この発明においてはたとえば第２図ａ〜ｃのよ
うに注目ブロツクＸと時間的空間的な近傍に参照
ブロツクを定め、参照ブロツクの動ベクトルがす
べて零ベクトルである場合には注目ブロツクの動
ベクトル検出結果にかかわらず注目ブロツクＸの
動ベクトルを零ベクトルに修正する。この様な修
正を行う理由は注目ブロツクＸの時間的空間的近
傍にある参照ブロツクが静止している場合には、
テレビジヨン信号のもつ高い相関性により注目ブ
ロツクも静止している場合が非常に多いという事
情にもとづいている。なお注目ブロツクＸの動ベ
クトルを零ベクトルに修正する際の修正論理とし
ては他の論理を用いることもできるが、これにつ
いては後述する。

以上述べた様な動ベクトルの修正を行えば本来
静止しているはずのブロツクが雑音等により動い
ていると判定されることを防止でき、前述したダ
ーテイウインドウが動いて見えるという重大な画
質劣化を軽減できるという大きな利点がある。

＜実施例＞次に図面を参照してこの発明の実施例について
説明する。第３図はこの発明の動き補償フレーム
間符号化装置の構成を示すブロツク図である。第
３図においてはアナログ／デイジタル変換された
テレビジヨン信号（以下においては「TV信号」
と記する）が端子１に入力されるものとする。端
子１に入力されたTV信号は信号線２を介して遅
延回路３、動ベクトル検出器２０に入力される。
遅延回路３は信号線４を介して出力される入力
TV信号と信号線１５に出力される予測信号との
タイミングを減算器５において合わせるため、す
なわち前述した動ベクトル検出、動ベクトル修正
及び予測信号発生に要する時間を補正するために
用いられる。

遅延回路３から信号線４により入力されるTV
信号は減算器５において、可変遅延回路１４から
信号線１５に出力される予測信号との差分がとら
れ、差信号すなわち予測誤差信号は信号線６によ
り量子化器７に入力されて量子化されて信号線８
を介して第１の符号器３０及び加算器９に入力さ
れる。ここで第１の符号器３０は量子化された予
測誤差信号を符号化、たとえば可変長符号化する
ものである。信号線８を介して加算器９に入力さ
れる量子化された予測誤差信号は、信号線１５に
より入力される予測信号と加算されて局部復合さ
れ、信号線１６を介してフレームメモリ１０に書
き込まれ、次のフレームにおいて動ベクトル検出
及び予測信号の発生を行うために用いられる。

動ベクトル検出器２０は信号線２により入力さ
れるTV信号と、信号線１１よりフレームメモリ
１０から入力されるおよそ１フレーム前のTV信
号とから動ベクトルを検出し、その動ベクトルを
信号線２１に出力し、動ベクトル修正回路２２に
供給する。なおここでフレームメモリ１０より出
力されるおよそ１フレーム前の信号は動ベクトル
の縦方向の最大検出範囲を±Ｍ水平走査線／フレ
ームまでとし、ブロツクの縦方向のサイズをＮ水
平走査線とすると、（2M＋Ｎ）水平走査線のTV
信号が並列に信号線１１に出力される。また信号
線１１のTV信号は遅延回路１２に入力され、そ
の遅延出力が信号線１３に出力されるが、信号線
１３も（2M＋Ｎ）水平走査線のTV信号の並列
出力となる。なお動ベクトル検出器２０の構成に
ついてはたとえば前述の文献１に詳述されている
ので説明は省略する。

動ベクトル修正回路２２は前述した動ベクトル
修正の論理に基づいて動ベクトルの修正を行い修
正動ベクトルを信号線２３に出力する。動ベクト
ル修正回路２２の修正動作については後述する。
フレームメモリ１０より出力されるおよそ１フレ
ーム前のTV信号は遅延回路１２を経由して可変
遅延回路１４に入力される。ここで遅延回路１２
は動ベクトル検出回路２０、動ベクトル修正回路
２２が前述の修正動ベクトルを決定するのに必要
な時間を補償するために用いられる。

可変遅延回路１４は信号１３により入力される
TV信号を、信号線２３により入力される修正動
ベクトル信号に応じてシフトし、予測信号として
信号線１５に出力する。この可変遅延回路１４は
ランダムアクセス可能なメモリを用いて画像信号
を２次元的に記憶できるように構成されており、
修正動ベクトル信号に対応する前フレームの画像
信号が１画素ずつ順次読み出される。なおこの読
み出しと並行して遅延回路１２により供給される
画像信号の書き込みが読み出し側とは独立のアド
レス指定により行われる。

また修正動ベクトル信号は信号線２３により第
２の符号器３１に入力されて符号化、たとえば可
変長符号化されて信号線３３に出力され、マルチ
プレクサ３４において信号線３２により入力され
る符号化された予測誤差信号と多重化されて信号
線３５に出力され、伝送路３７との速度整合を行
うためのバツフアメモリ３６に書き込まれ、バツ
フアメモリ３６に書き込まれた信号は伝送路３７
の伝送速度で読み出されて伝送路３７に送出され
る。

＜動ベクトル修正回路＞次に第４図を参照して動ベクトル修正回路２２
の構成及び動作について説明する。信号線２１に
より入力される動ベクトル信号は２値化回路７２
及び遅延回路７１に入力される。２値化回路７２
は信号線２１により入力される動ベクトルが零ベ
クトルである場合には信号値「０」を、そうでな
い場合には信号値「１」を信号線７３を介してシ
フトレジスタ７４に入力する。シフトレジスタ７
４の各出力、すなわち信号線７７〜７９の信号は
判定回路８０に入力され、前述した動ベクトルの
修正を行うか否かを決定し、修正を行う場合には
信号値「０」を、行わない場合には信号値「１」
を信号線８１に出力してゲート回路７６に出力す
る。

ここでシフトレジスタ７４の出力信号の数はす
でに説明した参照ブロツクの個数に一致する。た
とえば第２図ａのように参照ブロツクを定めた場
合においてはシフトレジスタ７４の出力信号数は
４となる。この場合第２図ａの参照ブロツクＡに
対する２値化された動ベクトル信号（２値動ベク
トル信号）が信号線７７に、参照ブロツクＢに対
する２値動ベクトル信号が信号線７８に、参照ブ
ロツクＤに対する２値動ベクトル信号が信号線７
９に出力されることとなる。一方動ベクトル信号
は信号線２１により遅延回路７１にも入力され
る。ここで遅延回路７１は動ベクトル修正に要す
る時間すなわち２値化回路７２から判定回路８０
に至る処理時間に相当する遅延量が必要とされ
る。遅延回路７１から信号線７５に出力された動
ベクトル信号はゲート回路７６に入力される。ゲ
ート回路７６は信号線８１より信号値「０」が入
力されている場合には零ベクトルを示す信号を信
号線２３に出力し、信号線８１により信号値
「１」が入力されている場合には信号線７５によ
り入力される動ベクトル信号をそのまま信号線２
３に出力する。以上の様にして動ベクトルの修正
が行われる。

＜変形例＞以上この発明を詳細に説明したが、この発明に
おいては動ベクトルの修正論理を以下の様に変更
しても第４図の判定回路８０の論理を変更するの
みで実現することができる。

まず以上の説明においては例えば第２図ａ〜ｃ
のように参照ブロツクを定め、参照ブロツクにお
いて検出された動ベクトルがすべて零ベクトルで
ある場合にのみ注目ブロツクＸの動ベクトルを零
ベクトルに修正するものとして説明したが、参照
ブロツクの動ベクトルのうち零ベクトルの発生頻
度が大である場合に注目ブロツクＸの動ベクトル
検出結果を零ベクトルに修正するという多数決論
理を用いることもできる。

またこの多数決論理の変形として参照ブロツク
相互における零ベクトルの時間的、空間的発生状
況をも考慮して注目ブロツクＸの動ベクトル検出
結果を零ベクトルに修正するか否かを決定するこ
ともできる。たとえば参照ブロツクの配置を第２
図ａの様に定めた場合において参照ブロツクＡ，
Ｂの動ベクトルが零ベクトルでなかつた時のよう
に参照ブロツクにおいて動き部分が連結している
場合においては、注目ブロツクＸもこれに連結し
た動き部分である可能性が高いので注目ブロツク
Ｘの動ベクトルを修正しないという付加条件をつ
けることもできる。

更に参照ブロツクの配置を第２図ｂの様に定め
たものとして、参照ブロツクＥ〜Ｍにおける動ベ
クトルにおいては零ベクトルの発生頻度が高い
が、参照ブロツクＡ〜Ｄにおいては非零ベクトル
が連結して発生している場合には、前フレームに
おいては静止していた画像が現フレームにおいて
動き始めた場合であることが多いので、注目ブロ
ツクＸの動ベクトル検出結果を修正しないとする
こともできる。

また参照ブロツクの配置を第２図ａ〜ｃのよう
に限る必要は必ずしもなく参照ブロツクの数を増
やすことも可能である。その場合第４図のシフト
レジスタ７４の出力タツプ数が増加する。

以上説明した通りこの発明によれば動き補償フ
レーム間符号化のもつ欠点であるダーテイウイン
ドウが動いて見えるという重大な画質劣化を軽減
できるという効果を有する動き補償フレーム間符
号化装置を実現できる。

【図面の簡単な説明】

第１図は動き補償フレーム間符号化方式を説明
するための図、第２図は参照ブロツクの配置例を
示す図、第３図はこの発明の動き補償フレーム間
符号化装置の構成を示すブロツク図、第４図は動
ベクトル修正回路２２の構成を示すブロツク図で
ある。１……テレビジヨン信号入力端子、３，１２…
…遅延回路、５……減算器、７……量子化器、９
……加算器、１０……フレームメモリ、１４……
可変遅延回路、２０……動ベクトル検出器、２２
……動ベクトル修正回路、３０，３１……符号
器、３４……マルチプレクサ、３６……バツフア
メモリ、７１……遅延回路、７２……２値化回
路、７４……シフトレジスタ、７６……ゲート回
路、８０……判定回路。

Claims

【特許請求の範囲】

１入力テレビジヨン信号の１フレームを複数個
のブロツクに分割し、その個々のブロツクについ
てテレビジヨン画像の動きである動ベクトルを検
出し、前記画像の動きを補償した予測信号を発生
し、前記入力テレビジヨン信号を予測符号化する
動き補償フレーム間符号化装置において、前記入
力テレビジヨン信号のブロツクについて動ベクト
ルを検出する手段と、当該ブロツクと時間的空間
的に近傍にあるブロツクについて検出された動ベ
クトルのうち画像が静止していることを示す動ベ
クトルの発生頻度が大である時当該ブロツクに対
する動ベクトルをそのベクトル値の如何にかかわ
らず静止していることを示す動ベクトルに修正す
る動ベクトル修正手段と、前記修正手段の出力で
ある修正動ベクトルにもとづいて予測信号を発生
し、前記入力テレビジヨン信号を予測符号化する
手段とを備えたことを特徴とする動き補償フレー
ム間符号化装置。