JPH0223786A - 動画像信号の前処理方法とその装置およびそれを用いた符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本願発明は、動画像信号の前処理方法とその装置および
それを用いた符号化装置に関する。

（従来の技術） 従来の動画像の符号化においては、入力画像信号に含ま
れる雑音により符号化能率が低下することを防止するた
め、入力の動画像信号に対してノイズリゾユーザーによ
り雑音を除去してから符号化を行なっていた。

（発明が解決しようとする問題点） 従来の動画像信号の符号化においては、急激な動きや大
きな動きで過大な情報が発生した場合には、低ビツトレ
ートの符号化においては、符号化が停止されることがし
ばしばおこり、符号化画像に不連続が生じて非常に見苦
しかった。このような場合には、ノイズリデューサ−は
無力であった。本発明は、急激な動きなどによる過大な
情報量の発生を抑圧し、上述の問題を解決することので
きる動画像信号の前処理技術を提供することを目的とす
る。

（問題を解決するための手段） 本願の第１の発明によれば、動画像信号の画面間の変化
量を検出し、前記変化量が大となるにしたがって前記動
画像信号の通過特性を狭くすることを特徴とする動画像
信号の前処理方法が得られる。

また本願の第２の発明によれば、入力動画像信号が供給
されるフレームメモリーと、前記入力動画像信号と前記
フレームメモリー出力とが供給され通過特性指示信号を
出力する制御部と、複数の通過特性を有し、前記フレー
ムメモリー出力に前記通過特性指示信号に応じた通過特
性を与える前処理信号出力手段とを供えた動画像信号の
前処理装置であって、前記制御部は、前記入力動画像信
号と前記フレームメモリー出力との差信号の絶対値を所
定区間毎に累算する手段と、この累算する手段の出力が
大になるにしたがって前記前処理信号出力手段の通過特
性が狭くなる通過特性を指定する通過特性指示信号を出
力する手段とから構成される動画像信号の前処理装置が
得られる。

また本願の第３の発明によれば、第２の発明における前
記制御部が、入力動画像信号と前記フレームメモリー出
力から前記入力動画像信号の動き部分の面積を求める手
段と、この面積が大になるに従って前記前処理信号出力
手段の通過特性が狭くなる通過特性を指定する通過特性
指示信号を出力する手段、とから構成される動画像信号
の前処理装置が得られる。

また本願の第４の発明によれば、第２の発明における制
御部が、前記入力動画像信号と前記フレームメモリー出
力との差信号の絶対値を所定区間毎に累積する手段と、
前記入力動画像信号と前記フレームメモリー出力とから
前記入力動画像信号の動き部分の面積を求める手段と、
前記累積値と前記動き部分の面積に従って前記通過特性
指示信号を発生する手段とから構成される動画像信号の
前処理装置が得られる。

また本願の第５の発明によれば、複数の通過特性を有し
通過特性指示信号により指定された通過特性を入力画像
信号に作用させる前処理フィルターと、前記前処理フィ
ルター出力と予測信号とから予測誤差信号を得る手段と
、少なくともフレーム間予測を用い前記予測誤差信号と
前記予測信号とから前記予測信号を発生する予測手段と
、少なくとも前記予測誤差信号が供給され、前記入力動
画像信号の画面間の変化量を求め、前記変化量が大とな
るにしたがって前記前処理フィルターの複数のフィルタ
ー特性の中で、通過特性が狭くなる特性を指定する前記
通過特性指示信号を出力する手段とから構成される動画
像信号の符号化装置が得られる。

（作用） 従来の低ビツトレートの動画像の符号化においては、入
力の動画像信号の動きが激しくなったときには、−時的
に符号化を停止し過大な情報の発生を抑え、符号化の速
度と伝送路の速度の整合をとっていた。しかしながらこ
のような方法では、符号化が停止されたときに符号化画
像に不連続が生じ、動きが不自然になり非常に目障りで
あった。本願発明によれば、低ビツトレートの動画像符
号化を行なうにあたり、符号化を実行しようとする動画
像信号に対して前処理を行ない、動画像の急激な動きに
ともなう過大な情報の発生を抑え、符号化の停止による
符号化画像の不連続をなくそうとするものである。本願
発明の前処理方法としては、時間方向のフィルターによ
るもので、動画像の動きの大きさあるいは、発生情報量
に応じてフィルターの通過特性を切替で、時間的に見て
情報の発生が平滑化されるように制御する。本願発明の
前処理は、第１図に示すようにフレームメモリー１、制
御回路２、前処理フィルター１００によって構成される
。この前処理フィルターの特性を切替えるための具体的
な手法としては、種々のものがあるが、例えば ■フレーム差分値によりフィルターの特性を切替える場
合は、前画面の画像信号と現画面の画像信号とのフレー
ム間差分の絶対値和を求め、その値を予め定めた閾値と
比較することによってフィルターの特性を切替える。

０画面内の動きの面積の割合によってフィルターの特性
を切替える場合は、まず画面内の動き領域の判定を行な
う。動き領域の判定の方法については既にいくつか知ら
れている。例えば特願昭５９−１９４１１０号明細書［
動画像信号の動静分離装置」にあるように、画面をある
大きさのブロックに分割し、ブロック内の各画素のフレ
ーム差分値をブロック内で加算し、この加算結果と定め
られた閾値との大小比較により、該ブロック判定を行な
う方法がある。あるいは、グラジェント法と呼ばれる方
法を用いて、フレーム内の輝度勾配とフレーム差分値か
ら画素単位の動ベクトルを求め、この動ベクトルがゼロ
でない画素の集合をもって動き領域とすることができる
。本願発明においては、動静分離の方法はいずれの方法
でもかまわない。画面内の動きブロックの数に対してど
のフィルター特性を選択するかを、予め統計的に調べて
定めておく。そして動静分離によって得られた動ブロッ
クの数と、予め定められた値との比較によりフィルター
の特性を切替える。さらに、フレーム差分値と動き面積
の両者を用いることができる。例えば、動き面積が大き
くても平坦な画像であればフレーム間差分はあまり発生
しない。また、動き面積はあまり大きくなく、入力画像
信号に細かな雑音が多量に含まれている場合には、フレ
ーム間差分信号がかなり発生するが、細かな雑音などは
符号化の際にノイズリデューサ−により除去されるので
符号化情報量はそれほど大きくなることはない。このよ
うな場合にフレーム差分値と動き面積の両者を用いて判
定を行なえば、さらに適確なフィルター特性の選択を行
なうことができる。この場合も前記と同様に、フレーム
差分の絶対値和の値と動き面積の割合を、予め定められ
た値との比較によりフィルターの特性を切替える。

つぎに前処理フィルターについて説明する。前処理フィ
ルターとしては、例えば第２図に示すような時間軸フィ
ルターを用いることができる。入力の動画像信号は、減
算器３で１フレーム前の動画像信号との減算が行なわれ
、フレーム差分信号がＲＯＭ（リードオンリーメモリー
）４に与えられる。

ＲＯＭには、第３図に示すような特性を予め複数種書込
んでおき、切替信号によって切替える。第３図の特性の
横軸は入力で、縦軸が出力である。例えば動きが小さい
フレームあるいは、フレーム差分信号が少ないフレーム
の時は、特性（ａ）を選択し、動きが中ぐらいあるいは
、フレーム差分信号が中ぐらいのフレームの時は、特性
（ｂ）を選択し、動きが太きいあるいは、フレーム差分
信号が多いフレームの時には、特性（Ｃ）を選択する。

特性（ａ）は増幅度が１なので差分信号がそのまま通過
１−るが、特性（ｂ）は増幅度が１以下である為、動き
にともなって発生した大きな差分信号が抑圧され、その
結果として動画像信号の通過帯域が狭められる。特性（
ｃ）は特性（ｂ）よりも更に増幅度が低いので過大な差
分信号を強力に抑圧することができ、特性（ｂ）の場合
より通過帯域がさらに狭められる。またこの他にも差分
値が大きくなるほど増幅度を１より小とした特性を複数
個設け、動きが大となるほど非線形特性の強い特性を使
用することも可能である。

ＲＯＭの出力の抑圧された差分信号は、加算器５で１フ
レーム前の信号と加算され、過大な情報の発生を抑えた
動画像信号が得られる。またこの信号はフレームメモリ
ー６にも供給され、次のフレームのフィルタリングに用
いられる。この様に入力の動画像信号の状況に対応して
前処理フィルターの特性を切替えることにより、発生情
報量の平滑化をはかり瞬時の急激な情報の発生を抑え、
符号化停止による動きの不連続を取除き視覚的に好まし
い符号化画像を得ることができる。

（実施例） 第４図、第５図、第６図、第７図、第８図、を参照しな
がら本願発明の一実施例について詳細に説明する。まず
第４図を参照しながら説明する。入力の動画像信号は、
線１０を介してフレームメモリー１と制御回路２に供給
される。フレームメモリー１は、線１０を介して供給さ
れた動画像信号を１フレ一ム時間遅延し、線１２を介し
て制御回路２と減算器３に供給する。制御回路２は、線
１０を介して供給された現フレームの動画像信号と、フ
レームメモリー１から線１２を介して供給された前フレ
ームの動画像信号を基に前処理フィルターの通過特性を
選択する切替信号を生成する。

制御回路２は、フレーム差分値を基にしてフィルターの
特性を切替える場合には、第５図に示すような構成にな
る。線１０を介して供給された現フレームの動画像信号
と、線１２を介して供給された前フレームの動画像信号
は、制御回路２に含まれている減算器２１に供給される
。減算器２１は、前フレームの信号と現フレームの信号
の減算を行ないフレーム差分信号を得る。減算器２１で
得られたフレーム差分信号は、絶対値累積器２２に供給
される。絶対値累積器２２は、減算器２１から供給され
たフレーム差分信号を、絶対値に変換し１フレームにわ
たって累積する。そして累積された値をＲＯＭ２３に供
給する。また絶対値累積器２２は、同期分離器２４から
供給されるリセット信号によってフレームの先頭でノセ
ットされる。ＲＯＭ２３は、予め統計的に調べたフィル
ター切替の閾値を書込んでおき、絶対値累積器２２から
供給されたフレーム毎のフレーム差分値の絶対値和をア
ドレスとし、各アドレスに書込まれた値に従い数種類の
前処理フィルターの通過特性を選択する切替信号を発生
する。ＲＯＭ２３で発生された切替信号は、制御回路２
の出力の切替信号としてＲＯＭ４に供給される。同期分
離器２４は、線１０を介して供給された現フレームの画
像信号から同期を分離し、分離された同期信号を基にフ
レームの先頭で絶対値累積器のリセットを行なうための
リセット信号を生成し、絶対値累積器２２に供給する。

動き面積の割合によってフィルターを切替える場合の制
御回路２は、第６図に示すような構成になる。現フレー
ムの信号は、線１０を介して減算器２１と同期分離器２
４０に供給される。前フレームの信号は、線１２を介し
て減算器２１に供給される。減算器２１は、現フレーム
の信号と前フレームの信号の減算を行ないフレーム差分
信号を得る。減算器２１で得られたフレーム差分信号は
、走査変換器２２０に供給される。走査変換器２２０は
、減算器２１から供給されたフレーム差分信号に対して
走査変換を行ない予め定められた大きさのブロックに変
換する。走査変換器２２０でブロック化されたフレーム
差分信号は、絶対値累積器２３０に供給される。絶対値
累積器２３０は、走査変換器２２０から供給されたブロ
ック化されたフレーム差分信号に対し絶対値変換を行な
い、そのイ直をブロック内で累積する。また絶対値累積
器２３０は、同期分離器２４０から線２４２３を介して
供給されるブロックリセット信号によってブロックの先
頭のタイミングで累積器の値をリセットする。ブロック
毎の累積された値は、ＲＯＭ２５０に供給される。同期
分離器２４０は、線１０を介して供給された現フレーム
の信号から同期を分離し、分離した同期信号を基にブロ
ック毎のリセット信号およびフレーム毎のリセット信号
を生成する。同期分離器２４０で生成されたブロック毎
のリセット信号は、線２４２３を介して絶対値累積器２
３０に供給される。また同期分離器２４０で生成された
フレーム毎のリセット信号は、線２４２６を介して累積
器２６０に供給される。ＲＯＭ２５０は、絶対値累積器
２３０から供給されたブロック内のフレーム差分の絶対
値の累積結果によって動きブロックの判定を行なうが、
動きブロックと静止ブロックの境になる閾値を予め統計
的に調べておく。そして累積結果が閾値を超えていると
きには動きブロックであることを示す信号１を出力し、
累積結果が閾値以下の時は静止ブロックであることを示
す信号０を出力する。ＲＯＭ２５０の出力信号は、累積
器２６０に供給される。累積器２６０は、ＲＯＭ２５０
から供給された信号を１フレ一ム分累積する。累積器２
６０で累積された信号は、そのフレームにおける動き部
分の面積を示す信号としてＲＯＭ２７０に供給される。

また累積器２６０は、同期分離器２４０から線２４２６
を介して供給されたフレームリセット信号により、フレ
ームの先頭で累積器のリセットを行なう。ＲＯＭ２７０
は、動き面積の値に対してどのフィルター特性を選択す
るかを予め統計的に調べ、フィルターを選択するための
切替信号を書込んでおく。そして累積器２６０から供給
された動き面積の値に対応したフィルターの切替信号を
出力する。ＲＯＭ２７０の出力の切替信号は、制御回路
２の出力信号としてＲＯＭ４に供給される。

フレーム差分値と動き面積によってフィルターを切替え
る場合の制御回路２は、第７図に示すような構成になる
。現フレームの信号は、線１０を介して減算器２１と同
期分離器２４００に供給される。前フレームの信号は、
線１２を介して減算器２１に供給される。減算器２１は
、現フレームの信号と前フレームの信号の減算を行ない
フレーム差分信号を得る。減算器２１で得られたフレー
ム差分信号は、走査変換器２２００と絶対値累積器２８
００に供給される。

走査変換器２２００は、減算器２１から供給されたフレ
ーム差分信号に対して走査変換を行ない予め定められた
大きさのブロックに変換する。走査変換器２２００でブ
ロック化されたフレーム差分信号は、絶対値累積器２３
００に供給される。絶対値累積器２３００は、走査変換
器２２００から供給されたブロック化されたフレーム差
分信号に対し絶対値変換を行ない、その値をブロック内
で累積する。また絶対値累積器２３００は、同期分離器
２４００から線２３２４を介して供給されるブロックリ
セット信号によってブロックの先頭のタイミングで累積
器の値をリセットする。ブロック毎の累積された値は、
ＲＯＭ２５００に供給される。同期分離器２４００は、
線１０を介して供給された現フレームの信号から同期を
分離し、分離した同期信号を基にブロック毎のリセット
信号およびフレーム毎のリセット信号を生成する。同期
分離器２４００で生成されたブロック毎のリセット信号
は、線２３２４を介して絶対値累積器２３００に供給さ
れる。また同期分離器２４００で生成されたフレーム毎
のリセット信号は、線２６２４を介して累積器２６００
と絶対値累積器２８００に供給される。ＲＯＭ２５００
は、絶対値累積器２３００から供給されたブロック内の
フレーム差分の絶対値の累積結果によって動きブロック
の判定を行なうが、動きブロックと静止ブロックの境に
なる閾値を予め統計的に調べておく。そして累積結果が
閾値を超えているときには動きブロックであることを示
す信号１を出力し、累積結果が閾値以下の時は静止ブロ
ックであることを示す信号Ｏを出力する。ＲＯＭ２５０
０の出力信号は、累積器２６００に供給される。累積器
２６００は、ＲＯＭ２５００から供給された信号を１フ
レ一ム分累積する。累積器２６００で累積された信号は
、そのフレームにおける動き部分の面積を示す信号とし
て線２６２７を介してＲＯＭ２７００に供給される。ま
た累積器２６００は、同期分離器２４００から線２６２
４を介して供給されたフレームリセット信号により、フ
レームの先頭で累積器のリセットを行なう。絶対値累積
器２８００は、減算器２１から供給されたフレーム差分
信号を、絶対値に変換し１フレームにわたって累積する
。そして累積された絶対値和を線２８２７を介してＲＯ
Ｍ２７００に供給する。また絶対値累積器２８００は、
同期分離器２４００から線２６２４を介して供給された
リセット信号によってフレーム毎にリセットされる。Ｒ
ＯＭ２７００は、動き面積とフレーム差分の絶対値和の
値によってどのフィルター特性を選択するかを、予め統
計的に調べて書込んでおく。そしてＲＯＭ２７００は、
累積器２６００から供給された動き面積の値と、絶対値
累積器２８００から供給されたフレーム差分の絶対値和
に対応して、フィルター特性の切替信号を出力する。Ｒ
ＯＭ２７００の出力の切替信号は、制御回路２の出力と
してＲＯＭ４に供給される。

なお、以上の第６図、第７図の説明において入力動画像
信号が既に走査変換された状態で入力されるならば、第
６図、第７図の走査変換器２２０．２２００は不要とな
る。

第４図に戻る。減算器３は、フレームメモリー１から供
給された信号と、フレームメモリー６から供給される予
測信号との減算を行ないフレーム間差分信号を得る。減
算器３で得られたフレーム間差分信号は、ＲＯＭ４に供
給される。ＲＯＭ４は、第３図に示すような入出力関係
の信号通過特性の値を予め複数個書込んでおき、制御回
路２から供給された切替信号が、例えばフレーム差分信
号が少ないフレームで信号の抑圧を行なわなくてもよい
ことを示しているときは、第３図の（ａ）の様な特性を
選択する。

フレーム差分信号が中ぐらいのフレームで切替信号が入
力信号に中ぐらいの抑圧を行なうことを示しているとき
には、第３図の（ｂ）の様な特性を選択する。フレーム
差分信号が多いフレームで切替信号が入力信号に強力な
抑圧を行なうことを示しているときには、第３図の（Ｃ
）の様な特性を選択する。

ＲＯＭ４の出力のフィルターがかけられた差分信号は、
加算器５に供給される。加算器５は、ＲＯＭ４から供給
されたフィルターがかけられた差分信号と、フレームメ
モリー６から供給されるフィルタリングが施された前フ
レームの信号を加算し、時間軸フィルター処理が加えら
れた動画像信号を得る。

加算器５の出力の時間軸フィルター処理が加えられた動
画像信号は、フレームメモリー６と符号器７に供給され
る。フレームメモリー６は、加算器５から供給された時
間軸フィルター処理が加えられた動画像信号を１フレ一
ム時間遅延し、次のフレームのフィルター処理を行なう
ための信号として減算器３と加算器５に供給する。符号
器７は、画面間の相関などを用いた通常の動画像符号器
である。符号器７は、加算器５から供給された時間軸フ
ィルター処理が加えられた動画像信号を符号化し伝送路
に出力する。

この他に第８図に示すように符号器に画面間の相関を利
用したものを用いる場合には、符号器で得られるフレー
ム差分信号を用いてフィルター特性の切替信号を生成す
ることもできる。この場合には、第５図、第６図または
第７図の制御回路２の減算器２１を削除し、減算器２１
の出力信号の代りに符号器から供給されるフレーム間差
分信号を供給する。また制御回路２に含まれている同期
分離器２４．２４０．２４００、には、現フレームの信
号として前処理フィルターの入力信号を供給する。また
、制御口路２内に同期分離器を設けず、同期信号を別途
供給してもよいことは勿論である。

（発明の効果） 以上詳しく説明したように、本願発明の動画像信号の前
処理を用いれば急激な動きにともなう過大な情報の発生
を抑えることができ、その結果符号化停止による符号化
画像の不連続を取除き、視覚的に好ましい符号化画像が
得られる。この様に本願発明を実用に供すると動画像の
符号化における画質改善効果は、きわめて太きい。

【図面の簡単な説明】

第１図、第２図、第３図は本願発明の詳細な説明する図
、第４図、第５図、第６図、第７図、第８図は、本願発
明の詳細な説明する図である。図において、 工、６・・・フレームメモリー　　２１９．制御回路　
　３．２１・・・減算器　　４．２３．２５０．２７０
．２５００．２７００・・・ＲＯＭ　　　５・・・加算
器　　７・・・符号器　　２２．２３０．２３００．２
８００・・・絶対値累積器　　２４．２４０、２４００
・・・同期分離器 ２２０． ２２００・・・走査変換器 ２６０． ２６００・・・累積器。

Claims (5)

【特許請求の範囲】
1. （１）動画像信号の画面間の変化量を検出し、前記変化
   量が大となるに従って前記動画像信号の通過特性を狭く
   することを特徴とする動画像信号の前処理方法。
2. （２）入力動画像信号が供給されるフレームメモリーと
   、前記入力動画像信号と前記フレームメモリー出力とが
   供給され通過特性指示信号を出力する制御部と、複数の
   通過特性を有し、前記フレームメモリー出力に前記通過
   特性指示信号に応じた通過特性を与える前処理信号出力
   手段とを備えた動画像信号の前処理装置であって、前記
   制御部は、前記入力動画像信号と前記フレームメモリー
   出力との差信号の絶対値を所定区間毎に累算する手段と
   、この累算する手段の出力が大になるに従って前記前処
   理信号出力手段の通過特性が狭くなる通過特性を指定す
   る通過特性指示信号を出力する手段とから構成される動
   画像信号の前処理装置。
3. （３）請求項（２）記載の動画像信号前処理装置におい
   て、前記制御部は、入力動画像信号と前記フレームメモ
   リー出力から前記入力動画像信号の動き部分の面積を求
   める手段と、この面積が大になるに従って前記前処理信
   号出力手段の通過特性が狭くなる通過特性を指定する通
   過特性指示信号を出力する手段、とから構成される動画
   像信号の前処理装置。
4. （４）請求項（２）記載の動画像信号前処理装置におい
   て、前記制御部は、前記入力動画像信号と前記フレーム
   メモリー出力との差信号の絶対値を所定区間毎に累積す
   る手段と、前記入力動画像信号と前記フレームメモリー
   出力とから前記入力動画像信号の動き部分の面積を求め
   る手段と、前記累積値と前記動き部分の面積に従って前
   記通過特性指示信号を発生する手段、とから構成される
   動画像信号の前処理装置。
5. （５）複数の通過特性を有し通過特性指示信号により指
   定された通過特性を入力画像信号に作用させる前処理フ
   ィルターと、前記前処理フィルター出力と予測信号とか
   ら予測誤差信号を得る手段と、少なくともフレーム間予
   測を用い前記予測誤差信号と前記予測信号とから前記予
   測信号を発生する予測手段と、少なくとも前記予測誤差
   信号が供給され、前記入力動画像信号の画面間の変化量
   を求め、前記変化量が大となるにしたがって前記前処理
   フィルターの複数のフィルター特性の中で、通過特性が
   狭くなる特性を指定する前記通過特性指示信号を出力す
   る手段とから構成される動画像信号の符号化装置。