JPH04336787A

JPH04336787A - 動画像符号化装置

Info

Publication number: JPH04336787A
Application number: JP3107432A
Authority: JP
Inventors: Kazuhiro Matsukura; 松倉　和浩
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1991-05-13
Filing date: 1991-05-13
Publication date: 1992-11-24
Anticipated expiration: 2017-02-12
Also published as: JP3255656B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、撮像部で撮像された動
画像データの符号化を行なう動画像符号化装置に係り、
特に、ブロック歪みの除去に関する。

【０００２】

【従来の技術】従来より、種々の動画像符号化方式が提
案されており、その一例として、図５に示すようなもの
が知られている。即ち、この従来の動画像符号化装置は
、減算部１０１，直交変換部１０２，量子化部１０３，
ＶＬＣ部１０４，バッファ部１０５，逆量子化部１０６
，逆直交変換部１０７，加算器１０８，及び予測部１０
９で構成されている。

【０００３】このような構成の動画像符号化装置にあっ
ては、減算部１０１により、入力画像信号ｘが、動き補
償を行なう予測部１０９に於いて予測された画像ｘ’と
減算され、予測誤差信号ε＝ｘ−ｘ’が得られる。この
予測誤差信号εは、直交変換部１０２により直交変換さ
れた後、量子化部１０３により量子化されて量子化信号
ｑとされ、さらにＶＬＣ部１０４で符号化される。その
後、バッファ部１０５より伝送路に出力される。ここで
、直交変換部１０２に於ける直交変換方式としては離散
コサイン変換が、またＶＬＣ部に於ける符号化方式とし
ては、エントロピー符号化であるハフマン符号化が考え
られる。

【０００４】一方、加算器１０８に於いて、量子化信号
ｑを逆量子化部１０６にて逆量子化し、さらにそれを逆
直交変換部１０７にて逆直交変換した信号と、１フレー
ム前の予測信号ｘ’とが加算され、その値が局部復号出
力ｘＳ　として出力される。この局部復号出力ｘＳ　が
、予測部１０９に於いて１フレーム遅延された後、新た
に動き補償された予測信号ｘ’として出力される。

【０００５】前述した予測部１０９では、入力される原
画像のｍ×ｎ画素にブロック分割された前フレーム，現
フレーム，及び後フレームより、各ブロック毎の動ベク
トルを検出し、動ベクトル及び当該予測部１０９へ入力
される局部復号信号ｘＳ　に基づき、現フレームの動き
補償が行なわれている。このとき、動ベクトル検出をブ
ロックマッチングにより求めて動き補償する場合、予測
された画像信号にブロック歪みが生じることがあり、こ
のブロック歪みを除去することが要望されている。

【０００６】このような理由から例えば、特開昭６３−
２０８３８２号公報に記載されているように、隣接する
ブロックの動ベクトルの相関性を用いて、フィルタリン
グの有無の制御を行なっている。同方式は、相関性が高
い場合、フィルタリングを行なわないため、画像全体の
解像度の低下を防ぐことができる。

【０００７】

【発明が解決しようとする課題】しかしながら、前述し
たような公報に記載の従来例によると、隣接するブロッ
クの動ベクトルの相関性のみでフィルタリングの制御を
行なっているため、ブロック歪みが発生しない状態で、
発散している動きについてもフィルタリングが行われる
。従って、歪み除去の不必要な領域に於いてもフィルタ
リングがなされ、画像の必要以上の解像度低下を引き起
こす。

【０００８】本発明は上記の点に鑑みてなされたもので
、動き補償によりブロック歪みが生じ易い領域のみを検
出し、同領域についてのみフィルタリングを行ない、解
像度の低下を最小限に抑圧し最適なブロック歪み除去の
動作を行なうようにすることにより、常に最適なフィル
タリングを行なうことができ、画質を向上し得る動画像
符号化装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記のような目的を達成
するために、本発明による動画像符号化装置は、動き補
償により、フレーム画像を予測する動画像符号化装置で
あって、特に、動ベクトルを決定する際に、判断基準と
なる評価関数を算出し、この評価関数に基づいて動ベク
トルを検出する動ベクトル検出手段と、上記動ベクトル
検出手段により検出された動ベクトルに従って予測フレ
ームを作成する予測フレーム作成手段と、上記動ベクト
ル検出手段からの動ベクトルと評価関数とにより、上記
予測フレーム作成手段で作成された予測フレームのフィ
ルタリングを適応的に行なうフィルタリング手段とを備
えているものである。

【００１０】

【作用】即ち、本発明の動画像符号化装置によれば、前
フレーム，現フレーム，後フレームについて、ｍ×ｎ画
素により構成されるブロックに分割し、前記フレームよ
り、各ブロックの動ベクトルを決定する際、動ベクトル
検出手段により、判断基準となる評価関数を算出すると
共に、この評価関数に基づいて動ベクトルを検出し、予
測フレーム作成手段により、この検出した動ベクトルに
従って予測フレームを作成し、フィルタリング手段によ
って、上記動ベクトルと評価関数とにより、上記予測フ
レームのフィルタリングを適応的に行なう。

【００１１】

【実施例】以下、図面を参照して本発明の実施例を説明
する。

【００１２】図１は、本発明の動画像符号化装置の第１
の実施例の構成を示す図で、動ベクトル検出部１と、フ
レーム予測部２と、フィルタ処理部３で構成されている
。即ち、動ベクトル検出部１は、入力画像を、前フレー
ム，現フレーム，後フレームについて、ｍ×ｎ画素によ
り構成されるブロックに分割し、これらのフレームより
、各ブロックの動ベクトルを決定する際に、判断基準と
なる評価関数を算出し、またこの評価関数に基づいて動
ベクトルを検出する。そして、評価関数の評価値と動ベ
クトルの情報を出力する。フレーム予測部２は、動ベク
トル検出部１からの動ベクトル情報に従って予測フレー
ムを作成し、その予測フレームを画像信号として出力す
る。フィルタ処理部３は、上記動ベクトル検出部１から
の動ベクトル情報と評価関数の評価値とにより、上記フ
レーム予測部２から画像信号として与えられた予測フレ
ームのフィルタリングを適応的に行ない、その結果を出
力画像として出力する。

【００１３】図２は、本発明の動画像符号化装置の第２
の実施例のブロック構成図である。この動画像符号化装
置は、フレームメモリ１１〜１６、動ベクトル検出部１
７、動き補償部１８、制御部１９、及びフィルタ部２０
で構成されている。

【００１４】フレームメモリ１１は過去のフレーム（前
フレーム）を記憶し、フレームメモリ１２は現在のフレ
ーム（現フレーム）を記憶し、フレームメモリ１３は未
来のフレーム（後フレーム）を記憶するものである。フ
レームメモリ１４は、前フレームの局部復号画像を記憶
し、フレームメモリ１５は、後フレームの局部復号画像
を記憶する。動き補償部１８は、動ベクトル及び局部復
号画像により、現フレームを予測する。フレームメモリ
１６は、この動き補償部１８にて予測されたフレームを
記憶する。制御部１９は、上記予測フレームに対しフィ
ルタ処理を行なうか否かを判断し、その結果を制御信号
として出力する。そして、フィルタ部２０は、上記制御
部１９からの制御信号に応答して、上記フレームメモリ
１６に記憶された予測フレームにフィルタ処理を施こす
。

【００１５】動ベクトル検出部１７では、フレームメモ
リ１２及び１１に記憶された現フレームと前フレームと
の間でブロックマッチングにより、現フレームの注目ブ
ロックと前フレームの参照ブロックとマッチングをとる
。

【００１６】ここで、その一手法として、差分の絶対値
和がある。この手法は、注目ブロックの画素と参照ブロ
ックの画素との間で差分をとり、その絶対値和が最小と
なるブロック、即ち最小誤差が得られる参照ブロックを
選択し、この参照ブロックと注目ブロックとの間の位置
的なずれを動ベクトルとして求めるものである。そして
、動ベクトル検出部１７は、このような処理を、フレー
ムメモリ１２，１３に記憶された現フレームと後フレー
ムとの間についても同様に行なう。

【００１７】従って、この動ベクトル検出部１７では、
前方向及び後方向の動ベクトルと評価関数値（差分の絶
対値和）がそれぞれ求められることになり、さらにその
結果から、前方向の動ベクトルの評価関数値と後方向の
動ベクトルの評価関数値を比較し精度のよい動ベクトル
を選択する。例えば、前方向側の評価関数値が小さい場
合、前方向の動ベクトルのほうが精度が良いと判定され
る。

【００１８】以上のような処理が動ベクトル検出部１７
で行なわれ、処理結果を、動ベクトル情報，評価関数値
（評価値），及び採用されたベクトルの情報（ベクトル
フラグ信号（例えば、採用されたベクトルは前フレーム
と現フレームとの間で求められたものということを示す
フラグ信号））として、動き補償部１８及び制御部１９
へ出力される。なお、評価関数値が前方向後方向共に等
しい場合には、前方向の動ベクトル及び後方向の動ベク
トルの両者を送ることになる。

【００１９】動き補償部１８では、動ベクトル検出部１
７より出力される動ベクトル情報，評価関数値，及びベ
クトルフラグ信号に基づき、注目ブロックの動き補償が
行なわれる。例えば、ベクトルフラグ信号が前フレーム
を示すならば、フレームメモリ１４に記憶されている前
フレームの局部復号画像信号を取り込み、動ベクトル検
出部１７からの動ベクトルに従がって、注目ブロックの
動き補償を行なう。動き補償後の予測フレームは、フレ
ームメモリ１６へ送られ、一時的に記憶される。

【００２０】一方、制御部１９では、上記動ベクトル検
出部１７からの動ベクトル情報及び評価関数値の情報に
基づきフィルタ処理を行なうか否かを判断し、その判断
結果をフィルタ部２０に出力する。

【００２１】上記制御部１９は、図３の（Ａ）に示すよ
うに、メモリ１９１ａ，１９１ｂ、加算器１９２ａ，１
９２ｂ、カウンタ１９３ａ，１９３ｂ、比較器１９４ａ
，１９４ｂ、及び論理積回路１９５で構成されている。以下、このような構成の制御部１９の動作を、図３の（
Ｂ）及び（Ｃ）の概念図をもとに説明する。

【００２２】動き補償によるブロック歪みは、実際の画
像の動きの有無にか係わらず、参照ブロックが似かよっ
た画像信号の領域に発生し易いという傾向にある。さら
に、画像の動領域のエッジ付近では、同一方向の移動に
も係わらず、ベクトル検出時には、注目ブロックの動ベ
クトルに対し参照ブロックの動ベクトルが発散する現像
が生じ、ブロック歪み発生の原因となる。そこで、注目
ブロックと参照ブロックとの画像信号の類似度を動ベク
トル検出時の評価関数値で示し、また、注目ブロックと
参照ブロックとの間に於ける動ベクトルの発散度を動ベ
クトルの状態から算出する。

【００２３】図３の（Ｂ）及び（Ｃ）に示されるように
、注目ブロック２１と同一位置にある参照ブロックの評
価関数値をａ０　、そのブロックの動ベクトルをｖＯ　
とし、また注目ブロック２１の近傍に位置する参照ブロ
ックの評価関数値をａｉ　、そのブロックの動ベクトル
をｖｉ　とするとき、動き補償によるブロック歪み発生
の判定基準を以下の式で定義する。

【００２４】

【数１】

【００２５】

【数２】ただし、Ｔｈ１　，Ｔｈ２　はそれぞれ、予め設定され
ている閾値である。

【００２６】図３の（Ａ）に示されるように、注目ブロ
ック２１と同一位置にあるブロックの評価関数値ａ０　
をメモリ１９１ａへ入力し記憶させる。次に、他の参照
ブロックの評価関数値ａ１　を加算器１９２ａへ入力し
、メモリ１９１ａからａ０　値を呼び出し（ａ０　−ａ
１）なる演算が行なわれ、その結果がカウンタ１９３ａ
で絶対値化されて、その値が蓄えられる。同様に、他の
参照ブロックの評価関数値ａｉについても加算器１９２
ａへ入力後、（ａ０　−ａｉ　）なる演算をした後、カ
ウンタ１９３ａで絶対値化し、以前に入力された値に加
算する。これらの動作を、ａ１　からａ８　まで行ない
、比較器１９４ａに於いて、それまでカウンタ１９３ａ
でカウントされた値Σαと、閾値Ｔｈ１と比較し、

【００２７】

【数３】の条件を満たすとき、似かよったブロックが存在してい
ると判断し、出力信号“１”を出力する。

【００２８】動ベクトル情報についても、上記評価関数
値情報に於ける処理と同様の処理をメモリ１９１ｂ，加
算器１９２ｂ，カウンタ１９３ｂ，及び比較器１９４ｂ
を用いて行なう。ただし、比較器１９４ｂに於いて、カ
ウンタ１９３ｂにてカウントされた値Σβと閾値Ｔｈ２
　とを比較し、

【００２９】

【数４】

【００３０】の条件を満たすとき、ベクトルが発散して
いるものと判断して、出力信号“１”を出力する。なお
、本実施例では、参照ブロックを注目ブロックと接して
いるブロックとして扱ったが、実際には、これらに限ら
れるものではない。

【００３１】そして、論理積回路１９５では、両比較器
１９４ａ，１９４ｂの出力結果からフィルタ動作の有無
を判定する。即ち、注目ブロックに対し、復数の参照ブ
ロックが似かよったパターンを持ち（比較器１９４ａの
出力信号が“１”）、且つ注目ブロックの動ベクトルに
対し、復数の参照ブロックの動ベクトルが発散している
（比較器１９４ｂの出力信号が“１”）場合にのみ、ブ
ロック歪み除去のフィルタリングが必要と判定し、論理
積回路１９５から制御信号“１”がフィルタ部２０に対
し出力される。

【００３２】フィルタ部２０へは、フレームメモリ１６
より予測された画像信号がブロック単位で送られ、同時
に制御部１９より制御信号が送られる。フィルタ部２０
では、上記制御信号が“１”のとき、該当ブロックに対
し、フィルタリングが行なわれる。ここで、フィルタ部
２０にて行なわれるフィルタ方式としては、大別すると
以下の方法が挙げられる。（１）コンボリューションフィルタ（ローパス）（２）
ＦＦＴ面でのフィルタリング（３）信号の連続性を保つような置換処理具体的な例を
図４（Ａ）乃至（Ｄ）を参照して説明する。

【００３３】今、フレームメモリ１６からの予測フレー
ムが図４の（Ａ）に示すように、１ブロックが８×８画
素で構成される４×３ブロックにより構成されているも
のとする。図４の（Ｂ）は、８×８画素で構成されるブ
ロック（例えば、ブロック２２）内の注目する画素２３
について、その輝度レベルに関し、注目画素２３の位置
情報（ｘ，ｙ）より重みづけを行なう方法である。また
、図４の（Ｃ）は、図４の（Ａ）中に参照番号２４で示
すようなブロック境界付近の両ブロックの輝度レベルの
平滑化を行なう方法である。図４の（Ｄ）は、ブロック
の外挿処理を行なう方法である。このように、ブロック
歪みを除去するフィルタリング処理について多種の方式
が考えられ、本発明に於いては、いずれの方式を用いて
もかまわない。

【００３４】以上のように、動ベクトル検出時の評価関
数値と動ベクトルとの情報によりフィルタリングの制御
を行なっているため、不必要な歪み除去を防止し、常に
最適なフィルタリングを行なうことができる。

【００３５】

【発明の効果】以上詳述したように、本発明によれば、
動き補償によりブロック歪みが生じ易い領域のみを検出
し、同領域についてのみフィルタリングを行ない、解像
度の低下を最小限に抑圧し最適なブロック歪み除去の動
作を行なうようにすることにより、常に最適なフィルタ
リングを行なうことができ、画質を向上し得る動画像符
号化装置を提供することができる。

【００３６】即ち、本発明によれば、動ベクトル検出時
の評価関数値と動ベクトルとの情報によりフィルタリン
グの制御を行なうため、不必要な歪み除去を防止し、常
に最適なフィルタリングを行なうことができる。従って
、画質が向上するという効果が得られる。

【図面の簡単な説明】

【図１】本発明の動画像符号化装置の第１の実施例のブ
ロック構成図である。

【図２】本発明の動画像符号化装置の第２の実施例のブ
ロック構成図である。

【図３】（Ａ）は図２中の制御部のより詳細なブロック
構成図であり、（Ｂ）及び（Ｃ）はそれぞれ図３の（Ａ
）の制御部の動作を説明するための参照ブロックの評価
関数値及び動ベクトルを示す図である。

【図４】（Ａ）は予測フレームのブロック分けを説明す
るための図、（Ｂ）乃至（Ｄ）はそれぞれ図４の（Ａ）
の予測フレームに対する異なるフィルタ方式を説明する
ための図である。

【図５】従来の動画像符号化装置のブロック構成図であ
る。

【符号の説明】

１，１７…動ベクトル検出部、２…フレーム予測部、３
…フィルタ処理部、１１〜１６…フレームメモリ、１８
…動き補償部、１９…制御部、２０…フィルタ部。

Claims

【特許請求の範囲】

【請求項１】　　動き補償により、フレーム画像を予測
する動画像符号化装置に於いて、動ベクトルを決定する
際に、判断基準となる評価関数を算出し、この評価関数
に基づいて動ベクトルを検出する動ベクトル検出手段と
、上記動ベクトル検出手段により検出された動ベクトル
に従って予測フレームを作成する予測フレーム作成手段
と、上記動ベクトル検出手段からの動ベクトルと評価関
数とにより、上記予測フレーム作成手段で作成された予
測フレームのフィルタリングを適応的に行なうフィルタ
リング手段と、を具備することを特徴とする動画像符号
化装置。