JPH0767112A - 動きベクトル検出方法 - Google Patents

Abstract

(57)【要約】 【目的】 動画像符号化効率を向上する。 【構成】 着目ブロックデータと前画面画像データとの
誤差Ｅ_rr（ｉ，ｊ）が最小になるｉ，ｊを動きベクトル
Ｓ３として出力する際に、現フレーム画像データＳ２と
前フレーム画像データＳ９とのフレーム間差分データ絶
対値Ｓ３０を差分絶対値計算部３０で求める。差分絶対
値比較部３２では、差分データ絶対値Ｓ３０と、差分絶
対値格納部３１から出力されるフレーム間差分データ絶
対値算出画像の周辺画素における差分データ絶対値Ｓ３
１とを入力し、該差分データ絶対値Ｓ３０が所定の閾値
より小、かつ該差分データ絶対値Ｓ３１に対する変動が
小さい場合には、誤差Ｅ_rr（ｉ，ｊ）の総和値に含めな
いようにする。これにより、符号化効率を向上させる動
きベクトルＳ３の検出が行える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像符号化装置を用
いた動画像符号化方法における動きベクトル検出方法に
関するものである。

【０００２】

【従来の技術】動画像符号化方法は、動画像を情報圧縮
して通信回線へ転送したり、あるいはハードディスク等
の蓄積媒体へ格納する技術であり、例えば、次のような
文献に記載されている。 文献１；吹抜敬彦著「ＴＶ画像の多次元信号処理」第１
版（昭６３）日刊工業新聞社、Ｐ．２０１−２０７ 文献２；オフトロニクス、［５］（１９９２）オプトロ
ニクス社、Ｐ．６９−７９ 動画像符号化方法の基本的な内容は、前記文献１に記載
されており、それを図２〜図６を用いて以下説明する。
図２は、前記文献１，２等に記載された従来の標準的な
動画像符号化装置の一構成例を示す機能ブロック図であ
る。この動画像符号化装置は、例えばプロセッサ等で構
成されるもので、アナログのビデオ信号Ｓ０をディジタ
ルビデオデータＳ１に変換するアナログ／ディジタル変
換部（以下、Ａ／Ｄ変換部という）１を有し、その出力
側には読み書き可能なメモリ（以下、ＲＡＭという）２
が接続されている。ＲＡＭ２の出力側には、現フレーム
画像データ（入力フレーム画像データ）Ｓ２と前フレー
ム画像データ（参照フレーム画像データ）Ｓ９とに基づ
いて動きベクトルＳ３を検出する動きベクトル検出部３
が接続され、さらにその出力側に離散コサイン変換部４
が接続されている。

【０００３】離散コサイン変換部４は、現フレーム画像
データＳ２、前フレーム画像データＳ９、及び動きベク
トルＳ３に基づき、コサイン変換データＳ４を出力する
機能を有し、その出力側に量子化部５が接続されてい
る。量子化部５は、コサイン変換データＳ４を量子化し
て量子化データＳ５を出力する機能を有し、その出力側
に可変長符号化部１０及び逆量子化部６が接続されてい
る。可変長符号化部１０は、量子化データＳ５を符号化
して符号化データＳ１０を出力する機能を有している。
逆量子化部６は、量子化データＳ５を逆量子化して逆量
子化データＳ６を出力する機能を有し、その出力側に逆
離散コサイン変換部７が接続ている。逆離散コサイン変
換部７は、逆量子化データＳ６のコサイン変換を行って
逆コサイン変換データＳ７を出力するもので、その出力
側に加算器８が接続されている。加算器８は、前フレー
ム画像データＳ９と逆コサイン変換データＳ７とを加算
してその加算結果を前フレーム画像データ記憶部９に出
力する回路である。前フレーム画像データ記憶部９は、
加算器８の加算結果を記憶して前フレーム画像データＳ
９を出力する回路である。

【０００４】図３は図２で用いるフレーム画像データの
例を示す図、図４（ａ），（ｂ）は図２中の動きベクト
ル検出部３の説明図、図５は図２中の濃度データから復
号濃度データの生成方法を示す図、及び図６は前記文献
２に記載されているように量子化された離散コサイン変
換係数のランレングス値と符号長の関係を示す図であ
る。これらの図を参照しつつ、図２の動画像符号化装置
を用いた従来の動画像符号化方法を説明する。図２にお
いて、例えばビデオ再生装置から出力されたアナログの
ビデオ信号Ｓ０が、Ａ／Ｄ変換部１でディジタルビデオ
データＳ１に変換されてＲＡＭ２に記憶される。ＲＡＭ
２に記憶されたビデオデータは、１フレーム単位で動き
ベクトル検出部３又は離散コサイン変換部４の要求に基
づき読み出される。ＲＡＭ２から読み出されたフレーム
画像データに対する符号化処理は、現フレーム画像デー
タＳ２と前フレーム画像データＳ９の両方を用いて次の
ように処理される。フレーム画像データの例を示す図３
において、１フレーム画像データは例えば１走査線当り
の画素数が約７２０画素（輝度成分）で、走査線数が約
４８０ラインで構成されている。更に、輝度成分の１／
２の密度で約３６０画素の色成分画素が存在する。その
ため、１フレーム画像データに含まれる画素数は、約４
８０ライン×（約７２０画素＋約３６０画素）＝約５１
８４００画素となる。フレーム画像データの周期は、例
えば３０Ｈｚ（約３３．３msec）とする。

【０００５】現フレーム画像データＳ２と前フレーム画
像データＳ９とが動きベクトル検出部３へ入力される
と、該動きベクトル検出部３では、入力された現フレー
ム画像データＳ２と前フレーム画像データＳ９とを比較
して両画像間の動きベクトルＳ３を検出し、それを離散
コサイン変換部４へ送る。この動きベクトルの検出方法
を、図４を用いて説明する。現フレーム画像データＳ２
は、図４中の破線で表すように、いくつかのブロックに
分割されている。動きベクトル検出処理は、この分割さ
れたブロック毎に独立に行われる。例えば、現フレーム
画像データ濃度を関数ｆ（ｘ，ｙ，ｔ）（但し、ｘ；水
平方向座標値、ｙ；垂直方向座標値、ｔ；フレーム番
号）とする。前フレーム画像データ濃度を関数ｆ（ｘ，
ｙ，ｔ−τ）（但し、τ；正の整数で通常は１）で表
す。ある１つの着目ブロックが存在する水平方向存在範
囲をｘｓ〜ｘｅとし、垂直存在範囲をｙｓ〜ｙｅとする
時、この着目ブロック内の画像データと誤差の小さい領
域を前画面画像データより検出する。前画面画像データ
中の探索範囲は、図４に示すように、着目ブロック位置
の上下左右のｄ画素の範囲とする。この着目ブロックデ
ータと前画面画像データとの誤差Ｅｒｒ（ｉ，ｊ）は、
例えば次式（１）で表すことができる。この誤差Ｅｒｒ
（ｉ，ｊ）が最小になるｉ，ｊを動きベクトルＳ３とし
て出力する。図４の例では、Ｐ１〜Ｐ２間のベクトルが
求められる。

【数１】 離散コサイン変換部４では、現フレーム画像データＳ
２、前フレーム画像データＳ９、及び動きベクトルＳ３
を入力し、画像濃度データの周波数スペクトルデータへ
の変換を行う。図４に示す着目ブロックの画像データに
対して、例えばブロックの大きさを８×８画素とした場
合、関数Ｆ（ｕ，ｖ，ｔ）は次式（２）のように表され
るので、離散コサイン変換部４では、（２）式によって
コサイン変換データＳ４を算出することができる。

【数２】 （２）式に従い、図５に示すように、現フレーム画像デ
ータＳ２である濃度データは、周波数スペクトルデータ
に変換される。例えば、濃度データの階調を８ビットと
すると、コサイン変換データＳ４は１２ビット程度の階
調とするのが一般的である。離散コサイン変換部４での
離散コサイン変換は、（２）式で表すように、現フレー
ム画像データＳ２と前フレーム画像データＳ９の濃度差
分に対して行うことが基本であるが、（１）式の誤差Ｅ
_rr(ｉ，ｊ)の値が大（即ち、誤差が大で）、動きベクト
ル検出処理が充分に発揮できない場合等には、現フレー
ム画像データＳ２に対して行われる。（２）式から算出
される結果は、通常の画像に対しては低周波成分の値が
大で、高周波成分の値が小となる傾向を持つ。離散コサ
イン変換部４から出力されたコサイン変換データＳ４が
量子化部５へ送られると、該量子化部５では、該コサイ
ン変換データＳ４を量子化する。例えば、１２ビットデ
ータの下位４ビットを取り除いて、上位８ビットデータ
とする。このデータを量子化データＳ５とし、逆量子化
部６及び可変長符号化部１０へ送られる。この量子化処
理により、高周波成分の中でさほど大きな値を持たない
成分がほとんど０となる。可変長符号化部１０では、量
子化データＳ５を入力すると、その量子化された周波数
スペクトルデータを低周波成分から順番に、図５に示す
ように、ジグザク走査して可変長符号化を行う。この符
号化は、例えば０の値が続く長さ（ラン数）、０でない
成分の値、０ラン数、０でない成分の値、・・・という
ように符号化する方法である。可変長符号化されたデー
タは、符号化データＳ１０として出力される。

【０００６】図６は、ランレングス化されたデータと割
り当てられる符号長の関係を示すものである。この図に
示すように、ジグザク走査を行った場合、低周波成分の
データでランが小である頻度が高く、０でない高周波成
分のデータは存在する確率が低い。そのため、発生確率
が高いデータに対しては短い符号長、発生確率が低いデ
ータに対しては長い符号長を割当てることにより、圧縮
効率を向上させることができる。一方、量子化部５から
出力された量子化データＳ５に基づき、前フレーム画像
データＳ９が次のようにして生成される。即ち、量子化
データＳ５が逆量子化部６へ送られると、該逆量子化部
６では、入力された量子化データＳ５をコサイン変換デ
ータＳ４と同じ符号長に変換する。図５の例では、８ビ
ットデータの上位８ビットのデータに、下位４ビットの
データを追加し、逆量子化データＳ６を生成して逆離散
コサイン変換部７へ送る。逆離散コサイン変換部７で
は、次式（３）によって逆コサイン変換データＳ７を算
出する。

【数３】 この（３）式で算出された逆コサイン変換データＳ７と
前フレーム画像データＳ９とが、加算器８て加算され、
次フレーム処理時に使用する前フレーム画像データＳ９
として前フレーム画像データ記憶部９に格納される。前
フレーム画像データ記憶部９に格納された前フレーム画
像データＳ９は、動きベクトル検出部３及び離散コサイ
ン変換部４へ送られる。以上のように、従来の動画像符
号化方法では、動きベクトル検出部３で検出された動き
ベクトルＳ３を参照し、フレーム間差分画像に対して離
散コサイン変換部４で離散コサイン変換を行うことを基
本として符号化を行っている。

【０００７】

【発明が解決しようとする課題】しかしながら、従来の
動画像符号化方法における動きベクトル検出方法では、
次のような問題があり、それを解決することが困難であ
った。従来の動きベクトル検出方法では、（１）式の結
果が最小となる場所を動きベクトルＳ３として検出し、
その検出された動きベクトルＳ３で参照される前画面画
像データとのフレーム間差分データを符号化した場合、
動きベクトルＳ３自体は画像の動きに正確に沿って検出
されたものであっても、符号化データＳ１０のデータ長
が大となってしまうことがある。この問題を、図７
（ａ），（ｂ）を用いて説明する。 （１）式において、例えば ｘｅ−ｘｓ＋１＝８ ｙｅ−ｙｓ＋１＝８ とする。図７（ａ），（ｂ）は、（１）式における誤差
Ｅ_rr(ｉ，ｊ)を算出する際のフレーム間差分絶対値 ｜ｆ（ｘ，ｙ，ｔ）−ｆ（ｘ＋ｉ，ｙ＋ｊ，ｔ−τ）｜ の分布例を示すものである。

【０００８】図７（ａ）の分布例では、数箇所で前画面
画像データと一致しない部分があるが、全体的にはほぼ
一致しており、（１）式を実行した場合、その値が小さ
くなる。図７（ｂ）の分布例では、全体的に前画面画像
データとは一致せず、（１）式を実行した場合、その値
が大きくなる。そのため、図７（ａ）の場合が動きベク
トル検出部３で動きベクトルＳ３として検出される。そ
して、図７（ａ）に示すフレーム間差分データに対し
て、離散コサイン変換部４、量子化部５、及び可変長符
号化部１０の各処理を行い、符号化データＳ１０を出力
する。ところが、図７（ａ）に示すフレーム間差分デー
タに対する符号化による符号長は、決して短くはなら
ず、むしろ図７（ｂ）に示すフレーム間差分データに対
する符号化による符号長の方が短くなる。その理由は、
図７（ａ）に示すフレーム間差分データの周波数スペク
トルが高周波成分にも存在するので、図６に示すように
符号長が長いランレングスデータが出力される。これに
対し、図７（ｂ）に示すフレーム間差分データの周波数
スペクトルは、低周波成分に集中し、高周波成分には存
在しないので、符号長が長いランレングスデータが出力
されることはない。従って、本来の画像の動きを正確に
検出した動きベクトルＳ３で参照されるフレーム間差分
データが、符号化効率の向上へ貢献しない場合がある。
本発明は前記従来技術が持っていた課題として、符号化
効率劣化の点を解決し、動画像符号化効率を向上できる
動きベクトル検出方法を提供することを目的とする。

【０００９】

【課題を解決するための手段】第１の発明は、前記課題
を解決するために、時系列に入力される動画像データの
ある入力フレームの入力フレーム画像データと、該入力
フレーム前後のフレームの画像データを参照フレームの
画像データとして、該入力フレーム画像データと該参照
フレーム画像データとの両者を比較してその両画像デー
タ間の動きベクトルを検出し前記検出された動きベクト
ルで示される領域の前記参照フレーム画像データと前記
入力フレーム画像データとの差分データを利用して動画
像の符号化を行う動画像符号化方法において、次のよう
な処理によって動きベクトルを検出している。所定の大
きさのブロックの前記入力フレーム画像データに対し
て、第１の処理では、該着目ブロックと同位置の近傍領
域を前記参照フレームの探索領域とし、第２の処理で
は、該着目ブロックの前記入力フレーム画像データと、
前記探索領域の中からある１つの該着目ブロックと同じ
大きさの領域を決定し、該決定された領域の前記参照フ
レーム画像データ間の非類似度を算出する時、前記入力
フレーム画像データと前記参照フレーム画像データとの
各画素の濃度相違量を該着目ブロックの全ての画素に対
し算出する。この際、ある画素の濃度相違量が所定の閾
値より大であるという第１の条件と、該画素の濃度相違
量と該画素の近傍画素における濃度相違量との間の差が
所定の閾値より大であるという第２の条件とに対し、該
第１又は第２の条件のいずれか一方を満足する画素の前
記濃度相違量の総和を前記非類似度とする。そして、第
３の処理では、前記第２の処理を前記第１の処理で決定
された探索領域全てについて行い、第４の処理では、前
記探索領域内で前記非類似度の最小値を与える前記参照
フレーム中の領域アドレスと前記入力フレーム着目ブロ
ックアドレスとの差分を動きベクトルとする。前記第５
の処理では、前記非類似度の最小値を与えるブロックが
前記参照フレームの探索領域に複数存在する場合には前
記アドレス差分の絶対値が小となる値を動きベクトルと
して出力する。

【００１０】第２の発明では、第１の発明と同様の動画
像符号化方法において、次のような処理によって動きベ
クトルを検出している。即ち、所定の大きさのブロック
の前記入力フレーム画像データに対して、該着目ブロッ
クと同一の近傍領域を前記参照フレームの探索領域と
し、第１の処理では、該着目ブロックと同位置の近傍領
域を前記参照フレームの探索領域とし、第２の処理で
は、該着目ブロックの前記入力フレーム画像データと、
前記探索領域の中からある１つの該着目ブロックと同じ
大きさの領域を決定し、該決定された領域の前記参照フ
レーム画像データ間の非類似度を算出する時、前記入力
フレーム画像データと前記参照フレーム画像データとの
各画素の濃度相違量を毎々算出する。そして、ある画素
の濃度相違量が所定の閾値より大であるという第１の条
件と、該画素の濃度相違量と該画素の近傍画素における
濃度相違量との間の差が所定の閾値より大であるという
第２の条件とに対し、該第１及び第２の条件の両者を満
足する画素について、前記濃度相違量及び前記濃度相違
量間の差に対応した非類似付加値を算出する。但し、該
第１又は第２の条件のいずれか一方を満足しない場合
は、非類似付加値を０とする。そして、領域内の各画素
に対して算出した前記濃度相違量と前記非類似付加値と
の総和を前記非類似度とする。第３の処理では、前記第
２の処理を前記第１の処理で決定された探索領域全てに
ついて行う。第４の処理では、前記探索領域内で前記非
類似度の最小値を与える前記参照フレーム中の領域アド
レスと前記入力フレーム着目ブロックアドレスとの差分
を動きベクトルとして出力する。

【００１１】

【作用】第１の発明によれば、以上のように動きベクト
ル検出方法を構成したので、参照フレーム画像データ間
の非類似度、例えば前記（１）式による着目ブロックデ
ータと前画面画像データとの誤差Ｅ_rr(ｉ，ｊ)を算出す
る際に、濃度相違量（例えば、フレーム間差分データ絶
対値）が、所定の閾値より小、かつ該フレーム間差分デ
ータ絶対値算出画素の周辺画素における差分データ絶対
値に対する変動が小さい場合には、前記誤差Ｅ_rr(ｉ，
ｊ)の総和に含めないようにしている。これにより、符
号化効率を向上させる動きベクトルの検出が行える。第
２の発明によれば、参照フレーム画像データ間の非類似
度、例えば前記（１）式による着目ブロックデータと前
画面画像データとの誤差Ｅ_rr(ｉ，ｊ)を算出する際に、
濃度相違量（例えば、フレーム間差分データ絶対値）
が、所定の閾値より大、かつ該フレーム間差分データ絶
対値算出画素の周辺画素における差分データ絶対値に対
する変動が大きい場合には、所定の非類似付加値を前記
誤差Ｅ_rr（ｉ，ｊ）に加算し、その加算結果を誤差値と
することにより、高周波スペクトル成分が存在し易くな
る領域を動きベクトルとして検出しにくくしている。従
って、前記課題を解決できるのである。

【００１２】

【実施例】第１の実施例 図１は、本発明の第１の実施例の動きベクトル検出方法
を示すもので、例えば従来の図２の動画像符号化装置に
おける動きベクトル検出部３の機能ブロック図であり、
従来の図２中の要素と共通の要素には共通の符号が付さ
れている。この動きベクトル検出部は、現フレーム画像
データ（入力フレーム画像データ）Ｓ２と前フレーム画
像データ（参照フレーム画像データ）Ｓ９とに基づき差
分絶対値を計算する差分絶対値計算部３０を有し、その
出力側には差分絶対値格納部３１、差分絶対値比較部３
２、及び２入力ＡＮＤゲート３３が接続されている。差
分絶対値格納部３１は、差分絶対値計算部３０から出力
される差分絶対値Ｓ３０を格納し、周辺画素差分絶対値
（濃度相違量）Ｓ３１を出力する機能を有している。差
分絶対値比較部３２は、周辺画素差分絶対値Ｓ３１と差
分絶対値Ｓ３０とを比較し、その差分絶対値比較結果Ｓ
３２をＡＮＤゲート３３へ出力する機能を有している。
ＡＮＤゲート３３は、差分絶対値比較結果Ｓ３２と差分
絶対値Ｓ３０との論理積を求め、加算器入力データ（濃
度相違量の総和）Ｓ３３を出力する回路である。

【００１３】ＡＮＤゲート３３の出力側には、加算器３
４が接続されている。加算器３４は、加算器入力データ
Ｓ３３と差分絶対値総和Ｓ３５とを加算し、その加算結
果（非類似度）Ｓ３４を出力する回路であり、その出力
側に誤差格納部３５が接続されている。誤差格納部３５
は、加算結果Ｓ３４を入力して誤差を格納し、差分絶対
値総和Ｓ３５を出力する機能を有している。誤差格納部
３５の出力側には、最小誤差格納部３６、及び誤差比較
部３７が接続されている。また、ベクトル値Ｓ３８を発
生するベクトル値発生部３８が設けられ、その出力側に
誤差比較部３７、及び動きベクトル格納部３９が接続さ
れている。最小誤差格納部３６、誤差比較部３７、及び
動きベクトル格納部３９は、動きベクトルを出力するた
めの第４及び第５の処理を行うもので、そのうち最小誤
差格納部３６は、差分絶対値総和Ｓ３５を入力して最小
誤差を格納し、その最小誤差Ｓ３６を誤差比較部３７へ
与える機能を有している。誤差比較部３７は、差分絶対
値総和Ｓ３５、最小誤差Ｓ３６、ベクトル値Ｓ３８、及
び動きベクトルＳ３を入力し、誤差を比較して最小誤差
検出信号Ｓ３７を出力して最小誤差格納部３６及び動き
ベクトル格納部３９へ与える機能を有している。動きベ
クトル格納部３９は、ベクトル値Ｓ３８、及び最小誤差
検出信号Ｓ３７を入力し、動きベクトルＳ３を格納する
機能を有している。

【００１４】次に、図１の動きベクトル検出部を参照し
つつ、現フレームのある１つのブロックに対する動きベ
クトルを算出する処理手順を説明する。この処理手順は
大きく分けて、誤差算出処理（１）と動きベクトル算出
処理（２）とに分けられる。まず、動きベクトルＳ３の
算出を行うに先立ち、最小誤差格納部３６の出力は誤差
として考えられる最大値に初期設定されると共に、ベク
トル値発生部３８の出力は例えば（１）式における（−
ｄ，−ｄ）が初期設定される。 （１） 誤差算出処理 図１の差分絶対値計算部３０では、現フレーム画像デー
タＳ２と前フレーム画像データＳ９とを入力し、その両
者の差分絶対値Ｓ３０を算出し、差分絶対値格納部３
１、差分絶対値比較部３２、及びＡＮＤゲート３３へ送
る。差分絶対値格納部３１は、着目ブロックの各画素に
対する差分絶対値Ｓ３０を順次格納した後、それを周辺
画素差分絶対値Ｓ３１として差分絶対値比較部３２へ出
力する。差分絶対値比較部３２は、閾値との判定機能を
有し、差分絶対値Ｓ３０と、該差分絶対値Ｓ３０を算出
した画素の周辺画素で算出された周辺画素差分絶対値Ｓ
３１とを比較し、以下の（４），（５）式からなる条件
を満足する時に差分絶対値比較結果Ｓ３２として
“０”、満足しない時に“１”を出力し、ＡＮＤゲート
３３へ送る。

【数４】 即ち、差分絶対値比較部３２では、差分絶対値Ｓ３０が
小、かつ差分絶対値Ｓ３０と周辺画素における差分絶対
値Ｓ３１との差分が小なる条件を満足する時に“０”を
出力する。差分絶対値比較結果Ｓ３２と差分絶対値Ｓ３
０は、ＡＮＤゲート３３で論理積がとられ、その出力で
ある加算器入力データＳ３３が加算器３４へ送られる。
加算器３４では、差分絶対値比較結果Ｓ３２が“０”で
ある時は０、“１”である時は差分絶対値Ｓ３０をその
まま加算器入力データＳ３３として入力すると共に、誤
差格納部３５に格納されている差分絶対値総和Ｓ３５を
入力し、その両者を加算して加算結果Ｓ３４として誤差
格納部３５へ出力する。誤差格納部３５は、ある１つの
ベクトル値により示される前画面画像ブロックとの誤差
を順次格納するものであり、誤差算出前に予め“０”に
セットされた後、各画素の差分絶対値総和Ｓ３５を加算
器３４、最小誤差格納部３６、及び誤差比較部３７へ出
力する。つまり、加算器３４及び誤差格納部３５によ
り、現フレーム画像データ１ブロック分の画素と、１つ
のベクトル値により示される前画面画像データブロック
の画素との間の差分絶対値総和Ｓ３５を算出し、誤差算
出処理を終了する。

【００１５】（２） 動きベクトル算出処理 誤差比較部３７は、ある１つのベクトル値により示され
る前画面画像データブロックとの誤差算出が終了した
後、差分絶対値総和Ｓ３５と、該誤差算出直前までに算
出された最小誤差Ｓ３６とを比較し、差分絶対値総和Ｓ
３５が最小誤差Ｓ３６以下で、かつ動きベクトル格納部
３９から出力される動きベクトルＳ３の値より、ベクト
ル値発生部３８から出力されたベクトル値Ｓ３８の値が
小である時、最小誤差検出信号Ｓ３７を最小誤差格納部
３６、及び動きベクトル格納部３９へ出力する。最小誤
差格納部３６は、最小誤差検出信号Ｓ３７を入力した時
に、差分絶対値総和Ｓ３５を格納し、その内容を更新す
る。動きベクトル格納部３９は、最小誤差検出信号Ｓ３
７の入力時に、ベクトル値Ｓ３８を格納し、その内容を
更新する。ベクトル値発生部３８から発生されるベクト
ル値Ｓ３８は、前記誤差算出処理（１）、及び動きベク
トル算出処理（２）の終了後、次のベクトル値へ、ベク
トル値発生部３８によって例えば次のように更新され
る。

【数５】 以上説明したような手順により、誤差算出処理（１）、
及び動きベクトル算出処理（２）を前画面画像データの
全探索範囲について行う。これらの処理の終了時におけ
る動きベクトル格納部３９の内容を、現画面画像データ
の着目ブロックと前画面画像データ間の動きベクトルＳ
３として出力する。以上のように、本実施例では、図２
の動画像符号化方法において、離散コサイン変換部４に
おける離散コサイン変換係数出力が、低周波成分に発生
する確率が高く、最終的に符号量が小さくなる可能性が
高い領域を、優先的に動きベクトルＳ３として検出され
易い動きベクトル検出方法としたので、符号化効率が優
れた高性能な動画像符号化方法の実現が可能となる。

【００１６】第２の実施例 図８は、本発明の第２の実施例の動きベクトル検出方法
を示すもので、従来の図２の動画像符号化装置に設けら
れる動きベクトル検出部３の機能ブロック図であり、従
来の図２及び第１の実施例の図１中の要素と共通の要素
には共通の符号が付されている。この動きベクトル検出
部では、第１の実施例を示す図１中の差分絶対値比較部
３２及びＡＮＤゲート３３に代えて、付加値決定部４２
及び加算器４３を設けると共に、図１中の誤差比較部３
７を構成の異なる誤差比較部４７で置き換えた構成にな
っている。付加値決定部４２は、差分絶対値格納部３１
から出力される周辺画素差分絶対値（濃度相違量）Ｓ３
１と、差分絶対値計算部３０から出力される差分絶対値
Ｓ３０とを入力し、閾値との判定処理によって付加値
（非類似付加値）Ｓ４２を算出する機能を有し、その出
力側に加算器４３が接続されている。加算器４３は、付
加値Ｓ４２と差分絶対値Ｓ３０とを加算し、加算器入力
データＳ４３を出力して加算器３４へ与える回路であ
る。加算器３４は、加算器入力データＳ４３と、誤差格
納部３５から出力された差分絶対値総和Ｓ３５とを加算
し、加算結果（非類似付加値の総和）Ｓ３４ａを誤差格
納部３５へ出力する回路である。誤差比較部４７は、最
小誤差格納部３６から出力される最小誤差Ｓ３６と、差
分絶対値総和Ｓ３５との誤差比較を行って最小誤差検出
信号Ｓ４７を出力し、それを最小誤差格納部３６及び動
きベクトル格納部３９へ与える機能を有している。

【００１７】次に、図８の動きベクトル検出部を用い
て、現フレームのある１つのブロックに対する動きベク
トルＳ３を算出する手順を説明する。この手順は大きく
分けて、誤差算出処理（１）と動きベクトル算出処理
（２）とに分けられる。まず、動きベクトルＳ３の算出
に先立ち、第１の実施例と同様に、最小誤差格納部３６
の出力を、誤差として考えられる最大値に初期設定する
と共に、ベクトル値発生部３８の出力を、例えば（１）
式における（−ｄ，−ｄ）の初期設定を行う。

【００１８】（１） 誤差算出処理 差分絶対値計算部３０は、第１の実施例と同様に、現フ
レーム画像データＳ２と前フレーム画像データＳ９とを
入力し、それら両者の差分絶対値Ｓ３０を算出して差分
絶対値格納部３１、付加値決定部４２、及び加算器４３
へ出力する。差分絶対値格納部３１は、第１の実施例と
同様に、着目ブロックの各画素に対する差分絶対値を順
次格納した後、周辺画素差分絶対値Ｓ３１として付加値
決定部４２へ出力する。付加値決定部４２は、差分絶対
値Ｓ３０と、該差分絶対値Ｓ３０を算出した画素の周辺
画素で算出された周辺画素差分絶対値Ｓ３１とを比較
し、次式（７）〜（１１）、及び条件（ｉ），（ii）に
従い、付加値Ｓ４２を決定し、加算器４３へ出力する。 |ｆ（ｘ,ｙ,ｔ）−ｆ（ｘ＋ｉ,ｙ＋ｊ,ｔ−τ）|＞ＴＨＬ１ ・・・（７） |ｆ（ｘ,ｙ,ｔ）−ｆ（ｘ＋ｉ,ｙ＋ｊ,ｔ−τ）| −|ｆ（ｘ−１,ｙ,ｔ）−ｆ（ｘ＋ｉ−１,ｙ＋ｊ,ｔ−τ）|＞ＴＨＬ２ ・・・（８） |ｆ（ｘ,ｙ,ｔ）−ｆ（ｘ＋ｉ,ｙ＋ｊ,ｔ−τ）| −|ｆ（ｘ＋１,ｙ,ｔ）−ｆ（ｘ＋ｉ＋１,ｙ＋ｊ,ｔ−τ）|＞ＴＨＬ２ ・・・（９） |ｆ（ｘ,ｙ,ｔ）−ｆ（ｘ＋ｉ,ｙ＋ｊ,ｔ−τ）| −|ｆ（ｘ,ｙ−１,ｔ）−ｆ（ｘ＋ｉ,ｙ＋ｊ−１,ｔ−τ）|＞ＴＨＬ２ ・・・（10） |ｆ（ｘ,ｙ,ｔ）−ｆ（ｘ＋ｉ,ｙ＋ｊ,ｔ−τ）| −|ｆ（ｘ,ｙ＋１,ｔ）−ｆ（ｘ＋ｉ,ｙ＋ｊ＋１,ｔ−τ）|＞ＴＨＬ２ ・・・（11） 但し、ｉ，ｊ；ｘ方向，ｙ方向ベクトル値 ＴＨＬ１，ＴＨＬ２；所定の閾値 （ｉ） （７）式を満足し、かつ（８）式〜（１１）式
のいずれかを満足する場合、付加値Ｓ４２をＰとする
と、

【数６】 即ち、付加値決定部４２では、差分絶対値Ｓ３０が大、
かつ差分絶対値Ｓ３０と周辺画素における差分絶対値Ｓ
３１との差分が大なる条件を満足する時に、該差分絶対
値Ｓ３０と周辺画素における差分絶対値Ｓ３１との間の
差分に相当する付加値Ｓ４２を出力し、加算器４３へ送
る。加算器４３は、付加値Ｓ４２と差分絶対値Ｓ３０と
を加算し、その加算結果を加算器入力データＳ４３とし
て加算器３４へ出力する。加算器３４は、加算器入力デ
ータＳ４３と、誤差格納部３５に格納されている差分絶
対値総和Ｓ３５とを加算し、その加算結果Ｓ３４ａを誤
差格納部３５へ出力する。誤差格納部３５は、第１の実
施例と同様に、ある１つのベクトル値により示される前
画面画像データブロックとの誤差を順次格納するもので
あり、誤差算出前に予め“０”にセットされた後、各画
素の差分絶対値総和Ｓ３５を加算器３４、最小誤差格納
部３６、及び誤差比較部４７へ出力する。このように加
算器３４及び誤差格納部３５により、第１の実施例と同
様に、現フレーム画像データ１ブロック分の画素と１つ
のベクトル値により示される前画面画像データブロック
の画素間の差分絶対値総和Ｓ３５が算出され、誤差算出
処理を終了する。

【００１９】（２） 動きベクトル算出処理 誤差比較部４７は、第１の実施例と同様に、ある１つの
ベクトル値により示される前画面画像データブロックと
の誤差算出が終了した後、差分絶対値総和Ｓ３５と、該
誤差算出直前までに算出された最小誤差Ｓ３６とを比較
し、差分絶対値総和Ｓ３５が最小誤差Ｓ３６より小であ
る時、最小誤差検出信号Ｓ４７を最小誤差格納部３６、
及び動きベクトル格納部３９へ出力する。最小誤差格納
部３６、及び動きベクトル格納部３９は、第１の実施例
と同様の処理を行う。即ち、最小誤差格納部３６は、最
小誤差検出信号Ｓ４７の入力時に、差分絶対値総和Ｓ３
５を格納し、その内容を更新する。動きベクトル格納部
３９は、最小誤差検出信号Ｓ４７の入力時に、ベクトル
値発生部３８から発生されるベクトル値Ｓ３８を格納
し、その内容を更新する。ベクトル値Ｓ３８は、前記誤
差算出処理（１）、及び動きベクトル算出処理（２）の
終了後、例えば前記（６）式に示すように、次のベクト
ル値へ、ベクトル値発生部３８によって更新される。以
上述べた手順により、誤差算出処理（１）、及び動きベ
クトル算出処理（２）を前画面画像データの全探索範囲
について行う。これらの処理の終了時における動きベク
トル格納部３９の内容を、現画像データの着目ブロック
と前画像データ間の動きベクトルＳ３として出力する。
以上のように、本実施例では、従来の図２の動画像符号
化装置の離散コサイン変換部４における離散コサイン変
換係数出力が、高周波成分に発生する確率が高く、最終
的に符号量が大きくなる可能性が高い領域を、動きベク
トルＳ３として検出されにくいような動きベクトル検出
方法としたので、符号化効率が優れた高性能な動画像符
号化方法の実現が可能となる。

【００２０】なお、本発明は上記実施例に限定されず、
種々の変形が可能である。その変形例としては、例えば
次のようなものがある。 （ａ） 上記第１及び第２の実施例の誤差算出処理
（１）は、他の方法で誤差算出を行ってもよい。例え
ば、上記第１及び第２の実施例では、差分絶対値Ｓ３０
を用いたが、差分の２乗値等を用いることも可能であ
る。また、図１の差分絶対値比較部３２の動作で、シス
テムの簡略化のために、（５）式による上下左右の４画
素の差分絶対値ではなく、直前に算出された画素の差分
絶対値を用いても、大幅な性能劣化を招くものではな
い。あるいは、差分絶対値比較結果Ｓ３２が“０”のと
き、加算器入力データＳ３３を“０”ではなく、差分絶
対値Ｓ３０の１／２程度の値とする構成でも実現可能で
ある。同様に、図８の付加値決定部４２の動作で、シス
テムの簡略化のために、（８）式〜（１１）式による上
下左右の４画素の差分絶対値ではなく、直前に算出され
た画素の差分絶対値を用いても、大幅な性能劣化を招く
ものではない。 （ｂ） 上記第１及び第２の実施例の動きベクトル算出
処理（２）を図示以外の方法で処理したり、あるいは図
２の動画像符号化方法を他の処理内容に変更する等、種
々の変形が可能である。

【００２１】

【発明の効果】以上詳細に説明したように、第１の発明
によれば、例えば離散コサイン変換係数出力が、低周波
成分に発生する確率が高く、最終的に符号量が小さくな
る可能性が高い領域を、優先的に動きベクトルとして検
出され易い動きベクトル検出方法としたので、符号化効
率が優れた高性能な動画像符号化方法を実現できる。第
２の発明によれば、例えば離散コサイン変換係数出力
が、高周波成分に発生する確率が高く、最終的に符号量
が大きくなる可能性が高い領域を、動きベクトルとして
検出されにくいような動きベクトル検出方法としたの
で、符号化効率が優れた高性能な動画像符号化方法を実
現できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の動きベクトル検出方法
を説明するための動きベクトル検出部の機能ブロック図
である。

【図２】従来の動画像符号化装置の機能ブロック図であ
る。

【図３】図２のフレーム画像データの例を示す図であ
る。

【図４】図２中の動きベクトル検出部の説明図である。

【図５】図２中の濃度データから復号濃度データへの生
成方法を示す図である。

【図６】図２における量子化された離散コサイン変換係
数のランレングス値と符号長の関係を示す図である。

【図７】従来の問題点を説明するためのフレーム間差分
データの分布例を示す図である。

【図８】本発明の第２の実施例の動きベクトル検出方法
を説明するための動きベクトル検出部の機能ブロック図
である。

【符号の説明】

３ 動きベクトル検出部 ４ 離散コサイン変換部 ５ 量子化部 ６ 逆量子化部 ７ 逆離散コサイン変換部 ８，４３ 加算器 ９ 前フレーム画像データ記憶部 １０ 可変長符号化部 ３０ 差分絶対値計算部 ３１ 差分絶対値格納部 ３２ 差分絶対値比較部 ３３ ＡＮＤゲート ３４ 加算器 ３５ 誤差格納部 ３６ 最小誤差格納部 ３７，４７ 誤差比較部 ３８ ベクトル値発生部 ３９ 動きベクトル格納部 ４２ 付加値決定部 Ｓ２ 現フレーム画像データ（入力フレーム
画像データ） Ｓ３ 動きベクトル Ｓ９ 前フレーム画像データ（参照フレーム
画像データ） Ｓ１０ 符号化データ Ｓ３０ 差分絶対値 Ｓ３１ 周辺画素差分絶対値（濃度相違量） Ｓ３２ 差分絶対値比較結果 Ｓ３３ 加算器入力データ（濃度相違量の総
和） Ｓ３４ 加算結果（非類似度） Ｓ３４ａ 加算結果（非類似付加値の総和） Ｓ３５ 差分絶対値総和 Ｓ３６ 最小誤差 Ｓ３７，Ｓ４７ 最小誤差検出信号 Ｓ３８ ベクトル値 Ｓ４２ 付加値（非類似付加値） Ｓ４３ 加算器入力データ

フロントページの続き (72)発明者 原田 洋子 東京都港区虎ノ門１丁目７番12号 沖電気 工業株式会社内

Claims (2)

【特許請求の範囲】
1. 【請求項１】 時系列に入力される動画像データのある
   入力フレームの入力フレーム画像データと、該入力フレ
   ーム前後のフレームの画像データを参照フレームの画像
   データとして、該入力フレーム画像データと該参照フレ
   ーム画像データとの両者を比較してその両画像データ間
   の動きベクトルを検出し、 前記検出された動きベクトルで示される領域の前記参照
   フレーム画像データと前記入力フレーム画像データとの
   差分データを利用して動画像の符号化を行う動画像符号
   化方法において、 所定の大きさのブロックの前記入力フレーム画像データ
   に対して、 第１の処理では、該着目ブロックと同位置の近傍領域を
   前記参照フレームの探索領域とし、 第２の処理では、該着目ブロックの前記入力フレーム画
   像データと、前記探索領域の中からある１つの該着目ブ
   ロックと同じ大きさの領域を決定し、該決定された領域
   の前記参照フレーム画像データ間の非類似度を算出する
   時、 前記入力フレーム画像データと前記参照フレーム画像デ
   ータとの各画素の濃度相違量を該着目ブロックの全ての
   画素に対して算出し、 ある画素の濃度相違量が所定の閾値より大であるという
   第１の条件と、該画素の濃度相違量と該画素の近傍画素
   における濃度相違量との間の差が所定の閾値より大であ
   るという第２の条件とに対し、該第１又は第２の条件の
   いずれか一方を満足する画素の前記濃度相違量の総和を
   前記非類似度とし、 第３の処理では、前記第２の処理を前記第１の処理で決
   定された探索領域全てについて行い、 第４の処理では、前記探索領域内で前記非類似度の最小
   値を与える前記参照フレーム中の領域アドレスと前記入
   力フレーム着目ブロックアドレスとの差分を動きベクト
   ルとし、 第５の処理では、前記非類似度の最小値を与えるブロッ
   クが前記参照フレームの探索領域に複数存在する場合に
   は前記アドレス差分の絶対値が最小となる値を動きベク
   トルとして出力する、 ことを特徴とする動きベクトル検出方法。
2. 【請求項２】 時系列に入力される動画像データのある
   入力フレームの入力フレーム画像データと、該入力フレ
   ームの前後のフレームの画像データを参照フレームの画
   像データとして、該入力フレーム画像データと該参照フ
   レーム画像データとの両者を比較してその両画像データ
   間の動きベクトルを検出し、 前記検出された動きベクトルて示される領域の前記参照
   フレーム画像データと前記入力フレーム画像データとの
   差分データを利用して動画像の符号化を行う動画像符号
   化方法において、 所定の大きさのブロックの前記入力フレーム画像データ
   に対して、 第１の処理では、該着目ブロックと同位置の近傍領域を
   前記参照フレームの探索領域とし、 第２の処理では、該着目ブロックの前記入力フレーム画
   像データと、前記探索領域の中からある１つの該着目ブ
   ロックと同じ大きさの領域を決定し、該決定された領域
   の前記参照フレーム画像データ間の非類似度を算出する
   時、 前記入力フレーム画像データと前記参照フレーム画像デ
   ータとの各画素の濃度相違量を毎々算出し、 ある画素の濃度相違量が所定の閾値より大であるという
   第１の条件と、該画素の濃度相違量と該画素の近傍画素
   における濃度相違量との間の差が所定の閾値より大であ
   るという第２の条件とに対し、該第１及び第２の条件の
   両者を満足する画素について、前記濃度相違量及び前記
   濃度相違量間の差の大きさに対応した非類似付加値を算
   出し、かつ該第１又は第２の条件のいずれか一方を満足
   しない場合は該非類似付加値を０とし、領域内の各画素
   に対して算出した前記濃度相違量と前記非類似付加値と
   の総和を前記非類似度とし、 第３の処理では、前記第２の処理を前記第１の処理で決
   定された探索領域全てについて行い、 第４の処理では、前記探索領域内で前記非類似度の最小
   値を与える前記参照フレーム中の領域アドレスと前記入
   力フレーム着目ブロックアドレスとの差分を動きベクト
   ルとして出力する、 ことを特徴とする動きベクトル検出方法。