JPH0595544A - 画像データの動き量検出方法及び動き量検出回路 - Google Patents

Abstract

(57)【要約】 【目的】 本発明の目的は、２つの画像データ間の動き
量の検出方法における動き量の検出精度を向上させるこ
とである。 【構成】 現フレームの画像データと前フレームの画像
データとを近傍処理回路１１，１２に入力する。近傍処
理回路は、入力データをブロック単位で平均化する処理
を近傍の複数ブロックに対して行い、例えばブロックの
画素データ数と同等の数の平均値の集合を単位としたサ
ンプルデータを出力する。サンプルデータは複数ブロッ
クの画素データを集約して備える。すなわち、周辺画素
データの情報を内在する。これにより、後段回路で行わ
れる相関演算に際して比較されるべきブロックもしくは
代表点同士が大きく離れていても相関のあるブロックを
精度良く求めることができ、またデータの信号対雑音比
も良好にする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、２つの画像データ間の
動き量を多段検索形式で検出する方法並びにこれを用い
た動き量検出回に係り、更に詳しくは、信号対雑音比
（ＳＮ比）が良く、かつ演算速度を高速化できる画像デ
ータの動き量検出技術に関し、例えばテレビ電話システ
ムなど動画信号を処理する装置に適用して有効な技術に
関するものである。

【０００２】

【従来の技術】画像信号やテレビ（ＴＶとも記す）信号
をアナログ／ディジタル変換して画像処理する場合、大
量のデータを高速に処理しなければならない。二つの画
像データ間の相関を計算するには専用の大規模な回路が
必要とされ、また、ソフトウェアで計算する場合には膨
大な演算時間がかかるという問題があった。これに関し
て例えば、ＴＶ信号を高能率に符号化して記録したり伝
送する装置として例えば特開平１−２４３７９０号に記
載された『動き補償フレーム間予測符号化装置』があ
る。これは、（１）ＴＶ信号を標本化して画素とし、
（２）複数個の画素（例えば縦横各８画素）を１つのブ
ロックとし、（３）上記ブロックに最も類似しているブ
ロックを伝送済みのフレームのデータから少しずつ位置
をずらしながら探索し（以下、動き量検出法と呼ぶ）、
（４）上記の「位置ずれ量」と「動き補償の後の二つの
ブロック間の差分」を伝送する、夫々の処理を行うもの
である。この「動き補償フレーム間予測」の手法によ
り、広い周波数帯域を有するテレビ信号をディジタル信
号に変換して伝送する時の伝送速度を低減することがで
きると共に、演算速度を高速化することができるように
なる。

【０００３】前記（３）に示した動き量（または動きベ
クトル）検出法では２つのブロック間の相関を計算する
必要があるが、この検出法には大別して全探索方式と、
多段探索方式の二通りの手法が知られている。全探索方
式は、基準ブロックと探索すべき範囲内の全てのずれた
位置にあるブロックとを比較し、差分が最小となるブロ
ックの位置を動き量とするものである。多段検索方式
は、予め定められた数種類のずれた位置にあるブロック
（代表点）と基準ブロックを比較し、その中で最も類似
したブロックの周囲に最適なブロックがあると推定し、
さらにその周囲を細かく探索し、最終結果を動き量とす
るものである。

【０００４】

【発明が解決しようとする課題】上記の全探索方式と多
段検索方式の動き量検出方式には各々次のような問題点
がある。すなわち全探索方式は、その範囲内では最も類
似したブロックを選択できるが、比較するブロックの数
が非常に多くなるため処理時間が長くなり、動作速度が
問題となる。このため使用する回路の動作速度を高速化
するか、回路規模を増やして並列処理をしなければなら
ない等の問題があった。また、信号対雑音比（ＳＮ比）
が悪い場合には検出精度が悪くなる等の欠点もある。

【０００５】これに対して多段検索方式では、演算すべ
き対象のブロック数が少ないため処理時間を大幅に短縮
できるという利点があるが、動き量の検出精度が全探索
方式に比較して劣化するという問題があった。

【０００６】本発明の目的は、画像データに対する信号
対雑音比を良好にして画像データの動きを検出すること
ができる技術を提供することにある。また、本発明の別
の目的は、画像データの動きを検出するための演算速度
を高速化することができる画像データの動き量検出技術
を提供することにある。

【０００７】本発明の前記並びにその他の目的と新規な
特徴は本明細書の記述及び添付図面から明らかになるで
あろう。

【０００８】

【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば下記
の通りである。

【０００９】すなわち、多段検索方式の動き量検出にお
いて、予め定められた数種類のずれた位置にあるブロッ
クと比較する際に、近傍の画素との平均化処理などの演
算を行った後に相関を調べる演算を行うものである。さ
らに詳しくは、現フレームの画像データと前フレームの
画像データとの夫々をブロック単位で平均化し、その平
均化処理を近傍の複数ブロックに対して行い、例えばブ
ロックの画素データ数と同等の数の平均値の集合を単位
としたサンプルデータを生成する。サンプルデータは複
数ブロックの画素データを集約して備え、周辺画素デー
タの情報を内在する。データ代表点のブロックに関して
は、平均化処理により代表点の周囲の画像に関する性質
を保存した形で相関演算を行い、最も類似した代表ブロ
ックを決定する。さらに、この周囲に最適なブロックが
あるとしてその周囲を細かく探索する処理を繰り返す。
最終段階では平均化を行わず、画素単位で行うことがで
きる。演算速度の向上を企図する場合には、データ領域
内の画素データを間引いてサンプリングする処理を含め
た演算を採用することができる。

【００１０】

【作用】上記した手段によれば、相関演算されるべきデ
ータは画像信号が平均化された信号であり、代表点同士
が大きく離れている場合でも、相関判定に利用される平
均化処理された信号はブロックの周辺情報を含んでい
る。このことが、相関のあるブロックを精度良く求める
ことができるように働く。また、従来の多段探索法に比
較して、平均化する画素の数をｎとすると、相関のある
信号はｎ倍であるが雑音は√ｎ倍となるため、信号対雑
音比を√ｎ倍だけ向上した形で代表点の中から最も相関
のあるブロックを精度良く検出できる。

【００１１】

【実施例】図４には本発明を適用したＴＶ信号の動き補
償フレーム間予測符号化装置の一例が示される。

【００１２】ＴＶカメラ１０１で撮像されたＴＶ信号
は、走査線方向に走査され、アナログ／ディジタル変換
器１０２によりディジタル信号に変換された画素信号と
なる。さらに走査線／ブロック走査変換回路１０３によ
り複数画素単位に纏められてブロックとされ、一時記憶
メモリ１０４に格納される。一時記憶メモリ１０４から
読み出された基準データとしてのディジタルデータと、
伝送済みの前ＴＶフレームの信号を格納するフレームメ
モリ１０５から読み出された参照データとは、動き補償
回路１０６に供給される。動き補償回路１０６は参照デ
ータの中から基準データに相関のある若しくは類似する
データの領域を検索する。そして最も相関の高い位置か
ら動き量（動きベクトル）を算出する。算出された動き
量は制御回路１０７に与えられる。制御回路１０７は、
動き量を補償した位置にある前ＴＶフレーム画素データ
をフレームメモリ１０５から読出して、減算器１０８に
与える。読み出されたデータは、符号化すべき画素を予
測したデータとして位置づけられる。減算回路１０８は
動き補償後のフレーム間予測誤差を計算する。

【００１３】前記予測誤差は、そのまま、又は直交変換
器１０９により直交変換された後に量子化器１１０によ
り量子化され、可変長符号化回路１１１により発生頻度
に対応した長さの符号語が割り当てられる。一般に、予
測誤差が小さい場合には符号語長は短くなり、これが大
きい場合には、符号語長が長くなることが知られる。可
変長符号化回路１１１で符号化された信号は、上記の動
き量と共に伝送速度の平滑化用の先入れ先出し（ＦＩＦ
Ｏ）メモリ１１２に書き込まれる。ＦＩＦＯメモリ１１
２から符号化信号が一定の速度で読み出され、伝送路１
１３に送出される。前記量子化器１１０から出力される
量子化信号、或いは更にこれを逆直交変換回路１１４に
より逆直交変換した信号と、フレームメモリ１０５から
読出される動き補償予測信号とは、加算回路１１５によ
り加算された後に次のＴＶ画面を予測するためにフレー
ムメモリ１０５に書き込まれる。

【００１４】前記動き補償回路１０６は、前ＴＶフレー
ムから読み出す位置をずらすズレ量（動き量）を制御回
路１０７に与えて、動き量を補償した位置にある前ＴＶ
フレームの画素信号をフレームメモリ１０５から読み出
させる。

【００１５】ここで、後の説明を容易とするために、先
ず図３を用いて一般的な多段検索方式の画像データの動
き量検出の動作原理を簡単に述べる。

【００１６】図３に基準ブロック（Ａ）と探索領域
（Ｂ）を示す。例えば基準ブロック（Ａ）は現在のフレ
ームの一部のデータであり、探索領域（Ｂ）は１フレー
ム前の一部のデータとされる。ここでは１例として基準
ブロック（Ａ）を４×４画素、探索領域を１８×１８画
素とする。したがって、探索領域に対する探索は４×４
画素単位の参照データ単位で行われる。探索範囲は、ｘ
方向に−７〜＋７、ｙ方向に−７〜＋７とする。

【００１７】多段検索方式の第１ステップでは図３の
（Ｃ）に示すように、ｘ方向、ｙ方向ともに±４画素づ
つずれた位置に９個の代表点（１１１〜１１９）を採
り、この周りの４×４画素のデータを参照データとして
前記基準ブロック（Ａ）のデータと相関演算を行う。相
関演算としては、対応する基準ブロック（Ａ）の画素の
データＡ（ｉ，ｊ）（１≦ｉ，ｊ≦４）と、探索領域Ｂ
Ｂ（ｍ，ｎ）（１≦ｍ，ｎ≦１８）から選択された４×
４画素の参照データＢ（ｉ，ｊ）（１≦ｉ，ｊ≦４）と
の２乗誤差（または絶対値）を算出してブロック内での
積算値を計算すればよい。この結果を比較し、最小値と
なるブロックを求める。これにより、その位置の近傍に
最も相関のあるブロックがあると推定する。この説明で
は図３における（Ｃ）の代表点１１１の近傍に最も相関
のあるブロックがあるとする。

【００１８】多段検索方式の第２ステップでは図３の
（Ｄ）に示されるように第１ステップで求めた代表点の
近傍（１１１）で、ｘ方向、ｙ方向ともに±２画素ずれ
た位置に９個の代表点（１２１〜１２９）を採り、第１
ステップと同様な計算を行い、２乗誤差が最小となる位
置の近傍に最も相関のあるブロックがあると推定する。
尚、中心位置１２５に対する計算は既に行われているた
め省略してもよい。例えばこの第２ステップでは代表点
１２１の近傍に最も相関のあるブロックがあるとする。

【００１９】多段検索方式の第３ステップでは図３の
（Ｅ）に示すように、第２ステップで求めた代表点の近
傍（１２１）で、ｘ方向、ｙ方向ともに±１画素ずれた
位置に９個の代表点（番号は図示せず）を採り、第１ス
テップと同様な計算を行い、最も誤差の小さい位置を見
い出す。この３回の検索の動きを拡大して示すと、図３
（Ｆ）の様に各ステップ毎に検索範囲が次第に小さくな
り、最終的に最も相関のあるブロックを決定することが
できる。

【００２０】次に、本発明に係る画像データの動き量検
出回路の一実施例を図１を用いて詳しく説明する。

【００２１】動き量検出回路１０６は、一次記憶メモリ
１０４から画像データを受ける入力端子１０、フレーム
メモリ１０５から画像データを受ける入力端子、そして
制御回路１０７へのデータ出力端子２０を有し、近傍処
理回路１１，１２、減算回路１５、２乗誤差計算回路１
６、積算回路１７、最小値判定回路１８、及び比較メモ
リ１９を内蔵する。この動き量検出回路１０６において
近傍処理回路１１，１２を除く回路ブロックは前記図３
に基づいて説明した処理を行うものであり、この実施例
において近傍処理回路１１，１２が本発明の特徴的な部
分に対応される回路ブロックである。

【００２２】先ず近傍処理回路１１，１２を説明する前
にその後段の回路ブロックについて説明する。前記近傍
処理回路１１から出力されるデータＡ（ｉ，ｊ）（１≦
ｉ，ｊ≦４）が減算回路１５に入力される。これに応じ
て、フレームメモリ１３に記憶されている１フレーム前
の画像信号の中から必要な探索領域の画像信号ＢＢ
（ｍ，ｎ）（１≦ｍ，ｎ≦１８）から選択された代表点
の周辺の４×４画素分のデータに対応して、近傍処理回
路１２から出力されるデータＢ（ｉ，ｊ）（１≦ｉ，ｊ
≦４）が減算回路１５に入力される。減算回路１５は２
つの入力データの差を計算する。次に、２乗誤差計算回
路（または絶対値計算回路）１６により２乗誤差もしく
は絶対値例えば両データの差分の２乗が計算される。こ
のデータは、積算回路１７に与えられ、１ブロック分の
２乗誤差の和（積算値）が計算され、最小値判定回路１
８に入力される。多段検索方式の第１ステップでは、９
個のずれた位置のブロックに関して計算が行われる。ま
ず最初に例えば図３における（Ｃ）１１１のブロックの
計算を行い、その値とブロック番号を比較メモリ１９に
記憶する。次に、図３における（Ｃ）の１１２のブロッ
クの計算を行い、この結果と先に比較メモリ１９に記憶
されていたブロックの値を比較し、２乗誤差が小さい方
の値とブロックの番号を比較メモリ１９に記憶する。こ
れを９回繰り返し、最終結果として得られたブロックの
付近に最も相関の高いブロックが存在すると判定する。

【００２３】多段検索方式の第２，第３ステップでは比
較メモリ１９に記憶されていたブロック番号を読み出
し、そのブロックの周辺の９つの代表点に関して上記と
同様の演算を行う。第３ステップの終了後に比較メモリ
１９に記憶されたいるブロック番号を読み出し、この番
号から動き量を決定し、出力端子２０に出力する。

【００２４】入力端子１０に入力された画像信号ＡＸ
（ｉ，ｊ）は近傍処理回路１１に入力される。近傍処理
の１例としては単純な平均化処理や、重みを付けた平均
化処理などがある。即ち、画像信号ＡＸ（ｋ，ｌ）とし
て第１ステップでは４×４画素ではなくさらに広い領
域、例えば８×８画素をとり、近傍処理回路１１では例
えば４×４画素の平均値を１画素（サンプル）として、
合計４×４サンプルのデータＡ（ｉ，ｊ）（１≦ｉ，ｊ
≦４）を作り、減算回路１５に入力する。特にこのよう
にしてサンプリングデータを生成することは、着目ブロ
ックの周辺の画素情報がサンプルデータに含まれる平均
値に反映されることになり、これにより、相関の高いブ
ロックを一層高精度に求めることを可能にする。この処
理は見方を変えれば、８×８個の画素の情報が４×４の
サンプルデータに集約されていることを意味する。同様
に、フレームメモリ１３に記憶されている１フレーム前
の画像信号ＢＸの中から必要な探索領域の８×８画素の
画像信号ＢＸ（ｉ，ｊ）を読み出し、近傍処理回路１２
に入力する。この回路も同様に合計４×４サンプルのデ
ータＢ（ｉ，ｊ）（１≦ｉ，ｊ≦４）を作り、減算回路
１５に入力する。減算回路１５では２つのサンプルデー
タの差を計算し、次に、２乗計算回路（または絶対値計
算回路）１６により２乗誤差（または絶対値）を計算す
る。さらに、積算回路１７の出力に関して最小値判定回
路１８，比較メモリ１９により９個のずれた位置のブロ
ックに関して最小値の計算を行う。これを第３ステップ
まで繰り返し、最終結果として得られたブロックが最も
相関の高いブロックであると判定する。なお、第２ステ
ップでは４×４画素の平均値ではなく、例えば２×２画
素の平均値をとって処理してもよい。また、第３ステッ
プでは平均値処理を行わず直接４×４画素単位の相関演
算を行ってもよい。

【００２５】図２には前記近傍処理回路１１の一実施例
が示される。近傍処理回路１２も図２と同様の回路で構
成することができる。入力端子１０に入力された画像信
号は第１の積算回路２１と第２の積算回路２２に入力さ
れる。これらの回路では指定されたデータ分だけ加算を
行い、その結果を切り換え回路２３に出力する。例えば
積算回路２１では４×４＝１６画素分のデータを加算し
た後、必要なスケーリング（１／１６）を行って出力す
る。積算回路２２では２×２＝４画素分のデータを加算
した後、必要なスケーリング（１／４）を行って出力す
る。この２つの積算回路と元の信号を切り換え回路２３
で選択する。例えば動き量検出の第１ステップでは積算
回路２１の出力を選択し、第２ステップでは積算回路２
２の出力を、第３ステップでは元の信号を選択して減算
回路１５に出力する。近傍処理回路１２もフレームメモ
リ１０５の信号に対して同様の動作を行えばよい。

【００２６】このような近傍処理を行うことにより、代
表点同士が大きく離れている場合でも相関演算を行う信
号としては周辺の情報を含んでいるため、従来の多段検
索方式で問題となっていた最初の段階での動き量の推定
を誤るという問題を解決することができる。また、画像
信号の信号対雑音比が悪い場合であっても、周辺の信号
との平均化をすることにより、雑音の影響を低減した状
態で動き量を検出することができる。例えば、平均化す
る画素の数をｎとすると、相関のある信号はｎ倍となる
が雑音は√ｎ倍となるため、ＳＮ比を√ｎ倍だけ向上し
た形で最も相関のあるブロックを検出できる。例えば４
×４画素の平均化を行うと相関のない雑音に関してはＳ
Ｎ比を４倍（約１２ｄＢ）向上することができる。この
ように、近傍演算を付加することで精度の良い動き量検
出を実現することができる。

【００２７】以上本発明者によってなされた発明を実施
例に基づいて具体的に説明したが、本発明はそれに限定
されるものではなく、その要旨を逸脱しない範囲におい
て種々変更可能であることは言うまでもない。

【００２８】例えば、上記実施例の説明では動き量検出
をブロックの大きさを４×４画素として説明したが、８
×８画素や、１６×１６画素としても同様の処理を実現
できる。

【００２９】また、近傍処理回路における演算として４
×４画素の平均化の例を示したが、Ｍ×Ｎ画素でもよ
い。例えば、２×４，４×２，４×１画素等としてもよ
い。平均化の方法としては、単純な平均値だけでなく、
位置に応じて重み付けをして計算してもよい。

【００３０】多段検索方式の各ステップにおいて演算処
理を切り換えることができる。例えば、第１ステップで
はＭ×Ｎ画素の平均、第２ステップではＭ’×Ｎ’画素
の平均、第３ステップでは１×１画素すなわち平均化を
行わないというように、探索ステップに応じて処理を切
り換えてもよい。この処理の切り換えは外部条件、例え
ば画像の信号対雑音比等で決定すればよい。これによ
り、データ量の多い画像信号を取り扱う動き量検出処理
を能率化することができ、全体としての演算処理時間の
短縮に寄与する。

【００３１】近傍演算の対象は元のブロックサイズと同
一でもよい。この場合、平均化もそのブロック内で行え
ばよい。また、夫々のデータ領域のデータを間引くよう
にサンプリングして平均化するような処理を近傍処理と
して採用してもよい。

【００３２】以上の説明では主として本発明者によって
なされた発明をその背景となった利用分野であるテレビ
信号の動き補償フレーム間予測符号化技術に適有した場
合を一般的に説明したが、本発明はテレビ電話システ
ム、ワークステーションやパーソナルコンピュータシス
テムなどにおける画像処理一般、さらにはテレビカメラ
の手ぶれ防止技術などに広く適用することができる。

【００３３】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば下記
の通りである。

【００３４】すなわち、ブロック単位で画素を平均化し
た値を用いて画像データの動き量を検出することによ
り、その平均値もしくはその平均値の集合としてのサン
プルデータは着目領域の近傍の画素情報を内在してい
る。相関を判定すべき代表点もしくは着目領域が相互に
大きく離れている場合でも、相関演算を行うべきデータ
が周辺の画素情報を含んでいるため、多段検索方式にお
いて最初の段階での動き量の推定を確実に行うことがで
きるという効果がある。

【００３５】更に、画像信号の信号対雑音比が悪い場合
であっても、相関判定もしくは動き検出に利用されるデ
ータは周辺の画素データと平均化されているから、雑音
の影響を低減した状態で動き量を検出することができ
る。例えば、平均化する画素の数をｎとすると、相関の
ある信号はｎ倍となるが雑音は√ｎ倍となるため、ＳＮ
比を√ｎ倍だけ向上した形で最も相関のあるブロックを
検出できる。例えば４×４画素の平均化を行うと相関の
ない雑音に関してはＳＮ比を４倍（約１２ｄＢ）向上す
ることができる。

【００３６】これらにより、精度の高い動き量検出を実
現することができる。

【００３７】この方法を動き量検出回路に適用した場
合、平均化処理などを行う演算回路を減算回路などの前
段に配置すればよく、従来の回路に対してごくわずかの
回路を追加するだけで動き量の検出精度を簡単に向上さ
せることができるという効果がある。

【図面の簡単な説明】

【図１】図１は本発明に係る画像データの動き量検出回
路の一実施例を示すブロック図である。

【図２】図２は動き量検出回路に含まれる近傍処理回路
の一実施例を示すブロック図である。

【図３】図３は画像データの動き量を計算するための基
準ブロック及び探索領域と共に多段検索方式の処理手順
を示す一例説明図である。

【図４】図４は図１の動き量検出回路を適用したテレビ
信号の動き補償フレーム間予測符号化装置の一実施例ブ
ロック図である。

【符号の説明】 １０ 入力端子 １１ 近傍処理回路 １２ 近傍処理回路 １３ 入力端子 １５ 減算回路 １６ ２乗誤差計算回路 １７ 積算回路 １８ 最小値判定回路 １９ 比較メモリ ２０ 出力端子 ２１，２２ 積算回路 １０５ フレームメモリ １０６ 動き量検出回路

Claims (5)

【特許請求の範囲】
1. 【請求項１】 基準データ領域の画素データと参照デー
   タ領域の画素データとの間の画像データの動き量を検出
   する方法において、夫々のデータ領域のデータを画素デ
   ータのブロック単位で平均化する演算を行い、演算を行
   った双方のデータに基づき、参照データ領域中で基準デ
   ータ領域の画素データと相関の高い位置を画像データの
   動き量として計算することを特徴とする画像データの動
   き量検出方法。
2. 【請求項２】 前記平均化演算は、複数個の画素データ
   領域に対応するブロックを単位としてそれに含まれる全
   部又は部分的な画素データを平均化してその値を演算
   し、該演算処理を、近傍に位置する複数個のブロックに
   対して行い、各ブロックに対する平均化処理で求めた平
   均値の集合を複数画素のデータ領域に対応するサンプル
   データとするものであることを特徴とする請求項１記載
   の画像データの動き量検出方法。
3. 【請求項３】 基準データ領域の画素データと参照デー
   タ領域の画素データとの間の画像データの動き量を検出
   する方法において、夫々のデータ領域のデータを間引い
   てサンプリングする演算を行い、演算を行った双方のデ
   ータに基づき、参照データ領域中で基準データ領域の画
   素データと相関の高い位置を画像データの動き量として
   計算することを特徴とする画像データの動き量検出方
   法。
4. 【請求項４】 基準データ領域の画素データと参照デー
   タ領域の画素データとの間の画像データの動き量を検出
   する方法において、夫々のデータ領域内のデータを間引
   いてサンプリングする演算を行い、これによって得られ
   た夫々のデータに対して更に平均化処理を行い、平均化
   処理を行った双方のデータに基づき、参照データ領域中
   で基準データ領域の画素データと相関の高い位置を画像
   データの動き量として計算することを特徴とする画像デ
   ータの動き量検出方法。
5. 【請求項５】 符号化すべき画像データと既に符号化さ
   れている画像データとを比較して動画像データを再構成
   するための画像データの動き量検出回路であって、請求
   項１乃至４の何れか１項記載の演算を行うための演算回
   路と、基準データ領域の画像データに対する演算結果と
   参照データ領域の画像データに対する演算結果との差分
   に基づいて画像データの動き量を検出する手段とを含ん
   で成るものであることを特徴とする動き量検出回路。