JPH0918882A - 動きベクトル検索方法及びその装置 - Google Patents

Abstract

(57)【要約】 【目的】 動き補償フレーム間符号化方式の動きベクト
ル検索方法において、動きベクトル検索のための演算量
を任意に削減することを目的とする。 【構成】 映像入力信号が記憶される入力フレームメモ
リ１ａ、前フレーム映像信号を蓄積する参照フレームメ
モリ１ｂ及びサブサンプリング部１ｃを有し、サブサン
プリング部１ｃのサブサンプリングパターンをサブサン
プリング制御部１ｇで制御することにより、現ブロック
データ及び参照ブロックデータを取り込んでサブサンプ
リングし、この２種類のサブサンプリングデータを評価
関数算出部１ｄで評価演算する。この演算中の評価関数
値をしきい値比較部１ｅで比較して評価関数演算の先行
が有意かを判断し、有意と判断されたときは評価関数演
算を続行し、有意でないと判断されたときは評価関数演
算を打ち切り、算出中の評価関数値を動きベクトル判定
部１ｆに出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像信号処理分野の
動き補償フレーム間符号化方式における動きベクトル検
索方法及びその装置に関する。

【０００２】

【従来の技術】デジタル動画像信号の圧縮方法の１つと
して、隣接するフレーム間の差分を採るフレーム間符号
化方式がある。この方式は、フレーム間で動きが小さい
ときは圧縮率が高いが、動きが大きいときは差分が大き
くなるため圧縮率が低下してしまう。

【０００３】そこで考えられたのが動き補償フレーム間
符号化方式である。これは動きベクトルを検出し、前フ
レームを動きベクトル分移動した後、現フレームとの差
分を探る方式である。動き補償フレーム間符号化方式に
おける動きベクトル検索方法は、一般に次のような従来
例がある。

【０００４】図４は、従来の動きベクトル検索方法及び
その装置の構成を示している。図４において、４ａは映
像入力信号を蓄積する入力フレームメモリであり、サブ
サンプリング部４ｃに現ブロックのデータを送出する。
４ｂは前フレーム信号を蓄積する参照フレームメモリで
あり、サブサンプリング部４ｃに参照ブロックのデータ
を送出する。４ｄは評価関数を演算する評価関数算出部
であり、動きベクトル判定部４ｆに演算結果を送出して
いる。動きベクトル判定部４ｆはサブサンプリング部４
ｃにどの参照ブロックを選択するか制御し動きベクトル
を出力する。

【０００５】なお、サブサンプリング部４ｃ、評価関係
算出部４ｄ及び動きベクトル判定部４ｆは動き補償部を
構成する。

【０００６】次に上記従来例の動作について説明する。
図４において、映像入力信号が入力フレームメモリ４ａ
に送出される。参照フレームメモリ４ｂは前フレーム映
像信号を蓄積している。サブサンプリング部４ｃは固定
のサンプリングパターンで４ａから現ブロックデータ
を、参照フレームメモリ４ｂから参照ブロックデータを
サブサンプリングする。２種類のサブサンプリングデー
タは評価関数算出部４ｄに送られ、そこで評価関数が算
出される。評価関数には差分信号の絶対値の総和や差分
信号の自乗値の総和などがよく用いられる。この評価関
数値の結果が動きベクトル判定部４ｆに送られる。動き
ベクトル判定部４ｆでは検索範囲を総て検索したかをチ
ェックし、まだ検索が全て完了していないときにはサブ
サンプリング部４ｃへ参照ブロックデータを変更し検索
を続行するように制御をし、全ての検索が終了したら動
きベクトルを決定し出力する。

【０００７】このように上記従来の動きベクトル検索方
法では、サブサンプリング部が現ブロックデータと参照
ブロックデータを決められたサンプリングパターンでサ
ブサンプリングして、評価関数算出部で評価関数を演算
することによって動きベクトルを検索することができ
る。

【０００８】

【発明が解決しようとする課題】しかしながら、上記従
来の動きベクトル検索方法では、サンプリングパターン
が固定であるため、さらに評価関数の演算量を削減した
り、逆に動きベクトルの精度を上げるためサブサンプリ
ングを密にすることができないという問題があった。さ
らに、評価関数算出は全てのサンプリングデータに対し
演算するため、評価関数値が算出途中で既に大きな値に
なり評価関数算出の続行が動きベクトルの検索上不必要
なことが分かっていても演算を実行するので演算量が多
いという問題があった。

【０００９】また、上記従来の動きベクトル検索方法で
は、動き補償部を含む符号器は復号器とは独立な系統と
想定されているため、画像符号化装置および画像復号化
装置を一定の処理能力しかもたない単一演算装置（例え
ばＣＰＵ）上で実現しようとする際に動きベクトル検索
の処理量の多さから他の画像符号化部や復号化部の処理
量が制限されてしまい、結果的に画質が劣化するという
問題があった。

【００１０】本発明はこのような従来の問題を解決する
ものであり、動きベクトル検索のための演算量を任意に
削減することができる優れた動きベクトル検索方法を提
供することを目的とするものである。

【００１１】

【課題を解決するための手段】本発明は上記目的を達成
するために、動き補償フレーム間符号化方式の動きベク
トル検出方法であって、現ブロックデータ及び参照ブロ
ックデータをサブサンプリングするサブサンプリング部
のサンプリングパターンを制御するサブサンプリングパ
ターン制御部を備え、動きベクトル検索時に使用する評
価関数の画素データを可変にサブサンプリングすること
を特徴とする。

【００１２】また、本発明は、動きベクトル検索時に使
用する評価関数算出中の評価関数値に対してしきい値比
較部を有し、このしきい値比較部によって算出中の評価
関数演算を先行することが有意かどうか判定し、有意で
ないと判定されたときは評価関数の演算を打ち切るよう
にしたことを特徴とする。

【００１３】また、本発明は、復号化部の符号化映像信
号を格納する受信バッファを有し、復号化部で処理され
る受信バッファの符号化映像信号の残留量に応じて前記
サブサンプリング部のサブサンプリングパターンを制御
することを特徴とする。

【００１４】

【作用】したがって、本発明によれば、サブサンプリン
グ制御部によって評価関数に用いるデータを可変にサブ
サンプリングすることができ動きベクトル検索のための
演算量を任意に削減することができる。

【００１５】さらに本発明によれば、しきい値比較部を
算出中評価関数値に適用することによって有意でない評
価関数演算を削減することができ、動きベクトル検索の
ための演算量を削減することができる。

【００１６】また、本発明によれば、復号化処理用受信
バッファの残留量の大小に応じサンプリングパターンを
制御することにより、単一演算装置（ＣＰＵ）による符
号化復号化装置を実現する。

【００１７】

【実施例】図１は、本発明にかかる動きベクトル検索方
法の第１の実施例を示す構成図である。

【００１８】図１において、１ａは映像入力信号を蓄積
する入力フレームメモリ、１ｂは前フレーム信号を蓄積
する参照フレームメモリである。１ｃは評価関数に用い
るデータを入力フレームメモリ１ａ、参照フレームメモ
リ１ｂからとりこむサブサンプリング部であり、サブサ
ンプリング制御部１ｇはサブサンプリング部１ｃのサン
プリングパターンを制御する。１ｄはサブサンプリング
されたデータを基に評価関数を算出する評価関数算出部
であり、その算出中の評価関数値はしきい値比較部１ｅ
に送られ、その評価関数の比較結果は動きベクトル判定
部１ｆに送出される。動きベクトル判定部１ｆは全ての
検索範囲を検索したかを判断し動きベクトルを決定して
動きベクトルを出力する。

【００１９】なお、サブサンプリング部１ｃ、評価関数
算出部１ｄ、しきい値比較部１ｅ及び動きベクトル判定
部１ｆは動き補償部を構成する。

【００２０】次に上記のように構成された第１の実施例
の動作について説明する。この実施例において、映像入
力信号が入力フレームメモリ１ａに格納される。参照フ
レームメモリ１ｂは前フレームのデータを格納してい
る。この前フレームデータは、一般に符号器の一部であ
るローカルデコード部で復号することで生成されてい
る。サブサンプリング部１ｃは評価関数に用いる画素デ
ータをサブサンプリングするものであり、そのサンプリ
ングパターンはサブサンプリング制御部１ｇによって決
定される。

【００２１】図２（ａ）〜（ｃ）は、上記第１の実施例
においてサブサンプリング制御部１ｇにより決定される
サンプリングパターンの一例を示すもので、８×８画素
のブロックにおいて、○のついた画素をサンプリングす
る。

【００２２】サブサンプリング部１ｃは入力フレームメ
モリ１ａから現ブロックの画素データを、決定されたサ
ンプリングパターンでサブサンプリングする。さらに、
サブサンプリング部１ｃは前フレームにおける同位置に
あるブロックを基準にどの参照ブロックを現ブロックと
比較するか決定し、参照フレームメモリ１ｂから参照ブ
ロックの画素データを決定されたサンプリングパターン
でサブサンプリングする。サブサンプリング部１ｃで得
られた両データは評価関数算出部１ｄへ渡され評価関数
値が算出され、算出中の評価関数値をしきい値比較部１
ｅに出力する。しきい値比較部１ｅでは、算出中評価関
数がしきい値と比較され、しきい値を越えたら算出中で
あろうと評価関数の演算を打ち切り、算出中の評価関数
値を動きベクトル判定部１ｆへ出力する。算出中の評価
関数値がしきい値を越えていない場合は、評価関数算出
部１ｄに評価関数算出を続行するよう制御する。

【００２３】このようにして得られた評価関数値は動き
ベクトル判定部１ｆへ送出される。動きベクトル判定部
１ｆは全ての検索範囲を検索したかどうか判断する。全
ての検索範囲がまだ検索できていないときは、サブサン
プリング部１ｃへ参照ブロックデータを変更し検索を続
行するように制御し、全ての検索範囲の検索が終了した
場合は、最小評価関数値を検出する。この最小評価関数
値を与えたときの参照ブロックの位置と現ブロックとの
位置の差分が動きベクトルとして得られ、得られた動き
ベクトルを出力する。

【００２４】このように、上記第１の実施例によれば、
サブサンプリング制御部を設けることで、サブサンプリ
ング部は評価関数に用いる画素データを可変にサブサン
プリングすることができ、動きベクトル検索のための演
算量を任意に削減することができるという利点を有す
る。

【００２５】また、上記第１の実施例によれば、算出中
評価関数値に対してしきい値比較部を設けることで、評
価関数算出部は有意でない評価関数の演算を途中で打ち
切ることができ、動きベクトル検索のための演算量を削
減することができるという利点を有する。

【００２６】図３は、本発明にかかる動きベクトル検索
方法の第２の実施例を示す構成図である。

【００２７】図３において、２０は単一演算装置からな
る符号化復号化装置、２ａは映像入力信号を蓄積する入
力フレームメモリ、２ｂは前フレーム信号を蓄積する参
照フレームメモリである。２ｃは評価関数に用いるデー
タを入力フレームメモリ２ａ、参照フレームメモリ２ｂ
からとりこむサブサンプリング部であり、サブサンプリ
ング制御部２ｇはサブサンプリング部２ｃのサンプリン
グパターンを制御する。

【００２８】２ｄはサブサンプリングされたデータを基
に評価関数を算出する評価関数算出部であり、その算出
中の評価関数値はしきい値比較部２ｅに送られ、その評
価関数の比較結果は動きベクトル判定部２ｆに送出され
る。２ｆは全ての検索範囲を検索したかを判断し動きベ
クトルを決定する動きベクトル判定部であり、他の符号
化部２ｈに動きベクトルを出力する。他の符号化部２ｈ
は動き補償以外の符号化をするもので、符号化映像出力
信号を出力する。２ｉは参照フレームメモリ２ｂに蓄積
するデータを生成するローカルデコード部、２ｊは受信
バッファであり、符号化映像入力信号を蓄積する。２ｋ
は復号化部であり、映像出力信号を出力する。

【００２９】なお、サブサンプリング部２ｃ、評価関数
算出部２ｄ、しきい値比較部２ｅ及び動きベクトル判定
部２ｆは動き補償部を構成する。

【００３０】次に上記のように構成された第２の実施例
の動作について説明する。この実施例において、映像入
力信号が入力フレームメモリ２ａに格納され、参照フレ
ームメモリ２ｂは前フレームのデータを格納している。
この前フレームデータは他の符号器部２ｈで符号化した
符号化映像出力信号をローカルデコード部２ｉで復号す
ることで生成される。

【００３１】一方、符号化映像入力信号が受信バッファ
２ｊに格納され、受信バッファ残留量がサブサンプリン
グ制御部２ｇに送出される。サブサンプリング制御部２
ｇは、この情報を基にサブサンプリング部２ｃに対して
サンプリングパターンを制御する。さらに、符号化映像
入力信号は受信バッファ２ｊを通して復号化部２ｋで復
号されて映像出力信号として出力される。

【００３２】サブサンプリング部２ｃは入力フレームメ
モリ２ａ、参照フレームメモリ２ｂから評価関数に用い
る画素データをサブサンプリングする。サンプリングパ
ターンはサブサンプリング制御部２ｇの制御によって決
定される。

【００３３】この第２の実施例においてサブサンプリン
グ制御部２ｇで決定されるサンプリングパターンの一例
を図２に示し、８×８画素のブロックにおいて、○のつ
いた画素をサンプリングする。また、第２の実施例にお
いては、受信バッファ残留量をサンプリングパターン制
御の判断材料として用いている。

【００３４】具体的には、受信バッファ残留量が大なら
ばサンプリングデータを増やし、受信バッファ残留量が
小ならばサンプリングデータを減らすような制御をサブ
サンプリング部２ｃに対して行う。そして、そのサンプ
リングパターンを基に入力フレームメモリ２ａからは現
ブロックの画素データをサブサンプリングする。さら
に、サブサンプリング部２ｃは前フレームにおける同位
置にあるブロックを基準にどの参照ブロックを現ブロッ
クと比較するか決定し、参照フレームメモリ２ｂから参
照ブロックの画素データを、決定されたサンプリングパ
ターンでサブサンプリングする。サブサンプリング部２
ｃで得られた両データは評価関数算出部２ｄへ渡されて
評価関数値が算出され、この算出中の評価関数値をしき
い値比較部２ｅに出力する。しきい値比較部２ｅでは、
算出中の評価関数値がしきい値と比較され、しきい値を
越えたら算出中であろうと評価関数の演算を打ち切り、
算出中の評価関数値を動きベクトル判定部２ｆへ出力す
る。算出中の評価関数値がしきい値を越えていない場合
は、評価関数算出部２ｄに評価関数算出を続行するよう
制御する。

【００３５】このようにして得られた評価関数値は動き
ベクトル判定部２ｆへ送出される。２ｆでは、全ての検
索範囲を検索したかどうか判断する。全ての検索範囲を
まだ検索できていないときは、サブサンプリング部２ｃ
へ参照ブロックデータを変更し検索を続行するように制
御し、全ての検索範囲の検索が終了した場合は、最小評
価関数値を検出する。その最小評価関数値を与えたとき
の参照ブロックの位置と現ブロックとの位置の差分が動
きベクトルとして得られ、この得られた動きベクトルを
他の符号化部２ｈへ出力する。

【００３６】このように上記第２の実施例によれば、受
信バッファによって制御されるサブサンプリング制御部
を設けることで、サブサンプリング部は評価関数に用い
る画素データを可変にサブサンプリングすることがで
き、動きベクトルの検索のための演算量を任意に削減す
ることができるという利点を有する。

【００３７】また、上記第２の実施例によれば、算出中
の評価関数値に対してしきい値比較部を設けることで、
評価関数算出の先行が有意でないときにしきい評価関数
の演算を途中で打ち切ることができ、動きベクトル検索
のための演算量を削減することができるという利点を有
する。

【００３８】また、上記第２の実施例によれば、単一演
算装置（ＣＰＵ）からなる符号化復号化装置上に受信バ
ッファの残留量に応じて制御されるサブサンプリング制
御部を設けることで、サブサンプリング部は評価関数に
用いる画素データを可変にサブサンプリングすることが
でき、復号化処理部の処理の大小により符号化処理部の
負荷を可変に変化させることで安定した単一演算装置に
よる符号化復号化装置が実現できるという効果を有す
る。

【００３９】

【発明の効果】本発明は上記実施例から明らかなよう
に、動きベクトル検索方法において、サブサンプリング
制御部を設けることにより、サブサンプリング部が評価
関数に用いるデータを可変にサブサンプリングすること
ができ、動きベクトル検索のための演算量を任意に削減
することができるという効果を有する。

【００４０】また、本発明によれば、動きベクトル検索
方法において、算出中の評価関数値に対ししきい値比較
部を設けることにより、評価関数算出部は有意でない評
価関数演算を算出途中でも打ち切るため、動きベクトル
検索のための演算量を削減することができるという効果
を有する。

【００４１】さらに、本発明によれば、動きベクトル検
索方法において、受信バッファによって制御されるサブ
サンプリング制御部を設けることにより、サブサンプリ
ング部が評価関数に用いる画素データを復号化部の処理
量に応じて可変にサブサンプリングするため、復号化処
理部の処理の大小により符号化処理部の負荷を可変に変
化させることで安定した単一演算装置上で符号化復号化
装置が実現できるという効果を有する。

【図面の簡単な説明】

【図１】本発明の第１の実施例における動きベクトル検
索方法及びその装置による構成を示す概略ブロック図

【図２】本発明の実施例におけるサンプリングパターン
の一例を示す図

【図３】本発明の第２の実施例における動きベクトル検
索方法及びその装置による構成を示す概略ブロック図

【図４】従来における動きベクトル検索方法及びその装
置による構成を示す概略ブロック図

【符号の説明】

１ａ、２ａ、４ａ 入力フレームメモリ １ｂ、２ｂ、４ｂ 参照フレームメモリ １ｃ、２ｃ、４ｃ サブサンプリング部 １ｄ、２ｄ、４ｄ 評価関数算出部 １ｅ、２ｅ しきい値比較部 １ｆ、２ｆ、４ｆ 動きベクトル判定部 １ｇ、２ｇ サブサンプリング制御部 ２ｈ 他の符号器部 ２ｉ ローカルデコード部 ２ｊ 受信バッファ ２ｋ 復号器部 ２０ 単一演算装置上の符号化復号化装置

Claims (6)

【特許請求の範囲】
1. 【請求項１】 動き補償フレーム間符号化方式の動きベ
   クトル検出方法であって、現ブロックデータ及び参照ブ
   ロックデータをサブサンプリングするサブサンプリング
   部のサンプリングパターンを制御するサブサンプリング
   パターン制御部を備え、動きベクトル検索時に使用する
   評価関数の画素データを可変にサブサンプリングするこ
   とを特徴とする動きベクトル検索方法。
2. 【請求項２】 動きベクトル検索時に使用する評価関数
   算出中の評価関数値に対してしきい値比較部を有し、こ
   のしきい値比較部によって算出中の評価関数演算を先行
   することが有意かどうか判定し、有意でないと判定され
   たときは評価関数の演算を打ち切るようにしたことを特
   徴とする請求項１記載の動きベクトル検索方法。
3. 【請求項３】 復号化部の符号化映像信号を格納する受
   信バッファを有し、復号化部で処理される受信バッファ
   の符号化映像信号の残留量に応じて前記サブサンプリン
   グ部のサブサンプリングパターンを制御することを特徴
   とする請求項１または２記載の動きベクトル検索方法。
4. 【請求項４】 動き補償フレーム間符号化方式の動きベ
   クトル検出方法であって、現ブロックデータ及び参照ブ
   ロックデータをサブサンプリングするサブサンプリング
   部のサンプリングパターンを制御するサブサンプリング
   パターン制御部を備え、動きベクトル検索時に使用する
   評価関数の画素データを可変にサブサンプリングするこ
   とを特徴とする動きベクトル検索装置。
5. 【請求項５】 動きベクトル検索時に使用する評価関数
   算出中の評価関数値に対してしきい値比較部を有し、こ
   のしきい値比較部によって算出中の評価関数演算を先行
   することが有意かどうか判定し、有意でないと判定され
   たときは評価関数の演算を打ち切るようにしたことを特
   徴とする請求項４記載の動きベクトル検索装置。
6. 【請求項６】 復号化部の符号化映像信号を格納する受
   信バッファを有し、復号化部で処理される受信バッファ
   の符号化映像信号の残留量に応じて前記サブサンプリン
   グ部のサブサンプリングパターンを制御することを特徴
   とする請求項４または５記載の動きベクトル検索装置。