JPH06261309A - 動きベクトル検出方法 - Google Patents
動きベクトル検出方法Info
- Publication number
- JPH06261309A JPH06261309A JP7304593A JP7304593A JPH06261309A JP H06261309 A JPH06261309 A JP H06261309A JP 7304593 A JP7304593 A JP 7304593A JP 7304593 A JP7304593 A JP 7304593A JP H06261309 A JPH06261309 A JP H06261309A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- acceleration
- frame
- vector
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Color Television Systems (AREA)
Abstract
(57)【要約】
【目的】 撮像装置自身の動きにより比較的大きな加速
度が生じても、動き補償予測の予測効率を低下させず
に、復号画像の画質の劣化を防止する。 【構成】 動きベクトル検出部４で検出した動きベクト
ルをＭＶ用メモリ５に格納し、撮像装置加速度検出部６
で撮像装置自身の加速度ベクトルを検出する。フレーム
メモリ１からは当該ブロックのアドレスで指定されるブ
ロックの画像データを読み出し、フレームメモリ２から
は当該ブロックのアドレスからＭＶ用メモリ５に格納さ
れている直前のフレーム間予測での当該ブロックアドレ
スの動きベクトルと、撮像装置加速度検出部６からの加
速度ベクトルを差し引いたアドレスを中心にして、ある
探索範囲で指定されるブロックの画像データを順次読み
出して、動きベクトル検出部４で当該ブロックの動きベ
クトルを検出する。
度が生じても、動き補償予測の予測効率を低下させず
に、復号画像の画質の劣化を防止する。 【構成】 動きベクトル検出部４で検出した動きベクト
ルをＭＶ用メモリ５に格納し、撮像装置加速度検出部６
で撮像装置自身の加速度ベクトルを検出する。フレーム
メモリ１からは当該ブロックのアドレスで指定されるブ
ロックの画像データを読み出し、フレームメモリ２から
は当該ブロックのアドレスからＭＶ用メモリ５に格納さ
れている直前のフレーム間予測での当該ブロックアドレ
スの動きベクトルと、撮像装置加速度検出部６からの加
速度ベクトルを差し引いたアドレスを中心にして、ある
探索範囲で指定されるブロックの画像データを順次読み
出して、動きベクトル検出部４で当該ブロックの動きベ
クトルを検出する。
Description
【０００１】
【産業上の利用分野】本発明は、動画像をｍ×ｎ画素
（ｍ、ｎは正の整数）のブロック単位で動き補償予測を
行って符号化する動画像符号化方式を用いて動画像を圧
縮伝送または記録するシステムに適した動きベクトル検
出方法に関する。
（ｍ、ｎは正の整数）のブロック単位で動き補償予測を
行って符号化する動画像符号化方式を用いて動画像を圧
縮伝送または記録するシステムに適した動きベクトル検
出方法に関する。
【０００２】
【従来の技術】図３に示すように、動画像をｍ×ｎ画素
（ｍ、ｎは正の整数）のブロック単位で動き補償予測を
行って符号化し、かつＭＰＥＧ（標準化組織Motion Pic
ture Image Coding Experts Group ）方式のように複数
フレーム間隔離れた前後のフレームを参照フレームに使
用する両方向予測を行う場合を考える（MPEG:ISO DIS 1
1172-2参照）。図３は、例えばフレーム＃１の符号化に
用いる参照フレームにフレーム＃０、＃３の２フレーム
を使用することを示している。
（ｍ、ｎは正の整数）のブロック単位で動き補償予測を
行って符号化し、かつＭＰＥＧ（標準化組織Motion Pic
ture Image Coding Experts Group ）方式のように複数
フレーム間隔離れた前後のフレームを参照フレームに使
用する両方向予測を行う場合を考える（MPEG:ISO DIS 1
1172-2参照）。図３は、例えばフレーム＃１の符号化に
用いる参照フレームにフレーム＃０、＃３の２フレーム
を使用することを示している。
【０００３】ここで、画像中の動きが一定なら、フレー
ム＃０からフレーム＃３の動きの大きさは、フレーム＃
０からフレーム＃１の動きの大きさの３倍になる。した
がって動きベクトルの探索範囲も単純に縦横３倍必要に
なる。フレーム間隔をＮとすると、通常動きベクトル検
出に使用されるブロックマッチング法では、探索範囲が
フレーム間隔１の場合の縦横Ｎ倍になり、探索に必要な
計算量はＮの２乗倍になり負担が大きい。このため、テ
レスコピック・サーチ（telescopic search ）と呼ばれ
る手法で探索範囲の限定を行って処理負担を軽減するこ
とが通常行われる（MPEG:ISO DIS11172-2 参照）。
ム＃０からフレーム＃３の動きの大きさは、フレーム＃
０からフレーム＃１の動きの大きさの３倍になる。した
がって動きベクトルの探索範囲も単純に縦横３倍必要に
なる。フレーム間隔をＮとすると、通常動きベクトル検
出に使用されるブロックマッチング法では、探索範囲が
フレーム間隔１の場合の縦横Ｎ倍になり、探索に必要な
計算量はＮの２乗倍になり負担が大きい。このため、テ
レスコピック・サーチ（telescopic search ）と呼ばれ
る手法で探索範囲の限定を行って処理負担を軽減するこ
とが通常行われる（MPEG:ISO DIS11172-2 参照）。
【０００４】以下、図４を参照してこれを説明する。図
４で、実線の四角で囲った部分を画面内の一部で同一被
写体に属している部分とする。また、動き補償のブロッ
クの大きさが被写体に比べて小さいと仮定し、その大き
さを●、▲、■などの点で表わす。このような仮定はあ
る程度以上の大きさの被写体を撮像しているかあるいは
カメラのパンニングなどで画面全体が動いている場合は
妥当である。被写体がｔ＝０からｔ＝２でほぼ一定速度
で動いているとすると、内部の３点●、▲、■もほぼ同
じように動く。ｔ＝１及びｔ＝２における○、△、□
は、それぞれｔ＝０およびｔ＝０、１における●、▲、
■の位置を示している。
４で、実線の四角で囲った部分を画面内の一部で同一被
写体に属している部分とする。また、動き補償のブロッ
クの大きさが被写体に比べて小さいと仮定し、その大き
さを●、▲、■などの点で表わす。このような仮定はあ
る程度以上の大きさの被写体を撮像しているかあるいは
カメラのパンニングなどで画面全体が動いている場合は
妥当である。被写体がｔ＝０からｔ＝２でほぼ一定速度
で動いているとすると、内部の３点●、▲、■もほぼ同
じように動く。ｔ＝１及びｔ＝２における○、△、□
は、それぞれｔ＝０およびｔ＝０、１における●、▲、
■の位置を示している。
【０００５】ここで、ｔ＝０、１、２のフレーム画像を
図３のフレーム＃０、＃１、＃２のように動き補償予測
して符号化する場合を考える。ｔ＝１における■のブロ
ックの動き補償予測符号化での動きベクトル探索範囲を
破線（＋─＋）で囲まれた四角形で示す。これは自分自
身の位置を中心に縦横一定画素の範囲を探索範囲として
いる。なお図中では、ｔ＝１の領域に示されているが、
実際には参照画像のｔ＝０のフレームの対応する部分を
探索することになる。そしてこの場合ｔ＝１における□
に相当する部分（ｔ＝０における■）に適当な参照部分
を見つけることができる。
図３のフレーム＃０、＃１、＃２のように動き補償予測
して符号化する場合を考える。ｔ＝１における■のブロ
ックの動き補償予測符号化での動きベクトル探索範囲を
破線（＋─＋）で囲まれた四角形で示す。これは自分自
身の位置を中心に縦横一定画素の範囲を探索範囲として
いる。なお図中では、ｔ＝１の領域に示されているが、
実際には参照画像のｔ＝０のフレームの対応する部分を
探索することになる。そしてこの場合ｔ＝１における□
に相当する部分（ｔ＝０における■）に適当な参照部分
を見つけることができる。
【０００６】次に、ｔ＝２における■の動き補償予測を
ｔ＝０の画像を参照して行うとき、ｔ＝１の場合同様
に、探索範囲の中心を自分自身として同じ大きさの探索
範囲（ｔ＝２の図における＋─１─＋で囲んだ範囲）を
とると、ｔ＝０のフレーム画像の探索範囲内に適当な参
照部分を見つけられない。すなわち、探索範囲の中心を
自分自身として、適当な参照部分を見つけるためには、
２倍の大きさの探索範囲（＋─２─＋で囲んだ範囲）を
探索する必要がある。しかし、ここでの仮定のように被
写体が画面の比較的大きな部分を占めて、ほぼ一定速度
で動いているときには、ｔ＝０、１間の動きベクトル分
だけの中心位置をずらして探索範囲をとると、ｔ＝１の
動きベクトル探索と同じ大きさの探索範囲（＋─３─＋
で囲んだ範囲）で済むことになる。なお正確には、探索
範囲中心位置の偏位に用いる動きベクトルには、前フレ
ームにおける現フレーム符号化ブロック位置のブロック
の動きベクトルが使用される。これもこの例のように符
号化ブロック周辺が同じ被写体部分に属していると仮定
すれば妥当である。
ｔ＝０の画像を参照して行うとき、ｔ＝１の場合同様
に、探索範囲の中心を自分自身として同じ大きさの探索
範囲（ｔ＝２の図における＋─１─＋で囲んだ範囲）を
とると、ｔ＝０のフレーム画像の探索範囲内に適当な参
照部分を見つけられない。すなわち、探索範囲の中心を
自分自身として、適当な参照部分を見つけるためには、
２倍の大きさの探索範囲（＋─２─＋で囲んだ範囲）を
探索する必要がある。しかし、ここでの仮定のように被
写体が画面の比較的大きな部分を占めて、ほぼ一定速度
で動いているときには、ｔ＝０、１間の動きベクトル分
だけの中心位置をずらして探索範囲をとると、ｔ＝１の
動きベクトル探索と同じ大きさの探索範囲（＋─３─＋
で囲んだ範囲）で済むことになる。なお正確には、探索
範囲中心位置の偏位に用いる動きベクトルには、前フレ
ームにおける現フレーム符号化ブロック位置のブロック
の動きベクトルが使用される。これもこの例のように符
号化ブロック周辺が同じ被写体部分に属していると仮定
すれば妥当である。
【０００７】
【発明が解決しようとする課題】テレスコピック・サー
チ法により、上記仮定のように、その区間内で動きが一
定で、かつ動き補償のブロックの大きさが画面上でまと
まって動いている被写体部に比べて比較的小さい場合、
フレーム間隔の２乗倍でなく、フレーム間隔に無関係に
同じ大きさの探索範囲の探索で妥当な動きベクトルが求
まる。ところが上記仮定を満たさず、動きが一定でない
場合には上記方法で制限された探索範囲からは必ずしも
妥当な動きベクトルを求めることができない。このこと
を図５を用いて説明する。図５は、図４においてｔ＝
１、２間で動きが変化した（加速度が生じた）場合にお
けるｔ＝２の画像を示すものである。この場合、ｔ＝
０、１間の動きベクトル分だけ探索範囲中心を偏位させ
た＋─３─＋で示された探索範囲では適当な動きベクト
ルが求められないことが分かる。このように、適当な動
きベクトルが求められないと、符号化効率が低下し、復
号画像の画質劣化をまねく。
チ法により、上記仮定のように、その区間内で動きが一
定で、かつ動き補償のブロックの大きさが画面上でまと
まって動いている被写体部に比べて比較的小さい場合、
フレーム間隔の２乗倍でなく、フレーム間隔に無関係に
同じ大きさの探索範囲の探索で妥当な動きベクトルが求
まる。ところが上記仮定を満たさず、動きが一定でない
場合には上記方法で制限された探索範囲からは必ずしも
妥当な動きベクトルを求めることができない。このこと
を図５を用いて説明する。図５は、図４においてｔ＝
１、２間で動きが変化した（加速度が生じた）場合にお
けるｔ＝２の画像を示すものである。この場合、ｔ＝
０、１間の動きベクトル分だけ探索範囲中心を偏位させ
た＋─３─＋で示された探索範囲では適当な動きベクト
ルが求められないことが分かる。このように、適当な動
きベクトルが求められないと、符号化効率が低下し、復
号画像の画質劣化をまねく。
【０００８】ところで、加速度が一定と仮定すると、上
記問題を解決するには、動きベクトルの加速度成分を検
出し、その分探索範囲の中心を偏位させてやればよい。
例えば上記例で、等加速度運動と仮定しｔ＝−１のとき
のブロック□を追加し、ｔ＝−１〜２での各座標が図６
に示すようであるとする。ここで、ｔ＝−１を参照フレ
ームとして、ｔ＝−１、０間、ｔ＝−１、１間、ｔ＝−
１、２間の動きベクトルを求めることを考える。このと
き、ｔ＝−１、０間の動きベクトルは（０、１）とな
り、ｔ＝−１、１での動きベクトルは、（１、２）とな
るので、ｔ＝−１〜１で生じた加速度ベクトルは、
（１、２）−２＊（０、１）＝（１、０）となる。した
がって、ｔ＝−１、２間の動きベクトルを求める場合、
ｔ＝−１、１での動きベクトル（１、２）にこの加速度
ベクトル（１、０）を加えた（２、２）を符号反転した
（−２、−２）だけ探索範囲中心を偏位させてやればよ
い。
記問題を解決するには、動きベクトルの加速度成分を検
出し、その分探索範囲の中心を偏位させてやればよい。
例えば上記例で、等加速度運動と仮定しｔ＝−１のとき
のブロック□を追加し、ｔ＝−１〜２での各座標が図６
に示すようであるとする。ここで、ｔ＝−１を参照フレ
ームとして、ｔ＝−１、０間、ｔ＝−１、１間、ｔ＝−
１、２間の動きベクトルを求めることを考える。このと
き、ｔ＝−１、０間の動きベクトルは（０、１）とな
り、ｔ＝−１、１での動きベクトルは、（１、２）とな
るので、ｔ＝−１〜１で生じた加速度ベクトルは、
（１、２）−２＊（０、１）＝（１、０）となる。した
がって、ｔ＝−１、２間の動きベクトルを求める場合、
ｔ＝−１、１での動きベクトル（１、２）にこの加速度
ベクトル（１、０）を加えた（２、２）を符号反転した
（−２、−２）だけ探索範囲中心を偏位させてやればよ
い。
【０００９】動きベクトルの加速度成分の検出には、例
えば、特開昭６１−１８４０７１号公報に示されるよう
に、１フレーム前での当該ブロック周辺の複数ブロック
の動きベクトルの平均値と２フレーム前でのそれとの差
分により加速度ベクトルを求める方法がある。この例
は、フレーム間隔１で次々予測する場合について述べて
いるが、本件のようにフレーム間隔が１、２、３、…の
ように複数フレーム間隔にわたる予測を行う場合も上記
説明のとおり本質的には同じ考え方が適用できる。しか
しこの方法の場合、１、２フレーム前の動きベクトルが
ある程度正しく求まっていないとこれらから求めた加速
度ベクトルに信頼性がない。比較的大きな加速度が生じ
た場合、当該フレーム以前にすでに正しい動きベクトル
が求まっていないことがありうる。このような場合、適
当な参照画像が見つからず予測効率の低下すなわち復号
画像の画質劣化をまねく。ところで、比較的大きな加速
度としては、撮像装置自身の動き（パンニングや手ぶ
れ）に起因するものがある。
えば、特開昭６１−１８４０７１号公報に示されるよう
に、１フレーム前での当該ブロック周辺の複数ブロック
の動きベクトルの平均値と２フレーム前でのそれとの差
分により加速度ベクトルを求める方法がある。この例
は、フレーム間隔１で次々予測する場合について述べて
いるが、本件のようにフレーム間隔が１、２、３、…の
ように複数フレーム間隔にわたる予測を行う場合も上記
説明のとおり本質的には同じ考え方が適用できる。しか
しこの方法の場合、１、２フレーム前の動きベクトルが
ある程度正しく求まっていないとこれらから求めた加速
度ベクトルに信頼性がない。比較的大きな加速度が生じ
た場合、当該フレーム以前にすでに正しい動きベクトル
が求まっていないことがありうる。このような場合、適
当な参照画像が見つからず予測効率の低下すなわち復号
画像の画質劣化をまねく。ところで、比較的大きな加速
度としては、撮像装置自身の動き（パンニングや手ぶ
れ）に起因するものがある。
【００１０】そこで本発明の目的は、撮像装置自身の動
きにより比較的大きな加速度が生じても、動き補償予測
の予測効率を低下させずに、復号画像の画質の劣化を防
止できるようにした動きベクトル検出方法を提供するこ
とにある。
きにより比較的大きな加速度が生じても、動き補償予測
の予測効率を低下させずに、復号画像の画質の劣化を防
止できるようにした動きベクトル検出方法を提供するこ
とにある。
【００１１】
【課題を解決するための手段】請求項１記載の発明の動
きベクトル検出方法は、同一フレームから複数フレーム
間隔離れたフレームまで順次フレーム間のブロック単位
の動き補償予測を行う動画像符号化装置における動きベ
クトル検出方法において、撮像装置自身の動きによる加
速度ベクトルを求め、動きベクトル探索の探索範囲の中
心を、直前のフレームでの符号化該当ブロック位置の動
きベクトル分に加えて撮像装置自身の加速度ベクトル分
だけずらして動きベクトルを探索するものである。請求
項２記載の発明の動きベクトル検出方法は、直前のフレ
ームで求めた動きベクトルとその前のフレームで求めた
動きベクトルとにより第１の加速度ベクトルを求め、撮
像装置自身の動きによる第２の加速度ベクトルを求め、
第２の加速度ベクトルが所定のしきい値以下のときは、
動きベクトル探索の探索範囲の中心を、直前のフレーム
での符号化該当ブロック位置の動きベクトル分に加えて
第１の加速度ベクトル分だけずらして動きベクトルを探
索し、第２の加速度ベクトルが所定のしきい値を越える
ときは、動きベクトル探索の探索範囲の中心を、直前の
フレームでの符号化該当ブロック位置の動きベクトル分
に加えて第２の加速度ベクトル分だけずらして動きベク
トルを探索するものである。
きベクトル検出方法は、同一フレームから複数フレーム
間隔離れたフレームまで順次フレーム間のブロック単位
の動き補償予測を行う動画像符号化装置における動きベ
クトル検出方法において、撮像装置自身の動きによる加
速度ベクトルを求め、動きベクトル探索の探索範囲の中
心を、直前のフレームでの符号化該当ブロック位置の動
きベクトル分に加えて撮像装置自身の加速度ベクトル分
だけずらして動きベクトルを探索するものである。請求
項２記載の発明の動きベクトル検出方法は、直前のフレ
ームで求めた動きベクトルとその前のフレームで求めた
動きベクトルとにより第１の加速度ベクトルを求め、撮
像装置自身の動きによる第２の加速度ベクトルを求め、
第２の加速度ベクトルが所定のしきい値以下のときは、
動きベクトル探索の探索範囲の中心を、直前のフレーム
での符号化該当ブロック位置の動きベクトル分に加えて
第１の加速度ベクトル分だけずらして動きベクトルを探
索し、第２の加速度ベクトルが所定のしきい値を越える
ときは、動きベクトル探索の探索範囲の中心を、直前の
フレームでの符号化該当ブロック位置の動きベクトル分
に加えて第２の加速度ベクトル分だけずらして動きベク
トルを探索するものである。
【００１２】
【作用】請求項１記載の動きベクトル検出方法では、例
えば撮像装置自身の動きの加速度を検出するセンサを撮
像装置に備え、このセンサによって撮像装置自身の動き
による加速度ベクトルを求め、直前のフレームでの符号
化該当ブロック位置の動きベクトルに加速度ベクトルを
加えた分、動きベクトル探索の探索範囲の中心を偏位さ
せることにより、撮像装置自身に比較的大きな加速度が
生じた場合にも正しい動きベクトルが求められる。請求
項２記載の動きベクトル検出方法では、直前のフレーム
で求めた動きベクトルとその前のフレームで求めた動き
ベクトルとにより第１の加速度ベクトルを求めると共
に、撮像装置自身の動きによる第２の加速度ベクトルを
求め、第２の加速度ベクトルの大きさが所定のしきい値
以下であるか否かを判定し、しきい値を越える場合には
請求項１記載の発明と同様に直前のフレームでの符号化
該当ブロック位置の動きベクトルに第２の加速度ベクト
ルを加えた分、動きベクトル探索の探索範囲の中心を偏
位させるが、しきい値以下の小さな加速度しか生じない
場合には、被写体自身の動きも含んだ第１の加速度ベク
トルを第２の加速度ベクトルの代わりに使用する。これ
により撮像装置の加速度が小さく、被写体自体の加速度
が生じた場合にも、従来法と同様に正しい動きベクトル
が求められる。
えば撮像装置自身の動きの加速度を検出するセンサを撮
像装置に備え、このセンサによって撮像装置自身の動き
による加速度ベクトルを求め、直前のフレームでの符号
化該当ブロック位置の動きベクトルに加速度ベクトルを
加えた分、動きベクトル探索の探索範囲の中心を偏位さ
せることにより、撮像装置自身に比較的大きな加速度が
生じた場合にも正しい動きベクトルが求められる。請求
項２記載の動きベクトル検出方法では、直前のフレーム
で求めた動きベクトルとその前のフレームで求めた動き
ベクトルとにより第１の加速度ベクトルを求めると共
に、撮像装置自身の動きによる第２の加速度ベクトルを
求め、第２の加速度ベクトルの大きさが所定のしきい値
以下であるか否かを判定し、しきい値を越える場合には
請求項１記載の発明と同様に直前のフレームでの符号化
該当ブロック位置の動きベクトルに第２の加速度ベクト
ルを加えた分、動きベクトル探索の探索範囲の中心を偏
位させるが、しきい値以下の小さな加速度しか生じない
場合には、被写体自身の動きも含んだ第１の加速度ベク
トルを第２の加速度ベクトルの代わりに使用する。これ
により撮像装置の加速度が小さく、被写体自体の加速度
が生じた場合にも、従来法と同様に正しい動きベクトル
が求められる。
【００１３】
【実施例】以下、本発明の動きベクトル検出方法におけ
る好適な実施例について図面を参照して詳細に説明す
る。図１は本発明の第１実施例の動きベクトル検出方法
を実現する動きベクトル検出装置の構成を示すブロック
図である。この動きベクトル検出装置は、第１のフレー
ムメモリ１と、第２のフレームメモリ２と、入力画像信
号をフレームメモリ１、２の一方に選択的に入力するた
めの切換スイッチ３と、フレームメモリ１、２から読み
出された画像データに基づいて動きベクトルを検出する
動きベクトル検出部４と、この動きベクトル検出部４で
検出された動きベクトルを格納する動きベクトル用メモ
リ（以下、ＭＶ用メモリと記す）５と、撮像装置に設け
られた撮像装置加速度検出部６と、フレーム間予測にお
ける当該ブロックのアドレスからＭＶ用メモリ５に格納
されている動きベクトルと撮像装置加速度検出部６で検
出された加速度ベクトルとを差し引いてフレームメモリ
２へ供給する加算器７とを備えている。なお、当該ブロ
ックアドレスはフレームメモリ１にも供給されるように
なっている。
る好適な実施例について図面を参照して詳細に説明す
る。図１は本発明の第１実施例の動きベクトル検出方法
を実現する動きベクトル検出装置の構成を示すブロック
図である。この動きベクトル検出装置は、第１のフレー
ムメモリ１と、第２のフレームメモリ２と、入力画像信
号をフレームメモリ１、２の一方に選択的に入力するた
めの切換スイッチ３と、フレームメモリ１、２から読み
出された画像データに基づいて動きベクトルを検出する
動きベクトル検出部４と、この動きベクトル検出部４で
検出された動きベクトルを格納する動きベクトル用メモ
リ（以下、ＭＶ用メモリと記す）５と、撮像装置に設け
られた撮像装置加速度検出部６と、フレーム間予測にお
ける当該ブロックのアドレスからＭＶ用メモリ５に格納
されている動きベクトルと撮像装置加速度検出部６で検
出された加速度ベクトルとを差し引いてフレームメモリ
２へ供給する加算器７とを備えている。なお、当該ブロ
ックアドレスはフレームメモリ１にも供給されるように
なっている。
【００１４】次に、このように構成された本実施例の動
作について説明する。まず、フレームメモリ１に参照フ
レーム画像（例えば図３のフレーム＃０）が格納され
る。続いて、動き補償すべき当該フレーム画像（図３の
フレーム＃１：フレーム間隔１）がフレームメモリ２に
格納される。次に、動きベクトル検出部４で当該ブロッ
クの動きベクトル検出が以下のようになされる。フレー
ムメモリ１からは当該ブロックのアドレスで指定される
ブロックの画像データが読み出され、フレームメモリ２
からは当該ブロックのアドレスからＭＶ用メモリ５に格
納されている直前のフレーム間予測での当該ブロックア
ドレスの動きベクトルと、撮像装置加速度検出部６から
の加速度ベクトルを差し引いたアドレスを中心にして、
ある探索範囲で指定されるブロックの画像データが順次
読み出されて、動きベクトル検出部４に送られ、当該ブ
ロックの動きベクトルが検出される。ただし最初のフレ
ーム＃１の動きベクトル検出の際には、ＭＶ用メモリ５
からの値はゼロベクトルである。
作について説明する。まず、フレームメモリ１に参照フ
レーム画像（例えば図３のフレーム＃０）が格納され
る。続いて、動き補償すべき当該フレーム画像（図３の
フレーム＃１：フレーム間隔１）がフレームメモリ２に
格納される。次に、動きベクトル検出部４で当該ブロッ
クの動きベクトル検出が以下のようになされる。フレー
ムメモリ１からは当該ブロックのアドレスで指定される
ブロックの画像データが読み出され、フレームメモリ２
からは当該ブロックのアドレスからＭＶ用メモリ５に格
納されている直前のフレーム間予測での当該ブロックア
ドレスの動きベクトルと、撮像装置加速度検出部６から
の加速度ベクトルを差し引いたアドレスを中心にして、
ある探索範囲で指定されるブロックの画像データが順次
読み出されて、動きベクトル検出部４に送られ、当該ブ
ロックの動きベクトルが検出される。ただし最初のフレ
ーム＃１の動きベクトル検出の際には、ＭＶ用メモリ５
からの値はゼロベクトルである。
【００１５】このようにしてフレーム＃１（とフレーム
＃０）について検出された動きベクトルはＭＶ用メモリ
５に格納される。次に、フレーム＃２の動き補償すべき
当該フレーム画像がフレームメモリ２へ格納される。そ
してフレーム＃１についてと同様の処理にてフレーム＃
２（とフレーム＃０）の動きベクトルが検出される。た
だしこの時は、ＭＶ用メモリ５には、フレーム＃１（と
フレーム＃０）について検出された動きベクトルが入っ
ており、これが撮像装置加速度検出部６からの加速度ベ
クトル分と共に当該ブロックアドレスから差し引かれ、
フレームメモリ２に供給される。そして検出された動き
ベクトルは、ＭＶ用メモリ５に上書きされる。
＃０）について検出された動きベクトルはＭＶ用メモリ
５に格納される。次に、フレーム＃２の動き補償すべき
当該フレーム画像がフレームメモリ２へ格納される。そ
してフレーム＃１についてと同様の処理にてフレーム＃
２（とフレーム＃０）の動きベクトルが検出される。た
だしこの時は、ＭＶ用メモリ５には、フレーム＃１（と
フレーム＃０）について検出された動きベクトルが入っ
ており、これが撮像装置加速度検出部６からの加速度ベ
クトル分と共に当該ブロックアドレスから差し引かれ、
フレームメモリ２に供給される。そして検出された動き
ベクトルは、ＭＶ用メモリ５に上書きされる。
【００１６】このように本実施例によれば、撮像装置自
身の動き（パンニングや手ぶれ）により比較的大きな加
速度が生じても、撮像装置自身の加速度センサ（加速度
検出部６）からの比較的正しい加速度情報を用いて、動
きベクトル探索の際の探索範囲中心を偏位させることが
できるので、動き補償予測の予測効率を低下させずに済
み、復号画像の画質の劣化を回避することができる。
身の動き（パンニングや手ぶれ）により比較的大きな加
速度が生じても、撮像装置自身の加速度センサ（加速度
検出部６）からの比較的正しい加速度情報を用いて、動
きベクトル探索の際の探索範囲中心を偏位させることが
できるので、動き補償予測の予測効率を低下させずに済
み、復号画像の画質の劣化を回避することができる。
【００１７】図２は本発明の第２実施例の動きベクトル
検出方法を実現する動きベクトル検出装置の構成を示す
ブロック図である。この動きベクトル検出装置は、第１
実施例と同様の第１のフレームメモリ１、第２のフレー
ムメモリ２、切換スイッチ３動きベクトル検出部４およ
び撮像装置加速度検出部６の他に、動きベクトル検出部
４で検出された動きベクトルを格納する第１のＭＶ用メ
モリ１１と、この第１のＭＶ用メモリ１１から読み出さ
れた動きベクトルを格納する第２のＭＶ用メモリ１２
と、第１のＭＶ用メモリ１１に格納された動きベクトル
から第２のＭＶ用メモリ１２に格納された動きベクトル
を差し引いて出力する加算器１３と、撮像装置加速度検
出部６からの加速度ベクトルを所定のしきい値と比較す
る比較器１４と、この比較器１４の出力に応じて加算器
１３の出力と撮像装置加速度検出部６の出力の一方を選
択的に出力する切換スイッチ１５と、フレーム間予測に
おける当該ブロックのアドレスからＭＶ用メモリ１１に
格納されている動きベクトルと切換スイッチ１５の出力
とを差し引いてフレームメモリ２へ供給する加算器１６
とを備えている。
検出方法を実現する動きベクトル検出装置の構成を示す
ブロック図である。この動きベクトル検出装置は、第１
実施例と同様の第１のフレームメモリ１、第２のフレー
ムメモリ２、切換スイッチ３動きベクトル検出部４およ
び撮像装置加速度検出部６の他に、動きベクトル検出部
４で検出された動きベクトルを格納する第１のＭＶ用メ
モリ１１と、この第１のＭＶ用メモリ１１から読み出さ
れた動きベクトルを格納する第２のＭＶ用メモリ１２
と、第１のＭＶ用メモリ１１に格納された動きベクトル
から第２のＭＶ用メモリ１２に格納された動きベクトル
を差し引いて出力する加算器１３と、撮像装置加速度検
出部６からの加速度ベクトルを所定のしきい値と比較す
る比較器１４と、この比較器１４の出力に応じて加算器
１３の出力と撮像装置加速度検出部６の出力の一方を選
択的に出力する切換スイッチ１５と、フレーム間予測に
おける当該ブロックのアドレスからＭＶ用メモリ１１に
格納されている動きベクトルと切換スイッチ１５の出力
とを差し引いてフレームメモリ２へ供給する加算器１６
とを備えている。
【００１８】次に、このように構成された本実施例の動
作について説明する。まず、フレームメモリ１に参照フ
レーム画像（例えば図３のフレーム＃０）が格納され
る。続いて、動き補償すべき当該フレーム画像（図３の
フレーム＃１：フレーム間隔１）がフレームメモリ２に
格納される。次に動きベクトル検出部４で当該ブロック
の動きベクトル検出が以下のようになされる。フレーム
メモリ１からは当該ブロックのアドレスで指定されるブ
ロックの画像データが読み出され、フレームメモリ２か
らは当該ブロックのアドレスから、ＭＶ用メモリ１１に
格納されている直前のフレーム間予測での当該ブロック
アドレスの動きベクトルと、撮像装置加速度検出部６か
らの加速度ベクトルまたは直前フレームの当該ブロック
アドレスの動きベクトルからその前（２フレーム前）の
フレームの当該ブロックアドレスの動きベクトルを差し
引いて得られる加速度ベクトルとを差し引いたアドレス
を中心にして、ある探索範囲で指定されるブロックの画
像が順次読み出されて、動きベクトル検出部４に送ら
れ、当該ブロックの動きベクトルが検出される。ただし
当該フレームの動きベクトルを求めるときには、直前の
フレームの当該ブロックアドレスの動きベクトルがＭＶ
用メモリ１１に格納され、２フレーム前の当該ブロック
アドレスのフレームの動きベクトルがＭＶ用メモリ１２
に格納されており、加算器１３によってこれらの差を演
算することによって動きベクトルより計算した加速度ベ
クトルが求められる。
作について説明する。まず、フレームメモリ１に参照フ
レーム画像（例えば図３のフレーム＃０）が格納され
る。続いて、動き補償すべき当該フレーム画像（図３の
フレーム＃１：フレーム間隔１）がフレームメモリ２に
格納される。次に動きベクトル検出部４で当該ブロック
の動きベクトル検出が以下のようになされる。フレーム
メモリ１からは当該ブロックのアドレスで指定されるブ
ロックの画像データが読み出され、フレームメモリ２か
らは当該ブロックのアドレスから、ＭＶ用メモリ１１に
格納されている直前のフレーム間予測での当該ブロック
アドレスの動きベクトルと、撮像装置加速度検出部６か
らの加速度ベクトルまたは直前フレームの当該ブロック
アドレスの動きベクトルからその前（２フレーム前）の
フレームの当該ブロックアドレスの動きベクトルを差し
引いて得られる加速度ベクトルとを差し引いたアドレス
を中心にして、ある探索範囲で指定されるブロックの画
像が順次読み出されて、動きベクトル検出部４に送ら
れ、当該ブロックの動きベクトルが検出される。ただし
当該フレームの動きベクトルを求めるときには、直前の
フレームの当該ブロックアドレスの動きベクトルがＭＶ
用メモリ１１に格納され、２フレーム前の当該ブロック
アドレスのフレームの動きベクトルがＭＶ用メモリ１２
に格納されており、加算器１３によってこれらの差を演
算することによって動きベクトルより計算した加速度ベ
クトルが求められる。
【００１９】比較器１４は、撮像装置加速度検出部６か
らの加速度ベクトルを所定のしきい値と比較し、加速度
ベクトルがしきい値以下のときは切換スイッチ１５に加
算器１３の出力を選択させ、加速度ベクトルがしきい値
を越えるときは撮像装置加速度検出部６の出力を選択さ
せる。このようにして、本実施例では、撮像装置加速度
検出部６からの加速度ベクトルがしきい値以下のとき
は、動きベクトル探索の探索範囲の中心を直前のフレー
ムでの符号化該当ブロック位置の動きベクトル分に加え
て動きベクトルより計算された加速度ベクトル分だけず
らして動きベクトルを探索し、撮像装置加速度検出部６
からの加速度ベクトルがしきい値を越えるときは、動き
ベクトル探索の探索範囲の中心を、直前のフレームでの
符号化該当ブロック位置の動きベクトル分に加えて撮像
装置加速度検出部６からの加速度ベクトル分だけずらし
て動きベクトルを探索する。このようにして、当該ブロ
ックについて検出された動きベクトルは、当該ブロック
アドレスのＭＶ用メモリ１１の内容をＭＶ用メモリ１２
にコピーした後、ＭＶ用メモリ１１に格納される。
らの加速度ベクトルを所定のしきい値と比較し、加速度
ベクトルがしきい値以下のときは切換スイッチ１５に加
算器１３の出力を選択させ、加速度ベクトルがしきい値
を越えるときは撮像装置加速度検出部６の出力を選択さ
せる。このようにして、本実施例では、撮像装置加速度
検出部６からの加速度ベクトルがしきい値以下のとき
は、動きベクトル探索の探索範囲の中心を直前のフレー
ムでの符号化該当ブロック位置の動きベクトル分に加え
て動きベクトルより計算された加速度ベクトル分だけず
らして動きベクトルを探索し、撮像装置加速度検出部６
からの加速度ベクトルがしきい値を越えるときは、動き
ベクトル探索の探索範囲の中心を、直前のフレームでの
符号化該当ブロック位置の動きベクトル分に加えて撮像
装置加速度検出部６からの加速度ベクトル分だけずらし
て動きベクトルを探索する。このようにして、当該ブロ
ックについて検出された動きベクトルは、当該ブロック
アドレスのＭＶ用メモリ１１の内容をＭＶ用メモリ１２
にコピーした後、ＭＶ用メモリ１１に格納される。
【００２０】このように本実施例によれば、撮像装置自
身の動きが大きい場合には、第１実施例と同様に、撮像
装置加速度検出部６からの比較的正しい加速度情報を用
いて、動きベクトル探索の際の探索範囲中心を偏位させ
ることができると共に、撮像装置自身の動きが小さく、
被写体自身の加速度が生じた場合にも、動きベクトルよ
り計算された加速度ベクトルを用いて探索範囲中心を偏
位させることができるので、いずれの場合にも動き補償
予測の予測効率を低下させずに済み、復号画像の画質の
劣化を回避することができる。
身の動きが大きい場合には、第１実施例と同様に、撮像
装置加速度検出部６からの比較的正しい加速度情報を用
いて、動きベクトル探索の際の探索範囲中心を偏位させ
ることができると共に、撮像装置自身の動きが小さく、
被写体自身の加速度が生じた場合にも、動きベクトルよ
り計算された加速度ベクトルを用いて探索範囲中心を偏
位させることができるので、いずれの場合にも動き補償
予測の予測効率を低下させずに済み、復号画像の画質の
劣化を回避することができる。
【００２１】
【発明の効果】以上説明したように請求項１記載の発明
によれば、撮像装置自身の動きによる加速度ベクトルを
求め、動きベクトル探索の探索範囲の中心を、直前のフ
レームでの符号化該当ブロック位置の動きベクトル分に
加えて撮像装置自身の加速度ベクトル分だけずらして動
きベクトルを探索するようにしたので、撮像装置自身の
動きにより比較的大きな加速度が生じても、動き補償予
測の予測効率を低下させずに、復号画像の画質の劣化を
防止することができるという効果がある。また、請求項
２記載の発明によれば、撮像装置自身の加速度ベクトル
がしきい値を越えるときは請求項１記載の発明と同様に
して動きベクトルを検索すると共に、撮像装置自身の加
速度ベクトルがしきい値以下のときは、動きベクトル探
索の探索範囲の中心を、直前のフレームでの符号化該当
ブロック位置の動きベクトル分に加えて動きベクトルよ
り計算された加速度ベクトル分だけずらして動きベクト
ルを探索するようにしたので、上記効果に加え、撮像装
置自身の動きが小さく、被写体自身の加速度が生じた場
合にも、同様に動き補償予測の予測効率を低下させず
に、復号画像の画質の劣化を防止することができるとい
う効果がある。
によれば、撮像装置自身の動きによる加速度ベクトルを
求め、動きベクトル探索の探索範囲の中心を、直前のフ
レームでの符号化該当ブロック位置の動きベクトル分に
加えて撮像装置自身の加速度ベクトル分だけずらして動
きベクトルを探索するようにしたので、撮像装置自身の
動きにより比較的大きな加速度が生じても、動き補償予
測の予測効率を低下させずに、復号画像の画質の劣化を
防止することができるという効果がある。また、請求項
２記載の発明によれば、撮像装置自身の加速度ベクトル
がしきい値を越えるときは請求項１記載の発明と同様に
して動きベクトルを検索すると共に、撮像装置自身の加
速度ベクトルがしきい値以下のときは、動きベクトル探
索の探索範囲の中心を、直前のフレームでの符号化該当
ブロック位置の動きベクトル分に加えて動きベクトルよ
り計算された加速度ベクトル分だけずらして動きベクト
ルを探索するようにしたので、上記効果に加え、撮像装
置自身の動きが小さく、被写体自身の加速度が生じた場
合にも、同様に動き補償予測の予測効率を低下させず
に、復号画像の画質の劣化を防止することができるとい
う効果がある。
【図１】本発明の第１実施例の動きベクトル検出方法を
実現する動きベクトル検出装置の構成を示すブロック図
である。
実現する動きベクトル検出装置の構成を示すブロック図
である。
【図２】本発明の第２実施例の動きベクトル検出方法を
実現する動きベクトル検出装置の構成を示すブロック図
である。
実現する動きベクトル検出装置の構成を示すブロック図
である。
【図３】動画像符号化方式を説明するための説明図であ
る。
る。
【図４】従来のテレスコピック・サーチを説明するため
の説明図である。
の説明図である。
【図５】従来のテレスコピック・サーチの問題点を説明
するための説明図である。
するための説明図である。
【図６】従来の動きベクトルの加速度成分の検出方法を
説明するための説明図である。
説明するための説明図である。
１、２ フレームメモリ ３ 切換スイッチ ４ 動きベクトル検出部 ５ ＭＶ用メモリ ６ 撮像装置加速度検出部 ７ 加算器
Claims (2)
- 【請求項１】 同一フレームから複数フレーム間隔離れ
たフレームまで順次フレーム間のブロック単位の動き補
償予測を行う動画像符号化装置における動きベクトル検
出方法において、 撮像装置自身の動きによる加速度ベクトルを求め、 動きベクトル探索の探索範囲の中心を、直前のフレーム
での符号化該当ブロック位置の動きベクトル分に加えて
撮像装置自身の加速度ベクトル分だけずらして動きベク
トルを探索することを特徴とする動きベクトル検出方
法。 - 【請求項２】 同一フレームから複数フレーム間隔離れ
たフレームまで順次フレーム間のブロック単位の動き補
償予測を行う動画像符号化装置における動きベクトル検
出方法において、 直前のフレームで求めた動きベクトルとその前のフレー
ムで求めた動きベクトルとにより第１の加速度ベクトル
を求め、 撮像装置自身の動きによる第２の加速度ベクトルを求
め、 第２の加速度ベクトルが所定のしきい値以下のときは、
動きベクトル探索の探索範囲の中心を、直前のフレーム
での符号化該当ブロック位置の動きベクトル分に加えて
第１の加速度ベクトル分だけずらして動きベクトルを探
索し、 第２の加速度ベクトルが所定のしきい値を越えるとき
は、動きベクトル探索の探索範囲の中心を、直前のフレ
ームでの符号化該当ブロック位置の動きベクトル分に加
えて第２の加速度ベクトル分だけずらして動きベクトル
を探索することを特徴とする動きベクトル検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7304593A JPH06261309A (ja) | 1993-03-08 | 1993-03-08 | 動きベクトル検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7304593A JPH06261309A (ja) | 1993-03-08 | 1993-03-08 | 動きベクトル検出方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06261309A true JPH06261309A (ja) | 1994-09-16 |
Family
ID=13507010
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7304593A Pending JPH06261309A (ja) | 1993-03-08 | 1993-03-08 | 動きベクトル検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06261309A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100558583B1 (ko) * | 1997-03-19 | 2006-07-21 | 소니 가부시끼 가이샤 | 화상부호화장치및방법 |
| CN100373949C (zh) * | 2005-04-15 | 2008-03-05 | 北京中星微电子有限公司 | 一种硬件加速装置及其实现运动估计的方法 |
| JP2011053933A (ja) * | 2009-09-02 | 2011-03-17 | Mitsubishi Electric Corp | 映像特徴量抽出方法、映像状態判別方法、映像符号化方法、オブジェクト検索方法、映像特徴量抽出装置、映像状態判別装置、映像符号化装置およびオブジェクト検索装置 |
| JP2011081841A (ja) * | 2011-01-11 | 2011-04-21 | Tokyo Univ Of Science | 動物体検出装置および動物体検出方法 |
| US10419675B2 (en) | 2015-11-25 | 2019-09-17 | Canon Kabushiki Kaisha | Image pickup apparatus for detecting a moving amount of one of a main subject and a background, and related method and storage medium |
-
1993
- 1993-03-08 JP JP7304593A patent/JPH06261309A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100558583B1 (ko) * | 1997-03-19 | 2006-07-21 | 소니 가부시끼 가이샤 | 화상부호화장치및방법 |
| CN100373949C (zh) * | 2005-04-15 | 2008-03-05 | 北京中星微电子有限公司 | 一种硬件加速装置及其实现运动估计的方法 |
| JP2011053933A (ja) * | 2009-09-02 | 2011-03-17 | Mitsubishi Electric Corp | 映像特徴量抽出方法、映像状態判別方法、映像符号化方法、オブジェクト検索方法、映像特徴量抽出装置、映像状態判別装置、映像符号化装置およびオブジェクト検索装置 |
| JP2011081841A (ja) * | 2011-01-11 | 2011-04-21 | Tokyo Univ Of Science | 動物体検出装置および動物体検出方法 |
| US10419675B2 (en) | 2015-11-25 | 2019-09-17 | Canon Kabushiki Kaisha | Image pickup apparatus for detecting a moving amount of one of a main subject and a background, and related method and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100233553B1 (ko) | 비디오신호 처리장치 | |
| US6512537B1 (en) | Motion detecting apparatus, motion detecting method, and storage medium storing motion detecting program for avoiding incorrect detection | |
| US6249612B1 (en) | Device and method for image coding | |
| EP0762774A2 (en) | Image signal encoding apparatus | |
| JPH09163380A (ja) | 画像符号化装置及び動きベクトル検出方法 | |
| JP2011097572A (ja) | 動画像符号化装置 | |
| EP0632657A1 (en) | Method of prediction of a video image | |
| JPH06261309A (ja) | 動きベクトル検出方法 | |
| JPH1051787A (ja) | 動きベクトル検出装置 | |
| JPH0678298A (ja) | インターレース動画像の動き補償予測装置 | |
| JPH11308617A (ja) | ディジタル画像符号化装置とこれに用いる動きベクトル検出装置 | |
| JPH04309078A (ja) | ビデオデータの動き検出装置および方法 | |
| JPH09130748A (ja) | 画像信号処理装置および記録／再生装置 | |
| JPH0846856A (ja) | 手振れ補正装置 | |
| JPH07184206A (ja) | 画像符号化装置 | |
| JP3252418B2 (ja) | 画像の手振れ判定装置 | |
| JP2001145011A (ja) | 映像信号符号化装置 | |
| WO1999044369A1 (fr) | Dispositif et procede de codage d'image | |
| JP2000059786A (ja) | 動き検出装置及び方法 | |
| JPH1042300A (ja) | 動きベクトル検出装置 | |
| JP2001275103A (ja) | 監視システム及びその動き検出方法 | |
| JPH06205389A (ja) | 動きベクトル検出装置及び動きベクトル検出方法 | |
| JPH0984017A (ja) | 動画像の動き補償予測符号化方法 | |
| JPH08205171A (ja) | 動画像符号化装置 | |
| JP3103893B2 (ja) | ビデオデータの手振れ検出装置およびその方法 |