JPH10191344A - 動き検出方法 - Google Patents
動き検出方法Info
- Publication number
- JPH10191344A JPH10191344A JP35034796A JP35034796A JPH10191344A JP H10191344 A JPH10191344 A JP H10191344A JP 35034796 A JP35034796 A JP 35034796A JP 35034796 A JP35034796 A JP 35034796A JP H10191344 A JPH10191344 A JP H10191344A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- image frame
- region
- amount
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims description 20
- 238000000034 method Methods 0.000 claims description 37
- 239000000284 extract Substances 0.000 claims description 3
- 239000013598 vector Substances 0.000 abstract description 13
- 230000005484 gravity Effects 0.000 abstract description 6
- 238000006073 displacement reaction Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 16
- 238000000605 extraction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 画像中の特定の被写体あるいは画像全体の巨
視的な動きを、少ない演算量で、精度よく検出すること
ができる動き検出方法を提供する。 【解決手段】 現在の画像フレームとこれと時間差を有
する参照画像フレームとのそれぞれから前記特定の被写
体の領域Ｒ1 、Ｒ2 を抽出する。被写体領域Ｒ1、Ｒ2
からそれぞれ、重心座標Ｇ1 、Ｇ2 、主軸の傾きθ1 、
θ2 、及び画素数Ｓ1 、Ｓ2 を巨視的特徴量として検出
する。これら巨視的特徴量の変化量を求めて動きを特徴
付ける動きパラメータを算出する。
視的な動きを、少ない演算量で、精度よく検出すること
ができる動き検出方法を提供する。 【解決手段】 現在の画像フレームとこれと時間差を有
する参照画像フレームとのそれぞれから前記特定の被写
体の領域Ｒ1 、Ｒ2 を抽出する。被写体領域Ｒ1、Ｒ2
からそれぞれ、重心座標Ｇ1 、Ｇ2 、主軸の傾きθ1 、
θ2 、及び画素数Ｓ1 、Ｓ2 を巨視的特徴量として検出
する。これら巨視的特徴量の変化量を求めて動きを特徴
付ける動きパラメータを算出する。
Description
【０００１】
【発明の属する技術分野】本発明は、動画像の符号化に
利用される動き検出方法に関し、特に、画像中の特定の
被写体あるいは画像全体の巨視的な動きを少ない演算量
で検出する動き検出方法に関する。
利用される動き検出方法に関し、特に、画像中の特定の
被写体あるいは画像全体の巨視的な動きを少ない演算量
で検出する動き検出方法に関する。
【０００２】
【従来の技術】従来、動画像の動きを検出する方法とし
て、ブロックマッチング方式が広く知られている。この
方式は、動き検出をしようとする画像を小ブロックに分
割し、小ブロックごとに参照画像上でブロックマッチン
グ処理を行い、誤差が最小となる座標位置から動きを検
出する方式である。このようなブロックマッチング方式
は、ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１で国
際標準化が行われたＩＳ１１１７２−２規格などに広く
利用されている。
て、ブロックマッチング方式が広く知られている。この
方式は、動き検出をしようとする画像を小ブロックに分
割し、小ブロックごとに参照画像上でブロックマッチン
グ処理を行い、誤差が最小となる座標位置から動きを検
出する方式である。このようなブロックマッチング方式
は、ＩＳＯ／ＩＥＣＪＴＣ１／ＳＣ２９／ＷＧ１１で国
際標準化が行われたＩＳ１１１７２−２規格などに広く
利用されている。
【０００３】
【発明が解決しようとする課題】しかしながら、ブロッ
クマッチング処理は、一般的に多くの演算量を必要とす
る。特に、カメラ操作（視点移動）などにより、画像に
大きな動きがある場合には、ブロックマッチングを行う
探索範囲を広くする必要があるので、更に多くの演算量
を必要とするという問題点がある。
クマッチング処理は、一般的に多くの演算量を必要とす
る。特に、カメラ操作（視点移動）などにより、画像に
大きな動きがある場合には、ブロックマッチングを行う
探索範囲を広くする必要があるので、更に多くの演算量
を必要とするという問題点がある。
【０００４】カメラ操作などによる画像全体の動きを検
出する方法としては、特開平４−３５９５号公報に記載
された方式もある。しかしながら、この方式において
も、まず最初にブロックマッチング処理を行って小ブロ
ックごとに動きベクトルを検出し、検出した多数の動き
ベクトルの値から算術演算によって画像全体の動きを特
徴付ける動きパラメータを算出するものである。即ち、
この方式においても、画像全体の動きを検出するために
ブロックマッチング処理を利用するため、多くの演算量
を必要とするという問題点がある。
出する方法としては、特開平４−３５９５号公報に記載
された方式もある。しかしながら、この方式において
も、まず最初にブロックマッチング処理を行って小ブロ
ックごとに動きベクトルを検出し、検出した多数の動き
ベクトルの値から算術演算によって画像全体の動きを特
徴付ける動きパラメータを算出するものである。即ち、
この方式においても、画像全体の動きを検出するために
ブロックマッチング処理を利用するため、多くの演算量
を必要とするという問題点がある。
【０００５】また、画像全体の動きを検出する別の方法
として、特開平６−９６２１０号公報に記載された方式
がある。この方式では、まず、画像内の輪郭線成分を多
数検出する。次に、検出した多数の輪郭線をまとめ、ニ
ューラルネットワーク処理により画像全体の動きを検出
している。
として、特開平６−９６２１０号公報に記載された方式
がある。この方式では、まず、画像内の輪郭線成分を多
数検出する。次に、検出した多数の輪郭線をまとめ、ニ
ューラルネットワーク処理により画像全体の動きを検出
している。
【０００６】しかしながら、輪郭線の形状や位置の検出
は、被写体相互の位置関係の変化や被写体自身の変形、
あるいは撮像系の雑音などの影響を受けて誤差が生じや
すく、その検出精度が悪化しやすいという問題点があ
る。
は、被写体相互の位置関係の変化や被写体自身の変形、
あるいは撮像系の雑音などの影響を受けて誤差が生じや
すく、その検出精度が悪化しやすいという問題点があ
る。
【０００７】本発明は、画像中の特定の被写体あるいは
画像全体の巨視的な動きを、少ない演算量で、精度よく
検出することができる動き検出方法を提供することを目
的とする。
画像全体の巨視的な動きを、少ない演算量で、精度よく
検出することができる動き検出方法を提供することを目
的とする。
【０００８】
【課題を解決するための手段】本発明によれば、動画像
中における特定の被写体のフレーム間での動きを検出す
る動き検出方法において、現在の画像フレームとこれと
時間差を有する参照画像フレームとのそれぞれから前記
特定の被写体の領域を抽出し、抽出した被写体領域の巨
視的特徴量をそれぞれ検出し、前記現在の画像フレーム
と前記参照画像フレームとの間での前記巨視的特徴量の
変化量を基に前記被写体の領域の動きを特徴付ける動き
パラメータを算出するようにしたことを特徴とする動き
検出方法が得られる。
中における特定の被写体のフレーム間での動きを検出す
る動き検出方法において、現在の画像フレームとこれと
時間差を有する参照画像フレームとのそれぞれから前記
特定の被写体の領域を抽出し、抽出した被写体領域の巨
視的特徴量をそれぞれ検出し、前記現在の画像フレーム
と前記参照画像フレームとの間での前記巨視的特徴量の
変化量を基に前記被写体の領域の動きを特徴付ける動き
パラメータを算出するようにしたことを特徴とする動き
検出方法が得られる。
【０００９】また、本発明によれば、動画像の画像全体
のフレーム間での動きを検出する動き検出方法におい
て、現在の画像フレームとこれと時間差を有する参照画
像フレームとから同定可能な一つ以上の領域をそれぞれ
抽出し、抽出した領域の巨視的特徴量をそれぞれ検出
し、前記現在の画像フレームと前記参照画像フレームと
の間での前記巨視的特徴量の変化量を基に前記画像全体
の動きを特徴付ける動きパラメータを算出するようにし
たことを特徴とする動き検出方法が得られる。
のフレーム間での動きを検出する動き検出方法におい
て、現在の画像フレームとこれと時間差を有する参照画
像フレームとから同定可能な一つ以上の領域をそれぞれ
抽出し、抽出した領域の巨視的特徴量をそれぞれ検出
し、前記現在の画像フレームと前記参照画像フレームと
の間での前記巨視的特徴量の変化量を基に前記画像全体
の動きを特徴付ける動きパラメータを算出するようにし
たことを特徴とする動き検出方法が得られる。
【００１０】さらにまた、本発明によれば、動画像のフ
レーム間での動きを検出する動き検出方法において、現
在の画像フレームとこれと時間差を有する参照画像フレ
ームとのそれぞれから同定可能な一つ以上の領域を抽出
し、抽出した領域の巨視的特徴量をそれぞれ検出し、前
記現在の画像フレームと前記参照画像フレームとの間で
の前記巨視的特徴量の変化量を基に、画像全体の動きを
特徴付ける動きパラメータを算出し、前記現在の画像フ
レームを小ブロックに分割して各小ブロックの大まかな
動きを示す動き量を前記動きパラメータを基に算出し
て、前記小ブロックごとに前記動き量を初期値とするブ
ロックマッチング処理により検出するようにしたことを
特徴とする動き検出方法が得られる。
レーム間での動きを検出する動き検出方法において、現
在の画像フレームとこれと時間差を有する参照画像フレ
ームとのそれぞれから同定可能な一つ以上の領域を抽出
し、抽出した領域の巨視的特徴量をそれぞれ検出し、前
記現在の画像フレームと前記参照画像フレームとの間で
の前記巨視的特徴量の変化量を基に、画像全体の動きを
特徴付ける動きパラメータを算出し、前記現在の画像フ
レームを小ブロックに分割して各小ブロックの大まかな
動きを示す動き量を前記動きパラメータを基に算出し
て、前記小ブロックごとに前記動き量を初期値とするブ
ロックマッチング処理により検出するようにしたことを
特徴とする動き検出方法が得られる。
【００１１】また、本発明によれば、動画像中における
特定の被写体のフレーム間での動きを検出する画像処理
装置において、現在の画像フレームとこれと時間差を有
する参照画像フレームとのそれぞれから前記特定の被写
体の領域を抽出する領域抽出手段と、該領域抽出手段が
抽出した被写体領域の巨視的特徴量をそれぞれ検出する
巨視的特徴検出手段と、前記現在の画像フレームと前記
参照画像フレームとの間での前記巨視的特徴量の変化量
を基に前記被写体の領域の動きを特徴付ける動きパラメ
ータを算出する動きパラメータ算出手段とを備えたこと
を特徴とする画像処理装置が得られる。
特定の被写体のフレーム間での動きを検出する画像処理
装置において、現在の画像フレームとこれと時間差を有
する参照画像フレームとのそれぞれから前記特定の被写
体の領域を抽出する領域抽出手段と、該領域抽出手段が
抽出した被写体領域の巨視的特徴量をそれぞれ検出する
巨視的特徴検出手段と、前記現在の画像フレームと前記
参照画像フレームとの間での前記巨視的特徴量の変化量
を基に前記被写体の領域の動きを特徴付ける動きパラメ
ータを算出する動きパラメータ算出手段とを備えたこと
を特徴とする画像処理装置が得られる。
【００１２】さらにまた、本発明によれば、動画像の画
像全体のフレーム間での動きを検出する画像処理装置に
おいて、現在の画像フレームとこれと時間差を有する参
照画像フレームとから同定可能な一つ以上の領域をそれ
ぞれ抽出する領域抽出手段と、該領域抽出手段が抽出し
た領域の巨視的特徴量をそれぞれ検出する巨視的特徴量
検出手段と、前記現在の画像フレームと前記参照画像フ
レームとの間での前記巨視的特徴量の変化量を基に前記
画像全体の動きを特徴付ける動きパラメータを算出する
動きパラメータ算出手段とを備えたことを特徴とする動
き検出方法が得られる。
像全体のフレーム間での動きを検出する画像処理装置に
おいて、現在の画像フレームとこれと時間差を有する参
照画像フレームとから同定可能な一つ以上の領域をそれ
ぞれ抽出する領域抽出手段と、該領域抽出手段が抽出し
た領域の巨視的特徴量をそれぞれ検出する巨視的特徴量
検出手段と、前記現在の画像フレームと前記参照画像フ
レームとの間での前記巨視的特徴量の変化量を基に前記
画像全体の動きを特徴付ける動きパラメータを算出する
動きパラメータ算出手段とを備えたことを特徴とする動
き検出方法が得られる。
【００１３】加えて、本発明によれば、動画像のフレー
ム間での動きを検出する画像処理装置において、現在の
画像フレームとこれと時間差を有する参照画像フレーム
とのそれぞれから同定可能な一つ以上の領域を抽出する
領域抽出手段と、該領域抽出手段が抽出した領域の巨視
的特徴量をそれぞれ検出する巨視的特徴量抽出手段と、
前記現在の画像フレームと前記参照画像フレームとの間
での前記巨視的特徴量の変化量を基に、画像全体の動き
を特徴付ける動きパラメータを算出する動きパラメータ
算出手段と、前記現在の画像フレームを小ブロックに分
割して各小ブロックの大まかな動きを示す動き量を前記
動きパラメータを基に算出し、前記小ブロックごとの動
きを前記動き量を初期値とするブロックマッチング処理
により検出するブロックマッチング処理手段とを備えた
ことを特徴とする動き検出方法が得られる。
ム間での動きを検出する画像処理装置において、現在の
画像フレームとこれと時間差を有する参照画像フレーム
とのそれぞれから同定可能な一つ以上の領域を抽出する
領域抽出手段と、該領域抽出手段が抽出した領域の巨視
的特徴量をそれぞれ検出する巨視的特徴量抽出手段と、
前記現在の画像フレームと前記参照画像フレームとの間
での前記巨視的特徴量の変化量を基に、画像全体の動き
を特徴付ける動きパラメータを算出する動きパラメータ
算出手段と、前記現在の画像フレームを小ブロックに分
割して各小ブロックの大まかな動きを示す動き量を前記
動きパラメータを基に算出し、前記小ブロックごとの動
きを前記動き量を初期値とするブロックマッチング処理
により検出するブロックマッチング処理手段とを備えた
ことを特徴とする動き検出方法が得られる。
【００１４】
【発明の実施の形態】次に図面を参照して本発明の実施
の形態について説明する。
の形態について説明する。
【００１５】本実施の形態による画像処理装置は、予め
画像から抽出した被写体領域または所定の領域に対し、
各領域ごとに巨視的特徴量を検出し、この特徴量のフレ
ーム間での変化に基づいて画像の動きを検出する。以
下、図１を参照して本発明の一実施の形態により画像処
理装置の動作について説明する。
画像から抽出した被写体領域または所定の領域に対し、
各領域ごとに巨視的特徴量を検出し、この特徴量のフレ
ーム間での変化に基づいて画像の動きを検出する。以
下、図１を参照して本発明の一実施の形態により画像処
理装置の動作について説明する。
【００１６】ここでは、図１に示すように、あるフレー
ムの画像を参照画像とし、その１フレーム後の入力画像
の動きを検出する。参照画像及び入力画像では、予め被
写体領域が検出される。そして検出された被写体領域そ
れぞれについて、巨視的特徴量が求められる。
ムの画像を参照画像とし、その１フレーム後の入力画像
の動きを検出する。参照画像及び入力画像では、予め被
写体領域が検出される。そして検出された被写体領域そ
れぞれについて、巨視的特徴量が求められる。
【００１７】被写体領域における巨視的特徴量として
は、領域Ｒi （ｉ：領域番号）の重心座標位置Ｇi ＝
（Ｘｇi ，Ｙｇi ）、や、領域Ｒi の主軸の傾きθi 、
領域Ｒiの大きさ（即ち画素数Ｓi ）などを用いること
ができる。例えば、図１の例では、領域１及び２のぞれ
ぞれについて、参照画像上では、Ｇ1r＝（Ｘｇ1r，Ｙｇ
1r）、θ1r、Ｓ1r、及びＧ2r＝（Ｘｇ2r，Ｙｇ2r）、θ
2r、Ｓ2rが、入力画像上では、Ｇ1c＝（Ｘｇ1c，Ｙｇ1
c）、θ1c、Ｓ1c、及びＧ2c＝（Ｘｇ2c，Ｙｇ2c）、θ2
c、Ｓ2cが、それぞれ巨視的特徴量として求められる。
は、領域Ｒi （ｉ：領域番号）の重心座標位置Ｇi ＝
（Ｘｇi ，Ｙｇi ）、や、領域Ｒi の主軸の傾きθi 、
領域Ｒiの大きさ（即ち画素数Ｓi ）などを用いること
ができる。例えば、図１の例では、領域１及び２のぞれ
ぞれについて、参照画像上では、Ｇ1r＝（Ｘｇ1r，Ｙｇ
1r）、θ1r、Ｓ1r、及びＧ2r＝（Ｘｇ2r，Ｙｇ2r）、θ
2r、Ｓ2rが、入力画像上では、Ｇ1c＝（Ｘｇ1c，Ｙｇ1
c）、θ1c、Ｓ1c、及びＧ2c＝（Ｘｇ2c，Ｙｇ2c）、θ2
c、Ｓ2cが、それぞれ巨視的特徴量として求められる。
【００１８】これらの特徴量は、注目領域に属する全て
の画素の座標位置に関する簡単な演算で求めることがで
きる。また、これらの特徴量は、巨視的な値であるた
め、被写体の輪郭線等の局所的かつ微細な特徴量に比べ
て誤検出等の影響を受け難い。従って、被写体自身に多
少の変形がある場合や撮像系に多少の雑音などの悪影響
がある場合であっても、これらの特徴量は、簡単かつ精
度よく検出することが可能である。
の画素の座標位置に関する簡単な演算で求めることがで
きる。また、これらの特徴量は、巨視的な値であるた
め、被写体の輪郭線等の局所的かつ微細な特徴量に比べ
て誤検出等の影響を受け難い。従って、被写体自身に多
少の変形がある場合や撮像系に多少の雑音などの悪影響
がある場合であっても、これらの特徴量は、簡単かつ精
度よく検出することが可能である。
【００１９】次に、これらの特徴量のフレーム間の変化
量に基づいて、各領域それぞれについて領域全体の動き
を特徴付ける動きパラメータが求められる。即ち、その
領域全体の平行移動量を示す動きベクトルとして、重心
座標位置Ｇi のフレーム間での変化量ΔＧi ＝（Ｅi ，
Ｆi ）と、領域全体が回転した角度を示す主軸傾度θの
変化量Ｑと、領域全体の拡大縮小率を示す領域の大きさ
Ｓの変化率の平方根Ｚとが求められる。図１の場合は、
（Ｅ1 ，Ｆ1 ）＝（Ｘｇ1c−Ｘｇ1r，Ｙｇ1c−Ｙｇ1
r）、（Ｅ2 ，Ｆ2 ）＝（Ｘｇ2c−Ｘｇ2r，Ｙｇ2c−Ｙ
ｇ2r）と、Ｑ1 ＝θ1c−θ1r，Ｑ2 ＝θ2c−θ2rと、Ｚ
1 ＝√（Ｓ1c／Ｓ1r），Ｚ2 ＝√（Ｓ2c／Ｓ2r）とが求
められる。
量に基づいて、各領域それぞれについて領域全体の動き
を特徴付ける動きパラメータが求められる。即ち、その
領域全体の平行移動量を示す動きベクトルとして、重心
座標位置Ｇi のフレーム間での変化量ΔＧi ＝（Ｅi ，
Ｆi ）と、領域全体が回転した角度を示す主軸傾度θの
変化量Ｑと、領域全体の拡大縮小率を示す領域の大きさ
Ｓの変化率の平方根Ｚとが求められる。図１の場合は、
（Ｅ1 ，Ｆ1 ）＝（Ｘｇ1c−Ｘｇ1r，Ｙｇ1c−Ｙｇ1
r）、（Ｅ2 ，Ｆ2 ）＝（Ｘｇ2c−Ｘｇ2r，Ｙｇ2c−Ｙ
ｇ2r）と、Ｑ1 ＝θ1c−θ1r，Ｑ2 ＝θ2c−θ2rと、Ｚ
1 ＝√（Ｓ1c／Ｓ1r），Ｚ2 ＝√（Ｓ2c／Ｓ2r）とが求
められる。
【００２０】各領域内部の任意の画素位置について、参
照画像上から入力画像上への移動を示す動きベクトル
（Ｖcx，Ｖcy）は、任意の画素位置を（Ｘc ，Ｙc ）と
し、上記動きパラメータを用いて、次の数式１及び２の
ように表すことができる。
照画像上から入力画像上への移動を示す動きベクトル
（Ｖcx，Ｖcy）は、任意の画素位置を（Ｘc ，Ｙc ）と
し、上記動きパラメータを用いて、次の数式１及び２の
ように表すことができる。
【００２１】
【数１】
【００２２】
【数２】 上記数式１及び２において、（Ｈi ，Ｖi ）は、各領域
の拡大縮小及び回転に起因する各領域の平行移動量を補
正するための項を含む。これらの数式を整理すると、そ
れぞれ数式３及び４のように表わされる。
の拡大縮小及び回転に起因する各領域の平行移動量を補
正するための項を含む。これらの数式を整理すると、そ
れぞれ数式３及び４のように表わされる。
【００２３】
【数３】
【００２４】
【数４】 更に、数式３及び４は、数式５及び６のように表わすこ
ともできる。
ともできる。
【００２５】
【数５】
【００２６】
【数６】 カメラ操作などにより、画像全体が一様に動いている場
合にも、上述と同様にして、画像全体の動きパラメータ
（Ｚ，Ｑ，Ｅ，Ｆ）あるいは（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，
Ｆ）を計算により求めることができる。この場合は、画
像から一つ以上の領域を抽出し、かつそれらの各々の領
域から巨視的特徴量を検出し、動きパラメータを算出す
る。そして、領域毎に検出した動きパラメータ（Ｚi ，
Ｑi ，Ｅi，Ｆi ）または（Ａi ，Ｂi ，Ｃi ，Ｄi ，
Ｅi ，Ｆi ）を、要素ごとに算術平均あるいは重み付け
算術平均を取り、画像全体として動きパラメータを算出
する。ここで、重み付けを行う場合は、画素数の多い領
域などのパラメータ検出の信頼性が高いものを大きくす
ればよい。なお、この方法で、画像全体の動きパラメー
タを検出する場合は、１の領域を用いるよりも複数の領
域を用いたほうが検出精度が向上する。
合にも、上述と同様にして、画像全体の動きパラメータ
（Ｚ，Ｑ，Ｅ，Ｆ）あるいは（Ａ，Ｂ，Ｃ，Ｄ，Ｅ，
Ｆ）を計算により求めることができる。この場合は、画
像から一つ以上の領域を抽出し、かつそれらの各々の領
域から巨視的特徴量を検出し、動きパラメータを算出す
る。そして、領域毎に検出した動きパラメータ（Ｚi ，
Ｑi ，Ｅi，Ｆi ）または（Ａi ，Ｂi ，Ｃi ，Ｄi ，
Ｅi ，Ｆi ）を、要素ごとに算術平均あるいは重み付け
算術平均を取り、画像全体として動きパラメータを算出
する。ここで、重み付けを行う場合は、画素数の多い領
域などのパラメータ検出の信頼性が高いものを大きくす
ればよい。なお、この方法で、画像全体の動きパラメー
タを検出する場合は、１の領域を用いるよりも複数の領
域を用いたほうが検出精度が向上する。
【００２７】また、カメラ操作などにより画像全体が大
きく動いているのに加えて、局所的に動きのことなる部
分がある場合には、次のようにすればよい。
きく動いているのに加えて、局所的に動きのことなる部
分がある場合には、次のようにすればよい。
【００２８】即ち、まず上述したようにして、画像全体
の動きパラメータ（Ｚ，Ｑ，Ｅ，Ｆ）または（Ａ，Ｂ，
Ｃ，Ｄ，Ｅ，Ｆ）を検出する。次に、画像を小ブロック
に分割し、小ブロックごとにブロックマッチング処理に
より動きベクトルを検出する。このとき、ブロックマッ
チングの探索範囲の初期値を、小ブロックの座標位置
（Ｘc ，Ｙc ）から、数式３及び４または数式５及び６
で求めた動きベクトルの値（Ｖcx，Ｖcy）に定める。こ
のように検索範囲を定めることで、画像全体としての大
まかな動きを初期値の範囲で予め補償できるので、ブロ
ックマッチングの範囲を小さくしても精度のよい動き検
出を実現できる。
の動きパラメータ（Ｚ，Ｑ，Ｅ，Ｆ）または（Ａ，Ｂ，
Ｃ，Ｄ，Ｅ，Ｆ）を検出する。次に、画像を小ブロック
に分割し、小ブロックごとにブロックマッチング処理に
より動きベクトルを検出する。このとき、ブロックマッ
チングの探索範囲の初期値を、小ブロックの座標位置
（Ｘc ，Ｙc ）から、数式３及び４または数式５及び６
で求めた動きベクトルの値（Ｖcx，Ｖcy）に定める。こ
のように検索範囲を定めることで、画像全体としての大
まかな動きを初期値の範囲で予め補償できるので、ブロ
ックマッチングの範囲を小さくしても精度のよい動き検
出を実現できる。
【００２９】
【実施例】次に、本発明の第１の実施例を図２を参照し
て説明する。
て説明する。
【００３０】まず、ステップ２０１で、動画像から被写
体領域を抽出する。領域抽出の方法としては、従来の方
法が使用できる。例えば、画像の輝度成分に対してラプ
ラシアン処理を行い、処理画像の零交点を領域境界線と
して検出する。そして、検出された境界線をトレース
し、連続した境界線により閉じられた部分を独立した領
域として抽出すればよい。また、領域抽出の別の方法と
して、限定色表現による方法も広く知られている。この
方法では、入力カラー画像を解析し、色相変化の少ない
連続した部分を代表色に置き換えて一つの領域として抽
出する。なお、入力された動画像が予め領域分割されて
いる場合には、このステップ２０１は、省略できる。
体領域を抽出する。領域抽出の方法としては、従来の方
法が使用できる。例えば、画像の輝度成分に対してラプ
ラシアン処理を行い、処理画像の零交点を領域境界線と
して検出する。そして、検出された境界線をトレース
し、連続した境界線により閉じられた部分を独立した領
域として抽出すればよい。また、領域抽出の別の方法と
して、限定色表現による方法も広く知られている。この
方法では、入力カラー画像を解析し、色相変化の少ない
連続した部分を代表色に置き換えて一つの領域として抽
出する。なお、入力された動画像が予め領域分割されて
いる場合には、このステップ２０１は、省略できる。
【００３１】次に、ステップ２０２で、抽出された領域
の巨視的特徴量をそれぞれ検出する。各領域の巨視的特
徴量としては、領域の重心位置Ｇi ＝（Ｘｇi 、Ｙｇi
）、領域の主軸の傾きθi 、領域の大きさ（画素数）
Ｓi などを用いる。重心位置Ｇi は注目領域に属する全
ての画素の座標位置を算術平均することにより容易に求
められる。また、領域の主軸は、その領域の重心を通過
する直線軸のうち、その軸回りのモーメントが最小にな
るものを選択する。これもその領域に属する全ての画素
の座標位置に関する算術計算により求められる。さらに
また、主軸の傾きθi は、画面に対して予め定めた軸、
例えば、垂直軸に対する傾きとして定義しておけばよ
い。なお、これら以外にも、巨視的特徴量として、領域
の主軸の長さは領域の大きさを示す特徴量として、領域
の主軸回りのモーメントの大きさは領域を同定する特徴
量として使用できる。
の巨視的特徴量をそれぞれ検出する。各領域の巨視的特
徴量としては、領域の重心位置Ｇi ＝（Ｘｇi 、Ｙｇi
）、領域の主軸の傾きθi 、領域の大きさ（画素数）
Ｓi などを用いる。重心位置Ｇi は注目領域に属する全
ての画素の座標位置を算術平均することにより容易に求
められる。また、領域の主軸は、その領域の重心を通過
する直線軸のうち、その軸回りのモーメントが最小にな
るものを選択する。これもその領域に属する全ての画素
の座標位置に関する算術計算により求められる。さらに
また、主軸の傾きθi は、画面に対して予め定めた軸、
例えば、垂直軸に対する傾きとして定義しておけばよ
い。なお、これら以外にも、巨視的特徴量として、領域
の主軸の長さは領域の大きさを示す特徴量として、領域
の主軸回りのモーメントの大きさは領域を同定する特徴
量として使用できる。
【００３２】次に、ステップ２０３では、ステップ２０
２で検出した巨視的特徴量のフレーム間での変化量を検
出する。各領域の重心位置Ｇi ＝（Ｘｇi 、Ｙｇi ）の
変化量（Ｅ，Ｆ）は、領域全体としての平行移動量を示
す動きベクトルである。主軸の傾度θi の変化量Ｑは、
領域全体の回転角度を示す。また領域の画素数Ｓi の変
化率の平方根Ｚは領域の大きさの拡大縮小率を示す。
２で検出した巨視的特徴量のフレーム間での変化量を検
出する。各領域の重心位置Ｇi ＝（Ｘｇi 、Ｙｇi ）の
変化量（Ｅ，Ｆ）は、領域全体としての平行移動量を示
す動きベクトルである。主軸の傾度θi の変化量Ｑは、
領域全体の回転角度を示す。また領域の画素数Ｓi の変
化率の平方根Ｚは領域の大きさの拡大縮小率を示す。
【００３３】最後に、ステップ２０４で、検出した変化
量（Ｚ，Ｑ，Ｅ，Ｆ）を当該領域の動きパラメータとし
て出力する。このパラメータを用いれば、領域内の任意
の画素位置に対して、動きベクトルの値を計算で求める
ことができる。動きベクトルの計算は上述した数式３及
び４に従って求められる。あるいは、数式５及び６のよ
うに置き換えて、動きパラメータ（Ａ，Ｂ，Ｃ，Ｄ，
Ｅ，Ｆ）として出力させることもできる。
量（Ｚ，Ｑ，Ｅ，Ｆ）を当該領域の動きパラメータとし
て出力する。このパラメータを用いれば、領域内の任意
の画素位置に対して、動きベクトルの値を計算で求める
ことができる。動きベクトルの計算は上述した数式３及
び４に従って求められる。あるいは、数式５及び６のよ
うに置き換えて、動きパラメータ（Ａ，Ｂ，Ｃ，Ｄ，
Ｅ，Ｆ）として出力させることもできる。
【００３４】次に本発明の第２の実施例について図３を
参照して説明する。
参照して説明する。
【００３５】まず、ステップ３０１において、図２のス
テップ２０１と同様にして、複数の領域Ｒi （同定可能
な領域）を抽出する。そして、ステップ３０２及び３０
３で、図２のステップ２０２及び２０３と同様にして、
各領域についてそれぞれ独立に動きパラメータ（Ｚi ，
Ｑi ，Ｅi ，Ｆi ）を検出する。
テップ２０１と同様にして、複数の領域Ｒi （同定可能
な領域）を抽出する。そして、ステップ３０２及び３０
３で、図２のステップ２０２及び２０３と同様にして、
各領域についてそれぞれ独立に動きパラメータ（Ｚi ，
Ｑi ，Ｅi ，Ｆi ）を検出する。
【００３６】次に、ステップ３０４で、領域Ｒi ごとに
検出された動きパラメータ（Ｚi ，Ｑi ，Ｅi ，Ｆi ）
の要素ごとに算術平均を取り、画像全体としての動きパ
ラメータ（Ｚ，Ｑ，Ｅ，Ｆ）を算出する。このとき、領
域ごとの動きパラメータの信頼度に基づいて、重み付け
を行って算術平均を取るようにしてもよい。
検出された動きパラメータ（Ｚi ，Ｑi ，Ｅi ，Ｆi ）
の要素ごとに算術平均を取り、画像全体としての動きパ
ラメータ（Ｚ，Ｑ，Ｅ，Ｆ）を算出する。このとき、領
域ごとの動きパラメータの信頼度に基づいて、重み付け
を行って算術平均を取るようにしてもよい。
【００３７】そして、ステップ３０５で、求めた画像全
体の動きパラメータを出力する。
体の動きパラメータを出力する。
【００３８】次に、図４及び図５を参照して本発明の第
３の実施例について説明する。
３の実施例について説明する。
【００３９】本実施例のステップ４０１からステップ４
０５までは、図３のステップ３０１からステップ３０５
までと同じ処理である。この後、本実施例では、ステッ
プ４０６で、入力画像を小ブロックに分割する。そし
て、ステップ４０５で得られた動きパラメータに基づい
て、各ブロックごとに大まかな動きベクトルを計算す
る。この計算は、上記数式３及び４、または数式５及び
６に従って行われる。
０５までは、図３のステップ３０１からステップ３０５
までと同じ処理である。この後、本実施例では、ステッ
プ４０６で、入力画像を小ブロックに分割する。そし
て、ステップ４０５で得られた動きパラメータに基づい
て、各ブロックごとに大まかな動きベクトルを計算す
る。この計算は、上記数式３及び４、または数式５及び
６に従って行われる。
【００４０】それからステップ４０７で、各小ブロック
に対して前記計算で求めた動きベクトルを初期値とする
ブロックマッチング処理を行い、より正確な動きベクト
ルを探索する。このとき、上記のような初期値設定を行
うことで、画像全体としての大まかな動きは検索し終え
ているので、ブロックマッチング処理における探索範囲
を小さくすることができ、演算量を従来に比べ削減する
ことができる。
に対して前記計算で求めた動きベクトルを初期値とする
ブロックマッチング処理を行い、より正確な動きベクト
ルを探索する。このとき、上記のような初期値設定を行
うことで、画像全体としての大まかな動きは検索し終え
ているので、ブロックマッチング処理における探索範囲
を小さくすることができ、演算量を従来に比べ削減する
ことができる。
【００４１】
【発明の効果】本発明によれば、入力画像と参照画像と
からそれぞれ巨視的特徴量を検出し、フレーム間での巨
視的特徴量の変化量に基づいて動きパラメータを算出す
るようにしたことで、画像の動きを少ない演算量で検出
することができる。
からそれぞれ巨視的特徴量を検出し、フレーム間での巨
視的特徴量の変化量に基づいて動きパラメータを算出す
るようにしたことで、画像の動きを少ない演算量で検出
することができる。
【００４２】また、巨視的特徴量の変化量に基づいて求
めた動きパラメータを、ブロックマッチングに利用する
ようにしたことで、動きの検出精度を劣化させることな
く、探索範囲を狭くして演算量を削減することができ
る。
めた動きパラメータを、ブロックマッチングに利用する
ようにしたことで、動きの検出精度を劣化させることな
く、探索範囲を狭くして演算量を削減することができ
る。
【図１】本発明の一実施の形態の動作を説明するための
図である。
図である。
【図２】本発明の第１の実施例のフローチャートであ
る。
る。
【図３】本発明の第２の実施例のフローチャートであ
る。
る。
【図４】本発明の第３の実施例のフローチャートであ
る。
る。
【図５】図４のフローチャートを説明するための図であ
る。
る。
Claims (6)
- 【請求項１】 動画像中における特定の被写体のフレー
ム間での動きを検出する動き検出方法において、現在の
画像フレームとこれと時間差を有する参照画像フレーム
とのそれぞれから前記特定の被写体の領域を抽出し、抽
出した被写体領域の巨視的特徴量をそれぞれ検出し、前
記現在の画像フレームと前記参照画像フレームとの間で
の前記巨視的特徴量の変化量を基に前記被写体の領域の
動きを特徴付ける動きパラメータを算出するようにした
ことを特徴とする動き検出方法。 - 【請求項２】 動画像の画像全体のフレーム間での動き
を検出する動き検出方法において、現在の画像フレーム
とこれと時間差を有する参照画像フレームとから同定可
能な一つ以上の領域をそれぞれ抽出し、抽出した領域の
巨視的特徴量をそれぞれ検出し、前記現在の画像フレー
ムと前記参照画像フレームとの間での前記巨視的特徴量
の変化量を基に前記画像全体の動きを特徴付ける動きパ
ラメータを算出するようにしたことを特徴とする動き検
出方法。 - 【請求項３】 動画像のフレーム間での動きを検出する
動き検出方法において、現在の画像フレームとこれと時
間差を有する参照画像フレームとのそれぞれから同定可
能な一つ以上の領域を抽出し、抽出した領域の巨視的特
徴量をそれぞれ検出し、前記現在の画像フレームと前記
参照画像フレームとの間での前記巨視的特徴量の変化量
を基に、画像全体の動きを特徴付ける動きパラメータを
算出し、前記現在の画像フレームを小ブロックに分割し
て各小ブロックの大まかな動きを示す動き量を前記動き
パラメータを基に算出して、前記小ブロックごとに前記
動き量を初期値とするブロックマッチング処理により検
出するようにしたことを特徴とする動き検出方法。 - 【請求項４】 動画像中における特定の被写体のフレー
ム間での動きを検出する画像処理装置において、現在の
画像フレームとこれと時間差を有する参照画像フレーム
とのそれぞれから前記特定の被写体の領域を抽出する領
域抽出手段と、該領域抽出手段が抽出した被写体領域の
巨視的特徴量をそれぞれ検出する巨視的特徴検出手段
と、前記現在の画像フレームと前記参照画像フレームと
の間での前記巨視的特徴量の変化量を基に前記被写体の
領域の動きを特徴付ける動きパラメータを算出する動き
パラメータ算出手段とを備えたことを特徴とする画像処
理装置。 - 【請求項５】 動画像の画像全体のフレーム間での動き
を検出する画像処理装置において、現在の画像フレーム
とこれと時間差を有する参照画像フレームとから同定可
能な一つ以上の領域をそれぞれ抽出する領域抽出手段
と、該領域抽出手段が抽出した領域の巨視的特徴量をそ
れぞれ検出する巨視的特徴量検出手段と、前記現在の画
像フレームと前記参照画像フレームとの間での前記巨視
的特徴量の変化量を基に前記画像全体の動きを特徴付け
る動きパラメータを算出する動きパラメータ算出手段と
を備えたことを特徴とする動き検出方法。 - 【請求項６】 動画像のフレーム間での動きを検出する
画像処理装置において、現在の画像フレームとこれと時
間差を有する参照画像フレームとのそれぞれから同定可
能な一つ以上の領域を抽出する領域抽出手段と、該領域
抽出手段が抽出した領域の巨視的特徴量をそれぞれ検出
する巨視的特徴量抽出手段と、前記現在の画像フレーム
と前記参照画像フレームとの間での前記巨視的特徴量の
変化量を基に、画像全体の動きを特徴付ける動きパラメ
ータを算出する動きパラメータ算出手段と、前記現在の
画像フレームを小ブロックに分割して各小ブロックの大
まかな動きを示す動き量を前記動きパラメータを基に算
出し、前記小ブロックごとの動きを前記動き量を初期値
とするブロックマッチング処理により検出するブロック
マッチング処理手段とを備えたことを特徴とする動き検
出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35034796A JP2914441B2 (ja) | 1996-12-27 | 1996-12-27 | 動き検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35034796A JP2914441B2 (ja) | 1996-12-27 | 1996-12-27 | 動き検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10191344A true JPH10191344A (ja) | 1998-07-21 |
| JP2914441B2 JP2914441B2 (ja) | 1999-06-28 |
Family
ID=18409879
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35034796A Expired - Lifetime JP2914441B2 (ja) | 1996-12-27 | 1996-12-27 | 動き検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2914441B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004012451A1 (ja) * | 2002-07-30 | 2004-02-05 | Sony Corporation | 記憶装置、信号処理装置、および画像信号処理装置、並びにそれらの方法 |
| WO2004012450A1 (ja) * | 2002-07-30 | 2004-02-05 | Sony Corporation | 記憶装置、信号処理装置、および画像信号処理装置、並びにそれらの方法 |
| JP2007525916A (ja) * | 2004-02-26 | 2007-09-06 | ジェイピーエス インターナショナル インク． | 制限された帯域幅メディアを介した映像通信のための方法及び機器 |
| CN100370808C (zh) * | 2005-06-13 | 2008-02-20 | 北京中星微电子有限公司 | 一种运动检测方法 |
-
1996
- 1996-12-27 JP JP35034796A patent/JP2914441B2/ja not_active Expired - Lifetime
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004012451A1 (ja) * | 2002-07-30 | 2004-02-05 | Sony Corporation | 記憶装置、信号処理装置、および画像信号処理装置、並びにそれらの方法 |
| WO2004012450A1 (ja) * | 2002-07-30 | 2004-02-05 | Sony Corporation | 記憶装置、信号処理装置、および画像信号処理装置、並びにそれらの方法 |
| CN1326394C (zh) * | 2002-07-30 | 2007-07-11 | 索尼株式会社 | 存储设备、信号处理设备、图像信号处理设备和信号处理方法 |
| US7634111B2 (en) | 2002-07-30 | 2009-12-15 | Sony Corporation | Storage device, signal processor, image signal processor, and their methods |
| KR100964621B1 (ko) * | 2002-07-30 | 2010-06-21 | 소니 주식회사 | 기억 장치, 신호 처리 장치, 및 화상 신호 처리 장치, 및그들의 방법 |
| US7800624B2 (en) | 2002-07-30 | 2010-09-21 | Sony Corporation | Memory device signal processing apparatus image signal processing apparatus and methods of the same |
| JP2007525916A (ja) * | 2004-02-26 | 2007-09-06 | ジェイピーエス インターナショナル インク． | 制限された帯域幅メディアを介した映像通信のための方法及び機器 |
| CN100370808C (zh) * | 2005-06-13 | 2008-02-20 | 北京中星微电子有限公司 | 一种运动检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2914441B2 (ja) | 1999-06-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11610082B2 (en) | Method and apparatus for training neural network model used for image processing, and storage medium | |
| EP2858008B1 (en) | Target detecting method and system | |
| US20060029276A1 (en) | Object image detecting apparatus, face image detecting program and face image detecting method | |
| JPH0799660A (ja) | 動き補償予測装置 | |
| CN109859249B (zh) | Rgbd序列中基于自动分层的场景流估计方法 | |
| JP2001324305A (ja) | 画像対応位置検出装置および該装置を備える測距装置 | |
| JPH0935061A (ja) | 画像処理方法 | |
| CN107578430A (zh) | 一种基于自适应权值和局部熵的立体匹配方法 | |
| JP2017142613A (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
| JP2000048211A (ja) | 移動物体追跡装置 | |
| CN105957107A (zh) | 行人检测与跟踪方法及装置 | |
| CN118762059B (zh) | 一种多相机成像系统的图像配准方法 | |
| JP2001126065A (ja) | 距離分布検知装置 | |
| CN117455823B (zh) | 一种图像调节方法、装置、计算机设备及存储介质 | |
| JP2000121319A (ja) | 画像処理装置および画像処理方法、並びに提供媒体 | |
| JP2914441B2 (ja) | 動き検出方法 | |
| CN117623031A (zh) | 一种电梯无感控制系统及方法 | |
| KR20000063035A (ko) | 화상 처리 장치, 화상 처리 방법 및 저장 매체 | |
| CN118608604A (zh) | 图像处理方法及装置 | |
| JP2004240909A (ja) | 画像処理装置及び画像処理方法 | |
| CN108280815B (zh) | 一种面向监控场景结构的几何校正方法 | |
| KR101454692B1 (ko) | 객체 추적장치 및 그 방법 | |
| CN116189276A (zh) | 运动检测方法、计算机程序产品、电子设备及存储介质 | |
| CN107154052A (zh) | 对象状态估计的方法及装置 | |
| Kondermann et al. | Postprocessing of optical flows via surface measures and motion inpainting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990317 |