JPH04209074A - 動領域抽出方式 - Google Patents
動領域抽出方式Info
- Publication number
- JPH04209074A JPH04209074A JP2404672A JP40467290A JPH04209074A JP H04209074 A JPH04209074 A JP H04209074A JP 2404672 A JP2404672 A JP 2404672A JP 40467290 A JP40467290 A JP 40467290A JP H04209074 A JPH04209074 A JP H04209074A
- Authority
- JP
- Japan
- Prior art keywords
- block
- moving
- image
- blocks
- edge information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
［０００１１
【産業上の利用分野］この発明は、動画像の動領域と静
止領域とを分離し、動領域と静止領域とを分けて処理す
ることによって動画像の記録・伝送を効率よく行うため
の動領域抽出方式に関し、特に低伝送レートで動画伝送
を行うテレビ電話や、移動被写体自動検出機能を有する
撮像装置等に適用して好適なものである。 ［０００２］ 【従来の技術】従来、動画像から動領域と静止領域とを
分離する装置として、例えば、特開昭６０−２５４１０
７号（名称； 「カメラにおける自動追尾装置」）が提
案されている。この装置は被追尾被写体の特定の追尾視
野内の色信号の変化に着目し、被追尾被写体の移動の有
無および移動方向を検知するもので、被写体の移動に追
従してフォーカスエリアを移動させ、移動後の位置で「
山登りサーボ方式」のような公知の手段により焦点検出
または焦点調整を行うものである。 ［０００３］また、論文「背景メモリを用いた動領域抽
出方式Ｊ （１９８９年度画像符号化シンポジウム予
稿。 Ｐ８９〜Ｐ９０．上野はカリには、フレーム間差分の輪
郭を抽出し、その外側のみを背景とみなして更新・蓄積
する背景メモリを用い、この背景メモリと入力フレーム
との差分から動領域の輪郭を抽出する方式が提案されて
いる。 ［０００４］
止領域とを分離し、動領域と静止領域とを分けて処理す
ることによって動画像の記録・伝送を効率よく行うため
の動領域抽出方式に関し、特に低伝送レートで動画伝送
を行うテレビ電話や、移動被写体自動検出機能を有する
撮像装置等に適用して好適なものである。 ［０００２］ 【従来の技術】従来、動画像から動領域と静止領域とを
分離する装置として、例えば、特開昭６０−２５４１０
７号（名称； 「カメラにおける自動追尾装置」）が提
案されている。この装置は被追尾被写体の特定の追尾視
野内の色信号の変化に着目し、被追尾被写体の移動の有
無および移動方向を検知するもので、被写体の移動に追
従してフォーカスエリアを移動させ、移動後の位置で「
山登りサーボ方式」のような公知の手段により焦点検出
または焦点調整を行うものである。 ［０００３］また、論文「背景メモリを用いた動領域抽
出方式Ｊ （１９８９年度画像符号化シンポジウム予
稿。 Ｐ８９〜Ｐ９０．上野はカリには、フレーム間差分の輪
郭を抽出し、その外側のみを背景とみなして更新・蓄積
する背景メモリを用い、この背景メモリと入力フレーム
との差分から動領域の輪郭を抽出する方式が提案されて
いる。 ［０００４］
【発明が解決しようとする課題】ところが、追尾視野内
の色信号の変化に着目して動領域を検出する従来の装置
では、目標とする被写体の色と背景の色とが近似してい
ると、被写体の移動、すなわち動領域が検知できないと
いう不都合がある。これは色の持つ情報の曖昧さのため
に移動する被写体を特定する精度が上がらないことに起
因する。 ［０００５］また、背景メモリを用いて動領域を抽出す
る方式では、１フレームの全画素を蓄えるために膨大な
記憶容量のメモリを必要とし、さらに、２フレーム間の
差分を取るだけでは移動方向が判別できないという不都
合がある。 ［０００６］この発明は、動画像の動領域を少ない情報
量で精度よく抽出し、動領域と静止領域との分離を高速
かつ高精度で行うことのできる動領域抽出方式を提供す
ることを目的とする。 ［０００７］
の色信号の変化に着目して動領域を検出する従来の装置
では、目標とする被写体の色と背景の色とが近似してい
ると、被写体の移動、すなわち動領域が検知できないと
いう不都合がある。これは色の持つ情報の曖昧さのため
に移動する被写体を特定する精度が上がらないことに起
因する。 ［０００５］また、背景メモリを用いて動領域を抽出す
る方式では、１フレームの全画素を蓄えるために膨大な
記憶容量のメモリを必要とし、さらに、２フレーム間の
差分を取るだけでは移動方向が判別できないという不都
合がある。 ［０００６］この発明は、動画像の動領域を少ない情報
量で精度よく抽出し、動領域と静止領域との分離を高速
かつ高精度で行うことのできる動領域抽出方式を提供す
ることを目的とする。 ［０００７］
【課題を解決するための手段】この発明による動領域抽
出方式は、１フレーム分の画像データを、１ブロックｎ
×ｎ画素からなる複数ブロックに分割し、各ブロック中
に含まれる特定の周波数成分から各ブロック中のエツジ
部分のエツジ情報を抽出し、あるフレームの注目ブロッ
クのエツジ情報と１フレーム後の同一ブロックおよびそ
の周囲のブロックのエツジ情報とを比較し、注目ブロッ
クのエツジ情報と１フレーム後の各ブロックのエツジ情
報とが一致する確率および両ブロック間の距離に対する
両ブロックの一致する確率から注目ブロック中のエツジ
部分の移動方向および移動量を判定し、その判定結果か
ら動領域を抽出して画像中の動領域および静止領域を分
離する。 ［０００８］
出方式は、１フレーム分の画像データを、１ブロックｎ
×ｎ画素からなる複数ブロックに分割し、各ブロック中
に含まれる特定の周波数成分から各ブロック中のエツジ
部分のエツジ情報を抽出し、あるフレームの注目ブロッ
クのエツジ情報と１フレーム後の同一ブロックおよびそ
の周囲のブロックのエツジ情報とを比較し、注目ブロッ
クのエツジ情報と１フレーム後の各ブロックのエツジ情
報とが一致する確率および両ブロック間の距離に対する
両ブロックの一致する確率から注目ブロック中のエツジ
部分の移動方向および移動量を判定し、その判定結果か
ら動領域を抽出して画像中の動領域および静止領域を分
離する。 ［０００８］
【作用】この発明は画像中のエツジ部分に着目し、エツ
ジ部分のフレーム間の移動を検知することによって画像
中の動領域を認識する。エツジ部分のフレーム間の移動
の検知は、１フレーム分の画像データを、複数ブロック
に分割し、各ブロック中に含まれる特定の周波数成分か
ら各ブロックのエツジ部分のエツジ情報を抽出して比較
することにより行う。 ［０００９］エツジ情報は各ブロックを構成するｎ×ｎ
画素の画像データに対し、２次元直交変換を施すことに
よって得られるｎ×ｎ個の変換係数の中の特定の変換係
数を用いる。 ［００１０１そして、あるフレームの注目ブロックの工
ッジ情報と１フレーム後の同一ブロックおよびその周辺
ブロックのエツジ情報とを順次比較し、両ブロックのエ
ツジ情報の比から両ブロックが同じである確率を求める
。この確率（メンバシップ値）は予め定義したメンバシ
ップ関数から求める。 ［００１１］また、両ブロック間の距離に着目し、両ブ
ロック間の距離に対する両ブロックの一致する確率（メ
ンバシップ値）を、予め定義した他のメンバシップ関数
から求める。これはエツジ情報が同じであっても両ブロ
ック間の距離が大きく離れている場合は偶然の一致と考
えられるからである。 ［００１２］そして、両メシバシップ値から注目ブロッ
クのエツジ部分が１フレーム後の何処のブロックに移動
したかを推論する。この推論方式はファジィ理論を応用
した人間の思考方法に極めて近い推論方式であり、各ブ
ロックのエツジ情報という少ない情報量によって高速か
つ高精度で動領域の判定を行うことが出来る。 ［００１３］こうして判定した動領域の画像データは忠
実に記録・伝送し、静止領域の画像データは数フレーム
毎に間引いて記録・伝送することによって、記録部のメ
モリ容量の低減および伝送速度の向上を図ることが出来
る。 ［００１４］また、画像中の動領域の割合から画像の移
動か撮像装置のブレかを判断することができ、撮像装置
のブレと判断した場合には、画像全体に対して逆の動き
＊＊ベクトルを加味することによりブレを補正すること
が出来る。 ［００１５］
ジ部分のフレーム間の移動を検知することによって画像
中の動領域を認識する。エツジ部分のフレーム間の移動
の検知は、１フレーム分の画像データを、複数ブロック
に分割し、各ブロック中に含まれる特定の周波数成分か
ら各ブロックのエツジ部分のエツジ情報を抽出して比較
することにより行う。 ［０００９］エツジ情報は各ブロックを構成するｎ×ｎ
画素の画像データに対し、２次元直交変換を施すことに
よって得られるｎ×ｎ個の変換係数の中の特定の変換係
数を用いる。 ［００１０１そして、あるフレームの注目ブロックの工
ッジ情報と１フレーム後の同一ブロックおよびその周辺
ブロックのエツジ情報とを順次比較し、両ブロックのエ
ツジ情報の比から両ブロックが同じである確率を求める
。この確率（メンバシップ値）は予め定義したメンバシ
ップ関数から求める。 ［００１１］また、両ブロック間の距離に着目し、両ブ
ロック間の距離に対する両ブロックの一致する確率（メ
ンバシップ値）を、予め定義した他のメンバシップ関数
から求める。これはエツジ情報が同じであっても両ブロ
ック間の距離が大きく離れている場合は偶然の一致と考
えられるからである。 ［００１２］そして、両メシバシップ値から注目ブロッ
クのエツジ部分が１フレーム後の何処のブロックに移動
したかを推論する。この推論方式はファジィ理論を応用
した人間の思考方法に極めて近い推論方式であり、各ブ
ロックのエツジ情報という少ない情報量によって高速か
つ高精度で動領域の判定を行うことが出来る。 ［００１３］こうして判定した動領域の画像データは忠
実に記録・伝送し、静止領域の画像データは数フレーム
毎に間引いて記録・伝送することによって、記録部のメ
モリ容量の低減および伝送速度の向上を図ることが出来
る。 ［００１４］また、画像中の動領域の割合から画像の移
動か撮像装置のブレかを判断することができ、撮像装置
のブレと判断した場合には、画像全体に対して逆の動き
＊＊ベクトルを加味することによりブレを補正すること
が出来る。 ［００１５］
【実施例】図１はこの発明を移動被写体自動追尾機能を
有する撮像装置に適用した場合の一実施例を示す構成図
である。 ［００１６］この装置はレンズを通して結像される被写
体像を電気信号に変換するＣＣＤ等の固体撮像素子から
なる撮像部１を有し、この撮像部１から出力される映像
信号はＡＤ変換部２でディジタル画像データに変換され
、フレームメモリ３に一時的に記憶される。フレームメ
モリ３に記憶された画像データは信号処理部４で圧縮符
号化され記録部５に記録される。 ［００１７］また、信号処理部４の出力は同時にＤＣＴ
（Ｄｉｓｃｒｅｔｅ Ｃｏ５１ｎｅ Ｔｒａｎｓｆｏｒ
ｍ ：離散コサイン変換）部６に供給される。ＤＣＴ
部６は、図２に示すように、１ブロックｎ×ｎ画素（例
えば、８×８画素）からなる複数ブロックに分割された
画像データに対し、各ブロック毎に２次元ＤＣＴを施す
。 ［００１８］ ＤＣＴは周波数領域における直交変換の
一種で、１ブロツクの画像データをｆｉｊ （ｉ、
ｊ＝ｏ、１゜・・・、ｎ−１）とすると、得られるｎ×
ｎ個のＤＣＴ係数Ｆｕｖ（ｕ、 ｖ＝０．１．・・・
、 ｎ−１）は、ただし、 Ｃｗ＝１／２０５ （ｗ＝ｏ） ＝１ （ｗ≠０） で定義される。 ［００１９１図３にＤＣＴ係数Ｆｕｖの８×８マトリク
スを示す。ＤＣＴ係数Ｆｕｖの各係数は１ブロツクの画
像データｆｉｊを空間周波数に分解した成分を表してお
り、図中、左上の係数Ｆｏｏは画像データｆｉｊの平均
値に比例した値（直流成分）を表し、変数Ｕ、 Ｖが大
きくなるにつれて周波数の高い成分（交流成分）を表す
。また、係数Ｆｏｏより下の係数は縦波の高周波成分の
大きさを表し、それより右の係数は横波の高周波成分の
大きさを表す。 従って、ＤＣＴ係数Ｆｕｖを観察すれば、当該ブロック
中の画像に含まれる縦波、横波およびその合成波の大き
さを同時に観察することができる。 ［００２０１ＤＣＴ部６で得られたＤＣＴ係数は演算部
７に供給される。演算部７では、ＤＣＴ係数の中の特定
の係数に着目し、この係数の変化に応じた制御信号を出
力する。フォーカス制御部８はこの制御信号を受けて撮
像部１内のモータを駆動し、レンズの位置を移動させる
。 ［００２１１こうして、撮像部１．ＡＤ変換部２．フレ
※※−ムメモリ３．信号処理部４．ＤＣＴ部６．演算部
７゜フォーカス制御部８によって形成される閉ループに
よってレンズの位置を調整し、特定の係数が最大値とな
る位置をレンズの合焦位置と判定する。 ［００２２］ところで、一般に画像のエツジ部分には高
周波数成分が含まれているが、物体の輪郭となる明らか
なエツジ部分の周波数成分は、ＤＣＴ係数の場合、図３
における斜線部の係数Ｆ１ｏ、 Ｆｏｔに表れる。そこ
で、この係数を特定の係数とし、この係数が最大値とな
るレンズの位置を合焦位置とする。 ［００２３］演算部７では、こうして検出した係数Ｆ
１ｏ 、 Ｆ ｏ ｔの最大値を記憶しておき、新たに
入力される係数が一定値以上変化した場合は、被写体の
内容が変化したと判定して合焦動作をやり直す。 ［００２４］次に、演算部７における動領域の検出動作
について説明する。動領域の検出、すなわち被写体の移
動量および移動方向の検出は、前述した特定の係数を当
該ブロック（以下、注目ブロック、という）のエツジ情
報とし、このエツジ情報と１フレーム後に入力される同
一ブロックおよびその周辺ブロック（以下、比較ブロッ
ク、という）のエツジ情報とを比較することによって行
う。 ［００２５］この検出には、ファジィ理論を応用し、人
間の思考に極めて近い推論方式を用いる。すなわち、０
両ブロックのエツジ情報が近似し、かつ両ブロックが互
いに近いところに存在するならば、注目ブロックの被写
体が比較ブロックに移った可能性が高いと考える。■で
は、他のブロックはどうか。■ 全体的にみると、多分
、被写体はこのように動いたのだろう。というように、
人間がパターンマツチングを行うときの曖昧な思考過程
を踏んで推論する。 ［００２６］具体的には次のようにして行う。まず、注
目ブロックと１フレーム後に入力される同一ブロックの
各エツジ情報を比較し、両ブロックのエツジ情報が明ら
かに異なる場合は、そのエツジ部分は他のブロックに動
いたと判定する。次に、エツジ部分が何処へ動いたかを
知るために、１フレーム後の同一ブロックの周囲のブロ
ックの中で注目ブロックのエツジ情報と近似するエツジ
情報を有するブロックを探し出す。 ［００２７］このとき、両ブロックのエツジ情報の比が
ある一定の値δ （例えば、１／４）以下、または、あ
る一定の値γ（例えば、４／７）以上であれば、両ブロ
ックの被写体は明らかに異なると考えて両ブロックの被
写体が同じである確率は零であるとする。また、両ブロ
ックのエツジ情報が全く同一であれば、両ブロックの被
写体が同じである確率は１であるとする。 ［００２８１両ブロックの被写体が同じである確率が両
ブロックのエツジ情報の比に対して線形に変化すると仮
定すると、図４に示すように、値δおよび値γを底辺と
して確率（メンバシップ値）１を頂点とする山型のメン
バシップ関数となる。 ［００２９］また、両ブロック間の距離に着目し、注目
ブロックと１フレーム後の同一ブロックの周囲のブロッ
クとを順次比較して行くとき、両ブロックのエツジ情報
が同じ値であっても、両ブロック間が互いに大きく離れ
ている場合には、被写体がそのブロックに移動した可能
性は低いと考え、ある一定の距離λより離れている場合
は偶然の一致と考えて被写体がそこに移動した確率は零
であるとする。 ［００３０１距離零、すなわち同一ブロックでエツジ情
報が同じ場合は、その被写体は移動せずにそこに留まっ
ていたと考え、同じ被写体が写っている確率を１とする
。距離が離れるにつれて同じ被写体が写っている確率が
線形に減少していくと仮定すると、図５に示すように、
距離λと確率（メンバシップ値）１を結ぶ直線状のメン
バシップ関数となる。 ［００３１１これら両方を満たす確率、すなわち低い方
の確率を、注目ブロックに写っていた被写体が比較ブロ
ックに写った確率（すなわち、比較ブロックに被写体が
移動した、あるいはそのまま留まっていた確率）と考え
る。これを１フレーム後の注目ブロックの回りの全ブロ
ックについて求めると、図６に示すような確率の分布が
得られる。１フレーム前の注目ブロックに写っていた被
写体がこの分布の重心Ｇの射影Ｈに移動した可能性が一
番大きいと考えられる。従って、次はＨブロックを注目
ブロックとして１フレーム後の画像信号と比較すること
により、被写体の動きを検知する。 ［００３２］画像データの記録部５への記録は、動領域
の画像データは忠実に記録し、静止領域の画像データは
数フレーム毎に間引いて記録する。従って、画像が静止
している場合は、撮影だけを行って記録はスタンバイ状
態にしておき、演算部７で被写体が動いたことを検知し
た場合に当該フレームの画像データを記録するように記
録部５に制御信号を送出する。 ［００３３］また、この発明によると、画面全体のうち
動領域の占める割合から被写体の移動か、撮影時の手ブ
レかを判断できる。すなわち、動領域がある一定の割合
より小さければ、被写体は動いて背景はそのままと考え
ることができる。画像全体が動いている場合は、手ブレ
であると考えることができ、画面全体を動きベクトルの
逆向きに補正することで手ブレを修正できる。 ［００３４］
有する撮像装置に適用した場合の一実施例を示す構成図
である。 ［００１６］この装置はレンズを通して結像される被写
体像を電気信号に変換するＣＣＤ等の固体撮像素子から
なる撮像部１を有し、この撮像部１から出力される映像
信号はＡＤ変換部２でディジタル画像データに変換され
、フレームメモリ３に一時的に記憶される。フレームメ
モリ３に記憶された画像データは信号処理部４で圧縮符
号化され記録部５に記録される。 ［００１７］また、信号処理部４の出力は同時にＤＣＴ
（Ｄｉｓｃｒｅｔｅ Ｃｏ５１ｎｅ Ｔｒａｎｓｆｏｒ
ｍ ：離散コサイン変換）部６に供給される。ＤＣＴ
部６は、図２に示すように、１ブロックｎ×ｎ画素（例
えば、８×８画素）からなる複数ブロックに分割された
画像データに対し、各ブロック毎に２次元ＤＣＴを施す
。 ［００１８］ ＤＣＴは周波数領域における直交変換の
一種で、１ブロツクの画像データをｆｉｊ （ｉ、
ｊ＝ｏ、１゜・・・、ｎ−１）とすると、得られるｎ×
ｎ個のＤＣＴ係数Ｆｕｖ（ｕ、 ｖ＝０．１．・・・
、 ｎ−１）は、ただし、 Ｃｗ＝１／２０５ （ｗ＝ｏ） ＝１ （ｗ≠０） で定義される。 ［００１９１図３にＤＣＴ係数Ｆｕｖの８×８マトリク
スを示す。ＤＣＴ係数Ｆｕｖの各係数は１ブロツクの画
像データｆｉｊを空間周波数に分解した成分を表してお
り、図中、左上の係数Ｆｏｏは画像データｆｉｊの平均
値に比例した値（直流成分）を表し、変数Ｕ、 Ｖが大
きくなるにつれて周波数の高い成分（交流成分）を表す
。また、係数Ｆｏｏより下の係数は縦波の高周波成分の
大きさを表し、それより右の係数は横波の高周波成分の
大きさを表す。 従って、ＤＣＴ係数Ｆｕｖを観察すれば、当該ブロック
中の画像に含まれる縦波、横波およびその合成波の大き
さを同時に観察することができる。 ［００２０１ＤＣＴ部６で得られたＤＣＴ係数は演算部
７に供給される。演算部７では、ＤＣＴ係数の中の特定
の係数に着目し、この係数の変化に応じた制御信号を出
力する。フォーカス制御部８はこの制御信号を受けて撮
像部１内のモータを駆動し、レンズの位置を移動させる
。 ［００２１１こうして、撮像部１．ＡＤ変換部２．フレ
※※−ムメモリ３．信号処理部４．ＤＣＴ部６．演算部
７゜フォーカス制御部８によって形成される閉ループに
よってレンズの位置を調整し、特定の係数が最大値とな
る位置をレンズの合焦位置と判定する。 ［００２２］ところで、一般に画像のエツジ部分には高
周波数成分が含まれているが、物体の輪郭となる明らか
なエツジ部分の周波数成分は、ＤＣＴ係数の場合、図３
における斜線部の係数Ｆ１ｏ、 Ｆｏｔに表れる。そこ
で、この係数を特定の係数とし、この係数が最大値とな
るレンズの位置を合焦位置とする。 ［００２３］演算部７では、こうして検出した係数Ｆ
１ｏ 、 Ｆ ｏ ｔの最大値を記憶しておき、新たに
入力される係数が一定値以上変化した場合は、被写体の
内容が変化したと判定して合焦動作をやり直す。 ［００２４］次に、演算部７における動領域の検出動作
について説明する。動領域の検出、すなわち被写体の移
動量および移動方向の検出は、前述した特定の係数を当
該ブロック（以下、注目ブロック、という）のエツジ情
報とし、このエツジ情報と１フレーム後に入力される同
一ブロックおよびその周辺ブロック（以下、比較ブロッ
ク、という）のエツジ情報とを比較することによって行
う。 ［００２５］この検出には、ファジィ理論を応用し、人
間の思考に極めて近い推論方式を用いる。すなわち、０
両ブロックのエツジ情報が近似し、かつ両ブロックが互
いに近いところに存在するならば、注目ブロックの被写
体が比較ブロックに移った可能性が高いと考える。■で
は、他のブロックはどうか。■ 全体的にみると、多分
、被写体はこのように動いたのだろう。というように、
人間がパターンマツチングを行うときの曖昧な思考過程
を踏んで推論する。 ［００２６］具体的には次のようにして行う。まず、注
目ブロックと１フレーム後に入力される同一ブロックの
各エツジ情報を比較し、両ブロックのエツジ情報が明ら
かに異なる場合は、そのエツジ部分は他のブロックに動
いたと判定する。次に、エツジ部分が何処へ動いたかを
知るために、１フレーム後の同一ブロックの周囲のブロ
ックの中で注目ブロックのエツジ情報と近似するエツジ
情報を有するブロックを探し出す。 ［００２７］このとき、両ブロックのエツジ情報の比が
ある一定の値δ （例えば、１／４）以下、または、あ
る一定の値γ（例えば、４／７）以上であれば、両ブロ
ックの被写体は明らかに異なると考えて両ブロックの被
写体が同じである確率は零であるとする。また、両ブロ
ックのエツジ情報が全く同一であれば、両ブロックの被
写体が同じである確率は１であるとする。 ［００２８１両ブロックの被写体が同じである確率が両
ブロックのエツジ情報の比に対して線形に変化すると仮
定すると、図４に示すように、値δおよび値γを底辺と
して確率（メンバシップ値）１を頂点とする山型のメン
バシップ関数となる。 ［００２９］また、両ブロック間の距離に着目し、注目
ブロックと１フレーム後の同一ブロックの周囲のブロッ
クとを順次比較して行くとき、両ブロックのエツジ情報
が同じ値であっても、両ブロック間が互いに大きく離れ
ている場合には、被写体がそのブロックに移動した可能
性は低いと考え、ある一定の距離λより離れている場合
は偶然の一致と考えて被写体がそこに移動した確率は零
であるとする。 ［００３０１距離零、すなわち同一ブロックでエツジ情
報が同じ場合は、その被写体は移動せずにそこに留まっ
ていたと考え、同じ被写体が写っている確率を１とする
。距離が離れるにつれて同じ被写体が写っている確率が
線形に減少していくと仮定すると、図５に示すように、
距離λと確率（メンバシップ値）１を結ぶ直線状のメン
バシップ関数となる。 ［００３１１これら両方を満たす確率、すなわち低い方
の確率を、注目ブロックに写っていた被写体が比較ブロ
ックに写った確率（すなわち、比較ブロックに被写体が
移動した、あるいはそのまま留まっていた確率）と考え
る。これを１フレーム後の注目ブロックの回りの全ブロ
ックについて求めると、図６に示すような確率の分布が
得られる。１フレーム前の注目ブロックに写っていた被
写体がこの分布の重心Ｇの射影Ｈに移動した可能性が一
番大きいと考えられる。従って、次はＨブロックを注目
ブロックとして１フレーム後の画像信号と比較すること
により、被写体の動きを検知する。 ［００３２］画像データの記録部５への記録は、動領域
の画像データは忠実に記録し、静止領域の画像データは
数フレーム毎に間引いて記録する。従って、画像が静止
している場合は、撮影だけを行って記録はスタンバイ状
態にしておき、演算部７で被写体が動いたことを検知し
た場合に当該フレームの画像データを記録するように記
録部５に制御信号を送出する。 ［００３３］また、この発明によると、画面全体のうち
動領域の占める割合から被写体の移動か、撮影時の手ブ
レかを判断できる。すなわち、動領域がある一定の割合
より小さければ、被写体は動いて背景はそのままと考え
ることができる。画像全体が動いている場合は、手ブレ
であると考えることができ、画面全体を動きベクトルの
逆向きに補正することで手ブレを修正できる。 ［００３４］
【発明の効果】この発明によれば、画像データ中の特定
の高周波成分から被写体のエツジ部分を検出し、このエ
ツジ部分の移動を人間の思考に近い形で推論することに
よって動領域の判定を行うため、少ない情報量で高速か
つ高精度に動領域の抽出を行うことが可能となる。 ［００３５］また、この発明によれば、被写体が移動し
たときのみ画像データの記録・伝送を行うことで記録部
のメモリ容量の低減や、伝送速度の向上を図ることが可
能となる。 ［００３６］また、この発明を撮像装置に適用した場合
には、被写体の移動に追従してフォーカスエリアを変更
し、自動焦点動作をし続けることで操作性の優れた撮像
装置を提供することができる。この場合、画面全体の移
動方向および移動量（動きベクトル）が求まるので、手
ブレと判定された場合には、逆の動きベクトルを加味す
ることによって手プレ画像の補正が可能となる。
の高周波成分から被写体のエツジ部分を検出し、このエ
ツジ部分の移動を人間の思考に近い形で推論することに
よって動領域の判定を行うため、少ない情報量で高速か
つ高精度に動領域の抽出を行うことが可能となる。 ［００３５］また、この発明によれば、被写体が移動し
たときのみ画像データの記録・伝送を行うことで記録部
のメモリ容量の低減や、伝送速度の向上を図ることが可
能となる。 ［００３６］また、この発明を撮像装置に適用した場合
には、被写体の移動に追従してフォーカスエリアを変更
し、自動焦点動作をし続けることで操作性の優れた撮像
装置を提供することができる。この場合、画面全体の移
動方向および移動量（動きベクトル）が求まるので、手
ブレと判定された場合には、逆の動きベクトルを加味す
ることによって手プレ画像の補正が可能となる。
【図１】この発明を撮像装置に適用した場合の一実施例
を示す構成図である。
を示す構成図である。
【図２】１フレーム分の画像データのブロック分割を示
す図である。
す図である。
【図３】２次元ＤＣＴ係数のマトリクスを示す図である
。
。
【図４】エツジ情報の比に対するメンバシップ関数であ
る。
る。
【図５】ブロック間の距離に対するメンバシップ関数で
ある。
ある。
【図６】注目ブロックの被写体が別のブロックに移動し
た確率分布である。
た確率分布である。
１ 撮像部
２ ＡＤ変換部
３ フレームメモリ
４ 信号処理部
５ 記録部
６ ＤＣＴ部
７ 演算部
８ フォーカス制御部
Claims (5)
- 【請求項１】１フレーム分の画像データを、１ブロック
ｎ×ｎ画素からなる複数ブロックに分割し、上記各ブロ
ック中に含まれる特定の周波数成分から上記各ブロック
中のエッジ部分のエッジ情報を抽出し、あるフレームの
注目ブロックのエッジ情報と１フレーム後の同一ブロッ
クおよびその周囲のブロックのエッジ情報とを比較し、
上記注目ブロックのエッジ情報と上記１フレーム後の各
ブロックのエッジ情報とが一致する確率および上記両ブ
ロック間の距離に対する上記両ブロックの一致する確率
から上記注目ブロック中のエッジ部分の移動方向および
移動量を判定し、その判定結果から動領域を抽出して上
記画像中の動領域および静止領域を分離することを特徴
とする動領域抽出方式。 - 【請求項２】請求項１において、前記各ブロック中に含
まれるエッジ情報は、前記１ブロックｎ×ｎ画素の画像
データを、２次元離散コサイン変換を施して得られるｎ
×ｎ個の変換係数の中の特定の係数であることを特徴と
する動領域抽出方式。 - 【請求項３】請求項１において、前記動領域の画像デー
タは前記各フレーム毎に記録・伝送し、前記静止領域の
画像データは数フレーム毎に間引いて記録・伝送するこ
とを特徴とする動領域抽出方式。 - 【請求項４】請求項１において、前記画像中の動領域の
割合から画像の移動が画像自体の移動か撮像手段のブレ
かを判断することを特徴とする動領域抽出方式。 - 【請求項５】請求項４において、前記画像の移動が撮像
手段のブレと判断した場合には、前記画像データに対し
、前記動領域の移動方向および移動量とは逆の動きベク
トルを加味して上記ブレを補正することを特徴とする動
領域抽出方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2404672A JPH04209074A (ja) | 1990-12-05 | 1990-12-05 | 動領域抽出方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2404672A JPH04209074A (ja) | 1990-12-05 | 1990-12-05 | 動領域抽出方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH04209074A true JPH04209074A (ja) | 1992-07-30 |
Family
ID=18514330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2404672A Withdrawn JPH04209074A (ja) | 1990-12-05 | 1990-12-05 | 動領域抽出方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH04209074A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09245168A (ja) * | 1996-03-13 | 1997-09-19 | Tech Res & Dev Inst Of Japan Def Agency | 画像認識装置 |
| US6937074B2 (en) | 2002-05-20 | 2005-08-30 | Hynix Semiconductor Inc. | Power-up signal generator in semiconductor device |
| JP2021182267A (ja) * | 2020-05-19 | 2021-11-25 | 日本製鉄株式会社 | トラッキング装置 |
-
1990
- 1990-12-05 JP JP2404672A patent/JPH04209074A/ja not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09245168A (ja) * | 1996-03-13 | 1997-09-19 | Tech Res & Dev Inst Of Japan Def Agency | 画像認識装置 |
| US6937074B2 (en) | 2002-05-20 | 2005-08-30 | Hynix Semiconductor Inc. | Power-up signal generator in semiconductor device |
| JP2021182267A (ja) * | 2020-05-19 | 2021-11-25 | 日本製鉄株式会社 | トラッキング装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1542155A1 (en) | Object detection | |
| US20090169067A1 (en) | Face detection and tracking method | |
| JP2008282416A (ja) | コード化する前に画像をセグメントに分割するための方法および装置 | |
| EP1542153A1 (en) | Object detection | |
| EP1542154A2 (en) | Object detection | |
| JP2010114752A (ja) | 撮像装置及び撮像方法及びプログラム | |
| Souza et al. | Digital video stabilization based on adaptive camera trajectory smoothing | |
| JPS63166370A (ja) | 画像動き補正装置 | |
| JPH0580248A (ja) | オートフオーカス装置 | |
| EP0632915B1 (en) | A machine method for compensating for non-linear picture transformations, e.g. zoom and pan, in a video image motion compensation system | |
| US8675080B2 (en) | Motion estimation in imaging systems | |
| JP3404803B2 (ja) | 動画像記録媒体、静止画像抽出装置、動画像記録装置および静止画像自動抽出方法 | |
| JP2957800B2 (ja) | 自動焦点調節装置 | |
| US11044399B2 (en) | Video surveillance system | |
| JPH09284702A (ja) | シーン変化フレーム検出方法および装置 | |
| JPH04209074A (ja) | 動領域抽出方式 | |
| JP2022101519A (ja) | 敵対的生成ネットワークアルゴリズムを活用した超分光高速カメラ映像生成方法 | |
| Jagadeeswari et al. | A comparative study based on video stitching methods | |
| JP3525493B2 (ja) | 静止画像抽出装置、動画像記録装置および静止画像自動抽出方法 | |
| Zheng et al. | Superpixel based patch match for differently exposed images with moving objects and camera movements | |
| JP2000175101A (ja) | 自動追尾装置 | |
| JPH04158322A (ja) | 自動焦点調整装置 | |
| Asikuzzaman et al. | Object-based motion estimation using the EPD similarity measure | |
| CN114331843B (zh) | 一种基于灰度直方图的图像拼接方法 | |
| JP7346021B2 (ja) | 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19980312 |