JPH05274433A - 動物体位置認識方式およびその装置 - Google Patents
動物体位置認識方式およびその装置Info
- Publication number
- JPH05274433A JPH05274433A JP4068840A JP6884092A JPH05274433A JP H05274433 A JPH05274433 A JP H05274433A JP 4068840 A JP4068840 A JP 4068840A JP 6884092 A JP6884092 A JP 6884092A JP H05274433 A JPH05274433 A JP H05274433A
- Authority
- JP
- Japan
- Prior art keywords
- window
- image signal
- moving object
- circuit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005484 gravity Effects 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 12
- 238000001914 filtration Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012882 sequential analysis Methods 0.000 description 2
- 230000009012 visual motion Effects 0.000 description 2
- 241001558473 Gymnorhinus cyanocephalus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 対象の一般性を失わずに動物体の位置を実時
間で認識する。 【構成】 時空間フィルタリングをとおして抽出した動
物体信号を2値画像信号とする2値化回路3と、この2
値画像信号に1/2N の分解能までの窓を形成して対象
物体の輪郭に接する窓を生成する窓形成回路4と、この
窓の重心を算出する位置算出回路5とを備える。 【効果】 原画像の画面上で異なる方向に動く物体の位
置を簡単な装置構成で認識できる。
間で認識する。 【構成】 時空間フィルタリングをとおして抽出した動
物体信号を2値画像信号とする2値化回路3と、この2
値画像信号に1/2N の分解能までの窓を形成して対象
物体の輪郭に接する窓を生成する窓形成回路4と、この
窓の重心を算出する位置算出回路5とを備える。 【効果】 原画像の画面上で異なる方向に動く物体の位
置を簡単な装置構成で認識できる。
Description
【0001】
【産業上の利用分野】本発明は、画像を用いて動物体を
抽出し、あるいは強調して当該画像中の運動物体の位置
を認識する動物体抽出技術にかかり、特に、時空間フィ
ルタを用いて任意の方向に任意の速度で運動する物体の
中から所望とする運動物体の位置を認識する動物体位置
認識方式およびその装置に関する。
抽出し、あるいは強調して当該画像中の運動物体の位置
を認識する動物体抽出技術にかかり、特に、時空間フィ
ルタを用いて任意の方向に任意の速度で運動する物体の
中から所望とする運動物体の位置を認識する動物体位置
認識方式およびその装置に関する。
【0002】
【従来の技術】テレビカメラ等で撮影した画像信号から
当該画像信号に含まれる物体の動きを抽出する方式とし
て、従来から、 (1)画像信号を構成する各画素毎に明るさのフレーム
間変化を計算し速度を求める方法。
当該画像信号に含まれる物体の動きを抽出する方式とし
て、従来から、 (1)画像信号を構成する各画素毎に明るさのフレーム
間変化を計算し速度を求める方法。
【0003】(2)動物体領域を含む周辺において、フ
レーム間の明るさの相関をもとめることにより、当該動
物体の移動量を計算する方法。 (3)フレーム間において輪郭やエッジ等の特徴点の対
応づけを行い、その移動量を計算する方法。 (4)フレーム間で減算を行い、0以外の領域を動き領
域とし、当該動き領域の時間移動を求めることで速度を
計算する方法。
レーム間の明るさの相関をもとめることにより、当該動
物体の移動量を計算する方法。 (3)フレーム間において輪郭やエッジ等の特徴点の対
応づけを行い、その移動量を計算する方法。 (4)フレーム間で減算を行い、0以外の領域を動き領
域とし、当該動き領域の時間移動を求めることで速度を
計算する方法。
【0004】(5)実数領域において、時間フィルタと
空間フィルタを独立にかけ動物体を抽出する方法。 等が知られている。上記した時空間フィルタリングに関
する技術を開示したものとしては、例えば、ピー.ジェ
イ.バート,他.著「メカニズムス フォア アイソレ
ーティングコンポーネント パターン イン ザ シー
ケンシャル アナリシス オブマルチプル モーショ
ン」プロシーデングス アイ・イー・イー・イー ワー
クショップ オン ビジュアル モーション. PP.
187−193,1991(P.J.Burt,Raj
esh Hingorani and Raymond
J.Kolezynski「Mechanisms
for Isolating Component P
atterns in the Sequential
Analysis of Multiple Mot
ion」Proc.IEEE Workshop on
Visual Motion」PP.187−19
3,1991)を挙げることができる。
空間フィルタを独立にかけ動物体を抽出する方法。 等が知られている。上記した時空間フィルタリングに関
する技術を開示したものとしては、例えば、ピー.ジェ
イ.バート,他.著「メカニズムス フォア アイソレ
ーティングコンポーネント パターン イン ザ シー
ケンシャル アナリシス オブマルチプル モーショ
ン」プロシーデングス アイ・イー・イー・イー ワー
クショップ オン ビジュアル モーション. PP.
187−193,1991(P.J.Burt,Raj
esh Hingorani and Raymond
J.Kolezynski「Mechanisms
for Isolating Component P
atterns in the Sequential
Analysis of Multiple Mot
ion」Proc.IEEE Workshop on
Visual Motion」PP.187−19
3,1991)を挙げることができる。
【0005】また、動物体の速度や形状等の違いにより
画像信号中の特定の物体を抽出した後、その抽出画像か
ら当該動物体の重心や特徴点(角、輪郭等)の座標を直
接求めたり、あるいは当該動物体を囲むように大きさが
固定の窓をかけて該窓の重心を求める、等の方法により
動物体の位置を認識する技術も知られている。この種の
動物体位置認識に関する技術は、例えば、シー・エイチ
・アンダーソン、他,著「チェンジデテクション アン
ド トラッキング ユージングピラミッド トランスフ
ォーム テクニックス」エス ピー アイ イー ,第
579巻 アイ アール シー ブイ,第72〜78ペ
ージ,1985(C.H.Anderson,P.J.
Burt,G.S.van der Wal”Chan
ge Detection and Tracking
Using Pyramid Transform
Techniques”,SPIE vol.579
IRCV,pp.72−78,1985)に開示されて
いる。
画像信号中の特定の物体を抽出した後、その抽出画像か
ら当該動物体の重心や特徴点(角、輪郭等)の座標を直
接求めたり、あるいは当該動物体を囲むように大きさが
固定の窓をかけて該窓の重心を求める、等の方法により
動物体の位置を認識する技術も知られている。この種の
動物体位置認識に関する技術は、例えば、シー・エイチ
・アンダーソン、他,著「チェンジデテクション アン
ド トラッキング ユージングピラミッド トランスフ
ォーム テクニックス」エス ピー アイ イー ,第
579巻 アイ アール シー ブイ,第72〜78ペ
ージ,1985(C.H.Anderson,P.J.
Burt,G.S.van der Wal”Chan
ge Detection and Tracking
Using Pyramid Transform
Techniques”,SPIE vol.579
IRCV,pp.72−78,1985)に開示されて
いる。
【0006】
【発明が解決しようとする課題】上記従来技術における
方法は、入力したそのままの分解能の画像信号に対して
動物体の抽出とその位置認識処理を行うものであるため
に計算量が多く、実時間で位置認識処理をする装置を構
成しようとすると、その構成は極めて大規模なものとな
り、コストも相当高くなる。
方法は、入力したそのままの分解能の画像信号に対して
動物体の抽出とその位置認識処理を行うものであるため
に計算量が多く、実時間で位置認識処理をする装置を構
成しようとすると、その構成は極めて大規模なものとな
り、コストも相当高くなる。
【0007】また、上記従来技術では、ノイズが混入し
た場合や、特徴抽出時に1つの物体が2分割された場合
の対処が困難である。本発明の目的は、動物体の監視や
追跡等のため、対象の一般性(如何なる対象に対しても
同一の処理法で行えること)を失わずに、時空間フィル
タにより動物体を抽出あるいは強調した画像信号を入力
とし、画像を多分解能の階層構造化することにより所望
とする動物体に窓をかけ、この窓の重心を求めることで
当該動物体の位置を実時間で認識することのできる動物
体位置認識方式およびその装置を提供することにある。
た場合や、特徴抽出時に1つの物体が2分割された場合
の対処が困難である。本発明の目的は、動物体の監視や
追跡等のため、対象の一般性(如何なる対象に対しても
同一の処理法で行えること)を失わずに、時空間フィル
タにより動物体を抽出あるいは強調した画像信号を入力
とし、画像を多分解能の階層構造化することにより所望
とする動物体に窓をかけ、この窓の重心を求めることで
当該動物体の位置を実時間で認識することのできる動物
体位置認識方式およびその装置を提供することにある。
【0008】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、水平成分,垂直成分および時間(フレー
ム)の3次元からなる画像信号を時空間フィルタに通す
ことで当該画像中の運動する物体(動物体)を抽出また
は強調した動物体画像信号を得、この動物体画像信号を
所定の閾値により”1”と”0”で2値化した2値画像
信号に変換する。
に、本発明は、水平成分,垂直成分および時間(フレー
ム)の3次元からなる画像信号を時空間フィルタに通す
ことで当該画像中の運動する物体(動物体)を抽出また
は強調した動物体画像信号を得、この動物体画像信号を
所定の閾値により”1”と”0”で2値化した2値画像
信号に変換する。
【0009】そして、上記2値画像信号に1/2N (N
は階数)までの多分解能の階層構造化(ピラミッド変
換)処理を施し、最粗画像(最小分解能画像)で”1”
の領域を囲むように窓を形成し、以降最密画像(最大分
解能画像)まで上記窓を更新して当該動物体の輪郭に接
する窓を決定し、この動物体の輪郭に接する窓の重心を
算出することで所望の動物体の位置を認識するようにし
たものである。
は階数)までの多分解能の階層構造化(ピラミッド変
換)処理を施し、最粗画像(最小分解能画像)で”1”
の領域を囲むように窓を形成し、以降最密画像(最大分
解能画像)まで上記窓を更新して当該動物体の輪郭に接
する窓を決定し、この動物体の輪郭に接する窓の重心を
算出することで所望の動物体の位置を認識するようにし
たものである。
【0010】すなわち、本発明は、画像信号を時空間フ
ィルタに通すことで特定の運動物体を抽出または強調し
た動物体抽出画像信号を所定の閾値で"1" と"0" の2値
画像信号に変換する2値化手段3と、2値画像信号の階
層Nまでのピラミッドを構築すると共に、最粗画像の"
1" の領域を囲むような窓を形成し最密画像の"1" の領
域を囲むまでこの窓を更新して前記動物体の輪郭に接す
る窓を決定する窓形成手段4と、前記細密画像に接する
窓の重心を算出する位置算出手段5とを備え、動物体の
位置を実時間で認識することを特徴とする。
ィルタに通すことで特定の運動物体を抽出または強調し
た動物体抽出画像信号を所定の閾値で"1" と"0" の2値
画像信号に変換する2値化手段3と、2値画像信号の階
層Nまでのピラミッドを構築すると共に、最粗画像の"
1" の領域を囲むような窓を形成し最密画像の"1" の領
域を囲むまでこの窓を更新して前記動物体の輪郭に接す
る窓を決定する窓形成手段4と、前記細密画像に接する
窓の重心を算出する位置算出手段5とを備え、動物体の
位置を実時間で認識することを特徴とする。
【0011】また、本発明は、前記動物体の位置を認識
する装置を、水平成分,垂直成分および時間の3次元か
らなる画像信号を時空間フィルタに通すことで特定の運
動物体を抽出または強調した動物体抽出信号を生成する
動物体抽出回路2と、前記動物体抽出信号を所定の閾値
により"1" と"0" に2値化した2値画像信号を生成する
2値化回路3と、前記2値化画像信号から1/2N(N
は階数)までの分解能の階層からなるピラミッドを形成
し、最粗の画像で"1" の領域を囲むように窓を形成する
と共に、以降は前記窓を最密の画像まで更新して物体の
輪郭に接するように窓を決定する窓形成回路4と、最密
の画像における窓の重心の位置を算出する位置算出回路
5と、から構成したことを特徴とする。
する装置を、水平成分,垂直成分および時間の3次元か
らなる画像信号を時空間フィルタに通すことで特定の運
動物体を抽出または強調した動物体抽出信号を生成する
動物体抽出回路2と、前記動物体抽出信号を所定の閾値
により"1" と"0" に2値化した2値画像信号を生成する
2値化回路3と、前記2値化画像信号から1/2N(N
は階数)までの分解能の階層からなるピラミッドを形成
し、最粗の画像で"1" の領域を囲むように窓を形成する
と共に、以降は前記窓を最密の画像まで更新して物体の
輪郭に接するように窓を決定する窓形成回路4と、最密
の画像における窓の重心の位置を算出する位置算出回路
5と、から構成したことを特徴とする。
【0012】そして、前記窓形成回路4を、前記2値画
像信号を1/2N(N=1,2,3,・・・・)に圧縮
する圧縮回路411 〜41nと、この1/2N に圧縮さ
れた圧縮画像信号をそれぞれ格納するメモリ421 〜4
2n と、前記メモリに接続されて当該フレームの大きさ
をその前フレームにおける窓の各辺のデータを1/2 N
倍したものを基に更新する窓更新回路431 〜43n、
および動画像の許容最高速度と時空間フィルタの時間方
向タップ数に応じたオフセット分だけ前記物体の輪郭に
接する窓を拡大するオフセット回路44とから構成した
ことを特徴とする。
像信号を1/2N(N=1,2,3,・・・・)に圧縮
する圧縮回路411 〜41nと、この1/2N に圧縮さ
れた圧縮画像信号をそれぞれ格納するメモリ421 〜4
2n と、前記メモリに接続されて当該フレームの大きさ
をその前フレームにおける窓の各辺のデータを1/2 N
倍したものを基に更新する窓更新回路431 〜43n、
および動画像の許容最高速度と時空間フィルタの時間方
向タップ数に応じたオフセット分だけ前記物体の輪郭に
接する窓を拡大するオフセット回路44とから構成した
ことを特徴とする。
【0013】
【作用】水平成分、垂直成分および時間(フレーム)の
3次元からなる画像信号を時空間フィルタに通して特定
の速度で運動する物体(動物体)を抽出あるいは強調し
たものを入力Y(x,y,t)とする。このY(x,
y,t)を適当な閾値THで2値画像I(i,j)とし
た後、階層Nまでピラミッド変化してピラミッドPI0
(i,j)〜PIN (i’,j’)を構築する。
3次元からなる画像信号を時空間フィルタに通して特定
の速度で運動する物体(動物体)を抽出あるいは強調し
たものを入力Y(x,y,t)とする。このY(x,
y,t)を適当な閾値THで2値画像I(i,j)とし
た後、階層Nまでピラミッド変化してピラミッドPI0
(i,j)〜PIN (i’,j’)を構築する。
【0014】図2は動物体を抽出または強調した2値画
像とこれを囲む窓を説明する概念図であって、同図に示
したように、まずPIN (i’,j’)で対象とする物
体10を囲む窓を形成した後、以降PI0 (i,j)ま
で窓を拡大しながら更新し、動物体の輪郭に接するよう
に窓30を決定する。ここで、窓の各辺x
min , xmax 、ymin , ymax の初期値は、図2に20
で示したように、追跡開始時に注目する対象を含むよう
に荒く設定する。
像とこれを囲む窓を説明する概念図であって、同図に示
したように、まずPIN (i’,j’)で対象とする物
体10を囲む窓を形成した後、以降PI0 (i,j)ま
で窓を拡大しながら更新し、動物体の輪郭に接するよう
に窓30を決定する。ここで、窓の各辺x
min , xmax 、ymin , ymax の初期値は、図2に20
で示したように、追跡開始時に注目する対象を含むよう
に荒く設定する。
【0015】まず、動画像抽出手段2で抽出した動物体
画像信号入力Y(x,y,t)を2値化して2値画像I
(i,j)を得た後、階層Nまでピラミッド変化させて
ピラミッドPI0 (i,j)〜PIN (i’,j’)を
構築し、粗→密(COARSE TOFINE)方向に窓を決定す
る。このシーケンスは以下のステップ1〜ステップ6の
ようになる。 ステップ1 PI0 (i,j)← I(i,j) PIk (i,j)← max {PIk-1 (2i+m,2j
+n)} m,n=0,1 for 1≦k≦N ステップ2 xmin ← xmin /2N,xmax ← xmax /2N ymin ← ymin /2N,ymax ← ymax /2N k=Nとし、PIk (i,j)=1の領域の輪郭と窓の
各辺xmin,xmax,ymin,ymax が接するように各辺を更
新する。
画像信号入力Y(x,y,t)を2値化して2値画像I
(i,j)を得た後、階層Nまでピラミッド変化させて
ピラミッドPI0 (i,j)〜PIN (i’,j’)を
構築し、粗→密(COARSE TOFINE)方向に窓を決定す
る。このシーケンスは以下のステップ1〜ステップ6の
ようになる。 ステップ1 PI0 (i,j)← I(i,j) PIk (i,j)← max {PIk-1 (2i+m,2j
+n)} m,n=0,1 for 1≦k≦N ステップ2 xmin ← xmin /2N,xmax ← xmax /2N ymin ← ymin /2N,ymax ← ymax /2N k=Nとし、PIk (i,j)=1の領域の輪郭と窓の
各辺xmin,xmax,ymin,ymax が接するように各辺を更
新する。
【0016】ステップ3 xmin ← xmin ・2,xmax ← xmax ・2 ymin ← ymin ・2,ymax ← ymax ・2 k=k+1とし、PIk (i,j)=1の領域の輪郭と
窓の各辺xmin,xmax,ymin,ymax が接するように各辺
を±1する。
窓の各辺xmin,xmax,ymin,ymax が接するように各辺
を±1する。
【0017】ステップ4 k=0までステップ3を繰り返す。 ステップ5 xmin ← xmin −OFST , xmax ← xmax +OFST ymin ← ymin −OFST , ymax ← ymax +OFST ステップ6 次のフレームにおいてステップ1に戻る。ここで、OFST
は窓サイズのオフセットであり、許容最高速度をu
max ,時空間フィルタの時間方向タップ数をTとした
時、OFST ≧umax ・ T/2に選ぶ。
は窓サイズのオフセットであり、許容最高速度をu
max ,時空間フィルタの時間方向タップ数をTとした
時、OFST ≧umax ・ T/2に選ぶ。
【0018】動物体の位置(xcent,ycent) は、ステップ
5の出力であるxmin , xmax,ymin , ymaxからxcent
= (xmin +xmax)/2、ycent=(ymin +
ymax )/2により求める。結局、本発明による窓30
は図2に示したように、窓20をOFSTしたものとなり、
対象とする物体10の輪郭に接するように決定される。
5の出力であるxmin , xmax,ymin , ymaxからxcent
= (xmin +xmax)/2、ycent=(ymin +
ymax )/2により求める。結局、本発明による窓30
は図2に示したように、窓20をOFSTしたものとなり、
対象とする物体10の輪郭に接するように決定される。
【0019】
【実施例】以下、本発明の実施例につき、図面を参照し
ながら詳細に説明する。図1は本発明による動物体位置
認識方式を適用する動物体位置認識装置の構成を説明す
る概略ブロツク図であって、1は動物体抽出画像信号入
力端子、3は2値化回路、4は窓形成回路、5は位置算
出回路、6は求まった物体位置データである位置認識信
号出力端子である。
ながら詳細に説明する。図1は本発明による動物体位置
認識方式を適用する動物体位置認識装置の構成を説明す
る概略ブロツク図であって、1は動物体抽出画像信号入
力端子、3は2値化回路、4は窓形成回路、5は位置算
出回路、6は求まった物体位置データである位置認識信
号出力端子である。
【0020】同図の構成において、動物体画像信号入力
端子1から入力された動物体画像信号は2値化回路3で
所定の閾値(TH)で2値化されて2値画像信号に変換
される。窓形成回路4はこの2値画像信号に対して多段
分解能のピラミッドを生成し、各分解能の窓かけを行
い、最密の窓の各辺を決定し、決定された窓の重心を位
置算出手段5で算出することにより物体の位置が算出さ
れる。算出された対象物体の位置データである位置認識
信号は位置認識信号出力端子6に得られる。
端子1から入力された動物体画像信号は2値化回路3で
所定の閾値(TH)で2値化されて2値画像信号に変換
される。窓形成回路4はこの2値画像信号に対して多段
分解能のピラミッドを生成し、各分解能の窓かけを行
い、最密の窓の各辺を決定し、決定された窓の重心を位
置算出手段5で算出することにより物体の位置が算出さ
れる。算出された対象物体の位置データである位置認識
信号は位置認識信号出力端子6に得られる。
【0021】図3は図1における窓形成回路の構成を説
明するブロツク図であって、40は2値画像信号入力端
子、411 〜41n は圧縮回路、421 〜42n はメモ
リ、431 〜43n は窓更新回路、44はオフセット回
路、45は対象物体の輪郭に接する窓信号の出力端子で
ある。同図において、入力端子40から入力された2値
画像信号は、圧縮回路411で1/2の分解能にされメ
モリ(#1)10に蓄えられる。このメモリ(#1)4
21のデータは圧縮回路412 で1/2の分解能にされ
メモリ(#2)422に蓄えられる。以降、同様の処理
によりメモリ(#N−1)42N-1、メモリ(#N)4
2N まで蓄えられる。
明するブロツク図であって、40は2値画像信号入力端
子、411 〜41n は圧縮回路、421 〜42n はメモ
リ、431 〜43n は窓更新回路、44はオフセット回
路、45は対象物体の輪郭に接する窓信号の出力端子で
ある。同図において、入力端子40から入力された2値
画像信号は、圧縮回路411で1/2の分解能にされメ
モリ(#1)10に蓄えられる。このメモリ(#1)4
21のデータは圧縮回路412 で1/2の分解能にされ
メモリ(#2)422に蓄えられる。以降、同様の処理
によりメモリ(#N−1)42N-1、メモリ(#N)4
2N まで蓄えられる。
【0022】そして、窓更新回路43Nでは、最粗画像
であるメモリ(#N)42N に格納されているの画像の
輪郭に接するように、前フレームにおける窓の各辺x
min ,xmax , ymin , ymaxのデータαを1/2 N倍した
ものを基に値が増減され、窓の各辺のデータβが決定さ
れる。窓更新回路43N-1では、メモリ(#N)42
#N-1に格納された次に粗い画像の物体の輪郭に接するよ
うに、窓の各辺のデータβを2倍したものが±1され
る。
であるメモリ(#N)42N に格納されているの画像の
輪郭に接するように、前フレームにおける窓の各辺x
min ,xmax , ymin , ymaxのデータαを1/2 N倍した
ものを基に値が増減され、窓の各辺のデータβが決定さ
れる。窓更新回路43N-1では、メモリ(#N)42
#N-1に格納された次に粗い画像の物体の輪郭に接するよ
うに、窓の各辺のデータβを2倍したものが±1され
る。
【0023】以降、上記の処理が同様に繰り返され、窓
更新回路431 では、窓の各辺のデータγを2倍したも
のが±1され、最瞭画像であるメモリ(#1)421 の
物体の輪郭に接するように物体の窓が形成される。形成
された窓はオフセット回路44において、物体の最高許
容速度をumax ,時空間フィルタの時間方向タップ数を
Tとしたとき、OFST≧umax ・T/2に選ばれたオフセ
ット分ほど拡大される。
更新回路431 では、窓の各辺のデータγを2倍したも
のが±1され、最瞭画像であるメモリ(#1)421 の
物体の輪郭に接するように物体の窓が形成される。形成
された窓はオフセット回路44において、物体の最高許
容速度をumax ,時空間フィルタの時間方向タップ数を
Tとしたとき、OFST≧umax ・T/2に選ばれたオフセ
ット分ほど拡大される。
【0024】次に、原画像信号から動物体抽出を行う動
物体抽出画像生成について説明する。テレビカメラ等で
撮影した原画像信号は水平成分,垂直成分および時間
(フレーム)の3次元とし、この入力する画像信号であ
る時系列2次元画像f(x,y,t)と時空間フィルタ
のインパルス応答の実数部w(x,t),w(y,t)
とを gx(x,y,t)=f(x,y,t)*w(x,t) gy(x,y,t)=f(x,y,t)*w(y,t) のように水平方向−時間方向および垂直方向−時間方向
に畳み込み積分することで時空間フィルタリングを行い
所望の速度で運動する物体を抽出する。ここに、*は畳
み込み積分を示す。
物体抽出画像生成について説明する。テレビカメラ等で
撮影した原画像信号は水平成分,垂直成分および時間
(フレーム)の3次元とし、この入力する画像信号であ
る時系列2次元画像f(x,y,t)と時空間フィルタ
のインパルス応答の実数部w(x,t),w(y,t)
とを gx(x,y,t)=f(x,y,t)*w(x,t) gy(x,y,t)=f(x,y,t)*w(y,t) のように水平方向−時間方向および垂直方向−時間方向
に畳み込み積分することで時空間フィルタリングを行い
所望の速度で運動する物体を抽出する。ここに、*は畳
み込み積分を示す。
【0025】上記水平方向−時間方向および垂直方向−
時間方向のフィルタリング結果から、水平方向−垂直方
向−時間方向のフィルタリング手段2の出力G(x,
y,t)は G(x,y,t)=√{(gx(x,y,t)・gy
(x,y,t))} この時、時空間フィルタリング手段2は、次に示すよう
に、時空間周波数領域における通過帯域を制限するよう
に選ばれる。
時間方向のフィルタリング結果から、水平方向−垂直方
向−時間方向のフィルタリング手段2の出力G(x,
y,t)は G(x,y,t)=√{(gx(x,y,t)・gy
(x,y,t))} この時、時空間フィルタリング手段2は、次に示すよう
に、時空間周波数領域における通過帯域を制限するよう
に選ばれる。
【0026】すなわち、この時空間フィルタのインパル
ス応答の実数部w(x,t),w(y,t)は下記のよ
うに設定される。動物体の画像を時空間領域でフーリエ
変換すると、速度0(静止状態)で空間周波数ωspの成
分は水平方向の速度uにおいてはωt =u・ωspなる傾
きuの直線上に転移する。このことを利用して、フィル
タw(ωx ,ωt )はωt =u・ωx およびその周辺を
帯域通過するように設定する。
ス応答の実数部w(x,t),w(y,t)は下記のよ
うに設定される。動物体の画像を時空間領域でフーリエ
変換すると、速度0(静止状態)で空間周波数ωspの成
分は水平方向の速度uにおいてはωt =u・ωspなる傾
きuの直線上に転移する。このことを利用して、フィル
タw(ωx ,ωt )はωt =u・ωx およびその周辺を
帯域通過するように設定する。
【0027】同様に、垂直方向の速度vに関してフィル
タw(ωy ,ωt )はωt =u・ωy およびその周辺を
帯域通過するように設定する。このとき、逆方向に運動
する物体の抽出を禁止するため、u>0に対するフィル
タにおいては、ωsp>0,かつωt<0の領域とωsp<
0,かつωt>0の領域はゲイン0とする。u<0に対
するフィルタにおいてはωsp>0,かつωt >0の領域
とωsp<0,かつωt <0の領域はゲイン0とする。ま
た、許容最高速度umax (umax ≧1)以内で運動する
物体を安定に抽出するため、空間周波数ωspの通過帯域
をωsp<π/umax なる低周波域に制限する。
タw(ωy ,ωt )はωt =u・ωy およびその周辺を
帯域通過するように設定する。このとき、逆方向に運動
する物体の抽出を禁止するため、u>0に対するフィル
タにおいては、ωsp>0,かつωt<0の領域とωsp<
0,かつωt>0の領域はゲイン0とする。u<0に対
するフィルタにおいてはωsp>0,かつωt >0の領域
とωsp<0,かつωt <0の領域はゲイン0とする。ま
た、許容最高速度umax (umax ≧1)以内で運動する
物体を安定に抽出するため、空間周波数ωspの通過帯域
をωsp<π/umax なる低周波域に制限する。
【0028】このようにして決定したフィルタw(ωx
,ωt ),w(ωy ,ωt )をそれぞれ逆フーリエ変
換し、その実数部をw(x,t)、w(y,t)とする。なお、観測
する物体には、環境の変化による速度変化や物体そのも
のの加速が付随することがある。このため、上記の傾き
u,vは一定でなく、フィルタは1対のみでは充分では
ない。本発明においては、1フレーム前の速度に適応す
るフィルタ(傾きuあるいはvおよびその周辺を帯域通
過するフィルタ)と、より低速のものに対するフィルタ
およびより高速のものに対するフィルタを用いる。それ
ぞれの出力をgー1、g0、g1とし、このうち出力が最大
になるものを現在のフレームにおける最適なg(x,
t)あるいはg(y,t)として採用する。
,ωt ),w(ωy ,ωt )をそれぞれ逆フーリエ変
換し、その実数部をw(x,t)、w(y,t)とする。なお、観測
する物体には、環境の変化による速度変化や物体そのも
のの加速が付随することがある。このため、上記の傾き
u,vは一定でなく、フィルタは1対のみでは充分では
ない。本発明においては、1フレーム前の速度に適応す
るフィルタ(傾きuあるいはvおよびその周辺を帯域通
過するフィルタ)と、より低速のものに対するフィルタ
およびより高速のものに対するフィルタを用いる。それ
ぞれの出力をgー1、g0、g1とし、このうち出力が最大
になるものを現在のフレームにおける最適なg(x,
t)あるいはg(y,t)として採用する。
【0029】図4は動物体抽出方式を説明する概略ブロ
ツク図であって、200は画像信号(原画像信号)の入
力端子、210は時空間フィルタリング手段、220は
時空間フィルタのインパルス応答の実数部を格納するイ
ンパルス応答実数部格納手段、230は動物体抽出信号
の出力端子である。同図において、入力端子200から
入力した画像信号は時系列の2次元画像信号f(x,
y,t)であり、この2次元画像信号を時空間フィルタ
リング手段210で時空間フィルタのインパルス応答の
実数部を格納するインパルス応答実数部格納手段220
から選択した所定の実数部w(x,t),w(y,t)
と時空間フィルタリングを行い、前記入力した画像信号
を水平成分,垂直成分および時間の3次元として動きの
ある物体の時空間周波数成分がその速度に比例した傾き
になることを利用し、当該入力画像信号内の動物体を抽
出した動物体抽出信号を出力端子230に得る。
ツク図であって、200は画像信号(原画像信号)の入
力端子、210は時空間フィルタリング手段、220は
時空間フィルタのインパルス応答の実数部を格納するイ
ンパルス応答実数部格納手段、230は動物体抽出信号
の出力端子である。同図において、入力端子200から
入力した画像信号は時系列の2次元画像信号f(x,
y,t)であり、この2次元画像信号を時空間フィルタ
リング手段210で時空間フィルタのインパルス応答の
実数部を格納するインパルス応答実数部格納手段220
から選択した所定の実数部w(x,t),w(y,t)
と時空間フィルタリングを行い、前記入力した画像信号
を水平成分,垂直成分および時間の3次元として動きの
ある物体の時空間周波数成分がその速度に比例した傾き
になることを利用し、当該入力画像信号内の動物体を抽
出した動物体抽出信号を出力端子230に得る。
【0030】図5は動物体抽出方式に用いる時空間フィ
ルタの説明図であって、ωx (ωy)は水平方向(垂直
方向)の空間周波数座標、ωt は時間周波数座標、uは
移動物体の速度(画素/フレーム:pixel/frame )であ
る。同図において、移動物体の画像信号を時空間領域で
周波数分解すると、速度0(静止状態)で空間周波数ω
spの成分は、水平方向の速度uにおいてはωt=u・ω
spなる傾きuの直線上に転移する。これを利用して、予
め数種類の傾きuに対応したフィルタをそれぞれバッチ
処理により用意する。
ルタの説明図であって、ωx (ωy)は水平方向(垂直
方向)の空間周波数座標、ωt は時間周波数座標、uは
移動物体の速度(画素/フレーム:pixel/frame )であ
る。同図において、移動物体の画像信号を時空間領域で
周波数分解すると、速度0(静止状態)で空間周波数ω
spの成分は、水平方向の速度uにおいてはωt=u・ω
spなる傾きuの直線上に転移する。これを利用して、予
め数種類の傾きuに対応したフィルタをそれぞれバッチ
処理により用意する。
【0031】例えば、u≧6、6>u≧3、3>u≧
1、1>u>−1、−3<u≦−1、−6<u≦−3、
u≦−6(pixel/frame )の7種類の傾きに対して用意
する。ところで、u>1またはu<−1の物体の場合、
周波数の折り返しが起きる。例えば、8で示したu=
2.5の場合は、図示したように周波数折り返し9が起
きる。
1、1>u>−1、−3<u≦−1、−6<u≦−3、
u≦−6(pixel/frame )の7種類の傾きに対して用意
する。ところで、u>1またはu<−1の物体の場合、
周波数の折り返しが起きる。例えば、8で示したu=
2.5の場合は、図示したように周波数折り返し9が起
きる。
【0032】このフィルタリングにおける周波数折り返
し成分の抽出を防ぐため、動物体の許容最高速度をuma
x とした時、ωsp≧π/umaxの領域のフィルタゲイン
は0とする。結局、図5のような7種類のw0〜w6の
フィルタを逆フーリエ変換し、7種類のw(x,t)を
メモリ上にフィルタテーブルとして記憶しておく。w
(y,t)についても同様にメモリ上にテーブルとして
記憶しておく。
し成分の抽出を防ぐため、動物体の許容最高速度をuma
x とした時、ωsp≧π/umaxの領域のフィルタゲイン
は0とする。結局、図5のような7種類のw0〜w6の
フィルタを逆フーリエ変換し、7種類のw(x,t)を
メモリ上にフィルタテーブルとして記憶しておく。w
(y,t)についても同様にメモリ上にテーブルとして
記憶しておく。
【0033】図6は動物体抽出装置の一実施例の構成を
説明するブロツク図であって、200は原画像信号入力
端子、211は水平方向動物体抽出フィルタ回路、21
2は垂直方向動物体抽出フィルタ回路、213は水平・
垂直合成回路、230は動物体抽出信号出力端子であ
る。図示の構成において、入力した画像信号は水平方向
動物体抽出フィルタ回路211と垂直方向動物体抽出フ
ィルタ回路212に入力される。水平方向動物体抽出フ
ィルタ回路211からのフィルタ出力と垂直方向動物体
抽出フィルタ回路212からのフィルタ出力は水平垂直
合成回路213において√(x・y)の演算が施されて
合成され、動物体抽出信号端子230に所望の動きをす
る物体の画像の低周波成分が得られる。
説明するブロツク図であって、200は原画像信号入力
端子、211は水平方向動物体抽出フィルタ回路、21
2は垂直方向動物体抽出フィルタ回路、213は水平・
垂直合成回路、230は動物体抽出信号出力端子であ
る。図示の構成において、入力した画像信号は水平方向
動物体抽出フィルタ回路211と垂直方向動物体抽出フ
ィルタ回路212に入力される。水平方向動物体抽出フ
ィルタ回路211からのフィルタ出力と垂直方向動物体
抽出フィルタ回路212からのフィルタ出力は水平垂直
合成回路213において√(x・y)の演算が施されて
合成され、動物体抽出信号端子230に所望の動きをす
る物体の画像の低周波成分が得られる。
【0034】このようにして得られた動物体抽出信号
を、図1の2値化回路3に入力し、前記したような処理
を施すことにより、動物体の認識位置を示すデータが得
られる。
を、図1の2値化回路3に入力し、前記したような処理
を施すことにより、動物体の認識位置を示すデータが得
られる。
【0035】
【発明の効果】以上説明したように、本発明によれば、
画面上の異なる方向に異なる速度で運動する物体から所
望とする運動物体の位置を認識できる。また、ハードウ
ェアによる構成が容易であり、リアルタイム処理が実現
できる。そして、対象物体の輪郭に接する窓の大きさは
毎フレーム更新されているため、物体の大きさが変化す
る場合でも正確にその位置の認識を決定できる。
画面上の異なる方向に異なる速度で運動する物体から所
望とする運動物体の位置を認識できる。また、ハードウ
ェアによる構成が容易であり、リアルタイム処理が実現
できる。そして、対象物体の輪郭に接する窓の大きさは
毎フレーム更新されているため、物体の大きさが変化す
る場合でも正確にその位置の認識を決定できる。
【0036】さらに、最粗画像を基に処理を開始するた
め、ノイズが混入した場合や、1つの物体が2つ以上に
分割された場合でも、1つの物体として安定して位置認
識を行うことができる。
め、ノイズが混入した場合や、1つの物体が2つ以上に
分割された場合でも、1つの物体として安定して位置認
識を行うことができる。
【図1】本発明による動物体位置認識方式を適用する動
物体位置認識装置の構成を説明する概略ブロツク図であ
る。
物体位置認識装置の構成を説明する概略ブロツク図であ
る。
【図2】動物体を抽出または強調した2値画像とこれを
囲む窓を説明する概念図である。
囲む窓を説明する概念図である。
【図3】図1における窓形成回路の構成を説明するブロ
ツク図である。
ツク図である。
【図4】動物体抽出方式を説明する概略ブロツク図であ
る。
る。
【図5】動物体抽出方式に用いる時空間フィルタの説明
図である。
図である。
【図6】動物体抽出装置の一実施例の構成を説明するブ
ロツク図である。
ロツク図である。
【符号の説明】図1 1 動物体抽出画像信号入力端子 3 2値化回路 4 窓形成回路 5 位置算出回路 6 物体位置データである位置認識信号出力端子図2 20,30 窓図3 40 2値画像信号入力端子 411 〜41n 圧縮回路 421 〜42n メモリ 431 〜43n 窓更新回路 44 オフセット回路 45 対象物体の輪郭に接する窓信号の出力端子図4 200 画像信号(原画像信号)の入力端子 210 時空間フィルタリング手段 220 インパルス応答実数部格納手段 230 動物体抽出信号の出力端子図5 8 n=2.5の傾き 9 n=2.5の折り返し図6 200 原画像信号入力端子 211 水平方向動物体抽出フィルタ回路 212 垂直方向動物体抽出フィルタ回路 213 水平・垂直合成回路 230 動物体抽出信号出力端子
Claims (3)
- 【請求項1】画像信号を時空間フィルタに通すことで特
定の運動物体を抽出または強調した動物体抽出信号を所
定の閾値で"1" と"0" の2値画像信号に変換する2値化
手段と、前記2値画像信号の階層Nまでのピラミッドを
構築すると共に、最粗画像の"1" の領域を囲む窓を形成
し最密画像の"1" の領域を囲むまでこの窓を更新して前
記動物体の輪郭に接する窓を決定する窓形成手段と、前
記最密画像に接する窓の重心を算出する位置算出手段と
を備え、動物体の位置を実時間で認識することを特徴と
する動物体位置認識方式。 - 【請求項2】水平成分,垂直成分および時間の3次元か
らなる画像信号を時空間フィルタに通すことで特定の運
動物体を抽出または強調した動物体抽出信号を生成する
動物体抽出回路と、 前記動物体抽出信号を所定の閾値により"1" と"0" に2
値化した2値画像信号を生成する2値化回路と、 前記2値化画像信号から1/2N(Nは階数)までの分
解能の階層からなるピラミッドを形成し、最粗の画像
で"1" の領域を囲むように窓を形成すると共に、以降は
前記窓を最密の画像まで更新して物体の輪郭に接するよ
うに窓を決定する窓形成回路と、 前記最密の画像における窓の重心の位置を算出する位置
算出回路と、 から構成され、前記画像信号中の所望の動物体の位置を
実時間で認識することを特徴とする動物体位置認識装
置。 - 【請求項3】請求項2において、前記窓形成回路が、前
記2値画像信号を1/2N(N=1,2,3,・・・
・)に圧縮する圧縮回路と、この1/2N に圧縮された
圧縮画像信号をそれぞれ格納するメモリと、前記メモリ
に接続されて当該フレームの大きさをその前フレームに
おける窓の各辺のデータを1/2N 倍したものを基に更
新する窓更新回路、および動画像の許容最高速度と時空
間フィルタの時間方向タップ数に応じたオフセット分だ
け前記物体の輪郭に接する窓を拡大するオフセット回路
とから構成されたことを特徴とする動物体位置認識装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4068840A JPH07101459B2 (ja) | 1992-03-26 | 1992-03-26 | 動物体位置認識方式およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4068840A JPH07101459B2 (ja) | 1992-03-26 | 1992-03-26 | 動物体位置認識方式およびその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05274433A true JPH05274433A (ja) | 1993-10-22 |
| JPH07101459B2 JPH07101459B2 (ja) | 1995-11-01 |
Family
ID=13385297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4068840A Expired - Lifetime JPH07101459B2 (ja) | 1992-03-26 | 1992-03-26 | 動物体位置認識方式およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07101459B2 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63254577A (ja) * | 1987-03-18 | 1988-10-21 | ゲゼルシヤフト・フユア・シユトラーレン−・ウント・ウンヴエルトフオルシユング・ミツト・ベシユレンクテル・ハフツング・(ゲー・エス・エフ) | 大きさをビデオ実時間内に選択する方法 |
| JPH01116853U (ja) * | 1988-01-28 | 1989-08-07 | ||
| JPH0313877A (ja) * | 1989-06-12 | 1991-01-22 | Nec Corp | 配線寿命の試験方法 |
-
1992
- 1992-03-26 JP JP4068840A patent/JPH07101459B2/ja not_active Expired - Lifetime
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63254577A (ja) * | 1987-03-18 | 1988-10-21 | ゲゼルシヤフト・フユア・シユトラーレン−・ウント・ウンヴエルトフオルシユング・ミツト・ベシユレンクテル・ハフツング・(ゲー・エス・エフ) | 大きさをビデオ実時間内に選択する方法 |
| JPH01116853U (ja) * | 1988-01-28 | 1989-08-07 | ||
| JPH0313877A (ja) * | 1989-06-12 | 1991-01-22 | Nec Corp | 配線寿命の試験方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07101459B2 (ja) | 1995-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| Zhang et al. | A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application | |
| Irani et al. | Computing occluding and transparent motions | |
| JPH06511339A (ja) | センサの動きとシーン構造を決定する方法及びイメージ処理システム | |
| KR102311796B1 (ko) | 지역적 신체영역 정보를 이용한 휴먼 모션 디블러링 방법 및 장치 | |
| CN117391938B (zh) | 一种红外图像超分辨率重建方法、系统、设备及终端 | |
| CN117058019A (zh) | 一种基于金字塔增强网络的低光照下目标检测方法 | |
| CN106530407A (zh) | 一种用于虚拟现实的三维全景拼接方法、装置和系统 | |
| Bogoslovsky et al. | A way of energy analysis for image and video sequence processing | |
| Wu et al. | Properties of orthogonal Gaussian-Hermite moments and their applications | |
| Osman Ulusoy et al. | Dynamic probabilistic volumetric models | |
| JPH05274433A (ja) | 動物体位置認識方式およびその装置 | |
| Moseva et al. | Neural Network Method for Removing the Effect of Atmospheric Noise in an Image | |
| Voronin et al. | Video inpainting of complex scenes based on local statistical model | |
| CN119295326A (zh) | 一种基于伪噪声和卷积神经网络的红外图像增强方法 | |
| JPH06119450A (ja) | 動物体抽出方式およびその装置 | |
| CN121280655B (zh) | 基于多模态大模型的三维地理环境实时智能推演方法 | |
| CN120388294B (zh) | 隧道异常检测模型建立以及检测预警方法 | |
| CN121392305B (zh) | 基于多编码器和可变形卷积的图像特征提取方法 | |
| Hussan et al. | Strangeness Detection from Crowded Video Scenes by Hand-Crafted and Deep Learning Features | |
| Chan et al. | Corner detection using spline wavelets | |
| JPH07101456B2 (ja) | 動物体抽出方式およびその装置 | |
| JPH07101457B2 (ja) | 動物体抽出方式およびその装置 | |
| Zhuravlev | Study of a Method for Effective Noise Suppression in Passive Personnel Screening Systems | |
| Guðmundsson et al. | TOF-CCD image fusion using complex wavelets |