JPH08221577A - 移動体検出・抽出装置及び方法 - Google Patents

移動体検出・抽出装置及び方法

Info

Publication number
JPH08221577A
JPH08221577A JP7029099A JP2909995A JPH08221577A JP H08221577 A JPH08221577 A JP H08221577A JP 7029099 A JP7029099 A JP 7029099A JP 2909995 A JP2909995 A JP 2909995A JP H08221577 A JPH08221577 A JP H08221577A
Authority
JP
Japan
Prior art keywords
background
moving body
image
moving
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7029099A
Other languages
English (en)
Other versions
JP3569992B2 (ja
Inventor
Shigeki Nagaya
茂喜 長屋
Takafumi Miyatake
孝文 宮武
Takehiro Fujita
武洋 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP02909995A priority Critical patent/JP3569992B2/ja
Priority to US08/601,951 priority patent/US5721692A/en
Publication of JPH08221577A publication Critical patent/JPH08221577A/ja
Priority to US09/023,467 priority patent/US5862508A/en
Priority to US09/946,528 priority patent/US20020030739A1/en
Application granted granted Critical
Publication of JP3569992B2 publication Critical patent/JP3569992B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
    • F41G7/22—Homing guidance systems
    • F41G7/2226—Homing guidance systems comparing the observed data with stored target data, e.g. target configuration data
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
    • F41G7/22—Homing guidance systems
    • F41G7/2253—Passive homing systems, i.e. comprising a receiver and do not requiring an active illumination of the target
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G7/00—Direction control systems for self-propelled missiles
    • F41G7/20—Direction control systems for self-propelled missiles based on continuous observation of target position
    • F41G7/22—Homing guidance systems
    • F41G7/2273—Homing guidance systems characterised by the type of waves
    • F41G7/2293—Homing guidance systems characterised by the type of waves using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【目的】 実際の複雑背景下で、移動体の検出・抽出す
る。 【構成】 本発明は、映像を入力する手段500と、処理
結果を出力するディスプレイ300に加えて、映像中のあ
る画素領域について背景と予測される時間区間を判定す
る手段700と、移動物体を抽出する手段800と、移動体の
運動方向や速度を算出を行う手段900から構成される。 【効果】 照明条件の変化のみならず、構造的変化が生
じるような複雑背景下であっても、背景の構造変化の有
無を判定し、移動する物体をリアルタイムに検出・抽出
できる。また、運動の方向や速度を算出できる。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、道路における交通流の
計測や、線路・踏切における異常検知、銀行やコンビニ
エンスストアにおける犯罪防止など、カメラにより入力
された映像監視のための、移動体検出・抽出装置及び方
法に関する。
【０００２】
【従来の技術】現在、道路や踏切、銀行のサービスフロ
ア等のいたる場所でカメラ映像による監視が行われてい
る。これらは、特定の場所を移動する物体（以下では、
移動体または移動物体という）を監視することによっ
て、交通集中を解消したり、事故や犯罪を未然に防止す
ることを目的としている。例えば、街頭でときどき行わ
れている交通流調査では、自動車やバイク、自転車、人
が、監視区域を何台通過したか計測したり、様々なカテ
ゴリに分類したりして、交通流に関する統計的情報を収
集することができる。また、道路上での渋滞監視や踏切
事故の監視、銀行やコンビニエンス・ストアのサービス
フロア等に対する監視では、渋滞やエンストといった車
両の停止、或いは落下物、あやしげな挙動を示す顧客な
どの異常を検知することにより、事故や犯罪を未然に防
ぐことがでいる。このように、移動体に対する映像監視
のニーズはきわめて高い。ところが、現在の映像監視は
技術的な問題から人手に頼らざるを得ない状況にある。
このため、コストが非常に高く、また、人的ミスが入り
込みやすい等の問題が生じている。こうした背景から、
コンピュータ等による監視処理の自動化が求められてお
り、モデルやテンプレート等を用いた様々な手法が提案
されている。
【０００３】ところが、実際の映像監視のケースでは屋
内よりも屋外であることが多い。このため、対象や背景
などは降雨や積雪などの気象条件や日照や街灯といった
照明条件の影響を強く受ける。例えば、降雨が原因とな
る周囲の写り込みや光の反射などによって、見かけ上の
形状が大きく変化する。また、照明が日光から水銀灯な
どへの変化により、監視対象と背景との明るさや色彩上
の対比関係の変化する。同一箇所の映像であっても、季
節や時刻によって、画像としての性質は大きく変化す
る。このため、ある条件下では有効な特徴量を抽出でき
ても、他の条件下では抽出できなくなる場合が頻繁に生
じる。このように、複雑な背景下では、認識アルゴリズ
ムに用いる特徴量の種類によってはその信頼性が非常に
低くなるため、実用化が困難であった。
【０００４】こうした複雑背景の問題の内、漸近的な照
明変化を解決するものとして、背景差分を用いた移動体
検出手法がある。背景差分とは、固定カメラで撮影され
た映像では背景がほとんど変化しないことを利用して、
背景だけが映っている背景画像と移動体を含むフレーム
画像との差分をとることにより、移動体だけを分離・抽
出する手法である。背景画像を自動的に取得するには、
画素毎にその濃度について時間方向のメディアンやモー
ドを求め、これを使う方法を用いる。図２４に背景差分
を用いた移動体検出手法の原理を簡単に示す。監視対象
となるシーン110について、背景画像100があらかじめ与
えられていれば、背景画像100とシーン110との差分画像
120から、移動体111をシーン変化121として分離・抽出
できる。この手法の特長は、どんな監視場所に対しても
ロバストな点である。カメラの動きがないものと仮定す
れば、どんな複雑な背景であっても、電柱101の様に差
分操作で消えてしまうためである。こうした背景差分に
よる移動体検出法の従来技術として、(1)電子情報通信
学会論文 D-II Vol.J72-D-II, No.6, pp.855-865,198
9、(2)情報処理学会コンピュータビジョン研究会報告75
-5,1991、(3)電子情報通信学会論文 D-II Vol.J77-D-I
I, No.9, pp.1716-1726,1994などがある。
【０００５】
【発明が解決しようとする課題】しかし、これらの従来
技術では背景の構造的変化に弱いという問題点があっ
た。図２５に従来技術の問題点を簡単に示す。例えば、
背景画像100のシーン中に、駐停車した車両131が現れ
て、シーン130の様に背景の構造変化が生じたとする。
従来技術では、背景画像100とシーン130との差分画像14
0に示されるように、駐停車した車両131が変化分141と
して抽出される。ところが、この変化分141が移動体に
よるものなのか、背景の構造変化によるものなのかを区
別できないため、背景の構造変化の発生以降のシーン15
0では、移動体151が通過しても構造変化と移動体がシー
ン160中の領域161の様にくっついて分離できなくなって
しまう。実際の映像監視では、こうした背景の構造変化
が数多く生じる。例えば、上記のように、道路を通過し
ていた自動車が路肩のパーキングメータに駐停車し、そ
の自動車が新しい背景の一部となる場合がある。逆に、
駐停車していた車両が移動して、その車両によって隠さ
れていた領域が新しい背景の一部となることもある。ま
た、通過した車両が道路上に物を落としていった場合
も、落下物が新しい背景の一部となる。さらに、雪上を
車両が通過することによってできる轍などもある。
【０００６】このように、従来の背景差分を用いた手法
では、背景の構造的な変化に対応できない。これは、背
景構造の変化した部分が、移動体であるか、新たな背景
部分であるかを区別できないためである。区別を行うた
めに、移動体の運動解析を行うことが考えられるが、オ
プティカルフローなどの運動解析アルゴリズムでは、移
動体の数を前もって知る必要があるため、いったん移動
体数を誤認識するとそれ以降の処理では、背景変化領域
の分離はおろか、背景変化の有無すら判定が困難とな
る。
【０００７】さらに、移動体の分離・抽出が不安定であ
るということが挙げられる。これは、仮に背景変化の有
無を判定できたとしても、上記の理由から背景変化部分
と移動体領域をいつでも正確に判別できるとはかぎらな
いためである。例えば、移動する車両から荷物が落ちて
路上に残った場合、この落下物による新たな背景の変化
を検出し背景を更新すると、移動体領域も一緒に背景と
して更新され、背景更新時に移動体が存在していた領域
にゴミが混入する。このように、背景の構造変化が生じ
た後では、移動体を背景から正しく分離・抽出すること
ができなくなり、結果的に監視処理を継続することが困
難になっていた。
【０００８】以上の問題点を解決するため、本発明では
次の三つの目的を挙げる。第一の目的は、着目した画素
領域が背景か移動体かの判定を行い、背景の変化があれ
ばその種類を判定することである。第二の目的は、背景
変化部分と移動体領域とを分離・判別して、移動体のみ
を抽出することである。第三の目的として、抽出した移
動体の運動方向や速度を簡単に算出することである。
【０００９】
【課題を解決するための手段】まず、本発明を構成する
基本的な手段として、映像を入力する手段と、移動体を
抽出・検出する手段と、処理結果を映像として出力する
手段を有する。
【００１０】次に、第一の目的である、特定の画素領域
について移動体と背景の構造変化の有無の判定を実現す
るために以下の手段を提供する。映像中から背景判定を
行う画素領域を取得する手段と、ある時刻における画素
領域とフレーム毎の画素領域との相関を算出する手段
と、算出された相関値を時系列として保持すると、保持
されている相関値の時系列から、移動体が存在せず背景
と予測される時間区間を判定する手段と、判定された背
景と予測される時間区間から、移動体が存在する時間区
間を決定する手段を有する。また、移動体が存在する時
間区間を決定する手段には、判定された背景と予測され
る時間区間から背景の変化の有無を判定する手段と、判
定された背景の変化を照度変化と構造変化に分別する手
段と、判定された背景と予測される時間区間から移動体
が存在する時間区間を決定する手段を備える。
【００１１】第二の目的である、背景変化部分と移動体
領域とを分離・判別して、移動体のみの抽出を実現する
ために以下の手段を提供する。移動体が存在する時間区
間をもとに、移動体を含むフレーム画像と、移動体が存
在する時間区間の前後に位置する、二つの背景のみが写
っている画像（移動体が存在する時間区間より過去の背
景画像と未来の背景画像）、映像中から取得する手段
と、フレーム画像と過去の背景画像と未来の背景画像か
ら、過去背景差分画像と未来背景差分画像を作成する手
段と、過去背景差分画像と未来背景差分画像から、論理
積により統合領域を求める手段と、フレーム画像と統合
領域から、移動体画像を切り出す手段を有する。
【００１２】第三の目的である、抽出した移動体の運動
方向や速度を簡単に算出するために以下の手段を提供す
る。移動体が存在する時間区間の時空間画像を切り出す
手段と、移動体が存在する時間区間の前後に位置する二
つの背景のみのスリット画像（移動体が存在する時間区
間より、過去の背景スリット画像と未来の背景スリット
画像）と、時空間画像から移動体領域候補を分離する手
段と、伸張収縮処理及び穴埋め処理により移動体領域候
補を補正する手段と、補正された二つ背景差分画像から
共通する統合領域を求める手段と、得られた統合領域の
傾きを算出し、移動体の方向・速度を推定する手段を有
する。
【００１３】その他の特徴的な移動体検出・抽出装置及
び方法は、明細書中の記載から自と明らかになるであろ
う。
【００１４】
【作用】本発明では、映像入力手段により入力された映
像をもとに、以下の手順で移動体の検出・抽出処理が行
われる。
【００１５】まず最初に、特定の画素領域について移動
体と背景の構造変化の判定が行われる。映像中から背景
判定を行う画素領域を取得し、フレーム毎に画素領域が
取得され、ある時刻における画素領域との相関が算出さ
れる。算出された相関値は時系列として扱うことができ
るようになる。次に、この相関値の時系列に対し、移動
体が存在せず背景と予測される時間区間を判定する。こ
の背景と予測される時間区間に背景の変化が生じたどう
かを判定し、判定された背景の変化を照度変化と構造変
化に分別する。最後に、背景と予測される時間区間から
移動体が存在する時間区間を決定する。
【００１６】次に、背景変化部分と移動体領域とを分離
・判別して、移動体のみを抽出する。まず、移動体が存
在する時間区間をもとに、移動体を含むフレーム画像を
取得する。次に、移動体が存在する時間区間の前後に位
置する、過去の背景画像と未来の背景画像を、映像中か
ら取得する。次いで、フレーム画像と過去の背景画像と
未来の背景画像から、過去背景差分画像と未来背景差分
画像を作成する。過去背景差分画像と未来背景差分画像
から論理積により統合領域を求め、最後に、フレーム画
像と統合領域から移動体画像を切り出す。
【００１７】第三に、抽出した移動体の運動方向や速度
を簡単に算出する。まず、移動体が存在する時間区間の
時空間画像を切り出す。次いで、背景スリット画像と時
空間画像から移動体領域候補を分離する。伸張収縮及び
穴埋め処理によって、移動体領域候補を補正する。補正
された過去背景差分画像と未来背景差分画像の論理積か
ら統合領域を求め、最後に、統合領域の傾きを算出し、
移動体の方向・速度を推定する。
【００１８】最後に、上記処理結果を結果出力をする手
段によりディスプレイ上に表示する。
【００１９】
【実施例】以下、本発明の一実施例を詳細に説明する。
図２に、本発明を実現するハードウエア構成の一例であ
る。TVカメラ200は監視対象となるシーンを撮影し、こ
れを映像信号201に変換して、コンピュータ400に送る。
伝送の際、映像信号201はフレーム毎にデジタル化され
て、コンピュータ400内のメモリに格納される。コンピ
ュータ400は、そのメモリ内容を読みとり、メモリ内の
別のアドレスに格納された処理プログラムに従って、フ
レーム画像上の画素が背景であるか移動体であるかの判
定と、移動物体の切り出し、運動方向・速度の推定を行
う。抽出された移動物体の画像とそれに付随する他の処
理結果等はディスプレイ300に伝送される。ディスプレ
イ300は、コンピュータ400で処理された結果である、背
景画像や移動体の画像、運動方向・速度を画面上に出力
する。また、これらの情報は、ネットワーク210を通じ
て、安全制御装置や監視センタのディスプレイなどに送
られる。
【００２０】図１は、コンピュータ400内部に実現され
たシステム構成の一例である。コンピュータ400は、映
像入力手段500、結果出力手段600、背景判定手段700、
運動解析手段800、移動体抽出手段900、の大きく五つか
ら構成される。これらの各手段は、実際はコンピュータ
400内にて、記憶手段に格納されたプログラムがロード
され、ＣＰＵにて実行される。勿論、ソフトウエアによ
る処理ではなく、適宜ハードウエアによって実現しても
よい。
【００２１】映像入力手段500は、映像信号201をフレー
ム毎にデジタル画像データ1000に変換して、背景判定手
段700、運動解析手段800、移動体抽出手段900に伝送す
る。結果出力手段600は、背景判定手段700、運動解析手
段800、移動体抽出手段900での処理結果である、背景画
像1002や運動方向・速度1003、移動体の画像1004をディ
スプレイ上にユーザが見やすい形態で表示するものであ
る。背景判定手段700は、デジタル画像データ1000上の
画素毎に背景であるか、移動体であるか、背景構造の変
化であるかを判定し、移動体存在区間情報1001を運動解
析手段800、移動体抽出手段900に伝送する。移動体存在
区間情報1001とは、画素毎の、移動体が存在すると判定
された区間（時間）情報をまとめたものである。このほ
か、背景判定手段700は背景と判定された画素を集積し
た背景画像1002を結果出力手段600に伝送する。背景判
定方法の詳細については、図３〜図１２で説明する。運
動解析手段800は、デジタル画像データ1000と移動体存
在区間情報1001から移動体の運動方向・速度1003を算出
し、結果出力手段600に伝送する。移動体の運動方向・
速度1003の算出方法の詳細については、図１３〜図１９
で説明する。移動体抽出手段900は、デジタル画像デー
タ1000と移動体存在区間情報1001から移動体画像1004を
抽出し、結果出力手段600に伝送する。移動体画像1004
の抽出装置の詳細については、図２０〜図２２で説明す
る。
【００２２】まず、図３〜図５で、移動物体と背景の構
造変化の有無を判定する方法の概要を説明する。次に図
６〜図１２でこれを実現する背景判定手段について説明
する。
【００２３】図３は、映像とスリット画像、時空間画像
の関係を示したものである。映像（動画像）は毎秒25〜
30枚のフレーム画像と呼ばれる静止画像のシーケンスか
ら構成されている。これを模擬的に表したものが、映像
1010である。この場合、映像1010は時刻T0から時刻Tnま
でのフレーム画像を並べたものである。スリット画像10
40は、フレーム画像1020中からスリット1030と呼ばれる
線分に含まれる画素を集めた画像である。このスリット
画像1040をフレーム毎に時間順に並べたものを時空間画
像1050と呼ぶ。これは、時空間画像1050が時間方向と空
間方向の両方の情報を含む画像だからである。固定カメ
ラの時空間画像1050では、時間的に濃度変化のない画素
は図３の1051のように時間方向に水平に流れる線とな
る。このように時間的に濃度変化のない画素は、背景と
考えることができる。一方、背景であっても水平線がと
ぎれることがある。これは、日照条件など照度の変化
や、背景を構成している物体の移動などによって、背景
であっても画素の濃度が変化するからである。これに対
し、フレーム画像中を移動する物体は、図３の1052のよ
うにその画像が現れて通常は水平線にはならない。移動
体が水平線になるのは、スリット上で静止したような場
合か、移動方向と水平にスリットが置かれた場合だけで
ある。これは先に述べた背景を構成している物体が変化
した場合に含めることができる。このように、時空間画
像1050では、背景は水平な線1051に、背景以外は1052の
ように変化する。さらに、この変化1052の原因は移動物
体か背景変化であると考えられる。本発明では、この時
空間画像1050の性質をもとに背景かどうかの判定を行
い、移動体を検出・抽出する。
【００２４】図４は、背景区間のスリット画像と各時刻
における対象スリットとの距離の関係を示したものであ
る。まず、時空間画像1050の、移動体や背景の変化のな
い時間区間から、スリット画像1040を取り出し、これを
背景スリットβ1041とする。次に、これ以外の時刻か
ら、スリット画像1040を取り出し、これを対象スリット
τ1042とする。ここで、スリット画像1040を構成する各
画素の濃度をベクトル要素とする、スリットベクトルを
考え、式1060で与えられるふたつのスリット・ベクトル
の距離δを考える。時空間画像1050に対して、各時刻の
対象スリットτ1042毎に距離δを求めると、これを時刻
順に並べた距離時系列1070で与えられるグラフが得られ
る。距離時系列1070と図３で説明した時空間画像1050の
性質から次のことがわかる。距離時系列1070の内、一定
以上の長さを持つ平坦な部分は、背景であり移動体の存
在しないと予測される。また、これ以外の変化の大きい
部分には、移動物体の通過や背景の変化が起こったと考
えられる。以降の説明でこれらを区別するために、距離
時系列1070の内、一定以上の長さを持つ平坦な部分を背
景候補区間1071とし、これ以外を移動体存在区間1072と
定義する。
【００２５】図５に、背景の構造変化が発生した場合の
時空間画像1050と距離時系列1070を示す。ここでは、図
５(a)の映像1010に示すように、移動物体1100が落下物1
200をスリット1030上に落とした場合を考える。この場
合、落下物1200によって背景の構造が変化するため、そ
の時空間画像1050は図５(b)のようになる。すなわち、
移動体1100の時空間画像上の像1101のすぐ後に、落下物
1200の像1201が現れる。途中から背景の一部となるた
め、その像1201は、図５(b)に示されるような水平線と
なる。こうした時空間画像1050に対して、背景スリット
β1041を用いて距離時系列1070を求めると図５(c)のよ
うになる。この距離時系列1070の内、背景候補区間1073
も背景候補区間1074も、距離時系列1070の内の一定以上
の長さを持つ平坦な部分であるから、ともに背景候補区
間1071である。ところが、背景スリットβ1041と同一ス
リットの区間では、背景候補区間1073のように、その平
均値がほとんどゼロになるのに対し、落下物の像1201の
ために背景スリットβ1041とスリットが異なる場合、背
景候補区間1074のように、その平均値が一定以上の値に
なる。これは、落下物の像1201を背景スリットβ1041と
の差として検出するためである。このように同じ背景候
補区間1071であっても、背景スリットβ1041と同一のス
リット画像であるかどうかで、距離時系列1070の平均値
は異なる。そこで、以降の説明では両者を区別するため
に、それぞれの背景候補区間1071を真の背景候補区間10
73、偽の背景候補区間1074と定義する。偽の背景候補区
間1074が生じる原因として、背景の構造変化の他に、急
激な照度変化が考えられる。いずれにせよ、偽の背景候
補区間1074が生じた場合は、背景が変化したことを意味
している。背景か移動体かの判定を継続するには、偽の
背景候補区間1074からスリットτ1042を新たな背景とし
て更新し、距離時系列1070による判定処理を繰り返せば
よい。以上の性質を基に、本発明では、距離時系列1070
における一定長の平坦区間を背景候補区間1071と見な
し、これ以外を移動体存在区間1072として、背景と移動
物体との時間区間を分離する。さらに、背景候補区間10
71のうち、その平均値が０に近いものを真の背景候補区
間1073とし、それ以外のものを偽の背景候補区間1074と
分類する。偽の背景候補区間1074の場合は、照度変化や
構造変化等の理由により、背景が変化したと見なして、
偽の背景候補区間1074のスリット画像τ1042を新たな背
景として更新し、以上の判定処理を繰り返す。こうした
処理により、常に移動物体と背景、背景の構造変化の三
つを判別し、移動物体と背景の構造変化の有無を判定す
る方法を実現する。
【００２６】図６は、上記方法を実現する背景判定手段
700の構成（データフロー）を説明するものである。背
景判定手段700は、スリット画像作成手段701、背景スリ
ット保持手段702、距離算出手段703、距離時系列保持手
段704、距離時系列平滑化手段710、平滑化時系列保持手
段705、背景候補区間判定手段720、背景候補真偽判定手
段730、移動体存在区間取得手段740、背景構造変化判定
手段750を有する。スリット画像作成手段701は、入力さ
れたデジタル画像データ1000をもとに判定対象となる対
象スリット1042を作成し、距離算出手段703に伝送す
る。背景スリット保持手段702は、背景候補真偽判定手
段730や背景構造変化判定手段750で判定された背景スリ
ット1041を保持しておき、距離算出手段702からの要求
に応じてこれを伝送する。距離算出手段702は、対象ス
リット1042と背景スリット1041をベクトルとみて、式10
60に従って距離δを計算する。算出された距離δは距離
時系列保持手段704に伝送される。
【００２７】距離時系列保持手段704は、算出された距
離δを過去一定時間に渡って保持し、時系列として扱え
るようにする。距離時系列1070は新たに距離が伝送され
る度に、最も過去の値を捨て最新の値を含むように更新
される。距離時系列平滑化手段710からの要求に応じ
て、距離時系列1070を伝送する。距離時系列平滑化手段
710は、距離時系列保持手段704に格納されている距離時
系列1070を移動平均によって平滑化する。これは、ジッ
ター等の影響によって、距離時系列が細かい振動がしば
しば発生するためである。平滑化された距離時系列1070
は、平滑化時系列保持手段705に伝送される。平滑化時
系列保持手段705は、平滑化された最新の距離時系列を
保持する。背景候補区間判定手段720、背景候補真偽判
定手段730、移動体存在区間取得手段740、からの要求に
応じてこれを伝送する。背景候補区間判定手段720は、
平滑化された最新の距離時系列1070から背景候補区間10
71を探し、その結果を区間情報として、背景候補真偽判
定手段730と移動体存在区間取得手段740にそれぞれ伝送
する。背景候補区間1071の探索は、図４で述べたよう
に、平滑化された距離時系列1070の平坦部分を判定する
ことによって実現される。探索アルゴリズムの詳細につ
いては図７で説明する。背景候補真偽判定手段730は、
背景候補区間1071と平滑化距離時系列1070を基に、真の
背景候補区間1073か偽の背景候補区間1074かを判定す
る。その後、判定結果に応じて対象スリット画像1042を
背景スリット保持手段702や背景構造変化判定手段750に
伝送する。真の背景候補区間1073の場合には、現在の対
象スリット画像1042をあらたな背景スリット1041として
背景スリット保持手段702に送る。偽の背景候補区間107
4の場合には、背景構造変化判定手段750に送って背景の
構造変化を抽出する。真偽判定を行うアルゴリズムの詳
細については図８〜図１１で説明する。移動体存在区間
取得手段740は、移動体が存在する区間情報と平滑化さ
れた距離時系列1070を基に極大値を求めて、移動体が存
在すると予測される区間の実際の移動体の数と、極大値
部分の時刻を移動体存在区間として返す。背景構造変化
判定手段750は、背景スリット保持手段702に格納されて
いる背景スリット1041と、背景候補真偽判定手段730か
ら送られた対象スリット画像1042から、背景の変化が構
造変化によるものか照度変化によるものかを判定し、対
象スリット画像1042を新たな背景として更新する。判定
アルゴリズムの詳細については図１２で説明する。
【００２８】図７に、背景候補区間判定手段のフローチ
ャートを示す。まず、平滑化時系列保持手段705から、
最新の値から一定時間区間（例えば、最新45フレーム）
の平滑化された時系列1070を取得する（ステップ200
1）。次に、平滑化時系列1070からその区間での最大値
・最小値を取得する（ステップ2002）。最大値と最小値
の差が、あらかじめ決めておいた閾値より大きい場合に
は、背景候補区間1071ではないと判定し、処理を終了す
る。小さい場合には、背景候補区間1071と判定し、ステ
ップ2004に進む（ステップ2003）。最後に、区間の先頭
と最後の時刻を区間情報として返す（ステップ2004）。
【００２９】図８は、スリット画像に対する照度変化の
影響を示したものである。まず、図８(a)のように各画
素の明るさがP1....Pnで与えられるスリット1040を考え
る。次に、横軸を画素の位置、縦軸を画素の明るさとす
るグラフを考えると、図８(b)1046のようになる。ここ
で、急激な照度変化が生じ、スリット画像1040全体が暗
くなったとすると、スリット画像1040中の各画素P1....
Pnの明るさは図８(c)のように相対的な関係を保ったま
ま、1046から1047のように一様に小さくなる。この照度
変化をスリット画像をベクトルに見立てて考えると次の
図９のようになる。
【００３０】図９(a)のように、スリット画像1040は各
画素の明るさを要素とするベクトルv1048と考えること
ができる。各画素P1....Pn毎の基底ベクトルをb1,b2,b
3,....,bnとすると、ベクトルv1048は、図９(b)のよう
なn次元のベクトル空間上の一点と表すことができる。
次に、このベクトルv1048に対し、急激な照度変化が生
じてスリットベクトルが変化し、図９(c)のスリットベ
クトルv'1049のようになったとする。このとき、図８の
考察から、変化したスリットベクトルv'1049は、ベクト
ルv1048とほとんど同一直線上に存在し、ベクトルv1048
のスカラー倍になっていると考えることができる。この
ように、もとのスリットベクトル1048と照度によって変
化したスリットベクトル1049は、ベクトル空間上での座
標位置は大きく異なっても、その向きはほとんど同一で
あることが分かる。これに対し、構造変化の生じたスリ
ットベクトルでは、座標位置だけでなく、その向きも大
きく異なると予想される。従って、スリット1040の照度
変化と構造変化を区別するには、向きを考慮すればよ
い。
【００３１】図１０は、通常のスリットベクトル1048と
照度変化の影響を受けたスリットベクトル1049の単位球
上へ射影である。図１０に示されるように、ベクトルv1
048の単位球上への射影ベクトルP1048'と、ベクトルv10
49の単位球上への射影ベクトルQ1049'との距離PQは、元
の距離vv'に比べて非常に近づく。二つの異なるスリッ
ト画像の関係が、単なる照度差の違いか構造変化の違い
かは、単位球上でのベクトル距離が非常に小さいかどう
かで判定できるということである。以降、この正規化さ
れたベクトル間の距離を、式1060で定義される距離と区
別するために、正規化距離と呼ぶこととする。本発明で
は、この正規化距離を利用して、背景の変化が構造変化
によるものか照度変化によるものかを判別する。
【００３２】図１１に、背景候補真偽判定手段730のフ
ローチャートを示す。まず、背景候補区間判定手段720
から背景候補区間1071を取得する（ステップ2101）。次
に、背景候補区間1071の平滑化時系列から平均値を取得
する（ステップ2102）。平均値があらかじめ決めておい
た閾値よりも小さい場合には、与えられた背景候補区間
1071を真の背景候補区間1073と判定し、ステップ2104に
進む。大きい場合には、偽の背景候補区間1074と判定
し、ステップ2105に進む（ステップ2103）。ステップ21
04の場合、背景候補区間1071は真の背景候補区間1073で
あり、最新スリットを新しい背景スリット1041として、
背景スリット保持手段702に格納し、処理を終了する
（ステップ2105）。ステップ2105の場合、背景候補区間
1071は偽の背景候補区間1074であり、背景構造判定手段
705で照度変化によるものか構造変化によるものかを判
定し、処理を終了する（ステップ2105）。
【００３３】図１２に、背景構造変化判定手段750のフ
ローチャートを示す。まず、偽の背景候補区間1074と判
定された原因が、照度変化によるものかどうかを判定す
るため、背景スリット1041と、平滑化時系列内の最新の
対象スリット1042との正規化距離を求める（ステップ22
01）。正規化距離があらかじめ決めておいた閾値よりも
小さい場合には、照度変化と判定してステップ2203に進
む。大きい場合には、構造変化と判定してステップ2204
に進む。（ステップ2202）。ステップ2203の場合、背景
候補区間1071は照度変化に起因する、偽の背景候補区間
1074である。平滑化時系列内の値をゼロにし、対象スリ
ット1042を新しい背景スリット1041として、背景スリッ
ト保持手段702に格納し、処理を終了する。ステップ220
4の場合、背景候補区間1071は構造変化に起因する偽の
背景候補区間1074である。この場合、最新の対象スリッ
ト1042を新しい背景スリット1041として背景スリット保
持手段702に格納し、平滑化時系列の全ての値をゼロに
して処理を終了する。
【００３４】次に、移動物体のみを抽出する方法とその
運動方向や速度を算出する方法について説明する。図１
３は、時空間画像から背景変化部分と移動物体領域を分
離・判別して、移動物体のみを抽出する方法の概要を説
明するものである。図１４,図１５は、その運動方向や
速度を算出する方法の概要を説明するものである。図１
５〜図１９はこれらを実現する運動解析手段を説明する
ものである。
【００３５】図１３は、時空間画像1050から背景変化部
分と移動物体領域を分離・判別して、移動物体のみを抽
出する方法の概要を示したものである。まず、移動体区
間情報1001を元に、時空間画像1050から、移動体が存在
すると考えられる区間の時空間画像1053を切り出すと共
に、過去の背景スリット1041、未来の背景スリット104
1'を取得する。次に、過去背景スリット1041と時空間画
像1053から過去背景差分画像1054を、未来背景スリット
1041'と時空間画像1053から未来背景差分画像1055を作
成する。この背景差分画像では、移動体領域1102の他
に、背景スリット1041と背景構造変化との差分領域1202
などが含まれる。最後に、過去背景差分画像1054と未来
背景差分画像1055の論理積を求めて、移動体領域1102を
抽出する。これにより、背景構造変化との差分領域1202
がキャンセルされて、共通の領域である移動体領域1102
のみを抽出できる。
【００３６】図１４は、映像中の移動物体の運動を解析
するためのスリット設定法と、これによって得られる時
空間画像1050から抽出した移動体1101の運動方向・速度
1003を算出する方式の概要を示したものである。一般
に、移動体の運動方向に対して、直角または平行ではな
い斜め方向にスリット1030を設定すると、これから得ら
れる時空間画像1050では図１４のように移動物体1101が
前方または後方に傾く。これは、スリット1030に対し
て、移動物体1101の上方あるいは下方の辺が、反対側の
辺よりも先にスリット1030に到達するためである。これ
により、一本のスリットだけでも、傾き1210の正負か
ら、移動物体が左右どちらから移動してきたかを決定で
きる。さらに、傾き1210の大きさから、スリット1030を
横切る際の平均的な速度を算出できる。本発明では、こ
れを利用して、移動体1101の運動方向・速度1003を算出
する。運動解析手段800では、斜め方向に設定したスリ
ット1030より得られる時空間画像1050から、移動体領域
1201を抽出したのち、その傾き1210を領域のモーメント
より算出して、移動方向と速度1003を推定する。
【００３７】図１５は、スリット1030の傾きと移動体11
01の傾き1210から、抽出した移動体1101の運動方向・速
度1003を算出する原理を説明したものである。まず、映
像1010上に設定したスリット1030の水平方向からの傾き
をαとする。このスリット1030に対して、水平方向の速
度がvである移動体1100が右から通過したとする。移動
体1100の高さをｈとし、移動体1100の上方部分がスリッ
トを通過してから、下方部分がスリットを通過するまで
に、画面上をw移動したとすると、水平方向の移動速度v
は式1610で表される。次に、時空間画像1050中での、こ
の移動物体の像の1101の傾きがθとする。一秒あたりの
フレーム画像枚数がfである時、フレーム画像中でw移動
するのにかかったフレーム数sは式1620で記述される。
式1610, 1620から、vについて整理すると、式1630が得
られる。vの正負が方向を表し、絶対値は水平方向の速
度成分の大きさを表す。本発明では、以上の原理によ
り、スリット1030の傾きと時空間画像1050中での移動体
1100の像の1101の傾きとから、運動方向・速度1003を算
出する。
【００３８】図１６は、上記方法を実現する運動解析手
段800の構成（データフロー）を示したものである。運
動解析手段800は、時空間画像作成手段801、背景スリッ
ト取得手段802、背景差分作成手段810、背景差分統合手
段803、統合背景差分傾き判定手段820を有する。
【００３９】時空間画像作成手段801、背景スリット取
得手段802、背景差分作成手段810、背景差分統合手段80
3は、図１３で説明した、時空間画像1050から背景変化
部分1202と移動物体領域1102を分離・判別して、移動物
体1101のみを抽出する方法を実現する。時空間画像作成
手段801は、デジタル画像データ1000と移動体区間情報1
001から、スリット画像を取得し、これをフレーム順に
並べて、移動体1101が存在する区間の時空間画像1053を
作成する。背景差分作成手段810、810'からの要求に応
じて、時空間画像1050を伝送する。背景スリット取得手
段802は、デジタル画像データ1000と移動体区間情報100
1により、移動体1101が存在する区間の前後から、過去
背景スリット1041と未来背景スリット1041'を取得す
る。背景差分作成手段810、810'は、時空間画像1053と
過去背景スリット1041・未来背景スリット1041から、過
去背景差分1054・未来背景差分1055を作成する。背景差
分作成アルゴリズムの詳細については、図１７で詳細に
説明する。背景差分統合手段803は、作成された過去背
景差分1054と未来背景差分1055の論理積から統合背景差
分1056を作成する。以上の処理によって、移動体1101の
みが抽出される。
【００４０】統合背景差分傾き判定手段820は、図１３,
図１４で説明したスリット1030の傾きと移動体の傾き12
10から、抽出した移動体の運動方向・速度1003を算出す
る方式を実現する。
【００４１】図１７は、過去背景・未来背景を用いて背
景差分を作成する手段810の構成（データフロー）を示
したものである。背景差分作成手段810は、移動体領域
分離手段811、移動体領域伸張収縮手段812、ノイズ領域
除去手段813、閉領域補充手段814を有する。移動体領域
分離手段811は、背景スリット画像1041と対象スリット
画像1042、または背景フレーム画像と対象フレーム画像
から、移動体領域1201のみを二値化して分離・抽出す
る。分離・抽出アルゴリズムの詳細については、図１
８,図１９で説明する。次に、移動体が一定以上の大き
さを持つ一つの閉領域であるという仮定に基づいて、移
動体領域伸張収縮手段812、ノイズ領域除去手段813、閉
領域補充手段814は、移動体領域分離手段911で生じた移
動体領域の破れや分断を修正する。移動体領域伸張収縮
手段812は、破れや分断の生じた移動体領域1201を、伸
張収縮を行うことによって接続する。伸張収縮の回数は
３回程度である。ノイズ領域除去手段813は、伸張収縮
を行った移動体領域1201から独立した微小領域をノイズ
とみなして取り除く。閉領域補充手段814は、上記移動
体領域1201に含まれる空孔を探し、これを塗りつぶす。
以上の処理によって、移動体1200を移動体領域1201とし
て切り出し、背景差分画像を作成する。背景構造の変化
を切り出す場合には、対象画像の代わりに、変化後の背
景画像を用いて、上記の処理を行うことによって、これ
を切り出すことができる。
【００４２】図１８は、移動体領域分離手段810の概要
を説明するものである。まず、背景スリット1041と、移
動体領域を切り出そうとする対象スリット1042を取得す
る。次に、背景スリット1041と対象スリット1042を一画
素づつ比較しながら、背景か移動体かを判定していく。
比較の方法としては、該当する画素の明るさではなく、
該当画素を含むw個の画素から成る局所スリットを作成
して、局所スリット間の正規化距離を求めることによ
り、判定する。例えば、判定対象画素Pn1045が、背景か
移動体かを判定する場合、対象画素Pn1045を含む局所ス
リットτ1:1044とこれに対応する背景局所スリットβ1:
1043を作成して、両者の正規化距離を求める。正規化距
離を用いているので、背景の一部分が移動する物体の影
やライトによって照度変化が生じていても、正しく背景
と判定してこれを取り除くことができる。但し、背景局
所スリット1043の各画素値の分散が小さい場合には、通
常のベクトル距離を用いる。これは、真っ暗な背景上を
真っ白い物体が移動する場合でも、正規化距離はゼロに
なり、背景と間違えることがあるからである。
【００４３】図１９は、移動体領域分離手段810のフロ
ーチャートを示したものである。まず、判定を行う対象
スリット1042を映像1010から取得する（ステップ230
1）。次に、判定処理が全スリット画素で行われたかど
うかチェックし、未処理の画素があれば、ステップ2303
に進み、なければ、処理を終了する（ステップ2302）。
背景スリット1041及び対象スリット1042から、上から順
に2つの局所スリット1043,1044を取得する（ステップ23
03、ステップ2304）。背景局所スリット1043の分散を求
め、あらかじめ決めておいた閾値TVと比較する。小さい
場合にはステップ2306に進み、大き場合にはステップ23
07に進む（ステップ2305）。ここでは、二つの局所スリ
ット1043,1044間の距離として、正規化距離を求める
（ステップ2306）。ここでは、二つの局所スリット104
3,1044間の距離として、ベクトル距離を求める（ステッ
プ2307）。こうして求めた二つの局所スリットの距離
を、あらかじめ決めておいた閾値TDと比較する。小さい
場合にはステップ2309に進み、大き場合にはステップ23
10に進む（ステップ2308）。小さいと判定された場合、
判定対象となる画素は背景であり（ステップ2309）、大
きいと判定された場合、判定対象となる画素は非背景で
ある（ステップ2310）。以上の処理をステップ2302に戻
って繰り返す。
【００４４】図２０,図２１はフレーム画像に対し、背
景変化部分と移動物体領域とを分離・判別して、移動物
体と背景変化を抽出する方法を説明するものである。
【００４５】図２０に、フレーム画像に対し、背景変化
部分と移動物体領域とを分離・判別して、移動物体のみ
を抽出する方法の概要を示す。まず、過去の背景画像18
01と未来の背景画像1803及び現在のフレーム画像1802を
取得する。ここで、現在のフレーム画像1802には移動体
1804と落下物1805が映っており、未来の背景画像1803に
は落下物1805に加えて別の落下物1806が映っていたもの
とする。次に、過去の背景画像1801と現在のフレーム画
像1802の過去背景差分1807と、未来の背景画像1803と現
在のフレーム画像1802の未来背景差分1808を作成する。
過去背景差分1807には、移動体領域1809と落下物による
背景変化領域1810が現れる。また、未来背景差分1808に
は、移動体領域1809と落下物1806による背景変化領域18
11が現れる。過去背景差分1807と未来背景差分1808の統
合差分1812を論理積によって求めると、背景変化領域18
10,1811は打ち消され、移動体領域1809のみが残る。最
後に、統合差分1812をマスク画像としてフレーム画像18
02から、切り出しを行うと移動体1804のみを含む移動体
画像1813を得ることができる。
【００４６】図２１は、フレーム画像に対し、背景変化
部分と移動物体領域とを分離・判別して、背景変化のみ
を抽出する方法の概要を示す。まず、過去の背景画像18
01と未来の背景画像1803を取得する。ここで、未来の背
景画像1803に,落下物1805と落下物1806が映っていたも
のとする。次に、過去の背景画像1801と未来の背景画像
1803の背景間差分1901を作成する。背景間差分1901に
は、落下物1805による背景変化領域1810と落下物1806に
よる背景変化領域1811が現れる。最後に、統合差分1901
をマスク画像として未来の背景画像1803から、切り出し
を行うと落下物1805と落下物1806のみを含む背景構造変
化画像1902を得ることができる。
【００４７】図２２は、上記方法を実現する移動体抽出
手段900の構成（データフロー）を示したものである。
移動体抽出手段900は、フレーム画像取得手段901、背景
画像作成手段902、背景差分作成手段910・910'、背景差
分統合手段903、移動体切り出し手段904を有する。これ
らの手段は図１９で説明した、背景変化部分と移動物体
領域とを分離・判別して、移動物体のみを抽出する方法
を実現する。フレーム画像取得手段901は、移動体区間
情報1001とデジタル画像データ1000から、移動体1100が
存在すると思われる時間区間のフレーム画像1802を取得
し、これを背景差分作成手段910・910'に伝送する。背
景画像作成手段902は、移動体区間情報1001とデジタル
画像データ1000から、背景と判定された時間区間のフレ
ーム画像を取得し、過去背景画像1801と未来背景画像18
03として、背景差分作成手段910・910'に伝送する。背
景差分作成手段910・910'は、フレーム画像上の全面に
対して、図１５で説明した背景差分作成手段810、810'
の処理を繰り返し行い、フレーム画像の過去背景差分18
07と未来背景差分1808を作成する。背景差分統合手段90
3は、フレーム画像の過去背景差分1807と未来背景差分1
808の論理積から統合背景差分1812を作成し、移動体切
り出し手段904に伝送する。移動体切り出し手段904は、
フレーム画像1802から統合背景差分1812をマスク画像と
して切り出しを行い、移動体画像1804を抽出する。
【００４８】図２３は、結果出力手段600によりディス
プレイ300上に出力された結果表示画面2000の例を示し
たものである。結果表示画面例2000は、入力映像表示領
域2010、背景変化代表画面表示領域2020、移動物体代表
画面表示領域2030、相関値時系列表示領域2040の４つの
表示領域から構成される。
【００４９】この表示結果例では、図２３のように、ス
リット1030を映像1010中の真ん中に縦置きにし、これを
通過した移動物体の代表画面2032と背景に生じた変化の
代表画面2022、2033を背景変化代表画面表示領域2020、
移動物体代表画面表示領域2030にそれぞれ表示する。ま
た、スリットの相関値の時系列（距離時系列1070）を相
関値時系列表示領域2040に表示し、移動物体の存在と背
景変化を判定する根拠をユーザに示す。入力映像表示領
域2010は、TVカメラ200から入力される現在の映像1010
を表示する部分である。
【００５０】背景変化代表画面表示領域2020は、映像10
10中に生じた背景の構造変化を検出し、変化前の背景代
表画面2022と変化後の背景代表画面2023を表示する部分
である。検出された背景構造の変化は、その違いをユー
ザが判断できるように、背景変化表示ウインドウ2021中
に変化前の背景代表画面2022と変化後の背景代表画面20
23を上下組として表示する。この画面例では、背景変化
として乗用車の駐車、トラックによる落下物などがあっ
たことを示している。背景変化表示ウインドウ2021に
は、スクロールバーがついており、今までに検出された
背景構造の変化を見ることができるようになっている。
また、このとき、最新の代表画面の組がどれかがすぐ分
かるように、マーカー2024がつけられる。
【００５１】移動物体代表画面表示領域2030は、映像10
10中の移動物体を検出し、移動物体の映った代表画面20
32を表示する部分である。検出された移動物体は、ユー
ザが判断できるように、移動物体代表画面表示ウインド
ウ2031中に表示される。この画面例では、移動物体とし
て、バイク、黒い乗用車、白い乗用車、灰色の乗用車、
トラックなどがあったことを示している。移動物体代表
画面表示ウインドウ2031には、スクロールバーがついて
おり、今までに検出された移動物体の代表画面を見るこ
とができるようになっている。また、このとき、最新の
移動物体がどれかがすぐ分かるように、マーカー2033が
つけられる。
【００５２】相関値時系列表示領域2040は、スリット10
30から得られた時空間画像1050と、対応する時刻の相関
値（距離）の時系列1070を同時に表示する部分である。
時空間画像1050、距離時系列1070の最新時刻の画素、グ
ラフ値が相関値時系列表示ウインドウ2041の右端に常に
表示されるようになっている。また、このほかに移動物
体検出時の時空間画像上の位置を示す移動物体検出マー
カー2042や、背景変化検出時の時空間画像上の位置を表
す背景変化検出マーカー2043が同時に表示され、ユーザ
に検出の根拠が一目で分かるようになっている。
【００５３】本実施例では、映像1010上の着目領域の一
例としてスリット1030を用いた。しかし、背景判定手段
700や移動体抽出手段900での処理については、スリット
1030と別の形状であっても、複数個の隣接した画素の集
合体であれば、本質的に同じ動作を行う。
【００５４】本発明の別の実施例として、着目領域の形
状が矩形状であったり、円形状であったり、同心円など
が考えられる。例えば、家庭やオフィスの玄関にとりつ
けたTVカメラから得た十数時間分の映像に対し、フレー
ム画像全体の相関値時系列で判定を行い、訪問者や配達
された荷物の代表画像を一覧として取り出すことが考え
られる。
【００５５】本発明は、道路における交通流の計測や、
線路・踏切における異常検知、銀行や小売店における犯
罪防止にための監視、家庭やオフィスにおける監視や認
証などへの適用を考慮してきた。しかし、適用分野とし
てこれに限られるものではなく、各種の検査装置の他、
広く適用が可能である。
【００５６】
【発明の効果】本発明によれば、照明条件の変化や構造
的変化が生じるような複雑背景下であっても、背景と移
動体を判別し、移動体のみを検出・抽出できる。抽出さ
れる移動体については、その形状や色彩、運動方向や速
度になんら制限を持たない。また、運動の方向や速度に
ついても算出できる。背景の変化が生じた場合には、そ
の変化が構造変化であるか照明条件変化であるかを判定
する事ができる。加えて、従来の移動物体抽出方式に比
べて、処理対象が映像中の数%の画素で済むため、十倍
以上高速に処理することができる。結果として、メモリ
の使用量についても同様に数％に低減することが可能で
ある。このため、パーソナルコンピュータなどの安価な
コンピュータでも実時間処理が可能である。
【図面の簡単な説明】
【図１】本発明を実現するハードウエア構成を示すもの
である。
【図２】本発明を実現するシステム構成を示すものであ
る。
【図３】映像とスリット画像、時空間画像の関係を示し
たものである。
【図４】背景スリット1041と各時刻における対象スリッ
ト1042との距離の関係を示したものである。
【図５】背景の構造変化が発生した場合の時空間画像10
50と距離時系列を示したものである。
【図６】背景判定手段700のデータフローを説明するも
のである。
【図７】背景候補区間判定手段720のフローチャートを
示すものである。
【図８】スリット画像1040に対する照度変化の影響を示
したものである。
【図９】スリット画像1040をベクトルと見なした場合
の、スリットベクトルに対する照度変化の影響を示した
ものである。
【図１０】通常のスリットベクトルと照度変化の影響を
受けたスリットベクトルとの単位球上へ射影を示すもの
である。
【図１１】背景候補真偽判定手段730のフローチャート
を示したものである。
【図１２】背景構造変化判定手段750のフローチャート
を示したものである。
【図１３】時空間画像1050から背景変化部分と移動物体
領域を分離・判別して、移動物体1100のみを抽出する方
法の概要を示したものである。
【図１４】映像1010中の移動物体1100の運動を解析する
ためのスリット設定法と、これによって得られる時空間
画像1050を示したものである。
【図１５】スリット1030の傾きと移動体の傾き1210か
ら、抽出した移動体の運動方向・速度1003を算出する方
式の概要を説明である。
【図１６】上記方法を実現する運動解析手段800のデー
タフローを示したものである。
【図１７】過去背景差分・未来背景差分を作成する手段
810のデータフローを示したものである。
【図１８】移動体領域分離手段811の概要を示したもの
である。
【図１９】移動体領域分離手段のフローチャートを示し
たものである。
【図２０】フレーム画像に対し、背景変化部分と移動物
体領域とを分離・判別して、移動物体のみを抽出する方
法の概要を示すものである。
【図２１】フレーム画像に対し、背景変化部分と移動物
体領域とを分離・判別して、背景変化のみを抽出する方
法の概要を示すものである。
【図２２】上記方法を実現する移動体抽出手段900のデ
ータフローを示したものである。
【図２３】結果出力手段600によりディスプレイ300上に
出力された結果表示画面の例を示したものである。
【図２４】従来の背景差分を用いた手法による移動体検
出・抽出の原理を示す。
【図２５】従来の背景差分を用いた手法による移動体検
出・抽出の問題点を示す。
【符号の説明】
200…TVカメラ，300…ディスプレイ，400…コンピュー
タ，201…映像信号，202…A/D変換器，203…CPU，204…
メモリ，205…補助記憶装置，206…ネットワーク装
置，，500…映像入力手段，600…結果出力手段，700…
背景判定手段，800…運動解析手段，900…移動体抽出手
段，701…スリット画像作成手段，702…背景スリット保
持手段，703…距離算出手段，704…距離時系列保持手
段，710…距離時系列平滑化手段，705…平滑化時系列保
持手段，720…背景候補区間判定手段，730…背景候補真
偽判定手段，740…移動体存在区間取得手段，706…背景
構造変化判定手段，801…時空間画像作成手段，802…背
景スリット取得手段，810…背景差分作成手段，803…背
景差分統合手段，820…統合背景差分傾き判定手段，901
…フレーム画像取得手段，902…背景画像作成手段，903
…背景差分統合手段，904…移動体画像切り出し手段，9
10…背景差分作成手段。

Claims (21)

    【特許請求の範囲】
  1. 【請求項１】映像を入力する手段と、 入力された映像から移動体を検出・抽出する手段と、 検出・抽出された結果を出力する手段とを有する移動体
    検出・抽出装置において、上記移動体を検出・抽出する
    手段に、 背景を判定する手段として、 入力された映像に対して背景判定を行う着目領域を設定
    する手段と、 ある特定のフレームにおける着目領域のデータと各フレ
    ームでの着目領域のデータとの相関を算出する手段と、 算出された少なくとも一つの相関値のパターンから、移
    動体が存在せず背景と予測される時間区間を判別する手
    段と、 判別された背景と予測される時間区間から、移動体が存
    在する時間区間を決定する手段と、を有することを特徴
    とする移動体検出・抽出装置。
  2. 【請求項２】請求項１記載の移動体検出・抽出装置にお
    いて、背景と予測される時間区間を判別する手段は、背
    景と予測される時間区間を判別する相関値のパターンと
    して、一定時間相関値が変化しないパターンを用いるこ
    とを特徴とする移動体検出・抽出装置。
  3. 【請求項３】請求項１記載の移動体検出・抽出装置にお
    いて、背景と予測される時間区間を判別する手段は、少
    なくとも一つの相関値のパターンから、照度変化または
    構造変化という背景の変化を関知して、相関を求めるあ
    る特定のフレームを変更することを特徴とする移動体検
    出・抽出装置。
  4. 【請求項４】請求項１記載の移動体検出・抽出装置にお
    いて、背景と予測される時間区間を判別する手段は、少
    なくとも一つの相関値のパターンから、背景の変化が、
    照度変化であるか構造変化を判別することを特徴とする
    移動体検出・抽出装置。
  5. 【請求項５】請求項１記載の移動体検出・抽出装置にお
    いて、ある特定のフレームにおける着目領域のデータと
    各フレームでの着目領域のデータとの相関を算出する手
    段は、相関値として、着目領域のデータをベクトルと見
    立てて、距離、内積、またはベクトル間のなす角度を用
    いることを特徴とする移動体検出・抽出装置。
  6. 【請求項６】請求項１記載の移動体検出・抽出装置にお
    いて、背景判定を行う着目領域の形状が直線または線分
    状であることを特徴とする移動体検出・抽出装置。
  7. 【請求項７】請求項１記載の移動体検出・抽出装置にお
    いて、背景判定を行う着目領域の形状が矩形状であるこ
    とを特徴とする移動体検出・抽出装置。
  8. 【請求項８】請求項１記載の移動体検出・抽出装置にお
    いて、上記移動体を検出・抽出する手段に、 移動体に運動を解析する手段として、 移動体が存在する時間区間をもとに、移動体を含むフレ
    ーム画像を取得し、移動体が存在する時間区間の前後に
    位置する、背景と予測される時間区間から、それぞれ二
    つの背景画像を取得する手段と、 フレーム画像とこの時間の前後に位置する背景画像か
    ら、二つの背景差分画像を作成する手段と、 ２つの背景差分画像から統合領域を求める手段と、 フレーム画像と統合領域から、移動体画像を切り出す手
    段とを有し、移動体画像を抽出することを特徴とする移
    動体検出・抽出装置。
  9. 【請求項９】請求項８記載の移動体検出・抽出装置にお
    いて、フレーム画像とこの時間の前後に位置する背景画
    像から、二つの背景差分画像を作成する手段で、着目領
    域の部分データをベクトルと見立てて、距離、内積、ま
    たはなす角度を用いて、背景差分を作成することを特徴
    とする移動体検出・抽出装置。
  10. 【請求項１０】請求項１記載の移動体検出・抽出装置に
    おいて、上記移動体を検出・抽出する手段に、 移動体を抽出する手段として、 移動体が存在する時間区間の時空間画像を切り出す手段
    と、 移動体が存在する時間区間の前後に位置する、二つの背
    景のみの画像領域と、時空間画像から移動体領域候補を
    分離する手段と、 得られた移動体領域候補に対し伸張収縮処理及び穴埋め
    処理により補正する手段と、 補正された背景差分画像から得られる、二つの移動体領
    域候補を統合した領域を求める手段と、 得られた統合領域の傾きを算出し、移動体の方向・速度
    を推定する手段を有することを特徴とする移動体検出・
    抽出装置。
  11. 【請求項１１】請求項１０記載の移動体検出・抽出装置
    において、補正された背景差分画像から得られる、二つ
    の移動体領域候補を統合した領域を求める手段で、二つ
    の領域画像の論理積を用いて領域を統合することを特徴
    とする移動体検出・抽出装置。
  12. 【請求項１２】請求項１記載の移動体検出・抽出装置に
    おいて、上記検出・抽出された結果を出力する手段に、
    入力された映像と、検出された移動体の代表画面、また
    は、検出された背景変化の代表画面を表示する手段を有
    することを特徴とする移動体検出・抽出装置。
  13. 【請求項１３】請求項１２記載の移動体検出・抽出装置
    において、背景変化が起きる前の代表画面と、背景変化
    が起きた後の代表画面を１つの組として表示することを
    特徴とする移動体検出・抽出装置。
  14. 【請求項１４】請求項１２記載の移動体検出・抽出装置
    において、移動体の代表画面を一覧表示することを特徴
    とする移動体検出・抽出装置。
  15. 【請求項１５】請求項１２記載の移動体検出・抽出装置
    において、上記検出・抽出された結果を出力する手段
    に、検出した移動体及び背景変化の根拠となる、相関値
    の時系列を同時に表示する手段を有することを特徴とす
    る移動体検出・抽出装置。
  16. 【請求項１６】請求項１５記載の移動体検出・抽出装置
    において、検出した移動体及び背景変化の根拠となる、
    ある特定のフレームにおける着目領域のデータと各フレ
    ームでの着目領域のデータとの相関値の時系列を同時に
    表示することを特徴とする移動体検出・抽出装置。
  17. 【請求項１７】請求項１５記載の移動体検出・抽出装置
    において、検出した移動体及び背景変化の根拠となる、
    各フレームでの着目領域の画素を時刻順に並べて得られ
    る画像を同時に表示することを特徴とする移動体検出・
    抽出装置。
  18. 【請求項１８】映像を入力する手段と、 入力された映像から移動体を検出・抽出する手段と、 検出・抽出された結果を出力する手段とを有する移動体
    検出・抽出装置において、上記移動体を検出・抽出する
    手段に、 背景を判定する手段として、 入力された映像に対して背景判定を行う着目領域を設定
    する手段（７０１）と、 ある特定のフレームにおける着目領域のデータと各フレ
    ームでの着目領域のデータと の相関を算出する手段
    と、 算出された少なくとも一つの相関値のパターンから、移
    動体が存在せず背景と予測される時間区間を判別する手
    段と、 判別された背景と予測される時間区間から、移動体が存
    在する時間区間を決定する手段とを有し、 移動体に運動を解析する手段として、 移動体が存在する時間区間をもとに、移動体を含むフレ
    ーム画像を取得し、移動体が 存在する時間区間の前後
    に位置する、背景と予測される時間区間から、それぞれ
    二つの背景画像を取得する手段と、 フレーム画像とこの時間の前後に位置する背景画像か
    ら、二つの背景差分画像を作成する手段と、 ２つの背景差分画像から統合領域を求める手段と、 フレーム画像と統合領域から、移動体画像を切り出す手
    段とを有し、 移動体を抽出する手段として、 移動体が存在する時間区間の時空間画像を切り出す手段
    と、 移動体が存在する時間区間の前後に位置する、二つの背
    景のみの画像領域と、時空間 画像から移動体領域候補
    を分離する手段と、 得られた移動体領域候補に対し伸張収縮処理及び穴埋め
    処理により補正する手段と、 補正された背景差分画像から得られる、二つの移動体領
    域候補を統合した領域を求める手段と、 得られた統合領域の傾きを算出し、移動体の方向・速度
    を推定する手段と、を有することを特徴とする移動体検
    出・抽出装置。
  19. 【請求項１９】入力された映像に対して背景判定を行う
    着目領域を設定し、 ある特定のフレームにおける着目領域のデータと各フレ
    ームでの着目領域のデータとの相関を算出し、 算出された少なくとも一つの相関値のパターンから、移
    動体が存在せず背景と予測される時間区間を判別し、 判別された背景と予測される時間区間から、移動体が存
    在する時間区間を決定することを特徴とする移動体検出
    ・抽出方法。
  20. 【請求項２０】請求項１９記載の移動体検出・抽出方法
    において、 移動体が存在する時間区間をもとに、移動体を含むフレ
    ーム画像を取得し、移動体が存在する時間区間の前後に
    位置する、背景と予測される時間区間から、それぞれ二
    つの背景画像を取得し、 フレーム画像とこの時間の前後に位置する背景画像か
    ら、二つの背景差分画像を作成し、 ２つの背景差分画像から統合領域を求め、 フレーム画像と統合領域から、移動体画像を切り出し、
    移動体画像を抽出することを特徴とする移動体検出・抽
    出方法。
  21. 【請求項２１】請求項２０記載の移動体検出・抽出方法
    において、 移動体が存在する時間区間の時空間画像を切り出し、 移動体が存在する時間区間の前後に位置する、二つの背
    景のみの画像領域と、時空間画像から移動体領域候補を
    分離し、 得られた移動体領域候補に対し伸張収縮処理及び穴埋め
    処理により補正し、 補正された背景差分画像から得られる、二つの移動体領
    域候補を統合した領域を求め、 得られた統合領域の傾きを算出し、移動体の方向・速度
    を推定することを特徴とする移動体検出・抽出方法。
JP02909995A 1995-02-17 1995-02-17 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム Expired - Fee Related JP3569992B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP02909995A JP3569992B2 (ja) 1995-02-17 1995-02-17 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム
US08/601,951 US5721692A (en) 1995-02-17 1996-02-15 Moving object detection apparatus
US09/023,467 US5862508A (en) 1995-02-17 1998-02-13 Moving object detection apparatus
US09/946,528 US20020030739A1 (en) 1995-02-17 2001-09-06 Moving object detection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02909995A JP3569992B2 (ja) 1995-02-17 1995-02-17 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム

Publications (2)

Publication Number Publication Date
JPH08221577A true JPH08221577A (ja) 1996-08-30
JP3569992B2 JP3569992B2 (ja) 2004-09-29

Family

ID=12266908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02909995A Expired - Fee Related JP3569992B2 (ja) 1995-02-17 1995-02-17 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム

Country Status (2)

Country Link
US (3) US5721692A (ja)
JP (1) JP3569992B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11120363A (ja) * 1997-10-09 1999-04-30 Matsushita Electric Ind Co Ltd 動物体検出方法
US6005493A (en) * 1996-09-20 1999-12-21 Hitachi, Ltd. Method of displaying moving object for enabling identification of its moving route display system using the same, and program recording medium therefor
JP2002109547A (ja) * 2000-09-27 2002-04-12 Hitachi Ltd 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体
EP0913799A3 (en) * 1997-10-31 2004-07-21 Hitachi, Ltd. Mobile object detection apparatus and method
JP2007018324A (ja) * 2005-07-08 2007-01-25 Central Res Inst Of Electric Power Ind 画像処理による侵入物体検出装置および方法およびプログラム
JP2008008640A (ja) * 2006-06-27 2008-01-17 Hcx:Kk 移動体検出装置
JP2009048430A (ja) * 2007-08-20 2009-03-05 Kozo Keikaku Engineering Inc 顧客動作分析装置、顧客動作判定システム、及び顧客購買行動分析システム
JP2009157492A (ja) * 2007-12-25 2009-07-16 Sumitomo Electric Ind Ltd 車両検出装置、車両検出システム及び車両検出方法
US7777780B2 (en) 2003-09-03 2010-08-17 Canon Kabushiki Kaisha Image motion display method and apparatus
JP2012053708A (ja) * 2010-09-01 2012-03-15 Toshiba Tec Corp 店舗システム、売上登録装置及びプログラム
CN116563522A (zh) * 2023-04-12 2023-08-08 深圳市菲普莱体育发展有限公司 一种物体落地点检测方法及装置

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948442B2 (en) * 1982-06-18 2015-02-03 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
JP3569992B2 (ja) * 1995-02-17 2004-09-29 株式会社日立製作所 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム
US5969755A (en) * 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
WO2004089486A1 (ja) 1996-06-21 2004-10-21 Kyota Tanaka 3次元ゲーム装置及び情報記憶媒体
CN1131495C (zh) * 1996-08-29 2003-12-17 三洋电机株式会社 特征信息赋予方法及装置
WO1998034195A1 (en) * 1997-01-30 1998-08-06 Yissum Research Development Company Of The Hebrew University Of Jerusalem Generalized panoramic mosaic
US5936639A (en) * 1997-02-27 1999-08-10 Mitsubishi Electric Information Technology Center America, Inc. System for determining motion control of particles
US6130707A (en) * 1997-04-14 2000-10-10 Philips Electronics N.A. Corp. Video motion detector with global insensitivity
US5903271A (en) * 1997-05-23 1999-05-11 International Business Machines Corporation Facilitating viewer interaction with three-dimensional objects and two-dimensional images in virtual three-dimensional workspace by drag and drop technique
KR100246626B1 (ko) * 1997-10-16 2000-03-15 정선종 모포로지컬 영상분할을 위한 시공간 결합 마커추출 방법
US6177944B1 (en) * 1998-09-18 2001-01-23 International Business Machines Corporation Two phase rendering for computer graphics
US6278460B1 (en) 1998-12-15 2001-08-21 Point Cloud, Inc. Creating a three-dimensional model from two-dimensional images
JP3721867B2 (ja) * 1999-07-07 2005-11-30 日本電気株式会社 映像表示装置及び表示方法
JP2001078017A (ja) * 1999-09-07 2001-03-23 Dainippon Printing Co Ltd 画像処理システム
US6424370B1 (en) * 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
JP3601392B2 (ja) * 1999-12-27 2004-12-15 住友電気工業株式会社 画像処理装置、画像処理方法及び車両監視システム
US7215795B2 (en) * 2000-09-28 2007-05-08 Hitachi Kokusai Electric Inc. Intruding object detecting method and intruding object monitoring apparatus employing the method
DE10050083A1 (de) * 2000-10-10 2002-04-18 Sick Ag Vorrichtung und Verfahren zur Erfassung von Objekten
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US20050162515A1 (en) * 2000-10-24 2005-07-28 Objectvideo, Inc. Video surveillance system
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US6711279B1 (en) * 2000-11-17 2004-03-23 Honeywell International Inc. Object detection
US7200246B2 (en) * 2000-11-17 2007-04-03 Honeywell International Inc. Object detection
US6466158B2 (en) 2000-12-08 2002-10-15 Lockheed Martin Corp. Identifying closely clustered moving targets
KR100450793B1 (ko) * 2001-01-20 2004-10-01 삼성전자주식회사 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
KR100355382B1 (ko) * 2001-01-20 2002-10-12 삼성전자 주식회사 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법
US7405801B2 (en) * 2001-01-23 2008-07-29 Kenneth Jacobs System and method for Pulfrich Filter Spectacles
US7850304B2 (en) * 2001-01-23 2010-12-14 Kenneth Martin Jacobs Continuous adjustable 3Deeps filter spectacles for optimized 3Deeps stereoscopic viewing and its control method and means
US7508485B2 (en) * 2001-01-23 2009-03-24 Kenneth Martin Jacobs System and method for controlling 3D viewing spectacles
US9781408B1 (en) 2001-01-23 2017-10-03 Visual Effect Innovations, Llc Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials
US10742965B2 (en) * 2001-01-23 2020-08-11 Visual Effect Innovations, Llc Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials
US8750382B2 (en) 2001-01-23 2014-06-10 Kenneth Martin Jacobs System and method for calculating 3Deeps action specs motion estimation from the motion vectors in an MPEG file
US7522257B2 (en) * 2001-01-23 2009-04-21 Kenneth Jacobs System and method for a 3-D phenomenoscope
US7604348B2 (en) 2001-01-23 2009-10-20 Kenneth Martin Jacobs Continuous adjustable 3deeps filter spectacles for optimized 3deeps stereoscopic viewing and its control method and means
US6891570B2 (en) * 2001-01-31 2005-05-10 Itt Manufacturing Enterprises Inc. Method and adaptively deriving exposure time and frame rate from image motion
US6778705B2 (en) * 2001-02-27 2004-08-17 Koninklijke Philips Electronics N.V. Classification of objects through model ensembles
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
EP1397144A4 (en) 2001-05-15 2005-02-16 Psychogenics Inc SYSTEMS AND METHODS FOR MONITORING BEHAVIOR INFORMATION
US7162101B2 (en) * 2001-11-15 2007-01-09 Canon Kabushiki Kaisha Image processing apparatus and method
US6697010B1 (en) * 2002-04-23 2004-02-24 Lockheed Martin Corporation System and method for moving target detection
MXPA02005732A (es) * 2002-06-10 2004-12-13 Valencia Reuther Herman Tarjeta inteligente medidora de tiempo.
WO2004008403A2 (en) * 2002-07-15 2004-01-22 Magna B.S.P. Ltd. Method and apparatus for implementing multipurpose monitoring system
CN100334598C (zh) * 2002-11-26 2007-08-29 东芝照明技术株式会社 卖场计划支持系统
JP3947973B2 (ja) * 2003-02-14 2007-07-25 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
PL359194A1 (en) * 2003-03-17 2004-09-20 Adam Mazurek Method and system for analysis and identification of moving objects
US7280673B2 (en) * 2003-10-10 2007-10-09 Intellivid Corporation System and method for searching for changes in surveillance video
US7664292B2 (en) * 2003-12-03 2010-02-16 Safehouse International, Inc. Monitoring an output from a camera
US7428318B1 (en) * 2003-12-11 2008-09-23 Motion Reality, Inc. Method for capturing, measuring and analyzing motion
DE102004018410A1 (de) * 2004-04-16 2005-11-03 Robert Bosch Gmbh Sicherheitssystem und Verfahren zu dessen Betrieb
JP4506308B2 (ja) * 2004-07-02 2010-07-21 三菱電機株式会社 画像処理装置及び該画像処理装置を用いた画像監視システム
US7653261B2 (en) * 2004-11-12 2010-01-26 Microsoft Corporation Image tapestry
US7529429B2 (en) 2004-11-12 2009-05-05 Carsten Rother Auto collage
US7532771B2 (en) * 2004-11-12 2009-05-12 Microsoft Corporation Image processing system for digital collage
JP2006165935A (ja) * 2004-12-07 2006-06-22 Nec Corp 制御情報の変換装置及び制御情報の変換方法
US8031226B2 (en) * 2005-03-01 2011-10-04 Fujifilm Corporation Image output apparatus, image output method, image output program, image trimming apparatus, image trimming method, and image trimming program
WO2006106496A1 (en) * 2005-04-03 2006-10-12 Nice Systems Ltd. Apparatus and methods for the semi-automatic tracking and examining of an object or an event in a monitored site
US9077882B2 (en) 2005-04-05 2015-07-07 Honeywell International Inc. Relevant image detection in a camera, recorder, or video streaming device
KR101392294B1 (ko) * 2006-04-17 2014-05-27 오브젝트비디오 인코퍼레이티드 통계적인 픽셀 모델링을 이용한 비디오 분할
US20080122926A1 (en) * 2006-08-14 2008-05-29 Fuji Xerox Co., Ltd. System and method for process segmentation using motion detection
US8264544B1 (en) * 2006-11-03 2012-09-11 Keystream Corporation Automated content insertion into video scene
US8045783B2 (en) * 2006-11-09 2011-10-25 Drvision Technologies Llc Method for moving cell detection from temporal image sequence model estimation
US8243805B2 (en) * 2006-11-14 2012-08-14 Microsoft Corporation Video completion by motion field transfer
JP4821642B2 (ja) * 2007-02-15 2011-11-24 株式会社ニコン 画像処理方法、画像処理装置、ディジタルカメラ及び画像処理プログラム
TWI355615B (en) * 2007-05-11 2012-01-01 Ind Tech Res Inst Moving object detection apparatus and method by us
US20080310677A1 (en) * 2007-06-18 2008-12-18 Weismuller Thomas P Object detection system and method incorporating background clutter removal
JP4513869B2 (ja) 2008-02-13 2010-07-28 カシオ計算機株式会社 撮像装置、ストロボ画像生成方法、および、プログラム
JP2009194595A (ja) * 2008-02-14 2009-08-27 Sony Corp 放送システム、送信装置、送信方法、受信装置、受信方法、提示装置、提示方法、プログラム、及び記録媒体
JP2010011016A (ja) * 2008-06-26 2010-01-14 Sony Corp 追尾点検出装置および方法、プログラム、並びに記録媒体
JP5272890B2 (ja) * 2009-05-21 2013-08-28 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8218818B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object tracking
JP6024229B2 (ja) * 2012-06-14 2016-11-09 富士通株式会社 監視装置、監視方法、及びプログラム
US10115431B2 (en) * 2013-03-26 2018-10-30 Sony Corporation Image processing device and image processing method
FR3007878B1 (fr) * 2013-06-27 2016-10-21 Rizze Dispositif permettant a un systeme de video surveillance routier d'enregistrer le contexte d'un evenement en fonction de la presence d'un vehicule dans le champ de vision de la camera
JP6157242B2 (ja) * 2013-06-28 2017-07-05 キヤノン株式会社 画像処理装置及び画像処理方法
FR3010220A1 (fr) * 2013-09-03 2015-03-06 Rizze Systeme de recensement des vehicules par le cloud
US10664496B2 (en) * 2014-06-18 2020-05-26 Hitachi, Ltd. Computer system
US10372977B2 (en) * 2015-07-09 2019-08-06 Analog Devices Gloval Unlimited Company Video processing for human occupancy detection
US20170164267A1 (en) * 2015-12-03 2017-06-08 The Trustees Of Columbia University In The City Of New York Apparatus to inhibit misuse of an electrically powered device
US10729124B2 (en) 2016-01-04 2020-08-04 The Trustees Of Columbia University In The City Of New York Apparatus to effect an optical barrier to pests
KR102153607B1 (ko) * 2016-01-22 2020-09-08 삼성전자주식회사 영상에서의 전경 검출 장치 및 방법
US10410371B2 (en) 2017-12-21 2019-09-10 The Boeing Company Cluttered background removal from imagery for object detection
US11436839B2 (en) 2018-11-02 2022-09-06 Toyota Research Institute, Inc. Systems and methods of detecting moving obstacles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0429472A (ja) * 1990-05-23 1992-01-31 Matsushita Electric Ind Co Ltd 画像の動き検出装置
JPH04120682A (ja) * 1990-09-12 1992-04-21 Nippon Telegr & Teleph Corp <Ntt> 移動体の計数装置
JPH0589242A (ja) * 1991-09-26 1993-04-09 Nippon Telegr & Teleph Corp <Ntt> 画像の物体領域切り出し装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5134472A (en) * 1989-02-08 1992-07-28 Kabushiki Kaisha Toshiba Moving object detection apparatus and method
JP2953712B2 (ja) * 1989-09-27 1999-09-27 株式会社東芝 移動物体検知装置
US5099322A (en) * 1990-02-27 1992-03-24 Texas Instruments Incorporated Scene change detection system and method
US5243418A (en) * 1990-11-27 1993-09-07 Kabushiki Kaisha Toshiba Display monitoring system for detecting and tracking an intruder in a monitor area
JPH0554276A (ja) * 1991-08-23 1993-03-05 Matsushita Electric Ind Co Ltd 障害物検出装置
JPH0554085A (ja) * 1991-08-28 1993-03-05 Fuji Xerox Co Ltd 動画像検索支援装置
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion
US5500904A (en) * 1992-04-22 1996-03-19 Texas Instruments Incorporated System and method for indicating a change between images
JPH08510373A (ja) * 1993-05-14 1996-10-29 アールシーティー・システムズ・インコーポレーテッド 商店等におけるビデオ通行モニタ装置
EP0633546B1 (en) * 1993-07-02 2003-08-27 Siemens Corporate Research, Inc. Background recovery in monocular vision
JP3123587B2 (ja) * 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
US5802361A (en) * 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
JP3468877B2 (ja) * 1994-10-27 2003-11-17 矢崎総業株式会社 植物の自動診断方法及び装置
US5805733A (en) * 1994-12-12 1998-09-08 Apple Computer, Inc. Method and system for detecting scenes and summarizing video sequences
JP3569992B2 (ja) * 1995-02-17 2004-09-29 株式会社日立製作所 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム
JP3454396B2 (ja) * 1995-10-11 2003-10-06 株式会社日立製作所 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム
DE69738287T2 (de) * 1996-09-20 2008-06-12 Hitachi, Ltd. Verfahren zum Anzeigen eines sich bewegenden Objekts, dessen Bahn zu identifizieren ist, Anzeigesystem unter Verwendung dieses Verfahrens und Programmaufzeichnungsmedium dafür

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0429472A (ja) * 1990-05-23 1992-01-31 Matsushita Electric Ind Co Ltd 画像の動き検出装置
JPH04120682A (ja) * 1990-09-12 1992-04-21 Nippon Telegr & Teleph Corp <Ntt> 移動体の計数装置
JPH0589242A (ja) * 1991-09-26 1993-04-09 Nippon Telegr & Teleph Corp <Ntt> 画像の物体領域切り出し装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005493A (en) * 1996-09-20 1999-12-21 Hitachi, Ltd. Method of displaying moving object for enabling identification of its moving route display system using the same, and program recording medium therefor
US6191707B1 (en) 1996-09-20 2001-02-20 Hitachi, Ltd. Method of displaying moving object for enabling identification of its moving route, display system using the same, and program recording medium therefor
JPH11120363A (ja) * 1997-10-09 1999-04-30 Matsushita Electric Ind Co Ltd 動物体検出方法
EP0913799A3 (en) * 1997-10-31 2004-07-21 Hitachi, Ltd. Mobile object detection apparatus and method
JP2002109547A (ja) * 2000-09-27 2002-04-12 Hitachi Ltd 移動体検出測定方法、その装置および移動体検出測定プログラムを記録した記録媒体
US6963658B2 (en) 2000-09-27 2005-11-08 Hitachi, Ltd. Method of detecting and measuring a moving object and apparatus therefor, and a recording medium for recording a program for detecting and measuring a moving object
US7308113B2 (en) 2000-09-27 2007-12-11 Hitachi, Ltd. Method of detecting and measuring a moving object and apparatus therefor, and a recording medium for recording a program for detecting and measuring a moving object
US7777780B2 (en) 2003-09-03 2010-08-17 Canon Kabushiki Kaisha Image motion display method and apparatus
US9131122B2 (en) 2003-09-03 2015-09-08 Canon Kabushiki Kaisha Apparatus, method, system, and storage medium causing a display to display a graph indicating a degree of change of part of a captured image
US8654199B2 (en) 2003-09-03 2014-02-18 Canon Kabushiki Kaisha Image motion detection apparatus and method for determining a parameter for detecting a moving object in a moving image and computer readable medium having encoded thereon a program instructing a computer to perform the method
JP2007018324A (ja) * 2005-07-08 2007-01-25 Central Res Inst Of Electric Power Ind 画像処理による侵入物体検出装置および方法およびプログラム
JP2008008640A (ja) * 2006-06-27 2008-01-17 Hcx:Kk 移動体検出装置
JP2009048430A (ja) * 2007-08-20 2009-03-05 Kozo Keikaku Engineering Inc 顧客動作分析装置、顧客動作判定システム、及び顧客購買行動分析システム
JP2009157492A (ja) * 2007-12-25 2009-07-16 Sumitomo Electric Ind Ltd 車両検出装置、車両検出システム及び車両検出方法
JP2012053708A (ja) * 2010-09-01 2012-03-15 Toshiba Tec Corp 店舗システム、売上登録装置及びプログラム
US8503795B2 (en) 2010-09-01 2013-08-06 Toshiba Tec Kabushiki Kaisha Store system, reading apparatus, and sales registration apparatus
US8805092B2 (en) 2010-09-01 2014-08-12 Toshiba Tec Kabushiki Kaisha Store system, reading apparatus, and sales registration apparatus
CN116563522A (zh) * 2023-04-12 2023-08-08 深圳市菲普莱体育发展有限公司 一种物体落地点检测方法及装置

Also Published As

Publication number Publication date
US5721692A (en) 1998-02-24
US5862508A (en) 1999-01-19
US20020030739A1 (en) 2002-03-14
JP3569992B2 (ja) 2004-09-29

Similar Documents

Publication Publication Date Title
JP3569992B2 (ja) 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム
EP0567059B1 (en) Object recognition system using image processing
KR100459476B1 (ko) 차량의 대기 길이 측정 장치 및 방법
RU2484531C2 (ru) Устройство обработки видеоинформации системы охранной сигнализации
Zheng et al. A novel vehicle detection method with high resolution highway aerial image
Sina et al. Vehicle counting and speed measurement using headlight detection
KR100630088B1 (ko) 옵티컬 플로우를 이용한 차량 감시 장치 및 방법
US20060274917A1 (en) Image processing techniques for a video based traffic monitoring system and methods therefor
JP5127182B2 (ja) 物体検出装置
JP2003067752A (ja) 車両周辺監視装置
KR101515166B1 (ko) 객체인식 기반의 주차장 이벤트 검지 시스템
JP5135284B2 (ja) 物体検出方法
KR101728507B1 (ko) 안개피해방지장치용 가시거리 측정장치
KR20220032681A (ko) 노상 주차장의 주차 관리 방법
JPH11284997A (ja) 移動体検知装置
EP0977437A2 (en) Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object
KR102492290B1 (ko) 교통량 측정을 위한 딥러닝 기반의 드론 영상 분석 시스템
KR101236223B1 (ko) 차선 검출 방법
JP5175765B2 (ja) 画像処理装置及び交通監視装置
Kanhere et al. Real-time detection and tracking of vehicle base fronts for measuring traffic counts and speeds on highways
JP2004086417A (ja) 横断歩道等における歩行者検出方法及び同装置
CN121074824A (zh) 一种面向恶劣天气的高速公路安全监控方法及系统
KR101154350B1 (ko) 고해상도 영상의 객체 검지 및 분할 인식을 이용한 다중 영상처리시스템 및 방법
JP4697761B2 (ja) 待ち行列検出方法及び待ち行列検出装置
JPH09212791A (ja) 路面監視方法と装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040614

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080702

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090702

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100702

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100702

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110702

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110702

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120702

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120702

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120702

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130702

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees