JPH10150656A - 画像処理装置及び侵入者監視装置 - Google Patents

画像処理装置及び侵入者監視装置

Info

Publication number
JPH10150656A
JPH10150656A JP9212985A JP21298597A JPH10150656A JP H10150656 A JPH10150656 A JP H10150656A JP 9212985 A JP9212985 A JP 9212985A JP 21298597 A JP21298597 A JP 21298597A JP H10150656 A JPH10150656 A JP H10150656A
Authority
JP
Japan
Prior art keywords
image
monitoring
monitoring target
camera
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9212985A
Other languages
English (en)
Inventor
Yoichi Takagi
陽市 高木
Hiroshi Suzuki
弘 鈴木
Kunizo Sakai
邦造 酒井
Yoshiki Kobayashi
小林  芳樹
Takeshi Saito
健 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Hitachi Process Computer Engineering Inc
Original Assignee
Hitachi Ltd
Hitachi Process Computer Engineering Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, Hitachi Process Computer Engineering Inc filed Critical Hitachi Ltd
Priority to JP9212985A priority Critical patent/JPH10150656A/ja
Priority to US08/932,649 priority patent/US20010010542A1/en
Publication of JPH10150656A publication Critical patent/JPH10150656A/ja
Priority to US10/842,527 priority patent/US20040207729A1/en
Priority to US12/007,636 priority patent/US20080122930A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19689Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/1961Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19652Systems using zones in a single scene defined for different treatment, e.g. outer zone gives pre-alarm, inner zone gives alarm
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678User interface
    • G08B13/19691Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 侵入者自動監視中に監視機能に影響させるこ
となくカメラの姿勢変更やズーム変更を可能な侵入者監
視システムを提供する。 【解決手段】 監視領域の地形情報をデータベースに持
たせることにより任意のカメラ姿勢に対してカメラと監
視エリアとの距離を推定し、これによりカメラ姿勢変動
に追従してリアルタイムに対象物の特徴量を修正し、カ
メラ姿勢の影響なしに自動監視を継続する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理装置を用
いた監視装置及び方法に係わり、特に、屋外または、屋
内のカメラ映像を画像処理装置に取り込み画像解析によ
り異常を検知する侵入者監視装置及び方法に好適なもの
に関する。
【0002】
【従来の技術】従来は、工業用カメラ(ITVカメラ)
を用いて、人間が目視により監視するケースが圧倒的に
多い。カメラ姿勢を自在に変えられる装置の場合には、
画像処理による異常検知は難しく目視による監視を行う
のが通常であった。この種のものに関連するものとし
て、特開平6−233308号公報、特開平3−270
586号公報、特開平3−227191号公報、特開平
6−225310号公報、特開平7−7729号公報、
特開平8−123964号公報に記載のものがある。
【0003】
【発明が解決しようとする課題】従来の目視によるIT
Vカメラの監視方式では、カメラの設置台数が多くなる
と、監視要員を増やす必要があり、また、長時間モニタ
画像を連続して監視する場合は健康保全上も問題であ
り、監視作業の自動化が強く要請されている。また、監
視する範囲も最近ますます広範囲になってきており、自
動化の容易な固定カメラ方式では、カメラを多数設置す
る必要があるという問題がある。
【0004】本発明の第1の目的は、ITVカメラ画像
を画像処理装置に取り込み画像解析により異常検知する
際、対象物を更に詳細観察できるように入力画像中の対
象物の像の大きさの変動を伴うズーム機能等の操作を行
っても画像処理装置による異常状態を検知する機能に支
障がないようにすることである。
【0005】本発明の第2の目的は、1台のITVカメ
ラで広範囲を監視できるようにした場合においても、I
TVカメラ画像を画像処理装置に取り込み画像解析によ
り異常物体を検知する際、検知領域を変更するためカメ
ラの向きを変更する操作を行って対象物までの距離が変
動するような操作を行っても画像処理装置による異常状
態を検知する機能に支障がないようにすることである。
【0006】本発明の第3の目的は、1台のITVカメ
ラで広範囲を監視できるようにした場合においても、I
TVカメラ画像を画像処理装置に取り込み画像解析によ
り異常物体を検知する際、検知領域を変更するためカメ
ラの向きを変更する操作を行い更にズーム操作を同時に
行っても画像処理装置による異常状態を検知する機能に
支障がないようにすることである。
【0007】本発明の第4の目的は、同一画面中におい
ても物体までの遠近による像のゆがみ歪のため大きさが
異なって見え対象物を正確に特定できない問題を解決す
ることである。
【0008】また、本発明の第5の目的は、撮像条件の
変化に対応できる画像処理、監視装置を堤供することに
ある。
【0009】さらに、本発明の第6の目的は、カメラの
撮像による画像と監視対象モデルとを比較して監視対象
の侵入を確実に監視することができる侵入者監視装置を
提供することにある。
【0010】
【課題を解決するための手段】上記第1の目的を達成す
る本発明の特徴は、カメラのズーム操作に関する制御情
報を画像処理装置に転送して本発明の画像処理の異常物
体検知処理に反映することにより実現できる。具体的に
は、異常物体検知の為の教示処理を実施したときに設定
したズーム値に対応する視野角φは、映像機器制御情報
テーブル及び対象物特徴量管理テーブルに記憶してお
く。ズーム値を変化させた場合は、対象物の基準特徴量
を更新する方式をとる。これらの処理は、常時、カメラ
操作と同期させて実行することが望ましい。
【0011】上記第2の目的を達成する本発明の特徴
は、カメラのカメラ姿勢制御に関する制御情報を画像処
理装置に転送して、画像の異常物体検知処理に反映する
ことにより実現できる。具体的には、カメラ姿勢変化を
画像処理の異常検知処理に組み込むことにより異常検知
対象物の基準特徴量を常時更新する方式をとる。異常検
知対象物の特徴量は、例えば、カメラと対象物間の距離
により更新又は、修正するものとする。カメラ姿勢変動
により対象物とカメラ間の距離が変化するので、距離を
推定するために、システム特有の幾何学モデルを組み込
むと同時に地上の標高値を前もって入力することにより
カメラ姿勢変化からカメラと対象物間の距離を常時更新
できるようにしてある。これらの処理は、常時、カメラ
操作と同期させて実行することが望ましい。
【0012】上記第3の目的を達成する本発明の特徴
は、カメラのズーム操作に関する制御情報とカメラ姿勢
制御に関する制御情報を同時に画像処理装置に転送し
て、画像の異常検知処理に反映することにより実現でき
る。ズーム値の変化以外にカメラ姿勢に関する変化を画
像処理の異常検知処理に組み込むことにより異常検知対
象物の基準特徴量を常時更新する方式をとる。これらの
処理は、カメラ操作と同期させて実行することが望まし
い。
【0013】上記第4の目的を達成する本発明の特徴
は、カメラ画像中に異常物体を検知した場合には、異常
物体の地面と接する部分の位置を計測しシーン中心との
距離により特徴量を補正する方法により達成できるので
ある。
【0014】また、上記第5の目的を達成する本発明の
特徴は、画像の撮像条件の変化に基づいて、前記特徴量
を更新し、更新された特徴量に基づいて画像による対象
物の検知を行うことにある。
【0015】上記第6の目的を達成する本発明の特徴
は、監視カメラにより撮像された監視対象区域に関する
画像の中から監視対象とみなされる画像を選択し、選択
した画像の特徴量を抽出し、抽出した特徴量と予め定め
た監視対象モデルとを比較して監視対象とみなされる画
像を評価し、この評価により監視対象区域内に監視対象
が存在するか否かを判定するようにしたものである。ま
た、監視カメラにより撮像された監視対象区域に関する
画像の中から監視対象とみなされる画像を選択し、選択
した画像の特徴量を抽出し、かつ予め定めた監視対象モ
デル群の中から現時点の監視対象区域の環境に基づいて
指定の監視対象モデルを選択し、抽出した特徴量と選択
した監視対象モデルとを比較して監視対象とみなされる
画像を評価し、この評価により監視対象区域内に監視対
象が存在するか否かを判定することもできる。
【0016】さらに、複数の監視対象区域に存在するも
のを監視対象とするときには、監視カメラにより撮像さ
れた監視対象区域に関する画像の中から監視対象とみな
される画像を選択し、選択した画像の特徴量を抽出し、
抽出した特徴量と予め定めた監視対象モデルとを比較し
て監視対象とみなされる画像を評価し、この評価により
監視対象区域内に監視対象が存在するか否かを判定する
ことができる。また、監視カメラにより撮像された監視
対象区域に関する画像の中から監視対象とみなされる画
像を選択し、選択した画像の特徴量を抽出し、かつ予め
定めた監視対象モデル群の中から現時点の監視対象区域
の環境に基づいて指定の監視対象モデルを選択し、抽出
した特徴量と選択した監視対象モデルとを比較して監視
対象とみなされる画像を評価し、この評価により監視対
象区域内に監視対象が存在するか否かを判定することも
できる。さらに、監視対象モデルを生成する場合、現時
点の日付と時刻及び影に基づいて各監視対象モデルを修
正し、修正されたモデルと監視カメラの撮像を基に生成
された画像の特徴量とを比較するようにすることもでき
る。
【0017】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら詳細に説明する。図1は、本発
明の一実施形態における画像処理を用いた侵入者監視装
置の全体構成図である。本装置は、侵入者監視装置本体
部1、システム管理制御手段2、マンマシンインターフ
ェース機器22、アラーム出力手段6、ITVカメラ
3、可動雲台4、映像機器制御手段5、映像増幅分配手
段7、映像切替手段8、監視用モニタTV10等から構
成されている。更に、侵入者監視装置本体部1は、外部
インターフェース21、画像取込手段11、侵入者検知
及び特定手段12、検知対象物特徴量教示手段14、処
理結果画像出力手段15、カメラ姿勢制御情報管理手段
16、レンズズーム情報管理手段17、映像機器制御情
報テーブル13(図中では映像制御情報テーブルと記
す。)、検知対象物特徴量更新手段18、対象物特徴量
管理テーブル19、地形情報テーブル20から構成され
ている。このような構成であるから、地上の検知対象物
30をITVカメラ3にて画像撮影し、カメラ映像信号
は、映像増幅分配手段7を介して侵入者監視装置本体部
(画像処理装置)1と視覚による監視用に準備した監視
用モニタTV装置10に取り込まれる。画像処理により
異常検知するとアラームを出力できるのでオペレータ
は、視覚にて監視用モニタTV10により異常状況を詳
細に確認できるのである。監視場所を変更したり、同一
場所をより詳細に監視したいときには、マンマシンイン
ターフェース機器22を介して、オペレータによるカメ
ラのズームアップや姿勢変更操作が可能である。ズーム
や姿勢操作は、マンマシンインターフェース22からオ
ペレータの操作によりシステム管理制御手段2を介し
て、映像機器制御手段5に伝えられる。映像機器制御手
段5は、ここでは表記されていないが映像機器に対して
制御信号を発生させレンズズーム制御やカメラ姿勢制御
を行う。制御結果は、システム管理制御手段2に転送さ
れ、さらに、侵入者監視装置本体部1に転送される。侵
入者監視装置本体部1では、これら情報を外部インター
フェース21を介して受信し、カメラ姿勢制御情報管理
手段16や、レンズズーム情報管理手段17に転送す
る。カメラ姿勢制御情報管理手段16は、カメラ姿勢制
御情報を記憶保存すると共に、検知対象物特徴量更新手
段18を起動する。レンズズーム情報管理手段17は、
ズーム制御情報を記憶保存すると共に、検知対象物特徴
量更新手段18を起動する。つまり、ズームやカメラ姿
勢が変更されるとタイミング良く特徴量を更新するよう
になっているのである。カメラ姿勢制御情報やレンズズ
ーム制御情報は、映像機器制御情報テーブル13に記憶
するものとする。検知対象物特徴量教示手段14は、人
や車両を含む特定の画像を取り込み画像解析により人や
車両の特徴量を計測し対象物特徴量管理テーブル19に
保存させる機能がある。特徴量としては、高さや面積が
主として使われるが、その他周囲長や、細長比等各種の
ものが使われる。ここではいちいち述べないが、人や車
両等を特定できる特徴量であればなにでもよい。ここで
は、以後、高さと面積を使用して考え方を説明する。教
示した特徴量は、ズームやカメラ条件が変更になると特
定の処理に使えないので、条件変更が発生したら特徴量
を更新する。この処理を検知対象物特徴量更新手段18
が行うのである。カメラ画像を画像取込手段11で取り
込み、侵入者監視及び特定手段12にて画像中に侵入者
の有無を調べる。侵入者を検知したときは人、車両、そ
の他の特定を実施する。結果は、外部インターフェース
21を経由してシステム管理制御手段2に転送し、アラ
ーム出力手段6にて表示する。処理結果画像は、処理結
果出力画像手段15を介して映像を出力し、モニタTV
に表示させる。以下図2及び図3により特徴量の更新の
考え方を説明する。
【0018】図2(a)は、対象物を教示の際の映像系
設置環境を示す。カメラ設置位置の標高を基準とした場
合、カメラは、設置点標高差H1のところに設置されて
いる。カメラ視線と地面の交点をBとする。B点とカメ
ラ設置点の地面の標高差はH2である。従って、B点と
カメラの標高差は、H0=H1+H2である。カメラの
俯仰角は、βである。βは、カメラ姿勢制御により可変
である。カメラの視野角はφである。φは、ズーム制御
により可変である。β、φは、映像機器制御手段5にて
制御させる。βの値は、カメラ姿勢制御情報管理手段1
6と映像機器制御情報テーブル13にて記憶保存され
る。φは、レンズズーム情報管理手段17と映像機器制
御情報テーブル13にて記憶保存される。検知対象物3
0は、地上のB点付近にあり、このときの対象物の大き
さや画像上の面積等の情報により特徴を決定する。この
ようにして対象物を特定するための処理を以後教示処理
と称する。B点とカメラ設置点の地表との標高差H2
は、カメラの向きβが決まると決定できるようにする。
地形情報テーブル20にこれらの地形データを予め記憶
しておくのである。すなわち、地表の高度地図情報を使
用することによりカメラ視野と地表との交点として幾何
学的にB点が求められB点の標高値も同時に得られるの
である。
【0019】図2(b)は、図2(a)の場合の入力カ
メラ画像の一例である。対象物として人と車両が入って
いる。人の実際の背丈は、hmであるが、画像上では、
hm1である。車両の高さは、hc1である。更に面積
は、人は、sm1、車両は、sc1である。画面高さ
は、ωで常に一定である。画面の高さωに対応する実際
のシーンの高さM1M1′の大きさω1は、次式から計
算できる。
【0020】
【数1】ω1=2*SQRT(L0*L0+H0*H
0)*tan(φ/2) ここに、L0=H0/tan(β) 人、車両、その他の背丈が、hm、hc、hiとし、画
像の中で、人、車両、その他の背丈が、hm1、hc
1、hi1とする。人の場合、hm:ω1=hm1:ω
の関係が成立する。車両その他の対象物についても同様
の関係が成立する。 人の場合の関係式
【0021】
【数2】hm/ω1=hm1/ω=κm1 ここに、κm1を教示パラメータ定数として記憶する。
【0022】車両の場合の関係式
【0023】
【数3】hc/ω1=hc1/ω=κc1 ここに、κc1を教示パラメータ定数として記憶する。
【0024】その他の場合
【0025】
【数4】 hi/ω1=hi1/ω=κi1(i=i1〜in) ここに、κi1を教示パラメータ定数として記憶する
(i=i1〜in) 次に、人、車両、その他の面積が、sm、sc、siと
し、画像の中で、人、車両、その他の面積が、sm1、
sc1、si1とする。人の場合、sm:ω1*ω1=
sm1:ω*ωの関係が成立する。車両その他の対象物
についても同様の関係が成立する。
【0026】人の場合
【0027】
【数5】 sm/(ω1*ω1)=sm1/(ω*ω)=λm1 車両の場合
【0028】
【数6】 sc/(ω1*ω1)=sc1/(ω*ω)=λc1 その他の場合
【0029】
【数7】si/(ω1*ω1)=si1/(ω*ω)=
λi1(i=i1〜in) 教示画像を取り込み画像解析によりκm1、κc1、κ
i1、及びλm1、λc1、λi1等のパラメータを計
測しておくことにより、人、車、その他を特定できるこ
とについて以下に記述する。ここで、カメラが、平坦な
地上に設置されていたと仮定する。βを一定にしてカメ
ラを周回した場合にカメラの視線と地上との交点Bとカ
メラ取り付け位置の標高差は、一定で変わらないことが
想像できる。このような条件でカメラを操作する場合に
は、入力画像中で検知された人、車、その他の像の高さ
や面積を評価することによりいずれかに特定できること
が理解できるであろう。上記条件で画像入力したとき、
画像中に高さhx、面積sxの画像が検出されたとす
る。下記2式を満足する場合には、検出された像は、人
であると特定してよいであろう。
【0030】
【数8】 κm1*(1−Δ)≦hx/ω≦κm1*(1+Δ)
【0031】
【数9】λm1*(1−Δ)≦hx/(ω*ω)≦λm
1*(1+Δ) ここに、Δは、人の場合実際の値hmと像の値hm1が
どの程度ばらつくかにより決まる数値である。
【0032】同様に、下記を同時に満足した場合に車両
と特定してよいであろう。
【0033】
【数10】 κc1*(1−Δ)≦hx/ω≦κc1*(1+Δ)
【0034】
【数11】λc1*(1−Δ)≦hx/(ω*ω)≦λ
c1*(1+Δ) 次に、図2(c)では、カメラ設置環境を、図2(a)
の場合を一部変更して、視野角φをφ′に変更した例で
ある。カメラは、水平線からβの方向に向けられており
変更しない。カメラの視野角はφ′である。φ′は、ズ
ームにより変化する量である。対象物30は、地上のB
点付近にあり、このときの対象物の大きさや画像上の面
積等の情報により特定するのである。対象物を特定する
ための処理は、図2(a)と同じである。違うところ
は、今回は、教示を行わない点である。図2(a)で教
示したものを有効利用しようとする。
【0035】図2(d)は、この場合の入力カメラ画像
の一例である。対象物として人と車両が入っている。
人、車両、その他の実際の背丈は、hm、hc、hiで
あるが、画像上では、hm2、hc2、hi2である。
更に面積は、sm、sc、siであるが、画像上では、
sm2、sc2、si2である。画面の高さωに対応す
る実際のシーンの高さM2M2′の大きさω2は、次式
から計算できる。
【0036】
【数12】ω2=2*SQRT(L0*L0+H0*H
0)*tan(φ′/2) 人については次式が成立する。
【0037】
【数13】hm/ω2=hm2/ω=κm2 車両の場合の関係式
【0038】
【数14】hc/ω2=hc2/ω=κc2 その他の場合
【0039】
【数15】 hi/ω2=hi2/ω=κi2(i=i1〜in) 次に、面積についても同様に以下の式が成立する。
【0040】
【数16】 sm/(ω2*ω2)=sm2/(ω*ω)=λm2 車両の面積を画面の中でsc2とすると場合の関係式
【0041】
【数17】 sc/(ω2*ω2)=sc2/(ω*ω)=λc2 その他の場合
【0042】
【数18】si/(ω2*ω2)=si2/(ω*ω)
=λi2(i=i1〜in) ここで、κm2、κc2、κi2、及びλm2、λc
2、λi2等のパラメータは、未知であるが、先に教示
したパラメータから計算できる。以下その計算方法を記
述する。
【0043】数2と数13よりκm2が得られる。
【0044】
【数19】κm2=κm1*ω1/ω2 数3と数14よりκc2が得られる。
【0045】
【数20】κc2=κc1*ω1/ω2 数4と数15よりκi2が得られる。
【0046】
【数21】κi2=κi1*ω1/ω2 数5と数16よりλm2が得られる。
【0047】
【数22】 λm2=λm1*(ω1/ω2)*(ω1/ω2) 数6と数17よりλc2が得られる。
【0048】
【数23】 λc2=λc1*(ω1/ω2)*(ω1/ω2) 数7と数18よりλi2が得られる。
【0049】
【数24】 λi2=λi1*(ω1/ω2)*(ω1/ω2) このように、ズームを視野角φ′に変更後のパラメータ
κm2、κc2、κi2及びλm2、λc2、λi2が
得られる。人、車両等の画面中での背丈や面積等の特徴
量が、数13〜数18から得られる。
【0050】
【数25】hm2=κm2*ω
【0051】
【数26】hc2=κc2*ω
【0052】
【数27】hi2=κi2*ω(i=i1〜in)
【0053】
【数28】sm2=λm2*ω*ω
【0054】
【数29】sc2=λc2*ω*ω
【0055】
【数30】si2=λi2*ω*ω(i=i1〜in) 図2(c)のような条件でカメラ画像入力したとき、画
像中に高さhx、面積sxなる物体を検出した場合に
は、以下のようにして特定する。
【0056】下記2式を満足する場合には、検出された
像は、人であると特定してよいであろう。
【0057】
【数31】 κm2*(1−Δ)≦hx/ω≦κm2*(1+Δ)
【0058】
【数32】λm2*(1−Δ)≦hx/(ω*ω)≦λ
m2*(1+Δ) ここに、Δは、人の場合実際の値hmと像の値hm2が
どの程度ばらつくかにより決まる数値である。
【0059】同様に、下記を同時に満足した場合に車両
と特定してよいであろう。
【0060】
【数33】 κc2*(1−Δ)≦hx/ω≦κc2*(1+Δ)
【0061】
【数34】λc2*(1−Δ)≦hx/(ω*ω)≦λ
c2*(1+Δ) 次に、図3(a)にて俯仰角βをβ′に変更した場合に
ついて記述する。カメラ視線と地上の交点Bとカメラ設
置位置との標高差がH0である。図2(a)と俯仰角
β′以外は、同一とする。平坦な地上に対してカメラ俯
仰角を変化させた例である。人、車両、その他の実際の
高さは、hm、hc、hiであるが、画像上では、hm
3、hc3、hi3である。更に面積は、sm3、sc
3、si3である。画面高さは、ωである。画面の高さ
ωに対応する実際のシーンの高さM3M3′の大きさω
3は、次式から計算できる。
【0062】
【数35】ω3=2*SQRT(L0′*L0′+H0
*H0)*tan(φ/2) ここに、L0′=H0/tan(β′) この場合も以下の関係が成立する。
【0063】
【数36】hm*cos/ω3=hm3/ω=κm3
【0064】
【数37】hc/ω3=hc3/ω=κc3
【0065】
【数38】 hi/ω3=hi3/ω=κi3(i=i1〜in)
【0066】
【数39】 sm/(ω3*ω3)=sm3/(ω*ω)=λm3
【0067】
【数40】 sc/(ω3*ω3)=sc3/(ω*ω)=λc3
【0068】
【数41】si/(ω3*ω3)=si3/(ω*ω)
=λi3(i=i1〜in) 上記の式中のパラメータを教示結果から計算する。
【0069】数2〜数7と数36〜数41より
【0070】
【数42】κm3=κm1*ω1/ω3
【0071】
【数43】κc3=κc1*ω1/ω3
【0072】
【数44】κi3=κi1*ω1/ω3
【0073】
【数45】 λm3=λm1*(ω1/ω3)*(ω1/ω3)
【0074】
【数46】 λc3=λc1*(ω1/ω3)*(ω1/ω3)
【0075】
【数47】 λi3=λi1*(ω1/ω3)*(ω1/ω3) このようにして、カメラ姿勢を俯仰角β′に修正後のパ
ラメータκm3、κc3、κi3及びλm3、λc3、
λi3が得られる。人、車両等の画面中での背丈や面積
等の特徴量が、数42〜数47から得られる。
【0076】
【数48】hm3=κm3*ω
【0077】
【数49】hc3=κc3*ω
【0078】
【数50】hi3=κi3*ω(i=i1〜in)
【0079】
【数51】sm3=λm3*ω*ω
【0080】
【数52】sc3=λc3*ω*ω
【0081】
【数53】si3=λi3*ω*ω(i=i1〜in) 図3(a)のような条件でカメラ画像入力したとき、画
像中に高さhx、面積sxなる物体を検出した場合に
は、以下のようにして特定する。
【0082】下記2式を満足する場合には、検出された
像は、人であると特定してよいであろう。
【0083】
【数54】 κm3*(1−Δ)≦hx/ω≦κm3*(1+Δ)
【0084】
【数55】λm3*(1−Δ)≦hx/(ω*ω)≦λ
m3*(1+Δ) ここに、Δは、人の場合実際の値hmと像の値hm3が
どの程度ばらつくかにより決まる数値である。
【0085】同様に、下記を同時に満足した場合に車両
と特定してよいであろう。
【0086】
【数56】 κc3*(1−Δ)≦hx/ω≦κc3*(1+Δ)
【0087】
【数57】λc3*(1−Δ)≦hx/(ω*ω)≦λ
c3*(1+Δ) 次に、図3(c)にて俯仰角βをβ′に、視野角をφ′
に、地上の標高差をH2′に変更した場合について記述
する。図3(d)は、この場合の入力画像である。カメ
ラ視線と地上の交点Bは、カメラの向きとβ′を与える
と地形情報テーブル20の地上の標高地図データを使用
して幾何学的に求められる。さらに、B点までの水平距
離L0′と地上の標高差H2′も同時に得られる。カメ
ラとB点の標高差H0′=H1+H2′として得られ
る。人,車両,その他の実際の高さは、hm、hc、h
iであるが、画像上では、hm4、hc4、hi4であ
る。更に面積は、sm4、sc4、si4である。画面
高さは、今回もωである。画面の高さωに対応する実際
のシーンの高さω4は、次式から計算できる。
【0088】
【数58】ω4=2*SQRT(L0′*L0′+H
0′*H0′)*tan(φ′/2) ここに、L0′=H0′/tan(β′) この場合も以下の関係が成立する。
【0089】
【数59】hm/ω4=hm4/ω=κm4
【0090】
【数60】hc/ω4=hc4/ω=κc4
【0091】
【数61】 hi/ω4=hi4/ω=κi4(i=i1〜in)
【0092】
【数62】 sm/(ω4*ω4)=sm4/(ω*ω)=λm4
【0093】
【数63】 sc/(ω4*ω4)=sc4/(ω*ω)=λc4
【0094】
【数64】si/(ω4*ω4)=si4/(ω*ω)
=λi4(i=i1〜in) 上記の式中のパラメータを教示結果から計算する。
【0095】
【数65】κm4=κm1*ω1/ω4
【0096】
【数66】κc4=κc1*ω1/ω4
【0097】
【数67】κi4=κi1*ω1/ω4
【0098】
【数68】 λm4=λm1*(ω1/ω4)*(ω1/ω4)
【0099】
【数69】 λc4=λc1*(ω1/ω4)*(ω1/ω4)
【0100】
【数70】 λi4=λi1*(ω1/ω4)*(ω1/ω4) このようにして、カメラ姿勢を俯仰角β′やズームφ′
に修正後のパラメータκm4、κc4、κi4及びλm
4、λc4、λi4が得られる。人、車両等の画面中で
の背丈や面積等の特徴量が、次式から得られる。
【0101】
【数71】hm4=κm4*ω
【0102】
【数72】hc4=κc4*ω
【0103】
【数73】hi4=κi4*ω(i=i1〜in)
【0104】
【数74】sm4=λm4*ω*ω
【0105】
【数75】sc4=λc4*ω*ω
【0106】
【数76】si4=λi4*ω*ω(i=i1〜in) 図3(c)のような条件でカメラ画像入力したとき、画
像中に高さhx、面積sxなる物体を検出した場合に
は、以下のようにして特定する。
【0107】下記2式を満足する場合には、検出された
像は、人であると特定してよいであろう。
【0108】
【数77】 κm4*(1−Δ)≦hx/ω≦κm4*(1+Δ)
【0109】
【数78】λm4*(1−Δ)≦hx/(ω*ω)≦λ
m4*(1+Δ) ここに、Δは、人の場合実際の値hmと像の値hm4が
どの程度ばらつくかにより決まる数値である。
【0110】同様に、下記を同時に満足した場合に車両
と特定してよいであろう。
【0111】
【数79】 κc4*(1−Δ)≦hx/ω≦κc4*(1+Δ)
【0112】
【数80】λc4*(1−Δ)≦hx/(ω*ω)≦λ
c4*(1+Δ) 次に、図4に教示時の、映像系の幾何学モデルを図示し
た。28は、カメラのレンズである。24は、カメラの
撮像板、25は、画像処理装置の画像メモリである。3
0は、検知対象物で、31は、その画面内での像であ
る。27は、画像メモリ画面中心である。Xmax、Y
maxは、画面の横と縦の最大値である。図2の説明で
用いたωは、Ymaxと等しい。人の実際の背丈hm′
とするとカメラから見ると俯仰角βの影響でhm=h
m′*cos(β)と高さ方向に縮まってみえる。そし
て、対象物が、画面の中心付近であることが教示の際必
要である。対象物が同じでもその位置により画像中では
見える大きさが変わるからである。特徴量の教示データ
からの変換式に上記考え方を入れておかないと特定が良
好にできないことになる。すなわちβの変更を伴う場合
には、特徴量変換式にβの項が入ってくる。図2の場合
には、βの変化がないので関係ない。図3(a)の場合
には、βが教示時と異なるので考慮が必要である。数4
2から数47は、次のように修正するとよいことがわか
る。
【0113】
【数81】κm3=κm1*ω1/ω3*(cos
(β′)/cos(β))
【0114】
【数82】κc3=κc1*ω1/ω3*(cos
(β′)/cos(β))
【0115】
【数83】κi3=κi1*ω1/ω3*(cos
(β′)/cos(β))
【0116】
【数84】λm3=λm1*(ω1/ω3)*(ω1/ω
3)*(cos(β′)/cos(β))
【0117】
【数85】λc3=λc1*(ω1/ω3)*(ω1/ω
3)*(cos(β′)/cos(β))
【0118】
【数86】λi3=λi1*(ω1/ω3)*(ω1/ω
3)*(cos(β′)/cos(β)) 図3(c)の場合にも、βが教示時と異なるので考慮が
必要である。数65から数70は、次のように修正する
とよいことがわかる。
【0119】
【数87】κm4=κm1*ω1/ω4*(cos
(β′)/cos(β))
【0120】
【数88】κc4=κc1*ω1/ω4*(cos
(β′)/cos(β))
【0121】
【数89】κi4=κi1*ω1/ω4*(cos
(β′)/cos(β))
【0122】
【数90】λm4=λm1*(ω1/ω4)*(ω1/ω
4)*(cos(β′)/cos(β))
【0123】
【数91】λc4=λc1*(ω1/ω4)*(ω1/ω
4)*(cos(β′)/cos(β))
【0124】
【数92】λi4=λi1*(ω1/ω4)*(ω1/ω
4)*(cos(β′)/cos(β)) 図5(a)は、教示以外の条件における幾何学モデルで
ある。俯仰角β′、視野角φ′、シーン中心点B′点と
カメラとの水平距離L0′、垂直距離H0′である。更
に、シーン中心B′点とy0だけ離れた地点に対象物が
置かれている場合の例である。B′点に対象物を置いた
ときの特徴量の更新方法については、図2及び図3にて
十分説明した。図5(a)では、さらに、対象物が、中心
からy0の距離に対象物を離して置いた場合について記
述する。画像上では、縦軸方向でY0だけ画像メモリ画
面中心27から人の足の下部の座標は離れて観測でき
る。このY0から逆にy0を計算することを考える。図
5(b)は、B′付近の詳細図である。ΔB′PQにお
いて、既知のものは、下記である。φX=(φ/2)*
(Y0/(Ymax/2))とすると。
【0125】∠B′QP=π/2−φx ∠PB′Q=π/2−β′ ∠QPB′=β′+φx B′Qすなわちy0′は、次式にて画像から求められ
る。
【0126】
【数93】B′Q=y0′=ω5*Y0/Ymax ただし、 ω5=2*SQRT(L0′*L0′+H
0′*H0′)*tan(φ′/2) Y0は、画像中の人の足元と画面中心とのY方向距離 他の辺は、次式から得られる。
【0127】
【数94】 B′P=y0′*sin(∠B′QP)/sin(∠QPB′) =y0′*sin(π/2−φ′/2)/sin(β′+φ′/2) B′Pは、y0である。
【0128】y0=y0′*sin(π/2−φ′/
2)/sin(β′+φ′/2)
【0129】
【数95】B″P=y0*sin(β′) 図5(a)中の人の像31は、B′点にいる場合に比較
してB′Q/B″P倍だけ拡大されている。この像を評
価する場合には、基準となる特徴量をB′Q/B″P倍
だけ拡大して比較するとよい。人が逆に、B′点から遠
ざかる場合も同様の考え方で計算処理して評価すると正
常な処理ができる。このように同じ画面ないでも人の地
面と接する部分が如何ほど中心点からはずれているかで
基準の特徴量を変える必要がある。教示データを基に得
た特徴量をκm5、κc5、κi5、λm4、λc4、
λi4とするとここで修正後の特徴量は、以下の通りで
ある。
【0130】
【数96】κm5″=κm5*B′Q/B″P
【0131】
【数97】κc5″=κm5*B′Q/B″P
【0132】
【数98】κi5″=κi5*B′Q/B″P
【0133】
【数99】λm5″=λm5*B′Q/B″P
【0134】
【数100】λc5″=λc5*B′Q/B″P
【0135】
【数101】λi5″=λi5*B′Q/B″P 新たに特徴量κm5″、κc5″、κi5″、λm
4″、λc4″、λi4″を使用して評価すれば良好な
結果が得られるのである。角β′が小きいほどこの効果
は大きく無視できなくなるのである。
【0136】図6は、検知対象物30の像がレンズ28
により撮像板24像上に写像される様子を示す。人は、
地上に垂直に立っているが、カメラ視線は、地上に対し
て、βだけ傾斜している。人の背丈をf0とするとカメ
ラ視線に垂直な面への投影するとf1となる。
【0137】
【数102】f1=f0*cos(β) f1がカメラの有効高さとなり像f2に対応することに
なる。対象物の視野角ζは、以下の通りである。
【0138】
【数103】ζ=arctan(f1/a) 像の高さf2とf1の間には、次式の関係がある。
【0139】
【数104】a/f1=b/f2 レンズの焦点に通常実像を結ぶのでb=fであるから
【0140】
【数105】a/f1=f/f2 又は、 a/f=f1/f2 このように画像処理では、光学系を通して像がどのよう
に生成されるかを十分認識して画像処理することが肝要
である。
【0141】図7は、侵入者監視の全体フローを示す。
監視処理を行うに先立ち監視対象物の特徴を装置に教示
し結果を教示データ部19aに書き込む(ボックス
A)、更に、そままの状態で監視処理に入れるようにカ
レントテーブル19bに書き込む(ボックスB)。この
ような前処理の準備作業を行い監視処理に入る。監視処
理は自動又は、オペレータ介入により開始する。カメラ
条件変更の有無を監視(ボックスF)しながら、侵入者
の有無を監視(ボックスH)する。カメラ条件変更要求
は、マンマシンインターフェース機器22からのオペレ
ータ介入により発生する。カメラ条件変更要求があった
場合には(ボックスC)、システム管理制御手段2は、
カメラ姿勢の制御、ズーム制御処理をオペレータ介入に
て実施する(ボックスD)。これらの処理は、システム
管理制御手段2、マンマシンインターフェース機器2
2、映像機器制御手段5等がそれぞれの役割の元に実施
するが一般の映像機器の設備と類似であり詳細はここで
は記述しないことにする。カメラ姿勢やレンズズームに
関する制御情報は、雲台4やITVカメラ3に伝えられ
動作をするのである。そして、制御された結果は定量的
に数値で表現され外部インターフェース21を介して侵
入者監視装置本体部1に条件変更通知とともに伝送され
る。そして、侵入者監視装置本体部1では、カメラ条件
の変更の有無を監視しながら(ボックスF)監視処理を
行う(ボックスH)。条件変更を検知すると(ボックス
F)、カメラ姿勢制御情報管理手段16、レンズズーム
情報管理手段17、映像機器制御情報テーブル13、検
知対象物特徴量更新手段18により対象物特徴量修正処
理を行う(ボックスG)。結果は、映像機器制御情報
は、映像機器制御情報テーブル13に、特徴量は、対象
物特徴量管理テーブル19に記憶しておくものとする。
この修正後の検知対象物特徴量が、以後の監視処理(ボ
ックスH)で使われるのである。本発明は、このように
仕組まれているので映像系の変化に画像処理が良く対応
でき侵入者監視がスムーズに実行できるのである。
【0142】図8は、監視対象物教示処理の一例を示
す。まず、カメラ取り付け高さH1、標高差H2、カメ
ラ俯仰角β等を入力する処理である(ボックスA10
0)。次に、カメラ姿勢制御にて視線を俯仰角βに調整
して固定する。更に、レンズズームを調整して視野角φ
を決定する。そして対象物をセットする(ボックスA20
0)。映像機器制御情報や定数値等を映像機器制御情報テ
ーブル13(図中ではテーブル13と記す。)に格納す
る(ボックスA300)。次に画像を取り込み(ボック
スA400)、該対象物を切り出す(ボックスA50
0)。切り出した対象物の特徴量を計測する(ボックス
A600)。対象物の高さ(hm1、hc1、hi1)
や、面積(sm1、sc1、si1)等である。特徴量
は、以下の式で計算する。
【0143】
【数106】κm1=hm1/ω
【0144】
【数107】κc1=hc1/ω
【0145】
【数108】κi1=hi1/ω
【0146】
【数109】λm1=sm1/ω
【0147】
【数110】λc1=sc1/ω
【0148】
【数111】λc1=si1/ω ここで、 ω=画面サイズ(高さ):画素数表示 次に、(ボックスA700)では対象物を特定するため
の基準特徴量を計算する。基準特徴量として新しく以下
のような量を定義してこれを使う。
【0149】
【数112】κm1′=κm1*ω1*cos(β)
【0150】
【数113】κc1′=κc1*ω1*cos(β)
【0151】
【数114】κi1′=κi1*ω1*cos(β)
【0152】
【数115】 λm1′=λm1*ω1*ω1*cos(β)
【0153】
【数116】 λc1′=λc1*ω1*ω1*cos(β)
【0154】
【数117】 λi1′=λi1*ω1*ω1*cos(β) 上記、κm1′、κc1′、κi1′、λm1′、λc
1′、λi1′を計算し教示基準特徴量とする。これら
のデータを図13に示す対象物特徴量管理テーブル19
に記憶させる(ボックスA800)。対象物特徴量管理
テーブル19は、図13に示すように2つの部分から構
成されており、ここで記憶させるのは、教示データを記
憶させる部分19aに記憶させることになる。
【0155】図9は、監視時に使用する特徴量やパラメ
ータを記憶する処理である。格納するテーブルは、図1
3の19bに示すカレントデータテーブルである。この
テーブルは、監視中の環境条件の1部と基準特徴量が記
憶されている。監視時には、このデータを採用して侵入
物の特定を行うのである。環境データとしては、H0、
H2、L0を書き込む(ボックスB100)。
【0156】H2:カメラ姿勢を変更に伴いカメラ視線
と地上の交点(B点)の位置が変わる。ここで、B点決
定には、地形情報テーブル20の地図情報が使用され
る。この情報により任意のカメラ姿勢におけるB点がわ
かる。地図情報を使用して、カメラ向き(水平、垂直方
向)に対してH2が直接わかる数表を準備しておいても
よい。図14は、その一例である。カメラ水平方向角度
γとカメラ垂直方向角度βから標高差H2がわかる。平
坦地階の場合には、カメラ垂直方向角度βだけで標高差
H2を決定できる場合があり、図15は、その一例であ
る。
【0157】H0:次式により計算する。
【0158】H0=H1+H2 L0:次式により計算する。
【0159】L0=H1*cotan(β) 現状の映像機器制御情報としては、カメラ俯仰角βi、
カメラ水平角γi、視野角Φi、視野高さωiを記憶す
る(ボックスB200)。決定方法は以下の通りであ
る。
【0160】俯仰角βi:映像機器制御情報テーブルの
俯仰角βをそのまま転記する。
【0161】カメラ水平角γi:映像機器制御情報テー
ブルの俯仰角γをそのまま転記する。
【0162】視野角Φi:映像機器制御情報テーブルの
視野角Φをそのまま転記する。
【0163】視野高さωi:ωi=2*SQRT(L0
*L0+H0*H0)*tan(φi/2) 次に、特徴量(κmi、κci、κii、λmi、λc
i、λii)を書き込む(B300)。特徴量は、教示
データテーブル19aの数値を加工したものである。計
算式を下記に示す。
【0164】
【数118】 κmi=κm1′/(ωi*cos(βi))
【0165】
【数119】 κci=κc1′/(ωi*cos(βi))
【0166】
【数120】 κii=κi1′/(ωi*cos(βi))
【0167】
【数121】 λmi=λm1′/(ωi*ωi*cos(βi))
【0168】
【数122】 λci=λc1′/(ωi*ωi*cos(βi))
【0169】
【数123】 λii=λi1′/(ωi*ωi*cos(βi)) 図10はカメラ姿勢制御、ズーム制御処理を示す。これ
らの処理は、マンマシンインターフェース機器22を介
してオペレータが操作するものである。ズーム制御処理
(ボックスD100)、垂直方向姿勢制御処理制御(ボ
ックスD200)、水平方向姿勢制御処理制御(ボック
スD300)の3つの操作からなっている。処理終了後
(ボックスD400)、H0、H2、L0の再計算を行
う(ボックスD450)。計算方法は、図9説明時と同
様である。つぎに、制御情報テーブルの更新を行う(D
500)。映像機器制御情報テーブル13への書き込み
である。
【0170】図11は、カメラ条件変更を発生したとき
の基準特徴量の修正とカレントテーブルへの登録処理に
ついて記述してある。まず、特徴量の修正処理は、以下
のようにして行う(G100)。
【0171】視野サイズ(高さ)ωiの計算:
【0172】
【数124】ωi=2*SQRT(L0*L0+H0*
H0)*tan(φi/2) 特徴量の再計算
【0173】
【数125】 κmi=κm1′/(ωi*cos(βi))
【0174】
【数126】 κci=κc1′/(ωi*cos(βi))
【0175】
【数127】 κii=κi1′/(ωi*cos(βi))
【0176】
【数128】 λmi=λm1′/(ωi*ωi*cos(βi))
【0177】
【数129】 λci=λc1′/(ωi*ωi*cos(βi))
【0178】
【数130】 λii=λi1′/(ωi*ωi*cos(βi)) 修正後特徴量をカレントテーブル19bに再書き込みを
行う(G200)。
【0179】図12は、監視処理の一例を示す。まず、
画像を取り込み(ボックスH100)、基準画像との差分
画像を作成する(ボックスH200)。差分画像を使用
して異常物体を検出する(H500)。検知した場合に
は検知物体の地面接点部分の画面中心からの距離Y0を
計測する。以下Y0補正の処理手順を記述する。
【0180】
【数131】B′Q=y0′=ωi*Y0/Ymax Ymaxは、画面の高さサイズ(ライン数) B′P=y0′*sin(π/2−Φ′/2)/sin
(β′+Φ′/2)
【0181】
【数132】B″P=y0*sin(β′)
【0182】
【数133】κmi″=κmi*B′P/B″P
【0183】
【数134】κci″=κmi*B′P/B″P
【0184】
【数135】κii″=κii*B′P/B″P
【0185】
【数136】λmi″=λmi*B′P/B″P
【0186】
【数137】λci″=λci*B′P/B″P
【0187】
【数138】λii″=λii*B′P/B″P 以上の修正特徴量を用いて検知物体の特定を行う(H8
00)。下記2式を満足する場合には、検出された像
は、人であると特定しボックスH920へ分岐する。
【0188】
【数139】κmi″*(1−Δ)≦hx/ω≦κm
i″*(1+Δ)
【0189】
【数140】λmi″*(1−Δ)≦hx/(ω*ω)
≦λmi″*(1+Δ) ここに、Δは、人の場合実際の値hmと像の値hm4が
どの程度ばらつくかにより決まる数値である。
【0190】同様に、下記を同時に満足した場合に車両
と特定し、ボックスH910へ分岐する。
【0191】
【数141】κci″*(1−Δ)≦hx/ω≦κc
i″*(1+Δ)
【0192】
【数142】λci″*(1−Δ)≦hx/(ω*ω)
≦λci″*(1+Δ) (実施例1)カメラ姿勢制御操作がなくズームのみ操作
可能なシステムに、上記した侵入者監視装置を適用した
実施例について説明する。図1において、マンマシンイ
ンターフェース機器22から操作できるのは、カメラレ
ンズのズームのみである。従って、カメラ俯仰角βは、
一定である。図2(c)で説明の条件がそのまま適用で
きる。視野角Φが変化すると教示した特徴量では、検知
物体を特定できないが、本方法によれば、Φが変化した
量だけ特徴量を修正するのでいつでも正常に特定できる
のである。本法では、もちろん地形情報は、最低の量の
情報でよいことはもちろんである。すなわち、当初、H
0、H2とカメラ俯仰角βが既知であれば十分なのであ
る。
【0193】(実施例2)カメラ設置の前方が平坦で水
平な場所を監視するシステムに、上記した侵入者監視装
置を適用した実施例について説明する。図1において、
マンマシンインターフェース機器22から操作できるの
は、カメラレンズのズーム、カメラの姿勢制御(垂直、
水平)である。前方が平坦である条件からカメラの姿勢
制御のうち水平な姿勢移動ではH2の変化がないのであ
る。垂直な姿勢変化のみが、カメラ俯仰角βに関係す
る。この例は、図3(a)にて説明した条件がまったく
そのまま適用できるのである。この場合には、カメラ前
方が平坦水平であるからカメラ俯仰角βの変化に対して
H2は、不変である。したがってこの場合にも地形情報
は、最低でよいことがわかる。すなわち、当初、H0、
H2が既知であれば十分なのである。
【0194】(実施例3)カメラ設置の前方が平坦でな
く傾斜しているが、カメラの水平姿勢変化が不要な場所
を監視するシステムに、上記した侵入者監視装置を適用
した実施例について説明する。図1において、マンマシ
ンインターフェース機器22から操作できるのは、カメ
ラレンズのズーム、カメラの姿勢制御の垂直方向のみ操
作できる場合である。前方が平坦でないのでカメラ俯仰
角βの変化にともないH2も変化する。この例は、図3
(c)にて説明した条件がまったくそのまま適用できる
のである。この場合には、地形情報を図15の如く、カ
メラ俯仰角βと標高差H2のテーブルを準備するだけで
よい。
【0195】(実施例4)カメラ姿勢の垂直水平および
ズームの操作ができ監視対象エリアが平坦でないような
場所を監視するシステムに、上記した侵入者監視装置を
適用した実施例について説明する。図1において、マン
マシンインターフェース機器22から操作できるのは、
カメラレンズのズーム,カメラの姿勢制御が垂直水平両
方操作できる場合である。監視エリアが平坦でないので
カメラ俯仰角βの変化とカメラの水平操作によりH2も
変化する。この例は、図3(c)にて説明した条件がま
ったくそのまま適用できるのである。この場合には、地
形情報を、図14の如くカメラ俯仰角βとカメラ角度水
平方向γから得られるようにする必要がある。このよう
にすることにより、あらゆるカメラ向きに対するH2が
えられるので特徴量は、その都度修正可能であり正常に
検知物体を特定できるのである。
【0196】次に、本発明の他の実施形態を図面に基づ
いて説明する。図16は、本発明の他の実施形態を示す
侵入者監視装置の全体構成図である。図16において、
侵入者監視装置は、ITVカメラ(監視カメラ)3、モ
ニタTV装置10、操作用ディスプレイ装置50、マウ
ス51、システム制御装置52、映像機器制御手段5、
画像処理装置53等を備えて構成されており、カメラ3
が可動雲台4に回動可能に固定されている。カメラ3
は、可動雲台4の回動に応じて複数の監視シーン(監視
対象区域)を周期的に監視できるように構成されてい
る。例えば、図17に示すように、道路54、55、5
6、57を有する地形のうち道路55、56、57の途
中の領域を監視シーン58、59、60としたときに、
システム制御装置52からの指令に基づいて可動雲台4
が回動されると、この回動にしたがってカメラ3の姿勢
が変更され、カメラにより、各監視シーン58、59、
60が周期的に監視されるようになっている。なお、監
視シーンの数は、3個に限定されるものではなく、可動
雲台4の構造仕様から決定されるが、基本的には任意の
数である。そして各監視シーンを監視するに際して、カ
メラ3は、指定の監視シーンに向かって静止していると
きにのみ撮像し、可動雲台4の回動中には撮像しないよ
うになっている。さらにカメラ3によって各監視シーン
を監視するに際して、監視周期は以下のことを考慮して
設定されている。すなわち、各監視シーン58〜60
は、物体の移動する速度から定まる距離に比べて十分広
いスペースに設定されているので、各監視シーンを周期
的に監視しても、各監視シーン内を通過する物体を必ず
検知できる。このように、侵入者の移動特性と監視スペ
ースの広さの間に特別な関係があるときには、連続的な
監視は不要である。ここで、通過物体の速度をV(m/
S)、物体が移動する距離をL(m)とした場合、監視
周期は、ΔT=L/V以下にすればよいことになる。そ
して適切な監視周期は、(0.1〜0.5)ΔTであ
る。
【0197】可動雲台4は映像機器制御手段5、インタ
ーフェイスケーブル61を介してシステム制御装置52
に接続されており、映像機器制御手段5からの信号にし
たがって可動雲台4が回動されると、カメラ3の視野が
各監視シーン58〜60に順次変更されるようになって
いる。すなわち映像機器制御手段5は可動雲台4ととも
にカメラ制御手段として構成されている。
【0198】またカメラ3は、各監視シーン58〜60
内に存在するものを被写体として、各監視シーン58〜
60内の被写体の光学像を映像信号に変換し、この映像
信号をケーブル62を介して画像処理装置53に出力す
るようになっている。この画像処理装置53でカメラ3
の撮像による画像が処理されると、処理された画像がモ
ニタTV装置10、ディスプレイ装置50の表示画面上
に表示されるようになっている。
【0199】システム制御装置52は、マンマシン手段
70、外部通信手段71、制御処理本体部72、全体制
御プログラム73、監視条件設定手段74、シーン選択
手段75、シーン中監視エリア設定手段76、監視物仕
様決定手段77、監視サイクル設定手段78、監視開始
手段79、監視停止手段80、監視処理管理手段81、
テーブル82、タイマ83、監視開始指令発行手段8
4、監視中断指令発行手段85、シーン情報送信手段8
6を備えて構成されており、マンマシン手段70がディ
スプレイ装置50に接続され、外部通信手段71が映像
機器制御手段5、画像処理装置53にそれぞれ接続され
ている。
【0200】画像処理装置53は、送受信手段90、画
像処理統括プログラム91、シーン切替手段92、監視
エリア切替手段93、監視対象物仕様変更手段94、侵
入者監視手段95、特徴量テーブル96、地形情報テー
ブル97を備えて構成されており、送受信手段90が外
部通信手段71に接続され、侵入者監視手段95がケー
ブル62を介してカメラ3に接続されているとともに、
ケーブル63を介してモニタTV装置10、ディスプレ
イ装置50に接続されている。特徴量テーブル96には
各種監視対象に関する特徴量のデータが格納されてお
り、このテーブル96にはテーブル82に記憶されたデ
ータが必要に応じて転送されるようになっている。また
地形情報テーブル97には監視シーン58〜60を含む
地形の座標等のデータが格納されている。
【0201】次に、システム制御装置52の処理にした
がってカメラ3の姿勢などを制御するための処理につい
て説明する。
【0202】まず、カメラ3を用いて各監視シーン5
8、59、60を順次監視する場合、各シーンの手前
は、シーンの前方に比較してカメラ3との距離が近い。
このため、各シーン内の対象物を同一条件で画像処理す
ると、監視対象を精度良く分類することができない。そ
こで、本実施形態においては、各監視シーン58〜60
について複数の監視エリア(監視対象区域より狭い区
域)を設けることとしている。例えば、図18に示すよ
うに、監視シーン58について、道路55に沿って3つ
の監視エリア64、65、66が設定されている。そし
て各監視エリア64〜66内に存在するものの画像は各
監視エリアごとに同一条件で画像処理され、各監視エリ
ア64〜66内に監視対象が存在するか否かが判定され
るようになっている。
【0203】次に、システム制御装置52の処理内容を
図19にしたがって説明する。
【0204】まず、オペレータにより、マウス51また
はディスプレイ装置50に接続されたキーボートなどが
操作され、監視条件など各種マンマシン情報が入力され
ると、マンマシン情報がマンマシン手段70を介して制
御処理本体部72に受信される(ボックスA)。マンマ
シン情報が受信されると、受信されたマンマシン情報に
したがって、マンマシンの要求があるか否かの判定が行
われる(ボックスB)。そしてマンマシンの要求がある
と判定されたときにはその内容に応じた処理が選択され
る。すなわちマンマシン情報の内容が監視条件設定のと
きには監視条件設定の処理を選択し(ボックスC)、監
視を開始するときには、監視開始の処理を選択し(ボッ
クスD)、監視を停止するときには監視停止の処理を選
択する(ボックスE)。なお監視処理管理(ボックス
F)は独立に動作するプログラムである。
【0205】監視条件設定処理においては、監視条件設
定手段74に基づく処理として、図20に示すように、
設定監視条件の判定が行われ、設定条件によって各種の
処理に分岐する(ボックスC100)。例えば、シーン
番号設定時には、カメラ条件、例えば、カメラ3の角
度、焦点距離などが設定されるとともに、シーン番号設
定として、例えば、監視シーン58、59、60のシー
ン番号をそれぞれ「1」、「2」、「3」に設定するた
めの処理を行う(ボックスC200)。この処理は、具
体的には、図21に示すように、まずモニタTV装置1
0の表示画面上にカメラ3の撮像によるカメラ画像を表
示する(ボックスC200−10)。このあとマウス5
1の操作により、カメラ3の向きを変更し、監視したい
シーンを選択する(ボックスC200−20、C200
−30)。このとき選択したシーンごとにカメラ3に関
する条件が設定され、全ての監視シーンに関する設定が
完了すると、シーン番号とカメラ条件に関する設定値が
テーブル82に格納される(ボックスC200−4
0)。
【0206】一方、各監視シーン内に複数の監視エリア
を設定するときには、監視エリア設定処理が実行される
(図20のボックスC300)。この処理は、シーン中
監視エリア設定手段76の処理として実行され、具体的
には図22に示すような処理が実行される。まず、プリ
セットされたシーン内に必要な個数の監視エリアを設定
するに際して、まず、シーン番号を設定する(ボックス
C300−30)。次に、マウス51の操作により、表
示画面上に監視エリアを作成する(ボックスC300−
40)。例えば、図18に示すように、監視シーン58
における監視エリアとして3個の監視エリア64、6
5、66を作成する。このあと該当する監視シーン内の
監視エリアに対応づけて監視エリア番号を登録し、監視
エリア64〜66などに関する設定情報をテーブル82
に格納する(ボックスC300−50)。これらの処理
は必要な個数の監視エリアの作成が終了するまで継続さ
れる(ボックスC300−10、ボックスC300−2
0)。
【0207】次に、ボックスC100の処理により監視
対象物仕様設定と判定されたときには、監視対象物の仕
様を設定するための処理が実行される(ボックスC40
0)。この処理は、監視物仕様決定手段77に基づいて
実行される。具体的には、図23に示すような処理が実
行される。まず、対象となる監視シーンの番号を選択す
る(ボックスC400−10)。これ以下の処理は全て
の監視シーンの処理が完了するまで継続される(ボック
スC400−20)。シーン番号が選択されたあとは、
該当する監視シーンのカメラ画像(スルー画像)に監視
エリアを重畳して表示する(ボックスC400−3
0)。このとき制御処理本体部72から画像処理装置5
3に対して、スルー画像表示が指令されるとともにスル
ー画像に監視エリアを重ねて表示するための指令が出力
される。これにより、ディスプレイ装置50の操作画面
上には、図24に示すように、カメラ画像に監視エリア
64、65、66が重ねて表示される。このあとマウス
51の操作により、監視エリアの選択が行われると、選
択された監視エリアのみが表示される(ボックスC40
0−40、C400−50)。
【0208】監視エリアが選択されたあとは、操作用画
面上に各種監視対象を模擬した監視対象モデルの図形を
作成する(ボックスC400−70)。各種監視対象モ
デルの図形を作成するに際しては、操作用画面上にあら
かじめ表示されている監視対象モデル群の中から任意の
モデルを選択して行う。例えば、操作用画面上には、複
数の監視対象モデルとして、人の図形を示すアイコン1
00、自動車の図形を示すアイコン101、小動物の図
形を示すアイコン102、人の図形に影が付された図形
を示すアイコン103などが表示エリア104にあらか
じめ表示されている。これらのアイコン100〜103
のうち任意のアイコンをマウス51の操作で選択する
と、選択されたアイコンの図形が指定の監視エリアに表
示される。例えば、車の図形としてアイコン101を選
択したときには、各監視エリア64、65、66に自動
車の図形が表示される。この場合、監視エリア64〜6
6はそれぞれカメラ3からの距離が異なるため、表示エ
リア105にあらかじめ表示されているアイコン10
6、107、108、109のうち図形の縮小機能を示
すアイコン106または図形の拡大機能を示すアイコン
107を選択し、各監視エリア64、65、66内の図
形の大きさを任意の大きさに修正することができる。ま
たアイコン108を選択したときには図形を回転させる
ことができ、アイコン109を選択したときには図形に
影を付けることもできる。そして作成した図形に関して
は再作成する必要があるか否かを評価し、修正を要する
ときにはアイコン106、107、108、109のい
ずれかのアイコンを選択して図形を修正する(ブロック
C400−60、C400−70)。この場合、マウス
51、アイコン106〜109はモデル修正手段として
機能することになる。そして図形の作成あるいは修正が
終了したあとは、各図形の特徴量を抽出してテーブル8
2に登録する(ブロックC400−80)。この場合各
図形の特徴量に関する計算を画像処理装置53に指令
し、計算結果を送信させる。各図形の特徴量は、例え
ば、図形の面積、高さ、幅などであり、これらの特徴量
は各図形の特徴を示すデータとしてテーブル82に登録
される。このあとは、さらに他のモデルを設定するか否
かを判定し、さらにモデルを設定する必要があるときに
はブロックC400−60に戻り、それ以外のときには
ブロックC400−40に戻る(ブロックC400−9
0)。またモデルの図形のうち影を有するモデルを作成
するに際しては、図25に示すような図形を作成する。
例えば、アイコン100の選択により人の図形をモデル
110として表示したあと、アイコン109を選択して
モデル110に影111を追加する。そしてモデル11
0の特徴量として面積や高さHの他に、影111の長さ
HSDを登録するとともに、影111の方向θも特徴量
として登録する。影111を追加する方向θは、カメラ
3と照明あるいは太陽との位置関係で決定されるが、屋
外では、次式にしたがって決定される。
【0209】
【数143】θ=θ(m,d,h)
【0210】
【数144】γ=γ(m,d,h) ここで、m:月、d:日、h;時刻を示す。すなわち、
図26に示すように、人が監視エリア64〜66内を移
動する場合、太陽の位置や時刻によって影111の位置
が異なるため、月、日、時刻を考慮してθを設定するこ
ととしている。そしてこれらの特徴量も他の特徴と同様
にテーブル82に登録される。
【0211】次に、ボックスC100でシーン監視スケ
ジュールの設定と判定されたときの処理(図20のボッ
クスC500)を図27にしたがって説明する。
【0212】まず、この処理では、対象となる監視シー
ンの番号を選択する(ボックスC500−10)。この
あと選択した監視シーンごとの監視時間をオペレータが
入力する(ボックスC500−20、C500−3
0)。このあと入力した監視時間を監視シーンごとに登
録する(ボックスC500−40)。これらの処理は全
ての監視シーンに対する監視時間が設定されるまで継続
され、全ての監視シーンに関する監視時間が設定された
ときにこのルーチンでの処理を終了する。
【0213】ボックスC200、C300、C400、
C500の設定処理が全て終了したときには、各設定内
容を外部通信手段71を介して画像処理装置53に転送
する(ボックスC600)。
【0214】次に、オペレータの操作により監視開始が
指令されたときには監視開始処理(図19のボックス
D)が選択され、図28に示す処理が実行される。この
処理では、まず、監視対象となる監視シーンの番号の取
り込みが行われる(ボックスD100、D200)。こ
のあと取り込んだシーン番号を監視スケジューラに登録
する(ボックスD300)。これらの処理は全ての監視
シーンについて行われ、全ての監視シーンに対してシー
ン番号が設定されて各監視シーンの番号が監視スケジュ
ーラに登録されたときには監視フラグをオンにし、監視
処理管理手段81を起動し(ボックスD500)、この
ルーチンでの処理を終了する。
【0215】監視処理管理手段81が起動されると、監
視処理管理プログラムにしたがった処理が選択され(図
19のボックスF)、図29に示す処理が実行される。
この処理では、映像機器制御手段5と画像処理装置53
に対してタイミングよい起動停止が実行される。まず、
監視フラグがオンかオフかを判定し(ボックスF−10
0、F−200)、監視フラグがオンのときには監視シ
ーンのシーン番号iをi=0とし(ボックスF−30
0)、次に、i=i+1にする(ボックスF−40
0)。このあとi番目のシーンを監視するための処理を
実行する(ボックスF−500)。すなわち、カメラ3
の姿勢を制御することにより、i番目の監視シーンから
の画像を入力するための制御を映像機器制御手段5に対
して指令し、可動雲台4を回動させる(ボックスF−6
00)。カメラ3に対する制御が完了したときには(ボ
ックスF−700)、画像処理装置53に対してi番目
の監視シーンに関する監視開始を指令する(ボックスF
−800)。そしてカメラ3によって撮像された画像を
一定時間画像処理装置53に入力し、監視開始からT
(i)秒後に画像処理装置53に対してi番目の監視シ
ーンに対する監視を停止させる(ボックスF−850、
F−900)。
【0216】全ての監視シーンに関する監視が停止され
ると、監視フラグがオフとなり、監視停止処理が選択さ
れ(図19のボックスE)、図30に示す処理が実行さ
れる。すなわち管理フラグをオフとし(ボックスE10
0)、監視処理管理手段81の起動を停止し、このルー
チンでの処理を終了する(ボックスE200)。
【0217】次に、画像処理装置53の処理内容を図3
1にしたがって説明する。まず、システム制御装置52
から送信した情報を受信し(ボックスG−100)、受
信した情報の内容を判定し、判定結果にしたがった処理
を実行する(ボックスG−200)。そして受信情報が
設定内容のときには受信内容をテーブル96に格納する
とともに画像処理の準備を実行する(ボックスG−20
0)。一方、受信情報が監視開始の指令のときには侵入
者監視フラグをオンにし(ボックスG200)、受信情
報が監視停止の指令のときには、侵入者監視フラグをオ
フにし(ブロックG−200)、このルーチンでの処理
を終了する。またボックスGの処理と並行して、ボック
スHの処理が実行され、侵入者監視フラグの判定が行わ
れる(ボックスH−300)。そして判定結果がオンの
ときには画像解析による侵入者監視処理を実行し(ブロ
ックH−500)、判定結果がオフのときにはボックス
H−300の処理に戻る(ボックスH−400)。
【0218】次に、画像解析による侵入者監視処理(ボ
ックスH−500)の内容を図32にしたがって説明す
る。
【0219】まず、カメラ3の撮像による画像を入力し
(ボックスH500−10)、入力した画像が該当シー
ンの画像か否かを判定する(ボックスH500−1
5)。入力画像が該当シーンの画像のときには背景画を
更新する(ボックスH500−16)。すなわち、侵入
者監視手段95に内臓された画像メモリGOに背景画の
更新結果を格納する。次に、1〜3秒程度のディレイの
あと(ボックスH500−20)、再度画像を取り込み
入力画像を画像メモリG1に格納する(ボックスH50
0−25)。このあと最初に入力した画像と再度入力し
た画像との比較を行うために、2画像間で画像間演算
(減算)を実行する(ボックスH500−30)。すな
わち画像メモリG0に格納されたデータと画像メモリG
1に格納されたデータとの差を求め、監視対象とみなさ
れる画像を選択するための処理を行う。このあと演算結
果による画像GOUTを2値化処理し、監視対象とみな
される画像を生成する(ボックスH500−35)。こ
のあと監視エリア64、65、66ごとにウインドウを
設定し、設定したウインドウを順次セットする(ボック
スH500−40、H500−45)。このとき各ウイ
ンドウ内に画像変化が検知されたときには、各監視エリ
ア64〜66内に監視対象が存在するとして監視対象と
みなされる画像の特徴量を抽出する(ボックスH500
−50)。そして抽出した特徴量を評価する(ボックス
H500−55)。すなわち抽出した図形の特徴量が監
視対象モデル群のいずれかと類似するか否かを評価す
る。さらに抽出した図形の特徴量が監視対象モデル群の
中のいずれかのモデルの特徴量と合致するか否かを判定
する(ブロックH500−60)。例えば、監視エリア
67で生成された図形の特徴量とアイコン101を基に
生成された監視対象モデルの特徴量とが合致する否かを
判定する。各図形の特徴量を生成するに際しては、地形
情報テーブル97に格納されたデータ(座標)やカメラ
3の条件(焦点距離、角度)を基に各図形の面積、高
さ、幅などを生成する。さらに、月、日、時刻を考慮
し、画像入力によって生成された図形に影を付加する必
要があるときには、影が追加された図形として処理す
る。この場合、生成した図形と影を有するモデルとの比
較が行われることになる。そして生成した図形とモデル
とが合致しないときにはウインドウの番号を+1し(ブ
ロックH500−65)、各監視エリアにウインドウを
設定したか否かを判定する(ブロックH500−7
0)。
【0220】一方、生成した図形とモデルとが合致した
ときには(ブロックH500−60)、侵入者有りの情
報を送信し(ブロックH500−75)、送信内容を操
作用画面上に表示させ、このルーチンでの処理を終了す
る。
【0221】本実施形態における画像処理装置53の主
たる処理は侵入者監視手段95によって行われるように
なっており、この侵入者監視手段95は、カメラ3によ
り撮像された各監視エリアに関する画像の中から監視対
象とみなされる画像を各監視エリアごとに選択する選択
手段と、画像選択手段により選択された各画像を基に各
画像の特徴量を抽出する特徴量抽出手段と、特徴量抽出
手段により抽出された各特徴量とモデル選択手段により
選択された各監視対象モデルあるいはモデル修正手段に
よって修正された各監視対象モデルとを比較して監視対
象とみなされる画像をそれぞれ評価する評価手段と、評
価手段の評価結果から各監視エリア内に監視対象が存在
するか否かを判定する判定手段としての機能を備えてい
る。
【0222】本実施形態における装置のデータフローを
まとめると図33にのように表わせる。すなわち監視条
件の設定が選択されたときにはマウス51とマンマシン
手段70を含むマンマシン端末とシステム制御装置52
との間でデータの授受が行われ、シーン設定が選択され
たときにはマンマシン端末とシステム制御装置52、映
像機器制御手段5との間でデータの授受が行われ、可動
雲台4の回動が制御される。またシーン中監視エリアの
設定が選択されたときにはマンマシン端末とシステム制
御装置52との間でデータの授受が行われる。さらに監
視対象物仕様設定が選択されたときにはマンマシン端末
とシステム制御装置52との間でデータの授受が行われ
るとともにシステム制御装置52と画像処理装置53と
の間でデータの授受が行われる。また設定終了時にはマ
ンマシン端末からの指令がシステム制御装置52を介し
て画像処理装置53に転送され、設定処理が終了する。
また監視開始処理が選択されたときにはマンマシン端末
とシステム制御措置52との間でデータの授受が行われ
るとともに、システム制御装置52と画像処理装置53
との間でデータの授受が行われる。そして監視停止処理
が選択されたときにはマンマシン端末からの指令がシス
テム制御装置52に転送されて監視処理が停止されるこ
とになる。
【0223】また本発明に係る装置の処理は図34に示
すようなタイムチャートにしたがって実行されることに
なる。図34において、T0は、監視開始時のシステム
制御装置52から画像処理装置53へのデータ転送時間
である。Tiは、i番目のシーンの監視トータル所要時
間であり、tw(i)は実際の監視時間である。またT
sは、シーン監視開始指令転送に要する時間であり、T
eは、シーン監視停止に要する時間である。さらにTc
は、全監視シーンを1回監視するのに要する時間であ
る。
【0224】図35は、テーブル82の構成を示す図で
あり、このテーブル82には、シーン番号、エリア番
号、エリア作成仕様、特徴量の種類、特徴量の仕様に対
応したデータが格納されている。そして一つのシーン中
には最大4個のエリア番号が含まれており、この場合は
4個固定であるが任意に設定することができる。各エリ
アには、エリア作成のための座標系点群がある。この座
標系点群の数はki、各座標系の値は(x1,y1)〜
(xki,yki)である。さらに特徴量の種類はFI
T1〜HIT4であり、各特徴量として面積Si、高さ
Hi、幅Biが設定されている。
【0225】本実施形態によれば以下の効果を得ること
ができる。
【0226】(1)比較的広い範囲の監視を1台のカメ
ラで監視できるので建設費が安価となる。
【0227】(2)1シーンの監視スペースと監視時間
を適切に設定することで、監視対象の侵入を確実に監視
することができる。
【0228】(3)1シーンのなかに複数の監視エリア
を設けることで、各監視エリアごとに独立に特徴量を設
定することができ、監視対象の分類精度を向上させるこ
とができる。
【0229】(4)監視対象モデルを画面上で作成し、
作成したモデルと画像入力で得られた図形とを比較する
ことで監視エリア内に監視対象が侵入したか否かを確実
に判定することができる。
【0230】(5)監視対象モデルをモニタ画面上で生
成するようにしているため、監視対象モデルの特徴量の
設定を容易に行うことができる。
【0231】(6)監視対象モデルを作成する場合、
月、日、時刻あるいは影を考慮して生成しているため、
監視エリア内に監視対象が侵入したか否かを精度良く判
定することができる。
【0232】
【発明の効果】本発明によれば、画像処理による入侵入
者監視装置において以下のような効果がある。
【0233】(1)侵入者を検知したとき、人と車両等
に特定する際、ズームやカメラ姿勢変動があると従来の
方法では対象物を特定できなることがあるが、本方法で
は、ズームやカメラ姿勢変動があってもその影響を受け
ずに正常に特定できること。
【0234】(2)地表面をカメラで斜め方向からみる
ような場合には、同一画面の対象物が、対象物までの距
離の遠近による像のゆがみ歪が場所により大きさの差が
あり従来の方法では、中心から近くまたは遠くはなれる
と特定を正常にできないことがあるが、本方法では、対
象物の位置にかかわらず正常に特定できる。
【0235】(3)ズームやカメラ姿勢の制御情報と特
徴量を記憶しておきこれらの変動があったときにそのつ
ど関係する特徴量等を修正を加えるようにすることによ
り教示等をその都度行う必要がなく便利である。
【0236】(4)1シーンの監視スペースと監視時間
を適切に設定することで、監視対象の侵入を確実に監視
することができる。
【0237】(5)1シーンのなかに複数の監視エリア
を設けることで、各監視エリアごとに独立に特徴量を設
定することができ、監視対象の分類精度を向上させるこ
とができる。
【0238】(6)監視対象モデルを画面上で作成し、
作成したモデルと画像入力で得られた図形とを比較する
ことで監視エリア内に監視対象が侵入したか否かを確実
に判定することができる。
【0239】(7)監視対象モデルを作成する場合、
月、日、時刻あるいは影を考慮して生成しているため、
監視エリア内に監視対象が侵入したか否かを精度良く判
定することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態における画像処理を用いた
侵入者監視装置の構成図である。
【図2】教示時及び視野角変化時の映像系の設置条件を
示す図である。
【図3】傾斜角変更時と傾斜角と視野角を同時に変化さ
せた時の映像系の設置条件を示す図である。
【図4】教示時の映像系モデルを示す図である。
【図5】傾斜角と視野角を同時に変化させた時の映像系
モデルを示す図である。
【図6】撮像における光学モデルを示す図である。
【図7】侵入者監視処理全体フローを示す図である。
【図8】監視対象物教示処理のフローを示す図である。
【図9】教示結果のテーブル格納処理のフローを示す図
である。
【図10】カメラ姿勢制御とズーム制御の処理のフロー
を示す図である。
【図11】特徴量修正処理のフローを示す図である。
【図12】監視処理のフローを示す図である。
【図13】データ対象物特徴量管理テーブルの一例を示
す図である。
【図14】βとγからH2を求めるデータテーブルを示
す図である。
【図15】βからH2を求めるデータテーブルを示す図
である。
【図16】本発明の他の実施形態を示す侵入者監視装置
の全体構成図である。
【図17】監視シーンの設定例を示す図である。
【図18】監視シーン内に設定された監視エリアの一例
を示す図である。
【図19】システム制御装置のプログラムの構成を説明
するための図である。
【図20】監視条件選択処理の一例を示すフローチャー
トである。
【図21】カメラ条件とシーン番号設定処理を説明する
ためのフローチャートである。
【図22】監視エリア設定処理を説明するためのフロー
チャートである。
【図23】監視対象物仕様設定処理を説明するためのフ
ローチャートである。
【図24】監視対象モデルの生成方法を説明するための
図である。
【図25】監視対象モデルに影を付加するときの方法を
説明するための図である。
【図26】監視対象モデルに時刻を考慮した影を付加す
るときの方法を説明するための図である。
【図27】シーン監視スケジュール設定処理を説明する
ためのフローチャートである。
【図28】監視処理開始の処理を説明するためのフロー
チャートである。
【図29】監視処理管理の処理を説明するためのフロー
チャートである。
【図30】監視処理停止の処理を説明するためのフロー
チャートである。
【図31】画像処理装置の処理を説明するためのフロー
チャートである。
【図32】画像解析による侵入者監視処理を説明するた
めのフローチャートである。
【図33】本発明の第2実施形態に係る装置の処理によ
るデータフローを示す図である。
【図34】本発明の第2実施形態に係る装置の処理の流
れを示すタイムチャートである。
【図35】テーブルの構成を説明するための図である。
【符号の説明】
1 侵入者監視装置本体部 2 システム管理制御手段 3 ITVカメラ 4 雲台 5 映像機器制御手段 6 アラーム出力手段 7 映像増幅分配手段 8 映像切替手段 9 カメラ設置台 10 監視用モニタTV 11 画像取込手段 12 侵入者検知及び特定手段 13 映像機器制御情報テーブル 14 検知対象物特徴量教示手段 15 処理結果画像出力手段 16 カメラ姿勢制御情報管理手段 17 レンズズーム情報管理手段 18 検知対象物特徴量更新手段 19 対象物特徴量管理テーブル 20 地形情報テーブル 21 外部インターフェース 22 マンマシンインターフェース機器 23 画像解析による侵入者監視処理部 24 撮像板 25 画像メモリ 26 画像メモリ原点 27 画像メモリ画面中心 28 レンズ 30 検知対象物 50 ディスプレイ装置 51 マウス 52 システム制御装置 53 画像処理装置 70 マンマシン手段 71 外部通信手段 72 制御処置本体部 74 監視条件設定手段 75 シーン選択手段 76 シーン中監視エリア設定手段 77 監視物仕様決定手段 78 監視サイクル設定手段 79 監視開始手段 80 監視停止手段 81 監視処理管理手段 82 テーブル 84 監視開始指令発行手段 85 監視中断指令発行手段 86 シーン情報送信手段 90 送受信手段 91 画像処理統括プログラム 92 シーン切替手段 93 監視エリア切替手段 94 監視対象物仕様更新手段 95 侵入者監視手段 96 特徴量テーブル 97 地形情報テーブル。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI H04N 5/225 H04N 5/232 Z 5/232 G06F 15/62 380 (72)発明者 鈴木 弘 茨城県日立市大みか町五丁目2番1号 日 立プロセスコンピュータエンジニアリング 株式会社内 (72)発明者 酒井 邦造 茨城県日立市大みか町五丁目2番1号 株 式会社日立製作所大みか工場内 (72)発明者 小林 芳樹 茨城県日立市大みか町七丁目1番1号 株 式会社日立製作所日立研究所内 (72)発明者 斉藤 健 東京都千代田区神田駿河台四丁目6番地 株式会社日立製作所内

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】 監視カメラと、該カメラの画像を解析す
    るための画像処理装置と、前記監視カメラを含む映像機
    器を制御する映像機器制御装置とを有し、さらに映像機
    器を制御するための情報である映像制御情報,対象物の
    特徴量に関する情報である対象物特徴量情報、および監
    視対象区域の地形情報のうちの少なくとも一つの情報を
    管理する手段を有し、対象物の特徴量を教示し、映像機
    器や環境の条件が変化したとき解析の基準となる特徴量
    を修正することを特徴とする侵入者監視装置。
  2. 【請求項2】 監視カメラ、該カメラの画像を解析する
    ための画像処理装置と、前記監視カメラを含む映像機器
    を制御する映像機器制御装置とを有し、さらに映像機器
    を制御するための情報である映像制御情報、対象物の特
    徴量に関する情報である対象物特徴量情報、および監視
    対象区域の地形情報うちの少なくとも一つの情報を管理
    する手段を有し、対象物の特徴量を教示し、映像機器や
    環境の条件が変化したとき基準特徴量を修正することを
    特徴とする侵入者監視装置。
  3. 【請求項3】 請求項1において、検知対象物毎に像の
    地面に接する部分の位置を計測し、シーン中心との距離
    にて基準特徴量を検知対象物毎に補正することを特徴と
    する侵入者監視装置。
  4. 【請求項4】 請求項1及び請求項3において、監視カ
    メラのズームのみ可変な構成において地形情報として、
    カメラ設置点と地上のシーン中心点の標高差を使用する
    ことにより基準特徴量を修正することを特徴とする侵入
    者監視装置。
  5. 【請求項5】 請求項1及び請求項3において、監視カ
    メラのズームと俯仰角のみ可変な構成において、地形情
    報として俯仰角に対応する地点とカメラ設置点との標高
    差をデータテーブルにしたものを使用することを特徴と
    する侵入者監視装置。
  6. 【請求項6】 請求項1及び請求項3において、監視カ
    メラのズーム、カメラ垂直方向、水平方向姿勢を変更で
    きる構成において、地形情報として、カメラ垂直方向、
    水平方向姿勢に対応する地点とカメラ設置点との標高差
    をデータテーブルにしたものを使用することを特徴とす
    る侵入者監視装置。
  7. 【請求項7】 所定の検知対象物の特徴量に基づいて画
    像による検知を行う画像処理装置において、 画像の撮像条件の変化に基づいて、前記特徴量を更新す
    る特徴量更新装置を有することを特徴とする画像処理装
    置。
  8. 【請求項8】 画像を撮像するカメラと、該画像が入力
    される請求項1記載の画像処理装置と、該画像が表示さ
    れる表示装置と、これらを管理する管理装置と、該管理
    装置を操作する操作装置とを有する監視装置。
  9. 【請求項9】 所定の検知対象物の特徴量に基づいて画
    像による検知を行う画像処理方法おいて、 画像の撮像条件の変化に基づいて、前記特徴量を更新
    し、更新された特徴量に基づいて画像による対象物の検
    知を行うことを特徴とする画像処理方法。
  10. 【請求項10】 監視対象区域に存在するものを被写体
    としてこの被写体の光学像を映像信号に変換する監視カ
    メラと、監視カメラにより撮像された画像を処理する画
    像処理手段とを備え、前記画像処理手段は、前記監視カ
    メラにより撮像された監視対象区域に関する画像の中か
    ら監視対象とみなされる画像を選択し、選択した画像の
    特徴量を抽出し、抽出した特徴量と予め定めた監視対象
    モデルとを比較して監視対象とみなされる画像を評価
    し、この評価により監視対象区域内に監視対象が存在す
    るか否かを判定してなる侵入者監視装置。
  11. 【請求項11】 監視対象区域に存在するものを被写体
    としてこの被写体の光学像を映像信号に変換する監視カ
    メラと、監視カメラにより撮像された画像を処理する画
    像処理手段とを備え、前記画像処理手段は、前記監視カ
    メラにより撮像された監視対象区域に関する画像の中か
    ら監視対象とみなされる画像を選択し、選択した画像の
    特徴量を抽出し、かつ予め定めた監視対象モデル群の中
    から現時点の監視対象区域の環境に基づいて指定の監視
    対象モデルを選択し、抽出した特徴量と選択した監視対
    象モデルとを比較して監視対象とみなされる画像を評価
    し、この評価により監視対象区域内に監視対象が存在す
    るか否かを判定してなる侵入者監視装置。
  12. 【請求項12】 複数の監視対象区域に存在するものを
    被写体として各監視対象区域内の被写体の光学像を映像
    信号に変換する監視カメラと、監視カメラの姿勢を周期
    的に制御して監視カメラの視野を各監視対象区域に順次
    変更するカメラ制御手段と、監視カメラにより撮像され
    た各監視対象区域に関する画像の中から監視対象とみな
    される画像を各監視対象区域毎に選択する画像選択手段
    と、画像選択手段により選択された各画像を基に各画像
    の特徴量を抽出する特徴量抽出手段と、特徴量抽出手段
    により抽出された各特徴量と予め定めた監視対象モデル
    とを比較して監視対象とみなされる画像をそれぞれ評価
    する評価手段と、評価手段の評価結果から各監視対象区
    域内に監視対象が存在するか否かを判定する判定手段と
    を備えてなる侵入者監視装置。
  13. 【請求項13】 複数の監視対象区域に存在するものを
    被写体として各監視対象区域内の被写体の光学像を映像
    信号に変換する監視カメラと、監視カメラの姿勢を周期
    的に制御して監視カメラの視野を各監視対象区域に順次
    変更するカメラ制御手段と、監視カメラにより撮像され
    た各監視対象区域に関する画像の中から監視対象とみな
    される画像を各監視対象区域毎に選択する画像選択手段
    と、画像選択手段により選択された各画像を基に各画像
    の特徴量を抽出する特徴量抽出手段と、予め定めた監視
    対象モデル群の中から現時点の監視対象区域の環境に基
    づいて指定の監視対象モデルを各監視対象区域に対応づ
    けて選択するモデル選択手段と、特徴量抽出手段により
    抽出された各特徴量とモデル選択手段により選択された
    各監視対象モデルとを比較して監視対象とみなされる画
    像をそれぞれ評価する評価手段と、評価手段の評価結果
    から各監視対象区域内に監視対象が存在するか否かを判
    定する判定手段とを備えてなる侵入者監視装置。
  14. 【請求項14】 複数の監視対象区域に存在するものを
    被写体として各監視対象区域内の被写体の光学像を映像
    信号に変換する監視カメラと、監視カメラの姿勢を周期
    的に制御して監視カメラの視野を各監視対象区域に順次
    変更するカメラ制御手段と、監視カメラにより撮像され
    た各監視対象区域に関する画像の中から監視対象とみな
    される画像を各監視対象区域毎に選択する画像選択手段
    と、画像選択手段により選択された各画像を基に各画像
    の特徴量を抽出する特徴量抽出手段と、予め定めた監視
    対象モデル群の中から現時点の日付と時刻に基づいて指
    定の監視対象モデルを各監視対象区域に対応づけて選択
    するモデル選択手段と、特徴量抽出手段により抽出され
    た各特徴量とモデル選択手段により選択された各監視対
    象モデルとを比較して監視対象とみなされる画像をそれ
    ぞれ評価する評価手段と、評価手段の評価結果から各監
    視対象区域内に監視対象が存在するか否かを判定する判
    定手段とを備えてなる侵入者監視装置。
  15. 【請求項15】 複数の監視対象区域に存在するものを
    被写体として各監視対象区域内の被写体の光学像を映像
    信号に変換する監視カメラと、監視カメラの姿勢を周期
    的に制御して監視カメラの視野を各監視対象区域に順次
    変更するカメラ制御手段と、監視カメラにより撮像され
    た各監視対象区域に関する画像の中から監視対象とみな
    される画像を各監視対象区域毎に選択する画像選択手段
    と、画像選択手段により選択された各画像を基に各画像
    の特徴量を抽出する特徴量抽出手段と、予め定めた監視
    対象モデル群の中から現時点の日付と時刻及び影に基づ
    いて指定の監視対象モデルを各監視対象区域に対応づけ
    て選択するモデル選択手段と、特徴量抽出手段により抽
    出された各特徴量とモデル選択手段により選択された各
    監視対象モデルとを比較して監視対象とみなされる画像
    をそれぞれ評価する評価手段と、評価手段の評価結果か
    ら各監視対象区域内に監視対象が存在するか否かを判定
    する判定手段とを備えてなる侵入者監視装置。
  16. 【請求項16】 複数の監視対象区域に存在するものを
    被写体として各監視対象区域内の被写体の光学像を映像
    信号に変換する監視カメラと、監視カメラの姿勢を周期
    的に制御して監視カメラの視野を各監視対象区域に順次
    変更するカメラ制御手段と、監視カメラにより撮像され
    た各監視対象区域に関する画像の中から監視対象とみな
    される画像を各監視対象区域毎に選択する画像選択手段
    と、画像選択手段により選択された各画像を基に各画像
    の特徴量を抽出する特徴量抽出手段と、画像選択手段に
    より選択された各画像を予め定めた監視対象モデル群と
    ともに表示画面上に表示する表示手段と、表示手段の表
    示画面上に表示された監視対象モデル群の中から指定の
    監視対象モデルを各監視対象区域に対応づけて選択する
    モデル選択手段と、特徴量抽出手段により抽出された各
    特徴量とモデル選択手段により選択された各監視対象モ
    デルとを比較して監視対象とみなされる画像をそれぞれ
    評価する評価手段と、評価手段の評価結果から各監視対
    象区域内に監視対象が存在するか否かを判定する判定手
    段とを備えてなる侵入者監視装置。
  17. 【請求項17】 複数の監視対象区域に存在するものを
    被写体として各監視対象区域内の被写体の光学像を映像
    信号に変換する監視カメラと、監視カメラの姿勢を周期
    的に制御して監視カメラの視野を各監視対象区域に順次
    変更するカメラ制御手段と、監視カメラにより撮像され
    た各監視対象区域に関する画像の中から監視対象とみな
    される画像を各監視対象区域毎に選択する画像選択手段
    と、画像選択手段により選択された各画像を基に各画像
    の特徴量を抽出する特徴量抽出手段と、画像選択手段に
    より選択された各画像を予め定めた監視対象モデル群と
    ともに表示画面上に表示する表示手段と、表示手段の表
    示画面上に表示された監視対象モデル群の中から指定の
    監視対象モデルを各監視対象区域に対応づけて選択する
    モデル選択手段と、モデル選択手段により選択された指
    定の監視対象モデルを現時点の日付と時刻に基づいてそ
    れぞれ修正するモデル修正手段と、特徴量抽出手段によ
    り抽出された各特徴量とモデル修正手段により修正され
    た各監視対象モデルとを比較して監視対象とみなされる
    画像をそれぞれ評価する評価手段と、評価手段の評価結
    果から各監視対象区域内に監視対象が存在するか否かを
    判定する判定手段とを備えてなる侵入者監視装置。
  18. 【請求項18】 複数の監視対象区域に存在するものを
    被写体として各監視対象区域内の被写体の光学像を映像
    信号に変換する監視カメラと、監視カメラの姿勢を周期
    的に制御して監視カメラの視野を各監視対象区域に順次
    変更するカメラ制御手段と、監視カメラにより撮像され
    た各監視対象区域に関する画像の中から監視対象とみな
    される画像を各監視対象区域毎に選択する画像選択手段
    と、画像選択手段により選択された各画像を基に各画像
    の特徴量を抽出する特徴量抽出手段と、画像選択手段に
    より選択された各画像を予め定めた監視対象モデル群と
    ともに表示画面上に表示する表示手段と、表示手段の表
    示画面上に表示された監視対象モデル群の中から指定の
    監視対象モデルを各監視対象区域に対応づけて選択する
    モデル選択手段と、モデル選択手段により選択された指
    定の監視対象モデルを現時点の日付と時刻及び影に基づ
    いてそれぞれ修正するモデル修正手段と、特徴量抽出手
    段により抽出された各特徴量とモデル修正手段により修
    正された各監視対象モデルとを比較して監視対象とみな
    される画像をそれぞれ評価する評価手段と、評価手段の
    評価結果から各監視対象区域内に監視対象が存在するか
    否かを判定する判定手段とを備えてなる侵入者監視装
    置。
JP9212985A 1996-09-20 1997-08-07 画像処理装置及び侵入者監視装置 Pending JPH10150656A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP9212985A JPH10150656A (ja) 1996-09-20 1997-08-07 画像処理装置及び侵入者監視装置
US08/932,649 US20010010542A1 (en) 1996-09-20 1997-09-18 Image processor, intruder monitoring apparatus and intruder monitoring method
US10/842,527 US20040207729A1 (en) 1996-09-20 2004-05-11 Image processor, intruder monitoring apparatus and intruder monitoring method
US12/007,636 US20080122930A1 (en) 1996-09-20 2008-01-14 Image processor, intruder monitoring apparatus and intruder monitoring method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP24972896 1996-09-20
JP8-249728 1996-09-20
JP9212985A JPH10150656A (ja) 1996-09-20 1997-08-07 画像処理装置及び侵入者監視装置

Publications (1)

Publication Number Publication Date
JPH10150656A true JPH10150656A (ja) 1998-06-02

Family

ID=26519557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9212985A Pending JPH10150656A (ja) 1996-09-20 1997-08-07 画像処理装置及び侵入者監視装置

Country Status (2)

Country Link
US (3) US20010010542A1 (ja)
JP (1) JPH10150656A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7496212B2 (en) 2003-05-16 2009-02-24 Hitachi Kokusai Electric Inc. Change detecting method and apparatus
JP2010079328A (ja) * 2008-09-24 2010-04-08 Nec Corp 画像補正装置およびその補正方法
JP2023525066A (ja) * 2020-06-03 2023-06-14 グーグル エルエルシー 被写体下端位置に基づいた深度推定

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
JP2003315450A (ja) * 2002-04-24 2003-11-06 Hitachi Ltd ミリ波レーダ用監視システム
US20060072010A1 (en) * 2004-09-24 2006-04-06 Objectvideo, Inc. Target property maps for surveillance systems
NZ564851A (en) * 2005-06-20 2009-11-27 Lextar Pty Ltd Directional surveillance camera with ring of directional detectors
KR101392294B1 (ko) 2006-04-17 2014-05-27 오브젝트비디오 인코퍼레이티드 통계적인 픽셀 모델링을 이용한 비디오 분할
US20100046937A1 (en) * 2006-10-16 2010-02-25 Mteye Security Ltd. Device and system for preset field-of-view imaging
US8792005B2 (en) * 2006-11-29 2014-07-29 Honeywell International Inc. Method and system for automatically determining the camera field of view in a camera network
KR100993193B1 (ko) * 2009-01-21 2010-11-09 주식회사오리온테크놀리지 모니터 감시시스템 및 이의 감시 제어방법
JP5202551B2 (ja) * 2009-01-23 2013-06-05 株式会社日立国際電気 パラメータ設定方法及び該方法を用いた監視装置
US8760513B2 (en) 2011-09-30 2014-06-24 Siemens Industry, Inc. Methods and system for stabilizing live video in the presence of long-term image drift
KR101758735B1 (ko) * 2012-12-03 2017-07-26 한화테크윈 주식회사 카메라와 목표물 사이의 수평 거리를 구하는 방법, 이 방법을 채용한 카메라 및 감시 시스템
IL228735B (en) * 2013-10-06 2018-10-31 Israel Aerospace Ind Ltd A system and method for determining target direction
KR102282456B1 (ko) * 2014-12-05 2021-07-28 한화테크윈 주식회사 평면도에 히트맵을 표시하는 장치 및 방법
WO2017149441A1 (en) * 2016-02-29 2017-09-08 Nokia Technologies Oy Adaptive control of image capture parameters in virtual reality cameras
CN112272288B (zh) * 2020-10-23 2023-04-07 岭东核电有限公司 核电作业监控方法、装置、计算机设备和存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3686434A (en) * 1957-06-27 1972-08-22 Jerome H Lemelson Area surveillance system
US4294544A (en) * 1979-08-03 1981-10-13 Altschuler Bruce R Topographic comparator
US5579444A (en) * 1987-08-28 1996-11-26 Axiom Bildverarbeitungssysteme Gmbh Adaptive vision-based controller
US5473368A (en) * 1988-11-29 1995-12-05 Hart; Frank J. Interactive surveillance device
NL8900056A (nl) * 1989-01-11 1990-08-01 Philips Nv Werkwijze voor het visueel weergeven van een deel van een topografische kaart, alsmede inrichting geschikt voor een dergelijke werkwijze.
DE3915702A1 (de) * 1989-05-13 1990-11-15 Forschungszentrum Juelich Gmbh Verfahren zum verbinden von werkstuecken mittels grenzflaechendiffusion
KR100204101B1 (ko) * 1990-03-02 1999-06-15 가나이 쓰도무 화상처리장치
US5091780A (en) * 1990-05-09 1992-02-25 Carnegie-Mellon University A trainable security system emthod for the same
US5109278A (en) * 1990-07-06 1992-04-28 Commonwealth Edison Company Auto freeze frame display for intrusion monitoring system
US5150099A (en) * 1990-07-19 1992-09-22 Lienau Richard M Home security system and methodology for implementing the same
US5220441A (en) * 1990-09-28 1993-06-15 Eastman Kodak Company Mechanism for determining parallax between digital images
JP2644935B2 (ja) * 1991-07-25 1997-08-25 株式会社日立製作所 地形情報処理方法および装置
US5309522A (en) * 1992-06-30 1994-05-03 Environmental Research Institute Of Michigan Stereoscopic determination of terrain elevation
US5583950A (en) * 1992-09-16 1996-12-10 Mikos, Ltd. Method and apparatus for flash correlation
US5497188A (en) * 1993-07-06 1996-03-05 Kaye; Perry Method for virtualizing an environment
US5640468A (en) * 1994-04-28 1997-06-17 Hsu; Shin-Yi Method for identifying objects and features in an image
US5666157A (en) * 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
US5606627A (en) * 1995-01-24 1997-02-25 Eotek Inc. Automated analytic stereo comparator
US5689442A (en) * 1995-03-22 1997-11-18 Witness Systems, Inc. Event surveillance system
US5616886A (en) * 1995-06-05 1997-04-01 Motorola Wirebondless module package
ATE237811T1 (de) * 1996-05-14 2003-05-15 Honeywell Int Inc Autonomes landeführungssystem
US5861905A (en) * 1996-08-21 1999-01-19 Brummett; Paul Louis Digital television system with artificial intelligence
US6009359A (en) * 1996-09-18 1999-12-28 National Research Council Of Canada Mobile system for indoor 3-D mapping and creating virtual environments
US6816090B2 (en) * 2002-02-11 2004-11-09 Ayantra, Inc. Mobile asset security and monitoring system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7496212B2 (en) 2003-05-16 2009-02-24 Hitachi Kokusai Electric Inc. Change detecting method and apparatus
JP2010079328A (ja) * 2008-09-24 2010-04-08 Nec Corp 画像補正装置およびその補正方法
JP2023525066A (ja) * 2020-06-03 2023-06-14 グーグル エルエルシー 被写体下端位置に基づいた深度推定

Also Published As

Publication number Publication date
US20010010542A1 (en) 2001-08-02
US20080122930A1 (en) 2008-05-29
US20040207729A1 (en) 2004-10-21

Similar Documents

Publication Publication Date Title
JPH10150656A (ja) 画像処理装置及び侵入者監視装置
US11070725B2 (en) Image processing method, and unmanned aerial vehicle and system
CN112184890B (zh) 一种应用于电子地图中的摄像头精准定位方法及处理终端
US12587731B2 (en) Information processing apparatus, mobile machine, image capturing system, image capturing control method, and program
US8189962B2 (en) Image processing apparatus
CN117115784B (zh) 目标数据融合的车辆检测方法及检测装置
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN113887641B (zh) 一种基于输电通道的隐患目标确定方法、设备及介质
CN112714287B (zh) 一种云台目标转换控制方法、装置、设备及存储介质
JPWO2003102706A1 (ja) 遠隔操作ロボットおよびロボット自己位置同定方法
KR101558467B1 (ko) 지피에스 수신기의 동선에 따라 수치지도에 링크된 수치좌표를 보정하는 수치정보 시스템
WO2023087894A1 (zh) 区域调整方法和装置、摄像头和存储介质
JP5183152B2 (ja) 画像処理装置
WO2021253247A1 (zh) 可移动平台的巡检方法、装置、可移动平台及存储介质
CN114494997B (zh) 一种机器人辅助火焰识别与定位方法
CN112257497B (zh) 一种利用空地融合真三维场景对线路施工监督的方法
CN119562036B (zh) 一种基于无人机的电力巡检方法与系统
WO2019187772A1 (ja) 建造物管理システム、学習装置、位置判定装置、及び位置判定方法
CN111277791B (zh) 一种案事件监测方法及系统
CN115147262A (zh) 一种图像生成方法和装置
CN120182918B (zh) 基于摄像头ptz值的动态区域匹配与策略自动关联方法
US11703820B2 (en) Monitoring management and control system based on panoramic big data
CN114363575B (zh) 一种重点车辆自动追踪快速定位持续监视的系统及方法
CN114037758B (zh) 基于图像的摄像机姿态感知系统
CN113643374A (zh) 基于道路特征的多目相机标定方法、装置、设备和介质