JP2010141599A - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP2010141599A
JP2010141599A JP2008316036A JP2008316036A JP2010141599A JP 2010141599 A JP2010141599 A JP 2010141599A JP 2008316036 A JP2008316036 A JP 2008316036A JP 2008316036 A JP2008316036 A JP 2008316036A JP 2010141599 A JP2010141599 A JP 2010141599A
Authority
JP
Japan
Prior art keywords
event
object movement
information processing
image
periodic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008316036A
Other languages
English (en)
Other versions
JP5289022B2 (ja
Inventor
Hideya Tanaka
秀哉 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008316036A priority Critical patent/JP5289022B2/ja
Priority to US12/633,585 priority patent/US8406473B2/en
Priority to EP09178764A priority patent/EP2196966A3/en
Priority to CN2009102524797A priority patent/CN101753998B/zh
Publication of JP2010141599A publication Critical patent/JP2010141599A/ja
Priority to US13/774,883 priority patent/US8750627B2/en
Application granted granted Critical
Publication of JP5289022B2 publication Critical patent/JP5289022B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G08B13/19615Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Emergency Alarm Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】 定期的な物体移動か不定期の物体移動かを正確に区別する。
【解決手段】 保持しておいた背景画像と入力画像とを比較して差分を得、差分の変化及び変化の時刻と予め記憶手段に記憶されている定期イベントの発生条件及び発生時刻とを照合することにより入力画像の状態変化が定期的な物体移動か不定期な物体移動かを判別し、判別結果に応じて、定期的な物体移動に応じた対応動作、または不定期な物体移動に応じた対応動作のいずれかを選択する。
【選択図】 図1

Description

本発明は、カメラ等から入力された画像の状態変化を判別する技術に関する。
カメラからの現在の入力画像と基準の背景画像との差を比較して変化部分を検出している監視カメラ等の監視装置がある。この種の装置では、その変化検出の持続時間が所定時間以上の場合に、物の置き去り、持ち去りが検出されたとして監視画面への表示や警告等に用いる信号を出力していた(特許文献1参照)。
特開2000−331254号公報(第4頁、図1)
しかしながら特許文献1では、変化を検出し続ける時間が所定時間以上になったことを検出条件とする物体移動検出のため、置き去りといった物体出現、持ち去りといった物体消失は、検出されると一律に警告対象とされることとなる。毎朝定期的に配達される牛乳瓶、新聞や、毎日定期的に来るコンビニエンスストアの配送車、郵便ポスト回収車のように、ほぼ同じ時刻に同じ位置へ同じ大きさの物体の移動が発生する局面がある。予定通りの物体出現ないし物体消失は承諾済みなので、毎度、置き去りないし持ち去りが発生したとして呼び出されたり、モニター確認を要請されたり、あるいは、発生現場へ確認しに行くのは、監視効率が悪い。以上のように、従来は定期的に起こる物体出現ないし消失と、不定期に起こる物体出現ないし消失を区別して扱うことが出来ていなかった。
本発明は、上述した問題点を解決するためのものであり、定期的な物体移動か不定期の物体移動かを正確に区別することができる情報処理装置及び情報処理方法を提供することを目的とする。
上記目的を達成するために、本発明の情報処理装置は、背景画像を保持する背景画像保持手段と、定期イベントの発生条件と発生時刻情報を記憶する定期イベント記憶手段と、画像を入力する画像入力手段と、前記背景画像保持手段の背景画像と前記画像入力手段から入力された入力画像とを比較して差分を得る画像比較手段と、前記差分の変化及び前記変化の時刻と前記定期イベント記憶手段に記憶されている前記発生条件及び発生時刻情報とを照合することにより、前記入力画像の状態変化が定期的な物体移動か不定期な物体移動かを判断する定期イベント照合手段と、前記判断の結果に応じて、定期的な物体移動に応じた対応動作、または不定期な物体移動に応じた対応動作のいずれかを選択するイベント別対応選択手段と、を備える。
本発明によれば、予定通りの定期的な物体移動か、不定期の物体移動かを区別できるので、以降の対応を適切に選別することができるという効果がある。
以下、図面を参照して、本発明を実施するための最良の形態を説明する。
図1は本発明の情報処理装置を適用したカメラシステムのブロック図である。100はカメラヘッドであり、画像入力の機能を有する。101は映像信号処理部であり、カメラヘッド100から出力されたカメラ信号を規格化された画像信号に変換処理したあと、入力画像としてのデジタル画像データを出力する。102は比較の基準となる背景画像を保存する基準背景画像保存部である。103は画像信号処理部101から出力された現在の入力画像を保存する現在入力画像格納部である。
104は温度や重量などの外部センサー情報を取得する外部センサー情報入力部である。105はカレンダー情報や時刻情報を出力する暦時間出力部である。106は定期イベントの発生時刻帯、発生位置、発生サイズ、発生色、発生形状、さらに発生重量、発生温度という定期的なイベント毎に発生時刻情報及び発生条件を記憶している定期イベント記憶部である。107は不定期の物体移動と判断した場合の対応動作、定期的な物体移動と判断した場合の対応動作を選択するイベント別対応選択部である。
108は、現在入力画像格納部103の画像を表示する、また、後述の各種設定等を行うための表示部である。操作部109は、後述の各種設定等のための情報を入力するための操作部である。110はネットワークインタフェース部であり、ネットワークを介して接続されたPCに対して入力画像の送信やPCからの各種遠隔制御コマンドを受信するために用いられる。111は各部を統合的に制御する主制御部であり、また、以下述べる各フローチャートに示される処理を実行するものである。
図2は、主制御部111がカメラシステムを制御するために実行するメインフローチャートである。
まず、ステップS201において、実際のシステムの運用開始前に基準となる背景画像の初期登録を行う。次に、ステップS202において、実際の運用開始前に定期イベントの事前登録を行う。本ステップでの処理の詳細は図3、図4で説明する。
ステップS203では、現在の入力画像に基づき実際の状態変化の監視動作を行う。本ステップの詳細は図5で説明する。次に、ステップS204では、ステップS203の監視動作の結果、状態変化は発生したかを判断し、発生していればステップS205へ処理を移し、そうでなければ、ステップS211へ処理を移す。
ステップS204で状態変化は発生したと判断した場合、ステップS205において、状態変化は全て登録の通りに発生したかを判断し、発生していればステップS210へ処理を移し、そうでなければ、ステップS206へ処理を移す。
ステップS205で状態変化は全て登録の通りに発生していないと判断した場合、ステップS206において、状態変化は全て未登録のイベントかを判断する。ステップS206において、未登録イベントであると判断したならステップS208へ処理を移し、そうでなければ、ステップS207へ処理を移す。
ステップS207において、登録済み定期イベントに応じた画像転送、メッセージ表示等の処理を行う。ステップS207での処理の詳細は図9で説明する。次に、ステップS208において、未登録の不定期イベントに応じた画像転送、アラート発生等の処理を行う。ステップS208での処理の詳細は図8で説明する。そして、ステップS209において、未登録であるが定期的に状態変化が発生する場合に学習して自動的に定期イベントとして登録を行って、ステップS203へ処理を戻す。ステップS209での処理の詳細は図11で説明する。
ステップS205で状態変化は全て登録の通りに発生したと判断した場合、ステップS210において、登録済み定期イベントに応じた画像転送、メッセージ表示等の処理を行い、ステップS213へ処理を移す。ステップS210での処理の詳細は図9で説明する。
一方、ステップS204で状態変化は発生してないと判断した場合、ステップS211において、登録の通りなら状態変化が発生しているはずであるかを判断し、発生しているはずならばステップS212へ処理を移し、そうでなければ、ステップS213へ処理を移す。
ステップS211で登録の通りなら状態変化が発生しているはずであると判断した場合、ステップS212において、遅延イベントに応じた画像転送、アラート表示等の処理を行い、ステップS213へ処理を移す。ステップS212での処理の詳細は図10で説明する。ステップS213において、新規に定期イベントを追加登録したい要求が来ているかを判断し、追加したければ、ステップS202へ処理を移し、そうでなければ、ステップS203へ処理を戻す。このようにメインフローチャートは巡回動作する。
図3は図2のステップS202で定期イベント記憶部106にイベントを登録するフローチャートである。図4は定期イベント事前登録をする手順のイメージ図である。この事前登録処理は、主制御部111が、表示部108の表示及び操作部109における操作入力を制御して実行する。なお、この事前登録は、図1のネットワークインタフェース部110を介して接続されたPCにおける表示部及び操作部を用いて遠隔制御により実行されてもよい。
ステップS301において、図4(A)のような管理エリアの画像を監視対象とする場合、図4(B)のような登録エリアと矢印が表示部108に表示され、ユーザは監視エリア中から登録エリアを選択可能になる。ここで、管理エリアの画像は、基準背景画像保持部に記録されている背景画像である。また、他の画像、例えば、変化の生じていないときに撮影した任意の静止画像等を用いても良い。本実施形態では、ユーザが背景画像を見ながら操作部109が備えるマウス等により指示することにより、図4(B)のように、例えば右下の左傾斜線部エリアに矢印が移動して、エリアを選択する。
ステップS302では、選択したエリアが拡大表示され、そのエリアに関してのユーザの操作に応答して、位置、サイズ、形状、範囲等の領域情報を入力する。図4(C)のように、例えば右下の左傾斜線部エリアが拡大表示された所で、ユーザ矢印の操作に応じて、交差斜線部分に相当する、領域情報を入力する。ユーザの操作により領域情報が決定されると、ステップS303において、決定した範囲の主な色を入力できるようになる。図4(C)のように、例えば左の色メニューからのユーザ選択に応じて色を入力する。
次に、図4(D)のように、暦時間帯、温度範囲、重量範囲をユーザ操作に設定させる画面に切り替わり、ユーザが操作部109のマウスやキーボードを用いて操作した結果に応じて各数値を入力する。ステップS304において、ユーザ操作に応じて暦や時刻帯を入力する。図4(D)では、例えば左の1段目枠と2段目枠のように七曜日帯や時刻帯を入力する。
ステップS305においては、ユーザ操作に応じて温度範囲を入力する。図4(D)のように、例えば左の3段目枠のように温度範囲を入力する。ステップS306においては、ユーザ操作に応じて重量範囲を入力する。図4(D)のように、例えば左の4段目枠のように重量範囲を入力する。
ステップS307において、登録終了の要求が入力されていないかを判断し、入力されていれば、ステップS301へ処理を移し、入力されていなければ、ステップS308へ処理を移す。ここで、上記各情報は必ずしもすべて入力しなければならないわけではない。少なくとも時刻帯と、位置あるいはサイズが登録できれば良い。
ステップS308では、主制御部111が上記各種設定入力に応じて内部のメモリに保持しておいた、各エリアについての各入力情報を定期イベント記憶部106に記録し、その後、本フローの処理を終了する。
図5は図2のステップS203における状態変化監視動作のフローチャートである。
まず、ステップS501において、主制御部111は、基準背景画像、現在入力画像を取得して両者の差分画像を生成する。そして、ステップS502において、差分画像の差分変化を検出する。
ステップS503において、差分変化が検出されたかどうか判断し、検出されていればステップS504へ処理を移し、されていなければ処理を終らせる。
ステップS504において、差分変化が検出され続ける経過時間を監視中かどうか判断し、監視中であればステップS506へ処理を移し、経過時間監視中でなければステップS505へ処理を移す。
ステップS504において経過時間監視中でないと判断された場合、すなわち、新たに物体が置かれた等の状況である場合、ステップS505において、経過時間の監視を開始してステップS506へ処理を移す。
ステップS506において、経過時間が所定時間以上であるかどうか判断し、所定時間以上である場合、すなわち、新たに置かれた物体が所定時間置き去りにされた状態の場合にステップS507へ処理を移す。一方所定時間経過していなければ処理を終らせる。
ステップS507において、定期イベント記憶部109に登録された監視エリアのうち1つの監視エリアを選択してステップS508へ処理を移す。
ステップS508において、定期イベント照合部105は、選択した監視エリアの登録済み定期イベントと照合し、ステップS509へ処理を移す。ステップS508での処理の詳細は図6で説明する。
ステップS509において、状態変化監視エリアを全て監視し終ったかどうか判断し、終了であればステップS511へ処理を移し、そうでなければ、ステップS510へ処理を移す。
ステップS510において、次の状態変化監視エリアの監視に移り、ステップS507へ処理を移す。ステップS511において、差分検出結果及び照合結果に応じて背景画像を更新設定して処理を終る。ステップS511での処理の詳細は図7で説明する。
図6は図5のステップS508における登録済み定期イベント照合のフローチャートである。
ステップS601において、選択した監視エリアの状態変化検出された年月日、曜日、時刻といった暦時間情報、また、変化位置に関する各種情報を取得する。ここで、各種情報とは、検出された変化位置、変化サイズ、変化色、変化形状、温度情報、重量情報と、図2のステップS202で登録済みの定期イベントに関する前記情報である。ステップS602〜ステップS615までは、検出した状態変化が登録済み定期イベントであるか否かの判断のために、変化検出時と登録時との間で上記各種情報の照合を行うものである。
まず、ステップS602において、該当時刻帯に変化予定があるかどうか判断し、予定があればステップS603へ処理を移し、予定が無ければステップS616へ処理を移す。ステップS603において、該当位置に変化予定があるかどうか判断し、予定が有ればステップS605へ処理を移し、予定が無ければステップS604へ処理を移す。ステップS604において、該当サイズの変化予定があるかどうか判断し、予定があればステップS607へ処理を移し、予定が無ければステップS616へ処理を移す。
ステップS605において、該当サイズの変化予定があるかどうか判断し、予定があればステップS606へ処理を移し、予定が無ければステップS607へ処理を移す。ステップS606において、時刻帯と位置とサイズの3条件が登録通りに変化したと照合して、ステップS608へ処理を移す。ステップS607において、時刻帯と位置またはサイズの2条件が登録通りに変化したと照合して、ステップS608へ処理を移す。
ステップS608以降において、更に照合条件を厳しくしている。ステップS608において、照合条件として色情報付きの変化予定があるかどうか判断し、予定があればステップS609へ処理を移し、予定が無ければステップS610へ処理を移す。ステップS609において、該当色の変化予定があるかどうか判断し、予定があればステップS610へ処理を移し、予定が無ければステップS616へ処理を移す。
ステップS610において、照合条件として形状情報付きの変化予定があるかどうか判断し、予定があればステップS611へ処理を移し、予定が無ければステップS612へ処理を移す。ステップS611において、該当形状の変化予定があるかどうか判断し、予定があればステップS612へ処理を移し、予定が無ければステップS616へ処理を移す。
ステップS612において、照合条件として温度情報付きの変化予定があるかどうか判断し、予定があればステップS613へ処理を移し、予定が無ければステップS614へ処理を移す。ステップS613において、該当温度の変化予定があるかどうか判断し、予定があればステップS614へ処理を移し、予定が無ければステップS616へ処理を移す。
ステップS614において、照合条件として重量情報付きの変化予定があるかどうか判断し、予定があればステップS615へ処理を移し、予定が無ければステップS617へ処理を移す。ステップS615において、該当重量の変化予定があるかどうか判断し、予定があればステップS617へ処理を移し、予定が無ければステップS616へ処理を移す。
ステップS616において、登録通りに変化していない未登録イベントだと照合して、処理を終る。ステップS617において、登録通りの変化している登録済み定期イベントだと照合確定して、処理を終る。
図7は図5のステップS511における背景画像更新のフローチャートである。
ステップS701において、状態変化があったかどうか判断し、変化があればステップS702へ処理を移し、変化が無ければステップS707へ処理を移す。ステップS702において、監視エリアを選択してステップS703へ処理を移す。ステップS703において、状態変化が未登録イベントであったかどうか判断し、未登録であればステップS708へ処理を移し、未登録でなければステップS704へ処理を移す。
ステップS704において、選択している監視エリアのみ、最新入力画像を背景画像に設定してステップS705へ処理を移す。ステップS705において、状態変化監視エリアを全て設定し終ったかどうか判断し、終了であれば処理を終らせ、そうでなければステップS706へ処理を移す。ステップS706において、次の状態変化監視エリアの設定に移り、ステップS702へ処理を移す。ステップS707において、画面全体で最新入力画像を背景画像に設定して処理を終らせる。ステップS708において、背景画像に変えないように設定して処理を終らせる。
図8は図2のステップS208における未登録イベント処理のフローチャートである。
ステップS801において、監視エリアを選択してステップS802へ処理を移す。ステップS802において、アラート処理をし、ステップS803へ処理を移す。ステップS803において、操作部109からのキー入力(不図示)によって未登録イベント発生をユーザー承認し、不審物から除外したかどうか監視し、除外していればステップS804へ処理を移し、そうでなければステップS806へ処理を移す。
ステップS804において、学習対象イベントに設定し、ステップS805へ処理を移す。ステップS805において、学習対象イベントに設定し、ステップS806へ処理を移す。ステップS806において、状態変化監視エリアを全て処理し終ったかどうか判断し、終了であれば処理を終らせ、そうでなければステップS807へ処理を移す。ステップS807において、次の状態変化監視エリアの処理に移り、ステップS801へ処理を移す。
図9は図2のステップS207、ステップS210における登録通りイベント処理のフローチャートである。ステップS901において、監視エリアを選択してステップS902へ処理を移す。ステップS902において、メッセージ処理をし、ステップS903へ処理を移す。ステップS903において、状態変化監視エリアを全て処理し終ったかどうか判断し、終了であれば処理を終らせ、そうでなければステップS904へ処理を移す。ステップS904において、次の状態変化監視エリアの処理に移り、ステップS901へ処理を移す。
図10は図2のステップS212における遅延イベント処理のフローチャートである。
ステップS1001において、監視エリアを選択してステップS1002へ処理を移す。ステップS1002において、アラート処理をし、ステップS1003へ処理を移す。ステップS1003において、状態変化監視エリアを全て処理し終ったかどうか判断し、終了であれば処理を終らせ、そうでなければステップS1004へ処理を移す。ステップS1004において、次の状態変化監視エリアの処理に移り、ステップS1001へ処理を移す。
図11は図2のステップS209におけるイベント学習登録のフローチャートである。
ステップS1101において、監視エリアを選択してステップS1102へ処理を移す。ステップS1102において、学習対象イベントかどうか判断し、対象であればステップS1103へ処理を移し、対象でなければステップS1111へ処理を移す。ステップS1103において、過去に所定回数以上、現在時刻帯にイベントがあったかどうか判断し、あればステップS1104へ処理を移し、なければステップS1110へ処理を移す。
ステップS1104において、過去に所定回数以上、現在位置にイベントがあったかどうか判断し、あればステップS1105へ処理を移し、なければステップS1106へ処理を移す。ステップS1105において、過去に所定回数以上、現在サイズのイベントがあったかどうか判断し、あればステップS1108へ処理を移し、なければステップS1107へ処理を移す。ステップS1106において、過去に所定回数以上、現在サイズのイベントがあったかどうか判断し、あればステップS1107へ処理を移し、なければステップS1110へ処理を移す。
ステップS1107において、時刻帯と位置、または時刻帯とサイズが一致するイベントが第2の所定回数以上あったかどうか判断し、あればステップS1109へ処理を移し、なければステップS1110へ処理を移す。ステップS1108において、時刻帯と位置とサイズの3条件が一致する定期的イベントが所定回数以上起きたので定期イベントとして学習登録してステップS1111へ処理を移す。ステップS1109において、時刻帯と位置、または時刻帯とサイズの2条件が一致する定期的イベントが第2の所定回数以上起きたので定期イベントとして学習登録してステップS1111へ処理を移す。
ステップS1110において、履歴を保存してステップS1111へ処理を移す。ステップS1111において、状態変化監視エリアを全て学習し終ったかどうか判断し、終了であれば処理を終らせ、そうでなければステップS1112へ処理を移す。ステップS1112において、次の状態変化監視エリアの学習に移り、ステップS1101へ処理を移す。
図12は画像変化が無い場合における、図2の状態変化監視動作をしている間のイメージ図である。(A1)は比較元の背景画像である。(B1)は現在の様子を映している画像である。(C1)は(A1)と(B1)の差分画像である。破線で示す領域は状態変化検出させる複数のエリアである。現在の画像が背景画像に対して変化してないので、差分画像は何も出ない。
図13は物が置かれた場合における、図2の状態変化監視動作をしている間のイメージ図である。(A2)は比較元の背景画像である。(B2)は左上と右下に物が置かれた現在の様子を映している画像である。(C2)は(A2)と(B2)の差分画像である。現在画像が背景画像に対して変化しているので、差分画像は左上と右下に差分画像が出る。(D2)は登録済みの定期イベントと照合するイメージ画像である。
例えば毎朝牛乳びんが右下に配達されると登録していれば、右下の変化は登録したイベントとして照合されるが、左上の変化は登録されておらず未登録と照合される。そして、主制御部111は、表示部108における警告動作として、差分画像に重畳させて、左上の変化は「置き去り検知しました」、右下の変化は「いつもの着荷です」と区別して表示させる。
図14は物が除かれる場合における、図2の状態変化監視動作をしている間のイメージ図である。(A3)は比較元の背景画像である。(B3)は右下の物が除かれた現在の様子を映している画像である。(C3)は(A3)と(B3)の差分画像である。(D3)は登録済みの定期イベントと照合するイメージ画像である。
例えば毎朝配達済み牛乳びんを取りに行く時刻帯を登録してあったとして、それ以前の時刻帯で右下に変化が出たときは登録されておらず合致しない。登録時刻帯より早く状態変化があった場合は、勝手な持ち去りが起きた可能性がある。したがって、主制御部111は、表示部108における警告動作として、差分画像に重畳させて、右下の変化は「予定より早い持去り発生」と区別して表示する。
図15は物が除かれる場合における、図2の状態変化監視動作をしている間のイメージ図である。(A4)は比較元の背景画像である。(B4)は右下の物が除かれていない現在の様子を映している画像である。(C4)は(A4)と(B4)の差分画像である。(D4)は登録済みの定期イベントと照合するイメージ画像である。
例えば毎朝牛乳びんが配達されたら所定の時間内に取りに行くと登録していれば、所定の時間より長く変化が出たときは合致しない。登録時刻帯より長く状態変化があった場合は、取り忘れが起きている可能性がある。したがって、主制御部111は、表示部108における警告動作として、差分画像に重畳させて、右下の変化は「予定より長い取り忘れ発生」と区別して表示する。
図16は定期イベント発生待ちを行っている場合における、図2の状態変化監視動作をしている間のイメージ図である。(A5)は比較元の背景画像である。(B5)は右下の物に定期イベントが起きない現在の様子を映している画像である。(C5)は(A5)と(B5)の差分画像である。(D5)は登録済みの定期イベントと照合するイメージ画像である。
例えば毎朝牛乳びんが配達される時刻帯を登録してあったとして、該当する時刻帯で右下に変化が出ないときは合致しない。登録時刻帯に状態変化が無い場合は、配達忘れが起きた可能性がある。したがって、主制御部111は、表示部108における警告動作として、差分画像に重畳させて、右下の変化は「予定より遅い配達忘れ発生」と区別して表示する。
図14の(C4)と図15の(C5)は同じであるが、定期的イベントが定期的消失か、定期的出現かの区別は登録済みイベントを参照すれば区別がつくのは明らかである。
以上のように、予定通りの定期的な配達物出現の時は、「着荷のお知らせメッセージ」を出す一方、不定期な置き去り物出現の時は、「不審物の置き去りアラート」を出すことが出きるという効果がある。
また予定時刻より前での持ち去り発生の時は、「持ち去りアラート」を出す一方、予定通りの定期的な配達物取り込みの時は、「許可メッセージ」を出し、予定を過ぎた置き続けの時は、「取り忘れアラート」を出すことが出きるという効果がある。
さらに、予定通りの定期的な配達物が現れない時、「配達忘れアラート」を出すことが出きるという効果がある。
上記実施形態では、警告動作として表示部108において、差分画像に文字を重畳して表示する例を説明したが、重畳させる画像は、入力した現在画像に対してでも良い。この場合は、例えば、不審物と思われる差分画像領域に対応する現在画像領域を半透明の警告色を重畳させて表示することにより、ユーザに通知することができる。
上記実施形態では、警告動作として表示部108への文字表示を行う例を説明したが、本発明は、これに限らず、図形表示による警告を行っても良い。また、画像表示ではなく、発光ダイオード等による点滅表示、音声による通知等により警告等を行っても良い。
また、上記実施形態では、1セットのシステムにおいて各種警告を行うようにしたが、ネットワークを介して接続された他の端末上における表示部において、同様の表示を行うようにしてもよい。
以上のように、本実施形態では、予め登録された定期的な物体移動と、非定期の物体移動を区別して、設置者の監視意図に沿わせて警告の種類を設定しておくことが出来るので、誤報を減らし効率的な監視を続けられるという効果がある。
本発明を適用したカメラシステムのブロック図 主制御部のメインフローチャート 定期イベント登録のフローチャート 定期イベント登録の説明に使う図 状態変化監視動作のフローチャート 登録済み定期イベント照合のフローチャート 背景画像更新のフローチャート 未登録イベント処理のフローチャート 登録通りイベント処理のフローチャート 遅延イベント処理のフローチャート イベント学習登録のフローチャート 画像変化が無い時の状態変化監視動作をしている間のイメージ図 物が置かれた時の状態変化監視動作をしている間のイメージ図 物が除かれる時の状態変化監視動作をしている間のイメージ図 物が除かれる時の状態変化監視動作をしている間のイメージ図 定期イベント発生待ち時の状態変化監視動作をしている間のイメージ図
符号の説明
100 カメラヘッド部
101 映像信号処理部
102 基準背景画像保存部
103 現在入力画像格納部
104 外部センサー情報入力部
105 暦時間出力部
106 定期イベント記憶部
107 イベント別対応選択情報記憶部
108 表示部
109 操作部
110 ネットワークI/F部
111 主制御部

Claims (13)

  1. 背景画像を保持する背景画像保持手段と、
    定期イベントの発生条件と発生時刻情報を記憶する定期イベント記憶手段と、
    画像を入力する画像入力手段と、
    前記背景画像保持手段の背景画像と前記画像入力手段から入力された入力画像とを比較して差分を得る画像比較手段と、
    前記差分の変化及び前記変化の時刻と前記定期イベント記憶手段に記憶されている前記発生条件及び発生時刻情報とを照合することにより、前記入力画像の状態変化が定期的な物体移動か不定期な物体移動かを判断する定期イベント照合手段と、
    前記判断の結果に応じて、定期的な物体移動に応じた対応動作、または不定期な物体移動に応じた対応動作のいずれかを選択するイベント別対応選択手段と、
    を備えることを特徴とする情報処理装置。
  2. イベント別対応選択手段は、定期的な物体移動と判断された場合は、物体の出現、あるいは物体の消失に対する警告動作を選択せず、不定期な物体移動と判断された場合は、前記警告動作を選択することを特徴とする請求項1に記載の情報処理装置。
  3. 定期的な物体移動の予定時刻より早く又は遅く物体移動が発生した場合、前記イベント別対応選択手段は、警告動作を選択することを特徴とする請求項1に記載の情報処理装置。
  4. 定期的な物体移動の予定時刻を過ぎても物体移動が発生しない場合、前記イベント別対応選択手段は、警告動作を選択することを特徴とする請求項1に記載の情報処理装置。
  5. 警告動作とは、図形表示、あるいは光、あるいは音声、あるいは文字表示のいずれか一つを含むことを特徴とする請求項2〜4のいずれかに記載の情報処理装置。
  6. 前記発生条件を、前記差分の変化位置が所定のエリアに含まれる条件とすることを特徴とする請求項1に記載の情報処理装置。
  7. 前記発生条件を、前記差分の変化サイズが所定のサイズに含まれる条件とすることを特徴とする請求項1に記載の情報処理装置。
  8. 前記発生条件を、前記差分の変化している色が所定の色に含まれる条件とすることを特徴とする請求項1に記載の情報処理装置。
  9. 前記発生条件を、前記差分の変化している形状が所定の形状である条件とすることを特徴とする請求項1に記載の情報処理装置。
  10. 前記発生条件を、前記差分が変化している温度が所定の温度範囲である条件とすることを特徴とする請求項1に記載の情報処理装置。
  11. 前記発生条件を、前記差分が変化している重量が所定の重量範囲であることを条件とすることを特徴とする請求項1に記載の情報処理装置。
  12. 前記定期イベント照合手段が不定期な物体移動と判断した場合であっても、所定回数以上、前記物体移動が繰り返されていれば、前記物体移動を定期的な物体移動と判断するよう前記定期イベント記憶手段の記憶内容を変更することを特徴とする請求項1に記載の情報処理装置。
  13. 入力された画像を処理する情報処理装置の情報処理方法であって、
    保持しておいた背景画像と前記入力画像とを比較して差分を得る画像比較ステップと、
    前記差分の変化及び前記変化の時刻と予め記憶手段に記憶されている定期イベントの発生条件及び発生時刻情報とを照合することにより、前記入力画像の状態変化が定期的な物体移動か不定期な物体移動かを判断する定期イベント照合ステップと、
    前記判断の結果に応じて、定期的な物体移動に応じた対応動作、または不定期な物体移動に応じた対応動作のいずれかを選択するイベント別対応選択ステップと、
    を備えることを特徴とする情報処理方法。
JP2008316036A 2008-12-11 2008-12-11 情報処理装置及び情報処理方法 Expired - Fee Related JP5289022B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008316036A JP5289022B2 (ja) 2008-12-11 2008-12-11 情報処理装置及び情報処理方法
US12/633,585 US8406473B2 (en) 2008-12-11 2009-12-08 Information processing apparatus and information processing method
EP09178764A EP2196966A3 (en) 2008-12-11 2009-12-10 Information processing apparatus and information processing method
CN2009102524797A CN101753998B (zh) 2008-12-11 2009-12-11 信息处理设备和信息处理方法
US13/774,883 US8750627B2 (en) 2008-12-11 2013-02-22 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008316036A JP5289022B2 (ja) 2008-12-11 2008-12-11 情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2010141599A true JP2010141599A (ja) 2010-06-24
JP5289022B2 JP5289022B2 (ja) 2013-09-11

Family

ID=42061040

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008316036A Expired - Fee Related JP5289022B2 (ja) 2008-12-11 2008-12-11 情報処理装置及び情報処理方法

Country Status (4)

Country Link
US (2) US8406473B2 (ja)
EP (1) EP2196966A3 (ja)
JP (1) JP5289022B2 (ja)
CN (1) CN101753998B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017203789A1 (ja) * 2016-05-25 2017-11-30 株式会社Nexpoint 差分画像作成方法、画像復元方法、差分検出装置、画像復元装置及び監視方法
JP2020201107A (ja) * 2019-06-10 2020-12-17 株式会社東芝 撮影処理装置、及び撮影処理方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US8634662B2 (en) * 2010-08-25 2014-01-21 Apple Inc. Detecting recurring events in consumer image collections
US20160225160A1 (en) * 2013-09-26 2016-08-04 Mitsubishi Electric Corporation Monitoring camera, monitoring system, and motion detection method
FR3020699A1 (fr) * 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
KR102266195B1 (ko) * 2014-06-20 2021-06-17 삼성전자주식회사 객체와 관련된 정보를 제공하는 방법 및 장치
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
DK201670609A1 (en) 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
US20170357644A1 (en) 2016-06-12 2017-12-14 Apple Inc. Notable moments in a collection of digital assets
CN110109592B (zh) 2016-09-23 2022-09-23 苹果公司 头像创建和编辑
US12096156B2 (en) 2016-10-26 2024-09-17 Amazon Technologies, Inc. Customizable intrusion zones associated with security systems
US10891839B2 (en) * 2016-10-26 2021-01-12 Amazon Technologies, Inc. Customizable intrusion zones associated with security systems
WO2018081328A1 (en) 2016-10-26 2018-05-03 Ring Inc. Customizable intrusion zones for audio/video recording and communication devices
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US12602142B2 (en) 2018-05-07 2026-04-14 Apple Inc. User interfaces for sharing contextually relevant media content
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
CN115995008A (zh) * 2023-01-31 2023-04-21 中国铁塔股份有限公司 用于通信基站的设备状态识别方法、模型及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6286990A (ja) * 1985-10-11 1987-04-21 Matsushita Electric Works Ltd 異常監視装置
JP2005117635A (ja) * 2003-09-16 2005-04-28 Fuji Photo Film Co Ltd カメラシステム、カメラ制御方法、及びプログラム
JP2006143450A (ja) * 2004-11-24 2006-06-08 Mitsubishi Electric Corp エスカレーター制御システム及びエスカレーター制御方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697103B1 (en) * 1998-03-19 2004-02-24 Dennis Sunga Fernandez Integrated network for monitoring remote objects
US7634662B2 (en) * 2002-11-21 2009-12-15 Monroe David A Method for incorporating facial recognition technology in a multimedia surveillance system
JP2000331254A (ja) 1999-05-20 2000-11-30 Fujitsu General Ltd 監視カメラ
US7128270B2 (en) * 1999-09-17 2006-10-31 Silverbrook Research Pty Ltd Scanning device for coded data
US20030107650A1 (en) * 2001-12-11 2003-06-12 Koninklijke Philips Electronics N.V. Surveillance system with suspicious behavior detection
US6856249B2 (en) * 2002-03-07 2005-02-15 Koninklijke Philips Electronics N.V. System and method of keeping track of normal behavior of the inhabitants of a house
JP4164280B2 (ja) * 2002-04-11 2008-10-15 キヤノン株式会社 周辺機器およびジョブ管理方法およびコンピュータが読み取り可能な記憶媒体およびプログラム
US7605709B2 (en) * 2004-02-09 2009-10-20 Tolliver Charlie L System, apparatus and method for screening personnel
US7697026B2 (en) 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US7639840B2 (en) * 2004-07-28 2009-12-29 Sarnoff Corporation Method and apparatus for improved video surveillance through classification of detected objects
US7285178B2 (en) * 2004-09-30 2007-10-23 Kimberly-Clark Worldwide, Inc. Method and apparatus for making a wrapped absorbent core
US20060067562A1 (en) * 2004-09-30 2006-03-30 The Regents Of The University Of California Detection of moving objects in a video
JP4449782B2 (ja) 2005-02-25 2010-04-14 ソニー株式会社 撮像装置および画像配信方法
EP1867167A4 (en) 2005-04-03 2009-05-06 Nice Systems Ltd DEVICE AND METHOD FOR SEMI-AUTOMATIC TRACKING AND INVESTIGATION OF AN OBJECT OR EVENT AT A MONITORED LOCATION
EP2118864B1 (en) * 2007-02-08 2014-07-30 Behavioral Recognition Systems, Inc. Behavioral recognition system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6286990A (ja) * 1985-10-11 1987-04-21 Matsushita Electric Works Ltd 異常監視装置
JP2005117635A (ja) * 2003-09-16 2005-04-28 Fuji Photo Film Co Ltd カメラシステム、カメラ制御方法、及びプログラム
JP2006143450A (ja) * 2004-11-24 2006-06-08 Mitsubishi Electric Corp エスカレーター制御システム及びエスカレーター制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017203789A1 (ja) * 2016-05-25 2017-11-30 株式会社Nexpoint 差分画像作成方法、画像復元方法、差分検出装置、画像復元装置及び監視方法
JP2017212566A (ja) * 2016-05-25 2017-11-30 株式会社Nexpoint 監視カメラシステムにおける監視方法、差分画像作成方法、画像復元方法、及び差分検出装置
JP2020201107A (ja) * 2019-06-10 2020-12-17 株式会社東芝 撮影処理装置、及び撮影処理方法
JP7399632B2 (ja) 2019-06-10 2023-12-18 株式会社東芝 撮影処理装置、及び撮影処理方法

Also Published As

Publication number Publication date
US8750627B2 (en) 2014-06-10
JP5289022B2 (ja) 2013-09-11
US20100150456A1 (en) 2010-06-17
CN101753998B (zh) 2012-07-18
US8406473B2 (en) 2013-03-26
CN101753998A (zh) 2010-06-23
EP2196966A2 (en) 2010-06-16
US20130163886A1 (en) 2013-06-27
EP2196966A3 (en) 2011-04-27

Similar Documents

Publication Publication Date Title
JP5289022B2 (ja) 情報処理装置及び情報処理方法
JP6343953B2 (ja) プログラマブル表示器、携帯端末装置、データ処理方法、およびプログラム
EP2314031B1 (en) System for delivering and presenting a message within a network
CN106796791A (zh) 扬声器识别和不受支持的扬声器适配技术
JP4402505B2 (ja) 待ち時間案内システムおよび方法
JP7330758B2 (ja) 情報処理方法、及び、情報処理システム
US11548760B2 (en) Elevator display system
JP7803897B2 (ja) セルフ給油監視システム
CN110209281B (zh) 对运动信号进行处理的方法、电子设备和介质
JP6270488B2 (ja) オペレータ監視制御装置およびオペレータ監視制御方法
US20190373423A1 (en) System and method for providing information on terminal devices
JP2008225364A (ja) 情報提示装置及び情報提示方法
US20170329287A1 (en) System and program
JP6996379B2 (ja) 学習システム、及び、学習システム用プログラム
KR102785865B1 (ko) 사용자 맞춤형 키오스크의 동작 방법
JP6542384B2 (ja) 群管理エレベータ装置
JP6895090B2 (ja) 検知システムおよび検知システムの表示処理方法
EP2811443A1 (en) Apparatus and method for processing data in energy management system
JP2020102676A (ja) 情報処理装置、情報処理方法およびプログラム
JPWO2019142566A1 (ja) 被監視者監視支援システムおよび被監視者監視支援方法
JP3590553B2 (ja) 表示装置および該表示装置を備えた制御システム
JP3031888B2 (ja) 表示装置
US20230185850A1 (en) Display control device, surveillance support system, display control method, and non-transitory computer-readable medium
US20120050006A1 (en) Dynamically Configured User Interface for Access Control Systems
JP3798238B2 (ja) 制御用表示装置、および、そのプログラムが記録された記録媒体

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130604

R151 Written notification of patent or utility model registration

Ref document number: 5289022

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees