JP5790761B2 - 分散画像処理システム - Google Patents

分散画像処理システム Download PDF

Info

Publication number
JP5790761B2
JP5790761B2 JP2013519400A JP2013519400A JP5790761B2 JP 5790761 B2 JP5790761 B2 JP 5790761B2 JP 2013519400 A JP2013519400 A JP 2013519400A JP 2013519400 A JP2013519400 A JP 2013519400A JP 5790761 B2 JP5790761 B2 JP 5790761B2
Authority
JP
Japan
Prior art keywords
image
image processing
camera
imaging
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013519400A
Other languages
English (en)
Other versions
JPWO2012169232A1 (ja
Inventor
浩一郎 梶谷
浩一郎 梶谷
丈嗣 内藤
丈嗣 内藤
徹 上野山
徹 上野山
長谷川　誠
誠 長谷川
克彦 一ノ瀬
克彦 一ノ瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2013519400A priority Critical patent/JP5790761B2/ja
Publication of JPWO2012169232A1 publication Critical patent/JPWO2012169232A1/ja
Application granted granted Critical
Publication of JP5790761B2 publication Critical patent/JP5790761B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00283—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus
    • H04N1/00286—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus with studio circuitry, devices or equipment, e.g. television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00336—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing pattern recognition, e.g. of a face or a geographic feature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, different control type
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19676—Temporary storage, e.g. cyclic memory, buffer storage on pre-alarm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Description

この発明は、監視対象エリア内に位置する物体の検知、および検知した物体の種類や大きさ等の属性の検知にかかる画像処理を、端末とサーバとで分散して行う分散画像処理システムに関する。
従来、学校や工場等の様々な場所で、不審者や、不審物（放置物）に対する監視を行うために、ビデオカメラ（監視カメラ）を設置している。例えば、ビデオカメラは、不審者や不審物等に対する安心、安全のために、その撮像エリアを学校や工場等の施設の出入口等に合わせて設置している。また、監視カメラの撮像画像を処理し、不審者や、不審物の検知を行うことや、ビデオカメラで撮像した撮像画像（動画像）を記録（録画）することを行っている。
また、ビデオカメラで撮像している撮像エリア内を移動している移動体の検知にかかる処理負荷を低減するとともに、この移動体の検知精度の低下を抑える構成が特許文献１、２に記載されている。この特許文献１、および２は、ビデオカメラの撮像エリアに設定した検知ポイントの明るさの変化から、その検知ポイントにおける人、車両等の移動体の通過を検知する。また、特許文献１、および２は、検知ポイントにおける移動体の通過を検知すると、ディジタルスチルカメラで撮像エリアを撮像し、その静止画像とビデオカメラの動画像を一定時間だけ記憶することで、動画像の記憶容量を抑えている。さらに、特許文献２は、ディジタルスチルカメラで撮像した静止画像を添付した電子メールを、警備員等が所持する携帯電話等の携帯端末に送信することで、検知した移動体に対する対応の迅速化を図っている。
特開２００９− ３８７７９号公報 特開２０１０−１７７８９３号公報
しかしながら、特許文献１、２は、移動体（不審者等）を検知することはできるが、その移動体の種別（人、車等）や大きさ等の属性を検知するものではなかった。また、特許文献１、２は、非移動体である不審物の検知や、さらには、その不審物の種類や大きさ等の属性を検知するものでもなかった。
なお、最近では、テロ行為等に対する安心、安全の確保が重要視されていることから、放置された不審物の発見や、その不審物に対する対応の迅速化も要望されている。
ビデオカメラで撮像された物体の種類や大きさ等の属性を検知することは、公知のパターンマッチング等の画像処理で行えるが、物体の属性の検知精度を高めるために画像処理を比較的複雑にする必要がある。その結果、画像処理を行う装置側の負荷が増大する。すなわち、画像処理を行う装置は、処理性能がある程度高いものを使用しなければならない。一方で、比較的広い施設では、不審者や、不審物を監視する監視対象エリアを複数箇所設定し、監視対象エリア毎にビデオカメラを設置している。ビデオカメラ毎（監視対象エリア毎）に、そのビデオカメラが撮像した画像を画像処理するのに適した処理性能の端末を使用することは、システムの構築にかかるコストを増大させる。
この発明の目的は、監視対象エリア内に位置する物体の検知、およびその属性の検知が精度よく行え、且つ、システムの構築にかかるコストの増加が抑えられる分散画像処理システムを提供することにある。
この発明の分散画像処理システムは、上記課題を解決し、その目的を達するために、以下のように構成している。
この分散画像処理システムは、通信可能に接続した端末と、サーバと、を備えている。サーバに通信可能に接続されている端末は、１台であってもよいし、複数台であってもよい。
端末には、第１のカメラが接続されている。この第１のカメラは、撮像した監視対象エリアの動画像を端末の動画像入力部に入力する。端末は、簡易画像処理部において、動画像入力部に入力された動画像を処理し、撮像されている物体、および監視対象エリア内におけるこの物体の位置を検知する。この簡易画像処理部は、撮像されている物体の有無を検知するだけで、その物体の種類や大きさ等の属性まで検知する必要はない。簡易画像処理部は、例えば、動画像入力部に入力された動画像のフレーム画像と、監視対象エリアの背景画像と、の差分画像を生成し、この差分画像によって物体の有無を検知する。すなわち、簡易画像処理部は、処理負荷が小さい画像処理を実行する。
また、端末には、第２のカメラが接続されている。この第２のカメラは、監視対象エリア内の一部を撮像した静止画像を端末の静止画像入力部に入力する。簡易画像処理部が物体を検知したときには、撮像視野制御部がこの検知された物体の位置に基づいて、第２のカメラの撮像倍率を制御する。例えば、第２のカメラがズーム機能を備え、撮像視野制御部が第２のカメラの撮像倍率を制御する。これにより、第２のカメラで、検知した物体を鮮明に撮像した静止画像を得ることができる。
また、撮像視野制御部は、第２のカメラの撮像倍率だけでなく、第２のカメラの撮像方向も制御する構成にするのが好ましい。例えば、第２のカメラを直交する２軸方向（パン方向と、チルト方向）に個別に回動する雲台に取り付けておき、簡易画像処理部が検知した物体の位置に基づいて、撮像視野制御部が雲台のパン方向、およびチルト方向の回動角を個別に制御し、第２のカメラの撮像方向を制御する。
静止画像送信部は、簡易画像処理部が物体を検知したときに、撮像視野制御部が撮像倍率を制御した第２のカメラによって撮像された静止画像、および、このときの第２のカメラの撮像倍率をサーバに送信する。
サーバは、画像処理部で、端末から送信されてきた静止画像を撮像した第２のカメラの撮像倍率を用いて、この静止画像を処理し、この静止画像に撮像されている物体の大きさを属性として検知する。また、画像処理部は、パターンマッチング等により、静止画像に撮像されている物体の種類を検知する構成としてもよい。
さらには、画像処理部は、検知した物体の種類に応じた認識処理等も行う構成としてもよい。例えば、検知した物体が、不審者であれば、顔認識により、その不審者の性別、年齢等の属性の検知を行う構成としてもよい。また、車両であれば、その車両のナンバープレートに表記されているナンバープレート番号を認識する文字認識を行う構成としてもよい。
さらに、サーバは、出力部において、画像処理部の処理結果に基づく出力を行う。例えば、警備室の警報を作動させて処理結果を待機している警備員等に通知したり、警備員等が所持している携帯端末に処理結果を電子メールで送信したりする。これにより、検知された不審者や不審物に対する対応が迅速に行える。
このように、端末は、第１のカメラが撮像した撮像画像に物体が撮像されているかどうか（物体の有無）が検知できればよく、撮像されている物体の属性として種類や大きさまで検知できなくてもよいので、物体の検知にかかる画像処理の処理負荷を十分に小さくできる。また、端末は、物体を検知したときに、物体が撮像されている撮像画像（第２のカメラで撮像した静止画像）をサーバに送信し、物体を検知していないときに、撮像画像（第２のカメラで撮像した静止画像）をサーバに送信しない。しかも、端末は、サーバに対して動画像を送信するのではなく、静止画像を送信する。このため、端末は、サーバに送信する画像のデータ量も抑えられるので、サーバとの通信にかかる負荷が抑えられる。また、端末と、サーバとを通信可能に接続するネットワークのトラフィック量も抑えられる。
したがって、端末は、処理性能が低い安価なものであっても問題なく使用できる。また、監視対象エリア内に位置する物体の検知、およびその属性の検知については、サーバ側で精度よく行える。すなわち、監視対象エリア内に位置する物体の検知、およびその属性の検知が精度よく行え、且つ、システムの構築にかかるコストの増加が抑えられる。
さらに、端末の簡易画像処理部が、撮像されている物体の検知とともに、検知した物体が移動体であるかどうかを検知し、静止画像送信部が、静止画像とともに、検知した物体が移動体であるかどうかをサーバに送信するようにしてもよい。
この発明によれば、監視対象エリア内に位置する物体の検知、およびその属性の検知が精度よく行え、且つ、システムの構築にかかるコストの増加が抑えられる。
分散画像処理システムの構成を示す概略図である。 エリア端末の主要部の構成を示すブロック図である。 サーバの主要部の構成を示すブロック図である。 ビデオカメラの撮像エリアと、ディジタルスチルカメラの撮像エリアとの関係を示す図である。 エリア端末の動作を示すフローチャートである。 サーバの動作を示すフローチャートである。
以下、この発明の実施形態である分散画像処理システムについて説明する。
図１は、この分散画像処理システムの構成を示す概略図である。この分散画像処理システムは、不審者や、放置物（不審物）に対する監視を行う監視対象エリア毎に、エリア端末１と、ビデオカメラ２と、ディジタルスチルカメラ３と、を設置している。また、センタにサーバ４を設置している。各監視対象エリアに設置しているエリア端末１は、ネットワーク５を介してサーバ４と通信可能に接続している。
ビデオカメラ２、およびディジタルスチルカメラ３は、撮像画像をエリア端末１に入力する。ビデオカメラ２は、撮像エリアが監視対象エリア全体をカバーするように設置している。言い換えれば、ビデオカメラ２の撮像エリアが監視対象エリアである。ビデオカメラ２は、監視対象エリアを撮像した動画像（例えば、１秒間に３０フレームの撮像画像）をエリア端末１に入力する。
ディジタルスチルカメラ３は、直交する２軸方向（パン方向と、チルト方向）に個別に回動する雲台（不図示）に取り付けている。また、ディジタルスチルカメラ３は、撮像光学系を駆動し、撮像倍率を変化させるズーム機能を有する。ディジタルスチルカメラ３は、レリーズ信号の入力に応じて静止画像を撮像する。
ビデオカメラ２が、この発明で言う第１のカメラに相当し、ディジタルスチルカメラ３がこの発明で言う第２のカメラに相当する。
エリア端末１は、ビデオカメラ２が撮像した画像（動画像）を処理し、撮像されている物体の有無、すなわち監視対象エリア内に位置する物体の有無、を検知する。また、エリア端末１は、監視対象エリア内に位置する物体を検知すると、ディジタルスチルカメラ３の撮像視野を検知した物体に合わせ、このディジタルスチルカメラ３にレリーズ信号を入力する。エリア端末１は、ディジタルスチルカメラ３が撮像した画像（静止画像）を、ネットワーク５を介してサーバ４に送信する。
サーバ４は、エリア端末１から送信されてきた静止画像を処理し、撮像されている物体（すなわち監視対象エリア内に位置する物体）の種類や、大きさ等の属性を検知する。サーバ４は、監視対象エリア内に位置する物体（エリア端末１が検知した物体）についての検知結果に応じた出力を行う。
図２は、エリア端末の主要部の構成を示すブロック図である。エリア端末１は、制御部１１と、動画像入力部１２と、画像処理部１３と、撮像視野制御部１４と、撮像指示部１５と、静止画像入力部１６と、画像記憶部１７と、通信部１８とを有している。制御部１１は、エリア端末１本体各部の動作を制御する。
動画像入力部１２には、ビデオカメラ２が撮像している監視対象エリアの動画像が入力される。ビデオカメラ２は、１秒間に３０フレームの撮像画像を動画像入力部１２に入力する。
画像処理部１３は、動画像入力部１２に入力されたフレーム画像毎に、そのフレーム画像と、監視対象エリアの背景画像と、の差分画像を生成し、生成した差分画像によって監視対象エリア内に位置する物体（不審者や不審物）が撮像されているかどうかを検知する。公知のように、上記差分画像には、監視対象エリア内に位置する不審者や不審物等の物体があらわれる。
撮像視野制御部１４は、ディジタルスチルカメラ３の撮像視野を制御する。具体的には、撮像視野制御部１４は、ディジタルスチルカメラ３を取り付けている雲台のパン方向、およびチルト方向の回動角を個別に制御する。雲台をパン方向、およびチルト方向に回動させる駆動機構（不図示）は、この雲台に設けている。すなわち、撮像視野制御部１４は、雲台の駆動機構を制御して、パン方向、およびチルト方向の回動角を制御する。雲台のパン方向、およびチルト方向の回動角を変化させることで、ディジタルスチルカメラ３の撮像方向が変化する。また、撮像視野制御部１４は、ディジタルスチルカメラ３に対して、撮像倍率を指示する。
撮像指示部１５は、ディジタルスチルカメラ３に対してレリーズ信号を入力する。
静止画像入力部１６は、ディジタルスチルカメラ３が撮像した静止画像が入力される。
画像記憶部１７は、ビデオカメラ２が撮像した監視対象エリアの動画像、すなわち動画像入力部１２に入力された動画像、を記憶するハードディスク等の記録媒体を有する。
通信部１８は、ネットワーク５を介したサーバ４との通信を制御する。
図３は、サーバの主要部の構成を示すブロック図である。サーバ４は、制御部４１と、通信部４２と、画像処理部４３と、画像記憶部４４と、出力部４５と、を有している。制御部４１は、サーバ４本体各部の動作を制御する。
通信部４２は、ネットワーク５を介したエリア端末１との通信を制御する。
画像処理部４３は、エリア端末１から送信されてきた静止画像を処理し、撮像されている物体の種類や大きさ等の属性を検知する。画像処理部４３は、公知のパターンマッチング等にかかる画像処理を行って、撮像されている物体の種類や大きさ等の属性を検知する。また、検知した物体が人であれば、顔認識処理を行い、性別、年齢等を推定する。また、検知した物体が車両であれば、ナンバープレートに表記されているナンバープレート番号を認識する文字認識処理を行う。
画像記憶部４４は、エリア端末１から送信されてきた静止画像を記憶する。
出力部４５は、画像処理部４３における画像処理の結果に基づく出力を行う。例えば、不審者や、不審物を検知したときに、検知した不審者や、不審物の種類や大きさ等を処理結果とし、警備室の警報を作動させて、待機している警備員等に通知することや、警備員等が所持している携帯端末に処理結果を電子メールで送信することを行う。
次に、図４を参照しながら、ビデオカメラ２の撮像エリアと、ディジタルスチルカメラ３の撮像エリアとの関係について説明する。ビデオカメラ２の撮像エリアは、上述したように、接続されているエリア端末１に割り当てられている監視対象エリアに相当する。ビデオカメラ２の撮像エリアは、固定されている。一方、ディジタルスチルカメラ３の撮像エリアは、撮像倍率によって、その大きさを変化させることができるとともに、取り付けている雲台のパン方向、およびチルト方向の回動角を変化させることで、監視対象エリアの任意の位置に合わせることができる。
なお、ディジタルスチルカメラ３が、図４に示す２箇所の撮像エリアを同時に撮像できるわけではない。
次に、図５、および図６を参照しながら、この分散画像処理システムの動作について説明する。図５は、エリア端末の動作を示すフローチャートである。図６は、サーバの動作を示すフローチャートである。
エリア端末１は、ビデオカメラ２から撮像画像（フレーム画像）が動画像入力部１２に入力されると（Ｓ１）、画像処理部１３において、そのフレーム画像と、監視対象エリアの背景画像との差分画像を生成する（Ｓ２）。画像処理部１３は、Ｓ２で生成した差分画像により、監視対象エリア内に位置する物体（不審者や、不審物）の有無を検知する（Ｓ３）。エリア端末１は、Ｓ３で監視対象エリア内に位置する物体が無いことを検知すると、Ｓ１に戻る。
なお、ここでは、Ｓ１〜Ｓ３にかかる処理を、ビデオカメラ２が撮像したフレーム画像毎に行う構成としているが、例えば、５フレーム毎や、１０フレーム毎に行うようにしてもよい。
エリア端末１は、Ｓ３で監視対象エリア内に位置する物体を検知すると、この物体の位置（監視対象エリア内の位置）、および大きさを検知する（Ｓ４）。監視対象エリア内における物体の位置は、その物体のフレーム画像上の位置から検知できる。また、物体の大きさは、その物体のフレーム画像上の大きさから検知できる。
撮像視野制御部１４が、Ｓ４で検知した物体の位置、および大きさに基づいて、ディジタルスチルカメラ３を取り付けている雲台のパン方向、およびチルト方向の回動角を算出するとともに、ディジタルスチルカメラ３の撮像倍率を算出する（Ｓ５）。Ｓ５では、ディジタルスチルカメラ３の撮像視野内に、Ｓ３で検知した物体全体が収まるように、パン方向、およびチルト方向の回動角、およびディジタルスチルカメラ３の撮像倍率を算出する。
ディジタルスチルカメラ３は、監視対象エリア全体を撮像するのではなく、検知した物体を撮像すればよいので、その撮像倍率をビデオカメラ２の撮像倍率よりも大きくできる。したがって、ディジタルスチルカメラ３の撮像画像は、ビデオカメラ２の撮像画像よりも、検知した物体が鮮明に撮像される。
撮像視野制御部１４は、Ｓ５で算出した雲台のパン方向、およびチルト方向の回動角を、ディジタルスチルカメラ３を取り付けている雲台に指示するとともに、撮像倍率をディジタルスチルカメラ３に指示する（Ｓ６）。これにより、雲台がパン方向、およびチルト方向に回動し、ディジタルスチルカメラ３の撮像方向を変化させる。また、ディジタルスチルカメラ３は、撮像倍率を、今回指示された倍率に変更する。
エリア端末１は、撮像指示部１５がディジタルスチルカメラ３に対してレリーズ信号を入力する（Ｓ７）。これにより、ディジタルスチルカメラ３が、この時点における撮像視野での撮像を行い、撮像した静止画像を静止画像入力部１６に入力する。上述したように、エリア端末１は、今回検知した物体の位置や大きさに合わせてディジタルスチルカメラ３の撮像視野を合わせているので、ビデオカメラ２が撮像したフレーム画像よりも、検知した物体を鮮明に撮像した静止画像を得ることができる。
エリア端末１は、ディジタルスチルカメラ３が撮像した静止画像が入力されると（Ｓ８）、この静止画像をサーバ４に送信する（Ｓ９）。このとき、エリア端末１は、Ｓ４で検知した物体の位置、およびＳ５で算出したディジタルスチルカメラ３の撮像倍率についても、サーバ４に送信している。
また、エリア端末１は、動画像入力部１２に入力されているビデオカメラ２が撮像した監視対象エリアの動画像を常に画像記憶部１７に記憶してもよいが、画像記憶部１７の記憶容量を抑えるために、Ｓ３で物体を検知したタイミングを開始タイミングとし、その後一定時間だけ、動画像入力部１２に入力されているビデオカメラ２が撮像した監視対象エリアの動画像を記憶するようにしてもよい。
上記の説明から明らかなように、エリア端末１は、物体の検知にかかる画像処理部１３での画像処理の処理負荷や、サーバ４への画像の送信にかかる処理負荷が十分に抑えられる。
次に、図６を参照しながら、サーバ４の動作について説明する。
サーバ４は、ネットワーク５を介して接続されているいずれかのエリア端末１から送信されてきた静止画像を通信部４２で受信すると（Ｓ１１）、今回受信した静止画像を画像処理部４３で処理する（Ｓ１２）。Ｓ１２では、上述したエリア端末１の画像処理部１３と異なり、パターンマッチングにかかる画像処理を行い、今回受信した静止画像に撮像されている物体の種類や大きさ等の属性を検知する。具体的には、サーバ４は、画像処理部４３において、撮像されている物体が、移動体である人や車等であるか、非移動体であるカバンやスーツケース等であるかをパターンマッチングにより検知する。また、サーバ４は、検知した物体が人であれば、画像処理部４３で顔認識処理を行い、性別、年齢等を推定する。また、サーバ４は、検知した物体が車両であれば、画像処理部４３でその車両のナンバープレートに表記されているナンバープレート番号を認識する文字認識処理を行う。
なお、サーバ４は、ディジタルスチルカメラ３が通信部４２で受信した静止画像を撮像したときの撮像倍率をエリア端末１から受信しているので、この静止画像上における物体の大きさから、この物体の実際の大きさを算出できる。
パターンマッチング、顔認識処理、文字認識処理等については、公知であるので、ここでは詳細な説明を省略する。
サーバ４は、出力部４５において、Ｓ１２における検知結果に応じた出力を行う（Ｓ１３）。例えば、今回検知した不審者や、不審物の種類や大きさ等を処理結果とし、警備室の警報を作動させて、待機している警備員等に通知することや、警備員等が所持している携帯端末に処理結果を電子メールで送信することを行う。
また、サーバ４は、ネットワーク５を介して接続されているエリア端末１から送信されてきた静止画像を画像記憶部４４に記憶する。
上述したように、エリア端末１は、物体の検知にかかる画像処理部１３での画像処理の処理負荷や、サーバ４への画像の送信にかかる処理負荷が十分に抑えられる。
また、エリア端末１が検知した物体の属性についてはサーバ４側で検知する。サーバ４は、物体の有無にかかる検知については行わない。また、サーバ４が物体の属性を検知するのに用いる静止画像は、ディジタルスチルカメラ３で検知した物体を鮮明に撮像した画像である。このため、サーバ４は、監視対象エリア内に位置する物体の属性を精度よく検知することができる。また、エリア端末１は、検知した物体が撮像されている静止画像をサーバ４に送信し、ビデオカメラ２で撮像した動画像についてはサーバ４に送信しないので、ネットワーク５のトラフィック量も抑えることができる。
したがって、この分散画像処理システムでは、エリア端末１は、処理性能が低い安価なものであっても問題なく使用できる。また、監視対象エリア内に位置する物体の検知、およびその属性の検知については、サーバ４側で精度よく行える。これにより、監視対象エリア内に位置する物体の検知、およびその属性の検知が精度よく行え、且つ、システムの構築にかかるコストの増加が抑えられる。
また、上述したディジタルスチルカメラ３と、雲台と、エリア端末１の撮像視野制御部１４、撮像指示部１５、および静止画像入力部１６をなくし、エリア端末１が検知した物体が撮像されているビデオカメラ２のフレーム画像を静止画像として、サーバ４に送信するように構成してもよい。このようにすれば、エリア端末１の処理負荷を一層低減することができる。
また、エリア端末１は、検知した物体が撮像されているビデオカメラ２のフレーム画像と、ディジタルスチルカメラ３が、この検知した物体を撮像した静止画像と、をサーバ４に送信する構成としてもよい。
さらに、エリア端末１が、検知した物体が移動体であるか、非移動体であるかについても検知し、サーバ４に通知する構成としてもよい。エリア端末１は、検知した物体の位置が時間経過にともなって変化しているかどうかにより、この物体が移動体であるか、非移動体であるか検知できる。このようにすれば、サーバ４は、静止画像に撮像されている物体に対するパターンマッチングが、エリア端末１から通知された移動体、または非移動体に絞って行える。すなわち、サーバ４側の画像処理にかかる負荷も低減できる。
１…エリア端末
２…ビデオカメラ
３…ディジタルスチルカメラ
４…サーバ
５…ネットワーク
１１…制御部
１２…動画像入力部
１３…画像処理部
１４…撮像視野制御部
１５…撮像指示部
１６…静止画像入力部
１７…画像記憶部
１８…通信部
４１…制御部
４２…通信部
４３…画像処理部
４４…画像記憶部
４５…出力部

Claims (5)

  1. 通信可能に接続した端末と、サーバと、を備え、
    前記端末は、
    第１のカメラが撮像した監視対象エリアの動画像を入力する動画像入力部と、
    前記第１のカメラの撮像倍率よりも大きい撮像倍率で、前記監視対象エリア内の一部を第２のカメラで撮像した静止画像を入力する静止画像入力部と、
    前記動画像入力部に入力された動画像を処理し、撮像されている物体、および前記監視対象エリア内におけるこの物体の位置を検知する簡易画像処理部と、
    前記簡易画像処理部が検知した物体の位置に基づいて、前記第２のカメラの撮像倍率を制御する撮像視野制御部と、
    前記簡易画像処理部が物体を検知したときに、前記撮像視野制御部が撮像倍率を制御した前記第２のカメラによって撮像された静止画像、および、このときの第２のカメラの撮像倍率を前記サーバに送信する静止画像送信部と、を有し、
    前記サーバは、
    前記端末から送信されてきた静止画像を撮像した前記第２のカメラの撮像倍率を用いて、この静止画像を処理して撮像されている物体の大きさを属性として検知する画像処理部と、
    前記画像処理部の処理結果に基づく出力を行う出力部と、を有する、
    分散画像処理システム。
  2. 前記端末は、
    前記簡易画像処理部が、撮像されている物体の検知とともに、検知した物体が移動体であるかどうかを検知し、
    前記静止画像送信部が、静止画像とともに、検知した物体が移動体であるかどうかを前記サーバに送信する、
    請求項１に記載の分散画像処理システム。
  3. 前記端末は、
    前記簡易画像処理部が、撮像されている物体の検知を、前記動画像入力部に入力された動画像のフレーム画像と、前記監視対象エリアの背景画像と、の差分画像を生成して行う、
    請求項１、または２に記載の分散画像処理システム。
  4. 前記サーバは、
    前記画像処理部が、パターンマッチングにより、静止画像に撮像されている物体の種類を検知する、
    請求項１〜３のいずれかに記載の分散画像処理システム。
  5. 前記端末は、
    前記撮像視野制御部が、前記簡易画像処理部が検知した物体の位置に基づいて、前記第２のカメラの撮像方向も制御する、
    請求項１〜４のいずれかに記載の分散画像処理システム。
JP2013519400A 2011-06-08 2012-02-21 分散画像処理システム Expired - Fee Related JP5790761B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013519400A JP5790761B2 (ja) 2011-06-08 2012-02-21 分散画像処理システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011127812 2011-06-08
JP2011127812 2011-06-08
PCT/JP2012/054068 WO2012169232A1 (ja) 2011-06-08 2012-02-21 分散画像処理システム
JP2013519400A JP5790761B2 (ja) 2011-06-08 2012-02-21 分散画像処理システム

Publications (2)

Publication Number Publication Date
JPWO2012169232A1 JPWO2012169232A1 (ja) 2015-02-23
JP5790761B2 true JP5790761B2 (ja) 2015-10-07

Family

ID=47295806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013519400A Expired - Fee Related JP5790761B2 (ja) 2011-06-08 2012-02-21 分散画像処理システム

Country Status (5)

Country Link
US (1) US20140146172A1 (ja)
EP (1) EP2720459B1 (ja)
JP (1) JP5790761B2 (ja)
CN (1) CN103548341A (ja)
WO (1) WO2012169232A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140203947A1 (en) * 2013-01-20 2014-07-24 Alan Haddy Storage and recall of buried asset data over communications networks for damage avoidance and mapping
JP2016129269A (ja) * 2013-04-22 2016-07-14 パナソニック株式会社 画像・音声処理装置、集積回路、およびプログラム
US9524418B2 (en) 2014-06-05 2016-12-20 Promethean Limited Systems and methods for detecting, identifying and tracking objects and events over time
US9269159B2 (en) 2014-06-05 2016-02-23 Promethean Limited Systems and methods for tracking object association over time
CN104092941A (zh) * 2014-07-10 2014-10-08 深圳市得意自动化科技有限公司 摄像元件的摄像方法
US10326922B2 (en) 2014-07-23 2019-06-18 Orcam Technologies Ltd. Wearable apparatus and method for capturing image data using multiple image sensors
JP2016134103A (ja) * 2015-01-21 2016-07-25 富士ゼロックス株式会社 監視システム
JP6266577B2 (ja) * 2015-10-02 2018-01-24 京セラ株式会社 電子機器
JP6241796B2 (ja) * 2015-12-25 2017-12-06 パナソニックＩｐマネジメント株式会社 置去り物監視装置およびこれを備えた置去り物監視システムならびに置去り物監視方法
JP6977734B2 (ja) * 2016-12-22 2021-12-08 日本電気株式会社 監視カメラ、監視システム、監視カメラの制御方法及びプログラム
US10885788B2 (en) * 2017-04-24 2021-01-05 Mitsubishi Electric Corporation Notification control apparatus and method for controlling notification
JP6948175B2 (ja) 2017-07-06 2021-10-13 キヤノン株式会社 画像処理装置およびその制御方法
JP2019125258A (ja) * 2018-01-18 2019-07-25 アイシン・エィ・ダブリュ株式会社 情報収集システム、及び情報収集プログラム
JP7251247B2 (ja) * 2018-03-29 2023-04-04 株式会社リコー 通信システム、及び通信方法
US10795933B1 (en) 2018-05-01 2020-10-06 Flock Group Inc. System and method for object based query of video content captured by a dynamic surveillance network
US10559200B1 (en) 2018-05-01 2020-02-11 Flock Group Inc. Method and system for capturing and storing significant surveillance images
CN111028313B (zh) * 2019-12-26 2020-10-09 浙江口碑网络技术有限公司 桌台分布图像生成方法及装置
JP7447626B2 (ja) * 2020-03-30 2024-03-12 大日本印刷株式会社 情報処理方法、情報処理装置、プログラム及び情報処理システム
WO2022070808A1 (ja) 2020-10-01 2022-04-07 富士フイルム株式会社 災害情報処理装置、災害情報処理装置の作動方法、災害情報処理装置の作動プログラム、並びに災害情報処理システム
CN116405773A (zh) * 2020-12-29 2023-07-07 华为技术有限公司 一种拍摄方法、系统及电子设备
CN112991670A (zh) * 2021-02-04 2021-06-18 西安美格智联软件科技有限公司 消防危险区域分类管控方法、系统、存储介质、处理终端
EP4099679A1 (en) * 2021-05-31 2022-12-07 Robert Bosch GmbH Method and apparatus for operating a camera control system
US12132986B2 (en) * 2021-12-12 2024-10-29 Avanti R&D, Inc. Computer vision system used in vehicles
TWI815495B (zh) * 2022-06-06 2023-09-11 仁寶電腦工業股份有限公司 動態影像之處理方法、電子裝置及其連接之終端裝置與行動通訊裝置
US20250245989A1 (en) * 2024-01-30 2025-07-31 Alarm.Com Incorporated Camera

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0944759A (ja) * 1995-07-28 1997-02-14 Oki Electric Ind Co Ltd 監視装置
JPH11112966A (ja) * 1997-10-07 1999-04-23 Canon Inc 動体検出装置、動体検出方法及びコンピュータ読み取り可能な記憶媒体
US6731805B2 (en) * 2001-03-28 2004-05-04 Koninklijke Philips Electronics N.V. Method and apparatus to distinguish deposit and removal in surveillance video
JP2003116139A (ja) * 2001-10-03 2003-04-18 Olympus Optical Co Ltd 映像配信サーバ及び映像受信クライアントシステム
JP4156893B2 (ja) * 2002-09-27 2008-09-24 富士フイルム株式会社 画像処理装置、方法及びプログラム
GB0226002D0 (en) * 2002-11-07 2002-12-11 Home Networking Ltd Surveillance device
CN1194484C (zh) * 2003-01-30 2005-03-23 张健 一种可视化家居安防系统和进行实时监控、传输的方法
JP4140402B2 (ja) * 2003-03-03 2008-08-27 松下電工株式会社 画像処理装置
JP4622301B2 (ja) * 2004-05-07 2011-02-02 オムロン株式会社 監視システム、および監視カメラ
JP4449782B2 (ja) * 2005-02-25 2010-04-14 ソニー株式会社 撮像装置および画像配信方法
JP2006332881A (ja) * 2005-05-24 2006-12-07 Canon Inc 監視撮影システム、撮影方法、コンピュータプログラム及び記録媒体
CN100478862C (zh) * 2005-10-05 2009-04-15 索尼株式会社 显示装置和显示方法
JP4793025B2 (ja) * 2006-02-28 2011-10-12 株式会社日立製作所 分散型画像処理装置
CN100547351C (zh) * 2007-02-01 2009-10-07 华中科技大学 一种机器视觉定位方法
JP2008283629A (ja) * 2007-05-14 2008-11-20 Sony Corp 撮像装置、撮像信号処理方法、プログラム
CN101329176A (zh) * 2007-06-20 2008-12-24 贝联特种金属制品（上海）有限公司 一种在线影像检测系统
JP4724888B2 (ja) 2007-08-06 2011-07-13 大阪府 移動体検知装置、移動体撮像システム、移動体撮像方法、および移動体検知プログラム
JP4975679B2 (ja) * 2008-04-18 2012-07-11 株式会社Ｐｆｕ ノート型情報処理装置、および、射影変換パラメータ算出方法
CN101765025A (zh) * 2008-12-23 2010-06-30 北京中星微电子有限公司 一种监控摄像设备异常检测的系统及方法
JP5153669B2 (ja) 2009-01-28 2013-02-27 大阪府 撮像制御装置、および撮像制御方法
JP4748250B2 (ja) * 2009-02-27 2011-08-17 ソニー株式会社 画像処理装置、画像処理システム、カメラ装置、画像処理方法、およびプログラム
CN102044064A (zh) * 2009-10-23 2011-05-04 鸿富锦精密工业（深圳）有限公司 影像处理系统及方法
CN101833813B (zh) * 2010-03-03 2012-06-13 杭州创导安全技术有限公司 一种atm机异物入侵检测报警装置及检测报警方法
US9082278B2 (en) * 2010-03-19 2015-07-14 University-Industry Cooperation Group Of Kyung Hee University Surveillance system
CN201750493U (zh) * 2010-07-02 2011-02-16 湖南云博信息技术有限公司 智能型双cmos摄像机
CN101969548B (zh) * 2010-10-15 2012-05-23 中国人民解放军国防科学技术大学 基于双目摄像的主动视频获取方法及装置

Also Published As

Publication number Publication date
EP2720459A1 (en) 2014-04-16
EP2720459A4 (en) 2015-04-22
CN103548341A (zh) 2014-01-29
US20140146172A1 (en) 2014-05-29
EP2720459B1 (en) 2020-07-08
JPWO2012169232A1 (ja) 2015-02-23
WO2012169232A1 (ja) 2012-12-13

Similar Documents

Publication Publication Date Title
JP5790761B2 (ja) 分散画像処理システム
JP7420169B2 (ja) 監視システム、監視方法及びプログラム
CN103329518B (zh) 拍摄系统及其使用的摄像机控制装置、拍摄方法及摄像机控制方法
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
JP2016100696A (ja) 画像処理装置、画像処理方法、及び画像処理システム
US8406468B2 (en) Image capturing device and method for adjusting a position of a lens of the image capturing device
US8249300B2 (en) Image capturing device and method with object tracking
CN112616019A (zh) 目标跟踪方法、装置、云台及存储介质
JP2003284053A (ja) 監視カメラシステムおよび監視カメラ制御装置
JP2007158860A (ja) 撮影システム、撮影装置、画像切替装置、およびデータ保持装置
JP2018032950A (ja) 情報処理装置及びその方法、コンピュータプログラム
US20250045933A1 (en) Object tracking apparatus, control method, and program
US20170347068A1 (en) Image outputting apparatus, image outputting method and storage medium
JP3942606B2 (ja) 変化検出装置
KR101020670B1 (ko) 원격테스트 기능을 구비한 방범 시스템
US20070296813A1 (en) Intelligent monitoring system and method
KR20150019230A (ko) 복수의 카메라를 이용한 객체 추적 방법 및 장치
JP2021111033A (ja) 物体監視装置、物体監視プログラム、及び監視システム
JP6941458B2 (ja) 監視システム
TW201205506A (en) System and method for managing security of a roof
JP2005347942A (ja) 監視システム、監視システムの制御プログラム、および監視装置
US20110267463A1 (en) Image capturing device and method for controlling image capturing device
JP2021072542A (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
KR101698864B1 (ko) 메타 데이터를 이용한 영상 검출 방법을 실행시키는 프로그램이 기록된 기록 매체
JP2023020307A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150720

R150 Certificate of patent or registration of utility model

Ref document number: 5790761

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees