JPH0997337A - 侵入物監視装置 - Google Patents
侵入物監視装置Info
- Publication number
- JPH0997337A JPH0997337A JP25337295A JP25337295A JPH0997337A JP H0997337 A JPH0997337 A JP H0997337A JP 25337295 A JP25337295 A JP 25337295A JP 25337295 A JP25337295 A JP 25337295A JP H0997337 A JPH0997337 A JP H0997337A
- Authority
- JP
- Japan
- Prior art keywords
- image
- intruder
- cubic
- trespasser
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Geophysics And Detection Of Objects (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Emergency Alarm Devices (AREA)
- Alarm Systems (AREA)
Abstract
(57)【要約】
【課題】 背景の明るさや背景に存在する物体の影響を
受けることなく高精度に侵入物を検出することができる
とともに、広範囲に渡って監視を行う。 【解決手段】 ステレオ画像対をステレオ画像処理装置
20で処理して画像全体に渡る三次元の距離分布を算出
すると、侵入物検出装置70で、その距離分布の情報に
対応する被写体の各部分の三次元位置を計算した後、監
視対象となる三次元空間を複数の立方格子に分割し、既
存物体の含まれる立方格子を除外して各立方格子に含ま
れるデータ点の個数が閾値を越えるものを物体が存在す
る立方格子として抽出する。そして、物体有りと判定さ
れた立方格子のデータから検出物の種類を判定し、前回
と同じ侵入物の場合には、撮像位置を変えて侵入物の追
跡・記録を行う。これにより、背景の明るさや背景に存
在する物体の影響を受けることなく高精度に侵入物を検
出するとともに、広範囲に渡って監視を行う。
受けることなく高精度に侵入物を検出することができる
とともに、広範囲に渡って監視を行う。 【解決手段】 ステレオ画像対をステレオ画像処理装置
20で処理して画像全体に渡る三次元の距離分布を算出
すると、侵入物検出装置70で、その距離分布の情報に
対応する被写体の各部分の三次元位置を計算した後、監
視対象となる三次元空間を複数の立方格子に分割し、既
存物体の含まれる立方格子を除外して各立方格子に含ま
れるデータ点の個数が閾値を越えるものを物体が存在す
る立方格子として抽出する。そして、物体有りと判定さ
れた立方格子のデータから検出物の種類を判定し、前回
と同じ侵入物の場合には、撮像位置を変えて侵入物の追
跡・記録を行う。これにより、背景の明るさや背景に存
在する物体の影響を受けることなく高精度に侵入物を検
出するとともに、広範囲に渡って監視を行う。
Description
【0001】
【発明の属する技術分野】本発明は、所定の監視領域を
撮像し、撮像画像から監視領域内への侵入物を検出する
侵入物監視装置に関する。
撮像し、撮像画像から監視領域内への侵入物を検出する
侵入物監視装置に関する。
【0002】
【従来の技術】近年、画像技術の応用の1つとして、所
定の監視領域をTVカメラで撮像し、この撮像画像を解
析して監視領域への侵入物を自動的に検出する技術が開
発されており、例えば、特開平4−101594号公報
には、1台のTVカメラから一定の時間差をもって取り
込んだ2つの画像の輝度の差分に基づいて侵入物を検知
する技術が開示されている。
定の監視領域をTVカメラで撮像し、この撮像画像を解
析して監視領域への侵入物を自動的に検出する技術が開
発されており、例えば、特開平4−101594号公報
には、1台のTVカメラから一定の時間差をもって取り
込んだ2つの画像の輝度の差分に基づいて侵入物を検知
する技術が開示されている。
【0003】しかしながら、屋外の自然環境下で太陽等
の明るさが大幅に変化する場合や、背景中の樹木等が大
きく揺れているような場合には、これらの背景も侵入物
として誤検出される可能性があり、さらに、物体の三次
元空間での正確な位置が検出できないため、監視対象の
後方(遠方)あるいは前方にある監視対象外の領域が画
像中に映り込んでいる場合、検出された物体が監視対象
内か否かを正確に判定することができないという問題が
ある。
の明るさが大幅に変化する場合や、背景中の樹木等が大
きく揺れているような場合には、これらの背景も侵入物
として誤検出される可能性があり、さらに、物体の三次
元空間での正確な位置が検出できないため、監視対象の
後方(遠方)あるいは前方にある監視対象外の領域が画
像中に映り込んでいる場合、検出された物体が監視対象
内か否かを正確に判定することができないという問題が
ある。
【0004】このため、特開平4−31996号公報に
は、同一の監視領域を異なる視点から撮像する2台のカ
メラを用い、各々のカメラで撮像した画像について時間
的な変化を検出した後、その変化が発生した部分につい
てステレオマッチングを行うことにより変化部分の三次
元位置を求め、変化部分(検出物)が適切な位置に存在
するか否かを判定して侵入者・物を検出することによ
り、侵入者・物が存在するはずのない位置に光や影の変
化が生じても、誤判定を回避することのできる技術が開
示されている。
は、同一の監視領域を異なる視点から撮像する2台のカ
メラを用い、各々のカメラで撮像した画像について時間
的な変化を検出した後、その変化が発生した部分につい
てステレオマッチングを行うことにより変化部分の三次
元位置を求め、変化部分(検出物)が適切な位置に存在
するか否かを判定して侵入者・物を検出することによ
り、侵入者・物が存在するはずのない位置に光や影の変
化が生じても、誤判定を回避することのできる技術が開
示されている。
【0005】
【発明が解決しようとする課題】しかしながら、任意の
物体が存在する場所、特に屋外で監視を行う場合を考慮
すると、画像の時間的な変化を検出する限り、背景の明
るさが変化すると、それらの背景が全て検出されて侵入
物が埋もれてしまい、侵入物のみを精度良く検出するこ
とが困難となる。
物体が存在する場所、特に屋外で監視を行う場合を考慮
すると、画像の時間的な変化を検出する限り、背景の明
るさが変化すると、それらの背景が全て検出されて侵入
物が埋もれてしまい、侵入物のみを精度良く検出するこ
とが困難となる。
【0006】さらに、画像の時間的な変化を検出するた
めには、カメラが背景に対して固定されている必要があ
り、広範囲な監視領域をカバーしようとすると、多数の
カメラを各々の監視領域に向けて設置しなければならな
い。
めには、カメラが背景に対して固定されている必要があ
り、広範囲な監視領域をカバーしようとすると、多数の
カメラを各々の監視領域に向けて設置しなければならな
い。
【0007】本発明は上記事情に鑑みてなされたもの
で、背景の明るさや背景に存在する物体の影響を受ける
ことなく高精度に侵入物を検出することができるととも
に、広範囲に渡って監視を行うことのできる侵入物監視
装置を提供することを目的とする。
で、背景の明るさや背景に存在する物体の影響を受ける
ことなく高精度に侵入物を検出することができるととも
に、広範囲に渡って監視を行うことのできる侵入物監視
装置を提供することを目的とする。
【0008】
【課題を解決するための手段】請求項1記載の発明は、
同一の監視領域を異なる視点から撮像したステレオ画像
対を処理し、このステレオ画像対の対応位置のずれ量か
ら画像全体に渡る距離分布を算出するステレオ画像処理
手段と、上記ステレオ画像処理手段からの距離分布情報
に対応する被写体の各部分の三次元位置を求め、求めた
三次元位置に基づいて物体の有無を判定し、監視領域内
への侵入物を検出する侵入物検出手段とを備えることを
特徴とする。
同一の監視領域を異なる視点から撮像したステレオ画像
対を処理し、このステレオ画像対の対応位置のずれ量か
ら画像全体に渡る距離分布を算出するステレオ画像処理
手段と、上記ステレオ画像処理手段からの距離分布情報
に対応する被写体の各部分の三次元位置を求め、求めた
三次元位置に基づいて物体の有無を判定し、監視領域内
への侵入物を検出する侵入物検出手段とを備えることを
特徴とする。
【0009】請求項2記載の発明は、請求項1記載の発
明において、上記侵入物検出手段は、監視領域の三次元
空間を複数の立方格子で分割し、各立方格子に含まれる
上記三次元位置のデータ数に基づいて、物体が存在する
立方格子を抽出することを特徴とする。
明において、上記侵入物検出手段は、監視領域の三次元
空間を複数の立方格子で分割し、各立方格子に含まれる
上記三次元位置のデータ数に基づいて、物体が存在する
立方格子を抽出することを特徴とする。
【0010】請求項3記載の発明は、請求項2記載の発
明において、上記侵入物検出手段は、物体が存在する立
方格子を抽出する際、背景及び既存の物体の三次元位置
データが含まれる立方格子を検出対象外として除外する
ことを特徴とする。
明において、上記侵入物検出手段は、物体が存在する立
方格子を抽出する際、背景及び既存の物体の三次元位置
データが含まれる立方格子を検出対象外として除外する
ことを特徴とする。
【0011】すなわち、請求項1記載の発明では、ステ
レオ画像処理手段での処理結果から得られる画像全体に
渡る距離分布情報に対し、侵入物検出手段で被写体の対
応する各部分の三次元位置を求めた後、求めた三次元位
置に基づいて物体の有無を判定し、監視領域内への侵入
物を検出する。
レオ画像処理手段での処理結果から得られる画像全体に
渡る距離分布情報に対し、侵入物検出手段で被写体の対
応する各部分の三次元位置を求めた後、求めた三次元位
置に基づいて物体の有無を判定し、監視領域内への侵入
物を検出する。
【0012】この場合、請求項2記載の発明では、請求
項1記載の発明における侵入物検出手段において、監視
領域の三次元空間を複数の立方格子に分割し、各立方格
子に含まれる上記三次元位置のデータ数に基づいて物体
が存在する立方格子を抽出することで物体の有無を判定
し、侵入物を検出する。
項1記載の発明における侵入物検出手段において、監視
領域の三次元空間を複数の立方格子に分割し、各立方格
子に含まれる上記三次元位置のデータ数に基づいて物体
が存在する立方格子を抽出することで物体の有無を判定
し、侵入物を検出する。
【0013】また、請求項3記載の発明では、請求項2
記載の発明において、背景及び既存の物体の三次元位置
データが含まれる立方格子を検出対象外として除外し、
残りの立方格子の中から物体が存在する立方格子を抽出
する。
記載の発明において、背景及び既存の物体の三次元位置
データが含まれる立方格子を検出対象外として除外し、
残りの立方格子の中から物体が存在する立方格子を抽出
する。
【0014】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図面は本発明の実施の一形態に係
わり、図1は監視装置の全体構成図、図2は監視装置の
回路構成図、図3はずれ量検出処理のフローチャート、
図4は侵入物検出処理のフローチャート、図5は座標系
を示す説明図、図6は距離画像上の座標値と対象物体と
の位置関係を示す説明図、図7は距離画像と対象物体と
の位置関係を垂直断面によって示す説明図、図8はカメ
ラの左右方向の回転角を示す上面図、図9は三次元空間
の分割を示す説明図である。
施の形態を説明する。図面は本発明の実施の一形態に係
わり、図1は監視装置の全体構成図、図2は監視装置の
回路構成図、図3はずれ量検出処理のフローチャート、
図4は侵入物検出処理のフローチャート、図5は座標系
を示す説明図、図6は距離画像上の座標値と対象物体と
の位置関係を示す説明図、図7は距離画像と対象物体と
の位置関係を垂直断面によって示す説明図、図8はカメ
ラの左右方向の回転角を示す上面図、図9は三次元空間
の分割を示す説明図である。
【0015】図1において、符号1は、例えばビルの屋
内や屋外の駐車場等に設置され、所定の監視領域内へ侵
入する人物、動物、自動車等の侵入物を監視する監視装
置であり、図においては、オフィスの室内や廊下等、植
木2やテーブル3等が存在する監視領域を撮像し、この
撮像画像から侵入物として侵入者4を検出して監視する
例を示している。
内や屋外の駐車場等に設置され、所定の監視領域内へ侵
入する人物、動物、自動車等の侵入物を監視する監視装
置であり、図においては、オフィスの室内や廊下等、植
木2やテーブル3等が存在する監視領域を撮像し、この
撮像画像から侵入物として侵入者4を検出して監視する
例を示している。
【0016】上記監視装置1は、1組のカメラによって
同一の監視領域を異なる視点から撮像するステレオ光学
系10、このステレオ光学系10で撮像したステレオ画
像対に対し、対応する位置のずれ量から三角測量の原理
によって画像全体に渡る距離情報を求める処理を行い、
三次元の距離画像を生成するステレオ画像処理装置(ス
テレオ画像処理手段)20、このステレオ画像処理装置
20からの距離画像を解析して被写体の各部分の三次元
位置を求め、求めた三次元位置に基づいて物体の有無を
判定し、監視領域内への侵入物を検出する侵入物検出装
置(侵入物検出手段)70、この侵入物検出装置70に
よって検出された侵入物の位置データを記録するととも
に、画像を記録する画像データ記録装置80、及び、上
記侵入物検出装置70からの侵入物の検出信号が入力さ
れたとき、ブザーあるいはランプ等に警報信号を出力す
る警報装置90等を備えている。
同一の監視領域を異なる視点から撮像するステレオ光学
系10、このステレオ光学系10で撮像したステレオ画
像対に対し、対応する位置のずれ量から三角測量の原理
によって画像全体に渡る距離情報を求める処理を行い、
三次元の距離画像を生成するステレオ画像処理装置(ス
テレオ画像処理手段)20、このステレオ画像処理装置
20からの距離画像を解析して被写体の各部分の三次元
位置を求め、求めた三次元位置に基づいて物体の有無を
判定し、監視領域内への侵入物を検出する侵入物検出装
置(侵入物検出手段)70、この侵入物検出装置70に
よって検出された侵入物の位置データを記録するととも
に、画像を記録する画像データ記録装置80、及び、上
記侵入物検出装置70からの侵入物の検出信号が入力さ
れたとき、ブザーあるいはランプ等に警報信号を出力す
る警報装置90等を備えている。
【0017】上記ステレオ光学系10は、例えば電荷結
合素子(CCD)等を用いた2台のカメラを主として構
成され、左右のカメラ11a,11bがステー12に固
定されている。主カメラである左カメラ11aの下部に
は、モータ等からなるカメラ回動装置13が取り付けら
れ、このカメラ回動装置13に、エンコーダ等からなる
カメラ位置検出装置14が取り付けられている。
合素子(CCD)等を用いた2台のカメラを主として構
成され、左右のカメラ11a,11bがステー12に固
定されている。主カメラである左カメラ11aの下部に
は、モータ等からなるカメラ回動装置13が取り付けら
れ、このカメラ回動装置13に、エンコーダ等からなる
カメラ位置検出装置14が取り付けられている。
【0018】すなわち、監視領域が広く、一定位置での
各カメラ11a,11bの視野ではカバーできない場
合、本発明においては一定位置での画像の時間的変化か
ら侵入物を検出する訳ではなく、後述するように、所定
位置で撮像したステレオ画像対を処理して画像全体に渡
る三次元の距離分布を求め、その三次元位置に基づいて
侵入物を検出するため、上記カメラ回動装置13によっ
てステレオ光学系10全体を左右あるいは上下に回動す
ることで、監視領域を広範囲に渡ってカバーすることが
できる。
各カメラ11a,11bの視野ではカバーできない場
合、本発明においては一定位置での画像の時間的変化か
ら侵入物を検出する訳ではなく、後述するように、所定
位置で撮像したステレオ画像対を処理して画像全体に渡
る三次元の距離分布を求め、その三次元位置に基づいて
侵入物を検出するため、上記カメラ回動装置13によっ
てステレオ光学系10全体を左右あるいは上下に回動す
ることで、監視領域を広範囲に渡ってカバーすることが
できる。
【0019】上記ステレオ光学系10で撮像した左右画
像のずれ量dを検出するには、左右画像における同一物
体の像を見つけ出す必要があり、本発明では、次に述べ
るステレオ画像処理装置20において、画像を小領域に
分割し、それぞれの小領域内の輝度あるいは色のパター
ンを左右画像で比較して一致する領域を見つけ出すこと
で、被写体の明るさや色等によって影響を受けことな
く、また、屋外での光の条件が大きく変化しても影響を
受けることなく、全画面に渡って正確に距離分布を求め
ることができる。
像のずれ量dを検出するには、左右画像における同一物
体の像を見つけ出す必要があり、本発明では、次に述べ
るステレオ画像処理装置20において、画像を小領域に
分割し、それぞれの小領域内の輝度あるいは色のパター
ンを左右画像で比較して一致する領域を見つけ出すこと
で、被写体の明るさや色等によって影響を受けことな
く、また、屋外での光の条件が大きく変化しても影響を
受けることなく、全画面に渡って正確に距離分布を求め
ることができる。
【0020】左右画像の一致度は、右画像、左画像のi
番目画素の輝度(色を用いても良い)を、それぞれ、A
i、Biとすると、例えば、以下の(1)式に示すシティ
ブロック距離Hによって評価することができ、左右画像
の各小領域間のシティブロック距離Hの最小値が所定の
条件を満たすとき、互いの小領域が対応すると判断する
ことができる。
番目画素の輝度(色を用いても良い)を、それぞれ、A
i、Biとすると、例えば、以下の(1)式に示すシティ
ブロック距離Hによって評価することができ、左右画像
の各小領域間のシティブロック距離Hの最小値が所定の
条件を満たすとき、互いの小領域が対応すると判断する
ことができる。
【0021】 H=Σ|Ai−Bi| … (1) このため、上記ステレオ画像処理装置20は、例えば図
2に示されるような回路構成となっており、この回路構
成例では、上記カメラ11a,11bで撮像したアナロ
グ画像を所定のデジタル画像に変換する画像変換部3
0、この画像変換部30からの画像データに対し、左右
画像の対応する小領域のずれ量dを決定するためのシテ
ィブロック距離Hを画素を一つずつずらしながら次々と
計算するシティブロック距離計算部40、このシティブ
ロック距離Hの最小値を検出し、得られた最小値が左右
小領域の一致を示すものであるか否かをチェックしてず
れ量dを決定する最小値検出・チェック回路50、この
最小値検出・チェック回路50で決定したずれ量dに基
づく距離分布情報(距離画像)を記憶する距離画像メモ
リ60が備えられている。
2に示されるような回路構成となっており、この回路構
成例では、上記カメラ11a,11bで撮像したアナロ
グ画像を所定のデジタル画像に変換する画像変換部3
0、この画像変換部30からの画像データに対し、左右
画像の対応する小領域のずれ量dを決定するためのシテ
ィブロック距離Hを画素を一つずつずらしながら次々と
計算するシティブロック距離計算部40、このシティブ
ロック距離Hの最小値を検出し、得られた最小値が左右
小領域の一致を示すものであるか否かをチェックしてず
れ量dを決定する最小値検出・チェック回路50、この
最小値検出・チェック回路50で決定したずれ量dに基
づく距離分布情報(距離画像)を記憶する距離画像メモ
リ60が備えられている。
【0022】上記画像変換部30には、左右画像用のカ
メラ11a,11bに対応して、A/Dコンバータ31
a,31bが備えられ、各A/Dコンバータ31a,3
1bに、それぞれ、ROMからなるルックアップテーブ
ル(LUT)32a,32bが接続され、低輝度部分に
対するコントラスト補正、CCDアンプの固有ゲインの
補正等が行われる。さらに、各LUT32a,32bに
は、左画像メモリ33a、右画像メモリ33bがそれぞ
れ接続されている。
メラ11a,11bに対応して、A/Dコンバータ31
a,31bが備えられ、各A/Dコンバータ31a,3
1bに、それぞれ、ROMからなるルックアップテーブ
ル(LUT)32a,32bが接続され、低輝度部分に
対するコントラスト補正、CCDアンプの固有ゲインの
補正等が行われる。さらに、各LUT32a,32bに
は、左画像メモリ33a、右画像メモリ33bがそれぞ
れ接続されている。
【0023】上記左右画像メモリ33a,33bに記録
された画像データは、シティブロック距離計算部40で
画像の一部が繰り返し取り出されて処理される。このシ
ティブロック距離計算部40は、上記左画像メモリ33
aからの画像データが入力される2組の左画像用入力バ
ッファメモリ41a,41bに、左画像用シフトレジス
タ43が接続されるとともに、上記右画像メモリ33b
からの画像データが入力される2組の右画像用入力バッ
ファメモリ42a,42bに、右画像用シフトレジスタ
44が接続され、各シフトレジスタ43,44がシティ
ブロック距離計算回路45に接続されて構成されてい
る。
された画像データは、シティブロック距離計算部40で
画像の一部が繰り返し取り出されて処理される。このシ
ティブロック距離計算部40は、上記左画像メモリ33
aからの画像データが入力される2組の左画像用入力バ
ッファメモリ41a,41bに、左画像用シフトレジス
タ43が接続されるとともに、上記右画像メモリ33b
からの画像データが入力される2組の右画像用入力バッ
ファメモリ42a,42bに、右画像用シフトレジスタ
44が接続され、各シフトレジスタ43,44がシティ
ブロック距離計算回路45に接続されて構成されてい
る。
【0024】上記シティブロック距離計算回路45は、
例えば、加減算器に入出力ラッチをつなげた高速演算器
を組み合わせ、ピラミッド状に接続したパイプライン構
造となっており、数画素分を同時に入力して計算するよ
うになっている。このピラミッド型構造の初段は絶対値
演算器であり、中間段はそれぞれが加算器を構成し、最
終段は総和加算器となっている。
例えば、加減算器に入出力ラッチをつなげた高速演算器
を組み合わせ、ピラミッド状に接続したパイプライン構
造となっており、数画素分を同時に入力して計算するよ
うになっている。このピラミッド型構造の初段は絶対値
演算器であり、中間段はそれぞれが加算器を構成し、最
終段は総和加算器となっている。
【0025】また、最小値検出・チェック回路50は、
上記シティブロック距離計算回路45の出力と同期して
シティブロック距離Hの最小値HMIN及び最大値HMAXを
検出し、得られたシティブロック距離Hの最小値HMIN
が本当に左右小領域の一致を示しているものかどうかチ
ェックを行ない、条件を満たしたもののみ、上記侵入物
検出装置70とのインターフェースとなるデュアルポー
トメモリ等からなる上記距離画像メモリ60の対応する
画素の位置にずれ量dを出力する。
上記シティブロック距離計算回路45の出力と同期して
シティブロック距離Hの最小値HMIN及び最大値HMAXを
検出し、得られたシティブロック距離Hの最小値HMIN
が本当に左右小領域の一致を示しているものかどうかチ
ェックを行ない、条件を満たしたもののみ、上記侵入物
検出装置70とのインターフェースとなるデュアルポー
トメモリ等からなる上記距離画像メモリ60の対応する
画素の位置にずれ量dを出力する。
【0026】一方、上記侵入物検出装置70は、上記距
離画像メモリ60に書込まれたずれ量dを読出して各種
の計算処理を行なうマイクロプロセッサ71を中心に構
成され、カメラ11a,11bの取り付け位置や視野角
等のパラメータ、監視領域の位置や範囲等のデータ、及
び、制御プログラムを記憶するROM72、計算処理途
中の各種データを記憶するRAM73、処理結果を記憶
する出力用メモリ74、インターフェース回路75等か
ら構成されている。
離画像メモリ60に書込まれたずれ量dを読出して各種
の計算処理を行なうマイクロプロセッサ71を中心に構
成され、カメラ11a,11bの取り付け位置や視野角
等のパラメータ、監視領域の位置や範囲等のデータ、及
び、制御プログラムを記憶するROM72、計算処理途
中の各種データを記憶するRAM73、処理結果を記憶
する出力用メモリ74、インターフェース回路75等か
ら構成されている。
【0027】上記インターフェース回路75の出力ポー
トには、上記警報装置90が接続されるとともに、駆動
回路76を介して上記カメラ回動装置13が接続され、
入力ポートに上記カメラ位置検出装置14が接続されて
いる。
トには、上記警報装置90が接続されるとともに、駆動
回路76を介して上記カメラ回動装置13が接続され、
入力ポートに上記カメラ位置検出装置14が接続されて
いる。
【0028】また、上記画像データ記録装置80には、
上記侵入物検出装置70が上記出力用メモリ74を介し
て接続されるとともに、上記ステレオ光学系10の主カ
メラ(左カメラ)11aが接続され、侵入物が検出され
た場合、侵入物の位置データ等を記録するとともに、そ
のときの画像をビデオテープ等に記録する。
上記侵入物検出装置70が上記出力用メモリ74を介し
て接続されるとともに、上記ステレオ光学系10の主カ
メラ(左カメラ)11aが接続され、侵入物が検出され
た場合、侵入物の位置データ等を記録するとともに、そ
のときの画像をビデオテープ等に記録する。
【0029】上記ステレオ光学系10のカメラ11a,
11bによって撮像されたステレオ画像対は、上記ステ
レオ画像処理装置20で左右画像のマッチングが行わ
れ、距離画像が生成されて距離画像メモリ60に記憶さ
れる。上記侵入物検出装置70では、距離画像メモリ6
0からの距離分布情報に基づく物体の三次元的な位置座
標により、侵入物を背景から区別して認識し、その認識
結果を出力用メモリ74に出力する。
11bによって撮像されたステレオ画像対は、上記ステ
レオ画像処理装置20で左右画像のマッチングが行わ
れ、距離画像が生成されて距離画像メモリ60に記憶さ
れる。上記侵入物検出装置70では、距離画像メモリ6
0からの距離分布情報に基づく物体の三次元的な位置座
標により、侵入物を背景から区別して認識し、その認識
結果を出力用メモリ74に出力する。
【0030】以下、上記ステレオ画像処理装置20によ
るずれ量検出処理、上記侵入物検出装置70による侵入
物検出処理について、図3及び図4のフローチャートに
従って説明する。
るずれ量検出処理、上記侵入物検出装置70による侵入
物検出処理について、図3及び図4のフローチャートに
従って説明する。
【0031】まず、ずれ量検出処理では、図3のステッ
プS101で、左右のカメラ11a,11bによって撮像し
た画像を入力すると、ステップS102へ進み、入力したア
ナログ画像をA/Dコンバータ31a,31bで所定の
輝度階調(例えば256階調のグレースケール)を有す
るデジタル画像に変換する。
プS101で、左右のカメラ11a,11bによって撮像し
た画像を入力すると、ステップS102へ進み、入力したア
ナログ画像をA/Dコンバータ31a,31bで所定の
輝度階調(例えば256階調のグレースケール)を有す
るデジタル画像に変換する。
【0032】上記各A/Dコンバータ31a,31bに
よって変換されたデジタル画像は、LUT32a,32
bで、低輝度部分のコントラスト増強、左右のカメラ1
1a,11bの特性補償等が行なわれ、画像メモリ33
a,33bに記録される。尚、上記画像メモリ33a,
33bに記憶される画像は、カメラ11a,11bのC
CD素子の全ラインのうち、その後の処理に必要なライ
ンのみであり、所定時間毎に書換えられる。
よって変換されたデジタル画像は、LUT32a,32
bで、低輝度部分のコントラスト増強、左右のカメラ1
1a,11bの特性補償等が行なわれ、画像メモリ33
a,33bに記録される。尚、上記画像メモリ33a,
33bに記憶される画像は、カメラ11a,11bのC
CD素子の全ラインのうち、その後の処理に必要なライ
ンのみであり、所定時間毎に書換えられる。
【0033】その後、左右の画像メモリ33a,33b
に記録された画像データは、ステップS103で、各画像メ
モリ33a,33bから数ラインずつ入力バッファメモ
リ41a,41b,42a,42bへ転送され、左右画
像のマッチング、すなわち一致度の評価が行なわれる。
に記録された画像データは、ステップS103で、各画像メ
モリ33a,33bから数ラインずつ入力バッファメモ
リ41a,41b,42a,42bへ転送され、左右画
像のマッチング、すなわち一致度の評価が行なわれる。
【0034】その際、左右の画像毎に、上記画像メモリ
33a,33bから上記入力バッファメモリ41a,4
1b,42a,42bへの読込み動作と、シフトレジス
タ43,44に対する書込み動作とが交互に行なわれ
る。例えば、左画像メモリ33aから一方の入力バッフ
ァメモリ41aに画像データが読込まれている間に、他
方の入力バッファメモリ41bからシフトレジスタ43
へ読込んだ画像データの書出しが行なわれ、右画像メモ
リ33bから一方の入力バッファメモリ42aに画像デ
ータが読込まれている間に、他方の入力バッファメモリ
42bからシフトレジスタ44へ読込んだ画像データの
書出しが行なわれる。
33a,33bから上記入力バッファメモリ41a,4
1b,42a,42bへの読込み動作と、シフトレジス
タ43,44に対する書込み動作とが交互に行なわれ
る。例えば、左画像メモリ33aから一方の入力バッフ
ァメモリ41aに画像データが読込まれている間に、他
方の入力バッファメモリ41bからシフトレジスタ43
へ読込んだ画像データの書出しが行なわれ、右画像メモ
リ33bから一方の入力バッファメモリ42aに画像デ
ータが読込まれている間に、他方の入力バッファメモリ
42bからシフトレジスタ44へ読込んだ画像データの
書出しが行なわれる。
【0035】そして、各シフトレジスタ43,44は、
偶数段の内容を同時にシティブロック距離計算回路45
に出力し、シティブロック距離Hの計算が始まると、右
画像のデータはシフトレジスタ44内に保持されて、ク
ロック毎に奇数ライン、偶数ラインのデータが交互に出
力される。
偶数段の内容を同時にシティブロック距離計算回路45
に出力し、シティブロック距離Hの計算が始まると、右
画像のデータはシフトレジスタ44内に保持されて、ク
ロック毎に奇数ライン、偶数ラインのデータが交互に出
力される。
【0036】一方、左画像のデータはシフトレジスタ4
3に転送され続け、奇数ライン、偶数ラインのデータが
交互に出力されつつ、数クロック毎に1画素分右のほう
にずれたデータに置き換わっていく。この動作を繰り返
し、その後、一つの小領域に対する転送が終了すると、
図示しないアドレスカウンタ内の左画像用アドレスカウ
ンタに右画像用アドレスカウンタの内容(次の小領域の
先頭アドレス)がセットされ、次の小領域の処理が始ま
る。
3に転送され続け、奇数ライン、偶数ラインのデータが
交互に出力されつつ、数クロック毎に1画素分右のほう
にずれたデータに置き換わっていく。この動作を繰り返
し、その後、一つの小領域に対する転送が終了すると、
図示しないアドレスカウンタ内の左画像用アドレスカウ
ンタに右画像用アドレスカウンタの内容(次の小領域の
先頭アドレス)がセットされ、次の小領域の処理が始ま
る。
【0037】シティブロック距離計算回路45では、ピ
ラミッド型構造初段の絶対値演算器に数画素分のデータ
を入力し、左右画像の輝度差の絶対値を計算する。すな
わち、右画素の輝度から対応する左画素の輝度を引き算
し、結果が負になった場合、演算命令を変えることによ
り、引く方と引かれる方を逆にして再び引き算を行なう
ことにより、絶対値の計算を行なう。従って、初段では
引き算を2回行なう場合がある。
ラミッド型構造初段の絶対値演算器に数画素分のデータ
を入力し、左右画像の輝度差の絶対値を計算する。すな
わち、右画素の輝度から対応する左画素の輝度を引き算
し、結果が負になった場合、演算命令を変えることによ
り、引く方と引かれる方を逆にして再び引き算を行なう
ことにより、絶対値の計算を行なう。従って、初段では
引き算を2回行なう場合がある。
【0038】次いで、初段を通過すると、中間段の各加
算器で二つの同時入力データを次々と加算し、最終段の
総和加算器で二つの連続するデータを加え合わせて総和
を計算する。そして、小領域を形成する画素分のシティ
ブロック距離Hを数クロック毎に最小値検出・チェック
回路50へ出力する。
算器で二つの同時入力データを次々と加算し、最終段の
総和加算器で二つの連続するデータを加え合わせて総和
を計算する。そして、小領域を形成する画素分のシティ
ブロック距離Hを数クロック毎に最小値検出・チェック
回路50へ出力する。
【0039】次に、ステップS104へ進み、上記ステップ
S103で算出したシティブロック距離Hの最大値HMAX 、
最小値HMIN を最小値検出・チェック回路50で検出す
る。この最小値検出・チェック回路50では、最初に出
力されてきたシティブロック距離H(ずれ量d=0)
と、次のクロックで出力されてきたシティブロック距離
H(ずれ量d=1)とを比較し、比較結果が小のときに
のみ、ずれ量dを保存する。そして、この比較演算を繰
り返し、計算途中での最大値、最小値、及び、そのとき
のずれ量dを保存して、これまでの値の最大値HMAX 、
最小値HMIN を更新し、ずれ量dが所定画素数になるま
で計算を続ける。
S103で算出したシティブロック距離Hの最大値HMAX 、
最小値HMIN を最小値検出・チェック回路50で検出す
る。この最小値検出・チェック回路50では、最初に出
力されてきたシティブロック距離H(ずれ量d=0)
と、次のクロックで出力されてきたシティブロック距離
H(ずれ量d=1)とを比較し、比較結果が小のときに
のみ、ずれ量dを保存する。そして、この比較演算を繰
り返し、計算途中での最大値、最小値、及び、そのとき
のずれ量dを保存して、これまでの値の最大値HMAX 、
最小値HMIN を更新し、ずれ量dが所定画素数になるま
で計算を続ける。
【0040】計算が終了すると(最後のシティブロック
距離Hが出力されてから1クロック後)、ステップS105
で、得られた最小値HMINが本当に左右小領域の一致を
示すものであるか否かを、以下の3つの条件によりチェ
ックする。
距離Hが出力されてから1クロック後)、ステップS105
で、得られた最小値HMINが本当に左右小領域の一致を
示すものであるか否かを、以下の3つの条件によりチェ
ックする。
【0041】(1)HMIN ≦Ha(最小値HMIN がしき
い値Ha より大きいときには距離を検出できず。) (2)HMAX −HMIN ≧Hb(得られた最小値HMIN が
ノイズによる揺らぎより明らかに低くなっていることを
チェックするための条件であり、最小値HMINの近傍の
値との差でなく、最大値HMAX と最小値HMINとの差を
しきい値Hbと比較してチェックを行なうことにより、
曲面などの緩やかに輝度の変わる物体に対しても距離検
出が行なえる。) (3)右画像の小領域内の横方向の隣接画素間の輝度差
>Hc(しきい値Hc を大きくするとエッジ検出となる
が、輝度が緩やかに変化している場合にも対応可能なよ
うに、しきい値Hc は通常のエッジ検出レベルよりはず
っと低くしてある。この条件は、輝度変化のない部分で
は、距離検出が行なえないという基本的な原理に基づい
ており、小領域中の画素毎に行なわれるため、小領域の
中でも実際に距離の検出された画素のみが採用されるこ
とになり、自然な結果が得られる。) すなわち、シティブロック距離Hが最小となるずれ量が
求めるずれ量dとなる訳であるが、以上の3つのチェッ
ク条件を満足した場合に、ステップS106で、ずれ量dを
距離画像メモリ60へ出力し、満足しない場合には、デ
ータを採用せずに“0”を距離画像メモリ60へ出力
し、処理を抜ける。
い値Ha より大きいときには距離を検出できず。) (2)HMAX −HMIN ≧Hb(得られた最小値HMIN が
ノイズによる揺らぎより明らかに低くなっていることを
チェックするための条件であり、最小値HMINの近傍の
値との差でなく、最大値HMAX と最小値HMINとの差を
しきい値Hbと比較してチェックを行なうことにより、
曲面などの緩やかに輝度の変わる物体に対しても距離検
出が行なえる。) (3)右画像の小領域内の横方向の隣接画素間の輝度差
>Hc(しきい値Hc を大きくするとエッジ検出となる
が、輝度が緩やかに変化している場合にも対応可能なよ
うに、しきい値Hc は通常のエッジ検出レベルよりはず
っと低くしてある。この条件は、輝度変化のない部分で
は、距離検出が行なえないという基本的な原理に基づい
ており、小領域中の画素毎に行なわれるため、小領域の
中でも実際に距離の検出された画素のみが採用されるこ
とになり、自然な結果が得られる。) すなわち、シティブロック距離Hが最小となるずれ量が
求めるずれ量dとなる訳であるが、以上の3つのチェッ
ク条件を満足した場合に、ステップS106で、ずれ量dを
距離画像メモリ60へ出力し、満足しない場合には、デ
ータを採用せずに“0”を距離画像メモリ60へ出力
し、処理を抜ける。
【0042】上記距離画像メモリ60に記憶される距離
分布情報は、ステレオ画像対の各画素のうち、左右方向
に隣合う画素間で明暗変化が大きい部分(距離データを
持っている部分)を抽出した画像のような形態(距離画
像)をしており、距離画像上の座標系を、画像中央を原
点とし、横方向をi座標軸,縦方向をj座標軸とする
と、座標値(i,j,d)が距離分布情報として得られ
る(単位は画素)。
分布情報は、ステレオ画像対の各画素のうち、左右方向
に隣合う画素間で明暗変化が大きい部分(距離データを
持っている部分)を抽出した画像のような形態(距離画
像)をしており、距離画像上の座標系を、画像中央を原
点とし、横方向をi座標軸,縦方向をj座標軸とする
と、座標値(i,j,d)が距離分布情報として得られ
る(単位は画素)。
【0043】上記距離画像メモリ60に記憶された距離
分布情報は、侵入物検出装置70に読込まれる。この侵
入物検出装置70における侵入物検出処理では、図4の
ステップS201で、距離画像メモリ60から座標値(i,
j,d)を読込むと、ステップS202へ進み、カメラ位置
検出装置14によって検出される主カメラ(左カメラ)
11aの光軸の水平線に対する俯角θf及び左右方向の
回転角θrを読込み、距離画像の座標値を実空間の座標
値に変換する。
分布情報は、侵入物検出装置70に読込まれる。この侵
入物検出装置70における侵入物検出処理では、図4の
ステップS201で、距離画像メモリ60から座標値(i,
j,d)を読込むと、ステップS202へ進み、カメラ位置
検出装置14によって検出される主カメラ(左カメラ)
11aの光軸の水平線に対する俯角θf及び左右方向の
回転角θrを読込み、距離画像の座標値を実空間の座標
値に変換する。
【0044】すなわち、実空間の監視領域に対し、図5
に示すように、左カメラ11aの真下の床面を原点と
し、この原点から右カメラ11b側にX軸(X>0)、
左カメラ11aの上方にY軸(Y>0)、左カメラ11
a前方にZ軸(Z>0)を延出し、X軸とZ軸とでなす
平面が床面に一致するような座標系を設定し、距離画像
の座標値(i,j,d)から被写体の三次元位置(X,
Y,Z)を求める。
に示すように、左カメラ11aの真下の床面を原点と
し、この原点から右カメラ11b側にX軸(X>0)、
左カメラ11aの上方にY軸(Y>0)、左カメラ11
a前方にZ軸(Z>0)を延出し、X軸とZ軸とでなす
平面が床面に一致するような座標系を設定し、距離画像
の座標値(i,j,d)から被写体の三次元位置(X,
Y,Z)を求める。
【0045】この場合、例えば、図6及び図7に示すよ
うに、侵入者4の頭部の点をPとし、この点Pの距離画
像上の座標値を(ip,jp,dp)とすると、点Pを
含み、左カメラ(主カメラ)11aの光軸と垂直な平面
までの距離Ddpは、左右のカメラ11a,11bの取
り付け間隔をr、1画素当たりの視野角をPWとして、
以下の(2)式により求めることができ、また、点Pと左
カメラ11aとを結ぶ直線Lpの長さGpは、以下の
(3)式で求めることができる。
うに、侵入者4の頭部の点をPとし、この点Pの距離画
像上の座標値を(ip,jp,dp)とすると、点Pを
含み、左カメラ(主カメラ)11aの光軸と垂直な平面
までの距離Ddpは、左右のカメラ11a,11bの取
り付け間隔をr、1画素当たりの視野角をPWとして、
以下の(2)式により求めることができ、また、点Pと左
カメラ11aとを結ぶ直線Lpの長さGpは、以下の
(3)式で求めることができる。
【0046】 Ddp=r/(PW×dp) … (2) Gp=(Dip2+Djp2+Ddp2) … (3) 但し、 Dip=Ddp×PW×ip Djp=Ddp×PW×jp また、カメラ位置検出装置14から得られる俯角θf
(図7参照)と、Z軸に対する左右方向の回転角θr
(図8参照)とにより、直線Lpの俯角θfp及び回転
角θrpは、以下の(4),(5)式で求めることができる。
(図7参照)と、Z軸に対する左右方向の回転角θr
(図8参照)とにより、直線Lpの俯角θfp及び回転
角θrpは、以下の(4),(5)式で求めることができる。
【0047】 θfp=θf+jp×PW … (4) θrp=θr+ip×PW … (5) 従って、左カメラ11aの取り付け高さをCHとする
と、点PのX,Y,Z座標系での三次元位置(Xp,Y
p,Zp)は、以下の(6),(7),(8)式によって求めるこ
とができる。
と、点PのX,Y,Z座標系での三次元位置(Xp,Y
p,Zp)は、以下の(6),(7),(8)式によって求めるこ
とができる。
【0048】 Xp=Gp×cos(θfp)×sin(θrp) … (6) Yp=Gp×sin(θfp)+CH … (7) Zp=Gp×cos(θfp)×cos(θrp) … (8) 以上のようにして、距離画像上の全ての点を実空間の三
次元位置に変換すると、上記ステップS202からステップ
S203へ進み、図9に示すように、監視対象となる三次元
空間を、一辺の長さがlk(例えば、0.2m〜0.5
m)の立方格子に分割し、各立方格子に含まれるデータ
点の個数を求める。
次元位置に変換すると、上記ステップS202からステップ
S203へ進み、図9に示すように、監視対象となる三次元
空間を、一辺の長さがlk(例えば、0.2m〜0.5
m)の立方格子に分割し、各立方格子に含まれるデータ
点の個数を求める。
【0049】上記立方格子の設定に際しては、立方格子
を床面や壁面から例えば数cm程度離して設定する等し
て、監視対象を三次元的に任意の形状で設定することが
でき、床面や壁面を改めて物体として検出することを防
止することができる。
を床面や壁面から例えば数cm程度離して設定する等し
て、監視対象を三次元的に任意の形状で設定することが
でき、床面や壁面を改めて物体として検出することを防
止することができる。
【0050】次に、ステップS204へ進み、植木2やテー
ブル3等の監視領域内に元々存在する既存物体を侵入者
4と区別するため、予め既知である既存物体の三次元位
置に基づいて、該当する立方格子を監視の対象から除外
する。
ブル3等の監視領域内に元々存在する既存物体を侵入者
4と区別するため、予め既知である既存物体の三次元位
置に基づいて、該当する立方格子を監視の対象から除外
する。
【0051】尚、配置替え等により既存物体の三次元位
置が既知でない場合には、侵入物のない状況を監視員が
確認し、その状況を撮像して得られる距離画像から物体
検出を行って物体が検出された立方格子を除外する。こ
れにより、既存物体と侵入物とを簡便に区別することが
でき、侵入物が監視領域内か否かの判定が正確に行え
る。
置が既知でない場合には、侵入物のない状況を監視員が
確認し、その状況を撮像して得られる距離画像から物体
検出を行って物体が検出された立方格子を除外する。こ
れにより、既存物体と侵入物とを簡便に区別することが
でき、侵入物が監視領域内か否かの判定が正確に行え
る。
【0052】すなわち、監視領域内に任意の物体が存在
していても、それらを検出対象外として簡便に除外する
ことができ、オフィス等の室内、廊下等の様々な場所で
の監視を可能とし、また、屋外において風に揺れる樹木
があっても、揺れる範囲を検出対象外とすることで、樹
木を誤検出することなく侵入者を精度良く検出すること
ができるのである。
していても、それらを検出対象外として簡便に除外する
ことができ、オフィス等の室内、廊下等の様々な場所で
の監視を可能とし、また、屋外において風に揺れる樹木
があっても、揺れる範囲を検出対象外とすることで、樹
木を誤検出することなく侵入者を精度良く検出すること
ができるのである。
【0053】その後、ステップS205へ進み、監視対象と
なる立方格子に対し、各立方格子に含まれるデータ数を
度数としてヒストグラムを作成すると、ステップS206
で、ヒストグラムの度数が予め設定した閾値を越えてい
る立方格子を抽出し、物体が存在するか否かを判断す
る。
なる立方格子に対し、各立方格子に含まれるデータ数を
度数としてヒストグラムを作成すると、ステップS206
で、ヒストグラムの度数が予め設定した閾値を越えてい
る立方格子を抽出し、物体が存在するか否かを判断す
る。
【0054】この場合、距離画像中には、誤って検出さ
れたノイズ状のデータも存在し、上記ヒストグラム上で
は、実際には物体の存在しない位置にも多少のデータが
現れるが、これらは何もない空間に浮いた点のように認
識され、あまり大きなデータ数とならない。
れたノイズ状のデータも存在し、上記ヒストグラム上で
は、実際には物体の存在しない位置にも多少のデータが
現れるが、これらは何もない空間に浮いた点のように認
識され、あまり大きなデータ数とならない。
【0055】すなわち、物体が存在する立方格子の度数
は大きな値を示し、誤った距離データによって発生する
度数は小さな値となるため、ヒストグラムの度数が閾値
を越えているとき、物体が存在すると判断して該当する
立方格子を抽出し、度数が閾値以下のときには、物体が
存在しないと判断することにより、画像のデータに多少
のノイズが含まれている場合においても、ノイズの影響
を最小限にして物体を検出できる。
は大きな値を示し、誤った距離データによって発生する
度数は小さな値となるため、ヒストグラムの度数が閾値
を越えているとき、物体が存在すると判断して該当する
立方格子を抽出し、度数が閾値以下のときには、物体が
存在しないと判断することにより、画像のデータに多少
のノイズが含まれている場合においても、ノイズの影響
を最小限にして物体を検出できる。
【0056】そして、上記ステップS206で、物体無しと
判断されたときには、処理を抜け、物体有りと判断され
たとき、ステップS207へ進んで、物体有りと判定された
複数の立方格子に対し、隣接する立方格子をまとめて一
つのグループとし、グループ毎にラベル付けを行う。
判断されたときには、処理を抜け、物体有りと判断され
たとき、ステップS207へ進んで、物体有りと判定された
複数の立方格子に対し、隣接する立方格子をまとめて一
つのグループとし、グループ毎にラベル付けを行う。
【0057】次いで、ステップS208へ進み、グループ毎
のデータを二次元の画像上に投影し、各データを線分で
連結して輪郭像を作成して物体の高さ、横幅等の形状寸
法を算出すると、ステップS209で、検出物の種類(人
物、動物、自動車等)を判定し、ステップS210へ進ん
で、警報を出力するか否かを判断する。
のデータを二次元の画像上に投影し、各データを線分で
連結して輪郭像を作成して物体の高さ、横幅等の形状寸
法を算出すると、ステップS209で、検出物の種類(人
物、動物、自動車等)を判定し、ステップS210へ進ん
で、警報を出力するか否かを判断する。
【0058】例えば、検出物が猫等の人間以外の小動物
であると判定され、特に警報を出力するまでもない場合
には、上記ステップS210から処理を抜け、検出物の形状
寸法が人間と同程度であり、侵入者有りと判定された場
合には、上記ステップS210からステップS211へ進んで警
報装置90を作動させ、ブザーあるいはランプ等によっ
て警報を発生し、監視員等に知らせる。
であると判定され、特に警報を出力するまでもない場合
には、上記ステップS210から処理を抜け、検出物の形状
寸法が人間と同程度であり、侵入者有りと判定された場
合には、上記ステップS210からステップS211へ進んで警
報装置90を作動させ、ブザーあるいはランプ等によっ
て警報を発生し、監視員等に知らせる。
【0059】そして、上記ステップS211からステップS2
12へ進み、検出物の重心位置を計算すると、ステップS2
13へ進んで前回処理での重心位置と比較し、予め設定し
た閾値内で一致するか否かを調べる。
12へ進み、検出物の重心位置を計算すると、ステップS2
13へ進んで前回処理での重心位置と比較し、予め設定し
た閾値内で一致するか否かを調べる。
【0060】その結果、今回処理での検出物の重心位置
が前回処理の重心位置と閾値内で一致したときには同一
の侵入物と判定し、上記ステップS213からステップS214
へ進んでカメラ回動装置13を駆動し、その重心位置を
追跡するとともに主カメラ(左カメラ)11aの画像を
記録し、侵入物の追跡・記録を行うことで広範囲に渡っ
て監視を続ける。
が前回処理の重心位置と閾値内で一致したときには同一
の侵入物と判定し、上記ステップS213からステップS214
へ進んでカメラ回動装置13を駆動し、その重心位置を
追跡するとともに主カメラ(左カメラ)11aの画像を
記録し、侵入物の追跡・記録を行うことで広範囲に渡っ
て監視を続ける。
【0061】一方、上記ステップS213で、今回処理と前
回処理での重心位置が閾値内で一致しないときには、新
たな侵入物と判断し、ステップS215へ進んで、その重心
位置を記憶して処理を抜ける。
回処理での重心位置が閾値内で一致しないときには、新
たな侵入物と判断し、ステップS215へ進んで、その重心
位置を記憶して処理を抜ける。
【0062】
【発明の効果】以上説明したように、請求項1記載の発
明によれば、同一の監視領域を異なる視点から撮像した
ステレオ画像対を処理し、このステレオ画像対の対応位
置のずれ量から画像全体に渡る距離分布を算出した後、
この距離分布の情報に対応する被写体の各部分の三次元
位置を求め、求めた三次元位置に基づいて物体の有無を
判定し、監視領域内への侵入物を検出するため、背景の
明るさや背景に存在する物体の影響を受けることなく高
精度に侵入物を検出することができ、また、撮像位置を
任意に可変して広範囲に渡って監視を行うことができ
る。
明によれば、同一の監視領域を異なる視点から撮像した
ステレオ画像対を処理し、このステレオ画像対の対応位
置のずれ量から画像全体に渡る距離分布を算出した後、
この距離分布の情報に対応する被写体の各部分の三次元
位置を求め、求めた三次元位置に基づいて物体の有無を
判定し、監視領域内への侵入物を検出するため、背景の
明るさや背景に存在する物体の影響を受けることなく高
精度に侵入物を検出することができ、また、撮像位置を
任意に可変して広範囲に渡って監視を行うことができ
る。
【0063】この際、請求項2記載の発明によれば、監
視領域の三次元空間を複数の立方格子で分割し、各立方
格子に含まれる上記三次元位置のデータ数に基づいて、
物体が存在する立方格子を抽出するため、侵入物が監視
領域内か否かの判定が正確に行え、また、請求項3記載
の発明によれば、物体が存在する立方格子を抽出する
際、背景及び既存の物体の三次元位置データが含まれる
立方格子を検出対象外として除外するため、監視領域内
に任意の物体が存在していても、それらを的確に検出対
象外として除外することができ、様々な場所で高精度に
侵入物を検出することができる。
視領域の三次元空間を複数の立方格子で分割し、各立方
格子に含まれる上記三次元位置のデータ数に基づいて、
物体が存在する立方格子を抽出するため、侵入物が監視
領域内か否かの判定が正確に行え、また、請求項3記載
の発明によれば、物体が存在する立方格子を抽出する
際、背景及び既存の物体の三次元位置データが含まれる
立方格子を検出対象外として除外するため、監視領域内
に任意の物体が存在していても、それらを的確に検出対
象外として除外することができ、様々な場所で高精度に
侵入物を検出することができる。
【図1】監視装置の全体構成図
【図2】監視装置の回路構成図
【図3】ずれ量検出処理のフローチャート
【図4】侵入物検出処理のフローチャート
【図5】座標系を示す説明図
【図6】距離画像上の座標値と対象物体との位置関係を
示す説明図
示す説明図
【図7】距離画像と対象物体との位置関係を垂直断面に
よって示す説明図
よって示す説明図
【図8】カメラの左右方向の回転角を示す上面図
【図9】三次元空間の分割を示す説明図
1 … 監視装置 10 … ステレオ光学系 20 … ステレオ画像処理装置(ステレオ画像処理手
段) 70 … 侵入物検出装置(侵入物検出手段)
段) 70 … 侵入物検出装置(侵入物検出手段)
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G08B 13/196 H04N 7/18 D 21/00 G01S 11/00 B 25/00 510 G01V 9/04 S H04N 7/18 G06F 15/70 410
Claims (3)
- 【請求項1】 同一の監視領域を異なる視点から撮像し
たステレオ画像対を処理し、このステレオ画像対の対応
位置のずれ量から画像全体に渡る距離分布を算出するス
テレオ画像処理手段と、 上記ステレオ画像処理手段からの距離分布情報に対応す
る被写体の各部分の三次元位置を求め、求めた三次元位
置に基づいて物体の有無を判定し、監視領域内への侵入
物を検出する侵入物検出手段とを備えることを特徴とす
る侵入物監視装置。 - 【請求項2】 上記侵入物検出手段は、監視領域の三次
元空間を複数の立方格子で分割し、各立方格子に含まれ
る上記三次元位置のデータ数に基づいて、物体が存在す
る立方格子を抽出することを特徴とする請求項1記載の
侵入物監視装置。 - 【請求項3】 上記侵入物検出手段は、物体が存在する
立方格子を抽出する際、背景及び既存の物体の三次元位
置データが含まれる立方格子を検出対象外として除外す
ることを特徴とする請求項2記載の侵入物監視装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25337295A JP3497929B2 (ja) | 1995-09-29 | 1995-09-29 | 侵入物監視装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25337295A JP3497929B2 (ja) | 1995-09-29 | 1995-09-29 | 侵入物監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0997337A true JPH0997337A (ja) | 1997-04-08 |
| JP3497929B2 JP3497929B2 (ja) | 2004-02-16 |
Family
ID=17250446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25337295A Expired - Fee Related JP3497929B2 (ja) | 1995-09-29 | 1995-09-29 | 侵入物監視装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3497929B2 (ja) |
Cited By (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0872808A1 (en) * | 1997-04-18 | 1998-10-21 | Digital Equipment Corporation | Method and apparatus for visual sensing of humans for active public interfaces |
| JPH11112965A (ja) * | 1997-09-30 | 1999-04-23 | Omron Corp | 移動体の観測装置 |
| JPH11225326A (ja) * | 1998-02-05 | 1999-08-17 | Toshiba Corp | 画像監視装置 |
| WO2001041448A1 (en) * | 1999-11-30 | 2001-06-07 | Ecchandes Inc. | Data acquisition system, artificial eye, vision device, image sensor and associated device |
| JP2002197562A (ja) * | 2001-01-30 | 2002-07-12 | Masanobu Kujirada | カメラ等検知装置及び方法 |
| JP2002250607A (ja) * | 2001-02-27 | 2002-09-06 | Optex Co Ltd | 物体検知センサ |
| JP2002250605A (ja) * | 2001-02-27 | 2002-09-06 | Optex Co Ltd | 自動ドアセンサ |
| WO2003015411A1 (fr) * | 2001-08-06 | 2003-02-20 | Sumitomo Osaka Cement Co.,Ltd. | Systeme de surveillance a image stereoscopique et procede associe |
| WO2004011314A1 (ja) * | 2002-07-25 | 2004-02-05 | National Institute Of Advanced Industrial Science And Technology | 駅ホームにおける安全監視装置 |
| JP2004301607A (ja) * | 2003-03-31 | 2004-10-28 | Honda Motor Co Ltd | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム |
| US6952199B2 (en) | 1998-06-15 | 2005-10-04 | Kabushiki Kaisha Toshiba | Information extraction apparatus and method |
| WO2006030633A1 (ja) * | 2004-09-15 | 2006-03-23 | Matsushita Electric Industrial Co., Ltd. | 物体検出装置 |
| JP2007124269A (ja) * | 2005-10-28 | 2007-05-17 | Hitachi Eng Co Ltd | 侵入者監視方法および装置 |
| JP2008064628A (ja) * | 2006-09-07 | 2008-03-21 | Fuji Heavy Ind Ltd | 物体検出装置および物体検出方法 |
| JP2008225785A (ja) * | 2007-03-12 | 2008-09-25 | Toyota Motor Corp | 画像認識装置 |
| JP2010211805A (ja) * | 2001-01-19 | 2010-09-24 | Honeywell Internatl Inc | 対象物を検出するための方法及び装置 |
| JP2012107943A (ja) * | 2010-11-16 | 2012-06-07 | Sumitomo Electric Ind Ltd | 対象識別装置及び対象識別方法 |
| JP2012109732A (ja) * | 2010-11-16 | 2012-06-07 | Sumitomo Electric Ind Ltd | 対象識別装置及び対象識別方法 |
| JP2012128877A (ja) * | 2012-03-19 | 2012-07-05 | Toshiba Corp | 不審行動検知システム及び方法 |
| JP2013532451A (ja) * | 2010-07-01 | 2013-08-15 | サーブ アクティエボラーグ | 倉庫内の物体の位置を特定するための方法及び装置 |
| JP2015014514A (ja) * | 2013-07-04 | 2015-01-22 | パイオニア株式会社 | 識別装置 |
| JP2015178405A (ja) * | 2014-03-19 | 2015-10-08 | 株式会社日立ビルシステム | 乗りかご内挙動検出装置 |
| CN105334550A (zh) * | 2014-08-14 | 2016-02-17 | 滕州市飞天激光自动化技术有限公司 | 激光自动寻光校准装置 |
| JP2016163254A (ja) * | 2015-03-04 | 2016-09-05 | 三郎 山内 | 監視システム、監視方法、プログラム及びコンピュータ記憶媒体 |
| JP2016176766A (ja) * | 2015-03-19 | 2016-10-06 | 株式会社日立ソリューションズ | 検査対象物抽出装置、及び検査対象物抽出方法 |
| CN106981157A (zh) * | 2016-12-09 | 2017-07-25 | 广东乐惠购网络科技有限公司 | 一种家用防盗装置 |
| WO2018155783A1 (ko) * | 2017-02-24 | 2018-08-30 | 영남대학교 산학협력단 | 센서 기반 이동체 위치 추정 시스템 및 방법 |
| CN110291557A (zh) * | 2017-02-06 | 2019-09-27 | 三菱电机株式会社 | 监视装置 |
| JP2025044298A (ja) * | 2023-09-19 | 2025-04-01 | 三菱電機インフォメーションシステムズ株式会社 | 検知装置、検知方法及び検知プログラム |
| JP2026058363A (ja) * | 2024-09-25 | 2026-04-06 | 三菱電機デジタルイノベーション株式会社 | 検知装置、検知方法及び検知プログラム |
-
1995
- 1995-09-29 JP JP25337295A patent/JP3497929B2/ja not_active Expired - Fee Related
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0872808A1 (en) * | 1997-04-18 | 1998-10-21 | Digital Equipment Corporation | Method and apparatus for visual sensing of humans for active public interfaces |
| JPH11112965A (ja) * | 1997-09-30 | 1999-04-23 | Omron Corp | 移動体の観測装置 |
| JPH11225326A (ja) * | 1998-02-05 | 1999-08-17 | Toshiba Corp | 画像監視装置 |
| US6952199B2 (en) | 1998-06-15 | 2005-10-04 | Kabushiki Kaisha Toshiba | Information extraction apparatus and method |
| WO2001041448A1 (en) * | 1999-11-30 | 2001-06-07 | Ecchandes Inc. | Data acquisition system, artificial eye, vision device, image sensor and associated device |
| CN100355284C (zh) * | 1999-11-30 | 2007-12-12 | 伊强德斯股份有限公司 | 视觉装置 |
| JP2010211805A (ja) * | 2001-01-19 | 2010-09-24 | Honeywell Internatl Inc | 対象物を検出するための方法及び装置 |
| JP2002197562A (ja) * | 2001-01-30 | 2002-07-12 | Masanobu Kujirada | カメラ等検知装置及び方法 |
| JP2002250607A (ja) * | 2001-02-27 | 2002-09-06 | Optex Co Ltd | 物体検知センサ |
| JP2002250605A (ja) * | 2001-02-27 | 2002-09-06 | Optex Co Ltd | 自動ドアセンサ |
| WO2003015411A1 (fr) * | 2001-08-06 | 2003-02-20 | Sumitomo Osaka Cement Co.,Ltd. | Systeme de surveillance a image stereoscopique et procede associe |
| US7460686B2 (en) | 2002-07-25 | 2008-12-02 | National Institute Of Advanced Industrial Science And Technology | Security monitor device at station platform |
| WO2004011314A1 (ja) * | 2002-07-25 | 2004-02-05 | National Institute Of Advanced Industrial Science And Technology | 駅ホームにおける安全監視装置 |
| JP2004058737A (ja) * | 2002-07-25 | 2004-02-26 | National Institute Of Advanced Industrial & Technology | 駅ホームにおける安全監視装置 |
| JP2004301607A (ja) * | 2003-03-31 | 2004-10-28 | Honda Motor Co Ltd | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム |
| WO2006030633A1 (ja) * | 2004-09-15 | 2006-03-23 | Matsushita Electric Industrial Co., Ltd. | 物体検出装置 |
| JPWO2006030633A1 (ja) * | 2004-09-15 | 2008-05-15 | 松下電器産業株式会社 | 物体検出装置 |
| JP4963964B2 (ja) * | 2004-09-15 | 2012-06-27 | パナソニック株式会社 | 物体検出装置 |
| US7769227B2 (en) | 2004-09-15 | 2010-08-03 | Panasonic Corporation | Object detector |
| JP2007124269A (ja) * | 2005-10-28 | 2007-05-17 | Hitachi Eng Co Ltd | 侵入者監視方法および装置 |
| JP2008064628A (ja) * | 2006-09-07 | 2008-03-21 | Fuji Heavy Ind Ltd | 物体検出装置および物体検出方法 |
| JP2008225785A (ja) * | 2007-03-12 | 2008-09-25 | Toyota Motor Corp | 画像認識装置 |
| JP2013532451A (ja) * | 2010-07-01 | 2013-08-15 | サーブ アクティエボラーグ | 倉庫内の物体の位置を特定するための方法及び装置 |
| JP2012107943A (ja) * | 2010-11-16 | 2012-06-07 | Sumitomo Electric Ind Ltd | 対象識別装置及び対象識別方法 |
| JP2012109732A (ja) * | 2010-11-16 | 2012-06-07 | Sumitomo Electric Ind Ltd | 対象識別装置及び対象識別方法 |
| JP2012128877A (ja) * | 2012-03-19 | 2012-07-05 | Toshiba Corp | 不審行動検知システム及び方法 |
| JP2015014514A (ja) * | 2013-07-04 | 2015-01-22 | パイオニア株式会社 | 識別装置 |
| JP2015178405A (ja) * | 2014-03-19 | 2015-10-08 | 株式会社日立ビルシステム | 乗りかご内挙動検出装置 |
| CN105334550A (zh) * | 2014-08-14 | 2016-02-17 | 滕州市飞天激光自动化技术有限公司 | 激光自动寻光校准装置 |
| JP2016163254A (ja) * | 2015-03-04 | 2016-09-05 | 三郎 山内 | 監視システム、監視方法、プログラム及びコンピュータ記憶媒体 |
| JP2016176766A (ja) * | 2015-03-19 | 2016-10-06 | 株式会社日立ソリューションズ | 検査対象物抽出装置、及び検査対象物抽出方法 |
| CN106981157A (zh) * | 2016-12-09 | 2017-07-25 | 广东乐惠购网络科技有限公司 | 一种家用防盗装置 |
| CN110291557A (zh) * | 2017-02-06 | 2019-09-27 | 三菱电机株式会社 | 监视装置 |
| CN110291557B (zh) * | 2017-02-06 | 2023-06-06 | 三菱电机株式会社 | 监视装置 |
| WO2018155783A1 (ko) * | 2017-02-24 | 2018-08-30 | 영남대학교 산학협력단 | 센서 기반 이동체 위치 추정 시스템 및 방법 |
| US10891752B2 (en) | 2017-02-24 | 2021-01-12 | Industry Academic Cooperation Foundation Of Yeungnam University | Sensor-based moving object localization system and method |
| JP2025044298A (ja) * | 2023-09-19 | 2025-04-01 | 三菱電機インフォメーションシステムズ株式会社 | 検知装置、検知方法及び検知プログラム |
| JP2026058363A (ja) * | 2024-09-25 | 2026-04-06 | 三菱電機デジタルイノベーション株式会社 | 検知装置、検知方法及び検知プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3497929B2 (ja) | 2004-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3497929B2 (ja) | 侵入物監視装置 | |
| CN111435081B (zh) | 海面测量系统、海面测量方法以及存储介质 | |
| US7116246B2 (en) | Apparatus and method for sensing the occupancy status of parking spaces in a parking lot | |
| US7321386B2 (en) | Robust stereo-driven video-based surveillance | |
| US7522186B2 (en) | Method and apparatus for providing immersive surveillance | |
| JP3049603B2 (ja) | 立体画像−物体検出方法 | |
| JP3054681B2 (ja) | 画像処理方法 | |
| CN111753609A (zh) | 一种目标识别的方法、装置及摄像机 | |
| EP1395059B1 (en) | Intruding-object detection apparatus | |
| JP3388087B2 (ja) | 物体検出装置 | |
| CN111028271A (zh) | 基于人体骨架检测的多摄像机人员三维定位跟踪系统 | |
| US11004211B2 (en) | Imaging object tracking system and imaging object tracking method | |
| JP3577875B2 (ja) | 移動物体抽出装置 | |
| Marčiš et al. | Effect of camera network configuration on the accuracy of digitization of architectural objects | |
| JPH06167564A (ja) | 魚眼レンズを用いた測位方式およびその装置 | |
| JP5213883B2 (ja) | 合成表示装置 | |
| JP4780455B2 (ja) | 映像監視装置及び方法 | |
| CN120852334A (zh) | 一种输电线路部件的磨损检测方法、装置及电子设备 | |
| JP2001331788A (ja) | 車両検出装置 | |
| JP2005157635A (ja) | 混雑度計測装置、設備制御システム、および混雑度計測方法 | |
| CN116051817A (zh) | 障碍物识别方法、防碰撞控制系统及训练数据增广方法 | |
| JPH0979821A (ja) | 障害物認識装置 | |
| JP7040627B2 (ja) | 算出装置、情報処理方法およびプログラム | |
| JPH11223516A (ja) | 3次元画像撮像装置 | |
| JPH0630336A (ja) | 画像入力装置と画像合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |