JP2003016459A - 視野方向ずれ検出方法 - Google Patents

Abstract

(57)【要約】 【課題】基準画像からテンプレートとする部分を予め指
定する必要の無い、撮像装置の視野方向のずれを検知す
る方法を提供する。 【解決手段】前もって撮像装置によって撮像された基準
画像の基準エッジ画像と現在の入力画像の入力エッジ画
像を求め、基準画像の基準エッジ画像の画素を x 軸と
y 軸とに投影した基準画像投影と、入力画像の入力エッ
ジ画像の画素を x 軸と y 軸とに投影した入力画像投影
とを生成し、基準画像投影と入力画像投影の位置ずれ量
を求めることによって、撮像装置の視野方向のずれを検
知する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は撮像装置を用いたシ
ステムに係り、特に、所定の位置に設置された撮像装置
の視野方向にずれが生じた場合の撮像装置の視野方向ず
れを検知する方法に関する。

【０００２】

【従来の技術】カメラ等の撮像装置を用いて、例えば、
重要施設及びその周囲において、発生する異常や侵入物
体の有無を監視するための監視撮像システム（監視カメ
ラシステム）が、従来から利用されている。図８は、従
来の監視カメラシステムの一例の構成を示すブロック図
である。図８の監視カメラシステムは、少なくとも、テ
レビジョンカメラ（以下、TVカメラと称する）801 、画
像処理装置 802 、警報表示装置 814 、ビデオモニタ81
5 で構成される。また、画像処理装置 802 は、少なく
とも、映像信号の A/D 変換を行う画像入力 I/F 803 、
画像間の演算及び画像の格納を行う画像メモリ 804 、C
PU（ Central Processing Unit ）808 、ワークメモリ
810 、プログラムメモリ 811 、画像の輝度信号の D/A
変換を行い、輝度信号を映像信号に変換する画像出力 I
/F812 、データバス 813 、警報出力を行う出力 I/F 80
9 で構成される。また、画像メモリ 804 は、少なくと
も、画像入力 I/F 803 で取得した画像を格納する入力
画像メモリ 806 、画像間の演算に用いる汎用画像メモ
リ 807 で構成されている。TV カメラ 801 は、画像入
力 I/F 803 に接続され、ビデオモニタ 815 は、画像出
力 I/F 812 に接続され、警報表示装置 814 は出力 I/F
809 に接続されている。また、画像入力 I/F 803 、画
像出力 I/F 812 、出力 I/F 809 、CPU 808、画像メモ
リ 804 、ワークメモリ 810 及びプログラムメモリ 811
は、データバス 813 に接続されている。

【０００３】図８において、TV カメラ 801 は、予め設
定した視野範囲を撮像し、取得した画像を映像信号（例
えば、NTSC 映像信号）に変換し、変換された映像信号
を画像入力 I/F 803 に与える。画像入力 I/F 803 は、
入力した映像信号を画像処理装置 802 で扱うフォーマ
ット（例えば、幅 320 pix 、高さ 240 pix 、8 bit/pi
x ）の画像データに変換し、データバス 813 を介して
画像メモリ 804 に送る。画像メモリ 804 は、送られて
きた画像データを入力画像メモリ 806 に蓄積する。CPU
808 は、プログラムメモリ 811 に保存されている侵入
物体検出プログラムに従って、ワークメモリ 810 内で
画像メモリ 804 に蓄積された画像の解析を行う。

【０００４】侵入物体検出プログラムは、例えば、差分
法によって行われる。図９を用いて、TV カメラ 801 に
よって取得した画像から、侵入物体を検出する方法の原
理を簡単に説明する。図９は、フレーム間差分法と一般
的に呼ばれる侵入物体検出方法の一例を説明するための
図である。図９において、減算器 909は、TV カメラ 80
1 が逐次取得する、時刻ｔ0-1 に取得した入力画像 901
と時刻ｔ0 に取得した入力画像 902 とについて 1 画
素（ 1 pix ）毎の輝度値の差分を計算し、入力画像 90
1 と入力画像 902 との差分画像 904 を出力する。同様
に減算器 910 も、時刻ｔ0 に取得した入力画像 902 と
時刻ｔ0+1 に取得した入力画像 903 との画素毎の輝度
値の差分を計算し、入力画像 902 と入力画像 903 との
差分画像 905 を出力する。次に、二値化器 911 は、差
分画像 904 の画素毎の輝度値が所定のしきい値 Th 未
満の輝度値を“0”、しきい値 Th 以上の画素の輝度値
を、例えば“255”（１画素の輝度値を 8 ビットで計
算）として二値化画像 906 を得る。二値化器 912 もま
た同様の処理を行い、差分画像 905 から二値化画像 90
7 を得る。

【０００５】次に論理積器 913 は、二値化画像 906 と
二値化画像 907 との画素毎の輝度値の論理積を計算し
論理積画像 908 を出力する。これによって入力画像 90
1 ，902 ，903 に写った人型の物体 914 ，915 ，916
は、減算器 909 または 910によって差分が生じた領域
917 または 918 として算出される。そして、二値化器
911 または 912 によって輝度値“255”のかたまりの画
像 919 または 920として抽出され、更に、論理積器 91
3 によって画像 919 と 920 を構成する画素の中で、両
画像共に輝度値“255”を持つ画素のかたまり画像 921
が検出される。即ち、画素 921 が侵入物体として検出
される。なお、監視領域内の侵入物体を検出する方法で
あれば上述のフレーム間差分法以外の方法も適用でき
る。

【０００６】図８で説明したような監視カメラシステム
において、TV カメラ 801 は、外的要因によって視野方
向がずれ、当初設定した所望の視野範囲の画像を取得で
きないことがある。このように視野方向が初期の設定よ
りずれた場合であっても、TV カメラ 801は、通常通り
撮像した画像を映像信号に変換し、変換された映像信号
を画像処理装置 802 に与える。そして、画像処理装置
802 はプログラムメモリ 811 に保存されているプログ
ラムに従って、ワークメモリ 810 内で、画像メモリ 80
4 に蓄積された画像の解析を行い、侵入物体があるか否
かを通常通りに判定する。

【０００７】従って、設置された TV カメラ 801 等の
撮像装置の視野方向が、所定の視野範囲を監視するため
に固定されて設置されている監視カメラシステムの場合
において、その視野方向が、外的要因によって、設置時
と比べてずれた場合には、当初の目的とする監視ができ
なくなる心配がある。そのため、そのずれ量を自動的に
計測し、そのずれ量が所定の値以上になった時に自動的
に報知する自動検知の技術が必要となる。

【０００８】このようなずれ量の自動検知を行うために
は、一般にテンプレートマッチング法が用いられる。即
ち、所定の視野範囲を監視するために、予め視野方向を
固定されて設置されている撮像装置が撮像した、基準と
なる画像（基準画像）の中から、特定の部分画像をテン
プレート画像として設定する。その後、監視のために撮
像装置から逐次撮像して得られた入力画像の中からテン
プレート画像と最も一致度が高い部分を抽出する。そし
て、抽出した部分の位置とテンプレート画像の位置との
差を検出し、検出した差をずれ量とするものである。

【０００９】図８の画像処理装置 802 は、上記の視野
方向ずれ検知処理機能を含むことができる。即ち、プロ
グラムメモリ 811 には、侵入物体検出処理のためのプ
ログラムの他に、視野方向ずれ検知処理のプログラムを
追加する。また、画像メモリ804 の基準画像メモリ 805
に、予め設定したカメラ位置（基準視野方向）の画像
を格納し、ワークメモリ 810 で画像間の演算を行い、
汎用画像メモリ 807 に演算処理の結果得られた画像を
格納する。

【００１０】このようなテンプレートマッチング法を用
いた、従来の撮像装置の視野方向のずれ量の検知方法を
図２と図３によって説明する。図２は、従来の撮像装置
視野方向のずれ検知方法の処理原理の一例で、従来のテ
ンプレートマッチング法を簡単に説明するための図であ
る。201 は、撮像装置が所定の視野範囲を監視するため
に予め固定して設置された視野方向（即ち、基準視野方
向）で取得した基準画像、202 は、基準画像 201 内の
テンプレート画像、203 は、撮像装置が逐次取得する入
力画像、204 は、テンプレートマッチング法によって抽
出したマッチング画像、205 は、基準画像 201 からの
マッチング画像 204 の視野方向ずれ量である。

【００１１】また図３は、従来の撮像装置視野方向のず
れ検知方法の一例で、従来のテンプレートマッチング法
の処理動作の一例を説明するためのフローチャートであ
る。図３において、基準画像取込みステップ 301 で
は、基準画像 201 を得る。次に、テンプレート設定ス
テップ 302 では、基準画像 201 からオペレータがテン
プレートとする画像を指定して、テンプレート位置を設
定する（このテンプレート位置領域内の部分画像をテン
プレート画像 202 とする）。入力画像取込みステップ
303 では、撮像装置から、例えば、640 × 480 pixの入
力画像 203 を取得する。ずれ量計算ステップ 304 で
は、テンプレートマッチング法によって、テンプレート
画像 202 と最も一致度の高い画像（マッチング画像 20
4 ）を入力画像 203 の中を探索して算出し、更に、テ
ンプレート画像 202 とマッチング画像 204との位置の
変化をずれ量 205 として算出する。このとき、テンプ
レート画像 202 の位置とマッチング画像 204 の位置
は、例えば、それぞれの画像形状が矩形であれば、例え
ば、その矩形領域の中心の位置として算出する。ビデオ
モニタずれ量出力ステップ 305 では、計算したずれ量
205 をビデオモニタに出力する。視野方向ずれ判定ステ
ップ 306 では、計算したずれ量 205 が所定値（例え
ば、10 pix ）以上であれば警報ステップ 307 へ分岐
し、所定値未満であれば、ずれ量は許容値内として、入
力画像取込みステップ 303 へ分岐する。警報ステップ
307 では、視野方向のずれが許容値を超えていることを
知らせるために、例えば、警報音を発生したり、赤色の
警報ランプを点灯したりする。上述のような、特定領域
のテンプレートマッチング法を応用した視野方向ずれ検
知方法としては、例えば、特願２０００−３２４０４１
がある。

【００１２】上述したように、従来の撮像装置の視野方
向ずれの検知方法は、基準画像の中からテンプレートと
する部分画像をテンプレート画像としてオペレータが予
め指定する必要がある。しかし、撮像装置の数が多い場
合には、多数の基準画像それぞれに対してテンプレート
とする部分画像を指定しなければならない。更に、例え
ば、オペレータが、監視する視野を時間帯によって変更
する場合などで、頻繁に基準画像が変化される場合に
は、基準画像内のテンプレート画像は場所が変ったり、
見えなくなってしまうので、変更される都度、テンプレ
ートとする部分画像の再指定が必要である。従って、テ
ンプレート画像の指定には、かなりの人的労力を必要と
していた。また、テンプレート画像とする対象には、例
えば、監視視野内に存在する門や街灯といった入力画像
の中で特徴のある部分を指定することによって撮像装置
の視野方向のずれ量検出精度を高めることができる。し
かし、このような特徴のある部分をテンプレート画像と
して特定するには高い熟練性を要する。

【００１３】

【発明が解決しようとする課題】前述の従来技術には、
テンプレートとする部分画像を、予め基準画像の中から
指定しなければならず、多くの作業量と熟練したオペレ
ータが必要でるという欠点があった。特に、撮像装置が
複数ある場合や、基準画像を頻繁に設定しなおすような
情況においては、更に多くの作業量が必要な欠点があっ
た。本発明の目的は、上記のような欠点を除去し、テン
プレートとする部分画像の指定を行わずに、撮像装置の
視野方向のずれを検知する方法を提供することにある。

【００１４】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明の撮像装置光軸ずれ検知方法は、前もって
撮像装置によって撮像された基準画像と撮像装置によっ
て撮像された入力画像とを比較することによって撮像装
置の光軸ずれを測定する方法において、基準画像の基準
エッジ画像を生成する基準エッジ画像生成ステップと、
入力画像の入力エッジ画像を生成する入力エッジ画像生
成ステップと、基準エッジ画像と入力エッジ画像との位
置ずれを計算する位置ずれ量計算ステップとを設け、光
軸ずれを検知するように構成した。

【００１５】即ち、本発明の撮像装置光軸ずれ検知方法
は、基準画像のエッジ画像を基準エッジ画像として取得
し、取得した基準エッジ画像の水平方向への第１の投影
を生成し、入力画像のエッジ画像を入力エッジ画像とし
て取得し、取得した入力エッジ画像の水平方向への第２
の投影を生成し、第１の投影と第２の投影との一致度を
求めることによって、第１の投影と第２の投影との水平
方向のずれ量を求め、求めたずれ量を光軸ずれ量とした
ものである。ここで、エッジ画像の水平方向（x 軸）へ
の投影とは、 x 軸についての同じ座標値に対して、垂
直方向（ y 軸）の座標値を変えたときの全てのエッジ
強度の和を取ることであり、エッジ画像の垂直方向（ y
軸）への投影とは、y 軸の同じ座標値に対して、水平
方向（ x軸）の座標値を変えたときの全てのエッジ強度
の和を取ることである。

【００１６】また、本発明の撮像装置光軸ずれ検知方法
は、基準画像のエッジ画像を基準エッジ画像として取得
し、取得した基準エッジ画像の垂直方向への第３の投影
を生成し、入力画像のエッジ画像を入力エッジ画像とし
て取得し、取得した入力エッジ画像の垂直方向への第４
の投影を生成し、第３の投影と第４の投影との一致度を
求めることによって、第３の投影と第４の投影との垂直
方向のずれ量を求め、求めたずれ量を光軸ずれ量とした
ものである。

【００１７】また更に、本発明の撮像装置光軸ずれ検知
方法は、基準エッジ画像の垂直方向への第３の投影を生
成し、入力画像のエッジ画像を入力エッジ画像として取
得し、取得した入力エッジ画像の垂直方向への第４の投
影を生成し、第３の投影と第４の投影との一致度を求め
ることによって、第３の投影と第４の投影との垂直方向
のずれ量を求め、求めたずれ量を光軸ずれ量としたもの
である。また、本発明の撮像装置光軸ずれ検知方法は、
一致度を、第１の投影と第２の投影とのテンプレートマ
ッチング、または、第３の投影と第４の投影とのテンプ
レートマッチングによって行うものである。

【００１８】更に、本発明の撮像装置光軸ずれ検知方法
は、前もって撮像装置で撮像しておいた基準画像と撮像
装置で撮像した入力画像との比較によって撮像装置の視
野方向のずれを測定する方法において、撮像装置で予め
撮像した基準画像の基準エッジ画像を生成する基準エッ
ジ画像生成ステップと、撮像装置で撮像した入力画像の
入力エッジ画像を生成する入力エッジ画像生成ステップ
と、基準エッジ画像と入力エッジ画像との位置ずれを計
算する位置ずれ量計算ステップとを設け、撮像装置の光
軸ずれを検知するものである。

【００１９】また、本発明の撮像装置光軸ずれ検知方法
の位置ずれ量計算ステップは、基準画像の基準エッジ画
像の画素を水平方向と垂直方向とに投影した基準画像投
影と、入力画像の入力エッジ画像の画素を水平方向と垂
直方向とに投影した入力画像投影とを生成するステップ
と、基準画像投影と入力画像投影との位置ずれ量を計算
するステップとを設け、撮像装置の光軸ずれを検知する
ものである。また、本発明の撮像装置光軸ずれ検知方法
において、基準画像と入力画像の画素値の比較によって
ずれ量の正確性の判定をする光軸ずれ判定ステップを設
け、撮像装置の光軸ずれを検知するものである。

【００２０】

【発明の実施の形態】本発明の撮像装置の視野方向ずれ
検知方法の第１の実施例を、図１、図４、及び図５によ
って説明する。図５は、本発明の一実施例の撮像装置の
視野方向ずれ検出システムの構成の一実施例を示すブロ
ック図である。図５の視野方向ずれ検出システムは、少
なくとも、TV カメラ 501 、画像処理装置 502 、警報
表示装置 514 、ビデオモニタ 515 で構成される。ま
た、画像処理装置 502 は、少なくとも、映像信号の A/
D 変換を行う画像入力 I/F 503 、画像間の演算及び画
像の格納を行う画像メモリ 504 、CPU 508 、ワークメ
モリ 510 、プログラムメモリ 511 、画像の輝度信号の
D/A 変換を行い、輝度信号を映像信号に変換する画像
出力 I/F 512 、データバス 513 、警報出力を行う出力
I/F 509 で構成される。

【００２１】上記の画像処理装置 502 は、本発明の視
野方向ずれ検出処理機能を有している。TV カメラ 501
は、画像処理装置 502 の画像入力 I/F 503 に接続さ
れ、ビデオモニタ 515 は、画像処理装置 502 の画像出
力 I/F 512 に接続され、警報表示装置 514 は画像処理
装置 502 の出力 I/F 509 に接続されている。また、画
像入力 I/F 503 、画像出力 I/F 512 、出力 I/F 509
、CPU 508 、画像メモリ 504 、ワークメモリ 510 及
びプログラムメモリ 511 は、データバス 513 に接続さ
れている。

【００２２】図５において、TV カメラ 501 は、予め定
められた視野方向を撮像するように設定されている。そ
して、このTV カメラ 501 は、外的要因によって、視野
方向がずれ、当初設定した視野範囲の画像を取得できな
いことがある。以下、視野方向ずれ検出システムの動作
の一実施例を説明する。TV カメラ 501 は、撮像した画
像を映像信号（例えば、NTSC 映像信号）に変換し、変
換された映像信号を画像入力 I/F 503 に与える。画像
入力 I/F 503 は、入力した映像信号を画像処理装置で
扱うフォーマット（例えば、幅 320 pix、高さ 240 pix
、8 bit/pix ）の画像データに変換し、データバス 51
3 を介して画像メモリ 504 に送る。画像メモリ 504 は
送られてきた画像データを蓄積する。CPU 508 は、プロ
グラムメモリ 511 に保存されているプログラムに従っ
て、ワークメモリ 510 内で画像メモリ 504 に蓄積され
た画像の解析を行う。解析の結果得られた画像は、画像
メモリ 504 内の汎用画像メモリ 507 に格納される。上
記解析の結果、TV カメラ 501 の視野方向がずれたこ
と、及びそのずれ量の情報を得る。CPU 508 は、画像出
力 I/F 512 を介してビデオモニタ 515 に、例えば、視
野方向ずれ量の処理結果画像を表示し、出力 I/F 509
を介して警報表示装置 514 に警報を出力する。また、
画像出力 I/F 512 は、CPU 508 からの出力信号をビデ
オモニタ 515 が使用できるフォーマット（例えば、NTS
C 映像信号）に変換して、ビデオモニタ515 に送る。ビ
デオモニタ 515 は、例えば、視野方向ずれ量の処理結
果画像を表示する。

【００２３】図１は，本発明の視野方向ずれ検出方法の
一実施例を説明するための図である。101 は基準画像、
102 は基準画像 101 のエッジ画像（基準エッジ画
像）、103は基準エッジ画像 102 の x 軸への投影、104
は基準エッジ画像 102 の y 軸への投影、105 は入力
画像、106 は入力画像 105 のエッジ画像（入力エッジ
画像）、107 は入力エッジ画像 106 の x 軸への投影、
108 は入力エッジ画像 106の y 軸への投影、109 は視
野方向ずれ量である。エッジ画像の x 軸への投影と
は、 x 軸についての同じ座標値に対して、y 軸の座標
値を変えたときの全てのエッジ強度の和を取ることであ
り、言い換えれば、 x 軸方向の輝度レベル分布であ
る。また、エッジ画像の y 軸への投影とは、y 軸の同
じ座標値に対して、x 軸の座標値を変えたときの全ての
エッジ強度の和を取ることであり、言い換えれば、 y
軸方向の輝度レベル分布であるである。

【００２４】図４は、本発明の視野方向ずれ検出方法の
一実施例の処理動作を示すフローチャートの一例であ
る。図４のフローチャートに示す処理動作は、例えば、
図５に示したハードウェア構成を用いて実行される。こ
の図４の実施例は、TV カメラ501 の視野方向のずれを
監視し、そのずれ量を計算し、計算した視野方向ずれ量
をビデオモニタ 515 に出力し、視野方向ずれ量が所定
値（後述する）以上であれば警報表示装置 514 に出力
することにより TV カメラ 501 に大きな視野方向のず
れがあるか否かを常にチェックするものである。図１を
用いて、図４に示すフローチャートの処理動作を説明す
る。

【００２５】図４において、基準画像取込みステップ 4
01 では、基準視野方向（ TV カメラ 501 設置時、また
は、ずれが未発生の視野方向）での TV カメラ 501 に
よって撮像される入力映像信号を基準画像 101 として
取得する。取得した基準画像101 は、基準画像メモリ 5
05 に保存される。次に、基準画像エッジ画像生成ステ
ップ 402 では、基準画像取込みステップ401 で得られ
た基準画像 101 を基準エッジ画像 102 に変換する。基
準画像や入力画像などの、通常の画素毎の輝度値で構成
されている画像（濃淡画像）からエッジ画像への変換
は、隣接する画素の画素値の差（エッジ強度）を求める
処理を、全ての画素について実行することによって行わ
れ（但し、例えば、一番外側の画素については実行しな
い）、ディジタル計算機では、例えば、一次微分オペレ
ータを用いるのが一般的である。このオペレータを用い
た濃淡画像からエッジ画像への変換処理の一例を、図６
によって説明する。

【００２６】図６は、濃淡画像のエッジ画像への変換の
計算方法の一実施例を説明するための図である。即ち、
図６はエッジ画像の生成を説明するための図である。60
1 は変換前の画像（原画像）、602 は 3 pix × 3 pix
の大きさのオペレータの窓、603 はエッジ画像、604 は
エッジ強度を示している。ここで原画像 601中のある画
素（ x ，y ）のエッジ強度を求めるとする。オペレー
タの窓 602 は、A 〜 I の 9 pix の画素であり、画素
E を中心とし、画素 E の左上を画素 A 、画素 E の上
を画素 B 、画素 E の右上を画素 C 、画素 E の左を画
素 D 、画素 E の右を画素 F 、画素 E の左下を画素 G
、画素E の下を画素 H 、画素 E の右下を画素 I とし
たとき、式(1) で記述される Sobel オペレータによっ
て、エッジ強度Ｇ（ x ，y ）604 が求められる。

【数１】 このエッジ強度の計算を原画像 601 の全画素（但し、
最外周の画素を除く）について行うことによって、エッ
ジ画像 603 を得る。エッジ画像の作成については、例
えば、１９９０年に昭晃堂から出版された谷内田正彦著
の『ロボットビジョン』と題する書籍の p51 〜 p76 に
解説されている。

【００２７】次に、基準画像のエッジ画像投影ステップ
403 では、基準エッジ画像 102 を水平方向（ x 軸）
と垂直方向（ y 軸）とに投影し、基準エッジ画像 102
の x軸への投影 103 と基準エッジ画像 102 の y 軸へ
の投影 104 とを生成する。基準エッジ画像 102 におい
て、x 軸への投影を行うとき、ある x の値のときの投
影値 P_V(x) は、ある場所（ x ，y ）のエッジの強度G
（ x ，y ）、画像サイズ（ X ，Y ）として、以下の式
(2) のように表すことができる。

【数２】 この投影処理を全ての x の値について行うと、基準エ
ッジ画像 102 の x 軸への投影 103 が得られる。尚、
画像サイズ（ X ，Y ）は、例えば、画像処理装置 502
で扱うフォーマットとして、幅 320 pix 、高さ 240 pi
x の画像である場合には、X =320 、Y=240である。

【００２８】また、基準エッジ画像 102 において、y
軸への投影を行うとき、ある y の値のときの投影値 P_H
(y) は、以下の式(3) のように表すことができる。

【数３】 この投影処理を全ての y の値について行うと、基準エ
ッジ画像 102 の y 軸への投影 104 が得られる。

【００２９】この投影値 P_V(x) 、P_H(y) は、基準エッ
ジ画像 102 の画素値を縦方向（ P_V(x) ）及び横方向
（ P_H(y) ）に累積して得られ、基準画像中に隣接する
画素の画素値の差が大きい個所が多い程大きな値とな
る。

【００３０】入力画像取込みステップ 404 では、基準
画像取込みステップ 402 同様、視野方向ずれ量を計測
する時刻の TV カメラ 501 によって撮像される入力映
像信号を入力画像 105 として取得する。取得した基準
画像 105 は、入力画像メモリ 506 に保存される。入力
画像のエッジ画像生成ステップ 405 では、基準画像の
エッジ画像生成ステップ 402 と同様の処理を行い、入
力画像 105 を入力エッジ画像 106 に変換する。入力画
像エッジ画像投影ステップ 406 では、基準画像のエッ
ジ画像投影ステップ 403 と同様の処理を行い、入力エ
ッジ画像 106 を x 軸と y 軸とに投影し、入力エッジ
画像の x 軸への投影 P_V(x) 107 と入力エッジ画像の y
軸への投影P_H(y) 108 とを生成する。

【００３１】比較ステップ 407 では、基準エッジ画像
102 の x 軸への投影 103 と入力エッジ画像 105 の x
軸への投影 107 との比較を行う。更に、基準エッジ画
像 102 の y 軸への投影 104 と入力エッジ画像 105 の
y 軸への投影 108 との比較を行う。この比較の処理の
一実施例を以下に説明する。この比較ステップ 407 の
処理では、テンプレートマッチングにより、x 軸とy 軸
とについてのずれ量をそれぞれ求める。図１に示した実
施例では、基準エッジ画像 102 の x 軸への投影 103
をテンプレートとし、入力エッジ画像 106 の x 軸への
投影 107 に対して左右にどの程度動かせば、最も一致
度が高くなるかを計算する。

【００３２】この一致度の計算は、例えば、正規化相関
のような方法を用いる。正規化相関は、ある関数 f(x)
と g(x) の相関値 r を関数 f(x) と g(x) のそれぞれ
の分散（ σ² _f(x) ，σ² _g(x) ）と共分散（ σ_f(x)g(x)
）から、比較する領域の大きさを N として、次の式
(4) によって計算する。

【数４】 本発明の場合、関数 f(x) は、テンプレートとする基準
エッジ画像の x 軸への投影 Pv(x) 103 であり、関数 g
(x) は、入力エッジ画像の x 軸への投影 Pv(x) 107 で
ある。ここで、入力エッジ画像の x 軸への投影 Pv(x)
107 のx の範囲を変えて、即ち、ずらして投影を行な
い、相関値 r を計算し、全ての相関値の中で最も大き
な相関値のとき、最もエッジ画像の投影の一致度が高い
といえる。そして、最も一致度が高い場所と元の場所と
の差が、x 方向の視野方向ずれ量となる。同様に、基準
エッジ画像 102 の y 軸への投影 104 をテンプレート
とし、入力エッジ画像 105 の y 軸への投影 108 に対
して上下にどの程度動かせば、最も一致度が高くなるか
を計算する。そして最も一致度が高い場所と元の場所と
の差が、y 方向の視野方向ずれ量となる。

【００３３】ビデオモニタずれ量出力ステップ 408 で
は、計算した視野方向ずれ量 109 を、画像出力 I/F 51
2 を介して、ビデオモニタ 515 に出力する。視野方向
ずれ量許容判定ステップ 409 では、計算した視野方向
ずれ量 109 が、所定値（即ち、視野方向のずれが許容
値）より大きければ警報ステップ 410 へ分岐し、所定
値未満であれば入力画像取込みステップ 404 へ分岐す
る。警報ステップ 410 では、視野方向のずれが許容値
を超えていることを知らせるために、警報表示装置 514
によって、例えば、警報音を発生し、かつ赤色の警報
ランプを点灯し、ステップ 404 に戻る。

【００３４】本発明の撮像装置視野方向ずれ検知方法の
第２の実施例を、図１と図７によって説明する。図７
は、本発明の第２の実施例の処理動作を説明するフロー
チャートの一例である。図７は、図４のフローチャート
に、濃淡画像の比較による確認ステップ 701 と異常表
示警報ステップ 710 を追加したものである。この第２
の実施例は、第１の実施例の機能に、更に、得られた視
野方向のずれ量が正確であるか否かを判定させる機能を
加え、視野方向のずれ量検出の信頼性を向上させたもの
である。図４の比較ステップ 407 では、探索範囲内
で、基準画像と入力画像のそれぞれのエッジ画像の x
軸と y 軸の投影の比較を行うことによって視野方向ず
れ量109 を算出している。しかし、探索範囲以上に TV
カメラ 501 の視野方向が動いていた場合、誤ったマッ
チングをする場合もある。そこで、図７では、求めた光
軸ずれ量 109 が正しいか否かの判定を行う濃淡画像の
比較による確認ステップ 701 を追加した。

【００３５】図７において、基準画像取込みステップ 4
01 から比較ステップ 407 までの処理動作と、ビデオモ
ニタずれ量出力ステップ 408 から警報ステップ 410 ま
での処理動作は、第１の実施例で説明した通りなので説
明を省略する。図１と図７において、濃淡画像の比較に
よる確認ステップ 701 では、基準画像 101 と入力画像
105 とを、比較ステップ 407 で求めた視野方向ずれ量
109分ずらして比較する処理を行う。この比較の処理
は、例えば、前述の式(4) でも説明した正規化相関で行
なう。ここでは、関数 f(x) は基準画像 101 で、関数
g(x) は入力画像 105 である。ただし、ここでは、求め
た視野方向ずれ量 109 の分だけずらした入力画像を用
いて１回だけ相関値の計算を行なう。このときの相関値
r が所定値より大きければ、画像の一致度が高いとい
える。

【００３６】この比較の結果、画像の一致度が高けれ
ば、比較ステップ 407 で求めた視野方向ずれ量 109 が
正しいと判定し、ビデオモニタずれ量出力ステップ 408
に分岐し、その視野方向ずれ量 109 を出力する。ま
た、画像の一致度が低ければ、計算した視野方向ずれ量
109 が誤りであり、視野方向ずれ量が探索範囲以上に
大きいか、または、視野方向ずれ量を検知する機能が異
常であるので異常表示警報ステップ 710 に分岐する。
異常表示警報ステップ 710 では、探索範囲以上の大幅
な視野外へのずれが発生したこと、または、視野方向ず
れ量の検知機能が働いていないことを知らせるために、
例えば、警報表示装置 514 によって警報音を発生し、
かつ黄色の警報ランプを点灯し、更に、例えば、“視野
方向大幅ずれ発生”、または、“自動検知機能異常”と
いう文字をビデオモニタ 515 に表示して、ステップ 40
4 に戻る。

【００３７】上記で説明したように、本発明の視野方向
ずれ検出システムは、システム単体として使用可能であ
る。また、本発明の視野方向ずれ検出方法による処理機
能を、例えば、監視カメラシステムの処理機能に付加し
て使用することも可能である。しかし、本発明の撮像装
置視野方向ずれ検出方法は、監視カメラシステムの分野
だけに限らず、例えば、ワイヤボンダ等に使用する撮像
装置のように、常に同一の視野範囲の画像を逐次長時間
に渡って取得し、同一のパターンをもとに同一箇所の位
置をサーチして作業を行うためのパターン認識を実行す
るシステムに使用できることは云うまでもない。

【００３８】

【発明の効果】以上のように、本発明によれば、基準画
像と入力画像のエッジ画像の x 軸への投影と y 軸への
投影を作成し、基準画像のエッジ画像の投影と入力画像
のエッジ画像の投影を比較し、ずれ量を計算することに
よって、オペレータが予め基準画像のテンプレートとす
る部分を設定しなくても、自動的に撮像装置の視野方向
ずれを検知することができる。

【図面の簡単な説明】

【図１】 本発明の視野方向ずれ検出方法の一実施例を
説明するための図。

【図２】 従来の視野方向ずれの検知方法の処理原理を
説明するための図。

【図３】 従来の視野方向のずれ検知方法のフローチャ
ート。

【図４】 本発明の一実施例の処理動作を説明するため
のフローチャート。

【図５】 本発明の一実施例の視野方向ずれ検出システ
ムの構成の一実施例を示すブロック図。

【図６】 画像のエッジ画像への変換の計算方法の一実
施例を説明するための図。

【図７】 本発明の一実施例の処理動作を説明するため
のフローチャート。

【図８】 従来の監視カメラシステムの一例の構成を示
すブロック図。

【図９】 従来の侵入物体検出方法の一例を説明するた
めの図。

【符号の説明】

101：基準画像、 102：基準エッジ画像、 103：基準
エッジ画像の x 軸への投影、 104：基準エッジ画像の
y 軸への投影、 105：入力画像、 106：入力エッジ
画像、 107：入力エッジ画像の x 軸への投影、 10
8：入力エッジ画像の y 軸への投影、 109：視野方向
ずれ量、 201：基準画像、 202：テンプレート位置、
203：入力画像、 204：マッチング位置、 205：ず
れ量、 301：基準画像取込みステップ、 302：テンプ
レート設定ステップ、 303：入力画像取込みステッ
プ、 304：テンプレートマッチングによるずれ量計算
ステップ、305：ビデオモニタずれ量出力ステップ、 3
06：視野方向ずれ量許容判定ステップ、 307：警報ス
テップ、 401：基準画像取込みステップ、 402：基準
画像エッジ画像生成ステップ、 403：基準画像のエッ
ジ画像投影ステップ、 404：入力画像取り込みステッ
プ、 405：入力画像のエッジ画像生成ステップ、 40
6：入力画像エッジ画像投影ステップ、 407：基準画像
と入力画像のエッジ画像投影の比較ステップ、 408：
ビデオモニタずれ量出力ステップ、 409：視野方向ず
れ量許容判定ステップ、 410：警報ステップ、 501：
TV カメラ、 502：画像処理装置、 503：画像入力 I/
F 、 504：画像メモリ、 505：基準画像メモリ、 50
6：入力画像メモリ、 507：汎用画像メモリ、 508：C
PU 、 509：出力 I/F 、 510：ワークメモリ、 51
1：プログラムメモリ、 512： 画像出力 I/F 、 51
3：データバス、 514：警報表示装置、 515：ビデオ
モニタ、601：濃淡画像、 602：3 pix × 3 pix の大
きさのオペレータの窓、 603：エッジ画像、 604：エ
ッジの強度、 701：濃淡画像の比較による確認ステッ
プ、 710：異常表示警報ステップ、 801：TV カメ
ラ、 802：画像処理装置、803：画像入力 I/F 、 80
4：画像メモリ、 805：基準画像メモリ、 806：入力
画像メモリ、 807：汎用画像メモリ、 808：CPU 、
809：出力 I/F 、 810：ワークメモリ、 811：プログ
ラムメモリ、 812： 画像出力 I/F 、 813：データバ
ス、 814：警報表示装置、 815：ビデオモニタ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｋ Ｆターム(参考） 5C054 AA05 CA04 CC02 EA01 FA09 FC01 FC14 HA18 5L096 BA02 CA04 DA03 EA07 EA43 EA45 FA06 GA08 GA51 HA04 HA07 JA09 LA04 LA05

Claims (7)

【特許請求の範囲】
1. 【請求項１】 基準画像のエッジ画像を基準エッジ画像
   として取得し、取得した該基準エッジ画像の水平方向へ
   の第１の投影を生成し、入力画像のエッジ画像を入力エ
   ッジ画像として取得し、取得した該入力エッジ画像の水
   平方向への第２の投影を生成し、 前記第１の投影と前記第２の投影との一致度を求めるこ
   とによって、前記第１の投影と前記第２の投影との水平
   方向のずれ量を求めることを特徴とする視野方向ずれ検
   出方法。
2. 【請求項２】 基準画像のエッジ画像を基準エッジ画像
   として取得し、取得した該基準エッジ画像の垂直方向へ
   の第３の投影を生成し、入力画像のエッジ画像を入力エ
   ッジ画像として取得し、取得した該入力エッジ画像の垂
   直方向への第４の投影を生成し、 前記第３の投影と前記第４の投影との一致度を求めるこ
   とによって、前記第３の投影と前記第４の投影との垂直
   方向のずれ量を求めることを特徴とする視野方向ずれ検
   出方法。
3. 【請求項３】 請求項１記載の視野方向ずれ検出方法に
   おいて、前記基準エッジ画像の垂直方向への第３の投影
   を生成し、入力画像のエッジ画像を入力エッジ画像とし
   て取得し、取得した該入力エッジ画像の垂直方向への第
   ４の投影を生成し、 前記第３の投影と前記第４の投影との一致度を求めるこ
   とによって、前記第３の投影と前記第４の投影との垂直
   方向のずれ量を求めることを特徴とする視野方向ずれ検
   出方法。
4. 【請求項４】 請求項１乃至請求項３のいずれか１つに
   記載の視野方向ずれ検出方法において、前記一致度を、
   前記第１の投影と前記第２の投影とのテンプレートマッ
   チング、または、前記第３の投影と前記第４の投影との
   テンプレートマッチングによって行うことを特徴とする
   視野方向ずれ検出方法。
5. 【請求項５】 前もって撮像装置で撮像しておいた基準
   画像と該撮像装置で撮像した入力画像との比較によって
   該撮像装置の視野方向のずれを測定する方法において、
   前記撮像装置で予め撮像した前記基準画像の基準エッジ
   画像を生成する基準エッジ画像生成ステップと、前記撮
   像装置で撮像した前記入力画像の入力エッジ画像を生成
   する入力エッジ画像生成ステップと、前記基準エッジ画
   像と入力エッジ画像との位置ずれを計算する位置ずれ量
   計算ステップとを設け、前記撮像装置の光軸ずれを検知
   することを特徴とする撮像装置光軸ずれ検知方法。
6. 【請求項６】 請求項５記載の撮像装置光軸ずれ検知方
   法において、前記位置ずれ量計算ステップは、前記基準
   画像の前記基準エッジ画像の画素をｘ軸とｙ軸とに投影
   した基準画像投影と、前記入力画像の前記入力エッジ画
   像の画素をｘ軸とｙ軸とに投影した入力画像投影とを生
   成するステップと、前記基準画像投影と前記入力画像投
   影との位置ずれ量を計算するステップとを設け、前記撮
   像装置の光軸ずれを検知することを特徴とする撮像装置
   光軸ずれ検知方法。
7. 【請求項７】 請求項６記載の撮像装置光軸ずれ検知方
   法において、前記基準画像と前記入力画像の画素値の比
   較によって前記ずれ量の正確性の判定をする光軸ずれ判
   定ステップを設け、前記撮像装置の光軸ずれを検知する
   ことを特徴とする撮像装置光軸ずれ検知方法。