JPH11510341A - 移動部品を用いないカメラを用いた画像形成および処理装置と方法 - Google Patents

Abstract

(57)【要約】 ほぼ半球状の視野を持つ魚眼レンズ(２０)を装着したカメラを装備したビデオ監視装置（１０）。この装置は移動部品を用いずに従来のカメラのパン、チルト、ズームと同じ操作を実現する。レンズ（２０）は、監視中の面の垂直上方に取り付けられる。カメラは複数のピクセルから成る魚眼（１４）画像を生成する。魚眼画像（１４）は魚眼レンズ（２０）の特性により歪曲する。この装置は、魚眼画像のピクセルを表示する特定部分を選択して生成される座標にマッピングして歪曲を補正する。

Description

【発明の詳細な説明】 移動部品を用いないカメラを用いた画像形成および処理装置と方法 発明の背景 発明の分野 本発明は一般にビデオ監視装置、特に、ほぼ半球状の視野を持つ魚眼レンズを 装着した画像形成および処理装置に関する。本発明により、オペレータはあたか も普通のレンズのパン、チルト、ズームをシミュレートして普通のレンズにより 形成されたように魚眼レンズで形成した選択画像部分を見ることができる。これ により、パン、チルト、ズーム操作を移動部品を用いないで実現することができ る。 関連技術の説明 監視カメラは小売り店、工場、空港などの地域の監視に普通に用いられている 。１台のカメラで広い領域を監視するには、パン、チルト、ズームができる機構 を備えるカメラを用いるのが普通である。このような機構は複雑さとカメラの価 格を増大させ、信頼性に悪影響を与えかねない。移動部品が存在するので、機械 的なパン、チルト、ズーム装置が極度の温度、湿度、粉塵によって損傷を受け、 性能の低下を引き起こす。さらに、このような機械的な装置は比較的大量の電力 を消費する。そのため、移動部品を用いずにパン、チルト、ズームができる監視 カメラは既存の監視カメラにはない優れた利点を備えている。 米国特許第５,１８５,６６７号でZimmermannは移動部品を持たないこのような カメラを提案している。彼の特許に開示されている装置で、魚眼レンズは、カメ ラが電子画像を生成するようにビデオカメラに結合されている。魚眼レンズの特 性により画像が歪曲する。画像の歪曲はあるアルゴリズムを用いて補正される。 Zimmermannが提案した装置の制限の１つが効果的なズームに対し充分な解像度 を得られないことである。魚眼レンズは歪曲した全半球画像を生成するため、画 像部分、とりわけ周辺部の歪曲度が大きい。画像はある限られた数のピクセルを 有する電荷結合素子（ＣＣＤ）上に形成される。画像を普通の画像（歪曲してい ない）として見るには、画像を電子的に変形することが必要である。CCDのピク セル数が限られているため、変形した画像の解像度が低下する。許容可能な解像 度を得るには、ピクセル数が約１５６,０００,０００個のＣＣＤが必要になろう 。 入手可能なピクセル数が最も多いＣＣＤは約１６,０００,０００個のピクセル （４,０００×４,０００）があり、１０ＭＨｚ程度のクロック速度で動作する。 しかし、１秒当たり３０回のＮＴＳＣのサンプリング速度規格を満たすには、４ ８０ＭＨｚのクロック速度が必要である。従って、望みの大きさに拡大したＮＴ ＳＣ画像に必要な解像度は従来の技術を用いて実現できない。 Ｎｅｔａ他に付与された米国特許第５,２００,８１８号には一般に半球表面に 配置された複数のセンサアレイにより広角シーンを監視する装置が記載されてい る。各センサアレイは自分自身のレンズ系を備えている。これにより、移動部品 を用いてパンやチルトを行なうことなく、広い領域を監視できる。装置の解像度 は、複数のセンサを用いているため比較的高くなる。しかし、Ｎｅｔａ他の装置 は、非常に多くの高品質の部品を必要とするため実現するのに非常に多くの費用 がかかる。 本発明の目的の一つは、ほぼ半球状の視野を持ち、移動部品を用いずにパン、 ズーム、チルト操作を行なえ、しかも十分な解像度で望みの大きさに拡大できる 監視カメラ装置を提供することである。 本発明の別の目的は、オペレータが従来のレンズを装着し、パン、チルト、ズ ームが可能なカメラで撮影したかのような視野部分が得られる監視カメラ装置を 提供することである。 上記と他の利点は以下の発明の説明から明らかになる。 発明の要約 本発明は以下のステップを含むビデオ監視方法である。ビデオカメラは画像面 と魚眼レンズを備えている。魚眼レンズには、魚眼レンズにより生じた歪曲度を 示すレンズ定数、一次軸、ほぼ半球状の視野がある。カメラは一次軸が通る中心 点を持つ画像面を有する。カメラは魚眼レンズの一次軸が監視面に対しほぼ垂直 になるように監視面の垂直上方の取り付け位置に取り付けられる。ビデオカメラ は魚眼レンズにより歪曲される魚眼画像を生成する。魚眼画像は複数のピクセル から成り、各ピクセルは一意の魚眼座標を有する。 視野中の副領域の補正画像は、仮想軸を有する仮想カメラをシミュレートする ことにより、視野の物体の正規座標を設定して生成される。仮想軸は、中心点と 特定パン、チルト角の視野中の物体を通る。オペレータは魚眼画像領域を選択す る。この領域は魚眼画像のピクセルのサブセットを含む。サブセットの各ピクセ ルは角度「ｂ」だけ特定のパン角度から変位している。 ピクセルのサブセットの各ピクセルの魚眼座標は、レンズ定数、特定のチルト 角、角度「ｂ」から成る式により求められる。副領域の補正画像は、ピクセルの サブセットを正規座標にマッピングして生成される。 図面の簡単な説明 図１は、本発明を実施する装置のブロック図である。 図２Ａは、歪曲した魚眼画像を生成する魚眼レンズの画像面の平面図である。 図２Ｂは、本発明を用いて補正した魚眼画像の選択した部分の図である。 図３は、本発明の画像スプリッタの斜視図である。 図４は、画像スプリッタの光ファイバ束の斜視図である。 図５は、本発明の魚眼歪曲補正装置のブロック図である。 図６は、魚眼補正の結果として画像面のＹ軸のチルト角ｂの点Ｃの射影を示す 図である。 図７は、画像面への点Ｃの射影を示すＸ−Ｙ画像面の図である。 図８は、魚眼レンズの一次軸、点Ｃでパン、チルトした仮想カメラの一次軸を 示す３次元図である。 詳細な説明 以下は本発明の好適な実施例の説明である。以下の説明は本発明を説明するこ とを意図しており制限するためではない。本発明の全範囲は添付したクレームと それと均等の範囲により制限される。 本発明のブロック図を図１に示す。本発明は倉庫、店舗、バス停留所や駅など の場所の監視に用いられるのが普通である。このため、装置１０には、例えば、 魚眼レンズなどのほぼ半球状の視野を持つレンズ２０が装着されている。レンズ は１８０°のアジマス視野、９０°の方位視野（天頂視野(zenithal view)）、 無限遠の被写体深度を持つことが望ましい。これにより、ほぼ半球状の領域が生 成される。レンズは焦点距離が１.９ｍｍ、ｆ絞りが１.８の市販の同等の魚眼レ ンズが好ましい。レンズ２０は一次軸Ｚを有し、画像面１３上に円形画像１４を 生成する。 レンズ２０の特性により画像１４は歪曲する。特に、画像１４の物体の向きは 、実際の向きに対して変更される。例えば、レンズ２０の視野中の部体１１は（ 図８参照）は、図２に示すように画像１４の周辺部に歪曲して現れる。 画像１４はスプリッタ３０により４つの部分に分割するのが好ましい。画像１ ４は要求される解像度と利用できる技術に応じて任意の数の部分に分割できる。 画像１４を４つの部分に分割すると、各部分はそれぞれ円形画像の１つの象限か ら構成される画像１５,１６,１７,または１８をそれぞれ含む（図２参照）。ス プリッタ３０は４つの光通路２５,２６,２７,２８から構成される。光通路２５, ２６,２７,２８はそれぞれコヒーレント光ファイバ束３５,３６,３７,３８から 成る（図４参照）。そのため、画像１５,１６,１７,１８は、光ファイバ束３５, ３６,３７,３８により通路２５,２６,２７,２８をそれぞれ伝送される。 図３と４にスプリッタ３０を詳しく示す。スプリッタ３０は通路２５,２６,２ ７,２８が設けられたハウジング３２から成る。光ファイバ束３５,３６,３７,３ ８はそれぞれ通路２５,２６,２７,２８の中に収容され、主要な光ファイバ束か ら分岐し磨かれた面の画像面１３で終っている。図４を参照すると、光ファイバ 束３５,３６,３７,３８はそれぞれ複数の光ファイバから構成されている。各光 ファイバは魚眼レンズ２０で生成される画像サンプル１４を伝送し、直径が約１ ０μｍである。 画像１５,１６,１７,１８は各通路２５,２６,２７,２８に沿ってそれぞれ伝送 され、センサ４５,４６,４７,４８に入射する。センサ４５,４６,４７,４８は、 ピクセル数が７６８×４８０個のＣＣＤであり、ＣＣＤを光ファイバに直接結合 できる光ファイバフェースプレートから形成される光ファイバ窓を備えている。 適切な光ファイバフェースプレートとしては、マサチューセッツ州スターブリッ ジのGalileo Electro-optics社から「ＣＰ ｓｅｒｉｅｓ」の名称で販売されて いる光ファイバフェースプレートが入手可能である。画像１５,１６,１７,１８ は、センサにより代表的な電気信号５５,５６,５７,５８にそれぞれ変換される 。 信号５５,５６,５７,５８は、ただちに入手可能な４つの同じビデオカメラセ ンサ画像コントローラ６５,６６,６７,６８から成るＣＣＤ制御プロセッサに供 給され、各信号はそれぞれ５５,５６,５７,５８の１つに対応する。各制御プロ セッサは、ＣＣＤへのクロック供給回路７２、映像処理回路７４、色空間変換回 路７６とを内蔵している。色空間変換回路７６は、各信号５５,５６,５７,５８ のクロミナンス信号Ｃｒ,Ｃｂと輝度信号Ｙを生成する。 制御プロセッサ６５,６６,６７,６８はエンコーダ１００が圧縮するのに適し た輝度成分とクロミナンス成分でビデオ出力８５,８６,８７,８８をそれぞれ生 成する。ビデオ信号８５,８６,８７,８８を圧縮することにより、非常に多くの 画像サンプルを帯域幅が制限されたチャネルを通して送信できる。それゆえ、ビ デオ出力はレンズが補正回路１４０から離れた位置にあれば圧縮される。エンコ ーダ１００は、例えば、ＭＰＥＧあるいはＨ．２６１圧縮方式によりビデオ信号 ８５,８６,８７,８８を圧縮する。代わりに、副帯域符号化方式も使用できる。 エンコーダ１００は、ビデオ信号をシリアルデータストリームにパケット化して 、同軸ケーブルや光ファイバケーブルのような高速ネットワーク１１０を経由し て送信する。圧縮したビデオ信号はデコーダ１２０に入り、ここでエンコーダ１ ００で実行した変換の逆変換に当る圧縮したビデオ信号の解凍を行なう。 デコーダ１２０は、補正回路１４０に供給されるデコードしたビデオ信号１３ ０を生成する。補正回路１４０の目的は、魚眼レンズ２０で生じた歪曲を補正す ることである。補正は後述するアルゴリズムにより行われる。補正回路１４０は ディスプレイ１６０に表示される補正信号１５０を発生する。 以下は画像１４の魚眼レンズにより生じた歪曲を補正する装置の説明である。 説明を簡単にするため、全魚眼画像１４は単一のＣＣＤ１８０面上に形成され、 スプリッタ３０を用いないとする。ＣＣＤ１８０はＸ軸とＹ軸とを有する。レン ズ２０は監視面１９の垂直上方の装着点１７に、できれば主軸Ｚが監視面１９に 垂直になるように配置するのが好ましい。監視面１９は部屋１５の床である。装 着点１７は部屋１５の天井である。軸Ｘ,Ｙ,ＺはＣＣＤ面１８０の中心点Ｉで交 差する。ＣＣＤ面１８０は監視面１９に平行な画像面１３を形成する。 監視領域（壁ではなく天井）の上にカメラと魚眼レンズを装着することはいく つかの利点がある。まず、カメラを天井に取り付けると、視野は３６０°全部を カバーする。これにより、壁によりパン範囲が制限されることなく、３６０°の 範囲にわたりパンのシミュレーションができる。天井にレンズを装着した場合、 仮想（シミュレーションした）パン軸は、魚眼レンズの一次軸Ｚであり、壁に装 着した場合の一次軸に垂直な軸ではない。一次軸Ｚの周りの角度は物体から画像 の間で保持される。こうして、パン軸がすでに放射状になっており変換の必要が ないため、光線座標の計算が容易になる。 任意の物体をモニタ上２４０で見ると、画像の垂直中心線は画像面の中心点Ｉ と交差している。レンズの一次軸Ｚはこの中心点を通る。それゆえ、画像を回転 させて正しい方向で見る必要がない。米国特許第５,１８５,６６７号に記載され た補正アルゴリズムは、画像の回転を別々に計算している。このような別々の計 算は本発明では必要ない。 レンズを壁に装着すると、当該物体と最も離れた物体は魚眼画像の中心にきや すい。これらの物体の細部を見るのに最大の解像度が必要である。魚眼レンズが 監視面の垂直上方に配置されると、中心の物体は通常レンズに最も近い。その物 体を見るには高い解像度を必要とせず、これらの物体の歪曲は最も小さい。レン ズから最も離れた物体は魚眼レンズの周辺部に現れる。しかし、魚眼レンズで形 成された画像は非常につまっており、そのため、ＣＣＤ画像の解像度は周辺部よ り中心で低くなる。半径「Ｒ」の魚眼画像の一部を考えてみよう。画像が形成さ れるＣＣＤのピクセル密度は均一である。ＣＣＤの中心を通るラインに沿って画 像が２Ｒピクセルにわたり形成される。画像の周辺部では、画像の中心に現れる 物体より多くのピクセルがπＲ（円周の半分）−π／２にわたり形成される。こ のため、レンズを監視面の垂直上方に配置すれば、レンズが監視面に対し直角方 向に配置される場合よりも遠方の物体の解像度がはるかに向上する。 以下の説明は図５に関するものである。魚眼レンズ２０は領域「Ａ」をカバー する１８０°の視野を持っている。部屋１５の天井にレンズ２０を装着すると、 領域Ａには部屋の床と壁が含まれる。魚眼レンズ２０は画像面１３に領域Ａの魚 眼画像Ａ_dを形成する。一意の座標（Ｘ；Ｙ）で表される領域Ａの任意の点は、 魚眼レンズ２０の特性に応じて魚眼画像Ａ_dの点（Ｘ_d；Ｙ_d）に移動される。画 像面１３（ＣＣＤ１８０の面）は複数のピクセル１８２から成るマトリックスか ら構成されている。各ピクセルは一意の魚眼座標を有する。従って、ＣＣＤは領 域Ａの電気的表現を生成する。この表現がＣＣＤ制御プロセッサ２５０（制御プ ロセッサ６０と同じ）に供給され、ＣＣＤ１８０の各ピクセルのクロミナンス値 と輝度値を生成する。これらのクロミナンス値と輝度値はデュアルポート画像メ モリ（ＤＰＩＭ）２００に格納される。本発明により、パン、チルト、ズーム操 作を実現するため、ユーザが魚眼画像を電気的に処理できるようにする。こうし て、領域Ａ_dの副領域α_dを歪曲した魚眼画像から正常な画像にに変換することに より、領域Ａの副領域αを詳細に調べることができる。 装置に電源が供給されると、デフォルトの補正副領域α_cがモニタ２４０上に 現れる。ユーザは領域選択装置２１０、すなわちキーボードとポインティング装 置を装備する制御ステーションにより副領域αを選択する。これはポインティン グ装置２１４を用いて、仮想の従来のカメラのパン、チルトをシミュレートして 行なうことによりできる。モニタ２４０上の画像は従来のカメラで形成されたよ うに見える。実際、画像は魚眼レンズ１４部分を補正して形成される。副領域α を選択すると、副領域αの中心の物体の正規（魚眼でない）座標が得られる。こ の操作により物体での仮想の従来のカメラの一次軸（図８のＩＣ）の指示をシミ ュレートする．仮想カメラは、その一次軸が中心点Ｉと副領域αの中心を通る取 り付け位置１７に取り付けられる。モニタ２４０上に副領域が現れるように、こ の仮想カメラを入力装置２１４で指示すると、領域選択装置２１０が仮想のパン 、チルト角で配置された仮想カメラに関連するパン、チルト角を生成して、副領 域 αの物体の位置を指示する。 ユーザが副領域αを選択すると、装置はα_d（領域αの歪曲した魚眼画像）を 補正画像αｃに自動的に変換する。これにより、ユーザはあたかも副領域αを示 すようにパン、チルトされた仮想（魚眼でない）カメラにより形成されたかのよ うにモニタ２４０の副領域αを見ることができる。 魚眼画像Ａ_dの各ピクセルは、ＤＰＩＭ２００の一意のアドレスに制御プロセ ッサ２５０を介してＣＣＤ１８０が生成した輝度と色データを格納する。従って 、ＤＰＩＭ２００は、領域Ａの歪曲した魚眼画像Ａ_dのデジタル電子表現を含む 。領域Ａの任意の副領域αの場合、ＤＰＩＭ２００は対応する歪曲副領域α_dの 電子表現を含む。 画像面１３は、図６,７,８に示すようにＸとＹ軸で形成される面である。レン ズ２０の一次軸ＺはＸとＹ軸に垂直である。ユーザが仮想魚眼レンズでないレン ズを装着したカメラで点Ｃ（図２Ｂに示す副領域αの画像）の周囲に中心がある シーンを詳しく見たいと望むのであれば、ユーザはカメラに指示して一次軸Ｚに 対し角度ｂでカメラをチルトさせるだろう。そのようにするには、仮想の一次軸 （中心線ＩＣ）が画像面１３の中心点Ｉと点Ｃを通るように、仮想カメラを配置 しなければならない。 仮想の従来のカメラで捕捉されていれば、領域αは、ライン３２０に中心が位 置し、ピクセル３１０のかなりの数の水平ラインから成る画像３００としてＣＣ Ｄ１８０に現れるだろう（図２Ａ参照）。特定の水平ライン上の各ピクセルは中 心線３２０からある距離ｘだけずれている。この距離は中心線ＩＣに対する角度 「ａ」（図８参照）または一次軸Ｚの周りの角度ａ′に対応する。 画像１４の各ピクセルは直角座標または極座標対を基準にして説明できる。従 って、図７と８を参照すると、中心線ＩＣの点Ｃのピクセルは極座標を基準にし てチルト角ｂ（図６参照）と角度ａ、すなわち中心からのピクセルの変位（Ｃは Ｘ軸の上にあるので、ａはゼロに等しくなる）で配置できる。同様に、ＣＣＤ１ ８０の水平ラインに沿って移動（Ｙ軸に平行に移動）すると、点Ｓのピクセルは 一次軸Ｚに対するチルト角ｂ′と中心線ＩＣに対するパン角ａ′を基準にして記 述できる。対応する直角座標はＸ_dとＹ_dである。 再び図２Ａに戻ると、魚眼レンズの性質により魚眼画像が歪曲するのを見るこ とができる。魚眼レンズ２０の主軸の近くに配置された物体はＣＣＤ１８０にほ ぼ正常に現れる（領域１８２参照）が、主軸から離れた物体は次第にさらに歪曲 する（領域１８４参照）。魚眼画像でない点（Ｘ；Ｙ）のピクセルにより運ばれ る情報は魚眼画像では（Ｘ_d；Ｙ_d）に位置する。ここで、（Ｘ_d；Ｙ_d）は魚眼レ ンズ２０の特性に応じた（Ｘ；Ｙ）からの変位量である。 一次軸に対し回転角ｂ′で配置される点の画像が、以下の式により画像面に一 次軸からの半径ｒで射影されるのは魚眼レンズの基本的な特性である。 ｒ＝ｆ・ｂ′ ここで、ｒは中心点Ｉからの距離、ｆは魚眼レンズで生じた歪曲度をｍｍ ／ｒａｄで示すレンズ定数、ｂ′は物体から一次軸（ラジアン）への入射光角度 である。 視野中の点から画像面の射影までの角度が保持されるのも魚眼レンズの基本的 な特性である。 これらの２つの特性は、視野の当該領域にパン、チルト、またはズームした従 来のカメラにより形成されたかのように、魚眼画像の選択した部分を見ることが できる新しい式の導出に用いられる。この式は上述した仮想カメラのパン、チル ト角度を補正画像の直角座標に関連させる。以下は、本発明の目的を達成するそ の式の導出と適用方法の説明である。 図６から、レンズの主軸に対するチルト角ｂで配置された点Ｃが中心点Ｉから 半径ｒ＝ｒｃで画像面ＩＰに画像を形成することがわかる。上述したように、特 定の魚眼レンズに対し、点Ｃで画像が形成されるチルト角ｂと半径の間の関係は 以下の式から求められる。 ｒ＝ｆ・ｂ…………………………………………………………………(１) 図８で、点ＣはＹとＺ軸で形成される面上にあり、一次軸Ｚに対するチルト角 ｂで形成される。画像面の中心Ｉから点Ｃまでの線ＩＣは点Ｃで示される仮想カ メラレンズの一次軸として見なされる。線ＣＳは点Ｃから点Ｓまで延びている。 ＣＳはＸ軸に平行である。かくして、ＣＳはＣＣＤ１８０のピクセルの水平ライ ンを示す。ＣＣＤの中心、Ｉ、からの特定の半径ｒにあり、仮想カメラレン ズの一次軸の周りのパン角「ａ」で、魚眼レンズの一次軸に対するチルト角ｂ′ にある点Ｓのピクセルを考えてみよう。そのピクセルの直角座標は以下のように なる。 Ｘ＝ｆ・ｂ′・ｃｏｓ（ａ′）…………………………………………(２) Ｙ＝ｆ・ｂ′・ｓｉｎ（ａ′）…………………………………………(３) 式（２）と（３）は、ＣＣＤ上に形成される魚眼画像の任意の特定ピクセルの 極座標を直角座標に変換する。それゆえ、点Ｓのピクセルはチルト角ｂ′（主軸 Ｚを基準に測定した角度）とパン角ａ′（主軸の周りの回転角）を基準にして配 置できる。 装置の電源をオンにすると、仮想カメラが撮影している最初の領域に対応する デフォルト領域が表示される。便宣のため、この領域は一次軸Ｚに沿っていると する（そのためチルト角ｂはゼロになる）。パン角もゼロである（線ＩＣはＸ軸 に沿っている）。仮想カメラ（線ＩＣの上にあるレンズの一次軸を有する）は、 魚眼レンズの一次軸Ｚに対し角度「ｂ」だけ傾斜しているので、カメラは点Ｃに 中心がある物体の方向を向いている。ユーザがわかりやすい補正装置の操作を行 なうため、仮想カメラのパンとチルトは、仮想カメラの最初の位置に対し測定さ れる。このため、点Ｓを表すピクセルの位置は、チルト角「ｂ」と中心線ＩＣか らの点Ｓの角度、すなわち中心線ＩＣから点Ｓまでのパン量を示す角度ａで表さ れる。 以下は魚眼画像の点Ｓを表すピクセルの位置が角度ａ（中心線ＩＣからの変位 ）と角度ｂ（仮想カメラが主軸が点Ｃと一列になるようにパン、チルトしたチル ト角）を基準にして記述する方法を示す。 図８を参照すると以下の式が得られることがわかる。 ｔａｎ（ａ′）＝ＳＣ／ＰＣ ＳＣ＝ＩＳ・ｓｉｎ（ａ） ＰＣ＝ＩＣ・ｓｉｎ（ｂ） ＩＣ＝ＩＳ・ｃｏｓ（ａ） それゆえ、 ｔａｎ（ａ′）＝ＩＳ・ｓｉｎ（ａ）／ＩＳ・ｃｏｓ（ａ）・ｓｉｎ（ｂ） ＝ｔａｎ（ａ）／ｓｉｎ（ｂ） ａ′＝ｔａｎ^-1（ｔａｎ（ａ）／ｓｉｎ（ｂ））……………(４) ｃｏｓ（ｂ′）＝ＩＰ／ＩＳ ＩＰ＝ＩＣ・ｃｏｓ（ｂ） ＩＣ＝ＩＳ・ｃｏｓ（ａ） それゆえ、 ｃｏｓ（ｂ′）＝ＩＳ・ｃｏｓ（ａ）・ｃｏｓ（ｂ）／ＩＳ ＝ｃｏｓ（ａ）・ｃｏｓ（ｂ） ｂ′＝ｃｏｓ^-1（ｃｏｓ（ａ）・ｃｏｓ（ｂ））……………(５) 式(２)と(３)から、任意の魚眼レンズにおいて、Ｘ_d＝ｆｂ′ｃｏｓ（ａ′） およびＹ_d＝ｆｂ′ｓｉｎ（ａ′）になる。式(４)と(５)のａ′とｂ′の値を式( ２)と(３)に代入すると、 Ｘ_d＝ｆ・ｃｏｓ^-1（ｃｏｓ（ａ）・ｃｏｓ（ｂ））・ｃｏｓ（ｔａｎ^-1 （ｔａｎ（ａ）／ｓｉｎ（ｂ））） ……………………………………(６) Ｙ_d＝ｆ・ｃｏｓ^-1（ｃｏｓ（ａ）・ｃｏｓ（ｂ））・ｓｉｎ（ｔａｎ^-1 （ｔａｎ（ａ）／ｓｉｎ（ｂ））） ……………………………………(７) となる。 これらの式により、中心線ＩＣの周りに中心があるピクセルの座標を仮想カメ ラのチルト角「ｂ」の極座標（魚眼画像の中心からの点の距離を測定）と中心線 ＩＣに対するピクセルの角度「ａ」の知識から単純に計算によって求めることが できる。この式は魚眼画像のパン、チルト、ズームを行なう非常に簡単な手段を 提供する。 仮想カメラのパンを行なうには、パン角度Ｐを角度ａ′に加えて新しい角度ａ ″を得る。すなわち、ａ″＝Ｐ＋ａ′になる。 これを式(４)に代入すると以下の式が得られる。 ａ″＝Ｐ＋ｔａｎ^-1（ｔａｎ（ａ）／ｓｉｎ（ｂ）） ……………………(８) 式（ａ）を式（６）と（７）に代入すると以下の式が得られる。 Ｘ_d＝ｆ・ｃｏｓ^-1（ｃｏｓ（ａ）・ｃｏｓ（ｂ））・ｃｏｓ（Ｐ＋ｔａｎ^-1 （ｔａｎ（ａ）／ｓｉｎ（ｂ）） ………………………………………(９) Ｙ_d＝ｆ・ｃｏｓ^-1（ｃｏｓ（ａ）・ｃｏｓ（ｂ））・ｓｉｎ（Ｐ＋ｔａｎ^-1 （ｔａｎ（ａ）／ｓｉｎ（ｂ）） ………………………………………(10) 仮想カメラのパンおよび／またはチルトをシミュレートするためポインティン グ装置２１４を移動させると、副領域αのピクセルの各ラインの各ピクセルの直 角座標（Ｘ；Ｙ）が領域選択装置２１０で生成され、ルックアップテーブル（Ｌ ＵＴ）２２２に格納される。装置は魚眼画像の座標（Ｘ_d；Ｙ_d）を式(９)と(10) を用いて自動的に計算する。副領域αの各正規座標（Ｘ；Ｙ）対に対し、計算し た座標（Ｘ_d；Ｙ_d）がＤＰＩＭ２００のアドレスとしてＬＵＴ２２に格納される 。 魚眼画像のすべての座標を前もって計算するか、または領域として計算する必 要がある特定領域の座標だけを選択することができる。いずれの場合においても 、座標はＬＵＴ２２２に格納され、対応するピクセルがＤＰＩＭ２００に格納さ れる。これにより、これらの計算された座標に対応するピクセルをＣＣＤ１８０ から取得することができる。そして、取得されたピクセルは、あたかも普通のカ メラを座標（Ｘ；Ｙ）にパン、チルトして形成された画像のように、その位置（ Ｘ；Ｙ）がモニタ２４０上に表示される。 ＬＵＴの内容を計算するとき、ピクセル間で増加する角度ａと列間で増加する 量ｂを変化させて、ズーム比率を調整できる。例えば、水平表示ラインのピクセ ルが４００個あれば、ａをディスプレイの左端の−２０°から０.１°ずつ増大 させると４０°の水平視野が得られる。同じように、標準ディスプレイの４：３ のアスペクト比を正確に保持する３０°の垂直視野を表示するには、各水平表示 ライン間で０.０６２°ずつｂを増大させて４８４本の表示ラインを得る。 ＬＵＴ２２２とＤＰＩＭ２００の内容を以下の表に示す。 Ｈ＝ディスプレイプロセッサのライン当たりのピクセル数。 複数画像をＤＰＩＭ２００に保持することにより、所定の時間にわたる画像の 履歴ログも格納できる。入力情報がメモリ容量を超過すると、古い画像に現在の 画像が連続的に上書きされる。こうして、所定の時間にわたり生成した画像の循 環ログを保持する。従って、魚眼アドレスジェネレータでＤＰＩＭ２００のアド レスを適切に選択して、アラームイベントが発生すると、前の所定の時間間隔で 捕捉した画像を表示できる（例えば、侵入者が監視中の建物へ侵入しようとして センサに検出された場合）。 この装置は、３６０°の画像を用いて、いかなる移動部品も用いないでパン、 チルト操作を実現する。その結果、カメラの信頼性が向上しカメラを購入、保持 するコストを制限する。従って、本発明は広い視野をカバーする１台のカメラを 用いて広い領域を監視できる。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，Ｓ Ｚ，ＵＧ)，ＵＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ， ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，Ｉ Ｌ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ， ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，Ｒ Ｕ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ (72)発明者 グラット、テリー・ローレンス アメリカ合衆国、フロリダ州 33060、ポ ンパノ・ビーチ、エス・イー・ナインス・ コート 131 (72)発明者 クパースミット、カール アメリカ合衆国、フロリダ州 33467、レ イク・ワース、イヤーリング・ドライブ 9021

Claims (1)

1. 【特許請求の範囲】 １．画像面と魚眼レンズを備えるビデオカメラを提供するステップであり、前記 魚眼レンズは、魚眼レンズで生じた歪曲を示すレンズ定数、一次軸、ほぼ半球状 の視野を有し、前記カメラは画像面を有し、該画像面は一次軸が通る中心点を持 つ画像面を有するように設けられたステップと、 魚眼レンズの一次軸が監視面に対しほぼ垂直になるように、監視面の垂直上 方の取り付け点に垂直にカメラを取り付けるステップと、 ビデオカメラに魚眼画像を生成させるステップであり、前記魚眼画像は魚眼 レンズにより歪曲され、複数のピクセルから成り、各ピクセルは一意の魚眼座標 を有するステップと、 視野の副領域の補正画像を生成するステップであって、以下の工程、即ち、 仮想軸を有する仮想カメラをシミュレートして、および仮想軸が中心点と特 定のパン、チルト角の視野の物体を通るように、視野の物体の角座標を求める工 程と、 魚眼画像の領域を選択するステップであり、前記領域は複数ピクセルのサブ セットを含み、前記サブセットの各ピクセルは角度ａだけ特定のパン角度から変 位している工程と、 レンズ定数、特定のチルト角、角度ａを含む式により複数ピクセルのサブセ ットの各ピクセルの一意の魚眼座標を求める工程と、 複数のピクセルのサブセットのピクセルを正規座標にマッピングする工程と を含み、これにより副領域の補正画像を生成するステップと、 を含むビデオ監視方法。 ２．特定のチルト角は魚眼レンズの一次軸に対して設定される請求項１の方法。 ３．特定のパン角は一次軸の周りの前のパン角に対し設定される請求項１の方法 。 ４．サブセットのピクセルを正規座標にマッピングする前記ステップは、 複数のピクセルのサブセットの各ピクセルに対し対応する角座標対が存在す るように、また、各角座標対に対しあらかじめ計算されたピクセル座標対が存在 するように、式により求めたあらかじめ計算された座標対を含むルックアップテ ーブルを設けるステップと、 ルックアップテーブルの角座標を求め、これに応答じてあらかじめ計算され たピクセル座標をルックアップテーブルから取り出すステップとを含む請求項１ の方法。 ５．複数のピクセルをあらかじめ計算された座標に対応するアドレスの画像メモ リに格納し、前記画像メモリにあらかじめ計算された座標を格納し、画像メモリ から複数ピクセルのサブセットのピクセルを出力として受け取るステップとをさ らに含む請求項４の方法。 ６．ユーザ入力を介して特定のパンとチルト角を受け取るステップを含む物体の 角座標を求めるステップを含む請求項１の方法。 ７．角座標は極座標であり、極座標を特定のパン、チルト角に変換するステップ をさらに含む請求項１の方法。 ８．物体の角座標を与える前記ステップがビデオディスプレイの領域の選択と副 領域のデカルト座標に基づいて物体の特定のパン、チルト角を計算するステップ を含む請求項１の方法。 ９．式がＸ_d＝f・cos^-1(cos(a)・cos(b))・cos(tan^-1(tan(a)/sin(b))) Ｙ_d＝f・cos^-1(cos(a)・cos(b))・sin(tan^-1(tan(a)/sin(b))から成る方法であ り、 ここで、ｆはレンズ定数、Ｘ_dとＹ_dは一意の魚眼座標である請求項１の方法 。 10．副領域の補正画像を表示するステップをさらに含む請求項１の方法。 11．補正画像をズームするステップをさらに含む請求項１の方法。 12．ズームをするステップは角度ａの増大を含む請求項１１の方法。