JPH11261868A - 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法 - Google Patents

Abstract

(57)【要約】 【課題】 魚眼レンズカメラ装置及びその画像歪み補正
方法及び画像抽出方法に関し、魚眼レンズカメラを任意
の設置アングルで取り付けた場合の魚眼レンズ画像の歪
み補正の画像変形処理を高速化し、又、人物像等の移動
する像を精度よく検出して抽出し、モニタテレビ等に高
精度で表示させる。 【解決手段】 魚眼レンズ１−１、ＣＣＤ撮像装置１−
２で撮影した画像を映像メモリ１−３に記憶させ、画像
補正処理部１−４は、魚眼レンズカメラの設置角を補正
する座標変換と、魚眼レンズ画像の歪みを補正する座標
変換とを組み合わせて演算する構成を備え、等面積射影
の魚眼レンズ像を高速に写像変換する。更に魚眼レンズ
画像内の領域に対応した重み付けを行って、人物像等の
特徴量を抽出し、表示エリアを抽出する構成を備えてい
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、魚眼レンズカメラ
装置及びその画像歪み補正方法及び画像抽出方法に関
し、特に、魚眼レンズカメラにより画像を取り込み、そ
の一部の画像を切り出してモニタテレビに表示するテレ
ビ会議システム又は遠隔監視システム等における魚眼レ
ンズカメラ装置及びその画像歪み補正方法及び画像抽出
方法に関する。

【０００２】魚眼レンズは約１８０度の画角を有し、広
範囲の画像を映し出すことができるが、その画像はたる
型に歪曲し、特に周辺部は歪みが著しい。本発明は、魚
眼レンズの撮像範囲が広範囲であることを利用し、１台
の魚眼レンズカメラで取り込んだ画像の中から、注目す
る画像の部分を切り出し、画像の歪みを補正してモニタ
テレビ画面に表示するものである。

【０００３】更に、本発明は、魚眼レンズカメラで映し
取った映像の中から、人物の侵入等の動きを伴う像を検
出し、その像のモニタ表示領域（切り出し領域）を自動
的に決定してその移動像を追尾させるものであり、遠隔
監視システムやテレビ会議システムのカメラ装置に好適
に用いられるものである。

【０００４】

【従来の技術】図１３は従来の魚眼レンズカメラ装置の
構成及びそれを用いた遠隔監視システム及びテレビ会議
システムを示す図である。図の（ａ）は魚眼レンズカメ
ラ装置の構成を示し、図の（ｂ）は魚眼レンズカメラ装
置を用いた遠隔監視システムを示し、図の（ｃ）は魚眼
レンズカメラ装置を用いたテレビ会議システムを示す。

【０００５】同図において、１３−１０は魚眼レンズカ
メラ装置、１３−１は魚眼レンズ、１３−２はＣＣＤ撮
像装置、１３−３は映像メモリ（フレームメモリ）、１
３−４は画像補正処理回路、１３−５は補正映像（ＮＴ
ＳＣ）出力回路である。

【０００６】魚眼レンズ１３−１は約１８０度の画角で
対象物を光学的に映し出し、ＣＣＤ撮像装置１３−２は
光学的な映像から電気的な画像信号を生成し、映像メモ
リ（フレームメモリ）１３−３はその画像信号をフレー
ム単位に記憶する。

【０００７】画像補正処理回路１３−４は、モニタ表示
する領域について、魚眼レンズの歪んだ画像を補正して
元の像に戻し、補正映像（ＮＴＳＣ）出力回路１３−５
は、補正された画像信号をＮＴＳＣ方式等の通常のテレ
ビ映像信号として出力する。

【０００８】魚眼レンズは画角が広いため、そのレンズ
を用いたカメラ装置により広範囲のエリアの映像を取り
込む遠隔監視システムやテレビ会議システムを構成する
ことができる。図の（ｂ），（ｃ）に示すように、魚眼
レンズカメラ装置１３−１０に符号化装置１３−２０を
取付け、又は符号化装置付きの魚眼レンズカメラ装置１
３−３０により、映像信号を公衆回線１３−４０を介し
て伝送し、復号化装置１３−５０を介してモニタテレビ
画面１３−６０等に表示することにより、それらのシス
テムを構成することができる。但し、魚眼レンズは画角
が広い分、映像の歪みが大きくその歪みを補正してモニ
タテレビ画面１３−６０等に表示しなけらばならない。

【０００９】図１４は従来の魚眼レンズカメラ画像の歪
み補正の説明図である。同図において、１４−１は仮想
の画像フレーム、１４−２は仮想の半球面、１４−３は
魚眼レンズ撮像画面である。又、ｘ，ｙ，ｚ軸で示す３
次元空間の原点Ｏに魚眼レンズが置かれ、且つ、魚眼レ
ンズはｚ軸の方向に向けて置かれているものとする。

【００１０】又、仮想の半球面１４−２は、魚眼レンズ
が正射影方式のレンズでその焦点距離がｆであるとする
と、半径ｆの仮想的な半球の球面であり、その平面部は
ｘ−ｙ平面上に置かれ、その中心は原点Ｏの位置に置か
れる。

【００１１】仮想の画像フレーム１４−１は、魚眼レン
ズの位置（原点）から撮影対象物へ向かう視線方向ベク
トルＤＯＶ（Ｄｉｒｅｃｔｉｏｎ Ｏｆ Ｖｉｅｗ）と
直交する仮想的な平面上のフレームで、所定の大きさの
枠を持ち、後に説明するように、この枠内の映像が魚眼
レンズ画像から切り出されてモニタテレビ画面に表示さ
れることとなる。即ち、モニタテレビ等の表示フレーム
の枠と同じ大きさの枠を持つ。

【００１２】又、画像フレーム１４−１は、そのフレー
ム内に視線方向ベクトルＤＯＶと交差する点を原点とす
る２次元座標軸（ｐ，ｑ）を持ち、仮想画像フレーム１
４−１内の点はこの座標の成分（ｐ，ｑ）によって表さ
れる。

【００１３】魚眼レンズによって映し出される像（魚眼
レンズ画像）は、レンズの射影方式（projection fomu
la）によっていくつかのタイプに分けられるが、以下、
正射影（orthographic projection）方式の魚眼レンズ
について説明する。

【００１４】魚眼レンズの置かれた位置（原点Ｏ）から
前記仮想の半球面１４−２を通して見える像を、そのま
ま該仮想の半球面１４−２に貼り付けたと仮定する。そ
して、その半球面１４−２上に貼り付けた３次元空間の
像を、図のｘ軸及びｙ軸からなる２次元空間の平面上
に、該平面に垂直に（ｚ方向から原点方向に）押し潰し
て貼り付けた像が、正射影方式の魚眼レンズの画像であ
る。

【００１５】なお、実際には、魚眼レンズの画像は上下
左右逆転した位置に像を結ぶが、像の歪曲の相対的な関
係は変わらないので、説明を簡略化するため前述したよ
うに結像するものとする。

【００１６】前記半球面１４−２上の像を垂直に押し潰
した２次元空間の平面が魚眼レンズ撮像画面１４−３で
あり、該魚眼レンズ撮像画面１４−３の円の内側の画像
が魚眼レンズで撮影された画像である。外側の四角の枠
は、ＣＣＤ撮像装置から得られる全体の撮像画面の外枠
である。

【００１７】魚眼レンズの画像は歪曲しているため、魚
眼レンズカメラで撮影した像を表示するには、その一部
を切り出して正常な画像に補正する必要がある。そこ
で、表示するフレームに対応するフレームを仮想の画像
フレーム１４−１として想定する。

【００１８】魚眼レンズが向いているｚ軸の方向が、鉛
直線の上方の方向であるとし、前記視線方向ベクトルＤ
ＯＶがｚ軸と成す頂点角（天頂角）をφ、水平面の基準
軸（ｘ軸又はｙ軸）と成す方位角をθとする。又、焦点
距離（魚眼レンズ画像の円の半径）をｆ、画像フレーム
の回転角をω、拡大率をｍとする。拡大率ｍは、魚眼レ
ンズの位置（原点Ｏ）から画像フレーム１４−１内の原
点までの距離をＤとすると、ｍ＝Ｄ／ｆである。

【００１９】魚眼レンズ画像平面１４−３内の点（ｘ，
ｙ）と画像フレーム１４−１内の点（ｐ，ｑ）との対応
関係は、式（１）の関係式によって表わされる。

【００２０】

【数１】

【００２１】式（１）の対応関係を利用して魚眼レンズ
画像の歪みを補正し、元の画像を復元してモニタテレビ
画面に表示させることができる。即ち、先ず前記画像フ
レームを１４−１を定位させ、モニタ表示する領域（切
り出し領域）を定める。この定位操作は、画像フレーム
の頂点角φ、方位角θ、回転角φ及び拡大率ｍを外部か
ら画像補正処理回路１３−４に入力することによって設
定する。

【００２２】画像補正処理回路１３−４は、画像フレー
ム１４−１内の点（ｐ，ｑ）に対応する魚眼レンズ画像
平面１４−３内の点（ｘ，ｙ）を、前記式（１）の関係
式により求め、その点の色情報信号を映像メモリ（フレ
ームメモリ）１３−３から読み出して、画像フレーム１
４−１内の点（ｐ，ｑ）に対応するアドレスを有する出
力用の映像メモリ（図示省略）に該色情報信号を書き込
む。

【００２３】この映像メモリ間の色情報転送操作を、画
像フレーム１４−１内の全ての点（ｐ，ｑ）について行
い、出力用の映像メモリから順次、色情報信号を補正映
像（ＮＴＳＣ）出力回路１３−５に送出することによ
り、補正映像（ＮＴＳＣ）出力回路１３−５は、原点Ｏ
から仮想の画像フレーム１４−１の枠を通して見た実物
象の画像を、歪みなく表示することができる。（米国特
許第５，１８５，６６７号明細書等参照）

【００２４】

【発明が解決しようとする課題】前述の魚眼レンズ画像
の歪み補正は、対象とする魚眼レンズが正射影の像とな
るときの補正であり、実際の魚眼レンズとして多く使用
されている等面積写像の像となる魚眼レンズのときは、
座標変換の演算が更に複雑なものとなる。

【００２５】魚眼レンズ画像の歪み補正の演算は、表示
する画像フレームの座標点毎に座標変換の演算を行うた
め膨大な演算量となり、又、画像の解像度を上げると更
に演算量が増大することになるので、座標変換の演算量
は極力少ないものとしなけらばならない。

【００２６】又、前述の魚眼レンズ画像の歪み補正は、
魚眼レンズカメラを机等に設置して天井方向に真上に向
ける、或いは、天井に取り付けて床方向に真下に向ける
等、鉛直方向に向けて置くことを前提としているため、
魚眼レンズカメラの設置アングルを自由に選定して設置
することができない。一方、魚眼レンズカメラを壁に横
向きに取り付けたり、天井の隅に斜めの角度で取り付け
たりした方が、監視領域等の撮像領域を魚眼レンズ画像
のより有効な撮像エリアに取り込むことができる場合が
多い。

【００２７】更に、魚眼レンズカメラを使って撮影され
る映像は、実際には個々の魚眼レンズカメラの特性によ
り変動する。この魚眼レンズカメラカメラの特性の相違
は、魚眼レンズ画像の歪み補正による画像変換を行って
も、変換後の画像に画像歪みとして残って表示されてし
まう。

【００２８】従来は魚眼レンズカメラの映像パラメータ
である、ＣＣＤ撮像装置の撮像画面における魚眼レンズ
画像の左右方向のずれの補正や、ＣＣＤの撮像装置の構
造等に起因する縦横比の補正については、手動で調整し
なければならなかった。

【００２９】又、魚眼レンズカメラを使った追尾型の遠
隔監視システムにおいて、人物像等の検出とモニタ表示
領域（切り出し領域）の決定を自動的に行なわなければ
ならないが、単に魚眼レンズ画像のフレーム間差分によ
りモニタ表示領域（切り出し領域）を決定する方法で
は、動く物が１つのみである場合の検出が限界であり、
領域内に複数の物が移動する場合にその各々を追尾する
映像を作成することは不可能であった。

【００３０】又、魚眼レンズ画像は、その中心部と周辺
部とで明るさや歪曲の大きさが違っているため、追尾の
際の切り出し領域が変化するに伴い、モニタ表示される
画像についても不自然になり易いという欠点があった。

【００３１】本発明は、魚眼レンズカメラを任意の設置
アングルで取り付けた場合の魚眼レンズ画像の歪み補正
の画像変形処理を高速化するとともに、又、魚眼レンズ
カメラで撮影した人物像等の移動する像を精度よく検出
して抽出し、モニタテレビ等に高精度で表示させること
を目的とする。

【００３２】

【課題を解決するための手段】本発明の魚眼レンズカメ
ラ装置は、（１）魚眼レンズカメラにより撮影された画
像の歪みを補正する画像補正処理部を備えた魚眼レンズ
カメラ装置において、前記画像補正処理部は、魚眼レン
ズカメラの設置角を補正する座標変換と、魚眼レンズ画
像の歪みを補正する座標変換とを組み合わせて演算する
構成を有するものである。又、（２）前記画像補正処理
部は、等面積写像の魚眼レンズ画像の歪みを補正する座
標変換を演算する構成を有するものである。

【００３３】又、（３）魚眼レンズカメラにより撮影さ
れた画像の歪みを補正する画像補正処理部を備えた魚眼
レンズカメラ装置において、魚眼レンズ画像の歪み補正
のための、表示画像の中心位置、魚眼レンズ画像の縦横
比、魚眼レンズ画像エリアの半径等のパラメータを、撮
像された魚眼レンズ画像自体から抽出し、該パラメータ
により魚眼レンズ画像の歪み捕正を行う構成を備えたも
のである。

【００３４】又、（４）魚眼レンズカメラにより撮影し
た画像から、移動する像を抽する魚眼レンズカメラ装置
において、魚眼レンズ画像内の相互の位置関係を利用し
て領域を統合し、像の変化した領域を抽出する構成を備
えたものである。

【００３５】又、（５）魚眼レンズカメラにより撮影し
た画像から、移動する像を抽出する魚眼レンズカメラ装
置において、魚眼レンズ画像をパノラマ状の横長映像に
変換し、その映像のフレーム間差分の信号又はフレーム
間差分とフレーム内差分とを結合した信号を抽出し、該
信号により領域抽出を行い、複数の移動像の領域抽出を
同時に行う構成を備えたものである。

【００３６】又、（６）魚眼レンズカメラにより撮影し
た画像から、移動する像を抽出する魚眼レンズカメラ装
置において、フレーム間差分の信号又はフレーム間差分
とフレーム内差分とを結合した信号等の特徴量の抽出演
算を魚眼レンズ画像の映像をもとに行い、特徴検出領域
に対する領域抽出処理において、極座標と直交座標との
アドレス変換を行って魚眼レンズ画像の映像内を走査
し、円形の魚眼レンズ画像の映像の中から複数の移動像
の領域抽出を行う構成を備えたものである。

【００３７】又、（７）魚眼レンズカメラにより撮影し
た画像から、移動する像を抽出する魚眼レンズカメラ装
置において、魚眼レンズ画像の映像の中から得られる複
数の人物像の領域について、各人物像の形状を正規化
し、各像の形状内の色情報を記億し、個々の像の色情報
をもとに移動する複数の人物像を個別に追尾する映像を
作成する構成を備えたものである。

【００３８】又、（８）魚眼レンズカメラにより撮影し
た画像から、移動する像を抽出する魚眼レンズカメラ装
置において、魚眼レンズ画像の中心部分と周辺部分との
歪みの大きさに応じて異なる重み係数を乗じた特徴量を
もとに領域抽出を行う構成を備えたものである。又、
（９）前記重み係数として、更に魚眼レンズ画像の映像
内の領域に対応して異なる値を与え、非抽出領域をマス
クして領域抽出を行う構成を備えたものである。

【００３９】又、本発明の魚眼レンズカメラの画像歪み
補正方法は、（１０）魚眼レンズカメラにより撮影され
た画像の歪みの補正において、魚眼レンズカメラの設置
角を補正する座標変換と、魚眼レンズ画像の歪みを補正
する座標変換とを組み合わせて演算する過程を含むもの
である。又、（１１）前記魚眼レンズカメラの画像歪み
補正において、等面積写像の魚眼レンズ画像の歪みを補
正する座標変換を演算する過程を含むものである。

【００４０】又、（１２）魚眼レンズカメラにより撮影
された画像の歪みの補正において、魚眼レンズ画像の歪
み補正のための、表示画像の中心位置、魚眼レンズ画像
の縦横比、魚眼レンズ画像エリアの半径等のパラメータ
を、撮像された魚眼レンズ画像自体から抽出し、該パラ
メータにより魚眼レンズ画像の歪み捕正を行う過程を含
むものである。

【００４１】又、本発明の魚眼レンズカメラの画像抽出
方法は、（１３）魚眼レンズカメラにより撮影した画像
から、移動する像を抽出する画像抽出方法において、魚
眼レンズ画像内の相互の位置関係を利用して領域を統合
し、像の変化した領域を抽出する過程を含むものであ
る。

【００４２】又、（１４）魚眼レンズカメラにより撮影
した画像から、移動する像を抽出する画像抽出方法にお
いて、魚眼レンズ画像をパノラマ状の横長映像に変換
し、その映像のフレーム間差分の信号又はフレーム間差
分とフレーム内差分とを結合した信号を抽出し、該信号
により領域抽出を行い、複数の移動像の領域抽出を同時
に行う過程を含むものである。

【００４３】又、（１５）魚眼レンズカメラにより撮影
した画像から、移動する像を抽出する画像抽出方法にお
いて、フレーム間差分の信号又はフレーム間差分とフレ
ーム内差分とを結合した信号等の特徴量の抽出演算を魚
眼レンズ画像の映像をもとに行い、特徴検出領域に対す
る領域抽出処理において、極座標と直交座標とのアドレ
ス変換を行って魚眼レンズ画像の映像内を走査し、円形
の魚眼レンズ画像の映像の中から複数の移動像の領域抽
出を行う過程を含むものである。

【００４４】又、（１６）魚眼レンズカメラにより撮影
した画像から、移動する像を抽出する画像抽出方法にお
いて、魚眼レンズ画像の映像の中から得られる複数の人
物像の領域について、各人物像の形状を正規化し、各像
の形状内の色情報を記億し、個々の像の色情報をもとに
移動する複数の人物像を個別に追尾する映像を作成する
過程を含むものである。

【００４５】又、（１７）魚眼レンズカメラにより撮影
した画像から、移動する像を抽出する画像抽出方法にお
いて、魚眼レンズ画像の中心部分と周辺部分との歪みの
大きさに応じて異なる重み係数を乗じた特徴量をもとに
領域抽出を行う過程を含むものである。

【００４６】又、（１８）前記重み係数として、更に魚
眼レンズ画像の映像内の領域に対応して異なる値を与
え、非抽出領域をマスクして領域抽出を行う過程を含む
ものである。

【００４７】

【発明の実施の形態】図１は、本発明の実施の形態の魚
眼レンズカメラ装置の構成を示す図である。同図におい
て、１−１は魚眼レンズ、１−２はＣＣＤ撮像装置、１
−３は映像メモリ（フレームメモリ）、１−４は画像補
正処理部、１−４１はカメラ設置角補正部、１−４２は
パン／チルト角回転補正部、１−４３はズーム補正部、
１−４４は映像補間作成部、１−５は補正映像（ＮＴＳ
Ｃ）出力回路である。

【００４８】魚眼レンズ１−１により広範囲の像を光学
的に取り込み、ＣＣＤ撮像装置１−２により光学的な像
から電気的な画像信号を生成し、映像メモリ（フレーム
メモリ）１−３はその画像信号をフレーム単位に記憶す
る。

【００４９】画像補正処理部１−４は、魚眼レンズによ
る歪んだ画像を補正して元の像に戻す処理を行い、補正
映像（ＮＴＳＣ）出力回路１−５は、補正された像の信
号を通常のＮＴＳＣ方式等のテレビ映像信号として出力
する。又、この信号を符号化装置により符号化して送信
し、遠隔地で映像表示することもできる。

【００５０】画像補正処理部１−４のカメラ設置角補正
部１−４１は、任意の方向を向いた魚眼レンズカメラ装
置の設置角を補正し、パン／チルト角回転補正部１−４
２は、映像表示エリア（切り取りエリア）のパン・チル
ト角の回転量を制御し、ズーム補正部１−４３は、表示
映像の拡大率を制御し、映像補間作成部１−４４は、座
標点の間の補間を行い、映像表示エリア（切り取りエリ
ア）の画像について歪みを補正して元の像に戻す処理を
行う。

【００５１】図２は本発明の実施の形態の魚眼レンズカ
メラで撮影される映像の説明図である。図の（ａ）は、
魚眼レンズカメラが直上を向いた場合の魚眼レンズ画像
ｉｍｇを示し、図の（ｂ）は、表示対象の魚眼レンズ画
像ｉｍｇを、画像フレームｆｒｍの平面へ写像する様子
を模式的に表し、図の（ｃ）はｙ軸方向から図の（ｂ）
の球を見通した図を示している。魚眼レンズ画像ｉｍｇ
が正射影方式の画像の場合、図の（ａ）の魚眼レンズ画
像ｉｍｇはｚ軸方向から図２の（ｂ）の球を見通した画
像となる。

【００５２】魚眼レンズカメラをｘ軸，ｙ軸，ｚ軸の原
点に上方に（ｚ軸方向に）向けて置いたとすると、魚眼
レンズカメラで映される映像は、先ず、原点の周りの距
離Ｒの半径の球の内側に、映像が貼り付けられた状態を
想定して解析することができる。

【００５３】このように物体までの距離は無視されて、
魚眼レンズカメラによる画像ｉｍｇは、特定の方角
（ｒ，θ，φ）から入射された像が、２次元のｘ−ｙ平
面で、式（２）の写像変換式により表される点（ｘ″，
ｙ″）へ写像されるものとみなすことができる。式
（２）においてθは方位角、φは頂点角（天頂角）であ
り、Ｌは頂点角φで入射した像が魚眼レンズ画像上に結
像したときの、原点Ｏからの距離（像高）である。

【００５４】

【数２】

【００５５】即ち、魚眼レンズ画像ｉｍｇは、３次元極
座標（ｒ，θ，φ）の点から、二次元の（ｘ″，ｙ″）
への写像と考えることができる。距離（像高）Ｌは魚眼
レンズの射影方式によって異なり、前述の正射影方式の
場合は式（３−１）、等面積射影の場合は式（３−
２）、等距離射影の場合は式（３−３）のように表わさ
れる。なお、ｆはレンズの焦点距離である。

【００５６】

【数３】

【００５７】図２の（ｂ）において、歪み補正して表示
する画像フレームｆｒｍの方位角をθ、頂点角をφとす
ると、表示画像をパン／チルト操作させることは、この
仮想の画像フレームｆｒｍを、３次元座標内で回転した
場合に、そこに投影される映像を表示することに一致す
る。

【００５８】即ち、画像フレームｆｒｍ内のラスター上
に並んだ各点の座標に対応する、魚眼レンズ画像ｉｍｇ
の点の座標を特定し、その座標の点の色情報信号を、表
示フレームｆｒｍの座標の点の色情報信号に対応させる
ことにより、魚眼レンズ画像ｉｍｇを元の画像に変換す
る補正処理を行うことができる。カメラが、直上または
直下を向いている場合には、画像フレームｆｒｍのパン
の操作は方位角θを所定量変化させ、又、チルトの操作
は頂点角φを所定量変化させて、対応する魚眼レンズ画
像ｉｍｇ内の２次元座標の色情報信号のマッピングを行
えばよい。

【００５９】図３は、横方向に向けた魚眼レンズカメラ
の撮影画像の説明図である。同図は魚眼レンズカメラを
ｘ軸方向に向けた場合を示している。この場合魚眼レン
ズ画像ｉｍｇは垂直面に形成されることとなる。

【００６０】この場合でも前述したような歪み補正によ
り、歪みのない画像を表示させることはできるが、その
まま、直上の映像として魚眼レンズ画像の変換を行う
と、パン／チルトの操作を行ったとき、回転方向が実際
の映像のパン／チルトの方向と違った方向に回転するこ
とになる。即ち、直上の映像の場合、ｚ軸との角度φを
変化させてチルトの操作を行ったが、横方向に魚眼レン
ズカメラが向いている場合には角度φを変化させてもチ
ルトの操作にはならない。

【００６１】そのため、先ず、歪み補正を行う前に、魚
眼レンズカメラの向き、即ち、カメラ設置角について補
正を行う。この補正処理は前記カメラ設置角補正部１−
４１により行う。

【００６２】図４は横方向を向けたた魚眼レンズカメラ
画像の補正の説明図である。図３に示したように魚眼レ
ンズカメラが横軸のｘ軸の方向を向いている場合、座標
系をｙ軸の回りに予め９０度回転させ、魚眼レンズ画像
面ｉｍｇがｚ軸と垂直に交わる位置に回転移動させるこ
とにより、パン／チルトの操作に対して、前述した直上
の画像の場合と同等の処理を行うことが可能になる。即
ち、前記角度φを変化させることによりチルト操作を行
うことができ、又、前記角度θを変化させることにより
パン操作を行うことができる。

【００６３】図４に示した例は、魚眼レンズカメラが横
方向を向いている場合であったが、魚眼レンズカメラを
上、下、横、斜めの任意の方向に向いているとき、鉛直
方向をｚ′軸とする座標系を（ｘ′，ｙ′，ｚ′）と
し、画像フレームｆｒｍ上の点の座標を（ｘ′，ｙ′，
ｚ′）で表し、この画像フレームｆｒｍ上の点（ｘ′，
ｙ′，ｚ′）と魚眼レンズカメラの向き（ｚ軸方向）と
の角度をφ、画像フレームｆｒｍ上の点（ｘ′，ｙ′，
ｚ′）とｘ軸との角度をθ、画像フレームｆｒｍ上の点
（ｘ′，ｙ′，ｚ′）とｙ軸との角度をρとすると、式
（４）の回転行列の式を用いて回転座標変換を行うこと
により、パン／チルトの操作方向を実際の映像と一致さ
せることができる。ここで、式（４）の回転行列の式の
行列Ｒｘ，Ｒｚ，Ｒｙはそれぞれｘ軸、ｙ軸、ｚ軸の回
りに回転を与える行列であり、行列Ｒｘはカメラアング
ルに対応した回転を与える。

【００６４】

【数４】

【００６５】同一の方位角及びカメラアングル（頂点
角）について、前記式（４）の回転行列の式を一度計算
することにより、回転後の座標が（ｘ，ｙ，ｚ）として
得られる。次にこの点の２次元座標上の魚眼レンズ画像
の点（ｘ″，ｙ″）への写像を計算するにより、画像フ
レーム上の点と魚眼レンズ画像の点と対応させることが
できる。魚眼レンズカメラの設置角についての計算量の
増加は、一度だけ回転行列を生成することによる増加で
あり僅かである。

【００６６】３次元座標の点（ｘ，ｙ，ｚ）から２次元
座標上の魚眼レンズ画像の点Ｐ（ｘ″，ｙ″）への写像
は、先ず、点（ｘ，ｙ，ｚ）を極座標表現の点（ｒ，
θ，φ）に変換する。この変換は、式（５）の極座標変
換の式により変換することができる。

【００６７】

【数５】

【００６８】更に、等面積写像方式の魚眼レンズの場合
は、式（３−２）の式で表されるため、この式を式
（２）に代入することにより、式（６）の式が得られ
る。ｘ² ＋ｙ² ＋ｚ² ＝ｘ′² ＋ｙ′² ＋ｚ′² ＝ｒ²
であること及び式（５）更に三角関数の基本式を利用し
て、式（６）の式は式（７）の式のように簡素化され
る。

【００６９】

【数６】

【００７０】

【数７】

【００７１】このようにして、魚眼レンズカメラ設置角
の補正は、先ず、画像変形処理を行う前に、画像フレー
ムｆｒｍの矩形領域の座標（ｘ′，ｙ′，ｚ′）を、回
転座標変換により（ｘ，ｙ，ｚ）の座標に変換し、その
後、該（ｘ，ｙ，ｚ）座標の点を、魚眼レンズ画像の座
標上の点（ｘ″，ｙ″）へ変換する。なお、ｚ軸の成分
はズーム率に相当するため、基本的には（ｘ，ｙ）から
（ｘ″，ｙ″）への２次元２次元変換となる。式（７）
の式に関する座標の変換式は、座標軸回転に伴う座標変
換と魚眼レンズの特性に伴った写像変換とを一度に計算
することにより、計算回数の削減が図られている。

【００７２】ここで、前記の演算により求めた魚眼レン
ズ画像の座標上の点（ｘ″，ｙ″）を（ｕ，ｖ）と記
す。この座標点（ｕ，ｖ）を滑らかに補間するために、
以下のような補間処理を行う。映像信号の３色の色情報
信号成分をＹ，Ｕ，Ｖとし、点（ｕ，ｖ）のそれらの成
分を、Ｙｕ，ｖ、Ｕｕ，ｖ、Ｖｕ，ｖとし、又、点
（ｕ，ｖ）の座標成分ｕ，ｖの小数点を切り捨てて整数
化した値をｕ０、ｖ０とし、座標（ｕ０，ｖ０）の点に
おける色情報信号Ｙの値をＹｕ０ｖ０とする。同様に、
色情報信号Ｕ，ＶについてもＵｕ０ｖ０，Ｖｕ０ｖ０に
より同様な内容を表す。更に、座標成分ｕ，ｖをそれぞ
れ小数点を切り上げした値をｕ１，ｖ１とし、それに対
応した座標の色情報信号Ｙ，Ｕ，Ｖの値を、それぞれＹ
ｕ１ｖ１，Ｕｕ１ｖ１，Ｖｕ１ｖ１と表す。そして、座
標成分ｕ，ｖの小数部をそれぞれｄｕ，ｄｖとする。

【００７３】入力映像信号を式（８）の一次変換の式に
より補間してマッピングすることにより、滑らかな画像
を表示させることができる。

【００７４】

【数８】

【００７５】次に、魚眼レンズカメラの撮像エリアか
ら、魚眼レンズカメラのパラメータである画像中心位置
（Ｘｂａｓｅ，Ｙｂａｓｅ）及び焦点距離に対応した値
ｆを自動抽出する手法について説明する。前記のパラメ
ータは魚眼レンズカメラ画像の歪み補正において使用さ
れるパラメータである。

【００７６】図５は魚眼レンズカメラのパラメータ抽出
の説明図である。同図において５−１は魚眼レンズカメ
ラの撮像エリア、５−２は魚眼レンズ画像エリアであ
る。円像魚眼レンズを用いたカメラの撮像エリア５−１
内には、円形の魚眼レンズ画像エリア５−２が観測され
る。この魚眼レンズ画像エリア５−２はカメラ撮像エリ
ア５−１内の所定の位置に観測され、又、魚眼レンズ画
像エリア５−２の外周は光が到達しないため非常に輝度
の低いエリアとなる。

【００７７】そこで、カメラ撮像エリア５−１の全体に
ついて、水平及び垂直のそれぞれの方向に関してヒスト
グラムを抽出し、魚眼レンズ画像エリアの位置及びその
半径を測定することができる。

【００７８】水平方向のヒストグラムＨｈ（ｎ）と垂直
方向のヒストグラムＨｖ（ｎ）とに関して適度な閥値Ｔ
ｈ，Ｔｖを設定し、撮像エリア画面の両端からヒストグ
ラムを測定して最初に閾値Ｔｖ，Ｔｈを越す点を探索す
る。

【００７９】その点を水平、垂直それぞれに対して２点
ずつ抽出し、水平ヒストグラムから魚眼レンズ画像エリ
アの左端Ｘｌｅｆｔ及び右端Ｘｒｉｇｈｔの点を検出す
ることができる。又、垂直ヒストグラムから魚眼レンズ
画像エリアの上端Ｙｕｐ及び下端Ｙｄｏｗｎの点を検出
することができる。

【００８０】上記魚眼レンズ画像エリアの左端Ｘｌｅｆ
ｔ、右端Ｘｒｉｇｈｔ、Ｙｕｐ及び下端Ｙｄｏｗｎのそ
れぞれの位置から、水平方向の半径Ｒｈと垂直方向の半
径Ｒｖとを式（９）により抽出することができる。又、
画像中心位置（Ｘｂａｓｅ，Ｙｂａｓｅ）は式（１０）
により抽出することができる。

【００８１】

【数９】

【００８２】

【数１０】

【００８３】魚眼レンズ画像エリア５−２は基本的には
円形であり、水平方向の半径Ｒｈと垂直方向の半径Ｒｖ
とは等しく、Ｒｈ＝Ｒｖとなるが、ＣＣＤ等の撮像素子
の縦横方向のアスぺクト比の違いにより、水平方向の半
径Ｒｈと垂直方向の半径Ｒｖとに相違が生じる場合があ
る。

【００８４】魚眼レンズ画像エリア５−２の半径Ｒは、
本来、魚眼レンズの焦点距離ｆによって定まる値で、例
えば、正射影方式の魚眼レンズでは式（１１−１）で表
され、等面積射影方式の魚眼レンズでは式（１１−２）
で表される。

【００８５】

【数１１】

【００８６】従って、前述の魚眼レンズ画像の座標上の
点（ｘ″，ｙ″）を求める式（６）の式の計算におい
て、水平方向の半径Ｒｈと垂直方向の半径Ｒｖとに相違
が生じる場合、焦点距離ｆの値として同一の値を使用す
ることなく、方向毎に水平方向の半径Ｒｈ又は垂直方向
の半径Ｒｖの値を、式（１１−１）又は式（１１−２）
のＲの値に代入することによりｆの値を修正し、アスぺ
クト比の違いを考慮した魚眼レンズの歪み補正を行うこ
とができる。

【００８７】図６は本発明の第１の実施の形態の移動像
検出装置の構成を示す図である。同図において、６−１
は魚眼レンズカメラ、６−２，６−３はフレームバッフ
ァ、６−４，６−５はフレーム間差分計算部、６−６は
領域重みテーブル、６−７は領域抽出部である。

【００８８】魚眼レンズカメラ６−１により撮影した画
像信号を第１のフレームバッファ６−２に格納し、第１
のフレームバッファ６−２に格納した画像信号を第２の
フレームバッファ６−３に格納する。第２のフレームバ
ッファ６−３には１フレーム前の画像信号が格納され
る。

【００８９】そして、第１のフレームバッファ６−２か
ら出力される画像信号と第２のフレームバッファ６−３
から出力される画像信号とにより、そのフレーム間差分
を第１のフレーム間差分計算部６−４により計算し、移
動像に対して大きな値となるフレーム間差分信号を第２
のフレーム間差分計算部６−５に出力する。

【００９０】第２のフレーム間差分計算部６−５は、第
１のフレーム間差分計算部６−４から出力されるフレー
ム間差分信号と、領域重みテーブル６−６から出力され
る領域に対応した値とにより、フレーム間差分信号に領
域に応じた重み付けを行い、その信号を領域抽出部６−
７に出力する。

【００９１】領域抽出部６−７は、領域に応じた重み付
けを持つフレーム間差分信号により、移動像の検出を行
って検出フラグ信号を出力するとともにその検出領域を
抽出し、領域情報を出力する。

【００９２】図７は本発明の第２の実施の形態の移動像
検出装置の構成を示す図である。同図において、７−１
は魚眼レンズカメラ、７−２，７−３はフレームバッフ
ァ、７−４はフレーム間差分計算部、７−５はフレーム
内差分計算部、７−６は動輪郭抽出部、７−７は領域重
みテーブル、７−８は領域抽出判定部、７−９は領域抽
出部である。

【００９３】魚眼レンズカメラ７−１により撮影した画
像信号を第１のフレームバッファ７−２に格納し、第１
のフレームバッファ７−２に格納した画像信号を第２の
フレームバッファ７−３に格納する。第２のフレームバ
ッファ７−３には１フレーム前の画像信号が格納され
る。

【００９４】そして、第１のフレームバッファ７−２か
ら出力される画像信号と第２のフレームバッファ７−３
から出力される画像信号とにより、そのフレーム間差分
をフレーム間差分計算部７−４により計算し、移動像に
対して大きな値となるフレーム間差分信号を動輪郭抽出
部７−６に出力する。

【００９５】フレーム内差分計算部７−５は、第１のフ
レームバッファ７−２から出力される画像信号のフレー
ム内の差分を計算し、像の輪郭部で大きな値となるフレ
ーム内差分信号を動輪郭抽出部７−６に出力する。

【００９６】動輪郭抽出部７−６は、フレーム間差分計
算部７−４からのフレーム間差分信号と、フレーム内差
分計算部７−５からのフレーム内差分信号とを線形結合
させ、輪郭部が強調された移動像の信号を生成し、その
信号を領域抽出判定部７−８に出力する。

【００９７】領域抽出判定部７−８は、動輪郭抽出部７
−６から出力される輪郭部が強調された移動像の信号
と、領域重みテーブル７−７から出力される領域に対応
した値とにより、移動像の信号に領域に応じた重み付け
を行い、その信号を領域抽出部７−９に出力する。

【００９８】領域抽出部７−９は、領域に応じた重み付
けを持つ移動像の信号により、移動像の検出を行って検
出フラグ信号を出力するとともにその検出領域を抽出
し、領域情報を出力する。

【００９９】図６及び図７に示した本発明の実施の形態
の移動像検出装置は、移動像の領域抽出において領域に
対応して映像信号に重み付けを行い、魚眼レンズによる
画像の歪みによる検出パラメータ信号への影響を低減し
ている。

【０１００】即ち、通常、ｎフレームの映像信号Ｐ
_n （ｘ，ｙ）とｎ−１フレームの映像信号Ｐ_n-1 （ｘ，
ｙ）とのフレーム間差分Ｄ_n （ｘ，ｙ）を計算する場合
に、式（１２）により計算を行うが、本発明は、魚眼レ
ンズ画像の領域に対応した特徴抽出の重み係数Ｗ（ｘ，
ｙ）を格納した領域重みテーブル６−６，７−７を備
え、この重み係数Ｗ（ｘ，ｙ）を前記フレーム間差分Ｄ
_n （ｘ，ｙ）に乗じた値Ｇ_n（ｘ，ｙ）を用いて移動像
の抽出処理を行う。 Ｄ_n （ｘ，ｙ）＝Ｐ_n （ｘ，ｙ）−Ｐ_n-1 （ｘ，ｙ） ・・・（１２）

【０１０１】即ち、図６に示した第１のフレーム間差分
計算部６−４から出力されるフレーム間差分信号、又は
図７に示した動輪郭抽出部７−６から出力されるフレー
ム間差分及びフレーム内差分を線形結合させた信号を、
移動像抽出のための特徴量Ｄ _n （ｘ，ｙ）をとすると、
式（１３）により、この特徴量Ｄ_n （ｘ，ｙ）と魚眼レ
ンズ画像の領域に応じた重み係数Ｗ（ｘ，ｙ）との積Ｇ
_n （ｘ，ｙ）を移動像抽出のための特徴量として用い
る。 Ｇ_n （ｘ，ｙ）＝Ｗ（ｘ，ｙ）・Ｄ_n （ｘ，ｙ） ・・・（１３）

【０１０２】このように魚眼レンズ画像の領域に応じて
重み付けられた特徴量Ｇｎ（ｘ，ｙ）を用いて抽出を行
う処理により、魚眼レンズ画像エリア内の領域毎に対応
した等価的なマスク及び強調操作を行うことができる。

【０１０３】図８は魚眼レンズ画像の領域に応じた重み
係数Ｗ（ｘ，ｙ）の説明図である。同図は魚眼レンズ画
像の領域内を３つの領域８−１，８−２，８−３に分割
し、を領域８−１には重み係数０、領域８−２には重み
係数１、領域８−３には重み係数２を割り当てた例を示
している。

【０１０４】魚眼レンズ画像の周辺部分では中心部分に
比べて同一面積の領域が小さな領域に表示される。その
ため周辺部における移動像検出の精度が低下するが、周
辺部の重み係数Ｗ（ｘ，ｙ）を大きな値としておくこと
により、周辺部における精度低下を補償することができ
る。更に、通常、周辺部分に人物像が存在する確率が高
いので、周辺部分を大きな値をとし、中心部分で０に近
い値としておく。

【０１０５】又、魚眼レンズカメラでは撮像エリアが広
大であるため、照明等が直接撮像エリア内に入ることが
多い。このような場合でも極端な輝度の違いを、等価的
な領域マスクにより補償して移動像の誤検出を低減させ
ることができる。

【０１０６】領域域抽出部６−７，７−９は、領域対応
の重み付けがされた特徴量を、予め設定された閾値（Ｔ
ｈｍ）と比較することにより、人物像等の像検出判定処
理を行う。この像検出判定処理を伴う領域抽出処理は魚
眼レンズ画像の全画面について行う。

【０１０７】図９は領域抽出された人物等の像の例を示
す図である。図の（ａ）は魚眼レンズ画像エリアを示
し、魚眼レンズカメラが机上等に上を向けて置かれ、そ
のカメラの周りに４人の人物が着席している場合の魚眼
レンズ画像の例を示している。９−１乃至９−４は人物
像検出エリア（Ａ）乃至人物像検出エリア（Ｄ）であ
る。図の（ｂ）は魚眼レンズ画像の人物像の形状を示
し、人物を下側から魚眼レンズで撮影した場合には体底
部が長く、頭長部の短い略台形状のような形状となり、
人物像を該形状に正規化することができる。

【０１０８】図の（ａ）に示すような魚眼レンズ画像エ
リアのイメージ上をラスタースキャンし、人物像として
の特徴量の大きい点を検出すると、その点から下方へ略
台形状のような形の像の探索を行い、その領域を切り出
す。

【０１０９】切り出された領域に対して大きさ及び形状
についての照合を行い、人物像の領域であるかどうかの
判定を行う。同様の処理を複数の領域に対して同時に処
理し、複数の人物像が検出されたときは複数の人物像の
同時切り出しを行う。

【０１１０】又、個々の切り出された領域について、図
の（ｂ）に示すような人物の頭頂部、体底部及び体高の
それぞれのパラメータ及びその内側の色データを左右及
び高さ方向にサンプリングすることにより、画像毎の人
物像識別のためのデータべースとすることができる。

【０１１１】抽出された特徴量から人物像等の領域を抽
出する処理に関しては、基本的に通常のカメラ映像での
領域抽出のためのアルゴリズムを使用することができる
が、魚眼レンズ画像が円形に歪曲して配置されているた
め、座標変換を施す必要がある。

【０１１２】座標変換の方法として以下の二つの方式が
ある。第一の方式は、魚眼レンズ画像を、３６０度のパ
ノラマ映像として座標変換された映像へと写像変換を行
う方式である。この方式は円形の魚眼レンズ撮像エリア
を矩形エリアへ変換する。

【０１１３】第二の方式としては、領域抽出を通常のラ
スタースキャンとして走査し、走査時の座標系のみを直
交座標（ｘ，ｙ）から極座標（ｒ，θ）へと変換する方
式である。即ち、ｘ＝ｒｃｏｓθ，ｙ＝ｒｓｉｎθとし
て領域抽出の処理を行う。

【０１１４】第一の方式は、パノラマ映像に展開するた
めの大きなメモリが必要になる欠点があるが、変換後は
通常の画像に対する領城抽出処理をそのまま適用するこ
とができる。第二の方式は領域抽出処理時に常に座標変
換を行いながら処理しなければならないが、使用するメ
モリ量は原画としての魚眼レンズ画像を与えるメモリ量
のみでよくコンパクトなシステムを構築することができ
る。

【０１１５】そして、特徴量を抽出し、上下関係等、既
知の映像の相互関係を利用して領域の統合処理を行う。
例えば、真上を向いた魚眼レンズカメラの場合は、魚眼
レンズ画像の中心を上、周辺を下とした映像の位置関係
を利用して領域を統合し、その領域が背景像から人物像
に変化した領域を抽出する。

【０１１６】人物の侵入等の移動像の追尾処理に関して
は、切り出された略台形状の人物領域内を上下左右に前
もって決められた分割数で等分する格子点を算出し、そ
の格子点での色情報信号を人物像の特徴量として保存す
る。そして、この人物像の特徴量の登録処理と人物像の
切り出し処理とを任意の時間間隔で繰り返し行い、複数
の人物像が魚眼レンズカメラ撮像エリア内に存在する場
合でも、各人物像を個別に追尾することができる。

【０１１７】図１０は本発明の実施の形態の人物像抽出
位置決定の処理のフローチャートである。先ず、魚眼レ
ンズ画像内の人物像等の切り出し処理のコマンドを与え
（１０−１）、フレームについてのループ処理（１０−
２）により、フレーム間差分による又はフレーム間差分
とフレーム内差分とによる人物像等の特徴量を抽出し
（１０−３）、魚眼レンズ画像内の領域に対応した重み
付け処理を行い（１０−４）、魚眼レンズ画面内のラス
ターループ処理を行い（１０−５）、特徴点を検出し
（１０−６）、略台形上のエリアについて魚眼レンズ画
像の座標変換を行って特徴点を抽出の処理を行い（１０
−７）、特徴点があるかどうかを判定し（１０−８）、
特徴点がある場合には、抽出点を消去し（１０−９）、
（ｘ，ｙ）座標の領域の最大値と最小値とを記憶し（１
０−１０）、最終ラインかどうかを判定し（１０−１
１）、最終ラインであれば終了する（１０−１２）。

【０１１８】前記特徴点があるかどうかの判定（１０−
８）において、特徴点がない場合、複数ライン連続して
特徴点がないかどうかを判定し（１０−１３）、連続し
て特徴点がない場合は領域数をカウントして人物領域を
記憶し（１０−１４）、前述の最終ラインかどうかの判
定し（１０−１１）に移る。

【０１１９】前記複数ライン連続して特徴点がないかど
うかの判定（１０−１３）において、複数ライン連続し
ていなければ前記特徴点を検出する処理（１０−６）に
戻る。又、前記最終ラインかどうかの判定（１０−１
１）において、最終ラインでないときは前記特徴点を検
出する処理（１０−６）に戻る。

【０１２０】人物像の存在領域を抽出すると、その領域
から魚眼レンズ画像を補正して表示するためのパラメー
タを求めることができる。図１１は本発明の実施の形態
の領域切り出し及び表示画面作成を行う構成の説明図で
ある。同図において、１１−１は領域抽出部、１１−２
は領域切り出し部、１１−３は魚眼レンズ画像パラメー
タ決定部、１１−４は表示画面作成部である。

【０１２１】領域抽出部１１−１は、前述の図６及び図
７に示した領域抽出部６−７，７−９と同一のものであ
り、特徴量により人物像等を検出し、その領域を抽出す
ると、検出フラグ及び領域情報の信号を出力する。検出
フラグの信号は警報又は通知用の信号として使用するこ
とができる。領域情報の信号は領域切り出し部１１−２
に出力される。

【０１２２】領域切り出し部１１−２は、領域情報の信
号に基づいて領域を切り出し、魚眼レンズ画像パラメー
タ決定部１１−３は、切り出された全領域について魚眼
レンズ画像を補正して表示するためのパラメータを決定
し、そのパラメータの信号を画面作成部１１−４に送出
する。画面作成部１１−４は、パラメータの信号に基づ
いて表示画面を生成し、映像信号を出力する。

【０１２３】ここで、簡単化のために、真上を向いたカ
メラアングルの場合の魚眼レンズ画像の前記パラメータ
の決定について説明する。魚眼レンズ画像の補正のため
のパラメータとしては、画像フレームの方位角θ、頂点
角φ及び拡大率ｍが必要である。

【０１２４】魚眼レンズ画像の領域から、例えば、図９
の（ａ）の人物像検出エリア（Ｂ）９−２を抽出して表
示するとする。この場合、人物像検出エリア（Ｂ）９−
２の中心位置に関する角度α及び魚眼レンズ画像の中心
Ｏから人物像検出エリア（Ｂ）９−２を挟む角度（立体
角）βを計算する。又、魚眼レンズ画像の中心Ｏから領
域最上部までの距離Ｌを計算する。

【０１２５】前記角度α及び距離Ｌにより、人物像検出
エリア（Ｂ）９−２を表示する画像フレームの方位角θ
と頂点角φの値を求めることができる。即ち、方位角θ
は前記角度αに等しく、θ＝α である。又、頂点角φ
は魚眼レンズ画像の半径Ｒと前記距離Ｌとの比から式
（３−１）乃至式（３−３）を用いて求めることができ
る。又、ズ−ム率であるｍについては、領域の左端及び
右端と魚眼レンズ画像の中心Ｏとの立体角βにより求め
ることができる。これらのパラメータを元に、個々の人
物の表示領域を切り出し、魚眼レンズ画像の歪曲を補正
してモニタテレビ等に映像信号を送出する。

【０１２６】図１２は１台の魚眼レンズカメラで撮影し
た画像を合成した映像を示す図である。前述したように
魚眼レンズ画像から人物像をその特徴量により抽出し、
抽出した画像に歪み補正の処理を行い、１台のモニタテ
レビ画面を４分割して前記抽出した人物像を表示させた
様子を模式的に示している。

【０１２７】

【発明の効果】以上説明したように、本発明によれば、
約１８０度の広い画角を持つ魚眼レンズカメラにより映
像を取り込むので、１台のカメラにより広範囲のエリア
を監視することができ、設置カメラ台数を削減すること
ができるとともに、その画像を精度よく高速に補正して
表示することができる。

【０１２８】又、魚眼レンズカメラの設置角を補正する
座標変換と、魚眼レンズ画像の歪みを補正する座標変換
とを組み合わせて演算することにより、設置角度によら
ず画像補正の演算処理を高速に行うことができる。又、
魚眼レンズ画像の歪み補正のためのパラメータを、撮像
された魚眼レンズ画像自体から抽出して魚眼レンズ画像
の歪み捕正を行うことにより、設置時の調整や経年変化
に対して、安定した歪み補正を行うことができる。

【０１２９】魚眼レンズ画像の中心部分と周辺部分との
歪みの大きさに応じて異なる重み係数を乗じた特徴量を
もとに領域抽出を行うことにより、歪みの大きい周辺部
分での人物像等の検出を安定して行うことができ、更
に、重み係数として、更に魚眼レンズ画像の映像内の領
域に対応して異なる値を与えて非抽出領域をマスクする
ことにより、人物像等の抽出処理における不安定要素を
予め取り除くことができる。

【０１３０】又、魚眼レンズカメラにより取り込んだ広
範囲の画像の中から、任意の部分を切り出してモニタテ
レビ画面に表示するなど映像作成の自由度が大きく、遠
隔監視システムやテレビ会議システムのカメラに適用す
ることにより、利便性の向上を図ることができる。

【０１３１】更に、魚眼レンズカメラで映し取った映像
の中から、人物の侵入等の動きを伴う像を検出し、その
像のモニタ表示領域（切り出し領域）を自動的に決定し
て滑らかな動きで追尾する電子追尾型の遠隔監視システ
ム又はテレビ会議システムを構成することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態の魚眼レンズカメラ装置の
構成を示す図である。

【図２】本発明の実施の形態の魚眼レンズカメラで撮影
される映像の説明図である。

【図３】横方向に向けた魚眼レンズカメラの撮影画像の
説明図である。

【図４】横方向を向けた魚眼レンズカメラ画像の補正の
説明図である。

【図５】魚眼レンズカメラのパラメータ抽出の説明図で
ある。

【図６】本発明の第１の実施の形態の移動像検出装置の
構成を示す図である。

【図７】本発明の第２の実施の形態の移動像検出装置の
構成を示す図である。

【図８】魚眼レンズ画像の領域に応じた重み係数Ｗ
（ｘ，ｙ）の説明図である。

【図９】領域抽出された人物等の像の例を示す図であ
る。

【図１０】本発明の実施の形態の人物像抽出位置決定の
処理のフローチャートである。

【図１１】本発明の実施の形態の領域切り出し及び表示
画面作成を行う構成の説明図である。

【図１２】１台の魚眼レンズカメラで撮影した画像を合
成した映像を示す図である。

【図１３】従来の魚眼レンズカメラ装置の構成及びそれ
を用いた遠隔監視システム及びテレビ会議システムを示
す図である。

【図１４】従来の魚眼レンズカメラ画像の歪み補正の説
明図である。

【符号の説明】

１−１ 魚眼レンズ １−２ ＣＣＤ撮像装置 １−３ 映像メモリ（フレームメモリ） １−４ 画像補正処理部 １−４１ カメラ設置角補正部 １−４２ パン／チルト角回転補正部 １−４３ ズーム補正部 １−４４ 映像補間作成部 １−５ 補正映像（ＮＴＳＣ）出力回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｈ０４Ｎ 5/781 ５２０Ａ

Claims (18)

【特許請求の範囲】
1. 【請求項１】 魚眼レンズカメラにより撮影された画像
   の歪みを補正する画像補正処理部を備えた魚眼レンズカ
   メラ装置において、 前記画像補正処理部は、魚眼レンズカメラの設置角を補
   正する座標変換と、魚眼レンズ画像の歪みを補正する座
   標変換とを組み合わせて演算する構成を有することを特
   徴とする魚眼レンズカメラ装置。
2. 【請求項２】 前記画像補正処理部は、等面積写像の魚
   眼レンズ画像の歪みを補正する座標変換を演算する構成
   を有することを特徴とする請求項１記載の魚眼レンズカ
   メラ装置。
3. 【請求項３】 魚眼レンズカメラにより撮影された画像
   の歪みを補正する画像補正処理部を備えた魚眼レンズカ
   メラ装置において、 魚眼レンズ画像の歪み補正のための、表示画像の中心位
   置、魚眼レンズ画像の縦横比、魚眼レンズ画像エリアの
   半径等のパラメータを、撮像された魚眼レンズ画像自体
   から抽出し、該パラメータにより魚眼レンズ画像の歪み
   捕正を行う構成を備えたことを特徴とする魚眼レンズカ
   メラ装置。
4. 【請求項４】 魚眼レンズカメラにより撮影した画像か
   ら、移動する像を抽する魚眼レンズカメラ装置におい
   て、 魚眼レンズ画像内の相互の位置関係を利用して領域を統
   合し、像の変化した領域を抽出する構成を備えたことを
   特徴とする魚眼レンズカメラ装置。
5. 【請求項５】 魚眼レンズカメラにより撮影した画像か
   ら、移動する像を抽出する魚眼レンズカメラ装置におい
   て、 魚眼レンズ画像をパノラマ状の横長映像に変換し、その
   映像のフレーム間差分の信号又はフレーム間差分とフレ
   ーム内差分とを結合した信号を抽出し、該信号により領
   域抽出を行い、複数の移動像の領域抽出を同時に行う構
   成を備えたことを特徴とする魚眼レンズカメラ装置。
6. 【請求項６】 魚眼レンズカメラにより撮影した画像か
   ら、移動する像を抽出する魚眼レンズカメラ装置におい
   て、 フレーム間差分の信号又はフレーム間差分とフレーム内
   差分とを結合した信号等の特徴量の抽出演算を魚眼レン
   ズ画像の映像をもとに行い、特徴検出領域に対する領域
   抽出処理において、極座標と直交座標とのアドレス変換
   を行って魚眼レンズ画像の映像内を走査し、円形の魚眼
   レンズ画像の映像の中から複数の移動像の領域抽出を行
   う構成を備えたことを特徴とする魚眼レンズカメラ装
   置。
7. 【請求項７】 魚眼レンズカメラにより撮影した画像か
   ら、移動する像を抽出する魚眼レンズカメラ装置におい
   て、 魚眼レンズ画像の映像の中から得られる複数の人物像の
   領域について、各人物像の形状を正規化し、各像の形状
   内の色情報を記億し、個々の像の色情報をもとに移動す
   る複数の人物像を個別に追尾する映像を作成する構成を
   備えたことを特徴とする魚眼レンズカメラ装置。
8. 【請求項８】 魚眼レンズカメラにより撮影した画像か
   ら、移動する像を抽出する魚眼レンズカメラ装置におい
   て、 魚眼レンズ画像の中心部分と周辺部分との歪みの大きさ
   に応じて異なる重み係数を乗じた特徴量をもとに領域抽
   出を行う構成を備えたことを特徴とする魚眼レンズカメ
   ラ装置。
9. 【請求項９】 前記重み係数として、更に魚眼レンズ画
   像の映像内の領域に対応して異なる値を与え、非抽出領
   域をマスクして領域抽出を行う構成を備えたことを特徴
   とする請求項８記載の魚眼レンズカメラ装置。
10. 【請求項１０】 魚眼レンズカメラにより撮影された画
    像の歪みの補正において、 魚眼レンズカメラの設置角を補正する座標変換と、魚眼
    レンズ画像の歪みを補正する座標変換とを組み合わせて
    演算する過程を含むことを特徴とする魚眼レンズカメラ
    の画像歪み補正方法。
11. 【請求項１１】 前記魚眼レンズカメラの画像歪み補正
    において、等面積写像の魚眼レンズ画像の歪みを補正す
    る座標変換を演算する過程を含むことを特徴とする請求
    項１０記載の魚眼レンズカメラの画像歪み補正方法。
12. 【請求項１２】 魚眼レンズカメラにより撮影された画
    像の歪みの補正において、 魚眼レンズ画像の歪み補正のための、表示画像の中心位
    置、魚眼レンズ画像の縦横比、魚眼レンズ画像エリアの
    半径等のパラメータを、撮像された魚眼レンズ画像自体
    から抽出し、該パラメータにより魚眼レンズ画像の歪み
    捕正を行う過程を含むことを特徴とする魚眼レンズカメ
    ラの画像歪み補正方法。
13. 【請求項１３】 魚眼レンズカメラにより撮影した画像
    から、移動する像を抽出する画像抽出方法において、 魚眼レンズ画像内の相互の位置関係を利用して領域を統
    合し、像の変化した領域を抽出する過程を含むことを特
    徴とする魚眼レンズカメラの画像抽出方法。
14. 【請求項１４】 魚眼レンズカメラにより撮影した画像
    から、移動する像を抽出する画像抽出方法において、 魚眼レンズ画像をパノラマ状の横長映像に変換し、その
    映像のフレーム間差分の信号又はフレーム間差分とフレ
    ーム内差分とを結合した信号を抽出し、該信号により領
    域抽出を行い、複数の移動像の領域抽出を同時に行う過
    程を含むことを特徴とする魚眼レンズカメラの画像抽出
    方法。
15. 【請求項１５】 魚眼レンズカメラにより撮影した画像
    から、移動する像を抽出する画像抽出方法において、 フレーム間差分の信号又はフレーム間差分とフレーム内
    差分とを結合した信号等の特徴量の抽出演算を魚眼レン
    ズ画像の映像をもとに行い、特徴検出領域に対する領域
    抽出処理において、極座標と直交座標とのアドレス変換
    を行って魚眼レンズ画像の映像内を走査し、円形の魚眼
    レンズ画像の映像の中から複数の移動像の領域抽出を行
    う過程を含むことを特徴とする魚眼レンズカメラの画像
    抽出方法。
16. 【請求項１６】 魚眼レンズカメラにより撮影した画像
    から、移動する像を抽出する画像抽出方法において、 魚眼レンズ画像の映像の中から得られる複数の人物像の
    領域について、各人物像の形状を正規化し、各像の形状
    内の色情報を記億し、個々の像の色情報をもとに移動す
    る複数の人物像を個別に追尾する映像を作成する過程を
    含むことを特徴とする魚眼レンズカメラの画像抽出方
    法。
17. 【請求項１７】 魚眼レンズカメラにより撮影した画像
    から、移動する像を抽出する画像抽出方法において、 魚眼レンズ画像の中心部分と周辺部分との歪みの大きさ
    に応じて異なる重み係数を乗じた特徴量をもとに領域抽
    出を行う過程を含むことを特徴とする魚眼レンズカメラ
    の画像抽出方法。
18. 【請求項１８】 前記重み係数として、更に魚眼レンズ
    画像の映像内の領域に対応して異なる値を与え、非抽出
    領域をマスクして領域抽出を行う過程を含むことを特徴
    とする請求項１７記載の魚眼レンズカメラの画像抽出方
    法。