JPH118845A - パノラマ画像生成装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 パンチルタカメラを中心とした仮想球面の隣
合う画像を連結することにより、その連結部分に歪みが
生じることのないパノラマ画像を作成する。 【解決手段】 レンズの光軸に直交する平面となる１０
枚の画像がカメラ部１１によって撮影される。撮影され
た１０枚の画像は、仮想球面上につなぎ目に抜けがない
ように展開される。その後、緯度、経度で正規化され、
重複画像、不要画像の削除がなされる連結処理が施され
る。その結果、１０枚の画像が連結され、パノラマ画像
が生成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、高解像度、高品
質のパノラマ画像を安価な装置により、且つ容易に得る
ことができるパノラマ画像生成装置および方法に関す
る。

【０００２】

【従来の技術】従来、画像同士を連結する場合、連結し
たい画像の相関する位置（画素）を見つけだし、単純に
重ね合わせたり、１枚の画像に対して、連結する画像を
拡大／縮小したり、変形した後に重ね合わせるといった
手法がとられていた。

【０００３】

【発明が解決しようとする課題】しかしながら、画像の
拡大／縮小、変形は、画像の解像度の劣化など、画質の
低下をもたらす問題があった。また、複数の画像を単に
連結する場合には、歪みが発生する問題があった。例え
ば、図２１Ａに示すような、１０枚の画像同士を連結す
る場合、撮像装置から得られた１０枚の画像は、レンズ
の光軸に垂直な平面群を写像している。このため、単に
１０枚の画像を連結する手法によると、奥行きの方向に
ある被写体が連結する画像間に映し出されている場合、
図２１Ｂに示すように、連結部分に歪みが生じる問題が
あった。

【０００４】従って、この発明の目的は、高画質であっ
て、連結部分に歪みが生じることのないパノラマ画像を
生成することができるパノラマ画像生成装置および方法
を提供することにある。

【０００５】

【課題を解決するための手段】請求項１に記載の発明
は、映像を撮影する撮像手段と、撮像手段の撮像する方
角を制御する駆動手段と、撮像手段によって得られた複
数の画像を、駆動手段の回転中心から見た仮想球面に対
し写像することによって歪みなく連結する画像連結手段
とからなることを特徴とするパノラマ画像生成装置であ
る。

【０００６】請求項１１に記載の発明は、映像を撮影す
るステップと、映像を撮像する方角を制御するステップ
と、撮影することによって得られた複数の画像を、撮影
する位置の回転中心から見た仮想球面に対し写像するこ
とによって歪みなく連結するステップとからなることを
特徴とするパノラマ画像生成方法である。

【０００７】撮像手段（例えば、ビデオカメラ）では、
ズームレンズを通して撮像された被写体の映像を電気信
号に変換し、映像信号として出力すると共に、画像連結
手段より指令されるズームレンズ位置座標に対してレン
ズを駆動する。また、現在のズームレンズの位置座標
を、画像連結手段に供給する。

【０００８】駆動手段（例えば、パンチルタ）は、撮像
手段を回転方向に駆動して撮像装置の撮像する方向を変
更することが可能で、画像連結手段より指令される、位
置座標に対して駆動手段を移動すると共に、画像連結手
段に対して現在の駆動手段の位置座標を供給する。画像
連結手段は、撮像手段より現在のレンズのズーム位置を
取得し、その倍率を計算すると共に、駆動手段より現在
のパンチルタのパン、チルト方向の位置データを取得
し、ホームポジション（例えば駆動手段の可動範囲の中
心位置）を緯度、経度の原点とするパンチルタの角度座
標を計算する。そして、パノラマ画像作成の指示が、装
置内部（例えば、周期的な作成指令）、または装置外部
（例えば、操作者の指令）より発生した場合、駆動手段
に対して、パノラマ画像を作成するための映像を取得す
るために位置座標を指示し、目標位置到達後、映像を取
得し、得られた映像の仮想球面への写像、水平、垂直方
向への画像の圧縮、先に取り込まれた画像への連結処理
などを行い、連結した画像を表示手段に出力する。そし
て、このような手順で画像の連結を順次行っていき、最
終的に得られたパノラマ画像を表示手段に出力すると共
に、画像の保存を行う。なお、駆動手段への目標位置を
設定する際、画像連結手段は、バックラッシュによる影
響で駆動手段の絶対位置が狂わぬよう、同一方向から目
標位置に進入するように駆動手段に指示を与える。

【０００９】

【発明の実施の形態】以下、この発明のいくつかの実施
形態について図面を参照して説明する。図１−１はこの
発明の一実施形態の概略的な構成を示す。モニタ２およ
びマウス８が接続されているコンピュータ１は、遠隔地
に接続されてたパンチルタカメラ３の駆動を制御する。
すなわち、コンピュータ１によって、撮像装置のコント
ローラが構成される。

【００１０】パンチルタカメラ３は、パンチルタ部とカ
メラ部が一体的に構成されたものを意味する。この図１
では、一例としてパンチルタカメラ３は、４に示すよう
な環境にある実際の景色に設置される。この環境の実際
の景色４に設置されたパンチルタカメラ３によって撮影
された画面（以下、撮影画面と称する）を５に示す。こ
の撮影画面は、実際に撮影されている画面であって、ズ
ームレンズを望遠側に操作すると画角が小さくなり、ワ
イド側に操作すると画角が大きくなる。

【００１１】パンチルタカメラ３によって取り込まれる
撮影画面５の映像は、ビデオケーブルなどを経て、コン
ピュータ１に供給され、コンピュータ１に供給された映
像データがデコードされ、モニタ２の操作領域６Ａに表
示される。また、モニタ２では、パノラマ画像表示領域
６Ｂを有しており、パノラマ生成ボタン６Ｅにより、パ
ノラマ画面生成指示がなされると、パンチルタ、ズーム
レンズを所定の位置に駆動し、各々の場所で画像を取得
するとともに、取得した複数枚の画像を、パンチルタカ
メラの可動軸を原点とした仮想球面に対して画像を連結
し、仮想球面の緯度、経度方向に対して正規化を行った
平面画像を表示する。パノラマ操作領域６Ｂは、マウス
８に位置に矢印形のカーソル７が描画されている、映像
又はパノラマ画像中の任意の一点または任意の領域６Ｃ
をマウス８で指示することによって、パンチルタカメラ
３を操作するようになされている。さらに、パノラマ操
作領域６Ｂには、点線で示すように、パンチルタリミッ
タ表示６Ｄが表示される。パンチルタリッタ表示６Ｄ
は、パンチルタカメラ３の可動範囲の限界を示す。

【００１２】図２に示すように、モニタ２の画面上に
は、操作領域６Ａとパノラマ操作領域６Ｂが表示され
る。マウス８を操作することによって、カーソルが移動
し、パノラマ操作領域６Ｂの任意の一点または、任意の
領域６Ｃから生成される任意の一点を指示することがで
きる。指示された任意の一点が操作領域６Ａの中央にな
るように、パンチルタを駆動させ、撮像画面５が移動す
る。すなわち、予め表示させたい結果を入力し、その入
力に応じて選択された被写体が、操作領域６Ａの中央に
なるように表示される。

【００１３】図３は、この発明の実施の一形態を適用し
た全システムのブロック図である。このシステムは、カ
メラ部１１、パンチルタ部１２、ＴＶモニタ１３、コン
ピュータ１、マウス８等のポインティングデバイス１
４、モニタ２から構成される。また、上述したパンチル
タカメラ３は、カメラ部１１とパンチルタ部１２からな
り、一例としてカメラ部１１がパンチルタ部１２の上に
設置される。カメラ部１１は、レンズブロック部１５、
ズームレンズ１６、ズーム部１７、ズームレンズ１６用
のモータ１８、固体撮像素子１９、信号分離／自動利得
調整回路（ＳＨ／ＡＧＣ）２０、Ａ／Ｄ変換器２１、信
号処理回路２２から構成され、全体としてビデオカメラ
を示す。

【００１４】パンチルタ部１２は、モードコントローラ
２３、カメラコントローラ２４、パンチルタコントロー
ラ２５、パン用のモータ２６、チルト用のモータ２７、
パンチルタ２８から構成される。コンピュータ１は、制
御部３１、ビデオキャプチャーボードからなるビデオキ
ャプチャー部２９、記憶部３０から構成される。

【００１５】被写体から到達する撮像光は、レンズブロ
ック部１５のレンズ群、絞りを通って固体撮像素子１９
に結像される。固体撮像素子１９の一例として、ＣＣＤ
（Charge Coupled Device ）がある。結像された撮像光
は、視野映像を映像信号に変換した後、信号分離／自動
利得調整回路２０に供給される。信号分離／自動利得調
整回路２０では、映像出力信号がサンプルホールドされ
るとともに、オートアイリス（ＡＥ）の制御信号によっ
て所定のゲインを持つように利得制御される。それによ
って、得られる映像出力信号は、Ａ／Ｄ変換器２１を介
して、信号処理回路２２へ供給される。信号処理回路２
２では、入力された信号が輝度（Ｙ）、色（Ｃ）、ビデ
オ信号といった各信号に変換され、映像信号としてＴＶ
モニタ１３を介してコンピュータ１のビデオキャプチャ
ー部２９へ供給される。

【００１６】また、カメラ部１１のレンズブロック部１
５は、ズームレンズ１６を駆動することによって撮像す
る画角を変化させることが可能とされている。このレン
ズブロック部１５は、パンチルタ部１２のカメラコント
ローラ２４の駆動命令により、例えばステッピングモー
タからなるモータ１８を回転させ、ズームレンズ１６を
駆動させる。このカメラコントローラ２４は、カメラ部
１１のレンズ制御（例えば、フォーカス、ズーム等）、
露出制御（例えば、絞り、ゲイン、電子シャッタースピ
ード等）、白バランス制御、画質制御等を通常行うコン
トローラであるとともに、モードコントローラ２３との
インタフェースも行っている。ズームレンズ１６の制御
に関連するインタフェース制御として、モードコントロ
ーラ２３より送られてくるズームレンズ１６の駆動命令
に対して、ズームレンズ１６が命令された位置に駆動さ
れるように制御信号をモータドライバに出力するととも
に、現在のズームレンズ１６の位置情報が常時モードコ
ントローラ２３に通信される。

【００１７】また、カメラ部１１は、パン、チルトとい
った２軸の回転方向の自由度を持つ装置であるパンチル
タ部１２の上に設置される。そのパンチルタ部１２は、
パンチルタコントローラ２５の駆動命令により、パン用
のモータ２６およびチルト用のモータ２７を回転させ、
パンチルタ２８の雲台が各々駆動される。これらモータ
２６および２７の、一例としてステッピングモータがあ
る。このパンチルタコントローラ２５は、モードコント
ローラ２３より送られてくるパン、チルト各々の方向の
駆動命令に対して、パン、チルト各々の雲台が、命令さ
れた位置に駆動されるように制御信号をモータドライバ
に出力するとともに、現在のパンチルタ２８のパン、チ
ルト各々の雲台の位置情報が常時モードコントローラ２
３に通信される。

【００１８】モードコントローラ２３は、カメラ部１
１、パンチルタ部１２の内部状態、およびパンチルタカ
メラ３の外部からのインタフェース情報に従い、後述す
るようにシステム全体を制御する。モードコントローラ
２３は、例えばコンピュータ１とＲＳ−２３２Ｃにより
接続され、コンピュータ１からの駆動命令に対し、パン
チルタ２８、レンズブロック部１５のズームレンズ１６
を駆動するようにパンチルタコントローラ２５、カメラ
コントローラ２４に命令を振り分けるとともに、パンチ
ルタコントローラ２５、カメラコントローラ２４より送
られてくる現在の位置情報をコンピュータ１に送信す
る。

【００１９】この実施の一形態では、パンチルタカメラ
３の映出する映像を選択するためにコンピュータ１を使
用している。そして、モニタ２の画面上の操作領域６Ａ
およびパノラマ操作領域６Ｂに表示されるグラフィック
表示と、ポインティングデバイス１４（マウス８）の指
示位置、クリック等の操作とから得られる情報を処理す
ることでモードコントローラ２３への通信データを決定
している。また、カメラ部１１の映像をモニタ２に表示
するため、ビデオキャプチャー部２９が使用される。こ
のビデオキャプチャー部２９は、カメラ部１１より入力
されてくる映像信号を任意の品質でモニタ２に表示する
ことが可能であるとともに、キャプチャー信号により任
意の画像フォーマット（例えば、ビットマップ形式、Ｊ
ＰＥＧ形式の静止画、ＪＰＥＧ形式の動画等）に、任意
の品質でキャプチャーし、コンピュータ１の記憶部３０
（例えば、ハードディスク）上にストレージすることが
できる。

【００２０】ここで、図４を用いて、この実施の一形態
におけるパノラマ画像を作成するための概略的な説明を
行う。まず、パンチルタカメラ３が設定されている周囲
の環境を球面とする。これを仮想球面と称する。この図
４では、仮想球面上の隣合う２枚の画像を連結して１枚
のパノラマ画像を作成する。まず、パノラマ画像を作成
するためには、図４Ａに示すように、中心に位置するパ
ンチルタカメラ３は、仮想球面上の隣合う２枚の画像を
撮影する。パンチルタカメラ３は、レンズの光軸に直交
する平面を撮像する。図４Ｄは、仮想球面上の隣合う２
つの画像をパンチルタカメラ３によって撮像することに
より、光軸に直交する平面にこの２つの画像が写像され
た状態を示す。隣合う２つの画像を単純に連結した場
合、つなぎ目の重複や、歪みが生じる部分がある。

【００２１】このつなぎ目の重複や、歪みをなくすため
に、図４Ｂに示すように、仮想球面に隣合う２つの画像
をそれぞれ写像する。図４Ｅは、光軸に直交する平面で
ある２つの撮像画像を仮想球面に写像した状態を示す。
このように、光軸に直交する平面、すなわち撮像画像を
仮想球面へ写像し、写像した画像を連結し、重複画像、
不要画像の削除を行う画像の連結処理が行われる。そし
て、仮想球面に写像された像を緯度、経度で正規化する
ことによって、図４Ｃおよび図４Ｄに示すように、パノ
ラマ画像を生成することができる。

【００２２】次に、この発明によるパノラマ画像を作成
する一方法を説明する。この一方法では、図５に示すよ
うに、１０枚の画像を連結して１枚のパノラマ画像とす
る。まず、図５Ａに示すように仮想球面の中心に配置さ
れたパンチルタカメラ３（図示しない）から１０枚の画
像が撮影される。このとき、図に示すように画像領域毎
に丸で示す位置にパンチルタカメラ３のレンズの光軸を
合わせることによって、パンチルタカメラ３は１〜１０
の各画像を取得することができる。パンチルタカメラ３
によって撮像された画像は、図５Ｂに示すように、レン
ズの光軸に直交する平面上の画像である。取得された画
像は、それぞれ仮想球面上に展開された後、図５Ｃに示
すように、緯度、経度で正規化される。仮想球面上に展
開された１０枚の画像は、連結処理の際につなぎ目に抜
けがないように、お互いの画像が重複するような位置で
画像の取得が行われる。そして、重複画像、不要画像の
削除がなされた後、１０枚の画像が連結され、図５Ｄに
示すように、パノラマ画像が生成される。

【００２３】次に、この発明によるパノラマ画像を作成
する他の方法を図６を参照して説明する。緯度、経度で
正規化されるパノラマ画像の画素、すなわち各座標
（ｓ，ｔ）には、パンチルタカメラ３で取得した画像の
どの画素が割り当てられるかが算出される。図５の方法
のように、パンチルタカメラ３で取得した画像の画素を
パノラマ画像の画素に対応させた場合、対応する画素の
ないパノラマ画像の画素が生じることがあり、パノラマ
画像の全ての画素に取得した画像の画素を対応させるた
めである。このように、座標毎に算出された画素によっ
てパノラマ画像が実現される。その処理の手順として、
まずパノラマ画像の座標（ｓ，ｔ）（図６Ａ）に対応す
る仮想球面上の角度座標（α，β）（図６Ｂ）を式
（１）を用いて算出する。

【００２４】 （α，β）＝（ａ（ｓ），ｂ（ｔ）） （１） この式（１）の詳細は後述する図７において説明する。

【００２５】この座標（ｓ，ｔ）および画像を取得した
パンチルタ２８の角度座標（θ，φ）と、撮像装置のワ
イド端を１倍とした撮像倍率γとを用いて、図６Ｃに示
すように、取得した画像上の座標データ（ξ，η）を式
（２）を用いて算出する。

【００２６】 （ξ，η）＝（f(α，β，θ，φ，γ），g(α，β，θ，φ，γ)) （２） この式（２）の詳細は後述する図８において説明する。

【００２７】以上の式を用いて、パノラマ画像の各画素
と、取得した画像とを対応付けることで連結画像、すな
わちパノラマ画像を生成している。

【００２８】ここで、上述したパノラマ画像の座標
（ｓ，ｔ）を仮想球面上の角度座標（α，β）に変換す
る方法を図７を用いて説明する。まず、図７Ａに示す、
PragMinは、パンチルタ２８のホームポジションを０（r
ag)とした時の左端の角度データであり、PragMax は、
パンチルタ２８のホームポジションを０（rag)とした時
の右端の角度データである。また、Ｎｙ₂ は、パノラマ
操作領域６Ｂの水平方向の座標であり、−Ｎｙ₂ ／２
は、パノラマ操作領域６Ｂの左端の座標データであり、
Ｎｙ₂ ／２は、パノラマ操作領域６Ｂの右端の座標デー
タである。

【００２９】そして、座標データｓからパン角度αを求
めるために、 (PragMax−α）：(PragMax−PragMin)＝ (Ny₂ /2−
ｓ）：Ny₂ となり、これよりパン角度αは、 α＝PragMax −(PragMax−PragMin)× (Ny₂ /2−ｓ）／
Ny₂ となる。

【００３０】また、図７Ｂに示す、TragMin は、パンチ
ルタ２８のホームポジションを０（rag)とした時の上端
の角度データであり、TragMax は、パンチルタ２８のホ
ームポジションを０（rag)とした時の下端の角度データ
である。また、Ｎｚ₂ は、パノラマ操作領域６Ｂの垂直
方向の座標であり、−Ｎｚ₂ ／２は、パノラマ操作領域
６Ｂの上端の座標データであり、Ｎｚ₂ ／２は、パノラ
マ操作領域６Ｂの下端の座標データである。

【００３１】そして、座標データｔからチルト角度βを
求めるために、 (TragMax−β）：(TragMax−TragMin)＝ (Nz₂ /2−
ｔ）：Nz₂ となり、これよりチルト角度βは、 β＝TragMax −(TragMax−TragMin)× (Nz₂ /2−ｔ）／
Nz₂ となる。

【００３２】図８を参照して平面球面変換の処理を説明
する。図８Ａに示すように、ホームポジション（緯度、
経度の原点）を向いたカメラ映像上の点（ξ，η）の空
間上の座標は、次のように表せる。

【００３３】

【数１】

【００３４】このとき、 ｋ₁ ＝tan(λ／２γ）／（Ｎｙ／２） ｋ₂ ＝tan(μ／２γ）／（Ｎｚ／２） となり、（Ｎｙ，Ｎｚ）は、ポインティングデバイス１
４（マウス８）の駆動範囲（ｙ方向，ｚ方向）であり、
（λ，μ）はワイド端での水平、垂直画角であり、γは
ワイド端を１倍とする現在のズーム相対倍率（倍率情
報）である。

【００３５】また、図８Ｂに示すように、一般的に３次
元の回転行列は、次式のように示すことが知られてい
る。

【００３６】

【数２】

【００３７】ホームポジションから角度情報（θ，φ）
だけパン、チルトしたカメラ画像上の一点（ξ，η）
と、ホームポジションから（α，β）の一点が同じ方向
にあることから、次の関係が成り立つ。

【００３８】 Ｒ_z （θ）Ｒ_y （φ）ｐ＝ｌＲ_z （α）Ｒ_y （β）ｅ_x これをｐについて解くと、

【００３９】

【数３】

【００４０】ここで、

【００４１】

【数４】

【００４２】とおくと、次のようにξ，ηが求められ
る。

【００４３】ｌ＝１／ａ ξ＝−ｌｂ／ｋ₁ ＝−ｂ／ｋ_1a η＝ｌｃ／ｋ₂ ＝ｃ／ｋ_2a 以上の式よりホームポジションから（α，β）の角度に
ある座標データより、撮像座標に映し出される（ξ，
η）を求めることができる。

【００４４】ξ＝(-sin(α−θ)cosβ)/(k₁ (cos( α−
θ)cosφ cosβ＋ sinφ sinβ)) η＝(-cos(α−θ)sinφ cosβ＋ cosφ sinβ)/(k₂ (c
os( α−θ)cosφ cosβ＋ sinφ sinβ)) このようにして、パノラマ画像の座標（ｓ，ｔ）に対応
する仮想球面上の角度座標（α，β）からパンチルタカ
メラ３で取得した画像上の座標データ（ξ，η）を求め
ることによって、パノラマ画像を生成することができ
る。

【００４５】逆に以下の式より撮像座標に映し出される
（ξ，η）より、（α，β）の角度にある座標データを
求めることもできる。

【００４６】まず、ｌ＝｜ｐ｜であるから、 ａ＝１／√（１＋ｋ₁ ² ξ² ＋ｋ₂ ² η² ） ｂ＝−ｋ₁ ξ／√（１＋ｋ₁ ² ξ² ＋ｋ₂ ² η² ） ｃ＝ｋ₂ η／√（１＋ｋ₁ ² ξ² ＋ｋ₂ ² η² ） となる。ただし、√（ ）は、（ ）内の計算結果に対
して平方根の処理を行うものである。

【００４７】また、式（３）より、 ａ＝cos(α−θ)cosφ cosβ＋ sinφ sinβ ｂ＝sin(α−θ)cosβ ｃ＝−cos(α−θ)sinφ cosβ＋ cosφ sinβ となる。

【００４８】以上の式より ａ sinφ＋ｃ sinθ＝ sinβ tan(α−θ) ＝ｂ/(ａ cosφ−ｃ sinθ) であるから、 β＝sin ^-1(sinφ/ √(1＋ｋ₁ ² ξ² ＋ｋ₂ ² η² ）＋
sinθｋ₂ η/ √(1＋ｋ₁ ² ξ² ＋ｋ₂ ² η² ） α＝tan ^-1（−ｋ₁ ξ/( cosφ−ｋ₂ η sinθ))＋θ となる。

【００４９】よって、 （α，β）＝（f(ξ，η，θ，φ，γ），g(ξ，η，θ，φ，γ)) （４） が求めることができる。

【００５０】また、誤差を多少許容するのであれば、以
下のように（α，β）を求めることができる。

【００５１】α＝θ＋（λ／γ）×（ξ／Ｎｙ） β＝φ＋（μ／γ）×（η／Ｎｚ） つまり、式（４）は、 （α，β）＝（f(ξ，θ，γ），g(η，φ，γ)) （５） となり、簡略化することができる。

【００５２】上述した式（４）および式（５）に示され
るパンチルタ２８の角度情報（α，β）を操作領域６Ａ
の位置座標（ξ，η）から算出する処理を図９を用いて
説明する。まず、操作領域６Ａ中の任意の一点を直接指
定する方法の一例を説明する。図９Ａに示すように操作
領域６Ａの中心を（０，０）とした相対座標とし、その
操作領域６Ａ上のマウス８の位置座標（ξ，η）が獲得
される。

【００５３】次に、操作領域６Ａ中の任意の領域から生
成される任意の一点を指定する他の方法の一例を説明す
る。まず、図９Ａに示すように、任意の領域の始点（ｍ
１，ｎ１）が指定された後、任意の領域の終点（ｍ２，
ｎ２）が指定され、それら２点より生成される四角形の
中心座標として、 （ξ，η）＝（（ｍ１，ｎ１）＋（ｍ２，ｎ２））／２ （６） により、任意の一点（ξ，η）が獲得される。

【００５４】この図９Ａは、操作領域６Ａ上のマウス８
（ポインティングデバイス１４）の座標であり、操作領
域６Ａ内のマウス８の可動範囲（ｙ方向、ｚ方向）を
（Ｎｙ₁ ，Ｎｚ₁ ）とする。この任意の一点（マウス
８）の位置座標（ξ，η）と、パンチルタ２８が向いて
いる角度情報（θ，φ）と、ズームレンズ１６のワイド
端を１倍とする現在のズーム相対倍率とする倍率情報
（γ）とを用いて、式（４）または式（５）からパンチ
ルタ２８の角度座標（α，β）が求められる。

【００５５】図９Ｂに示す角度座標（α，β）は、パン
チルタ２８のホームポジションを緯度、経度の原点とし
たとき、ポインティングデバイスで指定された場所を撮
像画面の中心に映し出すためのものである。

【００５６】この図９において、求められる座標は、モ
ニタ２の画面の絶対座標でも良く、操作領域６Ａの中心
を（０，０）とした相対座標でも良い。この座標は、パ
ン方向の座標をξ、ｍ１、ｍ２、θ、αで示し、チルト
方向の座標をη、ｎ１、ｎ２、φ、βで示す。

【００５７】このように、マウス８が操作領域６Ａにあ
る場合、受信データで得られた現在のパンチルタ２８の
角度情報（θ，φ）、ズームの倍率情報（γ）、マウス
８で指定された領域のマウス８の位置情報（ξ，η）を
用いて、指定された操作領域６Ａ上の被写体が、操作領
域６Ａの中心に来るようなパンチルタ２８の角度情報
（α，β）を式（４）または式（５）を用いて算出す
る。こうして得られた、パンチルタ２８の角度座標
（α，β）を図１１に従って、パンチルタ２８の内部位
置情報（PNew，TNew）に変換し、パンチルタ２８の絶対
位置駆動命令と共に送信バッファに格納する。また、後
述するように、同時にデータ送信要求フラグ（FlagSo)
をセットし、タイマイベントでデータが送信されるよう
にする。

【００５８】パノラマ画像が表示されるパノラマ操作領
域６Ｂのマウス８の位置座標（ξ，η）を角度座標
（α，β）へ変換する処理を図１０を用いて説明する。
パノラマ操作領域６Ｂ中の任意の一点を直接指定する方
法は、上述した操作領域６Ａ中の任意の一点を直接指定
する方法と同様の方法で、図１０Ａに示すように、マウ
ス８の位置座標（ξ，η）を得ることができる。

【００５９】次に、パノラマ操作領域６Ｂ中の任意の領
域から生成される任意の一点を指定する他の方法の一例
を説明する。まず、図１０Ａに示すように、任意の領域
の始点（ｍ１，ｎ１）が指定された後、任意の領域の終
点（ｍ２，ｎ２）が指定され、式（６）により、任意の
一点（ξ，η）が獲得される。

【００６０】この図１０Ａは、パノラマ操作領域６Ｂ上
のマウス８（ポインティングデバイス１４）の座標であ
り、パノラマ操作領域６Ｂ内のマウス８の可動範囲（ｙ
方向、ｚ方向）を（Ｎｙ₂ ，Ｎｚ₂ ）とする。この可動
範囲は、パノラマ操作領域６Ｂ内に点線で示すパンチル
タリミッタ表示６Ｄによって制限される。このパンチル
タリミッタ表示６Ｄは、パンチルタカメラ３のレンズの
光軸の可動範囲を示す。すなわち、パンチルタリミッタ
表示６Ｄを超えて指示することはできない。この任意の
一点の位置座標（ξ，η）と、パンチルタ２８が向いて
いる角度情報（θ，φ）と、ズームレンズ１６のワイド
端を１倍とする現在のズーム相対倍率とする倍率情報
（γ）とを用いて、式（７）、式（８）および式（９）
からパノラマ操作領域６Ｂの位置座標（ｘ，ｙ）、画角
情報（ｓ，ｔ）およびパンチルタ２８の角度座標（α，
β）が求められる。

【００６１】 （ｘ，ｙ）＝（ｆ₀ （θ），ｇ₀ （φ）） （７） （ｓ，ｔ）＝（ｆ₁ （γ），ｇ₁ （γ）） （８） （α，β）＝（ｆ（ξ），ｇ（η）） （９） 図１０Ｂに示す位置座標（ｘ，ｙ）は、パンチルタ２８
のホームポジションを緯度、経度の原点としたとき、現
在のパンチルタ２８の向きであり、画角情報（ｓ，ｔ）
は、現在操作領域６Ａに表示されている画角である。こ
の図１０Ｂは、パノラマ操作領域６Ｂ上のズーム、パン
チルタの状態を表示したものである。

【００６２】図１０Ｃに示す角度座標（α，β）は、パ
ンチルタ２８のホームポジションを緯度、経度の原点と
したとき、ポインティングデバイスで指定された場所を
撮像画面の中心に映し出すためのものである。（PragMa
x ，TragMax)〜（PragMin ，TragMin)は、パンチルタの
駆動可能範囲、すなわちパンチルタリミッタ表示６Ｄで
示す範囲である。この図１０Ｃは、パンチルタ可動範囲
上の駆動目標値を表したものである。

【００６３】この図１０において、求められる座標は、
モニタ２の画面の絶対座標でも良く、パノラマ操作領域
６Ｂの中心を（０，０）とした相対座標でも良い。この
座標は、パン方向の座標をξ、ｍ１、ｍ２、ｘ、ｓ、α
で示し、チルト方向の座標をη、ｎ１、ｎ２、ｙ、ｔ、
βで示す。

【００６４】このように、マウス８がパノラマ操作領域
６Ｂにある場合、マウス８で指定された領域のマウス８
の位置情報（ξ，η）を用いて、指定された操作領域６
Ａ上の被写体が、操作領域６Ａの中心に来るようなパン
チルタ２８の角度情報（α，β）を式（９）を用いて算
出する。こうして得られた、パンチルタ２８の角度座標
（α，β）を図１１に従って、パンチルタ２８の内部位
置情報（PNew，TNew）に変換し、パンチルタ２８の絶対
位置駆動命令と共に送信バッファに格納する。また、後
述するように、同時にデータ送信要求フラグ（FlagSo）
をセットし、タイマイベントでデータが送信されるよう
にする。

【００６５】ここで、上述したパンチルタ２８内部の位
置情報（ｐ，ｔ）を角度情報（θ，φ）に変換する方法
並びに角度座標（α，β）をパンチルタ２８内部の位置
情報（PNew,TNew ）に変換する方法を図１１を用いて説
明する。まず、図１１Ａに示す、PragMin は、パンチル
タ２８のホームポジションを０（rag)とした時の左端の
角度データであり、PragMax は、パンチルタ２８のホー
ムポジションを０（rag)とした時の右端の角度データで
ある。また、PdatMin は、パンチルタコントローラ２５
の左端の内部カウントデータであり、PdatMax は、パン
チルタコントローラ２５の右端の内部カウントデータで
ある。

【００６６】そして、パンデータｐからパン角度θを求
めるために、 (PragMax−θ）：(PragMax−PragMin)＝(PdatMax−p)：
(PdatMax−PdatMin) となり、これよりパン角度θは、 θ＝PragMax −(PragMax−PragMin)×(PdatMax−p)／(P
datMax−PdatMin) となる。

【００６７】またこれより、パンデータｐは、 ｐ＝PdatMax −(PragMax−θ）×(PdatMax−PdatMin)／
(PragMax−PragMin) となる。

【００６８】また、パン角度αからパンデータPNewを求
めるために、 (PragMax−α）：(PragMax−PragMin)＝(PdatMax−p-ne
w)：(PdatMax−PdatMin) となり、これよりパンデータPNewは、 PNew＝PragMax −(PragMax−α）×(PdatMax−PdatMin)
／(PragMax−PragMin) となる。

【００６９】また、図１１Ｂに示す、TragMin は、パン
チルタ２８のホームポジションを０（rag)とした時の上
端の角度データであり、TragMax は、パンチルタ２８の
ホームポジションを０（rag)とした時の下端の角度デー
タである。また、TdatMin は、パンチルタコントローラ
２５の上端の内部カウントデータであり、TdatMax は、
パンチルタコントローラ２５の下端の内部カウントデー
タである。

【００７０】そして、チルトデータｔからチルト角度φ
を求めるために、 (TragMax−φ）：(TragMax−TragMin)＝(TdatMax−t)：
(TdatMax−TdatMin) となり、これよりチルト角度φは、 φ＝TragMax −(TragMax−TragMin)×(TdatMax−t)／(T
datMax−TdatMin) となる。

【００７１】またこれより、チルトデータｔは、 ｔ＝TdatMax −(TragMax−φ）×(TdatMax−TdatMin)／
(TragMax−TragMin) となる。

【００７２】また、チルト角度βからチルトデータTNew
を求めるために、 (TragMax−β）：(TragMax−TragMin)＝(TdatMax−TNe
w) ：(TdatMax−TdatMin) となり、これよりチルトデータTNewは、 TNew＝TragMax −(TragMax−β）×(TdatMax−TdatMin)
／(TragMax−ＴｒａｇＭｉｎ） となる。

【００７３】次に、上述したパノラマ操作領域６Ｂ内の
位置座標（ξ，η）をパンチルタ２８の角度座標（α，
β）へ変換する方法並びにパンチルタ２８の角度情報
（θ，φ）をパノラマ操作領域６Ｂ内の位置座標（ｘ，
ｙ）へ変換する方法を図１２を用いて説明する。まず、
図１２Ａに示す、ＰｒａｇＭｉｎ は、パンチルタ２８
のホームポジションを０（rag)とした時の左端の角度デ
ータであり、PragMax は、パンチルタ２８のホームポジ
ションを０（rag)とした時の右端の角度データである。
また、Ｎｙ₂ は、パノラマ操作領域６Ｂの水平方向の座
標であり、−Ｎｙ₂ ／２は、パノラマ操作領域６Ｂの左
端の座標データであり、Ｎｙ₂ ／２は、パノラマ操作領
域６Ｂの右端の座標データである。

【００７４】そして、座標データξからパン角度αを求
めるために、 (PragMax−α）：(PragMax−PragMin)＝ (Ny₂ /2−
ξ）：Ny₂ となり、これよりパン角度αは、 α＝PragMax −(PragMax−PragMin)× (Ny₂ /2−ξ）／
Ny₂ となる。

【００７５】また、パン角度θから座標データｘを求め
るために、 (PragMax−θ）：(PragMax−PragMin)＝ (Ny₂ /2−
ｘ）：Ny₂ となり、これより座標データｘは、 ｘ＝Ny₂ /2−(PragMax−θ）×Ny₂ ／(PragMax−PragMi
n) となる。

【００７６】また、図１２Ｂに示す、TragMin は、パン
チルタ２８のホームポジションを０（rag)とした時の上
端の角度データであり、TragMax は、パンチルタ２８の
ホームポジションを０（rag)とした時の下端の角度デー
タである。また、Ｎｚ₂ は、パノラマ操作領域６Ｂの垂
直方向の座標であり、−Ｎｚ₂ ／２は、パノラマ操作領
域６Ｂの上端の座標データであり、Ｎｚ₂ ／２は、パノ
ラマ操作領域６Ｂの下端の座標データである。

【００７７】そして、座標データηからチルト角度βを
求めるために、 (TragMax−β）：(TragMax−TragMin)＝ (Nz₂ /2−
η）：Nz₂ となり、これよりチルト角度βは、 β＝TragMax −(TragMax−TragMin)× (Nz₂ /2−η）／
Nz₂ となる。

【００７８】また、チルト角度φから座標データｙを求
めるために、 (TragMax−φ）：(TragMax−TragMin)＝ (Nz₂ /2−
ｙ）：Nz₂ となり、これより座標データｙは、 ｙ＝Nz₂ /2−(TragMax−θ）×Nz₂ ／(TragMax−TragMi
n) となる。

【００７９】パンチルタ２８が切り出している画角情報
（ψ，ω）からパノラマ操作領域６Ｂ内の画枠６Ｃの画
角情報（ｓ，ｔ）へ変換する方法を図１３を用いて説明
する。まず、図１３Ａには、現在のパンチルタ２８の画
角情報（ψ，ω）を示す。この画角情報（ψ，ω）は、 （ψ，ω）＝１／γ×（ψ０，ω０） によって求められる。このとき、（ψ０，ω０）はワイ
ド端での水平画角と垂直画角を示し、γはワイド端を１
倍としたときのレンズ倍率を示す。

【００８０】図１３Ｂに示すように、PragMin は、パン
チルタ２８のホームポジションを０（rag)とした時の左
端の角度データであり、PragMax は、パンチルタ２８の
ホームポジションを０（rag)とした時の右端の角度デー
タである。また、Ｎｙ₂ は、パノラマ操作領域６Ｂの水
平方向の座標であり、−Ｎｙ₂ ／２は、パノラマ操作領
域６Ｂの左端の座標データであり、Ｎｙ₂ ／２は、パノ
ラマ操作領域６Ｂの右端の座標データである。

【００８１】そして、水平画角ψから水平画角ｓを求め
るために、 ψ：(PragMax−PragMin)＝ｓ：Ny₂ となり、これより水平画角ｓは、 ｓ＝ψ×Ny₂ ／(PragMax−PragMin) となる。

【００８２】また、図１３Ｃに示す、TragMin は、パン
チルタ２８のホームポジションを０（rag)とした時の下
端の角度データであり、TragMax は、パンチルタ２８の
ホームポジションを０（rag)とした時の上端の角度デー
タである。また、Ｎｚ₂ は、パノラマ操作領域６Ｂの垂
直方向の座標であり、−Ｎｚ₂ ／２は、パノラマ操作領
域６Ｂの下端の座標データであり、Ｎｚ₂ ／２は、パノ
ラマ操作領域６Ｂの上端の座標データである。

【００８３】そして、垂直画角ωから垂直画角ｔを求め
るために、 ω：(TragMax−TragMin)＝ｔ：Nz₂ となり、これより垂直画角ｔは、 ｔ＝ω×Nz₂ ／(TragMax−TragMin) となる。

【００８４】これらより、図１３Ｄに示す画角情報
（ｓ，ｔ）がパノラマ操作領域６Ｂ内に画枠６Ｃとし
て、表示される。

【００８５】次に、上述したズームレンズ１６の位置情
報（ｚ）を倍率情報（γ）に変換する方法を図１４を用
いて説明する。この図１４は、縦軸にレンズ倍率情報を
表し、横軸にズームレンズの内部情報を表す。取得した
ズームレンズ１６の位置情報（ｚ）は、図１４に示す変
換グラフに照らし合わし、コンピュータ１上で倍率情報
（γ）に変換される。一例として、ＲＯＭテーブルまた
は数式によって、位置情報（ｚ）が倍率情報（γ）に変
換される。

【００８６】次に、コンピュータ１内の制御アルゴリズ
ムの一例を図１５を用いて説明する。まず、ステップＳ
１では、プログラムがスタートすると、図２に示すよう
に、モニタ２上に操作領域６Ａ、パノラマ操作領域６
Ｂ、カーソル７、さらにパンチルタリミッタ表示６Ｄに
示すパンチルタリミッタが設定される初期化が行われ
る。パンチルタリミッタの範囲は、固定値でも良いし、
その範囲を変更したいときに自由に変更することができ
るようにしても良い。そして、ステップＳ２では、コン
ピュータ１とモードコントローラ２３とが所定の周期で
通信を行うために、タイマが設定される。これらの初期
設定動作が完了すると、ステップＳ３の各種発生するイ
ベント待ち状態に制御が移り、発生したイベントに対応
してステップＳ３から制御が移る。発生するイベント
は、先に設定したタイマイベント（ステップＳ４）、パ
ノラマ作成要求イベント（ステップＳ５）がある。

【００８７】パノラマ作成要求イベントのアルゴリズム
の詳細について、図１６のフローチャートを用いて説明
する。パノラマ作成要求イベントが発生すると、ステッ
プＳ８では、パノラマ作成要求（FlagPa）がセット（Tr
ue）される。

【００８８】タイマイベントのアルゴリズムの詳細につ
いて、図１７のフローチャートを用いて説明する。この
一例のタイマイベントは、周期的にコンピュータ１とモ
ードコントローラ２３との通信を行うために発生するイ
ベントである。このタイマイベントは、一例として５０
ｍｓｅｃ間隔で発生する。タイマイベントが発生する
と、ステップＳ１１では、通信ポートの設定が完了して
いるか否かが判断される。通信ポートの設定が完了して
いる（済）と判断されると、ステップＳ１２へ制御が移
り、通信ポートの設定が完了していない（未）と判断さ
れると、ステップＳ１８へ制御が移る。ここでは、通信
ポートの設定が完了していない初回のみ、ステップＳ１
８に制御が移り、通信ポートの開設処理が行われる。具
体的には、ステップＳ１８において、コンピュータ１上
のＲＳ−２３２Ｃポートの開設が行われる。

【００８９】それ以降のタイマイベントでは、受信デー
タの確認、解析処理、パンチルタ２８の駆動命令など送
信バッファにたまっているデータの送信処理、またはパ
ンチルタ２８、ズームレンズ１６の状態確認要求のため
の通信データの送信処理が行われる。このアルゴリズム
では、ステップＳ１１からステップＳ１２へ制御が移
り、ステップＳ１２では、受信バッファのデータの有無
が確認され、受信データが存在する場合、ステップＳ１
３に制御が移り、受信データが存在しない場合、ステッ
プＳ１４に制御が移る。ステップＳ１３では、受信バッ
ファに存在する受信データが解析され、モードコントロ
ーラ２３に要求したパンチルタ２８の位置情報（ｐ，
ｔ）や、ズームレンズ１６の位置情報（ｚ）が取得され
る。これらのデータが上述した図１１、図１４の方式に
従い、パンチルタ２８の角度情報（θ，φ）、ズームレ
ンズ１６の倍率情報（γ）に変換される。

【００９０】次に、ステップＳ１４では、データの送信
要求の有無が確認される。データの送信要求が存在する
（FlagSo＝＝True）場合、ステップＳ１９に制御が移
り、ステップＳ１９では、送信バッファに格納されてい
るデータの送信処理がなされた後、送信要求フラグ（Fl
agSo）がリセット（False)される。この送信バッファに
たまったデータの一例として、マウス８で設定されたパ
ンチルタ２８の駆動命令のデータなどがある。そして、
送信要求がない（FlagSo＝＝False)場合、ステップＳ１
５へ制御が移る。ステップＳ１５では、送信要求の内部
カウンタ（ReqCnt）が０が否かが判断され、送信要求の
内部カウンタが０の場合（ReqCnt＝０）、ステップＳ１
６へ制御が移り、送信要求の内部カウンタが０でない場
合（ReqCnt≠０）、ステップＳ２０へ制御が移る。

【００９１】ステップＳ１６では、パンチルタ２８およ
びズームレンズ１６の位置要求命令がモードコントロー
ラ２３に送信される。そして、ステップＳ１７では、送
信要求の内部カウンタ（ReqCnt）がインクリメントされ
る。

【００９２】ステップＳ２０では、パノラマ作成要求が
存在するか否かが判断され、パノラマ作成要求が存在す
る場合（FlagPa＝＝True）、ステップＳ２１へ制御が移
り、パノラマ作成要求が存在しない場合（FlagPa＝＝Fa
lse)、ステップＳ２２へ制御が移る。ステップＳ２１で
は、後述するパノラマ作成処理が実行される。そして、
ステップＳ２２では、送信要求の内部カウンタ（ReqCn
t）が０にされる。

【００９３】次に、上述したパノラマ作成処理のアルゴ
リズムについて図１８のフローチャートを用いて説明す
る。パノラマ作成は、パノラマ作成要求イベントによっ
て設定（FlagPa＝True）される。このパノラマ作成要求
イベントが予め発生すると、上述したようにタイマイベ
ント時、パノラマ作成処理（ステップＳ２１）が実行さ
れる。このフローチャートでは、パノラマ作成処理の手
順をパノラマカウンタ（PanoCnt)に従って行っている。

【００９４】まず、この処理が開始されると、撮像装置
の画角を最広角に設定する処理が行われる。すなわち、
ステップＳ３１において、パノラマカウンタ（PanoCnt)
が１であるか否かが判断され、パノラマカウンタが１で
ある（PanoCnt ＝＝１）と判断された場合、ステップＳ
４３へ制御が移り、パノラマカウンタが１でない（Pano
Cnt ≠１）と判断された場合、ステップＳ３２へ制御が
移る。ステップＳ４３では、ズームをワイド端に移動す
る駆動命令を送信すると共に、パノラマカウンタをイン
クリメントする。これは、より広範囲のパノラマ画像
を、少ない画像取得回数で行うためである。

【００９５】ステップＳ３２では、パノラマカウンタが
２であるか否かが判断され、パノラマカウンタが２であ
る（PanoCnt ＝＝２）と判断された場合、ステップＳ４
４へ制御が移り、パノラマカウンタが２でない（PanoCn
t ≠２）と判断された場合、ステップＳ３３へ制御が移
る。ステップＳ４４では、パンチルタ２８を最初に撮影
するポジション（ＰＯＳ（PanoCnt −２））に移動する
駆動命令を送信すると共に、パノラマカウンタをインク
リメントする。すなわち、ＰＯＳ（PanoCnt −２）で示
すパンチルタ２８の画角を取得する最初の位置（図５の
１で示す位置）に移動する処理を行う。

【００９６】また、パノラマカウンタ（PanoCnt)が３以
降の場合、設定したズーム、パンチルタ位置に撮像装置
が移動したのを確認し、指定位置に到達した場合、画像
のキャプチャを行う。ステップＳ３３では、ズームレン
ズ１６の位置情報（ｚ）の確認が行われ、ズーム位置が
あっている場合、ステップＳ３４へ制御が移り、ズーム
位置があっていない場合、このフローチャートは終了す
る。さらに、ステップＳ３４では、パンチルタ２８の位
置情報（ｐ，ｔ）の確認が行われ、パンチルタ位置があ
っている（＝＝ＰＯＳ（PanoCnt −３））場合、ステッ
プＳ３５へ制御が移り、パンチルタ位置があっていない
（≠ＰＯＳ（PanoCnt −３））場合、このフローチャー
トは終了する。そして、ステップＳ３５では、現在のパ
ンチルタ位置の画像が取得される。取得された画像は、
ビットマップの画像ファイルとしてメモリに記憶され
る。

【００９７】ステップＳ３６では、パンチルタ２８を次
に撮影するポジション（ＰＯＳ（PanoCnt −２））に移
動する駆動命令が送信される。ステップＳ３７では、上
述したように、取得した画像を仮想球面にデータ変換
し、重複画像、不要画像の削除を行う画像の連結処理が
行われる。また、コンピュータ１の処理能力がない場
合、このステップＳ３７では、水平方向および垂直方向
に圧縮も行う。ステップＳ３８では、連結された画像が
緯度、経度で正規化され、表示される。そして、ステッ
プＳ３９では、パノラマカウンタ（PanoCnt)がインクリ
メントされる。

【００９８】すなわち、次の画像取得位置にパンチルタ
２８を移動する処理を行い、続いて、先にキャプチャし
た画像の仮想球面への写像処理、水平、垂直方向への圧
縮処理、重複画像、不要画像の削除処理等を行い、パノ
ラマ画像作成の進行状況を表示する。以上の動作をパノ
ラマ画像が完成するまで行う。

【００９９】ステップＳ４０では、パノラマ画像が完全
に完成したか否かが判断され、完成したと判断された場
合、ステップＳ４１へ制御が移り、未完成と判断された
場合、このフローチャートは終了し、再度上述の制御を
パノラマ画像が完成するまで繰り返す。ステップＳ４１
では、パノラマ画像が完成したので、パノラマ作成要求
（FlagPa）がリセット（False)される。そして、ステッ
プＳ４２では、完成されたパノラマ画像が保存される。

【０１００】このフローチャートでは、図５に示す１の
画像はパノラマカウンタ（PanoCnt)が３のときに獲得で
き、図５に示す２の画像はパノラマカウンタが４のとき
に獲得でき、そしてパノラマカウンタが１２のときに獲
得される図５に示す１０の画像が獲得されると、パノラ
マ画像を生成するための全ての画像が獲得され、パノラ
マ画像が完成する。

【０１０１】なお、駆動装置は、ここで指令される目標
位置に対して、常に同位置方向から進入するように動作
し、画像連結の際発生し得る駆動系の機構の遊び（例え
ば、ギアのバックラッシュ）による、連結画像のずれを
補正している。

【０１０２】上述したこの発明の一実施形態によって、
図２１Ａに示すような１０枚の映像から図２１Ｃに示す
ようなパノラマ画像を得ることができる。

【０１０３】上述した一実施形態では、すべての制御を
１台のコンピュータを用いて行うようになされている。
この発明の他の実施形態は、図１９に示すように、サー
バ用コンピュータ、クライアント用コンピュータ間で役
割を分担して、ネットワーク回線のように通信容量に制
限のある形態でもパンチルタカメラを制御するようにし
たものである。モニタ２およびマウス８が接続されてい
るコンピュータ１は、伝送路およびサーバ９を介して遠
隔地に設置されたパンチルタカメラ３の駆動を制御す
る。すなわち、コンピュータ１によって、撮像装置コン
トローラが構成される。伝送路としては、通信回線（無
線、有線）、ネットワークなどの既存の種々のものが使
用可能である。サーバ９に対してコンピュータ１は、ク
ライアントの関係にあり、サーバ９に対して複数のコン
ピュータ１の接続が可能である。

【０１０４】パンチルタカメラ３およびサーバ９は、４
に示すような環境にある実際の景色に設置される。この
環境の実際の景色４に設置されたパンチルタカメラ３に
よって撮影された画面（以下、撮影画面と称する）を５
に示す。この撮影画面５は、実際に撮影している画面で
あって、ズームレンズを望遠側に操作すると画角が小さ
くなり、ワイド側に操作すると画角が大きくなる。

【０１０５】パンチルタカメラ３によって取り込まれる
撮影画面５の映像は、サーバ９を経由することによって
映像データに変換される。この映像データが伝送路を介
してコンピュータ１に供給される。コンピュータ１に供
給された映像データがモニタ２に表示される。モニタ２
では、供給された撮影画面５がモニタ２の画面上の操作
領域６Ａに表示される。

【０１０６】また、モニタ２では、パノラマ操作領域６
Ｂおよびパノラマ生成ボタン６Ｅを有している。パノラ
マ生成ボタン６Ｅによりパノラマ画像の作成指示がサー
バ９に発信され、サーバ９では、パンチルタ、ズームを
所定の位置に駆動し、各々の場所で画像を取得するとと
もに、取得した複数枚の画像を、パンチルタの可動軸を
原点とした仮想球面に対して画像を連結し、仮想球面の
緯度、経度方向に対して正規化を行った平面画像を作成
する。作成されたパノラマ画像がサーバ９から伝送路を
介してコンピュータ１によりモニタ２のパノラマ操作領
域６Ｂに表示される。

【０１０７】また、上述した一実施形態と同様に、パノ
ラマ操作領域６Ｂに、マウス８の位置に矢印形のカーソ
ル７が描画される。映像またはパノラマ画像中の任意の
一点または領域６Ｃをマウス８により指示することによ
って、パンチルタカメラ３が操作される。さらに、パノ
ラマ操作領域６Ｂには、点線で示すように、パンチルタ
リミッタ表示６Ｄが表示される。パンチルタリッタ表示
６Ｄは、パンチルタカメラ３の可動範囲の限界を示す。

【０１０８】そして、マウス８を操作することによっ
て、カーソルは移動し、パノラマ操作領域６Ｂの任意の
一点または、任意の領域６Ｃから生成される任意の一点
を指示することができる。指示された任意の一点が操作
領域６Ａの中央になるように、サーバ９および伝送路を
介してパンチルタを駆動させ、撮像画面５が移動する。
すなわち、選択された被写体がサーバ９および伝送路を
介して、パノラマ操作領域６Ｂの中央になるように表示
される。

【０１０９】図２０は、この発明の実施の他の実施形態
の全システムのブロック図である。但し、カメラ部１１
およびパンチルタ部１２の構成、機能は、上述した一実
施形態（図３）と同様であるので、図２０では、その詳
細な構成が省略されている。サーバ９は、制御部１３
１、ビデオキャプチャーボードからなるビデオキャプチ
ャー部１２９、記憶部３０から構成される。コンピュー
タ１は、伝送路１３２とネットワークで接続されてお
り、図３に示す一実施形態と同様に制御部３１等から構
成される。なお、各コンピュータ内の詳細なアルゴリズ
ムについても、前記一実施形態と内容が重複するため、
その説明を省略する。

【０１１０】被写体から到達する撮像光は、一実施形態
と同様、カメラ部１１で信号処理され、輝度（Ｙ）、色
（Ｃ）、ビデオ信号といった各信号に変換され、映像信
号としてＴＶモニタ１３およびサーバ９のビデオキャプ
チャー部１２９へ供給される。また、一実施形態のとお
り、パンチルタカメラは、モードコントローラ２３、カ
メラコントローラ２４、パンチルタコントローラ２５を
有し、カメラ部１１、パンチルタ部２８を制御してい
る。モードコントローラ２３は、カメラ部１１、パンチ
ルタ部１２の内部状態、および、外部からの命令に従
い、システム全体を一実施形態と同様に制御する。

【０１１１】モードコントローラ２３は、通信路（具体
的には、ＲＳ２３２Ｃを用いている）によりサーバ９と
接続され、サーバ９から直接送られてくる命令、また
は、コンピュータ１から、サーバ９経由で送られてくる
命令に対し、パンチルタ２８、レンズブロック部１５の
ズームレンズ１６を駆動するように、パンチルタコント
ローラ２５、カメラコントローラ２４に、受け取った命
令を振り分ける。また、モードコントローラ２３は、パ
ンチルタカメラの内部状態をサーバ９を経由して外部に
送出するため、パンチルタコントローラ２５、カメラコ
ントローラ２４から情報を常に取得している。

【０１１２】サーバ９は、パンチルタ部１２のモードコ
ントローラ２３より、パンチルタカメラの内部状態（た
とえば、パンチルタ、ズームレンズの現在の位置情報
等）を周期的に取得するようになっている。また、カメ
ラ部１１の映像を伝送路１３２に送出するために、ビデ
オキャプチャー部１２９を使用しており、カメラ部１１
より入力されてくる映像情報を任意の品質で、伝送路１
３２に送出しやすいデジタル画像データ（具体的には、
ＪＰＥＧ形式の静止画またはビットマップ形式の静止
画）に変換している。また、同形式のデジタル画像を、
記憶部１３０（例えば、ハードディスク）上にストレー
ジすることができる。

【０１１３】サーバ９に対し、コンピュータ１より接続
要求がなされると、サーバ９は、コンピュータ１に接続
されているモニタ２に表示するための、ＧＵＩ（グラフ
ィカルインターフェース）パネル情報を送出する。パネ
ル情報としては、パネルの配置、パネル上でマウス操作
されたときの、コンピュータ１での動作プログラム等が
あり、具体的には、ＨＴＭＬ、ＪＡＶＡのプログラムを
使用している。また、周期的にパンチルタカメラが撮像
した画像データ、パンチルタカメラの状態などを伝送路
１３２を介してコンピュータ１に送出する。

【０１１４】他の実施形態では、伝送路１３２にインタ
ーネットを使用し、伝送路１３２上を、ＨＴＴＰプロト
ルコを用いてやり取りがなされている。また、コンピュ
ータ１では、インターネット用のフラウザを用いて、サ
ーバ９より送られてくるＧＵＩパネル情報、画像情報、
パンチルタカメラ状態などを、モニタ２に表示する。モ
ニタ２の画面上に表示されるＧＵＩパネルには、操作領
域６Ａおよびパノラマ操作領域６Ｂ、ズームの操作ボタ
ン、ポインティングデバイス１４（マウス８）のカーソ
ル等が表示される。そして、操作領域６Ａには、サーバ
より送られてくる画像データがデコード表示され、画像
データの更新と共に映像が書き換えられる。また、サー
バ９より送られてくるパノラマ画像データがデコードさ
れ、パノラマ操作領域６Ｂに、パノラマ画像が表示さ
れ、さらに、パンチルタカメラの動作範囲及び、現在の
パンチルタの位置、ズームの画角などが一実施形態と同
様な手法で表示される。そして、コンピュータ１は、サ
ーバ９より送られてきた、ＧＵＩパネルが操作されたと
きの動作プログラムが実行される。

【０１１５】他の実施形態の上記動作プログラムは、パ
ンチルタカメラへの駆動命令及び、サーバ上での動作命
令を、マウスのクリック動作によって発生させる。操作
領域６Ａ上で、マウスがクリックされた場合、一実施形
態と同様、画角情報、現在のパンチルタ位置情報、クリ
ックされたときのマウスの位置情報を元に、操作領域６
Ａに表示される映像上でマウスクリックされた位置が、
操作領域６Ａ（映像表示）の中心に来るようにパンチル
タが駆動されるように、命令（絶対位置駆動命令又は相
対位置駆動命令）をサーバ９に発信する。

【０１１６】サーバ９がこの命令を取得すると、命令を
中継して、パンチルタカメラに発信し、パンチルタが所
望の位置に駆動される。このように、映像上でパンチル
タの駆動目標を設定するため、ネットワークでの駆動命
令、映像のディレー等を意識せずにパンチルタを容易に
操作することが可能になる。

【０１１７】コンピュータ１では、送られてきたパノラ
マ画像が、モニタ２のパノラマ操作領域６Ｂに重ね合わ
すように表示され、現在パンチルタカメラが設定されて
いる環境を一目で表示することが可能になる。また、先
の説明でも述べたように、パノラマ操作領域６Ｂには、
パンチルタの位置情報、ズームレンズ画角、パンチルタ
の駆動範囲が表示されてるため、パノラマ画像上で、現
在のパンチルタの状態を容易に確認することが可能にな
る。つまり、コンピュータ１または、サーバ９がパンチ
ルタやズームを駆動する命令を発生すれば、それに応じ
たパンチルタカメラの状況が、パノラマ画像上で確認で
きることになる。

【０１１８】また、パノラマ操作領域６Ｂ上で、マウス
がクリックされた場合、一実施形態と同様、クリックさ
れたときのマウスの位置情報を元に、パノラマ画像上の
マウスクリックされた位置が、操作領域６Ａ（映像）の
中心に来るように駆動されるように、命令（絶対位置駆
動命令）をサーバ９に発信する。サーバ９がこの命令を
取得すると、命令を中継して、パンチルタカメラに発信
し、パンチルタが所望の位置に駆動される。このよう
に、パノラマ画像上でパンチルタの駆動目標を設定する
ため、ネットワークでの駆動命令、映像のディレー等を
意識せずにパンチルタを容易に操作することが可能にな
る。

【０１１９】この発明の実施形態では、パノラマ画像
は、パンチルタカメラ３からコンピュータ１へ画像が供
給される度にコンピュータ１内で連結し、連結されるた
びに画像をパノラマ操作領域６Ｂに表示しているが、全
ての画像が連結された後にパノラマ操作領域６Ｂに表示
するようにしても良い。

【０１２０】この発明の実施形態では、コンピュータ１
に接続されているモニタ２の画面上に操作領域６Ａおよ
びパノラマ操作領域６Ｂを表示しているが、モニタ２と
は異なる別のディスプレイに操作領域６Ａおよび／また
はパノラマ操作領域６Ｂを表示しても良い。

【０１２１】この発明の実施形態では、パンチルタカメ
ラ３によって撮影可能な範囲をパンチルタカメラ３の可
動できる最大範囲としても良いし、リミッタによって撮
影可能な範囲を制限しても良い。また、そのリミッタに
より撮影範囲を制限する機能は、パンチルタカメラ３に
持っても良いし、コンピュータ１に持っても良い。

【０１２２】この発明の実施形態では、任意の領域から
生成される任意の一点をその領域の中心としたが、それ
に限らず任意の領域の外心、内心、重心または垂心を任
意の一点としても良い。

【０１２３】この発明の他の実施形態では、パノラマ画
像の作成をコンピュータ１で行うようになされている
が、サーバ９でパノラマ画像を作成し、回線容量の少な
いネットワーク回線にそのパノラマ画像のデータをコン
ピュータ１に転送し、モニタ２のパノラマ操作領域６Ｂ
に表示するようにしても良い。

【０１２４】この発明の他の実施形態では、説明を容易
とするために、遠隔地に設置されたサーバ９とパンチル
タカメラ３に対して１つのコンピュータ１としたが、サ
ーバ９とパンチルタカメラ３は、世界中に配置され、例
えばインターネットを介して複数のコンピュータから１
つのパンチルタカメラ３を制御するようにしても良い。

【０１２５】

【発明の効果】この発明に依れば、撮像した映像を仮想
球面上に写像し、連結する手法をとっているため、連結
部に歪みのない画像を提供することが可能になる。これ
によって、低コストのデバイス、画像フォーマットを用
いた機器の画像を連結しても、高解像度のデバイス、画
像フォーマットを用いてしか得られないようなハイクオ
リティー（高画質、高品質）な画像を得ることができ
る。また、一般に高価である超広角系のレンズまたは魚
眼レンズを用いて可能になるパノラマ画像を、安易に作
成できるため、撮像装置の撮像方向が変更可能な装置
（例えば、パンチルタ内蔵カメラ）に用いたアプリケー
ションなどで効果が期待できる。

【０１２６】また、この発明に依れば、例えば、パノラ
マ画像上に、ズーム画角、パンチルタ位置などを表示す
ることで、撮像装置の状況を容易に把握することが可能
になると共に、パノラマ画像上で、駆動したい場所、映
したい被写体を指定することができるので、容易に目的
の映像を得るが可能となる。特に、こういったアプリケ
ーションにパノラマ画像を用いることで、回線を利用し
た遠隔地にあるビデオカメラでの監視、観察、案内、紹
介などの制御用途で、より良い操作性と、視認性を実現
することができる。

【図面の簡単な説明】

【図１】この発明の一実施形態のシステムの概略的構成
を示す略線図である。

【図２】この発明の一実施形態における画面を説明する
ための略線図である。

【図３】この発明の一実施形態のシステム構成を示すブ
ロック図である。

【図４】この発明の一実施形態におけるパノラマ画像の
生成を説明するための略線図である。

【図５】この発明の一実施形態におけるパノラマ画像の
生成を説明するための概略図である。

【図６】この発明の一実施形態におけるパノラマ画像の
生成を説明するための概略図である。

【図７】この発明の一実施形態におけるパノラマ操作領
域上の位置座標からパンチルタカメラの角度情報を生成
する説明にもちいた略線図である。

【図８】この発明の一実施形態における平面球面変換を
説明するための略線図である。

【図９】この発明の一実施形態における操作領域での座
標変換を説明するための略線図である。

【図１０】この発明の一実施形態におけるパノラマ操作
領域での座標変換を説明するための略線図である。

【図１１】この発明の一実施形態におけるパンチルタカ
メラの内部の位置情報と角度情報とを説明するための略
線図である。

【図１２】この発明の一実施形態におけるパンチルタカ
メラの角度座標とパノラマ操作領域の位置座標とを説明
するための略線図である。

【図１３】この発明の一実施形態におけるパンチルタカ
メラの画角とパノラマ操作領域内の枠とを説明するため
の略線図である。

【図１４】この発明の一実施形態におけるズームデータ
と倍率データの変換を説明するための略線図である。

【図１５】この発明の一実施形態の全体の処理の一例を
示すフローチャートである。

【図１６】この発明の一実施形態におけるパノラマ作成
要求イベントの処理の一例を示すフローチャートであ
る。

【図１７】この発明の一実施形態におけるタイマイベン
トの処理の一例を示すフローチャートである。

【図１８】この発明の一実施形態におけるパノラマ作成
処理の一例を示すフローチャートである。

【図１９】この発明の他の実施形態のシステムの概略的
構成を示す略線図である。

【図２０】この発明の他の実施形態のシステム構成を示
すブロック図である。

【図２１】パノラマ画像の作成を説明するための略線図
である。

【符号の説明】

１・・・コンピュータ、２・・・モニタ、６Ａ・・・操
作領域、６Ｂ・・・パノラマ操作領域、７・・・カーソ
ル、９・・・サーバ、１１・・・カメラ部、１２・・・
パンチルタ部、１３・・・ＴＶモニタ、１４・・・ポイ
ンティングデバイス、１５・・・レンズブロック部、１
６・・・ズームレンズ、１７・・・ズーム部、１８、２
６、２７・・・モータ、１９・・・固体撮像素子、２０
・・・信号分離／自動利得調整回路、２１・・・Ａ／Ｄ
変換器、２２・・・信号処理回路、２３・・・モードコ
ントローラ、２４・・・カメラコントローラ、２５・・
・パンチルタコントローラ、２８・・・パンチルタ、２
９・・・ビデオキャプチャー、３０・・・記憶部、３１
・・・制御部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 細沼 直泰 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 玉山 研 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (11)

【特許請求の範囲】
1. 【請求項１】 映像を撮影する撮像手段と、 上記撮像手段の撮像する方角を制御する駆動手段と、 上記撮像手段によって得られた複数の画像を、上記駆動
   手段の回転中心から見た仮想球面に対し写像することに
   よって歪みなく連結する画像連結手段とからなることを
   特徴とするパノラマ画像生成装置。
2. 【請求項２】 請求項１において、 さらに、上記画像連結手段では、上記仮想球面に対して
   写像された上記画像を、上記仮想球面の緯度、経度で正
   規化することによって平面に写像するようにしたことを
   特徴とするパノラマ画像生成装置。
3. 【請求項３】 請求項１において、 上記駆動手段は、駆動系に遊びがある機構を有するもの
   であって、上記撮像手段より得られた画像を連結する際
   に、上記駆動手段を同一方向に駆動することによって取
   得した画像を用いてバックラッシュの影響を補正するよ
   うにしたことを特徴とするパノラマ画像生成装置。
4. 【請求項４】 請求項１において、 上記画像連結手段によって複数枚の画像を連結する場
   合、１枚の画像を取得するたびに画像の連結を行い、そ
   の結果を表示手段に表示し、画像連結の進行状況を表示
   するようにしたことを特徴とするパノラマ画像生成装
   置。
5. 【請求項５】 請求項１において、 上記画像連結手段によって複数枚の画像を連結する場
   合、１枚の画像を取得するたびに、その連結結果を表示
   手段に表示せず、全画像を取得した後に、上記表示手段
   に表示するようにしたことを特徴とするパノラマ画像生
   成装置。
6. 【請求項６】 請求項１において、 上記画像連結手段によって複数枚の画像を連結する場
   合、１枚の画像を取得するたびに逐次画像の連結を行う
   が、その結果を表示手段に表示せず、全画像が取り込ま
   れ、連結が終了した時に、その結果を表示手段に表示す
   るようにしたことを特徴とするパノラマ画像生成装置。
7. 【請求項７】 請求項１において、 上記駆動手段の可動範囲の画像を上記撮像手段によって
   撮像し、パノラマ画像を自動的に生成するようにしたこ
   とを特徴とするパノラマ画像生成装置。
8. 【請求項８】 請求項７において、 さらに、上記駆動手段の駆動方向の指示を行うための操
   作領域に、上記パノラマ画像を表示するようにしたこと
   を特徴とするパノラマ画像生成装置。
9. 【請求項９】 請求項８において、 上記操作領域の任意の一点を指定することで、指定され
   た任意の一点に対応する位置の被写体を、上記駆動手段
   の任意の位置座標に移動するようにしたことを特徴とす
   るパノラマ画像生成装置。
10. 【請求項１０】 請求項８において、 上記操作領域の任意の領域を指定することで、上記任意
    の領域より生成される任意の一点に対応する位置の被写
    体を、上記駆動手段の任意の位置座標に移動するように
    したことを特徴とするパノラマ画像生成装置。
11. 【請求項１１】 映像を撮影するステップと、 上記映像を撮像する方角を制御するステップと、 撮影することによって得られた複数の画像を、上記撮影
    する位置の回転中心から見た仮想球面に対し写像するこ
    とによって歪みなく連結するステップとからなることを
    特徴とするパノラマ画像生成方法。