JP2012134834A - 撮像装置、画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】全方位撮像光学系を用いて生成された全方位画像を把握し易くする。
【解決手段】撮像部１１０は、全方位の被写体（撮像部１１０の光軸方向の被写体と、表示部１５０における表示面に対向する被写体とを含む）を撮像するための全方位撮像光学系を備えるアダプタが装着された状態で、全方位画像（環状画像）を生成する。画像処理部１７１は、全周囲画像の円周方向を４分割して略扇形状の対象領域（４つの領域）を特定し、この対象領域の画像を略矩形状の画像（変換画像）に変換する。例えば、その光軸方向の被写体と、その表示面に対向する被写体とのそれぞれが、変換画像における中央位置となるように４分割される。表示制御部１７５は、全方位画像の撮像動作時に、変換画像および全周囲画像を同時に表示部１５０に表示させる。また、表示制御部１７５は、切替操作に応じて変換画像を切り替える。
【選択図】図７

Description

本発明は、撮像装置に関し、特に、全方位画像について画像処理を行う撮像装置、画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、風景等の被写体を撮像して画像（画像データ）を生成し、生成された画像を画像ファイル（画像コンテンツ）として記録するデジタルスチルカメラやデジタルビデオカメラ（カメラ一体型レコーダ）等の撮像装置が普及している。また、比較的広い範囲の被写体を含む画像を生成する撮像装置が提案されている。例えば、全方位の被写体を撮像して全方位画像（全方位の被写体を含む画像）を生成する撮像装置が提案されている。

例えば、回転対称な形状の反射面を有する全方位撮像光学系を用いて全方位（３６０°）の被写体を撮像可能な撮像装置が提案されている（例えば、特許文献１参照。）。

特開２０００−１３１７３８号公報

上述の従来技術では、全方位の被写体を撮像することができるため、例えば、全方位画像（例えば、環状画像または円状画像）を生成することができる。

また、全方位画像を生成するためのアダプタ（全方位撮像光学系を備えるアダプタ）を着脱可能とし、そのアダプタを撮像装置に装着して全方位画像を記録することも想定される。このようなアダプタを撮像装置に装着して全方位画像の撮像動作を行う場合を想定する。この撮像動作中において、撮像された画像（全方位画像）をユーザが確認する場合には、その全方位画像（例えば、環状画像または円状画像）を見て確認することが考えられる。

しかしながら、通常の撮像動作時において表示される画像（例えば、光軸方向の被写体を含む画像）と、全方位画像の撮像動作時において表示される全方位画像とは、撮像範囲が異なる。このため、例えば、通常の撮像動作に慣れているユーザとっては、表示される全方位画像を見て撮像動作の状態や全方位画像を把握することが困難であることが想定される。また、全方位画像の撮像動作により記録された全方位画像を再生する場合についても同様に、通常の撮像動作により記録された画像に慣れているユーザとっては、全方位画像を見てもその全方位画像を把握することが困難であることが想定される。

本発明はこのような状況に鑑みてなされたものであり、全方位撮像光学系を用いて生成された全方位画像を把握し易くすることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、撮像時における撮像位置を基準とする全方位の被写体を撮像して上記全方位の被写体を含む円状画像を生成する撮像部と、上記全方位のうち上記撮像位置における撮像装置の姿勢に基づいて特定される特定方向を基準として上記生成された円状画像における略扇形状の対象領域を特定して当該対象領域の画像を略矩形状の画像に変換する画像処理部と、上記変換された画像である変換画像と上記生成された円状画像とを同時に表示部に表示させる表示制御部とを具備する撮像装置およびその処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。これにより、円状画像（全方位画像）を生成し、特定方向を基準として円状画像における略扇形状の対象領域を特定し、この対象領域の画像を略矩形状の画像に変換し、この変換された画像（変換画像）と、生成された円状画像とを同時に表示させるという作用をもたらす。

また、この第１の側面において、上記画像処理部は、上記生成された円状画像における上記特定方向が切断されないように上記対象領域を特定するようにしてもよい。これにより、生成された円状画像における特定方向が切断されないように、対象領域を特定するという作用をもたらす。

また、この第１の側面において、上記撮像部は、その光軸方向の被写体を含む上記全方位の被写体を撮像するための全方位撮像光学系を備えるアダプタが装着された状態で上記円状画像を生成し、上記画像処理部は、上記撮像位置を基準とする場合に上記光軸方向を上記特定方向とするようにしてもよい。これにより、全方位撮像光学系を備えるアダプタが装着された状態で円状画像を生成し、撮像位置を基準とする場合に撮像部の光軸方向を特定方向として対象領域を特定するという作用をもたらす。

また、この第１の側面において、上記撮像装置は、上記表示部を備え、上記光軸方向は、上記表示部における表示面の垂直方向と略一致し、上記撮像部は、上記アダプタが装着された状態で上記光軸方向の被写体と上記表示面に対向する被写体とを含む上記円状画像を生成するようにしてもよい。これにより、アダプタが装着された状態で、撮像部の光軸方向の被写体と、表示部における表示面に対向する被写体とを含む円状画像を生成するという作用をもたらす。

また、この第１の側面において、上記画像処理部は、上記光軸方向の被写体と上記表示面に対向する被写体とのそれぞれが上記変換画像における中央位置となるように、上記生成された円状画像の円周方向を４分割して当該分割された４つの領域を上記対象領域として特定するようにしてもよい。これにより、撮像部の光軸方向の被写体と、表示部における表示面に対向する被写体とのそれぞれが、変換画像における中央位置となるように、円状画像の円周方向を４分割し、この分割された４つの領域を対象領域として特定するという作用をもたらす。

また、この第１の側面において、上記表示制御部は、上記変換画像と上記生成された円状画像とを当該円状画像の撮像動作時に上記表示部に表示させるようにしてもよい。これにより、変換画像および円状画像をその円状画像の撮像動作時に表示させるという作用をもたらす。

また、この第１の側面において、上記表示部における表示状態を切り替える切替操作を受け付ける操作受付部をさらに具備し、上記画像処理部は、上記生成された円状画像の円周方向を複数に分割して当該分割された複数の領域を上記対象領域として特定して上記変換画像を複数生成し、上記表示制御部は、上記切替操作が受け付けられた場合には当該切替操作に応じて上記表示部に表示されている変換画像を他の変換画像に切り替えるようにしてもよい。これにより、円状画像の円周方向を複数に分割し、この分割された複数の領域を対象領域として特定して変換画像を複数生成し、表示部における表示状態を切り替える切替操作が受け付けられた場合には、その切替操作に応じて変換画像を他の変換画像に切り替えるという作用をもたらす。

また、この第１の側面において、上記画像処理部は、上記生成された円状画像の円周方向における上記特定方向に対応する位置が上記略矩形状の画像における上記特定位置となるように上記略扇形状の対象領域を特定するようにしてもよい。これにより、円状画像の円周方向における特定方向に対応する位置が、略矩形状の画像における特定位置となるように対象領域を特定するという作用をもたらす。

また、この第１の側面において、上記撮像部は、上記全方位の被写体を含む画像が環状に配置されている画像を上記円状画像として生成するようにしてもよい。これにより、全方位の被写体を含む画像が環状に配置されている画像を円状画像として生成するという作用をもたらす。

また、本発明の第２の側面は、撮像装置の撮像時における撮像位置を基準とする全方位の被写体を撮像して生成された上記全方位の被写体を含む円状画像を取得する取得部と、上記全方位のうち上記撮像位置における上記撮像装置の姿勢に基づいて特定される特定方向を基準として上記取得された円状画像における略扇形状の対象領域を特定して当該対象領域の画像を略矩形状の画像に変換して表示対象画像とする画像処理部とを具備する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、円状画像（全方位画像）を取得し、特定方向を基準として円状画像における略扇形状の対象領域を特定し、この対象領域の画像を略矩形状の画像に変換して表示対象画像とするという作用をもたらす。

本発明によれば、全方位撮像光学系を用いて生成された全方位画像を把握し易くすることができるという優れた効果を奏し得る。

本発明の第１の実施の形態における撮像装置１００の外観構成例を示す図である。 本発明の第１の実施の形態における撮像装置１００の外観構成例を示す図である。 本発明の第１の実施の形態における撮像装置１００およびアダプタ２００の外観構成例を示す図である。 本発明の第１の実施の形態における撮像装置１００およびアダプタ２００の外観構成例を示す図である。 本発明の第１の実施の形態におけるアダプタ２００に備えられる全方位撮像光学系２１０を示す断面図である。 本発明の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。 本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。 本発明の第１の実施の形態における撮像装置１００による撮像対象となる撮像範囲と、撮像装置１００により生成される撮像画像との関係を簡略化して示す図である。 本発明の第１の実施の形態における撮像装置１００を用いて行われる撮像動作と、この撮像動作により生成される撮像画像との関係を示す図である。 本発明の第１の実施の形態における撮像装置１００を用いて行われる撮像動作と、この撮像動作により生成される撮像画像との関係を示す図である。 本発明の第１の実施の形態における画像処理部１７１による変換処理の対象となる全方位画像（環状画像）と、その変換後のパノラマ画像との関係を示す図である。 本発明の第１の実施の形態における画像処理部１７１による変換処理の対象となるパノラマ画像と、これに対応する変換画像との関係を示す図である。 本発明の第１の実施の形態における画像処理部１７１による変換処理の対象となる全方位画像と、その変換後の画像（変換画像）との関係を示す図である。 本発明の第１の実施の形態における入出力パネル１５１に表示される全方位画像および変換画像の表示例を示す図である。 本発明の第１の実施の形態における入出力パネル１５１に表示される変換画像を切り替える際における切替例を示す図である。 本発明の第１の実施の形態における入出力パネル１５１に表示される全方位画像および変換画像の表示例を示す図である。 本発明の第１の実施の形態における撮像装置１００による全方位画像の撮像動作制御処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置８００の機能構成例を示すブロック図である。 本発明の第２の実施の形態における表示部８７０に表示される全方位画像および変換画像の表示例を示す図である。

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（表示制御：撮像動作時または再生時に全方位画像（環状画像）および変換画像（矩形画像）を同時に表示する例）
２．第２の実施の形態（表示制御：画像処理装置を用いて全方位画像および変換画像を同時に表示する例）

＜１．第１の実施の形態＞
［撮像装置の外観構成例］
図１および図２は、本発明の第１の実施の形態における撮像装置１００の外観構成例を示す図である。

図１（ａ）は、撮像装置１００の正面（すなわち、被写体に向けられるレンズが設けられている面）の外観を示す正面図である。また、図１（ｂ）は、撮像装置１００の背面（すなわち、撮影者に向けられる入出力パネル１５１の面）の外観を示す背面図である。図２（ａ）は、撮像装置１００の側面の外観を示す側面図である。また、図２（ｂ）は、撮像装置１００の正面側の外観を示す斜視図である。なお、撮像装置１００は、例えば、被写体を撮像して撮像画像（画像データ）を生成し、生成された撮像画像を記録することが可能な撮像装置により実現される。この撮像装置は、例えば、デジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）等である。

撮像装置１００は、撮像部１１０と、電源スイッチ１４１と、シャッターボタン１４２と、操作ボタン群１４３と、上下左右ボタン１４４と、録画ボタン１４５と、入出力パネル１５１とを備える。また、撮像装置１００の上端部１０１には、図３および図４に示すアダプタ２００が装着される。また、上端部１０１に装着されるアダプタ２００（上端部１０１と接する面に磁石が設けられている）を固定するため、アダプタ２００と接する面（上端部１０１における上端面）は磁性体を有する。

撮像部１１０は、被写体を撮像して撮像画像（画像データ）を生成するものである。また、アダプタ２００の装着時には、撮像部１１０を用いた全方位画像の撮像動作（全方位撮像動作）が行われる。なお、撮像部１１０については、図６、図７を参照して詳細に説明する。

電源スイッチ１４１は、撮像装置１００の電源をオン／オフする際に用いられる操作部材である。

シャッターボタン１４２は、撮像部１１０により生成された画像（画像データ）をコンテンツ（静止画コンテンツ）として記録する際にユーザにより押下される操作部材である。例えば、撮像モードが設定されている場合において、シャッターボタン１４２が半押しされた場合には、オートフォーカスを行うためのフォーカス制御が行われる。また、シャッターボタン１４２が全押しされた場合には、そのフォーカス制御が行われ、この全押しの際に撮像部１１０により生成された画像（画像データ）がコンテンツ（静止画コンテンツ）として記録される。例えば、図６に示すメモリカード１８０に記録される。

操作ボタン群１４３は、各種操作を行う際に用いられる操作ボタンである。

上下左右ボタン１４４は、上下左右に関する各種操作を行う際に用いられる操作ボタンである。

録画ボタン１４５は、撮像部１１０により生成された画像（画像データ）をコンテンツ（動画コンテンツ）として記録する際にユーザにより押下される操作部材である。例えば、撮像モードが設定されている場合において、録画ボタン１４５が押下された場合には、撮像部１１０により生成された画像（画像データ）の記録処理が開始される。また、録画ボタン１４５が再度押下された場合には、画像（画像データ）の記録処理が終了する。この記録処理により、コンテンツ（動画コンテンツ）が、例えば、図６に示すメモリカード１８０に記録される。

入出力パネル１５１は、各種画像を表示するとともに、表示面に近接または接触する物体の検出状態に基づいてユーザからの操作入力を受け付けるものである。なお、入出力パネル１５１は、タッチスクリーンまたはタッチパネルとも称される。入出力パネル１５１は、操作受付部および表示パネルを備える。例えば、操作受付部として、導電性を有する物体（例えば、人物の指）の接触または近接を、静電容量の変化に基づいて検出する静電式（静電容量方式）のタッチパネルを用いることができる。また、例えば、表示パネルとして、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）パネル等の表示パネルを用いることができる。そして、入出力パネル１５１は、例えば、表示パネルの表示面上に、透明なタッチパネルを重ね合わせることにより構成される。

［撮像装置およびアダプタの外観構成例］
図３および図４は、本発明の第１の実施の形態における撮像装置１００およびアダプタ２００の外観構成例を示す図である。図３および図４では、図１および図２に示す撮像装置１００にアダプタ２００が装着されている場合における外観構成を示す。

図３（ａ）は、撮像装置１００およびアダプタ２００の正面の外観を示す正面図である。また、図３（ｂ）は、撮像装置１００およびアダプタ２００の背面の外観を示す背面図である。図４（ａ）は、撮像装置１００およびアダプタ２００の側面の外観を示す側面図である。また、図４（ｂ）は、撮像装置１００およびアダプタ２００の正面側の外観を示す斜視図である。

アダプタ２００は、撮像装置１００に対して着脱可能なアダプタであり、全方位（全周囲）撮像用のアタッチメントである。アダプタ２００は、全方位撮像光学系２１０と、カバー２２０と、取付部２３０と、ミラー２４０とを備える。なお、ミラー２４０については、図５に示す。

全方位撮像光学系２１０は、撮像装置１００の全方位（全周囲）の被写体を撮像するための光学系である。なお、全方位撮像光学系２１０については、図５を参照して詳細に説明する。

カバー２２０は、全方位撮像光学系２１０を覆う円筒形のカバーである。

取付部２３０は、アダプタ２００を撮像装置１００に装着するための取付部であり、撮像装置１００の上端部１０１（図１および図２に示す）に嵌合可能な形状を有する。また、取付部２３０の凹部における底部（撮像装置１００の上端部１０１における上端面に接する部分）には磁石２０１（図６に示す）が設けられている。このため、撮像装置１００の上端部１０１に取付部２３０を嵌合させて装着した場合には、磁石２０１によりアダプタ２００が撮像装置１００の上端部１０１に固定される。また、アダプタ２００が撮像装置１００に装着されている状態では、撮像部１１０が取付部２３０により覆われている。この場合には、アダプタ２００の全方位撮像光学系２１０により集光された全方位の被写体像が、撮像部１１０の撮像光学系１１１（図６に示す）に入射されて撮像素子１１２（図６に示す）に結像される。

このように、全方位撮像光学系２１０を備えるアダプタ２００を撮像部１１０に装着することにより、全方位撮像光学系を内蔵していない撮像装置１００を用いて、全方位撮像動作を行うことができる。この全方位撮像動作は、撮像装置１００の全方位（０°〜３６０°）に存在する被写体を撮像する動作である。

このように、アダプタ２００の装着時には、アダプタ２００の全方位撮像光学系２１０と撮像部１１０の撮像光学系１１１との双方を用いて、撮像装置１００の全方位の被写体像が撮像される。また、図９、図１０等に示すように、全方位撮像光学系２１０を用いた全方位撮像動作により、撮像装置１００の全方位の被写体を撮像した全方位画像４２０が生成される。そして、生成された全方位画像４２０が入出力パネル１５１にスルー画像として表示される。

また、図１および図２に示すように、アダプタ２００が撮像部１１０に装着されていない場合を想定する。この場合において、撮像モードが設定されている場合には、撮像装置１００は、内蔵されている撮像光学系１１１を用いて撮像動作を行う。この撮像動作は、撮像光学系１１１を用いて、撮像装置１００の撮像時における位置（撮像位置）を基準として特定の一方向（撮像光学系１１１の光軸が向けられた撮像方向）に存在する被写体を撮像する動作である。この撮像動作では、一方向の被写体像が撮像光学系１１１を介して入射されて撮像素子１１２に結像される。

図１乃至図４に示すように、アダプタ２００は撮像装置１００の撮像部１１０に対して着脱自在に構成されている。これにより、ユーザは、アダプタ２００を撮像部１１０に装着することにより、撮像装置１００を用いて全方位撮像動作を容易に行うことができる。

［全方位撮像光学系の構成例］
図５は、本発明の第１の実施の形態におけるアダプタ２００に備えられる全方位撮像光学系２１０を示す断面図である。図５では、二回反射タイプの全方位撮像光学系２１０を例にして示す。

全方位撮像光学系２１０は、中心軸２１１に対して回転対称となる形状を有する凸面鏡および凹面鏡から構成される全方位撮像レンズである。また、中心軸２１１は、撮像部１１０の撮像光学系１１１の光軸１０８とのなす角が９０度となる線上に配置される。すなわち、全方位撮像光学系２１０により集光された被写体像が、ミラー２４０により反射されて光路が９０度変更され、撮像光学系１１１に供給される。

全方位撮像光学系２１０は、第１反射面２１２と、第２反射面２１３と、入光部２１４と、出光部２１５とにより構成される。

第１反射面２１２は、全方位撮像光学系２１０の下方に位置する環状の反射面であり、鏡面仕上げされた環状の凹面鏡からなる。第２反射面２１３は、第１反射面２１２に対向配置される円錐面状の反射面であり、鏡面仕上げされた凸面鏡からなる。

入光部２１４は、第２反射面２１３の外周に配置される環状の入光部であり、透明なガラス板から構成されて光を透過する。出光部２１５は、第１反射面２１２の内周に配置される出光部であり、透明なガラス板から構成されて光を透過する。

ここで、全方位撮像光学系２１０は二回反射タイプであるため、全方位撮像光学系２１０から任意の距離にある全ての被写体の焦点２１８が、第１反射面２１２と第２反射面２１３の間に位置するように、全方位撮像光学系２１０の光学特性が設計されている。なお、図５では、被写体の焦点２１８を複数の丸により模式的に示す。

全方位撮像光学系２１０において、入射光２１６が入光部２１４から入射されると、第１反射面２１２により反射された後に第２反射面２１３により反射され、出光部２１５から出射される。そして、出光部２１５からの出射光が、ミラー２４０により反射されて光路が９０度変更され、撮像部１１０の撮像光学系１１１に入射され、撮像素子１１２に供給される。なお、図５では、説明の容易のため、出光部２１５からの出射光として、撮像光学系１１１に対応する楕円１０９までの出射光のみを示す。

このように、全方位撮像光学系２１０は、中心軸２１１を中心とする３６０°の範囲の被写体像を取得することができる。このため、全方位撮像光学系２１０は、その周囲にある全方位（３６０°）の被写体像を集光して、撮像光学系１１１に供給することができる。

なお、図５では、二回反射タイプの全方位撮像光学系２１０を例にして説明したが、一回反射タイプの全方位撮像光学系を用いてもよい。一回反射タイプの全方位撮像光学系は、全方位の被写体からの光を反射する反射面を１つだけ備えるものである。また、一回反射タイプの全方位撮像光学系において、その１つの反射面は、中心軸に対して回転対称な形状を有する凸面鏡により構成され、その反射面からの反射光を撮像装置１００の撮像光学系１１１に向けるように配置されている。

［撮像装置の内部構成例］
図６は、本発明の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。また、図６には、撮像装置１００の内部構成とともに、撮像装置１００に装着されるアダプタ２００を示す。

撮像装置１００は、撮像部１１０と、ホールセンサ１３０と、操作受付部１４０と、表示部１５０と、フラッシュＲＯＭ（Read Only Memory）１６１とを備える。また、撮像装置１００は、ＤＲＡＭ（Dynamic Random Access Memory）１６２と、ＤＳＰ（Digital Signal Processor）１７０と、メモリカード１８０とを備える。

撮像部１１０は、撮像画像を生成するための光学系、撮像素子等により構成されている。すなわち、撮像部１１０は、撮像光学系１１１と、撮像素子１１２と、ＴＧ（Timing Generator）１１３と、光学部品駆動部１１４、１１５とを備える。

撮像光学系１１１は、一方向の被写体を撮像するために光学設計された光学系であり、フォーカスレンズ、ズームレンズ等の各種レンズ、不要な波長を除去する光学フィルタ、絞り等の光学部品を備える。被写体から入射された光学像（被写体像）は、撮像光学系１１１における各光学部品を介して撮像素子１１２の露光面に結像される。また、撮像光学系１１１には、撮像光学系１１１を構成する光学部品を駆動するための光学部品駆動部１１４、１１５が機械的に接続されている。

撮像素子１１２は、撮像光学系１１１から供給される光学像を光電変換して電気信号（アナログの画像信号）を生成するものであり、この生成された電気信号をＤＳＰ１７０に出力する。撮像素子１１２として、例えば、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子（イメージセンサ）を用いることができる。

ＴＧ１１３は、ＤＳＰ１７０の制御に基づいて、撮像素子１１２に必要な動作パルスを生成するタイミングジェネレータである。ＴＧ１１３は、例えば、垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルス等の各種パルスを生成し、撮像素子１１２に供給する。そして、ＴＧ１１３による撮像素子１１２の駆動により被写体像が撮像される。また、ＴＧ１１３が、撮像素子１１２のシャッタースピードを調整することにより、撮像画像の露光量や露光期間が制御される（電子シャッタ機能）。

光学部品駆動部１１４、１１５は、ＤＳＰ１７０の制御に基づいて、撮像光学系１１１を構成する光学部品を駆動させるものであり、例えば、ズームモータ、フォーカスモータ等により構成される。光学部品駆動部１１４、１１５は、例えば、撮像光学系１１１を構成するズームレンズ、フォーカスレンズ等を移動させ、絞りを調整する。

ホールセンサ１３０は、上端部１０１の内側の部分（アダプタ２００の装着時に磁石２０１に隣接する部分）に設けられているホールセンサであり、アダプタ２００の装着時に磁石２０１により生じる磁場の磁束密度を検出する。上述したように、磁石２０１は、アダプタ２００の取付部２３０の凹部における底部（撮像装置１００の上端部１０１における上端面に接する部分）に設けられている。

例えば、撮像装置１００の上端部１０１にアダプタ２００が装着された場合には、ホールセンサ１３０の近傍に磁石２０１が配置されるため、ホールセンサ１３０が磁石２０１から所定の磁束密度以上の磁場を検出する。一方、撮像装置１００の上端部１０１にアダプタ２００が装着されていない場合には、ホールセンサ１３０が磁石２０１から所定の磁束密度以上の磁場を検出しない。このように、ホールセンサ１３０により検出される磁場強度に応じて、撮像装置１００の上端部１０１にアダプタ２００が装着されているか否かを検出することができる。そして、ホールセンサ１３０は、検出された磁場強度に関する情報（磁場強度情報）をＤＳＰ１７０に出力し、ＤＳＰ１７０は、その磁場強度情報に基づいて、撮像部１１０に対するアダプタ２００の装着状態（アダプタ２００の装着の有無）を判定する。そして、ＤＳＰ１７０は、アダプタ２００の装着の有無に応じて、撮像装置１００の各種の動作設定を切り替える。

操作受付部１４０は、ユーザからの操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作信号をＤＳＰ１７０に出力する。操作受付部１４０は、例えば、図１乃至図４に示す電源スイッチ１４１、シャッターボタン１４２、操作ボタン群１４３、上下左右ボタン１４４、録画ボタン１４５、入出力パネル１５１に対応する。例えば、操作ボタン群１４３により、表示部１５０における表示状態を切り替える切替操作が受け付けられる（例えば、図１４、図１５に示す）。

表示部１５０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬディスプレイ等により構成される。表示部１５０は、ＤＳＰ１７０の制御に基づいて、入力された各種の画像データを表示する。例えば、表示部１５０は、撮像動作中にＤＳＰ１７０からリアルタイムで入力される撮像中の撮像画像（スルー画像）を表示する。これにより、ユーザは、撮像動作中の画像を表示部１５０で見ながら、撮像装置１００を操作することができる。また、メモリカード１８０に記憶されているコンテンツの再生指示操作が行われた場合には、表示部１５０は、ＤＳＰ１７０から入力されたコンテンツを表示する。これにより、ユーザは、メモリカード１８０に記憶されているコンテンツの内容を確認することができる。

フラッシュＲＯＭ１６１は、ＤＳＰ１７０の各種の制御処理を実行させるためのプログラムを格納するメモリである。ＤＳＰ１７０は、フラッシュＲＯＭ１６１に格納されているプログラムに基づいて動作し、ＤＲＡＭ１６２を用いて各制御のための必要な演算・制御処理を実行する。なお、これらのプログラムは、ディスク状記録媒体、メモリカード等のリムーバブル記録媒体からＤＳＰ１７０に供給されるようにしてもよく、インターネット等のネットワークを介してＤＳＰ１７０にダウンロードされるようにしてもよい。

ＤＳＰ１７０は、撮像画像の画像処理や、撮像装置１００の動作制御を行うための演算処理装置である。ＤＳＰ１７０は、信号処理部（図示せず）、記録再生部（図示せず）および制御部（図示せず）を備える。例えば、信号処理部は、撮像素子１１２から出力された画像信号（アナログの画像信号）に対して所定の信号処理を実行し、信号処理後の画像信号（デジタルの画像信号）を表示部１５０や記録再生部に出力する。この信号処理部は、例えば、アナログ信号処理部、Ａ／Ｄ（アナログ／デジタル）変換部、デジタル信号処理部により構成される。

アナログ信号処理部は、画像信号を前処理する処理部（いわゆる、アナログフロントエンド）である。このアナログ信号処理部は、例えば、撮像素子１１２から出力された画像信号に対して、ＣＤＳ（correlated double sampling：相関２重サンプリング）処理、プログラマブルゲインアンプ（ＰＧＡ）によるゲイン処理等を行う。Ａ／Ｄ変換部は、アナログ信号処理部から出力された画像信号（アナログの画像信号）をデジタル画像信号に変換してデジタル信号処理部に出力する。デジタル信号処理部は、Ａ／Ｄ変換部から出力されたデジタル画像信号に対して、例えば、ノイズ除去、ホワイトバランス調整、色補正、エッジ強調、ガンマ補正等のデジタル信号処理を行い、表示部１５０および記録再生部等に出力する。

ＤＳＰ１７０の制御部は、ＤＳＰ１７０に設けられているマイクロコントローラ等の演算処理装置で構成され、撮像装置１００の全体の動作を制御する。この制御部は、例えば、ＤＲＡＭ１６２やフラッシュＲＯＭ１６１を用いて制御機能を実行する。例えば、ＤＳＰ１７０の制御部は、ＴＧ１１３や光学部品駆動部１１４、１１５を制御し、撮像部１１０による撮像動作を制御する。例えば、ＤＳＰ１７０の制御部は、撮像光学系１１１の絞りの調整、撮像素子１１２の電子シャッタースピードの設定、信号処理部のＡＧＣのゲイン設定等により、自動露光制御を行う（ＡＥ機能）。また、ＤＳＰ１７０の制御部は、撮像光学系１１１のフォーカスレンズを移動させ、特定の被写体に対して撮像光学系１１１の焦点を自動的に合わせるオートフォーカス制御を行う（ＡＦ機能）。また、ＤＳＰ１７０の制御部は、撮像光学系１１１のズームレンズを移動させ、撮像画像の画角を調整する。また、ＤＳＰ１７０の制御部は、記録再生部による撮像画像データの記録・再生処理を制御する。さらに、ＤＳＰ１７０の制御部は、表示部１５０に各種の表示データを表示させるための表示制御を行う。

メモリカード１８０は、撮像装置１００に着脱可能な記録媒体である。なお、記録媒体として、例えば、他の半導体メモリ、光ディスク、ハードディスク等のディスク状記録媒体等を用いるようにしてもよい。例えば、光ディスクとして、ブルーレイディスク（Blu-ray Disc）、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）等を用いることができる。また、記録媒体は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００に着脱可能なリムーバブルメディアとするようにしてもよい。

［撮像装置の機能構成例］
図７は、本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。なお、図６に示す機能構成と同一の部分については、同一の符号を付してこれらの説明の一部を省略する。

撮像装置１００は、撮像部１１０と、アダプタ装着検出部１３１と、操作受付部１４０と、表示部１５０と、画像処理部１７１と、撮像モード設定部１７２と、制御部１７３と、記録制御部１７４と、表示制御部１７５と、記録媒体１８５とを備える。また、記録媒体１８５は、図６に示すメモリカード１８０に対応する。また、画像処理部１７１、撮像モード設定部１７２、制御部１７３、記録制御部１７４および表示制御部１７５は、図６に示すＤＳＰ１７０に対応する。また、アダプタ装着検出部１３１は、図６に示すホールセンサ１３０に対応する。

撮像部１１０は、特定方向（例えば、光軸方向）の被写体を撮像して、その被写体を含む平面画像（画像データ）を生成する撮像部であり、撮像モード設定部１７２により設定された撮像モードに応じた撮像処理を行う。ここで、撮像モードとして、平面画像撮像モードと全方位画像撮像モードとの何れかの撮像モードが設定される。平面画像撮像モードは、特定方向（例えば、光軸方向）の被写体を含む平面画像を記録する撮像モードである。また、全方位画像撮像モードは、アダプタ２００が撮像部１１０に装着されている状態で、全方位の被写体を含む平面画像（全方位画像）を記録するための撮像モードである。なお、これらの各撮像モードについては、静止画を記録するための静止画撮像モードと、動画を記録するための動画撮像モードとの何れについても設定することができるものとする。すなわち、平面画像撮像モードと全方位画像撮像モードとの何れかの撮像モードが設定されている場合には、ユーザ操作に基づいて、静止画の記録動作および動画の記録動作の何れについても行うことができる。

例えば、平面画像撮像モードが設定されている場合には、撮像部１１０は、特定方向の被写体を撮像して平面画像を生成する。また、全方位画像撮像モードが設定されている場合（アダプタ２００の装着時）には、撮像部１１０は、撮像時における撮像位置を基準とする全方位の被写体を撮像して環状の平面画像（全方位画像）を生成する。この全方位画像には、撮像部１１０の光軸方向の被写体と、表示部１５０の表示面に対向する被写体とが含まれる（例えば、図９、図１０に示す）。なお、撮像部１１０の光軸方向は、表示部１５０における表示面の垂直方向と略一致する。そして、撮像部１１０は、このように生成された画像を画像処理部１７１に出力する。

アダプタ装着検出部１３１は、撮像装置１００の上端部１０１にアダプタ２００が装着されているか否かを検出するものであり、その検出結果（アダプタ装着情報）を制御部１７３に出力する。

画像処理部１７１は、制御部１７３の制御に基づいて撮像部１１０から出力された画像について各種画像処理を行うものであり、撮像部１１０から出力された画像と、画像処理が施された画像とを記録制御部１７４および表示制御部１７５に出力する。また、画像処理部１７１は、撮像モード設定部１７２により設定された撮像モードに応じた画像処理を行う。例えば、画像処理部１７１は、全方位のうち、特定方向を基準として、撮像部１１０により生成された全方位画像における略扇形状の対象領域を特定し、この対象領域の画像を略矩形状の画像（変換画像）に変換する。ここで、特定方向は、撮像時の撮像位置における撮像装置１００の姿勢に基づいて特定される方向であり、例えば、撮像部１１０の光軸方向、表示部１５０における表示面の垂直方向である。また、画像処理部１７１は、撮像部１１０により生成された全方位画像における特定方向が切断されないように対象領域を特定する。例えば、画像処理部１７１は、撮像部１１０の光軸方向の被写体と、表示部１５０における表示面に対向する被写体とのそれぞれが、変換画像における中央位置となるように、全周囲画像の円周方向を４分割する。そして、画像処理部１７１は、その分割された４つの領域を対象領域として特定し、この４つの対象領域の画像をそれぞれ変換して変換画像とする（例えば、図１３に示す）。なお、画像処理部１７１は、ＤＳＰ１７０の信号処理部に対応する。

撮像モード設定部１７２は、制御部１７３の制御に基づいて、撮像部１１０における撮像モードを設定するものである。具体的には、撮像モード設定部１７２は、平面画像撮像モードと、全方位画像撮像モードとの何れかを撮像モードとして設定する。また、アダプタ２００が撮像部１１０に装着されていない場合には、操作受付部１４０により受け付けられるユーザ操作（設定操作）に基づいて撮像モードが設定される。一方、アダプタ２００が撮像部１１０に装着された場合には、全方位画像撮像モードが設定される。すなわち、アダプタ２００の装着が検出された際に、平面画像撮像モードが設定されている場合には、その設定されている撮像モードを解除して、全方位画像撮像モードが設定される。また、アダプタ２００の装着が検出されている状態で、平面画像撮像モードに設定するための設定操作がユーザ操作として行われた場合には、その設定操作が無効とされる。

ここで、撮像装置１００においては、予め搭載されている撮像光学系１１１の特性に応じて、ズーム、フォーカス、露出等を制御するための撮像パラメータの設定が最適化されている。また、撮像装置１００における表示処理の設定や操作制御の設定についても、撮像光学系１１１の特性に応じて設計されている。このため、アダプタ２００が撮像装置１００に装着された場合には、アダプタ２００に搭載されている全方位撮像光学系２１０の特性に応じて、撮像パラメータの設定の変更、表示処理や操作制御の設定の切り替えを行う必要がある。そこで、本発明の第１の実施の形態では、撮像装置１００にアダプタ２０００が装着された場合には、全方位撮像光学系２１０の特性に応じて、撮像装置１００の各種の設定を自動で制御する。すなわち、撮像モードの設定処理では、例えば、撮像部１１０による撮像処理の設定（例えば、撮像処理に関する撮像パラメータの設定）、表示部１５０による表示処理の設定、操作受付部１４０を用いたユーザ操作の制御の設定等が自動で行われるものとする。

制御部１７３は、撮像装置１００全体の制御を行うものである。例えば、制御部１７３は、操作受付部１４０により受け付けられたユーザからの操作入力に応じた制御を行う。なお、制御部１７３は、ＤＳＰ１７０の制御部に対応する。

記録制御部１７４は、制御部１７３の制御に基づいて、画像処理部１７１から出力された画像の圧縮記録処理を行うものである。例えば、記録制御部１７４は、撮像モードが設定されている場合において、録画ボタン１４５（図１等に示す）が押下された場合には、撮像画像（フレーム）を所定の圧縮符号化方式で圧縮する。そして、その圧縮された画像信号を、動画コンテンツとして記録媒体１８５に記録させる。また、記録制御部１７４は、撮像モードが設定されている場合においてシャッターボタン１４２（図２等に示す）が押下された場合には、撮像画像（静止画）を所定の圧縮符号化方式で圧縮し、静止画コンテンツとして記録媒体１８５に記録させる。

表示制御部１７５は、制御部１７３の制御に基づいて、画像処理部１７１から出力された画像または記録媒体１８５に記憶されている画像を表示部１５０に表示させるものである。例えば、表示制御部１７５は、撮像モードが設定されている場合には、画像処理部１７１から出力された画像をスルー画像として表示部１５０に表示させる。また、例えば、表示制御部１７５は、全方位画像撮像モードが設定されている場合には、画像処理部１７１から出力された変換画像および全方位画像を同時にスルー画像（例えば、図１４に示す）として表示部１５０に表示させる。この場合に、表示制御部１７５は、変換画像の切替操作が受け付けられた場合には、その切替操作に応じて表示部１５０に表示されている変換画像を他の変換画像に切り替える。また、表示制御部１７５は、再生モードが設定されている場合には、操作受付部１４０からの再生指示操作に係るコンテンツを記録媒体１８５から取得して圧縮画像データを伸張して表示部１５０に表示させる。なお、記録制御部１７４および表示制御部１７５は、ＤＳＰ１７０の記録再生部に対応する。

［撮像範囲および撮像画像の関係例］
図８は、本発明の第１の実施の形態における撮像装置１００による撮像対象となる撮像範囲と、撮像装置１００により生成される撮像画像との関係を簡略化して示す図である。

図８（ａ）には、アダプタ２００が装着されている撮像装置１００を用いて全方位撮像動作を行っている場合における撮像範囲４００を模式的に示す。また、図８（ｂ）には、図８（ｂ）に示す状態で全方位撮像動作を行っている場合に撮像装置１００により生成される全方位画像４０２（環状画像）を模式的に示す。なお、撮像範囲４００および全方位画像４０２には、これらの対応関係を示すため、☆、○、△等を配置する。

図８に示すように、アダプタ２００が装着されている撮像装置１００を用いて全方位撮像動作を行っている場合には、撮像範囲４００に対応する環状の全方位画像４０２が生成される。この場合には、入出力パネル１５１には、図８（ｂ）に示す全方位画像４０２が表示される（例えば、図１４に示す）。

［撮像画像の撮像動作例］
図９および図１０は、本発明の第１の実施の形態における撮像装置１００を用いて行われる撮像動作と、この撮像動作により生成される撮像画像との関係を示す図である。

図９（ａ）には、撮像装置１００を用いて全方位画像（環状画像）を生成する場合において撮像対象となる場所４１０を上から見た場合における上面図を示す。図９（ｂ）には、図９（ａ）に示す状態で行われる撮像動作を側面から見た場合を示す。場所４１０は、家、木等を含む場所（図９（ｂ）では、家および木を省略する。）であり、図９では、説明の容易のため、これらを簡略化して示す。また、図９では、撮像装置１００にアダプタ２００が装着されている場合における撮像動作例を示す。また、図９では、アダプタ２００が装着されている撮像装置１００を手で持つ人物（撮影者）４１１の正面に人物４１５が位置するように、ユーザが撮像装置１００を操作して全方位画像（環状画像）の撮像動作（全方位撮像動作）を行う例を示す。

図１０（ａ）には、図９に示す全方位撮像動作により生成された全方位画像４２０を示す。すなわち、全方位画像４２０は、人物４１５が上側に配置され、人物４１１が下側に配置された環状画像である。

図１０（ｂ）には、図１０（ａ）に示す全方位画像４２０が径方向の点線４２５により切断されて展開された横長画像４２１を示す。すなわち、横長画像４２１は、人物４１１および人物４１５が全方位画像４２０に対応する位置に配置されたパノラマ画像である。

なお、図９に示す状態で、アダプタ２００が撮像装置１００から取り外された場合には、平面画像が生成される。この平面画像として、例えば、人物４１５が中央に配置された縦長画像が生成される。

ここで、図９に示す状態で、人物４１１が撮像動作を行っている場合には、図１０（ａ）に示す全方位画像４２０が入出力パネル１５１に表示される。この全方位画像４２０とともに、例えば、横長画像４２１を入出力パネル１５１に表示する場合を想定する。この場合には、横長画像４２１が水平方向に長いため、横長画像４２１を縮小させて表示することが考えられる。しかしながら、横長画像４２１を縮小させて表示する場合には、横長画像４２１に含まれる被写体が小さくなり、その詳細な部分を見ることが困難であることも想定される。そこで、横長画像４２１が分割された画像（すなわち、全方位画像４２０が分割されて変換された画像）を表示することが考えられる。例えば、全方位画像４２０を４分割（水平方向の線および垂直方向の線による４分割）するように切断（すなわち、人物４１１、４１５、家、木の位置で切断）して、これらの各画像を表示することが考えられる。しかしながら、このように切断すると、撮影者である人物４１１および主要被写体である人物４１５等が切断されて表示されるため、その表示画像を人物４１１が見難いことも想定される。そこで、本発明の第１の実施の形態では、全方位のうち撮像位置における撮像装置１００の姿勢に基づいて特定される特定方向を基準として全方位画像４２０における略扇形状の対象領域を特定し、この対象領域の画像を略矩形状の画像に変換して表示する例を示す。この場合には、全方位画像４２０における特定方向が切断されないように、全方位画像４２０における略扇形状の対象領域が特定される。

すなわち、ドーナッツ型に歪んだ全方位画像を変換する場合には、歪みを補正する必要がある。この場合に、全方位画像における９０度分の領域（変換画像の対象領域）を特定して、対象領域の画像について変換を行うことができる。ここで、例えば、撮像装置１００の背面側には入出力パネル１５１があるため、撮像装置１００の背面側に撮影者が位置する確率が高い。また、撮像装置１００において、撮像方向（光軸方向）に対して直線的に入出力パネル１５１が配置されている。このため、撮影者が入出力パネル１５１を直視することができる位置で撮像装置１００を持って撮像動作を行っている場合には、撮影者と、その正面に位置する被写体（主要被写体）の位置が分断されないように変換画像を生成することが重要である。例えば、撮像装置１００の正面（光軸方向）を中心として、全方位画像における９０度の領域を特定して、９０度毎の領域（４つの領域）を特定することができる。これにより、撮影者自身や、通常の撮像動作時における正面の被写体が、表示画像における中心位置に配置されるようにすることができる。

また、撮像装置１００を用いて撮像動作を行う場合には、複数種類の撮像画像を記録することができる。例えば、人物４１１が、人物４１５を主要被写体とする複数種類の撮像画像を記録する撮像動作を行う場合を想定する。例えば、平面画像を記録するための撮像動作を行った後に、図１０（ａ）に示す全方位画像４２０を記録するための撮像動作を行うことも想定される。この場合には、人物４１１は、最初に、アダプタ２００を装着せずに撮像装置１００を縦長状態とし、平面画像撮像モードを設定して撮像動作（例えば、動画撮像動作）を行う。続いて、人物４１１は、アダプタ２００を装着して撮像装置１００の縦長状態を維持し、全方位画像撮像モードを設定して撮像動作（例えば、動画撮像動作）を行う。

しかしながら、人物４１１が平面画像の撮像動作を終了した後に、アダプタ２００の装着のみを行い、全方位画像撮像モードの設定操作を忘れた状態で撮像動作を開始することも想定される。また、アダプタ２００を装着して全方位撮像動作を行った後に、アダプタ２００の取り外しを忘れた状態で、他の撮像モード（例えば、平面画像撮像モード）を設定して撮像動作を開始することも想定される。このような場合には、適切な撮像画像を記録することができないおそれがある。そこで、本発明の第１の実施の形態では、アダプタ２００の装着時には、適切な撮像モードを自動的に設定する。

［全周囲画像からパノラマ画像への変換例］
図１１は、本発明の第１の実施の形態における画像処理部１７１による変換処理の対象となる全方位画像（環状画像）と、その変換後のパノラマ画像との関係を示す図である。図１１（ａ）には、撮像部１１０により生成された全方位画像４５０を示し、図１１（ｂ）には、全方位画像４５０が変換されて生成されるパノラマ画像４６０を示す。

図１１では、撮像部１１０により生成された全方位画像４５０を含む矩形４５１の左上隅を原点（０，０）とし、横軸をｘ軸とし、縦軸をｙ軸とするｘｙ座標上において、全方位画像４５０を変換する場合を例にして説明する。図１１では、パノラマ画像４６０のｘ軸方向は、全方位画像４５０の周方向に対応し、パノラマ画像４６０のｙ軸方向は、全方位画像４５０の径方向に対応するものとして変換処理を行う例について説明する。

図１１（ａ）に示す全方位画像４５０に対応する円の中心座標ＯＰ１を（ｘ０，ｙ０）とし、全方位画像４５０に対応する円の半径をｒとする。また、全方位画像４５０に対応する円の内径（半径ｒｏ１）と、基線ＡＢ１との交点を座標ＯＰ２とし、全方位画像４５０に対応する円の外径（半径ｒ）と、基線ＡＢ１との交点を座標ＯＰ３とする。なお、基線ＡＢ１は、全方位画像からパノラマ画像への変換処理を行う場合に基準となる線であり、全方位画像に対応する円の径方向の線とする。また、図１１（ｂ）に示すパノラマ画像４６０のｘ軸方向の長さ（画素数）をＷ１とし、ｙ軸方向の長さ（画素数）をＨ１とする。

ここで、図１１（ａ）に示す全方位画像４５０における座標ＡＰｍ（ｘｍ，ｙｍ）は、次の式１により求めることができる。

ここで、ｒｍは、中心座標ＯＰ１から座標ＡＰｍ（ｘｍ，ｙｍ）までの距離を示す値である。また、θは中心座標ＯＰ１および座標ＡＰｍ（ｘｍ，ｙｍ）を結ぶ線分と、基線ＡＢ１が成す角度を示す値である。

ここで、全方位画像４５０における座標ＯＰ２をパノラマ画像４６０の基準位置（０，０）に対応させる場合、パノラマ画像４６０におけるｘ軸方向の変化（０〜Ｗ１）は、全方位画像４５０における周方向の変化（０〜２πｒ）に対応する。また、パノラマ画像４６０におけるｙ軸方向の変化（０〜Ｈ１）は、全方位画像４５０における径方向の変化（ｒｏ１〜ｒ）に対応する。また、ｘ軸上の位置が０からＷ１までリニアに変化させる場合に、周方向の位置が０から２πｒまでリニアに変化する特性を有するものとする。また、ｙ軸上の位置を０からＨ１までリニアに変化させる場合に、径方向の位置がｒ０１からｒまでリニアに変化する特性を有するものとする。

この場合には、図１１（ｂ）に示すパノラマ画像４６０における座標ＢＰ（ｘｊ，ｙｊ）は、次の式２および式３により、全方位画像４５０における座標ＡＰ（ｒｊ，θｊ）となる。
ｒｊ＝（ｒ−ｒ０１）×（ｙｊ／Ｈ１） … 式２
θｊ＝２πｒ×（ｘｊ／Ｗ１） … 式３

このように、変換後のパノラマ画像４６０における座標ＢＰｍ（ｘｊ，ｙｊ）に対応する全方位画像４５０における座標ＡＰ（ｒｊ，θｊ）を算出することができる。このため、パノラマ画像４６０における各座標に対応する全方位画像４５０における座標を求め、この座標の画素データを読み出すことにより、全方位画像４５０をパノラマ画像４６０に変換することができる。ここで、求められた座標が画素と画素との間となる場合には、求められた座標の周囲に位置する画素データを用いて補間処理等を行うことにより、求められた座標に対応する画素データを生成する。また、この生成された画像データについて適宜歪み補正等の補正処理が行われる。

なお、図１１では、環状画像をパノラマ画像に変換する変換例を示したが、全方位画像として円状画像をパノラマ画像に変換する場合についても略同様に行うことができる。このように、円状画像をパノラマ画像に変換する場合には、例えば、パノラマ画像４６０におけるｙ軸方向の変化（０〜Ｈ１）を、全方位画像４５０における径方向の変化（０〜ｒ）に対応するものとして変換処理を行う。また、他の変換方法により全方位画像をパノラマ画像に変換するようにしてもよい。

［全方位画像の変換例］
図１２は、本発明の第１の実施の形態における画像処理部１７１による変換処理の対象となるパノラマ画像と、これに対応する変換画像との関係を示す図である。

図１３は、本発明の第１の実施の形態における画像処理部１７１による変換処理の対象となる全方位画像と、その変換後の画像（変換画像）との関係を示す図である。

図１２（ａ）には、画像処理部１７１による変換処理により生成されたパノラマ画像４７０を示し、図１２（ｂ）には、パノラマ画像４７０に対応する変換画像４７５乃至４７８を示す。

図１３（ａ）には、撮像部１１０により生成された全方位画像４８０を示す。この全方位画像４５０は、図１０（ａ）と同様である。また、図１３（ｂ）には、全方位画像４８０が分割されて生成される変換画像４７５乃至４７８を示す。

上述した変換処理により全方位画像４８０からパノラマ画像４７０が生成される。ここで、パノラマ画像４７０は、通常の画像よりも特定方向（例えば、水平方向）に長い画像であるため、パノラマ画像４７０の全体を表示する場合には、他の画像よりも縮小した画像を表示することになる。このため、パノラマ画像４７０における各部を詳細に見ることができない。

そこで、図１２（ａ）に示す分割線４７１乃至４７３を境界として、パノラマ画像４７０を分割して、この分割後の変換画像４７５乃至４７８を表示画像として用いることができる。この場合には、画像処理部１７１は、上述した変換処理により全方位画像４８０からパノラマ画像４７０を生成し、このパノラマ画像４７０を分割することにより変換画像４７５乃至４７８を生成することができる。また、図１３に示すように、全方位画像４８０から変換画像４７５乃至４７８を直接生成するようにしてもよい。

ここで、図１３（ａ）に示す点線４８１および４８２は、図１２（ａ）に示す分割線４７１乃至４７３に対応する線である。上述したように、撮影者である人物４１１および主要被写体である４１５等が切断されると、表示画像を人物４１１が見難いことが想定されるため、本発明の第１の実施の形態では、人物４１１および４１５等が切断されないようにする。すなわち、水平方向の線および垂直方向の線を４５度回転させた線（点線４８１および４８２）を境界とする。なお、本発明の第１の実施の形態では、人物４１１および４１５等が切断されないように全方位画像を４分割する例を示すが、４分割以外に分割するようにしてもよい。例えば、水平方向の線により２分割を行うようにしてもよい。この場合には、全方位画像４８０における家や木が切断されるが、主要被写体である人物４１１および４１５は切断されないため、人物４１１が受ける影響は少ないと想定される。

このように、画像処理部１７１は、全方位画像の円周方向を複数に分割し、この分割された複数の領域を対象領域として特定して変換画像を複数生成する。また、画像処理部１７１は、全方位画像の円周方向における特定方向に対応する位置が、変換画像（略矩形状の画像）における特定位置（例えば、水平方向における中心位置）となるように変換画像を生成する。

［全方位画像および変換画像の表示例］
図１４は、本発明の第１の実施の形態における入出力パネル１５１に表示される全方位画像および変換画像の表示例を示す図である。図１４では、図１２および図１３に示す全方位画像４８０および変換画像４７５を表示する例を示す。

例えば、撮像装置１００を用いた全方位画像の撮像動作時において、表示制御部１７５が、全方位画像４８０および変換画像４７５をスルー画像として入出力パネル１５１に表示させる。この場合に、全方位画像４８０上には、変換画像４７５に対応する位置を表すＶ字アイコン４８５が重ねて表示される。Ｖ字アイコン４８５は、図１５に示すように、切替操作により変換画像が切り替えられた場合には、この切替に応じて変更される。

［変換画像の切替例］
図１５は、本発明の第１の実施の形態における入出力パネル１５１に表示される変換画像を切り替える際における切替例を示す図である。図１５では、図１４に示すように、全方位画像４８０および変換画像４７５がスルー画像として表示されている場合に、ユーザ操作に基づいて変換画像４７５乃至４７８の何れかに表示を切り替える例を示す。

例えば、３つの操作ボタンにより構成される操作ボタン群１４３のうち、１つの操作ボタン（右端の操作ボタン）を用いることにより、変換画像４７５乃至４７８の表示状態を順次変更（矢印４９１乃至４９４に示す）することができる。また、操作ボタン群１４３のうち、他の操作ボタン（左端の操作ボタン）を用いることにより、変換画像４７５乃至４７８の表示状態を順次変更（矢印４９５乃至４９８に示す）することができる。なお、図１４に示す操作ボタン群１４３の上側に付されている操作アイコンと、図１５に示す矢印４９１乃至４９８付近に付されている操作アイコンとは対応するものとする。また、全方位画像４８０上には、Ｖ字アイコン（図１４に示すＶ字アイコン４８５）が表示され得る位置を点線４８１、４８２で示す。

このように、撮像動作時において、全方位画像とともに、この全方位画像の変換処理により生成されるパノラマ画像の一部の画像（変換画像）をユーザが見ることができる。これにより、撮像動作中において、全方位画像におけるユーザが所望する領域の細部をユーザが容易に確認することができる。すなわち、本発明の第１の実施の形態によれば、全方位撮像光学系２１０を用いて生成された全方位画像を把握し易くすることができる。

なお、図１４および図１５では、全方位画像および変換画像を同時に表示する例を示したが、例えば、ユーザ操作に基づいて変換画像のみを表示させるようにしてもよい。また、このように全方位画像の撮像動作が行われている場合において記録指示操作が行われた場合には、全方位画像のみが記録される。ただし、全方位画像とともに表示対象となった変換画像を関連付けて記録するようにしてもよい（例えば、同一ファイルまたは異なるファイルに記録）。この場合には、例えば、全方位画像および変換画像を同期して表示することができるように、各ファイルの付随情報として時間情報、同期情報（全方位画像および変換画像を同期して表示させるための情報）等を含めておくようにする。

［全方位画像および変換画像の表示例］
以上では、撮像動作中において、全方位画像および変換画像を同時に表示する例を示した。この全方位画像の撮像動作により記録された全方位画像コンテンツについては、その再生時においても同様に、全方位画像および変換画像を同時または順次表示することができる。なお、全方位画像および変換画像を同時に順次表示する例については、図１４および図１５と略同様であるため、ここでの説明を省略する。図１６では、変換画像を順次表示する表示例を示す。

図１６は、本発明の第１の実施の形態における入出力パネル１５１に表示される全方位画像および変換画像の表示例を示す図である。図１６では、撮像装置１００を横長状態（例えば、図１の矢印１０２および１０３方向に９０度回転させた状態）とした場合における入出力パネル１５１の表示例を示す。また、図１６では、図１２および図１３に示す変換画像４７７および変換画像４７８を表示する例を示す。例えば、最初に、図１２等に示す変換画像４７５が横長状態で入出力パネル１５１に表示される。この表示後に、上述したように切替操作を行うことにより、変換画像４７６乃至変換画像４７８に順位切り替えることができる。この切替操作により、変換画像４７７および変換画像４７８を表示させることができる。この場合に、表示画面の左上には、Ｖ字アイコン５００が表示される。Ｖ字アイコン５００は、図１４に示すＶ字アイコン４８５と同様に、表示されている変換画像に対応する位置を表すアイコンである。これにより、表示されている変換画像が、全方位画像におけるどの位置に対応するものであるかをユーザが容易に把握することができる。すなわち、全方位撮像光学系２１０を用いて生成された全方位画像を把握し易くすることができる。

［撮像装置の動作例］
次に、本発明の第１の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図１７は、本発明の第１の実施の形態における撮像装置１００による全方位画像の撮像動作制御処理の処理手順の一例を示すフローチャートである。この例では、撮像装置１００にアダプタ２００が装着され、撮像モード設定部１７２により全方位画像撮像モードが設定されている場合を例にして示す。また、この例では、動画撮像動作を行う例を示す。

最初に、撮像動作の開始操作が行われたか否かが判断され（ステップＳ９０１）、撮像動作の開始操作が行われていない場合には、監視を継続して行う。撮像動作の開始操作が行われた場合には（ステップＳ９０１）、撮像部１１０が撮像処理を行い、全方位画像（環状画像）を生成する（ステップＳ９０２）。なお、ステップＳ９０２は、特許請求の範囲に記載の取得手順の一例である。

続いて、画像処理部１７１が、生成された全方位画像における略扇形状の対象領域を特定し、この対象領域の画像を略矩形状の画像（変換画像）に変換する（ステップＳ９０３）。この場合には、全方位画像における全ての領域を対象領域（例えば、４つの領域）として、変換画像を生成するようにしてもよく、全方位画像における表示対象となる領域のみを対象領域（例えば、１つの領域）として変換画像を生成するようにしてもよい。なお、ステップＳ９０３は、特許請求の範囲に記載の画像処理手順の一例である。

続いて、表示制御部１７５が、変換画像および全方位画像を同時に表示部１５０に表示させる（ステップＳ９０４）。なお、ステップＳ９０４は、特許請求の範囲に記載の表示制御手順の一例である。続いて、記録制御部１７４が、全方位画像を動画ファイルとして記録媒体１８５に記録させる（ステップＳ９０５）。

続いて、表示部１５０に表示されている変換画像の表示切替操作が行われたか否かが判断され（ステップＳ９０６）、その表示切替操作が行われていない場合には、ステップＳ９０８に進む。一方、その表示切替操作が行われた場合には（ステップＳ９０６）、表示制御部１７５は、表示対象となる変換画像を変更して表示部１５０に表示させる（ステップＳ９０７）。この場合に、表示対象となる変換画像が生成されていない場合には、画像処理部１７１により順次生成される。

続いて、撮像動作の終了操作が行われたか否かが判断され（ステップＳ９０８）、撮像動作の終了操作が行われていない場合には、ステップＳ９０２に戻る。一方、撮像動作の終了操作が行われた場合には（ステップＳ９０８）、全方位画像の撮像動作制御処理の動作を終了する。

＜２．第２の実施の形態＞
本発明の第１の実施の形態では、全方位画像の撮像動作中に、全方位画像およびその変換画像をスルー画像として表示する例を示した。また、その撮像動作により記録された全方位画像およびその変換画像を撮像装置により再生する例を示した。ここで、その撮像動作により記録された全方位画像ファイル（全方位画像コンテンツ）については、他の装置（画像処理装置）を用いて再生が行われることも想定される。この場合についても、全方位画像およびその変換画像を表示させることが可能である。そこで、本発明の第２の実施の形態では、画像処理装置により全方位画像およびその変換画像を表示させる例を示す。

［画像処理装置の構成例］
図１８は、本発明の第２の実施の形態における画像処理装置８００の機能構成例を示すブロック図である。画像処理装置８００は、例えば、各放送局からの放送波を受信して各種画像を表示するテレビジョン受像機（例えば、録画機能を備えるテレビジョン受像機）により実現される。

画像処理装置８００は、制御部８１０と、操作受付部８２０と、コンテンツ記憶部８３０と、取得部８４０と、画像処理部８５０と、表示制御部８６０と、表示部８７０とを備える。本発明の第２の実施の形態では、本発明の第１の実施の形態における撮像装置１００により記録された全方位画像コンテンツ（画像データ（映像データ）および音声データ）を用いて、全方位画像およびその変換画像を表示する例について説明する。なお、図１８では、説明の容易のため、各種の音声情報を出力するスピーカ等については、その図示および説明を省略する。

制御部８１０は、操作受付部８２０により受け付けられた操作入力に基づいて、画像処理装置８００の各部を制御するものである。例えば、制御部８１０は、全方位画像を表示するための表示指示操作が受け付けられた場合には、その表示指示操作に係る全方位画像を表示部８７０に表示させるための制御を行う。また、制御部８１０は、全方位画像およびその変換画像を表示するための表示指示操作が受け付けられた場合には、その表示指示操作に係る全方位画像およびその変換画像を表示部８７０に表示させるための制御を行う。また、制御部８１０は、表示部８７０に表示されている変換画像を切り替える切替操作が受け付けられた場合には、その切替操作に応じて変換画像を切り替えるための制御を行う。

操作受付部８２０は、ユーザによる操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作信号を制御部８１０に供給する。

コンテンツ記憶部８３０は、各種コンテンツを記憶する記憶部であり、記憶されているコンテンツを取得部８４０に供給する。例えば、コンテンツ記憶部８３０は、全方位画像を表示するためのコンテンツ（全方位画像コンテンツ）を記憶する。この全方位画像コンテンツは、例えば、撮像装置１００により記録され、記録媒体（メモリカード１８０等）またはネットワークを介してコンテンツ記憶部８３０に記録される。

取得部８４０は、制御部８１０の制御に基づいて、コンテンツ記憶部８３０に記憶されている各種情報を取得するものであり、取得された情報を各部に供給する。例えば、取得部８４０は、コンテンツ記憶部８３０から全方位画像コンテンツを取得した場合には、その全方位画像コンテンツを画像処理部８５０に供給する。

画像処理部８５０は、制御部８１０の制御に基づいて、取得部８４０から供給された全方位画像コンテンツを用いて変換画像（表示対象画像）を生成するものであり、生成された変換画像と全方位画像とを表示制御部８６０に出力する。すなわち、画像処理部８５０は、全方位のうち、撮像位置における撮像装置１００の姿勢に基づいて特定される特定方向を基準として全方位画像における略扇形状の対象領域を特定し、この対象領域の画像を略矩形状の画像に変換して表示対象画像とする。なお、画像の変換方法については、本発明の第１の実施の形態と同様であるため、ここでの詳細な説明を省略する。

表示制御部８６０は、操作受付部８２０により受け付けられた操作入力に応じて、コンテンツ記憶部８３０に記憶されているコンテンツを表示するための表示処理を行うものである。例えば、表示制御部８６０は、全方位画像を表示するための表示指示操作が受け付けられた場合には、その表示指示操作に係る全方位画像を表示部８７０に表示させる。また、表示制御部８６０は、全方位画像およびその変換画像を表示するための表示指示操作が受け付けられた場合には、その表示指示操作に係る全方位画像およびその変換画像を同時に表示部８７０に表示させる。また、表示制御部８６０は、表示部８７０に表示されている変換画像を切り替える切替操作が受け付けられた場合には、その切替操作に応じて変換画像を切り替える。

表示部８７０は、表示制御部８６０の制御に基づいて、各種画像を表示する表示部である。表示部８７０は、例えば、ＬＣＤ（Liquid Crystal Display）等の表示素子により実現することができる。また、例えば、表示部８７０として、表示画面が比較的広いものを用いることができる。

［全方位画像および変換画像の表示例］
図１９は、本発明の第２の実施の形態における表示部８７０に表示される全方位画像および変換画像の表示例を示す図である。

図１９（ａ）には、全方位画像８８１とともに２つの変換画像８８２、８８３を表示部８７０に表示する例を示す。また、表示されている変換画像８８２、８８３に対応する全方位画像８８１における位置を表すＴ字型アイコン８８４が全方位画像８８１上に配置して表示される。

図１９（ｂ）には、全方位画像８９１とともに４つの変換画像８９２乃至８９５を表示部８７０に表示する例を示す。また、表示されている変換画像８９２乃至８９５に対応する全方位画像８９１における位置を表す×型アイコン８９６が全方位画像８９１上に配置して表示される。

なお、図１９に示す全方位画像８８１、８９１は、図１３（ａ）等に示す全方位画像４８０と同一であり、図１９に示す変換画像８８２、８８３、８９２乃至８９５は、図１３（ｂ）等に示す変換画像４７５乃至４７８と同一である。

なお、図１９に示す表示例は一例であり、他の表示態様により全方位画像および変換画像を表示させるようにしてもよい。また、ユーザ操作に基づいて、全方位画像および変換画像の配置を適宜変更するようにしてもよい。

このように、表示画面が比較的広い表示部８７０を備える画像処理装置８００を用いて全方位画像コンテンツを再生する場合には、全方位画像とともに、比較的多くの変換画像を表示させてもユーザに見易くさせることができる。このため、ユーザの好みに応じて、全方位画像とともに各種の表示態様により変換画像を表示させることができる。これにより、全方位撮像光学系を用いて生成された全方位画像を把握し易くすることができる。

なお、各種画像を表示することが可能な携帯電話機、ナビゲーションシステム、携帯型メディアプレイヤー等の撮像装置（例えば、撮像機能付電子機器）に本発明の実施の形態を適用することができる。また、外部表示装置に画像データを出力してその表示装置に各種画像を表示させるＤＶＤ再生装置等の画像処理装置に本発明の実施の形態を適用することができる。

また、本発明の実施の形態では、全方位画像として環状画像を生成して表示する例にして説明したが、全方位画像として円状画像を生成して表示する場合についても本発明の実施の形態を適用することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

１００ 撮像装置
１０１ 上端部
１１０ 撮像部
１１１ 撮像光学系
１１２ 撮像素子
１１３ ＴＧ
１１４、１１５ 光学部品駆動部
１３０ ホールセンサ
１３１ アダプタ装着検出部
１４０ 操作受付部
１４１ 電源スイッチ
１４２ シャッターボタン
１４３ 操作ボタン群
１４４ 上下左右ボタン
１４５ 録画ボタン
１５０ 表示部
１５１ 入出力パネル
１６１ フラッシュＲＯＭ
１６２ ＤＲＡＭ
１７１ 画像処理部
１７２ 撮像モード設定部
１７３ 制御部
１７４ 記録制御部
１７５ 表示制御部
１８０ メモリカード
１８５ 記録媒体
２００ アダプタ
２０１ 磁石
２１０ 全方位撮像光学系
２２０ カバー
２３０ 取付部
２４０ ミラー
８００ 画像処理装置
８１０ 制御部
８２０ 操作受付部
８３０ コンテンツ記憶部
８４０ 取得部
８５０ 画像処理部
８６０ 表示制御部
８７０ 表示部

Claims (12)

1. 撮像時における撮像位置を基準とする全方位の被写体を撮像して前記全方位の被写体を含む円状画像を生成する撮像部と、
   前記全方位のうち前記撮像位置における撮像装置の姿勢に基づいて特定される特定方向を基準として前記生成された円状画像における略扇形状の対象領域を特定して当該対象領域の画像を略矩形状の画像に変換する画像処理部と、
   前記変換された画像である変換画像と前記生成された円状画像とを同時に表示部に表示させる表示制御部と
   を具備する撮像装置。
2. 前記画像処理部は、前記生成された円状画像における前記特定方向が切断されないように前記対象領域を特定する請求項１記載の撮像装置。
3. 前記撮像部は、その光軸方向の被写体を含む前記全方位の被写体を撮像するための全方位撮像光学系を備えるアダプタが装着された状態で前記円状画像を生成し、
   前記画像処理部は、前記撮像位置を基準とする場合に前記光軸方向を前記特定方向とする
   請求項２記載の撮像装置。
4. 前記撮像装置は、前記表示部を備え、
   前記光軸方向は、前記表示部における表示面の垂直方向と略一致し、
   前記撮像部は、前記アダプタが装着された状態で前記光軸方向の被写体と前記表示面に対向する被写体とを含む前記円状画像を生成する
   請求項３記載の撮像装置。
5. 前記画像処理部は、前記光軸方向の被写体と前記表示面に対向する被写体とのそれぞれが前記変換画像における中央位置となるように、前記生成された円状画像の円周方向を４分割して当該分割された４つの領域を前記対象領域として特定する請求項４記載の撮像装置。
6. 前記表示制御部は、前記変換画像と前記生成された円状画像とを当該円状画像の撮像動作時に前記表示部に表示させる請求項１記載の撮像装置。
7. 前記表示部における表示状態を切り替える切替操作を受け付ける操作受付部をさらに具備し、
   前記画像処理部は、前記生成された円状画像の円周方向を複数に分割して当該分割された複数の領域を前記対象領域として特定して前記変換画像を複数生成し、
   前記表示制御部は、前記切替操作が受け付けられた場合には当該切替操作に応じて前記表示部に表示されている変換画像を他の変換画像に切り替える
   請求項１記載の撮像装置。
8. 前記画像処理部は、前記生成された円状画像の円周方向における前記特定方向に対応する位置が前記略矩形状の画像における前記特定位置となるように前記略扇形状の対象領域を特定する請求項１記載の撮像装置。
9. 前記撮像部は、前記全方位の被写体を含む画像が環状に配置されている画像を前記円状画像として生成する請求項１記載の撮像装置。
10. 撮像装置の撮像時における撮像位置を基準とする全方位の被写体を撮像して生成された前記全方位の被写体を含む円状画像を取得する取得部と、
    前記全方位のうち前記撮像位置における前記撮像装置の姿勢に基づいて特定される特定方向を基準として前記取得された円状画像における略扇形状の対象領域を特定して当該対象領域の画像を略矩形状の画像に変換して表示対象画像とする画像処理部と
    を具備する画像処理装置。
11. 撮像装置の撮像時における撮像位置を基準とする全方位の被写体を撮像して生成された前記全方位の被写体を含む円状画像を取得する取得手順と、
    前記全方位のうち前記撮像位置における前記撮像装置の姿勢に基づいて特定される特定方向を基準として前記取得された円状画像における略扇形状の対象領域を特定して当該対象領域の画像を略矩形状の画像に変換する画像処理手順と、
    前記変換された画像と前記取得された円状画像とを同時に表示部に表示させる表示制御手順と
    を具備する画像処理方法。
12. 撮像装置の撮像時における撮像位置を基準とする全方位の被写体を撮像して生成された前記全方位の被写体を含む円状画像を取得する取得手順と、
    前記全方位のうち前記撮像位置における前記撮像装置の姿勢に基づいて特定される特定方向を基準として前記取得された円状画像における略扇形状の対象領域を特定して当該対象領域の画像を略矩形状の画像に変換する画像処理手順と、
    前記変換された画像と前記取得された円状画像とを同時に表示部に表示させる表示制御手順と
    をコンピュータに実行させるプログラム。

Images