JP5407640B2 - 画像対応装置、動作設定方法、プログラム - Google Patents

Description

本発明は、例えば撮像により得られる画像の内容に基づいてしかるべき動作を実行するようにされた画像対応装置と、動作設定の方法に関する。また、このような画像対応装置に所要の手順を実行させるためのプログラムに関する。

先に本出願人は、特許文献１に示す自動撮像記録のための構成を提案している。つまり、撮像装置により得られる撮像画像データの画像中に存在する被写体を検出し、この検出された被写体を撮像記録しようというものである。

特開２００９−１００３００号公報

本願発明としては、上記のような自動撮像記録動作について、例えばユーザにとって有益な機能を提供してさらに充実を図ることを、その課題とする。

そこで本発明は上記した課題を考慮して、画像対応装置として次のように構成する。
つまり、撮像に基づいて得られる画像データ、及びこの画像データの画像において検出される被写体についての情報を入力して、所定の限界位置状態の場合の上記画像における上記被写体の位置に基づいて実行すべき動作を決定する動作決定手段と、上記画像データの画像において検出される被写体を含む上記画像の構図を判定する構図判定手段と、判定された構図に応じた画像内被写体位置が得られるように、撮像部の撮像視野範囲を変更する可動機構部を駆動制御する、被写体位置制御手段とを備え、上記限界位置状態は、上記可動機構部が可動限界位置にある状態とされたうえで、上記動作決定手段は、上記画像データの画像における上記被写体の位置について、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないときに応じて実行すべき動作を決定し、上記被写体位置制御手段による上記可動機構部の駆動制御の結果、上記可動限界位置に到達してから、所定時間を経過するまで、判定された構図に応じた上記画像内被写体位置が得られなかったことをもって、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別する、こととした。

上記構成によっては、所定の限界位置状態に対応して得られるとされる画像データの画像における被写体の位置に基づいて、画像データに関連した所要の動作を決定するようにされている。

これにより、例えば本願発明によっては、画像対応装置について、画像内容に対応した適切な動作が自動的に実行されることになる。これを、例えば撮像システムなどの自動撮像記録に適用すれば、この自動撮像記録機能についてさらに充実が図られる。

実施形態の撮像システムを成す撮像装置であるデジタルスチルカメラの外観を簡単に示す正面図及び背面図である。 実施形態の撮像システムを成す雲台の外観例を示す斜視図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す正面図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を、パン方向における動きの態様例とともに示す平面図である。 実施形態の撮像システムとして、雲台にデジタルスチルカメラが取り付けられた形態例を示す側面図である。 デジタルスチルカメラの構成例を示すブロック図である。 雲台の構成例を示すブロック図である。 実施の形態のデジタルスチルカメラが構図制御に対応して備えるものとされる機能をブロック単位の構成により示す図である。 本実施形態の基本となる自動撮像記録のためのアルゴリズムの一例を示すフローチャートである。 判定された構図と、チルト角度の制限によって実際に得られる画内容の例とを比較して示す図である。 図１０（ｂ）の画内容に対応したデジタルスチルカメラと被写体との位置関係例を示す図である。 第１実施形態としての自動撮像記録のためのアルゴリズム例を示すフローチャートである。 第２実施形態としての自動撮像記録のためのアルゴリズム例を示すフローチャートである。 第３実施形態としての自動撮像記録のためのアルゴリズム例を示すフローチャートである。 パン方向での限界位置において判定構図が得られないときの、デジタルスチルカメラと被写体との位置関係例を示す図である。 図１５に示すデジタルスチルカメラと被写体の位置関係に応じて得られる撮像画像データの画内容例を示す図である。 第４実施形態としての自動撮像記録のためのアルゴリズム例を示すフローチャートである。 被写体の絶対位置情報を検出するための手法例を説明するための図である。 実施の形態の撮像システムの変形例としての構成例を示す図である。 実施の形態の撮像システムの他の変形例としての構成例を示す図である。 実施の形態の応用例としての編集装置の構成例を示す図である。 図２１の編集装置による画像データのトリミング処理例を説明するための図である。

以下、本願発明を実施するための形態（以下、実施形態という）について、下記の順により説明する。
＜１．撮像システムの構成＞
［１−１．全体構成］
［１−２．デジタルスチルカメラ］
［１−３．雲台］
＜２．実施形態の構図制御に対応する機能構成例＞
＜３．自動撮像記録の基本アルゴリズム例＞
＜４．第１実施形態＞
＜５．第２実施形態＞
＜６．第３実施形態＞
＜７．第４実施形態＞
＜８．本実施形態の撮像システムの変形例＞
＜９．本実施形態の応用：トリミング処理＞

また、本明細書においては、以降の説明にあたり、画枠、画角、撮像視野範囲、構図なる語を用いることとする。
画枠は、例えば画像が嵌め込まれるようにしてみえる一画面相当の領域範囲をいい、一般には縦長若しくは横長の長方形としての外枠形状を有する。
画角は、ズーム角などともいわれるもので、撮像装置の光学系におけるズームレンズの位置によって決まる画枠に収まる範囲を角度により表したものである。一般的には、撮像光学系の焦点距離と、像面（イメージセンサ、フィルム）のサイズによって決まるものとされているが、ここでは、焦点距離に対応して変化し得る要素を画角といっている。
撮像視野範囲は、定位置に置かれた撮像装置により撮像して得られる画像の画枠に収まる範囲について、上記の画角に加え、パン（水平）方向における振り角度と、チルト（垂直）方向における角度（仰角、俯角）により決まるものをいう。
構図は、ここでは、フレーミングともいわれるもので、例えば撮像視野範囲によって決まる画枠内における被写体についてのサイズ設定も含めたうえでの配置状態をいう。

また、本実施形態としては、本願発明に基づく構成を、デジタルスチルカメラと、このデジタルスチルカメラが取り付けられる雲台とからなる撮像システムに適用した場合を例に挙げることとする。

＜１．撮像システムの構成＞
［１−１．全体構成］
本実施形態の撮像システムは、デジタルスチルカメラ１と、このデジタルスチルカメラ１が載置される雲台１０から成る。
先ず、図１にデジタルスチルカメラ１の外観例を示す。図１（ａ）、（ｂ）は、それぞれデジタルスチルカメラ１の正面図、背面図となる。
この図に示されるデジタルスチルカメラ１は、先ず、図１（ａ）に示すように、本体部２の前面側においてレンズ部２１ａを備える。このレンズ部２１ａは、撮像のための光学系として本体部２の外側に表出している部位である。

また、本体部２の上面部には、レリーズボタン３１ａが設けられている。撮像モードにおいてはレンズ部２１ａにより撮像された画像（撮像画像）が画像信号として生成される。そして、この撮像モードにおいてレリーズボタン３１ａに対する操作が行われると、この操作タイミングのときに得られていたとする撮像画像が、静止画の画像データとして記憶媒体に記録される。つまり、写真撮影が行われる。

また、デジタルスチルカメラ１は、図１（ｂ）に示すようにして、その背面側に表示画面部３３ａを有する。
この表示画面部３３ａには、撮像モード時においては、スルー画などといわれ、そのときにレンズ部２１ａにより撮像している画像が表示される。また、再生モード時においては、記憶媒体に記録されている画像データが再生表示される。さらに、ユーザがデジタルスチルカメラ１に対して行った操作に応じて、ＧＵＩ(Graphical User Interface)としての操作画像が表示される。

なお、本実施形態のデジタルスチルカメラ１は、表示画面部３３ａに対してタッチパネルが組み合わされているものとする。これにより、ユーザは、表示画面部３３ａに対して指を当てることによって、しかるべき操作を行うことができる。

また、本実施形態の撮像システム(撮像装置)は、このデジタルスチルカメラ１としての撮像部と、次に説明する雲台１０としての可動機構部(可動装置部)から成るものとしているが、ユーザは、デジタルスチルカメラ１単体のみを使用しても、通常のデジタルスチルカメラと同じように、写真撮影を行うことができる。

図２は、雲台１０の外観を示す斜視図である。また、図３〜図５は、本実施形態の撮像システムの外観として、雲台１０に対してデジタルスチルカメラ１が適切な状態で載置された状態を示している。図３は正面図、図４は平面図、図５（ａ）は側面図であり、図５（ｂ）は側面図によりチルト機構の可動範囲を示したものである。

図２、及び図３，図４，図５（ａ）に示すように、雲台１０は、大きくは接地台部１５の上に本体部１１が組み合わされたうえで、さらに本体部１１に対してカメラ台座部１２が取り付けられた構造を有する。

雲台１０にデジタルスチルカメラ１を載置しようとするときには、デジタルスチルカメラ１の底面側を、カメラ台座部１２の上面側に対して置くようにようにする。
この場合のカメラ台座部１２の上面部には、図２に示すようにして、突起部１３とコネクタ１４が設けられている。
その図示は省略するが、デジタルスチルカメラ１の本体部２の下面部には、突起部１３と係合する孔部が形成されている。デジタルスチルカメラ１がカメラ台座部１２に対して適正に置かれた状態では、この孔部と突起部１３とが係合した状態となる。この状態であれば、通常の雲台１０のパンニング・チルティングの動作であれば、デジタルスチルカメラ１が雲台１０からずれたり、外れてしまったりすることがないようにされている。

また、デジタルスチルカメラ１においては、その下面部の所定位置にもコネクタが設けられている。上記のようにして、カメラ台座部１２にデジタルスチルカメラ１が適正に載置される状態では、デジタルスチルカメラ１のコネクタと雲台１０のコネクタ１４とが接続され、少なくとも、相互間の通信が可能な状態となる。

なお、例えばコネクタ１４と突起部１３は、実際においては、カメラ台座部１２において可動できるようになっている。そのうえで、例えばデジタルスチルカメラ１の底面部の形状に合わせたアダプタなどを併用することで、異なる機種のデジタルスチルカメラを、雲台１０と通信可能な状態で、カメラ台座部１２に載置できるようになっている。
また、デジタルスチルカメラ１とカメラ台座部１２との通信は無線により行われるようにしてもよい。

また、例えば雲台１０に対してデジタルスチルカメラ１が載置された状態では、雲台１０からデジタルスチルカメラ１に対して充電が行えるように構成しても良い。さらには、デジタルスチルカメラ１にて再生している画像などの映像信号を雲台１０側にも伝送し、雲台１０からさらにケーブルや無線通信などを介して、外部モニタ装置に出力させるような構成とすることも考えられる。つまり、雲台１０について、単に、デジタルスチルカメラ１の撮像視野範囲を変更させるためだけに用いるのではなく、いわゆるクレードルとしての機能を与えることが可能である。

次に、雲台１０によるデジタルスチルカメラ１のパン・チルト方向の基本的な動きについて説明する。
まず、パン方向の基本的な動きは次のようになる。
この雲台１０を床面などに置いた状態では、接地台部１５の底面が接地する。この状態において、図４に示すように、回転軸１１ａを回転中心として、本体部１１は時計回り方向、及び反時計回り方向に回転できるようになっている。これにより、雲台１０に載置されているデジタルスチルカメラ１の撮像視野範囲は、左右方向（水平方向）に沿って変化することになる。つまり、パンニングの動きが与えられる。
そのうえで、この場合の雲台１０のパン機構は、時計回り方向及び反時計回り方向の何れについても、３６０°以上の回転が無制限で自在に行える構造を有しているものとする。

また、この雲台のパン機構においては、パン方向における基準位置が決められている。
ここでは、図４に示すようにして、パン基準位置を０°（３６０°）としたうえで、パン方向に沿った本体部１１の回転位置、即ちパン位置を０°〜３６０°により表すものとする。

また、雲台１０のチルト方向の基本的な動きについては次のようになる。
チルト方向の動きは、図５（ａ）及び図５（ｂ）に示すようにして、カメラ台座部１２が回転軸１２ａを回転中心として、仰角、俯角の両方向に可動することにより得られる。
ここで、図５（ａ）は、カメラ台座部１２がチルト基準位置Ｙ0（０°）にある状態が示されている。この状態では、レンズ部２１ａ(光学系部)の撮像光軸と一致する撮像方向Ｆ１と、接地台部１５が接地する接地面部ＧＲとが平行となる。
そのうえで、図５（ｂ）に示すように、先ず、仰角方向においては、カメラ台座部１２は、回転軸１２ａを回転中心として、チルト基準位置Ｙ0（０°）から所定の最大回転角度＋ｆ°の範囲で動くことができる。また、俯角方向においても、回転軸１２ａを回転中心として、チルト基準位置Ｙ0（０°）から所定の最大回転角度−ｇ°の範囲で動くことができるようになっている。このようにして、カメラ台座部１２がチルト基準位置Ｙ0（０°）を基点として、最大回転角度＋ｆ°〜最大回転角度−ｇ°の範囲で動くことで、雲台１０（カメラ台座部１２）に載置されたデジタルスチルカメラ１の撮像視野範囲は、上下方向（垂直方向）沿って変化することになる。つまりチルティングの動作が得られる。

なお、図２〜図５に示した雲台１０の外観構成はあくまでも一例であり、載置されたデジタルスチルカメラ１をパン方向及チルト方向に動かすことができるようにされていれば、他の物理的構成、構造が採られてもかまわない。

［１−２．デジタルスチルカメラ］
先ず、図６のブロック図は、デジタルスチルカメラ１の実際的な内部構成例を示している。
この図において、先ず、光学系部２１は、例えばズームレンズ、フォーカスレンズなども含む所定枚数の撮像用のレンズ群、絞りなどを備えて成り、入射された光を撮像光としてイメージセンサ２２の受光面に結像させる。
また、光学系部２１においては、上記のズームレンズ、フォーカスレンズ、絞りなどを駆動させるための駆動機構部も備えられているものとされる。これらの駆動機構部は、例えば制御部２７が実行するとされるズーム（画角）制御、自動焦点調整制御、自動露出制御などのいわゆるカメラ制御によりその動作が制御される。

イメージセンサ２２は、上記光学系部２１にて得られる撮像光を電気信号に変換する、いわゆる光電変換を行う。このために、イメージセンサ２２は、光学系部２１からの撮像光を光電変換素子の受光面にて受光し、受光された光の強さに応じて蓄積される信号電荷を、所定タイミングにより順次出力する。これにより、撮像光に対応した電気信号(撮像信号)が出力される。なお、イメージセンサ２２として採用される光電変換素子（撮像素子）としては、特に限定されるものではないが、現状であれば、例えばＣＭＯＳセンサやＣＣＤ(Charge Coupled Device)などを挙げることができる。また、ＣＭＯＳセンサを採用する場合には、イメージセンサ２２に相当するデバイス(部品)として、次に述べるＡ／Ｄコンバータ２３に相当するアナログ−デジタル変換器も含めた構造とすることができる。

上記イメージセンサ２２から出力される撮像信号は、Ａ／Ｄコンバータ２３に入力されることで、デジタル信号に変換され、信号処理部２４に入力される。
信号処理部２４では、Ａ／Ｄコンバータ２３から出力されるデジタルの撮像信号について、例えば１つの静止画 (フレーム画像)に相当する単位で取り込みを行い、このようにして取り込んだ静止画単位の撮像信号について所要の信号処理を施すことで、１枚の静止画に相当する画像信号データである撮像画像データ（撮像静止画像データ）を生成することができる。

上記のようにして信号処理部２４にて生成した撮像画像データを画像情報として記憶媒体（記憶媒体装置）であるメモリカード４０に記録させる場合には、例えば１つの静止画に対応する撮像画像データを信号処理部２４からエンコード／デコード部２５に対して出力する。
エンコード／デコード部２５は、信号処理部２４から出力されてくる静止画単位の撮像画像データについて、所定の静止画像圧縮符号化方式により圧縮符号化を実行したうえで、例えば制御部２７の制御に応じてヘッダなどを付加して、所定形式に圧縮された画像データの形式に変換する。そして、このようにして生成した画像データをメディアコントローラ２６に転送する。メディアコントローラ２６は、制御部２７の制御に従って、メモリカード４０に対して、転送されてくる画像データを書き込んで記録させる。この場合のメモリカード４０は、例えば所定規格に従ったカード形式の外形形状を有し、内部には、フラッシュメモリなどの不揮発性の半導体記憶素子を備えた構成を採る記憶媒体である。なお、画像データを記憶させる記憶媒体については、上記メモリカード以外の種別、形式などとされてもよい。

また、本実施の形態としての信号処理部２４は、先の説明のようにして取得される撮像画像データを利用して、後述するように、被写体検出としての画像処理を実行させるように構成される。

また、デジタルスチルカメラ１は信号処理部２４にて得られる撮像画像データを利用して表示部３３により画像表示を実行させることで、現在撮像中の画像であるいわゆるスルー画を表示させることが可能とされる。例えば信号処理部２４においては、先の説明のようにしてＡ／Ｄコンバータ２３から出力される撮像信号を取り込んで１枚の静止画相当の撮像画像データを生成するのであるが、この動作を継続することで、動画におけるフレーム画像に相当する撮像画像データを順次生成していく。そして、このようにして順次生成される撮像画像データを、制御部２７の制御に従って表示ドライバ３２に対して転送する。これにより、スルー画の表示が行われる。

表示ドライバ３２では、上記のようにして信号処理部２４から入力されてくる撮像画像データに基づいて表示部３３を駆動するための駆動信号を生成し、表示部３３に対して出力していくようにされる。これにより、表示部３３においては、静止画単位の撮像画像データに基づく画像が順次的に表示されていくことになる。これをユーザが見れば、そのときに撮像しているとされる画像が表示部３３において動画的に表示されることになる。つまり、スルー画が表示される。

また、デジタルスチルカメラ１は、メモリカード４０に記録されている画像データを再生して、その画像を表示部３３に対して表示させることも可能とされる。
このためには、制御部２７が画像データを指定して、メディアコントローラ２６に対してメモリカード４０からのデータ読み出しを命令する。この命令に応答して、メディアコントローラ２６は、指定された画像データが記録されているメモリカード４０上のアドレスにアクセスしてデータ読み出しを実行し、読み出したデータを、エンコード／デコード部２５に対して転送する。

エンコード／デコード部２５は、例えば制御部２７の制御に従って、メディアコントローラ２６から転送されてきた撮像画像データから圧縮静止画データとしての実体データを取り出し、この圧縮静止画データについて、圧縮符号化に対する復号処理を実行して、１つの静止画に対応する撮像画像データを得る。そして、この撮像画像データを表示ドライバ３２に対して転送する。これにより、表示部３３においては、メモリカード４０に記録されている撮像画像データの画像が再生表示されることになる。

また表示部３３に対しては、上記のスルー画や画像データの再生画像などとともに、ユーザインターフェース画像（操作画像）も表示させることができる。この場合には、例えばそのときの動作状態などに応じて制御部２７が必要なユーザインターフェース画像としての表示用画像データを生成し、これを表示ドライバ３２に対して出力するようにされる。これにより、表示部３３においてユーザインターフェース画像が表示されることになる。なお、このユーザインターフェース画像は、例えば特定のメニュー画面などのようにモニタ画像や撮像画像データの再生画像とは個別に表示部３３の表示画面に表示させることも可能であるし、モニタ画像や撮像画像データの再生画像上の一部において重畳・合成されるようにして表示させることも可能である。

制御部２７は、例えば実際においてはＣＰＵ(Central Processing Unit)を備えて成るもので、ＲＯＭ２８、ＲＡＭ２９などとともにマイクロコンピュータを構成する。ＲＯＭ２８には、例えば制御部２７としてのＣＰＵが実行すべきプログラムの他、デジタルスチルカメラ１の動作に関連した各種の設定情報などが記憶される。ＲＡＭ２９は、ＣＰＵのための主記憶装置とされる。
また、この場合のフラッシュメモリ３０は、例えばユーザ操作や動作履歴などに応じて変更(書き換え)の必要性のある各種の設定情報などを記憶させておくために使用する不揮発性の記憶領域として設けられるものである。なおＲＯＭ２８について、例えばフラッシュメモリなどをはじめとする不揮発性メモリを採用することとした場合には、フラッシュメモリ３０に代えて、このＲＯＭ２８における一部記憶領域を使用することとしてもよい。

操作部３１は、デジタルスチルカメラ１に備えられる各種操作子と、これらの操作子に対して行われた操作に応じた操作情報信号を生成してＣＰＵに出力する操作情報信号出力部位とを一括して示している。制御部２７は、操作部３１から入力される操作情報信号に応じて所定の処理を実行する。これによりユーザ操作に応じたデジタルスチルカメラ１の動作が実行されることになる。

音声出力部３５は、制御部２７の制御により、例えば所定内容の通知のために、所定の音色と発音パターンによる電子音を出力する部位である。
ＬＥＤ部３６は、例えばデジタルスチルカメラ１の筐体前面部に表出して設けられるＬＥＤ(Light Emitting Diode)と、このＬＥＤを点灯駆動する回路部などから成り、制御部２７の制御に応じて、ＬＥＤを点灯、消灯する。このＬＥＤを点灯、消灯パターンにより、所定内容の通知が行われる。

雲台対応通信部３４は、雲台１０側とデジタルスチルカメラ１側との間での所定の通信方式に従った通信を実行する部位であり、例えばデジタルスチルカメラ１が雲台１０に対して取り付けられた状態において、雲台１０側の通信部との間での有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図２との対応では、コネクタ１４と接続されるコネクタの部位が含まれる。

［１−３．雲台］
図７のブロック図は、雲台１０の内部構成例を示している。
先に述べたように、雲台１０は、パン・チルト機構を備えるものであり、これに対応する部位として、パン機構部５３、パン用モータ５４、チルト機構部５６、チルト用モータ５７を備える。
パン機構部５３は、雲台１０に取り付けられたデジタルスチルカメラ１について、図４に示したパン（横・左右）方向の動きを与えるための機構を有して構成され、この機構の動きは、パン用モータ５４が正逆方向に回転することによって得られる。同様にして、チルト機構部５６は、雲台１０に取り付けられたデジタルスチルカメラ１について、図５（ｂ）に示したチルト（縦・上下）方向の動きを与えるための機構を有して構成され、この機構の動きは、チルト用モータ５７が正逆方向に回転することによって得られる。

制御部５１は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどが組み合わされて形成されるマイクロコンピュータを有して成り、上記パン機構部５３、チルト機構部５６の動きをコントロールする。例えば制御部５１がパン機構部５３の動きを制御するときには、移動させるべき方向と移動速度を指示する信号をパン用駆動部５５に対して出力する。パン用駆動部５５は、入力される信号に対応したモータ駆動信号を生成してパン用モータ５４に出力する。このモータ駆動信号は、例えばモータがステッピングモータであれば、PWM制御に対応したパルス信号となる。
このモータ駆動信号によりパン用モータ５４が、例えば所要の回転方向、回転速度により回転し、この結果、パン機構部５３も、これに対応した移動方向と移動速度により動くようにして駆動される。
同様にして、チルト機構部５６の動きを制御するときには、制御部５１は、チルト機構部５６に必要な移動方向、移動速度を指示する信号をチルト用駆動部５８に対して出力する。チルト用駆動部５８は、入力される信号に対応したモータ駆動信号を生成してチルト用モータ５７に出力する。このモータ駆動信号によりチルト用モータ５７が、例えば所要の回転方向及び回転速度で回転し、この結果、チルト機構部５６も、これに対応した移動方向，速度により動くようにして駆動される。
また、パン機構部５３は、ロータリーエンコーダ（回転検出器）５３ａを備えている。ロータリーエンコーダ５３ａは、パン機構部５３の回転の動きに応じて、その回転角度量を示す検出信号を制御部５１に出力する。同様に、チルト機構部５６はロータリーエンコーダ５６ａを備える。このロータリーエンコーダ５６ａも、チルト機構部５６の回転の動きに応じて、その回転角度量を示す信号を制御部５１に出力する。

通信部５２は、雲台１０に取り付けられたデジタルスチルカメラ１内の雲台対応通信部３４との間で所定の通信方式に従った通信を実行する部位であり、雲台対応通信部３４と同様にして、相手側通信部と有線若しくは無線による通信信号の送受信を可能とするための物理層構成と、これより上位となる所定層に対応する通信処理を実現するための構成とを有して成る。上記物理層構成として、図２との対応では、カメラ台座部１２のコネクタ１４が含まれる。

＜２．実施形態の構図制御に対応する機能構成例＞
次に、図８のブロック図により、本実施形態に対応する撮像システムを成すデジタルスチルカメラ１及び雲台１０についての、ハードウェア及びソフトウェア（プログラム）により実現される機能構成例を示す。
この図において、デジタルスチルカメラ１は、撮像記録ブロック６１、構図判定ブロック６２、パン・チルト・ズーム制御ブロック６３、及び通信制御処理ブロック６４を備えて成るものとされている。

撮像記録ブロック６１は、撮像により得られた画像を画像信号のデータ（撮像画像データ）として得て、この撮像画像データを記憶媒体に記憶するための制御処理を実行する部位である。この部位は、例えば撮像のための光学系、撮像素子（イメージセンサ）、及び撮像素子から出力される信号から撮像画像データを生成する信号処理回路、また、撮像画像データを記憶媒体に書き込んで記録（記憶）させるための記録制御・処理系などを有して成る部位である。
この場合の撮像記録ブロック６１における撮像画像データの記録（撮像記録）は、構図判定ブロックの指示、制御により実行される。

構図判定ブロック６２は、撮像記録ブロック６１から出力される撮像画像データを取り込んで入力し、この撮像画像データを基にして、先ず被写体検出を行い、最終的には構図判定のための処理を実行する。
本実施形態においては、この構図判定に際して、被写体検出により検出された被写体ごとに、後述する属性についての検出も行う。そして、構図判定処理に際しては、この検出された属性を利用して最適とされる構図を判定する。さらに、判定した構図による画内容の撮像画像データが得られるようにするための構図合わせ制御も実行する。
ここで、構図判定ブロック６２が実行する被写体検出処理（初期顔枠の設定を含む）は、図６との対応では信号処理部２４が実行するようにして構成できる。また、この信号処理部２４による被写体検出処理は、ＤＳＰ(Digital signal Processor)による画像信号処理として実現できる。つまり、ＤＳＰに与えるプログラム、インストラクションにより実現できる。
また、構図判定ブロック６２が実行する顔枠の修正、及び構図判定、構図合わせ制御は、制御部２７としてのＣＰＵがプログラムに従って実行する処理として実現できる。

パン・チルト・ズーム制御ブロック６３は、構図判定ブロック６２の指示に応じて、判定された最適構図に応じた構図、撮像視野範囲が得られるように、パン・チルト・ズーム制御を実行する。つまり、構図合わせ制御として、構図判定ブロック６２は、例えば判定された最適構図に応じて得るべき上記構図、撮像視野範囲をパン・チルト・ズーム制御ブロック６３に指示する。パン・チルト・ズーム制御ブロック６３は、指示された構図、撮像視野範囲が得られる撮像方向にデジタルスチルカメラ１が向くための、雲台１０のパン・チルト機構についての移動量を求め、この求めた移動量に応じた移動を指示するパン・チルト制御信号を生成する。
また、例えば判定された適切画角を得るためのズームレンズの位置（ズーム倍率）を求め、このズーム位置となるようにして、撮像記録ブロック６１が備えるとされるズーム機構を制御する。

通信制御処理ブロック６４は、雲台１０側に備えられる通信制御処理ブロック７１との間で所定の通信プロトコルに従って通信を実行するための部位となる。上記パン・チルト・ズーム制御ブロック６３が生成したパン・チルト制御信号は、通信制御処理ブロック６４の通信により、雲台１０の通信制御処理ブロック７１に対して送信される。

雲台１０は、例えば図示するようにして、通信制御処理ブロック７１、及びパン・チルト制御処理ブロック７２を有している。
通信制御処理ブロック７１は、デジタルスチルカメラ１側の通信制御処理ブロック６４との間での通信を実行するための部位であり、上記のパン・チルト制御信号を受信した場合には、このパン・チルト制御信号をパン・チルト制御処理ブロック７２に対して出力する。

パン・チルト制御処理ブロック７２は、例えば図７に示した雲台１０側の制御部５１（マイクロコンピュータ）が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するものとなる。
このパン・チルト制御処理ブロック７２は、入力したパン・チルト制御信号に応じて、ここでは図示していないパン駆動機構部、チルト駆動機構部を制御する。これにより、最適構図に応じて必要な水平視野角と垂直視野角を得るためのパンニング、チルティングが行われる。

また、パン・チルト・ズーム制御ブロック６３は、例えば、構図判定ブロック６２の指令に応じて被写体探索のためのパン・チルト・ズーム制御を行うことができるようになっている。

＜３．自動撮像記録の基本アルゴリズム例＞
上記のようにして構成される撮像システムでは、雲台１０のパン・チルト機構を駆動してデジタルスチルカメラ１の撮像視野範囲を変更していくようにして撮像画像内に収まる被写体を検出する。そして、検出した被写体があれば、これをしかるべき構図で画枠内におさめて撮像記録することができる。つまり、自動撮像記録機能を有する。

図９のフローチャートは、このような自動撮像記録のためのアルゴリズムの一例を示している。なお、この図に示すアルゴリズムは、後述する第１〜第４実施形態に対応するアルゴリズムの基本となる。
なお、この図に示す処理手順は、図８に示すデジタルスチルカメラ１における各機能ブロック（撮像記録ブロック６１、構図判定ブロック６２、パン・チルト・ズーム制御ブロック６３、通信制御処理ブロック６４）が適宜実行するものとしてみることができる。

図９において、先ず、構図判定ブロック６２は、ステップＳ１０１により撮像記録ブロック６１にてそのときに得られる撮像画像データを取り込んで取得し、ステップＳ１０２により、この取得した撮像画像データについての被写体検出処理を実行する。
このステップＳ１０２の被写体検出処理としては、例えば先に述べたようにして顔検出技術を応用し、その検出結果として、被写体数であるとか、被写体サイズ、画像における被写体位置などを得ることができる。

次に、ステップＳ１０３において構図判定ブロック６２は、上記ステップＳ１０２による被写体検出処理によって被写体が検出されたか否かについて判別する。ここで否定の判別結果が得られた場合には、ステップＳ１０８により被写体探索処理を開始させたうえで、ステップＳ１０１に戻る。
この被写体探索処理は、例えば、パン・チルト・ズーム制御ブロック６３が通信制御処理ブロック６４を経由して、雲台１０のパン／チルト方向への移動を指示するとともに、必要に応じてはズーム制御も行って撮像視野範囲を所定のパターンで時間経過に応じて変更していく制御となる。これにより、デジタルスチルカメラ１の周囲に存在している被写体を撮像視野範囲内に収まるようにして捕捉しようというものである。
これに対して、ステップＳ１０３において被写体が検出されたとして肯定の判別結果が得られた場合には、ステップＳ１０４に進む。

ステップＳ１０４において構図判定ブロック６２は、検出された被写体に応じて最適構図を判定する。
ここで判定される構図を形成する要素としては、例えば画枠における被写体のサイズ、画枠内の被写体の位置、などを挙げることができる。
撮像画像データの画枠内の画内容として、この判定した構図が得られるようにするための構図合わせ制御を実行する。

そして、構図合わせ制御を実行したとされると、構図判定ブロック６２は、ステップＳ１０５により、そのときに得られている構図について判定したとおりのものであり、撮像記録してよいタイミング（構図ＯＫ）であるか否かについて判別する。
例えば一定時間以上を経過したとしても構図ＯＫとの判定が得られない場合には、ステップＳ１０５にて否定の判別結果が得られる。この場合には、ステップＳ１０７により撮像画像データの画枠内の画内容として、この判定した構図が得られるようにするための構図合わせ制御を実行する。つまり、例えば、判定された構図に応じた被写体位置が画像内で得られるようにするためのパン・チルト制御、また、判定された構図に応じた被写体サイズが得られるようにするためのズーム制御などを実行する。
これに対して、ステップＳ１０５にて肯定の判別結果が得られた場合にはステップＳ１０６に進む。

ステップＳ１０６においては、撮像記録の実行を撮像記録ブロック６１に対して指示する。これに応じて、撮像記録ブロック６１は、そのときに得られている撮像画像データを、メモリカード４０に対して静止画のファイルとして記録する動作を実行する。

上記図９に示したアルゴリズムでは、被写体が検出されれば、その検出された被写体を含むしかるべき構図で撮影記録するという動作が自動的に実行されることになる。つまり、例えば人物を被写体として含む画像の撮像画像データを自動的に記録していくという、自動撮像記録動作が得られる。

＜４．第１実施形態＞
ここで、例えば、上記図９に示したアルゴリズムに従って自動撮像記録を実行している過程において、例えば、１つの被写体ＳＢＪが検出されたとする。これに応じてステップＳ１０４により判定された構図が、例えば図１０（ａ）に示すものであったとする。
図１０（ａ）は、撮像画像データの画像に対応した画枠３００において検出された被写体ＳＢＪを示している。図１０（ａ）の画枠３００に対応する画像は、水平画サイズ（水平画素数）Cx、垂直画サイズ（垂直画素数）Cyのサイズを有するものとしている。
また、この図においては、被写体位置の説明のために、垂直基準線Ld1、水平基準線Ld2、垂直分割線v1,v2、水平分割線h1,h2の各仮想線が示される。
垂直基準線Ld1は、水平画サイズCxに対して、その中点を通過して2等分する垂直な線である。水平基準線Ld2は、垂直画サイズCyに対して、その中点を通過して2等分する水平な線である。なお、この垂直基準線Ld1と水平基準線Ld2との交点が、例えば画枠３００における基準座標Ｐとなる。この基準座標Ｐは、デジタルスチルカメラ１の撮像光軸に対応する。
水平分割線h1,h2は、水平画サイズCxを３等分する２本の直線であり、水平分割線h1が左側で、水平分割線h2が右側の線となる。
垂直分割線v1,v2は、垂直画サイズCyを３等分する２本の直線であり、垂直分割線v1が上側、垂直分割線v2が下側の線となる。

また、被写体ＳＢＪの画像上には、被写体重心Ｇが示されている。この被写体重心Ｇは、被写体位置を示す情報であって、被写体検出処理に際して、所定のアルゴリズムによって、例えば被写体として検出された顔部分の画像領域における１点の座標として求められる。

図１０（ａ）に示される構図は、被写体の位置の点から見ると次のようになる。
つまり、被写体重心Ｇは、水平方向においては、水平基準線Ld1を通過する座標、つまり水平方向における中間に位置すべきとされ、垂直方向においては、水平分割線h1上、即ち、垂直画サイズCyに対して上から１／３の位置に在るべきものとされる。

そして、例えば、最終的に構図合わせ制御も実行して、この構図が得られることとなれば、ステップＳ１０５において、構図ＯＫの判定結果が得られることとなって、撮像記録が実行される。

しかし、被写体ＳＢＪと撮像システムの位置関係によっては、判定された構図に合わせることが不可能な場合がある。
例えば、図１１には、側面方向から見たデジタルスチルカメラ１が、最大回転角度−ｇ°のチルト位置にある状態が示されている。なお、この図のデジタルスチルカメラ１は、実際には雲台１０に取り付けられていることでこの図に示す状態が得られているのであるが、ここでは、
雲台１０の図示は省略している。
また、この図においては、デジタルスチルカメラ１に設定されている画角として垂直方向における画角を、画角中央angC、画角上端angU、画角下端angDにより表現している。なお、画角中央angCは、デジタルスチルカメラ１の撮像光軸と一致するものであり、画角中央angCから画角上端angUまでの角度と、画角中央angCから画角下端angDまでの角度は同じになる。垂直方向における撮像視野範囲は、画角上端angUから画角下端angDに収まる範囲が相当する。なお、説明の便宜上、ここでは最も広い画角（ワイド端）に設定されているものと仮定する。

上記のデジタルスチルカメラ１の状態は、俯角の限界位置に到達している状態である。つまり、デジタルスチルカメラ１の撮像視野範囲は、これ以上、下方に変化させることができない。
これに対して、被写体ＳＢＪは、図示するようにして、画角中央angCよりも下側に位置しているとする。

この図１１に示される状態に対応して、デジタルスチルカメラ１により撮像される画像が、図１０（ｂ）となる。
図１０（ｂ）では、被写体重心Ｇの位置は、水平方向においては判定された構図の通りになってはいるものの、垂直方向においては、あきらかに、水平基準線Ld2よりも下側の領域に位置している。上記したように、デジタルスチルカメラ１の撮像視野範囲は、この状態からさらに下側に向けることはできないために、画枠３００における被写体の位置も、この図１０（ｂ）における位置よりも上に移動させることはできない。つまり、この場合には、垂直方向における被写体重心Ｇの位置が、判定された構図と一致しないことになる。

このような状態になった場合、図９のアルゴリズムにそのまま従えば、ステップＳ１０５において構図がＯＫにならないとして否定の判別結果が得られることになり、ステップＳ１０７に進み、構図合わせ制御を実行したうえで、ステップＳ１０１に戻ることになる。
例えばこのときのステップＳ１０７の構図制御としては、構図判定ブロック６２は、雲台１０に対して、チルト機構を俯角の方向に回転させるように指示する。
しかし、この指示を受けても、雲台１０は、これ以上、チルト機構部を俯角側に回転させることができない。
すると、この場合には、例えば図１０（ｂ）の状態のまま、次のなんらかの動作に移行できないことになってしまう。

同じ問題は、パン方向の移動でも生じ得る。
基本的に本実施形態の雲台１０は、パン方向においては、３６０°以上で自在に回転することができる。しかし、例えばユーザが回転角度を制限設定する操作を行ったり、雲台１０の背面にケーブルが差し込まれるなどした場合には、雲台１０の回転角度について、例えば１８０°、９０°などのようにして制限される。このようにしてパン方向における可動角度が制限される場合には、その設定された可動回転角度まで回転した位置が限界位置となる。
そして、例えば検出された被写体に構図を合わせようとして、パン方向への回転を行ったところ限界位置に至ったとする。このとき、被写体が、さらに限界位置より先に回転させなければ、水平方向における被写体位置が判定構図とならないような状態になることは当然生じ得る。

このようにして、撮像システムと被写体との位置との関係によっては、画像内において、判定した構図のとおりの被写体位置が得られない場合がある。このような状況が生じる可能性は避けられないので、自動撮像記録における動作シーケンスとして、この状況に対応した適切な動作が実行されるようにすることが必要になる。これにより、自動撮像記録動作としては、より効率的でインテリジェントなものとすることができる。

そこで以降、自動撮像記録に際して、判定構図を得ることができない位置に被写体が存在している場合に、これに対応した適切な動作が得られるようにするための構成について、第１〜第４実施形態により説明していく。

図１２は、第１実施形態としての自動撮像記録のアルゴリズム例を示している。
なお、この図において、ステップＳ２０１〜Ｓ２０６，Ｓ２０８，Ｓ２０９は、図９のステップＳ１０１〜Ｓ１０６、Ｓ１０７，Ｓ１０８と同様となる。

図１２においては、ステップＳ２０５により判定構図が得られないとして否定の判別結果が得られると、ステップＳ２０７に進む。
ステップＳ２０７は、例えばパン機構とチルト機構の少なくとも何れかが限界位置にあり、かつ、その限界位置の状態で時間Ｔを経過したか否かについて判別する。なお、限界位置にあるか否かについては、例えば、デジタルスチルカメラ１（構図判定ブロック６２）は、雲台１０側からの通知によって認識することができる。この場合の雲台１０の制御部５１は、例えば、パン・チルト機構のそれぞれについて、限界位置にある場合には、その旨をデジタルスチルカメラ１側に通知するようにされている。

例えば、パン機構とチルト機構の何れも限界位置に至っていない、若しくは、パン機構とチルト機構の少なくとも一方が限界位置ではあるが、限界位置に至ったとするタイミングから時間Ｔを経過していない場合には、ステップＳ２０７にて否定の判別結果が得られることになる。
この場合には、ステップＳ２０８により構図合わせ制御としてのパン制御、チルト制御などを実行してステップＳ２０１に戻る。
これに対して、限界位置の状態で時間Ｔが経過したとしてステップＳ２０７にて否定の判別結果が得られた場合には、ステップＳ２０６に進んで、撮像記録を実行する。

つまり、第１実施形態では、パン位置若しくはチルト位置が限界位置にまで至って所定時間Ｔが経過すると、この時点で、構図ＯＫでなくとも、撮像記録を実行するという動作が得られるようにする。つまり、第１実施形態は、判定した構図が得られていなくとも、一定時間を経過したのであれば、そのときに得られている画像を記録しよう、というものである。

＜５．第２実施形態＞
図１３は、第２実施形態としての自動撮像記録のアルゴリズム例を示している。
第２実施形態により決定される動作は、判定構図が得られていない状態でパン位置若しくはチルト位置が限界位置にまで至って所定時間Ｔが経過したとすると、撮像記録は実行せずに、判定構図が得られる可能性のある他の被写体を探索する、というものである。

この図において、ステップＳ３０１〜Ｓ３０８，Ｓ３１１は、図１２のステップＳ２０１〜Ｓ２０８，Ｓ２０９と同様となる。
ただし、ステップＳ３０７にて判定される時間Ｔについては、第２実施形態に対応した適切な動作が得られるべきことを考慮して、図１２のステップＳ２０７と異なる長さが設定されてよい。

ステップＳ３０７において否定の判別結果が得られている状態では、ステップＳ３０８に進み、図１２と同様に、構図合わせ制御を実行する。
これに対して、ステップＳ３０７により肯定の判別が得られた場合には、ステップＳ３０９により撮像視野範囲を変更するための制御（撮像視野範囲変更制御）を実行する。

ここでの撮像視野範囲変更制御は、これまでに（最後に）構図合わせ制御を行っていた対象の被写体とは異なる被写体（１以上であればよい）が撮像画像データの画像内にて検出されるように、パンニング若しくはチルティングを行って、水平方向における撮像視野範囲を変えるようにするという制御である。

この撮像視野範囲変更制御として、１つには、最後に構図判定対象となった被写体が撮像視野範囲から外れるようにして撮像視野範囲を変更することが考えられる。このためには、例えばパン位置若しくはチルト位置が限界位置のときの画枠３００における被写体の位置に基づいて、例えばこの被写体が撮像視野範囲から外れるだけのパン回転角度、チルト回転角度を求めることができる。例えば、パン回転角度については、垂直基準線Ld1から被写体ＳＢＪの画像までの距離とそのときの画角値により求められる。同様に、チルト回転角度は、水平基準線Ld2から被写体ＳＢＪの画像までの距離とそのときの画角値により求められる。
そして、このようにして求められたパン回転角度若しくはチルト回転角度の分だけ、移動が行われるように、パン制御若しくはチルト制御を実行すればよい。そして、次に説明するステップＳ３１０を経て，ステップＳ３０１に戻る。
これにより、第２実施形態では、限界位置の状態で判定構図が得られないまま時間Ｔを経過した場合には、撮像記録を実行することなく、他の被写体を探しにいくという動作を行うことになる。

ところで、このようにして撮像システムが、撮像記録を実行せずに他の被写体を探しに行く動作が行われる場合、これまで構図合わせの対象とされていた被写体としての実際のユーザからしてみれば、自分のことを撮ろうとしていたのに、いきなり、自分を撮らずに他の被写体を探す動作に移るようにして見えてしまう可能性がある。このとき、ユーザは、必ずしも自分が構図合わせできない位置にいたとは認識しているとは限らないので、この場合には、違和感を覚えることもあると考えられる。
そこで、図１３においては、ステップＳ３０９による撮像視野範囲変更制御とともに、次のステップＳ３１０として示すようにして、アラートをユーザに通知するための処理を実行する。つまり、構図が得られなかったので、他の被写体を探す動作に移行する旨を通知するための処理を実行する。
このための処理としては、例えばデジタルスチルカメラ１のＬＥＤ部３６を形成する所定のＬＥＤを、所定のパターンにより点灯、点滅させる、ということが考えられる。また、音声出力部３５により、所定のアラート音声を出力させるということも考えられる。

ここで、第１実施形態と第２実施形態の動作とを比較すると、先ず、第１実施形態は、検出できた被写体を含む画像を撮像記録していくべき、ということが重視されているといえる。これに対して、第２実施形態は、判定された構図のとおりの画像を撮像記録していくべき、ということを重視しているといえる。
この第１実施形態の動作と、第２実施形態の動作とをどのようにして使い分けるのについては、いくつか考えられるが、次の例を挙げておく。

本実施形態の撮像システムは、所定操作によってセルフタイマによる撮像記録を実行させることができる。特に、本実施形態の場合、セルフタイマによる撮像記録の実行時においても、画像内の被写体を検出して構図判定を実行し、判定された構図が得られるようにして構図合わせも実行することができる。
このようなセルフタイマによる撮影のときには、ユーザが操作によって撮像記録を実行させたいことを明示しているといえる。この際には、構図よりも、とりあえず、撮像記録を実行させることが重視されるべきといえる。
そこで、セルフタイマ撮影のときには、第２実施形態のアルゴリズムを採用する。
これに対して、セルフタイマ撮影ではない通常時は、本実施形態の自動撮像記録における構図制御の特長を生かして、構図を重視し、第１実施形態を採用するというものである。

＜６．第３実施形態＞
ここで、図１２（第１実施形態）のステップＳ２０５、図１３（第２実施形態）のステップＳ３０５としての、判定構図が得られているか否かの判別処理において、被写体位置が判定構図と同じか否かについての判別は、例えば実際には、次のようにして実行することができる。
先ず、構図判定処理によっては、被写体位置は、その被写体重心Ｇが位置すべき目標座標として求められる。この目標座標をここでは、(x,y)として表す。そして、構図合わせ制御によっては、この目標座標(x,y)に被写体重心Ｇが位置するようにして、パン制御、チルト制御を実行する。
そして、図１２のステップＳ２０５、若しくは図１３のステップＳ３０５の実際として、被写体位置が判定構図と同じであるか否かについて判別するのにあたっては、目標座標のｘ座標値、ｙ座標値ごとに所定のマージンを与える。つまり、ｘ座標値のマージンを±a、ｙ座標値のマージンを±bとすると、被写体重心Ｇが、座標（x±a，y±b）の範囲内に位置しているか否かについて判別する。

例えば、現実には、被写体としての人物が完全に静止した状態となることはほとんどなく、或る程度の動きが生じる。このような状況のもと、被写体位置が判定構図と同じであると判定されることはか否かについて判別するのにあたり、目標座標(x,y)に対して厳密に被写体重心Ｇが位置しているか否かを判別するアルゴリズムとしたとする。この場合、例えば、画内容としては判定構図通りの被写体位置であると捉えてよいのにもかかわらず、ステップＳ２０５、Ｓ３０５においては被写体位置がＯＫであるとの判定結果が得られない、という不具合を生じる。
そこで、実際においては、上記のようにしてマージンを設定し、このマージンが与えられた目標座標を判定に用いることとしている。

また、上記した目標座標のマージンという観点から見ると、第１実施形態は、限界位置にて時間Ｔが経過したタイミングで、目標座標のマージンをほぼ無限大に拡大し、これにより、ステップＳ３０５において構図ＯＫの判別結果が得られるようにしているアルゴリズムであると置き換えてみることもできる。

第３実施形態は、この目標座標のマージン拡大というアルゴリズムと、第２実施形態のアルゴリズムとを組み合わせたものとなる。
つまり、第３実施形態においては、パン又はチルト方向の限界位置に至ると、目標座標に設定するマージンを拡大する。ただし、このときのマージンは第１実施形態の場合のように無限大とするのではなく有限の所定値を設定する。そして、この状態で判定構図が得られているか否かについての判別を実行するが、構図ＯＫの判別結果が得られないまま、時間Ｔを経過した場合には、撮像視野範囲変更制御に移行する、というものである。

図１４は、第３実施形態としての自動撮像記録のアルゴリズム例を示している。
この図において、ステップＳ４０１〜Ｓ４０４、Ｓ４０７〜Ｓ４１３は、図１３のステップＳ３０１〜Ｓ３０４、Ｓ３０５〜Ｓ３１１と同じになる。

図１４においては、ステップＳ４０４の構図判定処理の後において、ステップＳ４０５により、現在において、パン位置若しくはチルト位置が限界位置に達している状態にあるか否かについて判別する。
ステップＳ４０５において否定の判別結果が得られた場合には，ステップＳ４０６をパスして、ステップＳ４０７に進む。この場合のステップＳ４０７においては、被写体位置については、拡大されない通常のマージンが設定された目標座標を用いて判定を行うことになる。

これに対して、ステップＳ４０５において肯定の判別結果が得られた場合には、ステップＳ４０６により目標座標に対するマージンを拡大する。なお、このステップＳ４０６としてのマージン拡大処理にあたっては、常にｘ座標とy座標の両者のマージンを拡大してもよいのであるが、限界位置に達している方向が、パン方向とチルト方向の何れであるのかに応じて、ｘ座標とy座標の何れにマージンを設定するのかを選択するようにしてもよい。例えば、先に図１０に示したようにして、チルト方向においては限界位置に至っているが、パン方向においては限界位置に至っていないようなときには、y座標についてのみマージンを拡大し、x座標についてはマージンを拡大せずに通常のままとすることが考えられる。このようにすれば、限界位置に至っていない方向に対応しては、本来判定された構図のとおりの座標が得られることになって好ましい。

このようにしてステップＳ４０５，Ｓ４０６を経て、ステップＳ４０７以降の処理が実行されることで、限界位置に至った状態では、時間Ｔが経過するまでは、より緩い判断基準によって判定構図が得られたか否かについての判別が行われることになる。これにより、或る程度判定されたものに近い構図で撮影記録できる可能性が高くなる。そして、時間Ｔを経過しても判定構図が得られなかった場合に、撮像視野範囲が変更される。

＜７．第４実施形態＞
本実施形態において問題となっている、被写体を検出しているのにかかわらず、パン又はチルト方向において限界位置に到達しているために目的の構図(画像内の被写体位置)を得ることができない、という事象は、雲台１０における制限可動角度とデジタルスチルカメラ１の画角との関係が要因で起こるといえる。この点について、図１５、図１６により説明する。

図１５（ａ）においては、デジタルスチルカメラ１の平面図が示されている。なお、このデジタルスチルカメラ１は、実際においては、雲台１０に取り付けられてその撮像視野範囲が変更されるようになっているが、ここでは、図示を簡単で見やすいものとすることの都合上、雲台１０の図示は省略している。

また、ここでは、デジタルスチルカメラ１に設定されている画角を、画角中央angC、画角左端angL、画角右端angRにより表現している。なお、画角中央angCは、デジタルスチルカメラ１の撮像光軸と一致するものであり、画角中央angCから画角左端angLまでの角度の大きさと、画角中央angCから画角右端angRまでの角度の大きさは同じになる。水平方向における撮像視野範囲は、画角左端angLから画角右端angRに収まる範囲が相当する。なお、説明の便宜上、ここでは最も広い画角（ワイド端）に設定されているものと仮定する。
そのうえで、この場合においては、雲台１０は、パン方向における回転可動角度について、図１５（ａ）における0°を基準として、±90°の範囲で制限されているものとする。

図１５（ｂ）は、雲台１０が、+90°のパン位置にある状態が示されている。つまり、パン位置としては時計回り方向における限界位置に至った状態である。
このとき、デジタルスチルカメラ１の画角中央angCが、＋90°のパン位置と一致する。デジタルスチルカメラ１の水平方向における撮像視野範囲は、画角中央angCを中心として、画角左端angLから画角右端angRまでの範囲となる。つまり、デジタルスチルカメラ１の撮像視野範囲は、パン位置＋90°に対応する限界位置を越えて、画角中央angCから画角右端angRまでの角度範囲を撮像できることになる。

そして、この図１５（ｂ）に示す状態のもとで、パン位置＋90°に対応する限界位置を越えた、画角中央angC（パン位置＋90°）〜画角右端angRに対応する、右半分の画角範囲において被写体ＳＢＪとしての人物が存在していたとする。

この被写体ＳＢＪは、撮像視野範囲に収まっているので、これまでの実施形態の場合であれば、被写体検出処理によって被写体であるとして検出されることになり、この被写体を対象にして構図判定が行われる。しかし、判定構図を得るためには、画像内の被写体ＳＢＪが水平方向においてさらに中央に寄らなければならない場合、撮像方向をこれ以上時計回り方向に動かすことができない。

上記の説明から分かるように、雲台１０によるパン・チルト方向における可動範囲について或る一定角度で制限が与えられているとしても、デジタルスチルカメラ１の画角は、可動範囲の限度位置を超えた領域まで撮像することができる。このために、撮像システムの可動範囲より外の領域であっても、撮像視野範囲に収まる位置に人物が存在していさえすれば、この人物は、問題なく被写体として検出される。これが、検出した被写体について判定通りの構図を得ることができない、ということにつながる。
このような問題は、デジタルスチルカメラの画角が広角になるほど顕著なものになる。

そして、このような観点からすれば、例えばデジタルスチルカメラ１の画角が広いなどの理由で、本来想定していた撮像視野範囲より外の範囲で検出された被写体については、はじめから構図判定の対象から外すようにしてよい、という考え方を採ることができる。
そこで、第４実施形態としては、この考え方に基づいた自動撮像記録のアルゴリズムを構成する。このようなアルゴリズムであれば、結果的に判定構図が得られない被写体について構図判定処理を実行し、さらに構図合わせ制御を実行して、構図ＯＫか否かを判定する、という無駄な一連の処理を省くことが可能になり、自動撮像記録の動作がより効率的になる。

そこで、第４実施形態としては、次のようにして自動撮像記録のアルゴリズムを構成する。
先ず、図１６は、図１５（ｂ）の状態に対応して得られる撮像画像データの画像内容を示している。先にも述べたように、画角中央angCは水平方向において撮像光軸に対応するので、図１６の画枠３００における垂直基準線Ld1上に対応することになる。また、この場合には、図１５（ｂ）に示したように、画角中央angCがパン位置＋90°と一致するので、垂直基準線Ld1は、パン位置＋90°に対応する。
そして、被写体ＳＢＪは、図１５（ｂ）においては画角中央angC〜画角右端angRの範囲に位置している。これに応じて、図１６の画像内の被写体ＳＢＪは、画枠３００において垂直基準線Ld1より右側の領域に位置している。
第４実施形態においては、先ず、雲台１０がパン方向における限界位置にあるとして、この限界位置において検出した被写体について判定された構図としての目標座標のｘ座標を通過する垂直な線を、垂直限度境界線LM1として設定する。
ここで、図１６のようにして検出された被写体について判定した構図によって得られる目標座標におけるｘ座標は、基準座標Ｐと同じであるとする。つまり、目標座標は、垂直基準線Ld1上にあるべきことになる。これにより、図１６における垂直限度境界線LM1は、垂直基準線Ld1と同じく、基準座標Ｐを通過する垂直な線となっている。
なお、この場合には、構図判定の結果として、目標座標のｘ座標が垂直基準線Ld1と同じになったために、垂直基準線Ld1と垂直限度境界線LM1とが結果的に一致しているに過ぎない。構図判定結果によっては、目標座標は、垂直基準線Ld1とは異なるｘ座標となる場合がある。垂直限度境界線LM1は、あくまでも判定構図における目標座標のｘ座標を通過する直線として設定される。

図１６において、このようにして設定した垂直限度境界線LM1と、被写体ＳＢＪの被写体重心Ｇとの関係について見た場合には、次のことがいえる。
この場合において、画枠３００内の垂直限度境界線LM1より右側の領域に存在する被写体ＳＢＪについては、これ以上、限界位置を越えて撮像視野範囲を右に移動させることができない。従って、被写体重心Ｇを、目標座標としてのｘ座標、つまり垂直限度境界線LM1上にまで移動させることはできない。これに対して、被写体重心Gが画枠３００内の垂直限度境界線LM1より左側の領域に存在していれば、限界位置を超えない範囲でパン方向の移動を行って撮像視野範囲を左に移動させることができる。つまり、被写体重心Gを垂直限度境界線LM1上にまで移動させることができる。
このように、正のパン移動方向（時計回り方向）に対応しては、画枠３００における垂直限度境界線LM1より右側の領域は、そこに被写体重心Gが位置していても目標のx座標を得ることができない領域となる。この領域は、限度境界外の領域としている。
これに対して、画枠３００における垂直限度境界線LM1より左側の領域は、そこに被写体重心Gが位置していれば目標のx座標を得ることができる領域となる。つまり、限度境界内の領域としている。

そして、第４実施形態としては、以降説明するようにして、例えば撮像システムを基準とした被写体の位置として、その被写体重心Ｇが、上記の限度境界外の領域に存在する結果となることが予め把握されていれば、この被写体については、はじめから構図判定対象の被写体から外すこととする。

なお、上記図１５、図１６によっては、水平方向、つまりパン方向について言及したが、第４実施形態としては、チルト方向についても、同様にして、上記の構成を適用する。
つまり、上記図１５、図１６による説明に準じて、水平限度境界線LM2も設定し、画枠の上下についての限度境界外、限度境界内の領域を設定する。そして、被写体重心Ｇのｙ座標が限度境界外の領域に存在する結果となることが予め把握されていれば、この被写体については、はじめから構図判定対象の被写体から外すものである。

図１７のフローチャートは、第４実施形態としての自動撮像記録のアルゴリズム例を示している。
この図において、ステップＳ５０１〜Ｓ５０３、Ｓ５０５〜Ｓ５０９は、図９のステップＳ１０１〜Ｓ１０３、Ｓ１０４〜Ｓ１０８と同じになる。

ただし、第４実施形態のステップＳ５０２としての被写体検出処理においては、そのときに撮像システムが設置されている状態での、実際の被写体の絶対的な位置を検出し、これを絶対位置情報として得るようにされている。

この絶対位置情報の検出手法の一例について、図１８を参照して説明する。
図１８（ａ）は、デジタルスチルカメラ１が、基準線Ｌ（パン基準位置（０°）に相当する）対して時計回りの方向にパン角度αx°分回転した位置にあって、かつ、水平画角内において被写体ＳＢＪが撮像されている状態が示されている。この場合において、水平画角はθx°により表しており、また、被写体ＳＢＪは、画角中央angCから反時計回りの方向に角度βx°だけ回転した角度に対応する線上に、その水平方向における中心位置（重心）が対応するようにして位置している。

また、図１８（ａ）によると、被写体ＳＢＪは、基準線Ｌを基準とすると、ここから時計回りの方向に角度γx°だけ回転した位置に対応する線上に、その被写体重心Ｇのｘ座標が対応するようにして位置しているということがいえる。
ここで、基準線Ｌは、そのときの雲台１０の配置の状態に応じて決まる絶対的なものとなる。従って、上記の角度γx°によって示される被写体ＳＢＪの位置は、基準線Ｌを基とする絶対的なものとなる。つまり、絶対位置情報として扱うことができる。なお、以降、この角度γx°のようにして、被写体の絶対的位置を示し得る角度については、絶対位置対応角度ということにする。また、角度βx°については、そのときのパン角度αx°のもとで、画角中央angCを基にして決まる被写体ＳＢＪの位置を示すものであるから、相対位置対応角度ということにする。

そして、絶対位置対応角度は、下記のようにして求めることができる。
図１８（ｂ）は、上記図１８（ａ）に示した位置状態のデジタルスチルカメラ１により撮像して得られる撮像画像を示している。
ここで、撮像画像の画枠３００における水平画サイズ（例えば画素数により表現できる）をCxとし、この水平画サイズにおける中点を通過する垂直分割線をLd1として、この垂直分割線Ld1を撮像画像の画枠における水平方向の基準（Ｘ軸座標の基準：Ｘ＝０）とする。水平方向に沿ったＸ軸座標としては、垂直線Ｍより右の領域が正となり、左の領域が負となる。そして、撮像画像の画枠３００内において存在する被写体ＳＢＪについての、水平方向における座標値はＸ＝aとして表している。なお、図１８（ｂ）の場合のＸ座標値aは、負の数となる。

ここで、図１８（ｂ）における被写体ＳＢＪの重心までのＸ座標の座標値aと水平画枠サイズCxとの関係（比）は、図１８（ａ）における相対位置対応角度βx°と水平画角θx°との関係（比）に相当する。
よって、相対位置角度βx°は、
βx°＝（a/Cx）*θx°・・・（式１）
により表される。
また、図１８（ｂ）によれば、パン角度αx°、相対位置対応角度βx°、及び絶対位置対応角度γx°の関係は、
αx°＝γx°−βx°・・・（式２）
で表される。
よって、絶対位置対応角度γx°としては、下記のようにして求めることができる。
γx°＝（a/Cx）*θx°＋αx°・・・（式３）

つまり、絶対位置対応角度γx°は、水平画枠サイズCx、撮像画像の画枠内における被写体ＳＢＪのＸ座標値a、水平画角θx°、及びパン角度αx°のパラメータにより求められることになる。
ここで、上記パラメータのうち、水平画枠サイズCxは既知であり、撮像画像の画枠内における被写体ＳＢＪのＸ座標値ａは、撮像画像内にて検出される被写体についての水平方向における位置情報に他ならないから、本実施の形態の被写体検出処理により得ることできる。また、水平画角θx°の情報は、画角（ズーム）制御の情報に基づいて得ることができる。より具体的には、例えば光学系部２１が備えるズームレンズのズーム倍率１倍を設定しているときの標準画角の情報を保持しておいたうえで、ズーム制御に応じて得られるズーム位置と、上記標準画角とを利用して求めることができる。また、パン角度αx°についてもパン制御の情報として得ることができる。
このようにして、本実施の形態の撮像システムでは、絶対位置対応角度γx°について、特に支障なく簡単に求めることができる。

また、実際においては、同様にして、垂直方向における絶対位置対応角度（γy°）も求める。確認のために、垂直方向における絶対位置対応角度γy°は、垂直画枠サイズCy、撮像画像の画枠内における被写体ＳＢＪのY座標値b（垂直画枠サイズCyの中点をY=0とする）、垂直画角θy°、及びチルト角度αy°のパラメータにより、
γy°＝（b/Cy）*θy°＋αy°・・・（式４）
により求めることができる。

次にステップＳ５０３にて被写体が検出されたとして肯定の判別が得られた場合には、ステップＳ５０４に示す処理を実行する。
ステップＳ５０４においては、今回検出された被写体の被写体重心Ｇについて、パン方向及びチルト方向のそれぞれにおいて、限度境界内に位置するものであるか否かについて判別する。
このためには、先ず、構図判定ブロック６２は、今回検出された被写体について構図判定を行った場合において得られる目標座標から、垂直限度境界線LM1,水平限度境界線LM2を画枠３００に対して設定する。
次に、今回検出した被写体の絶対位置情報から、撮像視野範囲が限界位置に対応しているときの画枠３００における被写体重心Gの座標を求める。
そして、この被写体重心Gのｘ座標について、垂直限度境界線LM1により規定される限度境界内に位置しているか否かについて判別する。同様に、この被写体重心Gのy座標について、水平限度境界線LM2により規定される限度境界内に位置しているか否かについて判別する。

そして、ステップＳ５０４において、例えば上記の被写体重心Ｇのｘ座標、ｙ座標の何れについても、肯定の判別結果が得られたとする。この場合には、今回検出された被写体は、限界位置までの可動範囲でのパン・チルト移動によって、判定構図の通りに被写体重心Ｇを移動可能であることになる。そこで、この場合には、ステップＳ５０５以降の手順に進む。
これに対して、ステップＳ５０４において、例えば上記の被写体重心Ｇのｘ座標、ｙ座標の少なくとも何れか一方について否定の判別結果が得られた場合には、判定構図の通りに被写体重心Ｇを移動させることはできない。そこで、この場合には、ステップＳ５０９に進んで被写体探索処理を実行したうえで、ステップＳ５０１に戻るようにする。

なお、例えばステップＳ５０４の他の例として、上記の被写体重心Ｇのｘ座標、ｙ座標の何れか一方のみについて否定の判別結果が得られた場合には、最終的に肯定の判別結果が得られたとして、ステップＳ５０５以降の手順に進むように構成することが考えられる。
被写体重心Ｇのｘ座標、ｙ座標の何れか一方のみについて否定の判別結果が得られた場合には、肯定の判別結果が得られた方向に関しては判定された構図の通りの座標位置を得ることができるので、相応に許容範囲の構図が得られていると考えることができる。そこで、例えば構図については許容範囲を大きくして、その代わりに撮像記録すべきことを重視するような場合は、このようなアルゴリズムのほうが適切になる。

そして、上記図１７に示したアルゴリズムであれば、ステップＳ５０４にて限度境界外であるとして否定の判別結果が得られた場合には、ステップＳ５０５〜Ｓ５０７として示される、構図判定から構図合わせ制御に至るまでの実質的な構図制御は実行されない。つまり、先にも述べたように、構図を合わせられない位置の被写体については、構図制御対象から外されるものであり、これによって、より効率的な自動撮像記録の動作が得られるものとなる。

＜８．本実施形態の撮像システムの変形例＞
図１９は、先に図７，図８に示した本実施の形態の撮像システムに対する変形例としての構成例を示している。
この図では、先ず、デジタルスチルカメラ１から通信制御処理ブロック６４を経由して、撮像に基づいて信号処理部２４にて生成される撮像画像データを、雲台１０に対して送信するようにされている。
この図においては、雲台１０の構成として通信制御処理ブロック７１、パン・チルト制御処理ブロック７２、被写体検出処理ブロック７３、及び構図制御処理ブロック７４が示されている。
通信制御処理ブロック７１は、図７の通信部５２に対応する機能部位であって、デジタルスチルカメラ１側の通信制御処理ブロック部６３（雲台対応通信部３４）との通信処理を所定のプロトコルに従って実行するようにして構成される部位である。
通信制御処理ブロック７１により受信された撮像画像データは、被写体検出処理ブロック７３に渡される。この被写体検出ブロッ７３は、例えば図８に示した構図判定ブロック６２と同等の被写体検出処理が少なくとも可能なだけの信号処理部を備えて構成され、取り込んだ撮像画像データを対象として被写体検出処理を実行し、その検出情報を構図制御処理ブロック７４に出力する。
構図制御処理ブロック７４は、図８の構図判定ブロック６２と同等の構図制御を実行可能とされており、この構図制御処理の結果としてパン制御、チルト制御を行うときには、そのための制御信号をパン・チルト制御処理ブロック７２に対して出力する。
パン・チルト制御処理ブロック７２は、例えば図７における制御部５１が実行する制御処理のうちで、パン・チルト制御に関する処理の実行機能に対応するもので、入力される制御信号に応じてパン機構部５３、チルト機構部５６の動きをコントロールするための信号をパン用駆動部５５、チルト用駆動部５８に対して出力する。これにより、構図制御処理ブロック６２にて判定した構図が得られるようにしてパンニング、チルティングが行われる。
このようにして、図１９に示す撮像システムは、デジタルスチルカメラ１から雲台１０に撮像画像データを送信させることとして、雲台１０側により、取り込んだ撮像画像データに基づく被写体検出処理と構図制御とを実行するようにして構成しているものである。
なお、ズーム制御を可能とする場合については、例えば、構図制御ブロック７４が、通信制御処理ブロック７１経由で、デジタルスチルカメラ１側にズーム制御を指示するように構成すればよい。

図２０は、本実施の形態の撮像システムについての他の変形例としての構成例を示している。なお、この図において、図１９と同一部分には同一符号を付して説明を省略する。
このシステムにおいては、雲台１０側において撮像部７５が備えられる。この撮像部７５は、例えば撮像のための光学系と撮像素子（イメージャ）を備えて、撮像光に基づいた信号（撮像信号）を得るようにされているとともに、この撮像信号から撮像画像データを生成するための信号処理部から成る。これは、例えば図６に示した光学系部２１、イメージセンサ２２、Ａ／Ｄコンバータ２３、及び信号処理部２４において撮像画像データを得るまでの信号処理段から成る部位に対応する構成となる。撮像部７５により生成される撮像画像データは被写体検出処理ブロック７３に出力される。なお、撮像部７５が撮像光を取り込む方向（撮像方向）は、例えば雲台１０に載置されるデジタルスチルカメラ１の光学系部２１（レンズ部３）の撮像方向とできるだけ一致するようにして設定される。

この場合の被写体検出処理ブロック７３及び構図制御処理ブロック７４は、上記図１９と同様にして被写体検出処理、構図制御処理を実行する。但し、この場合の構図制御処理ブロック７４は、パン・チルト制御に加えて、レリーズ動作を実行させるタイミングに対応してはレリーズ指示信号を、通信制御処理ブロック７１からデジタルスチルカメラ１に対して送信させる。デジタルスチルカメラ１では、レリーズ指示信号が受信されることに応じてレリーズ動作を実行するようにされる。
このようにして他の変形例では、被写体検出処理と構図制御に関して、レリーズ動作自体に関する以外の全ての制御・処理を雲台１０側で完結して行うことができる。

なお、先に説明した本実施形態としての構図制御において実行されるパン制御、チルト制御は、雲台１０のパン・チルト機構の動きを制御することにより行うこととしているが、雲台１０に代えて、例えば、デジタルスチルカメラ１のレンズ部３に対しては、反射鏡により反射された撮像光が入射されるようにしたうえで、撮像光に基づいて得られる画像についてパンニング・チルティングされた結果が得られるようにして上記反射光を動かす構成を採用することも考えられる。
また、デジタルスチルカメラ１のイメージセンサ２２から画像として有効な撮像信号を取り込むための画素領域を水平方向と垂直方向にシフトさせるという制御を行うことによっても、パンニング・チルティングが行われるのと同等の結果を得ることができる。この場合には、雲台１０若しくはこれに準ずる、デジタルスチルカメラ１以外のパン・チルトのための装置部を用意する必要が無く、デジタルスチルカメラ１単体により本実施の形態としての構図制御を完結させることが可能となる。
また、光学系部２１におけるレンズの光軸を水平・垂直方向に変更することのできる機構を備えて、この機構の動きを制御するように構成しても、パンニング・チルティングを行うことが可能である。

また、これまでの説明では、本実施形態の撮像システムを、互いに別体のデジタルスチルカメラ１と雲台１０から成るものとしているが、例えば、デジタルスチルカメラ１に相当する撮像部と、雲台１０に相当する可動機構部とが一体化された撮像装置などとされて構成されてもよい。

＜９．本実施形態の応用：トリミング処理＞
次に、これまで説明してきた本実施形態としての構成を、トリミング処理に適用した例を説明しておく。
図２１には編集装置９０が示されている。ここでの編集装置９０は既存の画像データに対して画像編集を行う。
ここでは、既存の画像データとして、例えば記憶媒体に記憶されていたものを再生して得た画像データ（再生画像データ）を得るようにされている。なお、記憶媒体から再生したものの他に、例えばネットワーク経由でダウンロードしたものを取り込んでもよい。即ち、編集装置９０が取り込むべき撮像画像データをどのような経路で取得するのかについては、特に限定されるべきものではない。

編集装置９０が取り込んだとされる再生画像データは、トリミング処理ブロック９１と被写体検出・構図判定処理ブロック９２のそれぞれに対して入力される。
先ず、被写体検出・構図判定処理ブロック９２は、例えば先ず、被写体検出処理を実行して検出情報を出力する。そして、この検出情報を利用した構図判定処理として、この場合には、入力される再生画像データとしての全画面において、最適構図が得られるとされる所定の縦横比による画像部分（最適構図の画像部分）がどこであるのかを特定する。そして、最適構図の画像部分が特定されると、例えばその画像部分の位置を示す情報（トリミング指示情報）をトリミング処理ブロック９１に対して出力する。
トリミング処理ブロック９１は、上記のようにしてトリミング指示情報が入力されたことに応答して、入力される再生画像データから、トリミング指示情報が示す画像部分を抜き出すための画像処理を実行し、抜き出した画像部分を１つの独立した画像データとして出力する。これが編集画像データとなる。
このような構成であれば、例えば画像データの編集処理として、元々ある画像データの画内容から最適構図となる部分を抜き出した内容の画像データを新規に得るというトリミングが自動的に行われることになる。
このような編集機能は、例えばパーソナルコンピュータなどにインストールされる画像データ編集のためのアプリケーションであるとか、画像データを管理するアプリケーションにおける画像編集機能などで採用することが考えられる。

そのうえで、例えば、編集装置９０が入力した再生画像データの画像が、図２２に示すものであったとする。この図において、再生画像データの画像は、再生画像９４として示している。そして、この再生画像９４において、図示するようにして、その画枠における上端において、被写体ＳＢＪが存在していたとする。被写体検出・構図判定処理ブロック９２は、この被写体を検出して最適構図を判定することになる。

ここで、例えば被写体検出・構図判定処理ブロック９２が、図２２に示される被写体ＳＢＪを対象として判定した最適構図が、先に図１０（ａ）に示したものであるとする。
しかし、この場合には、再生画像９４においては、既に、被写体ＳＢＪの上側において画像領域が存在していない。この場合、そのままでは、判定構図の通りの図１０（ａ）に示した画内容でトリミングを行うことはできない。

このような場合において、例えば先に説明した第１実施形態を適用すれば、同じ図２２に示す編集画像データの画像（編集画像）９５が得られるようにしてトリミング処理を実行させることができる。
つまり、この場合には、被写体検出・構図判定処理ブロック９２は、例えば判定構図として必要な被写体サイズを求め、この被写体サイズを得ることのできるトリミング枠のサイズを決定する。ここでのトリミング枠のサイズとは、編集画像９５の画枠サイズをいう。
そのうえで、例えば、目標座標におけるｘ座標に被写体重心Ｇのｘ座標が位置するように、水平方向におけるトリミング枠の位置を決定する。これは、例えば被写体重心Ｇのｘ座標が目標座標のｘ座標に一致するようにして、再生画像９４上でトリミング枠を水平方向に移動させるようなイメージである。ただし、例えばこの水平方向の移動に際して、トリミング枠において再生画像９４が切れて見えなくなるところまで移動したときには、これが限界位置であるとして、この段階で移動を停止する。
図２２の場合には、水平方向の移動については、限界位置に到達することなく、被写体重心Ｇを、目標座標におけるｘ座標にまで移動させることができる。

また、これとともに、被写体検出・構図判定処理ブロック９２は、上記と同様に、目標座標のy座標に被写体重心Ｇのy座標が位置するように、垂直方向におけるトリミング枠の位置を決定する。
図２２の例では、目標座標のy座標に被写体重心Ｇを位置させようとすると、トリミング枠の上側において再生画像９４からはみ出す領域が現れてしまう。この場合には、図２２において示される編集画像９５の位置が垂直方向における限界位置になる。つまり、この場合の限界位置とは、トリミング枠（編集画像９５）について、これが再生画像９４からはみ出すことなく、かつ、トリミング枠の縁部と再生画像９４の縁部とで、上下左右何れかの一辺が重なる位置にあることをいう。

図２２の場合、上記のトリミング枠の限界位置では、判定構図が得られていることにはならない。しかし、この場合には、第１実施形態に従って、このときのトリミング枠によりトリミングを実行させるものとする。
つまり、水平方向若しくは垂直方向でのトリミング枠の設定を行った結果、水平方向と垂直方向での少なくとも何れか一方の方向において上記の限界位置に至ったことで判定構図が得られなかった場合には、これまでの位置決定処理によって得られているトリミング枠で構図はＯＫであるとする。なお、この場合には、限界位置に至ったとするタイミングから時間Ｔが経過するのを待機する必要はない。そして、このトリミング枠に基づいたトリミン指示情報をトリミング処理ブロック９１に対して出力する。これにより、図２２に示した編集画像９５としての画内容を有する編集画像データが得られる。
なお、このような編集装置９０は、例えば独立した単体の装置として構成することもできるが、この編集装置９０としてのプログラムを実行させたパーソナルコンピュータ装置としても構成できる。

なお、これまでの実施の形態の説明にあっては、被写体（個別被写体）は、人であることを前提としているが、例えば、人以外の動物を被写体とする場合にも、本願発明を適用することが考えられる。
また、被写体検出の対象となる画像データは、撮像に由来して得られるもの（撮像画像データ）のみに限定されるべきものではなく、例えば、絵であるとかデザイン画などの画内容を有する画像データを対象とすることも考えられる。
また、本願発明のもとで判定される構図（最適構図）は、必ずしも、三分割法などの構図設定手法に対して、検出された個別被写体の数の要素を加味する手法によって決定された構図に限定されるものではない。例えば一般的には良くないとされる構図であっても、構図の設定次第では、ユーザがおもしろみを感じたり、かえって良いと感じるような場合もあると考えられる。従って、本願発明のもとで判定される構図（最適構図）としては、実用性、エンタテイメント性などを考慮して任意に設定されればよく、実際においては特に制限はない。

また、これまでにも述べてきたように、本願に基づく構成における少なくとも一部は、ＣＰＵやＤＳＰにプログラムを実行させることで実現できる。
このようなプログラムは、例えばＲＯＭなどに対して製造時などに書き込んで記憶させるほか、リムーバブルの記憶媒体に記憶させておいたうえで、この記憶媒体からインストール(アップデートも含む)させるようにしてＤＳＰ対応の不揮発性の記憶領域やフラッシュメモリ３０などに記憶させることが考えられる。また、ＵＳＢやＩＥＥＥ１３９４などのデータインターフェース経由により、他のホストとなる機器からの制御によってプログラムのインストールを行えるようにすることも考えられる。さらに、ネットワーク上のサーバなどにおける記憶装置に記憶させておいたうえで、デジタルスチルカメラ１にネットワーク機能を持たせることとし、サーバからダウンロードして取得できるように構成することも考えられる。

１ デジタルスチルカメラ、２ シャッターボタン、３ レンズ部、１０ 雲台、２１ 光学系、２２ イメージセンサ、２３ Ａ／Ｄコンバータ、２４ 信号処理部、２５ エンコード／デコード部、２６ メディアコントローラ、２７ 制御部、２８ ＲＯＭ、２９ ＲＡＭ、３０ フラッシュメモリ、３１ 操作部、３２ 表示ドライバ、３３ 表示部、３４ 雲台対応通信部、４０ メモリカード、５１ 制御部、５２ 通信部、５３ パン機構部、５４ パン用モータ、５５ パン用駆動部、５６ チルト機構部、５７ チルト用モータ、５８ チルト用駆動部、６１ 撮像記録ブロック、６２ 構図判定ブロック、６３ パン・チルト・ズーム制御ブロック、６４ 通信制御処理ブロック、ＳＢＪ（ＳＢＪ０〜ｎ） 被写体、７１ 通信制御処理ブロック、７２ パン・チルト制御処理ブロック、７３ 被写体検出処理ブロック、７４ 構図制御処理ブロック、７５ 撮像部

Claims (8)

1. 撮像に基づいて得られる画像データ、及びこの画像データの画像において検出される被写体についての情報を入力して、所定の限界位置状態の場合の上記画像における上記被写体の位置に基づいて実行すべき動作を決定する動作決定手段と、
   上記画像データの画像において検出される被写体を含む上記画像の構図を判定する構図判定手段と、
   判定された構図に応じた画像内被写体位置が得られるように、撮像部の撮像視野範囲を変更する可動機構部を駆動制御する、被写体位置制御手段とを備え、
   上記限界位置状態は、上記可動機構部が可動限界位置にある状態とされたうえで、
   上記動作決定手段は、
   上記画像データの画像における上記被写体の位置について、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないときに応じて実行すべき動作を決定し、上記被写体位置制御手段による上記可動機構部の駆動制御の結果、上記可動限界位置に到達してから、所定時間を経過するまで、判定された構図に応じた上記画像内被写体位置が得られなかったことをもって、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別する、
   画像対応装置。
2. 上記動作決定手段は、
   上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別したことに応じて、そのときに得られている撮像画像データを記録媒体に記録するための制御を実行する、
   請求項１に記載の画像対応装置。
3. 上記動作決定手段は、
   上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別したことに応じて、これまで検出されていた被写体とは異なる被写体が上記画像データの画像にて存在するようにするために、上記可動機構部を駆動制御する撮像視野範囲変更制御手段をさらに備える、
   請求項１に記載の画像対応装置。
4. 上記動作決定手段は、
   上記判定された構図に応じた上記画像内被写体位置が得られたときには、そのときに得られている撮像画像データを記録媒体に記録するための制御を実行する、
   請求項２又は請求項３に記載の画像対応装置。
5. 上記動作決定手段は、
   上記可動機構部が可動限界位置にあるときには、判定された構図に応じた上記画像内被写体位置として扱うべき目標位置に対して拡大マージンを設定したうえで、この拡大マージンが設定された目標位置に被写体が含まれるか否かに基づいて、判定された構図に応じた上記画像内被写体位置が得られているか否かを判別する、
   請求項１乃至請求項４に記載の画像対応装置。
6. 上記構図判定手段は、
   上記検出される被写体についての情報である、被写体位置情報により示される本画像対応装置に対する位置が、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られない位置であるときには、この検出された被写体を、構図判定の対象から除外する、
   請求項１に記載の画像対応装置。
7. 撮像に基づいて得られる画像データ、及びこの画像データの画像において検出される被写体についての情報を入力して、所定の限界位置状態の場合の上記画像における上記被写体の位置に基づいて実行すべき動作を決定する動作決定手順と、
   上記画像データの画像において検出される被写体を含む上記画像の構図を判定する構図判定手順と、
   判定された構図に応じた画像内被写体位置が得られるように、撮像部の撮像視野範囲を変更する可動機構部を駆動制御する、被写体位置制御手順とを備え、
   上記限界位置状態は、上記可動機構部が可動限界位置にある状態とされたうえで、
   上記動作決定手順は、
   上記画像データの画像における上記被写体の位置について、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないときに応じて実行すべき動作を決定し、上記被写体位置制御手順による上記可動機構部の駆動制御の結果、上記可動限界位置に到達してから、所定時間を経過するまで、判定された構図に応じた上記画像内被写体位置が得られなかったことをもって、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別する、
   画像対応装置の動作設定方法。
8. 画像対応装置に、
   撮像に基づいて得られる画像データ、及びこの画像データの画像において検出される被写体についての情報を入力して、所定の限界位置状態の場合の上記画像における上記被写体の位置に基づいて実行すべき動作を決定する動作決定手順と、
   上記画像データの画像において検出される被写体を含む上記画像の構図を判定する構図判定手順と、
   判定された構図に応じた画像内被写体位置が得られるように、撮像部の撮像視野範囲を変更する可動機構部を駆動制御する、被写体位置制御手順とを実行させるとともに、
   上記限界位置状態は、上記可動機構部が可動限界位置にある状態とされたうえで、
   上記動作決定手順は、
   上記画像データの画像における上記被写体の位置について、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないときに応じて実行すべき動作を決定し、上記被写体位置制御手順による上記可動機構部の駆動制御の結果、上記可動限界位置に到達してから、所定時間を経過するまで、判定された構図に応じた上記画像内被写体位置が得られなかったことをもって、上記可動機構部が可動限界位置を越えて移動しなければ判定された構図に応じた上記画像内被写体位置が得られないと判別する、
   を実行させるためのプログラム。

Images