JP4623193B2 - 撮像装置、撮像方法、及びプログラム - Google Patents

Description

本発明は、例えばデジタルカメラ等の撮像装置に係り、特に解像度の高い画像を得ることができる撮像装置、撮像方法、及びプログラムに関するものである。

従来より、撮像装置を用いて風景や建物・記念物などを背景にして人物を撮影することが行われる。このようにして撮影された画像から、例えば人物の顔部分のみをトリミングして撮影画像と顔画像とを別々に生成することが行われている。

例えば、顔領域を認識することで、撮影した画像からサイズと傾きを補正した顔画像を切り出し、別の画像ファイルとして保存する撮像装置がある（特許文献１参照）。この撮像装置によれば、顔画像が撮影画像の端に位置する場合でも、顔画像のみを切り出すことができる。

特開２００３−９２７２６号公報

しかしながら、上述の手法では、撮影画像から顔画像を切り出すため、顔画像部分を拡大して確認するために、撮影画像又は切り出した顔画像を拡大すると、顔画像の解像度が低下するという問題がある。
特に、風景、大きな建物、記念物を背景として人物を撮影した場合には、撮影画像に占める人物の顔の大きさが小さくなるため、顔画像の解像度が大きく低下する。

本発明は、このような背景に鑑みて発明されたものであり、撮影画像とその撮影画像内にある特徴物を拡大した画像とを解像度を落とさずに得ることができる撮像装置、撮像方法、及びプログラムを提供することを目的とする。

請求項１記載の発明に係る撮像装置は、第１の画像を撮像する撮像手段と、この撮像手段によって撮像された第１の画像から特徴領域を検出する検出手段と、この検出手段によって検出された特徴領域が前記撮像手段の撮像画角内に収まる最大の倍率を設定倍率として算出する算出手段と、この算出手段によって算出した設定倍率まで、光学的なズーム拡大処理を行うズーム制御手段と、このズーム制御手段によってズーム拡大処理された撮像画角からなる第２の画像を撮像するよう前記撮像手段を制御する撮像制御手段と、前記第１の画像と前記第２の画像とを対応付けて記録する記録手段と、所定の画面に表示する画像の倍率を表示倍率として指示する表示倍率指示手段と、前記第１の画像における前記第２の画像に対応する部分を、前記第２の画像に置き換えた合成画像を生成する合成画像生成手段と、前記表示倍率指示手段によって指示された表示倍率が前記第２の画像の前記第１の画像に対する倍率以上であるか否かを判定する第２の判定手段と、この第２の判定手段によって前記表示倍率が前記第２の画像の前記第１の画像に対する倍率以上であると判定された場合、前記合成画像を前記表示倍率まで拡大して前記所定の画面に表示し、前記第２の判定手段によって前記表示倍率が前記第２の画像の前記第１の画像に対する倍率未満であると判定された場合に、前記第１の画像を前記表示倍率まで拡大して前記所定の画面に表示する表示制御手段と、を備えたことを特徴とする。

請求項２記載の発明に係る撮像装置は、前記第１の画像における前記第２の画像に相当する部分と、前記第２の画像とのマッチング度を算出する画像比較手段と、この画像比較手段によって算出したマッチング度が所定の閾値以上であるか否かを判定する第１の判定手段と、を更に備え、前記記録手段は、前記第１の判定手段によってマッチング度が所定の閾値以上であると判定した場合に、前記第１の画像と前記第２の画像とを対応付けて記録することを特徴とする。

請求項３記載の発明に係る撮像装置は、前記算出手段は、前記検出手段によって前記第１の画像から複数の特徴領域を検出した場合、検出した全ての特徴領域が前記撮像画角内に収まる最大の倍率を設定倍率として算出することを特徴とする。

請求項４記載の発明に係る撮像装置は、前記算出手段によって算出した設定倍率が光学的にズーム拡大可能な最大の倍率を超えていた場合、その旨を報知する報知手段を更に備えたことを特徴とする。

請求項５記載の発明に係る撮像装置は、前記ズーム制御手段は、前記算出手段によって算出した設定倍率が光学的にズーム拡大可能な最大の倍率を超えていた場合、前記最大の倍率までズーム拡大処理を行うことを特徴とする。

請求項６記載の発明に係る撮像装置は、前記第２の画像の撮像を指示する画像取得指示手段を備え、前記ズーム制御手段は、前記画像取得指示手段による指示に基づいて、ズーム拡大処理を行うことを特徴とする。

請求項７記載の発明に係る撮像装置は、前記検出手段は、人物の顔が存在する領域を前記特徴領域として検出することを特徴とする。

請求項８記載の発明に係る撮像装置は、前記第１の画像から前記検出手段によって検出された人物の顔の笑顔評価値を算出する笑顔評価値算出手段を更に備え、前記ズーム制御手段は、前記笑顔評価値算出手段によって前記第１の画像から所定値以上の笑顔評価値が算出された場合に、ズーム拡大処理を行うことを特徴とする。

請求項９記載の発明に係る撮像装置は、前記笑顔評価値算出手段は、前記第２の画像における前記第１の画像から検出された人物の顔に対応する顔の笑顔評価値を算出し、前記記録手段は、前記第２の画像から所定値以上の笑顔評価値が算出された場合に、前記第２の画像を記録することを特徴とする。

請求項１０記載の発明に係る撮像方法は、撮像部に対し、第１の画像を撮像させる撮像ステップと、この撮像ステップにて撮像された第１の画像から特徴領域を検出する検出ステップと、この検出ステップにて検出された特徴領域が前記撮像部の撮像画角内に収まる最大の倍率を設定倍率として算出する算出ステップと、前記算出ステップにて算出した設定倍率まで、光学的なズーム拡大処理を行うズーム制御ステップと、前記ズーム制御ステップにてズーム拡大処理された撮像画角からなる第２の画像を撮像するよう前記撮像部を制御する撮像制御ステップと、前記第１の画像と前記第２の画像とを対応付けて記録する記録ステップと、所定の画面に表示する画像の倍率を表示倍率として指示する表示倍率指示ステップと、前記第１の画像における前記第２の画像に対応する部分を、前記第２の画像に置き換えた合成画像を生成する合成画像生成ステップと、前記表示倍率指示ステップによって指示された表示倍率が前記第２の画像の前記第１の画像に対する倍率以上であるか否かを判定する第２の判定ステップと、この第２の判定ステップによって前記表示倍率が前記第２の画像の前記第１の画像に対する倍率以上であると判定された場合、前記合成画像を前記表示倍率まで拡大して前記所定の画面に表示し、前記第２の判定ステップによって前記表示倍率が前記第２の画像の前記第１の画像に対する倍率未満であると判定された場合に、前記第１の画像を前記表示倍率まで拡大して前記所定の画面に表示する表示制御ステップとを含むことを特徴とする。

請求項１１記載の発明に係るプログラムは、撮像装置が有するコンピュータを、第１の画像を撮像させる撮像手段、この撮像手段にて撮像された第１の画像から特徴領域を検出する検出手段、この検出手段によって検出された特徴領域が前記撮像手段の撮像画角内に収まる最大の倍率を設定倍率として算出する算出手段、前記算出手段によって算出した設定倍率まで、光学的なズーム拡大処理を行うズーム制御手段、前記ズーム制御手段によってズーム拡大処理された撮像画角からなる第２の画像を撮像するよう前記撮像手段を制御する撮像制御手段、前記第１の画像と前記第２の画像とを対応付けて記録する記録手段、所定の画面に表示する画像の倍率を表示倍率として指示する表示倍率指示手段、前記第１の画像における前記第２の画像に対応する部分を、前記第２の画像に置き換えた合成画像を生成する合成画像生成手段、前記表示倍率指示手段によって指示された表示倍率が前記第２の画像の前記第１の画像に対する倍率以上であるか否かを判定する第２の判定手段、この第２の判定手段によって前記表示倍率が前記第２の画像の前記第１の画像に対する倍率以上であると判定された場合、前記合成画像を前記表示倍率まで拡大して前記所定の画面に表示し、前記第２の判定手段によって前記表示倍率が前記第２の画像の前記第１の画像に対する倍率未満であると判定された場合に、前記第１の画像を前記表示倍率まで拡大して前記所定の画面に表示する表示制御手段、として機能させることを特徴とする。

本発明によれば、ユーザが一度シャッターキーを押すだけで、デジタルカメラ１は、特徴物を含む第１の画像に加えて、この特徴物を拡大した第２の画像を自動的に撮像する。これにより、撮影画像とその撮影画像内にある特徴物を拡大した画像とを解像度を落とさずに得ることができる。

以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明の第１実施形態に係る画像処理装置としてのデジタルカメラ１の電気的構成を示すブロック図である。
このデジタルカメラ１は、基本となる動作モードとして撮影を行うための記録モードと、撮影した画像を再生するための再生モードとを有するものである。

このデジタルカメラ１は、ズームレンズ１２１及びフォーカスレンズ１２２を含むレンズ光学系１２、ズームレンズ１２１を移動させて光学ズーム動作を行わせるズーム駆動部１１１、フォーカスレンズ１２２を移動させて合焦動作を行わせるＡＦ駆動部１１２、撮像素子であるＣＣＤ１３、タイミング発生器（ＴＧ）１４、垂直ドライバ１５、サンプルホールド回路（Ｓ／Ｈ）１６、Ａ／Ｄ変換器１７、カラープロセス回路１８、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ１９、ＤＲＡＭインターフェイス（Ｉ／Ｆ）２０、ＤＲＡＭ２１、制御部２２、ＶＲＡＭコントローラ２３、ＶＲＡＭ２４、デジタルビデオエンコーダ２５、表示部２６、ＪＰＥＧ回路２７、保存メモリ２８、顔検出部２９１、顔認識部２９２、及びデータベース２９３及びキー入力部３０を備えている。

記録モードでのモニタリング状態では、制御部２２からの制御信号に基づいて、ズーム駆動部１１１により図示しないズームレンズ駆動モータを駆動して、ズームレンズ１２１を光軸に沿って前後に移動させて、ＣＣＤ１３に結像させる画像の倍率を変化させる。また、ＡＦ駆動部１１２により、図示しないフォーカスレンズ駆動モータを駆動してフォーカスレンズ１２２を移動させて合焦動作を行う。そして、タイミング発生器（ＴＧ）１４及び垂直ドライバ１５により、ＣＣＤ１３を駆動して、一定周期毎に結像した光像に対応する光電変換出力を１フレーム分出力する。
レンズ光学系１２、ズーム駆動部１１１、ＡＦ駆動部１１２は、本発明の光学ズーム手段である。

ＣＣＤ１３は、被写体の二次元画像を撮像する固体撮像デバイスであり、具体的には毎秒数十フレームの画像を撮像する。このＣＣＤ１３は、本発明の撮像手段である。なお、撮像素子はＣＣＤに限定されずＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの固体撮像デバイスでもよい。
この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路（Ｓ／Ｈ）１６でサンプルホールドされ、Ａ／Ｄ変換器１７でデジタルデータ（画素）に変換され、カラープロセス回路１８で画像補間処理及びＹ補正処理を含むカラープロセス処理が行われて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒが生成され、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラ１９に出力される。

ＤＭＡコントローラ１９は、カラープロセス回路１８の出力する輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを、同じくカラープロセス回路１８からの複合（ｃｏｍｐｏｓｉｔｅ）同期信号、メモリ書き込みイネーブル信号、及びクロック信号を用いてＤＲＡＭインターフェイス（Ｉ／Ｆ）２０を介してバッファメモリとして使用されるＤＲＡＭ２１にＤＭＡ転送する。

制御部２２は、このデジタルカメラ１００全体の制御動作を司るものであり、ＣＰＵもしくはＭＰＵ（以下、ＣＰＵ）と、該ＣＰＵで実行される動作プログラム等を記憶したフラッシュメモリ等のプログラム格納メモリ、及びワークメモリとして使用されるＲＡＭ等により構成される。この制御部２２は、上記輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送終了後に、この輝度及び色差信号を、ＤＲＡＭインターフェイス２０を介してＤＲＡＭ２１から読み出し、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に書込む。

デジタルビデオエンコーダ２５は、上記輝度及び色差信号を、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４から定期的に読み出し、これらのデータを基にビデオ信号を生成して上記表示部２６に出力する。

表示部２６は、上述したように撮像モード時にはモニタ表示部（電子ファインダ）として機能するもので、デジタルビデオエンコーダ２５からのビデオ信号に基づいた表示を行うことで、その時点でＶＲＡＭコントローラ２３から取込んでいる画像情報に基づく画像をリアルタイムに液晶モニタ画面に表示することになる。

制御部２２は、合焦指示に応じてその時点でＣＣＤ１３から取り込んでいる１フレーム分の輝度及び色差信号のＤＲＡＭ２１へのＤＭＡ転送の終了後、直ちにＣＣＤ１３からのＤＲＡＭ２１への経路を停止し、記録状態に遷移する。

この記録状態では、制御部２２がＤＲＡＭ２１に書込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインターフェイス２０を介してＹ、Ｃｂ、Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読み出してＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ ｃｏｒｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）回路２７に書込み、このＪＰＥＧ回路２７でＡＤＣＴ（Ａｄａｐｔｉｖｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピー符号化方式であるハフマン符号化等の処理によりデータ圧縮する。そして、得られた符号データを１画像のデータファイルとしてＪＰＥＧ回路２７から読出し、保存メモリ２８に記録する。また、１フレーム分の輝度及び色差信号の圧縮処理及び保存メモリ２８への全圧縮データの書込み終了に伴って、制御部２２はＣＣＤ１３からＤＲＡＭ２１への経路を再び起動する。

また、再生モードでは、制御部２２が保存メモリ２８に記録されている画像データを選択的に読み出し、ＪＰＥＧ回路２７で画像撮像モード時にデータ圧縮した手順とまったく逆の手順で圧縮されている画像データを伸張し、伸張した画像データを、ＶＲＡＭコントローラ２３を介してＶＲＡＭ２４に展開して記憶させた上で、このＶＲＡＭ２４から定期的に読出し、これらの画像データを元にビデオ信号を生成して表示部２６で再生出力させる。

上記ＪＰＥＧ回路２７は複数の圧縮率に対応しており、圧縮率に対応させて記憶するモードには圧縮率の低い高解像度（一般に、高精細、ファイン、ノーマルなどと呼ばれる）に対応するモードと圧縮率の高い低解像度（一般にエコノミーなどと呼ばれる）モードがある。また、高画素数から低画素数にも対応している。例えば、ＳＸＧＡ（１６００×１２００）、ＸＧＡ（１０２４×７８６）、ＳＶＧＡ（８００×６００）、ＶＧＡ（６４０×４８０）、ＱＶＧＡ（３２０×２４０）等と呼ばれる記憶画素サイズがある。

保存メモリ２８は、内蔵メモリ（フラッシュメモリ）やハードディスク、あるいは着脱可能なメモリカード等の記憶媒体からなり画像データや撮像情報等を保存記憶する。この保存メモリ２８は、本発明の記録手段である。

顔検出部２９１は、１フレーム分の画像から特徴物としての顔（顔領域）を検出する顔検出処理を実行する。この顔検出部２９１は、画像に顔が複数含まれる場合、複数の顔それぞれの位置及び大きさを検出する。この顔の検出方法及び笑顔評価値算出方法としては、公知の方法を用いることができる。なお、この顔検出処理のために専用の回路を設けてもよいし、制御部２２で顔検出用プログラムを実行させるようにしてもよい。この顔検出部２９１は、本発明の検出手段である。

顔認識部２９２は、顔検出部２９１で検出された第１の画像及び第２の画像に含まれる２つの顔同士をマッチングしてマッチング度を判定する。具体的には、例えば、２つの顔領域の距離あるいは距離二乗平均を類似度とする。そして、このマッチング度が所定の閾値以上である場合には、２つの顔が一致すると判定する。なお、この顔認識処理のために専用の回路を設けてもよいし、制御部２２で顔認識用プログラムを実行させるようにしてもよい。この顔認識部２９２は、本発明の画像比較手段、第１の判定手段である。また、検出した顔に対して笑顔評価値を算出する本発明の笑顔評価値算出手段の構成を備えてもよい。この笑顔評価値算出方法としては、公知の方法を用いることができる。

データベース２９３は、顔認識データや画質パラメータ等を格納しており、顔認識部２９２によって参照される。このデータベース２９３は、ユーザのキー入力操作によって新規登録、調整、または削除等の更新が可能である。

キー入力部３０は、図示しないが、モードダイアル、カーソルキー、ＳＥＴキー、ズームボタン（Ｗボタン、Ｔボタン）、シャッターキー、及び電源ボタンと、それらのキーが操作されると操作されたキーの操作信号を生成して制御部２２に送出するキー処理部（図示せず）等から構成されている。

モードダイアルは撮像モードや再生モードの選択を行うものである。ユーザはモードダイアルを操作して、（静止画）通常撮像モード、マクロ撮像モード、連写モード、速写モード、・・、動画撮像モード、・・・等の撮像モードを選択することができる。
カーソルキーはモード設定やメニュー選択等に際して液晶モニタ画面に表示されるメニューやアイコン等をカーソルでポイント（指定）する際に操作するキーであり、カーソルキーの操作によりカーソルを上下又は左右に移動させることができる。

また、ＳＥＴキーはカーソルキーによってカーソル表示されている項目を選択設定する際に押されるキーである。またＳＥＴキーを確認キーとして用いることもできる。
ズームボタンは、ズーム操作に用いられ、光学ズームの場合はズームボタン（ＷボタンまたはＴボタン）の操作に対応してズームレンズ（可変焦点距離レンズ）がワイド側またテレ側に移動されズームボタンの操作に対応してズーム値が決定され、ズーム値の変化に追従して画角が実際に変化し、液晶モニタ画面にはワイド（広角）画像又はテレ（望遠）画像が表示される。このズームボタンは、本発明の表示倍率指示手段である。

シャッターキーは、撮像時にレリーズ操作を行うもので、２段階のストロークを有しており、１段目の操作（半押し状態）でオートフォーカス（ＡＦ）と自動露出（ＡＥ）を行わせるための合焦指示信号を発生し、２段目の操作（全押し状態）で撮像処理を行うための撮像指示信号を発生する。メニューキーは、その時点で処理可能な選択メニューやアイコンを表示する場合に操作されるキーである。このシャッターキーは、本発明の画像取得指示手段である。

また、以上の制御部２２は、キー入力部３０からの状態信号に対応してフラッシュメモリ等のプログラム格納用メモリに格納されている各モードに対応の処理プログラムやメニューデータを取り出して、デジタルカメラ１の各機能の実行制御を行う。

具体的には、制御部２２は、記録モードでは、ＣＣＤ１３を駆動して第１の画像を撮像する。そして、顔検出部２９１により、この撮像した第１の画像から顔が検出されると、この検出された顔が画角内に収まる最大の倍率（最小の画角となる倍率）を設定倍率として算出し、この設定倍率までズーム駆動部１１１を駆動するズーム拡大処理を行う。そして、再度ＣＣＤ１３を駆動して、第２の画像を撮像する。また、検出された顔が画角内に収まる最大の倍率の算出方法としては、予め標準倍率（倍率１倍）時における画角内の各画素について、倍率を上げたときに、その画素に対応する領域を画角に収めることができる最大の倍率を算出しておき、その算出結果に基づいて、検出した顔に対応する領域の画素から、顔が画角内に収まる最大の倍率を算出する方法などが考えられる。

さらに、制御部２２は、顔認識部２９２により、第１の画像及び第２の画像に含まれる２つの顔が一致すると判定された場合に、第１の画像と前記第２の画像とを対応付けて、保存メモリ２８による記録を実行する。
また、設定倍率がズーム駆動部１１１により拡大可能な最大の倍率を超えていた場合、その旨を報知する。

また、制御部２２は、再生モードでは、第１の画像を第２の画像と同じ倍率に拡大し、拡大した第１の画像の第２の画像に相当する部分を、第２の画像に置き換えた合成画像を生成する。そして、ズームボタンによって指示された表示倍率が第２の画像の第１の画像に対する倍率以上であるか否かを判定し、この判定が肯定的である場合、合成画像を表示倍率まで拡大して表示部２６に表示する。一方、この判定が否定的である場合、第１の画像を表示倍率まで拡大して表示部２６に表示する。

この制御部２２は、本発明の算出手段、ズーム制御手段、撮像制御手段、報知手段、合成画像生成手段、表示制御手段、第２の判定手段である。

図２は、デジタルカメラ１の撮影モードでの動作を示すフローチャートである。
キー入力部３０に設けられているモード設定キーが操作されて撮影モードが設定
されると、制御部２２は、図２に示すフローチャートの処理を実行するためのプログラム
をプログラム格納メモリから読み出す。制御部２２は、このプログラムに従って、図２に
示すフローチャートにおける各種処理を実行する。

まず、制御部２２により、シャッターキーが押されたか否かを判定し（ステップＳ１）、この判定がＹＥＳの場合には、ステップＳ２に移り、ＮＯの場合には、ステップＳ１に戻る。
ステップＳ２では、ＣＣＤ１３により撮像処理を実行して画像を撮像し、制御部２２により、この撮像した画像を第１の画像としての基準画像に設定し、この基準画像を一時的に記憶する。

次に、顔検出部２９１により、基準画像に顔検出処理を実行し（ステップＳ３）、基準画像に顔が含まれているか否かを判定する（ステップＳ４）。この判定がＹＥＳの場合には、ステップＳ５に移り、ＮＯの場合には、ステップＳ１２に移る。

ステップＳ５では、顔検出部２９１により、基準画像から検出した全ての顔の位置及び大きさを算出する。
次に、制御部２２により、検出した全ての顔を含むことができる画角のうち最小のものを求めて、この最小の画角に対応した光学ズームの倍率を設定倍率として算出する（ステップＳ６）。
次に、制御部２２により、設定倍率になるように光学ズームを駆動し（ステップＳ７）、光学ズームの倍率が設定倍率に到達したか否かを判定する（ステップＳ８）。この判定がＹＥＳの場合には、ステップＳ１３に移り、ＮＯの場合には、ステップＳ９に移る。

ステップＳ９では、制御部２２により、光学ズームが駆動限界であるか否かを判定する。この判定がＹＥＳの場合には、ステップＳ１０に移り、ＮＯの場合には、ステップＳ７に戻る。
ステップＳ１０では、制御部２２により、光学ズームが駆動限界である旨を報知する。この報知は、音声、ランプ、文字による表示等によって実行する。

次に、制御部２２により、シャッターキーが押されたか否かを判定し（ステップＳ１１）、この判定がＹＥＳの場合には、ステップＳ１３に移り、ＮＯの場合には、ステップＳ１２に移る。
ステップＳ１２では、制御部２２により、基準画像のみを保存メモリ２８に記録する。

ステップＳ１３では、ＣＣＤ１３により撮像処理を実行して画像を撮像し、制御部２２
により、この撮像した画像を第２の画像としての拡大画像に設定し、この拡大画像を一時
的に記憶する。
次に、顔認識部２９２により、基準画像と拡大画像とのマッチングを行い（ステップＳ
１４）、基準画像と拡大画像とが対応するか否か、つまり、基準画像のうち拡大画像に対
応する領域と拡大画像とが一致するか否か、を判定する（ステップＳ１５）。
この判定がＹＥＳの場合には、ステップＳ１６に移り、ＮＯの場合には、ステップＳ１７に移る。

ステップＳ１６では、制御部２２により、基準画像と拡大画像とをデータベース化して
対応付けて保存メモリ２８に記憶するとともに、拡大画像を撮影した時の光学ズームの倍
率も記録する。
ステップＳ１７では、制御部２２により、基準画像と拡大画像とを対応付けず、別々に
保存メモリ２８に記録する。

図３は、基準画像と拡大画像とをデータベース化して対応付けて保存メモリ２８に記憶したときの例を示す図であり、基準画像である画像Ａ１、Ａ３、Ａ４について、拡大画像の倍率は、３倍、７倍、１０倍である。
一方、基準画像である画像Ａ２については、拡大画像は「なし」である。これは、画像Ａ２について基準画像と拡大画像とが対応しないと判定された場合、あるいは、画像Ａ２についての拡大画像を撮像すべく光学ズームを駆動したが、駆動限界であるためにユーザが拡大画像の撮影を指示しなかった場合などが考えられる。

図４は、デジタルカメラの再生モードでの動作を示すフローチャートである。
キー入力部３０に設けられているモード設定キーが操作されて再生モードが設定
されると、制御部２２は、図４に示すフローチャートの処理を実行するためのプログラム
をプログラム格納メモリから読み出す。制御部２２は、このプログラムに従って、図４に
示すフローチャートにおける各種処理を実行する。

まず、制御部２２により、基準画像を保存メモリ２８から読み出して、表示部２６に基準画像を表示する（ステップＳ２１）。実際には、表示部２６の画素数は、基準画像や拡大画像の画素数に比べて少ないため、表示部２６の画素数に合わせて基準画像から表示画像を生成し、この表示画像を表示部２６に表示する。
次に、この読み出した基準画像に対応する拡大画像があるか否かを判定する（ステップＳ２２）。この判定がＹＥＳの場合には、ステップＳ２５に移り、ＮＯの場合には、ステップＳ２３に移る。

ステップ２３では、ズームスイッチが操作されたか否かを判定し、この判定がＹＥＳの場合には、ステップＳ２４に移り、ＮＯの場合には、ステップＳ２１に戻る。
ステップＳ２４では、ズームスイッチで設定された倍率に応じて、基準画像を拡大または縮小して表示部２６に表示し、ステップＳ２３に戻る。

ステップ２５では、保存メモリ２８から、拡大画像の倍率を読み出す。
次に、基準画像を拡大し、拡大した基準画像の拡大画像に対応する領域を拡大画像に置き換えることにより、合成画像を生成する（ステップＳ２６）。

次に、ズームスイッチが操作されたか否かを判定し（ステップＳ２７）、この判定がＹＥＳの場合には、ステップＳ２８に移り、ＮＯの場合には、ステップＳ２１に戻る。
ステップＳ２８では、ズームスイッチで設定された倍率を表示倍率とし、この表示倍率が拡大画像の倍率より大きいか否かを判定する。この判定がＹＥＳの場合には、ステップＳ２９に移り、ＮＯの場合には、ステップＳ３０に移る。

ステップＳ２９では、ズームスイッチで設定された表示倍率に応じて、合成画像を拡大して表示部２６に表示し、ステップＳ２７に戻る。
ステップＳ３０では、ズームスイッチで設定された表示倍率に応じて、基準画像を拡大して表示し、ステップＳ２７に戻る。

例えば、図５（ａ）に示すように、山を背景として、４人の人物Ａ〜Ｄを撮影した画像を基準画像とする。この画像は光学ズームを駆動させずに（倍率１倍で）撮影された画像であり、この画像中、左側から順に、人物Ａ〜Ｄとする。
そして、図５（ｂ）に示すように、４人の人物の顔Ａ〜Ｄが含まれる最小の画角の画像を拡大画像とする。この拡大画像の倍率は、２倍であるとする。
よって、この場合の合成画像は、２倍に拡大した基準画像の拡大画像に対応する領域を拡大画像に置き換えた画像となる。
ここで、例えば、ズームボタンを操作して、表示倍率を拡大画像の倍率未満とすると、図６に示すように、基準画像を表示倍率まで拡大して表示する。また、ズームボタンを操作して、表示倍率を拡大画像の倍率以上とすると、図７に示すように、合成画像を表示倍率まで拡大して表示する。このとき、図７に示したように表示されている領域は、拡大画像に置き換えられた領域であるから、基準画像を同じ倍率に拡大したときよりも、解像度が高くなっている。

本実施形態によれば、以下のような効果がある。
（１）記録モードでは、ユーザが一度シャッターキーを押すだけで、デジタルカメラ１は、被写体の人物を含む基準画像に加えて、この人物の顔を拡大した拡大画像を自動的に撮像する。
そして、拡大した基準画像の一部を拡大画像に置き換えた合成画像を生成し、再生モードでは、ズームボタンによって指示された表示倍率が拡大画像の基準画像に対する倍率以上である場合、基準画像ではなく、合成画像を表示倍率まで拡大して表示部２６に表示する。
人物の顔については、基準画像より拡大画像の方が高画質であるため、合成画像を拡大することで、基準画像を拡大した場合に比べて、画像の劣化を低減できる。よって、人物の顔を撮影し、この撮影画像に含まれる顔を拡大しても、解像度の低下を抑制できる。

（２）基準画像を撮像した後に拡大画像を撮像するため、画像を撮像するタイミングにずれが生じて、基準画像と拡大画像とで、顔の位置のずれや表情の変化が生じるおそれがある。
そこで、顔認識部２９２により、基準画像と拡大画像とのマッチングを行い、基準画像のうち拡大画像に対応する領域と拡大画像とが一致するか否かを判定し、この判定が肯定的である場合には、基準画像と拡大画像とを対応付けて保存メモリ２８に記憶した。よって、基準画像の一部を拡大画像に置き換えて合成画像を生成しても、この合成画像が基準画像と大きく異なるのを防止できる。

（３）設定倍率が光学ズームによって拡大可能な最大の倍率を超えていた場合、光学ズームをこの最大の倍率まで拡大させた後、その旨を報知し、最大の倍率で撮影するか否かの判断をユーザに仰ぐようにした。よって、ユーザの好みに応じて、拡大画像を撮像できる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、本実施形態では、基準画像と拡大画像をデータベース化して記憶したが、これに限らず、基準画像に対して、拡大画像の有無を示すタグを付して記憶してもよく、記憶形式によらず、基準画像と拡大画像とを対応付けて記憶できればよい。

また、本実施形態では、算出した設定倍率がデジタルカメラの拡大可能な最大の倍率よりも大きい場合、この最大の倍率までデジタルカメラのズーム処理を実行した後に報知したが、これに限らず、デジタルカメラのズーム処理を実行する前に、算出した設定倍率がデジタルカメラの拡大可能な最大の倍率よりも大きい旨を報知し、ズーム処理を実行するか否かの判断をユーザに仰ぐようにしてもよい。
本実施形態では、拡大可能な最大の倍率までズーム処理を実行した後にユーザに報知したので、ユーザが拡大画像を撮影しないことを選択した場合、ズーム動作が無駄な動作となる。しかしながら、拡大可能な最大の倍率までズーム処理を実行する前に、ズーム処理を行うか否かの判断をユーザに仰ぐようにすれば、消費電力を低減できる。

また、本実施形態では、顔検出部２９１により、基準画像及び拡大画像から人物の顔を検出したが、さらに、検出した人物の顔の笑顔評価値を顔認識部２９２によって算出するようにしてもよい。
さらに、顔認識部２９２により基準画像から検出された人物の顔から所定値以上の笑顔評価値が算出された場合に、制御部２２により、ズーム拡大処理を行うようにしてもよい。
さらに、顔認識部２９２により拡大画像における人物の顔から所定値以上の笑顔評価値が算出された場合に、制御部２２により、保存メモリ２８による記録を実行してもよい。

また、本発明は、デジタルカメラに限らず、例えばカメラ付きの携帯電話端末等の静止画撮影機能を有する他の撮像装置にも適用できる。
また、本発明は、デジタルカメラに限らず、任意の画像処理装置にも適用できる。また、係る画像処理装置には、所定のプログラムに基づき動作することにより前記機能が実現されるパーソナルコンピュータも含まれる。

本発明の撮像装置の一実施形態に係るデジタルカメラの電気的構成を示すブロック図である。 前記実施形態に係るデジタルカメラの撮影モードでの動作を示すフローチャートである。 前記実施形態に係るデジタルカメラに記録した基準画像と拡大画像との関係の示す図である。 前記実施形態に係るデジタルカメラの再生モードでの動作を示すフローチャートである。 前記実施形態に係る基準画像及び拡大画像の具体例を示す図である。 前記実施形態に係る基準画像を表示倍率まで拡大した具体例を示す図である。 前記実施形態に係る基準画像を表示倍率まで拡大した具体例を示す図である。

符号の説明

１ デジタルカメラ（撮像装置）
１２ レンズ光学系
１３ ＣＣＤ（撮像手段）
１８ カラープロセス回路
１９ ＤＭＡコントローラ
２０ ＤＲＡＭ Ｉ／Ｆ
２１ ＤＲＡＭ
２２ 制御部（算出手段、ズーム制御手段、撮像制御手段、報知手段、合成画像生成手段、表示制御手段、第２の判定手段）
２３ ＶＲＡＭコントローラ
２４ ＶＲＡＭ
２５ デジタルビデオエンコーダ
２６ 表示部
２７ ＪＰＥＧ回路
２８ 保存メモリ（記録手段）
３０ キー入力部（表示倍率指示手段、画像取得指示手段）
１１１ ズーム駆動部
１１２ ＡＦ駆動部
２９１ 顔検出部（検出手段）
２９２ 顔認識部（画像比較手段、第１の判定手段、笑顔評価値算出手段）
２９３ データベース

Claims (11)

1. 第１の画像を撮像する撮像手段と、
   この撮像手段によって撮像された第１の画像から特徴領域を検出する検出手段と、
   この検出手段によって検出された特徴領域が前記撮像手段の撮像画角内に収まる最大の倍率を設定倍率として算出する算出手段と、
   この算出手段によって算出した設定倍率まで、光学的なズーム拡大処理を行うズーム制御手段と、
   このズーム制御手段によってズーム拡大処理された撮像画角からなる第２の画像を撮像するよう前記撮像手段を制御する撮像制御手段と、
   前記第１の画像と前記第２の画像とを対応付けて記録する記録手段と、
   所定の画面に表示する画像の倍率を表示倍率として指示する表示倍率指示手段と、
   前記第１の画像における前記第２の画像に対応する部分を、前記第２の画像に置き換えた合成画像を生成する合成画像生成手段と、
   前記表示倍率指示手段によって指示された表示倍率が前記第２の画像の前記第１の画像に対する倍率以上であるか否かを判定する第２の判定手段と、
   この第２の判定手段によって前記表示倍率が前記第２の画像の前記第１の画像に対する倍率以上であると判定された場合、前記合成画像を前記表示倍率まで拡大して前記所定の画面に表示し、前記第２の判定手段によって前記表示倍率が前記第２の画像の前記第１の画像に対する倍率未満であると判定された場合に、前記第１の画像を前記表示倍率まで拡大して前記所定の画面に表示する表示制御手段と、
   を備えたことを特徴とする撮像装置。
2. 前記第１の画像における前記第２の画像に相当する部分と、前記第２の画像とのマッチング度を算出する画像比較手段と、
   この画像比較手段によって算出したマッチング度が所定の閾値以上であるか否かを判定する第１の判定手段と、を更に備え、
   前記記録手段は、前記第１の判定手段によってマッチング度が所定の閾値以上であると判定した場合に、前記第１の画像と前記第２の画像とを対応付けて記録することを特徴とする請求項１記載の撮像装置。
3. 前記算出手段は、前記検出手段によって前記第１の画像から複数の特徴領域を検出した場合、検出した全ての特徴領域が前記撮像画角内に収まる最大の倍率を設定倍率として算出することを特徴とする請求項１または２に記載の撮像装置。
4. 前記算出手段によって算出した設定倍率が光学的にズーム拡大可能な最大の倍率を超えていた場合、その旨を報知する報知手段を更に備えたことを特徴とする請求項１から３のいずれか記載の撮像装置。
5. 前記ズーム制御手段は、前記算出手段によって算出した設定倍率が光学的にズーム拡大可能な最大の倍率を超えていた場合、前記最大の倍率までズーム拡大処理を行うことを特徴とする請求項１から４のいずれか記載の撮像装置。
6. 前記第２の画像の撮像を指示する画像取得指示手段を備え、
   前記ズーム制御手段は、前記画像取得指示手段による指示に基づいて、ズーム拡大処理を行うことを特徴とする請求項１から５のいずれか記載の撮像装置。
7. 前記検出手段は、人物の顔が存在する領域を前記特徴領域として検出することを特徴とする請求項１から６のいずれか記載の撮像装置。
8. 前記第１の画像から前記検出手段によって検出された人物の顔の笑顔評価値を算出する笑顔評価値算出手段を更に備え、
   前記ズーム制御手段は、前記笑顔評価値算出手段によって前記第１の画像から所定値以上の笑顔評価値が算出された場合に、ズーム拡大処理を行うことを特徴とする請求項７記載の撮像装置。
9. 前記笑顔評価値算出手段は、前記第２の画像における前記第１の画像から検出された人物の顔に対応する顔の笑顔評価値を算出し、
   前記記録手段は、前記第２の画像から所定値以上の笑顔評価値が算出された場合に、前記第２の画像を記録することを特徴とする請求項８記載の撮像装置。
10. 撮像部に対し、第１の画像を撮像させる撮像ステップと、
    この撮像ステップにて撮像された第１の画像から特徴領域を検出する検出ステップと、
    この検出ステップにて検出された特徴領域が前記撮像部の撮像画角内に収まる最大の倍率を設定倍率として算出する算出ステップと、
    この算出ステップにて算出した設定倍率まで、光学的なズーム拡大処理を行うズーム制御ステップと、
    このズーム制御ステップにてズーム拡大処理された撮像画角からなる第２の画像を撮像するよう前記撮像部を制御する撮像制御ステップと、
    前記第１の画像と前記第２の画像とを対応付けて記録する記録ステップと、
    所定の画面に表示する画像の倍率を表示倍率として指示する表示倍率指示ステップと、
    前記第１の画像における前記第２の画像に対応する部分を、前記第２の画像に置き換えた合成画像を生成する合成画像生成ステップと、
    前記表示倍率指示ステップによって指示された表示倍率が前記第２の画像の前記第１の画像に対する倍率以上であるか否かを判定する第２の判定ステップと、
    この第２の判定ステップによって前記表示倍率が前記第２の画像の前記第１の画像に対する倍率以上であると判定された場合、前記合成画像を前記表示倍率まで拡大して前記所定の画面に表示し、前記第２の判定ステップによって前記表示倍率が前記第２の画像の前記第１の画像に対する倍率未満であると判定された場合に、前記第１の画像を前記表示倍率まで拡大して前記所定の画面に表示する表示制御ステップと
    を含むことを特徴とする撮像方法。
11. 撮像装置が有するコンピュータを、
    第１の画像を撮像させる撮像手段、
    この撮像手段にて撮像された第１の画像から特徴領域を検出する検出手段、
    この検出手段によって検出された特徴領域が前記撮像手段の撮像画角内に収まる最大の倍率を設定倍率として算出する算出手段、
    この算出手段によって算出した設定倍率まで、光学的なズーム拡大処理を行うズーム制御手段、
    このズーム制御手段によってズーム拡大処理された撮像画角からなる第２の画像を撮像するよう前記撮像手段を制御する撮像制御手段、
    前記第１の画像と前記第２の画像とを対応付けて記録する記録手段、
    所定の画面に表示する画像の倍率を表示倍率として指示する表示倍率指示手段、
    前記第１の画像における前記第２の画像に対応する部分を、前記第２の画像に置き換えた合成画像を生成する合成画像生成手段、
    前記表示倍率指示手段によって指示された表示倍率が前記第２の画像の前記第１の画像に対する倍率以上であるか否かを判定する第２の判定手段、
    この第２の判定手段によって前記表示倍率が前記第２の画像の前記第１の画像に対する倍率以上であると判定された場合、前記合成画像を前記表示倍率まで拡大して前記所定の画面に表示し、前記第２の判定手段によって前記表示倍率が前記第２の画像の前記第１の画像に対する倍率未満であると判定された場合に、前記第１の画像を前記表示倍率まで拡大して前記所定の画面に表示する表示制御手段、
    として機能させることを特徴とするプログラム。

Images