JP6289037B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

Description

本発明は撮像装置及び撮像装置の制御方法に関し、特に、アウトカメラとインカメラを備え、双方で撮影した撮像データを合成処理するために用いて好適な技術に関する。

従来、撮像装置は撮影者が被写体に向け操作し、被写体を撮影し、被写体の撮影データを作成するための装置であった。しかし、近年では被写体の画像だけではなく撮影者の様子も画像に反映するために、後方撮像部を備え、前方撮像部で撮影した画像と後方撮像部で撮影した画像とを合成処理する撮像装置が知られている（例えば特許文献１参照）。これは、撮影する際の撮影者の表情や仕草といった動作を同時に撮影データに記録し、鑑賞時に再生することでより鑑賞者が感じる楽しさを一層向上させるようにしている。

特開２０１０−３２０１号公報

しかしながら、前述の特許文献１に開示された従来技術では、後方撮像部の画角内に撮影者が入らない状態で撮影すると、撮影データに撮影者は記録されず、そのまま合成処理を行った場合においては撮影データにむだな部分が生じてしまう。

例えば、撮影者が撮像装置を上方に掲げて上方から撮影を行う場合や、撮像装置を下方に構えて撮影する場合などでは、撮影データに撮影者は記録されないからである。
本発明は前述の問題点に鑑み、前方撮像部と後方撮像部によって双方の撮影データを撮影する際に、後方撮像部における撮影の失敗を防止することを目的とする。

本発明の撮像装置は、被写体側を撮影するための第１の撮像手段と、撮影者側を撮影するための第２の撮像手段とを備える撮像装置であって、前記第２の撮像手段により撮影された画像データについて顔検出を行う顔検出手段と、前記第１の撮像手段により撮影された画像データと、前記第２の撮像手段により撮影された画像データとを合成する合成処理を実行する合成処理手段と、前記第２の撮像手段により撮影された画像データについて前記顔検出手段により顔が検出されなかったときに、撮影者に警告表示を行う警告手段と、前記第２の撮像手段により撮影された画像データについて顔が検出されないときに撮影動作を実行する際に、前記合成処理を実行するか否かを選択可能な選択手段と、を有することを特徴とする。

本発明によれば、後方撮像部の顔が非検出のときは撮影者に警告を促すようにしたので、後方撮像部による撮影の失敗を防止することができる。

撮像装置の全体を示す図である。 デジタルカメラの構成例を説明するブロック図である。 第１の実施形態の合成画像処理モードの撮影手順を説明するフローチャートである。 実施形態の合成画像処理を説明する図であり、後方撮像部の画像データ内に撮影者の顔検出が可能な場合の例を説明する図である。 実施形態の合成画像処理を説明する図であり、後方撮像部の画像データ内に撮影者の顔検出が不可能な場合の例を説明する図である。 実施形態の合成画像処理を説明する図であり、撮影者に警告を促すことによって後方撮像部による撮影の失敗を防止する例を説明する図である。 第２の実施形態の合成画像処理モードの撮影手順を説明するフローチャートである。 第２の実施形態の合成画像処理を説明する図であり、画角から外れて顔検出が検出状態から非検出状態になった様子を示す図である。 第３の実施形態の合成画像処理モードの撮影手順を説明するフローチャートである。 第４の実施形態の合成画像処理モードの撮影手順を説明するフローチャートである。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
＜第１の実施形態＞
以下、図１から図５を参照して、本発明の第１の実施形態について説明する。ここでは、撮像装置の例としてデジタルカメラについて説明する。図１は、撮像装置の全体を示す図である。
図１において、１はデジタルカメラである。１０は前方撮像部であり、１５は後方撮像部である。前方撮像部１０は撮影者が意図する被写体を撮影する撮像部であり、後方撮像部１５は撮影者を撮影する撮像部である。

２は電源ボタンであり、電源ボタン２によって撮像装置本体（デジタルカメラ）１の電源ON、OFFを操作する。前方撮像部１０は、デジタルカメラ１の電源OFF時においては、鏡筒部１２がフロントカバー８内に格納される。デジタルカメラ１の電源ON時においては、不図示の駆動手段によって鏡筒部１２が繰り出され、突出した状態（図１の状態）となり、撮影可能状態となる。

３はレリーズボタンであり、４はズームレバーである。撮影可能状態において、ズームレバー４によって鏡筒部１２の望遠、広角を操作することによって撮影データの画角を決定し、レリーズボタン３の押込み操作によってデータを記録する。６は操作ボタンであり、操作ボタン６によってデジタルカメラ１の各設定を操作する。５は表示部であり、撮影可能状態においては前方撮像部１０、後方撮像部１５によって撮像された撮影データを表示し、再生モードでは後述するデジタルカメラ１内に備えられたカードスロット７の記録媒体９に撮影された画像データを再生する。

以下、図２から図６を参照して、本実施形態のデジタルカメラ１の撮影画像処理について説明する。
図２は、デジタルカメラ１の構成例を説明するブロック図である。前方撮像部１０、後方撮像部１５にはそれぞれ第１のＡＦユニット１１、第２のＡＦユニット１６が備えられている。前述のレリーズボタン３を半押し操作することによって、第１のＡＦユニット１１、第２のＡＦユニット１６が不図示の駆動装置によって駆動し、各被写体のピントを合わせる機能を備えている。

前方撮像部１０、後方撮像部１５によって撮影される前の各画像データは、ライブ映像として表示部５に常時表示される構成となっており、各画像データはデジタルカメラ１に備えられたＣＰＵ２０に送られる。

ＣＰＵ２０には画像処理部２１が備えられており、画像データは、画像データ取得部３０に送られ、さらに前方撮像部１０と後方撮像部１５によって撮影される画像データ上に人の顔があるか否かを判別する顔検出部３１に送られる。ＣＰＵ２０は、図示しないＲＯＭ及びＲＡＭを備え、ＲＯＭに格納されているプログラムをＲＡＭに展開して実行することにより、後述する図３のフローチャートの処理が実現される。

顔検出部３１において、顔検出を終えたデータは判定部３２に送られる。判定部３２の詳細は後述する。この状態から前述のレリーズボタン３を押込み操作することによって撮影が行われ、画像合成処理部３３によって、前方撮像部１０と後方撮像部１５の画像の合成処理を実行し、カードスロット７内の記録媒体９に画像データは記録される。

図３は、合成画像処理モード撮影の撮影手順を説明するフローチャートである。
まず、前方撮像部１０と後方撮像部１５の画像を合成処理する合成画像モード起動（Ｓ３０１）後、後方撮像部顔検出（Ｓ３０２）に移行する。ここで、顔検出部３１によって撮影者の顔検出が行われる。

次に、Ｓ３０３のフローに移行する。Ｓ３０３では、後方撮像部１５の画像データ内に撮影者の顔検出が可能か否かを判断する。Ｓ３０３において後方撮像部１５の画像データ内に撮影者の顔検出が可能であると判定部３２によって判定された場合（図４（ａ）の状態）、撮影（Ｓ３０４）のフローに移行し、前方撮像部１０と後方撮像部１５の画像データの撮影が行われる。その後、合成画像データ作成（Ｓ３０９）に移行し、画像合成処理部３３によって前方撮像部１０と後方撮像部１５の画像データ合成処理を行う。

画像合成処理部３３によって合成処理された画像データは、表示画像データ生成部３５により、表示部５にて表示される（図４（ｂ）の状態）。また同時に、画像合成処理部３３によって合成処理された画像データは、記録画像データ生成部３４に供給され、カードスロット７内の記録媒体９に記録される。

次に、Ｓ３０３において、後方撮像部顔検出が非検出の場合の説明をする。
判定部３２によって後方撮像部１５の画像データ内に撮影者の顔検出が非検出と判断された場合（図５（ａ）の状態）、Ｓ３０５に移行する。ここでは、警告画像データ生成部３６によって警告表示が生成され、表示部５に表示される（図５（ｂ）の状態）。

次に、この状態からＳ３０６に移行し、レリーズボタン３を押したか否かを判断する。レリーズボタン３を押込み操作しない状態であれば、再びＳ３０２に移行し、後方撮像部１５の顔検出を続行する。また、Ｓ３０６の状態でレリーズボタン３を押込み、撮影動作を実行すると、前方撮像部１０と後方撮像部１５の画像データの撮影が行われる（Ｓ３０７）。

次に、Ｓ３０８に移行し、合成画像処理をするか否かを選択可能な状態となる（図５（ｃ）の状態）。ここで、合成画像処理をすることを撮影者が選択するとＳ３０９に移行し、画像合成処理部３３によって前方撮像部１０と後方撮像部１５の画像データとを合成処理する（図６（ａ）の状態）。Ｓ３０９で行なわれる合成画像データ作成の内容は、前述の通りである。

また、Ｓ３０８において合成画像処理をしないと選択すると、後方撮像部１５によって撮影された画像データは破棄され、前方撮像部１０の画像データのみ記録される（図６（ｂ）の状態）。
このように、後方撮像部１５の画像データ内に撮影者の顔検出の結果が非検出と判断された場合には、警告画像データ生成部３６により警告表示を生成し、撮影者に警告を促すことによって後方撮像部１５による撮影の失敗を防止することが可能となる。

＜第２の実施形態＞
以下、図４、図７、図８を参照して、本発明の第２の実施形態について説明する。
図７は、第２の実施形態の合成画像処理モード撮影の撮影手順を説明するフローチャートである。図７のフローチャートにおいて、前述した図３のフローチャートのステップと同じ処理を行うステップについては、図３のフローチャートに付したステップ番号と同じステップ番号を付して説明を省略する。また、ＣＰＵ２０は、図示しないＲＯＭ及びＲＡＭを備え、ＲＯＭに格納されているプログラムをＲＡＭに展開して実行することにより、実現できる。

前方撮像部１０と後方撮像部１５の画像を合成処理する合成画像モード起動（Ｓ３０１）後、後方撮像部顔検出（Ｓ３０２）に移行する。ここで、顔検出部３１によって後方撮像部１５によって撮影者の顔検出が行われる。

次に、Ｓ３０３のフローに移行する。Ｓ３０３では、後方撮像部１５の画像データ内に撮影者の顔検出が可能か否かを判断する。Ｓ３０３において、後方撮像部１５の画像データ内に撮影者の顔検出が可能であると判定部３２によって判定された場合（図４（ａ）の状態）、Ｓ７０１に移行する。

図８中の（ａ）は、撮影者の顔検出が行われたものの、撮影者の顔が矢印Ａ方向に移動し、後方撮像部１５の画角から外れて顔検出が検出状態から非検出状態になった様子を示している。
Ｓ７０１においては、検出状態から非検出状態になったか否かを判断する。後方撮像部１５の顔検出が検出状態から非検出状態に移行したと判定された場合、Ｓ７０２に移行し、画角から外れないようにするための警告を表示部５に表示する（図８（ｂ）の状態）。Ｓ３０４〜Ｓ３０９においては、図３のフローチャートと同じ処理を行うので、説明を省略する。
このように、撮影者に警告を促すことによって後方撮像部１５による撮影の失敗を防止することが可能となる。

＜第３の実施形態＞
以下、図５、図６、図９を参照して、本発明の第３の実施形態について説明する。
図９は、第３の実施形態の合成画像処理モードの撮影手順を説明するフローチャートである。図９のフローチャートにおいて、前述した図３のフローチャートのステップと同じ処理を行うステップについては、図３のフローチャートに付したステップ番号と同じステップ番号を付して説明を省略する。
前方撮像部１０と後方撮像部１５の画像を合成処理する合成画像モード起動（Ｓ３０１）後、後方撮像部顔検出（Ｓ３０２）に移行する。ここで、顔検出部３１によって撮影者の顔検出が行われる。

次に、Ｓ３０３のフローに移行する。Ｓ３０３では後方撮像部１５の画像データ内に撮影者の顔検出が可能か否かを判断する。
Ｓ３０３で、判定部３２によって後方撮像部１５の画像データ内に撮影者の顔検出が非検出と判断された場合（図５（ａ）の状態）、Ｓ３０５に移行する。ここでは、警告画像データ生成部３６によって警告表示が生成され、表示部５に表示される（図５（ｂ）の状態）。

次に、この状態からＳ３０６に移行し、レリーズボタン３を押込み操作しない状態であれば、再びＳ３０２に移行し、後方撮像部１５の顔検出を続行する。また、Ｓ３０６の状態でレリーズボタン３を押込み操作すると、前方撮像部１０と後方撮像部１５の画像データの撮影が行われる（Ｓ３０７）。

撮影が終了すると合成画像処理モードが自動的に解除され、画像合成処理部３３による画像データ合成処理は実行されなくなる（Ｓ９０１）。この場合、後方撮像部１５によって撮影された画像データは破棄され、記録画像データ生成部３４は前方撮像部１０の画像データのみを記録媒体９に記録する（図６（ｂ）の状態）。
このように、撮影者の顔検出が非検出時には自動的に合成画像モードを解除することによって記録媒体９に記録される合成画像の失敗を防止することが可能となる。

前述の実施形態中では、前方撮像部１０と後方撮像部１５によって撮影した画像データを撮影と同時に、画像合成処理部３３で画像合成処理を行っているが、各撮像部による撮影の時間差が生じても本願発明は達成される。例えば、前方撮像部１０によって撮影した画像データを一時的にデジタルカメラ１内のメモリに記録し、後に後方撮像部１５によって撮影した画像データを用いて画像合成処理を行ってもなんら問題はない。

また、前述した実施形態中では警告を表示部５によって行っているが、表示部５以外において撮影者に警告を促す動作であってもよい。例えば、発光体を点灯または発音体によって警告音を発するものによって撮影者に警告を促すものであっても本願発明は達成される。

＜第４の実施形態＞
以下、図１、図５、図６、図１０を参照して、本発明の第４の実施形態について説明する。
図１０は、第４の実施形態の合成画像処理モード撮影の撮影手順を説明するフローチャートである。図１０のフローチャートにおいて、前述した図３のフローチャートのステップと同じ処理を行うステップについては、図３のフローチャートに付したステップ番号と同じステップ番号を付して説明を省略する。
前方撮像部１０と後方撮像部１５の画像を合成処理する合成画像モード起動（Ｓ３０１）後、後方撮像部顔検出（Ｓ３０２）に移行する。ここで、顔検出部３１によって後方撮像部１５によって撮影者の顔検出が行われる。

次に、Ｓ３０３のフローに移行する。Ｓ３０３では、後方撮像部１５の画像データ内に撮影者の顔検出が可能か否かを判断する。
判定部３２によって後方撮像部１５の画像データ内に撮影者の顔検出が非検出と判断された場合（図５（ａ）の状態）、Ｓ１００１のフローに移行する。
Ｓ１００１では、後方撮像部１５が広角端の状態であるかどうかを判定する。後方撮像部１５が広角端状態であると判定された場合、後述するＳ３０５のフローに移行する。後方撮像部１５が広角端状態でないと判定された場合、Ｓ１００２のフローに移行する。
Ｓ１００２では、後方撮像部１５が不図示の駆動部によって広角側へ駆動し、後方撮像部１５の撮影可能画角が広くなる広角撮影に移行する。

後方撮像部１５が広角側へ駆動した後、再度後方撮像部１５において顔検出が実行される（Ｓ１００３）。次に、Ｓ１００４のフローに移行する。
Ｓ１００４では、再度後方撮像部１５の画像データ内に撮影者の顔検出が可能か否かを判断する。判定部３２によって後方撮像部１５の画像データ内に撮影者の顔検出が再度非検出と判断された場合（図５（ａ）の状態）、Ｓ３０５に移行する。ここでは、警告画像データ生成部３６によって警告表示が生成され、表示部５に表示される（図５（ｂ）の状態）。

次に、この状態からＳ３０６に移行し、レリーズボタン３を押込み操作しない状態であれば、再びＳ３０２に移行し、後方撮像部１５の顔検出を続行する。また、Ｓ３０６の状態でレリーズボタン３を押込み操作すると前方撮像部１０と後方撮像部１５の画像データの撮影が行われる（Ｓ３０７）。

次に、Ｓ３０８に移行し、合成画像処理をするか否かを選択する（図５（ｃ）の状態）。ここで、合成画像処理をすると選択するとＳ３０９に移行し、画像合成処理部３３によって前方撮像部１０と後方撮像部１５の画像データを合成処理する（図６（ａ）の状態）。

また、Ｓ３０８において合成画像処理をしないと選択すると、後方撮像部１５によって撮影された画像データは破棄され、前方撮像部１０の画像データのみ記録される（図６（ｂ）の状態）。
このように、撮影者に警告を促すことによって後方撮像部１５による撮影の失敗を防止することが可能となる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して、各種の制御を実行する処理である。

Claims (8)

1. 被写体側を撮影するための第１の撮像手段と、撮影者側を撮影するための第２の撮像手段とを備える撮像装置であって、
   前記第２の撮像手段により撮影された画像データについて顔検出を行う顔検出手段と、
   前記第１の撮像手段により撮影された画像データと、前記第２の撮像手段により撮影された画像データとを合成する合成処理を実行する合成処理手段と、
   前記第２の撮像手段により撮影された画像データについて前記顔検出手段により顔が検出されなかったときに、撮影者に警告表示を行う警告手段と、
   前記第２の撮像手段により撮影された画像データについて顔が検出されないときに撮影動作を実行する際に、前記合成処理を実行するか否かを選択可能な選択手段と、
   を有することを特徴とする撮像装置。
2. 撮影された画像データを表示する表示部を有し、
   前記警告手段は前記表示部に警告表示することを特徴とする請求項１に記載の撮像装置。
3. 被写体側を撮影するための第１の撮像手段と、撮影者側を撮影するための第２の撮像手段とを備える撮像装置であって、
   前記第２の撮像手段により撮影された画像データについて顔検出を行う顔検出手段と、
   前記第１の撮像手段により撮影された画像データと、前記第２の撮像手段により撮影された画像データとを合成する合成画像処理モードで動作する画像合成処理手段と、
   前記合成画像処理モードに移行した状態において、前記第２の撮像手段により撮影された画像データについて前記顔検出手段による顔検出が非検出のときに撮影が実行される際には、前記合成画像処理モードを解除する制御手段と、
   を有することを特徴とする撮像装置。
4. 被写体側を撮影するための第１の撮像手段と、撮影者側を撮影するための第２の撮像手段とを備える撮像装置の制御方法において、
   前記第２の撮像手段により撮影された画像データについて顔検出を行う顔検出工程と、
   前記顔検出工程において前記第２の撮像手段により撮影された画像データについて顔が検出されなかったときに、撮影者に警告表示を行う警告工程と、
   前記第２の撮像手段により撮影された画像データについて顔が検出されなかったときに撮影動作を実行する際に、合成画像処理を実行するか否かを選択させる選択工程と、
   を有することを特徴とする撮像装置の制御方法。
5. 被写体側を撮影するための第１の撮像手段と、撮影者側を撮影するための第２の撮像手段とを備える撮像装置の制御方法において、
   前記第２の撮像手段により撮影された画像データについて顔検出を行う顔検出工程と、
   前記第１の撮像手段により撮影された画像データと、前記第２の撮像手段により撮影された画像データとを合成する合成画像処理モードで動作する画像合成処理工程と、
   前記合成画像処理モードに移行した状態において、前記第２の撮像手段により撮影された画像データについて前記顔検出工程による顔検出が非検出のときに撮影が実行される際には、前記合成画像処理モードを解除する解除工程と、
   を有することを特徴とする撮像装置の制御方法。
6. 被写体側を撮影するための第１の撮像手段と、撮影者側を撮影するための第２の撮像手段とを備える撮像装置の制御方法をコンピュータに実行させるプログラムであって、
   前記第２の撮像手段により撮影された画像データについて顔検出を行う顔検出工程と、
   前記顔検出工程において前記第２の撮像手段により撮影された画像データについて顔が検出されなかったときに、撮影者に警告表示を行う警告工程と、
   前記第２の撮像手段により撮影された画像データについて顔が検出されなかったときに撮影動作を実行する際に、合成画像処理を実行するか否かを選択させる選択工程と、
   をコンピュータに実行させることを特徴とするプログラム。
7. 被写体側を撮影するための第１の撮像手段と、撮影者側を撮影するための第２の撮像手段とを備える撮像装置の制御方法をコンピュータに実行させるプログラムであって、
   前記第２の撮像手段により撮影された画像データについて顔検出を行う顔検出工程と、
   前記第１の撮像手段により撮影された画像データと、前記第２の撮像手段により撮影された画像データとを合成する合成画像処理モードで動作する画像合成処理工程と、
   前記合成画像処理モードに移行した状態において、前記第２の撮像手段により撮影された画像データについて前記顔検出工程による顔検出が非検出のときに撮影が実行される際には、前記合成画像処理モードを解除する解除工程と、
   をコンピュータに実行させることを特徴とするプログラム。
8. 請求項６または７に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images