JP2009089084A - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】任意の背景画像に対して予め登録されている人物画像等の挿入用画像を合成する際に、その背景画像のシーンに合わせて自然な形で合成できるようにする。
【解決手段】任意の背景画像を取り込み（ステップＳ１０）、予め登録された人物画像を背景画像に挿入する際に、前記取り込んだ背景画像から空、建物等の１種類以上のオブジェクトを認識し、背景画像中のどこに何があるかを把握する（ステップＳ１２）。そして、前記認識したオブジェクトの位置を含むオブジェクト情報に基づいて人物画像が挿入されても画質的に自然となるように人物画像の挿入する位置、大きさ、向き等を変換して背景画像に合成する（ステップＳ１４、Ｓ１６）。
【選択図】 図２

Description

本発明は画像処理装置、撮像装置及び画像処理方法に係り、特に人物などの挿入用画像を背景画像のシーンに合わせて合成する技術に関する。

従来、予め背景画像及びそれに対応した人物の合成処方データを登録しておき、カメラで撮影した画像から人物を切り出し、前記合成処方データに従って人物画像を加工（挿入する位置、大きさを調整）し、背景画像に合成する方法が提案されている（特許文献１）。

また、原画像から顔を検出し、その顔の向きと顔のサイズを測定し、この測定結果に基づいて合成用の背景画像を顔の向きとサイズに合わせて変形させた後、顔画像を含む人物画像と背景画像とを合成する人物画像処理方法が提案されている（特許文献２）。
特開２０００−２０９５００号公報 特開２００４−２９７２７４号公報

しかしながら、特許文献１、２に記載の方法は、予め人物画像を挿入する位置及び大きさが決定されている背景画像としか人物画像を合成することができないという問題がある。

また、特許文献１、２に記載の発明は、撮影された人物画像を予め登録されている背景画像に合成するものであり、撮影された画像（背景画像となり得る画像）に予め登録されている人物画像等の挿入用画像を合成するものではない。

本発明はこのような事情に鑑みてなされたもので、任意の背景画像に対して予め登録されている人物画像等の挿入用画像を合成する際に、その背景画像のシーンに合わせて自然な形で合成することができる画像処理装置、撮像装置及び画像処理方法を提供することを目的とする。

前記目的を達成するために請求項１に係る画像処理装置は、挿入用画像を記憶する記憶手段と、前記挿入用画像の背景となる背景画像を取得する画像取得手段と、前記取得した背景画像から１種類以上のオブジェクトを認識し、該オブジェクトの位置を含むオブジェクト情報を取得するオブジェクト認識手段と、前記オブジェクト情報に基づいて前記挿入用画像を前記背景画像に適正に合成すべく画像処理する画像処理手段と、前記処理済の挿入用画像を前記背景画像に合成する画像合成手段と、を備えたことを特徴としている。

即ち、前記画像取得手段が取得した任意の背景画像に対して、予め記憶された挿入用画像を合成する際に、前記背景画像から１種類以上のオブジェクトを認識し、背景画像中のどこに何があるかを把握することができる。そして、前記認識したオブジェクトの位置を含むオブジェクト情報に基づいて挿入用画像が合成されて画質的に自然となるように前記挿入用画像を画像処理して前記背景画像に合成するようにしている。

請求項２に示すように請求項１に記載の画像処理装置において、前記記憶手段は、人物の実写画像を前記挿入用画像として記憶することを特徴としている。

これにより、人物等の主要被写体が写されていない風景写真等の画像（背景画像）に人物画像を合成することができる。

請求項３に示すように請求項１又は２に記載の画像処理装置において、前記オブジェクト認識手段は、道路、土、砂などの地面属性に関するオブジェクトと、森、木、草などの植物属性に関するオブジェクトと、海、川などの水属性に関するオブジェクトと、建物、壁などの人工の建造物属性に関するオブジェクトと、青空、夜空などの空属性に関するオブジェクトのうちのいずれか１以上のオブジェクトを認識することを特徴している。

請求項４に示すように請求項１から３のいずれかに記載の画像処理装置において、前記画像処理手段は、前記オブジェクト情報に基づいて前記背景画像に前記挿入用画像を挿入する位置、大きさ、及び向きのうちの少なくとも１以上の画像処理を前記挿入用画像に施すことを特徴としている。

請求項５に示すように請求項４に記載の画像処理装置において、前記挿入用画像の挿入の可否、挿入用画像の選択、前記挿入用画像の挿入する位置、大きさ、及び向きのうちの少なくとも１以上をユーザ操作により指示する指示手段を有することを特徴としている。これにより、ユーザが手動で挿入用画像の合成を修正する余地を残し、ユーザの希望通りの挿入用画像の挿入を実現可能にしている。尚、前記オブジェクト情報に基づいて自動的に決定される挿入用画像の挿入する位置、大きさ、及び向き等に対して前記指示手段による指示内容が重複する場合には、前記指示手段による指示内容が優先される。

請求項６に示すように請求項１から５のいずれかに記載の画像処理装置において、前記記憶手段は、複数の挿入用画像を記憶し、前記複数の挿入用画像に対して過去の撮影履歴を利用して重要度を付す評価手段と、前記評価手段によって各挿入用画像に付された重要度に基づいて前記複数の挿入用画像の中から実際の挿入に使用する１つの挿入用画像を自動的に選択する自動選択手段と、を備えたことを特徴としている。

予め記憶されている複数の挿入用画像の中からユーザがどの挿入用画像の挿入を希望しているかを過去の撮影履歴から学習し、ユーザが希望している挿入用画像を選択できるようにしている。

請求項７に示すように請求項６に記載の画像処理装置において、前記評価手段は、前記挿入用画像を含む画像の被撮影確率、前記挿入用画像が画像の中央に写っている確率、及び前記挿入用画像が正面を向いている確率のうちの少なくとも１以上の確率を基準にして各挿入用画像に重要度を付すことを特徴としている。

請求項８に示すように請求項６又は７に記載の画像処理装置において、前記自動選択手段によって選択された挿入用画像をユーザに提示する提示手段と、少なくとも前記提示された挿入用画像の挿入の是非を指示する指示手段と、を備えたことを特徴としている。即ち、挿入用画像の自動選択の結果をユーザに提示し、その挿入用画像の挿入の是非を確認可能にする。自動選択された挿入用画像の挿入を希望しない場合には、次に評価が高い挿入用画像を再度提示するようにしてもよいし、ユーザからの挿入用画像の指示を受け付けるようにしてもよい。

請求項９に示すように請求項１から８のいずれかに記載の画像処理装置において、入力画像から所定の領域を切り出し、この切り出した領域の画像を前記挿入用画像として前記記憶手段に記憶させる手段を備えたことを特徴としている。

即ち、入力画像から挿入用画像を作成し、これを記憶手段に記憶させることができる。

請求項１０に示すように請求項９に記載の画像処理装置において、前記挿入用画像を前記記憶手段に記憶させる手段は、挿入用画像候補を含む画像の被撮影確率、前記挿入用画像候補が画像の中央に写っている確率、及び前記挿入用画像候補が正面を向いている確率のうちの少なくとも１以上の確率を基準にして、前記挿入用画像候補を前記挿入用画像として決定し、該決定した挿入用画像を前記記憶手段に記憶させることを特徴としている。

即ち、撮影履歴を参考にしてユーザが登録したいであろう挿入用画像を自動的に決定して記憶手段に記憶させることができる。

請求項１１に示すように請求項１から１０のいずれかに記載の画像処理装置において、前記記憶手段に記憶されている挿入用画像をユーザからの指示入力に基づいて消去する消去手段を有することを特徴としている。

前記記憶手段への登録を希望していない挿入用画像が自動登録された場合に、ユーザが手動でその自動登録された挿入用画像を消去できるようにする。

請求項１２に示すように請求項１から１１のいずれかに記載の画像処理装置において、前記背景画像のライティング状況を判断するライティング状況判断手段を備え、前記画像処理手段は、前記判断結果に基づいて前記挿入用画像に対するライティング状況を変更することを特徴としている。

必要に応じて挿入用画像に対するライティング状況を変更し、背景画像と挿入用画像とのライティング状況を合わせることで、より画質的に自然な合成を可能にしている。

請求項１３に示すように請求項１２に記載の画像処理装置において、前記ライティング状況判断手段は、前記オブジェクト認識手段によって認識された空属性に関するオブジェクトに基づいて前記背景画像のライティング状況を判断することを特徴としている。

即ち、挿入用画像に対する光の当たり方と大きく相関があると思われる空属性に関するオブジェクト（例えば、青空、曇り空、夜空、夕焼け空等）によりライティング状況を判断する。

請求項１４に示すように請求項１２又は１３に記載の画像処理装置において、前記挿入用画像に対するライティング状況の変更は、前記挿入用画像の明るさ、色、及び陰影のうちの少なくとも１つであることを特徴としている。

請求項１５に示すように請求項１から１４のいずれかに記載の画像処理装置において、前記背景画像が影の出やすい環境か否かを推定する推定手段を備え、前記画像処理手段は、前記背景画像が影の出やすい環境と推定されると、前記記憶手段から影が目立ちにくい挿入用画像を選択し、又は影が目立たないように前記挿入用画像を画像処理することを特徴としている。

例えば、背景画像が影の出やすい環境と推定されると、挿入用画像として、前記記憶手段に人物の上半身画像と全身画像とが記憶されている場合には、上半身画像を選択する。また、全身画像しか記憶されていない場合には、下半身部分（特に足元部分）の画像を削除し、上半身画像に変更する。これにより、影が欠落した挿入用画像を挿入しても不自然な印象が生じないようにする。

請求項１６に示すように請求項１５に記載の画像処理装置において、前記推定手段は、前記オブジェクト認識手段によって認識された地面属性、及び空属性に関するオブジェクトのうちの少なくとも一方のオブジェクトに基づいて前記前記背景画像が影の出やすい環境か否かを推定することを特徴としている。

例えば、影が出ない環境としては、空属性に関するオブジェクトとして曇り空が認識され、かつ地面属性に関するオブジェクトとして認識された地面が暗い場合が考えられる。

請求項１７に示すように請求項１から１６のいずれかに記載の画像処理装置において、前記背景画像と挿入用画像との解像度を判断する解像度判断手段を備え、前記画像処理手段は、前記背景画像と挿入用画像との解像度を合わせる画像処理を行うことを特徴としている。

背景画像と挿入用画像との解像度を合わせることで、より自然な挿入用画像の合成を可能にしている。

請求項１８に示すように請求項１７に記載の画像処理装置において、前記解像度判断手段は、前記挿入用画像の拡大率を求める手段を含み、前記画像処理手段は、前記求めた挿入用画像の拡大率が所定の倍率を越えると、前記挿入用画像の拡大率を低くするとともに背景画像の画像サイズを小さくし、又は前記背景画像の周波数特性を変更することを特徴としている。

即ち、挿入用画像の拡大率を大きくして合成する必要がある場合には、挿入用画像の解像度が低下する。従って、挿入用画像の拡大率が所定の倍率を越えると、挿入用画像の拡大率を変えずに又は低い倍率に抑え、その分、背景画像の画像サイズを小さくし、あるいは背景画像をローパスフィルタなどでぼかし、両画像の解像度を合わせるようにしている。

請求項１９に示すように請求項１７又は１８に記載の画像処理装置において、前記解像度判断手段は、前記挿入用画像の拡大率を求める手段を含み、前記求めた挿入用画像の拡大率に基づいて該挿入用画像を前記背景画像に合成するか否かを切り替える切替手段を備えたことを特徴としている。

即ち、前記求めた挿入用画像の拡大率が極端に大きい場合（例えば、１０倍）、背景画像への挿入自体を断念するようにしている。

請求項２０に係る撮像装置は、撮像手段と、請求項１から１９のいずれかに記載の画像処理装置と、を備え、前記画像処理装置は、前記撮像手段によって撮像された画像を前記背景画像として取得することを特徴としている。

請求項２１に係る撮像装置は、撮像手段と、前記撮像手段によって撮像された画像から人物の顔を検出する顔検出手段と、請求項１から１９のいずれかに記載の画像処理装置と、を備え、前記画像取得手段は、前記顔検出手段によって人物の顔が検出されなかった画像を前記背景画像として取得し、前記画像処理装置は、前記顔検出手段によって人物の顔が検出されなかった場合のみ動作することを特徴としている。

即ち、風景写真等の人物が写されていない画像のみを背景画像として扱い、もともと人物が写された人物画像は、背景画像にはしないようにしている。

請求項２２に係る撮像装置は、撮像手段と、前記撮像手段によって撮像された画像に前記挿入用画像を挿入する画像挿入撮影モードを選択するモード選択手段と、請求項１から１９のいずれかに記載の画像処理装置と、を備え、前記画像取得手段は、前記画像挿入撮影モードが選択されると、前記撮像手段によって撮像された画像を前記背景画像として取得し、前記画像処理装置は、前記画像挿入撮影モードが選択された場合のみ動作することを特徴としている。

ユーザの希望により画像挿入撮影モードが選択された場合のみ、そのモードで撮影された画像（背景画像）に挿入用画像が合成されるようにしている。

請求項２３に示すように請求項２０から２２のいずれかに記載の撮像装置において、前記挿入用画像を登録する画像登録撮影モードを選択するモード選択手段を備え、前記画像登録撮影モードが選択されると、前記撮像手段によって撮像された画像を前記挿入用画像として前記記憶手段に記憶させることを特徴としている。

画像登録撮影モードを選択して撮影を行うことにより、背景画像に挿入したい挿入用画像をユーザの希望により撮影し、記憶手段に登録することができる。

請求項２４に示すように請求項２０から２３のいずれかに記載の撮像装置において、前記挿入用画像を前記撮像手段によって撮像された画像に合成するか否かを判断する合成判断手段を更に備え、合成すると判断されたときのみ前記画像処理装置を動作させることを特徴としている。

前記撮像手段によって撮像された画像が、そもそも挿入用画像が合成される背景画像としてふさわしくない場合には、挿入用画像を合成しないようにしている。

請求項２５に示すように請求項２４に記載の撮像装置において、前記合成判断手段は、前記撮像手段によって撮像された画像の撮影距離、前記撮像手段によって撮像された画像の撮影時の撮影光軸と鉛直方向とのなす角度、及び撮影時に選択された撮影モードのうちの少なくとも１つに基づいて合成するか否かを判断することを特徴としている。

例えば、撮影距離からマクロ撮影された画像と判断される場合や、撮影時の撮影光軸と鉛直方向との角度から地面を撮った画像と判断される場合には、背景画像としてふさわしくない。また、撮影モードとしてマクロ撮影モードや人物撮影モードで撮影された画像も背景画像としてふさわしくない。

請求項２６に係る画像処理方法は、予め挿入用画像を準備するステップと、前記挿入用画像の背景となる背景画像を取得するステップと、前記取得した背景画像から１種類以上のオブジェクトを認識し、該オブジェクトの位置を含むオブジェクト情報を取得するステップと、前記オブジェクト情報に基づいて前記挿入用画像を前記背景画像に適正に合成すべく画像処理するステップと、前記処理済の挿入用画像を前記背景画像に合成するステップと、を含むことを特徴としている。

請求項２７に示すように請求項２６に記載の画像処理方法において、前記挿入用画像は、人物の実写画像であることを特徴としている。

請求項２８に示すように請求項２６又は２７に記載の画像処理方法において、前記オブジェクトの認識は、道路、土、砂などの地面属性に関するオブジェクトと、森、木、草などの植物属性に関するオブジェクトと、海、川などの水属性に関するオブジェクトと、建物、壁などの人工の建造物属性に関するオブジェクトと、青空、夜空などの空属性に関するオブジェクトのうちのいずれか１以上のオブジェクトを認識することを特徴としている。

請求項２９に示すように請求項２６から２８のいずれかに記載の画像処理方法において、前記画像処理するステップは、前記オブジェクト情報に基づいて前記背景画像に前記挿入用画像を挿入する位置、大きさ、及び向きのうちの少なくとも１以上の画像処理を前記挿入用画像に施すことを特徴としている。

本発明によれば、任意の背景画像に対して予め登録されている人物画像等の挿入用画像を合成する際に、その背景画像から１種類以上のオブジェクトを認識し、背景画像中のどこに何があるかを把握した上で、挿入用画像を最適化して合成するようにしたため、背景画像のシーンに合わせて自然な形で挿入用画像を合成することができる。

以下、添付図面に従って本発明に係る画像処理装置、撮像装置及び画像処理方法の好ましい実施の形態について説明する。

［撮像装置の構成］
図１は本発明に係る撮像装置（デジタルカメラ）１０の実施の形態を示すブロック図である。

このデジタルカメラ１０は、静止画や動画の記録及び再生する機能を備えており、操作部１２は、電源ボタン、シャッターボタン、モードレバー、ズームキー、再生ボタン、上下左右キーからなるマルチファンクションの十字キー、メニュー／ＯＫボタン、表示／戻るボタン等を含んでいる。

モードレバーは、回転させることにより、オート撮影モード、マニュアル撮影モード、人物撮影モード、風景撮影モード及び夜景撮影モード等の選択が可能なシーンポジション、及び動画撮影モードのうちのいずれかを設定できるようになっている。また、シャッターボタンは、半押し時にＯＮして自動露出調整（ＡＥ）又は自動焦点調整（ＡＦ）等の撮影準備を行わせるスイッチＳ１と、全押し時にＯＮして本画像の取り込みを行わせるスイッチＳ２とを有している。

表示装置（液晶モニタ）１４は、動画（スルー画）を表示して電子ビューファインダとして使用できるとともに、撮影した記録前の画像（プレビュー画像）やカメラに装填されたメモリカード等の記録媒体１６から読み出した画像等を表示することができる。また、表示装置１４は、カメラの動作モードやホワイトバランス、画像のピクセル数、感度等をマニュアル設定する際の各種のメニュー画面をメニュー／ＯＫボタンの操作に応じて表示させ、十字キー及びメニュー／ＯＫボタンの操作に応じてマニュアル設定項目の設定が可能なグラフィカル・ユーザ・インターフェース（ＧＵＩ）用の画面を表示する。

前記操作部１２から操作信号が入力する中央処理装置（ＣＰＵ）１８は、デジタルカメラ１０内の各回路を統括制御するもので、カメラ制御プログラムにしたがった処理を実行する。ＣＰＵ１８は、制御バス２０及びデータバス２２に接続されている。

制御バス２０及びデータバス２２には、ＣＰＵ１８の他にＳＤＲＡＭ（シンクロナス・ダイナミックＲＡＭ）２４、ＥＥＰＲＯＭ２６、メモリ制御回路２８、デジタル信号処理回路３０、顔検出回路３２、オブジェクト認識回路３４、圧縮伸長回路３６、表示制御回路３８、及び外部メディア制御回路４０が接続されている。また、Ａ／Ｄ変換回路５４は、データバス２２に接続されている。

ＣＰＵ１８は、ＳＤＲＡＭ２４、ＥＥＰＲＯＭ２６との間で必要なデータの授受を行う。メモリ制御回路２８は、ＣＰＵ１８からの指令によりＳＤＲＡＭ２４、ＥＥＰＲＯＭ２６に対してデータの読み書きを制御する。

ＥＥＰＲＯＭ２６には、カメラ制御プログラム、固体撮像素子の欠陥情報等のカメラ制御に関する各種のパラメータ、及び本発明に係る人物画像等の挿入用画像が記憶されている。ＣＰＵ１８は、ＥＥＰＲＯＭ２６に格納されたカメラ制御プログラムをＳＤＲＡＭ２４に展開し、ＳＤＲＡＭ２４をワークメモリとして使用しながら各種処理を実行する。

このデジタルカメラ１０において、操作部１２の電源ボタンがＯＮ操作されると、ＣＰＵ１８はこれを検出し、カメラ内電源をＯＮにし、撮影モードで撮影スタンバイ状態にする。この撮影スタンバイ状態では、ＣＰＵ１８は、通常、表示装置１４に動画（スルー画）を表示させる。

ユーザ（撮影者）は、表示装置１４に表示されるスルー画を見ながらフレーミングしたり、撮影したい被写体を確認したり、撮影後の画像を確認したり、撮影条件を設定したりする。

上記撮影スタンバイ状態時にシャッターボタンが半押しされると、ＣＰＵ１８はこれを検知し、ＡＥ測光、ＡＦ制御を行う。ＡＥ測光時には、固体撮像素子（ＣＣＤ）５０を介して取り込まれる画像信号の積算値等に基づいて被写体の明るさを測光する。この測光した値（測光値）は、本撮影時における絞り４４の絞り値、及びシャッター速度の決定に使用される。尚、本撮影時には、ＣＰＵ１８は、前記測光値に基づいて決定した絞り値に基づいて絞り駆動部５８を介して絞り４４を駆動するとともに、前記測光値に基づいて決定したシャッター速度になるように撮像素子駆動部６０を介してＣＣＤ５０での電荷蓄積時間（いわゆる電子シャッター）を制御する。

また、ＣＰＵ１８は、ＡＦ制御時にはフォースレンズを至近から無限遠に対応するレンズ位置に順次移動させるとともに、各レンズ位置毎にＣＣＤ５０を介して取り込まれるＡＦエリアの画像信号に基づいて画像信号の高周波成分を積算した評価値を取得し、この評価値がピークとなるレンズ位置を求め、そのレンズ位置にフォーカスレンズを移動させるコントラストＡＦを行う。

被写体光は、フォーカスレンズ、ズームレンズ等を含む撮影レンズ４２、絞り４４、赤外線カットフィルタ４６、及び光学ローパスフィルタ４８を介してＣＣＤ５０の受光面に入射する。

ＣＣＤ５０は、所定のカラーフィルタ配列（例えば、ハニカム配列、ベイヤ配列）のＲ、Ｇ、Ｂのカラーフィルタが設けられたカラーＣＣＤで構成されており、ＣＣＤ５０の受光面に入射した光は、その受光面に配列された各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、撮像素子駆動部６０から加えられるタイミング信号に従って読み出され、電圧信号（画像信号）としてＣＣＤ５０から順次出力される。

アナログ信号処理回路５２は、ＣＤＳ回路及びアナログアンプを含み、ＣＤＳ回路は、ＣＤＳパルスに基づいてＣＣＤ出力信号を相関二重サンプリング処理し、アナログアンプは、ＣＰＵ１８から加えられる撮影感度設定用ゲインによってＣＤＳ回路から出力される画像信号を増幅する。Ａ／Ｄ変換回路５４は、アナログ信号処理回路５２から出力されたアナログの画像信号をデジタルの画像信号に変換し、この変換された画像信号（Ｒ、Ｇ、ＢのＲＡＷデータ）は、データバス２２を介してＳＤＲＡＭ２４に転送され、ここに一旦蓄えられる。

顔検出回路３２は、スルー画から人物の顔を検出し、その顔の位置や大きさの情報をＣＰＵ１８に出力する。即ち、顔検出回路３２は、画像照合回路及び顔画像テンプレートを含み、画像照合回路は、スルー画像の画面内で、対象領域の位置を移動させながら、対象領域の画像と顔画像テンプレートとを照合し、両者の相関を調べる。そして、相関スコアが予め設定された閾値を越えると、その対象領域を顔領域として認定する。また、顔検出回路３２は、撮影した画像からも同様にして顔を検出することができる。

尚、顔検出方法は、上記の方法の他に、エッジ検出又は形状パターン検出による顔検出方法、色相検出又は肌色検出による顔検出方法等の公知の方法を利用することができる。

ＣＰＵ１８は、顔検出回路３２から顔領域の位置及び大きさを示す情報を取得すると、その取得した人物の顔領域を囲む顔検出枠をスルー画像に合成して、表示装置１４に表示させることができるようになっている。また、このようにして検出された顔領域の位置及び大きさは、人物の顔に合焦させるためのＡＦエリアや、人物の顔の明るさが適正になるようにＡＥエリアとして利用される。

オブジェクト認識回路３４は、撮影された画像から１種類以上のオブジェクトを認識し、そのオブジェクトの位置、領域、及び種類等を含むオブジェクト情報を取得し、このオブジェクト情報を出力する。このオブジェクト情報は、撮影した画像（背景画像）中のどこに何があるかを示す情報であり、挿入用画像を背景画像に適正に合成するために利用される。尚、オブジェクト認識回路３４の詳細については、後述する。

デジタル信号処理回路３０は、ホワイトバランス調整回路、ガンマ補正回路、同時化回路、輝度・色差信号生成回路、輪郭補正回路、挿入用画像の画像変換回路、及び合成処理回路等を含む画像処理手段として機能し、ＣＰＵ１８からのコマンドに従ってＳＤＲＡＭ２４を活用しながら所定の信号処理を行う。即ち、ＳＤＲＡＭ２４から読み出されたＲ、Ｇ、Ｂの画像信号は、ホワイトバランス調整回路によりＲ、Ｇ、Ｂの画像信号ごとにデジタルゲインをかけることでホワイトバランス調整が行われ、ガンマ補正回路によりガンマ特性に応じた階調変換処理が行われ、同時化回路により単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する同時化処理が行われる。同時化されたＲ、Ｇ、Ｂの画像信号は、更に輝度・色差データ生成回路により輝度信号Ｙと色差信号Ｃｒ、Ｃｂ（ＹＣ信号）に変換され、Ｙ信号は、輪郭補正回路により輪郭強調処理される。デジタル信号処理回路３０で処理されたＹＣ信号は再びＳＤＲＡＭ２４に蓄えられる。

また、デジタル信号処理回路３０の画像変換回路は、挿入用画像を背景画像の適切な位置等に挿入する際に、その挿入用画像の各種の変換処理を行うもので、ＣＰＵ１８から加えられるオブジェクト情報に対応する挿入用画像の設定内容（挿入する位置、大きさ、向き、色、明るさ等の情報）に基づいて挿入用画像の変換処理（座標変換を含む）を行い、合成処理回路は、処理後の挿入用画像を背景画像に合成する。尚、デジタル信号処理回路３０の画像変換回路による処理内容の具体例については後述する。

デジタル信号処理回路３０によって処理され、ＳＤＲＡＭ２４に蓄えられたＹＣ信号は、圧縮伸長回路３６によって圧縮され、所定のフォーマット（例えば、ＪＰＥＧ（Joint Photographic Experts Group））形式の画像ファイルとして、外部メディア制御回路４０を介して記録媒体１６に記録される。記録媒体１６としては、デジタルカメラ１０に着脱自在なｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の記録媒体を用いることができる。

一方、操作部１２の再生ボタンを操作して再生モードが選択されると、記録媒体１６に記録されている最終コマの画像ファイルが外部メディア制御回路４０を介して読み出される。この読み出された画像ファイルの圧縮データは、圧縮伸長回路３６を介して非圧縮のＹＣ信号に伸長される。

伸長されたＹＣ信号は、ＳＤＲＡＭ２４（又は図示しないＶＲＡＭ）に保持され、表示制御回路３８によって表示用の信号形式に変換されて表示装置１４に出力される。これにより、表示装置１４には記録媒体１６に記録されている最終コマの画像が表示される。

その後、順コマ送りスイッチ（十字キーの右キー）が押されると、順方向にコマ送りされ、逆コマ送りスイッチ（十字キーの左キー）が押されると、逆方向にコマ送りされる。そして、コマ送りされたコマ位置の画像ファイルが記録媒体１６から読み出され、上記と同様にして画像が表示装置１４に再生される。

＜第１実施形態＞
次に、撮影された画像（背景画像）に予め登録された人物画像（挿入用画像）を合成する第１の実施の形態について説明する。

デジタルカメラにおいて、撮られた写真の「どこに何があるか」を理解する、オブジェクト認識技術が数多く知られている。(P.Duyguluら、”Object Recognition as Machine Translation:Learning a Lexicon for a Fixed Image Vocabulary”など）
本発明は、このオブジェクト認識を利用して、人物の写っていない写真などに対し、画質的に自然な形で人物を挿入することにあり、特にどんな写真に対してもオブジェクト認識を適用して人物挿入の際の適切な位置、大きさ、向きを適応的に設定することができる。

図２は本発明に係る第１実施形態の全体の処理の流れを示すフローチャートである。

まず、背景画像となる画像データを取り込み、ＳＤＲＡＭ２４に一時格納する（ステップＳ１０）。

次に、オブジェクト認識回路３４により、ＳＤＲＡＭ２４に一時格納された画像データ（背景画像）に対し、オブジェクト認識を行うためのデータベースを利用して、背景画像中のどこに何があるかを把握するオブジェクト認識処理を行う（ステップＳ１２）。

ここでいうデータベースの内容とは、「空は、色相が±αの範囲、かつ輝度が±βの範囲にあり、画像の上端部に位置する連続的な画素とする」、「道路は、…」、「建物は、…」などのようなものとする。

また、オブジェクト認識回路３４は、道路、土、砂などの地面属性に関するオブジェクトと、森、木、草などの植物属性に関するオブジェクトと、海、川などの水属性に関するオブジェクトと、建物、壁などの人工の建造物属性に関するオブジェクトと、青空、夜空などの空属性に関するオブジェクトのうちのいずれか１以上のオブジェクトを認識するが、可能な限り多くのオブジェクト（画像中の全てのオブジェクト）を認識することが好ましい。

オブジェクト認識回路３４は、上記のようにして認識した１種類以上のオブジェクトに対し、各オブジェクトの位置、大きさ（領域）、及び種類等を含むオブジェクト情報を取得し、このオブジェクト情報をＣＰＵ１８に出力する。

ＣＰＵ１８は、入力するオブジェクト情報（認識結果）に基づいて挿入用画像（人物画像）の挿入すべき位置、大きさ、向き（天地の向き）を設定する（ステップＳ１４）。

図３に、挿入用画像の挿入すべき位置、大きさ、及び向きの設定例を示す。

図３（Ａ）に示すように、背景画像の構図が左右対称に近く、中央部に建物などの主要被写体になりやすいものがないならば、人物画像は中央に大きめに挿入する。

図３（Ｂ）に示すように、背景画像の中央部に建物などの主要被写体になりやすいものがあるなら、人物画像はそれを避けつつ、端になりすぎない位置に挿入する。

図３（Ｃ）に示すように、背景画像の画面の下半分を広範囲にわたって占めるオブジェクトがあるなら、広々とした印象を保つべく、人物画像は端に小さめに挿入する。

図３（Ｄ）に示すように、背景画像の地面・建物・空の位置関係から縦撮りであることが認識されると、人物画像はそれに合わせた天地の向きにして（回転して）挿入する。尚、地平線、水平線等によって背景画像の傾きが認識されると、その傾きに合わせて、人物画像が画像中の鉛直方向を向くように回転させて挿入する。

また、背景画像がどのような構図のとき、どのような位置・大きさ・向きで人物画像を挿入するかを決定する方法については、例えば、図４に示すような方法が考えられる。即ち、多くの写真のオブジェクト認識結果から、数種類の特徴量を抽出し、数種類の特徴量の値と、人物画像を挿入する際のｘ座標、ｙ座標、大きさ、向き（角度）との関係を、ニューラルネットワークで学習させる。教師データには、多くの写真のオブジェクト認識結果と、それら一枚一枚について被験者が主観的に判断した「挿入する際に画質的に好ましい位置、大きさ、向き」とすればよい。

図２に戻って、ステップＳ１４により挿入用画像の挿入する位置、大きさ、向きが設定されると、続いて、デジタル信号処理回路３０の画像変換回路は、その設定内容に基づいて挿入用画像の位置、回転の座標変換、拡大縮小処理を行い、合成処理回路は、処理後の挿入用画像を背景画像に合成する（ステップＳ１６）。

尚、挿入する挿入用画像は、予めＥＥＰＲＯＭ２６に記憶させたものが使用されるが、どの挿入用画像（人物画像）を使用するか、及び同一人物画像であっても、どのような状態（ポーズ、撮影環境）の画像にするかについては、例えば、ユーザが十字キーでコマ送りして選択すればよい。勿論、複数の人物画像を挿入してもよいし、複数人をセットにした挿入用画像を予め登録しておいてもよい。

また、挿入用画像の選択の他に、挿入用画像の挿入の可否、挿入用画像の挿入する位置、大きさ、及び向きのうちの少なくとも１以上を、操作部１２でのユーザ操作により指示できるようにしてもよい。これにより、ユーザが手動で挿入用画像の合成を修正する余地を残し、ユーザの希望通りの挿入用画像の挿入を実現可能にする。

更に、挿入用画像を事前撮影によってＥＥＰＲＯＭ２６に登録するモードを設けることが望ましい。

また、背景画像に挿入用画像を挿入するタイミングとしては、デジタルカメラ１０で撮影する度に、記録媒体１６に記録する直前で実行してもよいし、撮影後に所望の画像を読み出して再生表示し、その再生画像に対して挿入用画像を挿入するようにしてもよい。

更にまた、「画像挿入撮影モード」を設け、操作部１２のモードレバーによって「画像挿入撮影モード」を選択し、あるいは十字キー及びメニュー／ＯＫボタンを操作してメニュー画面上で「画像挿入撮影モード」を選択し、この「画像挿入撮影モード」で撮影が行われたときのみ、その撮影された画像を背景画像にして挿入用画像を挿入するようにしてもよい。

また、顔検出回路３２によって顔が検出されない画像が撮影されたときのみ、その画像を背景画像にして挿入用画像を挿入する処理を実行させるようにしてもよい。

＜第２実施形態＞
本発明に係る第１実施形態によれば、どのような写真についても人物画像をより自然な形で挿入することができるが、写真の中には人物画像の挿入に適するとは言い難い写真もある。

例えば、図５（Ａ）に示すように真下の地面に向けて撮られたような写真の場合、人物画像を挿入すると不自然である（普通、カメラを真下に向けて人物を撮ることは少ない）。

また、図５（Ｂ）に示すように、草が写っている写真であっても、近距離の草をマクロ撮影する場合は、無理に人物画像を挿入すると不自然になる。

図５（Ａ）の場合は、オブジェクト認識を使えば、画面全体にわたった地面が写っていることが認識可能であるが、認識による計算時間・消費電力がそれだけ増えることになる。図５（Ｂ）の場合は、オブジェクト認識だけではマクロ撮影か遠くの草を写そうとしているかを判別することが難しい。

そこで、オブジェクト認識を行う前に、人物画像の挿入に適した写真であるか否かを簡易的な前処理によって自動的に判断し、適しているならば人物画像の挿入を行う。

図６は本発明に係る第２実施形態の全体の処理の流れを示すフローチャートである。尚、図６において、図２に示した第１実施形態と同一の処理を行うステップについては同一のステップ番号を付し、その詳細な説明は省略する。

図６に示す第２実施形態では、第１実施形態に比べてステップＳ２０及びステップＳ２２の処理が追加されている。

ステップＳ２０では、ステップＳ１０で取り込んだ画像が、人物画像の挿入に適しているか否かを判断する。ステップＳ２２では、人物画像の挿入に適していると判断されると、ステップＳ１４に遷移させて人物画像の挿入を実施させ、人物画像の挿入に適していないと判断されると、人物画像の挿入を諦めて終了させる。

図７は図６のステップＳ２０の詳細を示すフローチャートである。

図７に示すように、デジタルカメラ１０に重力センサーなどを設け、撮影時の撮影光軸と鉛直方向とのなす角度θを計測する（ステップＳ２０Ａ）。また、合焦時のフォーカスレンズ位置とズームポジションとから逆算して被写体距離Ｌを算出する（ステップＳ２０Ｂ）。

そして、前記計測した角度θの絶対値が、地面撮りと判断する所定の閾値Ｔ１以下か
否かを判別し、｜θ｜≦Ｔ１の場合には、ステップＳ２０Ｆに遷移させ、｜θ｜＞Ｔ１の場合には、ステップＳ２０Ｄに遷移させる。

ステップＳ２０Ｄでは、前記算出した被写体距離Ｌが、マクロ撮影と判断される所定の閾値Ｔ２以下か否かを判別し、Ｌ≦Ｔ２の場合には、ステップＳ２０Ｆに遷移させ、Ｌ＞Ｔ２の場合には、ステップＳ２０Ｅに遷移させる。

これにより、地面撮りと判断された場合（｜θ｜≦Ｔ１）、又はマクロ撮影と判断された場合（Ｌ≦Ｔ２）には、人物画像の挿入に適していない画像と判断され（ステップＳ２０Ｆ）、それ以外の場合は、人物画像の挿入に適している画像と判断される（ステップＳ２０Ｅ）。

尚、マクロ撮影モードは、操作部１２の十字キーで設定できるが、撮影時にマクロ撮影モードが選択されて撮影された画像の場合には、人物画像の挿入に適していない画像とすることができる。また、人物撮影モードは、操作部１２のモードレバーにより選択できるが、撮影時に人物撮影モードが選択されて撮影された画像の場合も、人物画像の挿入に適していない画像とすることができる。

このように事前に人物画像の挿入に適していない画像の判断を行うことにより、オブジェクト認識稼働を省略して計算時間・消費電力を低減することができる。また、オブジェクト認識だけでは判断が難しいような画像に対し、人物画像の挿入の適／不適を正しく判断し、不自然な人物画像の挿入を事前に防止することができる。

＜第３実施形態＞
［挿入用画像（人物画像）の選択］
背景画像に挿入する挿入用画像（人物画像）を誰にするかについては、ユーザが多くの登録済み人物画像の中から手動で選択する必要があり、煩雑であるという問題がある。

そこで、本発明に係る第３実施形態では、ユーザが挿入したいと考えているであろう人物を、過去の人物入り写真の撮影履歴から推定して優先的に挿入し、ユーザの手間を省くことができるようにしている。

図８は人物画像の自動選択の処理の流れを示すフローチャートである。

各人物の（ユーザにとっての）重要度を構成するものとして、下記の３種類が考えられる。
（１）被撮影確率
（２）中央に写っている確率
（３）正面を向いている確率
図８において、写真が撮影されるたびに顔検出回路３２によって顔検出を行う（ステップＳ３０）。顔の検出数Ｎが１以上と判別されると（ステップＳ３２）、顔の検出数Ｎのうちのｉ番目（最初はｉ＝１）の顔と、データベース中に挿入用画像として登録されている顔群との照合を行う（ステップＳ３４）。

続いて、ｉ番目の顔がデータベースに登録済みか否かを判別し、登録済みの場合にはステップＳ３８に遷移させ、未登録の場合にはステップＳ４２に遷移させる（ステップＳ３６）。

次に、ｉ番目の顔の写真中央からの距離と、顔向きの正面からのずれを計測し（ステップＳ３８）、データベースの上記（１）〜（３）の確率を更新する（ステップＳ４０）。

続いて、ｉ＝Ｎかを判別し（ステップＳ４２）、ｉ≠Ｎの場合には、ｉをインクリメントしてステップＳ３４に戻り（ステップＳ４４）、ｉ＝Ｎの場合には、その画像に対する処理を終了する。

上記のようにして写真が撮影されるたびにデータベースが更新され、データベースには過去の撮影履歴を利用して、各人物に対して重要度が付される。

上記（１）〜（３）の確率を統合した１つの指標としては、例えば、データベース中のｊ番目の人物の上記（１）〜（３）の確率を、それぞれＡ_ｊ，Ｂ_ｊ，Ｃ_ｊとしたときの次式、
［数１］
Ｕ_ｊ＝√（ｐ・Ａ_ｊ ²＋ｑ・Ｂ_ｊ ²＋ｒ・Ｃ_ｊ ²）
に示される重み付きユークリッド距離などが考えられる。

挿入する人物画像の選択方法としては、このＵ_ｊが最も高い人物画像を選択して無条件で挿入する方法でもよいが、他の人物画像を挿入したい場合も十分考えられるため、「この人物画像を挿入しますか」というメッセージを、その人物画像とともに表示装置１４に提示し、操作部１２にてメニュー／ＯＫボタンが押されると、その人物画像が挿入用画像として確定され、表示／戻るボタンが押されると、次にＵ_ｊが高い人物画像及びメッセージを提示し、上記と同様にユーザの判断を仰ぐようにしてもよい。

＜第４実施形態＞
［挿入用画像（人物画像）の登録］
背景画像に挿入する挿入用画像（人物画像）のデータベースを用意するには、手間がかかるという問題がある。

「画像登録撮影モード」を設け、操作部１２で「画像登録撮影モード」を選択し、この「画像登録撮影モード」で撮影が行われると、その撮影された画像を挿入用画像としてデータベースに登録することが考えられる。

また、上記「画像登録撮影モード」を用いて登録した人物をその都度撮影してデータベースに加えていくことは、人数が多ければ操作をそれぞれだけ多く繰り返す必要があり、ユーザにとっては煩雑である。

そこで、本発明に係る第４実施形態では、ユーザが挿入したい人物画像を、撮影履歴を手がかりに自動で抽出・登録し、ユーザの手間を省くことができるようにしている。

図９は人物画像の自動登録の処理の流れを示すフローチャートである。尚、図８に示した人物画像の自動選択の処理と共通する部分には、同一のステップ番号を付し、その詳細な説明は省略する。

図８に示した第３実施形態では、データベースに登録されている人物画像の重要度を写真撮影が行われるたびに更新するようにしたが、図９に示す第４実施形態では、更にサブデータベースを準備し、サブデータベースに登録されている人物画像の重要度を写真撮影が行われるたびに更新するとともに、新規の人物画像が撮影されると、人物領域を切り出して人物画像を作成して新規登録するようにしている。

図９において、ステップＳ３４’、Ｓ３６’、Ｓ４０’はサブデータベースを対象としているのに対し、図８のステップＳ３４、Ｓ３６、Ｓ４０はデータベースを対象としている点で相違するが、その他の処理内容は同じである。

ステップＳ３６’において、ｉ番目の顔がサブデータベースに未登録であると判別されると、ステップＳ５０に遷移し、ここで、撮影画像からｉ番目の人物領域を切り出して新規の人物画像としてサブデータベースに登録する。

これにより、サブデータベースには、新規の人物画像が登録されるとともに、サブデータベースに登録されている人物画像の重要度は、写真撮影が行われるたびに、図８に示した第３実施形態と同様にして更新される。

上記のようにしてサブデータベースに登録された人物画像及びその重要度のうちの重要度が一定以上のもの（あるいは上位の所定枚数のもの）を、定期的にデータベースに本登録する。

このデータベースに本登録された人物画像の中から挿入に使用する人物画像は、ユーザがデータベース内の人物画像のコマ送り、又はインデックス表示を行いながら手動で選択する。尚、第３実施形態と同様に自動で挿入する人物画像を選択するようにしてもよい。

また、データベースへの登録を希望していない人物画像等の挿入用画像が自動登録された場合が考えられるため、ユーザが手動でその自動登録された挿入用画像を消去できる手段を設けておくことが好ましい。

＜第５実施形態＞
背景画像に人物画像を適切な位置、大きさ、及び向きに挿入しても、背景画像と人物画像との間に、光の当たり具合（明るさ、色など）に関するギャップがある場合、不自然な画像が生成される懸念がある。

例えば、データベース中に、タングステン光源下で撮られた黄色味を帯びた人物画像しか登録されていない場合、太陽光下で撮られた写真にその人物画像を挿入すると、違和感のある画像になるという問題がある。

そこで、本発明に係る第５実施形態では、オブジェクト認識を利用して写真の光源を推定し、挿入する人物画像のライティング状況をその写真の光源に見合う形に補正してから挿入するようにしている。

図１０は本発明に係る第５実施形態の全体の処理の流れを示すフローチャートである。尚、図１０において、図２に示した第１実施形態と同一の処理を行うステップについては同一のステップ番号を付し、その詳細な説明は省略する。

図１０に示す第５実施形態では、第１実施形態に比べてステップＳ６０の処理が追加されている。

ステップＳ６０では、ステップＳ１０で取り込んだ画像のオブジェクト認識結果に基づいてその画像のライティング状況を把握し、このライティング状況に合うように挿入する人物画像のライティング状況を変更する。

図１１は図１０のステップＳ６０の詳細を示すフローチャートである。

図１１に示すように、取り込んだ画像のオブジェクト認識により空として認識された部位の面積は、全体のＸ％以上か否かを判定する（ステップＳ６０Ａ）。この実施の形態では、光の当たり方と大きく相関があると思われる空に関するオブジェクト（例えば、青空、曇り空、夜空等）によりライティング状況を判断するため、画像中に一定以上の空領域が含まれている必要がある。

画像中に一定（Ｘ％）以上の空領域が含まれている場合には、その空領域の平均輝度・平均色相・平均彩度を算出する（ステップＳ６０Ｂ）。これらの平均輝度・平均色相・平均彩度を、輝度・色相・彩度の３次元空間にプロットし、前記空領域の空が、青空、曇り空、夜空のいずれに該当するかを閾値処理で判定する（ステップＳ６０Ｃ）。

そして、青空と判定されると（ステップＳ６０Ｄ）、人物画像の肌の色を、太陽光下での色（例えば、５６００Ｋの色温度）に近づくように修正する（ステップＳ６０Ｅ）。

また、曇り空と判定されると（ステップＳ６０Ｆ）、人物画像の肌の色を、曇天下での色（例えば、７５００Ｋの色温度）に近づくように修正する（ステップＳ６０Ｇ）。更に、太陽光が顔に対して斜めに入射した際にでるような顔領域内のコントラスト（陰影）は殆どでないものと仮定し、挿入する人物画像の顔領域内の低周波数成分を低減する処理を行うと（ステップＳ６０Ｈ）、より有効である。

一方、夜空と判定されると（ステップＳ６０Ｉ）、夜空をバックに撮っているという雰囲気を醸成すべく、肌の平均輝度を何らかの所定の輝度Ｙにまで引き下げる処理を行う（ステップＳ６０Ｊ）。

尚、上記のように青空と曇り空とを閾値で分割するのではなく、青空への所属度・曇り空への所属度の両方を考えてファジィに分光を補正するやり方でもよい。また、夕焼け空の判定を行うようにしてもよい。

更に、撮影時にはホワイトバランス補正のために光源種の判定等を行っているため、この光源種やその色温度等を基に人物画像の色を補正するようにすることもできる。

このように人物画像を背景画像に挿入する際に、背景画像の空のオブジェクト認識を利用して光源を推定し、人物画像のライティング状況をそれに見合う形に補正してから挿入するため、より画質的に自然な人物挿入画像が得られる。

＜第６実施形態＞
背景画像に人物画像を挿入する際、挿入する人物画像は、出来る限り下半身部分（特に足元部分）の画像を使わないのが望ましいとされている。なぜならば、足元部分まで写った全身を挿入すると、影法師の欠落が写真によっては非常に不自然な印象を与えるからです。

最初から影法師を付与した人物画像を準備しておくことも考えられるが、天候・場所で影法師の長さや方向は大きく変わるため、技術的には極めて難しい。

そこで、本発明に係る第６実施形態では、そもそも影法師がでないであろうシーンと分かったならば、影法師欠落の問題を恐れずに全身の写った人物画像を挿入できるようにしている。

図１２は本発明に係る第６実施形態の全体の処理の流れを示すフローチャートである。尚、図１２において、図２に示した第１実施形態と同一の処理を行うステップについては同一のステップ番号を付し、その詳細な説明は省略する。

図１２に示す第６実施形態では、第１実施形態に比べてステップＳ７０の処理が追加されている。

ステップＳ７０では、ステップＳ１０で取り込んだ画像のオブジェクト認識結果に基づいてその画像が人物の影法師の出る環境かを推定する。この推定結果を、ステップＳ１６での人物画像処理の設定等に反映させる。

図１３は図１２のステップＳ７０の詳細を示すフローチャートである。

このフローチャートでは、以下の仮定に基づいて人物の影法師が出る環境か否かを推定している。

（１）青空ならば影法師が出る可能性は高いが、曇り空ならば、影法師が出る可能性は低い。夜空の場合には、街灯など点光源に近いものの存在の可能性があり、従って影法師の出る可能性は低いとは言えない。

（２）曇り空であっても、地面が明るいならば、地面に何らかの強い光が当たっている可能性があり、従って影法師が出る可能性が残されている。

（３）よって、曇り空かつ地面もある程度暗いならば、影法師の出る可能性は低いと考えてよい。

図１３に示したフローチャートでは、曇り空かつ地面もある程度暗い環境を、人物の影法師が出ない環境として判断し、それ以外の環境では影法師が出る可能性がある環境と判断している。

即ち、図１３において、取り込んだ画像のオブジェクト認識により空として認識された部位の面積は、全体のＸ％以上か否かを判定する（ステップＳ７０Ａ）。画像中に一定（Ｘ％）以上の空領域が含まれている場合には、その空領域の平均輝度・平均色相・平均彩度を算出し（ステップＳ７０Ｂ）、これらの平均輝度・平均色相・平均彩度を、輝度・色相・彩度の３次元空間にプロットし、前記空領域の空が、青空、曇り空、夜空のいずれに該当するかを閾値処理で判定する（ステップＳ７０Ｃ）。

そして、曇り空と判定されると（ステップＳ７０Ｄ）、続いて、地面の面積は、全体のＳ％以上か否かを判定する（ステップＳ７０Ｅ）。画像中に一定（Ｓ％）以上の地面領域が含まれている場合には、更に地面領域の平均輝度が、所定の輝度Ｔ以下か否かを判定する（ステップＳ７０Ｆ）。

地面領域の平均輝度が所定の輝度Ｔ以下と判定されると、取り込んだ画像には、影法師が出ないと判断し、全身画像の人物画像の挿入も選択肢に入れることを決定する（ステップＳ７０Ｆ）。尚、必ず全身画像の人物画像を挿入することを決定するのではなく、全身画像も挿入することができるという、人物画像の選択肢が広がることを意味する。

一方、それ以外の環境では影法師が出る可能性がある環境と判断し、全身画像の人物画像は、挿入用画像として選択肢に入れないように決定する（ステップＳ７０Ｈ）。

このように、オブジェクト認識を利用して影法師欠落の心配の有無を判断するので、全身の写った人物画像の挿入が可能となる。

尚、データベース中に挿入用画像として、人物の全身画像しか記憶されていない場合には、下半身部分（特に足元部分）の画像を削除し、上半身画像に変更するようにしてもよい。また、図１３に示した影法師が出るか否かの判定は一例であり、この実施の形態には限定されない。

＜第７実施形態＞
背景画像に人物画像を適切な位置、大きさ、及び向きに挿入しても、背景画像と人物画像との先鋭度が食い違っている場合には、画質的に良好でない画像になる恐れがある。

より具体的には、データベース中に登録された挿入用画像が例えピントが合った画像であっても、大きく拡大してから背景画像に挿入する場合に、「後ピン」（近くの人物ではなく遠くの背景にピントが合う現象）に似た画像になりやすいことが予想される。

そこで、本発明に係る第７実施形態では、挿入用画像の挿入の際の拡大率を見て、背景画像と挿入用画像のどちらかの解像度や周波数特性を変更したり、挿入をやめることで、後ピンに似た画像の生成を避けるようにしている。

図１４は本発明に係る第７実施形態の全体の処理の流れを示すフローチャートである。尚、図１４において、図２に示した第１実施形態と同一の処理を行うステップについては同一のステップ番号を付し、その詳細な説明は省略する。

図１４に示す第７実施形態では、第１実施形態に比べてステップＳ８０〜Ｓ８６の処理が追加されている。

ステップＳ８０では、ステップＳ１４で設定した挿入すべき人物画像の大きさと、データベース中の保存されている状態での人物画像の大きさとから人物画像の拡大率Ｍを算出する。尚、背景画像の解像度と、データベース中の保存されている状態での人物画像の解像度とは、同じ又は同等とする。

ステップＳ８２では、人物画像の拡大率Ｍが、所定の閾値Ｍ_ｔｈ（例えば、1.25倍）以下か否かを判定する。拡大率Ｍが閾値Ｍ_ｔｈ以下であれば、拡大しても人物画像の見た目の先鋭度は失われないと予想し、従来通り人物画像の挿入処理を行う（ステップＳ１６）。

一方、人物画像の拡大率Ｍが閾値Ｍ_ｔｈよりも大きい場合には、拡大すると人物画像の見た目上の先鋭度が失われると予想する。この場合には、ステップＳ８４において、以下の処理（１）、（２）又は（３）を行う。

（１）人物画像は拡大せず、逆に背景画像を縮小してから、人物画像の挿入を行う（ステップＳ８４、Ｓ８６）。

（２）背景画像もローパスフィルタなどでぼかし（周波数周特性を変更し）、両者の先鋭度を合わせてから挿入する。

（３）人物画像を閾値Ｍ_ｔｈの倍率まで拡大し、拡大率の不足分は、背景画像を縮小してから、人物画像の挿入を行う。

上記（１）の場合には、最終画像が小さくなるという欠点があるが、後ピン状態を回避し画質的に良好な人物挿入画像が得られる。上記（２）の場合には、最終画像の大きさは変わらないが、人物も背景もぼけ気味の人物挿入画像となる。上記（３）の場合には、最終画像の大きさは、上記（１）と（２）の中間の大きさとなり、解像度は上記（３）よりもよくなる。

尚、拡大率に関して第２の閾値を設け、人物画像の拡大率が極端に大きいならば（例えば、10倍）、人物画像の挿入を中止させる手段を設けるようにしてもよい。

また、背景画像の解像度とデータベース中の保存されている状態での人物画像の解像度とが不一致の場合には、両者の解像度の比率（背景画像の解像度／人物画像の解像度）を前記拡大率に乗算し、その乗算結果の拡大率で上記の判定を行う。

このように、人物画像の挿入にあたってその拡大率に応じて、人物画像と背景画像との解像度、先鋭度を合わせる処理等を行うことにより、「後ピン」に似た現象の画像が生成されないようにすることができる。

＜変形例＞
この実施の形態では、デジタルカメラ１０を例に説明したが、これに限らず、パソコン等にも本発明に係る画像処理装置としての機能をもたせることができる。また、本発明は、上記の各実施形態をそれぞれ適宜組み合わせて適用してもよい。更に、挿入用画像は人物画像に限らず、ペット画像等でもよい。

また、本発明に係る画像処理装置、撮像装置（デジタルカメラ）及び画像処理方法について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいことは言うまでもない。

図１は本発明に係る撮像装置（デジタルカメラ）の実施の形態を示すブロック図である。 図２は本発明に係る第１実施形態の全体の処理の流れを示すフローチャートである。 図３は挿入用画像の挿入すべき位置、大きさ、及び向きの設定例を示す図である。 図４は背景画像がどのような構図のとき、どのような位置・大きさ・向きで人物画像を挿入するかを決定する方法の一例を示す図である。 図５は人物画像の挿入に適するとは言い難い写真の一例を示す図である。 図６は本発明に係る第２実施形態の全体の処理の流れを示すフローチャートである。 図７は図６のステップＳ２０の詳細を示すフローチャートである。 図８は人物画像の自動選択の処理の流れを示すフローチャートである。 図９は人物画像の自動登録の処理の流れを示すフローチャートである。 図１０は本発明に係る第５実施形態の全体の処理の流れを示すフローチャートである。 図１１は図１０のステップＳ６０の詳細を示すフローチャートである。 図１２は本発明に係る第６実施形態の全体の処理の流れを示すフローチャートである。 図１３は図１２のステップＳ７０の詳細を示すフローチャートである。 図１４は本発明に係る第７実施形態の全体の処理の流れを示すフローチャートである。

符号の説明

１０…撮像装置（デジタルカメラ）、１２…操作部、１４…表示装置、１６…記録媒体、１８…中央処理装置（ＣＰＵ）、２４…ＳＤＲＡＭ、２６…ＥＥＰＲＯＭ、３０…デジタル信号処理回路、３２…顔検出回路、３４…オブジェクト認識回路、４２…撮影レンズ、５０…ＣＣＤ、５２…アナログ信号処理回路、５４…Ａ／Ｄ変換回路

Claims (29)

1. 挿入用画像を記憶する記憶手段と、
   前記挿入用画像の背景となる背景画像を取得する画像取得手段と、
   前記取得した背景画像から１種類以上のオブジェクトを認識し、該オブジェクトの位置を含むオブジェクト情報を取得するオブジェクト認識手段と、
   前記オブジェクト情報に基づいて前記挿入用画像を前記背景画像に適正に合成すべく画像処理する画像処理手段と、
   前記処理済の挿入用画像を前記背景画像に合成する画像合成手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記記憶手段は、人物の実写画像を前記挿入用画像として記憶することを特徴とする請求項１に記載の画像処理装置。
3. 前記オブジェクト認識手段は、道路、土、砂などの地面属性に関するオブジェクトと、森、木、草などの植物属性に関するオブジェクトと、海、川などの水属性に関するオブジェクトと、建物、壁などの人工の建造物属性に関するオブジェクトと、青空、夜空などの空属性に関するオブジェクトのうちのいずれか１以上のオブジェクトを認識することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像処理手段は、前記オブジェクト情報に基づいて前記背景画像に前記挿入用画像を挿入する位置、大きさ、及び向きのうちの少なくとも１以上の画像処理を前記挿入用画像に施すことを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記挿入用画像の挿入の可否、挿入用画像の選択、前記挿入用画像の挿入する位置、大きさ、及び向きのうちの少なくとも１以上をユーザ操作により指示する指示手段を有することを特徴とする請求項４に記載の画像処理装置。
6. 前記記憶手段は、複数の挿入用画像を記憶し、
   前記複数の挿入用画像に対して過去の撮影履歴を利用して重要度を付す評価手段と、
   前記評価手段によって各挿入用画像に付された重要度に基づいて前記複数の挿入用画像の中から実際の挿入に使用する１つの挿入用画像を自動的に選択する自動選択手段と、
   を備えたことを特徴とする請求項１から５のいずれかに記載の画像処理装置。
7. 前記評価手段は、前記挿入用画像を含む画像の被撮影確率、前記挿入用画像が画像の中央に写っている確率、及び前記挿入用画像が正面を向いている確率のうちの少なくとも１以上の確率を基準にして各挿入用画像に重要度を付すことを特徴とする請求項６に記載の画像処理装置。
8. 前記自動選択手段によって選択された挿入用画像をユーザに提示する提示手段と、少なくとも前記提示された挿入用画像の挿入の是非を指示する指示手段と、を備えたことを特徴とする請求項６又は７に記載の画像処理装置。
9. 入力画像から所定の領域を切り出し、この切り出した領域の画像を前記挿入用画像として前記記憶手段に記憶させる手段を備えたことを特徴とする請求項１から８のいずれかに記載の画像処理装置。
10. 前記挿入用画像を前記記憶手段に記憶させる手段は、挿入用画像候補を含む画像の被撮影確率、前記挿入用画像候補が画像の中央に写っている確率、及び前記挿入用画像候補が正面を向いている確率のうちの少なくとも１以上の確率を基準にして、前記挿入用画像候補を前記挿入用画像として決定し、該決定した挿入用画像を前記記憶手段に記憶させることを特徴とする請求項９に記載の画像処理装置。
11. 前記記憶手段に記憶されている挿入用画像をユーザからの指示入力に基づいて消去する消去手段を有することを特徴とする請求項１から１０のいずれかに記載の画像処理装置。
12. 前記背景画像のライティング状況を判断するライティング状況判断手段を備え、
    前記画像処理手段は、前記判断結果に基づいて前記挿入用画像に対するライティング状況を変更することを特徴とする請求項１から１１のいずれかに記載の画像処理装置。
13. 前記ライティング状況判断手段は、前記オブジェクト認識手段によって認識された空属性に関するオブジェクトに基づいて前記背景画像のライティング状況を判断することを特徴とする請求項１２に記載の画像処理装置。
14. 前記挿入用画像に対するライティング状況の変更は、前記挿入用画像の明るさ、色、及び陰影のうちの少なくとも１つであることを特徴とする請求項１２又は１３に記載の画像処理装置。
15. 前記背景画像が影の出やすい環境か否かを推定する推定手段を備え、
    前記画像処理手段は、前記背景画像が影の出やすい環境と推定されると、前記記憶手段から影が目立ちにくい挿入用画像を選択し、又は影が目立たないように前記挿入用画像を画像処理することを特徴とする請求項１から１４のいずれかに記載の画像処理装置。
16. 前記推定手段は、前記オブジェクト認識手段によって認識された地面属性、及び空属性に関するオブジェクトのうちの少なくとも一方のオブジェクトに基づいて前記前記背景画像が影の出やすい環境か否かを推定することを特徴とする請求項１５に記載の画像処理装置。
17. 前記背景画像と挿入用画像との解像度を判断する解像度判断手段を備え、
    前記画像処理手段は、前記背景画像と挿入用画像との解像度を合わせる画像処理を行うことを特徴とする請求項１から１６のいずれかに記載の画像処理装置。
18. 前記解像度判断手段は、前記挿入用画像の拡大率を求める手段を含み、
    前記画像処理手段は、前記求めた挿入用画像の拡大率が所定の倍率を越えると、前記背景画像の画像サイズを小さくし、又は前記背景画像の周波数特性を変更することを特徴とする請求項１７に記載の画像処理装置。
19. 前記解像度判断手段は、前記挿入用画像の拡大率を求める手段を含み、
    前記求めた挿入用画像の拡大率に基づいて該挿入用画像を前記背景画像に合成するか否かを切り替える切替手段を備えたことを特徴とする請求項１７又は１８に記載の画像処理装置。
20. 撮像手段と、
    請求項１から１９のいずれかに記載の画像処理装置と、を備え、
    前記画像処理装置は、前記撮像手段によって撮像された画像を前記背景画像として取得することを特徴とする撮像装置。
21. 撮像手段と、
    前記撮像手段によって撮像された画像から人物の顔を検出する顔検出手段と、
    請求項１から１９のいずれかに記載の画像処理装置と、を備え、
    前記画像取得手段は、前記顔検出手段によって人物の顔が検出されなかった画像を前記背景画像として取得し、
    前記画像処理装置は、前記顔検出手段によって人物の顔が検出されなかった場合のみ動作することを特徴とする撮像装置。
22. 撮像手段と、
    前記撮像手段によって撮像された画像に前記挿入用画像を挿入する画像挿入撮影モードを選択するモード選択手段と、
    請求項１から１９のいずれかに記載の画像処理装置と、を備え、
    前記画像取得手段は、前記画像挿入撮影モードが選択されると、前記撮像手段によって撮像された画像を前記背景画像として取得し、
    前記画像処理装置は、前記画像挿入撮影モードが選択された場合のみ動作することを特徴とする撮像装置。
23. 前記挿入用画像を登録する画像登録撮影モードを選択するモード選択手段を備え、
    前記画像登録撮影モードが選択されると、前記撮像手段によって撮像された画像を前記挿入用画像として前記記憶手段に記憶させることを特徴とする請求項２０から２２のいずれかに記載の撮像装置。
24. 前記挿入用画像を前記撮像手段によって撮像された画像に合成するか否かを判断する合成判断手段を更に備え、合成すると判断されたときのみ前記画像処理装置を動作させることを特徴とする請求項２０から２３のいずれかに記載の撮像装置。
25. 前記合成判断手段は、前記撮像手段によって撮像された画像の撮影距離、及び前記撮像手段によって撮像された画像の撮影時の撮影光軸と鉛直方向とのなす角度、及び撮影時に選択された撮影モードのうちの少なくとも１つに基づいて合成するか否かを判断することを特徴とする請求項２４に記載の撮像装置。
26. 予め挿入用画像を準備するステップと、
    前記挿入用画像の背景となる背景画像を取得するステップと、
    前記取得した背景画像から１種類以上のオブジェクトを認識し、該オブジェクトの位置を含むオブジェクト情報を取得するステップと、
    前記オブジェクト情報に基づいて前記挿入用画像を前記背景画像に適正に合成すべく画像処理するステップと、
    前記処理済の挿入用画像を前記背景画像に合成するステップと、
    を含むことを特徴とする画像処理方法。
27. 前記挿入用画像は、人物の実写画像であることを特徴とする請求項２６に記載の画像処理方法。
28. 前記オブジェクトの認識は、道路、土、砂などの地面属性に関するオブジェクトと、森、木、草などの植物属性に関するオブジェクトと、海、川などの水属性に関するオブジェクトと、建物、壁などの人工の建造物属性に関するオブジェクトと、青空、夜空などの空属性に関するオブジェクトのうちのいずれか１以上のオブジェクトを認識することを特徴とする請求項２６又は２７に記載の画像処理方法。
29. 前記画像処理するステップは、前記オブジェクト情報に基づいて前記背景画像に前記挿入用画像を挿入する位置、大きさ、及び向きのうちの少なくとも１以上の画像処理を前記挿入用画像に施すことを特徴とする請求項２６から２８のいずれかに記載の画像処理方法。

Images