JP2012134775A

JP2012134775A - 画像処理装置、撮像装置、および画像処理プログラム

Info

Publication number: JP2012134775A
Application number: JP2010285166A
Authority: JP
Inventors: Ryota Kawachi; 亮太河内; Kentaro Moriya; 健太郎森屋; Norihide Omoto; 憲英大元
Original assignee: Nikon Systems Inc
Current assignee: Nikon Systems Inc
Priority date: 2010-12-21
Filing date: 2010-12-21
Publication date: 2012-07-12

Abstract

【課題】主要被写体画像と背景画像とを抽出し、好適な画像処理を行うことにより興趣に富む新たな画像を生成するための手段を提供すること。
【解決手段】処理の対象となる対象画像の情報を取得する取得部と、前記対象画像に基づいて、前記対象画像における被写体と背景との少なくとも一方の分布を示す情報を作成する作成部と、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のそれぞれから主要被写体画像を抽出する第１抽出部と、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のうち、任意の１枚の前記対象画像から背景画像を抽出する第２抽出部と、前記第１抽出部により抽出した少なくとも１枚の前記主要被写体画像と、前記第２抽出部により抽出した前記背景画像との少なくとも一方に基づき、新たな画像を生成する生成部とを備える。
【選択図】図１

Description

本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。

従来より、画像から構図情報を抽出し、抽出した構図情報に基づいて画像を再構成する技術が提案されている。一例として、特許文献１には、被写体からコントラストなどの構図情報を抽出し、この構図情報に基づき被写体を背景画像に再配置する技術が開示されている。

特開２０００−２００３５４号公報

しかし、従来の技術は、被写体の位置を機械的に修正するものに過ぎず、画一的な修正を施し、視覚的にバランスの良い絵を再構成することを目的としている。したがって、入力画像について新たな表現や楽しみ方を提案するといった効果を期待することができるものではない。

本発明の目的は、主要被写体画像と背景画像とを抽出し、好適な画像処理を行うことにより興趣に富む新たな画像を生成するための手段を提供することにある。

一の態様の画像処理装置は、処理の対象となる対象画像の情報を取得する取得部と、前記対象画像に基づいて、前記対象画像における被写体と背景との少なくとも一方の分布を示す情報を作成する作成部と、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のそれぞれから主要被写体画像を抽出する第１抽出部と、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のうち、任意の１枚の前記対象画像から背景画像を抽出する第２抽出部と、前記第１抽出部により抽出した少なくとも１枚の前記主要被写体画像と、前記第２抽出部により抽出した前記背景画像との少なくとも一方に基づき、新たな画像を生成する生成部とを備える。

なお、前記生成部は、前記背景画像に対して、前記背景画像にぼかし効果を加える処理を施し、前記処理後の前記背景画像と、少なくとも１枚の前記主要被写体画像とに基づき前記新たな画像を生成しても良い。

また、前記生成部は、前記背景画像について、前記第２抽出部による抽出時に発生する欠損部分を補完する処理を施し、前記処理後の前記背景画像と、少なくとも１枚の前記主要被写体画像とに基づき前記新たな画像を生成しても良い。

また、前記生成部は、前記背景画像のうち、前記欠損部分を除く部分の画像に基づいて、前記欠損部分を補完しても良い。

また、前記生成部は、少なくとも１枚の前記主要被写体画像と前記背景画像との間に所定の距離を設定し、仮想三次元モデリングを行うことにより左目用画像および右目用画像から成る前記新たな画像を生成しても良い。

また、前記取得部は、前記対象画像が生成された際の撮影条件を更に取得し、前記生成部は、前記撮影条件に基づいて前記所定の距離を設定しても良い。

また、前記生成部は、前記マップに基づいて、前記新たな画像中の主要被写体の位置に応じた位置に、任意の画像情報と文字情報との少なくとも一方を挿入しても良い。

また、前記生成部は、前記第１抽出部により抽出した少なくとも１枚の前記主要被写体画像のみに基づいて、前記新たな画像を生成するか、または、前記第１抽出部により抽出した少なくとも１枚の前記主要被写体画像と、任意の画像とに基づいて、前記新たな画像を生成しても良い。

また、前記生成部は、前記新たな画像として静止画像を生成しても良い。

また、前記第１抽出部により抽出した複数の前記主要被写体画像に基づいて、前記主要被写体の動き情報を演算する演算部をさらに備え、前記生成部は、前記動き情報に応じて、前記第１抽出部により抽出した少なくとも１枚の前記主要被写体画像と、前記第２抽出部により抽出した前記背景画像とに基づく新たな画像を生成しても良い。

また、前記生成部は、前記新たな画像として、複数のフレームから成る動画像を生成しても良い。

また、前記生成部は、前記背景画像に対して、前記動き情報に応じた方向にブレを発生させる処理を施し、前記処理後の前記背景画像と、少なくとも１枚の前記主要被写体画像とに基づき前記新たな画像を生成しても良い。

また、前記第２抽出部は、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像から複数の前記背景画像を抽出し、前記生成部は、任意の１枚の前記背景画像について、別の前記背景画像に基づいて、前記欠損部分を補完しても良い。

また、前記生成部は、複数の前記主要被写体画像を合成し、合成後の前記主要被写体画像を前記背景画像内の任意の１つの位置に配置するか、前記動き情報に応じて、前記合成後の前記主要被写体画像を前記背景画像内の異なる位置にそれぞれ配置するか、前記動き情報に応じて、任意の１つの前記主要被写体画像を前記背景画像内の異なる位置にそれぞれ配置するか、前記動き情報に応じて、複数の前記主要被写体画像を前記背景画像内の異なる位置にそれぞれ配置することにより前記静止画像を生成しても良い。

また、前記生成部により生成した前記静止画像を記録する記録部をさらに備えても良い。

また、前記生成部は、複数の前記主要被写体画像を合成し、前記動き情報に応じて、合成後の前記主要被写体画像を複数の前記フレームのそれぞれにおいて前記背景画像に配置する処理と、任意の前記主要被写体画像を複数の前記フレームのそれぞれにおいて前記背景画像内の異なる位置にそれぞれ配置する処理と、前記動き情報に応じて、複数の前記フレームのそれぞれに異なる前記主要被写体画像を配置する処理との少なくとも１つを行うことにより前記動画像を生成しても良い。

また、前記生成部は、前記動き情報に応じて、複数の前記フレームのそれぞれにおいて異なる前記背景画像に前記主要被写体画像を配置することにより前記動画像を生成しても良い。

また、前記生成部は、前記第２抽出部により抽出した前記背景画像に対して、トリミング処理と、拡大縮小処理と、前記背景画像の少なくとも一部を複製して前記背景画像に連結する処理との少なくとも１つを行うことにより、複数の前記フレームに対応する複数の前記背景画像を生成しても良い。

また、前記生成部により生成した前記動画像を記録する記録部をさらに備え、前記記録部は、複数の前記フレームのそれぞれについて、前記主要被写体画像と、前記背景画像と、前記背景画像に前記主要被写体を合成する際の配置を示す情報とを関連づけて記録しても良い。

また、前記生成部により生成した前記動画像を記録する記録部をさらに備え、前記生成部は、複数の前記フレームのそれぞれにおいて前記主要被写体画像と前記背景画像とを合成する処理を行い、前記記録部は、前記生成部により前記処理が行われた前記動画像を記録しても良い。

別の態様の画像処理装置は、処理の対象となる対象画像の情報を取得する取得部と、前記対象画像に基づいて、前記対象画像における被写体と背景との少なくとも一方の分布を示す情報を作成する作成部と、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のそれぞれから主要被写体画像を抽出する第１抽出部と、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のうち、少なくとも２枚の前記対象画像から複数の背景画像を抽出する第２抽出部と、前記第１抽出部により抽出した少なくとも１枚の前記主要被写体画像と、前記第２抽出部により抽出した複数の前記背景画像との少なくとも一方に基づき、新たな画像を生成する生成部とを備える。

一の態様の撮像装置は、被写体の像を撮像する撮像部と、上述したいずれかの画像処理装置とを備え、前記取得部は、前記撮像部から前記対象画像の情報を取得する。

なお、コンピュータを一の態様の画像処理装置として動作させるプログラムや、このプログラムを記憶した記憶媒体や、一の態様に係る画像処理装置の動作を方法のカテゴリで表現したものも、本発明の具体的態様として有効である。

本発明によれば、主要被写体画像と背景画像とを抽出し、好適な画像処理を行うことにより興趣に富む新たな画像を生成することができる。

第１実施形態での画像処理装置の構成例を示すブロック図第１実施形態での画像処理装置の動作例を示す流れ図第１実施形態での新たな画像の生成の動作例を示す別の流れ図第１実施形態での新たな画像の生成について説明する図第１実施形態での新たな画像の生成について説明する別の図第１実施形態での新たな画像の生成について説明する別の図第１実施形態での新たな画像の生成について説明する別の図第１実施形態での新たな画像の生成について説明する別の図第１実施形態での新たな画像の生成について説明する別の図第１実施形態での新たな画像の生成について説明する別の図第１実施形態での新たな画像の生成について説明する別の図第１実施形態での新たな画像の生成について説明する別の図第１実施形態での新たな画像の生成について説明する別の図第１実施形態での新たな画像の生成について説明する別の図第１実施形態での新たな画像の生成について説明する別の図第１実施形態での新たな画像の生成について説明する別の図第１実施形態での新たな画像の生成について説明する別の図第１実施形態での新たな画像の生成について説明する別の図第１実施形態での新たな画像の生成について説明する別の図第２実施形態での電子カメラの構成例を示すブロック図

＜第１実施形態の説明＞
図１は、第１実施形態での画像処理装置の構成例を示すブロック図である。第１実施形態の画像処理装置は、撮像装置により撮像された処理対象の画像（対象画像）について、新たな画像を生成する画像処理プログラムがインストールされたパーソナルコンピュータで構成される。

図１に示すコンピュータ１１は、データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６、バス１７を有している。データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６は、バス１７を介して相互に接続されている。さらに、コンピュータ１１には、入出力Ｉ／Ｆ１６を介して、入力デバイス１８（キーボード、ポインティングデバイスなど）とモニタ１９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ１６は、入力デバイス１８からの各種入力を受け付けるとともに、モニタ１９に対して表示用のデータを出力する。

データ読込部１２は、上記の対象画像のデータや、上記の画像処理プログラムを外部から読み込むときに用いられる。例えば、データ読込部１２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）で構成される。

記憶装置１３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置１３には、画像処理プログラムや、プログラムの実行に必要となる各種のデータが記録されている。なお、記憶装置１３には、データ読込部１２から読み込んだ対象画像のデータを記憶しておくこともできる。

ＣＰＵ１４は、コンピュータ１１の各部を統括的に制御するプロセッサである。このＣＰＵ１４は、上記の画像処理プログラムの実行によって、情報作成部２１と、画像生成部２５としてそれぞれ機能する（情報作成部２１、画像生成部２５の各動作は後述する）。

メモリ１５は、画像処理プログラムでの各種演算結果（変数およびフラグの値など）を一時的に記憶する。このメモリ１５は、例えば揮発性のＳＤＲＡＭなどで構成される。

以下、図２および図３の流れ図を参照しつつ、第１実施形態における画像処理装置の動作例を説明する。なお、図２および図３の図中のステップ番号はそれぞれ対応している。なお、図２および図３の流れ図の処理は、ユーザによるプログラム実行指示に応じて、ＣＰＵ１４が画像処理プログラムを実行することで開始される。

（ステップＳ１）
ＣＰＵ１４は、データ読込部１２を介して、ユーザにより指定された複数の対象画像のデータを外部から取得する。なお、対象画像のデータが予め記憶装置１３などに記憶されている場合には、ＣＰＵ１４はＳ１０１の処理を省略してもよい。また、複数の対象画像は、時間的に連続して撮影されたものであり、例えば、いわゆる連写により生成された複数の画像や、複数のフレームから成る動画像など、どのようなものであっても良い。また、これらの複数の画像は、一定の時間間隔で撮影されたものでも良いし、変則的な時間間隔で撮影されたものでも良い。以下では、図４に示す３枚の画像（Ｉｍｇ[ｔ＝１]，Ｉｍｇ[ｔ＝２]，Ｉｍｇ[ｔ＝３]）を取得した場合を例に挙げて説明を行う。

（ステップＳ２）
ＣＰＵ１４は、ステップＳ１で取得した複数の対象画像の画像データのそれぞれについて、被写体と背景との少なくとも一方の分布を示す主要被写体情報を作成する。なお、主要被写体情報の作成はどのような方法で行われても良い。また、対象画像の付帯情報などに、予め主要被写体情報が記録されている場合には、ＣＰＵ１４はＳ２の処理を省略する。

（ステップＳ３）
ＣＰＵ１４は、画像生成部２５により、主要被写体画像の抽出を行う。画像生成部２５は、ステップＳ１で取得した３枚の画像（Ｉｍｇ[ｔ＝１]，Ｉｍｇ[ｔ＝２]，Ｉｍｇ[ｔ＝３]）のそれぞれについて、ステップＳ２で作成した主要被写体情報に基づいて主要被写体画像の抽出を行う。図３に示すように、Ｉｍｇ[ｔ＝１]から抽出した主要被写体画像をＭｉｍｇ[ｔ＝１]と称し、Ｉｍｇ[ｔ＝２] から抽出した主要被写体画像をＭｉｍｇ[ｔ＝２]と称し、Ｉｍｇ[ｔ＝３] から抽出した主要被写体画像をＭｉｍｇ[ｔ＝３]と称する。図５に、主要被写体画像Ｍｉｍｇ[ｔ＝１]を例示する。

（ステップＳ４）
ＣＰＵ１４は、画像生成部２５により、背景画像の抽出を行う。画像生成部２５は、ステップＳ１で取得した３枚の画像（Ｉｍｇ[ｔ＝１]，Ｉｍｇ[ｔ＝２]，Ｉｍｇ[ｔ＝３]）の少なくとも１枚ついて、ステップＳ２で作成した主要被写体情報に基づいて背景画像の抽出を行う。ここでは、図３に示すように、Ｉｍｇ[ｔ＝１]について背景画像を抽出し、この背景画像をＢｉｍｇα[ｔ＝１]と称する。図５に、背景画像ＢＭｉｍｇα[ｔ＝１]を例示する。背景画像ＢＭｉｍｇα[ｔ＝１]は、図５に示すように、主要被写体画像に対応する部分が欠損した画像となる。

（ステップＳ５）
ＣＰＵ１４は、画像生成部２５により、ステップＳ４で抽出した背景画像Ｂｉｍｇα[ｔ＝１]の補完処理を行う。例えば、画像生成部２５は、図５に示すように、欠損部分を除く部分の画像に基づいて、欠損部分を補完する処理を行っても良い。また、ステップＳ４において、複数の対象画像から複数の背景画像を抽出しておき、任意の１枚の背景画像について、別の背景画像に基づいて、欠損部分を補完する処理を行っても良い。さらに、予め欠損部分の補完に適した画像をいくつか用意しておき、このような画像を用いて欠損部分を補完する処理を行っても良い。欠損部分を補完した後の背景画像をＢｉｍｇβ[ｔ＝１]と称し、図５に、背景画像ＢＭｉｍｇβ[ｔ＝１]を例示する。

（ステップＳ６）
ＣＰＵ１４は、画像生成部２５により、ステップＳ３で抽出した複数の主要被写体画像に基づいて、動き情報の演算を行う。動き情報の演算は公知技術と同様に行われる。なお、画像生成部２５は、ステップＳ３で抽出した複数の主要被写体画像に基づいて動き情報を演算しても良いし、ステップＳ２で作成した主要被写体情報に基づいて動き情報を演算しても良い。さらに、ステップＳ３で抽出した複数の主要被写体画像とステップＳ２で作成した主要被写体情報との両方に基づいて動き情報を演算しても良い。動き情報には、主要被写体の動きの向きや速さなどの情報が含まれ、以下では、動き情報をＩｎｆｏ[Ｍ]と称する。

（ステップＳ７）
ＣＰＵ１４は、画像生成部２５により、画像処理を行う。画像生成部２５は、画像処理によって、新たな画像として、特定の画像効果を有する静止画像または動画像を生成する。また、画像生成部２５は、静止画像および動画像のそれぞれについて、３Ｄ画像を生成する。また、画像生成部２５は、静止画像および動画像のそれぞれについて、画像情報や文字情報を挿入する処理を行う。新たな画像としてどのような画像を生成するかは、ユーザ指示により定められても良いし、ＣＰＵ１４が適宜選択する構成としても良い。以下では、静止画像を生成する場合と、動画像を生成する場合と、３Ｄ画像を生成する場合と、画像情報や文字情報を挿入する場合とに分けて、主要被写体画像に対する画像処理の内容と背景画像に対する画像処理の内容とを説明する。

（１）新たな画像として静止画像を生成する場合
画像生成部２５は、ステップＳ３で抽出した主要被写体画像の少なくとも１つと、ステップＳ４で抽出し、ステップＳ５で補完処理を施した背景画像とを、ステップＳ６で演算した動き情報Ｉｎｆｏ[Ｍ]に基づいて合成することにより、新たな画像として静止画像を生成する。

（１）−ａ主要被写体画像に関する画像処理
画像生成部２５は、（Ａ）複数の主要被写体画像を合成し、合成後の主要被写体画像を背景画像内の任意の１つの位置に配置するか、（Ｂ）動き情報Ｉｎｆｏ[Ｍ]に応じて、複数の主要被写体画像を合成した主要被写体画像を背景画像内の異なる位置にそれぞれ配置するか、（Ｃ）動き情報Ｉｎｆｏ[Ｍ]に応じて、任意の１つの主要被写体画像を背景画像内の異なる位置にそれぞれ配置するか、（Ｄ）動き情報Ｉｎｆｏ[Ｍ]に応じて、複数の主要被写体画像を背景画像内の異なる位置にそれぞれ配置することにより静止画像を生成する。図６に上述した（Ａ）〜（Ｄ）の方法で生成した静止画像を例示する。

まず、（Ａ）の方法では、画像生成部２５は、ステップＳ３で抽出した主要被写体画像Ｍｉｍｇ[ｔ＝１]〜主要被写体画像Ｍｉｍｇ[ｔ＝３]を重畳合成し、重畳主要被写体画像Ｓｍｉｇ[ｔ＝１〜３]を生成する。そして、この重畳主要被写体画像Ｓｍｉｇ[ｔ＝１〜３]を、ステップＳ５で補完処理を施した背景画像ＢＭｉｍｇβ[ｔ＝１]の任意の１つの位置に配置することにより、主要被写体に動きが感じられる画像を生成することができる。

（Ｂ）の方法では、画像生成部２５は、（Ａ）で説明した重畳主要被写体画像Ｓｍｉｇ[ｔ＝１〜３]を、動き情報Ｉｎｆｏ[Ｍ]に応じて、ステップＳ５で補完処理を施した背景画像ＢＭｉｍｇβ[ｔ＝１]内の異なる位置にそれぞれ配置することにより、主要被写体に動きが感じられる画像を生成することができる。

（Ｃ）の方法では、画像生成部２５は、ステップＳ３で抽出した主要被写体画像Ｍｉｍｇ[ｔ＝１]〜主要被写体画像Ｍｉｍｇ[ｔ＝３]のうち、任意の１つの主要被写体画像（図６の例では、主要被写体画像Ｍｉｍｇ[ｔ＝１]を例示）を、動き情報Ｉｎｆｏ[Ｍ]に応じて、ステップＳ５で補完処理を施した背景画像ＢＭｉｍｇβ[ｔ＝１]内の異なる位置にそれぞれ配置することにより、主要被写体に動きが感じられる画像を生成することができる。

（Ｄ）の方法では、画像生成部２５は、ステップＳ３で抽出した主要被写体画像Ｍｉｍｇ[ｔ＝１]〜主要被写体画像Ｍｉｍｇ[ｔ＝３]を、動き情報Ｉｎｆｏ[Ｍ]に応じて、ステップＳ５で補完処理を施した背景画像ＢＭｉｍｇβ[ｔ＝１]内の異なる位置にそれぞれ配置することにより、主要被写体に動きが感じられる画像を生成することができる。

なお、（Ｂ）〜（Ｄ）における配置位置の変化量は、一定の量であっても良いし、変則的な量であっても良い。例えば、変化量を徐々に多くすることにより、主要被写体が加速するような表現を実現することも可能である。

（１）−ｂ背景画像に関する画像処理
画像生成部２５は、ステップＳ５で補完処理を施した背景画像ＢＭｉｍｇβ[ｔ＝１]に対して、動き情報Ｉｎｆｏ[Ｍ]に応じた方向にブレを発生させる処理を施し、処理後の背景画像ＢＭｉｍｇβ[ｔ＝１]と、主要被写体画像Ｍｉｍｇ[ｔ＝１]〜主要被写体画像Ｍｉｍｇ[ｔ＝３]のうち少なくとも１枚の主要被写体画像とに基づき新たな画像として静止画像を生成する。

この処理を行う場合、画像生成部２５は、例えば、動き情報Ｉｎｆｏ[Ｍ]に即したポイントスプレッドファンクション（ＰＳＦ：点光源を撮影した際の像面上の軌跡に相当）を生成し、生成したＰＳＦと背景画像ＢＭｉｍｇβ[ｔ＝１]とを畳み込み演算することにより、擬似的に主要被写体の動き方向にブレが発生した背景画像を生成することができる。

この処理は、画像生成部２５において常に行っても良いし、ユーザの選択に応じて行っても良い。また、この処理は（１）−ａで説明した全ての主要被写体画像について適応可能である。

図７に、ブレを発生させる処理後の背景画像ＢＭｉｍｇβ[ｔ＝１]、および、処理後の背景画像ＢＭｉｍｇβ[ｔ＝１]と、（１）−ａの（Ａ）で例示した重畳主要被写体画像Ｓｍｉｇ[ｔ＝１〜３]とに基づいて生成した静止画像を例示する。

このように、擬似的に背景をブラした背景画像を用いることにより、擬似的に流し撮りを行ったかのような静止画像を得ることができる。

上述した例では、ステップＳ５で補完処理を施した背景画像ＢＭｉｍｇβ[ｔ＝１]に対して、ブレを発生する処理を施す例を示したが、ステップＳ５で補完処理を施した背景画像ＢＭｉｍｇβ[ｔ＝１]に対して、ぼかし効果を加える処理を施しても良い。このような処理により、擬似的にマクロ撮影を行ったかのような静止画像を得ることができる。

（２）新たな画像として動画像を生成する場合
画像生成部２５は、ステップＳ３で抽出した主要被写体画像の少なくとも１つと、ステップＳ４で抽出し、ステップＳ５で補完処理を施した背景画像とを、ステップＳ６で演算した動き情報Ｉｎｆｏ[Ｍ]に基づいて合成することにより、新たな画像として、複数のフレームから成る動画像を生成する。

（２）−ａ主要被写体画像に関する画像処理
（２）−ａ−１主要被写体画像自体に関する画像処理
画像生成部２５は、フレーム毎の主要被写体画像として、以下の（Ａ）〜（Ｃ）の何れかを用いる。

（Ａ）全てのフレームにおいて、（１）−ａの（Ａ）で例示した重畳主要被写体画像Ｓｍｉｇ[ｔ＝１〜３]を主要被写体画像として用いる。

（Ｂ）全てのフレームにおいて、ステップＳ３で抽出した主要被写体画像Ｍｉｍｇ[ｔ＝１]〜主要被写体画像Ｍｉｍｇ[ｔ＝３]のうち、任意の１つの主要被写体画像を用いる。

（Ｃ）フレーム毎に、主要被写体画像Ｍｉｍｇ[ｔ＝１]〜主要被写体画像Ｍｉｍｇ[ｔ＝３]の何れかを用いることにより、フレームのそれぞれにおいて異なる主要被写体画像を用いる。

（２）−ａ−２主要被写体画像を配置する位置に関する画像処理
画像生成部２５は、フレーム毎の主要被写体画像を、以下の（Ａ）〜（Ｃ）の何れかの位置に配置する。

（Ａ）全てのフレームにおいて、任意の１つの位置に主要被写体画像を配置する。

（Ｂ）フレーム毎に、動き情報Ｉｎｆｏ[Ｍ]に基づく異なる位置に主要被写体画像を配置する。

（Ｃ）フレーム毎に、動き情報Ｉｎｆｏ[Ｍ]に基づいて、複数の主要被写体画像を、背景画像内の異なる位置にそれぞれ配置する。

なお、（Ｂ）および（Ｃ）における配置位置の変化量は、一定の量であっても良いし、変則的な量であっても良い。例えば、変化量を徐々に多くすることにより、主要被写体が加速するような表現を実現することも可能である。

また、（２）−ａ−１の（Ａ）〜（Ｃ）で説明した各主要被写体画像の内容と、（２）−ａ−２の（Ａ）〜（Ｃ）で説明した各主要被写体画像を配置する位置とは、どのような組み合わせであっても良い。一例として、図８に、（２）−ａ−１の（Ｃ）で説明した主要被写体画像を、（２）−ａ−２の（Ｂ）で説明した位置にそれぞれ配置する場合の各フレームの画像を例示する。

（２）−ｂ背景画像に関する画像処理
画像生成部２５は、（１）−ｂで説明したものと同様の、動き情報Ｉｎｆｏ[Ｍ]に応じた方向にブレを発生させる処理やぼかし効果を加える処理を施す。この処理は、画像生成部２５において常に行っても良いし、ユーザの選択に応じて行っても良い。また、この処理は（２）−ａで説明した全ての主要被写体画像について適応可能である。

さらに、画像生成部２５は、以下の（Ａ）〜（Ｃ）の少なくとも１つの処理を行うことにより、複数のフレームのそれぞれにおいて異なる背景画像を用意しても良い。この場合、それぞれの背景画像と、（２）−ａで説明した何れかの主要被写体画像とに基づいて、動画像を構成する各フレームを生成することができる。

（Ａ）トリミング処理
フレーム毎に、背景画像ＢＭｉｍｇβ[ｔ＝１]の異なる部分をトリミングして、各フレームの背景画像として用いる。例えば、図９に例示するように、動き情報Ｉｎｆｏ[Ｍ]に基づいて、トリミング位置をずらした背景画像をフレーム毎に用いる。図９の例では、背景画像に欠損部分が発生する。この部分については、図９のように黒色の表示を行っても良いし、他の色表示や画像の表示を行っても良い。

このような欠損部分を生じさせないように、図１０の例のようなトリミング処理を行っても良い。図１０の例では、背景画像ＢＭｉｍｇβ[ｔ＝１]の一部分のみをトリミングすることにより、上述した欠損部分が生じない。

なお、図９および図１０の例においては、（２）−ａ−１の（Ａ）で説明した主要被写体画像を、（２）−ａ−２の（Ａ）で説明した位置にそれぞれ配置する場合の例を示している。また、上述した各トリミング時におけるトリミング位置の変化量は、一定の量であっても良いし、変則的な量であっても良い。例えば、変化量を変化させすることにより、主要被写体が変速的に移動するような表現を実現することも可能である。このとき、トリミング処理により背景画像ＢＭｉｍｇβ[ｔ＝１]よりも画像サイズが小さくなることが考えられる。このような場合には、適宜画像のリサイズを行っても良い。

（Ｂ）拡大処理
（Ａ）で説明したトリミング処理をより効果的に行うために、トリミング処理の前に画像の拡大処理を行う。例えば、図１１に示すように、背景画像ＢＭｉｍｇβ[ｔ＝１]を横方向（動き情報Ｉｎｆｏ[Ｍ]に基づいて拡大方向や拡大倍率を決定すると良い。）に２倍に拡大する。その後に、（Ａ）で説明したトリミング処理を行うことにより、上述した欠損部分が生じるのをさらに抑えることができる。

なお、図１１の例では横方向にのみ拡大する例を示したが、縦方向に拡大する構成としても良い。また、背景画像ＢＭｉｍｇβ[ｔ＝１]の縦横比を維持したまま拡大処理を行っても良い。

（Ｃ）背景画像の少なくとも一部を複製して、複製前の背景画像に連結する処理
（Ａ）で説明したトリミング処理をより効果的に行うために、トリミング処理の前に背景画像ＢＭｉｍｇβ[ｔ＝１]の複製および連結する処理を行う。例えば、図１２に示すように、背景画像ＢＭｉｍｇβ[ｔ＝１]に発生する欠損部分に対して、トリミング位置の変更によりはみ出る部分の画像を連結する。その後に、（Ａ）で説明したトリミング処理を行うことにより、上述した欠損部分が生じるのをさらに抑えることができる。なお、この処理は、（Ｂ）で説明した拡大処理と組み合わせて行っても良い。このような処理を行うことにより、いわゆる走馬燈のように背景が流れていく表現を実現することができる。なお、連結部分には、不整合が生じる場合が考えられる。このような場合には、連結部分にスムージング処理やグラデーション処理などを施すことにより、不自然さを抑えることが期待できる。

（３）新たな画像として３Ｄ画像を生成する場合
画像生成部２５は、（１）で説明した静止画像および（２）で説明した動画像に基づいて、仮想三次元モデリングを行うことにより３Ｄ画像を生成する。以下では、（１）で説明した静止画像に基づいて、仮想三次元モデリングを行う場合を例に挙げて説明する。（２）で説明した動画像に基づいて、仮想三次元モデリングを行う場合にも、フレーム毎に同様の処理を行えば良い。

画像生成部２５は、図１３に例示するように、観察および表示の方向である方向Ｖに対して、主要被写体画像と背景画像との間に、奥行き方向における距離Ｚを設定し、設定した距離Ｚに基づいて、公知の仮想三次元モデリングを行うことにより示唆に応じた左目用画像および右目用画像から成る３Ｄ画像を生成する。なお、距離Ｚは、どのように決定しても良い。例えば、はじめに取得した対象画像について、撮影条件を取得可能な場合には、撮影条件に含まれる距離情報に基づいて、距離Ｚを決定すると良い。このような３Ｄ画像を生成することにより、奥行き感や立体感を持った表現を実現することができる。

（４）画像情報や文字情報を挿入する処理を行う場合
画像生成部２５は、（１）で説明した静止画像、（２）で説明した動画像および（３）で説明した３Ｄ画像に対して、主要被写体領域の位置に応じた位置に、画像情報や文字情報を挿入する処理を行う。以下では、（２）で説明した動画像に対して、吹き出しに文字が含まれた画像情報を挿入する場合を例に挙げて説明する。（１）で説明した静止画像や（３）で説明した３Ｄ画像に画像情報や文字情報を挿入する場合にも、同様の処理を行えば良い。なお、各処理の順序は問わない。すなわち、例えば、以下に説明する画像情報や文字情報を挿入する処理を行った後に、（３）で説明した３Ｄ画像の生成を行っても良い。

画像生成部２５は、図１４に例示するように、ステップＳ２で作成した主要被写体情報に基づいて、主要被写体領域を除く位置に吹き出しの画像を挿入する。このとき、例えば、主要被写体領域の重心位置を求め、吹き出しの頂点の位置を重心位置にしても良いし、吹き出しの頂点の向きを重心位置の方向に合わせても良い。また、図１４に例示した吹き出しは一例であり、その数、形状、大きさはどのようなものであっても良い。さらに、図１４では、吹き出しを例示したが、その他どのような画像情報や文字情報を挿入しても良い。また、挿入する画像情報や文字情報の一部が主要被写体領域と重なっても良い。また、画像情報や文字情報を敢えて主要被写体領域に挿入しても良い。

このように画像情報や文字情報の挿入を行うことにより、画像によって伝えたいメッセージなどを効果的に追加することができる。

なお、（１）から（４）で説明した各処理において、ステップＳ３で抽出した主要被写体画像のみに基づいて、新たな画像を生成しても良い。すなわち、ステップＳ３で抽出した主要被写体画像に基づいて新たな静止画像、動画像、３Ｄ画像を生成することにより、上述した各処理を、Ｗｅｂやメールなどで使用されるアニメーション、アイコンや絵文字などの作成に利用することができる。

主要被写体画像のみを利用する際には、主要被写体領域の輪郭に沿って新たな画像を生成しても良いし、主要被写体領域を含む矩形の領域に沿って新たな画像を生成するなど、どのような方法を用いても良い。

例えば、図１５に示すように、ステップＳ３で抽出した主要被写体画像の１つを、フレームごとに大きさが変化する動画像としても良い。同様に、図１６に示すように、ステップＳ３で抽出した主要被写体画像の１つを、フレームごとに位置が変化する動画像としても良い。なお、大きさや位置を変化させる他に、回転、点滅、色の変更等を行っても良い。

また、例えば、図１７に示すように、ステップＳ３で抽出した複数の主要被写体画像に基づいて、主要被写体画像のみから動画像を生成しても良い。また、例えば、ある被写体を複数の角度から撮影した一連の画像に基づいて、上述した処理を行うことにより、図１８に示すように、主要被写体が回転するような動画像を生成することもできる。

さらに、このような主要被写体画像のみに基づく新たな画像の生成に際して、ステップＳ４で抽出した背景画像とは異なる任意の画像を利用しても良い。例えば、図１９に示すように、図１７に例示した各主要被写体画像と、既存の星型の図形とを組み合わせて動画像を生成しても良い。このように、任意の画像を利用することにより、さらに豊かな表現をもつ新たな画像を生成することができる。

また、生成する新たな画像のサイズを、利用用途に合わせて自動で拡大または縮小するようにしても良い。

なお、このような処理においては、（１）から（４）で説明した各処理をどのように組み合わせても良い。また、（１）から（４）で説明した各処理により生成された画像を用いて、さらに新たな画像を生成しても良い。

（ステップＳ８）
ＣＰＵ１４は、ステップＳ７の画像処理により生成した新たな画像を記録する。なお、生成した新たな画像が動画像である場合、記録に際して、以下の２種類の方法が考えられる。

（１）未合成の状態で記録する。

ＣＰＵ１４は、複数のフレームのそれぞれについて、主要被写体画像と、背景画像と、背景画像に主要被写体を合成する際の配置を示す情報とを関連づけて記録する。このような記録を行う場合、動画像の編集時や表示時に、上述した情報に基づいて、主要被写体画像と背景画像とを合成することにより、最終的な動画像を生成、表示することができる。

（２）合成後の状態で記録する。

ＣＰＵ１４は、上述したステップＳ７で説明した画像処理に際し、複数のフレームのそれぞれにおいて、主要被写体画像と背景画像とを合成する処理を画像生成部２５により行う。そして、ステップＳ２０７においては、合成後の各フレームの画像を新たな画像として記録する。

（ステップＳ９）
ＣＰＵ１４は、ステップＳ７の画像処理により生成した新たな画像をモニタ１９に表示する。

なお、上述した例では、ユーザによるプログラム実行指示に応じて、一連の処理を実行する例を示したが、本発明はこの例に限定されない。例えば、新たな画像の生成を、ユーザ指示に応じたタイミングで行っても良い。また、データ読込部１２を介して、外部から画像のデータを読み込むたびに、自動で一連の処理を実行しても良い。また、本実施形態で説明した画像処理装置を備えた撮像装置においては、撮像を行う際に一連の処理を実行する構成としても良い。また、本実施形態で説明した画像処理装置を備えた再生装置においては、画像の再生を行う際に一連の処理を実行する構成としても良い。

上記のように、第１実施形態の画像処理装置は、対象画像に基づいて、対象画像における被写体の分布を示す情報を作成し、複数の対象画像ごとの情報に基づいて、複数の対象画像のそれぞれから主要被写体画像を抽出するとともに、複数の対象画像ごとの情報に基づいて、複数の対象画像のうち、任意の１枚の対象画像から背景画像を抽出し、複数の主要被写体画像に基づいて、主要被写体の動き情報を演算するとともに、動き情報に応じて、少なくとも１枚の主要被写体画像と、背景画像とに基づく新たな画像を生成する。

よって、第１実施形態の構成によれば、主要被写体画像と背景画像とを抽出し、好適な画像処理を行うことにより興趣に富む新たな画像を生成することができる。

特に、第１実施形態の構成によれば、従来のような画一的な修正とは違い、背景画像に効果を加えたり、変速的な時間の変化や変則的な主要被写体の移動など、様々な効果を加えたりすることが可能である。

なお、第１実施形態においては、主要被写体が画面内において横方向に移動する場合を例に挙げて説明したが、本発明はこの例に限定されない。例えば、主要被写体が、画面内の縦方向や斜め方向に移動する場合であっても、本発明を同様に適用することができる。

また、第１実施形態において、ステップＳ５で説明した背景画像の補完処理は必ず行わなければならないものではなく、この処理を省略しても良い。

また、第１実施形態において、新たな画像として動画像を生成する際には、１枚の背景画像に基づいて動画像を生成する場合を例に挙げて説明したが、本発明はこの例に限定されない。例えば、ステップＳ４において複数の背景画像を抽出し、フレーム毎に異なる背景画像を用いる構成としても良いし、時間の経過に応じて、用いる背景画像を変える構成としても良い。

＜第２実施形態の説明＞
図２０は、第２実施形態での電子カメラの構成例を示すブロック図である。電子カメラ３１は、撮像光学系３２と、撮像素子３３と、画像処理エンジン３４と、ＲＯＭ３５と、メインメモリ３６と、記録Ｉ／Ｆ３７と、ユーザの操作を受け付ける操作部３８と、不図示のモニタを備えた表示部３９を有している。ここで、撮像素子３３、ＲＯＭ３５、メインメモリ３６、記録Ｉ／Ｆ３７、操作部３８および表示部３９は、それぞれ画像処理エンジン３４に接続されている。

撮像素子３３は、撮像光学系３２によって結像される被写体の像を撮像し、撮像した画像の画像信号を生成する撮像デバイスである。なお、撮像素子３３から出力された画像信号は、Ａ／Ｄ変換回路（不図示）を介して制御部に入力される。

画像処理エンジン３４は、電子カメラ３１の動作を統括的に制御するプロセッサである。例えば、画像処理エンジン３４は、撮像した画像のデータに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整、色変換処理など）を施す。また、画像処理エンジン３４は、プログラムの実行により、上記した第１実施形態の画像処理装置（ＣＰＵ１４、情報作成部２１および画像生成部２５）として機能する。

ＲＯＭ３５には、画像処理エンジン３４によって実行されるプログラムが記憶されている。また、メインメモリ３６は、画像処理の前工程や後工程で画像のデータを一時的に記憶する。

記録Ｉ／Ｆ３７は、不揮発性の記憶媒体４０を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ３７は、コネクタに接続された記憶媒体４０に対してデータの書き込み／読み込みを実行する。上記の記憶媒体４０は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図２０では記憶媒体４０の一例としてメモリカードを図示する。

表示部３９は、画像処理エンジン３４から取得した画像データを表示するとともに、第１実施形態のステップＳ９で説明した表示を行う。

第２実施形態の電子カメラ３１は、ユーザの撮像指示をトリガとする撮像工程において、撮像素子３３で撮像された画像を対象画像として取得し、第１実施形態と同様の処理により新たな画像の生成を行う。なお、メインメモリ３６などに記録された画像を対象画像として、同様の処理を行っても良い。以上により、第２実施形態の電子カメラ３１は、第１実施形態とほぼ同様の効果を得ることができる。

＜実施形態の補足事項＞
（１）上記各実施形態では、主要被写体領域が１つである場合を例に挙げて説明したが、本発明はこの例に限定されない。例えば、対象画像Ｉｍｇ[１]に複数の主要被写体領域が含まれる場合には、図２のフローチャートのステップＳ２において、主要被写体領域ごとに主要被写体情報を作成すればよい。なお、複数の主要被写体領域を抽出する場合には、公知のラベリング技術やクラスタリングによるグループ化処理などを用いることにより、複数の主要被写体領域を分けて認識することができる。

上述したように、複数の主要被写体領域を抽出した場合、複数の主要被写体領域の何れかを選択するか、複数の主要被写体領域の情報を総合して、上記各実施形態で説明した処理を各主要被写体領域ごとに行えば良い。

複数の主要被写体領域の何れかを選択する場合には、例えば、面積の大きい主要被写体領域を選択する方法や、その主要被写体領域に関する主要被写体情報に基づいて選択を行う方法などが考えられる。また、複数の主要被写体領域の何れかをユーザ操作に基づいて選択する構成としても良い。

上述したように、複数の主要被写体領域の何れかを選択する場合には、第１実施形態で説明した新たな画像の生成においても、複数の主要被写体領域に応じた処理を行えばよい。例えば、図２のフローチャートを用いて説明した処理においては、ステップＳ３において複数の主要被写体画像を抽出し、ステップＳ６において、各主要被写体画像ごとの動き情報を演算する。そして、ステップＳ７の画像処理においては、何れかの主要被写体画像を選択して同様の処理を行っても良いし、複数の主要被写体画像のそれぞれについて画像処理を行っても良い。例えば、（４）で説明した画像情報や文字情報を挿入する処理については、何れかの主要被写体画像を選択して画像情報や文字情報を挿入する処理を行っても良いし、それぞれの主要被写体画像に対して、画像情報や文字情報を挿入する処理を行っても良い。

また、ステップＳ３で抽出した主要被写体画像のみに基づいて、新たな画像を生成する際には、それぞれの主要被写体画像に対して処理を独立に行うことにより、複数の新たな画像を生成しても良い。

（２）本発明の画像処理装置は、上記実施形態のパーソナルコンピュータの例に限定されない。本発明の画像処理装置は、デジタルの画像の再生表示機能やレタッチ機能を有する電子機器（例えば、フォトビューアー、デジタルフォトフレーム、写真の印刷装置など）であってもよい。また、本発明の撮像装置は、携帯電話端末のカメラモジュールとして実装されるものであってもよい。

（３）上記の各実施形態では、情報作成部２１および画像生成部２５の各処理をソフトウエア的に実現する例を説明したが、ＡＳＩＣ等によってこれらの各処理をハードウエア的に実現しても勿論かまわない。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…コンピュータ、１４…ＣＰＵ、２１…情報作成部、２５…画像生成部、３１…電子カメラ、３３…撮像素子、３４…画像処理エンジン、３５…ＲＯＭ、３７…記録Ｉ／Ｆ、３９…表示部、４０…記憶媒体

Claims

処理の対象となる対象画像の情報を取得する取得部と、
前記対象画像に基づいて、前記対象画像における被写体と背景との少なくとも一方の分布を示す情報を作成する作成部と、
複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のそれぞれから主要被写体画像を抽出する第１抽出部と、
複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のうち、任意の１枚の前記対象画像から背景画像を抽出する第２抽出部と、
前記第１抽出部により抽出した少なくとも１枚の前記主要被写体画像と、前記第２抽出部により抽出した前記背景画像との少なくとも一方に基づき、新たな画像を生成する生成部と
を備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記生成部は、前記背景画像に対して、前記背景画像にぼかし効果を加える処理を施し、前記処理後の前記背景画像と、少なくとも１枚の前記主要被写体画像とに基づき前記新たな画像を生成する
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記生成部は、前記背景画像について、前記第２抽出部による抽出時に発生する欠損部分を補完する処理を施し、前記処理後の前記背景画像と、少なくとも１枚の前記主要被写体画像とに基づき前記新たな画像を生成する
ことを特徴とする画像処理装置。
請求項３に記載の画像処理装置において、
前記生成部は、前記背景画像のうち、前記欠損部分を除く部分の画像に基づいて、前記欠損部分を補完する
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記生成部は、少なくとも１枚の前記主要被写体画像と前記背景画像との間に所定の距離を設定し、仮想三次元モデリングを行うことにより左目用画像および右目用画像から成る前記新たな画像を生成する
ことを特徴とする画像処理装置。
請求項５に記載の画像処理装置において、
前記取得部は、前記対象画像が生成された際の撮影条件を更に取得し、
前記生成部は、前記撮影条件に基づいて前記所定の距離を設定する
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記生成部は、前記マップに基づいて、前記新たな画像中の主要被写体の位置に応じた位置に、任意の画像情報と文字情報との少なくとも一方を挿入する
ことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記生成部は、前記第１抽出部により抽出した少なくとも１枚の前記主要被写体画像のみに基づいて、前記新たな画像を生成するか、または、前記第１抽出部により抽出した少なくとも１枚の前記主要被写体画像と、任意の画像とに基づいて、前記新たな画像を生成する
ことを特徴とする画像処理装置。
請求項１から請求項８のいずれか１項に記載の画像処理装置において、
前記生成部は、前記新たな画像として静止画像を生成する
ことを特徴とする画像処理装置。
請求項９に記載の画像処理装置において、
前記第１抽出部により抽出した複数の前記主要被写体画像に基づいて、前記主要被写体の動き情報を演算する演算部をさらに備え、
前記生成部は、前記動き情報に応じて、前記第１抽出部により抽出した少なくとも１枚の前記主要被写体画像と、前記第２抽出部により抽出した前記背景画像とに基づく新たな画像を生成する
ことを特徴とする画像処理装置。
請求項１から請求項８のいずれか１項に記載の画像処理装置において、
前記生成部は、前記新たな画像として、複数のフレームから成る動画像を生成する
ことを特徴とする画像処理装置。
請求項１１に記載の画像処理装置において、
前記第１抽出部により抽出した複数の前記主要被写体画像に基づいて、前記主要被写体の動き情報を演算する演算部をさらに備え、
前記生成部は、前記動き情報に応じて、前記第１抽出部により抽出した少なくとも１枚の前記主要被写体画像と、前記第２抽出部により抽出した前記背景画像とに基づく新たな画像を生成する
ことを特徴とする画像処理装置。
請求項１０または請求項１２に記載の画像処理装置において、
前記生成部は、前記背景画像に対して、前記動き情報に応じた方向にブレを発生させる処理を施し、前記処理後の前記背景画像と、少なくとも１枚の前記主要被写体画像とに基づき前記新たな画像を生成する
ことを特徴とする画像処理装置。
請求項１０または請求項１２に記載の画像処理装置において、
前記第２抽出部は、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像から複数の前記背景画像を抽出し、
前記生成部は、任意の１枚の前記背景画像について、別の前記背景画像に基づいて、前記欠損部分を補完する
ことを特徴とする画像処理装置。
請求項１０に記載の画像処理装置において、
前記生成部は、複数の前記主要被写体画像を合成し、合成後の前記主要被写体画像を前記背景画像内の任意の１つの位置に配置するか、前記動き情報に応じて、前記合成後の前記主要被写体画像を前記背景画像内の異なる位置にそれぞれ配置するか、前記動き情報に応じて、任意の１つの前記主要被写体画像を前記背景画像内の異なる位置にそれぞれ配置するか、前記動き情報に応じて、複数の前記主要被写体画像を前記背景画像内の異なる位置にそれぞれ配置することにより前記静止画像を生成する
ことを特徴とする画像処理装置。
請求項１０または請求項１５に記載の画像処理装置において、
前記生成部により生成した前記静止画像を記録する記録部をさらに備える
ことを特徴とする画像処理装置。
請求項１２に記載の画像処理装置において、
前記生成部は、複数の前記主要被写体画像を合成し、前記動き情報に応じて、合成後の前記主要被写体画像を複数の前記フレームのそれぞれにおいて前記背景画像に配置する処理と、任意の前記主要被写体画像を複数の前記フレームのそれぞれにおいて前記背景画像内の異なる位置にそれぞれ配置する処理と、前記動き情報に応じて、複数の前記フレームのそれぞれに異なる前記主要被写体画像を配置する処理との少なくとも１つを行うことにより前記動画像を生成する
ことを特徴とする画像処理装置。
請求項１２または請求項１７に記載の画像処理装置において、
前記生成部は、前記動き情報に応じて、複数の前記フレームのそれぞれにおいて異なる前記背景画像に前記主要被写体画像を配置することにより前記動画像を生成する
ことを特徴とする画像処理装置。
請求項１２または請求項１７に記載の画像処理装置において、
前記生成部は、前記第２抽出部により抽出した前記背景画像に対して、トリミング処理と、拡大縮小処理と、前記背景画像の少なくとも一部を複製して前記背景画像に連結する処理との少なくとも１つを行うことにより、複数の前記フレームに対応する複数の前記背景画像を生成する
ことを特徴とする画像処理装置。
請求項１２から請求項１９の何れか１項に記載の画像処理装置において、
前記生成部により生成した前記動画像を記録する記録部をさらに備え、
前記記録部は、複数の前記フレームのそれぞれについて、前記主要被写体画像と、前記背景画像と、前記背景画像に前記主要被写体を合成する際の配置を示す情報とを関連づけて記録する
ことを特徴とする画像処理装置。
請求項１２から請求項１９の何れか１項に記載の画像処理装置において、
前記生成部により生成した前記動画像を記録する記録部をさらに備え、
前記生成部は、複数の前記フレームのそれぞれにおいて前記主要被写体画像と前記背景画像とを合成する処理を行い、
前記記録部は、前記生成部により前記処理が行われた前記動画像を記録する
ことを特徴とする画像処理装置。
処理の対象となる対象画像の情報を取得する取得部と、
前記対象画像に基づいて、前記対象画像における被写体と背景との少なくとも一方の分布を示す情報を作成する作成部と、
複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のそれぞれから主要被写体画像を抽出する第１抽出部と、
複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のうち、少なくとも２枚の前記対象画像から複数の背景画像を抽出する第２抽出部と、
前記第１抽出部により抽出した少なくとも１枚の前記主要被写体画像と、前記第２抽出部により抽出した複数の前記背景画像との少なくとも一方に基づき、新たな画像を生成する生成部と
を備えることを特徴とする画像処理装置。
被写体の像を撮像する撮像部と、
請求項１から請求項２２のいずれか１項に記載の画像処理装置とを備え、
前記取得部は、前記撮像部から前記対象画像の情報を取得する
ことを特徴とする撮像装置。
処理の対象となる対象画像の情報を取得する取得処理と、
前記対象画像に基づいて、前記対象画像における被写体と背景との少なくとも一方の分布を示す情報を作成する作成処理と、
複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のそれぞれから主要被写体画像を抽出する第１抽出処理と、
複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のうち、任意の１枚の前記対象画像から背景画像を抽出する第２抽出処理と、
前記第１抽出処理によって抽出した少なくとも１枚の前記主要被写体画像と、前記第２抽出処理によって抽出した前記背景画像との少なくとも一方に基づく新たな画像を生成する生成処理と
をコンピュータに実行させる画像処理プログラム。