WO2018096775A1

WO2018096775A1 - 画像処理装置、画像処理方法、プログラム

Info

Publication number: WO2018096775A1
Application number: PCT/JP2017/034525
Authority: WO
Inventors: 高橋　正宏; 隆弘柘植; 唐澤　英了; 裕美飯塚; 諒三宅; 中山　寛
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2016-11-28
Filing date: 2017-09-25
Publication date: 2018-05-31
Anticipated expiration: 2019-05-28
Also published as: JPWO2018096775A1; CN109983753A; EP3547661A1; US20190272658A1; EP3547661A4; US10810776B2

Abstract

多様かつ自然な感じが得られる編集画像を容易に生成できるようにする。このために処理対象とした画像について画素の深度情報を用いる。また画像処理において画素の深度情報に対する比較基準となる基準深度情報を設定する。そして基準深度情報と、処理対象とした画像の画素の深度情報を用いて画像編集処理を行う。

Description

画像処理装置、画像処理方法、プログラム

　本技術は処理対象とする１又は複数の画像の画像編集を行うための画像処理装置、画像処理方法、プログラムに関する。

　各種の画像編集を行う画像処理技術が知られている。
　特許文献１には、複数の画像を配置して合成する際に位置関係を考慮してレイアウトを決める処理を行うことが記載されている。

特開２０１０－７９５７０号公報

　近年、ソーシャルメディアの普及により一般ユーザが写真や動画をシェアすることが日常に行われている。このために画像にエフェクトを加えるアプリケーションプログラムが普及する一方で、表現が画一化されユーザの個性が発揮しにくい状況が生まれている。
　一方で、画像の合成や画像エフェクト等として、より高度で独創的な編集を行おうとすると、専用のツールを用いて画像を直接加工する必要があり、特殊な技能を必要とするだけでなく多くの手間や時間が掛かった。また、編集画像の完成度はユーザのスキルを反映し、自然な仕上がりとは言い難い作品も少なくない。このため一般ユーザが簡易に実行できるものではなかった。
　そこで本技術は、一般ユーザが容易に、多様かつ高度な画像編集を行うことができるようにすることを目的とする。

　本技術に係る画像処理装置は、処理対象とした画像における画素の深度情報に対する比較基準となる基準深度情報を設定する基準深度設定部と、前記基準深度情報と、処理対象とした画像の画素の深度情報を用いて画像編集処理を行う画像編集処理部とを備える。
　この場合、画素について被写体までの距離（奥行き）の値となる深度情報を有する画像データを処理対象とする。なお、深度情報は、画像データを構成する１画素毎に付加されていても良いし、カラー画素としての画素ブロック毎（例えばＲ画素、Ｇ画素、Ｂ画素の３画素の単位）などでもよいに付加されていても良い。或いは４画素、９画素など、画素ブロック毎に深度情報が付加されていても良い。
　基準深度情報は、比較基準となる深度の閾値や、処理基準となる或る深度、挿入深度、深度の範囲を示す値などである。
　画像処理装置は、このような画素（画素ブロック）毎に、深度情報を基準深度情報と比較し、その比較結果に応じた画像処理を行う。

　上記した本技術に係る画像処理装置においては、前記基準深度設定部は、操作入力に応じて前記基準深度情報を設定することが考えられる。
　すなわちユーザが画像処理の際に用いる基準深度情報を任意に設定できるようにする。

　上記した本技術に係る画像処理装置においては、前記基準深度設定部は前記基準深度情報として深度閾値を設定し、前記画像編集処理部は、処理対象とした画像の各画素の深度情報と深度閾値の比較結果に基づいて抽出した被写体のトリミング画像を生成する画像編集処理を行うことが考えられる。
　すなわち被写体の深度方向で閾値を設定し、その閾値を基準深度として、処理対象の画像の中で表示する画素を抽出する。

　上記した本技術に係る画像処理装置においては、前記基準深度設定部は処理対象とした画像の全画素と比較する共通の深度閾値を設定することが考えられる。
　深度閾値として１つの値を設定し、その閾値を処理対象の画像の全画素と比較して、その比較結果により表示する画素を抽出する。

　上記した本技術に係る画像処理装置においては、前記基準深度設定部は、複数の深度閾値を設定し、前記画像編集処理部は、画素毎に、画素の深度情報と該画素に対応された深度閾値を比較することが考えられる。
　深度閾値として複数値を設定する。例えば画像の領域毎に異なる深度閾値を設定したり、画素毎に対応する深度閾値を設定する。そして各画素を対応する深度閾値と比較して表示する画素を抽出する。

　上記した本技術に係る画像処理装置においては、前記画像編集処理部は、トリミングの対象となる被写体の情報を取得し、処理対象の画像の各画素について、深度閾値との比較結果と、トリミングの対象となる被写体の画素であるか否かの判定結果を用いてトリミング画像を生成する画像編集処理を行うことが考えられる。
　この場合、深度の比較結果だけでなく、画像解析による被写体認識を用いて判定した被写体の画素であるか否かの判定も行って、それらの結果で表示する画素を抽出する。

　上記した本技術に係る画像処理装置においては、前記基準深度設定部は前記基準深度情報として深度閾値を設定し、前記画像編集処理部は、処理対象とした画像の各画素の深度情報と深度閾値の比較結果により、深度閾値より手前側もしくは奥側のうちの一方側と判定された画素を表示する画素とし、他方側と判定された画素の値を他の値に置換する処理を行うことが考えられる。
　すなわち被写体の深度方向で閾値を設定し、その閾値を基準深度として、手前側と奥側で、そのまま表示する画素と、画素値を置換する画素とを分ける。

　上記した本技術に係る画像処理装置においては、前記画像編集処理部は、前記他方側と判定された画素の全てについて、画素値を、被写体を非表示とする値もしくは表示効果を付与する値に置換する画像編集処理を行うことが考えられる。
　例えば深度閾値で分けた他方側の被写体の画素を、その被写体を非表示とする値に置換して、元々の被写体とは無関係な画素値とすることで、他方側の被写体を非表示とし、一方側の被写体のみを表示させるトリミング画像を生成できる。
　また例えば深度閾値で分けた他方側の被写体の画素を、その被写体に画像エフェクトを与えた場合の値に置換すれば、一方側の被写体が元のまま表示され他方側の被写体には画像効果が付与された画像を生成できる。

　上記した本技術に係る画像処理装置においては、前記画像編集処理部は、前記他方側と判定された画素について、他の画像の画素値に置換する画像編集処理を行うことが考えられる。
　例えば深度閾値で分けた他方側の被写体の画素を、別の画像の画素の画素値に置換すれば、一方側の被写体が元のまま表示され他方側は他の画像の被写体が合成された画像を生成できる。

　上記した本技術に係る画像処理装置においては、前記基準深度設定部は前記基準深度情報として挿入深度を設定し、前記画像編集処理部は、第１画像に第２画像を合成する処理として、前記第１画像の各画素の深度情報と挿入深度の比較結果に基づいて、前記第２画像の画素と前記第１画像に対する画素との前後関係を判定し、該判定結果に基づいて合成画像を生成する画像編集処理を行うことが考えられる。
　第１画像は例えば写真画像などとして被写体が深度情報を持っている。一方、第２画像は深度情報を持っていない場合を想定する。例えば第２画像は、文字の画像や二次元的に生成したグラフィック等の元々平面上の画像とする。このような第２画像を第１画像に挿入する深度を挿入深度として設定する。その深度の位置に第２画像が存在するような合成を行う。

　上記した本技術に係る画像処理装置においては、前記画像編集処理部は、前記第２画像に対して、挿入深度に応じた画像エフェクト処理を行うことが考えられる。
　第２画像は設定した挿入深度の奥行き位置で第１画像に挿入するように合成される。この第２画像に対して、その挿入深度に応じた画像効果を与える。
　また複数の第２画像をそれぞれ異なる挿入深度で合成する場合、各第２画像は、それぞれの挿入深度に応じた画像エフェクトを施すようにする。

　上記した本技術に係る画像処理装置においては、前記基準深度設定部は前記基準深度情報として深度基準値を設定し、前記画像編集処理部は、処理対象とした画像の各画素について深度情報と深度基準値の比較結果に基づいて画像エフェクトレベルを設定し、処理対象とした画像に画像エフェクト処理を施す画像編集処理を行うことが考えられる。
　すなわち処理対象の画像に画像エフェクトを施す場合に、その被写体の深度に応じたエフェクトレベル（効果の強さ）を設定する。例えばその設定は、深度基準値と画素の深度情報の差に応じたものとする。

　上記した本技術に係る画像処理装置においては、前記基準深度設定部は前記基準深度情報として挿入深度を設定し、前記画像編集処理部は、第１画像と第２画像を合成する処理として、前記第１画像の被写体と前記第２画像の被写体の一方又は両方のサイズを変更し、前記第１画像の画素の深度情報と挿入深度の比較結果に基づいて、前記第２画像の画素と前記第１画像に対する画素との前後関係を判定し、該判定結果に基づいて合成画像を生成する画像編集処理を行うことが考えられる。
　例えば第１画像、第２画像としてスケールや時刻が異なる画像を合成することを想定する。この場合に第２画像を第１画像に挿入する深度を挿入深度として設定する。その深度の位置において第２画像の被写体のサイズを変更して挿入するような合成を行う。

　上記した本技術に係る画像処理装置においては、前記画像編集処理部は、前記第２画像からトリミングした被写体画像を、前記第１画像に合成する処理を行うことが考えられる。
　例えば第２の画像の一部の被写体をトリミングで取りだし、第１画像の被写体と第２画像の被写体の一方又は両方のサイズを変更したうえで、トリミングした第２画像の被写体を第１画像に組み込むような合成処理を行う。

　上記した本技術に係る画像処理装置においては、前記画像編集処理部は、前記第２画像からトリミングした被写体画像に対して、挿入深度に応じた画像エフェクト処理を行うことが考えられる。
　例えば第１画像とのサイズ関係が変更された第２画像は設定した挿入深度の奥行き位置で第１画像に挿入するように合成される。この第２画像に対して、その挿入深度に応じた画像効果を与える。
　また複数の第２画像をそれぞれ異なる挿入深度で合成する場合、各第２画像は、それぞれの挿入深度に応じた画像エフェクトを施すようにする。

　上記した本技術に係る画像処理装置においては、前記基準深度設定部は前記基準深度情報として複数の深度閾値を設定し、前記画像編集処理部は、処理対象とした画像において各深度閾値を用いて抽出した画素を平面化した画像を合成する画像編集処理を行うことが考えられる。
　すなわちいくつかの深度閾値で被写体を切り出して平面化する。これらを平面化して例えば元の位置状態で重ねるように合成する。

　上記した本技術に係る画像処理装置においては、前記画像編集処理部は、処理対象の画像の各画素の深度情報として、最小値から最大値の範囲内で、複数の深度閾値を設定することが考えられる。
　これにより被写体が適切に切り出されるようにする。

　上記した本技術に係る画像処理装置においては、前記基準深度設定部は前記基準深度情報として深度閾値を１又は複数設定し、前記画像編集処理部は、１又は複数の画像から、設定した１又は複数の深度閾値を用いて抽出して被写体画像を抽出し、抽出した被写体画像を合成する画像編集処理を行うことが考えられる。
　この場合、深度情報を用いて被写体画像を切り出し、切り出した複数の被写体画像を合成する。

　本技術に係る画像処理方法は、処理対象とした画像における画素の深度情報に対する比較基準となる基準深度情報を設定する基準深度設定手順と、前記基準深度情報と、処理対象とした画像の画素の深度情報を用いて画像編集処理を行う画像編集処理手順とを情報処理装置が実行するものである。
　本技術に係るプログラムは、これらの各手順に相当する処理ステップを情報処理装置に実行させるプログラムである。
　これらの方法又はプログラムにより、多様な画像編集を容易に実現できる画像処理装置を実現できる。

　本技術によれば画像合成や画像エフェクトを施す等の多様な画像編集であって、より高度な画像処理を、高度なスキルを要求せずに一般ユーザが容易に実現できる環境を提供できる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の実施の形態の画像処理装置のブロック図である。実施の形態の画像処理のための操作態様の説明図である。実施の形態の処理対象の画像の深度情報の説明図である。実施の形態の画像処理装置を実現する情報処理装置のブロック図である。第１の実施の形態のトリミング画像の説明図である。第１の実施の形態のトリミング画像の切り出し処理の説明図である。第１の実施の形態の画像編集処理のフローチャートである。第１の実施の形態の画像編集処理の他の例のフローチャートである。実施の形態の基準深度情報である閾値を画素毎に設定する場合の説明図である。実施の形態の基準深度情報である閾値を画素毎に設定する場合の説明図である。第１第１の実施の形態のトリミング画像と他の画像の合成の説明図である。第１の実施の形態の画像編集処理のさらに他の例のフローチャートである。第２の実施の形態の合成画像の説明図である。第２の実施の形態の合成画像の説明図である。第２の実施の形態の画像編集処理のフローチャートである。第２の実施の形態の変形例の合成画像の説明図である。第２の実施の形態の変形例の画像編集処理のフローチャートである。第３の実施の形態のエフェクト画像の説明図である。第３の実施の形態の画像編集処理のフローチャートである。第３の実施の形態のエフェクト処理の説明図である。第４の実施の形態の合成画像の説明図である。第４の実施の形態の合成画像の説明図である。第４の実施の形態の画像編集処理のフローチャートである。第５の実施の形態の編集画像の説明図である。第５の実施の形態の画像編集処理のフローチャートである。第５の実施の形態の深度閾値の説明図である。第５の実施の形態の他の例の編集画像の説明図である。第５の実施の形態の他の例の画像編集処理のフローチャートである。

　以下、実施の形態を次の順序で説明する。
＜１．画像処理装置の構成＞
＜２．第１の実施の形態＞
＜３．第２の実施の形態＞
＜４．第３の実施の形態＞
＜５．第４の実施の形態＞
＜６．第５の実施の形態＞
＜７．まとめ及び変形例＞

＜１．画像処理装置の構成＞

　図１は本開示の画像処理装置１の機能構成と画像処理装置１の周辺構成を示している。画像処理装置１は、画像取得部２、深度取得部３、基準深度設定部４、画像編集処理部５、画像出力部６を有している。
　また画像処理装置１の周辺構成の一例として、操作部１０、表示部１１、通信部１２、記憶部１３、画像ソース１４を示している。
　操作部１０、表示部１１、通信部１２、記憶部１３、画像ソース１４のそれぞれは画像処理装置１と一体の機器内に設けられてもよいし、別体の機器とされて画像処理装置１と有線又は無線通信により接続されるものであっても良い。

　まず画像処理装置１の周辺構成について説明する。
　操作部１０は画像編集のためのユーザの各種操作を検知する。この操作部１０は、実際のキー、スイッチ等の操作子の操作を検知する構成でもよいし、コンピュータ装置におけるマウスやキーボード、音声入力、ジェスチャ入力、非接触入力等の操作を検知する構成でもよい。
　また操作部１０は、例えば図２Ａに例示するスマートフォン等の携帯端末１０１においてタッチ操作、タップ操作等を検知する構成でもよい。図２Ａは、例えば画像処理装置１が搭載された携帯端末１０１において、編集処理対象の画像を画面１０２に表示している状態を示している。図２Ｂはさらに画面１０２にタッチ操作のための操作ボタン１１１やスライドレバー１１０を表示した状態を示している。ユーザは操作ボタン１１１やスライドレバー１１０を用いて画像編集のための各種操作を行うことができる。

　表示部１１は、ユーザ（撮像者等）に対して各種表示を行う表示部であり、例えば画像処理装置１を含む装置の筐体に設けられたＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスとされる。例えばこの表示部１１は図２Ａの携帯端末１０１等の画面１０２を形成するＬＣＤ等である。或いは表示部１１は画像処理装置１を有する装置とは別体の表示デバイスとされてもよい。
　この表示部１１ではユーザインターフェースのための各種表示を行う。例えば画像処理装置１が編集処理により生成した画像（静止画や動画）の表示、編集前の画像（静止画や動画）の表示、上記の操作ボタン１１１やスライドレバー１１０等の操作子画像の表示、その他必要な表示を行う。

　通信部１２は他の機器との間での有線又は無線接続による通信を行う。例えばＷＩＦＩ（Wireless Fidelity：登録商標）やブルートゥース（登録商標）等の無線通信規格等の通信方式による通信を行う。或いは通信部１２は、外部の表示装置、記録装置、再生装置等の間で画像データ（静止画ファイルや動画ファイル）の通信を行うようにしたり、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うものでもよい。
　この通信部１２は、例えば画像処理装置１が編集処理により生成した画像（静止画や動画）を外部機器に送信する。また通信部１２が、編集処理に用いる画像データを外部から受信するようにしてもよい。

　記憶部１３は例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイルとして編集画像データを記憶する。記憶部５の実際の形態は多様に考えられる。例えば記憶部１３は、装置筐体に内蔵されるフラッシュメモリ等の固体メモリでもよいし、装置に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。またＨＤＤ（Hard Disk Drive）、光ディスク及びディスクドライブなどとして実現されることもある。
　この記憶部１３は画像処理装置１が生成した編集画像データを記憶する。また画像処理装置１が編集処理に用いる画像データを記憶部１３から読み出すようにしてもよい。
　なお、記憶部１３には、画像処理装置１としての処理をコンピュータ装置に実行させるためのプログラムが記憶されてもよい。

　画像ソース１４は、画像処理装置１が編集処理に用いる画像データの供給元という意味で示している。処理対象の静止画や動画としての画像データが画像ソース１４から画像処理装置１に供給される。
　例えば通信部１２や記憶部１３が画像ソース１４に相当する場合もある。

　続いて画像処理装置１の機能構成を説明する。
　画像処理装置１における画像取得部２は編集処理の対象とする画像データを画像ソース１４から取得する。例えばユーザが操作により選択した静止画データ等を処理対象とする。

　深度取得部３は、処理対象とした画像について画素の深度情報を検出する。本実施の形態では、画像処理装置１が編集処理の対象とする画像データには、画素毎に深度情報ＤＰが付加されている。この深度情報ＤＰは、画像の撮像時の被写体の奥行き位置の情報である。
　例えば画像データ（静止画データ）が図３のように、０行～ｎ行、０列～ｍ列の画素（ピクセル）配置で構成され、｛（ｍ＋１）×（ｎ＋１）｝個の画素ＰＸ０－０、ＰＸ０－１・・・ＰＸｎ－ｍで形成されているとする。
　各画素ＰＸ０－０、ＰＸ０－１・・・ＰＸｎ－ｍには、深度情報ＤＰ０－０、ＤＰ０－１・・・ＤＰｎ－ｍが付加されている。それぞれ、その画素の被写体の撮像時の奥行き情報である。深度取得部３は、処理対象とした画像から深度情報ＤＰ０－０、ＤＰ０－１・・・ＤＰｎ－ｍを検出する。
　なお、この図３に示す各画素ＰＸ０－０～ＰＸｎ－ｍは、それぞれがＲ画素、Ｇ画素、Ｂ画素のような色別の１つの画素と考えても良いし、Ｒ画素、Ｇ画素、Ｂ画素をまとめた１つのカラー画素と考えてもよい。つまり深度情報ＤＰ（ＤＰ０－０～ＤＰｎ－ｍ）は、個々の画素単位で付されても良いし、カラー画素ユニット単位で付加されていても良い。さらに、図示しないが、複数の画素（又は複数のカラー画素）をまとめた画素ブロック毎に深度情報ＤＰが付加されていても良い。
　撮像画像に被写体の深度情報が付加されるようにする技術は既知であるため詳細は省略する。
　なお、深度取得部３は、処理対象の画像データについて他の機器やセンサで検出された深度情報や、あらかじめ登録された深度情報などを受信取得してもよい。また深度取得部３はユーザが任意に設定した深度情報を検出するものでもよい。

　基準深度設定部４は、画像処理の際に画素の深度情報に対する比較基準となる基準深度情報を設定する処理を行う。
　後述の第１～第５の実施の形態の処理で説明するが、この基準深度設定部４は基準深度情報として、画像の切り出し等のための深度閾値ｔｈ（単に「閾値ｔｈ」とも表記する）、画像等の挿入のための挿入深度（挿入深度に相当する閾値ｔｈＩ）、基準としての奥行き位置を決める深度基準値ＤＰｒｅｆ等を設定する。

　画像編集処理部５は、基準深度設定部４が設定した基準深度情報と、画像取得部２が処理対象として取り込んだ画像の画素の深度情報ＤＰ０－０～ＤＰｎ－ｍを用いて画像編集処理を行う。画像編集処理の例として、トリミング、各種の画像合成、画像エフェクト付加等についてそれぞれ後述する。

　画像出力部６は、画像編集処理部５が作成した編集画像としての画像データを出力する。すなわち画像出力部６は、編集処理により作成された編集画像データを表示部１１に出力して編集結果を表示させる。
　また画像出力部６は、作成された編集画像データを通信部１２に出力して外部機器に送信させることもできる。
　また画像出力部６は、作成された編集画像データを記憶部１３に出力して記憶媒体に記憶させることもできる。

　例えば以上の図１のような機能構成を備えることで、実施の形態の画像処理装置１は、後述する各種の画像編集を行い、編集画像を生成することができる。
　このような画像処理装置１は、例えば図４のようなハードウエア構成の情報処理装置１００で実現される。

　図４に示すように情報処理装置１００は、ＣＰＵ（Central Processing Unit）５１、ＲＯＭ（Read Only Memory）５２、ＲＡＭ（Random Access Memory）５３を有して構成される。
　ＣＰＵ５１は、ＲＯＭ５２に記憶されているプログラム、または記憶部５９からＲＡＭ５３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ５３にはまた、ＣＰＵ５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ５１、ＲＯＭ５２、およびＲＡＭ５３は、バス５４を介して相互に接続されている。このバス５４にはまた、入出力インターフェース５５も接続されている。

　入出力インターフェース５５には、液晶パネル或いは有機ＥＬパネルなどよりなるディスプレイ５６、キーボード、マウスなどよりなる入力部５７、スピーカ５８、ＨＤＤなどより構成される記憶部５９、通信部６０などが接続可能である。

　図１の表示部１１が情報処理装置１００と一体機器の場合、ディスプレイ５６は表示部１１を意味する。もちろん表示部１１は情報処理装置１００とは別体機器とされてもよく、その場合、ディスプレイ５６は入出力インターフェース５５に接続される別体機器とされればよい。

　図４の入力部５７は、情報処理装置１００を使用するユーザが用いる入力デバイスを意味するが、例えば図１の操作部１０としての機能も含む。
　通信部６０は、インターネットを含むネットワークを介しての通信処理や、周辺各部の機器との間の通信を行うもので、例えば図１の通信部１２としての機能も含む。

　入出力インターフェース５５にはまた、必要に応じてドライブ６１が接続され、メモリカード６２が装着され、メモリカード６２から読み出されたコンピュータプログラムが、必要に応じて記憶部５９にインストールされたり、ＣＰＵ５１で処理したデータが記憶される。もちろんドライブ６１は、磁気ディスク、光ディスク、光磁気ディスク等のリムーバブル記憶媒体に対する記録再生ドライブとされてもよい。
　ドライブ６１及びメモリカード６２は図１の記憶部１３としての機能も持つ。

　このようなハードウエア構成において実施の形態の画像処理装置１としての処理、即ち図１の画像取得部２、深度取得部３、基準深度設定部４、画像編集処理部５、画像出力部６としての処理を行うことができる。即ちこれらの処理はＣＰＵ５１で起動されるソフトウエアにより実現される。そのソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、リムーバブル記憶媒体から読み出されたりして図４の情報処理装置１００にインストールされる。或いはそのプログラムが記憶部５９としてのＨＤＤ等に予め記憶されていてもよい。
　そしてＣＰＵ５１において当該プログラムが起動されることで、詳しくは後述するように各種の画像編集処理を行うことができるようにされる。

　なお、実施の形態の画像処理装置１は、図４のようなハードウエア構成の情報処理装置（コンピュータ装置）１００が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、ＬＡＮ等によりシステム化されていてもよいし、インターネット等を利用したＶＰＮ（Virtual Private Network）等により遠隔地に配置されたものでもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なコンピュータ装置が含まれてもよい。
　またこの図４の情報処理装置１００は、据え置き型、ノート型等のパーソナルコンピュータ、タブレット端末やスマートフォン等の携帯端末として実現できる。さらには情報処理装置１００としての機能を有するテレビジョン装置、モニタ装置、画像編集機器、撮像装置等の電子機器でも、本実施の形態の画像処理装置１を搭載することができる。

＜２．第１の実施の形態＞

　第１の実施の形態として、画像処理装置１が深度情報を活用して任意の深度の被写体をトリミングする編集処理例を説明する。
　ここでは深度情報を用いた被写体の抽出として、
・仮想垂直面による被写体の切り出し
・仮想水平面／仮想傾斜面による被写体の切り出し
・仮想面による抽出と画像認識を組み合わせた被写体の切り出し
　を説明する。

　まず仮想垂直面による被写体の切り出しの例を説明する。
　図５Ａは、処理対象とする元の画像データの画像であるとする。これは正面を向いた３人の人物が被写体Ｈ１，Ｈ２，Ｈ３として撮像された静止画である。
　この３人の被写体Ｈ１，Ｈ２，Ｈ３の各人物は、撮像時の奥行き方向の立ち位置が異なっている。図６Ａには、撮像時の被写体Ｈ１，Ｈ２，Ｈ３の位置状況を斜め上方から見た様子を示している。被写体Ｈ１が撮像したカメラに向かって最も手前側に立っており、被写体Ｈ２は少し奥に居る。そして一番奥側に立っているのが被写体Ｈ３となっている。

　図５Ａの画像ではこの奥行き方向の位置関係はわかりにくいが、その画像データには、各画素毎に深度情報ＤＰが付加されていることで、画像処理装置１は各被写体Ｈ１，Ｈ２，Ｈ３の奥行き方向の位置（深度）を認識できる。
　ここで、基準深度情報としてトリミングのための閾値ｔｈを設定する。この閾値ｔｈにより図６Ｂの仮想垂直面ＶＰ１を想定し、この仮想垂直面ＶＰ１の前後（手前側／奥側）によって被写体切り出しを行う。
　図６Ｂでは、閾値ｔｈとして設定された深度の値が、被写体Ｈ１の深度の値より大きく被写体Ｈ２の深度の値より小さい場合の仮想垂直面ＶＰ１を示している。
　この場合、被写体Ｈ１，Ｈ２，Ｈ３のうち、仮想垂直面ＶＰ１より手前側となるのは被写体Ｈ１のみである。従って、仮想垂直面ＶＰ１より手前側の被写体をトリミングすると、図５Ｂのように被写体Ｈ１のみが現れた編集画像を生成できる。
　画像処理装置１は具体的には、閾値ｔｈを設定して、各画素の深度情報ＤＰを閾値ｔｈと比較し、その比較結果により表示する画素とするか否かを決定することで、閾値ｔｈで設定した深度の仮想垂直面ＶＰ１の手前側（又は奥側）の被写体をトリミングできる。

　図７に画像処理装置１の処理例を示す。なお図７の処理は図１に示した画像処理装置１の各機能（主には基準深度設定部４、画像編集処理部５としての機能）を持つ図４のＣＰＵ５１によって実行される処理である。
　なお画像処理装置１の各機能による処理を示すものであることは、後述する図８、図１２、図１５、図１７、図１９、図２３、図２５、図２８の各フローチャートについても同様である。
　またこれらの各図のフローチャートでは既説明のフローチャートと同一の処理については同じステップ番号を付し、重複説明は避ける。

　画像処理装置１は図７のステップＳ１０１で処理対象の画像を特定する。例えば画像取得部２が取得した画像データとして、図５Ａのような画像データを処理対象とする。

　ステップＳ１０２で画像処理装置１（基準深度設定部４）は、基準深度情報として閾値ｔｈを設定する。つまり或る深度の値を閾値ｔｈとする。この場合、画像処理装置１は、操作部１０から入力された操作情報に応じて閾値ｔｈの値を設定することが想定される。
　例えば図２Ｂのスライダ１１０が閾値ｔｈを設定するための操作子であるとする。ユーザはタッチ操作によりスライダ１１０を任意の位置に移動させる。スライダ１１０の位置が深度を表すようにすることで、ユーザが任意の深度を入力できることになる。
　なおもちろん閾値ｔｈを指定するための操作態様は多様に考えられる。ユーザが画面１０２上で被写体をタッチすることで、その被写体より手前の深度が閾値ｔｈになるようにしたり、深度としての数値をユーザが入力できるようにしたりすることも想定される。

　閾値ｔｈを設定したら、画像処理装置１はステップＳ１０３以降で、編集処理対象の画像データの各画素ＰＸを順次処理対象に選択し、閾値ｔｈと比較していく。
　すなわち画像処理装置１（画像編集処理部５）はステップＳ１０３で、１つの画素ＰＸを特定し、ステップＳ１０４でその画素ＰＸの深度情報ＤＰを特定する。
　なお画像取得部２が取得した処理対象の画像データの各画素ＰＸ０－０～ＰＸｎ－ｍの深度情報ＤＰ０-０～ＤＰｎ－ｍは、深度取得部３が例えば画像データから検出している。画像編集処理部５は、該当の画素ＰＸの深度情報ＤＰを深度取得部３から取得する。
　また、深度情報ＤＰがカラー画素や画素ブロック単位で深度情報ＤＰが付加されている場合、ステップＳ１０３では１つのカラー画素、画素ブロックを特定すればよい。

　ステップＳ１０５で画像処理装置１（画像編集処理部５）は、対象としている画素ＰＸの深度情報ＤＰと閾値ｔｈを比較する。
　ＤＰ＜ｔｈであれば、当該画素ＰＸは、閾値ｔｈの値である深度よりも手前側の被写体の画素である。そこでこの場合、画像処理装置１はステップＳ１０７に進んで、当該画素ＰＸを編集後の画像データでもそのまま表示する画素に設定する。
　ＤＰ＜ｔｈでなければ、当該画素ＰＸは、閾値ｔｈの値である深度以降の奥側の被写体の画素である。そこでこの場合、画像処理装置１はステップＳ１０６に進んで、編集画像データ上で、当該画素ＰＸの画像データ値を他の画素データ値に置換する。例えばマスクデータとして用いる特定の画素値に置換する。

　ステップＳ１０８で画像処理装置１は、処理対象の画像データの全画素ＰＸ０－０～ＰＸｎ－ｍについて以上の処理を終えたか否かを確認する。終えていなければステップＳ１０３に戻り、次に処理対象とする画素ＰＸを特定して、同様にステップＳ１０４～Ｓ１０７の処理を行う。
　ステップＳ１０８で全画素についてステップＳ１０３～Ｓ１０７の処理を終了したと判断された時点で、仮想垂直面ＶＰ１より手前側の被写体をトリミングした、図５Ｂのような編集画像データが生成されたことになる。すなわち深度情報ＤＰを用いることで、撮像時の被写体位置に応じたトリミング画像が実現される。

　このように生成された編集画像データは、画像出力部６が出力することで、表示部１１に表示されたり、通信部１２により外部機器に転送されたり、記憶部１３で記憶媒体に記憶される。

　図５Ｂの例は、被写体Ｈ１の全身が切り出された画像としているが、例えば元の画像データの被写体Ｈ１の人物の姿勢や閾値ｔｈの設定次第で、多様な表現が可能である。
　例えば被写体Ｈ１の前面側のみが抽出された画像や、元の画像で被写体Ｈ１が前屈みの姿勢であったときに、上半身のみが壁から抜け出ているような画像などを生成することもできる。

　なお、ステップＳ１０５で、ＤＰ＞ｔｈであればステップＳ１０７に進み、ＤＰ＞ｔｈでなければステップＳ１０６に進むようにすれば、仮想垂直面ＶＰ１より奥側の被写体が抽出されるトリミング画像となる。

　またステップＳ１０６でマスクデータとして用いる画素値は各種考えられる。マスクデータは、トリミングした被写体の背景の画素の輝度／色となるが、所定の輝度／色を表現する固定値とすることが考えられる。もちろん、その輝度や色（マスクデータ値）をユーザが操作により選択できるようにしてもよい。
　また固定値でなくて、画素位置に応じて徐々に変化させ、グラデーション的な背景となるようにしたり、ランダムな値を用いたりすることも考えられる。
　つまりマスクデータ値によっても多様な画像表現が可能となる。

　次にトリミングとして仮想水平面／仮想傾斜面による被写体の切り出しを行う例を説明する。
　上記の仮想垂直面は、閾値ｔｈの値により或る深度に仮想垂直面ＶＰ１が存在するかのようなトリミングを行ったが、そのトリミング基準となる面は、垂直面に限らず空間に対し自由に定義することができる。
　例えば図６Ｃは被写体Ｈ１，Ｈ２，Ｈ３が居る空間に仮想水平面ＶＰ２を想定した様子を示している。なお図では、仮想水平面ＶＰ２の前方の垂直面ＶＰ２Ｆは深度０の面、後方の垂直面ＶＰ２Ｒは深度が最大値の面として示している。
　また図６Ｄは被写体Ｈ１，Ｈ２，Ｈ３が居る空間に仮想傾斜面ＶＰ３を想定した様子を示している。

　図５Ａの画像について図６Ｃのように仮想水平面ＶＰ２を基準にしてトリミングを行うと、例えば図５Ｃのような仮想水平面ＶＰ２より上方の画像がトリミングされた編集画像データを生成することができる。もちろん処理によっては仮想水平面ＶＰ２より下方の画像がトリミングされた編集画像データを生成することもできる。
　また図５Ａの画像について図６Ｄのように仮想傾斜面ＶＰ３を基準にしてトリミングを行うと、例えば図５Ｄのような仮想傾斜面ＶＰ３より上方の画像がトリミングされた編集画像データを生成することができる。もちろん処理によっては仮想傾斜面ＶＰ３より下方の画像がトリミングされた編集画像データを生成することもできる。
　このような編集画像としては、切り出した被写体とトリミング部分以外の背景色や背景画像の関係などにより、被写体が水面に浮かぶような画像、被写体が壁面から飛び出すような画像、被写体が地面に埋まった画像、被写体が水中に沈んだ画像などの画像表現を行うことができる。

　これらの仮想水平面ＶＰ２、仮想傾斜面ＶＰ３を基準としたトリミングは閾値ｔｈの設定により実現できる。
　先に図７で閾値ｔｈとして或る１つの値を設定する例を述べたが、全画素ＰＸ０－０～ＰＸｎ－ｍと比較する処理を行うと、それは仮想垂直面ＶＰ１を想定したトリミングとなる。それに対し、画素毎や領域毎に閾値ｔｈを設定することで、仮想水平面ＶＰ２や仮想傾斜面ＶＰ３を想定したトリミングが可能となる。

　図８、図９で具体的な処理例を説明する。
　画像処理装置１は図８のステップＳ１０１で処理対象の画像を特定したら、続いてステップＳ１０２Ａで、基準深度情報となる閾値ｔｈを設定する。この場合、画像処理装置１は、閾値ｔｈとしては画素ＰＸ０－０～ＰＸｎ－ｍにそれぞれ対応するように、複数の閾値ｔｈ０－０～ｔｈ（ｎ－ｍ）を設定する。
　図９Ａには、画素ＰＸ０－０～ＰＸｎ－ｍにそれぞれ対応した閾値ｔｈ０－０～ｔｈ（ｎ－ｍ）を設定する例を示している。
　後述するが、このような画素ＰＸ０－０～ＰＸｎ－ｍにそれぞれ対応した閾値ｔｈ０－０～ｔｈ（ｎ－ｍ）の設定次第で、各種の仮想面を想定できる。

　閾値ｔｈ（この場合、閾値ｔｈ０－０～ｔｈ（ｎ－ｍ））を設定したら、画像処理装置１はステップＳ１０３で、１つの画素ＰＸを特定し、ステップＳ１１０Ａでは、その画素ＰＸに対応する閾値ｔｈを特定する。例えば最初に画素ＰＸ０－０を処理対象に特定した際には、ステップＳ１０２Ａで設定した閾値ｔｈ０－０～ｔｈ（ｎ－ｍ）のうちの閾値ｔｈ０－０を特定することになる。
　ステップＳ１０４で画像処理装置１は特定した画素ＰＸの深度情報ＤＰを特定する。そしてステップＳ１０５Ａで画像処理装置１は、その画素ＰＸの深度情報ＤＰと、対応する閾値ｔｈ（例えば画素ＰＸ０－０の深度情報ＤＰと閾値ｔｈ０－０）を比較する。
　ＤＰ＜ｔｈであれば、当該画素ＰＸは、閾値ｔｈの値である深度よりも手前側の被写体の画素である。そこでこの場合、画像処理装置１はステップＳ１０７に進んで、当該画素ＰＸを編集後の画像データでもそのまま表示する画素に設定する。
　ＤＰ＜ｔｈでなければ、当該画素ＰＸは、閾値ｔｈの値である深度以降の奥側の被写体の画素である。そこでこの場合、画像処理装置１はステップＳ１０６に進んで、編集画像データ上で、当該画素ＰＸの画素データ値を他の画素データ値に置換する。例えばマスクデータとして用いる特定の画素値に置換する。

　ステップＳ１０８で画像処理装置１は、処理対象の画像データの全画素ＰＸ０－０～ＰＸｎ－ｍについて以上の処理を終えたか否かを確認し、終えていなければステップＳ１０３に戻り、次に処理対象とする画素ＰＸを特定して、同様にステップＳ１１０Ａ～Ｓ１０７の処理を行う。
　ステップＳ１０８で全画素についてステップＳ１０３～Ｓ１０７の処理を終了したと判断された時点で、仮想水平面ＶＰ２より上側や仮想傾斜面ＶＰ３より手前側の被写体をトリミングした、図５Ｃ、図５Ｄのような編集画像データが生成されたことになる。
　このように生成された編集画像データは、画像出力部６が出力することで、表示部１１に表示されたり、通信部１２により外部機器に転送されたり、記憶部１３で記憶媒体に記憶される。

　この処理例では、閾値ｔｈ０－０～ｔｈ（ｎ－ｍ）の設定次第で、各種の仮想面を想定したトリミングを行うことができる。
　例えば仮想水平面ＶＰ２を設定する場合は、図９Ｂのように、画像の上半分である０行～ｋ行までの画素ＰＸ０－０～ＰＸｋ－ｍに対応する閾値ｔｈ０－０～ｔｈｋ－ｍを、全て同じ値ｔｈＵとする。また画像の例えば下半分であるｋ＋１行～ｎ行までの画素ＰＸｋ＋１－０～ＰＸｎ－ｍに対応する閾値ｔｈｋ＋１－０～ｔｈｎ－ｍを、全て同じ値ｔｈＬとする。
　この場合に、ｔｈＵ＝深度最大値、ｔｈＬ＝０とすると、図６Ｃの仮想水平面ＶＰ２が設定できることになる。
　つまり画像の上部は、閾値ｔｈより手前側の画素であるため編集画像データ上の画素として残され、画像の下部は閾値ｔｈより奥側の画素であるためマスクされる。この結果、仮想水平面ＶＰ２で切り取られたような編集画像が生成される。

　図９Ｂにおけるｋ行の「ｋ」の値の設定により、仮想水平面ＶＰ２を配置する高さ位置も任意に設定できる。
　例えば仮想水平面ＶＰ２の設定の際に、画像処理装置１は、操作部１０から入力された操作情報に応じてｋ値を設定することが想定される。
　例えば図２Ｂのスライダ１１０がｋ値を設定するための操作子であるとする。ユーザがスライダ１１０を任意の位置に移動させることで、画像内のどの高さ位置に仮想水平面ＶＰ２を配置するかを指定できるようにする。
　もちろんｋ値を指定するための操作態様は多様に考えられる。ユーザが画面１０２上で、或る位置をタッチすることで、その高さ位置が仮想水平面ＶＰ２となるようにしたり、高さ位置としての数値をユーザが入力できるようにしてもよい。

　また、仮想傾斜面ＶＰ３を設定する場合は、図１０Ａのように同じ行内の画素では閾値ｔｈが同じ値となるようにする。
　例えば第１行目の画素ＰＸ０－０～ＰＸ０－ｍに対応する閾値ｔｈ０－０～ｔｈ０－ｍを同じ値ｔｈＲ０とする。第２行目の画素ＰＸ１－０～ＰＸ１－ｍに対応する閾値ｔｈ１－０～ｔｈ１－ｍを同じ値ｔｈＲ１とする。最終行の画素ＰＸｎ－０～ＰＸｎ－ｍに対応する閾値ｔｈｎ－０～ｔｈｎ－ｍを同じ値ｔｈＲｎとする。
　この場合に、値ｔｈＲ０を最も深度の深い値とし、値ｔｈＲ１から値ｔｈＲｎまで徐々に深度が浅い値となるように設定していくことで、図６Ｄの仮想傾斜面ＶＰ３が設定できることになる。この場合、上記図８の処理で図５Ｄの編集画像データが生成できる。

　なお、逆にｔｈＲ０を最も深度の浅い値とし、値ｔｈＲ１から値ｔｈＲｎまで徐々に深度が深くなるように設定していくことで、図６Ｄとは傾斜方向が逆の仮想傾斜面を設定できることになる。その場合は図８の処理で、手前側の被写体ほどマスク部分が多くなる編集画像が生成される。

　これらの仮想傾斜面ＶＰ３の設定の際には、ユーザが傾斜角度を設定できるようにするとよい。
　例えば仮想傾斜面ＶＰ３の設定の際に、画像処理装置１は、操作部１０から入力された操作情報に応じて傾斜角度が設定されるように、値ｔｈＲ０から値ｔｈＲｎの各行毎の深度値の差分を可変設定することで、傾斜角度を変更できる。また各行の深度値の差分を正負の値で入力可能とすることで、傾斜方向もユーザが設定できる。
　これらの場合も画像処理装置１は、ユーザのスライダ１１０の操作やタッチ操作、傾斜角度数値の入力操作などに対応するようにすればよい。

　さらに仮想傾斜面としては、画像空間の左右に傾斜する仮想面を考えることもできる。例えば図１０Ｂのように同じ列内の画素では閾値ｔｈが同じ値となるようにする。
　例えば第１列目の画素ＰＸ０－０～ＰＸｎ－０対応する閾値ｔｈ０－０～ｔｈｎ－０を同じ値ｔｈＣ０とする。第２列目の画素ＰＸ０－１～ＰＸｎ－１に対応する閾値ｔｈ０－１～ｔｈｎ－１を同じ値ｔｈＣ１とする。最終列の画素ＰＸ０－ｍ～ＰＸｎ－ｍに対応する閾値ｔｈ０－ｍ～ｔｈｎ－ｍを同じ値ｔｈＣｍとする。

　この場合に、値ｔｈＣ０を最も深度の深い値とし、値ｔｈＣ１から値ｔｈＣｎまで徐々に深度が浅い値となるように設定していくことで、画面の左奥から右手前に存在するような仮想傾斜面が設定できることになる。その場合は図８の処理で、右側の被写体ほどマスク部分が多くなる編集画像が生成される。
　また値ｔｈＣ０を最も深度の浅い値とし、値ｔｈＣ１から値ｔｈＣｎまで徐々に深度が深い値となるように設定していくことで、画面の左手前から右奥に存在するような仮想傾斜面が設定できる。その場合は図８の処理で、左側の被写体ほどマスク部分が多くなる編集画像が生成される。
　これらの仮想傾斜面ＶＰ３の設定の際にも、画像処理装置１がユーザのスライダ１１０の操作やタッチ操作、傾斜角度数値の入力操作などに対応してｔｈＣ０～ｔｈＣｍの値を設定することで、ユーザによって左右方向の傾斜角度を設定できるようにするとよい。

　なお図８の処理で、ステップＳ１０５Ａで、ＤＰ＞ｔｈであればステップＳ１０７に進み、ＤＰ＞ｔｈでなければステップＳ１０６に進むようにすれば、仮想水平面ＶＰ２、仮想傾斜面ＶＰ３に対する切り出し側の関係を逆にしたトリミング画像が生成できる。
　またステップＳ１０６でマスクデータとして用いる画素値は各種考えられることは、仮想垂直面ＶＰ１の場合と同様である。

　次に、仮想面による抽出と画像認識を組み合わせた被写体の切り出しについて説明する。
　図１１Ａは処理対象とする元の画像であるとする。これは正面を向いた３人の人物が被写体Ｈ１，Ｈ２，Ｈ３として撮像され、また各人物の前後に周囲の風景が写っている静止画である。
　ここで上述の図７の処理で、仮想垂直面ＶＰ１を想定して、最も手前側の人物である被写体Ｈ１のトリミングを行うことを考える。ところが画像内には、被写体Ｈ１よりさらに手前の被写体Ｈ４が存在しているとする。するとトリミング画像には、この被写体Ｈ４も含まれてしまう。この場合に、例えば画像解析により人物の画像領域を認識する処理などを行い、その認識結果を用いることで、例えば図１１Ｂのように人物である被写体Ｈ３のみを切り出したようなトリミング画像を生成できる。

　図１２に画像処理装置１の処理例を示す。
　画像処理装置１は図１２のステップＳ１０１で処理対象の画像を特定したら、続いてステップＳ１２０で被写体指定情報を取得する。
　例えば図１１Ａのような画像が処理対象の画像とされた場合、その画像を図２Ｂの画面１０２に表示させ、ユーザが画面１０２上で触れた位置の被写体を被写体指定情報として取得する。
　仮にユーザが被写体Ｈ１の領域に触れたとする。画像処理装置１（画像編集処理部５）は、この操作情報（タッチ位置の情報）を取得する。

　画像編集処理部５は、処理対象の画像について画像解析を行うことができる。例えば人物認識、顔認識など、特定の被写体認識を行い、その被写体の画素領域を判定することができる。画像編集処理部５が解析により特定の被写体（例えば人物）を判定したら、その判定された被写体を提示する。例えば画面１０２で、判定した被写体を提示する表示（人物の部分を囲う枠表示など）を行う。ユーザはタッチ操作により、認識された被写体のいずれかを指定できるようにする。そして画像編集処理部５は、例えばタッチ位置の情報を取得したら、その位置が、人物認識等で判定された人物の領域範囲内であれば、当該人物が指定されたと認識する。

　或いは画像編集処理部５は、処理対象の画像を表示させている際にタッチ位置の情報を取得したら、その位置の画素の被写体の画像内での輪郭を判定して、その輪郭内の領域を指定された被写体の領域と認識するようにしてもよい。
　いずれにしても、ユーザ操作等によって、特定の被写体が指定された状態となるようにする。又は、ユーザの操作にかかわらず、人物等の特定の被写体が自動的に指定されるようにしてもよい。

　画像処理装置１は、ステップＳ１０２で仮想垂直面ＶＰ１を想定する閾値ｔｈを例えばユーザの操作に応じて設定する。
　そしてステップＳ１０３、Ｓ１０４、Ｓ１０５の処理を図７と同様に行う。
　この図１２では、ステップＳ１０５で画素ＰＸの深度情報ＤＰと閾値ｔｈを比較し、ＤＰ＜ｔｈであった場合、ステップＳ１２２で、その画素ＰＸがステップＳ１２０で指定された被写体の画素であるか否かを確認する。そして指定された被写体の画素であればステップＳ１０７に進んで、当該画素ＰＸを編集後の画像データでもそのまま表示する画素に設定する。一方、指定された被写体の画素でなければステップＳ１２１に進む。
　またステップＳ１０５でＤＰ＜ｔｈではないと判定された場合もステップＳ１２１に進む。
　ステップＳ１２１で画像処理装置１は、画素ＰＸの画素データについて置換やエフェクト処理を行う。例えば図７と同様にマスクデータに置換する。

　このような処理をステップＳ１０８で全画素について終了と判定されるまで繰り返す。これにより、より正確なトリミングが可能となる。
　例えば図１１Ａの画像から仮想垂直面ＶＰ１で被写体Ｈ１のみをトリミングしたい場合を考える。単に仮想垂直面ＶＰ１より手前側の画素を抽出した編集画像では、被写体Ｈ１、Ｈ４が残った画像となるところ、ステップＳ１２２の処理で、被写体Ｈ４の画素についてはステップＳ１２１に進むことになり、マスクデータに置換される。これにより図１１Ｂのように被写体Ｈ１のみを切り出したトリミング画像が生成できる。つまりトリミングする対象のみを正確に切り出すような画像編集が可能となる。

　ステップＳ１２１では、マスクデータへの置換だけでなくエフェクト処理を行うようにしてもよい。
　例えばモノクロ化する処理を行う。すると、図１１Ｄのように、切り出し対象である最も手前側の人物の被写体Ｈ１のみがそのままカラー画像で残され、他の被写体はモノクロ画像となったような編集画像が生成できる（図１１Ｄのグレー部分はモノクロであるとしている）。
　つまり形状認識、物体認識、色の認識などと組み合わせることで、特定の被写体のみカラー画像で残し、他の被写体は、トリミング対象となる位置にあったとしても、その被写体の色が混ざらないような処理ができる。これにより特定の被写体と他の被写体を正確に区別したトリミングやエフェクト処理が可能である。
　もちろんステップＳ１２１ではモノクロ化に限らず、色味の変更、輝度の変更、ぼかし処理、モザイク化処理、多重露光化処理なども考えられる。つまり、深度情報による切り出しで特定の被写体のみを残して、他の被写体は表現を変化させるような編集が可能である。

　また、ステップＳ１２１では、全く別の画像の、対応する画素位置の画素値に置き換えるような処理を行ってもよい。
　すると、切り出した被写体Ｈ１が、他の背景内に写されているような編集画像を得ることができる。例えば図１１Ａの画像から被写体Ｈ１を切り出して、図１１Ｃのように異なる背景内に置いたような編集画像が生成できる。

　なお、図１２のような被写体の指定を併用したトリミング処理は、仮想水平面ＶＰ２や仮想傾斜面ＶＰ３を用いる場合も当然適用できる。さらにステップＳ１２１の画像エフェクト処理や他の画像の画素値への置換も、仮想水平面ＶＰ２や仮想傾斜面ＶＰ３を用いる場合に適用することで、より多様な画像表現が可能となる。

＜３．第２の実施の形態＞

　第２の実施の形態として、画像処理装置１が深度情報を活用してグラフィカルな効果を空間に自然になじませる編集処理例を説明する。
　ここでは、奥行きのある画像に、奥行きのない文字やグラフィックを合成する場合を想定する。即ち、撮像した画像に文字やグラフィックを追加する際に、深度情報を用いて被写体との重なりなどを調整することでより自然な表現を実現することができるようにする。

　図１３Ａに処理対象（第１画像）とする撮像画像の例を示す。これは図５Ａと同様の画像とする。
　図１３Ｂは第２画像として第１画像に挿入する文字／グラフィックの例として、例えば或る書体での「ＡＢＣＤＥ」を例示している。
　この図１３Ａの画像に図１３Ｂの文字／グラフィックを合成するのであるが、この場合、基準深度情報として、挿入深度を示す閾値ｔｈＩを設定する。挿入深度としての閾値ｔｈＩは、図１３Ａの画像に文字／グラフィックを挿入する深度の値となる。
　例えば閾値ｔｈＩを、被写体Ｈ１よりは奥側で被写体Ｈ２よりは手前側の深度の値とする。図１３Ｃに示すようにこの挿入深度において、挿入領域ＩＡを決める。
　そして「ＡＢＣＤＥ」の文字／グラフィックが、挿入領域ＩＡに挿入されるように合成する。
　結果として図１３Ｄのような合成画像が生成される。挿入領域ＩＡは、挿入深度として閾値ｔｈＩの位置であり、被写体Ｈ１よりも奥側であるため、「ＡＢＣＤＥ」の一部は被写体Ｈ１の背後に隠れるような状態となる。

　また図１４Ａは、図１３Ａと同様に処理対象とする撮像画像の例を示している。
　図１４Ｂは挿入する文字／グラフィックの例として、例えば５つのハートマークを例示している。例えばＣＧ（computer graphics）で作成したグラフィックの例である。
　この図１４Ａの画像に図１４Ｂの文字／グラフィックを合成するのであるが、この場合、基準深度情報として、５つの各ハートマークのそれぞれの挿入深度を示す閾値ｔｈＩ１～ｔｈＩ５を設定する。また図１４Ｃのように、各ハートマークのそれぞれの挿入領域ＩＡ１～ＩＡ５を設定する。挿入領域ＩＡ１～ＩＡ５はそれぞれ閾値ｔｈＩ１～ｔｈＩ５で示される深度の領域とする。
　この場合、閾値ｔｈＩ１は、被写体Ｈ１より手前の深度、閾値ｔｈＩ２は、被写体Ｈ１より奥側で被写体Ｈ２より手前の深度、閾値ｔｈＩ３は被写体Ｈ２より奥側で被写体Ｈ３より手前の深度、閾値ｔｈＩ４，ｔｈＩ５は被写体Ｈ３より奥側の深度としている。
　そして５つのハートマークの文字／グラフィックが、それぞれ挿入領域ＩＡ１～ＩＡ５に挿入されるように合成する。
　結果として図１４Ｄのような合成画像を生成する。各ハートマークは、閾値ｔｈＩ１～ｔｈＩ５で設定された深度の位置に存在するように、被写体Ｈ１、Ｈ２、Ｈ３との前後関係に応じて見えたり見えなかったりする画像となっている。

　図１５にこのような編集処理を実現する処理例を示す。
　画像処理装置１は図１５のステップＳ１３１で処理対象の第１画像を特定する。例えば画像取得部２が取得した画像データとして、図１３Ａや図１４Ａのような画像データを処理対象とする。
　ステップＳ１３２で画像処理装置１は、第１画像に挿入する第２画像（挿入画像）を特定する。例えば図１３Ｂ、図１４Ｂのような文字／グラフィックである。
　以上の第１，第２画像の特定はユーザの画像指定操作に応じて行う。

　ステップＳ１３３で画像処理装置１は、第１画像上で第２画像（挿入画像）を挿入する挿入領域ＩＡを設定し、また基準深度情報として閾値ｔｈＩを設定する。
　例えば図１３Ｃのように１つの挿入領域ＩＡとその挿入深度としての閾値ｔｈＩを設定する。或いは図１４Ｃのように複数の挿入領域ＩＡ１～ＩＡ５とそれぞれの挿入深度としての閾値ｔｈＩ１～ｔｈＩ５を設定する。
　この設定は、例えばユーザが第１画像上で指定した位置に応じて決定すればよい。
　例えばユーザが第１画像上で指定した位置の被写体の直前に、文字／グラフィックが挿入されるように設定する。
　例えば図１３Ａの第１画像に対してユーザが被写体Ｈ２上の位置を指定したら、その被写体Ｈ２の手前側に図１３Ｂの第２画像の挿入領域ＩＡが配置されるようにする。
　図１４Ｂの場合、第１画像に対してユーザが被写体Ｈ１上の位置を指定したら、その被写体Ｈ１手前側の深度（閾値ｔｈＩ１）で先頭の１つのハートマークの挿入領域ＩＡ１が設定されるようにし、他の４つの挿入領域ＩＡ２～ＩＡ５については、そのサイズに応じた深度（例えば徐々に奥側となるような深度）となる閾値ｔｈＩ２～ｔｈＩ５を設定する。
　なお、これらの挿入領域ＩＡ及び閾値ｔｈＩは、ユーザの指定によらずに画像処理装置１が自動的に設定するようにしてもよい。

　画像処理装置１はステップＳ１３４以降で、第１画像の画像データ上で、挿入領域ＩＡに含まれる各画素ＰＸを順次閾値ｔｈＩと比較していく。
　すなわち画像処理装置１はステップＳ１３４で、第１画像において或る挿入領域ＩＡとされた領域内の１つの画素ＰＸを特定し、ステップＳ１３５でその画素ＰＸの深度情報ＤＰを特定する。
　なお、ここでは、設定された挿入領域ＩＡが１つであれば、当然、その挿入領域ＩＡ内の画素の１つを処理対象として特定する。
　設定された挿入領域ＩＡが複数（例えば挿入領域ＩＡ１～ＩＡ５）であれば、例えば最初の挿入領域ＩＡ１内の画素の１つを処理対象として特定する。

　ステップＳ１３６で画像処理装置１は、対象としている画素ＰＸの深度情報ＤＰと、その画素ＰＸが含まれる挿入領域ＩＡについて設定した閾値ｔｈＩを比較する。
　ＤＰ＜ｔｈＩであれば、第１画像における当該画素ＰＸは、閾値ｔｈＩの値である深度よりも手前側の被写体の画素である。そこで画像処理装置１はステップＳ１３８に進んで、当該画素ＰＸを編集後の画像データ上でそのまま表示する画素に設定する。
　ＤＰ＜ｔｈＩでなければ、第１画像における当該画素ＰＸは、閾値ｔｈＩの値である深度以降の奥側の被写体の画素である。そこでこの場合、画像処理装置１はステップＳ１３７に進んで、編集画像データ上で、当該画像ＰＸの画素データ値を第２画像（挿入画像）における、その画素位置に対応する画素データ値に置換する。つまり第２画像の画素データを表示する画素とする。

　ステップＳ１３９で画像処理装置１は、挿入位置ＩＡとされた領域内の全ての第１画像の画素について、以上の処理を終えたか否かを確認する。終えていなければステップＳ１３４に戻り、次に現在処理している挿入領域ＩＡ内で処理対象とする画素ＰＸを特定して、同様にステップＳ１３５～Ｓ１３８の処理を行う。
　ステップＳ１３９で、１つの挿入領域ＩＡの全画素についてステップＳ１３４～Ｓ１３８の処理を終了したと判断したら、画像処理装置１はステップＳ１４０で、他に設定された挿入領域ＩＡがあるか否かを確認する。
　図１３Ｃのように挿入領域ＩＡが１つ設定されている場合は、以上で処理を終える。
　図１４Ｃのように複数の挿入領域ＩＡ１～ＩＡ５が設定されている場合であって、未処理の挿入領域ＩＡがある場合は、ステップＳ１４１で次の挿入領域ＩＡ（例えば挿入領域ＩＡ２）を選択し、その挿入領域ＩＡについてステップＳ１３４～Ｓ１３９の処理を行う。ステップＳ１４０で全ての挿入領域ＩＡについて処理が終了したことを確認した時点で、図１５の処理を終える。

　図１５の処理を終えた時点で、例えば図１３Ｄ、図１４Ｄのような編集画像データが生成されていることになる。
　このように生成された編集画像データは、画像出力部６が出力することで、表示部１１に表示されたり、通信部１２により外部機器に転送されたり、記憶部１３で記憶媒体に記憶される。

　この図１５の処理例では、第１画像に対して、所定の深度に第２画像としての文字／グラフィックが挿入されたものとなり、実際にその文字／グラフィックが被写体空間に存在したかのような合成画像が実現されることになる。
　つまり深度情報を活用し重なりを調整することで、グラフィカルな効果を被写体空間に自然になじませるような画像表現ができる。

　ところで、単に前後関係だけではなく、画像エフェクトを深度に応じて付加することで、より自然になじんだ画像表現ができる。
　図１６Ａの画像を、３人の被写体Ｈ１、Ｈ２、Ｈ３が写された第１画像とする。
　ここに、図１６Ｂのような深度関係でそれぞれ「ＡＢＣＤ」という文字の第２画像Ｇ１，Ｇ２を挿入することを考える。
　第２画像Ｇ１の深度は被写体Ｈ１、Ｈ２の間、もう１つの第２画像Ｇ２の深度は被写体Ｈ２、Ｈ３の間とする。

　この奥行き方向の配置状態で第２画像Ｇ１，Ｇ２が挿入されるようにした上で、さらに奥行き方向のボケ感を表現するような画像処理を加えた編集画像が図１６Ｃである。
　このように第１画像の自然のボケ感と同様に、第２画像Ｇ１，Ｇ２にもボケ感を付加することで、文字／グラフィックとしての元もと奥行きのない画像も、第１画像に自然になじむような合成画像とすることができる。

　図１７に処理例を示す。この図１７は上記図１５の処理例のステップＳ１３７をステップＳ１４２，Ｓ１４３に変更した例である。ステップＳ１３１～Ｓ１３６の処理は図１５と同様である。
　画像処理装置１はステップＳ１３６で、対象としている画素ＰＸの深度情報ＤＰと、その画素ＰＸが含まれる挿入領域ＩＡについて設定した閾値ｔｈＩを比較する。
　ＤＰ＜ｔｈＩであれば、第１画像における当該画素ＰＸは、閾値ｔｈＩの値である深度よりも手前側の被写体の画素であるため、ステップＳ１３８に進んで、当該画素ＰＸを編集後の画像データ上でそのまま表示する画素に設定する。

　ＤＰ＜ｔｈＩでなければ、第１画像における当該画素ＰＸは、閾値ｔｈＩの値である深度以降の奥側の被写体の画素である。そこでこの場合、画像処理装置１はステップＳ１４２に進んで、編集画像データ上で、当該画像ＰＸの画素データ値を第２画像（挿入画像）における、その画素位置に対応する画素データ値に置換する。つまり第２画像の画素データを選択する。
　そしてステップＳ１４３で、その第２画像の画素データについて、深度（つまり閾値ｔｈＩの設定値）に応じた画像エフェクトを施す。例えば奥行き位置に合うように輝度値を低下させたり、ボケ感を与えることができるような処理を施す。

　ステップＳ１３９，Ｓ１４０，Ｓ１４１は図１５と同様である。
　なおステップＳ１４３の画像エフェクト処理は、画像エフェクトの種類によっては、挿入領域ＩＡについて第２画像の画素配置を終えたステップＳ１３９の後の時点で、その第２画像の範囲について実行することが好適な場合もある。

　このような処理により、第２画像として奥行きのない文字／グラフィックを、第１画像への挿入位置に応じた画像エフェクトを与えた状態で合成でき、非常に第１画像になじんだ合成画像、即ち現実に第１画像の撮像時に存在したかのような文字／グラフィックに見えるような合成画像を生成できる。
　ここでは、文字／グラフィックの合成の例を挙げたが、例えば霧や雲、フレアなどの自然現象を画像に合成する場合にも、深度情報を用いて第１画像の被写体との重なりに加え濃淡なども含めた自然な表現を実現することができる。
　例えば雪や雨粒などの浮遊物の画像を第２画像として用いることで、その浮遊物も挿入位置と第１画像の画素の深度情報ＤＰに応じて反映させる。またその深度に応じた濃淡を設定する。これにより、より自然な光景として合成画像が作成できる。
　また仮想的な照明光による陰影、光線、被写体の影などを第２画像として合成する場合も、その深度に応じて適切に表現できる。

＜４．第３の実施の形態＞

　第３の実施の形態として、画像処理装置１が深度情報を活用して画像エフェクトを加える編集処理例を説明する。
　即ち処理対象とする画像の被写体について、深度に応じた光学的な効果などの画像エフェクトを加える。

　元々の処理対象の画像は、先に図５Ａに示したような画像であるとする。
　図１８Ａは、処理対象の画像の撮像時における被写体Ｈ１，Ｈ２，Ｈ３の配置関係を示している。手前側から順番に被写体Ｈ１，Ｈ２，Ｈ３となる。
　この場合に、図１８Ｂのように多数の薄膜Ｅが存在するかのような状態を想定し、多数の薄膜Ｅにより奥側に行くほどあいまいな画像となる図１８Ｃのような編集画像を生成する。換言すれば被写体Ｈ１，Ｈ２，Ｈ３が霧の中に立っているような画像である。
　例えば画像エフェクトの際に、被写体の深度に応じてエフェクトレベルを設定することで、この例のように、被写体の奥行き位置に応じた画像効果表現を実現できる。
　一例として霧や雨のような効果を加える画像エフェクトを施す場合に、その密度や濃度を被写体の深度に応じて変えることで、光学気象現象エミュレーションといえるような画像を生成することもできる。　

　図１９に処理例を示す。
　画像処理装置１は図１９のステップＳ１５０で処理対象の画像を特定する。例えば画像取得部２が取得した画像データとして、図５Ａのような画像データを処理対象とする。
　ステップＳ１５１で画像処理装置１は、処理対象の画像に施す画像効果設定を行う。即ちどのような種類の画像エフェクトを施すかを設定する。実際にはユーザの操作に応じて画像エフェクトの種類が選択されるようにすればよい。

　ステップＳ１５２で画像処理装置１は、基準深度情報として深度基準値ＤＰｒｅｆを設定する。
　深度基準値ＤＰｒｅｆは、画像エフェクトレベル（効果の強さ）の基準となる深度を示す。
　例えば図２０には、処理対象の画像の撮像時のカメラのレンズ面を位置ＬＰとし、或る深度位置を深度基準値ＤＰｒｅｆとしていることを示している。
　この深度基準値ＤＰｒｅｆの深度は、例えばカメラの焦点距離などとしてもよいし、ユーザ操作で選択される深度としてもよい。或る深度を、画像エフェクトレベルの基準深度とするものである。

　画像処理装置１はステップＳ１５３以降で、処理対象の画像データの各画素ＰＸについて順次処理を行っていく。
　すなわち画像処理装置１はステップＳ１５３で、１つの画素ＰＸを特定し、ステップＳ１５４でその画素ＰＸの深度情報ＤＰを特定する。

　ステップＳ１５５で画像処理装置１は、対象としている画素ＰＸの深度情報ＤＰと、深度基準値ＤＰｒｅｆの差分（ＤＰ－ＤＰｒｅｆ）を求める。
　差分（ＤＰ－ＤＰｒｅｆ）＝０でなければ、画像処理装置１は、ステップＳ１５６で差分に応じた画像エフェクトレベルＥＰを設定する。
　例えば画像エフェクトレベルの初期値ＥＰｄに、差分（ＤＰ－ＤＰｒｅｆ）を乗算して画像エフェクトレベルＥＰを求める。
　そしてステップＳ１５７で、画像エフェクトレベルＥＰを用いて画像エフェクト処理を行う。例えば画像に霧がかかったような効果を与える場合、霧の濃度を画像エフェクトレベルＥＰで設定する。
　そしてステップＳ１５８で、画像エフェクト処理を施した画素値を、編集画像に用いる画素データとする。

　ステップＳ１５５で差分（ＤＰ－ＤＰｒｅｆ）＝０であれば、画像処理装置１はステップＳ１５８に進んで、当該画素ＰＸを編集後の画像データ上でそのまま表示する画素に設定する。つまりその画素には画像エフェクトを施さない。
　但しこれは、深度基準値ＤＰｒｅｆに相当する画素が、画像エフェクトレベルゼロに設定される種類の画像エフェクト処理が選択されている場合である。
　深度基準値ＤＰｒｅｆに相当する画素が、画像エフェクトレベルがゼロ以外の初期値ＥＰｄとされて処理される種類の画像エフェクト処理が選択されている場合は、差分（ＤＰ－ＤＰｒｅｆ）＝０であれば、図１９中に破線で示すようにステップＳ１５７に進んで、初期値ＥＰｄを用いて画像エフェクト処理が施されるようにする。そしてステップＳ１５８で、画像エフェクト処理を施した画素値を、編集画像に用いる画素データとする。

　図２０の例の場合、レンズ面ＬＰからの深度として、被写体ＯＢ１，ＯＢ２，ＯＢ３を示しているが、これらの深度は、それぞれＤＰ１，ＤＰ２，ＤＰ３となっている。そして深度基準値ＤＰｒｅｆ＝ＤＰ１の例としている。
　この場合、例えば被写体ＯＢ１の画素については、画像エフェクト処理が施されないか、初期値で画像エフェクト処理が施される。
　被写体ＯＢ２は、初期値ＥＰｄ×差分（ＤＰ２－ＤＰｒｅｆ）のレベルで画像エフェクト処理が施される。
　被写体ＯＢ３は、初期値ＥＰｄ×差分（ＤＰ３－ＤＰｒｅｆ）のレベルで画像エフェクト処理が施される。
　この被写体ＯＢ１，ＯＢ２，ＯＢ３の深度がそれぞれ図１８Ａの被写体Ｈ１，Ｈ２，Ｈ３に相当するとすると、例えば図１８Ｃのように、被写体Ｈ１は明瞭だが、奥側の被写体Ｈ２、Ｈ３は、その深度に応じて不明瞭になるような画像エフェクトが施された編集画像が実現される。

　図１９のステップＳ１５９で画像処理装置１は、処理対象の画像の全ての画素について、以上の処理を終えたか否かを確認する。終えていなければステップＳ１５３に戻り、次に処理対象とする画素ＰＸを特定して、同様にステップＳ１５４～Ｓ１５８の処理を行う。
　ステップＳ１５９で、全画素についてステップＳ１５３～Ｓ１５８の処理を終了したと判断した時点で、図１９の処理を終える。
　図１９の処理を終えた時点で、例えば図１８Ｃのような編集画像データが生成されていることになる。このように生成された編集画像データは、画像出力部６が出力することで、表示部１１に表示されたり、通信部１２により外部機器に転送されたり、記憶部１３で記憶媒体に記憶される。

　この図１９の処理例により、例えば点光源に代表される背景のボケを被写体の深度情報に基づき自在に変化させたり、色や形状などを変化させる編集画像を生成できる。
　また深度だけでなく例えば壁や床の形状、材質を加味して、光の量、強さ、角度、色などを変化させ、適切な光の表現を行うこともできる。
　また画像内の空間に仮想的に光源を配置したような画像エフェクトを考えた場合、ライティングの位置や強弱を変化させることでハイライトや影を変化させる画像も生成できる。例えば処理対象の画像を、深度ＤＰを用いて３次元空間としてシミューレートし、その空間内に仮想的なライティングを行うための光源の３次元位置を設定する。この場合に、光源の奥行き位置を深度基準値ＤＰｒｅｆとすることで、各被写体に対する光源からのライティングの影響を（輝度や影）を算出できる。つまりライティング効果を各画素の深度情報と深度基準値ＤＰｒｅｆとの比較に応じて設定できる。これにより仮想的な光源からのライティングを実際に行っているかのような画像エフェクトを施した編集画像を生成できる。またこの場合、ユーザが光源の位置を任意に設定することで、多様なライティング状況を表現する編集画像を生成できるようにもなる。
　以上のように、処理対象の画像について、その被写体の深度に応じた画像効果を与えることで、多様な画像表現を可能にしている。

＜５．第４の実施の形態＞

　第４の実施の形態として、画像処理装置１が深度情報を持った異なる画像を重ね合わせる編集処理例を説明する。
　これは奥行きのある複数の画像について、被写体の深度に応じた自然な重ね合わせや画像エフェクトを施す例である。

　処理対象として、第１画像と第２画像を考える。いずれも例えば撮像画像であるとする。
　第１画像は挿入される側の画像、第２画像は挿入する被写体の画像とする。
　図２１Ａを第１画像とする。多数の人物の集合写真である。斜線を付して示す或る人物を被写体Ｈ１０とする。
　図２１Ｂを第２画像とする。一人の人物（被写体Ｈ２０）の写真である。
　被写体Ｈ１０，Ｈ２０は、互いに画像としてのサイズ（画素領域の面積）が異なっている。

　ここで第１画像において被写体Ｈ１０の斜め後方に、スケールを調整して被写体Ｈ２０を合成することを考える。
　図２１Ｃのように、第１画像の被写体Ｈ１０の斜め後方となる挿入領域ＩＡを設定する。さらに第２画像の被写体Ｈ２０のサイズを縮小し、図２１Ｄのように、被写体Ｈ１０と同等のスケール感が得られるようにする。また位置関係は、被写体Ｈ１０の斜め後方に設定された挿入領域ＩＡに被写体Ｈ２０が存在するようにする。
　図２１Ｅは合成した編集画像である。被写体Ｈ２０は、被写体Ｈ１０との前後関係が表現されるとともにサイズ調整が施されて第１画像に挿入されたものとなる。

　また図２２Ａは或る画像からトリミングされた被写体Ｈ４０としての第２画像（装入する画像）を示している。図２２Ｂは、被写体Ｈ３０が含まれた第１画像（挿入される側の画像）である。
　この場合に、第１画像をサイズ変更して、第１画像内に第２画像の被写体Ｈ４０が配置されるような合成を行ったものが図２２Ｃの編集画像である。
　図２２Ｃの編集画像では、座った姿勢の人物である第２画像の被写体Ｈ４０が、拡大された第１画像である容器の被写体Ｈ３０の段差部分に腰掛けているような画像表現が行われている。つまり被写体Ｈ３０の実物の立体形状による各画素の深度と、被写体Ｈ４０の人物の座った姿勢での各画素の深度情報に応じて、合成位置が設定された画像を生成する。

　図２３にこのような編集処理を実現する処理例を示す。
　画像処理装置１は図２３のステップＳ１７０で処理対象の第１画像を特定する。またステップＳ１７１で画像処理装置１は、同じく処理対象の第２画像を特定する。第１画像、第２画像のいずれも例えばユーザの画像指定操作等に応じて画像取得部２が取得した画像データである。

　ステップＳ１７２で画像処理装置１は、第１画像と第２画像の合成のための挿入領域ＩＡと、基準深度情報（挿入深度）として閾値ｔｈＩを設定する。
　例えば図２１Ｃのように第１画像内で、挿入領域ＩＡとその挿入深度としての閾値ｔｈＩを設定する。これらは例えばユーザが第１画像上で指定した位置に応じて決定すればよい。或いは、画像処理装置１が自動で挿入領域ＩＡ及び挿入深度を設定してもよい。例えば図２１Ｃで、被写体Ｈ２０が挿入できる位置及び深度を自動判定して設定してもよい。
　また図２２Ｃで示す例の場合は、ユーザが第１画像内で挿入領域ＩＡや挿入深度としての閾値ｔｈＩを設定するようにしてもよいし、画像処理装置１は、被写体Ｈ３０、Ｈ４０の各画素の深度から挿入領域ＩＡと挿入深度を自動設定してもよい。

　画像処理装置１はステップＳ１７３で、第１画像と第２画像について、一方又は両方のサイズ調整をした上で仮に重ね合わせる。
　例えば図２１Ｂの被写体Ｈ２０が、第１画像の挿入領域ＩＡに配置できるように被写体Ｈ２０のサイズ変更を行う。そして、第１画像の挿入領域ＩＡに第２画像の被写体Ｈ２０を重ね合わせた状態とする。

　画像処理装置１はステップＳ１７４以降で、被写体が挿入される側の第１画像の画像データの全画素について、第２画像との重なり関係に応じた処理を行う。
　すなわち画像処理装置１はステップＳ１７４で、第１画像の１つの画素ＰＸを特定し、ステップＳ１７５でその画素ＰＸが第２画像の挿入被写体（例えば被写体Ｈ２０）との重なり画素であるか否かを判断する。
　重なり画素でなければ、ステップＳ１７８を介してステップＳ１７４に戻り、次の画素の処理に進む。

　或る画素ＰＸが第２画像の被写体との重なり画素であった場合、画像処理装置１はステップＳ１７５からＳ１７６に進み、前後関係を判定する。第２画像は、閾値ｔｈＩで示される挿入深度で挿入される。
　従って、ステップＳ１７６で画像処理装置１は、当該画素ＰＸの深度情報を取得し、その深度ＤＰと閾値ｔｈＩを比較すればよい。
　ＤＰ＞ｔｈＩであれば、第１画像の画素が手前側となる。
　ＤＰ＞ｔｈＩでなければ、第２画像の画素が手前側と判定する。

　但し、第２画像としての被写体Ｈ２０の全画素が、同一の深度というわけでは必ずしもない。より正確には被写体Ｈ２０を構成する画素毎に深度の値は異なる。そこで、挿入深度としての閾値ｔｈＩは、例えば被写体Ｈ２０における最も手前の位置などとし、被写体Ｈ２０の構成画素のうち最も手前側となっている画素の深度の値ＤＰｓが、挿入深度（閾値ｔｈＩ）となるようにすることがより好適である。
　例えば第２画像の被写体Ｈ２０の各画素に付加されている深度情報ＤＰの値を「ＤＰｘ」とすると、その画素の深度ＤＰｘに応じて比較を行う。即ち、
　ＤＰ＞ｔｈＩ＋（ＤＰｘ－ＤＰｓ）であれば、第１画像の画素が手前側となる。
　ＤＰ＞ｔｈＩ＋（ＤＰｘ－ＤＰｓ）でなければ、第２画像の画素が手前側と判定する。
　このように、挿入深度である閾値ｔｈＩに、第２画像の各画素の実際の深度情報を反映させて第１画像の画素と第２画像の画素の前後関係を確認する。

　そして画像処理装置１はステップＳ１７７で、手前側の画素を表示する画素として選択する。
　これにより、第１画像と第２画像を重ね合わせたときに、手前側となる部分が表示されるように、いずれかの画素が選択される。

　ステップＳ１７８で画像処理装置１は、第１画像の各画素について、以上の処理を終えたか否かを確認する。終えていなければステップＳ１７４に戻り、次に処理対象とする画素ＰＸを特定して、同様にステップＳ１７５～Ｓ１７７の処理を行う。
　ステップＳ１７８で、第１画像の全画素についてステップＳ１７４～Ｓ１７７の処理を終了したと判断したら、画像処理装置１はステップＳ１７８からＳ１７９に進む。

　ステップＳ１７９は、必ずしも行わなくてもよいが、ここでは画像処理装置１は合成した画像の深度に応じた画像エフェクト処理を行う例としている。
　例えば第２画像としての被写体を第１画像に挿入したことで生まれる影を付加したり、第２画像について、その挿入深度に応じたボケを施すなどである。
　図２２Ｃでは、第２画像の被写体Ｈ４０の影ＳＤＷが第１画像上に現れるような画像エフェクト処理を施した例を示している。

　以上の図２３の処理を終えた時点で、例えば図２１Ｅ、図２２Ｃのような編集画像データが生成されていることになる。
　このように生成された編集画像データは、画像出力部６が出力することで、表示部１１に表示されたり、通信部１２により外部機器に転送されたり、記憶部１３で記憶媒体に記憶される。

　この図１５の処理例では、第１画像に対して、所定の深度に第２画像としての被写体が挿入されたものとなる。また挿入の際の被写体のサイズ調整も行われる。これにより実際に第１画像の撮像時に、第２画像の被写体が第１画像の空間に存在したような合成画像が実現されることになる。
　また、第２画像の挿入深度に応じた画像エフェクト処理を施せば、より自然な合成が可能となる。
　サイズ調整は、例えば図２１Ｅのように現実になじむようなサイズ関係にしてもよいし、図２２Ｃのように現実にはあり得ないようなサイズ関係としてもよい。例えば通常の背景画像（第１画像）に対して人物画像（第２画像）を、背景との比率からみて実際とは異なるサイズに変更した合成画像を生成することも可能である。
　これらにより、より自由な画像表現を可能としている。

　また図２２Ａのように第２画像を元の画像からトリミングした被写体Ｈ４０とすれば、第１画像との重ね合わせる領域の自由度が増したり、ステップＳ１７５で重なり画素と判定される画素ＰＸが少なくなるため、図２３の処理負担が軽減されるという効果も得られる。

　なお、第１画像、第２画像の一方をサイズ調整する例を述べたが、当然、第１画像と第２画像の両方についてサイズ調整を行うようにしてもよい。
　また第１画像、第２画像は深度情報を有する画像としたが、実際に撮像した画像に限られない。例えば第１画像、第２画像一方又は両方が、被写体や画素の深度情報を有する３Ｄグラフィック画像であってもよい。例えば図２２Ａが実際に撮像した画像、図２２Ｂが３Ｄグラフィックス画像とした場合に、それぞれの深度情報を用いて図２２Ｃのような合成画像を生成することも想定される。

＜６．第５の実施の形態＞

　第５の実施の形態として、画像処理装置１が深度情報を用いて奥行表現を変化させる編集処理例を説明する。

　図２４は、画素をいくつかの深度で切り出して平面化した上で再合成することで、等高線を表現するような画像、シャドーボックス的な画像を生成する例である。
　図２４Ａは、被写体Ｈ５０を含む処理対象の画像について、仮想垂直面ＶＰ１１でトリミングをする様子を示している。
　図２４Ｂ、図２４Ｃ、図２４Ｄ、図２４Ｅは、それぞれ処理対象の画像について、仮想垂直面ＶＰ１２，ＶＰ１３，ＶＰ１４，ＶＰ１５でトリミングをする様子を示している。
　これら仮想垂直面ＶＰ１１～ＶＰ１５は、異なる深度に設定されている。

　１つの処理対象の画像について、このように異なる深度で切り出した複数のトリミング画像を生成し、それらのトリミング画像を平面化したものが、図２４Ｆ、図２４Ｇ、図２４Ｈ、図２４Ｉ、図２４Ｊである。平面化とは、切り出した画素の深度を均一化することである。
　そして平面化した各画像を重ね合わせるように合成する。これにより図２４Ｋの被写体Ｈ５０’のようにシャドーボックス的な編集画像が生成できる。

　図２５に処理例を示す。
　画像処理装置１はステップＳ１９０で処理対象の画像を特定する。
　ステップＳ１９１で画像処理装置１は、基準深度情報として閾値ｔｈ１～ｔｈ（ｐ）を設定する。
　閾値ｔｈ１～ｔｈ（ｐ）は、それぞれ上記の仮想垂直面ＶＰ１１～ＶＰ１５のようにそれぞれのトリミングする深度を設定する値となる。

　閾値ｔｈの設定例を図２６Ａに示す。例えば深度０から最大深度（∞）までについて、いくつかの閾値ｔｈ１～ｔｈ７を設定している。各閾値ｔｈ１～ｔｈ７で区切られる深度の幅は、それぞれ等しい幅でもよいし不等幅でもよい。
　図２６Ｂは、深度０から最大深度（∞）までのうちで、或る程度代表的な被写体深度の範囲内で、いくつかの閾値ｔｈ１～ｔｈ６を設定した例である。
　例えばこの図２６Ａ、図２６Ｂのような固定的な閾値ｔｈ１～ｔｈ（ｐ）を設定することが考えられる。

　また、処理対象とする画像に応じて閾値ｔｈ１～ｔｈ（ｐ）を設定することもできる。図２６Ｃは、処理対象の画像の全画素の中で、最も深度が浅い値（ＤＰｍｉｎ）と最も深度が深い値（ＤＰｍａｘ）を求め、その範囲内をいくつかの閾値ｔｈ１～ｔｈ５で区切るようにした例である。
　このように設定することで、処理対象の画像に適したトリミング深度設定ができる。

　ｐ個の閾値ｔｈ１～ｔｈ（ｐ）を設定したら、画像処理装置１は図２５のステップＳ１９２で、変数ｑ＝１とし、ステップＳ１９３の処理に進む。
　ステップＳ１９３で画像処理装置１は、閾値ｔｈ（ｑ）で画素を抽出する。つまり深度が閾値ｔｈ（ｑ）より手前側となっている画素を抽出する。
　そしてステップＳ１９４で画像処理装置１は、抽出した画素を平面化した第（ｑ）画像を生成する。

　画像処理装置１はステップＳ１９５で変数ｑ＝ｐであるか否かを確認し、変数ｑがｐ値に至っていなければステップＳ１９６で変数ｑをインクリメントしてステップＳ１９３に戻る。
　つまり、ステップＳ１９２～Ｓ１９６の処理として、閾値ｔｈ１～ｔｈ（ｐ）のそれぞれについてトリミングを行い、平面化した第１画像～第（ｐ）画像を生成する。
　以上を終えて変数ｑ＝ｐとなったら、画像処理装置１はステップＳ１９７に進み、第１画像～第（ｐ）画像を、それぞれの代表の深度で合成する。代表の深度としては閾値ｔｈ１～ｔｈ（ｐ）の深度を用いればよい。

　以上により、図２４Ｋのような編集画像が生成される。
　つまり、深度情報を段階的に処理することで被写体形状がシンプルなものに変化されたような編集画像を生成することができる。

　次にコラージュ的な合成画像を生成する例を説明する。
　図２７Ａの画像から被写体Ｈ６１を抽出する。また図２７Ｂの画像から、被写体Ｈ６２，Ｈ６３を抽出する。
　これらは例えば第１の実施の形態で説明したように深度の閾値ｔｈを用いて抽出すればよい。また図１１、図１２で説明したように閾値ｔｈと画像解析による被写体認識を併用して抽出すると、各被写体をより正確に切り出すことができる。

　図２７Ｃ、図２７Ｄは、それぞれ切り出した被写体Ｈ６１、Ｈ６２を変形して被写体Ｈ６１’、Ｈ６２’とした例としている。図２７Ｄが被写体Ｈ６３を平面化した被写体Ｈ６３’を示している。
　これらの被写体Ｈ６１’、Ｈ６２’、Ｈ６３’をそれぞれ所定の深度関係で合成したものが図２７Ｆの合成画像である。コラージュ的な合成画像が生成されている。

　図２８に処理例を示す。
　画像処理装置１はステップＳ２０１で変数ｑ＝１とし、ステップＳ２０２でユーザ操作に応じて処理対象の画像を特定する。
　ステップＳ２０３で画像処理装置１は、基準深度情報として被写体抽出のための閾値ｔｈをユーザ操作に応じて設定する。
　ステップＳ２０４で画像処理装置１は、処理対象とした画像から閾値ｔｈで画素を抽出する。つまり深度が閾値ｔｈより手前側となっている画素を抽出する。
　ステップＳ２０５で画像処理装置１は、抽出した画素について、変形や平面化等の処理を施した第（ｑ）画像を生成する。

　ステップＳ２０６で、合成素材を他にも選択するか否かをユーザの意思を確認する。ユーザが他に画像素材を選択することを示す操作を行った場合は、ステップＳ２０７で変数ｑをインクリメントしてステップＳ２０２に戻る。そしてステップＳ２０２～Ｓ２０５の処理により、他の合成素材としての第（ｑ）画像が生成される。

　ユーザは、合成素材として第１画像～第（ｑ）画像が生成されたと判断したら、合成処理を指示する操作を行う。画像処理装置１はそれに応じてステップＳ２０６からＳ２０８に進み、第１画像～第（ｑ）画像を、それぞれの所定の深度で合成する。この場合、各画像については、トリミングされた際の閾値ｔｈの深度を用いて、前後関係を設定すればよい。
　以上により、図２７Ｆのような多数の被写体画像をコラージュしたような編集画像が生成される。即ち多様な画像表現が可能となる。
　なお、ステップＳ２０８での合成の際に各画素の深度情報ＤＰを利用することもできる。例えば、元の画像での画素の深度情報ＤＰで前後関係を設定することができる。
　或いは画素の深度情報ＤＰは無視して、ユーザ操作等により前後関係を設定してもよい。
　また切り出した画像素材の変形処理としては、サイズ変更も考えられる。

＜７．まとめ及び変形例＞

　以上の実施の形態では、次のような効果が得られる。
　第１～第５の実施の形態の画像処理装置１は、処理対象とした画像における画素の深度情報ＤＰに対する比較基準となる基準深度情報（閾値ｔｈ、ｔｈＩ、深度基準値ＤＰｒｅｆ等）を設定する基準深度設定部４を備える。また基準深度情報と、処理対象とした画像の画素の深度情報ＤＰを用いて画像編集処理を行う画像編集処理部５を備える。
　即ち画像処理装置１は、画素の深度情報ＤＰを基準深度情報と比較し、その比較結果に応じた画像処理を行う。これにより被写体の深度に応じた各種の画像編集処理、例えば被写体の重ね合わせ、トリミング、グラフィックスや文字等の合成、光学的効果の付与等の処理を行うことができる。特にはこれらの画像編集において、奥行きのある被写体画像の空間に自然になじむような画像表現が可能になる。
　またユーザにとって多様かつ高度な画像処理を容易かつ気軽に実行できるものとなる。特にユーザに高度なスキルを要求せずに、より自然な編集画像を生成できる。
　これによりユーザにとっては画像表現の拡大がもたらされる。
　通常、画像表現はユーザのスキルやツールの機能や性能に制約を大きく受けていたが、本実施の形態の技術により表現の幅が大幅に広がることが期待される。ユーザはより容易に自らのイメージに近い表現をすることができるし、一般的なエフェクトと異なり組み合わせで使うことによる効果が期待できるため表現のバリエーションも大きく広がる。
　また本実施の形態は、ソーシャルメディアの発展にも寄与できる。
　実施の形態の技術は、表現の多彩さ、容易さにより広いユーザ層に受け入れられることが想定される。これによりソーシャルメディアでの表現が多彩となり、おもしろみのあるコミュニケーション環境を提供できる。
　また画像解析技術にも寄与できる。これまでコントラストや顔、パースなどの画像解析により被写体や境界線の識別、奥行きの判定を自動で行うツールはあったが、いずれの技術も画像から判別を行うために精度の点では限界があった。実施の形態の場合、深度情報を用いることで、より正確な被写体画像の判定が可能となる。これによってより精度の高い編集画像を得ることも可能となる。

　第１～第５の実施の形態では、基準深度設定部４は、ユーザの操作入力に応じて基準深度情報（閾値ｔｈ、ｔｈＩ、深度基準値ＤＰｒｅｆ等）を設定するようにしている。
　すなわちユーザが画像処理の際に用いる基準深度情報を任意に設定できる。
　これにより二次元の画像上で奥行きの或る空間を仮定した画像処理を、ユーザの望む深度（奥行き距離）を基準として実行されるようにすることができる。そしてユーザに対して簡易に多様な奥行きを考慮した画像表現を行うことのできる環境を提供できる。
　例えば図２Ｂのようにスライダ操作で深度を入力できるようにすることで、わかりやすい操作も実現できる。
　なお、ユーザの操作入力はスライダ等の操作子を用いた態様に限らない。例えばスマートフォンやカメラなどに搭載される角速度センサ、傾斜センサ、振動センサ等を利用する操作態様も考えられる。例えばユーザが携帯機器を傾けることにより、トリミングのための閾値ｔｈの深度や仮想面の傾斜角度が選択されるなどである。

　第１の実施の形態では、基準深度情報として深度の閾値ｔｈを設定し、処理対象とした画像の各画素の深度情報ＤＰと深度の閾値ｔｈの比較結果に基づいて抽出した被写体のトリミング画像を生成するようにしている（図５～図１２参照）。
　これにより画像を奥行きの或る空間とし、或る深度より手前側（もしくは奥側）の被写体を抽出するようなトリミング画像を生成することができる。

　第１の実施の形態では、処理対象とした画像の全画素と比較する共通の閾値ｔｈを設定するようにした例を述べた（図５Ａ、図６Ａ、図６Ｂ、図７参照）
　即ち１つの閾値ｔｈを設定し、その閾値ｔｈを処理対象の画像の全画素の深度情報ＤＰと比較して、その比較結果により表示する画素を抽出する。
　これにより深度閾値ｔｈで決まる或る奥行き位置に仮想垂直面ＶＰ１を設け、仮想垂直面ＶＰ１より手前側（又は奥側）の被写体をトリミングした画像を生成することができる。従って撮像時の被写体の深度に応じて切り出した画像を生成できる。

　第１の実施の形態では、複数の深度閾値ｔｈ０－０～ｔｈ（ｎ－ｍ）を設定し、画素毎に、画素の深度情報ＤＰと該画素に対応された深度閾値ｔｈを比較する例を述べた（図５Ｃ、図５Ｄ、図６Ｃ、図６Ｄ、図８、図９、図１０参照）。
　例えば画像の領域毎に異なる深度閾値ｔｈを設定したり、画素毎に対応する深度閾値ｔｈを設定する。そして各画素の深度情報ＤＰを対応する深度閾値ｔｈと比較して表示する画素を抽出する。
　これにより処理対象の画像について想定される仮想的な三次元空間内で、仮想水平面ＶＰ２や仮想傾斜面ＶＰ３等を基準として切り取ったようにトリミングした画像を生成することができる。例えば被写体の一部が水没した状態、壁から飛び出した状態、水に浮かぶ状態など、多様な表現の画像を生成できる。

　第１の実施の形態では、トリミングの対象となる被写体の情報を取得し、処理対象の画像の各画素について、深度閾値ｔｈとの比較結果と、トリミングの対象となる被写体の画素であるか否かの判定結果を用いてトリミング画像を生成する画像編集処理を行う例を述べた（図１１，図１２参照）。
　この場合、深度の比較結果だけでなく、画像解析による被写体認識を用いて判定した被写体の画素であるか否かの判定も行って、それらの結果で表示する画素を抽出する。
　これにより単に深度によって抽出されるだけでなく被写体種別も考慮したトリミングが可能となる。例えば或る深度の被写体人物をトリミングしたい場合に、同じ深度に他の物体等が写っていたとしても、その被写体人物だけをトリミングした画像を生成できる。従って深度を反映した上でより多様なトリミング編集が可能となる。
　また特定の被写体のみを正確にトリミングしたい場合にも有用である。
　つまり、トリミング対象となる位置にある他の被写体の色が混ざらないような工夫として、形状認識、物体認識、色の認識などと組み合わせることで、特定の被写体の正確にトリミングが可能である。
　なお深度比較結果と被写体判定結果の利用は、図１２の例のようにアンド条件とするほか、オア条件としたり、被写体判定結果を優先条件とすることが考えられる
　アンド条件とすることで、特定の深度より手前側又は奥側の画素であって、トリミング対象に指定された被写体の画素が表示対象となる。従って或る深度の被写体のみを正確に切り取った画像を生成したい場合に好適である。或いは当該被写体の深度が深度閾値ｔｈをまたがっている場合、当該被写体の一部（特定の深度より手前側又は奥側の画素）のみが表示されるような画像を生成できる。
　オア条件とすることで、特定の深度より手前側又は奥側の画素と、トリミング対象に指定された被写体の画素がともに表示対象となる。従って或る深度より手前側又は奥側の全ての被写体と、指定した被写体を合わせたトリミング画像を生成でき、多様なトリミング編集が可能となる。
　被写体判定結果を優先条件とすることで、例えばトリミング対象に指定した被写体の一部が、深度情報ＤＰからは非抽出とされる深度であっても、その一部も表示される。つまり指定された被写体は全て表示され、それ以外は閾値ｔｈとの深度比較結果で抽出された被写体が表示される画像を生成することができ、これも多様な画像編集を提供できることになる。

　また第１の実施の形態では、基準深度情報として深度閾値ｔｈを設定し、処理対象とした画像の各画素の深度情報ＤＰと深度閾値ｔｈの比較結果により、深度閾値ｔｈより手前側もしくは奥側のうちの一方側と判定された画素を表示する画素とし、他方側と判定された画素の値を他の値に置換する処理を行う（図７、図８のＳ１０６、図１２のＳ１２１参照）。
　すなわち閾値ｔｈを基準として、手前側と奥側で、そのまま表示する画素と、画素値を置換する画素とを分ける。
　これにより画像を奥行きの或る空間とし、或る深度より手前側（もしくは奥側）の被写体を抽出するとともに奥側（もしくは手前側）を元の画像とは異なる状態にする画像、例えばトリミング画像や合成画像等を生成することができる。

　例えば第１の実施の形態では、閾値ｔｈの深度より手前側と奥側の一方に対する他方側と判定された画素の全てについて、画素値を被写体を非表示とする値もしくは表示効果を付与する値に置換する画像編集処理を行う例を述べた（（図７、図８のＳ１０６、図１２のＳ１２１参照）。
　例えば深度閾値ｔｈで分けた他方側の被写体の画素を、その被写体を非表示とする値（マスクデータ）に置換して、元々の被写体とは無関係な画素値とすることで、他方側の被写体をマスクし（非表示とし）、一方側の被写体のみを表示させるトリミング画像を生成できる（図５，図６参照）。
　この場合、他方側の画素値（輝度値）を全て同一の値に置換すれば、背景がモノトーンとされたトリミング画像が生成できる。または画素ブロックで考えて他方側の画素値を同一の色となる画素値に置換することで、特定の色を背景としたトリミング画像が生成できる。
　なお、マスクの色をユーザが選択できるようにしてもよいし、マスクの輝度／色は常に固定の状態としてもよい。
　またマスクの色や輝度を領域によって変化させることで、トリミング画像の背景に模様を描いたりグラデーションを施す等の多様な編集画像を実現することもできる。
　また例えば深度閾値ｔｈで分けた他方側の被写体の画素を、その被写体に画像エフェクトを与えた場合の値に置換すれば、一方側の被写体が元のまま表示され他方側の被写体には画像効果が付与された画像を生成できる。例えば元のまま抽出された被写体以外がモノクロ化、低輝度化、ぼかし、モザイク化等の処理が施された画像とすることができる。（図１０Ｃ、図１０Ｄ、図１２のＳ１２１参照）。

　第１の実施の形態では、トリミングする側とは他方側と判定された画素について、他の画像の画素値に置換する画像編集処理を行う例を述べた（図１０Ｃ、図１２参照）
　例えば深度閾値ｔｈで分けた他方側の被写体の画素を、別の画像の画素の画素値に置換すれば、一方側の被写体が元のまま表示され他方側は他の画像の被写体が合成された画像を生成できる。これにより多様な画像編集環境を提供できる。例えば合成画像、多重露光のような画像が実現できる。

　第２の実施の形態では、基準深度情報として挿入深度（閾値ｔｈＩ）を設定し、第１画像に第２画像を合成する処理として、第１画像の各画素の深度情報ＤＰと挿入深度（閾値ｔｈＩ）の比較結果に基づいて、第２画像の画素と第１画像に対する画素との前後関係を判定し、該判定結果に基づいて合成画像を生成する画像編集処理を行う例を述べた（図１３，図１４，図１５参照）。
　この場合、第１画像における深度の或る位置に、第２画像を合成して配置するが、その際に、第１画像の被写体と挿入深度（閾値ｔｈＩ）の前後関係が判断される。これにより、実際に第１画像の被写体の三次元空間内に二次元的に生成した文字やグラフィックとしてのオブジェクトが存在するかのような合成画像を得ることができる。つまり文字／グラフィックを自然な感じで、奥行きのある写真画像である第１画像に合成できる。

　また第２の実施の形態では、第２画像に対して、挿入深度に応じた画像エフェクト処理を行うことを述べた（図１６，図１７参照）
　第２画像は設定した挿入深度の奥行き位置で第１画像に挿入するように合成される。この第２画像に対して、その挿入深度に応じた画像効果を与える。
　また複数の第２画像をそれぞれ異なる挿入深度で合成する場合、各第２画像は、それぞれの挿入深度に応じた画像エフェクトを施すようにする。
　これにより、第２画像としての文字やグラフィックが、実際に第１画像を撮像した被写体空間内に存在しているかのような合成画像を生成することができる。

　第３の実施の形態では、基準深度情報として深度基準値ＤＰｒｅｆを設定し、処理対象とした画像の各画素について深度情報ＤＰと深度基準値ＤＰｒｅｆの比較結果に基づいて画像エフェクトレベルＥＰを設定し、処理対象とした画像に画像エフェクト処理を施す画像編集処理を説明した（図１８，図１９参照）。
　これにより自然な感じの画像エフェクトを与えた画像を生成することができる。例えば霧や雲、フレアの表現を与えるような画像エフェクトを、実際の霧や雲の状態に極めて近い画像効果状態とすることができる。
　また仮想的な光源からの照明が行われているように光学的効果を与えたような表現などの可能である。

　第４の実施の形態では、基準深度情報として挿入深度（閾値ｔｈＩ）を設定し、第１画像と第２画像を合成する処理として、第１画像の被写体と第２画像の被写体の一方又は両方のサイズを変更し、第１画像の画素の深度情報ＤＰと挿入深度（閾値ｔｈＩ）の比較結果に基づいて、第２画像の画素と第１画像に対する画素との前後関係を判定し、該判定結果に基づいて合成画像を生成する画像編集処理を述べた（図２１，図２２，図２３参照）。
　この場合、異なる画像間でサイズ関係を揃えたり、あるいは通常あり得ないサイズ関係に変更したような状態の合成画像が得られる。この合成画像は被写体の前後関係が反映されたものとなり、自然な感じの画像であるが実際にはあり得ない画像などを生成することができる。これにより画像表現の幅を広げることができる。
　またサイズ情報を反映した重ね合わせを行うことで、タイムラプスやカタログ、集合写真などで付加価値の生まれるような用途に適用できる。
　タイムラプス表現は、例えば被写体までの距離や画像中の被写体サイズなどと深度情報を利用して、被写体の絶対的な大きさを統一して、大きさに変化のあるもの（植物や動物の成長など）の各大きさの状態を同時に表すような表現である。第４の実施の形態の手法により、例えば背景上で、植物や動物などの或る被写体についてサイズを変えたものが並ぶように合成することで、時系列上で大きさが変化していく様子を表す画像を生成できる。

　第４の実施の形態では、第２画像からトリミングした被写体画像を、第１画像に合成する例を述べた。
　例えば第２の画像の一部の被写体をトリミングで取りだし、第１画像の被写体と第２画像の被写体の一方又は両方のサイズを変更したうえで、トリミングした第２画像の被写体を第１画像に組み込むような合成処理を行う（図２１，図２２，図２３参照）。
　これにより、第２画像における被写体がサイズ変更された被写体が、実際に第１画像を撮像した被写体空間内に存在しているかのような合成画像を得ることができる。
　またトリミングした画像を用いることで、処理の効率化が実現できる。

　第４の実施の形態では、第２画像からトリミングした被写体画像に対して、挿入深度に応じた画像エフェクト処理を行うことを述べた（図２３のＳ１７９）。
　例えば第１画像とのサイズ関係が変更された第２画像は設定した挿入深度の奥行き位置で第１画像に挿入するように合成される。この第２画像に対して、その挿入深度に応じた画像効果を与える。
　また複数の第２画像をそれぞれ異なる挿入深度で合成する場合、各第２画像は、それぞれの挿入深度に応じた画像エフェクトを施すようにする。
　これによりサイズ変更された第２画像の被写体が、実際に第１画像を撮像した被写体空間内に存在しているかのような合成画像を得ることができる。例えば背景ボケ、影、光源からの光を想定した明暗、フレア、霧、雲などを加える画像エフェクトにより、より自然な感じ、つまり第２画像の被写体が実際の被写体として第１画像内に存在していたかのような画像を得ることができる。

　第５の実施の形態では、基準深度情報として複数の深度閾値ｔｈ１～ｔｈ（ｐ）を設定し、処理対象とした画像において各深度閾値ｔｈ１～ｔｈ（ｐ）を用いて抽出した画素を平面化した画像を合成する画像編集処理例を述べた（図２４，図２５，図２６）。
　これにより深度によってシンプル化した画像、例えばシャドーボックス的な画像、等高線を表現するような画像等が得られる。これにより画像表現の幅を広げることができる。

　また第５の実施の形態では、処理対象の画像の各画素の深度情報として、最小値から最大値の範囲内で、複数の深度閾値を設定する例を述べた（図２６Ｃ参照）。
　これにより、画像内容に応じて、被写体を適切に切り出すことができるように複数の深度閾値ｔｈ１～ｔｈ（ｐ）が設定され、シャドーボックス的な画像を、より効果的に生成することができる。

　第５の実施の形態では、基準深度情報として深度閾値ｔｈを１又は複数設定し、１又は複数の画像から、設定した１又は複数の深度閾値ｔｈを用いて抽出して被写体画像を抽出し、抽出した被写体画像を合成する画像編集処理を行う例を述べた（図２７，図２８参照）。
　深度情報を用いて被写体画像を切り出し、切り出した複数の被写体画像を合成することにより、例えば各種被写体のコラージュのような画像が得られ、これも画像表現の幅を広げることが可能となる。

　なお、各実施の形態では静止画を処理対象の画像として説明したが、動画の場合も本技術は適用できる。各フレームについて実施の形態の処理を適用して、トリミング動画、文字／グラフィック挿入動画、深度に応じた画像エフェクトを施した動画、シャドーボックス的な被写体の動画等を生成することもできる。また動画の各フレームに他の画像の被写体を挿入することもできる。

　本発明の実施の形態のプログラムは、情報処理装置に、処理対象とした画像における画素の深度情報に対する比較基準となる基準深度情報を設定する基準深度設定ステップと、基準深度情報と処理対象とした画像の画素の深度情報を用いて画像編集処理を行う画像編集処理ステップとを実行させるプログラムである。
　即ち図７、図８、図１２、図１５、図１７、図１９、図２３、図２５、図２８の処理を情報処理装置に実行させるプログラムである。

　このようなプログラムにより本実施の形態の画像処理装置１の実現が容易となる。
　そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。あるいはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ、インターネットなどのネットワークを介してダウンロードすることもできる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

　なお本技術は以下のような構成も採ることができる。
　（１）処理対象とした画像における画素の深度情報に対する比較基準となる基準深度情報を設定する基準深度設定部と、
　前記基準深度情報と、処理対象とした画像の画素の深度情報を用いて画像編集処理を行う画像編集処理部と、を備えた
　画像処理装置。
　（２）前記基準深度設定部は、操作入力に応じて前記基準深度情報を設定する
　上記（１）に記載の画像処理装置。
　（３）前記基準深度設定部は前記基準深度情報として深度閾値を設定し、
　前記画像編集処理部は、処理対象とした画像の各画素の深度情報と深度閾値の比較結果に基づいて抽出した被写体のトリミング画像を生成する画像編集処理を行う
　上記（１）又は（２）に記載の画像処理装置。
　（４）前記基準深度設定部は処理対象とした画像の全画素と比較する共通の深度閾値を設定する
　上記（３）に記載の画像処理装置。
　（５）前記基準深度設定部は、複数の深度閾値を設定し、
　前記画像編集処理部は、画素毎に、画素の深度情報と該画素に対応された深度閾値を比較する
　上記（３）に記載の画像処理装置。
　（６）前記画像編集処理部は、トリミングの対象となる被写体の情報を取得し、
　処理対象の画像の各画素について、深度閾値との比較結果と、トリミングの対象となる被写体の画素であるか否かの判定結果を用いてトリミング画像を生成する画像編集処理を行う
　上記（３）乃至（５）のいずれかに記載の画像処理装置。
　（７）前記基準深度設定部は前記基準深度情報として深度閾値を設定し、
　前記画像編集処理部は、処理対象とした画像の各画素の深度情報と深度閾値の比較結果により、深度閾値より手前側もしくは奥側のうちの一方側と判定された画素を表示する画素とし、他方側と判定された画素の値を他の値に置換する処理を行う
　上記（１）又は（２）のいずれかに記載の画像処理装置。
　（８）前記画像編集処理部は、前記他方側と判定された画素の全てについて、画素値を、被写体を非表示とする値もしくは表示効果を付与する値に置換する画像編集処理を行う
　上記（７）に記載の画像処理装置。
　（９）前記画像編集処理部は、前記他方側と判定された画素について、他の画像の画素値に置換する画像編集処理を行う
　上記（７）に記載の画像処理装置。
　（１０）前記基準深度設定部は前記基準深度情報として挿入深度を設定し、
　前記画像編集処理部は、第１画像に第２画像を合成する処理として、前記第１画像の各画素の深度情報と挿入深度の比較結果に基づいて、前記第２画像の画素と前記第１画像に対する画素との前後関係を判定し、該判定結果に基づいて合成画像を生成する画像編集処理を行う
　上記（１）又は（２）に記載の画像処理装置。
　（１１）前記画像編集処理部は、前記第２画像に対して、挿入深度に応じた画像エフェクト処理を行う
　上記（１０）に記載の画像処理装置。
　（１２）前記基準深度設定部は前記基準深度情報として深度基準値を設定し、
　前記画像編集処理部は、処理対象とした画像の各画素について深度情報と深度基準値の比較結果に基づいて画像エフェクトレベルを設定し、処理対象とした画像に画像エフェクト処理を施す画像編集処理を行う
　上記（１）又は（２）に記載の画像処理装置。
　（１３）前記基準深度設定部は前記基準深度情報として挿入深度を設定し、
　前記画像編集処理部は、第１画像と第２画像を合成する処理として、前記第１画像の被写体と前記第２画像の被写体の一方又は両方のサイズを変更し、前記第１画像の画素の深度情報と挿入深度の比較結果に基づいて、前記第２画像の画素と前記第１画像に対する画素との前後関係を判定し、該判定結果に基づいて合成画像を生成する画像編集処理を行う
　上記（１）又は（２）に記載の画像処理装置。
　（１４）前記画像編集処理部は、前記第２画像からトリミングした被写体画像を、前記第１画像に合成する処理を行う
　上記（１３）に記載の画像処理装置。
　（１５）前記画像編集処理部は、前記第２画像からトリミングした被写体画像に対して、挿入深度に応じた画像エフェクト処理を行う
　上記（１３）又は（１４）に記載の画像処理装置。
　（１６）前記基準深度設定部は前記基準深度情報として複数の深度閾値を設定し、
　前記画像編集処理部は、処理対象とした画像において各深度閾値を用いて抽出した画素を平面化した画像を合成する画像編集処理を行う
　上記（１）又は（２）に記載の画像処理装置。
　（１７）前記画像編集処理部は、処理対象の画像の各画素の深度情報として、最小値から最大値の範囲内で、複数の深度閾値を設定する
　上記（１６）に記載の画像処理装置。
　（１８）前記基準深度設定部は前記基準深度情報として深度閾値を１又は複数設定し、
　前記画像編集処理部は、１又は複数の画像から、設定した１又は複数の深度閾値を用いて抽出して被写体画像を抽出し、抽出した被写体画像を合成する画像編集処理を行う
　上記（１６）に記載の画像処理装置。
　（１９）処理対象とした画像における画素の深度情報に対する比較基準となる基準深度情報を設定する基準深度設定手順と、
　前記基準深度情報と、処理対象とした画像の画素の深度情報を用いて画像編集処理を行う画像編集処理手順と、
　を情報処理装置が実行する画像処理方法。
　（２０）処理対象とした画像における画素の深度情報に対する比較基準となる基準深度情報を設定する基準深度設定ステップと、
　前記基準深度情報と、処理対象とした画像の画素の深度情報を用いて画像編集処理を行う画像編集処理ステップと、
　を情報処理装置に実行させるプログラム。

　１…画像処理装置、２…画像取得部、３…深度取得部、４…基準深度設定部、５…画像編集処理部、６…画像出力部、１０…操作部、１１…表示部、１２…通信部、１３…記憶部、１４…画像ソース、１００…情報処理装置、１０１…携帯端末、１０２…画面、１１０…スライダ、１１１…操作ボタン

Claims

　処理対象とした画像における画素の深度情報に対する比較基準となる基準深度情報を設定する基準深度設定部と、
　前記基準深度情報と、処理対象とした画像の画素の深度情報を用いて画像編集処理を行う画像編集処理部と、を備えた
　画像処理装置。
　前記基準深度設定部は、操作入力に応じて前記基準深度情報を設定する
　請求項１に記載の画像処理装置。
　前記基準深度設定部は前記基準深度情報として深度閾値を設定し、
　前記画像編集処理部は、処理対象とした画像の各画素の深度情報と深度閾値の比較結果に基づいて抽出した被写体のトリミング画像を生成する画像編集処理を行う
　請求項１に記載の画像処理装置。
　前記基準深度設定部は処理対象とした画像の全画素と比較する共通の深度閾値を設定する
　請求項３に記載の画像処理装置。
　前記基準深度設定部は、複数の深度閾値を設定し、
　前記画像編集処理部は、画素毎に、画素の深度情報と該画素に対応された深度閾値を比較する
　請求項３に記載の画像処理装置。
　前記画像編集処理部は、トリミングの対象となる被写体の情報を取得し、
　処理対象の画像の各画素について、深度閾値との比較結果と、トリミングの対象となる被写体の画素であるか否かの判定結果を用いてトリミング画像を生成する画像編集処理を行う
　請求項３に記載の画像処理装置。
　前記基準深度設定部は前記基準深度情報として深度閾値を設定し、
　前記画像編集処理部は、処理対象とした画像の各画素の深度情報と深度閾値の比較結果により、深度閾値より手前側もしくは奥側のうちの一方側と判定された画素を表示する画素とし、他方側と判定された画素の値を他の値に置換する処理を行う
　請求項１に記載の画像処理装置。
　前記画像編集処理部は、前記他方側と判定された画素の全てについて、画素値を、被写体を非表示とする値もしくは表示効果を付与する値に置換する画像編集処理を行う
　請求項７に記載の画像処理装置。
　前記画像編集処理部は、前記他方側と判定された画素について、他の画像の画素値に置換する画像編集処理を行う
　請求項７に記載の画像処理装置。
　前記基準深度設定部は前記基準深度情報として挿入深度を設定し、
　前記画像編集処理部は、第１画像に第２画像を合成する処理として、前記第１画像の各画素の深度情報と挿入深度の比較結果に基づいて、前記第２画像の画素と前記第１画像に対する画素との前後関係を判定し、該判定結果に基づいて合成画像を生成する画像編集処理を行う
　請求項１に記載の画像処理装置。
　前記画像編集処理部は、前記第２画像に対して、挿入深度に応じた画像エフェクト処理を行う
　請求項１０に記載の画像処理装置。
　前記基準深度設定部は前記基準深度情報として深度基準値を設定し、
　前記画像編集処理部は、処理対象とした画像の各画素について深度情報と深度基準値の比較結果に基づいて画像エフェクトレベルを設定し、処理対象とした画像に画像エフェクト処理を施す画像編集処理を行う
　請求項１に記載の画像処理装置。
　前記基準深度設定部は前記基準深度情報として挿入深度を設定し、
　前記画像編集処理部は、第１画像と第２画像を合成する処理として、前記第１画像の被写体と前記第２画像の被写体の一方又は両方のサイズを変更し、前記第１画像の画素の深度情報と挿入深度の比較結果に基づいて、前記第２画像の画素と前記第１画像に対する画素との前後関係を判定し、該判定結果に基づいて合成画像を生成する画像編集処理を行う
　請求項１に記載の画像処理装置。
　前記画像編集処理部は、前記第２画像からトリミングした被写体画像を、前記第１画像に合成する処理を行う
　請求項１３に記載の画像処理装置。
　前記画像編集処理部は、前記第２画像からトリミングした被写体画像に対して、挿入深度に応じた画像エフェクト処理を行う
　請求項１３に記載の画像処理装置。
　前記基準深度設定部は前記基準深度情報として複数の深度閾値を設定し、
　前記画像編集処理部は、処理対象とした画像において各深度閾値を用いて抽出した画素を平面化した画像を合成する画像編集処理を行う
　請求項１に記載の画像処理装置。
　前記画像編集処理部は、処理対象の画像の各画素の深度情報として、最小値から最大値の範囲内で、複数の深度閾値を設定する
　請求項１６に記載の画像処理装置。
　前記基準深度設定部は前記基準深度情報として深度閾値を１又は複数設定し、
　前記画像編集処理部は、１又は複数の画像から、設定した１又は複数の深度閾値を用いて抽出して被写体画像を抽出し、抽出した被写体画像を合成する画像編集処理を行う
　請求項１６に記載の画像処理装置。
　処理対象とした画像における画素の深度情報に対する比較基準となる基準深度情報を設定する基準深度設定手順と、
　前記基準深度情報と、処理対象とした画像の画素の深度情報を用いて画像編集処理を行う画像編集処理手順と、
　を情報処理装置が実行する画像処理方法。
　処理対象とした画像における画素の深度情報に対する比較基準となる基準深度情報を設定する基準深度設定ステップと、
　前記基準深度情報と、処理対象とした画像の画素の深度情報を用いて画像編集処理を行う画像編集処理ステップと、
　を情報処理装置に実行させるプログラム。