JP7677323B2 - 情報処理装置および方法、並びにプログラム - Google Patents

Description

本開示は、情報処理装置および方法、並びにプログラムに関し、特に、デプスマップを編集することができるようにした情報処理装置および方法、並びにプログラムに関する。

近年、左右２視点や多視点の視差画像からデプスマップを生成する画像処理技術に関して、様々な研究がされている（例えば、特許文献１参照）。例えば、パッシブセンシングのアルゴリズムのフレームワークは、マッチングコストを算出後、信頼度の高い情報を残す工夫を各自行い、修正を行いながら最終的にデプスマップを出力する方法が考えられた。また、信頼度の高い奥行マップを用いて、奥行不明画素のディスパリティ値を決定する手法も提案された。

国際公開第２０１４／０６４８７５号

ただし、生成されたデプスマップが常に完全に画像に正しく対応するとは限らない。本開示は、デプスマップを編集することができるようにするものである。

本技術の一側面の情報処理装置は、基本デプスマップの局所的な領域に付加するためのデプスデータにより構成されるアシストデプスマップを、UI（User Interface）として表示部に表示される前記基本デプスマップに対して入力される前記アシストデプスマップの生成に関するユーザ指示を受け付ける受付部からのユーザ指示情報に基づいて生成するアシストデプスマップ生成部と、前記基本デプスマップと、前記基本デプスマップに対応する画像とを重畳して重畳画像として前記表示部に出力する重畳処理部とを備える情報処理装置である。

本技術の一側面の情報処理方法は、基本デプスマップの局所的な領域に付加するためのデプスデータにより構成されるアシストデプスマップを、UI（User Interface）として表示部に表示される前記基本デプスマップに対して入力される前記アシストデプスマップの生成に関するユーザ指示を受け付ける受付部からのユーザ指示情報に基づいて生成することと、前記基本デプスマップと、前記基本デプスマップに対応する画像とを重畳して重畳画像として前記表示部に出力することとを含む情報処理方法である。

本技術の一側面のプログラムは、コンピュータを、基本デプスマップの局所的な領域に付加するためのデプスデータにより構成されるアシストデプスマップを、UI（User Interface）として表示部に表示される前記基本デプスマップに対して入力される前記アシストデプスマップの生成に関するユーザ指示を受け付ける受付部からのユーザ指示情報に基づいて生成するアシストデプスマップ生成部と、前記基本デプスマップと、前記基本デプスマップに対応する画像とを重畳して重畳画像として前記表示部に出力する重畳処理部として機能させるプログラムである。

本技術の一側面の情報処理装置および方法、並びにプログラムにおいては、基本デプスマップの局所的な領域に付加するためのデプスデータにより構成されるアシストデプスマップが、UI（User Interface）として表示部に表示される基本デプスマップに対して入力されるそのアシストデプスマップの生成に関するユーザ指示を受け付ける受付部からのユーザ指示情報に基づいて生成される。また、その基本デプスマップと、その基本デプスマップに対応する画像とが重畳して重畳画像として表示部に出力される。

撮像画像とデプスマップの例を示す図である。 コンピュータの主な構成例を示すブロック図である。 コンピュータにおいて実現される機能を示す機能ブロック図である。 デプス編集画面の例を示す図である。 エッジデプス生成の例を示す図である。 アシストデプス生成の例を示す図である。 デプス値設定の例を示す図である。 デプス値設定の例を示す図である。 レイヤ合成の例を示す図である。 出力デプスマップの例を示す図である。 シェイプ領域の補間の例を示す図である。 デプスマップの編集の際に実行される処理の流れの例を説明するフローチャートである。 シェイプ領域の生成の際に実行される処理の流れの例を説明するフローチャートである。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．デプスマップの編集
２．第１の実施の形態（コンピュータ）
３．付記

＜１．デプスマップの編集＞
＜デプスマップ＞
近年、左右２視点や多視点の視差画像からデプスマップを生成する画像処理技術に関して、様々な研究がされている（例えば、特許文献１参照）。例えば、パッシブセンシングのアルゴリズムのフレームワークは、マッチングコストを算出後、信頼度の高い情報を残す工夫を各自行い、修正を行いながら最終的にデプスマップを出力する方法が考えられた。また、信頼度の高い奥行マップを用いて、奥行不明画素のディスパリティ値を決定する手法も提案された。

ただし、生成されたデプスマップが常に完全に画像に正しく対応するとは限らない。例えば、パッシブセンシングで検出することが難しい被写体やテクスチャのない被写体のデプス値は正しく導出することが困難である。また、ノイズの影響を受けて正しくないデプス値が導出される場合が有り得る。

例えば、図１のＡに示される撮像画像１０は、人物１１やオブジェクト１２等を撮像した撮像画像である。人物１１は手前側（カメラ側）に位置する。白地は背景であり、最もカメラから遠い（例えば無限遠である）。オブジェクト１２等の、斜線、平行線、網掛け等で示される部分は、カメラから見て人物１１と背景との間に位置する。

図１のＢに示されるデプスマップ２０は、この撮像画像１０等から生成されたデプスマップであり、基本的に撮像画像１０に対応するデプス値により構成される。このデプスマップ２０において各画素は、デプス値が小さい程（つまり手前側（カメラ側）に位置する程）、より白に近くなり、デプス値が大きい程（つまり、奥側に位置する程）、より黒に近くなるように表現されている。つまり、このデプスマップ２０の、人物１１の部分は白、オブジェクト１２等の部分はグレー、背景の部分は黒で表現されている。

ただし、図１のＢにおいて枠２１で囲まれた領域の、オブジェクト１２と人物１１との間の部分は、背景の部分であるので本来黒で表現されるが、図１のＢにおいては、テクスチャが存在しないことにより、正確なデプス値が得られず、オブジェクト１２と同様のグレーで表現されている。

＜デプスマップの編集＞
そこで、デプスマップを編集することができるようにする。例えば、基本デプスマップに付加（合成）するためのデプスデータにより構成されるアシストデプスマップを生成する。例えば、情報処理装置において、アシストデプスマップ生成部を備え、そのアシストデプスマップ生成部が、基本デプスマップに付加（合成）するためのデプスデータにより構成されるアシストデプスマップを生成する。

ここで基本デプスマップは、ある画像の被写体のデプス値からなるデプスマップである。ただし、実際には、計測誤差等により実際の被写体の位置とは対応しない部分も含み得る。例えば、基本デプスマップは、その画像を用いたり、その画像の被写体までの距離を計測したりして生成される。

アシストデプスマップは、その基本デプスマップに付加（合成）するためのデプスデータにより構成されるデプスマップである。基本デプスマップに対してアシストデプスマップのデプスデータが付加される（合成される）ことにより、合成デプスマップが生成される。つまり、アシストデプスマップを用いて基本デプスマップの編集が行われ、合成デプスマップは、その編集結果である。つまり、このようにすることにより、デプスマップを編集することができる。

また、このように、基本デプスマップに付加されるアシスト情報をデプスマップとして形成することにより、デプスマップ同士を合成することによりデプスマップの編集を行うことができるので、より容易にデプスマップの編集を行うことができる。また、編集される被編集データ（基本デプスマップ）と、その編集に用いられる編集データ（アシストデプスマップ）とを分けて管理することができるので、編集内容の更新や、編集前のデプスマップの復元等の処理も容易に実現することができる。

なお、アシストデプスマップが、基本デプスマップの局所的な領域に付加（合成）するためのデプスデータにより構成されるようにしてもよい。例えば、アシストデプスマップが後述するシェイプ領域について構成されるようにしてもよい。このようにすることにより、基本デプスマップの任意の局所的な領域の編集をより容易に行うことができる。

以上のようなアシストデプスマップが、UI（User Interface）に基づいて入力される指示に基づいて生成されるようにしてもよい。例えば、情報処理装置において、アシストデプスマップ生成部が、UI（User Interface）を用いて入力されるアシストデプスマップの生成に関するユーザ指示を受け付ける受付部からのユーザ指示情報に基づいてアシストデプスマップを生成してもよい。このようにUIを用いることにより、アシストデプスマップの生成に関する指示の入力が容易になる。

なお、UIに表示された基本デプスマップに基づいて上述の指示が入力されるようにしてもよい。例えば、情報処理装置において、UIとして表示部に表示される基本デプスマップに対して入力されるユーザ指示を受付部が受け付けるようにしてもよい。このように表示された基本デプスマップに基づいて指示を入力することにより、アシストデプスマップの生成に関する指示の入力が容易になる。

また、基本デプスマップと、その基本デプスマップに対応する画像（後述するRGB画像）とが重畳されて表示されるようにしてもよい。例えば、情報処理装置において、重畳処理部が、基本デプスマップと、その基本デプスマップに対応する画像とを重畳して重畳画像として表示部に出力してもよい。デプスマップの場合、デプス値が互いに同一の領域は、互いに同一の色（同一の輝度）で表現されてしまうため、デプスマップだけでは、そのマップ内の各位置（フレーム内位置）が、そのデプスマップに対応する画像のどの位置（１画素、または、複数の画素からなる領域）に対応するかを正確に把握することが困難な場合もあり得る。例えば、奥行方向の互いに同一の位置（同じデプス値）に複数のオブジェクトが存在する場合、それらは１つのオブジェクトのように表現されてしまう可能性もある。

そこで、互いに対応する基本デプスマップと画像とを重畳して表示することにより、マップ内の各位置であるフレーム内位置をより容易に正しく識別することができ、デプスマップの編集をより容易に行うことができる。

また、デプスマップの（局所的な）編集が部分領域毎に行われるようにしてもよい。例えば、まず、その部分領域（シェイプ領域）を設定し、次に、そのシェイプ領域内のデプス値を設定するようにしてもよい。つまり、デプス値の編集を行う範囲を指定し、その指定した範囲内の領域のデプス値を設定するようにしてもよい。例えば、上述の受付部が、UIの表示部に表示される基本デプスマップに対して入力される、デプスデータを付加する付加範囲の指定と、その指定された付加範囲内の領域のデプス値の指定とを受け付けるようにしてもよい。このように部分領域毎に編集の指示が行われるようにすることにより、デプスマップの局所的な編集をより容易に行うことができる。

なお、部分領域（シェイプ領域）内の各画素のデプス値は、全画素共通（同一のデプス値）としてもよい。もちろん、部分領域（シェイプ領域）内に複数のデプス値が存在してもよい。例えば、部分領域（シェイプ領域）内の各画素のデプス値が、所定の規則性に従った値をとってもよい。例えば、部分領域（シェイプ領域）内において、カラーのグラデーションのように、デプス値が所定の方向に一様に変化するようにしてもよい。

また、その部分領域（シェイプ領域）内のデプス値の指定が、他の領域を選択することにより行われるようにしてもよい。例えば、ユーザ等が他の領域を指定すると、その指定されたフレーム内位置のデプス値が、処理対象の部分領域（シェイプ領域）内のデプス値として設定されるようにしてもよい。例えば、受付部が、表示部に表示される基本デプスマップの部分領域（シェイプ領域）の範囲外（付加範囲外）におけるフレーム内位置の指定を、その範囲内の領域のデプス値としてそのフレーム内位置のデプス値を指定するユーザ指示として受け付けるようにしてもよい。このようにすることにより、ユーザ等が部分領域（シェイプ領域）内のデプス値の指定をより容易に行うことができる。

また、基本デプスマップは、静止画像に対応してもよいが、動画像に対応してもよい。動画像に対応する場合、基本デプスマップは、動画像と同様に、時系列に沿った複数のフレーム（つまり、各フレーム画像に対応する基本デプスマップ群）により構成されるようにしてもよい。その場合、その基本デプスマップ群の内、動画像の一部のフレーム（後述するキーフレーム）に対応する基本デプスマップついてのみ、アシストデプスマップを生成するようにしてもよい。つまり、この場合、全フレームについてアシストデプスマップを生成しないので、より容易にデプスマップの編集を行うことができる。

そしてその場合、キーフレームに対して設定されたアシストデプスマップを用いて、他のフレームの基本デプスマップに対するアシストデプスマップが生成（補間）されるようにしてもよい。例えば、情報処理装置において、キーフレームのアシストデプスマップを用いて、キーフレーム間のフレームのアシストデプスマップを補間する補間処理部を備えるようにしてもよい。このようにすることにより、キーフレーム間のフレームに対応するアシストデプスマップをより容易に生成することができる。

また、アシストデプスマップを、基本デプスマップのレイヤと異なるレイヤとして生成するようにしてもよい。このようにレイヤを分けることにより、より容易に、基本デプスマップとアシストデプスマップとを、互いに独立したデータとして管理することができる。例えば、基本デプスマップを編集せずに、編集データとなるアシストデプスマップを生成（編集）することができる。また例えば、動画像の場合、アシストデプスマップのフレーム間での複製等の処理を容易に実現することができる。また、レイヤ構成とすることにより、マップの合成がより容易になる。

さらに、互いに異なるレイヤの基本デプスマップおよびアシストデプスマップを合成し、合成デプスマップを生成してもよい。例えば、情報処理装置において、互いに異なるレイヤの基本デプスマップおよびアシストデプスマップを合成することで、合成デプスマップを生成する合成デプスマップ生成部をさらに備えるようにしてもよい。このようにすることにより、最適化処理を行うことができる。

なお、その最適化処理の際に、基本デプスマップおよびアシストデプスマップが互いに同一のフレーム内位置のデプス値を有する場合、基本デプスマップのデプス値を使用して合成デプスマップを生成してもよい。つまり、例えば、同一の画素に基本デプスマップのデプス値とアシストデプスマップのデプス値とが存在する場合、アシストデプスマップのデプス値よりも基本デプスマップのデプス値を優先させてもよい。このようにすることにより、基本デプスマップにおいてデプス値が設定されていない（無効値である）部分に対してのみ、アシストデプスマップのデプス値が追加され、基本デプスマップにおいてデプス値が設定されている部分は、そのデプス値を変化させないようにすることができる。

このようにすることにより、例えば、基本デプスマップのデプス値との重なりを気にせずにシェイプ領域を設定することができる。特に動画像の場合、オブジェクトが移動する複数フレーム（基本デプスマップのデプス値の分布が変化する複数フレーム）においても、共通のアシストデプスマップを適用することができる。つまり、各フレームにおいて、その移動するオブジェクトに重畳しないようにシェイプ領域を変形させたり移動させたりする必要がないので、容易にアシストデプスマップを生成（編集）することができる。

なお、基本デプスマップは、デプス値の信頼度が比較的高い（例えば、信頼度が予め定められた所定の閾値以上である）フレーム内位置のデプス値により構成されるデプスマップとしてもよい。このようなデプスマップの場合、デプス値の信頼度が低い部分（例えばフレーム内でのテクスチャが少ない部分等）においては無効値が存在し得る。アシストデプスマップを用いて、そのような部分に対してデプス値を設定することにより、より信頼度の高いデプスマップを生成することができる。

そのデプス値の信頼度が比較的高いフレーム内位置は、基本デプスマップに対応する画像内の被写体のエッジ部分であり、基本デプスマップは、そのエッジ部分のデプス値により構成されるエッジデプスマップであるようにしてもよい。例えば、画像内の被写体のエッジ部分であるか否かを、信頼度の閾値としてもよい。その場合、アシストデプスマップを用いて、エッジデプスマップのエッジ部分でない部分（信頼度が閾値より低い部分）を編集することができる。なお、情報処理装置において、基本デプスマップとしてこのエッジデプスマップを生成する基本デプスマップ生成部をさらに備えるようにしてもよい。

さらに、基本デプスマップのデプス値を更新するための上書きデプスマップを生成してもよい。例えば、情報処理装置において、基本デプスマップのデプス値を更新するためのデプスデータにより構成される上書きデプスマップを生成する上書きデプスマップ生成部をさらに備えるようにしてもよい。このようにすることにより、基本デプスマップのデプス値を変更することができる。

この上書きデプスマップを、基本デプスマップのレイヤと異なるレイヤに生成してもよい。このようにすることにより、アシストデプスマップの場合と同様、より容易に、他のデプスマップと独立したデータとして上書きデプスマップを管理することができる。例えば、基本デプスマップを編集せずに、編集データとなる上書きデプスマップを生成（編集）することができる。また、レイヤ構成とすることにより、マップの合成がより容易になる。

例えば、基本デプスマップおよび上書きデプスマップの合成において、基本デプスマップおよび上書きデプスマップが互いに同一のフレーム内位置のデプス値を有する場合、上書きデプスマップのデプス値が用いられるようにしてもよい。例えば、情報処理装置において、合成デプスマップ生成部が、基本デプスマップおよび上書きデプスマップが互いに同一のフレーム内位置のデプス値を有する場合、上書きデプスマップのデプスを用いて、互いに異なるレイヤの基本デプスマップおよび上書きデプスマップを合成するようにしてもよい。このように最適化処理を行うことにより、例えば光の反射等により基本デプスマップに発生した不正なデプス値を修正することができる。

＜２．第１の実施の形態＞
＜コンピュータ＞
次に、以上のようなアプリケーションプログラムを実行するデバイスについて説明する。図２は、本技術を適用した画像処理装置の一実施の形態であるコンピュータの主な構成例を示す図である。図２に示されるコンピュータ１００は、デプスデータの編集を行うアプリケーションプログラム（ソフトウエア）をインストールし、実行する装置である。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。コンピュータ１００は、アプリケーションプログラムを実行することにより、例えば、＜１．デプスマップの編集＞において上述した各種方法によりデプスマップ（基本デプスマップ）の編集を行う。このようにすることにより、基本デプスマップを編集した合成デプスマップ（出力デプスマップ）を生成することができる。

なお、図２においては、処理部やデータの流れ等の主なものを示しており、図２に示されるものが全てとは限らない。つまり、コンピュータ１００において、図２においてブロックとして示されていない処理部が存在したり、図２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

図２に示されるコンピュータ１００において、CPU（Central Processing Unit）１０１、ROM（Read Only Memory）１０２、RAM（Random Access Memory）１０３は、バス１０４を介して相互に接続されている。

バス１０４にはまた、入出力インタフェース１１０も接続されている。入出力インタフェース１１０には、入力部１１１、出力部１１２、記憶部１１３、通信部１１４、およびドライブ１１５が接続されている。

入力部１１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部１１２は、例えば、モニタ、スピーカ、出力端子などよりなる。記憶部１１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部１１４は、例えば、ネットワークインタフェースよりなる。ドライブ１１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体１２１を駆動する。

以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１１３に記憶されているアプリケーションプログラムを、入出力インタフェース１１０およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。RAM１０３にはまた、CPU１０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ１００が実行するアプリケーションプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１２１に記録して適用することができる。その場合、アプリケーションプログラムは、リムーバブル記録媒体１２１をドライブ１１５に装着することにより、入出力インタフェース１１０を介して、記憶部１１３にインストールすることができる。

また、このアプリケーションプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、このアプリケーションプログラムは、通信部１１４で受信し、記憶部１１３にインストールすることができる。

その他、このアプリケーションプログラムは、ROM１０２や記憶部１１３に、あらかじめインストールしておくこともできる。

図３は、このコンピュータ１００においてこのアプリケーションプログラムを実行することにより実現される機能を機能ブロックとして示す機能ブロック図である。コンピュータ１００は、このアプリケーションプログラムを実行することにより、画像からデプスマップを生成し、編集する機能を実現する。

なお、その際、コンピュータ１００は、例えば特許文献１に記載のように、画像から信頼性が比較的高い部分のデプス値からなるデプスマップを生成し、そのデプスマップ等に基づいて信頼性が比較的低い部分のデプス値を推定することにより、その画像に対応するデプスマップを生成するものとする。このようにすることにより、より信頼度の高いデプスマップを生成することができる。

図３に示されるように、コンピュータ１００は、アプリケーションプログラムを実行することにより、GUI処理部１５１、ファイル取得部１５２、エッジデプス生成部１５３、最適化処理部１５４、ファイル出力部１５５、アシストデプス生成部１５６、上書きデプス生成部１５７、および表示画像生成部１５８等の機能ブロックを有することができる。各機能ブロックについて以下に説明する。

GUI処理部１５１は、出力部１１２（のモニタ等）に表示されるGUIに関する処理を行う。例えば、GUI処理部１５１は、出力部１１２（のモニタ等）に表示されるデプスマップを編集するためのGUIに基づいて入力部１１１が操作されると（例えば、指示が入力されると）、その受け付けられた操作（指示）に応じた処理を行うことができる。なお、本明細書において、このGUI処理部１５１と入力部１１１と出力部１１２のモニタとを合わせたものをUI（User Interface）とも称する。また、GUI処理部１５１と入力部１１１とを合わせたものを受付部とも称する。

ファイル取得部１５２は、ファイルの取得に関する処理を行う。例えば、ファイル取得部１５２は、編集を行うデプスマップに対応する画像（例えば撮像画像）のファイルを取得する。例えば、ファイル取得部１５２は、入力部１１１を介してコンピュータ１００の外部から入力される画像のファイルを取得し得る。また、ファイル取得部１５２は、記憶部１１３に記憶されている画像のファイルを取得し得る。さらに、ファイル取得部１５２は、通信部１１４を介して、他の装置から送信された画像のファイルを取得し得る。また、ファイル取得部１５２は、リムーバブル記録媒体１２１に記録されている画像のファイルを、ドライブ１１５を介して読み出し、取得することができる。ファイル取得部１５２は、任意の方法で取得した画像のファイルを、他の機能ブロックに供給する。

エッジデプス生成部１５３は、エッジデプスの生成に関する処理を行う。エッジデプスマップは、画像のエッジ付近のデプス値により構成されるデプスマップである。一般的に、画像のエッジ部分は、信頼性が比較的高いデプス値が得られる部分である。つまり、エッジデプス生成部１５３は、信頼性が比較的高いデプス値が得られる領域についてデプス値を導出し、そのデプス値を含むデプスマップ（エッジデプスマップ）を生成する。エッジデプス生成部１５３は、ファイル取得部１５２により取得された画像のファイルを用いて、その画像に対応するエッジデプスマップを生成する。

このエッジデプスマップが編集処理の対象となる。つまり、このエッジデプスマップが基本デプスマップとされる。なお、エッジデプスマップの、画像のエッジでない部分に対応する領域には、デプス値として無効値がセットされる。この無効値が設定された部分（つまり、奥行が不明な画素）のデプス値が推定されることにより、画像に対応するデプスマップ（出力デプスマップ）が生成される。なお、このデプス値を推定する処理を最適化処理（またはセミグローバル処理）とも称する。

最適化処理部１５４は、最適化処理に関する処理を行う。つまり、最適化処理部１５４は、エッジデプスマップの奥行が不明な画素について、デプス値の推定を行う。この推定方法は任意である。例えば、特許文献１に記載の方法を適用してもよい。最適化処理部１５４は、最適化処理を行うことにより、単層のデプスマップを生成する。このデプスマップを最終的な出力デプスマップとしてもよい。なお、最適化処理部１５４は、最適化処理を行うことにより、複数のレイヤのデプスマップを合成して出力デプスマップとしてもよい。

ファイル出力部１５５は、ファイルの出力に関する処理を行う。例えば、ファイル出力部１５５は、最適化処理部１５４により生成された出力デプスマップ（合成デプスマップ）を出力する。例えば、ファイル出力部１５５は、出力部１１２を介してその出力デプスマップをコンピュータ１００の外部に出力することができる。また、ファイル出力部１５５は、その出力デプスマップを記憶部１１３に記憶させることができる。さらに、ファイル出力部１５５は、その出力デプスマップを、通信部１１４を介して他の装置宛てに送信することができる。また、ファイル出力部１５５は、その出力デプスマップを、ドライブ１１５を介してリムーバブル記録媒体１２１に記録させることができる。

アシストデプス生成部１５６は、アシストデプスマップの生成に関する処理を行う。アシストデプスマップは、基本デプスマップに付加（合成）するためのデプスデータにより構成されるデプスマップであり、基本デプスマップを編集するためのデプスマップである。アシストデプス生成部１５６は、例えば、GUI処理部１５１等を介して受け付けられたユーザ等の指示に基づいてこのアシストデプスマップを生成する。

上書きデプス生成部１５７は、上書きデプスマップの生成に関する処理を行う。上書きデプスマップは、基本デプスマップのデプス値を更新するデプスデータにより構成されるデプスマップであり、基本デプスマップを編集するためのデプスマップである。上書きデプス生成部１５７は、例えば、GUI処理部１５１等を介して受け付けられたユーザ等の指示に基づいてこの上書きデプスマップを生成する。

表示画像生成部１５８は、出力部１１２（のモニタ等）に表示させる表示画像を生成する。例えば、表示画像生成部１５８は、表示画像として、デプスマップを編集するためのGUI（後述するデプス編集画面）を生成する。そして、表示画像生成部１５８は、生成した表示画像を出力部１１２（のモニタ等）に表示させる。

例えば、表示画像生成部１５８は、エッジデプス生成部１５３により生成されたエッジデプスマップ（基本デプスマップ）を用いて表示画像を生成することができる。例えば、表示画像生成部１５８は、そのエッジデプスマップ（基本デプスマップ）を含むデプス編集画面（エッジデプスマップが表示されるデプス編集画面）を生成することができる。また、表示画像生成部１５８は、アシストデプス生成部１５６により生成されたアシストデプスマップを用いて表示画像を生成することができる。例えば、表示画像生成部１５８は、そのアシストデプスマップを含むデプス編集画面（アシストデプスマップが表示されるデプス編集画面）を生成することができる。さらに、表示画像生成部１５８は、上書きデプス生成部１５７により生成された上書きデプスマップを用いて表示画像を生成することができる。例えば、表示画像生成部１５８は、その上書きデプスマップを含むデプス編集画面（上書きデプスマップが表示されるデプス編集画面）を生成することができる。

なお、表示画像生成部１５８は、エッジデプスマップ（基本デプスマップ）とそのエッジデプスマップに対応するRGB画像とを重畳した重畳画像を用いて表示画像（重畳画像を含むデプス編集画面）を生成することができる。なお、表示画像生成部１５８は、その重畳画像に、アシストデプスマップや上書きデプスマップをさらに重畳させることもできる。つまり、表示画像生成部１５８は、重畳処理部として機能し得る。

＜アシストデプス生成部＞
アシストデプス生成部１５６は、キーフレーム設定部１６１、シェイプ設定部１６２、および線形補間部１６３を有する。

キーフレーム設定部１６１は、キーフレームの設定に関する処理を行う。キーフレームは、動画像の、アシストデプスマップを生成するフレーム（つまり、エッジデプスマップを編集するフレーム）である。

シェイプ設定部１６２は、エッジデプスマップ（基本デプスマップ）に追加するデプス値を設定する部分領域（局所）であるシェイプ領域の生成に関する処理を行う。

線形補間部１６３は、キーフレーム間のフレームにおいて、アシストデプスマップ（シェイプ領域）を補間する。例えば、線形補間部１６３は、線形補間を行う。

シェイプ設定部１６２は、形状設定部１７１およびデプス値設定部１７２を有する。形状設定部１７１は、例えば、シェイプ領域の形状（外枠）の設定（付加範囲の設定）に関する処理を行う。例えば、形状設定部１７１は、GUI処理部１５１等を介して受け付けられたユーザ等の指示（すなわち、出力部１１２のモニタ（表示部）に表示される基本デプスマップに対して入力される、シェイプ領域の形状に関するユーザ指示）に基づいてこのシェイプ領域の形状（外枠）を生成する。デプス値設定部１７２は、形状設定部１７１により設定された付加範囲内のデプス値の設定に関する処理を行う。例えば、デプス値設定部１７２は、GUI処理部１５１等を介して受け付けられたユーザ等の指示（すなわち、出力部１１２のモニタ（表示部）に表示される基本デプスマップに対して入力される、シェイプ領域のデプス値に関するユーザ指示）に基づいて、そのシェイプ領域内のデプス値を設定する。

＜デプス編集画面＞
図３の表示画像生成部１５８により生成され、出力部１１２に表示されるデプスマップを編集するためのGUIの例を、図４に示す。図４に示されるデプス編集画面２００は、このデプスマップを編集するためのGUIの一例である。図４に示されるように、デプス編集画面２００は、デプスマップ表示部２０１、レイヤ編集部２０２、および最適化制御部２０３を有する。

デプスマップ表示部２０１には、編集対象のデプスマップ（編集されたデプスマップのプレビュー）が表示される。デプスマップ表示部２０１は、デプスマップが複数レイヤに形成される場合、各レイヤのデプスマップ（または一部のレイヤのデプスマップ）を重畳して表示する（透過表示する）こともできる。また、デプスマップ表示部２０１は、RGB画像とデプスマップとを重畳して表示する（透過表示する）こともできる。ここでRGB画像は、例えば輝度成分や色成分等よりなる、デプスマップでない、デプスマップに対応する画像である。例えば、撮像画像等である。なお、RGB画像は、RAW画像であってもよいし、YUV画像であってもよい。また、カラー画像であってもよいし、モノクローム画像であってもよい。なお、RAW画像やYUV画像である場合は、デプスマップ表示部２０１で表示するにあたってはRGB画像に変換された上で表示される。

レイヤ編集部２０２は、編集作業を行うレイヤ毎の操作を行う領域である。レイヤ編集部２０２は、レイヤ選択欄２１１およびタイムライン２１２を有する。レイヤ選択欄２１１は、編集作業を行うレイヤを選択（指定）するためのGUIである。タイムライン２１２は、動画像のシーケンスが左右方向に示されるGUIである。つまり、RGB画像、エッジデプスマップ、アシストデプスマップ、上書きデプスマップは、単数フレームの静止画像であってもよいし、複数フレームからなる動画像であってもよい。このタイムライン２１２において、例えばポインタ２１３の位置（左右方向の位置）を指定することにより、処理対象とするフレームが選択される。

最適化制御部２０３は、最適化処理のためのGUIである。最適化制御部２０３には、実行ボタン２３１、並びに、ファイル名入力欄２３２乃至ファイル名入力欄２３４が設けられている。ファイル名入力欄２３２には、最適化処理に用いる上書きデプスマップのファイル名が入力される。ファイル名入力欄２３３には、最適化処理に用いるアシストデプスマップのファイル名が入力される。ファイル名入力欄２３４には、最適化処理に用いるエッジデプスマップのファイル名が入力される。実行ボタン２３１を操作することにより、これらの入力欄に指定されたデプスマップが用いられて最適化処理が行われる。

＜エッジデプスマップの生成＞
エッジデプス生成部１５３は、例えば、図５のＡに示されるような撮像画像１０から、図５のＢに示されるようなエッジデプスマップ３０１を生成する。エッジデプスマップ３０１においては、撮像画像のエッジ付近のデプス値のみが設定される。それ以外の部分、すなわち、図５のＢのエッジデプスマップ３０１において黒色の部分の各画素には、無効値が設定されている。

このエッジデプスマップ３０１に対して、例えば図６のＡに示されるように、デプス値を追加する編集が行われる。図６のＡに示されるように、その際、シェイプ領域と称する部分領域が設定され、そのシェイプ領域毎にデプス値が設定される。つまり、デプス値の編集（追加）が局所的に（部分領域毎に）行われる。図６のＡの場合、シェイプ領域３１１が設定されている。

例えば、ユーザは、図４のデプス編集画面２００のデプスマップ表示部２０１において、図６のＡのように、シェイプ領域３１１の形状とデプス値を指定する。形状設定部１７１は、その指示に基づいてシェイプ領域３１１の形状を設定する。形状は任意である。ユーザがデプス編集画面２００において指定した通りの形状であってもよいし、直線、矩形、多角形等であってもよい。シェイプ領域３１１の形状が設定されると、デプス値設定部１７２は、その指示に基づいてデプス値を設定する。

このように設定されたシェイプ領域３１１は、図６のＢに示されるように、基本デプスマップであるエッジデプスマップ３０１とは異なる（レイヤの）アシストデプスマップ３２１として形成される。

なお、シェイプ領域３１１のデプス値の設定方法は任意である。ユーザ等が数値を入力してもよいし、デプス編集画面２００上で指定した位置（フレーム内位置）のデプス値を複製してもよい。

例えば、図７のＡに示されるように、エッジデプスマップ３３０の領域３３１のデプス値が１０、領域３３２のデプス値が２０、その他の領域が無効値であるとする。これに対して、図７のＢに示されるように、アシストデプスマップ３４０において、ユーザがカーソル３４１を操作して、シェイプ領域３４２の形状を設定する。次に、図７のＣに示されるように、エッジデプスマップ３３０において、ユーザがカーソル３４１を操作して、領域３３２内の画素を指定すると、その画素のデプス値（すなわち２０）が、図７のＤに示されるように、アシストデプスマップ３４０のシェイプ領域３４２にセットされる（複製される）。つまり、デプス値設定部１７２は、GUI処理部１５１等を介して受け付けられたユーザ等の指示（すなわち、領域３３２内の画素の指定）に基づいて、シェイプ領域３４２内のデプス値を、指定された領域３３２内の画素のデプス値に設定する。このようなGUIの機能（スポイド機能とも称する）を用いて、シェイプ領域のデプス値を設定することにより、ユーザはより容易にアシストデプスマップのデプス値の設定を行うことができる。

なお、デプスマップは、単数レイヤであってもよい。その場合、基本デプスマップであるエッジデプスマップ３３０が編集される。つまり、図８に示されるように、ユーザがエッジデプスマップ３３０の無効値の領域に、シェイプ領域３４２の形状を設定し、領域３３２の画素を指定すると、そのデプス値がシェイプ領域３４２に複製される。この場合も、デプス値設定部１７２は、GUI処理部１５１等を介して受け付けられたユーザ等の指示（すなわち、領域３３２内の画素の指定）に基づいて、シェイプ領域３４２内のデプス値を、指定された領域３３２内の画素のデプス値に設定する。つまり、同一のデプスマップ内で複製が行われる。

エッジデプスマップ３３０のデプス値を編集する場合、上書きデプスマップを用いてもよい。例えば、撮影時のノイズや細やかな絵柄の被写体の影響でエッジデプスマップに本来意図しないエラーが発生した場合、上書きデプスマップのデプス値を用いてそのエラーを修正するようにしてもよい。

最適化処理により、エッジデプスマップ、アシストデプスマップ、上書きデプスマップが合成される。これらのマップは、互いに異なるレイヤとして形成してもよい。その場合、最適化処理により、図９のＡに示されるように、各レイヤが重畳されて合成される。図９のＡにおいて、上書きデプスレイヤ３５１は、上書きデプスマップのレイヤである。エッジデプスレイヤ３５２は、エッジデプスマップのレイヤである。アシストデプスレイヤ３５３は、アシストデプスマップのレイヤである。

上書きデプスレイヤ３５１は、最適化処理の際に最も優先される。このレイヤの各画素の初期値は無効値またはエッジデプスレイヤ３５２と同じ値をとる。エッジデプスレイヤ３５２は、最適化処理の際にアシストデプスレイヤよりも優先される。アシストデプスレイヤ３５３は、最も優先度の低いレイヤである。このレイヤに書き込まれた値は、上書きデプスレイヤ３５１およびエッジデプスレイヤ３５２の値が無効値の場合のみ、採用される。初期値は、無効値またはエッジデプスレイヤと同じ値をとる。

つまり、最適化処理により、各レイヤが合成され、各レイヤのデプス値が、図９のＡに示される矢印のように、図中上から見たように重畳される。つまり、図９のＢに示されるように重畳された出力デプスマップ３５４が生成される。つまり、アシストデプスレイヤ３５３のデプス値は、上書きデプスレイヤ３５１およびエッジデプスレイヤ３５２の両方において無効値である領域のみに作用する。なお、デプスマップは、単層構造としてもよい。

このような最適化処理により生成される合成デプスマップ（出力デプスマップ）の例を図１０に示す。図１０に示される出力デプスマップ３６０において、枠２１で囲まれた領域の、オブジェクト１２と人物１１との間の部分が黒で表現されている。つまり、図１のＢのデプスマップ２０において誤った値であったデプス値が正しい値に修正されている。このように、デプスマップを編集することができる。

なお、動画像の場合、書き込まれたシェイプ領域のフレーム内位置を変える必要がない場合は、そのままでよく、変える必要がある場合は、例えばキーフレームとしてシェイプ領域を入力する。例えば、図１１に示されるように、キーフレームを1フレーム目と30フレーム目とし、シェイプ領域を入力した場合、最適化処理時は、設定されたキーフレームから各レイヤのフレーム毎のシェイプ領域の移動量を算出し、最適化処理を行うようにしてもよい。このようにすることにより、比較的簡単に修正指示を与えることが可能になる。また、フレーム間のシェイプ領域の移動量は線形処理で算出してもよいし、画面全体の動き量に追従するような非線形処理で算出してもよい。

図１１の例の場合、フレームＸがキーフレームに設定され、シェイプ領域３７１が設定されている。また、フレームＸ＋３０がキーフレームに設定され、シェイプ領域３７２が設定されている。これらのキーフレームに基づいて、フレームＸ＋１５において、シェイプ領域３７１およびシェイプ領域３７２の中間の位置（フレーム内位置）にシェイプ領域３７３が補間される。

また最適化処理のアルゴリズムは、特許文献１に記載の様に、デプス値のみの参照でもよく、例えば、Jonathan T Barron and Ben Poole, "The fast bilateral solver", ECCV,2016（非特許文献２と称する）に記載のように入力されたRGB値とデプス値をガイドに最適化処理を行っても良い。

以上のような構成を有することにより、＜１．デプスマップの編集＞において説明したように、デプスマップの編集を行うことができる。

＜処理の流れ＞
次に、デプスマップの編集の際に実行される処理の流れの例を、図１２のフローチャートを参照して説明する。

処理が開始されると、ファイル取得部１５２は、ステップＳ１０１において、ファイルを読み込み、RGB画像を取得する。ステップＳ１０２において、エッジデプス生成部１５３は、各フレームのエッジデプスを生成する。

ステップＳ１０３において、アシストデプス生成部１５６は、フレームが選択されたか否かを判定する。フレームが選択されたと判定された場合、処理はステップＳ１０４に進む。また、ステップＳ１０４において、キーフレーム設定部１６１は、そのフレームをキーフレームにするか否かを判定する。キーフレームにすると判定された場合、処理はステップＳ１０５に進む。

ステップＳ１０５において、キーフレーム設定部１６１は、そのフレームをキーフレームに設定する。ステップＳ１０６において、シェイプ設定部１６２は、そのフレームにシェイプ領域を生成する。

ステップＳ１０６の処理が終了すると処理はステップＳ１０７に進む。また、ステップＳ１０４において、そのフレームをキーフレームにしないと判定された場合、処理はステップＳ１０７に進む。

ステップＳ１０７において、上書きデプス生成部１５７は、上書きデプスマップを編集するか否かを判定する。上書きデプスマップを編集すると判定された場合、処理はステップＳ１０８に進む。ステップＳ１０８において、上書きデプス生成部１５７は、上書きデプスマップを編集する。

ステップＳ１０８の処理が終了すると、処理はステップＳ１０９に進む。また、ステップＳ１０７において、上書きデプスマップを編集しないと判定された場合、処理はステップＳ１０９に進む。さらに、ステップＳ１０３において、フレームが選択されてないと判定された場合、処理はステップＳ１０９に進む。

ステップＳ１０９において、アシストデプス生成部１５６は、デプスマップの編集を終了するか否かを判定する。デプスマップの編集を継続すると判定された場合、処理はステップＳ１０３に戻り、それ以降の処理を繰り返す。また、ステップＳ１０９において、デプスマップの編集を終了すると判定された場合、処理はステップＳ１１０に進む。

ステップＳ１１０において、線形補間部１６３は、キーフレームが複数存在するか否かを判定する。存在すると判定された場合、処理はステップＳ１１１に進む。ステップＳ１１１において、線形補間部１６３は、アシストデプスマップ（シェイプ領域）の補間（例えば線形補間）を行い、キーフレーム間の他のフレームにアシストデプスマップ（シェイプ領域）を生成する。

ステップＳ１１１の処理が終了すると、処理はステップＳ１１２に進む。また、ステップＳ１１２においてキーフレームが複数存在しないと判定された場合、処理はステップＳ１１２に進む。

ステップＳ１１２において、最適化処理部１５４は、最適化処理を行い、単層構造の出力デプスマップを生成する。ステップＳ１１３において、ファイル出力部１５５は、その生成された出力デプスマップを出力する。

次に、ステップＳ１０６において実行される、シェイプ領域の生成の際に実行される処理の流れの例を図１３のフローチャートを参照して説明する。

処理が開始されると、シェイプ設定部１６２の形状設定部１７１は、ステップＳ１３１において、シェイプ領域の範囲（外形）を設定する。ステップＳ１３２において、デプス値設定部１７２は、ステップＳ１３１において設定された範囲内の領域にデプス値を設定する。

ステップＳ１３３において、シェイプ設定部１６２は、処理を終了するか否かを判定する。処理を終了しない、すなわち、他のシェイプ領域の設定を行うと判定された場合、処理はステップＳ１３１に戻り、それ以降の処理を繰り返す。また、ステップＳ１３３において、処理を終了すると判定された場合、処理は図１２に戻る。

以上のように各処理を実行することにより、＜１．デプスマップの編集＞において説明したように、デプスマップの編集を行うことができる。

＜３．付記＞
＜ハードウエア＞
上述した一連の処理は、ソフトウエア（アプリケーションプログラム）により実行させることもできるし、ハードウエアにより実行させることもできる。

＜本技術の適用対象＞
本技術は、任意の構成に適用することができる。例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、または、ユニットにさらにその他の機能を付加したセット等、装置の一部の構成として実施することもできる。

また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対してサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

＜その他＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） 基本デプスマップに付加するためのデプスデータにより構成されるアシストデプスマップを生成するアシストデプスマップ生成部
を備える情報処理装置。
（２） 前記アシストデプスマップは、前記基本デプスマップの局所的な領域に付加するための前記デプスデータにより構成される
（１）に記載の情報処理装置。
（３） 前記アシストデプスマップ生成部は、UI（User Interface）を用いて入力される前記アシストデプスマップの生成に関するユーザ指示を受け付ける受付部からのユーザ指示情報に基づいて前記アシストデプスマップを生成する
（２）に記載の情報処理装置。
（４） 前記受付部は、前記UIとして表示部に表示される前記基本デプスマップに対して入力される前記ユーザ指示を受け付ける
（３）に記載の情報処理装置。
（５） 前記基本デプスマップと、前記基本デプスマップに対応する画像とを重畳して重畳画像として前記表示部に出力する重畳処理部をさらに備える
（４）に記載の情報処理装置。
（６） 前記受付部は、前記表示部に表示される前記基本デプスマップに対して入力される、
デプスデータを付加する付加範囲の指定と、
指定された前記付加範囲内の領域のデプス値の指定と
を受け付ける
（４）または（５）に記載の情報処理装置。
（７） 前記受付部は、前記表示部に表示される前記基本デプスマップの前記付加範囲外におけるフレーム内位置の指定を、前記付加範囲内の領域のデプス値として前記フレーム内位置のデプス値を指定する前記ユーザ指示として受け付ける
（６）に記載の情報処理装置。
（８） 前記アシストデプスマップ生成部は、動画像のキーフレームについて、前記アシストデプスマップを生成する
（２）乃至（７）のいずれかに記載の情報処理装置。
（９） 前記キーフレームの前記アシストデプスマップを用いて、前記キーフレーム間のフレームの前記アシストデプスマップを補間する補間処理部をさらに備える
（８）に記載の情報処理装置。
（１０） 前記アシストデプスマップ生成部は、前記アシストデプスマップを、前記基本デプスマップのレイヤと異なるレイヤとして生成する
（１）乃至（９）のいずれかに記載の情報処理装置。
（１１） 互いに異なるレイヤの前記基本デプスマップおよび前記アシストデプスマップを合成することで、合成デプスマップを生成する合成デプスマップ生成部をさらに備える
（１０）に記載の情報処理装置。
（１２） 前記合成デプスマップ生成部は、前記基本デプスマップおよび前記アシストデプスマップが互いに同一のフレーム内位置のデプス値を有する場合、前記基本デプスマップのデプス値を使用して前記合成デプスマップを生成する
（１１）に記載の情報処理装置。
（１３） 前記基本デプスマップは、デプス値の信頼度が閾値以上のフレーム内位置のデプス値により構成される
（１２）に記載の情報処理装置。
（１４） 前記信頼度の閾値は、画像内の被写体のエッジ部分であると判定する閾値であり、
前記基本デプスマップは、前記エッジ部分のデプス値により構成されるエッジデプスマップである
（１３）に記載の情報処理装置。
（１５） 前記基本デプスマップとして前記エッジデプスマップを生成する基本デプスマップ生成部をさらに備える
（１４）に記載の情報処理装置。
（１６） 前記基本デプスマップのデプス値を更新するためのデプスデータにより構成される上書きデプスマップを生成する上書きデプスマップ生成部をさらに備える
（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７） 前記上書きデプスマップ生成部は、前記上書きデプスマップを、前記基本デプスマップのレイヤと異なるレイヤに生成する
（１６）に記載の情報処理装置。
（１８） 前記基本デプスマップおよび前記上書きデプスマップが互いに同一のフレーム内位置のデプス値を有する場合、前記上書きデプスマップのデプス値を用いて、互いに異なるレイヤの前記基本デプスマップおよび前記上書きデプスマップを合成する合成デプスマップ生成部をさらに備える
（１７）に記載の情報処理装置。
（１９） 基本デプスマップに付加するためのデプスデータにより構成されるアシストデプスマップを生成する
情報処理方法。
（２０） コンピュータを、
基本デプスマップに付加するためのデプスデータにより構成されるアシストデプスマップを生成するアシストデプス生成部
として機能させるプログラム。

１００ コンピュータ， １５１ GUI処理部， １５２ ファイル取得部， １５３ エッジデプス生成部， １５４ 最適化処理部， １５５ ファイル出力部， １５６ アシストデプス生成部， １５７ 上書きデプス生成部， １５８ 表示画像生成部， １６１ キーフレーム設定部， １６２ シェイプ設定部， １６３ 線形補間部， １７１ 形状設定部， １７２ デプス値設定部， ２００ デプス編集画面， ２０１ デプスマップ表示部， ２０２ レイヤ編集部， ２０３ 最適化制御部， ２１１ レイヤ選択欄， ２１２ タイムライン， ２３１ 実行ボタン， ２３２乃至２３４ ファイル名入力欄， ３０１ エッジデプス， ３１１ シェイプ領域， ３２１ アシストデプス， ３５１ 上書きデプスレイヤ， ３５２ エッジデプスレイヤ， ３５３ アシストデプスレイヤ， ３５４ 出力レイヤ， ３６０ 出力デプスマップ

Claims (16)

1. 基本デプスマップの局所的な領域に付加するためのデプスデータにより構成されるアシストデプスマップを、UI（User Interface）として表示部に表示される前記基本デプスマップに対して入力される前記アシストデプスマップの生成に関するユーザ指示を受け付ける受付部からのユーザ指示情報に基づいて生成するアシストデプスマップ生成部と、
   前記基本デプスマップと、前記基本デプスマップに対応する画像とを重畳して重畳画像として前記表示部に出力する重畳処理部と
   を備える情報処理装置。
2. 前記受付部は、前記表示部に表示される前記基本デプスマップに対して入力される、
   デプスデータを付加する付加範囲の指定と、
   指定された前記付加範囲内の領域のデプス値の指定と
   を受け付ける
   請求項１に記載の情報処理装置。
3. 前記受付部は、前記表示部に表示される前記基本デプスマップの前記付加範囲外におけるフレーム内位置の指定を、前記付加範囲内の領域のデプス値として前記フレーム内位置のデプス値を指定する前記ユーザ指示として受け付ける
   請求項２に記載の情報処理装置。
4. 前記アシストデプスマップ生成部は、動画像のキーフレームについて、前記アシストデプスマップを生成する
   請求項１に記載の情報処理装置。
5. 前記キーフレームの前記アシストデプスマップを用いて、前記キーフレーム間のフレームの前記アシストデプスマップを補間する補間処理部をさらに備える
   請求項４に記載の情報処理装置。
6. 前記アシストデプスマップ生成部は、前記アシストデプスマップを、前記基本デプスマップのレイヤと異なるレイヤとして生成する
   請求項１に記載の情報処理装置。
7. 互いに異なるレイヤの前記基本デプスマップおよび前記アシストデプスマップを合成することで、合成デプスマップを生成する合成デプスマップ生成部をさらに備える
   請求項６に記載の情報処理装置。
8. 前記合成デプスマップ生成部は、前記基本デプスマップおよび前記アシストデプスマップが互いに同一のフレーム内位置のデプス値を有する場合、前記基本デプスマップのデプス値を使用して前記合成デプスマップを生成する
   請求項７に記載の情報処理装置。
9. 前記基本デプスマップは、デプス値の信頼度が閾値以上のフレーム内位置のデプス値により構成される
   請求項８に記載の情報処理装置。
10. 前記信頼度の閾値は、画像内の被写体のエッジ部分であると判定する閾値であり、
    前記基本デプスマップは、前記エッジ部分のデプス値により構成されるエッジデプスマップである
    請求項９に記載の情報処理装置。
11. 前記基本デプスマップとして前記エッジデプスマップを生成する基本デプスマップ生成部をさらに備える
    請求項１０に記載の情報処理装置。
12. 前記基本デプスマップのデプス値を更新するためのデプスデータにより構成される上書きデプスマップを生成する上書きデプスマップ生成部をさらに備える
    請求項１に記載の情報処理装置。
13. 前記上書きデプスマップ生成部は、前記上書きデプスマップを、前記基本デプスマップのレイヤと異なるレイヤに生成する
    請求項１２に記載の情報処理装置。
14. 前記基本デプスマップおよび前記上書きデプスマップが互いに同一のフレーム内位置のデプス値を有する場合、前記上書きデプスマップのデプス値を用いて、互いに異なるレイヤの前記基本デプスマップおよび前記上書きデプスマップを合成する合成デプスマップ生成部をさらに備える
    請求項１３に記載の情報処理装置。
15. 基本デプスマップの局所的な領域に付加するためのデプスデータにより構成されるアシストデプスマップを、UI（User Interface）として表示部に表示される前記基本デプスマップに対して入力される前記アシストデプスマップの生成に関するユーザ指示を受け付ける受付部からのユーザ指示情報に基づいて生成することと、
    前記基本デプスマップと、前記基本デプスマップに対応する画像とを重畳して重畳画像として前記表示部に出力することと
    を含む情報処理方法。
16. コンピュータを、
    基本デプスマップの局所的な領域に付加するためのデプスデータにより構成されるアシストデプスマップを、UI（User Interface）として表示部に表示される前記基本デプスマップに対して入力される前記アシストデプスマップの生成に関するユーザ指示を受け付ける受付部からのユーザ指示情報に基づいて生成するアシストデプスマップ生成部と、
    前記基本デプスマップと、前記基本デプスマップに対応する画像とを重畳して重畳画像として前記表示部に出力する重畳処理部
    として機能させるプログラム。

Images