JP2019087997A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】多視点画像を用いた画像処理の自由度を確保しつつ、多視点画像のデータ量を削減する技術を提供すること。【解決手段】複数の視差画像の加減算に基づく複数の差分画像と、複数の視差画像の加算に基づく加算画像とを、高帯域成分を含むサブバンドと高帯域成分を含まないサブバンドとを含む、複数のサブバンドに分割する。複数の差分画像と加算画像とを符号化する際、複数の差分画像については高帯域成分を含むサブバンドのデータを符号化し、加算画像については複数のサブバンドのデータを符号化する。【選択図】図１

Description

本発明は画像処理装置および画像処理方法に関し、特には複数視点の画像に関する画像処理技術に関する。

ステレオ撮影やマルチアングル撮影など、被写体を複数の視点位置から撮影することで得られる画像（多視点画像）は、立体視の提供や、視点や合焦距離を変更した画像の生成などに用いられている。多視点画像は視点の数に等しいフレーム数の画像群であるため、データ量も視点の数とともに増加する。

特許文献１では、多視点画像を構成する複数の画像（サブイメージ）のデータをすべて送信する代わりに、サブイメージを加算平均した画像のデータと、各サブイメージ内の関心領域（ＲＯＩ）のデータを送信することが開示されている。

特開２０１５−１７１０９７号公報

特許文献１に開示された技術によれば、送信データ量を削減しつつ、ＲＯＩに関するリフォーカスを実現できる。しかしながら、リフォーカス可能な画像領域がＲＯＩに制限されるという課題がある。

本発明の目的は、多視点画像を用いた画像処理の自由度を確保しつつ、多視点画像のデータ量を削減する技術を提供することにある。

上述の目的は、複数の視差画像の加減算に基づく複数の差分画像と、複数の視差画像の加算に基づく加算画像とを、高帯域成分を含むサブバンドと高帯域成分を含まないサブバンドとを含む、複数のサブバンドに分割する分割手段と、複数の差分画像と加算画像とを符号化する符号化手段と、を有し、符号化手段は、複数の差分画像については高帯域成分を含むサブバンドについて符号化し、加算画像については複数のサブバンドについて符号化する、ことを特徴とする画像処理装置によって達成される。

本発明によれば、多視点画像を用いた画像処理の自由度を確保しつつ、多視点画像のデータ量を削減する技術を提供することができる。

実施形態に係る画像処理装置の一例としてのデジタルカメラの機能構成を示したブロック図 実施形態に係るデジタルカメラの撮像部に関する図 実施形態に係る撮像部の画像圧縮部の機能構成に関する図 実施形態に係る画像圧縮部が実行するサブバンド分割に関する図 実施形態に係る画像圧縮部が有するウェーブレット変換部に関する図 実施形態に係る画像処理部の機能構成に関する図 実施形態に係る画像処理部の別の機能構成に関する図 実施形態に係る画像圧縮部の別の機能構成に関する図 図８の詳細に関する図 実施形態に係る画像処理部の別の機能構成に関する図 図１２の詳細に関する図 第２実施形態に係るデジタルカメラの撮像部および画像圧縮部に関する図 第２実施形態における撮影動作およびリフォーカス動作に関するフローチャート 第２実施形態に係るデジタルカメラの画像処理部の機能構成に関する図 第３実施形態における撮影動作およびリフォーカス動作に関するフローチャート 第３実施形態における撮影動作に関するフローチャート 第４実施形態に係るデジタルカメラの撮像部の機能構成および動作に関する図 第４実施形態に係るデジタルカメラの画像処理部の機能構成および動作に関する図 第５実施形態に係るデジタルカメラの撮像部の機能構成に関する図 第５実施形態に係るデジタルカメラの画像処理部の機能構成に関する図

以下、添付図面を参照して、本発明の例示的な実施形態を詳細に説明する。なお、本発明は説明する実施形態に限定されない。また、実施形態で説明される構成要素の全てが本発明に必須とは限らない。実施形態における個々の機能ブロックは、プログラマブルロジックや回路部品といったハードウェア、プログラマブルプロセッサが実行可能なソフトウェア、またはそれらハードウェアとソフトウェアとの組み合わせによって実現することができる。また、１つの機能ブロックは複数のハードウェアで実現されてもよい。また、１つのハードウェアが複数の機能ブロックを実現してもよい。また、１つ以上の機能ブロックは、１つ以上のプログラマブルプロセッサ（ＣＰＵ、ＭＰＵなど）がメモリに読み込まれたコンピュータプログラムを実行することにより実現されてもよい。

以下では、画像処理装置の一例としてのデジタルカメラに本発明を適用した実施形態を説明する。しかし、本発明は多視点画像を取り扱い可能な任意の電子機器に適用することが可能である。このような電子機器には、撮像装置をはじめ、コンピュータ、スマートフォン、タブレット端末、ゲーム機などの情報処理装置、家電製品、ロボットなどが含まれるが、これらに限定されない。

●（第１実施形態）
図１は、本実施形態に係るデジタルカメラ１００の機能構成例を示すブロック図である。制御部１０１は、例えば１つ以上のプログラマブルプロセッサ（ＣＰＵ、ＭＰＵ）である。制御部１０１は、例えばＲＯＭ１０２に記憶されたプログラムをＲＡＭ１０３に読み込んで実行することにより、デジタルカメラ１００の各機能ブロックの動作を制御し、デジタルカメラ１００の機能を実現する。

ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、制御部１０１が実行可能なプログラムのほか、各種の設定値、ＧＵＩデータなどを記憶する。
ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、プログラムを実行するためにシステムメモリとして用いられたり、データの一時的な記憶領域（バッファメモリ）として用いられたりする。

光学系１０４は、複数のレンズや絞りなどを有し、被写体の光学像を撮像部１０５の撮像面上に形成する。光学系１０４は着脱可能であってもなくてもよい。光学系１０４は、フォーカスレンズ、変倍レンズ、手振れ補正レンズなどの可動レンズと、可動レンズを駆動する機構を有する。

撮像部１０５は、画素部やその周辺回路（例えば、読み出し回路、Ａ／Ｄコンバータ、符号化回路など）を有する。後述するように、本実施形態の撮像部１０５は画像データを２次元サブバンド符号化してＲＡＭ１０３に一次記憶する。

画像処理部１０７は、ＲＡＭ１０３に記憶されている符号化データを復号したり、復号で得られた画像データに対してホワイトバランス調整、色補間、縮小／拡大、フィルタリングなど、様々な画像処理を適用したりする。画像処理部１０７は一般にＡＳＩＣによって実装されるが、一部の処理を制御部１０１がプログラムを実行して実現してもよい。画像処理部１０７は処理を適用した画像データをＲＡＭ１０３に再度記憶する。なお、画像処理部１０７は、自動焦点検出（ＡＦ）や自動露出制御（ＡＥ）に用いる情報を画像データから取得する処理を実施してもよい。

制御部１０１は、撮像部１０５が出力する符号化データや、画像処理部１０７によって処理された画像データから画像ファイルを生成し、記録媒体１０８に記録する。画像処理部１０７が画像データに適用する処理と、制御部１０１が生成する画像ファイルの構成は、記録形式に応じて予め定められている。記録媒体１０８は例えば着脱可能なメモリカードである。

操作部１０９はユーザがデジタルカメラ１００に指示を与えるための入力デバイスの総称である。シャッターボタン、動画撮影・一時停止ボタン、電源ボタン、メニューボタン、方向キー、決定ボタンなどが操作部１０９に含まれる。制御部１０１は操作部１０９に対する操作を監視し、検出された操作に応じた動作を実行する。

表示部１１０は例えばＬＣＤやＯＬＥＤであり、デジタルカメラ１００の各種情報、撮像画像、ＧＵＩ（メニュー画面など）を表示する。表示部１１０はタッチパネルディスプレイであってもよく、この場合タッチパネルは操作部１０９に含まれる。

図２（ａ）は、撮像部１０５の機能構成例を示すブロック図である。画素部２０１は光学像をアナログ画像信号に変換し、Ａ／Ｄ変換部２０２に出力する。Ａ／Ｄ変換部２０２は、アナログ画像信号をＡ／Ｄ変換し、画像データとして画像圧縮部２０３に出力する。画像圧縮部２０３のラインバッファを節約するため、画像データは図２（ｂ）に示すようなタイル（Ｔ１、Ｔ２、Ｔ３、・・・）単位で出力される。画像圧縮部２０３は、画像を２次元サブバンド分割し、特定の帯域成分を符号化する。

本実施形態では、撮像部１０５は、画素部２０１を第１層（第１半導体基板）、画像圧縮部２０３を第２層（第２半導体基板）として積層配置され、少なくとも１以上の貫通電極により互いに電気的に接続されて１つのチップで構成されているものとする。このように、本実施形態において画像圧縮部２０３がチップ内に組み込まれているのは、省電力と高速処理、低コスト設計のためである。画素部２０１がチップ内の基板に、画像圧縮部２０３がチップ外の基板に配置されると、配線の抵抗成分や容量成分が多くなる。そのため、同一チップ内の配線による通信に比べて低速になる。通信を高速にするには、信号波形品質を保つためアンプで駆動する必要があり、駆動電力を上げなければならない。一方、画素部２０１と画像圧縮部２０３とがいずれも同一チップ内の半導体基板に配置されることにより、出力配線が短く済み、アンプも省くことができる。加えて、撮像部１０５から出力される符号化データ量が少ないため、撮像部１０５と、制御部１０１や画像処理部１０７との通信時間が短くなり、処理速度の増加や処理負荷の低減、消費電力の低下を図ることができる。

図２（ｃ）は、画素部２０１の画素構成および配列の例を示す模式図である。画素部２０１には複数の画素４０６が水平および垂直方向に２次元配置されている。個々の画素４０６は、１つのマイクロレンズ４０５と４つの光電変換部４０１、４０２、４０３、４０４を有する。１つのマイクロレンズ４０５を共有する４つの光電変換部４０１〜４０４は、光学系１０４の射出瞳のうち、互いに異なる部分瞳領域を通過した光束を受光する。従って、複数の画素４０６について、光電変換部４０１群、光電変換部４０２群、光電変換部４０３群、光電変換部４０４群から独立してアナログ画像信号を得ることにより、１回の露光または撮影により４つの視差画像を得ることができる。４つの視差画像は、互いに視点が異なる複数の画像であるため、多視点画像と呼ぶことができる。

本実施形態においては、多視点画像を構成する視差画像のうち、光電変換部４０１群で得られる画像をＡ像、光電変換部４０２群で得られる画像をＢ像、光電変換部４０３群で得られる画像をＣ像、光電変換部４０４群で得られる画像をＤ像、と呼ぶ。

図３は、図２（ａ）の画像圧縮部２０３の機能構成例を示すブロック図である。加算部５０１は、Ａ像〜Ｄ像をシフト量０で加算し、各画素値を平均（１／４）することにより、加算画像（Ａ＋Ｂ＋Ｃ＋Ｄ）を生成する。ここでは、加算画像を多視点画像の平均画像としたが、平均画像でなくてもよい。例えば、画素値を単純加算して加算画像を生成し、多視点画像を構成する複数の視差画像の画素値の範囲を加算画像の画素値の範囲に整合するように補正してもよい。本明細書において、画像Ａ＋Ｂは、Ａ像とＢ像との加算に基づく画像、もしくはそれと同等の画像を意味する。つまり、光電変換部４０１から得られる信号群と光電変換部４０２から得られる信号群の加算に基づく画像であっても、光電変換部４０１と４０２とを合わせたものと同等の１つの光電変換部から得られる信号群からなる画像であってもよい。画像間の減算に関しても同様であり、画像の減算を実際に行ってもよいし、減算結果に対応する画像を取得してもよい。

減算部５２１はＡ−Ｂ＋Ｃ−Ｄを、減算部５３１はＡ＋Ｂ−Ｃ−Ｄを、減算部５４１はＡ−Ｂ−Ｃ＋Ｄをそれぞれ演算する。減算部５２１、５３１、５４１が行うＡ像〜Ｄ像の加減算の組み合わせは、加算画像との演算によりＡ像〜Ｄ像が復元可能で、かつ減算を含むように定められている。また、本明細書において、減算部５２１、５３１、５４１によって得られる画像を便宜上、差分画像と呼ぶ。なお、画像間の加減算は、画像内の位置が同じ画素間で値を加減算することで実現できる。なお、加減算の結果が画素値の上限値を超えたり下限値を下回ったりする場合にはそれぞれ上限値および下限値にクリッピングしてもよい。

ウェーブレット変換部５０２、５２２、５３２、５４２は、加算部５０１および減算部５２１、５３１、５４１が出力する画像に対し、それぞれ２次元サブバンド分割の一例としての２次元ウェーブレット変換（以下、単にウェーブレット変換と呼ぶ）を適用する。なお、本実施形態において、ウェーブレット変換部５ｎ２（ｎ＝０、２〜４）は分解レベル１までのウェーブレット変換を適用するものとする。

図４は、分解レベル０から３までのウェーブレット変換により得られる複数のサブバンド信号の配置を模式的に示した図である。７０１で示す分解レベル０は原画像である。また７０２〜７０４はそれぞれ分解レベル１〜３のウェーブレット変換後のサブバンドの配置を示している。サブバンドｎＬＬ、ｎＨＬ、ｎＬＨ、ｎＨＨのｎは分解レベル（１〜３）を示し、ＬＬ，ＨＬ，ＬＨ，ＨＨはそれぞれ水平および垂直方向で適用された帯域通過フィルタ処理の種類（ハイパスフィルタまたはローパスフィルタ）を示す。なお、ウェーブレット係数のうち、高帯域成分を含まないサブバンドｎＬＬの係数をスケーリング係数、残りの、高帯域成分を含んだ３つのサブバンドｎＨＬ、ｎＬＨ、ｎＨＨの係数をウェーブレット展開係数と呼ぶ。

エンコード部５０３、５２３、５３３、５４３は、ウェーブレット変換により分割された各サブバンドの係数（サブバンドデータ）に対して量子化、算術符号化などの符号化処理を適用する。エンコード部５ｎ３（ｎ＝０、２〜４）が実行する符号化の方式に特に制限はなく、可逆符号化方式であっても非可逆符号化方式であってもよい。

図５（ａ）は、ウェーブレット変換部５ｎ２（ｎ＝０〜４）機能構成例を示すブロック図である。本実施形態では、一例として、式１および式２に示す、正規直交するウェーブレットを用いたウェーブレット変換を行うものとする。
Ｈ０（ｚ）＝ｂ０＋Σｂｎ・（ｚ＾ｎ＋ｚ＾−ｎ） （式１）
Ｈ１（ｚ）＝ｃ０＋Σｃｎ・（ｚ＾ｎ＋ｚ＾−ｎ） （式２）
ここで、ｎは０〜３の整数であり、係数ｂｎおよびｃｎの値は以下のとおりである。
ｂ０＝０．６０２９４９
ｂ１＝０．２６６８６４
ｂ２＝−０．０７８２２３
ｂ３＝−０．０１６８６４
ｂ４＝０．０２６７４８
ｃ０＝１．１１５０８７
ｃ１＝−０．５９１２７１
ｃ２＝−０．０５７５４３
ｃ３＝０．０９１２７１

係数ｂｎはウェーブレットのスケーリング関数を表す数列で、係数ｃｎはウェーブレットを表す数列である。図５（ｂ）に、伝達関数Ｈ０（ｚ）の振幅周波数特性６３１および伝達関数Ｈ１（ｚ）の振幅周波数特性６３３を示す。振幅周波数特性の縦軸は振幅、横軸はサンプリング周波数で正規化された正規化周波数で、ナイキスト周波数が０．５に対応する。

低域フィルタ部６０１の伝達関数はＨ０（ｚ）であり、垂直方向のスケーリング係数を生成する。高域フィルタ部６０３の伝達関数はＨ１（ｚ）であり、垂直方向のウェーブレット展開係数を生成する。ダウンサンプリング部６０２、６０４は垂直方向のダウンサンプリングにより画素数を１／２にする。

低域フィルタ部６１１、６２１の伝達関数はＨ０（ｚ）であり、水平方向のスケーリング係数を生成する。高域フィルタ部６１３、６２３の伝達関数はＨ１（ｚ）であり、水平方向のウェーブレット展開係数を生成する。ダウンサンプリング部６１２、６２２、６１４、６２４は水平方向のダウンサンプリングにより画素数を１／２にする。

加算画像に対応するエンコード部５０３はスケーリング係数（１ＬＬ）およびウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）の符号化データを出力する。また、３つの差分画像に対応するエンコード部５２３、５３３、５４３は、ウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）の符号化データのみを出力する。これは、ウェーブレット変換部から対応するエンコード部へ、符号化すべき係数のみを出力することによっても、エンコード部が符号化すべき係数以外を無視することによっても実現できる。

ウェーブレット係数ＬＬ，ＨＬ，ＬＨ，ＨＨはいずれも、生成時に水平方向と垂直方向の両方で１／２にダウンサンプリングされているため、符号化後の係数の数は符号化前の１／４になる。従って、原画像の画素数を１とした場合、符号化データの数は１＋３／４×３＝（３＋１／４）となり、Ａ像〜Ｄ像について全てのサブバンドデータを符号化する場合（１×４＝４）よりも符号化データ量を削減することができる。

また、図２（ｃ）に示した構成の画素部では、画素４０６に向かう光束の一部が光学系１０４によってケラレると、光電変換部４０１〜４０４に入射する光量が不均一になる。そのため、光電変換部４０１〜４０４が出力する像信号の少なくとも一つに信号レベルの低下が発生する。信号レベルの低下は全ての画素で同じ光電変換部に対して発生するため、視差画像間で輝度差（以下、「シェーディング」という）が発生する。

ケラレは光学系１０４の特性であるため、どの光電変換部にどの程度の信号レベルの低下が生じるかは既知であり、信号レベルの低下を補正することができる（シェーディング補正）。しかし、シェーディングの大きさは光学系１０４の光学条件（射出瞳距離や絞り値）によって変化するため、予め設定されているシェーディング補正が強すぎたり足りなかったりする可能性がある。またシェーディング成分は低次多項式で近似されることが知られており、補正誤差（過補正成分や逆補正成分）は、ウェーブレット変換によってその大半がスケーリング係数（ＬＬ）に含まれる。

シェーディング補正に誤差が生じている場合、視差画像間の差分値は大きくなる。そのため、視差画像間でのフレーム間差分符号化の効率が低下する。しかし、本実施形態では、視差画像間の差分画像の符号化対象を、補正誤差の影響がほとんどないウェーブレット展開係数に限定しているため、シェーディング補正の誤差がある場合でも符号化効率の低下が少ない。

さらに、ウェーブレット展開係数は画像の高域成分を含んでいるため、ボケの程度が微小な被写体成分が大半であり、４つの視差画像間の視差も小さい。このため視差画像間の差分値は小さく、この点においても高い符号化効率が実現できる。

撮像部１０５から出力する符号化データ量が削減されるため、多視点画像を扱う場合でも動画のフレームレートや静止画の連写可能枚数の低下を抑制することができる。また、ＲＡＭ１０３に確保するバッファ容量を変更せずに静止画の連写可能枚数を増加させることができる。

制御部１０１は、撮像部１０５が出力する、加算画像と３つの差分画像の符号化データを記録媒体１０８に記録する。なお、制御部１０１は、符号化データを記録媒体１０８に記録する際に、データファイルのヘッダなどに、ウェーブレット変換の分解レベルや、加算画像および視差画像について記録されているサブバンドに関する情報を含めておく。記録媒体１０８から読み出した符号化データをＲＡＭ１０３に読み込み、画像処理部１０７で復号およびリフォーカス処理を実行することができる。

図６（ａ）は、画像処理部１０７が符号化データを復号する際の動作を機能ブロックとして記載した図である。ここで説明する復号およびリフォーカス処理は画像処理部１０７が実行可能な多様な画像処理の一部に過ぎない。また、データファイルから符号化データを抽出し、各デコード部に符号化データを分配する処理も画像処理部１０７の内部で実行される。デコード部８０１は加算画像の符号化データ（分解レベル１のスケーリング係数（１ＬＬ）およびウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ））を復号する。また、デコード部８２１、８３１、８４１は差分画像の符号化データ（分解レベル１ウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）を復号する。デコード部８ｎ４（ｎ＝０、２〜４）は符号化方式に対応した復号を行う。

ウェーブレット逆変換部８０２、８１２、８２２、８３２、８４２は、復号された各サブバンドデータに対して２次元ウェーブレット逆変換を施すことにより、サブバンド分割された画像を復元する（サブバンド復元）。加算画像の符号化データを復号するデコード部８０１は、スケーリング係数（１ＬＬ）だけをウェーブレット逆変換部８０２に供給する。そのため、ウェーブレット逆変換部８０２は、ウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）については０としてウェーブレット逆変換する。

デコード部８０１は、復号した、加算画像のウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）をウェーブレット逆変換部８１２に供給する。また、デコード部８２１、８３１、８４１は復号した、差分画像のウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）をウェーブレット逆変換部８２２、８３２、８４２に供給する。ウェーブレット逆変換部８１２、８２２、８３２、８４２は、スケーリング係数（１ＬＬ）を０としてウェーブレット逆変換する。

視差画像復元部８０５は、ウェーブレット逆変換部８ｎ２（ｎ＝１〜４）が復元した加算画像および差分画像に以下の式３〜式６の演算を行い、４つの視差画像（Ａ像〜Ｄ像）を復元する。
Ａ＝（Ｗ＋Ｘ＋Ｙ＋Ｚ）／４ （式３）
Ｂ＝（Ｗ−Ｘ＋Ｙ−Ｚ）／４ （式４）
Ｃ＝（Ｗ＋Ｘ−Ｙ−Ｚ）／４ （式５）
Ｄ＝（Ｗ−Ｘ−Ｙ＋Ｚ）／４ （式６）
ただし、Ｗ、Ｘ、Ｙ、Ｚは以下のとおりである。
Ｗ＝Ａ＋Ｂ＋Ｃ＋Ｄ（ウェーブレット逆変換部８１２の出力する加算画像）
Ｘ＝Ａ−Ｂ＋Ｃ−Ｄ（ウェーブレット逆変換部８２２の出力する差分画像）
Ｙ＝Ａ＋Ｂ−Ｃ−Ｄ（ウェーブレット逆変換部８３２の出力する差分画像）
Ｚ＝Ａ−Ｂ−Ｃ＋Ｄ（ウェーブレット逆変換部８４２の出力する差分画像）
視差画像復元部８０５は復元したＡ像〜Ｄ像をシフト加算部８０３に供給する。

シフト加算部８０３は、復元されたＡ像〜Ｄ像に対し、リフォーカスのためのシフト加算を行う。シフト加算によるリフォーカスは例えば特許文献１に記載されるように公知である。制御部１０１は例えば加算画像を表示部１１０に表示し、合焦させたい位置をユーザに選択させる。例えば操作部１０９を通じて指定された画像内の位置が合焦するように制御部１０１はシフト加算の量および方向を決定し、シフト加算部８０３に通知する。シフト加算部８０３は通知されたシフト方向および量に従ってＡ像〜Ｄ像をシフト加算することにより、リフォーカス画像を生成する。シフト加算部８０３は、リフォーカス処理した画像を加算部８０４に出力する。加算部８０４は、ウェーブレット展開係数（１ＬＨ、１ＨＬ、１ＨＨ）を０として復元された加算画像と、スケーリング係数（１ＬＬ）を０として復元された視差画像をシフト加算した画像とを加算する。加算部８０４により、最終的なリフォーカス画像が得られる。

図６（ｂ）は、図６（ａ）のウェーブレット逆変換部８ｎ２（ｎ＝０〜４）の機能構成例を説明するためのブロック図である。
アップサンプリング部９０１、９０３、９１１、９１３は水平方向のアップサンプリングにより画素数を２倍にする。低域フィルタ部９０２、９１２は水平方向に低域フィルタ処理を適用する。高域フィルタ部９０４、９１４は水平方向に高域フィルタ処理を適用する。アップサンプリング部９２１、９２３は垂直方向のアップサンプリングにより画素数を２倍にする。低域フィルタ部９２２は垂直方向に低域フィルタ処理を適用する。高域フィルタ部９２４は垂直方向に高域フィルタ処理を適用する。加算部９０５、９１５、９２５はウェーブレット逆変換の中間画像を加算する。

ウェーブレット逆変換部においても、以下の式７および式８に示す、正規直交するウェーブレットを用いたウェーブレット逆変換を行うものとする。
Ｇ０（ｚ）＝ｄ０＋Σｄｎ・（ｚ＾ｎ＋ｚ＾−ｎ） （式７）
Ｇ１（ｚ）＝ｅ０＋Σｅｎ・（ｚ＾ｎ＋ｚ＾−ｎ） （式８）
ただし、各係数の値は以下のとおりである。
ここで、ｎは０〜３の整数であり、係数ｄｎおよびｅｎの値は以下のとおりである。
ｄ０＝１．１１５０８７
ｄ１＝０．５９１２７１
ｄ２＝−０．０５７５４３
ｄ３＝−０．０９１２７１
ｅ０＝０．６０２９４９
ｅ１＝−０．２６６８６４
ｅ２＝−０．０７８２２３
ｅ３＝０．０１６８６４
ｅ４＝０．０２６７４８
低域フィルタ部の伝達関数はＧ０（ｚ）、高域フィルタ部の伝達関数はＧ１（ｚ）である。

本実施形態では、画像の低域成分（スケーリング係数（１ＬＬ））にはシフト加算を行わずに最終的なリフォーカス画像を生成している。しかし、シフト量が１〜２画素程度のリフォーカス処理の場合、低域成分のピントはほとんど変化しない。そのため、すべてのサブバンド成分に対してシフト加算を行う従来技術と同等のピント調整効果を得ることができる。

また、本実施形態においては、ウェーブレット逆変換した画像をシフト加算する構成について説明した。しかし、各サブバンド成分をシフト加算してからウェーブレット逆変換するように構成してもよい。この場合の画像処理部１０７’の機能構成例を図７に示す。図６（ａ）と同じ構成要素には同じ参照数字を付してある。

視差画像復元部１００４には、デコード部８０１、８２１、８３１、８４１のそれぞれから、復号されたウェーブレット展開係数（ＬＨ、ＨＬ、ＨＨ）が供給される。視差画像復元部１００４は、サブバンドごとに式３〜式６の演算を行い、４つの視差画像（Ａ像〜Ｄ像）のウェーブレット展開係数（ＬＨ、ＨＬ、ＨＨ）を復元する。そして、視差画像復元部１００４は、復元したウェーブレット展開係数をサブバンドごとにシフト加算部１００１、１００２、１００３に供給する。

シフト加算部１００１、１００２、１００３はそれぞれ、Ａ像〜Ｄ像のＨＨ、ＬＨ、およびＨＬサブバンド成分をシフト加算する。水平および垂直方向で画素数が１／２にダウンサンプリングされた分解レベル１のサブバンド成分のシフト加算であるため、シフト量は２ｎ画素単位に限定される。しかし、ウェーブレット逆変換の演算回数を減らすことができるため、演算コストを削減することができる。シフト加算部１００１、１００２、１００３は、シフト加算後のウェーブレット展開係数をウェーブレット逆変換部８０２に供給する。ウェーブレット逆変換部８０２は、デコード部８０１からのスケーリング係数（１ＬＬ）と、シフト加算部１００１、１００２、１００３からのウェーブレット展開係数（ＬＨ、ＨＬ、ＨＨ）とをウェーブレット逆変換し、最終的なリフォーカス画像を生成する。

本実施形態においては、ウェーブレット変換の分解レベルを１とした構成について説明した。しかし、図４に７０３、７０４として示した分解レベル２や分解レベル３までのウェーブレット変換を行う場合にも同様にして適用可能である。

図８は、ウェーブレット変換を分解レベル３まで行う場合の画像圧縮部２０３”の機能構成例を示すブロック図である。加算部５０１は、Ａ像〜Ｄ像の加算画像（Ａ＋Ｂ＋Ｃ＋Ｄ）を生成し、ウェーブレット変換・エンコード部１９０１に供給する。また、ウェーブレット変換・エンコード部１９０３〜１９０５には減算部５２１、５３１、５４１から上述した差分画像がそれぞれ供給される。

図９（ａ）は、ウェーブレット変換・エンコード部１９０ｎ（ｎ＝１、３〜５）の機能構成例を示すブロック図である。ウェーブレット変換・エンコード部１９０ｎは、ウェーブレット変換部５０２およびエンコード部５０３と同じ構成のウェーブレット変換部５０２１、５０２２およびエンコード部５０３１、５０３２を有する。ウェーブレット変換・エンコード部１９０ｎは、分解レベル１から３のウェーブレット変換および符号化に対応する。
図９（ａ）は、分解レベル３のウェーブレット変換を行う場合の信号の流れを示している。この場合、分解レベル１と２のウェーブレット変換を行うウェーブレット変換部５０２および５０２１は、スケーリング係数を下位のウェーブレット変換部５０２１および５０２２に、ウェーブレット展開係数を後段のエンコード部５０３および５０３１に出力する。分解レベル３のウェーブレット変換を行うウェーブレット変換部５０２２は、スケーリング係数およびウェーブレット展開係数を後段のエンコード部５０３２に出力する。エンコード部５０３、５０３１、５０３２からはそれぞれ分解レベル１、２、３に対応した係数の符号化データが出力される。なお、ウェーブレット変換・エンコード部１９０ｎ（ｎ＝３〜５）のウェーブレット変換部５０２２は、スケーリング係数（３ＬＬ）をエンコード部５０３２に供給しない。ウェーブレット変換・エンコード部１９０ｎ（ｎ＝３〜５）のエンコード部５０３、５０３１、５０３２は、ウェーブレット展開係数だけを符号化する。

図９（ｂ）は、分解レベル２のウェーブレット変換を行う場合の信号の流れを示している。この場合、分解レベル１のウェーブレット変換を行うウェーブレット変換部５０２は、スケーリング係数を下位のウェーブレット変換部５０２１に、ウェーブレット展開係数を後段のエンコード部５０３に出力する。分解レベル２のウェーブレット変換を行うウェーブレット変換部５０２１は、スケーリング係数およびウェーブレット展開係数を後段のエンコード部５０３２に出力する。エンコード部５０３、５０３１からはそれぞれ分解レベル１、２に対応した係数の符号化データが出力される。なお、ウェーブレット変換・エンコード部１９０ｎ（ｎ＝３〜５）のウェーブレット変換部５０２１は、スケーリング係数（２ＬＬ）をエンコード部５０３１に供給しない。ウェーブレット変換・エンコード部１９０ｎ（ｎ＝３〜５）のエンコード部５０３、５０３１は、ウェーブレット展開係数だけを符号化する。

図９（ｃ）は、分解レベル１のウェーブレット変換を行う場合の信号の流れを示している。この場合、ウェーブレット変換・エンコード部１９０１のウェーブレット変換部５０２は、スケーリング係数およびウェーブレット展開係数をエンコード部５０３に出力する。また、ウェーブレット変換・エンコード部１９０３〜５のウェーブレット変換部５０２は、ウェーブレット展開係数だけをエンコード部５０３に出力する。

図１０は、ウェーブレット変換を分解レベル３まで行う場合の画像処理部１０７”の機能構成例を示すブロック図である。図６（ａ）と同じ機能ブロックには同じ参照数字を付してある。画像処理部１０７”はデコード・ウェーブレット逆変換部２５０１〜２５０５、視差画像復元部８０５、シフト加算部８０３および加算部８０４を有する。

図１１（ａ）は、デコード・ウェーブレット逆変換部２５０ｎ（ｎ＝１〜５）の機能構成例を示すブロック図である。デコード・ウェーブレット逆変換部２５０ｎは、デコード部８０１およびウェーブレット逆変換部８０２と同じ構成のデコード部８０１１、８０１２およびウェーブレット逆変換部８０２１、８０２２を有する。ウェーブレット変換・エンコード部２５０ｎは、分解レベル１から３のウェーブレット係数の復号およびウェーブレット逆変換に対応する。

図１１（ａ）は、分解レベル３のウェーブレット逆変換を行う場合の信号の流れを示している。この場合、デコード部８０１、８０１１、８０１２はそれぞれ分解レベル１〜３の符号化データを復号し、後段のウェーブレット逆変換部８０２、８０２１、８０２２に供給する。ここで、スケーリング係数（ＬＬ）は最も高い分解レベルの符号化データにのみ存在する。そのため、デコード部８０１２だけは全てのサブバンドの符号化データをウェーブレット逆変換部８０２２に供給する。他のデコード部８０１および８０１１は、ウェーブレット展開係数だけをウェーブレット逆変換部８０２、８０２１に供給する。ウェーブレット逆変換部８０２２は、デコード部８０１２から供給される、分解レベル３のウェーブレット係数（ＬＬを含む）をウェーブレット逆変換し、分解レベル２のスケーリング係数（２ＬＬ）を復元する。ウェーブレット逆変換部８０２２は、復元した、分解レベル２のスケーリング係数（２ＬＬ）をウェーブレット逆変換部８０２１に供給する。

ウェーブレット逆変換部８０２１は、デコード部８０１１からのウェーブレット展開係数と、ウェーブレット逆変換部８０２２からのスケーリング係数とをウェーブレット逆変換し、分解レベル１のスケーリング係数（１ＬＬ）を復元する。ウェーブレット逆変換部８０２１は、復元した、分解レベル１のスケーリング係数（１ＬＬ）をウェーブレット逆変換部８０２に供給する。ウェーブレット逆変換部８０２は、デコード部８０１からのウェーブレット展開係数と、ウェーブレット逆変換部８０２１からのスケーリング係数とをウェーブレット逆変換し、加算画像または差分画像を復元する。

なお、差分画像を処理するデコード・ウェーブレット逆変換部２５０２〜２５０５では、デコード部においてスケーリング係数が得られないため、ウェーブレット逆変換部８０２２はスケーリング係数（３ＬＬ）を０としてウェーブレット逆変換する。

デコード・ウェーブレット逆変換部２５０２〜２５０５で復元された差分画像（上述したＷ、Ｘ、Ｙ、Ｚに相当）は視差画像復元部８０５に供給される。視差画像復元部８０５は、差分画像に対して式３〜式６の演算を行い、差分画像（Ａ像〜Ｄ像）を復元する。以降の処理は図６に関して説明した通りである。

図１１（ｂ）は、分解レベル２のウェーブレット逆変換を行う場合の信号の流れを示している。この場合、デコード部８０１２とウェーブレット逆変換部８０２２が用いられない。また、デコード部８０１１がスケーリング係数（２ＬＬ）を含む、分解レベル２の全ての係数を復号してウェーブレット逆変換部８０２１に供給する。それ以外は図１１（ａ）に関して説明した通りである。

また、図１１（ｃ）は、分解レベル１のウェーブレット逆変換を行う場合の信号の流れを示している。この場合、デコード部８０１とウェーブレット逆変換部８０２だけが用いられる。また、デコード部８０１がスケーリング係数（１ＬＬ）を含む、分解レベル１の全ての係数を復号してウェーブレット逆変換部８０２に供給する。それ以外は図１１（ａ）に関して説明した通りである。

ウェーブレット変換の分解レベルを高くすると、演算量が増加するが、視差画像のデータがカバーする空間周波数帯域が低域方向に拡がるため、シフト加算部８０３におけるシフト量を増やすことができる。すなわち、リフォーカス可能な範囲を拡大できる。

また、本実施形態においては、加算画像および差分画像をゲイン調整なしに圧縮する構成とした。しかし、視差復元のゲインをあらかじめ調整してから圧縮するように構成してもよい。この場合、式３〜式６を以下のように置き換えることができる。
Ａ＝Ｗ＋Ｘ＋Ｙ＋Ｚ （式９）
Ｂ＝Ｗ−Ｘ＋Ｙ−Ｚ （式１０）
Ｃ＝Ｗ＋Ｘ−Ｙ−Ｚ （式１１）
Ｄ＝Ｗ−Ｘ−Ｙ＋Ｚ （式１２）
ただし、Ｗ、Ｘ、Ｙ、Ｚは以下のとおりである。
Ｗ＝（Ａ＋Ｂ＋Ｃ＋Ｄ）／４
Ｘ＝（Ａ−Ｂ＋Ｃ−Ｄ）／４
Ｙ＝（Ａ＋Ｂ−Ｃ−Ｄ）／４
Ｚ＝（Ａ−Ｂ−Ｃ＋Ｄ）／４

例えば、図３の加算部５０１および減算部５２１、５３１、５４１の出力が８ビットデータである場合、右２ビットシフトして下位６ビットを出力すればＷ、Ｘ、Ｙ、Ｚの算出に必要な１／４の除算を実現することができる。このように、加算画像および視差画像のゲインを低減する構成とすれば、符号化データ量をさらに削減することができる。

式３〜式６は、以下のように置き換えてもよい。
Ａ＝（Ｗ／４）＋Ｘ＋Ｙ＋Ｚ （式１３）
Ｂ＝（Ｗ／４）−Ｘ＋Ｙ−Ｚ （式１４）
Ｃ＝（Ｗ／４）＋Ｘ−Ｙ−Ｚ （式１５）
Ｄ＝（Ｗ／４）−Ｘ−Ｙ＋Ｚ （式１６）
ただし、Ｗ、Ｘ、Ｙ、Ｚは以下のとおりである。
Ｗ＝ Ａ＋Ｂ＋Ｃ＋Ｄ
Ｘ＝（Ａ−Ｂ＋Ｃ−Ｄ）／４
Ｙ＝（Ａ＋Ｂ−Ｃ−Ｄ）／４
Ｚ＝（Ａ−Ｂ−Ｃ＋Ｄ）／４
このように構成すれば、Ｗ（加算画像）だけは８ビットデータのまま伝送することができるので、Ｗだけを利用するピント微調整が不要な場合に、伸長画像の階調性を保つことができる。

以上、様々な変形例を含めて第１実施形態を説明した。本実施形態では、複数の視差画像について、複数の視差画像を合成した加算画像と、複数の視差画像を加減算して得られる複数の差分画像とをそれぞれ２次元サブバンド分割する。そして、加算画像については各サブバンドのデータを、差分画像については高域成分を含むサブバンドのデータを符号化するようにした。これにより、視差画像の利用を制限することなく、複数の視差画像を符号化するよりも符号量を削減することができる。

そのため、例えば複数の視差画像をリフォーカス画像の生成に用いる場合、画像内の任意の領域をリフォーカス対象とすることができる。また、撮像装置の構成を変更することなく、撮像時のフレームレートや連写可能枚数を高めることができる。なお、本発明が対象とする視差画像の用途はリフォーカス画像の生成に限定されない。例えば、自動焦点検出に用いられる視差画像に対しても本発明を適用することができる。この場合、本発明の適用による視差画像の撮影フレームレートの増加は、自動焦点検出に要する時間の短縮につながる。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。なお、本実施形態は第１実施形態で説明したデジタルカメラ１００と同じ機能構成によって実施可能である。そのため、第１実施形態と同様の参照数字を用いて説明する。

図１２（ａ）は、本実施形態における撮像部１０５’の機能構成例を示すブロック図であり、図２（ａ）と同じ構成については同じ参照数字を付してある。本実施形態の撮像部１０５’は、２つめの画像圧縮部１３０１が追加されている点で第１実施形態と異なる。

図１２（ｂ）は、追加された画像圧縮部１３０１の機能構成例を示すブロック図であり、画像圧縮部２０３が有する機能ブロックと同様の機能ブロックには図３と同じ参照数字を付してある。
減算部５５１は、（Ａ＋Ｃ）−（Ｂ＋Ｄ）という演算で得られる差分画像を生成し、ウェーブレット変換部５５２に供給する。ウェーブレット変換部５５２は差分画像をウェーブレット変換し、ウェーブレット展開係数だけをエンコード部５５３に供給する。エンコード部５５３は、ウェーブレット展開係数を符号化する。

加算画像（Ａ＋Ｂ＋Ｃ＋Ｄ）は、（Ａ＋Ｃ）＋（Ｂ＋Ｄ）に相当する。そのため、加算画像と差分画像の符号化データからは、（Ａ＋Ｃ）像と（Ｂ＋Ｄ）像を復元することができる（詳細は後述）。Ａ像とＣ像、Ｂ像とＤ像はそれぞれ画素内で縦に並んだ２つの光電変換部で得られる信号による画像である。そのため、本実施形態の撮像部１０５’の構成によれば、水平方向にだけ瞳分割した１対の視差画像を復元可能な符号化データが生成される。この加算により、垂直方向の視差の情報が失われるため、リフォーカス処理におけるシフト方向が水平方向に制限されるが、符号化データの削減効果は大きくなる。したがって、画像圧縮部２０３と１３０１とを選択的に用いることにより、リフォーカスの自由度を優先するか、符号化データの削減（フレームレートまたは連写可能枚数の向上）を優先するかを選択することができる。

減算部５５１の演算により、差分画像について必要なウェーブレット展開係数は水平方向に関する係数のみとなる。そのため、差分画像を処理するウェーブレット変換部５５２は水平ウェーブレット展開係数に対応するサブバンドＨＬ、ＨＨを出力する。なお、制御部１０１は、符号化データを記録媒体１０８に記録する際に、データファイルのヘッダなどに、ウェーブレット変換の分解レベルや、加算画像および差分画像について記録されているサブバンドに関する情報を含めておく。

この場合、符号化データの数は、原画像の画素数を１とした場合、１＋１／２となり、２つの差分画像をそのまま符号化した場合に対して、（１＋１／２）／２＝７５％の符号化データ数に削減することができる。
水平方向と垂直方向の両方で瞳分割した第１実施形態では（３＋１／４）／４＝８１％の符号化データ数に削減することができたが、本実施形態ではより高い削減率が実現できる。

図１３（ａ）は、一例として、ユーザによるモード選択に応じて画像圧縮部２０３と１３０１とを選択的に用いる場合の制御部１０１の動作に関するフローチャートである。制御部１０１は、この動作を、操作部１０９に対する撮影指示（例えば静止画または動画の撮影開始指示）の入力操作が検出された際に実行することができる。

Ｓ１７０１で制御部１０１は、データレート優先モードが選択されているか否かを判定し、選択されていると判定されればＳ１７０３に、選択されていると判定されなければＳ１７０２に処理を進める。

Ｓ１７０２で制御部１０１は画像圧縮部２０３を選択する旨を撮像部１０５’に通知する。また、Ｓ１７０３で制御部１０１は、画像圧縮部１３０１を選択する旨を撮像部１０５’に通知する。その後、制御部１０１は撮影処理を開始する。撮影処理において撮像部１０５’は、制御部１０１が選択した画像圧縮部が生成した符号化データを出力する。なお、撮像部１０５’は、選択されなかった画像圧縮部の動作を停止させても良い。

なお、データレート優先モードが選択されているか否かは、例えばＲＯＭ１０２を参照することによって判定することができる。また、制御部１０１は、データレートを優先すべき撮影モードが設定されているか否かによって同様の制御を行ってもよい。

図１４（ａ）は、本実施形態における画像処理部１０７’’’の機能構成例を示すブロック図である。本実施形態の画像処理部１０７’’’は２つの画像伸長部１５０１、１５０２を有する。ここで、画像伸長部１５０１は図６（ａ）に示した画像処理部１０７と同じ構成を有するため、説明を省略する。

図１４（ｂ）は、画像伸長部１５０２の機能構成例を示すブロック図である。画像伸長部１５０２は、データレート優先モードで記録された（画像圧縮部１３０１が生成した）符号化データを伸長する。
デコード部８０１’は加算画像の符号化データを復号し、１ＬＬおよび１ＬＨのウェーブレット係数をウェーブレット逆変換部８０２’に、１ＨＨおよび１ＨＬのウェーブレット係数をウェーブレット逆変換部８１２’に供給する。ウェーブレット逆変換部８０２’は、１ＨＬおよび１ＨＨのウェーブレット係数を０としてウェーブレット逆変換を実行し、得られた加算画像を加算部８０４に出力する。ウェーブレット逆変換部８１２’は、１ＬＬおよび１ＬＨのウェーブレット係数を０としてウェーブレット逆変換を実行し、得られた加算画像（Ａ＋Ｂ＋Ｃ＋Ｄ）を視差画像復元部１６０２に供給する。

デコード部８５１は差分画像の符号化データを復号し、１ＨＨおよび１ＨＬのウェーブレット係数をウェーブレット逆変換部８５２に出力する。ウェーブレット逆変換部８５２１は、１ＬＬおよび１ＬＨのウェーブレット係数を０としてウェーブレット逆変換を実行し、得られた差分画像（Ａ＋Ｃ）−（Ｂ＋Ｄ）を視差画像復元部１６０２に供給する。

視差画像復元部１６０２は、加算画像（Ａ＋Ｂ＋Ｃ＋Ｄ）および差分画像（Ａ＋Ｃ）−（Ｂ＋Ｄ）に対して以下の式１７および式１８に示す演算を行い、水平方向に視点分割された２つの視差画像、（Ａ＋Ｃ）像および（Ｂ＋Ｄ）像を復元する。
Ａ＋Ｃ＝（Ｗ＋Ｘ）／２ （式１７）
Ｂ＋Ｄ＝（Ｗ−Ｘ）／２ （式１８）
ただし、Ｗ、Ｘは以下のとおりである。
Ｗ＝（Ａ＋Ｃ）＋（Ｂ＋Ｄ） （加算画像）
Ｘ＝（Ａ＋Ｃ）−（Ｂ＋Ｄ） （差分画像）

視差画像復元部１６０２は、復元した２つの視差画像をシフト加算部１６０１に供給する。シフト加算部１６０１は、２つの視差画像を水平方向にシフト加算し、リフォーカス画像を生成する。

加算部８０４は、水平スケーリング係数だけでウェーブレット逆変換された加算画像と、水平ウェーブレット展開係数だけでウェーブレット逆変換された視差画像から生成されたリフォーカス画像とを加算し、最終的なリフォーカス画像を生成する。

図１３（ｂ）は、リフォーカス処理時の制御部１０１の動作に関するフローチャートである。制御部１０１は、視差画像を用いた処理の一例であるリフォーカス処理の開始が操作部１０９を通じて指示された際にこの処理を実行することができる。Ｓ１８０１で制御部１０１は読み出したデータファイルのヘッダ情報から、符号化データがデータレート優先モードで記録されているか否かを判定する。制御部１０１は、データレート優先モードで記録されていると判定されればＳ１８０３に、判定されなければＳ１８０２に処理を進める。Ｓ１８０２で制御部１０１は画像伸長部１５０１を選択し、画像処理部１０７’’’に通知する。Ｓ１８０３で制御部１０１は画像伸長部１５０２を選択し、画像処理部１０７’’’に通知する。その後、制御部１０１はリフォーカス処理を開始する。画像処理部１０７’’’は、通知された画像伸長部が出力する画像を出力する。なお、画像処理部１０７’’’は、選択されなかった画像伸長部の動作を停止させてもよい。また、制御部１０１は、図１３（ｂ）の処理を、符号化データをＲＡＭ１０３に読み込んだ際に実行するなど、他のタイミングで実行してもよい。

本実施形態によれば、差分画像の数を減らして符号化するか、減らさずに符号化するかを選択可能にした。そのため、例えば、動きが速い被写体を撮影する場合には差分画像の数を減らし、動きが遅い被写体を撮影する場合には差分画像の数を減らさないといった制御が可能になる。換言すれば、視差画像の活用範囲を優先するか、フレームレートまたは連写可能枚数を優先するかを動的に切り替えることができる。なお、この切り替えはユーザによる明示的な指示に基づいて実行してもよいし、撮像画像から検出される被写体情報などに応じて撮像装置が自動的に実行してもよい。

●（第３実施形態）
次に、本発明の第３実施形態について説明する。なお、本実施形態は第１実施形態で説明したデジタルカメラ１００と同じ機能構成によって実施可能である。そのため、第１実施形態と同様の参照数字を用いて説明する。

第２実施形態は、符号化する差分画像の数を減らすか否かを動的に選択可能とするものであった。本実施形態は、第１実施形態において図８〜図１１を用いて説明した、分解レベル１〜３のウェーブレット変換および逆変換に対応した画像圧縮部２０３”および画像処理部１０７”を用いて、ウェーブレット変換の分解レベルを動的に変更可能としたものである。以下、分解レベルｍ（ｍ＝１〜３）のウェーブレット変換と符号化データの生成を行う動作を、分解レベルｍの伝送モードと呼ぶ。

画像圧縮部２０３”は、制御部１０１から指定された分解レベルに応じて、各ウェーブレット変換・エンコード部が有するウェーブレット変換部５０２、５０２１、５０２２とエンコード部５０３、５０３１、５０３２の動作を切り替える。また、制御部１０１は、例えば復号する符号化データをＲＡＭ１０３に読み込む際に、例えば符号化データのヘッダ情報から、符号化時に実施されたウェーブレット変換の分解レベルを判別し、画像処理部１０７”に通知する。そして、画像処理部１０７”は、判別した分解レベルに応じて、デコード部８０１、８０１１、８０２１へのデータ分配、デコード部８０１、８０１１、８０２１およびウェーブレット逆変換部８０２、８０２１、８０２２の動作を制御する。なお、符号化時に実施されたウェーブレット変換の分解レベルの判別は、画像処理部１０７”が行ってもよい。

図１５（ａ）は、一例として、リフォーカス範囲の設定に応じて分解レベルまたは伝送モードレベルを切り替える、制御部１０１の動作に関するフローチャートである。制御部１０１は、この動作を、操作部１０９に対する撮影指示（例えば静止画または動画の撮影開始指示）の入力操作が検出された際に実行することができる。リフォーカス範囲の設定はＲＯＭ１０２に記憶しておくことができる。本実施形態では、リフォーカス範囲はシフト量として記憶されているものとするが、切り替え可能な分解レベルの数に等しい数の任意の設定値を記憶してもよい。また、リフォーカス範囲の設定方法に特に制限はなく、例えばメニュー画面を通じてユーザに設定させることができる。この場合、シフト量を直接設定させてもよいし、リフォーカス範囲を大、中、小から選択させてもよい。

Ｓ３１０１で制御部１０１は、シフト量が閾値ＴＨ１以下であるか否かを判定し、閾値ＴＨ１以下と判定されればＳ３１０３に、閾値ＴＨ１以下と判定されなければＳ３１０２に処理を進める。

Ｓ３１０２で制御部１０１は、シフト量が閾値ＴＨ２以下（ＴＨ２＞ＴＨ１）であるか否かを判定し、閾値ＴＨ２以下と判定されればＳ３１０４に、閾値ＴＨ２以下と判定されなければＳ３１０５に処理を進める。

閾値ＴＨ１、ＴＨ２は、ウェーブレット変換の分解レベルと、リフォーカス可能範囲との関係に応じて予め決定し、ＲＯＭ１０２に記憶しておくことができる。シフト量が小さい、リフォーカス範囲が狭くてよい場合は、差分画像のウェーブレット展開係数の分解レベルを低くすることができる。このように構成することで、必要なリフォーカス量に応じて効率的に符号化データを削減することができる。

Ｓ３１０３で制御部１０１はレベル１伝送モード（ウェーブレット分解レベル１）を選択し、撮像部１０５に通知する。同様に制御部１０１はＳ３１０４でレベル２伝送モード（ウェーブレット分解レベル２）を、Ｓ３１０５でレベル３伝送モード（ウェーブレット分解レベル３）を選択し、撮像部１０５に通知する。その後、制御部１０１は撮影処理を開始する。撮影処理において撮像部１０５（画像圧縮部２０３”）は、制御部１０１が選択した伝送モード（分解レベル）に応じた符号化データを出力する。

図１５（ｂ）は、リフォーカス処理時の制御部１０１の動作に関するフローチャートである。制御部１０１は、視差画像を用いた処理の一例であるリフォーカス処理の開始が操作部１０９を通じて指示された際にこの処理を実行することができる。Ｓ３２０１で制御部１０１は読み出したデータファイルのヘッダ情報から、符号化されている係数の分解レベルが１か否かを判定する。制御部１０１は、分解レベルが１と判定されればＳ３２０３に、判定されなければＳ３２０２に処理を進める。

Ｓ３２０２で制御部１０１は符号化されている係数の分解レベルが２か否かを判定する。制御部１０１は、分解レベルが２と判定されればＳ３２０４に、判定されなければＳ３２０５に処理を進める。

Ｓ３２０３〜Ｓ３２０５で制御部１０１は、リフォーカスモードをレベル１〜レベル３にそれぞれ設定し、リフォーカスモードに応じたリフォーカス処理を開始する（例えばリフォーカスする位置を指定するためのＧＵＩを表示部１１０に表示する）。ここで、リフォーカスモードは、リフォーカス量の上限に相当し、レベル１がリフォーカス量の上限が最も小さい。つまり、フォーカスを変更可能な距離範囲が狭い。

以降のリフォーカス処理において制御部１０１は、例えば、設定されたリフォーカスモードに応じた範囲でユーザからのリフォーカス指示を受け付けることができる。例えば表示部１１０に表示した加算画像に対して位置が指定された際、制御部１０１は現在のリフォーカスモードに対応したシフト量の範囲内で、指定された位置に合焦したリフォーカス画像を生成可能か否かを判定することができる。もし、フォーカスモードに対応したシフト量の範囲では指定された位置にリフォーカスできないと判定された場合、制御部１０１は、表示部１１０にメッセージを表示するなどしてユーザに警告することができる。

なお、シフト量以外の条件に基づいて伝送モードを選択するように構成することもできる。例えば、Ｆ値、撮影倍率などから被写界深度を算出し、被写界深度が大きいほど低い（または小さいほど高い）分解レベルの伝送モードを選択するように構成することができる。

この場合、上述した図１５（ａ）の動作を図１６に示すように変更すればよい。
すなわち、Ｓ３３０１で制御部１０１は、被写界深度Ｄが閾値ＴＨｄ１以上であるか否かを判定し、閾値ＴＨｄ１以上と判定されればＳ３１０３に、閾値ＴＨｄ１以上と判定されなければＳ３３０２に処理を進める。

Ｓ３３０２で制御部１０１は、被写界深度Ｄが閾値ＴＨｄ２以上（ＴＨｄ２＜ＴＨｄ１）であるか否かを判定し、閾値ＴＨｄ２以上と判定されればＳ３１０４に、閾値ＴＨ２以上と判定されなければＳ３１０５に処理を進める。

閾値ＴＨｄ１、ＴＨｄ２は、ウェーブレット変換の分解レベルと、リフォーカス可能範囲との関係に応じて予め決定し、ＲＯＭ１０２に記憶しておくことができる。被写界深度が大きい場合、視差画像間の視差が小さく、リフォーカス可能範囲は狭いため、差分画像のウェーブレット展開係数の分解レベルを低くすることができる。このように構成することで、必要なリフォーカス量に応じて効率的に符号化データを削減することができる。Ｓ３１０３〜Ｓ３１０５の処理は図１５（ａ）と同様であるため説明を省略する。このように構成することで、被写界深度に応じて効率的に符号化データを削減することができる。

本実施形態によれば、サブバンド分割の分解レベルを動的に変更可能とした。そのため、必要以上に分解レベルが高くなることを抑制でき、演算コストや符号データ量を適切に削減することができる。

●（第４実施形態）
次に、本発明の第４実施形態について説明する。なお、本実施形態は第１実施形態で説明したデジタルカメラ１００と同じ機能構成によって実施可能である。そのため、第１実施形態と同様の参照数字を用いて説明する。

図１７（ａ）は、本実施形態における撮像部１０５”の機能構成例を示すブロック図である。第１実施形態と同様の構成については図２（ａ）と同じ参照数字を付してある。本実施形態の撮像部１０５”は、第１実施形態における撮像部１０５に対し、加算画像圧縮部３９０１を追加した構成を有する。

図１７（ｂ）は、加算画像圧縮部３９０１の機能構成例を示すブロック図である。加算画像圧縮部３９０１は図３に示した画像圧縮部２０３の構成のうち、加算画像に関する構成に相当する。

光学系１０４に含まれる撮像レンズの光学収差の影響により、像高が大きい画面周辺部では、像高の小さい画面中央部よりも解像度が低下する。そのため、画面周辺部はリフォーカスの効果も低くなる。このような特性を利用し、本実施形態では画面周辺部については差分画像の符号化データを含めず、加算画像の符号化データのみとすることにより、符号化データ量を削減する。

具体的には、各フレームの符号化中、制御部１０１は、撮像部１０５”から出力する符号化データを、図１７（ｃ）のフローチャートに示すように選択する。すなわち、Ｓ２４０１で制御部１０１は、符号化対象のタイルが、画面中央部のタイルであるか否かを判定する。ここで、タイルは、図２（ｂ）に示した部分画像であり、符号化を行う単位である。符号化対象のタイルが画面中央部のタイルであると判定されれば、Ｓ２４０３で制御部１０１は、画像圧縮部２０３が生成する符号化データを出力するように撮像部１０５”に指示する。これにより、符号化対象のタイルの符号化データとして、加算画像と差分画像の両方の符号化データが撮像部１０５”から出力される。

一方、符号化対象のタイルが画面中央部のタイルであると判定されなければ（画像周辺部のタイルであると判定されれば）、Ｓ２４０２で制御部１０１は、加算画像圧縮部３９０１が生成する符号化データを出力するように撮像部１０５”に指示する。これにより、符号化対象のタイルの符号化データとして、加算画像のみの符号化データが撮像部１０５”から出力される。なお、出力する符号化データの切り替えは、制御部１０１の指示に従って撮像部１０５”が行ってもよいし、制御部１０１が撮像部１０５”のスイッチを直接制御することによって行ってもよい。

Ｓ２４０４で制御部１０１は、現フレームのすべてのタイルについて符号化が終了したか否かを判定し、終了したと判定されれば選択処理を終了し、終了したと判定されなければ処理をＳ２４０１に戻す。

なお、どのタイルを画面周辺部（または画面中央部）のタイルとするかは、光学系１０４の特性に応じて予めＲＯＭ１０２に記憶しておくことができる。また、光学系１０４が交換可能な場合は、交換レンズの種類ごとに画面周辺部とするタイルの情報をＲＯＭ１０２に記憶しておくことができる。また、制御部１０１は、符号化データを記録する際、例えばファイルのヘッダ情報に、どのタイルが画面周辺部に該当するか（加算画像の符号化データしか記録されていないか）を復号時に特定できる情報を含めておく。

図１８（ａ）は、本実施形態における画像処理部１０７−４の機能構成例を示すブロック図である。第２実施形態と同様の構成については図１４（ａ）と同じ参照数字を付してある。本実施形態の画像処理部１０７−４は、第２実施形態における画像処理部１０７”が画像伸長部１５０２の代わりに加算画像伸長部４１０１を有する。

図１８（ｂ）は、加算画像伸長部４１０１の機能構成例を示すブロック図である。加算画像伸長部４１０１は図６（ａ）に示した画像処理部１０７の構成のうち、加算画像に関する構成だけを有する。ただし、加算画像の符号化データはスケーリング係数（ＬＬ）だけでなく、ウェーブレット展開係数（ＬＨ，ＨＬ，ＨＨ）も含んでいるため、デコード部８０１はすべての係数をデコードしてウェーブレット逆変換部８０２に供給する。そして、ウェーブレット逆変換部８０２は、デコード部８０１から供給された係数に対してウェーブレット逆変換を行う。

各フレームの復号中、制御部１０１は、画像処理部１０７−４で用いる画像伸長部を、図１８（ｃ）のフローチャートに示すように選択する。すなわち、Ｓ２５０１で制御部１０１は、復号対象のタイルが、画面中央部のタイルであるか否かを判定する。例えば制御部１０１は、符号化データを含んだファイルのヘッダ情報を参照し、復号対象のタイルが画面中央部のタイルである（または画像周辺部のタイルでない）ことを判定できる。復号対象のタイルが画面中央部のタイルであると判定されれば、Ｓ２５０３で制御部１０１は、画像伸長部１５０１で得られるデータを出力するように画像処理部１０７−４に指示する。これにより、復号対象のタイルの復号結果として、加算画像と差分画像の両方のデータが画像処理部１０７−４から出力される。

一方、復号対象のタイルが画面中央部のタイルであると判定されなければ（画像周辺部のタイルであると判定されれば）、Ｓ２５０２で制御部１０１は、加算画像伸長部４１０１で得られる復号データを出力するように画像処理部１０７−４に指示する。これにより、復号対象のタイルのデータとして、加算画像のデータのみが画像処理部１０７−４から出力される。なお、画像伸長部の切り替えは、制御部１０１の指示に従って画像処理部１０７−４が行ってもよいし、制御部１０１が画像処理部１０７−４のスイッチを直接制御することによって行ってもよい。あるいは、上述した処理を、制御部１０１の代わりに、画像処理部１０７−４が復号対象のタイルの符号化データをＲＡＭ１０３から取得する際に実行してもよい。

本実施形態によれば、差分画像の周辺部分については符号化を行わない（あるいは符号化を行っても符号化データを記録しない）ようにした。そのため、第１〜第３実施形態の効果に加えて、多視点画像の符号化データ量を削減することができる。なお、本実施形態の構成は、第１〜第３実施形態の構成と組み合わせることができる。

●（第５実施形態）
次に、本発明の第５実施形態について説明する。なお、本実施形態は第１実施形態で説明したデジタルカメラ１００と同じ機能構成によって実施可能である。そのため、第１実施形態と同様の参照数字を用いて説明する。

図１９（ａ）は、本実施形態における撮像部１０５’’’の機能構成例を示すブロック図である。第１実施形態と同様の構成については図２（ａ）と同じ参照数字を付してある。本実施形態の撮像部１０５’’’は、第４実施形態における撮像部１０５”に対し、色変換部４３０１と、加算画像圧縮部３９０２を追加した構成を有する。ここで、加算画像圧縮部３９０２は加算画像圧縮部３９０１と同じ構成を有する。

色変換部４３０１は、Ａ／Ｄ変換部２０２が出力するＡ像〜Ｄ像の画像データの形式をＲＧＢ形式からＹＵＶ形式に変換する。本実施形態において、画素部２０１は、図１９（ｂ）示す画素配列を有する。具体的には、画素部２０１には原色ベイヤー配列のカラーフィルタが設けられており、カラーフィルタの１コマが１つのマイクロレンズ４４０５に対応している。これにより、１つのマイクロレンズ４４０５を共有する４つの光電変換部４４０１、４４０２、４４０３、４４０４は同じ色のカラーフィルタを透過した光を光電変換する。これにより、Ａ像〜Ｄ像は、原色ベイヤー配列に等しい配列の画素配置を有する画像となる。

色変換部４３０１は、Ａ像〜Ｄ像のそれぞれに対してデベイヤー（デモザイク）処理を行い、各画素がＲＧＢ成分を有するようにした後、公知のＲＧＢ→ＹＵＶ変換を適用することにより、Ａ像〜Ｄ像をＹＵＶ形式の画像データに変換する。そして、色変換部４３０１は、Ａ像〜Ｄ像のＹ成分を画像圧縮部２０３に、Ｕ成分を加算画像圧縮部３９０１に、Ｖ成分を加算画像圧縮部３９０２に、それぞれ分配する。

人間の視覚は輝度成分（Ｙ成分）に対して色差成分（ＵおよびＶ成分）に対して鈍感である。したがって、輝度成分については画像圧縮部２０３で加算画像（ＹＡ＋ＹＢ＋ＹＣ＋ＹＤ）および差分画像（ＹＡ−ＹＢ＋ＹＣ−ＹＤ、ＹＡ＋ＹＢ−ＹＣ−ＹＤ、ＹＡ−ＹＢ−ＹＣ＋ＹＤ）について、第１実施形態と同様にウェーブレット変換および符号化を行う。つまり、輝度成分については、加算画像は全ての係数（ＬＬ，ＨＬ，ＬＨ，ＨＨ）を、差分画像についてはウェーブレット展開係数（ＨＬ，ＬＨ，ＨＨ）だけを符号化する。一方、色差成分については加算画像圧縮部３９０１および３９０２でそれぞれＵ成分およびＶ成分の加算画像（ＵＡ＋ＵＢ＋ＵＣ＋ＵＤおよびＶＡ＋ＶＢ＋ＶＣ＋ＶＤ）のみについて、第４実施形態と同様にウェーブレット変換および符号化を行う。つまり、色差成分については加算画像についてのみ、かつ全ての係数を符号化する。このように、微少なリフォーカスの効果が視認しやすい輝度成分についてのみ差分画像を符号化することにより、符号化データを削減することができる。

図２０は、本実施形態における画像処理部１０７−５の機能構成例を示すブロック図である。画像処理部１０７−５は、図１８（ａ）に示した画像処理部１０７−４が有する画像伸長部１５０１、加算画像伸長部４１０１に加え、加算画像伸長部４１０２を有する。加算画像伸長部４１０２は加算画像伸長部４１０１と同一構成である。画像伸長部１５０１は輝度成分画像（加算画像および差分画像）の符号化データを復号およびウェーブレット逆変換する。加算画像伸長部４１０１および４１０２はそれぞれＵ成分とＶ成分の加算画像の符号化データを復号およびウェーブレット逆変換する。

画像伸長部１５０１で得られる輝度成分の視差画像（ＹＡ像〜ＹＤ像）はシフト加算部８０３’においてリフォーカス処理（シフト加算）され、リフォーカス画像として加算部８０４’に供給される。加算部８０４’は、リフォーカス画像と、画像伸長部１５０１で得られる輝度成分の加算画像（ＹＡ＋ＹＢ＋ＹＣ＋ＹＤ）とを加算し、色変換部４５０１に供給する。色変換部４５０１は、加算部８０４”からの輝度成分画像と、加算画像伸長部４１０１および４１０２で得られるＵ成分およびＶ成分の加算画像（ＵＡ＋ＵＢ＋ＵＣ＋ＵＤおよびＶＡ＋ＶＢ＋ＶＣ＋ＶＤ）とを色変換する。これにより、ＲＧＢ成分を有する最終的なリフォーカス画像が得られる。

本実施形態によれば、複数の視差画像については輝度成分だけ符号化し、加算画像については輝度成分と色差成分とを符号化するようにしたので、符号化データ量を効率的に削減することができる。

（その他の実施形態）
上述した第１〜第５実施形態は、その一部または全部を適宜組み合わせることが可能である。また、第１〜第５実施形態は撮像部においてサブバンド分割、符号化、また色変換などを行う構成について説明した。しかし、撮像部はＡ／Ｄ変換までを行い、サブバンド分割、符号化、また色変換などは制御部または画像処理部が実行するように構成してもよい。また、第１〜第５実施形態におけるサブバンド分割、符号化、また色変換などは、必ずしも撮影時に実行しなくてもよい。例えば記録済みのＲＡＷに対してこれらの処理を実行することによっても、記録サイズを削減するという効果は得られる。また、第１〜第５実施形態においては、符号化処理と復号処理とを同じ装置で行う構成であったが、符号化処理と復号処理とは異なる装置で行ってもよい。本発明は説明した実施形態の構成に限定されない。実施形態の構成は特許請求の範囲に記載された範囲で様々な変形および変更が可能であり、それらは全て本発明に含まれる。

また、上述した実施形態では、画像圧縮部が画素部と同一半導体チップ内にある構成とした。しかし、画素部を有する撮像用のチップと、画像圧縮部を含むＦＰＧＡ（field-programmable gate array）などの回路とが独立して設けられ、配線で電気的に接続されていてもよい。このとき、画像圧縮部からの出力は、さらに別のチップに搭載された画像処理部などに出力される。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルカメラ、１０１…制御部、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…光学系、１０５…撮像部、１０７…画像処理部、１０８…記録媒体

Claims (23)

1. 複数の視差画像の加減算に基づく複数の差分画像と、前記複数の視差画像の加算に基づく加算画像とを、高帯域成分を含むサブバンドと高帯域成分を含まないサブバンドとを含む、複数のサブバンドに分割する分割手段と、
   前記複数の差分画像と前記加算画像とを符号化する符号化手段と、を有し、
   前記符号化手段は、前記複数の差分画像については前記高帯域成分を含むサブバンドのデータを符号化し、前記加算画像については前記複数のサブバンドのデータを符号化する、
   ことを特徴とする画像処理装置。
2. 前記複数の差分画像と、前記加算画像との加減算により、前記複数の視差画像が復元できるように前記複数の差分画像が生成されることを特徴とする請求項１に記載の画像処理装置。
3. 前記符号化手段は、前記複数の差分画像の数を減らして符号化するか、前記複数の差分画像の数を減らさずに符号化するかを切り替え可能であることを特徴とする請求項１に記載の画像処理装置。
4. 前記符号化手段は、前記複数の視差画像から、垂直方向または水平方向における視差の情報を持たない複数の差分画像を生成することにより、差分画像の数を減らすことを特徴とする請求項２に記載の画像処理装置。
5. 前記符号化手段は、前記複数の差分画像について、予め定められた画面周辺部については符号化しないことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
6. 複数の視差画像の加減算に基づく複数の差分画像と、前記複数の視差画像の加算に基づく加算画像とを、輝度成分と色差成分とに変換する変換手段と、
   前記輝度成分と前記色差成分とを、高帯域成分を含むサブバンドと高帯域成分を含まないサブバンドとを含む、複数のサブバンドに分割する分割手段と、
   前記複数の差分画像と前記加算画像とを符号化する符号化手段と、を有し、
   前記符号化手段は、
   前記加算画像については、前記輝度成分および前記色差成分とも前記複数のサブバンドのデータを符号化し、
   前記複数の差分画像については、前記色差成分は符号化せず、前記輝度成分は前記高帯域成分を含むサブバンドのデータを符号化する、
   ことを特徴とする画像処理装置。
7. 前記分割手段は、前記分割のレベルを選択可能であることを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
8. 前記分割手段における前記分割のレベルを選択する制御手段をさらに有し、
   前記制御手段は、前記複数の差分画像のシフト量が第１のシフト量である場合に第１のレベルを選択し、前記複数の差分画像のシフト量が前記第１のシフト量より大きい第２のシフト量である場合に、前記第１のレベルより高い第２のレベルを選択することを特徴とする請求項７に記載の画像処理装置。
9. 光学系と、
   前記分割手段における前記分割のレベルを選択する制御手段をさらに有し、
   前記制御手段は、前記光学系の被写界深度が第１の被写界深度である場合に第１のレベルを選択し、前記光学系の被写界深度が前記第１の被写界深度より小さい第２の被写界深度である場合に、前記第１のレベルより高い第２のレベルを選択することを特徴とする請求項８に記載の画像処理装置。
10. 前記加算画像および前記複数の視差画像のゲインを符号化前に低減することを特徴とする請求項１から請求項９のいずれか１項に記載の画像処理装置。
11. 前記加算画像および前記複数の視差画像を除算することにより前記ゲインを低減することを特徴とする請求項１０に記載の画像処理装置。
12. 複数の視差画像の加算に基づく加算画像の複数のサブバンドの符号化データと、前記複数の視差画像の加減算に基づく複数の差分画像のそれぞれの、前記複数のサブバンドのうち、高帯域成分を含むサブバンドの符号化データと、を取得する取得手段と、
    前記複数の差分画像の符号化データから復元した前記複数の視差画像を用いてリフォーカス画像を生成する生成手段と、
    前記加算画像の符号化データから復元した前記加算画像に前記リフォーカス画像を加算する加算手段と、
    を有することを特徴とする画像処理装置。
13. 前記生成手段は、
    前記複数の差分画像の符号化データから前記複数の差分画像を復元し、
    前記復元された加算画像と前記複数の差分画像とから前記複数の視差画像を復元する、
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記生成手段は、前記復元した複数の視差画像をシフト加算することにより前記リフォーカス画像を生成することを特徴とする請求項１２または請求項１３に記載の画像処理装置。
15. 複数の視差画像の加算に基づく加算画像の複数のサブバンドの符号化データと、前記複数の視差画像の加減算に基づく複数の差分画像のそれぞれの、前記複数のサブバンドのうち、高帯域成分を含むサブバンドの符号化データと、を取得する取得手段と、
    前記複数の差分画像の符号化データから得られる、前記複数の視差画像のサブバンドのデータをサブバンドごとにシフト加算するシフト加算手段と、
    前記シフト加算されたサブバンドのデータと、前記加算画像の符号化データから得られるサブバンドのデータとから画像を復元する復元手段と、
    を有することを特徴とする画像処理装置。
16. 光学系からの光束を受光し、複数の視差画像を出力する撮像素子と、
    前記撮像素子から出力される前記複数の視差画像を処理する請求項１から請求項１１のいずれか１項に記載の画像処理装置と、
    前記画像処理装置で符号化された符号化データをメモリに記録する記録手段と、
    を有することを特徴とする撮像装置。
17. 前記画像処理装置によって符号化され、前記メモリに記録された符号化データを復号し、前記複数の視差画像の視差を利用した画像処理を施す画像処理回路を有することを特徴とする請求項１６に記載の撮像装置。
18. 光学系からの光束を受光し、複数の視差画像を出力する複数の光電変換部を有する第１半導体基板と、
    前記複数の視差画像を処理する請求項１から請求項１１のいずれか１項に記載の画像処理装置を有する第２半導体基板と、
    が積層状に重ねて配置されて構成されることを特徴とする撮像素子。
19. 画像処理装置が実行する画像処理方法であって、
    複数の視差画像の加減算に基づく複数の差分画像と、前記複数の視差画像の加算に基づく加算画像とを、高帯域成分を含むサブバンドと高帯域成分を含まないサブバンドとを含む、複数のサブバンドに分割する分割工程と、
    前記複数の差分画像と前記加算画像とを符号化する符号化工程と、を有し、
    前記符号化工程は、前記複数の差分画像については前記高帯域成分を含むサブバンドのデータを符号化し、前記加算画像については前記複数のサブバンドのデータを符号化する、
    ことを特徴とする画像処理方法。
20. 画像処理装置が実行する画像処理方法であって、
    複数の視差画像の加減算に基づく複数の差分画像と、前記複数の視差画像の加算に基づく加算画像とを、輝度成分と色差成分とに変換する変換工程と、
    前記輝度成分と前記色差成分とを、高帯域成分を含むサブバンドと高帯域成分を含まないサブバンドとを含む、複数のサブバンドに分割する分割工程と、
    前記複数の差分画像と前記加算画像とを符号化する符号化工程と、を有し、
    前記符号化工程は、
    前記加算画像については、前記輝度成分および前記色差成分とも前記複数のサブバンドのデータを符号化し、
    前記複数の差分画像については、前記色差成分は符号化せず、前記輝度成分は前記高帯域成分を含むサブバンドのデータを符号化する、
    ことを特徴とする画像処理方法。
21. 画像処理装置が実行する画像処理方法であって、
    複数の視差画像の加算に基づく加算画像の複数のサブバンドの符号化データと、前記複数の視差画像の加減算に基づく複数の差分画像のそれぞれの、前記複数のサブバンドのうち、高帯域成分を含むサブバンドの符号化データと、を取得する取得工程と、
    前記複数の差分画像の符号化データから復元した前記複数の視差画像を用いてリフォーカス画像を生成する生成工程と、
    前記加算画像の符号化データから復元した前記加算画像に前記リフォーカス画像を加算する加算工程と、
    を有することを特徴とする画像処理方法。
22. 画像処理装置が実行する画像処理方法であって、
    複数の視差画像の加算に基づく加算画像の複数のサブバンドの符号化データと、前記複数の視差画像の加減算に基づく複数の差分画像のそれぞれの、前記複数のサブバンドのうち、高帯域成分を含むサブバンドの符号化データと、を取得する取得工程と、
    前記複数の差分画像の符号化データから、前記複数の視差画像のサブバンドのデータを生成する生成工程と、
    前記加算画像の符号化データから得られるサブバンドのデータを、サブバンドごとにシフト加算するシフト加算工程と、
    前記シフト加算されたサブバンドのデータと、前記加算画像の符号化データから得られるサブバンドのデータとから画像を復元する復元工程と、
    を有することを特徴とする画像処理方法。
23. コンピュータを、請求項１から請求項１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images