JP6094863B2 - 画像処理装置、画像処理方法、プログラム、集積回路 - Google Patents
画像処理装置、画像処理方法、プログラム、集積回路 Download PDFInfo
- Publication number
- JP6094863B2 JP6094863B2 JP2012547388A JP2012547388A JP6094863B2 JP 6094863 B2 JP6094863 B2 JP 6094863B2 JP 2012547388 A JP2012547388 A JP 2012547388A JP 2012547388 A JP2012547388 A JP 2012547388A JP 6094863 B2 JP6094863 B2 JP 6094863B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- pixel
- depth
- pixels
- depth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—Three-dimensional [3D] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—Three-dimensional [3D] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、画像処理技術に関し、特に立体視画像の生成技術に関する。
画像データを構成する各画素の座標を水平方向にシフトすることにより、元の画像データとは異なる視点の画像を生成し、多視点の画像からなる立体視画像を生成するＤＩＢＲ（Depth-image-based Rendering）技術が知られている（非特許文献１参照）。
ＤＩＢＲでは、画像データに写る各オブジェクトの奥行き方向の位置を示すデプス画像に基づき、水平方向のシフト量を決定する。この際、手前に位置するオブジェクト（前景オブジェクト）と奥に位置するオブジェクト（後景オブジェクト）ではシフト量が異なるため、画素シフト後の画像には、前景オブジェクトと後景オブジェクトとの境界部分、すなわち奥行きの値が不連続に変化するエッジ近傍において、画素値が存在しない画素欠落領域（オクルージョン）が発生する。
特許文献１には、画素欠落領域の近傍の画素を用いた線形補間を行うことにより、かかる画素欠落領域を補間する技術が開示されている。また非特許文献１には、デプス画像の奥行きの値が不連続に変化するエッジ部分をガウスフィルタにより平滑化し、平滑化後のデプス画像を用いて画素シフト処理を行うことにより画素欠落領域のサイズを縮小する技術が開示されている。
Fehn Christoph, "Depth-Image-Based Rendering (DIBR), Compression and Transmission for a New Approach on 3D-TV"; Conference on Stereoscopic Displays and Virtual Reality Systems XI, JAN 19-22, 2004 San Jose CA; p.93-104
しかしながら、上記の従来技術では、ＤＩＢＲ処理後の立体視画像が不自然なものとなる場合があった。
本発明は上記事情に鑑みなされたものであり、違和感の少ないＤＩＢＲ処理を可能とする画像処理装置を提供することを目的とする。
上記目的を達成するため、本発明の一態様である画像処理装置は、オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理装置であって、デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更手段と、前記デプス画像変更手段により変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフト手段と、前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間手段とを備えることを特徴とする。
本発明の一態様である画像処理装置によれば、デプス画像の奥行きの値が不連続に変化するエッジ位置を移動させ、エッジ位置の移動がなされたデプス画像に基づき、元の画像データの画素の座標をシフトするので、後景オブジェクト間に画素欠落領域が発生する。かかる画素欠落領域を後景オブジェクト間の画素を用いて補間することとなり、視聴者の注目を引く前景オブジェクトの補間によるぼけ、歪みを防ぐことができる。
また、後景オブジェクト部分が引き延ばされることとなるが、後景オブジェクトは一般に前景オブジェクトに比べ、複雑な形状でなく画素変化が単調なため、画素欠落領域の補間による画像全体の画質劣化を抑えることができる。
≪本発明にかかる一態様の基礎となった知見≫
まず、本発明にかかる一態様の基礎となった知見について説明する。
まず、本発明にかかる一態様の基礎となった知見について説明する。
ＤＩＢＲでは、前景オブジェクトと後景オブジェクトとの境界部分に、画素欠落領域は発生する。このため、従来では、特許文献１や非特許文献１に開示される技術を用いて、ＤＩＢＲ処理により生じる画素欠落領域の補間が行なわれていた。
ここで、発明者らは、鋭意研究により、これらの技術によりＤＩＢＲ処理により生じる画素欠落領域を補間した場合、ＤＩＢＲ処理後の立体視画像が不自然なものとなる場合があることを発見した。
具体的には、特許文献１に開示される技術を用いてＤＩＢＲ処理により生じる画素欠落領域の補間を行なった場合、画素欠落領域の近傍の画素を用いて画素欠落領域の補間が行なわれる。画素欠落領域は前景オブジェクトと後景オブジェクトとの境界部分に発生するため、画素欠落領域は前景オブジェクトと後景オブジェクトとの間の線形的な色の内挿により補間されることとなる。その結果、ＤＩＢＲ処理後の立体視画像は、前景オブジェクトの縁が前景オブジェクトと後景オブジェクトの中間色で引き延ばされた画像となる。立体視表示時において、ディスプレイ上から飛び出して観察される前景オブジェクトは視聴者の注目を引くため、かかる前景オブジェクトのぼけや歪みは目立つ。
また、非特許文献１に開示される技術を用いて、デプス画像の奥行きの値が不連続に変化するエッジ部分をガウスフィルタにより平滑化し、平滑化後のデプス画像を用いてＤＩＢＲ処理を行った場合、画素欠落領域のサイズを小さくすることができるが、デプス画像の奥行きの値が急峻に変化する前景オブジェクトと後景オブジェクト間には画素欠落領域が発生する。このため、この画素欠落領域を補間する必要があり、補間後の立体視画像は前景オブジェクトがぼけて歪んだ画像となってしまう。
≪本発明の一態様の概要≫
発明者らは、以上の知見を基礎に、以下に示す発明の一態様を得るに至った。
発明者らは、以上の知見を基礎に、以下に示す発明の一態様を得るに至った。
本発明の一態様である画像処理装置は、オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理装置であって、デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更手段と、前記デプス画像変更手段により変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフト手段と、前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間手段とを備える。
上記の態様によれば、デプス画像の奥行きの値が不連続に変化するエッジ位置を移動させ、エッジ位置の移動がなされたデプス画像に基づき、元の画像データの画素の座標をシフトするので、後景オブジェクト間に画素欠落領域が発生する。かかる画素欠落領域を後景オブジェクト間の画素を用いて補間することとなり、視聴者の注目を引く前景オブジェクトの補間によるぼけ、歪みを防ぐことができる。
また、後景オブジェクト部分が引き延ばされることとなるが、後景オブジェクトは一般に前景オブジェクトに比べ、複雑な形状でなく画素変化が単調なため、画素欠落領域の補間による画像全体の画質劣化を抑えることができる。
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記デプス画像変更手段は、前記デプス画像データのエッジで隔たれた前景領域、後景領域のうち、後景領域側にエッジ画素群で取り囲まれる画素の座標を移動させる。
上記の態様によれば、後景領域側にエッジを移動させるので、画素欠落領域の補間による画像全体の画質劣化を抑えることができる。
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記画像処理装置はさらに、オリジナルの画像データに写る被写体の複雑度算出する複雑度算出手段を備え、前記デプス画像変更手段は、後景の領域の複雑度が所定の値以下である場合を条件に実行される。
上記の態様によれば、後景オブジェクトが複雑でなく画素変化が単調な場合に限り、エッジ移動処理を行うので、複雑な後景オブジェクトが引き延ばされ、画像全体の画質が劣化することを防ぐことができる。
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記画像処理装置はさらに、オリジナルの画像データに写る被写体の複雑度算出する複雑度算出手段を備え、前記デプス画像変更手段は、前景の領域の複雑度が後景の領域の複雑度よりも高い場合を条件に実行される。
上記の態様によれば、前景オブジェクトが後景オブジェクトよりも複雑である場合に限り、エッジ位置を後景側に移動させるため、前景オブジェクトよりも複雑なオブジェクトが引き延ばされ、画質が劣化することを防ぐことができる。
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記画像処理装置はさらに、所定フレーム前のオリジナルの画像データにおける複雑度を記憶する複雑度記憶手段を備え、前記デプス画像変更手段は、所定フレーム前のオリジナルの画像データにおける前景領域の複雑度が所定の値以上である場合を条件に実行される。
上記の態様によれば、１フレーム単位で、前景オブジェクトが補間によりぼけて歪んだ画像、後景オブジェクトが補間によりぼけて歪んだ画像が交互に表示されることを防ぎ、ちらつき発生による動画像の画質が劣化を防ぐことができる。
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記デプス画像変更手段は、水平方向に隣接する画素との奥行きの値の差分が所定の値以上である画素を前記デプス画像データのエッジとして検出する。
上記の態様によれば、デプス画像の奥行きの値が急峻に変化する前景オブジェクトと後景オブジェクトとの境界をデプス画像データのエッジとして検出することができる。
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記画像処理装置は、さらに、前記デプス画像データにおけるエッジを定めるパラメータを記憶するレジスタを備え、前記デプス画像変更手段は、水平方向に隣接する画素との奥行きの値の差分と、前記レジスタに記憶されたパラメータとを比較することにより、前記デプス画像データのエッジを検出する。
上記の態様によれば、装置内のレジスタを参照することにより、デプス画像データのエッジを検出することができる。
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記画像処理装置は、さらに、ユーザ操作を受け付ける操作手段を備え、前記レジスタが記憶する前記デプス画像データにおけるエッジを定めるパラメータは、前記操作手段からのユーザ入力により設定される。
上記の態様によれば、ユーザにとって所望のデプス画像変換の効果で画像の処理を行なうことができる。
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記画像処理装置は、さらに、オリジナルの画像データの種別を判定する判定手段を備え、前記レジスタが記憶する前記デプス画像データにおけるエッジを定めるパラメータは、前記判定手段により判定された画像データの種別に基づき定まる。
上記の態様によれば、画像データに写る被写体の種別に最適なデプス画像変換の効果で画像の処理を行なうことができる。
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記デプス画像変更手段は、さらに、前記エッジ画素群で取り囲まれる画素の座標の移動後、前記エッジ画素群で取り囲まれる画素に対して平滑化処理を行う。
上記の態様によれば、画素シフト処理により生じる画素欠落領域のサイズを縮小することができる。また、画素補間の対象がすくなくなり、画素補間による画質の劣化を抑えることができる。
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記画像処理装置は、さらに、前記デプス画像の画素の座標の移動させる画素数を定めるパラメータを記憶するレジスタを備え、前記デプス画像変更手段は、前記レジスタに記憶されたパラメータに示される画素数だけ、前記デプス画像データのエッジ画素群で取り囲まれる画素の座標を所定の方向に移動させる。
上記の態様によれば、ユーザにとって所望のデプス画像変換の効果で画像の処理を行なうことができる。
また、本発明の一態様にかかる画像処理装置の特定の局面では、前記画像処理装置はさらに、前記デプス画像データのうち、デプス画像変更を行う画像範囲を選択する処理範囲選択手段を備え、前記デプス画像変更手段は、処理範囲選択手段により選択された画像範囲に対して実行される。
上記の態様によれば、エッジ移動処理を行う画像範囲を指定して、多視点の画像を生成することができる。
また、本発明の一態様である画像処理方法は、オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理方法であって、デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更ステップと、前記デプス画像変更手段により変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフトステップと、前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間ステップとを備える。
上記の態様によれば、視聴者の注目を引く前景オブジェクトの補間によるぼけ、歪みを防ぐことを可能とする画像処理方法を提供することができる。
また、本発明の一態様であるプログラムは、オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理をコンピュータに実行させるプログラムであって、デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更ステップと、前記デプス画像変更手段により変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフトステップと、前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間ステップとをコンピュータに実行させる。
上記の態様によれば、視聴者の注目を引く前景オブジェクトの補間によるぼけ、歪みを防ぐことを可能とするプログラムを提供することができる。
また、本発明の一態様である集積回路は、オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理に用いる集積回路であって、デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更手段と、前記デプス画像変更手段により変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフト手段と、前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間手段とを備える。
上記の態様によれば、視聴者の注目を引く前景オブジェクトの補間によるぼけ、歪みを防ぐことを可能とする集積回路を提供することができる。
≪実施の形態１≫
以下では、本発明の実施の形態について、図面を参照しながら説明する。
以下では、本発明の実施の形態について、図面を参照しながら説明する。
［概要］
実施の形態１にかかる画像処理装置は、デプス画像に基づき画像データを構成する各画素の座標を所定方向にシフトし、元の画像データとは異なる視点の画像データを生成するものであるが、画素シフト処理に際して、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する点に特徴がある。画素シフト処理に際して、デプス画像のエッジ位置を後景側に移動させるので、画素欠落領域の両端の画素が後景オブジェクトの画素となり、画素欠落領域の補間による前景オブジェクトのぼけ、歪みを防ぐことが可能となる。
実施の形態１にかかる画像処理装置は、デプス画像に基づき画像データを構成する各画素の座標を所定方向にシフトし、元の画像データとは異なる視点の画像データを生成するものであるが、画素シフト処理に際して、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する点に特徴がある。画素シフト処理に際して、デプス画像のエッジ位置を後景側に移動させるので、画素欠落領域の両端の画素が後景オブジェクトの画素となり、画素欠落領域の補間による前景オブジェクトのぼけ、歪みを防ぐことが可能となる。
［構成］
まず、実施の形態１にかかる画像処理装置１００の構成について説明する。図１は、画像処理装置１００の構成の一例を示すブロック図である。本図に示されるように、画像処理装置１００は、デプス画像変換部１０１、画素シフト部１０２、画素補間部１０３を含んで構成される。以下、各構成部について説明する。
まず、実施の形態１にかかる画像処理装置１００の構成について説明する。図１は、画像処理装置１００の構成の一例を示すブロック図である。本図に示されるように、画像処理装置１００は、デプス画像変換部１０１、画素シフト部１０２、画素補間部１０３を含んで構成される。以下、各構成部について説明する。
＜デプス画像変換部１０１＞
デプス画像変換部１０１は、入力されたデプス画像のエッジ位置を後景側に移動させる機能を有する。具体的には、水平方向に隣接する画素が有する奥行きの値が所定の閾値以上である画素位置をエッジ位置とし、そのエッジ位置を所定画素数、右方向に移動させる。
デプス画像変換部１０１は、入力されたデプス画像のエッジ位置を後景側に移動させる機能を有する。具体的には、水平方向に隣接する画素が有する奥行きの値が所定の閾値以上である画素位置をエッジ位置とし、そのエッジ位置を所定画素数、右方向に移動させる。
図２（ａ）は、画像処理装置１００の入力データである画像データの一例、図２（ｂ）は、図２（ａ）に示される画像データの各画素の奥行き方向の位置を示したデプス画像を示す図である。デプス画像は、各画素の奥行きを０〜２５５までの２５６階調の輝度で表したグレースケール画像であり、前方に位置するほど色が白、後方に位置するほど色が黒で表される。
デプス画像において、画像データに写る各被写体（オブジェクト）の境界で、奥行きの値が変化する。奥行きの値が急峻に変化する位置をデプス画像のエッジ位置と呼ぶ。本図に示す例では、人間の被写体（前景）と背景部分（後景）の境界位置がエッジ位置となる。
図３は、エッジ移動の対象を示す図である。縦軸が奥行きの値、横軸がｘ座標位置を示す。本図に示されるように、デプス画像変換部１０１は、処理画素位置の左１画素となりの奥行きの値と処理画素位置の奥行きの値との差分がα以上である場合、エッジ移動の対象とする。
なお、本実施の形態においてエッジ移動の対象となるのは前景オブジェクトの右端のエッジである。前景オブジェクトの左端のエッジはエッジ移動の対象としない。その理由は、後述する画素シフト部１０２が、入力画像の前景オブジェクトの各画素を左方向にシフトし、入力画像の視点位置に対して右方向に離れた視点位置の画像を生成するため、前景オブジェクトの右端部分に画素欠落領域が発生するからである。前景オブジェクトの左端部分には画素欠落領域が発生しないため、前景オブジェクトの左端のエッジを移動させる必要はない。
図４は、デプス画像のエッジ位置の移動を示す図である。本図に示されるように、デプス画像変換部１０１は、特定したエッジ位置を所定画素（Ｎ画素）後景側に移動させる。具体的には、処理画素からＮ画素となりの画素までの奥行き値を、処理画素の奥行き値に変更する。ここで後景側とは、エッジにより隔たれた２領域うち、奥行きの値が小さい領域側をいう。すなわち、画素シフトにより右視点画像を生成する本実施の形態においては、エッジ位置を右方向に移動させる。
図５は、エッジ移動後のデプス画像を示す図である。本図に示されるように、デプス画像変換部１０１は、前景オブジェクトの右端のエッジ位置が右方向（後景側）にＮ画素水平移動したデプス画像を出力する。
＜画素シフト部１０２＞
画素シフト部１０２は、デプス画像変換部１０１から出力されたデプス画像に基づき、入力された画像データを構成する各画素の座標を水平方向にシフトさせることにより、入力画像の視点位置に対して右方向に離れた視点位置の画像を生成する機能を有する。
画素シフト部１０２は、デプス画像変換部１０１から出力されたデプス画像に基づき、入力された画像データを構成する各画素の座標を水平方向にシフトさせることにより、入力画像の視点位置に対して右方向に離れた視点位置の画像を生成する機能を有する。
また、画素シフト部１０２は、画素シフトにより生じた画素値が存在しない画素欠落領域（オクルージョン）の位置を、０／１の１ｂｉｔのフラグで示す画素欠落領域フラグを生成する機能を有する。入力画像を左視点画像、画素シフトにより生成した画像を右視点画像として表示することにより、立体視を実現することができる。以下では、画素シフトの詳細について説明する。
図６は、画素シフト部１０２による画素シフトを説明するための図である。立体視効果には、飛び出し効果をもたらすもの（飛出し立体視）と、引っ込み効果をもたらすもの（引っ込み立体視）とがあり、図６（ａ）は飛出し立体視の場合の画素シフト、図６（ｂ）は引っ込み立体視の場合の画素シフトを示す。
これらの図において、Ｐは水平方向へのシフト量、L-View-Pointは左目瞳孔位置、R-View-Pointは右目瞳孔位置、L-Pixelは左目画素、R-Pixelは右目画素、ｅは瞳孔間距離、Ｈは表示画面の高さ、Ｗは表示画面の横幅、Ｓは視聴者から表示画面までの距離、Ｚは視聴者から結像点までの距離、すなわち被写体の奥行き方向の距離を示す。左目画素L-pixelと左目瞳孔L-view-pointとを結ぶ直線は左目瞳孔L-view-pointの視線、右目画素R-Pixelと右目瞳孔R-View-Pointとを結ぶ直線は右目瞳孔R-View-Pointの視線であり、３Ｄメガネによる透光・遮光の切り替えや、パララックスバリア、レンティキュラレンズ等を用いた視差障壁によって実現される。
まず、飛出し立体視の場合について説明する。図６（ａ）を参照するに、左目瞳孔L-view-point、右目瞳孔R-View-Point、結像点の三点からなる三角形と、左目画素L-pixel、右目画素R-pixel、結像点の三点からなる三角形の相似関係から、水平方向のシフト量Ｐ、被写体の距離Ｚ、視聴者から表示画面までの距離Ｓ、瞳孔間距離ｅとの間にはＰ＝ｅ（１−Ｓ／Ｚ）の関係が成り立つ。また、図６（ｂ）の引っ込み立体視の場合も上記の説明と同様の関係が成り立つ。画素シフト部１０２は、上記関係式に基づき、各画素に対するシフト量を算出し、算出したシフト量に相当する画素数水平方向に画素シフトすることにより、右視点画像（Ｒ画像）を生成する。
なお、被写体の距離Ｚはデプス画像から取得できる。また、瞳孔間距離ｅは、成人男性の平均値６．５ｃｍを採用する。また視聴者から表示画面までの距離Ｓは、最適な視聴距離が一般に表示画面の高さの３倍とされることから、３Ｈとする。
＜画素補間部１０３＞
画素補間部１０３は、画素シフト部１０２が出力した画素欠落領域フラグを受け付け、この画素欠落領域フラグにより示される画素欠落領域（オクルージョン）を補間する機能を有する。具体的には、画素欠落領域フラグにより画素欠落領域を特定し、画素欠落領域の近傍の画素を用いて、特定した画素欠落領域を線形補間する。
画素補間部１０３は、画素シフト部１０２が出力した画素欠落領域フラグを受け付け、この画素欠落領域フラグにより示される画素欠落領域（オクルージョン）を補間する機能を有する。具体的には、画素欠落領域フラグにより画素欠落領域を特定し、画素欠落領域の近傍の画素を用いて、特定した画素欠落領域を線形補間する。
図７は、画素シフトにより生じた画素欠落領域を示す図である。図７（ａ）は、エッジ移動を行わなかった場合の画素欠落領域、図７（ｂ）は、エッジ移動を行った場合の画素欠落領域をそれぞれ示す。また、図８は、画素補間後の画像データを示す図である。図８（ａ）は図７（ａ）に示されるエッジ移動を行わなかった場合の画素欠落領域に対して線形補間をした場合の画像データ、図８（ｂ）は図７（ｂ）に示されるエッジ移動を行った場合の画素欠落領域に対して線形補間をした場合の画像データをそれぞれ示す。
エッジ移動を行わなかった場合、図７（ａ）に示されるように、前景オブジェクトと後景オブジェクトの境界に画素欠落領域が発生する。かかる画素欠落領域に対して画素の補間を行った場合、前景オブジェクトと背景オブジェクトとの間の線形的な色の内挿により欠落領域を補間することとなる。その結果、図８（ａ）に示されるように、前景オブジェクトの縁が中間色で引き延ばされ、前景オブジェクトの端部がぼけ、歪んだ画像となる。
一方エッジ移動を行った場合、画素欠落領域が後景側に数画素ずれる。これにより、図７（ｂ）に示されるように、画素欠落領域の両端の画素は、後景オブジェクトのものとなる。従って、かかる画素欠落領域に対して画素の補間を行った場合、後景オブジェクトの画素間の線形的な色の内挿により欠落領域を補間することになる。後景オブジェクト間の画素を用いて画素欠落領域を補間するため、視聴者の注目を引く前景オブジェクトの補間によるぼけ、歪みを防ぐことができる。後景オブジェクト部分が引き延ばされることとなるが、後景オブジェクトは一般に前景オブジェクトに比べ、複雑な形状でなく画素変化が単調なため、画素欠落領域の補間による画像全体の画質劣化を抑えることができ、図８（ｂ）に示すような良好な画質の画像データを生成することができる。
以上が画像処理装置１００の構成についての説明である。続いて、上記構成を備える画像処理装置１００の動作について説明する。
［動作］
＜視点画像生成処理＞
まず、画像処理装置１００による視点画像生成処理について説明する。図９は視点画像生成処理の流れを示すフローチャートである。本図に示されるように、デプス画像変換部１０１はデプス画像変換処理を行う（ステップＳ９０１）。デプス画像変換処理の詳細は後述する。次に、画素シフト部１０２は、シフト量の算出を行う（ステップＳ９０２）。具体的には、ステップＳ９０１で変換されたデプス画像に基づき、Ｐ＝ｅ（１−Ｓ／Ｚ）の関係式を用いて、各画素のシフト量を算出する。そして、画素シフト部１０２は、算出したシフト量に基づき画素シフト処理を行い、Ｒ画像を生成する（ステップＳ９０３）。Ｒ画像の生成後、画素補間部１０３は、画素シフト処理により生じた画素欠落領域を線形補間する（ステップＳ９０４）。以上が、画像処理装置１００による視点画像生成処理についての説明である。続いて、上記のステップＳ９０１のデプス画像変換処理の詳細について説明する。
＜視点画像生成処理＞
まず、画像処理装置１００による視点画像生成処理について説明する。図９は視点画像生成処理の流れを示すフローチャートである。本図に示されるように、デプス画像変換部１０１はデプス画像変換処理を行う（ステップＳ９０１）。デプス画像変換処理の詳細は後述する。次に、画素シフト部１０２は、シフト量の算出を行う（ステップＳ９０２）。具体的には、ステップＳ９０１で変換されたデプス画像に基づき、Ｐ＝ｅ（１−Ｓ／Ｚ）の関係式を用いて、各画素のシフト量を算出する。そして、画素シフト部１０２は、算出したシフト量に基づき画素シフト処理を行い、Ｒ画像を生成する（ステップＳ９０３）。Ｒ画像の生成後、画素補間部１０３は、画素シフト処理により生じた画素欠落領域を線形補間する（ステップＳ９０４）。以上が、画像処理装置１００による視点画像生成処理についての説明である。続いて、上記のステップＳ９０１のデプス画像変換処理の詳細について説明する。
＜デプス画像変換処理＞
図１０は、デプス画像変換処理の流れを示すフローチャートである。本図に示されるように、デプス画像変換部１０１はまず、処理画素位置の奥行きの値（Ａ）を入力されたデプス画像から取得する（ステップＳ１００１）。次にデプス画像変換部１０１は、処理画素位置の左１画素となりの奥行きの値（Ｂ）を入力されたデプス画像から取得する（ステップＳ１００２）。
図１０は、デプス画像変換処理の流れを示すフローチャートである。本図に示されるように、デプス画像変換部１０１はまず、処理画素位置の奥行きの値（Ａ）を入力されたデプス画像から取得する（ステップＳ１００１）。次にデプス画像変換部１０１は、処理画素位置の左１画素となりの奥行きの値（Ｂ）を入力されたデプス画像から取得する（ステップＳ１００２）。
そして、デプス画像変換部１０１は、処理画素位置の左１画素となりの奥行きの値（Ｂ）と処理画素位置の奥行きの値（Ａ）との差分が所定の閾値（α）以上であるか（α≦Ｂ−Ａ）を判定する（ステップＳ１００３）。差分がα以上である場合（ステップＳ１００３、ＹＥＳ）、デプス画像変換部１０１は、エッジ位置をＮ画素シフトさせる（ステップＳ１００４）。差分がα以上でない場合（ステップＳ１００３、ＮＯ）、デプス画像変換部１０１は、その画素に対してエッジ位置のシフトを行わない。以上のステップＳ１００１からステップＳ１００４までの処理を、画像データを構成する全ての画素に対して繰り返し行う。以上が、デプス画像変換処理の詳細についての説明である。
以上のように本実施の形態によれば、デプス画像の奥行きの値が不連続に変化するエッジ位置を移動させ、エッジ位置の移動がなされたデプス画像に基づき、元の画像データの画素の座標をシフトするので、画素欠落領域の両端の画素が後景オブジェクトの画素となる。後景オブジェクト間の画素を用いて画素欠落領域を補間するため、視聴者の注目を引く前景オブジェクトの補間によるぼけ、歪みを防ぐことができる。また、後景オブジェクト部分が引き延ばされることとなるが、後景オブジェクトは一般に前景オブジェクトに比べ、複雑な形状でなく画素変化が単調なため、画素欠落領域の補間による画像全体の画質劣化を抑えることができる。
［補足］
（左視点画像の生成について）
上記実施の形態では、入力画像を左視点画像（Ｌ画像）とし、画素シフトにより右視点画像（Ｒ画像）を生成する場合を説明したが、本発明は必ずしもこの場合に限定されない。入力画像を右視点画像とし、画素シフトにより左視点画像を生成してもよい。この場合、デプス画像変換部は、処理画素位置の奥行きの値（Ｃ）と処理画素位置の右１画素となりの奥行きの値（Ｄ）を取得し、処理画素位置の右１画素となりの奥行きの値（Ｄ）と処理画素位置の奥行きの値（Ｃ）の差分が所定の閾値（α）以上である（α≦Ｄ−Ｃ）場合、そのエッジ位置を右方向にＮ画素シフトする。
（左視点画像の生成について）
上記実施の形態では、入力画像を左視点画像（Ｌ画像）とし、画素シフトにより右視点画像（Ｒ画像）を生成する場合を説明したが、本発明は必ずしもこの場合に限定されない。入力画像を右視点画像とし、画素シフトにより左視点画像を生成してもよい。この場合、デプス画像変換部は、処理画素位置の奥行きの値（Ｃ）と処理画素位置の右１画素となりの奥行きの値（Ｄ）を取得し、処理画素位置の右１画素となりの奥行きの値（Ｄ）と処理画素位置の奥行きの値（Ｃ）の差分が所定の閾値（α）以上である（α≦Ｄ−Ｃ）場合、そのエッジ位置を右方向にＮ画素シフトする。
（多視点画像の生成について）
上記実施の形態では、左視点画像・右視点画像の２視点の画像を生成する場合を説明したが、本発明は必ずしもこの場合に限定されない。２視点以上の多視点画像を生成してもよい。本実施の形態では、図６に示される左目視点（L-View-Point）・右目視点（R-View-Point）の位置関係を考え、画素シフトすべき量を算出したが、左目視点・右目視点以外の視点の画像を生成するにあたっても、これと同様に視点の位置関係を考えることで画素シフトすべき量を算出し、画素シフトを行うことにより、その視点に対応する画像を生成することができる。
上記実施の形態では、左視点画像・右視点画像の２視点の画像を生成する場合を説明したが、本発明は必ずしもこの場合に限定されない。２視点以上の多視点画像を生成してもよい。本実施の形態では、図６に示される左目視点（L-View-Point）・右目視点（R-View-Point）の位置関係を考え、画素シフトすべき量を算出したが、左目視点・右目視点以外の視点の画像を生成するにあたっても、これと同様に視点の位置関係を考えることで画素シフトすべき量を算出し、画素シフトを行うことにより、その視点に対応する画像を生成することができる。
（ラインスキャン回路による実現性について）
上記の実施の形態で説明した画素シフト処理は、ラインスキャン回路で実現することができる。ラインスキャン回路とは、フレームメモリに格納された一画面分の画素（１９２０×１０８０）の集りを横１９２０画素ずつ読み出してデジタル映像信号に変換するハードウェア素子である。かかるラインスキャン回路は、１行分の画素データを格納しうるライン画素メモリと、フィルタ回路、パラレル／シリアル変換を行う変換回路によって実現することができる。上述したように画素シフト処理は、デプス画像の個々の画素の輝度を視差に変換して画素のシフトを行う処理である。ラインメモリに読み出された全周囲画像の一ライン分の画素の座標を、全周囲画像に対するデプス画像における対応するラインの奥行きに応じた画素数だけ横方向に移動すれば、デプス画像における個々の示される奥行きをもたらす他視点からの視点映像を作成することができる。
上記の実施の形態で説明した画素シフト処理は、ラインスキャン回路で実現することができる。ラインスキャン回路とは、フレームメモリに格納された一画面分の画素（１９２０×１０８０）の集りを横１９２０画素ずつ読み出してデジタル映像信号に変換するハードウェア素子である。かかるラインスキャン回路は、１行分の画素データを格納しうるライン画素メモリと、フィルタ回路、パラレル／シリアル変換を行う変換回路によって実現することができる。上述したように画素シフト処理は、デプス画像の個々の画素の輝度を視差に変換して画素のシフトを行う処理である。ラインメモリに読み出された全周囲画像の一ライン分の画素の座標を、全周囲画像に対するデプス画像における対応するラインの奥行きに応じた画素数だけ横方向に移動すれば、デプス画像における個々の示される奥行きをもたらす他視点からの視点映像を作成することができる。
（デプス画像の生成について）
上記の実施の形態では、２次元画像およびデプス画像を入力し、デプス画像に基づく画素シフトにより左目用画像および右目用画像を得る場合を説明したが、本発明は必ずしもこの場合に限定されない。左目用画像および右目用画像を入力し、デプス画像は左目用画像および右目用画像から生成するとしてもよい。
上記の実施の形態では、２次元画像およびデプス画像を入力し、デプス画像に基づく画素シフトにより左目用画像および右目用画像を得る場合を説明したが、本発明は必ずしもこの場合に限定されない。左目用画像および右目用画像を入力し、デプス画像は左目用画像および右目用画像から生成するとしてもよい。
図１１は、左目用画像および右目用画像からデプス画像の生成を行なう画像処理装置１１００の構成の一例を示すブロック図である。本図に示されるように、画像処理装置１１００は、デプス画像生成部１１０１、デプス画像変換部１０１、画素シフト部１０２、画素補間部１０３を含んで構成される。図１に示す画像処理装置１００とは、デプス画像生成部１１０１を備える点、および入力データが左目用画像と右目用画像である点において異なる。
デプス画像生成部１１０１は、左目用画像および右目用画像からデプス画像を生成する機能を有する。具体的には、まず左目用画像・右目用画像間の各画素について対応点探索を行う。そして、左目用画像と右目用画像の対応点の位置関係から、三角測量の原理に基づき、被写体の奥行き方向の距離を算出する。デプス画像は、各画素の奥行きを８ビットの輝度で表したグレースケール画像であり、デプス画像生成部１１０１は、算出した被写体の奥行き方向の距離を０〜２５５までの２５６階調の値に変換する。なお、対応点探索には、注目点の周りに小領域を設け、その領域中の画素値の濃淡パターンに基づいて行う領域ベースマッチング手法と、画像からエッジなど特徴を抽出し、その特徴間で対応付けを行う特徴ベースマッチングの２つに大きく大別されるが、何れの手法を用いてもよい。
なお、画像処理装置１１００は、デプス画像を生成後、生成したデプス画像に示される値を変更することにより、奥行き方向の距離を変更してもよい。これにより、入力した左目用画像・右目用画像の組みからなる立体視画像と異なる立体視強度の左目用画像・右目用画像を出力することができる。
画像処理装置１１００は、このような、デプス画像に示される値を変更することにより立体視強度を変更する場合において、再生成後の立体視画像がぼけたり、歪んだりすることを防ぐことができる。
≪実施の形態２≫
実施の形態２にかかる画像処理装置は、実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、エッジ位置移動処理の際、後景側の画素の複雑度を算出し、後景側の画素の複雑度が所定の閾値以下である場合を条件に、エッジ移動処理を行う点において、実施の形態１にかかる画像処理装置１００と異なる。後景オブジェクトが複雑でなく画素変化が単調な場合に限り、エッジ移動処理を行うので、複雑な後景オブジェクトが引き延ばされ、画像全体の画質が劣化することを防ぐことができる。
実施の形態２にかかる画像処理装置は、実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、エッジ位置移動処理の際、後景側の画素の複雑度を算出し、後景側の画素の複雑度が所定の閾値以下である場合を条件に、エッジ移動処理を行う点において、実施の形態１にかかる画像処理装置１００と異なる。後景オブジェクトが複雑でなく画素変化が単調な場合に限り、エッジ移動処理を行うので、複雑な後景オブジェクトが引き延ばされ、画像全体の画質が劣化することを防ぐことができる。
図１２は、実施の形態２にかかる画像処理装置１２００の構成の一例を示すブロック図である。なお、図１に示す実施の形態１にかかる画像処理装置１００の構成と同じ部分については、同符号を付す。本図に示されるように、画像処理装置１２００は、複雑度算出部１２０１、デプス画像変換部１２０２、画素シフト部１０２、画素補間部１０３を含んで構成される。
複雑度算出部１２０１は、画像データを構成する各画素の複雑度を算出する機能を有する。具体的には、隣接画素の画素値の差分の絶対値の総和を複雑度の特徴量として算出する。
デプス画像変換部１２０２は、後景側の画素の複雑度が所定の閾値以下である場合を条件に、入力されたデプス画像のエッジ位置を後景側に移動させる機能を有する。
図１３は、画像処理装置１２００の入力データである画像データの一例を示す図である。本図において、オブジェクト１３００は画素変化が単調なオブジェクトであり、オブジェクト１３０１は画素変化が複雑なオブジェクトである。また、オブジェクト１３００は前景側に、オブジェクト１３０１が後景側に位置する。かかる画像データのデプス画像に対して、エッジ位置を後景側、すなわちオブジェクト１３０１側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行った場合、オブジェクト１３０１の間に画素欠落領域が発生する。この画素欠落領域に対して画素補間を行った場合、複雑な後景オブジェクトが引き延ばされる。すなわち、図１４に示すように、複雑な後景オブジェクトがぼけ、歪んだ画像となり、画像全体の画質が劣化する。
本実施の形態にかかるデプス画像変換部１２０２は、後景オブジェクトが複雑でなく画素変化が単調な場合に限り、エッジ移動処理を行うことにより、複雑な後景オブジェクトが引き延ばされ、画像全体の画質が劣化することを防ぐ。
画素シフト部１０２、画素補間部１０３については、実施の形態１にかかる画像処理装置１００と同じ構成であり、説明を略する。
続いて、実施の形態１と異なるデプス画像変換処理について説明する。図１５は実施の形態２にかかるデプス画像変換処理の流れを示すフローチャートである。なお、図１０に示される実施の形態１にかかる画像処理装置１００の動作と同じ部分については、同符号を付す。
本図に示されるように、デプス画像変換部１２０２はまず、処理画素位置の奥行きの値（Ａ）を入力されたデプス画像から取得する（ステップＳ１００１）。次に複雑度算出部１２０１は、処理画素位置の複雑度データを生成する（ステップＳ１５０１）。ステップＳ１５０１の後、デプス画像変換部１２０２は、処理画素位置の左１画素となりの奥行きの値（Ｂ）を入力されたデプス画像から取得する（ステップＳ１００２）。そして、複雑度算出部１２０１は、処理画素位置の左１画素となりの複雑度データを生成する（ステップＳ１５０２）。
デプス画像変換部１２０２は、処理画素位置の左１画素となりの奥行きの値（Ｂ）と処理画素位置の奥行きの値（Ａ）との差分が所定の閾値（α）以上であるか（α≦Ｂ−Ａ）を判定する（ステップＳ１００３）。差分がα以上である場合（ステップＳ１００３、ＹＥＳ）、デプス画像変換部１２０２は、後景側の画素の複雑度の値が所定の閾値（γ）以上であるかを判定する（ステップＳ１５０３）。
後景側の画素の複雑度の値がγ以上でない場合（ステップＳ１５０３、ＹＥＳ）、後景オブジェクトは複雑でないと判断し、デプス画像変換部１２０２は、エッジ位置をＮ画素右方向に（後景側に）シフトさせる（ステップＳ１００４）。
後景側の画素の複雑度の値がγ以上である場合（ステップＳ１５０３、ＹＥＳ）、後景オブジェクトは複雑であると判断し、デプス画像変換部１２０２は、画素シフト処理を行わない。以上のステップＳ１００１からステップＳ１５０３までの処理を、画像データを構成する全ての画素に対して繰り返し行う。以上が、デプス画像変換処理の説明である。
以上のように本実施の形態によれば、後景オブジェクトが複雑でなく画素変化が単調な場合に限り、エッジ移動処理を行うので、複雑な後景オブジェクトが引き延ばされ、画像全体の画質が劣化することを防ぐことができる。
≪実施の形態３≫
実施の形態３にかかる画像処理装置は、実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、エッジ位置移動処理の際、前景側の画素の複雑度と後景側の画素の複雑度を算出し、算出した前景側の画素の複雑度と後景側の画素の複雑度を比較する。そして、前景側の画素の複雑度が後景側の画素の複雑度よりも高い場合を条件に、エッジ移動処理を行う。前景オブジェクトが後景オブジェクトよりも複雑である場合に限り、エッジ位置を後景側に移動させるため、前景オブジェクトよりも複雑なオブジェクトが引き延ばされ、画質が劣化することを防ぐことができる。
実施の形態３にかかる画像処理装置は、実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、エッジ位置移動処理の際、前景側の画素の複雑度と後景側の画素の複雑度を算出し、算出した前景側の画素の複雑度と後景側の画素の複雑度を比較する。そして、前景側の画素の複雑度が後景側の画素の複雑度よりも高い場合を条件に、エッジ移動処理を行う。前景オブジェクトが後景オブジェクトよりも複雑である場合に限り、エッジ位置を後景側に移動させるため、前景オブジェクトよりも複雑なオブジェクトが引き延ばされ、画質が劣化することを防ぐことができる。
図１６は、実施の形態３にかかるデプス画像変換処理の流れを示すフローチャートである。なお、図１５に示される実施の形態２にかかるデプス画像変換処理と同じ部分については、同符号を付す。本図に示されるように、デプス画像変換部１２０２はまず、処理画素位置の奥行きの値（Ａ）を入力されたデプス画像から取得する（ステップＳ１００１）。次に複雑度算出部１２０１は、処理画素位置の複雑度データを生成する（ステップＳ１５０１）。ステップＳ１５０１の後、デプス画像変換部１２０２は、処理画素位置の左１画素となりの奥行きの値（Ｂ）を入力されたデプス画像から取得する（ステップＳ１００２）。そして、複雑度算出部１２０１は、処理画素位置の左１画素となりの複雑度データを生成する（ステップＳ１５０２）。
デプス画像変換部１２０２は、処理画素位置の左１画素となりの奥行きの値（Ｂ）と処理画素位置の奥行きの値（Ａ）との差分が所定の閾値（α）以上であるか（α≦Ｂ−Ａ）を判定する（ステップＳ１００３）。差分がα以上である場合（ステップＳ１００３、ＹＥＳ）、デプス画像変換部１２０２は、前景側の画素の複雑度と後景側の画素の複雑度の比較を行う（ステップＳ１６０１）。
前景側の画素の複雑度が後景側の画素の複雑度よりも大きい場合（ステップＳ１６０１、ＹＥＳ）、デプス画像変換部１２０２は、エッジ位置をＮ画素右方向に（後景側に）シフトさせる（ステップＳ１００４）。前景側の画素の複雑度が後景側の画素の複雑度よりも大きくない場合（ステップＳ１６０１、ＮＯ）、デプス画像変換部１２０２は、画素シフト処理を行わない。以上のステップＳ１００１からステップＳ１６０１までの処理を、画像データを構成する全ての画素に対して繰り返し行う。以上が、デプス画像変換処理の説明である。
以上のように本実施の形態によれば、後景オブジェクトが前景オブジェクトよりも複雑でなく画素変化が単調な場合に限り、エッジ移動処理を行うので、前景オブジェクトよりも複雑な後景オブジェクトが引き延ばされ、画像全体の画質が劣化することを防ぐことができる。
≪実施の形態４≫
実施の形態４にかかる画像処理装置は、実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、前のフレームにおける複雑度を参照して、エッジ位置の移動処理を行う点に特徴がある。これにより１フレーム単位で、前景オブジェクトが補間によりぼけて歪んだ画像、後景オブジェクトが補間によりぼけて歪んだ画像が交互に表示されることを防ぎ、ちらつき発生による動画像の画質が劣化を防ぐことができる。
実施の形態４にかかる画像処理装置は、実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、前のフレームにおける複雑度を参照して、エッジ位置の移動処理を行う点に特徴がある。これにより１フレーム単位で、前景オブジェクトが補間によりぼけて歪んだ画像、後景オブジェクトが補間によりぼけて歪んだ画像が交互に表示されることを防ぎ、ちらつき発生による動画像の画質が劣化を防ぐことができる。
図１７は、実施の形態４にかかる画像処理装置１７００の構成の一例を示すブロック図である。なお、図１２に示す実施の形態１にかかる画像処理装置１２００の構成と同じ部分については、同符号を付す。本図に示されるように、画像処理装置１７００は、複雑度記憶部１７０１、デプス画像変換部１７０２、複雑度算出部１２０１、画素シフト部１０２、画素補間部１０３を含んで構成される。
複雑度記憶部１７０１は、１フレーム前の前景オブジェクトの各画素が、後景側の画素よりも複雑か、複雑でないかを記憶する機能を有する。前景オブジェクトの各画素が、後景側の画素よりも複雑である場合、１の値を格納する。前景オブジェクトの各画素が、後景側の画素よりも複雑でない場合、０の値を格納する。
デプス画像変換部１７０２は、前のフレームにおける複雑度を参照して、エッジ位置の移動処理を行う機能を有する。具体的には、１フレームにおける処理画素位置の画素が、後景側の画素よりも複雑でない場合、エッジ位置の移動処理を行わない。
１フレーム単位でエッジ位置が前景側から後景側へと交互に移動した場合、前景オブジェクトが補間によりぼけて歪んだ画像、後景オブジェクトが補間によりぼけて歪んだ画像が交互に表示されることとなり、ちらつきが発生し、動画像の画質が劣化する。本実施の形態にかかるデプス画像変換部１７０２は、前のフレームにおける複雑度を参照して、エッジ位置の移動処理を行うので、１フレーム単位でエッジ位置が前景側から後景側へと交互に移動することを防ぎ、ちらつきによる動画像の画質が劣化を防ぐことができる。
複雑度算出部１２０１、画素シフト部１０２、画素補間部１０３については、実施の形態２にかかる画像処理装置１２００と同じ構成であり、説明を略する。
続いて、実施の形態２と異なるデプス画像変換処理について説明する。図１８は、実施の形態４にかかるデプス画像変換処理の流れを示すフローチャートである。なお、図１５に示される実施の形態２にかかるデプス画像変換処理と同じ部分については、同符号を付す。
本図に示されるように、デプス画像変換部１７０２はまず、処理画素位置の奥行きの値（Ａ）を入力されたデプス画像から取得する（ステップＳ１００１）。次に複雑度算出部１２０１は、処理画素位置の複雑度データを生成する（ステップＳ１５０１）。ステップＳ１５０１の後、デプス画像変換部１７０２は、処理画素位置の左１画素となりの奥行きの値（Ｂ）を入力されたデプス画像から取得する（ステップＳ１００２）。そして、複雑度算出部１２０１は、処理画素位置の左１画素となりの複雑度データを生成する（ステップＳ１５０２）。
デプス画像変換部１７０２は、処理画素位置の左１画素となりの奥行きの値（Ｂ）と処理画素位置の奥行きの値（Ａ）との差分が所定の閾値（α）以上であるか（α≦Ｂ−Ａ）を判定する（ステップＳ１００３）。差分がα以上でない場合（ステップＳ１００３、ＮＯ）、複雑度記憶部１７０１は、処理画素位置に０を格納する（ステップＳ１８０１）。
差分がα以上である場合（ステップＳ１００３、ＹＥＳ）、デプス画像変換部１７０２は、前景側の画素の複雑度と後景側の画素の複雑度の比較を行う（ステップＳ１６０１）。前景側の画素の複雑度が後景側の画素の複雑度よりも大きくない場合（ステップＳ１６０１、ＮＯ）、複雑度記憶部１７０１は、処理画素位置に０を格納する（ステップＳ１８０１）。
前景側の画素の複雑度が後景側の画素の複雑度よりも大きい場合（ステップＳ１６０１、ＹＥＳ）、デプス画像変換部１７０２は、１フレーム前の複雑度記憶部１７０１の処理画素位置のデータを参照する（ステップＳ１８０２）。１フレーム前の複雑度記憶部１７０１の処理画素位置のデータが０である場合（ステップＳ１８０２、ＹＥＳ）、エッジ位置の移動をおこなわず、複雑度記憶部１７０１は、処理画素位置に１の値を格納する（ステップＳ１８０３）。１フレーム前の複雑度記憶部１７０１の処理画素位置のデータが０でない場合（ステップＳ１８０２、ＮＯ）、デプス画像変換部１７０２は、エッジ位置をＮ画素右方向に（後景側に）シフトさせる（ステップＳ１００４）。
その後、複雑度記憶部１７０１は処理画素位置に１の値を格納する（ステップＳ１８０３）。以上のステップＳ１００１からステップＳ１８０３までの処理を、画像データを構成する全ての画素に対して繰り返し行う。以上が、デプス画像変換処理の説明である。
以上のように本実施の形態によれば、前のフレームにおける複雑度を参照して、エッジ位置の移動処理を行うことにより、フレーム単位で、前景オブジェクトが補間によりぼけて歪んだ画像、後景オブジェクトが補間によりぼけて歪んだ画像が交互に表示されることを防ぎ、ちらつき発生による動画像の画質が劣化を防ぐことができる。
≪実施の形態５≫
実施の形態５にかかる画像処理装置は実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、処理範囲を指定し、指定した処理範囲に対してエッジ位置移動処理を行う点に特徴がある。
実施の形態５にかかる画像処理装置は実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、処理範囲を指定し、指定した処理範囲に対してエッジ位置移動処理を行う点に特徴がある。
図１９は、実施の形態５にかかる画像処理装置１９００の構成の一例を示すブロック図である。なお、図１に示す実施の形態１にかかる画像処理装置１００の構成と同じ部分については、同符号を付す。本図に示されるように、画像処理装置１９００は、処理範囲選択部１９０１、デプス画像変換部１９０２、画素シフト部１０２、画素補間部１０３を含んで構成される。
処理範囲選択部１９０１は、デプス画像変換処理を行う画像範囲を指定する機能を有する。
図２０は、処理範囲選択部１９０１により選択される画像範囲の一例を示す図である。本図の例では右上のウィンドウ領域２００１を除く領域を処理範囲に指定する。この場合、ウィンドウ領域２００１に対しては、デプス画像変換処理によるエッジ位置の移動は行われない。
デプス画像変換部１９０２は、処理範囲選択部１９０１により指定された画像範囲に対してデプス画像変換処理を行う機能を有する。図２０に示す例において、デプス画像変換部１９０２は、ウィンドウ領域２００１を除く領域に対してエッジ移動がなされたデプス画像が出力する。
画素シフト部１０２、画素補間部１０３については、実施の形態１にかかる画像処理装置１００と同じ構成であり、説明を略する。
以上のように、本実施形態によれば、エッジ移動処理を行う画像範囲を指定して、多視点の画像を生成することができる。
≪実施の形態６≫
実施の形態６にかかる画像処理装置は、実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、変更後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、デプス画像変換部がデプス画像のエッジ位置移動後、さらにエッジを構成する画素に対して平滑化処理を行う点に特徴がある。
実施の形態６にかかる画像処理装置は、実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、変更後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、デプス画像変換部がデプス画像のエッジ位置移動後、さらにエッジを構成する画素に対して平滑化処理を行う点に特徴がある。
図２１は、実施の形態６にかかる画像処理装置のデプス画像変換部が行うデプス画像変換を示す図である。図２１は、図３に示されるデプス画像に対し、デプス画像変換処理を行った場合の、デプス画像を示す図である。本図に示されるように、デプス画像変換部は、エッジ位置をＮ画素後景側に移動させた後、エッジを構成する画素に対して平滑化処理を施す。具体的にはガウスフィルタによりエッジを平滑化する。これにより、画素シフト処理により生じる画素欠落領域のサイズを縮小することができる。画素補間の対象がすくなくなり、画素補間による画質の劣化を抑えることができる。
図２２は、実施の形態６にかかるデプス画像変換処理の流れを示すフローチャートである。なお、図１０に示される実施の形態１にかかる画像処理装置１００の動作と同じ部分については、同符号を付す。
本図に示されるように、デプス画像変換部１０１はまず、処理画素位置の奥行きの値（Ａ）を入力されたデプス画像から取得する（ステップＳ１００１）。次にデプス画像変換部１０１は、処理画素位置の左１画素となりの奥行きの値（Ｂ）を入力されたデプス画像から取得する（ステップＳ１００２）。そして、デプス画像変換部１０１は、処理画素位置の左１画素となりの奥行きの値（Ｂ）と処理画素位置の奥行きの値（Ａ）との差分が所定の閾値（α）以上であるか（α≦Ｂ−Ａ）を判定する（ステップＳ１００３）。
差分がα以上である場合（ステップＳ１００３、ＹＥＳ）、デプス画像変換部１０１は、エッジ位置をＮ画素シフトさせる（ステップＳ１００４）。エッジ位置の移動後、デプス画像変換部１０１は、エッジを構成する画素に対して平滑化処理を施す（ステップＳ２２０１）。差分がα以上でない場合（ステップＳ１００３、ＮＯ）、デプス画像変換部１０１は、その画素に対してエッジ位置のシフトを行わない。以上のステップＳ１００１からステップＳ１００４までの処理を、画像データを構成する全ての画素に対して繰り返し行う。以上が、デプス画像変換処理についての説明である。
以上のように、本実施の形態によれば、エッジ位置をＮ画素後景側に移動さした後、エッジを構成する画素に対して平滑化処理を施す。これにより、画素シフト処理により生じる画素欠落領域のサイズを縮小することができる。画素補間の対象がすくなくなり、画素補間による画質の劣化を抑えることができる。
≪実施の形態７≫
実施の形態７にかかる画像処理装置は、実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、デプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮがユーザ操作により決定・変更される点において異なる。
実施の形態７にかかる画像処理装置は、実施の形態１にかかる画像処理装置１００と同様に、デプス画像のエッジ位置を後景側に移動させ、エッジ位置移動後のデプス画像を用いて画素シフト処理を行い、その後画素シフトにより生じた画素値が存在しない欠落領域を補間する画像処理装置であるが、デプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮがユーザ操作により決定・変更される点において異なる。
図２３は、実施の形態７にかかる画像処理装置２３００の構成の一例を示すブロック図である。なお、図１に示す実施の形態１にかかる画像処理装置１００の構成と同じ部分については、同符号を付す。本図に示されるように、画像処理装置２３００は、デプス画像変換部１０１、画素シフト部１０２、画素補間部１０３、操作部２３０１、およびレジスタ２３０２を含んで構成される。
操作部２３０１は、ユーザの操作入力を受け付ける機能を有する。具体的には、デプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮの値の入力等を受け付ける
レジスタ２３０２は、操作部２３０１により入力されたデプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮの値を記憶する機能を有する。
レジスタ２３０２は、操作部２３０１により入力されたデプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮの値を記憶する機能を有する。
デプス画像変換部１０１は、レジスタ２３０２に記憶されているデプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮを読み出し、デプス画像の変換を行なう。
図２４は、操作部２３０１によるパラメータの受け付け処理の流れを示すフローチャートである。
本図に示されるように、操作部２３０１は、まず、図２５に示すようなセットアップメニュー画面をユーザに提示する（ステップＳ２４０１）。
図２５に示す例では、デプス画像変換の効果の程度を、「効果低」、「効果中」、「効果高」の３段階から選択するメニュー画面となっている。ユーザが「効果低」を選択した場合、α＝８、Ｎ＝２画素のパラメータがレジスタ２３０２に格納される。また、ユーザが「効果中」を選択した場合、α＝１６、Ｎ＝３画素のパラメータがレジスタ２３０２に格納される。また、ユーザが「効果高」を選択した場合、α＝３２、Ｎ＝４画素のパラメータがレジスタ２３０２に格納される。
セットアップメニュー画面を表示した後、操作部２３０１は、ユーザが上下左右キーを入力したか判定する（ステップＳ２４０２）。
上下左右キーが入力された場合（ステップＳ２４０２、ＹＥＳ）、操作部２３０１は、キー方向に従いハイライトを移動させる（ステップＳ２４０３）。
上下左右キーが入力されない場合（ステップＳ２４０２、ＮＯ）、操作部２３０１は、チェックボックス上で決定キーが押されたか判定する（ステップＳ２４０４）。
チェックボックス上で決定キーが押された場合（ステップＳ２４０４、ＹＥＳ）、操作部２３０１は、チェックボックスのチェックを行う（ステップＳ２４０５）。
決定キーが押されない場合（ステップＳ２４０４、ＮＯ）、操作部２３０１は、ＯＫボタン上で決定キーが押されたかを判定する（ステップＳ２４０６）。
決定キーが押されない場合（ステップＳ２４０６、ＮＯ）、操作部２３０１は、キャンセルボタン上で決定キーが押されたか判定する（ステップＳ２４０７）。
ＯＫボタン上で決定キーが押された場合（ステップＳ２４０６、ＹＥＳ）、チャックした値をレジスタ２３０２に格納する（ステップＳ２４０８）。
なお、上記では、デプス画像変換の効果の程度を、ユーザが「効果低」、「効果中」、「効果高」の３段階から選択する場合を説明したが、ユーザがデプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮの値を直接入力するとしてもよい。
また、ユーザが、デプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮの値の入力するのではなく、２次元画像の種別を判定し、その判定結果に基づくデプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮをレジスタに格納するとしてもよい。
図２６は、画像処理装置２６００の構成の一例を示すブロック図である。なお、図１に示す実施の形態１にかかる画像処理装置１００の構成と同じ部分については、同符号を付す。本図に示されるように、画像処理装置２６００は、デプス画像変換部１０１、画素シフト部１０２、画素補間部１０３、判定部２６０１、およびレジスタ２３０２を含んで構成される。
図２６は、画像処理装置２６００の構成の一例を示すブロック図である。なお、図１に示す実施の形態１にかかる画像処理装置１００の構成と同じ部分については、同符号を付す。本図に示されるように、画像処理装置２６００は、デプス画像変換部１０１、画素シフト部１０２、画素補間部１０３、判定部２６０１、およびレジスタ２３０２を含んで構成される。
判定部２６０１は、入力された２次元画像データの種別を判定し、その判定結果に基づき、デプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮの値を決定する機能を有する。決定したパラメータαおよびＮは、レジスタ２３０２に格納する。
判定部２６０１は、入力された２次元画像データを解析し、例えば、「人物」、「風景」、「アニメ」といった画像の種別を判定する。画像の種別の判定では、例えば、肌色等を抽出することで、２次元画像データに写る被写体が人物であるか否かを判定することができる。
そして、判定部２６０１は、画像種別の判定結果に基づき、デプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮの値を決定する。例えば、人物が写る画像データである場合には、人物等を大きく飛び出して表示したいと考えられるため、デプス画像変換の効果の程度が高くなるパラメータ、例えばα＝３２、Ｎ＝４画素と決定する。
また、風景の画像データである場合には、人物が写る画像データと比べ飛び出し量が低いと考えられるため、デプス画像変換の効果が低くなるパラメータ、例えば、α＝８、Ｎ＝２画素と決定する。
以上のように本実施の形態によれば、デプス画像データにおけるエッジを定めるパラメータα、およびデプス画像のエッジを移動させる画素数を定めるパラメータＮの値をユーザが選択することにより、所望のデプス画像変換の効果で画像の処理を行なうことができる。
≪変形例≫
なお、上記の実施の形態に基づいて説明してきたが、本発明は上記の実施の形態に限定されないことはもちろんである。以下のような場合も本発明に含まれる。
なお、上記の実施の形態に基づいて説明してきたが、本発明は上記の実施の形態に限定されないことはもちろんである。以下のような場合も本発明に含まれる。
（ａ）本発明は、各実施形態で説明した処理手順が開示するアプリケーション実行方法であるとしてもよい。また、前記処理手順でコンピュータを動作させるプログラムコードを含むコンピュータプログラムであるとしてもよい。
（ｂ）本発明は、アプリケーション実行制御を行うＩＣ、ＬＳＩ、その他の集積回路のパッケージとして構成されるものとしてもよい。図２７は、本発明の一態様にかかる画像処理装置を、ＬＳＩを用いて具現化した例を示す。本図に示されるように、ＬＳＩ２７００は、例えば、ＣＰＵ２７０１（中央処理装置：Central Processing Unit）、ＤＳＰ２７０２（デジタル信号プロセッサ：Digital Signal Processor）、ＥＮＣ／ＤＥＣ２７０３（エンコーダ／デコーダ：Encoder/Decoder）、ＶＩＦ２７０４（ビデオインターフェイス：Video Interface）、ＰＥＲＩ２７０５（周辺機器インターフェイス：Peripheral Interface）、ＮＩＦ２７０６（ネットワークインターフェイス：Network Interface）、ＭＩＦ２７０７（メモリインターフェイス：Memory Interface）、ＲＡＭ／ＲＯＭ２７０８（ランダムアクセスメモリ／読み出し専用メモリ：Random Access Memory/Read Only Memory）を含んで構成される。
各実施の形態で説明した処理手順は、プログラムコードとしてＲＡＭ／ＲＯＭ２７０８に格納される。そして、ＲＡＭ／ＲＯＭ２７０８に格納されたプログラムコードは、ＭＩＦ２７０７を介して読み出され、ＣＰＵ２７０１またはＤＳＰ２７０２で実行される。これにより、各実施の形態で説明した画像処理装置の機能を実現することができる。
また、ＶＩＦ２７０４は、Camera（Ｌ）２７１２、Camera（Ｒ）２７１３等の撮像装置や、ＬＣＤ２７１４（液晶ディスプレイ：Liquid Crystal Display）等の表示装置と接続され、立体視画像または立体視映像の取得または出力を行う。また、ＥＮＣ／ＤＥＣ２７０３は、取得または生成した立体視画像または立体視映像のエンコード・デコードを行う。また、ＰＥＲＩ２７０５は、Ｔｏｕｃｈ Ｐａｎｅｌ２７１０等の操作装置と接続され、これらの周辺機器の制御を行う。また、ＮＩＦ２７０６は、ＭＯＤＥＭ２７０９等と接続され、外部ネットワークとの接続を行う。
このパッケージは各種装置に組み込まれて利用に供され、これにより各種装置は、各実施形態で示したような各機能を実現するようになる。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または、汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。このような技術には、バイオ技術の適用等が可能性としてありえる。
なお、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
（ｃ）本発明は、上記各実施の形態に記載の画像処理装置を備えるデジタルテレビ、携帯電話機器、パーソナルコンピュータ等の三次元画像表示装置としても実現可能である。また、上記各実施の形態に記載の画像処理装置を備えるＢＤプレーヤ、ＤＶＤプレーヤ等の再生機器としても実現可能である。この場合、処理対象となる二次元画像、およびデプス画像は、放送電波、またはネットワーク等を通じて取得される。
（ｄ）上記実施の形態では、画素補間部が線形補間により画素欠落領域を補間する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、補間する近傍１６画素の値を用いて３次補間を行って画素の値を決めるバイキュービック補間により画素欠落領域を補間してもよい。
（ｅ）上記実施の形態では、複雑度算出部が、隣接画素の画素値の差分の絶対値の総和を複雑度の特徴量として算出する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、画像データを周波数変換し、その高周波成分を複雑度の特徴量として算出してもよい。
（ｆ）上記実施の形態４では、１フレーム前の複雑度を参照して、エッジ位置の移動処理を行う場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、前の複数フレームの複雑度を参照し、エッジ位置の移動処理を行ってもよい。
（ｇ）上記実施の形態６では、ガウスフィルタによりエッジを平滑化する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、メディアンフィルタによりデプス画像のエッジ位置を平滑化してもよい。
（ｈ）上記実施の形態では、デプス画像が各画素の奥行きを０〜２５５までの２５６階調の輝度で表したグレースケール画像である場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、０〜１２７までの１２８階調の輝度で表したグレースケール画像であってもよい。
（ｉ）上記実施の形態では、視聴者から表示画面までの距離Ｓを表示画面の高さＨの３倍（３Ｈ）とし、画素シフト量を算出する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、ＴＯＦ（Time Of Flight）型センサ等の距離センサにより、視聴者から表示画面までの距離Ｓを算出してもよい。
（ｊ）上記実施の形態では、瞳孔間距離ｅを成人男性の平均値６．４ｃｍとし、画素シフト量を算出する場合を説明したが、本発明は必ずしもこの場合に限定されない。例えば、視聴者が大人であるか子供であるか、男性であるか女性であるかを判別し、それに応じた瞳孔間距離ｅに基づき画素シフト量を算出してもよい。
（ｋ）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
本発明にかかる画像処理装置によれば、デプス画像の奥行きの値が不連続に変化するエッジ位置を移動させ、エッジ位置の移動がなされたデプス画像に基づき、元の画像データの画素の座標のシフトおよび画素欠落領域の補間を行うので、視聴者の注目を引く前景オブジェクトがぼけて歪むことなく、画素シフト処理により生じた画素欠落領域を補間し、元の画像データとは異なる視点の画像を生成することができ、有益である。
１００ 画像処理装置
１０１ デプス画像変換部
１０２ 画素シフト部
１０３ 画素補間部
１１０１ デプス画像生成部
１２０１ 複雑度算出部
１７０１ 複雑度記憶部
１９０１ 処理範囲選択部
２３０１ 操作部
２３０２ レジスタ
２６０１ 判定部
１０１ デプス画像変換部
１０２ 画素シフト部
１０３ 画素補間部
１１０１ デプス画像生成部
１２０１ 複雑度算出部
１７０１ 複雑度記憶部
１９０１ 処理範囲選択部
２３０１ 操作部
２３０２ レジスタ
２６０１ 判定部
Claims (15)
- オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理装置であって、
デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、
前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更手段と、
前記デプス画像データ変更手段により変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフト手段と、
前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間手段とを備え、
前記所定の方向は、前記オリジナルの画像データにおける視点から、前記画素シフト手段で生成される画像データにおける視点の方向と同じ方向であり、
前記画素シフト手段により生成された視点画像データのうち、オクルージョン領域の両端には後景画素領域が存在しており、前記画素補間手段による補間では、オクルージョン領域の両端に存在する後景画素領域の画素が用いられる
ことを特徴とする画像処理装置。 - 前記デプス画像データ変更手段は、
前記デプス画像データのエッジで隔たれた前景領域、後景領域のうち、後景領域側にエッジ画素群で取り囲まれる画素の座標を移動させることを特徴とする請求項１に記載の画像処理装置。 - 前記画像処理装置は、さらに、
オリジナルの画像データに写る被写体の複雑度算出する複雑度算出手段を備え、
前記デプス画像データ変更手段は、
後景の領域の複雑度が所定の値以下である場合を条件に実行されることを特徴とする請求項２に記載の画像処理装置。 - 前記画像処理装置は、さらに、
オリジナルの画像データに写る被写体の複雑度算出する複雑度算出手段を備え、
前記デプス画像データ変更手段は、
前景の領域の複雑度が後景の領域の複雑度よりも高い場合を条件に実行されることを特徴とする請求項２に記載の画像処理装置。 - 前記画像処理装置は、さらに、
所定フレーム前のオリジナルの画像データにおける複雑度を記憶する複雑度記憶手段を備え、
前記デプス画像データ変更手段は、
所定フレーム前のオリジナルの画像データにおける前景領域の複雑度が所定の値以上である場合を条件に実行されることを特徴とする請求項２に記載の画像処理装置。 - 前記デプス画像データ変更手段は、
水平方向に隣接する画素との奥行きの値の差分が所定の値以上である画素を前記デプス画像データのエッジとして検出することを特徴とする請求項１に記載の画像処理装置。 - 前記画像処理装置は、さらに、
前記デプス画像データにおけるエッジを定めるパラメータを記憶するレジスタを備え、
前記デプス画像データ変更手段は、
水平方向に隣接する画素との奥行きの値の差分と、前記レジスタに記憶されたパラメータとを比較することにより、前記デプス画像データのエッジを検出することを特徴とする請求項６に記載の画像処理装置。 - 前記画像処理装置は、さらに、
ユーザ操作を受け付ける操作手段を備え、
前記レジスタが記憶する前記デプス画像データにおけるエッジを定めるパラメータは、前記操作手段からのユーザ入力により設定されることを特徴とする請求項７に記載の画像処理装置。 - 前記画像処理装置は、さらに、
オリジナルの画像データの種別を判定する判定手段を備え、
前記レジスタが記憶する前記デプス画像データにおけるエッジを定めるパラメータは、前記判定手段により判定された画像データの種別に基づき定まることを特徴とする請求項７に記載の画像処理装置。 - 前記デプス画像データ変更手段は、さらに、
前記エッジ画素群で取り囲まれる画素の座標の移動後、前記エッジ画素群で取り囲まれる画素に対して平滑化処理を行うことを特徴とする請求項６に記載の画像処理装置。 - 前記画像処理装置は、さらに、
前記デプス画像の画素の座標の移動させる画素数を定めるパラメータを記憶するレジスタを備え、
前記デプス画像データ変更手段は、前記レジスタに記憶されたパラメータに示される画素数だけ、前記デプス画像データのエッジ画素群で取り囲まれる画素の座標を所定の方向に移動させることを特徴とする請求項１に記載の画像処理装置。 - 前記画像処理装置は、さらに、
前記デプス画像データのうち、デプス画像変更を行う画像範囲を選択する処理範囲選択手段を備え、
前記デプス画像データ変更手段は、
処理範囲選択手段により選択された画像範囲に対して実行されることを特徴とする請求項１に記載の画像処理装置。 - オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理方法であって、
デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、
前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更ステップと、
前記デプス画像データ変更ステップにより変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフトステップと、
前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間ステップとを含み、
前記所定の方向は、前記オリジナルの画像データにおける視点から、前記画素シフト手段で生成される画像データにおける視点の方向と同じ方向であり、
前記画素シフトステップにより生成された視点画像データのうち、オクルージョン領域の両端には後景画素領域が存在しており、前記画素補間ステップによる補間では、オクルージョン領域の両端に存在する後景画素領域の画素が用いられる
ことを特徴とする画像処理方法。 - オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理をコンピュータに実行させるプログラムであって、
デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、
前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更ステップと、
前記デプス画像データ変更ステップにより変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフトステップと、
前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間ステップと
をコンピュータに実行させ、
前記所定の方向は、前記オリジナルの画像データにおける視点から、前記画素シフト手段で生成される画像データにおける視点の方向と同じ方向であり、
前記画素シフトステップにより生成された視点画像データのうち、オクルージョン領域の両端には後景画素領域が存在しており、前記画素補間ステップによる補間では、オクルージョン領域の両端に存在する後景画素領域の画素が用いられる
ことを特徴とするプログラム。 - オリジナルの画像データにおける画素の座標をシフトすることにより、デプス画像データに示される奥行きをもたらす多視点の視点画像データを得る画像処理に用いる集積回路であって、
デプス画像データは、複数の画素からなる画素領域から構成され、デプス画像データにおける個々の画素の値は、オリジナルの画像データにおける個々の画素の奥行きを示し、
前記デプス画像データを構成する画素領域の内部から、被写体のエッジ部分を構成するエッジ画素群を検出して、当該エッジ画素群で取り囲まれる画素の座標を所定の方向に移動することにより、デプス画像データを変更するデプス画像データ変更手段と、
前記デプス画像データ変更手段により変更されたデプス画像データに示される奥行きを用いて、その奥行きをもたらす視差量を定め、その視差量に対応する画素数で、オリジナルの画像データにおける画素の座標をシフトすることにより、前記オリジナルの画像データとは異なる視点の画像データを生成する画素シフト手段と、
前記生成した視点画像データの領域のうち、画素シフトにより生じたオクルージョン領域を補間する画素補間手段とを備え、
前記所定の方向は、前記オリジナルの画像データにおける視点から、前記画素シフト手段で生成される画像データにおける視点の方向と同じ方向であり、
前記画素シフト手段により生成された視点画像データのうち、オクルージョン領域の両端には後景画素領域が存在しており、前記画素補間手段による補間では、オクルージョン領域の両端に存在する後景画素領域の画素が用いられる
ことを特徴とする集積回路。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011147279 | 2011-07-01 | ||
| JP2011147279 | 2011-07-01 | ||
| PCT/JP2012/003252 WO2013005365A1 (ja) | 2011-07-01 | 2012-05-17 | 画像処理装置、画像処理方法、プログラム、集積回路 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2013005365A1 JPWO2013005365A1 (ja) | 2015-02-23 |
| JP6094863B2 true JP6094863B2 (ja) | 2017-03-15 |
Family
ID=47436733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012547388A Expired - Fee Related JP6094863B2 (ja) | 2011-07-01 | 2012-05-17 | 画像処理装置、画像処理方法、プログラム、集積回路 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9401039B2 (ja) |
| JP (1) | JP6094863B2 (ja) |
| CN (1) | CN102972038B (ja) |
| WO (1) | WO2013005365A1 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9865083B2 (en) * | 2010-11-03 | 2018-01-09 | Industrial Technology Research Institute | Apparatus and method for inpainting three-dimensional stereoscopic image |
| JP6195076B2 (ja) * | 2012-11-30 | 2017-09-13 | パナソニックＩｐマネジメント株式会社 | 別視点画像生成装置および別視点画像生成方法 |
| ITTO20130503A1 (it) * | 2013-06-18 | 2014-12-19 | Sisvel Technology Srl | Metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondita¿ sfruttando le componenti di colore di un¿immagine facente parte di un flusso video tridimensionale |
| CN104427291B (zh) * | 2013-08-19 | 2018-09-28 | 华为技术有限公司 | 一种图像处理方法及设备 |
| ITTO20130784A1 (it) | 2013-09-30 | 2015-03-31 | Sisvel Technology Srl | Method and device for edge shape enforcement for visual enhancement of depth image based rendering |
| JP2015154101A (ja) * | 2014-02-10 | 2015-08-24 | ソニー株式会社 | 画像処理方法、画像処理装置及び電子機器 |
| CN105516578B (zh) * | 2014-09-25 | 2019-01-15 | 联想(北京)有限公司 | 图像处理方法、装置及电子设备 |
| US9894298B1 (en) | 2014-09-26 | 2018-02-13 | Amazon Technologies, Inc. | Low light image processing |
| US9414037B1 (en) * | 2014-09-26 | 2016-08-09 | Amazon Technologies, Inc. | Low light image registration |
| US9569859B2 (en) * | 2014-12-29 | 2017-02-14 | Dell Products, Lp | System and method for redefining depth-based edge snapping for three-dimensional point selection |
| US9639166B2 (en) * | 2015-03-11 | 2017-05-02 | Microsoft Technology Licensing, Llc | Background model for user recognition |
| CN104702935A (zh) * | 2015-03-31 | 2015-06-10 | 王子强 | 一种基于视差补偿的裸眼3d显示方法 |
| KR102341267B1 (ko) * | 2015-05-04 | 2021-12-20 | 삼성전자주식회사 | 양안 시차 영상에 대한 렌더링 방법 및 장치 |
| EP3185550A1 (en) * | 2015-12-23 | 2017-06-28 | Thomson Licensing | Tridimensional rendering with adjustable disparity direction |
| KR20180133394A (ko) * | 2016-04-06 | 2018-12-14 | 소니 주식회사 | 화상 처리 장치와 화상 처리 방법 |
| US10567739B2 (en) * | 2016-04-22 | 2020-02-18 | Intel Corporation | Synthesis of transformed image views |
| US10275892B2 (en) * | 2016-06-09 | 2019-04-30 | Google Llc | Multi-view scene segmentation and propagation |
| CN109496325A (zh) * | 2016-07-29 | 2019-03-19 | 索尼公司 | 图像处理装置和图像处理方法 |
| CN107155101A (zh) * | 2017-06-20 | 2017-09-12 | 万维云视（上海）数码科技有限公司 | 一种3d播放器使用的3d视频的生成方法及装置 |
| JP7277372B2 (ja) * | 2017-10-27 | 2023-05-18 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元モデル符号化装置、三次元モデル復号装置、三次元モデル符号化方法、および、三次元モデル復号方法 |
| US10902265B2 (en) * | 2019-03-27 | 2021-01-26 | Lenovo (Singapore) Pte. Ltd. | Imaging effect based on object depth information |
| US11042969B2 (en) * | 2019-05-23 | 2021-06-22 | Adobe Inc. | Automatic synthesis of a content-aware sampling region for a content-aware fill |
| CN110427742B (zh) * | 2019-08-06 | 2021-05-25 | 北京如优教育科技有限公司 | 认证服务平台内容保存系统、方法及存储介质 |
| CN113490963B (zh) * | 2020-01-22 | 2024-09-24 | 华为技术有限公司 | 显示系统、图形处理器gpu、显示控制器以及显示方法 |
| WO2023154431A1 (en) * | 2022-02-11 | 2023-08-17 | Canon U.S.A., Inc. | Apparatus and method for generating depth maps from raw dual pixel sensor data |
| US12380660B2 (en) * | 2022-08-22 | 2025-08-05 | Samsung Electronics Co., Ltd. | Method and device for direct passthrough in video see-through (VST) augmented reality (AR) |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3091622B2 (ja) * | 1994-02-25 | 2000-09-25 | 三洋電機株式会社 | 立体画像生成方法 |
| JP3614898B2 (ja) * | 1994-11-08 | 2005-01-26 | 富士写真フイルム株式会社 | 写真撮影装置、画像処理装置及び立体写真作成方法 |
| EP2219152B1 (en) * | 1999-01-25 | 2018-07-04 | Nippon Telegraph And Telephone Corporation | Digital watermark embedding and detecting method |
| JP4179938B2 (ja) * | 2003-02-05 | 2008-11-12 | シャープ株式会社 | 立体画像生成装置、立体画像生成方法、立体画像生成プログラムおよび立体画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| WO2007096816A2 (en) * | 2006-02-27 | 2007-08-30 | Koninklijke Philips Electronics N.V. | Rendering an output image |
| US9445128B2 (en) * | 2006-12-08 | 2016-09-13 | Freescale Semiconductor, Inc. | System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers |
| CN102124745A (zh) * | 2008-08-26 | 2011-07-13 | 升级芯片技术公司 | 用于将二维图像信号转换为三维图像信号的装置及方法 |
| TW201028964A (en) * | 2009-01-23 | 2010-08-01 | Ind Tech Res Inst | Depth calculating method for two dimension video and apparatus thereof |
| KR101590763B1 (ko) * | 2009-06-10 | 2016-02-02 | 삼성전자주식회사 | Ｄｅｐｔｈ ｍａｐ 오브젝트의 영역 확장을 이용한 ３ｄ 영상 생성 장치 및 방법 |
| JP5209121B2 (ja) * | 2009-09-18 | 2013-06-12 | 株式会社東芝 | 視差画像生成装置 |
| US8884948B2 (en) * | 2009-09-30 | 2014-11-11 | Disney Enterprises, Inc. | Method and system for creating depth and volume in a 2-D planar image |
| US8666146B1 (en) * | 2011-01-18 | 2014-03-04 | Disney Enterprises, Inc. | Discontinuous warping for 2D-to-3D conversions |
-
2012
- 2012-05-17 CN CN201280001206.5A patent/CN102972038B/zh not_active Expired - Fee Related
- 2012-05-17 JP JP2012547388A patent/JP6094863B2/ja not_active Expired - Fee Related
- 2012-05-17 US US13/636,437 patent/US9401039B2/en not_active Expired - Fee Related
- 2012-05-17 WO PCT/JP2012/003252 patent/WO2013005365A1/ja not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| CN102972038A (zh) | 2013-03-13 |
| JPWO2013005365A1 (ja) | 2015-02-23 |
| CN102972038B (zh) | 2016-02-10 |
| US20130076749A1 (en) | 2013-03-28 |
| US9401039B2 (en) | 2016-07-26 |
| WO2013005365A1 (ja) | 2013-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6094863B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
| JP6021541B2 (ja) | 画像処理装置及び方法 | |
| US9525858B2 (en) | Depth or disparity map upscaling | |
| JP6147275B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
| CN103081476B (zh) | 利用深度图信息转换三维图像的方法和设备 | |
| KR101690297B1 (ko) | 영상 변환 장치 및 이를 포함하는 입체 영상 표시 장치 | |
| CN103188441B (zh) | 生成重构图像的图像处理装置及图像生成方法 | |
| JPWO2012176431A1 (ja) | 多視点画像生成装置、多視点画像生成方法 | |
| JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
| RU2690757C1 (ru) | Система синтеза промежуточных видов светового поля и способ ее функционирования | |
| JPWO2013038833A1 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
| JP6128748B2 (ja) | 画像処理装置及び方法 | |
| JP2020005202A (ja) | 映像処理装置 | |
| JP5370606B2 (ja) | 撮像装置、画像表示方法、及びプログラム | |
| JP6033625B2 (ja) | 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体 | |
| US9787980B2 (en) | Auxiliary information map upsampling | |
| US10506177B2 (en) | Image processing device, image processing method, image processing program, image capture device, and image display device | |
| JP5820716B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム、記録媒体、立体画像表示装置 | |
| JP5627498B2 (ja) | 立体画像生成装置及び方法 | |
| JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
| JP2020195093A (ja) | 符号化装置、復号装置、及びプログラム | |
| WO2012090813A1 (ja) | 画像処理装置及び画像処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160816 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170202 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6094863 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| SZ03 | Written request for cancellation of trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z03 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |