JP2012247891A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP2012247891A
JP2012247891A JP2011117649A JP2011117649A JP2012247891A JP 2012247891 A JP2012247891 A JP 2012247891A JP 2011117649 A JP2011117649 A JP 2011117649A JP 2011117649 A JP2011117649 A JP 2011117649A JP 2012247891 A JP2012247891 A JP 2012247891A
Authority
JP
Japan
Prior art keywords
spatial frequency
adjustment amount
depth
image
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011117649A
Other languages
English (en)
Inventor
Yasuhide Hyodo
靖英 兵動
Shuichi Takahashi
修一 高橋
Satoshi Shioiri
諭 塩入
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011117649A priority Critical patent/JP2012247891A/ja
Priority to US13/474,151 priority patent/US8780109B2/en
Priority to CN201210157488.XA priority patent/CN102802008B/zh
Publication of JP2012247891A publication Critical patent/JP2012247891A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】人間の視覚特性に基づいて単眼立体情報のパラメータを調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができるようにする。
【解決手段】I値調整量決定部は、評価関数に基づいて、決定された奥行き調整量△Dに対応する入力値Iの調整量△Iを決定する。調整ゲイン計算部は、入力値Iの調整量△Iに基づいて、各空間周波数成分のゲイン値を計算する。画像調整部は、計算された各空間周波数成分のゲイン値により、入力された３次元画像の空間周波数成分を調整する。本技術は、例えば、３次元画像の奥行きを調整する画像処理装置に適用できる。
【選択図】図１

Description

本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、人間の視覚特性に基づいて単眼立体情報のパラメータを調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。
２次元ディスプレイに２次元画像を表示させ、鑑賞者に３次元画像として知覚させる方法として、両眼視差（左眼と右眼の視差）が設けられている左眼用２次元画像と右眼用２次元画像を、それぞれ、鑑賞者の左眼と右眼に呈示する方法がある。
人間が物体の立体感や奥行きを知覚するための情報としては、両眼による両眼立体情報と、単眼による単眼立体情報とがある。人間は、単眼立体情報と両眼立体情報とを併せて、物体や空間の立体感や奥行き感を知覚している。両眼立体情報には、例えば、両眼視差、水平輻輳などがあり、単眼立体情報には、例えば、陰影、コントラスト、色、空間周波数、遮蔽関係などがある。
２次元ディスプレイに２次元画像を表示させ、鑑賞者に３次元画像として知覚させる場合において、立体感や奥行き感を強調したいとき、例えば、両眼立体情報のうちの一つである両眼視差を大きくする方法が考えられる。
しかし、両眼視差を大きくすることは、人間の眼球構造や視覚特性の観点からすると、次のような問題がある。すなわち、人間の眼球は、通常、平行からやや内向きの輻輳状態になっているため、両眼視差が瞳孔間距離よりも大きくなると、両眼が外側に向く開散状態となる。瞳孔間距離は年齢や性別などによって異なるため、特に、瞳孔間距離が通常よりも狭い人は、開散状態になりやすい。
また、現実世界においては、注視点に両眼の視線が向けられ、かつ眼の焦点も合わせられているため、眼球の輻輳と調節の距離が一致している。しかし、左眼用２次元画像と右眼用２次元画像により３次元画像を知覚させる場合には、輻輳は３次元画像として知覚する位置に合わせられるが、調節は画像表示面に合わせられているため、眼球の輻輳による距離と調節による距離が一致しないこととなる。従って、両眼視差を大きくすることで立体感や奥行き感を強調することは、この眼球の輻輳による距離と調節による距離をさらに一致しない方向に変化させることになるため、鑑賞者に不自然さを知覚させたり、不快感や視覚疲労を覚えさせたりすることになりやすい。
そこで、鑑賞者の不快感や視覚疲労を軽減するように両眼視差を調整する方法も提案されている。例えば、特許文献１で提案されている方法は、両眼視差を異なる値に設定した複数のサンプル画像を呈示し、呈示された画像に対し、許容できるか否かを応答させることで、両眼視差を調整するものである。
しかし、特許文献１の方法で鑑賞者の不快感や視覚疲労を軽減しようとすると、基本的には両眼視差が立体感や奥行き感を減らす方向に調整されることになるため、臨場感やリアリティが損なわれてしまう。また、両眼立体情報から知覚される立体感や奥行き感が、単眼立体情報から知覚される立体感や奥行き感と異なると、不自然さを覚えることにもなる。
従って、両眼視差を大きくすることで３次元画像の立体感や奥行き感を強調するのは適切ではない。
一方、単眼立体情報を用いて、立体感や奥行き感を強調する方法も提案されている。例えば、特許文献２では、画像内のオブジェクトの奥行き位置に応じて、オブジェクトが有する陰影、遮蔽関係、ボケ具合の特徴を変化させることで、奥行き感を強調させることが提案されている。
特許第３７４９２２７号公報 特開２００１−２３８２３１号公報
しかしながら、特許文献２では、どのパラメータをどのような計算式に基づいてどのような値に設定すればよいかが具体的に開示されていない。試行錯誤的に値を設定した場合であっても、得られる左眼用２次元画像と右眼用２次元画像が人間にとって自然で快適である保証はなく、むしろ不自然さや不快感を覚えたり、視覚疲労を引き起こしたりする可能性もある。
本技術は、このような状況に鑑みてなされたものであり、人間の視覚特性に基づいて単眼立体情報のパラメータを調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができるようにするものである。
本技術の一側面の画像処理装置は、入力された３次元画像の奥行き調整量を決定する奥行き調整量決定部と、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数を記憶する評価関数記憶部と、前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定する入力値調整量決定部と、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算する調整ゲイン計算部と、前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する画像調整部とを備える。
本技術の一側面の画像処理方法は、入力された３次元画像の奥行き調整量を決定し、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整するステップを含む。
本技術の一側面のプログラムは、コンピュータに、入力された３次元画像の奥行き調整量を決定し、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整するステップを含む処理を実行させるためのものである。
本技術の一側面においては、入力された３次元画像の奥行き調整量が決定され、画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された奥行き調整量に対応する入力値の調整量が決定され、決定された入力値の調整量に基づいて、各空間周波数成分のゲイン値が計算され、計算された各空間周波数成分のゲイン値により、入力された３次元画像の各空間周波数成分が調整される。
なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
記録装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本発明の一側面によれば、３次元画像の奥行き感を制御することができる。
また、本発明の一側面によれば、人間の視覚特性に基づいて単眼立体情報のパラメータを調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができる。
本技術が適用された画像処理装置の第1の実施の形態の構成例を示すブロック図である。 奥行き調整量定義関数の一例を示す図である。 評価関数の例を示す図である。 空間数周波数fsと奥行き効率E(fs)との関係を示す図である。 I値調整量決定部の処理を説明する図である。 奥行き制御部の処理の詳細について説明する図である。 奥行き制御部の処理の詳細について説明する図である。 奥行き制御部の処理の詳細について説明する図である。 奥行き制御処理について説明するフローチャートである。 重み関数F(fs)のその他の例を示す図である。 重み関数F(fs)のその他の例を示す図である。 重み関数F(fs)のその他の例を示す図である。 時間数周波数ftと奥行き効率E(ft)との関係を示す図である。 本技術が適用された画像処理装置の第２の実施の形態の構成例を示すブロック図である。 本技術が適用されたコンピュータの一実施の形態の構成例を示すブロック図である。
＜１．第1の実施の形態＞
［画像処理装置の構成例］
図１は、本技術が適用された画像処理装置の第1の実施の形態の構成例を示している。
画像処理装置１は、入力された３次元画像の奥行き感を強調させるため、その３次元画像の空間周波数を調整する処理を行う。ここで、３次元画像とは、鑑賞者に３次元画像を知覚させるための２次元画像をいう。
画像処理装置１に入力された３次元画像は、輝度成分計算部１１に供給される。なお、外部から入力される３次元画像のデータ形式には様々な形式があるが、その形式は問わない。３次元画像のデータ形式には、例えば、左眼用画像（L画像）と右眼用画像（R画像）から構成されるステレオ画像の形式である第１のデータ形式、３以上の複数の視点画像から構成される多視点画像の形式である第２のデータ形式、２次元画像とその奥行き情報という形式である第３のデータ形式などがある。本実施の形態では、第１のデータ形式で３次元画像の画像データが供給されるものとして、画像処理装置１は、左眼用画像と右眼用画像それぞれに対して処理を行うものとする。
輝度成分計算部１１は、供給される３次元画像（左眼用画像と右眼用画像）の輝度成分を計算する。例えば、供給される３次元画像がRGB表色系における線形のRGB値で表されている場合、輝度成分計算部１１は、ITU-R BT709で規定される次式（１）により、輝度値Yに変換することで、３次元画像の輝度成分を計算する。
Y=０．２１２６R＋０．７１５２G＋０．０７２２B・・・・・（１）
式（１）により、左眼用画像または右眼用画像それぞれの輝度画像が得られる。以下において左眼用画像と右眼用画像を特に区別しない場合、単に、輝度画像といい、また、３次元画像という場合であっても、左眼用画像及び右眼用画像それぞれの輝度画像に対する処理を行うものとする。なお、３次元画像は、必ずしもRGB値からなる形式（RGB信号）で表されている必要はなく、CIE XYZ表色系におけるXYZ値で表されている場合には、輝度値Yで構成される画像が輝度画像とされる。また、輝度値の算出（抽出）も、式（１）以外の方法で算出してもよい。輝度成分計算部１１により計算されて得られた輝度画像が奥行き推定部１２に供給される。
奥行き推定部１２は、輝度成分計算部１１から供給された輝度画像の各画素について奥行き情報（ディスパリティ）を推定する。具体的には、奥行き推定部１２は、ステレオ画像における水平方向の対応点の画素ずれ、いわゆる両眼視差を算出し、算出された両眼視差に基づいて奥行き情報を近似的に算出する。両眼視差は、ブロックマッチング法やＤＰマッチング法などの手法を用いることで算出することができる。
また、３次元画像が第２のデータ形式で入力された場合には、奥行き推定部１２は、３以上の視点画像のうちの対応する２枚の視点画像に対して両眼視差を算出し、算出された両眼視差から、奥行き情報を近似的に算出する。さらに、３次元画像が第３のデータ形式で入力された場合には、奥行き推定部１２は、奥行き情報そのものが供給されるので、それを採用する。
奥行き推定部１２により推定された奥行き情報は、奥行き調整量決定部１４に供給される。
奥行き調整量定義関数記憶部１３は、奥行き情報（の値）に対する奥行き調整量を定義した奥行き調整量定義関数を記憶し、奥行き調整量決定部１４に供給する。
［奥行き調整量定義関数の一例]
図２は、奥行き調整量定義関数記憶部１３に記憶される奥行き調整量定義関数の一例を示している。
図２の横軸は、入力された３次元画像において検出される奥行き情報［画素］を示し、縦軸は奥行き調整量［arcmin：角度分］を示している。奥行き情報は、正の値が画像上の物体をユーザが奥に知覚するディスパリティであり、負の値が画像上の物体をユーザが手前に知覚するディスパリティである。奥行き調整量は、正の値が手前に変化させることを表し、負の値が奥に変化させることを表す。
図２で示される奥行き調整量定義関数では、入力された３次元画像において奥にある物体は、より奥に変化するように移動させ、手前にある物体は、より手前に変化するように移動させて、３次元画像全体として立体感を増すような関数として定義されている。
図１の奥行き調整量決定部１４は、奥行き調整量定義関数記憶部１３に記憶されている、このような奥行き調整量定義関数に基づいて、輝度画像の各画素について奥行き調整量を決定する。例えば、奥行き情報がｄである輝度画像のある画素に対して、奥行き調整量決定部１４は、図２の奥行き調整量定義関数を用いて、奥行き調整量を△Dと決定する。
図１に戻り、評価関数記憶部１５は、視覚実験によって得られた、３次元画像から得られる入力値Iと、主観的に知覚される奥行き量である主観的奥行き量ｚとの関係を定量化した評価関数を記憶する。
［評価関数の説明］
図３は、視覚実験によって得られた評価関数の例を示している。
図３において、対数軸である横軸は、次式（２）で求められる入力値Iを表し、縦軸は主観的奥行き量ｚを表す。
Figure 2012247891
式（２）のC(fs)は、輝度画像の画像全体に含まれる空間周波数成分をN個の空間周波数成分fsに分類したときの各周波数成分fsのコントラストを表す。式（２）のE(fs)は、各空間数周波数fsの奥行き効率を表す。各空間数周波数fsの奥行き効率E(fs)とは、各空間数周波数fsが奥行き知覚に与える重みであり、視覚実験によって得られた値である。
従って、入力値Iは、各空間周波数成分fsのコントラストと、その空間周波数成分fsの重みを乗算した乗算結果の、画像全体のN個の空間周波数成分fsについての総和であるということができる。
図４は、視覚実験により得られた空間数周波数fsと奥行き効率E(fs)との関係を示している。
横軸の空間数周波数fsは、人間の目の１°（degree）の視角内に入る、白色と黒色の濃淡変化（コントラスト）で定義され、その単位はcpd（cycle per degree）である。
視覚実験では、様々な空間数周波数fsの画像（パターン）を被験者に提示し、その画像から、被験者が奥行き量（奥行き位置）をどの程度に感じるかが実験される。
図４に示されるデータによれば、空間数周波数fsと奥行き効率E(fs)との関係は、空間数周波数fsが大きくなるほど、重みが小さい（奥行き知覚に与える影響が小さい）ことを示している。
式（２）の奥行き効率E(fs)は、図４に示される空間数周波数fsと奥行き効率E(fs)との関係を定式化したものであり、例えば、ガウス近似式で表した次式（３）が採用される。
Figure 2012247891
 ここで、Aは係数、fs0は空間周波数fsのオフセット、σsは空間周波数fsの標準偏差を表す。
一方、図３の縦軸である主観的奥行き量ｚは、視覚実験の被験者が知覚した実際の奥行き量である実データｘを、以下の式（４）の計算式で換算したものであり、実データｘを正規化または標準化したものに相当する。このような主観的奥行き量ｚを採用することで、データの単位を揃えることができるので、データ感の比較が容易となり、実データの絶対的なバラツキを排除した解析が可能となる。
Figure 2012247891
主観的奥行き量ｚは、大きい値であるほど、ユーザが物体を手前に知覚することを示す。主観的奥行き量ｚは、次式（５）を用いて、単位をarcminとする奥行き調整量に換算することが可能である。
Figure 2012247891
３次元画像から得られる入力値Iと、主観的奥行き量ｚとの関係を定量化した評価関数は、例えば、視覚系の応答について利用されるNaka-Rushtonの式と、z=A×log10（I）＋B，（A，Bは定数）の対数式の２種類で表すことができる。
図３において実線で示される評価関数は、入力値Iと主観的奥行き量ｚとの関係を対数関数で定義した場合を示しており、その式は、式（６）で表される。また、破線で示される評価関数は、入力値Iと主観的奥行き量ｚとの関係をNaka-Rushtonの式で定義した場合を示しており、その式は、式（７）で表される。
Figure 2012247891
評価関数によれば、３次元画像の入力値Iが大きくなるように調整することで、物体を手前に知覚させることができることがわかる。反対に、物体を奥に知覚させるように調整したい場合には、その逆の調整が必要である。
そこで、I値調整量決定部１６は、このような評価関数に基づいて、図５に示すように、奥行き調整量決定部１４で決定された奥行き調整量△Dに対応する入力値Iの調整量△Iを決定する。
具体的には、I値調整量決定部１６は、奥行き調整量決定部１４で決定された奥行き調整量△Dを、上述した式（５）により、主観的奥行き量ｚの調整量△ｚに換算する。そして、I値調整量決定部１６は、換算して得られた主観的奥行き量ｚの調整量△ｚに対応する入力値Iの調整量△I（＝I1-I2）を決定する。
なお、図５において、縦軸のｚ1及びｚ2は、主観的奥行き量調整前の入力時の３次元画像の主観的奥行き量ｚと、主観的奥行き量調整後の３次元画像の主観的奥行き量ｚを示している。また、横軸のI1及びI2は、主観的奥行き量調整前の入力時の３次元画像の入力値Iと、主観的奥行き量調整後の３次元画像の入力値Iを示している。しかし、奥行き量調整のためには、入力値I1と入力値I2自体は知る必要がなく、入力値Iの調整量△Iが分かればよい。そして、入力値Iの調整量△Iは、対数関数である式（７）の評価関数を採用すれば、傾き一定であるので簡単に算出することができる。
図１に戻り、I値調整量決定部１６は、以上のようにして、奥行き調整量決定部１４から供給される奥行き調整量△Dに対応する入力値Iの調整量△Iを決定する。
奥行き制御部１７は、I値調整量決定部１６で決定された入力値Iの調整量△Iを満たすように、３次元画像の空間周波数成分を調整することで、入力された３次元画像の奥行きを調整（制御）し、調整後の３次元画像を出力する。
奥行き制御部１７は、周波数空間変換部３１、ゲイン計算部３２、ゲイン重畳部３３、及び逆変換部３４を有する。
周波数空間変換部３１は、３次元画像を周波数空間に変換する。即ち、周波数空間変換部３１は、入力された３次元画像（の画像データ）に対してDFT（Discrete Fourier Transformation：離散フーリエ変換）演算を行うことにより、画像空間から周波数空間に変換する。以下では、周波数空間に変換された３次元画像を、周波数空間画像という。
ゲイン計算部３２は、I値調整量決定部１６からの入力値Iの調整量△Iを満たす、各空間周波数fsのゲインを計算する。
ゲイン重畳部３３は、周波数空間画像に対し、ゲイン計算部３２で得られたゲインを重畳することにより、３次元画像の空間周波数を調整（変更）する。
逆変換部３４は、周波数空間画像に対してIDFT（Inversed DFT）演算を行うことにより、周波数空間から画像空間へ逆変換する。そして、逆変換部３４は、逆変換後の３次元画像を、空間周波数調整後の３次元画像として出力する。
空間周波数重み設定部１８は、ゲイン計算部３２で各空間周波数fsのゲインを計算するために必要となる、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)を、ユーザの操作に基づいて設定し、ゲイン計算部３２に供給する。空間周波数重み設定部１８の内部には、低域側を強調したり、高域側を強調したり、全域を強調したりなどの特性を有する各種の重み関数F(fs)が記憶されている。
画像処理装置１は、以上のように構成される。
［奥行き制御部１７の詳細処理］
次に、図６乃至図８を参照して、奥行き制御部１７の処理の詳細について説明する。
図６は、奥行き制御部１７が行う一連の処理の概要を示している。
入力画像である３次元画像（輝度画像）の所定の位置にあるm×n画素（m，n＞０）を、空間周波数調整の対象として注目し、m×n画素の輝度値（画素値）の空間周波数を調整する場合について説明する。この場合、m×n画素の周辺のM×N画素（M＞m，N＞n）が処理対象領域に設定される。ここで、m，n，N、およびMは、例えば、m，n＝２、M，N＝１１４などとすることができる。
周波数空間変換部３１は、DFT演算を行うことにより、３次元画像を、画像空間から周波数空間に変換する。ここで、画像空間上の輝度画像をｆ（ｋ，ｌ）で表し、周波数空間に変換して得られるフーリエ係数をF(x,y)で表すと、周波数空間変換部３１の処理は、次式（８）で表すことができる。
Figure 2012247891
次に、空間周波数重み設定部１８は、ユーザの操作に基づいて、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)を決定し、ゲイン計算部３２に供給する。
図７は、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)の例を示している。
奥行き調整量△Dが正である場合には、入力値Iの調整量△Iも正である必要があるため（△D＞０⇔△I＞０）、入力値Iの調整量△Iも正となるような制約条件を満たす重み関数F(fs)が、空間周波数重み設定部１８から供給される。
図７Aは、空間周波数重み設定部１８から供給される、△I＞０の制約条件を満たすための重み関数F(fs)の例である。換言すれば、図７Aは、輝度画像上の物体をより手前に調整するための重み関数F(fs)の例である。
図７Aの重み関数F(fs)は、全ての空間周波数fsにおいて、常に正となるように設定されているので、△I＞０の制約条件を満たす。また、図７Aの重み関数F(fs)は、高域側の周波数成分を特に強調するような設定とされている。
一方、奥行き調整量△Dが負である場合には、入力値Iの調整量△Iも負である必要があるため（△D＜０⇔△I＜０）、入力値Iの調整量△Iも負となるような制約条件を満たす重み関数F(fs)が、空間周波数重み設定部１８から供給される。
図７Bは、空間周波数重み設定部１８から供給される、△I＜０の制約条件を満たすための重み関数F(fs)の例である。換言すれば、図７Bは、輝度画像上の物体をより奥に調整するための重み関数F(fs)の例である。
図７Bの重み関数F(fs)は、全ての空間周波数fsにおいて、常に負となるように設定されているので、△I＜０の制約条件を満たす。また、図７Bの重み関数F(fs)は、高域側の周波数成分の落ち込みを抑えるような設定とされている。
ゲイン計算部３２は、空間周波数重み設定部１８から重み関数F(fs)を取得し、次式（９）の、入力値Iの調整量△Iを満たすような空間周波数コントラストC’(fs)を算出する。
Figure 2012247891
 ここで、C’(fs)は、空間周波数調整後の各周波数成分fsのコントラストを表す。
空間周波数調整後の空間周波数コントラストC’(fs)の算出方法について説明する。
初めに、ゲイン計算部３２は、上述した式（８）のDFT演算により得られるフーリエ係数F(x,y)を、０ないし１００の範囲の値に正規化することにより、空間周波数調整前の空間周波数コントラストC(x,y)を求める。
図８は、奥行き制御部１７の周波数空間の演算で利用される、空間周波数対応テーブルを示した図である。なお、図８は、M，N＝１１４の例である。
空間周波数対応テーブルは、画像空間の画素数と同一の１１４行×１１４列からなり、テーブルの各要素が各空間周波数fsに対応する。空間周波数対応テーブルは、図８Aに示されるように、左上隅に配置されるDC成分と、それ以外のAC成分で表される。空間周波数対応テーブルのAC成分は、おおよそ0.5cpdないし40cpdの空間周波数であって、１１４行×１１４列のテーブルの中心に高域成分、境界（周辺）に低域成分が配置される。
図８Bは、図８Aにおいて破線で示されるDC成分周辺の拡大図を示し、マス目内の値は、そのマス（の要素）が対応する空間周波数fsを示している。
上述した式（８）のDFT演算により得られるフーリエ係数F(x,y)は、このような空間周波数対応テーブルを用いて得ることが出来るので、フーリエ係数F(x,y)を０ないし１００の範囲の値に正規化して得られるC(x,y)も同様に求めることができる。そして、C(x,y)が分かれば、空間周波数調整前の空間周波数コントラストC(fs)も得られる。例えば、図８Bの対応テーブルにおいて斜線を付して示される、DC成分の隣の第１行第２列の要素であるC(1,2)に格納される値がC(fs＝0.5)に相当する。
ゲイン計算部３２は、空間周波数重み設定部１８から取得した重み関数F(fs)が調整量△Iに対応するように、式（１０）により、重み関数F(fs)を正規化し、正規化後の重み関数F'(fs)を得る。
Figure 2012247891
式（１０）により、重み関数F(fs)を、いわば後処理的に調整量△Iとなるように調整することができるので、空間周波数重み設定部１８において重み関数F(fs)を設定する場合に、ユーザは、各空間周波数fsに与えるゲインの重みのみに注意すればよい。これにより、重み関数F(fs)の設計が容易になる。
次に、ゲイン計算部３２は、周波数空間画像に直接付加するゲインである、各空間周波数fsのゲインG(fs)を、次式（１１）により設定する。
G(fs)＝１＋F'(fs) ・・・・・・・・・・・・・（１１）
重み関数F(fs)は、入力値Iの調整量が△Iとなるように式（１０）により正規化した場合、（０以上）１以下の値になることがある。そのため、式（１１）で示されるように、正規化後の重み関数F'(fs)に１を加算したものが最終的な各空間周波数fsのゲインG(fs)とされる。これにより、重み関数F(fs)が正であれば（F(fs)＞０）、ゲインG(fs)が１以上となり、奥行き制御部１７では、各空間周波数fsのコントラストを高める処理が行われることになる。一方、重み関数F(fs)が負であれば（F(fs)＜０）、ゲインG(fs)が１未満となり、奥行き制御部１７では、各空間周波数fsのコントラストを抑制する処理が行われることになる。
ゲイン計算部３２は、算出された各空間周波数fsのゲインG(fs)を、フーリエ変換のDFTフォーマットのゲインg(x,y)に変換する。即ち、ゲイン計算部３２は、算出された各空間周波数fsのゲインG(fs)を、図８の空間周波数対応テーブルの形式に変換する。
ゲイン計算部３２が、入力値Iの調整量△Iを満たす各空間周波数fsのゲインG(fs)（＝g(x,y)）を求めることは、即ち、式（９）で表される、入力値Iの調整量△Iを満たす空間周波数コントラストC' (fs)を求めたことを意味する。
そして、図６に示すように、ゲイン重畳部３３は、DFT演算後のフーリエ係数F(x,y)のAC成分に、ゲイン計算部３２で得られたゲインg(x,y)を重畳し、空間周波数を調整する。即ち、ゲイン重畳部３３は、次式（１２）を演算することにより、ゲイン重畳後のフーリエ係数F'(x,y)を求める。
F'(x,y)＝F(x,y)・g(x,y) ・・・・・・・・・・・・・（１２）
最後に、逆変換部３４は、ゲイン重畳後のフーリエ係数F'(x,y)をIDFT演算（Inversed DFT）することにより、周波数空間から画像空間へ逆変換する。即ち、逆変換部３４は、次式（１３）を演算し、空間周波数調整後の輝度画像f'(k,l)を得る。
Figure 2012247891
そして、逆変換部３４は、逆変換後の輝度画像を、空間周波数調整後の３次元画像として出力する。
なお、本実施の形態では、奥行き制御部１７において、３次元画像を周波数空間に変換する演算として、フーリエ変換を採用しているが、ウェーブレット変換やコサイン変換などのその他の空間周波数変換手段（演算）を用いてもよい。
［奥行き調整処理のフローチャート］
次に、図９のフローチャートを参照して、画像処理装置１が行う、空間周波数調整により奥行きを制御する奥行き制御処理について説明する。この処理は、例えば、３次元画像が入力されたとき開始される。
初めに、ステップＳ１において、輝度成分計算部１１は、外部から入力された３次元画像の輝度成分を計算する。これにより、例えば、左眼用画像（L画像）と右眼用画像（R画像）それぞれの輝度画像が奥行き推定部１２に供給される。
ステップＳ２において、奥行き推定部１２は、輝度成分計算部１１から供給された３次元画像（輝度画像）の各画素について奥行き情報（ディスパリティ）を推定する。
ステップＳ３において、奥行き調整量決定部１４は、奥行き調整量定義関数記憶部１３に記憶されている奥行き調整量定義関数に基づいて、３次元画像の各画素について奥行き調整量△Dを決定する。
ステップＳ４において、I値調整量決定部１６は、評価関数記憶部１５に記憶されている評価関数に基づいて、ステップＳ３で決定された奥行き調整量△Dに対応する入力値Iの調整量△Iを決定する。
ステップＳ５において、周波数空間変換部３１は、DFT演算を行うことにより、入力画像である３次元画像を周波数空間に変換する。
ステップＳ６において、空間周波数重み設定部１８は、ユーザの操作に基づいて、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)を決定し、ゲイン計算部３２に供給する。
ステップＳ７において、ゲイン計算部３２は、式（１０）により、調整量△Iとなるように重み関数F(fs)を正規化する。これにより、正規化後の重み関数F'(fs)が得られる。
ここで、M×N画素の入力値Iの算出方法について説明する。M×N画素の入力値Iは、例えば、以下の２種類の算出方法を採用することができる。
第１の算出方法は、図８に示した空間周波数対応テーブルを利用して、式（３）の奥行き効率E(fs)をE(x,y)に変換し、次式（１４）により計算する方法である。
Figure 2012247891
第２の算出方法は、基準となる空間周波数を定めて積算する方法である。具体的には、例えば、基準となる空間周波数fsが、0.5cpd,1.0cpd,2.0cpd,4.0cpd,8.0cpdの５種類に決定されているとする。
初めに、以下の式（１５）または式（１６）のいずれかにより、基準周波数fsを中心とする所定の範囲内の空間周波数コントラストC(fs)が、基準周波数fsの空間周波数コントラストC(fs)として求められる。
Figure 2012247891
そして、式（１７）により、入力値Iが求められる。即ち、計算された各基準周波数fsと奥行き効率E(fs)との積和が計算され、入力値Iとされる。
Figure 2012247891
なお、これらの２種類の算出方法には、値を単純加算するのではなく、複数の隣接する空間周波数の平均化した値を加算するなどの変形もあり得る。
ステップＳ７において、正規化後の重み関数F'(fs)が求められた後、ステップＳ８において、ゲイン計算部３２は、上述した式（１１）により、各空間周波数fsのゲインG(fs)を計算する。
そして、ステップＳ９において、ゲイン計算部３２は、計算により得られた各空間周波数fsのゲインG(fs)を、DFTフォーマットのゲインg(x,y)に変換する。
ステップＳ１０において、ゲイン重畳部３３は、上述した式（１２）を演算することにより、ゲイン重畳後のフーリエ係数F'(x,y)を求める。
ステップＳ１１において、逆変換部３４は、IDFT演算を行うことにより、ゲイン重畳後のフーリエ係数F'(x,y)を、周波数空間から画像空間へ逆変換する。そして、逆変換部３４は、逆変換後の輝度画像を、空間周波数調整後の３次元画像として出力して、終了する。
画像処理装置１では、以上のようにして、奥行き調整量定義関数に基づいて決定された入力画像の各画素の奥行き調整量△Dに対応する入力値Iの調整量△Iが決定され、その調整量△Iを満たすように、入力画像の各空間周波数fsが制御される。奥行き調整量△Dに対応する入力値Iの調整量△Iは、画像パターンの各空間周波数fsに対する人間の視覚特性を評価した評価関数に基づいて決定され、また、各空間周波数fsに所望の重みを設定することが可能である。従って、人間の視覚特性に基づいて単眼立体情報のパラメータである空間周波数を調整することで、人間にとってより違和感や不快感が少ない３次元画像を提供することができる。
［重み関数F(fs)の設定例］
上述した実施の形態では、各空間周波数fsに設定する重み、即ち、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)として、図７を参照して説明したような、低域側または高域側を強調する関数の例を示した。
図１０乃至図１２を参照して、重み関数F(fs)のその他の設定例について説明する。
図１０は、画像上の物体をより手前に調整する場合、即ち、奥行き調整量△Dおよび入力値Iの調整量△Iが正である場合（△D＞０⇔△I＞０）の重み関数F(fs)の設定例を示している。
また、図１０は、（A）各空間周波数帯の全域を一律にn倍に強調、（B）低い空間周波数帯を強調、（C）高い空間周波数帯を強調、の場合の３種類の重み関数F(fs)の設定例を示している。
（A）各空間周波数帯の全域を一律にn倍に強調した場合には、マイケルソンコントラストがn倍に強調される。マイケルソンコントラストは、次式（１８）で定義される。
Figure 2012247891
 式（１８）において、Lmaxは、３次元画像の処理単位領域内の輝度値の最大値、Lminは、３次元画像の処理単位領域内の輝度値の最小値を表す。処理単位領域の大きさは、視角と画素数の関係から、最適な大きさに適宜設定される。
（B）低い空間周波数帯を強調した場合には、３次元画像に対して、陰影を強調し、エッジを保持する処理となり、相対的にシャッキリ感は減少することがある。
（C）高い空間周波数帯を強調した場合には、３次元画像に対して、エッジを強調し、陰影を保持する処理となり、同程度の輝度値が並ぶのっぺりした領域で、ノイズが強調されることがある。
図１１は、画像上の物体をより奥に調整する場合、即ち、奥行き調整量△Dおよび入力値Iの調整量△Iが負である場合（△D＜０⇔△I＜０）の重み関数F(fs)の設定例を示している。
また、図１１は、（A）各空間周波数帯の全域を一律にn倍に低減、（B）低い空間周波数帯を低減、（C）高い空間周波数帯を低減、の場合の３種類の重み関数F(fs)の設定例を示している。
（A）各空間周波数帯の全域を一律にn倍に低減した場合には、マイケルソンコントラストがn倍に低減される。
（B）低い空間周波数帯を低減した場合には、３次元画像に対して、エッジを保持し、陰影を低減する処理となり、高周波成分を残しすぎるとテクスチャの印象が変化することがある。
（C）高い空間周波数帯を低減した場合には、３次元画像に対して、陰影を保持し、エッジを低減する処理となり、（A）全域低減よりボケたような印象になることがある。
図７、図１０、および、図１１に示した重み関数F(fs)は、いずれも、関数が常に正側または負側の領域となるように設定された例であるが、入力値Iの調整量△Iについての制約条件を満たすのであれば、常に正側または負側の領域となるような重み関数F(fs)である必要はない。
図１２は、画像上の物体をより手前に調整する場合の、さらにその他の重み関数F(fs)の設定例を示している。
画像上の物体をより手前に調整する場合には、入力値Iの調整量△Iが正であるという制約条件（△I＞０）を満たしさえすれば、図１２に示すような重み関数F(fs)の設定も可能である。
図１２は、（A）低い空間周波数帯を強調し、高い空間周波数帯を低減（B）特定の空間周波数帯を重点的に強調、の場合の重み関数F(fs)の設定例を示している。
（A）低い空間周波数帯を強調し、高い空間周波数帯を低減した場合には、３次元画像に対して、エッジを強調し、陰影を低減する処理となる。
（B）特定の空間周波数帯を重点的に強調する処理は、例えば、画像特徴量に応じて調整する空間周波数帯を選択して処理する場合に使用される。
画像上の物体をより奥に調整する場合においても、入力値Iの調整量△Iが負であるという制約条件（△I＜０）を満たしさえすれば、図１２と同様の重み関数F(fs)を設定することが可能である。即ち、図示は省略するが、低い空間周波数帯を低減し、高い空間周波数帯を強調したり、特定の空間周波数帯を重点的に低減する重み関数F(fs)の設定などが可能である。
［奥行き効率のその他の例］
上述した実施の形態において、評価関数の入力値Iは、式（２）のように、各周波数成分fsのコントラストC(fs)と、その空間数周波数fsの奥行き効率E(fs)の積和で求めた。
しかし、入力値Iのその他の計算例として、式（２）の空間数周波数fsの奥行き効率E(fs)だけでなく、時間周波数ftの奥行き効率E(ft)も考慮して、入力値Iを計算することも可能である。
以下の式（１９）は、空間数周波数fsの奥行き効率E(fs)だけでなく、時間周波数ftの奥行き効率E(ft)も考慮した場合の入力値Iの演算式であり、式（２０）は、奥行き効率E(fs,ft)を表す式である。
Figure 2012247891
奥行き効率E(fs,ft)は、式（２０）から分かるように、空間数周波数fsに対する奥行き効率E(fs)と、時間数周波数ftに対する奥行き効率E(ft)の積で表される。
図１３は、式（２０）の時間数周波数ftに対する奥行き効率E(ft)のガウス近似式に対応する、時間数周波数ftと奥行き効率E(ft)との関係を表す視覚実験のデータを示している。
＜２．第２の実施の形態＞
［画像処理装置の構成例］
図１４は、本技術が適用された画像処理装置の第２の実施の形態の構成例を示している。
図１４は、周波数解析部５１とコントラスト解析部５２が新たに設けられている点が、上述した第1の実施の形態と異なる。
周波数解析部５１は、３次元画像の空間周波数成分の解析を行う。空間周波数成分の解析には、例えば、ガボールフィルタ（Gabor filter）を用いる手法を採用することができる。ガボールフィルタは、視覚系における信号応答特性を近似していると言われ、その関数ｇ（x，y，λ，θ，ψ，σ，γ）は、式（２１）で表される。
Figure 2012247891
 式（２１）において、x，yは輝度画像の座標値を、λは空間周波数に対応する波長を、θは方位（方向）を、ψは位相を、σはガウス分布の分散を、γはアスペクト比を、それぞれ表す。
例えば、周波数解析部５１は、λを１cpdの波長とした式（２１）のガボールフィルタ関数ｇ（x，y，λ，θ，ψ，σ，γ）と、輝度成分計算部１１で計算された輝度画像の輝度値を畳み込み積分することで、輝度画像の１cpdの空間周波数成分を有する領域を抽出することができる。輝度画像のその他の空間周波数成分を有する領域を抽出する場合も同様に、λを適宜設定して、そのガボールフィルタ関数ｇ（x，y，λ，θ，ψ，σ，γ）と輝度画像の輝度値を畳み込み積分することで、求めることができる。例えば、λは、上述した１cpdの波長の他、０．５cpd、２cpd、４cpd、８cpdの５種類の波長に設定して、空間周波数成分の解析を行うことができる。勿論、その他の波長をさらに加えたり、これら以外の波長について解析してもよい。
このように、λを所定の空間周波数の波長とした式（２１）のガボールフィルタ関数ｇ（x，y，λ，θ，ψ，σ，γ）と、輝度成分計算部１１で計算された輝度画像の輝度値を畳み込み積分することで、輝度画像のどの領域にどの空間周波数の成分が含まれるかが分かる。
コントラスト解析部５２は、輝度成分計算部１１で計算された３次元画像の輝度成分を用いて、３次元画像のコントラスト成分を抽出する。具体的には、コントラスト解析部５２は、コントラスト成分を抽出する処理の単位である処理単位領域として、例えば、上述のM×N画素の領域を決定する。そして、コントラスト解析部５２は、決定した処理単位領域について、式（１８）のマイケルソンコントラストを算出する。各処理単位領域は、一部が重複するように設定してもよいし、重複しないようにタイル状に設定してもよい。精度を重視する場合には、１画素単位でずらすようにすればよい。
周波数解析部５１で解析された空間周波数成分の特徴（分布）、及び、コントラスト解析部５２で解析されたコントラスト成分の特徴（分布）は、奥行き制御部１７に供給される。奥行き制御部１７では、それらの特徴を用いて、各空間周波数fsのゲインの重みを決定することができる。即ち、各空間周波数fsに与えるゲインの重みを示す重み関数F(fs)の決定を、周波数解析部５１とコントラスト解析部５２の解析結果に基づいて行うことができる。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。
入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる場合はもちろん、必ずしも時系列的に処理されなくとも、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで実行されてもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
（１）
入力された３次元画像の奥行き調整量を決定する奥行き調整量決定部と、
画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数を記憶する評価関数記憶部と、
前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定する入力値調整量決定部と、
決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算する調整ゲイン計算部と、
前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する画像調整部と
を備える画像処理装置。
（２）
入力された前記３次元画像を周波数空間に変換する周波数空間変換部と、
前記周波数空間に変換された前記３次元画像を画像空間に逆変換する画像空間逆変換部と
をさらに備え、
前記調整ゲイン計算部は、前記入力値調整量決定部により決定された前記入力値の調整量を満たす、前記各空間周波数成分のゲイン値を計算し、
前記画像調整部は、前記周波数空間変換部が周波数空間に変換して得られる係数に、前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値を重畳することで、入力された前記３次元画像の各空間周波数成分を調整し、
前記画像空間逆変換部は、前記各空間周波数成分のゲイン値が重畳された前記係数を、画像空間に逆変換する
前記（１）に記載の画像処理装置。
（３）
前記周波数空間変換部は、フーリエ変換により、入力された前記３次元画像を周波数空間に変換する
前記（２）に記載の画像処理装置。
（４）
各空間周波数成分に与えるゲインの重みを示す関数を設定する空間周波数重み設定部をさらに備え、
前記調整ゲイン計算部は、前記関数に基づいて、前記各空間周波数成分のゲイン値を計算する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記奥行き調整量が正である場合、前記入力値調整量決定部により決定される前記入力値の調整量も正であり、前記奥行き調整量が負である場合、前記入力値調整量決定部により決定される前記入力値の調整量も負である
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
入力された前記３次元画像から、奥行き情報を推定する奥行き情報推定部と、
前記奥行き情報に対する奥行き調整量を定義した奥行き調整量定義関数を記憶する奥行き調整量定義関数記憶部と
をさらに備え、
前記奥行き調整量決定部は、前記奥行き調整量定義関数に基づいて、推定された前記奥行き情報から、前記奥行き調整量を決定する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
入力された３次元画像の奥行き調整量を決定し、
画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、
決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、
計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する
ステップを含む画像処理方法。
（８）
コンピュータに、
入力された３次元画像の奥行き調整量を決定し、
画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、
決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、
計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する
ステップを含む処理を実行させるためのプログラム。
１ 画像処理装置， １２ 奥行き推定部， １３ 奥行き調整量定義関数記憶部， １４ 奥行き調整量決定部， １５ 評価関数記憶部， １６ I値調整量決定部， １７ 奥行き制御部， １８ 空間周波数重み設定部， ３１ 周波数空間変換部， ３２ ゲイン計算部， ３３ ゲイン重畳部， ３４ 逆変換部

Claims (8)

  1. 入力された３次元画像の奥行き調整量を決定する奥行き調整量決定部と、
    画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数を記憶する評価関数記憶部と、
    前記評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定する入力値調整量決定部と、
    決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算する調整ゲイン計算部と、
    前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する画像調整部と
    を備える画像処理装置。
  2. 入力された前記３次元画像を周波数空間に変換する周波数空間変換部と、
    前記周波数空間に変換された前記３次元画像を画像空間に逆変換する画像空間逆変換部と
    をさらに備え、
    前記調整ゲイン計算部は、前記入力値調整量決定部により決定された前記入力値の調整量を満たす、前記各空間周波数成分のゲイン値を計算し、
    前記画像調整部は、前記周波数空間変換部が周波数空間に変換して得られる係数に、前記調整ゲイン計算部で計算された前記各空間周波数成分のゲイン値を重畳することで、入力された前記３次元画像の各空間周波数成分を調整し、
    前記画像空間逆変換部は、前記各空間周波数成分のゲイン値が重畳された前記係数を、画像空間に逆変換する
    請求項１に記載の画像処理装置。
  3. 前記周波数空間変換部は、フーリエ変換により、入力された前記３次元画像を周波数空間に変換する
    請求項２に記載の画像処理装置。
  4. 各空間周波数成分に与えるゲインの重みを示す関数を設定する空間周波数重み設定部をさらに備え、
    前記調整ゲイン計算部は、前記関数に基づいて、前記各空間周波数成分のゲイン値を計算する
    請求項１に記載の画像処理装置。
  5. 前記奥行き調整量が正である場合、前記入力値調整量決定部により決定される前記入力値の調整量も正であり、前記奥行き調整量が負である場合、前記入力値調整量決定部により決定される前記入力値の調整量も負である
    請求項１に記載の画像処理装置。
  6. 入力された前記３次元画像から、奥行き情報を推定する奥行き情報推定部と、
    前記奥行き情報に対する奥行き調整量を定義した奥行き調整量定義関数を記憶する奥行き調整量定義関数記憶部と
    をさらに備え、
    前記奥行き調整量決定部は、前記奥行き調整量定義関数に基づいて、推定された前記奥行き情報から、前記奥行き調整量を決定する
    請求項１に記載の画像処理装置。
  7. 入力された３次元画像の奥行き調整量を決定し、
    画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、
    決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、
    計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する
    ステップを含む画像処理方法。
  8. コンピュータに、
    入力された３次元画像の奥行き調整量を決定し、
    画像全体に含まれる空間周波数成分がN個の空間周波数成分に分類されるとき、各空間周波数成分のコントラストと、その空間周波数成分の重みを乗算した乗算結果のN個の総和である入力値と、ユーザが主観的に感じる奥行き量である主観的奥行き量との関係を表す評価関数に基づいて、決定された前記奥行き調整量に対応する前記入力値の調整量を決定し、
    決定された前記入力値の調整量に基づいて、各空間周波数成分のゲイン値を計算し、
    計算された前記各空間周波数成分のゲイン値により、入力された前記３次元画像の各空間周波数成分を調整する
    ステップを含む処理を実行させるためのプログラム。
JP2011117649A 2011-05-26 2011-05-26 画像処理装置、画像処理方法、およびプログラム Withdrawn JP2012247891A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011117649A JP2012247891A (ja) 2011-05-26 2011-05-26 画像処理装置、画像処理方法、およびプログラム
US13/474,151 US8780109B2 (en) 2011-05-26 2012-05-17 Image processing apparatus, image processing method and an image processing program for reducing a feeling of discomfort and displeasure when presenting a three-dimensional image
CN201210157488.XA CN102802008B (zh) 2011-05-26 2012-05-18 图像处理装置、图像处理方法以及图像处理程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011117649A JP2012247891A (ja) 2011-05-26 2011-05-26 画像処理装置、画像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2012247891A true JP2012247891A (ja) 2012-12-13

Family

ID=47200962

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011117649A Withdrawn JP2012247891A (ja) 2011-05-26 2011-05-26 画像処理装置、画像処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US8780109B2 (ja)
JP (1) JP2012247891A (ja)
CN (1) CN102802008B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9438880B2 (en) 2014-01-14 2016-09-06 Sony Corporation Image processing apparatus, image processing method, and program

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104620283B (zh) * 2012-09-14 2017-12-19 索尼公司 图像处理设备、图像处理方法
TWI526045B (zh) 2012-12-10 2016-03-11 聯詠科技股份有限公司 立體影像的調整方法與影像處理裝置
CN103888744B (zh) * 2012-12-21 2016-08-17 联咏科技股份有限公司 立体影像的调整方法与影像处理装置
US9349188B2 (en) 2013-03-15 2016-05-24 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency strength controlled transform
US9066025B2 (en) * 2013-03-15 2015-06-23 Samsung Electronics Co., Ltd. Control of frequency lifting super-resolution with image features
US9536288B2 (en) 2013-03-15 2017-01-03 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency lifting
US9305332B2 (en) 2013-03-15 2016-04-05 Samsung Electronics Company, Ltd. Creating details in an image with frequency lifting
US9652829B2 (en) 2015-01-22 2017-05-16 Samsung Electronics Co., Ltd. Video super-resolution by fast video segmentation for boundary accuracy control
CN105894482B (zh) * 2015-11-06 2019-05-03 法法汽车(中国)有限公司 平衡各视点图像间亮度差异的方法及系统
FR3054347B1 (fr) * 2016-07-19 2019-08-23 Safran Procede et dispositif d'aide a la navigation d'un vehicule
KR102654862B1 (ko) * 2016-08-31 2024-04-05 삼성전자주식회사 영상 처리 방법 및 장치
CN108153501B (zh) * 2016-12-06 2023-10-31 依视路国际集团（光学总公司） 图像处理方法和系统
US10887574B2 (en) 2018-07-31 2021-01-05 Intel Corporation Selective packing of patches for immersive video
US10762592B2 (en) * 2018-07-31 2020-09-01 Intel Corporation Point-based rendering and removal of projection noise
US10762394B2 (en) 2018-07-31 2020-09-01 Intel Corporation System and method for 3D blob classification and transmission
US11178373B2 (en) 2018-07-31 2021-11-16 Intel Corporation Adaptive resolution of point cloud and viewpoint prediction for video streaming in computing environments
US11212506B2 (en) 2018-07-31 2021-12-28 Intel Corporation Reduced rendering of six-degree of freedom video
US10893299B2 (en) 2018-07-31 2021-01-12 Intel Corporation Surface normal vector processing mechanism
US11057631B2 (en) 2018-10-10 2021-07-06 Intel Corporation Point cloud coding standard conformance definition in computing environments
DE102019127349A1 (de) 2018-10-10 2020-04-16 Intel Corporation Punktwolkencodierungsstandard-konformitätsdefintion in computerumgebungen
US11957974B2 (en) 2020-02-10 2024-04-16 Intel Corporation System architecture for cloud gaming
US12555298B2 (en) 2020-02-10 2026-02-17 Intel Corporation Systems and methods for improved efficient E-sports spectator mode through use of GPU attached non-volatile memory
CN114637391B (zh) * 2020-11-30 2025-08-29 华为技术有限公司 基于光场的vr内容处理方法及设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69706611T2 (de) * 1996-06-27 2002-07-04 Kabushiki Kaisha Toshiba, Kawasaki Stereoskopisches Display-System und -Verfahren
US6515659B1 (en) * 1998-05-27 2003-02-04 In-Three, Inc. Method and system for creating realistic smooth three-dimensional depth contours from two-dimensional images
JP2001238231A (ja) 2000-02-24 2001-08-31 Sharp Corp 立体映像視覚効果付加装置及び方法
JP3749227B2 (ja) 2002-03-27 2006-02-22 三洋電機株式会社 立体画像処理方法および装置
WO2003081921A1 (en) * 2002-03-27 2003-10-02 Sanyo Electric Co., Ltd. 3-dimensional image processing method and device
JP4695664B2 (ja) * 2008-03-26 2011-06-08 富士フイルム株式会社 立体動画像処理装置および方法並びにプログラム
KR100942925B1 (ko) * 2008-08-11 2010-02-22 한국전자통신연구원 스테레오 비전 시스템 및 그 제어방법
US8745536B1 (en) * 2008-11-25 2014-06-03 Perceptive Pixel Inc. Volumetric data exploration using multi-point input controls
KR101491556B1 (ko) * 2008-12-02 2015-02-09 삼성전자주식회사 깊이 추정 장치 및 방법
KR101506926B1 (ko) * 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
TWI413405B (zh) * 2010-01-08 2013-10-21 Chunghwa Picture Tubes Ltd 同時顯示二維影像和三維影像之方法及相關系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9438880B2 (en) 2014-01-14 2016-09-06 Sony Corporation Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
CN102802008B (zh) 2015-11-18
US8780109B2 (en) 2014-07-15
US20130127837A1 (en) 2013-05-23
CN102802008A (zh) 2012-11-28

Similar Documents

Publication Publication Date Title
JP2012247891A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5397190B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN104780354B (zh) 图像处理装置、图像处理方法及程序
US8638329B2 (en) Auto-stereoscopic interpolation
US8538135B2 (en) Pulling keys from color segmented images
EP2472883A1 (en) Three-dimensional image display system, parallax conversion device, parallax conversion method, and program
JP5673032B2 (ja) 画像処理装置、表示装置、画像処理方法及びプログラム
CN102098528B (zh) 一种平面图像的立体转换方法及装置
RU2009129700A (ru) Способ и система для преобразования стереоконтента
JP2017021759A (ja) 画像処理装置、画像処理方法及びプログラム
JP2015056013A (ja) 画像処理装置
CN104469355B (zh) 基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法
JP6558365B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20150249812A1 (en) Stereoscopic image processing device, stereoscopic image processing method, and recording medium
JP2014016792A (ja) 画像処理装置および方法、並びにプログラム
JP2013172214A (ja) 画像処理装置、および画像処理方法、並びにプログラム
Zhou et al. Visual comfort prediction for stereoscopic image using stereoscopic visual saliency
JP2012226574A (ja) 画像処理方法、画像処理装置及び表示装置
KR101978176B1 (ko) 영상 처리 장치 및 방법
Ding et al. SIQA Based on 2D IQA Weighting Strategy
JP2013132018A (ja) 画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム
KR20180107936A (ko) 가림 영역을 보정하여 3d 모델을 생성하는 방법 및 장치

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140805