JP2012142852A

JP2012142852A - 擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置

Info

Publication number: JP2012142852A
Application number: JP2011000658A
Authority: JP
Inventors: Kenji Kubota; 賢治久保田
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2011-01-05
Filing date: 2011-01-05
Publication date: 2012-07-26
Anticipated expiration: 2031-01-05
Also published as: JP5459231B2

Abstract

【課題】非立体画像が無画部を含んだ画像であっても違和感がなくて現実に近い奥行き感を出すことのできる擬似立体画像生成装置を提供する。
【解決手段】本発明の擬似立体画像生成装置は、非立体画像に座標を設定して座標情報として生成する座標情報生成部２と、非立体画像を構成する各画素の画素値を所定の閾値と比較して閾値より大きい画素からなる領域を有効画像部として検出する有効画像検出部３と、有効画像部の座標に基づいて座標情報を補正して補正情報を生成する座標補正部４と、補正情報に基づいて基本奥行きモデルを算出する第１〜第３基本奥行きモデル算出部７〜９と、有効画像部の上下２０％の領域における輝度信号の高域成分を評価する高域成分評価部５、６と、基本奥行きモデルの合成比率を決定して合成する合成部１０と、非立体画像のＲ信号を加算する加算器１１とを備えていることを特徴とする。
【選択図】図１

Description

本発明は擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置に係り、特に通常の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像（非立体画像）から擬似的な立体画像を生成する擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置に関する。

奥行き情報が明示的に与えられず、またはステレオ画像のように暗示的にも与えられていない２次元の静止画または動画（以下、非立体画像という）から、擬似的な立体画像（以下、擬似立体画像という）を生成する立体表示システムが、数多く発表されている。

例えば、特許文献１に開示された擬似立体画像作成装置では、始めに非立体画像の１画面における輝度信号の高域成分を算出し、非立体画像の１画面毎のシーン構造を推定する。次に代表的なシーン構造に適応した奥行き感を有する画像を基本奥行きモデルとして複数用意し、推定したシーン構造に基づいて複数の基本奥行きモデルの合成比率を自動的に算出することによって、非立体画像の奥行き感を出すための奥行き推定データを生成していた。生成された奥行き推定データは、どのような画像に対しても違和感がなく、できる限り現実に近いシーン構造をもつように生成されている。

ところが、近年では静止画像や動画像をディスプレイに表示する場合に、画面の全てに画像が表示されずに一部に画像がない無画部を存在させている場合が多く、画面サイズと実際の画像サイズとが一致しないことが多かった。一致しない原因としてはディスプレイの画面と表示する画像とのアスペクトサイズや画素数の不一致などがある。

図１７〜１９は上述した状態を示す一例であり、図１７に示す画像は上下に無画部があるレターボックスといわれる形式で、図１８に示す画像は左右に無画部があるサイドパネルといわれる形式、図１９に示す画像は上下左右ともに無画部があるウィンドウと呼ばれる形式である。

従来、画面サイズと画像サイズが一致しない場合に元の画像を変形あるいは欠落させることなくディスプレイに表示するためには、図１７〜１９のいずれかに変換する必要があった。そこで、このような画像変換を行う場合に従来ではフォーマットコンバータが使用されていた。例えば、入力信号が横画素数１０２４、縦画素数８００、アスペクト比４：３の画像で、ディスプレイが横画素数１９２０、縦画素数１０８０、アスペクト比１６：９の場合には、フォーマットコンバータで図１８のサイドパネルの画像信号に変換して表示すると、入力画像をディスプレイの縦サイズに合わせて表示することができる。また、入力画素数を変更しないでディスプレイに表示する場合にはフォーマットコンバータで図１９のウィンドウの画像信号に変換してディスプレイに表示していた。

さらに、フォーマットコンバータを用いなくてもＤＶＤなどに記録された映画のように近年標準となっている１６：９より横長なアスペクト比を持つ画像は、１６：９のアスペクト比になるように上下に無画部を付加して図１７のレターボックスの画像信号とする場合もあった。

特許第４２１４９７６号公報

しかしながら、上述した特許文献１に開示された従来の擬似立体画像作成装置では、図１７〜１９に示したような無画部を含んだ非立体画像から奥行き推定データを生成しようとすると、以下に示すような課題があった。

従来の擬似立体画像作成装置では、非立体画像内の所定領域における画素値の統計量を算定してシーン構造を推定している。具体的な例としては、図２０に示す網掛け以外の領域のように、非立体画像の上部約２０％の高域成分評価値（上部評価値）と、非立体画像の下部約２０％の高域成分評価値（下部評価値）が提示されている。

しかしながら、図１７に示すレターボックスを非立体画像として同様の処理を行うと、図２１に示すように網掛け以外の領域では非立体画像の上部及び下部の約２０％はほとんど無画部だけが占めることになってしまう。

そのため、非立体画像のシーン構造が変化しても、無画部はシーンによる変化がないので上部評価値と下部評価値の算出値はほぼ固定化され、シーン構造の推定が正しく行われないという問題点が生じていた。

また、従来の擬似立体画像作成装置では、基本奥行きモデルタイプ１〜タイプ３の合成比率を変化させて奥行き推定データを生成しているが、図１８に示すサイドパネルでは画面の左右が無画部で占められているため、無画部を除いた領域では基本奥行きモデルタイプ２を用いても基本奥行きモデルタイプ３を用いたとしても変化が小さくなり、本来異なるシーン構造であったとしても基本奥行きモデル間で差異が出ないという問題点があった。

さらに、図１９に示すウィンドウでは画面の上下及び左右に無画部が存在しているので、上部評価値と下部評価値の算出値に基づいて基本奥行きモデルの合成比率を変化させようとしても変化しにくくなり、しかも基本奥行きモデルタイプ１と基本奥行きモデルタイプ２と基本奥行きモデルタイプ３との間の変化も小さくなるので、入力された非立体画像のシーン構造と生成される奥行き推定データとの間の連動性がなくなってしまうという問題点もあった。

また、図１７〜１９では画面の上下及び左右の無画部が均等に配置されているが、図２２に示すようにどちらかに無画部が偏っている場合には、画面の中心と画像の中心が一致していないので、シーン構造と奥行き推定データとの間に不一致が生じやすくなってしまうという問題点があった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、非立体画像が無画部を含んだ画像であっても、違和感がなくて現実に近い奥行き感を出すことのできる擬似立体画像生成装置、擬似立体画像生成プログラム及び擬似立体画像表示装置を提供することを目的とする。

上記した目的を達成するために、本発明に係る擬似立体画像生成装置は、画像に座標を設定して第１座標情報として生成する座標情報生成部と、前記画像を構成する各画素の画素値を所定の閾値と比較して、前記閾値より大きい画素からなる領域を有効画像部とし、前記有効画像部を示す第２座標情報を検出する有効画像検出部と、前記第２座標情報に基づいて、前記有効画像部の所定領域の座標を示すエリア信号を生成するエリア信号生成部と、前記有効画像部の第２座標情報に基づいて前記第１座標情報を補正して補正情報を生成する座標補正部と、基本となる複数のシーン構造に対応した奥行き値を示す複数の基本奥行きモデルを、前記補正情報に基づいて算出する基本奥行きモデル算出部と、前記エリア信号で指定された前記有効画像部の所定領域における輝度信号の高域成分を評価する高域成分評価部と、前記高域成分評価部による評価に基づいて前記基本奥行きモデルの合成比率を決定し、前記合成比率によって前記複数の基本奥行きモデルを合成して合成基本奥行きモデルを生成する合成部と、前記合成基本奥行きモデルから前記画像の奥行き情報を示す奥行き推定データを生成する奥行き推定データ生成部とを備えていることを特徴とする。

また、本発明に係る擬似立体画像生成プログラムは、画像に座標を設定して第１座標情報として生成する座標情報生成ステップと、前記画像を構成する各画素の画素値を所定の閾値と比較して、前記閾値より大きい画素からなる領域を有効画像部とし、前記有効画像部を示す第２座標情報を検出する有効画像検出ステップと、前記第２座標情報に基づいて、前記有効画像部の所定領域の座標を示すエリア信号を生成するエリア信号生成ステップと、前記有効画像部の第２座標情報に基づいて前記第１座標情報を補正して補正情報を生成する座標補正ステップと、基本となる複数のシーン構造に対応した奥行き値を示す複数の基本奥行きモデルを、前記補正情報に基づいて算出する基本奥行きモデル算出ステップと、前記エリア信号で指定された前記有効画像部の所定領域における輝度信号の高域成分を評価する高域成分評価ステップと、前記高域成分評価ステップによる評価に基づいて前記基本奥行きモデルの合成比率を決定し、前記合成比率によって前記複数の基本奥行きモデルを合成して合成基本奥行きモデルを生成する合成ステップと、前記合成基本奥行きモデルから前記画像の奥行き情報を示す奥行き推定データを生成する奥行き推定データ生成ステップとをコンピュータに実現させることを特徴とする。

さらに、本発明に係る擬似立体画像表示装置は、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から擬似立体画像を生成して表示する擬似立体画像表示装置であって、前記奥行き推定データを生成する請求項１に記載の擬似立体画像生成装置と、前記奥行き推定データと前記非立体画像とを用いて、前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって擬似立体画像を表示するための別視点画像を生成するステレオペア生成装置と、前記別視点画像と前記非立体画像とを用いて擬似立体画像を表示するステレオ表示装置とを備えていることを特徴とする。

本発明に係る擬似立体画像生成装置及び擬似立体画像生成プログラムによれば、非立体画像のうち有効画像部を検出し、この有効画像部に対して奥行き推定データを生成するので、非立体画像が無画部を含んだ画像であっても、違和感がなくて現実に近い奥行き感を有する擬似立体画像を生成することができる。

また、本発明に係る擬似立体画像表示装置によれば、有効画像部に対して生成された奥行き推定データを用いて擬似立体画像を生成するので、非立体画像が無画部を含んだ画像であっても、違和感がなくて現実に近い奥行き感を有する擬似立体画像を表示することができる。

本発明を適用した一実施形態に係る擬似立体画像生成装置の構成を示すブロック図である。本発明を適用した一実施形態に係る擬似立体画像生成装置の座標情報生成部の構成を示すブロック図である。基本奥行きモデルの座標系を説明するための図である。本発明を適用した一実施形態に係る擬似立体画像生成装置の合成部の構成を示すブロック図である。本発明を適用した一実施形態に係る擬似立体画像生成装置による奥行き推定データの生成処理の処理手順を示すフローチャートである。本発明を適用した一実施形態に係る擬似立体画像生成装置による有効画像部の検出処理の処理手順を示すフローチャートである。座標補正部による補正情報の計算方法を説明するための図である。座標補正部によって補正された座標を説明するための図である。座標補正部によって補正された座標を説明するための図である。座標補正部によって補正された座標を説明するための図である。座標補正部によって補正された座標を説明するための図である。基本奥行きモデルタイプ１の立体構造を示す図である。基本奥行きモデルタイプ２の立体構造を示す図である。基本奥行きモデルタイプ３の立体構造を示す図である。本発明を適用した一実施形態に係るステレオペア生成装置によるステレオペアの生成処理の処理手順を示すフローチャートである。本発明を適用した一実施形態に係る擬似立体画像表示装置の構成を示すブロック図である。レターボックスの画像の一例を示す図である。サイドパネルの画像の一例を示す図である。ウィンドウの画像の一例を示す図である。従来の擬似立体画像生成装置による処理を説明するための図である。従来の擬似立体画像生成装置による処理を説明するための図である。ウィンドウの画像の一例を示す図である。

以下、本発明を適用した一実施形態について図面を参照して説明する。

［擬似立体画像生成装置の構成］
図１は本実施形態に係る擬似立体画像生成装置の構成を示すブロック図である。

図１に示すように、本実施形態に係る擬似立体画像生成装置は、擬似立体化を行う非立体画像が入力される画像入力部１と、非立体画像に座標を設定して座標情報（第１座標情報）を生成する座標情報生成部２と、非立体画像を構成する各画素の画素値を所定の閾値と比較して閾値より大きい画素からなる領域を有効画像部として検出する有効画像検出部３と、有効画像部の座標に基づいて座標情報を補正して補正情報を生成する座標補正部４と、画像入力部１から入力された非立体画像のうち有効画像部の上部約２０％の高域成分評価値（上部の高域成分評価値）を計算によって求める上部の高域成分評価部５と、画像入力部１から入力された非立体画像のうち有効画像部の下部約２０％の高域成分評価値（下部の高域成分評価値）を計算によって求める下部の高域成分評価部６と、基本奥行きモデルタイプ１〜タイプ３を記憶して座標補正部４で生成された補正情報に基づいて有効画像部の基本奥行きモデルを算出する第１基本奥行きモデル算出部７、第２基本奥行きモデル算出部８、第３基本奥行きモデル算出部９と、上部及び下部の高域成分評価値に応じて決定される合成比率によって３種類の基本奥行きモデルを合成して合成基本奥行きモデルを生成する合成部１０と、合成基本奥行きモデルに非立体画像の赤色信号（Ｒ信号）を重畳して奥行き推定データを算出する加算器（奥行き推定データ生成部）１１とを備えている。

ここで、座標情報生成部２は、非立体画像に座標を設定して座標情報として生成しており、図２は座標情報生成部２の構成を示すブロック図である。図２に示すように、座標情報生成部２は、水平カウンタ２１と、垂直カウンタ２２と、差分器２３、２４とを備えている。

水平カウンタ２１は、入力された水平同期信号ｓ１を基準にして水平同期信号に対する入力画像の開始位置ｐ１でリセットされ、入力画像の水平サイズｗまで１画素毎に１インクリメントされる。

垂直カウンタ２２は、入力された水平同期信号ｓ１と入力された垂直同期信号ｓ２とを基準にして垂直同期信号に対する入力画像の開始位置ｐ２でリセットされ、入力画像の垂直サイズｈまで１ラインごとに１インクリメントされる。入力画像の水平サイズｗ及び垂直サイズｈは外部より入力される。

したがって、水平カウンタ２１のカウント値は、差分器２３で水平サイズｗの１／２の値であるｗ／２との差分を取ることによって、非立体画像の中心を（０、０）とした水平座標ｘとして出力される。一方、垂直カウンタ２２のカウント値は、差分器２４で垂直サイズｈの１／２の値であるｈ／２との差分を取ることによって、非立体画像の中心を（０、０）とした垂直座標ｙとして出力される。このようにして座標情報生成部２は、非立体画像の中心を基準にした座標（ｘ、ｙ）を各画素に設定し、これらの座標ｘ、ｙと水平サイズｗと垂直サイズｈを座標情報として生成している。

有効画像検出部３は、非立体画像を構成する各画素の画素値を所定の閾値と比較して閾値より大きい画素からなる領域を有効画像部として検出し、座標情報生成部２で生成された座標情報に基づいて有効画像部の座標（第２座標情報）を座標補正部４へ出力している。また、有効画像部の所定領域、例えば上部２０％の領域を示す上部エリア信号を生成して上部の高域成分評価部５に出力し、下部２０％の領域を示す下部エリア信号を生成して下部の高域成分評価部６に出力している。

座標補正部４は、座標情報生成部２から出力された座標情報を、有効画像検出部３より供給された有効画像部の座標に基づいて補正して新たな座標ｘ’、ｙ’と水平サイズｗ’と垂直サイズｈ’を補正情報として生成している。

第１〜第３基本奥行きモデル算出部７〜９は、基本奥行きモデルタイプ１〜タイプ３をそれぞれ格納しており、この基本奥行きモデルに座標補正部４で生成された補正情報を用いて新たな基本奥行きモデルを算出している。

具体的に説明すると、基本奥行きモデルは、非立体画像に対して図３に示す３次元座標系を設定し、以下の４つの式を画面の上半分と下半分とで切り替えることによって生成されている。

ｚ１＝（ｒ^２−ｘ^２−ｙ^２）^０．５−｛ｒ^２−（ｗ／２）^２−（ｈ／２）^２｝^０．５（１）
ｚ２＝（ｒ^２−ｘ^２）^０．５−｛ｒ^２−（ｗ／２）^２−（ｈ／２）^２｝^０．５（２）
ｚ３＝（ｒ^２−ｙ^２）^０．５−｛ｒ^２−（ｗ／２）^２−（ｈ／２）^２｝^０．５（３）
ｚ４＝ｒ−｛ｒ^２−（ｗ／２）^２−（ｈ／２）^２｝^０．５（４）
尚、奥行き値Ｚは球を示す次式
ｘ^２＋ｙ^２＋ｚ^２＝ｒ^２
におけるｚの値のことであり、ｘｙ平面に画像を置いてｚ軸方向を奥行きと設定したときの値である。

基本奥行きモデルタイプ１は（１）式を用いて各画素の奥行き値Ｚを求めており、基本奥行きモデルタイプ２では画面上部は（２）式を用い、画面下部では（１）式を用いて各画素の奥行き値Ｚを求めている。また、基本奥行きモデルタイプ３では画面上部は（４）式を用い、画面下部では（３）式を用いて各画素の奥行き値Ｚを求めている。ここで求められた奥行き値Ｚは２５５−２Ｚで正規化され、０〜２５５の８ビットの奥行きデータとして生成されている。

ここで、第１基本奥行きモデル算出部７は、補正情報として生成された座標ｘ’、ｙ’、水平サイズｗ’、垂直サイズｈ’を（１）式に代入して新たな基本奥行きモデルタイプ１を算出する。同様に、第２基本奥行きモデル算出部８は、（１）式と（２）式に座標ｘ’、ｙ’、水平サイズｗ’、垂直サイズｈ’を代入して新たな基本奥行きモデルタイプ２を算出し、第３基本奥行きモデル算出部９は、（３）式と（４）式に座標ｘ’、ｙ’、水平サイズｗ’、垂直サイズｈ’を代入することによって新たな基本奥行きモデルタイプ３を算出している。

合成部１０は、上部及び下部の高域成分評価値に応じて合成比率を決定し、この合成比率に応じて３種類の基本奥行きモデルを合成して合成基本奥行きモデルを生成している。ここで合成部１０の構成を、図４を参照して説明する。

図４に示すように、合成部１０は、下部の高域成分評価値及び上部の高域成分評価値の各値をもとに各モデルの合成比率ｋ１，ｋ２，ｋ３（ただし、ｋ１＋ｋ２＋ｋ３＝１）を決定する合成比率決定部４０と、これらの合成比率ｋ１，ｋ２，ｋ３と、基本奥行きモデルタイプ１〜タイプ３とを別々に乗算して合成比率ｋ１，ｋ２，ｋ３による各モデルの線形和を出力する３つの乗算器４１、４２、４３と、これらの乗算器４１、４２、４３の各乗算結果を加算する加算器４４とを備えている。

［奥行き推定データの生成処理の手順］
次に、本実施形態に係る擬似立体画像生成装置による奥行き推定データの生成処理の手順を図５のフローチャートを参照して説明する。

図５に示すように、ステップＳ１０１において、画像入力部１に擬似立体化が行われる非立体画像が入力される。この非立体画像は、通常の静止画若しくは動画であり、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない画像で、８ビットで量子化されている画像データである。また、この入力画像の画像サイズは、例えば水平７２０画素、垂直４８６画素である。

次に、ステップＳ１０２に移行すると、上述した座標情報生成部２によって非立体画像の中心を基準にした座標を設定し、この座標ｘ、ｙと水平サイズｗ、垂直サイズｈを座標情報として生成する。そして、ステップＳ１０３では座標情報生成部２が生成した座標情報を基に有効画像検出部３によって非立体画像の有効画像部が検出される。

ここで、有効画像検出部３による有効画像部の検出処理の詳細手順を図６のフローチャートを参照して説明する。

図６に示すように、ステップＳ２０１では非立体画像の１画素毎に画素値と所定の閾値とを比較して２値化していく。例えば、所定の閾値として黒を示す画素値を閾値に設定して１画素毎に比較していき、画素が黒の場合には「１」、黒以外の場合には「０」として２値化していく。これにより画像が表示されていない無画部のうち非立体画像の左右の領域に存在している無画部を認識することができる。

次に、ステップＳ２０２では１ライン毎に２値化した「１」の値が最初に「０」に立ち下がるエッジの座標ｘを有効画像部の水平開始座標ｈａｃｔｓ（ｙ）とし、１ラインで最後に「０」となった座標ｘを水平終了座標ｈａｃｔｅ（ｙ）と設定する。例えば、画面の左右に無画部がある図１８のサイドパネルの場合には、ステップＳ２０１の処理によって画面の左端で「１」が連続し、中央付近では「０」になって右端ではまた「１」となる。したがって、「１」から「０」に立ち下がった座標ｘを水平開始座標ｈａｃｔｓ（ｙ）とすることによって有効画像部の左端の座標を設定することができる。また、最後に「０」となった座標ｘを水平終了座標ｈａｃｔｅ（ｙ）とすることによって有効画像部の右端の座標を設定することができる。

こうして水平開始座標ｈａｃｔｓ（ｙ）と水平終了座標ｈａｃｔｅ（ｙ）が設定されると、ステップＳ２０３では、ステップＳ２０２で判定した１ライン（ｙ行目）についての水平開始座標と水平終了座標が正しいか１画面分判定する。すなわち、ｙ−１行目までの水平開始座標の最小値をｈｓｐ（ｙ−１）と設定してｙ行目の水平開始座標ｈａｃｔｓ（ｙ）と比較し、小さいほうの値を水平開始座標の最小値ｈｓｐ（ｙ）とする。すべてのラインについてこの処理を行って最終的な最小値ｈｓｐ（ｙ）の値を有効画像部の水平開始座標ｈｓｐとする。同様に、ｙ−１行目までの水平座標の最大値をｈｅｐ（ｙ−１）と設定してｙ行目の水平終了座標ｈａｃｔｅ（ｙ）と比較し、大きいほうの値をｈｅｐ（ｙ）とする。すべてのラインについてこの処理を行って最終的なｈｅｐ（ｙ）の値を有効画像領域の水平終了座標ｈｅｐとする。これにより有効画像部の左端と右端の座標を設定することができる。

なお、検出した水平開始座標ｈａｃｔｓ（ｙ）と水平終了座標ｈａｃｔｅ（ｙ）とは１ライン毎にリセットされ、１ラインのカウント開始時は水平開始座標ｈａｃｔｓ（ｙ）と水平終了座標ｈａｃｔｅ（ｙ）とがｈａｃｔｓ（ｙ）＞ｈａｃｔｅ（ｙ）の関係を満たす値が設定される。カウントが開始し、上述したように水平開始座標ｈａｃｔｓ（ｙ）が検出されると、開始時に設定された値は検出された値に書き換えられる。従って、有効画像部が存在する場合は、座標が検出されるためｈａｃｔｓ（ｙ）＜ｈａｃｔｅ（ｙ）の関係を満たす値に書き換えられ、有効画像部が存在しない場合には、設定されたｈａｃｔｓ（ｙ）＞ｈａｃｔｅ（ｙ）が保持される。

ステップＳ２０４では非立体画像の上下にある無画部と有効画像部との識別を行うために、上述したｈａｃｔｓ（ｙ）とｈａｃｔｅ（ｙ）とを比較してｈａｃｔｓ（ｙ）が大きい場合を「１」、小さい場合を「０」として２値化する。したがって、ｈａｃｔｓ（ｙ）＞ｈａｃｔｅ（ｙ）で２値化することによって、画面の上下にある無画部では「１」となり、有効画像部では「０」となって無画部を検出することができる。

次に、ステップＳ２０５ではステップＳ２０４で２値化した「１」の値が最初に「０」に立ち下がるエッジの座標ｙを有効画像部の垂直開始座標ｖｓｐとし、最後に「０」となった座標ｙを垂直終了座標ｖｅｐと設定する。例えば、画面の上下に無画部がある図１７のレターボックスの場合には、ステップＳ２０４の処理によって画面の上端で「１」が連続し、中央付近では「０」になって下端ではまた「１」となる。したがって、「１」から「０」に立ち下がった座標ｙを垂直開始座標ｖｓｐとすることによって有効画像部の上端の座標を設定することができる。また、最後に「０」となった座標ｙを垂直終了座標ｖｅｐとすることによって有効画像部の下端の座標を設定することができる。

こうしてすべてのラインについて上述した処理が終了して１画面分の判定が終わると、ステップＳ２０６において、ステップＳ２０３、Ｓ２０５で得られた値を有効画像部の水平開始座標ｈｓｐ、水平終了座標ｈｅｐ、垂直開始座標ｖｓｐ、垂直終了座標ｖｅｐとして確定し、ステップＳ２０７で座標補正部４へ出力する。またステップＳ２０８にて有効画像部の上部２０％となる領域を示す上部エリア信号を生成する。具体的に有効画像部の上部２０％となる領域の上部エリア信号は、
画面上部２０％の領域の水平開始位置＝ｈｓｐ
画面上部２０％の領域の水平終了位置＝ｈｅｐ
画面上部２０％の領域の垂直開始位置＝ｖｓｐ
画面上部２０％の領域の垂直終了位置＝ｖｓｐ＋（ｖｅｐ−ｖｓｐ）×０．２
となる。この上部エリア信号はステップＳ２０９において上部の高域成分評価部５へ出力される。

また、ステップＳ２１０では有効画像部の下部２０％となる領域を示す下部エリア信号が生成され、下部エリア信号は、
画面下部２０％の領域の水平開始位置＝ｈｓｐ
画面下部２０％の領域の水平終了位置＝ｈｅｐ
画面下部２０％の領域の垂直開始位置＝ｖｓｐ＋（ｖｅｐ−ｖｓｐ）×０．８
画面下部２０％の領域の垂直終了位置＝ｖｅｐ
となる。この下部エリア信号はステップＳ２１１において下部の高域成分評価部６へ出力される。こうしてエリア信号と有効画像部の座標（第２座標情報）が出力されると、図６に示した有効画像検出部３による有効画像部の検出処理（図５のステップＳ１０３）は終了する。

本実施形態の有効画像検出部３は、水平カウンタ２１のカウントを基に有効画像部の座標（ｈｓｐ、ｈｅｐ、ｖｓｐ、ｖｅｐ）を検出したが、水平カウンタ２１及び垂直カウンタ２２のカウントを基に検出してもよい。また、周知の黒帯検出方法を用いて、有効画像部の座標を検出してもよい。

次に、図５のフローチャートに戻って、ステップＳ１０４では座標補正部４は、座標情報生成部２から出力された座標情報を、有効画像部の座標（ｈｓｐ、ｈｅｐ、ｖｓｐ、ｖｅｐ）に基づいて補正して、入力された画像の新たな座標ｘ’、ｙ’と有効画像部の水平サイズｗ’と垂直サイズｈ’を補正情報として生成する。

補正情報の計算方法は、図７に示すように水平開始座標をｈｓｐ、水平終了座標をｈｅｐ、垂直開始座標をｖｓｐ、垂直終了座標をｖｅｐとすると、
ｘ’＝ｘ−（ｈｅｐ−ｈｓｐ）／２＋ｈｓｐ
ｙ’＝ｙ−（ｖｅｐ−ｖｓｐ）／２＋ｖｓｐ
ｗ’＝ｈｅｐ−ｈｓｐ
ｈ’＝ｖｅｐ−ｖｓｐ
となる。ここで、図８に非立体画像が有効画像部の上下に無画部が存在するレターボックス形式の場合の座標ｘ’、ｙ’を示す。同様に図９に有効画像部の左右に無画部が存在するサイドパネル形式の場合の座標ｘ’、ｙ’を示す。図１０に、有効画像部の左右方向かつ、上下方向にそれぞれ対称な大きさで無画部が存在するウィンドウＡの場合の座標ｘ’、ｙ’を示し、図１１に有効画像部の上下左右方向に対してそれぞれ無画部が存在するウィンドウＢの場合の座標ｘ’、ｙ’を示す。この時の有効画像部の水平開始座標ｈｓｐ、水平終了座標ｈｅｐ、垂直開始座標ｖｓｐ、垂直終了座標ｖｅｐの一例を表１に示す。表１において無画部無しとは、有効画像検出部３によって無画部が存在しないと判定された非立体画像の座標ｘ’、ｙ’である。

このようにして補正情報が生成されると、次にステップＳ１０５において基本奥行きモデルを補正する。基本奥行きモデルの補正は、上述した基本奥行きモデルを示す式（１）〜（４）に、補正情報の座標ｘ’、ｙ’、水平サイズｗ’、垂直サイズｈ’を代入して新たな基本奥行きモデルタイプ１〜タイプ３を算出することによって行われる。

次に、ステップＳ１０６では上部の高域成分評価部５が上部の高域成分の評価を行う。画像入力部１に入力された非立体画像の画像データは上部の高域成分評価部５に供給され、ここで上部エリア信号に基づいて非立体画像のうち有効画像部の上部約２０％が水平８画素、垂直８画素のブロックに分割され、各ブロック内の点（ｉ，ｊ）における輝度信号をＹ（ｉ，ｊ）としたとき、各ブロックについて次式

による計算が行われ、この計算結果の画像上部約２０％のブロックについての平均が高域成分評価値（上部の高域成分評価値）として出力される。

次に、ステップＳ１０７において、上部の高域成分評価と並行して、画像入力部１に入力された非立体画像の画像データは、下部の高域成分評価部６にも供給される。ここで下部エリア信号に基づいて非立体画像のうち有効画像部の下部約２０％が水平８画素、垂直８画素のブロックに分割され、各ブロック内の点（ｉ，ｊ）における輝度信号をＹ（ｉ，ｊ）としたとき、各ブロックについて上記と同じ式による計算が行われ、この計算結果の画像下部約２０％のブロックについての平均が高域成分評価値（下部の高域成分評価値）として出力される。

こうして上部及び下部の高域成分評価値が算定されると、合成部１０はステップＳ１０８において基本奥行きモデルタイプ１〜タイプ３の合成比率ｋ１、ｋ２、ｋ３を決定する。この合成比率の決定方法としては、図１２に示す球状の凹面を有する基本奥行きモデルタイプ１の使用を基本にしているが、例えば高域成分の算定値が画面上部で少ない場合には、画面上部に空若しくは平坦な壁が存在するシーンと認識して、図１３に示す画面上部の奥行きを深くした基本奥行きモデルタイプ２の比率ｋ２を増加させる。また、高域成分の算定値が画面下部で少ない場合には、画面下部に平坦な地面若しくは水面が手前に連続的に広がるシーンと認識して、図１４に示す画面上部を遠景として平面近似し、下部については下に行くほど奥行きの小さくなる基本奥行きモデルタイプ３の比率ｋ３を増加させるようにする。具体的な合成比率の決定方法については、特許文献１に開示されており、同様の方法を用いて合成比率を決定することができる。

次に、合成比率ｋ１、ｋ２、ｋ３が決定されると、ステップＳ１０９において基本奥行きモデルタイプ１〜タイプ３を合成部１０で合成して合成基本奥行きモデルを生成する。生成された合成基本奥行きモデルは、ステップＳ１１０において、加算器１１で非立体画像の三原色信号（ＲＧＢ信号）のうちの赤色信号（Ｒ信号）と重畳され、最終的な奥行き推定データが出力される。ここでは画像入力部１が供給した映像信号に基づいて出力した原画のＲ信号の１／１０を重畳している。加算器１１は奥行き推定データを生成する奥行き推定データ生成部である。

Ｒ信号を使用する理由の一つは、順光に近い環境で、尚且つテクスチャの明度が大きく異ならないような条件において、Ｒ信号の大きさが被写体の凹凸と一致する確率が高いという経験則によるものである。更にもう一つの理由としては、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能になるためである。

このようにして奥行き推定データが出力されると、本実施形態に係る擬似立体画像生成装置による奥行き推定データの生成処理は終了する。

［ステレオペア生成装置］
上述したように擬似立体画像生成装置によって奥行き推定データが生成されると、奥行き推定データに基づいて別視点の画像を生成することが可能になる。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側）に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。これを左目画像、原画を右目画像とすることによってステレオペアを構成することができる。

ステレオペアの生成装置の構成を図１５のブロック図を参照して説明する。ここでは、入力画像信号に対応する奥行き推定データを８ビットの輝度値Ｙｄで表すものとする。テクスチャシフト部５３では、この輝度値Ｙｄについて小さい値、すなわち奥に位置するものから順に、その値に対応する部分の入力画像のテクスチャを（Ｙｄ−ｍ）／ｎ画素右にシフトする。ここで、ｍは画面上の奥行きに表示する奥行きデータであり、これより大きなＹｄに関しては画面より手前に、小さなＹｄに関しては奥に表示される。また、ｎは奥行き感を調整するパラメータであり、これらのパラメータの具体例として、ｍ＝２００、ｎ＝２０などが挙げられる。

シフトを行うことによる画像中の位置関係の変化によりテクスチャの存在しない部分、すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部５４において、入力画像の対応部分で充填する、若しくは公知の文献（山田邦男、望月研二、相澤清晴、齋藤隆弘：”領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”、映像情報学会誌、Ｖｏｌ．５６，Ｎｏ．５，ｐｐ．８６３〜８６６（２００２．５））に記載の手法で充填する。

オクルージョン補償部５４でオクルージョン補償された画像は、ポスト処理部５５において平滑化などの公知のポスト処理が施されることにより、それ以前の処理において発生したノイズなどが軽減されることによって左目画像として生成され、その一方で入力画像を右目画像とすることによりステレオペアが構成される。これら右目画像と左目画像は、それぞれ右目画像信号生成部５６と左目画像信号生成部５７により出力される。

なお、上記について左右反転することによって、左目画像が原画、右目画像が生成された別視点画像となるステレオペアを構成することができる。

なお、上記プロセスにおいて、右目画像を入力画像、他方を生成された別視点画像とするようなステレオペアを構成しているが、左目画像を入力画像、右目画像を生成された別視点画像としてもよく、更には左右どちらについても別視点画像を用いる、すなわち、右に視点移動した別視点画像と左に視点移動した別視点画像を用いてステレオペアを構成することも可能である。更に、２視点以上の表示が可能な表示装置で表示する場合には、その視点数に応じた数の別視点画像を生成することも可能である。

上記の奥行き推定及びステレオペア生成法を組み合わせることにより、図１６に示す２次元画像の立体視を可能にした擬似立体画像表示装置を構成することができる。図１６において、図１及び図１５と同一の構成部分については同一符号を付し、その説明を省略する。

図１６に示す擬似立体画像表示装置は、擬似立体画像生成装置１００で生成された擬似立体画像である奥行き推定データと、画像入力部１に入力された非立体画像とを図１５に示した構成のステレオペア生成装置２００のテクスチャシフト部５３に供給し、これによりステレオペア生成装置２００で生成されたステレオペア画像（右目画像及び左目画像）をステレオ表示装置３００に供給する構成である。

ここで、上記のステレオ表示装置３００とは、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクタシステムを含む。また、上記のように２視点以上の表示が可能な表示装置を用いた多視点立体映像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない映像コンテンツについては、映像にふさわしい環境音を付加するような態様のものが考えられる。

なお、本発明は、ハードウェアにより図１の構成の擬似立体画像生成装置を構成する場合に限定されるものではなく、図５の手順を実行するコンピュータプログラムによるソフトウェアによって擬似立体画像の生成を行うこともできる。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。

［実施形態の効果］
以上詳細に説明したように、本発明を適用した一実施形態に係る擬似立体画像生成装置及び擬似立体画像生成プログラムによれば、非立体画像のうち無画部を含んでいない有効画像部を検出し、この有効画像部に対して奥行き推定データを生成するので、非立体画像が無画部を含んだ画像であっても違和感がなくて現実に近い奥行き感を有する擬似立体画像を生成することができる。

また、本発明を適用した一実施形態に係る擬似立体画像表示装置によれば、有効画像部に対して生成された奥行き推定データを用いて擬似立体画像を生成するので、非立体画像が無画部を含んだ画像であっても違和感がなくて現実に近い奥行き感を有する擬似立体画像を表示することができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施の形態に限定されることはなく、この実施の形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。

１画像入力部
２座標情報生成部
３有効画像検出部
４座標補正部
５上部の高域成分評価部
６下部の高域成分評価部
７第１基本奥行きモデル算出部
８第２基本奥行きモデル算出部
９第３基本奥行きモデル算出部
１０合成部
１１加算器（奥行き推定データ生成部）
５３テクスチャシフト部
５４オクルージョン補償部
５５ポスト処理部
１００擬似立体画像生成装置
２００ステレオペア生成装置
３００ステレオ表示装置

Claims

画像に座標を設定して第１座標情報として生成する座標情報生成部と、
前記画像を構成する各画素の画素値を所定の閾値と比較して、前記閾値より大きい画素からなる領域を有効画像部とし、前記有効画像部を示す第２座標情報を検出する有効画像検出部と、
前記第２座標情報に基づいて、前記有効画像部の所定領域の座標を示すエリア信号を生成するエリア信号生成部と、
前記有効画像部の第２座標情報に基づいて前記第１座標情報を補正して補正情報を生成する座標補正部と、
基本となる複数のシーン構造に対応した奥行き値を示す複数の基本奥行きモデルを、前記補正情報に基づいて算出する基本奥行きモデル算出部と、
前記エリア信号で指定された前記有効画像部の所定領域における輝度信号の高域成分を評価する高域成分評価部と、
前記高域成分評価部による評価に基づいて前記基本奥行きモデルの合成比率を決定し、前記合成比率によって前記複数の基本奥行きモデルを合成して合成基本奥行きモデルを生成する合成部と、
前記合成基本奥行きモデルから前記画像の奥行き情報を示す奥行き推定データを生成する奥行き推定データ生成部と
を備えていることを特徴とする擬似立体画像生成装置。
画像に座標を設定して第１座標情報として生成する座標情報生成ステップと、
前記画像を構成する各画素の画素値を所定の閾値と比較して、前記閾値より大きい画素からなる領域を有効画像部とし、前記有効画像部を示す第２座標情報を検出する有効画像検出ステップと、
前記第２座標情報に基づいて、前記有効画像部の所定領域の座標を示すエリア信号を生成するエリア信号生成ステップと、
前記有効画像部の第２座標情報に基づいて前記第１座標情報を補正して補正情報を生成する座標補正ステップと、
基本となる複数のシーン構造に対応した奥行き値を示す複数の基本奥行きモデルを、前記補正情報に基づいて算出する基本奥行きモデル算出ステップと、
前記エリア信号で指定された前記有効画像部の所定領域における輝度信号の高域成分を評価する高域成分評価ステップと、
前記高域成分評価ステップによる評価に基づいて前記基本奥行きモデルの合成比率を決定し、前記合成比率によって前記複数の基本奥行きモデルを合成して合成基本奥行きモデルを生成する合成ステップと、
前記合成基本奥行きモデルから前記画像の奥行き情報を示す奥行き推定データを生成する奥行き推定データ生成ステップと
をコンピュータに実現させることを特徴とする擬似立体画像生成プログラム。
奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から擬似立体画像を生成して表示する擬似立体画像表示装置であって、
前記奥行き推定データを生成する請求項１に記載の擬似立体画像生成装置と、
前記奥行き推定データと前記非立体画像とを用いて、前記非立体画像のテクスチャのシフトを対応部分の奥行きに応じた量だけ行うことによって擬似立体画像を表示するための別視点画像を生成するステレオペア生成装置と、
前記別視点画像と前記非立体画像とを用いて擬似立体画像を表示するステレオ表示装置と
を備えていることを特徴とする擬似立体画像表示装置。