JPH10271535A - 画像変換方法及び画像変換装置 - Google Patents

Abstract

(57)【要約】 【課題】立体画像情報を生成するためには、画像を撮影
する装置が複雑であり、また、大型であるため、立体画
像情報を生成する手間が非常にかかり、また、絵や写真
等の画である場合、その２次元画像から立体画像情報を
生成することはできない。 【解決手段】元画像の画像情報に基づいて立体画像情報
を生成する画像変換装置において、元画像に基づいて元
画像のアングルに対して水平方向に移動したアングルの
立体視画像を生成する立体視画像情報生成手段と、立体
視画像情報生成手段で生成された立体視画像と元画像と
を合成して立体画像情報を生成する立体画像情報生成手
段とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、立体画像情報を生
成する画像変換方法及び画像変換装置に関する。

【０００２】

【従来の技術】近年、２次元の平面に画像を出力するモ
ニタ等において擬似的な立体画像を得る方法が様々提案
されている。その中で、人間の目に対応した２つのカメ
ラを用いて立体画像情報を生成し、ユーザが立体視用メ
ガネを用いることにより、立体的な画像を得ることがで
きる立体画像システム等がある。

【０００３】人間の目は、左右２つ網膜を持ち、それぞ
れの網膜で得られる画像は２次元画像である。人間の視
知覚は、両網膜像の視差（左右の網膜像のずれ）から奥
行きの情報を得て、３次元画像（立体画像）を再構築し
ている。

【０００４】前述した立体画像システムは、人間の目に
対応して、２つのカメラを用いて被写体を撮影し、撮影
された２つの画像情報から１つの立体画像情報を生成
し、ユーザは、立体視用メガネ等を用いてテレビやモニ
タ等に表示される立体画像情報を見ることにより、擬似
的な立体画像を得ることができるシステムである。

【０００５】

【発明が解決しようとする課題】しかし、従来の立体画
像システムにおいて、立体画像情報を生成するために
は、被写体を２つのカメラを用いて撮影し、２つの２次
元画像情報から１つの立体画像情報を生成しなければな
らず、画像を撮影する装置が複雑であり、また、大型で
あるため、立体画像情報を生成する手間が非常にかかる
という欠点がある。

【０００６】また、従来の立体画像システムにおいて
は、被写体を撮影した２つの２次元画像情報から立体画
像情報を生成しているが、被写体が２次元のものである
場合、すなわち、絵や写真等である場合、その２次元画
像から立体画像情報を生成することはできない。

【０００７】したがって本発明は、以上の課題を解決す
るためになされたものであり、２次元画像情報から立体
画像情報を生成することができる画像変換方法及び画像
変換装置を提供することを目的としている。

【０００８】

【課題を解決するための手段】そのため請求項１記載の
本発明は、元画像の画像情報に基づいて立体画像情報を
生成する画像変換方法において、元画像に基づいて、元
画像のアングルに対して水平方向に移動したアングルの
立体視画像を生成する立体視画像情報生成処理と、立体
視画像情報生成手段で生成された立体視画像と元画像と
を合成して立体画像情報を生成する立体画像情報生成処
理とを具備することを特徴としている。

【０００９】また、請求項２記載の本発明は、元画像の
画像情報に基づいて立体画像情報を生成する画像変換装
置において、元画像に基づいて、元画像のアングルに対
して水平方向に移動したアングルの立体視画像を生成す
る立体視画像情報生成手段と、立体視画像情報生成手段
で生成された立体視画像と元画像とを合成して立体画像
情報を生成する立体画像情報生成手段とを具備すること
を特徴としている。

【００１０】本発明によれば、元画像の画像情報から別
アングルの画像情報を生成して立体視画像情報とし、元
画像情報と立体視画像情報とを合成することにより、立
体画像情報を生成することができる。また、元画像の画
像情報の画像内においてアングルが移動した複数の画像
情報を生成すると共に、各画像情報に対して立体視画像
情報を生成し、複数の画像情報と立体視画像情報とをそ
れぞれ合成して立体画像情報を生成することができる。
したがって、例えば、絵や写真等の２次元画像情報か
ら、立体視用デバイスを用いて立体的に見える静止画像
または動画像の立体画像情報を生成することができる。

【００１１】

【発明の実施の形態】図１は、本発明の画像変換装置の
一実施例の概略構成を示す模式図である。図１におい
て、画像変換装置１０１は、立体視画像情報生成手段１
０２と、立体画像情報生成手段１０３とを備えている。
画像変換装置１０１には、元の２次元画像情報を取得す
る画像取得部１０４が接続され、また、生成された立体
画像情報を出力する立体画像情報出力部１０５が接続さ
れている。

【００１２】画像情報変換装置１０１において、立体視
画像情報生成手段１０２は、元となる２次元画像情報
（元画像情報）に基づいて立体視用の２次元画像情報を
生成するものである。立体視画像情報とは、例えば、画
像取得部１０４からの２次元画像情報を人間の左目で得
た画像情報とした場合、人間の右目用の画像情報であ
る。そのために、元となる２次元画像情報に後述する画
像変換処理を施し、別のアングルから見た状態の立体視
画像情報を生成する。

【００１３】立体画像情報生成手段１０３は、立体視画
像情報と元画像情報とを合成し、立体画像情報を生成す
るものである。例えば、フィールド順次方式の立体視デ
バイス用の立体画像情報としては、走査線の奇数フィー
ルドに元画像情報を挿入し、偶数フィールドに立体視画
像情報を挿入して、１つの立体画像情報とする。

【００１４】つまり、走査線の奇数フィールドに左目用
の２次元画像情報を挿入し、偶数フィールドに右目用の
２次元画像情報を挿入して立体画像情報を生成し、その
立体画像情報をフィールド順次方式の立体視用デバイス
で見ると、人間の目がもつ残像や視差等により画像が立
体的に見える。フィールド順次方式の立体視用デバイス
は、画像を見ている左右の目を高速に交互に遮蔽するこ
とにより人間の残像と視差を利用して、２つの視点から
の画像を１つの画像に合成した画像を立体的に見えるよ
うにしたものである。

【００１５】また、画像取得部１０４は、２次元画像情
報を取得するものであり、２次元画像情報は、例えば、
スキャナ等を用いて得た写真等の静止画や、カメラ等を
用いて被写体を撮影した動画像である。

【００１６】立体画像情報出力部１０５は、立体画像情
報を信号に変換して出力したり、電波等に変換して出力
するものである。例えば、光ディスクやビデオテープ等
の記録媒体に立体画像情報を記録する場合、生成した立
体画像情報をそれぞれの記録媒体の記録方式に対応した
記録信号に変換して出力するものである。また、光や電
波等に変換して立体画像情報を送信する場合、それぞれ
の伝送系に対応した伝送信号に変換して出力するもので
ある。記録媒体から再生された立体画像情報、または、
受信された立体画像情報は、モニタ等に立体画像として
表示される。

【００１７】前述した各手段において、画像取得部１０
４が写真等の元画像情報（２次元画像情報）を取得する
と、元画像情報は、画像変換装置１０１の立体視画像情
報生成手段１０２と、立体画像情報生成手段１０３に入
力される。立体視画像情報生成手段１０２は、画像変換
処理により元画像を別のアングルから見た状態の立体視
画像情報を生成し、立体画像情報生成手段１０３に出力
する。立体画像情報生成手段１０３は、元画像情報と立
体視画像情報とを合成し、立体画像情報として立体画像
情報出力部１０５に出力する。立体画像情報出力手段１
０５は、立体画像情報を記録信号や伝送信号等に変換し
て出力する。

【００１８】そして、記録信号や伝送信号として出力さ
れた立体画像情報は、画像情報再生装置により、記録信
号や伝送信号からモニタ等に表示することが可能な画像
情報に変換され、立体画像としてモニタ等に表示され
る。ユーザが、モニタ等に表示された立体画像を立体視
用デバイスを用いて見ると、立体的な画像を見ることが
できる。

【００１９】以上のように、本発明の画像変換装置は、
２次元の元画像情報から、元画像情報を別のアングルか
ら見た立体視画像情報を生成し、元画像情報と立体視画
像情報とを合成して立体画像情報を生成することができ
るため、立体視用デバイスを用いて立体的に見える立体
画像情報を、２次元画像情報から生成することができ
る。すなわち、従来、立体画像情報を生成する場合に、
被写体を撮影していた複数のカメラ等を用いる必要がな
く、１つのカメラで撮影した画像情報から立体画像情報
を生成することができる。また、絵や写真等の２次元画
像情報から、立体画像情報を生成することができる。

【００２０】図１に示した画像変換装置１０１における
画像変換方法の処理について説明する。図２は、本実施
例の画像変換方法における画像変換処理を示すフローチ
ャートである。図３は、本実施例の画像変換方法におけ
る画像変換を説明する模式図である。図２において、画
像変換処理は、立体視画像情報を生成する立体視画像情
報生成処理２０１と、立体画像情報を生成する立体画像
情報生成処理２０２とを備えいる。立体視画像情報生成
処理２０１は、画像読込処理２０２、消失点矩形領域設
定処理２０３、３次元画像推定処理２０４、別アングル
設定処理２０５、変換画像生成処理２０６を備えてい
る。ここで、ユーザは、入力手段（図示せず）を用いて
各処理における諸設定を行うものとし、画像情報はモニ
タに表示されるものとする。または、ユーザが行う諸設
定を自動で行うようにしてもよい。

【００２１】画像読込処理２０２においては、図３
（ａ）に示す元画像Ａの情報が入力されると、データテ
ーブル（図示せず）を初期化した後、元画像Ａの画素や
色等の情報を、全てデータテーブルに格納する。ここ
で、データベースは、元画像及び立体視画像情報に関す
る情報を記憶するものであり、後述する各処理により求
められた各設定値を更新して記憶するものである。

【００２２】消失点矩形領域設定処理２０３において
は、元画像Ａの情報に基づいて元画像Ａ上の消失点ＶＰ
及び奥行きの行き止まりの矩形領域Ｒを設定する。基準
となる消失点ＶＰ及び矩形領域Ｒは、図３（ｂ）に示す
補助図形Ｄとして、図３（ｃ）に示すように、元画像Ａ
上に重畳され表示される。

【００２３】ここで、消失点ＶＰとは、図３（ｃ）に示
すように、２次元の元画像Ａにおいて透視画法に基づく
中心位置を決定するものである。消失点ＶＰは、補助画
像Ｄの上下左右の４辺をそれぞれ等分割した位置を結ぶ
線分の交差した位置とし、座標を（ＶＰ.h，ＶＰ.v）と
する。また、矩形領域Ｒは、図３（ｃ）に示すように、
２次元画像における奥行きの行き止まりを決定するもの
である。矩形領域Ｒは、矩形の左上の水平及び垂直座標
を（Ｒ.h，Ｒ.v）とし、水平方向及び垂直方向の長さを
（Ｒ.dh，Ｒ.dv）とする。矩形領域Ｒの頂点は、消失点
ＶＰから元画像Ａの各頂点を結ぶ線分上にある。

【００２４】ユーザは、入力手段（図示せず）を用い
て、図３（ｄ）に示すように、透視画法に基づいて消失
点ＶＰ及び矩形領域Ｒを元画像Ａに対応させて設定す
る。または、ユーザが行う諸設定を自動で行うようにし
てもよい。消失点ＶＰが設定されると、前記データテー
ブルの消失点ＶＰの座標（ＶＰ.h，ＶＰ.v）を、ユーザ
が設定した消失点ＶＰの座標に更新する。また、同様
に、矩形領域Ｒの座標（Ｒ.h，Ｒ.v）と水平方向及び垂
直方向の長さ（Ｒ.dh，Ｒ.dv）を、ユーザが設定した矩
形領域Ｒの座標に更新する。

【００２５】３次元画像推定処理２０４においては、消
失点矩形領域設定処理２０３で設定された消失点ＶＰ及
び矩形領域Ｒに基づいて、元画像Ａを３次元画像とした
場合の構造体の各座標を求める。図３（ｅ）に示すよう
に、矩形領域Ｒは、元画像Ａの奥行きの行き止まりを示
し、矩形領域Ｒの各頂点から元画像Ａの各頂点を結んだ
線分で区切られた各台形は、２次元の元画像Ａを３次元
として推定した場合の構造体Ｔｄの各要素Ｔｓ[u]を示
す。構造体Ｔｓ[u]は、３次元の形状におけるそれぞれ
の面を示し、左面はＴｓ[0]、底面はＴｓ[1]、右面はＴ
ｓ[2]、上面はＴｓ[3]、奥側の面（奥面）はＴｓ[4]と
する。また、２次元の座標を（h，v）とし、３次元の座
標を（x，y，z）とする。

【００２６】図４は、本実施例の画像変換方法における
３次元画像推定処理を示すフローチャートである。最初
にデータテーブルに格納されている元画像Ａのアングル
を初期アングル値Ｃｓとする。（ステップ１）

【００２７】初期アングル値Ｃｓと底面Ｔｓ[1]の２次
元座標から、底面Ｔｓ[1]の３次元座標（Ｔｓ[1].x，Ｔ
ｓ[1].y，Ｔｓ[1].z）を求める。ここで、底面Ｔｓ[1]
は、３次元座標系においてｙ＝０の平面上にある。（ス
テップ２）

【００２８】底面Ｔｓ[1]の３次元座標と上面Ｔｓ[3]の
２次元座標から、上面Ｔｓ[3]の３次元座標（Ｔｓ[3].
x，Ｔｓ[3].y，Ｔｓ[3].z）を求める。ここで、底面Ｔ
ｓ[1]と上面Ｔｓ[3]は平行である。（ステップ３）

【００２９】２次元座標系において、縦方向の距離ｈに
底面Ｔｓ[1]と上面Ｔｓ[3]との距離を代入する。（ステ
ップ４）

【００３０】距離ｈと右面Ｔｓ[2]の２次元座標から、
右面Ｔｓ[2]の３次元座標（Ｔｓ[2].x，Ｔｓ[2].y，Ｔ
ｓ[2].z）を求める。（ステップ５）

【００３１】距離ｈと左面Ｔｓ[0]の２次元座標から、
左面Ｔｓ[0]の３次元座標（Ｔｓ[0].x，Ｔｓ[0].y，Ｔ
ｓ[0].z）を求める。（ステップ６）

【００３２】左面Ｔｓ[0]、底面Ｔｓ[1]、右面Ｔｓ
[2]、上面Ｔｓ[3]の３次元座標から、奥面Ｔｓ[4]の３
次元座標を求める。（ステップ７）

【００３３】求められた構造体Ｔｓの左面Ｔｓ[0]、底
面Ｔｓ[1]、右面Ｔｓ[2]、上面Ｔｓ[3]、奥面Ｔｓ[4]の
各要素の３次元座標に基づいて、データテーブルに格納
されている構造体Ｔｄの各座標を更新する。（ステップ
８）

【００３４】別アングル設定処理２０５においては、元
画像Ａに基づいて求められた構造体の各要素の３次元座
標から、図３（ｆ）に示す元画像Ａを別アングルＣｄか
ら見た状態の視点及び注目点の３次元座標を求める。こ
こで、視点は見ている位置を示す点であり、注目点は視
点の位置から見ている点を示す点である。これらの視点
及び注目点により、元画像において見ている位置と見て
いる先の位置が決定し、３次元空間での見ている方向が
定まる。別アングルＣｄの画像を得るためには、視点が
水平方向に距離Ｓだけ移動した移動視点の３次元座標
と、注目点が水平方向に距離Ｓだけ移動した移動注目点
の３次元座標を求める。

【００３５】元画像Ａの視点の座標を（ＯＲＧ.Ex，Ｏ
ＲＧ.Ey，ＯＲＧ.Ez）、注目点の座標を（ＯＲＧ.Lx，
ＯＲＧ.Ly，ＯＲＧ.Lz）とする。元画像Ａを別アングル
Ｃｄで見た場合、つまり、視点及び注目点が元画像Ａの
水平方向に移動した場合、水平方向のベクトル成分（Ｓ
x，Ｓy，Ｓz）は、 x１＝ＯＲＧ.Ex−ＯＲＧ.Ex y１＝ＯＲＧ.Ly−ＯＲＧ.Ey z１＝ＯＲＧ.Lz−ＯＲＧ.Ez x２＝０ y２＝１ z２＝０ から、 Ｓx＝y１＊z２−z１＊y２ Ｓy＝z１＊x２−x１＊z２ Ｓz＝x１＊y２−y１＊x２ となる。

【００３６】ベクトルのスカラーｓｃｌは、 ｓｃｌ＝ｓｑｒｔ（Ｓx＊Ｓx＋Ｓy＊Ｓy＋Ｓz＊Ｓz） （ｓｑｒｔ：平方根）であり、各ベクトル成分は、 Ｓx＝Ｓx／ｓｃｌ Ｓy＝Ｓy／ｓｃｌ Ｓz＝Ｓz／ｓｃｌ となる。

【００３７】求められた水平方向のベクトル成分（Ｓ
x，Ｓy，Ｓz）に、移動距離Ｓを乗算すると、別アング
ルＣｄにおける視点の３次元座標（ＮＥＷ.Ex，ＮＥＷ.
Ey，ＮＥＷ.Ez）及び注目点の３次元座標（ＮＥＷ.Lx，
ＮＥＷ.Ly，ＮＥＷ.Lz）は、 ＮＥＷ.Ex＝Ｓ＊Ｓx ＮＥＷ.Ey＝Ｓ＊Ｓy ＮＥＷ.Ez＝Ｓ＊Ｓz ＮＥＷ.Lx＝Ｓ＊Ｓx ＮＥＷ.Ly＝Ｓ＊Ｓy ＮＥＷ.Lz＝Ｓ＊Ｓz となる。この３次元座標の値を、別アングルＣｄの視点
及び注目点として、データテーブルの値を更新する。

【００３８】変換画像生成処理２０６においては、図３
（ｇ）に示すように、消失点矩形領域設定処理２０３、
３次元画像推定処理２０４、別アングル設定処理２０５
で設定されデータテーブルに格納された各設定値に基づ
いて、変換画像を生成する。図５は、本実施例の画像変
換方法における変換画像生成処理を示すフローチャート
である。図５において、別アングルＣｄにおける視点及
び注目点、構造体Ｔｄの各要素Ｔｓ[u]における３次元
座標から、構造体Ｔｄの２次元座標（Ｔｄ.h，Ｔｄ.v）
を求める。（ステップ１）

【００３９】ある画素（hd，vd）が、構造体Ｔｄのどの
要素Ｔｓ[u]に属するかを検索し、ｕに代入する。（ス
テップ２）

【００４０】画素（hd，vd）、別アングルＣｄの視点及
び注目点、構造体Ｔｄの要素Ｔｓ[u]から、画素（hd，v
d）に対応する３次元座標（x，y，z）を求める。（ステ
ップ３）

【００４１】求めた３次元座標（x，y，ｚ）及び初期ア
ングル値Ｃｓから２次元座標（hs，vs）を求める。（ス
テップ４）

【００４２】元画像Ａの２次元座標（hs，vs）における
赤、緑、青の色情報（r，g，b）をデータテーブルから
得る。（ステップ５）

【００４３】座標（hs，vs）に色情報（r，g，b）の画
素を出力する。（ステップ６）

【００４４】全ての画素（hd，vd）について、以上の処
理を行う。（ステップ７）

【００４５】全ての画素に対しての処理が終了すると、
元画像Ａを別アングルから見た２次元画像情報、すなわ
ち立体視画像情報を生成することができる。

【００４６】次に、図２に示す立体画像情報生成処理２
０７について説明する。立体画像情報生成処理２０７に
おいては、元画像情報と前記した立体視画像情報とを合
成して１つの立体画像情報を生成して出力する。例え
ば、フィールド順次方式の立体視用デバイスに用いる立
体画像情報としては、元画像を奇数フィールドに挿入
し、立体視画像情報を偶数フィールドに挿入し、１つの
画像情報として生成した立体画像情報である。この立体
画像情報をモニタ等に出力し、ユーザが立体視用デバイ
スで見た場合、立体的な画像を得ることができる。

【００４７】以上のように、２次元の静止画像情報から
別アングルの２次元画像情報を生成し立体視画像情報と
し、２次元の静止画像情報と立体視画像情報とを合成す
ることにより、立体画像情報を生成することができる。
そのため、例えば、絵や写真等の２次元画像情報から、
立体視用デバイスを用いて立体的に見える立体画像情報
を生成することができる。

【００４８】また、本実施例における画像変換方法は、
静止画の２次元画像情報に限定されるものではない。す
なわち、動画像の２次元画像情報が入力された場合、動
画像を微小時間単位で区切り、各２次元画像情報に対し
て立体視画像情報を生成し、それぞれの２次元画像情報
と立体視画像情報とを合成することにより、動画像の立
体画像情報を生成することできる。そのため、例えば、
動画像の立体画像情報を生成する場合、２つのアングル
のカメラで被写体を撮影し、撮影した画像情報を合成し
立体画像情報を生成する必要がなく、１つのアングルの
カメラで撮影した２次元画像情報から立体画像情報を生
成することができる。

【００４９】また、本発明の画像変換方法においては、
２次元の静止画像情報から動画像情報を生成し、生成さ
れた動画像情報に基づいて立体画像情報を生成するよう
にしてもよい。すなわち、画像変換処理は、２次元画像
情報から動画像を生成するため、複数の移動アングルの
２次元画像情報を生成し、複数の移動アングルの２次元
画像情報毎に前述した立体視画像情報を生成し、各移動
アングルの２次元画像情報毎にそれぞれに対応した立体
視画像情報を合成し、立体画像情報を生成する。

【００５０】したがって、２次元の静止画像情報の画像
内においてアングルが移動した複数の２次元画像情報を
生成して動画像情報を生成すると共に、各動画像情報に
対して立体視画像情報を生成し、それぞれの動画像情報
と立体視画像情報とを合成して立体画像情報を生成する
ことができるため、例えば、絵や写真等の２次元画像情
報から、立体視用デバイスを用いて立体的に見える動画
像の立体画像情報を生成することができる。

【００５１】

【発明の効果】本発明によれば、１つの２次元画像情報
から立体画像情報を生成することができ、また、２次元
の画像情報から立体画像情報を生成することができる。

【図面の簡単な説明】

【図１】本発明の画像変換装置の一実施例の概略構成を
示す模式図である。

【図２】本実施例の画像変換方法における立体視画像生
成処理を示すフローチャートである。

【図３】本実施例の画像変換方法における画像変換を説
明する模式図である。

【図４】本実施例の画像変換方法における３次元画像推
定処理を示すフローチャートである。

【図５】本実施例の画像変換方法における変換画像生成
処理動作を示すフローチャートである。

【符号の説明】

１０１…画像変換装置、１０２…立体視画像情報生成手
段、１０３…立体画像情報生成手段、１０４…画像取得
部、１０５…立体画像情報出力部 ２０１…立体視画像情報生成処理、２０２…画像読込処
理、２０３…消失点矩形領域設定処理、２０４…３次元
画像推定処理、２０５…別アングル設定処理、２０６…
変換画像生成処理、２０７…立体画像情報生成処理

Claims (2)

【特許請求の範囲】
1. 【請求項１】元画像の画像情報に基づいて立体画像情報
   を生成する画像変換方法において、前記元画像に基づい
   て前記元画像のアングルに対して水平方向に移動したア
   ングルの立体視画像を生成する立体視画像情報生成処理
   と、該立体視画像情報生成手段で生成された前記立体視
   画像と前記元画像とを合成して立体画像情報を生成する
   立体画像情報生成処理とを具備することを特徴とする画
   像変換方法。
2. 【請求項２】元画像の画像情報に基づいて立体画像情報
   を生成する画像変換装置において、前記元画像に基づい
   て前記元画像のアングルに対して水平方向に移動したア
   ングルの立体視画像を生成する立体視画像情報生成手段
   と、該立体視画像情報生成手段で生成された立体視画像
   と前記元画像とを合成して立体画像情報を生成する立体
   画像情報生成手段とを具備することを特徴とする画像変
   換装置。