JP2004229093A - 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体 - Google Patents
立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2004229093A JP2004229093A JP2003016302A JP2003016302A JP2004229093A JP 2004229093 A JP2004229093 A JP 2004229093A JP 2003016302 A JP2003016302 A JP 2003016302A JP 2003016302 A JP2003016302 A JP 2003016302A JP 2004229093 A JP2004229093 A JP 2004229093A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- distance image
- distance
- moving
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
【課題】動画の立体画像の生成を容易にする。
【解決手段】１フレーム時間毎の動画像データを入力するステップと、前記動画像データから立体画像を生成するためのデータ（以下、距離画像データと称する）を、間欠的なフレーム間隔で入力するステップと、前記動画像データ及び前記入力された距離画像データに基づいて、前記距離画像データが存在しないフレーム時刻の距離画像データを補間生成するステップとを有する立体画像生成方法である。
【選択図】 図１
【解決手段】１フレーム時間毎の動画像データを入力するステップと、前記動画像データから立体画像を生成するためのデータ（以下、距離画像データと称する）を、間欠的なフレーム間隔で入力するステップと、前記動画像データ及び前記入力された距離画像データに基づいて、前記距離画像データが存在しないフレーム時刻の距離画像データを補間生成するステップとを有する立体画像生成方法である。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、立体動画像データ生成方法及び立体動画像データ生成装置、ならびに立体動画像データ生成プログラム及び記録媒体に関し、特に、携帯機器等で表示する立体動画像データの生成に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
従来、画像通信の分野では、より高い臨場感が得られる立体画像による動画通信が注目されており、学会発表や企業のデモ試作等も盛んになりつつある。ここで、前記立体画像とは、色や輝度を記録した二次元画像と、計測地点から撮影対象までの距離を記録した距離画像または奥行き画像と呼ばれる画像の組み合わせであるとする。また、前記距離画像とは、各画素に撮影対象までの距離を記録した画像である。また、前記動画とは、例えば、毎秒３０フレーム程度以上の画像からなるものとする。
【０００３】
前記立体画像による動画を生成するときには、例えば、ＴＶカメラ等で前記色や輝度を記録した二次元画像からなる動画像データを入力し、距離計測器等で前記距離画像データを入力する。
【０００４】
また、前記立体画像による動画を生成する方法には、例えば、視差を有する２枚の二次元画像を用いて距離画像データを生成する方法もある。
【０００５】
また、二次元画像の視差画像による立体画像を生成する方法として、距離画像から輪郭部を求めて視差領域を決定し、前後の画像と動きベクトル等を用いて視差量を生成する技術が開示されている（たとえば、特許文献１を参照。）。
【０００６】
【特許文献１】
特開２０００‐２５３４２２号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、前記従来の技術では、前記立体画像による動画通信を行うことが難しいという問題があった。
【０００８】
前記立体画像による動画通信を行うためには、例えば、毎秒３０フレーム以上の距離画像データを入力しなければならないが、従来、そのような高速で距離画像データを取得できる距離計測器は非常に高価であり、携帯機器に組み込んで用いることが難しい。
【０００９】
また、従来の技術では、前記距離画像データは、前記二次元画像と同様に１フレーム時間毎に取得し、入力しているので、消費電力量が高くなる。そのため、充電池等で使用する携帯機器等への組み込みが難しいという問題があった。
【００１０】
また、携帯機器に組み込み可能な技術として、例えば、遠近の区別ができる程度の分解能の低い距離画像データを入力し、これを用いて書き割り形式の立体画像表示を行う方法がある。また、前記分解能の低い距離画像から、擬似的な距離画像データを生成して立体表示する方法もある。ここで、前記擬似的な距離画像データとは、距離を計測によってではなく、人為的に生成したデータであるとする。すなわち、前記擬似的な距離画像データは、必ずしも現実の距離と一致しているわけではなく、近似の度合いは生成のアルゴリズムに依存する。
【００１１】
しかしながら、前記各方法でも、前記各距離画像データは１フレーム時間毎に取得するので、消費電力量が高い。そのため、携帯機器で立体画像を動画入力することが難しいという問題があった。
【００１２】
また、前記特許文献１に記載されたような技術でも、前記距離画像データは１フレーム時間毎に取得するので、消費電力量が高く、携帯機器に組み込んで用いることが難しいという問題があった。
【００１３】
本発明の目的は、動画の立体画像を容易に生成することが可能な技術を提供することにある。
【００１４】
本発明の他の目的は、動画の立体画像を生成する装置の消費電力量を低減することが可能な技術を提供することにある。
【００１５】
本発明の他の目的は、立体画像による動画入力を容易にし、かつ、立体画像生成時の消費電力量を低減することが可能なプログラム及び記録媒体を提供することにある。
【００１６】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【００１７】
【課題を解決するための手段】
本願において開示される発明の概要を説明すれば、以下の通りである。
（１）１フレーム時間毎の動画像データを入力するステップと、前記動画像データから立体画像を生成するためのデータ（以下、距離画像データと称する）を、間欠的なフレーム間隔で入力するステップと、前記動画像データ及び前記入力された距離画像データに基づいて、前記距離画像データが存在しないフレーム時刻の距離画像データを補間生成するステップとを有する立体画像生成方法である。
【００１８】
（２）前記（１）の手段において、前記距離画像データを補間生成するステップは、前記入力された距離画像データから、遠近の境目領域を求めるステップと、前記入力された距離画像データと同じフレーム時刻の動画像データから、前記境目領域と同じ位置、または前記境目領域の近傍の輪郭部領域を求めるステップと、前記距離画像データが存在しないフレーム時刻の動画像データから、前記輪郭部領域に相当する領域を求めるステップと、前記輪郭部領域と、前記輪郭部領域に相当する領域の移動量に基づいて、前記境目領域及びその内部領域を移動させて、前記距離画像データを生成するステップとを有する。
【００１９】
（３）前記（１）の手段において、前記距離画像データを補間生成するステップは、前記入力された距離画像データと同じフレーム時刻の動画像データを選択するステップと、前記選択された動画像データから、前記距離画像データが存在しないフレーム時刻の動画像データまでの間の画像の動きベクトルを求めるステップと、前記入力された距離画像データを複数の領域に分割し、前記動きベクトルに基づいて前記各領域を移動させて、距離画像データを生成するステップとを有する。
【００２０】
（４）前記（１）から（３）の各手段において、前記距離画像データを入力するステップは、前記距離画像データを生成可能な補助画像データを、間欠的なフレーム間隔で入力するステップと、前記補助画像データ、または前記補助画像データ及び前記補助画像データと同じフレーム時刻の動画像データに基づいて距離画像データを生成するステップとを有する。
【００２１】
前記（１）の手段によれば、距離計測器などの前記距離画像データを取得する手段を高速で動作させることができない場合でも、立体画像による動画を容易に得ることができる。
【００２２】
このとき、前記距離画像データを補間生成するステップは、例えば、前記（２）の手段あるいは前記（３）の手段の各ステップによる処理を行う。
【００２３】
また、前記距離画像データを入力するステップは、距離計測器等を用いて、直接距離画像データを入力してもよいし、前記（４）の手段のように、前記補助画像データから間接的に生成した距離画像データを入力してもよい。
【００２４】
（５）１フレーム時間毎の動画像データを入力する動画像データ入力手段と、前記動画像データから立体画像を生成するためのデータ（以下、距離画像データと称する）を、間欠的なフレーム間隔で入力する距離画像データ入力手段と、前記動画像データ入力手段から入力された動画像データ及び前記距離画像データ入力手段から入力された距離画像データに基づいて、前記距離画像データが存在しないフレーム時刻の距離画像データを補間生成する距離画像データ補間手段とを備える立体画像生成装置である。
【００２５】
（６）前記（５）の手段において、前記距離画像データ補間手段は、前記距離画像データ入力手段から入力された距離画像データから、遠近の境目領域を求める手段と、前記距離画像データと同じフレーム時刻の動画像データから、前記境目領域と同じ位置、または前記境目領域の近傍の輪郭部領域を求める手段と、前記距離画像データが存在しないフレーム時刻の動画像データから、前記輪郭部領域に相当する領域を求める手段と、前記輪郭部領域と、前記輪郭部領域に相当する領域の移動量に基づいて、前記境目領域及びその内部領域を移動させて、前記距離画像データを生成する手段とを有する。
【００２６】
（７）前記（５）の手段において、前記距離画像データ補間手段は、前記入力された距離画像データと同じフレーム時刻の動画像データを選択する手段と、前記選択された動画像データから、前記距離画像データが存在しないフレーム時刻の動画像データまでの間の画像の動きベクトルを求める手段と、前記入力された距離画像データを複数の領域に分割し、前記動きベクトルに基づいて前記各領域を移動させて、距離画像データを生成する手段とを備える。
【００２７】
（８）前記（５）から（７）の手段において、前記距離画像データ入力手段は、前記距離画像データを生成可能な補助画像データを、間欠的なフレーム間隔で入力する補助画像データ入力手段と、前記補助画像データ、または前記補助画像データ及び前記補助画像データと同じフレーム時刻の動画像データに基づいて距離画像データを生成する手段とを備える。
【００２８】
前記（５）の手段によれば、距離計測器などの距離画像データを取得する手段を高速で動作させることができない場合でも、立体画像による動画を容易に得ることができる。
【００２９】
また、前記距離画像データを取得する手段が、１フレーム時間毎に距離画像データを取得できる手段であっても、動作を間欠的にすることで、消費電力量を低くすることができる。
【００３０】
また、前記距離画像データ補間手段は、例えば、前記（６）の手段または前記（７）の手段の各手段を備える。
【００３１】
また、前記距離画像データ入力手段は、距離計測器等から前記距離画像データを直接入力する手段であってもよいし、前記（８）の手段のように、前記補助画像データを入力する手段と、前記補助画像データから距離画像データを生成する手段を設けて、間接的に距離画像データを入力してもよい。
【００３２】
以上のようなことから、前記（５）から（８）の手段を用いることで、前記立体画像生成装置の携帯機器への組み込みを容易にすることができる。
【００３３】
（９）前記（１）から（４）の各手段のいずれかの立体画像生成方法の、各ステップをコンピュータに実行させるための立体画像生成プログラムである。
【００３４】
前記（９）の手段によれば、コンピュータなどの汎用機器（装置）を用いて容易に立体画像を生成させることができる。
【００３５】
（１０）前記（９）の手段の立体画像生成プログラムがコンピュータで読み取り可能に記録された記録媒体。
【００３６】
前記（１０）の手段によれば、前記記録媒体をコピー、あるいはネットワークを通して提供することができる。そのため、前記立体画像生成プログラムを実行可能な装置であれば、どのような装置でも立体画像を生成させることができる。
【００３７】
以下、本発明について、図面を参照して実施の形態（実施例）とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。
【００３８】
【発明の実施の形態】
（実施例１）
図１は、本発明による実施例１の立体画像生成装置の概略構成を示す模式図である。
【００３９】
本実施例１の立体画像生成装置は、図１に示すように、動画像データ取得手段１Ａから動画像データを入力する動画像データ入力手段１Ｂと、距離画像データ取得手段２Ａから距離画像データを入力する距離画像データ入力手段２Ｂと、前記動画像データ入力手段１Ｂ及び前記距離画像データ入力手段２Ｂに入力する各データの制御をする制御手段３と、前記動画像データ入力手段１から入力された動画像データを記録する動画像データ記録手段４と、前記距離画像データ入力手段２から入力された距離画像データを記録する距離画像データ記録手段５と、距離画像データを補間生成する距離画像データ補間手段６とを備える。
【００４０】
また、前記立体画像生成装置は、例えば、毎秒３０フレーム以上の動画像データと距離画像データの組からなる立体画像を生成する装置であり、生成した前記立体画像は、図１に示したように、演算手段７で演算し、表示手段８で表示することにより立体化された動画像を得ることができる。このとき、前記動画像データ入力手段１Ｂ、前記距離画像データ入力手段２Ｂ、前記制御手段３、前記動画像データ記録手段４、前記距離画像データ記録手段５、前記距離画像データ補間手段６、前記演算手段７の各手段は、コンピュータのＣＰＵやメモリを用いることができる。
【００４１】
図２及び図３は、本実施例１の立体画像生成装置を用いた立体画像生成方法を説明するための模式図であり、立体画像生成方法の全体的な処理手順を示す図である。
【００４２】
本実施例１の立体画像生成装置を用いて前記立体画像を生成するには、まず、図２に示すように、動画像データＣＭ（Ｔ）及び距離画像データＲＭ（Ｔ）を入力し、前記動画像データ記録手段４及び前記距離画像データ記録手段５に記録する。このとき、前記動画像データＣＭ（Ｔ）は、１フレーム時間毎に入力するが、前記距離画像データＲＭ（Ｔ）はＮフレーム間隔、たとえば、図２に示したように、３フレーム毎の間欠的なフレーム間隔で入力する。またこのとき、前記距離画像データＲＭ（Ｔ）は、たとえば、１ｂｉｔの分解能の距離画像データであって、黒い領域１１は近景領域、たとえば、撮影対象１０に相当する領域であり、白い領域は遠景領域であるとする。
【００４３】
しかしながら、この状態では、前記距離画像データＲＭが存在しないフレーム時刻の動画像データＲＭ（Ｔ＋１），ＲＭ（Ｔ＋２）があるので、そのままでは前記立体画像を生成したことにならない。そこで、前記動画像データ及び距離画像データを用いて、存在しないフレーム時間の距離画像データを補間生成する。
【００４４】
本実施例１の立体画像生成方法では、図２及び図３に示すように、初期化（ステップ１４０１）した後、前記距離画像データＲＭ（Ｔ）から、近景と遠景の境目領域１２を求め、この画像をＱ（Ｔ）とする（ステップ１４０２）。
【００４５】
次に、前記距離画像データＲＭ（Ｔ）と同じフレーム時刻Ｔの動画像データＣＭ（Ｔ）から、前記画像Ｑ（Ｔ）の境目領域１２と同じ領域、または近傍の位置にある輪郭部領域１３を求め、この画像をＲ（Ｔ）とする（ステップ１４０３）。
【００４６】
次に、距離画像データが存在しないフレーム時刻Ｔ＋１の動画像データＣＭ（Ｔ＋１）から、前記画像Ｒ（Ｔ）の輪郭部領域１３と同じ領域を求め、この画像をＲ（Ｔ＋１）とする（ステップ１４０４）。前記映像領域を求めるためには、たとえば、既存のパターンマッチング法（田村秀行著、「コンピュータ画像処理入門」、総研出版、ｐ．１４８‐１５３）を用いる。パターンマッチング法には様々なバリエーションがあり、適宜選択することができる。
【００４７】
次に、前記ステップ１４０４で求めた画像Ｒ（Ｔ＋１）における輪郭部領域１３の、前記画像Ｒ（Ｔ）の輪郭部領域１３に対する移動量に合わせて、前記フレーム時刻Ｔの距離画像データＲＭ（Ｔ）における近景領域１１を移動させることで、フレーム時刻Ｔ＋１の距離画像データＲＭ（Ｔ＋１）を生成する（ステップ１４０５）。
【００４８】
その後、次のフレーム時刻Ｔ＋２の距離画像データＲＭ（Ｔ＋２）が存在するか調べる（ステップ１４０６，１４０７，１４０８，１４０９）。本実施例１では、フレーム時刻Ｔ＋２の距離画像データＲＭ（Ｔ＋２）は存在しないので、前記フレーム時刻Ｔ＋１の距離画像データＲＭ（Ｔ＋１）と同様の手順で生成する。このとき、フレーム時刻がＴ＋２の前記動画像データの映像領域の位置は、たとえば、図２に示すように、前記フレーム時刻がＴの動画像データの輪郭部領域と直接パターンマッチングして求めても良いし、フレーム時刻がＴ＋１の動画像データの輪郭部領域とパターンマッチングして求めても良い。
【００４９】
以上の手順を繰り返すことにより、前記距離画像データが存在しないフレーム時刻の距離画像データを順次補間生成することができる。そのため、本実施例１の立体画像生成装置では、１フレーム時間毎に距離画像データを取得する必要がない。そのため、間欠的なフレーム間隔でしか動作できない距離画像データ取得手段２Ａを用いることが可能である。また、前記距離画像データ入力手段２Ａが、１フレーム時間毎の距離画像データを取得できる場合でも、間欠的に動作させることにより、消費電力量を低減することができる。また、本実施例１では、前記距離画像データを３フレーム時間毎に入力しているが、これに限らず、たとえば、５フレーム時間毎あるいは１０フレーム時間毎に入力することも可能であり、フレーム時間間隔を大きくすることで、消費電力量を大幅に低減することができる。
【００５０】
図４乃至図１８は、本実施例１の立体画像生成方法の具体例を説明するための図である。
【００５１】
本実施例１の立体画像生成方法では、まず、図４に示したように、１フレーム毎の動画像データＣＭと、Ｎフレーム毎の距離画像データＲＭを入力し、前記動画像データ記録手段４及び前記距離画像データ記録手段５に記録する。このとき、画像と分解能の低い距離画像がともに存在するフレーム時刻をＴとすると、ＣＭ（Ｔ），ＣＭ（Ｔ＋１），・・・，ＣＭ（Ｔ＋Ｎ−１）の動画像に対してＲＭ（Ｔ）が１枚存在する。これらの画像から、ＲＭ（Ｔ＋１），・・・，ＲＭ（Ｔ＋Ｎ−１）の距離画像データを生成することによって動画の立体画像データを生成する。ここで、ＣＭもＲＭも縦横Ｘ，Ｙ画素の画像サイズであるとする。また、ＣＭ（Ｔ）の座標（ｘ，ｙ）のデータ値をＣＭ（Ｔ）ｘ，ｙと記述し、ＲＭ（Ｔ）の座標（ｘ，ｙ）のデータ値をＲＭ（Ｔ）ｘ，ｙと記述する。ＣＭ（Ｔ）ｘ，ｙはＲＧＢデータであり、ＲＭ（Ｔ）ｘ，ｙは０か１の２値データである。ここで、１は近景、０は遠景を表すものとする。
【００５２】
また、前記動画像データＣＭ及び前記距離画像データＲＭを入力するときには、図５に示すように、動画像撮影用のＴＶカメラ（動画像データ取得手段）１Ａと、距離画像撮影用のＴＶカメラ（距離画像データ取得手段）２Ｂと、フラッシュなどのパルス光を照射する光源１５とを前記制御手段３で制御する。
【００５３】
このとき、前記距離画像データ取得手段２Ａの撮影光軸は、全反射ミラー１６及びハーフミラー１７によって前記動画像データ取得手段１Ａの撮影光軸と合わせ、同じ撮影画角及び同じ撮影視点で撮影できるように設定する。
【００５４】
前記動画像データ取得手段１Ａを用いて前記動画像データＣＭを入力するときには、前記制御手段３から前記動画像データ取得手段１Ａに対して、図６（ａ）に示すように、あらかじめ設定されたフレーム時間毎に制御信号を出力し、前記動画像データを撮影し、前記動画像データ入力手段１Ｂに入力する。このとき、フレームの時間間隔ΔＴは、例えば、１／３０秒に設定する。
【００５５】
一方、前記距離画像データＲＭを入力するときには、前記制御手段３から前記距離画像データ取得手段２Ａに対して、図６（ｂ）に示すように、あらかじめ設定したフレーム間隔のＮ倍の時間間隔、例えば、前記動画像データのフレーム間隔の３倍の時間間隔で制御信号を出力し、間欠的な距離画像データを撮影し、前記距離画像データ入力手段２Ｂに入力する。このとき、前記制御手段３は、前記光源１５にも同じタイミングで制御信号を出力し、撮影対象１０を照明しておく。
【００５６】
なお、前記動画像データ取得手段１Ａと前記距離画像データ取得手段２Ａの撮影開始時刻は、少なくとも前記動画像データ取得手段１Ａの露光時間以上ずらしておくか、もしくは、光源１５から照射する照明光に赤外光を用い、前記距離画像データ取得手段２Ａに赤外カメラを使う等することによって、照明光が前記動画像データ取得手段１のＡ撮影に影響しないようにする。
【００５７】
また、高速度カメラを用いることにより前記動画像データ取得手段１Ａと前記距離画像取得手段２Ａを一台のカメラで兼用することも可能である。この場合、前記全反射ミラー１６及び前記ハーフミラー１７は不要である。
【００５８】
また、前記距離画像データ取得手段２Ａで撮影した距離画像データＲＭＰ（Ｔ）は、例えば、遠近の区別のみを記録した分解能の低い距離画像データＲＭ（Ｔ）に変換する。そこでまず、図７に示すように、時刻Ｔに前記動画像データ取得手段１Ａで撮影した動画像データＣＭ（Ｔ）にもっとも撮影時刻の近い距離画像データＲＭＰ（Ｔ）を選ぶ（ステップ１８０１）。この２枚の画像データは同じ撮影時刻に同じ撮影対象を照明の有無のみが異なって撮影した画像データとみなすことができる。
【００５９】
次に、前記動画像データＣＭ（Ｔ）と距離画像データＲＭＰ（Ｔ）において、同座標（ｘ，ｙ）でＣＭ（Ｔ）ｘ，ｙ／ＲＭＰ（Ｔ）ｘ，ｙの比を求め（ステップ１８０２）、ある設定値ｋ以上の比であった場合にはＲＭ（Ｔ）ｘ，ｙ＝１（ステップ１８０３）、そうでない場合にはＲＭ（Ｔ）ｘ，ｙ＝０（ステップ１８０４）とすることによってＲＭ（Ｔ）ｘ，ｙを生成する。以降、座標（ｘ，ｙ）を更新（ステップ１８０５）して、すべての座標においてＲＭ（Ｔ）ｘ，ｙを生成し（ステップ１８０６）、距離画像データＲＭ（Ｔ）とする。
【００６０】
照明した撮影画像は照明しない撮像画像と比較すると、近景の撮影対象は明るくなるのに対して、遠景の画像の明るさはあまり変わらないため、この判定処理によって、近景領域は１、遠景領域は０で表現される分解能の低い距離画像データＲＭ（Ｔ）が生成されることになる。なお、前記分解能の低い距離画像データＲＭ（Ｔ）は、比の代わりに差を用いて生成しても構わない。
【００６１】
また、本実施例１では分解能の低い距離画像データＲＭ（Ｔ）の入力手段としてフラッシュなどの光源１５を用いる撮影方法を示したが、分解能の低い距離画像データＲＭ（Ｔ）を取得、あるいは入力できるのであれば、前記実施例１に示した方法に限定されるものではなく、近景に焦点のあった画像と遠景に焦点のあった画像（またはパンフォーカス画像）間で空間周波数の大小に応じて距離を算出してもよく、あるいはステレオ撮影して単純に差分を取り、ある設定値を下回る差分値を示した領域を遠景領域として分解能の低い距離画像データＲＭ（Ｔ）を生成すること等が可能である。
【００６２】
次に、図２及び図３に示した手順にしたがって、動画の立体画像データを生成してゆく。
【００６３】
前記距離画像データＲＭ（Ｔ）から境目領域１２の画像Ｑ（Ｔ）を求めるステップ１４０２では、まず、図８に示すように、距離画像データＲＭ（Ｔ）の座標（ｘ，ｙ）の画素ＲＭ（Ｔ）ｘ，ｙと隣接する画素の値を比較する（ステップ１４０２ａ，１４０２ｂ）。このとき、前記ＲＭ（Ｔ）ｘ，ｙと隣接する画素は、図９（ａ）に示すように、８連結で隣接するＲＭ（Ｔ）ｘ−１，ｙ−１、ＲＭ（Ｔ）ｘ−１，ｙ、ＲＭ（Ｔ）ｘ−１，ｙ＋１、ＲＭ（Ｔ）ｘ，ｙ−１、ＲＭ（Ｔ）ｘ，ｙ＋１、ＲＭ（Ｔ）ｘ＋１，ｙ−１、ＲＭ（Ｔ）ｘ＋１，ｙ、ＲＭ（Ｔ）ｘ＋１，ｙ＋１とし、全てが同じデータ値であったときにはＱ（Ｔ）ｘ，ｙ＝０（ステップ１４０２ｃ）、そうでない場合はＱ（Ｔ）ｘ，ｙ＝１（ステップ１４０２ｄ）とする。その後、座標（ｘ，ｙ）を更新（ステップ１４０２ｅ）し、すべての画素ＲＭ（Ｔ）ｘ，ｙについてＱ（Ｔ）ｘ，ｙを求め、図９（ｂ）に示したような、境目領域１２の画像Ｑ（Ｔ）を生成する。
【００６４】
また、前記ステップ１４０２ａでは、画素ＲＭ（Ｔ）ｘ，ｙと８連結で隣接する場合を示したが、４連結で隣接するＲＭ（Ｔ）ｘ−１，ｙ、ＲＭ（Ｔ）ｘ，ｙ−１、ＲＭ（Ｔ）ｘ，ｙ＋１、ＲＭ（Ｔ）ｘ＋１，ｙと比較してＱ（Ｔ）を生成しても良い。
【００６５】
次に、前記動画像データＣＭ（Ｔ）から前記境目領域１２と同じ位置または近傍にある輪郭部領域１３を求めるステップ１４０３は、まず、図１０に示すように、輪郭部領域１３の画像Ｒ（Ｔ）のブロックＲ（Ｔ）ｉ，ｊに相当するＱ（Ｔ）ｉ，ｊを抽出する（ステップ１４０３ａ）。このとき、前記Ｒ（Ｔ）ｉ，ｊは、図１１（ａ）に示すように、横方向がＸ／Ｗ画素，縦方向がＹ／Ｗ画素のブロック画像とし、ｉ，ｊはブロック座標を表している。またこのとき、前記Ｘ，Ｙ，Ｗは、Ｘ／ＷとＹ／Ｗが整数となるように、あらかじめ設定されているものとする。Ｒの各画素は２値データ格納エリアＲｋｉ，ｊと移動ベクトル格納エリアＲＶｉ，ｊで構成されているものとする。
【００６６】
また、前記Ｑ（Ｔ）ｉ，ｊは、図１１（ｂ）に示すように、縦Ｗ画素，横Ｗ画素毎に分割して抽出する。このとき、前記Ｑ（Ｔ）ｉ，ｊの各画素の値を調べ（ステップ１４０３ｂ）、すべて０の場合にはＲｋ（Ｔ）ｉ，ｊ＝０とし（ステップ１４０３ｃ）、１である画素が含まれる場合にはＲｋ（Ｔ）ｉ，ｊ＝１とする（ステップ１４０３ｄ）。その後、ｉまたはｊを更新し（ステップ１４０３ｅ）、すべてのＲ（Ｔ）ｉ，ｊに対するＲｋ（Ｔ）ｉ，ｊを求めるまで繰り返す（ステップ１４０３ｆ）。
【００６７】
前記Ｒｋ（Ｔ）ｉ，ｊは、ＣＭ（Ｔ）に対して遠近の境目領域と同じ位置または近傍にある輪郭部領域のみを示すデータである。すなわち、Ｒｋｉ，ｊ＝１ならば、座標（ｉ×Ｗ，ｊ×Ｗ）から座標（（ｉ＋１）×Ｗ−１，（ｊ＋１）×Ｗ−１）を対角の頂点とするブロック領域が境目領域と同じ位置または近傍にある輪郭部領域となる。また、Ｒｋｉ，ｊ＝０ならば、座標（ｉ×Ｗ，ｊ×Ｗ）から座標（（ｉ＋１）×Ｗ−１，（ｊ＋１）×Ｗ−１）を対角の頂点とするブロック領域は境目領域と同じ位置または近傍にある輪郭部領域ではない。そのため、Ｒｋ（Ｔ）ｉ，ｊを求めることにより、図１２に示したような、輪郭部領域１３の画像Ｒ（Ｔ）が得られる。
【００６８】
なお、本実施例１では輪郭部領域１３の画像Ｒ（Ｔ）のブロックＲ（Ｔ）ｉ，ｊを矩形状のブロックに分割したが、これに限らず、種々の形状で分割し、抽出してよい。
【００６９】
次に、フレーム時刻Ｔ＋ｎの動画像データＣＭ（Ｔ＋ｎ）から、前記ステップ１４０３で求めた輪郭部領域１３に相当する輪郭部領域を求めるステップ１４０４では、まず、図１３に示すように、前記ＣＭ（Ｔ）において、Ｒｋ（Ｔ）ｉ，ｊ＝１のブロックを抽出する（ステップ１４０４ａ）。
【００７０】
次に、Ｒｋ（Ｔ）ｉ，ｊ＝１のブロックから、図１４（ａ）に示すように、ＣＭ（Ｔ）の座標（ｉ×Ｗ，ｊ×Ｗ）から座標（（ｉ＋１）×Ｗ−１，（ｊ＋１）×Ｗ−１）のブロックを、縦横Ｗ画素の参照画像Ｂ（Ｔ）ｉ，ｊとして切り出す（ステップ１４０４ａ，１４０４ｂ）。
【００７１】
次に、図１４（ｂ）に示すように、ＣＭ（Ｔ＋ｎ）内でもっともＢ（Ｔ）ｉ，ｊに画像内容の近いブロックを決定し、このブロックの左上の座標値（ｉ×Ｗ＋ｄｘ，ｊ×Ｗ＋ｄｙ）を得る（ステップ１４０４ｃ）。このときｄｘとｄｙはフレーム数ｎ進んだ画像におけるＢ（Ｔ＋ｎ）ｉ，ｊに含まれる輪郭部領域のｘ方向とｙ方向に移動した距離を表す。ｄｘとｄｙをＲＶ（Ｔ＋ｎ）ｉ，ｊに格納する（ステップ１４０４ｄ）。
【００７２】
なお、画像内容の近いブロックは、２つのブロック毎に相関量を求め画像内で最も高い相関量を示したブロックを画像内容の近いブロックと決定する。相関量の式は統計論で用いられる厳密な式から画素毎の差分の二乗和等の簡略な式まで様々な既存の式があり、ブロックの探索法（例えば、Ｋ．Ｒ．Ｒａｏ 他著、「デジタル放送・インターネットのための情報圧縮技術」、共立出版、ｐ．６９‐７１）も様々な既存手法が存在するが、本発明ではこれらを特定の式または手法に限定するものではない。また、本実施例ではブロック相関法を用いた例を示したが、輪郭部領域のｘ方向とｙ方向に移動した距離が求められるのであればブロック相関法に限定するものではない。
【００７３】
次に、ｉまたはｊを更新して（ステップ１４０４ｅ）、上記の処理を全てのＲｋ（Ｔ）ｉ，ｊ＝１であるブロックに対して行い（ステップ１４０４ｆ）、各々のブロックに対して移動量ｄｘ，ｄｙを求めてＲＶ（Ｔ＋ｎ）ｉ，ｊに格納する。そしてさらに、画像Ｒ（Ｔ）内の各Ｂ（Ｔ）ｉ，ｊをＲＶ（Ｔ＋ｎ）ｉ，ｊのｄｘ及びｄｙに基づいて移動させることにより、図１５に示すように、フレーム時刻Ｔ＋ｎの動画像データＣＭ（Ｔ＋ｎ）に対応する輪郭部領域１３の画像Ｒ（Ｔ＋ｎ）が得られる。
【００７４】
次に、フレーム時刻Ｔ＋ｎの距離画像データＲＭ（Ｔ＋ｎ）を生成するステップ１４０５では、まず、図１６に示すように、フレーム時刻Ｔの距離画像データＲＭ（Ｔ）から、前記ブロックＢ（Ｔ）ｉ，ｊに相当するブロックを、ＲＶ（Ｔ＋ｎ）ｉ，ｊのｄｘ及びｄｙに基づいて移動させる（ステップ１４０５ａ）。このとき、前記移動させるブロックは、図１７（ａ）及び図１７（ｂ）に示すように、Ｒｋ（Ｔ）ｉ，ｊ＝１のブロックのみ、すなわち境目領域１２のみをまず移動させる。
【００７５】
ところで、移動前にブロック内に存在する境目領域はブロック間で連続しているが、移動方向や移動量によっては移動後のブロック間で途切れてしまうことがある。不連続になってしまった境目領域については、各々のブロック境界で途切れた点同士を直線で接続することによって連続性を回復する（ステップ１４０５ｂ）。なお、本実施例では直線補間による接続例を示したが、本発明は接続を直線補間に限定するものではない。
【００７６】
次に、境目領域１２で囲まれた内部領域を全て境目領域内側の近傍領域のデータに置き換えることによって塗りつぶすことで、図１８に示すように、フレーム時刻Ｔ＋ｎの距離画像データＲＭ（Ｔ＋ｎ）が得られる。
【００７７】
その後、図３に示したように、フレーム時刻を更新して、前記各ステップの処理を繰り返し行うことによって、距離画像データを取得していないフレーム時刻における分解能の低い距離画像データＲＭ（Ｔ＋ｎ）が全て生成され、動画の立体画像データが生成されることになる。
【００７８】
図１９は、本実施例１の立体画像生成方法で生成した立体画像の特徴を説明するための模式図である。
【００７９】
本実施例１の方法によって生成される距離画像データは、動画像データから抽出したｘ方向とｙ方向の動きに合わせて距離画像を移動させて生成するものである。そのため、撮影対象のｚ方向の動きを正確に表現することができない。例えば、図１９（ａ）に示すように、撮影対象が撮影地点に近づくと、実際には、図１９（ｂ）に示したように、撮影地点に近づくにつれて、奥行き（ｚ方向）の距離ｚが大きくなる。しかしながら、本実施例１によって生成される距離画像は図１９（ｃ）のように、奥行きの距離ｚがほとんど変わらない。したがって工業計測に使用するような動画の立体画像データの生成には不向きである。しかしながら、映像産業や通信産業で用いられる立体画像通信のような人間が見ることが目的である場合、画像と組み合わせて提示されるので、人間の視覚認識機構が合理的な解釈を行うことによって不自然さが目立たない。また、分解能の低い距離画像や擬似的な距離画像である場合、この点は元々問題にならない。
【００８０】
以上説明したように、本実施例１の立体画像生成装置を用いた立体画像生成方法によれば、１フレーム毎に距離画像データを取得することができない距離画像データ取得手段２Ａを用いても、容易に動画の立体画像を生成することができる。
【００８１】
また、１フレーム毎に距離画像データを取得することができる距離画像データ取得手段２Ａであっても、間欠的に取得することで、前記距離画像データ取得手段２Ａの消費電力量を低減することができる。そのため、前記立体画像生成装置の携帯機器への組み込みが容易になる。
【００８２】
また、前記立体画像生成方法をプログラム化すれば、前記各ステップをコンピュータに実行させることが可能である。そのため、専用の装置を用いることなく、動画の立体画像を容易に生成することができる。このとき、前記立体画像を生成するプログラムは、半導体メモリやハードディスク、ＣＤ−ＲＯＭ等の記録媒体によって提供することも出来るし、ネットワークを通して提供することも可能である。
【００８３】
なお、本実施例１では、分解能の低い距離画像の取得手段としてフラッシュを用いる撮影方法を示したが、分解能の低い距離画像を取得できるのであれば、実施例に示した方法に限定するものではなく、近景に焦点のあった画像と遠景に焦点のあった画像（またはパンフォーカス画像）間で空間周波数の大小に応じて距離を算出してもよく、あるいはステレオ撮影して単純に差分を取り、ある設定値を下回る差分値を示した領域を遠景領域として分解能の低い距離画像を生成すること等が可能である。
【００８４】
（実施例２）
図２０乃至図２１は、本発明による実施例２の立体画像生成方法の全体的な処理手順を説明するための模式図である。
【００８５】
本実施例２の立体画像生成方法は、例えば、前記実施例１で説明したような立体画像生成装置を用いて行うので、装置に関する詳細な説明は省略する。
【００８６】
本実施例２の立体画像生成方法は、まず、図２０に示すように、動画像データＣＭ（Ｔ）及び距離画像データＲＭ（Ｔ）を入力し、前記動画像データ記録手段４及び前記距離画像データ記録手段５に記録する。このとき、前記動画像データＣＭ（Ｔ）は、１フレーム時間毎に入力するが、前記距離画像データＲＭ（Ｔ）はＮフレーム間隔、例えば、図２０に示したように、３フレーム毎の間欠的なフレーム間隔で入力する。
【００８７】
しかしながら、この状態では、前記距離画像データＲＭが存在しないフレーム時刻の動画像データＣＭ（Ｔ＋１），ＣＭ（Ｔ＋２）があるので、そのままでは前記立体画像を生成したことにならない。そこで、前記動画像データ及び距離画像データを用いて、存在しないフレーム時間の距離画像データを補間生成する。
【００８８】
本実施例２の立体画像生成方法では、まず、図２０及び図２１に示したように、あるフレーム時刻の距離画像データＲＭと、同フレーム時刻の動画像データを選択する（ステップ１９０２）。ここでは、図２０に示したように、フレーム時刻Ｔの動画像データＣＭ（Ｔ）と距離画像データＲＭ（Ｔ）が選択された場合を説明する。なお、図２０に示した距離画像データＲＭ（Ｔ），ＲＭ（Ｔ＋３）は、黒い領域が撮影地点からの距離が近い領域（近景領域）１１を表しており、距離が遠くなるにしたがって白くなる。
【００８９】
次に、前記ステップ１９０２で選択した動画像データＣＭ（Ｔ）と、距離画像データのないフレーム時刻Ｔ＋１の動画像データＣＭ（Ｔ＋１）との間での画像の動きベクトルを求める（ステップ１９０３）。この求めた動きベクトルをＭ（Ｔ＋１）に示す。動きベクトルの画像Ｍ（Ｔ＋１）中で矢印の記号ＭＶが検出した動きベクトルである。なお、分かり易いように動きベクトルを矢印で図示したが、実際の画像データＭ（Ｔ＋１）は各画素に動きベクトル情報ＭＶが記録された画像であってこのような矢印で描かれた画像ではない。
【００９０】
次に、フレーム時刻Ｔの距離画像データＲＭ（Ｔ）を複数の領域に分割し、各領域を前記動きベクトルＭＶに従って別々に移動させることによって、フレーム時刻Ｔ＋１における距離画像データＲＭ（Ｔ＋１）を生成する（ステップ１９０４）。ここで前記距離画像データＲＭ（Ｔ）の領域は、動きベクトルＭＶの領域に合わせる。例えば、動きベクトルＭＶが画素毎に与えられているならば、前記距離画像データＲＭ（Ｔ）は画素単位で移動させる。また、動きベクトルＭＶがあるブロック領域の動きベクトルであるならば、各々の領域とはそのブロック領域単位である。この領域は動きベクトルを求める方法に依存するが、本発明は特定の動きベクトル生成法に限定するものではない。
【００９１】
次に、フレーム時刻を更新し（ステップ１９０５）、動画像データＣＭ（Ｔ＋２）及び距離画像データＲＭ（Ｔ＋２）が存在するか判定し（ステップ１９０６，１９０７）、動画像データＣＭ（Ｔ＋２）はあるが距離画像データＲＭ（Ｔ＋２）がない場合には、前記ステップ１９０３に戻って、距離画像データＲＭ（Ｔ＋２）を補間生成する。このとき、前記距離画像データＲＭ（Ｔ＋２）は、例えば、図２０に示したように、フレーム時刻Ｔの動画像データＣＭ（Ｔ）とフレーム時刻Ｔ＋２の動画像データＣＭ（Ｔ＋２）から動きベクトルＭＶを求め、その動きベクトルにしたがって前記フレーム時刻Ｔの距離画像データＲＭ（Ｔ）の各領域を移動させ、フレーム時刻Ｔ＋２の距離画像データＲＭ（Ｔ＋２）を生成する。
【００９２】
以上の手順を繰り返すことにより、前記距離画像データが存在しないフレーム時刻の距離画像データを順次補間生成することができる。そのため、本実施例２の立体画像生成方法でも、１フレーム時間毎に距離画像データを入力する必要がない。そのため、間欠的なフレーム間隔でしか動作できない距離画像データ取得手段１Ａを用いることが可能である。また、前記距離画像データ取得手段１Ａが、１フレーム時間毎の距離画像データを取得できる場合でも、間欠的に動作させることにより、消費電力量を低減することができる。また、本実施例２でも、前記距離画像データを３フレーム時間毎に入力しているが、これに限らず、たとえば、５フレーム時間毎あるいは１０フレーム時間毎に入力することも可能であり、フレーム時間間隔を大きくすることで、消費電力量を大幅に低減することができる。
【００９３】
図２２乃至図２６は、本実施例２の立体画像生成方法の具体例を説明するための模式図である。
【００９４】
本実施例２の立体画像生成方法では、１フレーム時間毎の動画像データＣＭと、Ｎフレーム時間毎の距離画像データＲＭが、半導体メモリ等の動画像データ記録手段４及び距離画像データ記録手段５にあらかじめ記録されているとする。このとき、前記動画像データと前記距離画像データがともに存在するフレーム時刻をＴとすると、ＣＭ（Ｔ），ＣＭ（Ｔ＋１），・・・，ＣＭ（Ｔ＋Ｎ−１）の動画像データに対して距離画像データＲＭ（Ｔ）が１枚存在する。これらの画像から、ＲＭ（Ｔ＋１），・・・，ＲＭ（Ｔ＋Ｎ−１）の距離画像データを補間生成することによって動画の立体画像データを生成する。ここで、ＣＭもＲＭも、横方向がＸ画素、縦方向がＹ画素の画像サイズであるとする。また、ＣＭ（Ｔ）の座標（ｘ，ｙ）のデータ値をＣＭ（Ｔ）ｘ，ｙと記述し、ＲＭ（Ｔ）の座標（ｘ，ｙ）のデータ値をＲＭ（Ｔ）ｘ，ｙと記述する。ＣＭ（Ｔ）ｘ，ｙはＲＧＢデータであり、ＲＭ（Ｔ）ｘ，ｙは距離を記録したスカラ値である。
【００９５】
また、前記動画像データＣＭ（Ｔ）を取得する動画像データ取得手段１Ａには、前記実施例１で説明した動画像撮影用のＴＶカメラを用いる。また、前記距離画像データＲＭ（Ｔ）を取得する距離画像データ取得手段２Ａには、たとえば、光切断法（例えば、吉澤徹著、「光三次元計測」、新技術コミュニケーションズ、ｐ．２８‐３７）、ＴＯＦ（光飛行時間計測法）（例えば、井口征士、「３次元計測の最新の動向」、計測と制御、第３４巻、第６号、ｐ．４３０や、河北真宏、「ハイビジョン３次元カメラ：Ａｘｉ−ｖｉｓｉｏｎ カメラ」、平１４年度技研公開 公演・研究発表会予稿集、ｐ．５８‐６３）、種々のパターン投影法（例えば、吉澤徹著、「光三次元計測（第２版）」、新技術コミュニケーションズ、ｐ．７７‐９９）、種々のステレオ法（例えば、画像電子学会著、「３次元画像用語辞典」、新技術コミュニケーションズ、ｐ．５１）等に基づく距離計測装置を使用する。
【００９６】
前記動画像データＣＭ（Ｔ）と間欠的な距離画像データＲＭ（Ｔ）を用いて距離画像データを補間生成するときには、まず、あるフレーム時刻Ｔにおける距離画像データＲＭ（Ｔ）と、同フレーム時刻の画像データＣＭ（Ｔ）を選択する（ステップ１９０２）。
【００９７】
次に、前記フレーム時刻Ｔの動画像データＣＭ（Ｔ）と、距離画像データのないフレーム時刻Ｔ＋ｎの動画像データＣＭ（Ｔ＋ｎ）との間での画像の動きベクトルを求めるステップ１９０３を行う。
【００９８】
前記ステップ１９０３では、図２２に示すように、動画像データＣＭ（Ｔ）を縦Ｗ画素、横Ｗ画素のブロックに格子状に分割する（ステップ１９０３ａ）。このとき、図２３（ａ）及び図２３（ｂ）に示すように、各々のブロックサイズはＷ×Ｗであり、横方向のブロック数はＸ／Ｗ、縦方向のブロック数はＹ／Ｗである。なお、ＸとＹは、Ｗで割り切れるような値があらかじめ設定されているものとする。このとき、ブロック座標（ｉ，ｊ）のブロックをＢ（Ｔ）ｉ，ｊと記述する。
【００９９】
次に、動きベクトル画像Ｍ（Ｔ＋ｎ）を生成する。このとき、前記動きベクトル画像Ｍ（Ｔ＋ｎ）は、前記ブロックＢ（Ｔ）ｉ，ｊと同じサイズ、すなわち、横Ｘ／Ｗ、縦Ｙ／Ｗのブロック状の二次元データＭＶ（Ｔ＋ｎ）ｉ，ｊからなり、各要素には二次元のベクトルデータが格納されるとする。
【０１００】
このとき、まず、各々のブロック座標（ｉ，ｊ）に対応するＢ（Ｔ）ｉ，ｊを選択し、図２４（ａ）に示すように、Ｂ（Ｔ）ｉ，ｊにもっとも画像内容の近いブロックをＣＭ（Ｔ＋ｎ）内から決定する（ステップ１９０３ｂ）。
【０１０１】
次に、図２４（ｂ）に示すように、前記ＣＭ（Ｔ＋ｎ）から決定したこのブロックの左上の座標値（ｉ×Ｗ＋ｄｘ，ｊ×Ｗ＋ｄｙ）を得る。このときｄｘ及びｄｙはｎフレーム進んだ画像におけるＢ（Ｔ）ｉ，ｊの動きベクトルＭＶ（Ｔ＋ｎ）ｉ，ｊである。ｄｘ及びｄｙをＭＶ（Ｔ＋ｎ）ｉ，ｊに格納する（ステップ１９０３ｃ）。
【０１０２】
なお、前記動きベクトルＭＶ（Ｔ＋ｎ）ｉ，ｊを求める処理は、ブロックマッチング法と呼ばれ、例えば、ＭＰＥＧ２画像生成時の動き予測に用いられる公知の手法である。一般に、２つのブロック毎に相関量を求め画像内で最も高い相関量を示したブロックを画像内容の近いブロックと決定するが、相関量の式は統計論で用いられる厳密な式から画素毎の差分の二乗和等の簡略な式まで様々な既存の式があり、ブロックの探索法、移動後のブロック間歪み除去法なども様々な既存手法が存在する。本発明ではこれらを特定の式または手法に限定するものではない。また、本実施例２ではブロックマッチング法を用いた例を示したが、画像内の動きベクトルを求められるのであれば、ブロックマッチング法に限定するものではない。この結果、生成されたＭＶ（Ｔ＋ｎ）ｉ，ｊはフレーム時刻ＴからＴ＋ｎに変わった際の画像内の動きを表す。
【０１０３】
その後、ｉまたはｊを更新し（ステップ１９０３ｄ）、ＣＭ（Ｔ）の全てのブロックＢ（Ｔ）ｉ，ｊで同様の処理を繰り返す（ステップ１９０３ｅ）。
【０１０４】
次に、前記距離画像データＲＭ（Ｔ）の各領域を前記動きベクトル画像Ｍ（Ｔ＋ｎ）に基づいて移動させるステップ１９０４では、まず、図２５に示すように、前記距離画像データＲＭ（Ｔ）を、前記ブロックＢ（Ｔ）ｉ，ｊと同じサイズのブロックＲＭ（Ｔ）ｉ，ｊに分割する（ステップ１９０４ａ）。その後、図２６（ａ）に示すように、前記ブロックＲＭ（Ｔ）ｉ，ｊを前記動きベクトルＭＶ（Ｔ＋ｎ）ｉ，ｊで移動させる（ステップ１９０４ｂ）。その後、ｉまたはｊを更新し（ステップ１９０４ｃ）、全てのブロックＲＭ（Ｔ）ｉ，ｊを移動させると、図２６（ｂ）に示したように、フレーム時刻Ｔ＋ｎの距離画像データＲＭ（Ｔ＋ｎ）が得られる。
【０１０５】
その後は、ｎ＝ｎ＋１としてフレーム時刻を更新し、距離画像データＲＭ（Ｔ＋ｎ）が存在しない場合には、前記手順を繰り返し、距離画像データＲＭ（Ｔ＋ｎ）を生成する。
【０１０６】
このとき、前記フレーム時刻Ｔ＋ｎの距離画像データＲＭ（Ｔ＋ｎ）は、例えば、図２０に示したように、フレーム時刻Ｔの動画像データＣＭ（Ｔ）及び距離画像データＲＭ（Ｔ）と、フレーム時刻Ｔ＋ｎの動画像データＣＭ（Ｔ＋ｎ）を用いて生成する。
【０１０７】
以下、距離画像データＲＭが存在する動画像ベクトルＣＭのフレーム時刻になるまで、前記処理を繰り返し行うことで、フレーム時刻Ｔとフレーム時刻Ｔ＋Ｎの間の距離画像データＲＭを補間生成することができる。
【０１０８】
以上説明したように、本実施例２の立体画像生成方法によれば、１フレーム毎に距離画像データを取得することができない取得手段を用いても、容易に動画の立体画像を生成することができる。
【０１０９】
また、１フレーム毎に距離画像データを取得することができる取得手段であっても、間欠的に取得することで、前記距離画像データ取得手段２Ａの消費電力量を低減することができる。そのため、前記立体画像を生成する装置の携帯機器への組み込みが容易になる。
【０１１０】
また、本実施例２の立体画像生成方法では、前記手順で説明したように、距離計測器から入力した距離画像データの代わりに、前記実施例１で説明したような、遠近の区別ができる程度の分解能の低い距離画像データを用いることも出来る。その場合は、輪郭部領域のみの動きを求めればよいので、計算量が少なくなり、消費電力量をさらに低減することができる。
【０１１１】
図２７は、前記実施例２の変形例を説明するための模式図である。
【０１１２】
前記実施例２では、フレーム時刻Ｔとフレーム時刻Ｔ＋Ｎの間のフレーム時刻Ｔ＋ｎの距離画像データを補間生成するときに、図２０に示したように、前記フレーム時刻Ｔの動画像データＣＭ（Ｔ）及び距離画像データＲＭ（Ｔ）、ならびにフレーム時刻Ｔ＋ｎの動画像データＣＭ（Ｔ＋ｎ）を用いて距離画像データＲＭ（Ｔ＋ｎ）を補間生成する例を示したが、その代わりに、例えば、１フレーム前の動画像データＣＭ（Ｔ＋ｎ−１）及び補間生成した距離画像データＲＭ（Ｔ＋ｎ−１）、ならびに動画像データＣＭ（Ｔ＋ｎ）を用いて距離画像データＲＭ（Ｔ＋ｎ）を生成してもよい。
【０１１３】
前記動画像データは通常、画像フレームの更新に伴い、撮影対象の輪郭形状が徐々に変形していくため、前記実施例２のように、常に初めのフレーム時刻Ｔで得られた輪郭部領域との間でパターンマッチングを行う方法では、変形量がある一定量以上となる、時間的に離れたフレームにおいて正しいパターンマッチングが行えなくなる。一方、図２７に示した方法の場合、直前のフレームで得られた輪郭部領域との間でパターンマッチングを行うことにより前記動きベクトルを求めるので、前記距離画像データが存在しないフレームの数の多少に関わらず、撮影対象の輪郭形状の変形量は、常に１フレーム以内でありその量は微小である。したがって、図２７に示した方法の場合、距離画像データが存在しないフレームの数が多くても、前記動画の立体画像を精度よく生成することができる。
【０１１４】
（実施例３）
図２８は、本発明による実施例３の立体画像生成装置の概略構成を示す模式図である。
【０１１５】
本実施例３の立体画像生成装置は、図２８に示すように、動画像データ取得手段１Ａから動画像データを入力する動画像データ入力手段１Ｂと、補助画像データ取得手段２０Ａから補助画像データを入力する補助画像データ入力手段２０Ｂと、前記動画像データ入力手段１Ｂ及び前記補助画像データ入力手段２０Ｂに入力する各データを制御する制御手段３と、前記動画像データ入力手段１から入力された動画像データを記録する動画像データ記録手段４と、前記補助画像データ入力手段２０から入力された補助画像データ及び距離画像データを記録する距離画像データ記録手段５と、距離画像データを補間生成する距離画像データ補間生成手段２１とを備える。
【０１１６】
また、前記立体画像生成装置は、たとえば、毎秒３０フレーム以上の動画像データと距離画像データの組からなる立体画像を生成する装置であり、生成した前記立体画像は、図２８に示したように、演算手段７で演算し、表示手段８で表示することにより立体化された動画像を得ることができる。
【０１１７】
図２９乃至図３６は、本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【０１１８】
本実施例３の立体画像生成装置では、前記実施例１及び前記実施例２と異なり、図２９に示すように、前記距離画像データを生成可能な補助画像データを入力し、前記補助画像データ、または前記補助画像データと前記動画像データを用いて、距離画像データを生成する。
【０１１９】
ここで、前記距離画像データを生成可能な補助画像データとは、データそのものは直接距離情報を表現しているわけではないが、補助画像データ単独、または補助画像データと画像データの組み合わせを用いて演算することによって距離画像データまたは分解能の低い距離画像データまたは擬似的な距離画像データを生成可能な画像データと定義する。
【０１２０】
一例をあげると、補助画像データが普通の画像である場合、これ単独では距離情報を含まないが、もう一方の画像データと組み合わせてステレオ画像とみなすことによってステレオ法を用いて距離画像が生成できる。したがって普通の画像は補助画像データとなる。
【０１２１】
また、本実施例３では、このようなステレオ画像を補助画像データとして用いた例のみを詳細に説明するが、補助画像データ単独、または補助画像データと画像データの組み合わせを用いて演算することによって距離画像データまたは分解能の低い距離画像データまたは擬似的な距離画像データを生成可能な画像データであるならば、本発明は補助画像データの種類を限定するものではない。
【０１２２】
本実施例３の立体画像生成装置を用いて動画の立体画像を生成するときには、半導体メモリなどの記録手段に、１フレーム毎の動画像データＣＭと、Ｎフレーム毎に距離画像を生成可能な補助画像データＨＭがあらかじめ記録されているとする。動画像データと補助画像データがともに存在するフレーム時刻をＴとすると、ＣＭ（Ｔ），ＣＭ（Ｔ＋１），・・・，ＣＭ（Ｔ＋Ｎ−１）の動画像に対してＨＭ（Ｔ）が１枚存在する。これらの画像から、ＲＭ（Ｔ），ＲＭ（Ｔ＋１），・・・，ＲＭ（Ｔ＋Ｎ−１）の距離画像データを補間生成することによって動画の立体画像データを生成できる。
【０１２３】
なお、本実施例３で用いる補助画像データＨＭ（Ｔ）は、動画像データＣＭ（Ｔ）の撮影位置とは水平方向に異なる位置で撮影された画像データであるとする。
【０１２４】
本実施例３の立体画像生成方法を用いて前記距離画像データＲＭ（Ｔ）を生成するときには、図３０に示すように、まず、動画像データＣＭ（Ｔ）と同じフレーム時刻の補助画像データＨＭ（Ｔ）を選択し（ステップ２２０１）、前記フレーム時刻Ｔの距離画像データＲＭ（Ｔ）を生成する（ステップ２２０２）。
【０１２５】
前記フレーム時刻Ｔの距離画像データＲＭ（Ｔ）を生成するステップ２２０２では、図３１に示すように、まず、図３２（ａ）に示した動画像データＣＭ（Ｔ）と図３２（ｂ）に示した補助画像データＨＭ（Ｔ）の差分の絶対値をとり、その画像ＤＭ（Ｔ）を生成する（ステップ２２０２ａ）。このとき、前記動画像データＣＭ（Ｔ）と補助画像データＨＭ（Ｔ）はステレオ画像なので近景領域は動画像データＣＭ（Ｔ）と補助画像データＨＭ（Ｔ）で画像内の位置が異なり、差分値は０にならない。特に、輝度値の変化が大きい領域においては著しい差分値が発生する。一方、遠景領域は動画像データＣＭ（Ｔ）と補助画像データＨＭ（Ｔ）で画像内の位置がほとんど変わらないので差分値は非常に小さい。
【０１２６】
次に、差分値の画像ＤＭ（Ｔ）の各点ＤＭ（Ｔ）ｘ，ｙが、あらかじめ設定したある差分値ｋ以上なら１、ｋ未満なら０とする（ステップ２２０２ｂ，２２０２ｃ，２２０２ｄ）。その後、ｘまたはｙを更新し（ステップ２２０２ｅ），全てのＤＭ（Ｔ）ｘ，ｙを２値化（２２０２ｆ）して、図３３に示したように、２値化した画像ＤＭ（Ｔ）を生成する。この結果、物体が写っていない領域（遠景領域）は０となる。一方、物体が写っている領域（近景領域）は１になる確率が高いが、輝度の変化に乏しい領域では０になることもあり、０と１の混在したノイジーな画像となる。
【０１２７】
そこで、次に、前記２値化した画像ＤＭ（Ｔ）からノイズを除去する（ステップ２２０２ｇ）。前記ノイズの除去は、例えば、図３４、図３５（ａ）、図３５（ｂ）に示したように、２値化した画像ＤＭ（Ｔ）の全ての画素ＤＭ（Ｔ）ｘ，ｙを中心とした、あらかじめ設定したｐ画素×ｐ画素の各画素の値を調べ（ステップ２２０２ｈ，２２０２ｉ）、１の値を持つ画素があるならＲＭ（Ｔ）ｘ，ｙ＝１とし（ステップ２２０２ｋ）、そうでなければ０とする（ステップ２２０２ｊ）。これによってノイズが除去され、図３６に示すように、近景が１、遠景が０で表現される分解能の低い距離画像ＲＭ（Ｔ）が生成される。
【０１２８】
なお、ノイズの除去方法は、これ以外にメディアンフィルタを用いたり、平滑化フィルタをかけた後、再度２値化する方法もある。本発明はノイズ除去の方法を限定するものではない。
【０１２９】
また、補助画像にもこれ以外の様々な画像が考えられる。例えば、近距離でピントの合う焦点深度の浅い入力画像を補助画像として用いる方法もある。補助画像では遠景領域はボケて撮影されるので高周波成分が著しく小さい。そこで、補助画像と画像について同じ位置の近傍の空間周波数を求めて高周波成分の比を求めることによって、その位置における距離の概略を比から算出することが可能である。本発明は補助画像または補助画像と画像の組み合わせから距離画像を生成できるのであれば補助画像に何を用いるのかを限定するものではない。
【０１３０】
その後、前記手順を繰り返し、動画像データＣＭ（Ｔ）と間欠的に入力した補助画像データＨＭ（Ｔ）から距離画像データＲＭ（Ｔ）を生成した後は、例えば、前記実施例１で説明した手順に沿って、動画の立体画像を生成する。
【０１３１】
なお、本実施例３では分解能の低い距離画像が生成されるので、前記実施例１で説明した生成方法と組み合わせたが、生成される距離画像の分解能が高い場合には前記実施例２で説明した生成方法と組み合わせてもよい。
【０１３２】
以上説明したように、本実施例３の立体画像生成方法によれば、前記距離画像データを生成可能な補助画像データを間欠的に取得し、その補助画像データから距離画像データを生成することにより、前記実施例１または前記実施例２で説明した生成方法と同様に、動画の立体画像を容易に生成することができる。
【０１３３】
また、補助画像データを間欠的に取得することにより、補助画像データを取得する補助画像データ取得手段２０Ａの消費電力量を低減することができる。そのため、前記立体画像生成装置の携帯機器への組み込みが容易になる。
【０１３４】
以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
【０１３５】
【発明の効果】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下の通りである。
（１）動画の立体画像を容易に生成することができる。
（２）動画の立体画像を生成する装置の消費電力量を低減することができる。
【図面の簡単な説明】
【図１】本発明による実施例１の立体画像生成装置の概略構成を示す模式図である。
【図２】本実施例１の立体画像生成装置を用いた立体画像生成方法を説明するための模式図であり、立体画像生成方法の全体的な処理手順を示す図である。
【図３】本実施例１の立体画像生成装置を用いた立体画像生成方法を説明するための模式図であり、立体画像生成方法の全体的な処理手順を示す図である。
【図４】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図５】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図６】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図７】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図８】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図９】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１０】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１１】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１２】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１３】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１４】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１５】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１６】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１７】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１８】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１９】本実施例１の立体画像生成方法で生成した立体画像の特徴を説明するための模式図である。
【図２０】本発明による実施例２の立体画像生成方法の全体的な処理手順を説明するための模式図である。
【図２１】本発明による実施例２の立体画像生成方法の全体的な処理手順を説明するための模式図である。
【図２２】本実施例２の立体画像生成方法の具体例を説明するための模式図である。
【図２３】本実施例２の立体画像生成方法の具体例を説明するための模式図である。
【図２４】本実施例２の立体画像生成方法の具体例を説明するための模式図である。
【図２５】本実施例２の立体画像生成方法の具体例を説明するための模式図である。
【図２６】本実施例２の立体画像生成方法の具体例を説明するための模式図である。
【図２７】前記実施例２の変形例を説明するための模式図である。
【図２８】本発明による実施例３の立体画像生成装置の概略構成を示す模式図である。
【図２９】本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【図３０】本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【図３１】本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【図３２】本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【図３３】本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【図３４】本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【図３５】本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【図３６】本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【符号の説明】
１Ａ…動画像データ取得手段、１Ｂ…動画像データ入力手段、２Ａ…距離画像データ取得手段、２Ｂ…距離画像データ入力手段、３…制御手段、４…動画像データ記録手段、５…距離画像データ記録手段、６…距離画像データ補間手段、７…演算手段、８…表示手段、１０…撮影対象、１１…近景領域、１２…境目領域、１３…輪郭部領域、１５…光源、１６…全反射ミラー、１７…ハーフミラー、２０Ａ…補助画像データ取得手段、２０Ｂ…補助画像データ入力手段、２１…距離画像データ補間生成手段。
【発明の属する技術分野】
本発明は、立体動画像データ生成方法及び立体動画像データ生成装置、ならびに立体動画像データ生成プログラム及び記録媒体に関し、特に、携帯機器等で表示する立体動画像データの生成に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
従来、画像通信の分野では、より高い臨場感が得られる立体画像による動画通信が注目されており、学会発表や企業のデモ試作等も盛んになりつつある。ここで、前記立体画像とは、色や輝度を記録した二次元画像と、計測地点から撮影対象までの距離を記録した距離画像または奥行き画像と呼ばれる画像の組み合わせであるとする。また、前記距離画像とは、各画素に撮影対象までの距離を記録した画像である。また、前記動画とは、例えば、毎秒３０フレーム程度以上の画像からなるものとする。
【０００３】
前記立体画像による動画を生成するときには、例えば、ＴＶカメラ等で前記色や輝度を記録した二次元画像からなる動画像データを入力し、距離計測器等で前記距離画像データを入力する。
【０００４】
また、前記立体画像による動画を生成する方法には、例えば、視差を有する２枚の二次元画像を用いて距離画像データを生成する方法もある。
【０００５】
また、二次元画像の視差画像による立体画像を生成する方法として、距離画像から輪郭部を求めて視差領域を決定し、前後の画像と動きベクトル等を用いて視差量を生成する技術が開示されている（たとえば、特許文献１を参照。）。
【０００６】
【特許文献１】
特開２０００‐２５３４２２号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、前記従来の技術では、前記立体画像による動画通信を行うことが難しいという問題があった。
【０００８】
前記立体画像による動画通信を行うためには、例えば、毎秒３０フレーム以上の距離画像データを入力しなければならないが、従来、そのような高速で距離画像データを取得できる距離計測器は非常に高価であり、携帯機器に組み込んで用いることが難しい。
【０００９】
また、従来の技術では、前記距離画像データは、前記二次元画像と同様に１フレーム時間毎に取得し、入力しているので、消費電力量が高くなる。そのため、充電池等で使用する携帯機器等への組み込みが難しいという問題があった。
【００１０】
また、携帯機器に組み込み可能な技術として、例えば、遠近の区別ができる程度の分解能の低い距離画像データを入力し、これを用いて書き割り形式の立体画像表示を行う方法がある。また、前記分解能の低い距離画像から、擬似的な距離画像データを生成して立体表示する方法もある。ここで、前記擬似的な距離画像データとは、距離を計測によってではなく、人為的に生成したデータであるとする。すなわち、前記擬似的な距離画像データは、必ずしも現実の距離と一致しているわけではなく、近似の度合いは生成のアルゴリズムに依存する。
【００１１】
しかしながら、前記各方法でも、前記各距離画像データは１フレーム時間毎に取得するので、消費電力量が高い。そのため、携帯機器で立体画像を動画入力することが難しいという問題があった。
【００１２】
また、前記特許文献１に記載されたような技術でも、前記距離画像データは１フレーム時間毎に取得するので、消費電力量が高く、携帯機器に組み込んで用いることが難しいという問題があった。
【００１３】
本発明の目的は、動画の立体画像を容易に生成することが可能な技術を提供することにある。
【００１４】
本発明の他の目的は、動画の立体画像を生成する装置の消費電力量を低減することが可能な技術を提供することにある。
【００１５】
本発明の他の目的は、立体画像による動画入力を容易にし、かつ、立体画像生成時の消費電力量を低減することが可能なプログラム及び記録媒体を提供することにある。
【００１６】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【００１７】
【課題を解決するための手段】
本願において開示される発明の概要を説明すれば、以下の通りである。
（１）１フレーム時間毎の動画像データを入力するステップと、前記動画像データから立体画像を生成するためのデータ（以下、距離画像データと称する）を、間欠的なフレーム間隔で入力するステップと、前記動画像データ及び前記入力された距離画像データに基づいて、前記距離画像データが存在しないフレーム時刻の距離画像データを補間生成するステップとを有する立体画像生成方法である。
【００１８】
（２）前記（１）の手段において、前記距離画像データを補間生成するステップは、前記入力された距離画像データから、遠近の境目領域を求めるステップと、前記入力された距離画像データと同じフレーム時刻の動画像データから、前記境目領域と同じ位置、または前記境目領域の近傍の輪郭部領域を求めるステップと、前記距離画像データが存在しないフレーム時刻の動画像データから、前記輪郭部領域に相当する領域を求めるステップと、前記輪郭部領域と、前記輪郭部領域に相当する領域の移動量に基づいて、前記境目領域及びその内部領域を移動させて、前記距離画像データを生成するステップとを有する。
【００１９】
（３）前記（１）の手段において、前記距離画像データを補間生成するステップは、前記入力された距離画像データと同じフレーム時刻の動画像データを選択するステップと、前記選択された動画像データから、前記距離画像データが存在しないフレーム時刻の動画像データまでの間の画像の動きベクトルを求めるステップと、前記入力された距離画像データを複数の領域に分割し、前記動きベクトルに基づいて前記各領域を移動させて、距離画像データを生成するステップとを有する。
【００２０】
（４）前記（１）から（３）の各手段において、前記距離画像データを入力するステップは、前記距離画像データを生成可能な補助画像データを、間欠的なフレーム間隔で入力するステップと、前記補助画像データ、または前記補助画像データ及び前記補助画像データと同じフレーム時刻の動画像データに基づいて距離画像データを生成するステップとを有する。
【００２１】
前記（１）の手段によれば、距離計測器などの前記距離画像データを取得する手段を高速で動作させることができない場合でも、立体画像による動画を容易に得ることができる。
【００２２】
このとき、前記距離画像データを補間生成するステップは、例えば、前記（２）の手段あるいは前記（３）の手段の各ステップによる処理を行う。
【００２３】
また、前記距離画像データを入力するステップは、距離計測器等を用いて、直接距離画像データを入力してもよいし、前記（４）の手段のように、前記補助画像データから間接的に生成した距離画像データを入力してもよい。
【００２４】
（５）１フレーム時間毎の動画像データを入力する動画像データ入力手段と、前記動画像データから立体画像を生成するためのデータ（以下、距離画像データと称する）を、間欠的なフレーム間隔で入力する距離画像データ入力手段と、前記動画像データ入力手段から入力された動画像データ及び前記距離画像データ入力手段から入力された距離画像データに基づいて、前記距離画像データが存在しないフレーム時刻の距離画像データを補間生成する距離画像データ補間手段とを備える立体画像生成装置である。
【００２５】
（６）前記（５）の手段において、前記距離画像データ補間手段は、前記距離画像データ入力手段から入力された距離画像データから、遠近の境目領域を求める手段と、前記距離画像データと同じフレーム時刻の動画像データから、前記境目領域と同じ位置、または前記境目領域の近傍の輪郭部領域を求める手段と、前記距離画像データが存在しないフレーム時刻の動画像データから、前記輪郭部領域に相当する領域を求める手段と、前記輪郭部領域と、前記輪郭部領域に相当する領域の移動量に基づいて、前記境目領域及びその内部領域を移動させて、前記距離画像データを生成する手段とを有する。
【００２６】
（７）前記（５）の手段において、前記距離画像データ補間手段は、前記入力された距離画像データと同じフレーム時刻の動画像データを選択する手段と、前記選択された動画像データから、前記距離画像データが存在しないフレーム時刻の動画像データまでの間の画像の動きベクトルを求める手段と、前記入力された距離画像データを複数の領域に分割し、前記動きベクトルに基づいて前記各領域を移動させて、距離画像データを生成する手段とを備える。
【００２７】
（８）前記（５）から（７）の手段において、前記距離画像データ入力手段は、前記距離画像データを生成可能な補助画像データを、間欠的なフレーム間隔で入力する補助画像データ入力手段と、前記補助画像データ、または前記補助画像データ及び前記補助画像データと同じフレーム時刻の動画像データに基づいて距離画像データを生成する手段とを備える。
【００２８】
前記（５）の手段によれば、距離計測器などの距離画像データを取得する手段を高速で動作させることができない場合でも、立体画像による動画を容易に得ることができる。
【００２９】
また、前記距離画像データを取得する手段が、１フレーム時間毎に距離画像データを取得できる手段であっても、動作を間欠的にすることで、消費電力量を低くすることができる。
【００３０】
また、前記距離画像データ補間手段は、例えば、前記（６）の手段または前記（７）の手段の各手段を備える。
【００３１】
また、前記距離画像データ入力手段は、距離計測器等から前記距離画像データを直接入力する手段であってもよいし、前記（８）の手段のように、前記補助画像データを入力する手段と、前記補助画像データから距離画像データを生成する手段を設けて、間接的に距離画像データを入力してもよい。
【００３２】
以上のようなことから、前記（５）から（８）の手段を用いることで、前記立体画像生成装置の携帯機器への組み込みを容易にすることができる。
【００３３】
（９）前記（１）から（４）の各手段のいずれかの立体画像生成方法の、各ステップをコンピュータに実行させるための立体画像生成プログラムである。
【００３４】
前記（９）の手段によれば、コンピュータなどの汎用機器（装置）を用いて容易に立体画像を生成させることができる。
【００３５】
（１０）前記（９）の手段の立体画像生成プログラムがコンピュータで読み取り可能に記録された記録媒体。
【００３６】
前記（１０）の手段によれば、前記記録媒体をコピー、あるいはネットワークを通して提供することができる。そのため、前記立体画像生成プログラムを実行可能な装置であれば、どのような装置でも立体画像を生成させることができる。
【００３７】
以下、本発明について、図面を参照して実施の形態（実施例）とともに詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは、同一符号を付け、その繰り返しの説明は省略する。
【００３８】
【発明の実施の形態】
（実施例１）
図１は、本発明による実施例１の立体画像生成装置の概略構成を示す模式図である。
【００３９】
本実施例１の立体画像生成装置は、図１に示すように、動画像データ取得手段１Ａから動画像データを入力する動画像データ入力手段１Ｂと、距離画像データ取得手段２Ａから距離画像データを入力する距離画像データ入力手段２Ｂと、前記動画像データ入力手段１Ｂ及び前記距離画像データ入力手段２Ｂに入力する各データの制御をする制御手段３と、前記動画像データ入力手段１から入力された動画像データを記録する動画像データ記録手段４と、前記距離画像データ入力手段２から入力された距離画像データを記録する距離画像データ記録手段５と、距離画像データを補間生成する距離画像データ補間手段６とを備える。
【００４０】
また、前記立体画像生成装置は、例えば、毎秒３０フレーム以上の動画像データと距離画像データの組からなる立体画像を生成する装置であり、生成した前記立体画像は、図１に示したように、演算手段７で演算し、表示手段８で表示することにより立体化された動画像を得ることができる。このとき、前記動画像データ入力手段１Ｂ、前記距離画像データ入力手段２Ｂ、前記制御手段３、前記動画像データ記録手段４、前記距離画像データ記録手段５、前記距離画像データ補間手段６、前記演算手段７の各手段は、コンピュータのＣＰＵやメモリを用いることができる。
【００４１】
図２及び図３は、本実施例１の立体画像生成装置を用いた立体画像生成方法を説明するための模式図であり、立体画像生成方法の全体的な処理手順を示す図である。
【００４２】
本実施例１の立体画像生成装置を用いて前記立体画像を生成するには、まず、図２に示すように、動画像データＣＭ（Ｔ）及び距離画像データＲＭ（Ｔ）を入力し、前記動画像データ記録手段４及び前記距離画像データ記録手段５に記録する。このとき、前記動画像データＣＭ（Ｔ）は、１フレーム時間毎に入力するが、前記距離画像データＲＭ（Ｔ）はＮフレーム間隔、たとえば、図２に示したように、３フレーム毎の間欠的なフレーム間隔で入力する。またこのとき、前記距離画像データＲＭ（Ｔ）は、たとえば、１ｂｉｔの分解能の距離画像データであって、黒い領域１１は近景領域、たとえば、撮影対象１０に相当する領域であり、白い領域は遠景領域であるとする。
【００４３】
しかしながら、この状態では、前記距離画像データＲＭが存在しないフレーム時刻の動画像データＲＭ（Ｔ＋１），ＲＭ（Ｔ＋２）があるので、そのままでは前記立体画像を生成したことにならない。そこで、前記動画像データ及び距離画像データを用いて、存在しないフレーム時間の距離画像データを補間生成する。
【００４４】
本実施例１の立体画像生成方法では、図２及び図３に示すように、初期化（ステップ１４０１）した後、前記距離画像データＲＭ（Ｔ）から、近景と遠景の境目領域１２を求め、この画像をＱ（Ｔ）とする（ステップ１４０２）。
【００４５】
次に、前記距離画像データＲＭ（Ｔ）と同じフレーム時刻Ｔの動画像データＣＭ（Ｔ）から、前記画像Ｑ（Ｔ）の境目領域１２と同じ領域、または近傍の位置にある輪郭部領域１３を求め、この画像をＲ（Ｔ）とする（ステップ１４０３）。
【００４６】
次に、距離画像データが存在しないフレーム時刻Ｔ＋１の動画像データＣＭ（Ｔ＋１）から、前記画像Ｒ（Ｔ）の輪郭部領域１３と同じ領域を求め、この画像をＲ（Ｔ＋１）とする（ステップ１４０４）。前記映像領域を求めるためには、たとえば、既存のパターンマッチング法（田村秀行著、「コンピュータ画像処理入門」、総研出版、ｐ．１４８‐１５３）を用いる。パターンマッチング法には様々なバリエーションがあり、適宜選択することができる。
【００４７】
次に、前記ステップ１４０４で求めた画像Ｒ（Ｔ＋１）における輪郭部領域１３の、前記画像Ｒ（Ｔ）の輪郭部領域１３に対する移動量に合わせて、前記フレーム時刻Ｔの距離画像データＲＭ（Ｔ）における近景領域１１を移動させることで、フレーム時刻Ｔ＋１の距離画像データＲＭ（Ｔ＋１）を生成する（ステップ１４０５）。
【００４８】
その後、次のフレーム時刻Ｔ＋２の距離画像データＲＭ（Ｔ＋２）が存在するか調べる（ステップ１４０６，１４０７，１４０８，１４０９）。本実施例１では、フレーム時刻Ｔ＋２の距離画像データＲＭ（Ｔ＋２）は存在しないので、前記フレーム時刻Ｔ＋１の距離画像データＲＭ（Ｔ＋１）と同様の手順で生成する。このとき、フレーム時刻がＴ＋２の前記動画像データの映像領域の位置は、たとえば、図２に示すように、前記フレーム時刻がＴの動画像データの輪郭部領域と直接パターンマッチングして求めても良いし、フレーム時刻がＴ＋１の動画像データの輪郭部領域とパターンマッチングして求めても良い。
【００４９】
以上の手順を繰り返すことにより、前記距離画像データが存在しないフレーム時刻の距離画像データを順次補間生成することができる。そのため、本実施例１の立体画像生成装置では、１フレーム時間毎に距離画像データを取得する必要がない。そのため、間欠的なフレーム間隔でしか動作できない距離画像データ取得手段２Ａを用いることが可能である。また、前記距離画像データ入力手段２Ａが、１フレーム時間毎の距離画像データを取得できる場合でも、間欠的に動作させることにより、消費電力量を低減することができる。また、本実施例１では、前記距離画像データを３フレーム時間毎に入力しているが、これに限らず、たとえば、５フレーム時間毎あるいは１０フレーム時間毎に入力することも可能であり、フレーム時間間隔を大きくすることで、消費電力量を大幅に低減することができる。
【００５０】
図４乃至図１８は、本実施例１の立体画像生成方法の具体例を説明するための図である。
【００５１】
本実施例１の立体画像生成方法では、まず、図４に示したように、１フレーム毎の動画像データＣＭと、Ｎフレーム毎の距離画像データＲＭを入力し、前記動画像データ記録手段４及び前記距離画像データ記録手段５に記録する。このとき、画像と分解能の低い距離画像がともに存在するフレーム時刻をＴとすると、ＣＭ（Ｔ），ＣＭ（Ｔ＋１），・・・，ＣＭ（Ｔ＋Ｎ−１）の動画像に対してＲＭ（Ｔ）が１枚存在する。これらの画像から、ＲＭ（Ｔ＋１），・・・，ＲＭ（Ｔ＋Ｎ−１）の距離画像データを生成することによって動画の立体画像データを生成する。ここで、ＣＭもＲＭも縦横Ｘ，Ｙ画素の画像サイズであるとする。また、ＣＭ（Ｔ）の座標（ｘ，ｙ）のデータ値をＣＭ（Ｔ）ｘ，ｙと記述し、ＲＭ（Ｔ）の座標（ｘ，ｙ）のデータ値をＲＭ（Ｔ）ｘ，ｙと記述する。ＣＭ（Ｔ）ｘ，ｙはＲＧＢデータであり、ＲＭ（Ｔ）ｘ，ｙは０か１の２値データである。ここで、１は近景、０は遠景を表すものとする。
【００５２】
また、前記動画像データＣＭ及び前記距離画像データＲＭを入力するときには、図５に示すように、動画像撮影用のＴＶカメラ（動画像データ取得手段）１Ａと、距離画像撮影用のＴＶカメラ（距離画像データ取得手段）２Ｂと、フラッシュなどのパルス光を照射する光源１５とを前記制御手段３で制御する。
【００５３】
このとき、前記距離画像データ取得手段２Ａの撮影光軸は、全反射ミラー１６及びハーフミラー１７によって前記動画像データ取得手段１Ａの撮影光軸と合わせ、同じ撮影画角及び同じ撮影視点で撮影できるように設定する。
【００５４】
前記動画像データ取得手段１Ａを用いて前記動画像データＣＭを入力するときには、前記制御手段３から前記動画像データ取得手段１Ａに対して、図６（ａ）に示すように、あらかじめ設定されたフレーム時間毎に制御信号を出力し、前記動画像データを撮影し、前記動画像データ入力手段１Ｂに入力する。このとき、フレームの時間間隔ΔＴは、例えば、１／３０秒に設定する。
【００５５】
一方、前記距離画像データＲＭを入力するときには、前記制御手段３から前記距離画像データ取得手段２Ａに対して、図６（ｂ）に示すように、あらかじめ設定したフレーム間隔のＮ倍の時間間隔、例えば、前記動画像データのフレーム間隔の３倍の時間間隔で制御信号を出力し、間欠的な距離画像データを撮影し、前記距離画像データ入力手段２Ｂに入力する。このとき、前記制御手段３は、前記光源１５にも同じタイミングで制御信号を出力し、撮影対象１０を照明しておく。
【００５６】
なお、前記動画像データ取得手段１Ａと前記距離画像データ取得手段２Ａの撮影開始時刻は、少なくとも前記動画像データ取得手段１Ａの露光時間以上ずらしておくか、もしくは、光源１５から照射する照明光に赤外光を用い、前記距離画像データ取得手段２Ａに赤外カメラを使う等することによって、照明光が前記動画像データ取得手段１のＡ撮影に影響しないようにする。
【００５７】
また、高速度カメラを用いることにより前記動画像データ取得手段１Ａと前記距離画像取得手段２Ａを一台のカメラで兼用することも可能である。この場合、前記全反射ミラー１６及び前記ハーフミラー１７は不要である。
【００５８】
また、前記距離画像データ取得手段２Ａで撮影した距離画像データＲＭＰ（Ｔ）は、例えば、遠近の区別のみを記録した分解能の低い距離画像データＲＭ（Ｔ）に変換する。そこでまず、図７に示すように、時刻Ｔに前記動画像データ取得手段１Ａで撮影した動画像データＣＭ（Ｔ）にもっとも撮影時刻の近い距離画像データＲＭＰ（Ｔ）を選ぶ（ステップ１８０１）。この２枚の画像データは同じ撮影時刻に同じ撮影対象を照明の有無のみが異なって撮影した画像データとみなすことができる。
【００５９】
次に、前記動画像データＣＭ（Ｔ）と距離画像データＲＭＰ（Ｔ）において、同座標（ｘ，ｙ）でＣＭ（Ｔ）ｘ，ｙ／ＲＭＰ（Ｔ）ｘ，ｙの比を求め（ステップ１８０２）、ある設定値ｋ以上の比であった場合にはＲＭ（Ｔ）ｘ，ｙ＝１（ステップ１８０３）、そうでない場合にはＲＭ（Ｔ）ｘ，ｙ＝０（ステップ１８０４）とすることによってＲＭ（Ｔ）ｘ，ｙを生成する。以降、座標（ｘ，ｙ）を更新（ステップ１８０５）して、すべての座標においてＲＭ（Ｔ）ｘ，ｙを生成し（ステップ１８０６）、距離画像データＲＭ（Ｔ）とする。
【００６０】
照明した撮影画像は照明しない撮像画像と比較すると、近景の撮影対象は明るくなるのに対して、遠景の画像の明るさはあまり変わらないため、この判定処理によって、近景領域は１、遠景領域は０で表現される分解能の低い距離画像データＲＭ（Ｔ）が生成されることになる。なお、前記分解能の低い距離画像データＲＭ（Ｔ）は、比の代わりに差を用いて生成しても構わない。
【００６１】
また、本実施例１では分解能の低い距離画像データＲＭ（Ｔ）の入力手段としてフラッシュなどの光源１５を用いる撮影方法を示したが、分解能の低い距離画像データＲＭ（Ｔ）を取得、あるいは入力できるのであれば、前記実施例１に示した方法に限定されるものではなく、近景に焦点のあった画像と遠景に焦点のあった画像（またはパンフォーカス画像）間で空間周波数の大小に応じて距離を算出してもよく、あるいはステレオ撮影して単純に差分を取り、ある設定値を下回る差分値を示した領域を遠景領域として分解能の低い距離画像データＲＭ（Ｔ）を生成すること等が可能である。
【００６２】
次に、図２及び図３に示した手順にしたがって、動画の立体画像データを生成してゆく。
【００６３】
前記距離画像データＲＭ（Ｔ）から境目領域１２の画像Ｑ（Ｔ）を求めるステップ１４０２では、まず、図８に示すように、距離画像データＲＭ（Ｔ）の座標（ｘ，ｙ）の画素ＲＭ（Ｔ）ｘ，ｙと隣接する画素の値を比較する（ステップ１４０２ａ，１４０２ｂ）。このとき、前記ＲＭ（Ｔ）ｘ，ｙと隣接する画素は、図９（ａ）に示すように、８連結で隣接するＲＭ（Ｔ）ｘ−１，ｙ−１、ＲＭ（Ｔ）ｘ−１，ｙ、ＲＭ（Ｔ）ｘ−１，ｙ＋１、ＲＭ（Ｔ）ｘ，ｙ−１、ＲＭ（Ｔ）ｘ，ｙ＋１、ＲＭ（Ｔ）ｘ＋１，ｙ−１、ＲＭ（Ｔ）ｘ＋１，ｙ、ＲＭ（Ｔ）ｘ＋１，ｙ＋１とし、全てが同じデータ値であったときにはＱ（Ｔ）ｘ，ｙ＝０（ステップ１４０２ｃ）、そうでない場合はＱ（Ｔ）ｘ，ｙ＝１（ステップ１４０２ｄ）とする。その後、座標（ｘ，ｙ）を更新（ステップ１４０２ｅ）し、すべての画素ＲＭ（Ｔ）ｘ，ｙについてＱ（Ｔ）ｘ，ｙを求め、図９（ｂ）に示したような、境目領域１２の画像Ｑ（Ｔ）を生成する。
【００６４】
また、前記ステップ１４０２ａでは、画素ＲＭ（Ｔ）ｘ，ｙと８連結で隣接する場合を示したが、４連結で隣接するＲＭ（Ｔ）ｘ−１，ｙ、ＲＭ（Ｔ）ｘ，ｙ−１、ＲＭ（Ｔ）ｘ，ｙ＋１、ＲＭ（Ｔ）ｘ＋１，ｙと比較してＱ（Ｔ）を生成しても良い。
【００６５】
次に、前記動画像データＣＭ（Ｔ）から前記境目領域１２と同じ位置または近傍にある輪郭部領域１３を求めるステップ１４０３は、まず、図１０に示すように、輪郭部領域１３の画像Ｒ（Ｔ）のブロックＲ（Ｔ）ｉ，ｊに相当するＱ（Ｔ）ｉ，ｊを抽出する（ステップ１４０３ａ）。このとき、前記Ｒ（Ｔ）ｉ，ｊは、図１１（ａ）に示すように、横方向がＸ／Ｗ画素，縦方向がＹ／Ｗ画素のブロック画像とし、ｉ，ｊはブロック座標を表している。またこのとき、前記Ｘ，Ｙ，Ｗは、Ｘ／ＷとＹ／Ｗが整数となるように、あらかじめ設定されているものとする。Ｒの各画素は２値データ格納エリアＲｋｉ，ｊと移動ベクトル格納エリアＲＶｉ，ｊで構成されているものとする。
【００６６】
また、前記Ｑ（Ｔ）ｉ，ｊは、図１１（ｂ）に示すように、縦Ｗ画素，横Ｗ画素毎に分割して抽出する。このとき、前記Ｑ（Ｔ）ｉ，ｊの各画素の値を調べ（ステップ１４０３ｂ）、すべて０の場合にはＲｋ（Ｔ）ｉ，ｊ＝０とし（ステップ１４０３ｃ）、１である画素が含まれる場合にはＲｋ（Ｔ）ｉ，ｊ＝１とする（ステップ１４０３ｄ）。その後、ｉまたはｊを更新し（ステップ１４０３ｅ）、すべてのＲ（Ｔ）ｉ，ｊに対するＲｋ（Ｔ）ｉ，ｊを求めるまで繰り返す（ステップ１４０３ｆ）。
【００６７】
前記Ｒｋ（Ｔ）ｉ，ｊは、ＣＭ（Ｔ）に対して遠近の境目領域と同じ位置または近傍にある輪郭部領域のみを示すデータである。すなわち、Ｒｋｉ，ｊ＝１ならば、座標（ｉ×Ｗ，ｊ×Ｗ）から座標（（ｉ＋１）×Ｗ−１，（ｊ＋１）×Ｗ−１）を対角の頂点とするブロック領域が境目領域と同じ位置または近傍にある輪郭部領域となる。また、Ｒｋｉ，ｊ＝０ならば、座標（ｉ×Ｗ，ｊ×Ｗ）から座標（（ｉ＋１）×Ｗ−１，（ｊ＋１）×Ｗ−１）を対角の頂点とするブロック領域は境目領域と同じ位置または近傍にある輪郭部領域ではない。そのため、Ｒｋ（Ｔ）ｉ，ｊを求めることにより、図１２に示したような、輪郭部領域１３の画像Ｒ（Ｔ）が得られる。
【００６８】
なお、本実施例１では輪郭部領域１３の画像Ｒ（Ｔ）のブロックＲ（Ｔ）ｉ，ｊを矩形状のブロックに分割したが、これに限らず、種々の形状で分割し、抽出してよい。
【００６９】
次に、フレーム時刻Ｔ＋ｎの動画像データＣＭ（Ｔ＋ｎ）から、前記ステップ１４０３で求めた輪郭部領域１３に相当する輪郭部領域を求めるステップ１４０４では、まず、図１３に示すように、前記ＣＭ（Ｔ）において、Ｒｋ（Ｔ）ｉ，ｊ＝１のブロックを抽出する（ステップ１４０４ａ）。
【００７０】
次に、Ｒｋ（Ｔ）ｉ，ｊ＝１のブロックから、図１４（ａ）に示すように、ＣＭ（Ｔ）の座標（ｉ×Ｗ，ｊ×Ｗ）から座標（（ｉ＋１）×Ｗ−１，（ｊ＋１）×Ｗ−１）のブロックを、縦横Ｗ画素の参照画像Ｂ（Ｔ）ｉ，ｊとして切り出す（ステップ１４０４ａ，１４０４ｂ）。
【００７１】
次に、図１４（ｂ）に示すように、ＣＭ（Ｔ＋ｎ）内でもっともＢ（Ｔ）ｉ，ｊに画像内容の近いブロックを決定し、このブロックの左上の座標値（ｉ×Ｗ＋ｄｘ，ｊ×Ｗ＋ｄｙ）を得る（ステップ１４０４ｃ）。このときｄｘとｄｙはフレーム数ｎ進んだ画像におけるＢ（Ｔ＋ｎ）ｉ，ｊに含まれる輪郭部領域のｘ方向とｙ方向に移動した距離を表す。ｄｘとｄｙをＲＶ（Ｔ＋ｎ）ｉ，ｊに格納する（ステップ１４０４ｄ）。
【００７２】
なお、画像内容の近いブロックは、２つのブロック毎に相関量を求め画像内で最も高い相関量を示したブロックを画像内容の近いブロックと決定する。相関量の式は統計論で用いられる厳密な式から画素毎の差分の二乗和等の簡略な式まで様々な既存の式があり、ブロックの探索法（例えば、Ｋ．Ｒ．Ｒａｏ 他著、「デジタル放送・インターネットのための情報圧縮技術」、共立出版、ｐ．６９‐７１）も様々な既存手法が存在するが、本発明ではこれらを特定の式または手法に限定するものではない。また、本実施例ではブロック相関法を用いた例を示したが、輪郭部領域のｘ方向とｙ方向に移動した距離が求められるのであればブロック相関法に限定するものではない。
【００７３】
次に、ｉまたはｊを更新して（ステップ１４０４ｅ）、上記の処理を全てのＲｋ（Ｔ）ｉ，ｊ＝１であるブロックに対して行い（ステップ１４０４ｆ）、各々のブロックに対して移動量ｄｘ，ｄｙを求めてＲＶ（Ｔ＋ｎ）ｉ，ｊに格納する。そしてさらに、画像Ｒ（Ｔ）内の各Ｂ（Ｔ）ｉ，ｊをＲＶ（Ｔ＋ｎ）ｉ，ｊのｄｘ及びｄｙに基づいて移動させることにより、図１５に示すように、フレーム時刻Ｔ＋ｎの動画像データＣＭ（Ｔ＋ｎ）に対応する輪郭部領域１３の画像Ｒ（Ｔ＋ｎ）が得られる。
【００７４】
次に、フレーム時刻Ｔ＋ｎの距離画像データＲＭ（Ｔ＋ｎ）を生成するステップ１４０５では、まず、図１６に示すように、フレーム時刻Ｔの距離画像データＲＭ（Ｔ）から、前記ブロックＢ（Ｔ）ｉ，ｊに相当するブロックを、ＲＶ（Ｔ＋ｎ）ｉ，ｊのｄｘ及びｄｙに基づいて移動させる（ステップ１４０５ａ）。このとき、前記移動させるブロックは、図１７（ａ）及び図１７（ｂ）に示すように、Ｒｋ（Ｔ）ｉ，ｊ＝１のブロックのみ、すなわち境目領域１２のみをまず移動させる。
【００７５】
ところで、移動前にブロック内に存在する境目領域はブロック間で連続しているが、移動方向や移動量によっては移動後のブロック間で途切れてしまうことがある。不連続になってしまった境目領域については、各々のブロック境界で途切れた点同士を直線で接続することによって連続性を回復する（ステップ１４０５ｂ）。なお、本実施例では直線補間による接続例を示したが、本発明は接続を直線補間に限定するものではない。
【００７６】
次に、境目領域１２で囲まれた内部領域を全て境目領域内側の近傍領域のデータに置き換えることによって塗りつぶすことで、図１８に示すように、フレーム時刻Ｔ＋ｎの距離画像データＲＭ（Ｔ＋ｎ）が得られる。
【００７７】
その後、図３に示したように、フレーム時刻を更新して、前記各ステップの処理を繰り返し行うことによって、距離画像データを取得していないフレーム時刻における分解能の低い距離画像データＲＭ（Ｔ＋ｎ）が全て生成され、動画の立体画像データが生成されることになる。
【００７８】
図１９は、本実施例１の立体画像生成方法で生成した立体画像の特徴を説明するための模式図である。
【００７９】
本実施例１の方法によって生成される距離画像データは、動画像データから抽出したｘ方向とｙ方向の動きに合わせて距離画像を移動させて生成するものである。そのため、撮影対象のｚ方向の動きを正確に表現することができない。例えば、図１９（ａ）に示すように、撮影対象が撮影地点に近づくと、実際には、図１９（ｂ）に示したように、撮影地点に近づくにつれて、奥行き（ｚ方向）の距離ｚが大きくなる。しかしながら、本実施例１によって生成される距離画像は図１９（ｃ）のように、奥行きの距離ｚがほとんど変わらない。したがって工業計測に使用するような動画の立体画像データの生成には不向きである。しかしながら、映像産業や通信産業で用いられる立体画像通信のような人間が見ることが目的である場合、画像と組み合わせて提示されるので、人間の視覚認識機構が合理的な解釈を行うことによって不自然さが目立たない。また、分解能の低い距離画像や擬似的な距離画像である場合、この点は元々問題にならない。
【００８０】
以上説明したように、本実施例１の立体画像生成装置を用いた立体画像生成方法によれば、１フレーム毎に距離画像データを取得することができない距離画像データ取得手段２Ａを用いても、容易に動画の立体画像を生成することができる。
【００８１】
また、１フレーム毎に距離画像データを取得することができる距離画像データ取得手段２Ａであっても、間欠的に取得することで、前記距離画像データ取得手段２Ａの消費電力量を低減することができる。そのため、前記立体画像生成装置の携帯機器への組み込みが容易になる。
【００８２】
また、前記立体画像生成方法をプログラム化すれば、前記各ステップをコンピュータに実行させることが可能である。そのため、専用の装置を用いることなく、動画の立体画像を容易に生成することができる。このとき、前記立体画像を生成するプログラムは、半導体メモリやハードディスク、ＣＤ−ＲＯＭ等の記録媒体によって提供することも出来るし、ネットワークを通して提供することも可能である。
【００８３】
なお、本実施例１では、分解能の低い距離画像の取得手段としてフラッシュを用いる撮影方法を示したが、分解能の低い距離画像を取得できるのであれば、実施例に示した方法に限定するものではなく、近景に焦点のあった画像と遠景に焦点のあった画像（またはパンフォーカス画像）間で空間周波数の大小に応じて距離を算出してもよく、あるいはステレオ撮影して単純に差分を取り、ある設定値を下回る差分値を示した領域を遠景領域として分解能の低い距離画像を生成すること等が可能である。
【００８４】
（実施例２）
図２０乃至図２１は、本発明による実施例２の立体画像生成方法の全体的な処理手順を説明するための模式図である。
【００８５】
本実施例２の立体画像生成方法は、例えば、前記実施例１で説明したような立体画像生成装置を用いて行うので、装置に関する詳細な説明は省略する。
【００８６】
本実施例２の立体画像生成方法は、まず、図２０に示すように、動画像データＣＭ（Ｔ）及び距離画像データＲＭ（Ｔ）を入力し、前記動画像データ記録手段４及び前記距離画像データ記録手段５に記録する。このとき、前記動画像データＣＭ（Ｔ）は、１フレーム時間毎に入力するが、前記距離画像データＲＭ（Ｔ）はＮフレーム間隔、例えば、図２０に示したように、３フレーム毎の間欠的なフレーム間隔で入力する。
【００８７】
しかしながら、この状態では、前記距離画像データＲＭが存在しないフレーム時刻の動画像データＣＭ（Ｔ＋１），ＣＭ（Ｔ＋２）があるので、そのままでは前記立体画像を生成したことにならない。そこで、前記動画像データ及び距離画像データを用いて、存在しないフレーム時間の距離画像データを補間生成する。
【００８８】
本実施例２の立体画像生成方法では、まず、図２０及び図２１に示したように、あるフレーム時刻の距離画像データＲＭと、同フレーム時刻の動画像データを選択する（ステップ１９０２）。ここでは、図２０に示したように、フレーム時刻Ｔの動画像データＣＭ（Ｔ）と距離画像データＲＭ（Ｔ）が選択された場合を説明する。なお、図２０に示した距離画像データＲＭ（Ｔ），ＲＭ（Ｔ＋３）は、黒い領域が撮影地点からの距離が近い領域（近景領域）１１を表しており、距離が遠くなるにしたがって白くなる。
【００８９】
次に、前記ステップ１９０２で選択した動画像データＣＭ（Ｔ）と、距離画像データのないフレーム時刻Ｔ＋１の動画像データＣＭ（Ｔ＋１）との間での画像の動きベクトルを求める（ステップ１９０３）。この求めた動きベクトルをＭ（Ｔ＋１）に示す。動きベクトルの画像Ｍ（Ｔ＋１）中で矢印の記号ＭＶが検出した動きベクトルである。なお、分かり易いように動きベクトルを矢印で図示したが、実際の画像データＭ（Ｔ＋１）は各画素に動きベクトル情報ＭＶが記録された画像であってこのような矢印で描かれた画像ではない。
【００９０】
次に、フレーム時刻Ｔの距離画像データＲＭ（Ｔ）を複数の領域に分割し、各領域を前記動きベクトルＭＶに従って別々に移動させることによって、フレーム時刻Ｔ＋１における距離画像データＲＭ（Ｔ＋１）を生成する（ステップ１９０４）。ここで前記距離画像データＲＭ（Ｔ）の領域は、動きベクトルＭＶの領域に合わせる。例えば、動きベクトルＭＶが画素毎に与えられているならば、前記距離画像データＲＭ（Ｔ）は画素単位で移動させる。また、動きベクトルＭＶがあるブロック領域の動きベクトルであるならば、各々の領域とはそのブロック領域単位である。この領域は動きベクトルを求める方法に依存するが、本発明は特定の動きベクトル生成法に限定するものではない。
【００９１】
次に、フレーム時刻を更新し（ステップ１９０５）、動画像データＣＭ（Ｔ＋２）及び距離画像データＲＭ（Ｔ＋２）が存在するか判定し（ステップ１９０６，１９０７）、動画像データＣＭ（Ｔ＋２）はあるが距離画像データＲＭ（Ｔ＋２）がない場合には、前記ステップ１９０３に戻って、距離画像データＲＭ（Ｔ＋２）を補間生成する。このとき、前記距離画像データＲＭ（Ｔ＋２）は、例えば、図２０に示したように、フレーム時刻Ｔの動画像データＣＭ（Ｔ）とフレーム時刻Ｔ＋２の動画像データＣＭ（Ｔ＋２）から動きベクトルＭＶを求め、その動きベクトルにしたがって前記フレーム時刻Ｔの距離画像データＲＭ（Ｔ）の各領域を移動させ、フレーム時刻Ｔ＋２の距離画像データＲＭ（Ｔ＋２）を生成する。
【００９２】
以上の手順を繰り返すことにより、前記距離画像データが存在しないフレーム時刻の距離画像データを順次補間生成することができる。そのため、本実施例２の立体画像生成方法でも、１フレーム時間毎に距離画像データを入力する必要がない。そのため、間欠的なフレーム間隔でしか動作できない距離画像データ取得手段１Ａを用いることが可能である。また、前記距離画像データ取得手段１Ａが、１フレーム時間毎の距離画像データを取得できる場合でも、間欠的に動作させることにより、消費電力量を低減することができる。また、本実施例２でも、前記距離画像データを３フレーム時間毎に入力しているが、これに限らず、たとえば、５フレーム時間毎あるいは１０フレーム時間毎に入力することも可能であり、フレーム時間間隔を大きくすることで、消費電力量を大幅に低減することができる。
【００９３】
図２２乃至図２６は、本実施例２の立体画像生成方法の具体例を説明するための模式図である。
【００９４】
本実施例２の立体画像生成方法では、１フレーム時間毎の動画像データＣＭと、Ｎフレーム時間毎の距離画像データＲＭが、半導体メモリ等の動画像データ記録手段４及び距離画像データ記録手段５にあらかじめ記録されているとする。このとき、前記動画像データと前記距離画像データがともに存在するフレーム時刻をＴとすると、ＣＭ（Ｔ），ＣＭ（Ｔ＋１），・・・，ＣＭ（Ｔ＋Ｎ−１）の動画像データに対して距離画像データＲＭ（Ｔ）が１枚存在する。これらの画像から、ＲＭ（Ｔ＋１），・・・，ＲＭ（Ｔ＋Ｎ−１）の距離画像データを補間生成することによって動画の立体画像データを生成する。ここで、ＣＭもＲＭも、横方向がＸ画素、縦方向がＹ画素の画像サイズであるとする。また、ＣＭ（Ｔ）の座標（ｘ，ｙ）のデータ値をＣＭ（Ｔ）ｘ，ｙと記述し、ＲＭ（Ｔ）の座標（ｘ，ｙ）のデータ値をＲＭ（Ｔ）ｘ，ｙと記述する。ＣＭ（Ｔ）ｘ，ｙはＲＧＢデータであり、ＲＭ（Ｔ）ｘ，ｙは距離を記録したスカラ値である。
【００９５】
また、前記動画像データＣＭ（Ｔ）を取得する動画像データ取得手段１Ａには、前記実施例１で説明した動画像撮影用のＴＶカメラを用いる。また、前記距離画像データＲＭ（Ｔ）を取得する距離画像データ取得手段２Ａには、たとえば、光切断法（例えば、吉澤徹著、「光三次元計測」、新技術コミュニケーションズ、ｐ．２８‐３７）、ＴＯＦ（光飛行時間計測法）（例えば、井口征士、「３次元計測の最新の動向」、計測と制御、第３４巻、第６号、ｐ．４３０や、河北真宏、「ハイビジョン３次元カメラ：Ａｘｉ−ｖｉｓｉｏｎ カメラ」、平１４年度技研公開 公演・研究発表会予稿集、ｐ．５８‐６３）、種々のパターン投影法（例えば、吉澤徹著、「光三次元計測（第２版）」、新技術コミュニケーションズ、ｐ．７７‐９９）、種々のステレオ法（例えば、画像電子学会著、「３次元画像用語辞典」、新技術コミュニケーションズ、ｐ．５１）等に基づく距離計測装置を使用する。
【００９６】
前記動画像データＣＭ（Ｔ）と間欠的な距離画像データＲＭ（Ｔ）を用いて距離画像データを補間生成するときには、まず、あるフレーム時刻Ｔにおける距離画像データＲＭ（Ｔ）と、同フレーム時刻の画像データＣＭ（Ｔ）を選択する（ステップ１９０２）。
【００９７】
次に、前記フレーム時刻Ｔの動画像データＣＭ（Ｔ）と、距離画像データのないフレーム時刻Ｔ＋ｎの動画像データＣＭ（Ｔ＋ｎ）との間での画像の動きベクトルを求めるステップ１９０３を行う。
【００９８】
前記ステップ１９０３では、図２２に示すように、動画像データＣＭ（Ｔ）を縦Ｗ画素、横Ｗ画素のブロックに格子状に分割する（ステップ１９０３ａ）。このとき、図２３（ａ）及び図２３（ｂ）に示すように、各々のブロックサイズはＷ×Ｗであり、横方向のブロック数はＸ／Ｗ、縦方向のブロック数はＹ／Ｗである。なお、ＸとＹは、Ｗで割り切れるような値があらかじめ設定されているものとする。このとき、ブロック座標（ｉ，ｊ）のブロックをＢ（Ｔ）ｉ，ｊと記述する。
【００９９】
次に、動きベクトル画像Ｍ（Ｔ＋ｎ）を生成する。このとき、前記動きベクトル画像Ｍ（Ｔ＋ｎ）は、前記ブロックＢ（Ｔ）ｉ，ｊと同じサイズ、すなわち、横Ｘ／Ｗ、縦Ｙ／Ｗのブロック状の二次元データＭＶ（Ｔ＋ｎ）ｉ，ｊからなり、各要素には二次元のベクトルデータが格納されるとする。
【０１００】
このとき、まず、各々のブロック座標（ｉ，ｊ）に対応するＢ（Ｔ）ｉ，ｊを選択し、図２４（ａ）に示すように、Ｂ（Ｔ）ｉ，ｊにもっとも画像内容の近いブロックをＣＭ（Ｔ＋ｎ）内から決定する（ステップ１９０３ｂ）。
【０１０１】
次に、図２４（ｂ）に示すように、前記ＣＭ（Ｔ＋ｎ）から決定したこのブロックの左上の座標値（ｉ×Ｗ＋ｄｘ，ｊ×Ｗ＋ｄｙ）を得る。このときｄｘ及びｄｙはｎフレーム進んだ画像におけるＢ（Ｔ）ｉ，ｊの動きベクトルＭＶ（Ｔ＋ｎ）ｉ，ｊである。ｄｘ及びｄｙをＭＶ（Ｔ＋ｎ）ｉ，ｊに格納する（ステップ１９０３ｃ）。
【０１０２】
なお、前記動きベクトルＭＶ（Ｔ＋ｎ）ｉ，ｊを求める処理は、ブロックマッチング法と呼ばれ、例えば、ＭＰＥＧ２画像生成時の動き予測に用いられる公知の手法である。一般に、２つのブロック毎に相関量を求め画像内で最も高い相関量を示したブロックを画像内容の近いブロックと決定するが、相関量の式は統計論で用いられる厳密な式から画素毎の差分の二乗和等の簡略な式まで様々な既存の式があり、ブロックの探索法、移動後のブロック間歪み除去法なども様々な既存手法が存在する。本発明ではこれらを特定の式または手法に限定するものではない。また、本実施例２ではブロックマッチング法を用いた例を示したが、画像内の動きベクトルを求められるのであれば、ブロックマッチング法に限定するものではない。この結果、生成されたＭＶ（Ｔ＋ｎ）ｉ，ｊはフレーム時刻ＴからＴ＋ｎに変わった際の画像内の動きを表す。
【０１０３】
その後、ｉまたはｊを更新し（ステップ１９０３ｄ）、ＣＭ（Ｔ）の全てのブロックＢ（Ｔ）ｉ，ｊで同様の処理を繰り返す（ステップ１９０３ｅ）。
【０１０４】
次に、前記距離画像データＲＭ（Ｔ）の各領域を前記動きベクトル画像Ｍ（Ｔ＋ｎ）に基づいて移動させるステップ１９０４では、まず、図２５に示すように、前記距離画像データＲＭ（Ｔ）を、前記ブロックＢ（Ｔ）ｉ，ｊと同じサイズのブロックＲＭ（Ｔ）ｉ，ｊに分割する（ステップ１９０４ａ）。その後、図２６（ａ）に示すように、前記ブロックＲＭ（Ｔ）ｉ，ｊを前記動きベクトルＭＶ（Ｔ＋ｎ）ｉ，ｊで移動させる（ステップ１９０４ｂ）。その後、ｉまたはｊを更新し（ステップ１９０４ｃ）、全てのブロックＲＭ（Ｔ）ｉ，ｊを移動させると、図２６（ｂ）に示したように、フレーム時刻Ｔ＋ｎの距離画像データＲＭ（Ｔ＋ｎ）が得られる。
【０１０５】
その後は、ｎ＝ｎ＋１としてフレーム時刻を更新し、距離画像データＲＭ（Ｔ＋ｎ）が存在しない場合には、前記手順を繰り返し、距離画像データＲＭ（Ｔ＋ｎ）を生成する。
【０１０６】
このとき、前記フレーム時刻Ｔ＋ｎの距離画像データＲＭ（Ｔ＋ｎ）は、例えば、図２０に示したように、フレーム時刻Ｔの動画像データＣＭ（Ｔ）及び距離画像データＲＭ（Ｔ）と、フレーム時刻Ｔ＋ｎの動画像データＣＭ（Ｔ＋ｎ）を用いて生成する。
【０１０７】
以下、距離画像データＲＭが存在する動画像ベクトルＣＭのフレーム時刻になるまで、前記処理を繰り返し行うことで、フレーム時刻Ｔとフレーム時刻Ｔ＋Ｎの間の距離画像データＲＭを補間生成することができる。
【０１０８】
以上説明したように、本実施例２の立体画像生成方法によれば、１フレーム毎に距離画像データを取得することができない取得手段を用いても、容易に動画の立体画像を生成することができる。
【０１０９】
また、１フレーム毎に距離画像データを取得することができる取得手段であっても、間欠的に取得することで、前記距離画像データ取得手段２Ａの消費電力量を低減することができる。そのため、前記立体画像を生成する装置の携帯機器への組み込みが容易になる。
【０１１０】
また、本実施例２の立体画像生成方法では、前記手順で説明したように、距離計測器から入力した距離画像データの代わりに、前記実施例１で説明したような、遠近の区別ができる程度の分解能の低い距離画像データを用いることも出来る。その場合は、輪郭部領域のみの動きを求めればよいので、計算量が少なくなり、消費電力量をさらに低減することができる。
【０１１１】
図２７は、前記実施例２の変形例を説明するための模式図である。
【０１１２】
前記実施例２では、フレーム時刻Ｔとフレーム時刻Ｔ＋Ｎの間のフレーム時刻Ｔ＋ｎの距離画像データを補間生成するときに、図２０に示したように、前記フレーム時刻Ｔの動画像データＣＭ（Ｔ）及び距離画像データＲＭ（Ｔ）、ならびにフレーム時刻Ｔ＋ｎの動画像データＣＭ（Ｔ＋ｎ）を用いて距離画像データＲＭ（Ｔ＋ｎ）を補間生成する例を示したが、その代わりに、例えば、１フレーム前の動画像データＣＭ（Ｔ＋ｎ−１）及び補間生成した距離画像データＲＭ（Ｔ＋ｎ−１）、ならびに動画像データＣＭ（Ｔ＋ｎ）を用いて距離画像データＲＭ（Ｔ＋ｎ）を生成してもよい。
【０１１３】
前記動画像データは通常、画像フレームの更新に伴い、撮影対象の輪郭形状が徐々に変形していくため、前記実施例２のように、常に初めのフレーム時刻Ｔで得られた輪郭部領域との間でパターンマッチングを行う方法では、変形量がある一定量以上となる、時間的に離れたフレームにおいて正しいパターンマッチングが行えなくなる。一方、図２７に示した方法の場合、直前のフレームで得られた輪郭部領域との間でパターンマッチングを行うことにより前記動きベクトルを求めるので、前記距離画像データが存在しないフレームの数の多少に関わらず、撮影対象の輪郭形状の変形量は、常に１フレーム以内でありその量は微小である。したがって、図２７に示した方法の場合、距離画像データが存在しないフレームの数が多くても、前記動画の立体画像を精度よく生成することができる。
【０１１４】
（実施例３）
図２８は、本発明による実施例３の立体画像生成装置の概略構成を示す模式図である。
【０１１５】
本実施例３の立体画像生成装置は、図２８に示すように、動画像データ取得手段１Ａから動画像データを入力する動画像データ入力手段１Ｂと、補助画像データ取得手段２０Ａから補助画像データを入力する補助画像データ入力手段２０Ｂと、前記動画像データ入力手段１Ｂ及び前記補助画像データ入力手段２０Ｂに入力する各データを制御する制御手段３と、前記動画像データ入力手段１から入力された動画像データを記録する動画像データ記録手段４と、前記補助画像データ入力手段２０から入力された補助画像データ及び距離画像データを記録する距離画像データ記録手段５と、距離画像データを補間生成する距離画像データ補間生成手段２１とを備える。
【０１１６】
また、前記立体画像生成装置は、たとえば、毎秒３０フレーム以上の動画像データと距離画像データの組からなる立体画像を生成する装置であり、生成した前記立体画像は、図２８に示したように、演算手段７で演算し、表示手段８で表示することにより立体化された動画像を得ることができる。
【０１１７】
図２９乃至図３６は、本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【０１１８】
本実施例３の立体画像生成装置では、前記実施例１及び前記実施例２と異なり、図２９に示すように、前記距離画像データを生成可能な補助画像データを入力し、前記補助画像データ、または前記補助画像データと前記動画像データを用いて、距離画像データを生成する。
【０１１９】
ここで、前記距離画像データを生成可能な補助画像データとは、データそのものは直接距離情報を表現しているわけではないが、補助画像データ単独、または補助画像データと画像データの組み合わせを用いて演算することによって距離画像データまたは分解能の低い距離画像データまたは擬似的な距離画像データを生成可能な画像データと定義する。
【０１２０】
一例をあげると、補助画像データが普通の画像である場合、これ単独では距離情報を含まないが、もう一方の画像データと組み合わせてステレオ画像とみなすことによってステレオ法を用いて距離画像が生成できる。したがって普通の画像は補助画像データとなる。
【０１２１】
また、本実施例３では、このようなステレオ画像を補助画像データとして用いた例のみを詳細に説明するが、補助画像データ単独、または補助画像データと画像データの組み合わせを用いて演算することによって距離画像データまたは分解能の低い距離画像データまたは擬似的な距離画像データを生成可能な画像データであるならば、本発明は補助画像データの種類を限定するものではない。
【０１２２】
本実施例３の立体画像生成装置を用いて動画の立体画像を生成するときには、半導体メモリなどの記録手段に、１フレーム毎の動画像データＣＭと、Ｎフレーム毎に距離画像を生成可能な補助画像データＨＭがあらかじめ記録されているとする。動画像データと補助画像データがともに存在するフレーム時刻をＴとすると、ＣＭ（Ｔ），ＣＭ（Ｔ＋１），・・・，ＣＭ（Ｔ＋Ｎ−１）の動画像に対してＨＭ（Ｔ）が１枚存在する。これらの画像から、ＲＭ（Ｔ），ＲＭ（Ｔ＋１），・・・，ＲＭ（Ｔ＋Ｎ−１）の距離画像データを補間生成することによって動画の立体画像データを生成できる。
【０１２３】
なお、本実施例３で用いる補助画像データＨＭ（Ｔ）は、動画像データＣＭ（Ｔ）の撮影位置とは水平方向に異なる位置で撮影された画像データであるとする。
【０１２４】
本実施例３の立体画像生成方法を用いて前記距離画像データＲＭ（Ｔ）を生成するときには、図３０に示すように、まず、動画像データＣＭ（Ｔ）と同じフレーム時刻の補助画像データＨＭ（Ｔ）を選択し（ステップ２２０１）、前記フレーム時刻Ｔの距離画像データＲＭ（Ｔ）を生成する（ステップ２２０２）。
【０１２５】
前記フレーム時刻Ｔの距離画像データＲＭ（Ｔ）を生成するステップ２２０２では、図３１に示すように、まず、図３２（ａ）に示した動画像データＣＭ（Ｔ）と図３２（ｂ）に示した補助画像データＨＭ（Ｔ）の差分の絶対値をとり、その画像ＤＭ（Ｔ）を生成する（ステップ２２０２ａ）。このとき、前記動画像データＣＭ（Ｔ）と補助画像データＨＭ（Ｔ）はステレオ画像なので近景領域は動画像データＣＭ（Ｔ）と補助画像データＨＭ（Ｔ）で画像内の位置が異なり、差分値は０にならない。特に、輝度値の変化が大きい領域においては著しい差分値が発生する。一方、遠景領域は動画像データＣＭ（Ｔ）と補助画像データＨＭ（Ｔ）で画像内の位置がほとんど変わらないので差分値は非常に小さい。
【０１２６】
次に、差分値の画像ＤＭ（Ｔ）の各点ＤＭ（Ｔ）ｘ，ｙが、あらかじめ設定したある差分値ｋ以上なら１、ｋ未満なら０とする（ステップ２２０２ｂ，２２０２ｃ，２２０２ｄ）。その後、ｘまたはｙを更新し（ステップ２２０２ｅ），全てのＤＭ（Ｔ）ｘ，ｙを２値化（２２０２ｆ）して、図３３に示したように、２値化した画像ＤＭ（Ｔ）を生成する。この結果、物体が写っていない領域（遠景領域）は０となる。一方、物体が写っている領域（近景領域）は１になる確率が高いが、輝度の変化に乏しい領域では０になることもあり、０と１の混在したノイジーな画像となる。
【０１２７】
そこで、次に、前記２値化した画像ＤＭ（Ｔ）からノイズを除去する（ステップ２２０２ｇ）。前記ノイズの除去は、例えば、図３４、図３５（ａ）、図３５（ｂ）に示したように、２値化した画像ＤＭ（Ｔ）の全ての画素ＤＭ（Ｔ）ｘ，ｙを中心とした、あらかじめ設定したｐ画素×ｐ画素の各画素の値を調べ（ステップ２２０２ｈ，２２０２ｉ）、１の値を持つ画素があるならＲＭ（Ｔ）ｘ，ｙ＝１とし（ステップ２２０２ｋ）、そうでなければ０とする（ステップ２２０２ｊ）。これによってノイズが除去され、図３６に示すように、近景が１、遠景が０で表現される分解能の低い距離画像ＲＭ（Ｔ）が生成される。
【０１２８】
なお、ノイズの除去方法は、これ以外にメディアンフィルタを用いたり、平滑化フィルタをかけた後、再度２値化する方法もある。本発明はノイズ除去の方法を限定するものではない。
【０１２９】
また、補助画像にもこれ以外の様々な画像が考えられる。例えば、近距離でピントの合う焦点深度の浅い入力画像を補助画像として用いる方法もある。補助画像では遠景領域はボケて撮影されるので高周波成分が著しく小さい。そこで、補助画像と画像について同じ位置の近傍の空間周波数を求めて高周波成分の比を求めることによって、その位置における距離の概略を比から算出することが可能である。本発明は補助画像または補助画像と画像の組み合わせから距離画像を生成できるのであれば補助画像に何を用いるのかを限定するものではない。
【０１３０】
その後、前記手順を繰り返し、動画像データＣＭ（Ｔ）と間欠的に入力した補助画像データＨＭ（Ｔ）から距離画像データＲＭ（Ｔ）を生成した後は、例えば、前記実施例１で説明した手順に沿って、動画の立体画像を生成する。
【０１３１】
なお、本実施例３では分解能の低い距離画像が生成されるので、前記実施例１で説明した生成方法と組み合わせたが、生成される距離画像の分解能が高い場合には前記実施例２で説明した生成方法と組み合わせてもよい。
【０１３２】
以上説明したように、本実施例３の立体画像生成方法によれば、前記距離画像データを生成可能な補助画像データを間欠的に取得し、その補助画像データから距離画像データを生成することにより、前記実施例１または前記実施例２で説明した生成方法と同様に、動画の立体画像を容易に生成することができる。
【０１３３】
また、補助画像データを間欠的に取得することにより、補助画像データを取得する補助画像データ取得手段２０Ａの消費電力量を低減することができる。そのため、前記立体画像生成装置の携帯機器への組み込みが容易になる。
【０１３４】
以上、本発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において、種々変更可能であることはもちろんである。
【０１３５】
【発明の効果】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下の通りである。
（１）動画の立体画像を容易に生成することができる。
（２）動画の立体画像を生成する装置の消費電力量を低減することができる。
【図面の簡単な説明】
【図１】本発明による実施例１の立体画像生成装置の概略構成を示す模式図である。
【図２】本実施例１の立体画像生成装置を用いた立体画像生成方法を説明するための模式図であり、立体画像生成方法の全体的な処理手順を示す図である。
【図３】本実施例１の立体画像生成装置を用いた立体画像生成方法を説明するための模式図であり、立体画像生成方法の全体的な処理手順を示す図である。
【図４】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図５】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図６】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図７】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図８】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図９】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１０】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１１】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１２】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１３】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１４】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１５】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１６】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１７】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１８】本実施例１の立体画像生成方法の具体例を説明するための模式図である。
【図１９】本実施例１の立体画像生成方法で生成した立体画像の特徴を説明するための模式図である。
【図２０】本発明による実施例２の立体画像生成方法の全体的な処理手順を説明するための模式図である。
【図２１】本発明による実施例２の立体画像生成方法の全体的な処理手順を説明するための模式図である。
【図２２】本実施例２の立体画像生成方法の具体例を説明するための模式図である。
【図２３】本実施例２の立体画像生成方法の具体例を説明するための模式図である。
【図２４】本実施例２の立体画像生成方法の具体例を説明するための模式図である。
【図２５】本実施例２の立体画像生成方法の具体例を説明するための模式図である。
【図２６】本実施例２の立体画像生成方法の具体例を説明するための模式図である。
【図２７】前記実施例２の変形例を説明するための模式図である。
【図２８】本発明による実施例３の立体画像生成装置の概略構成を示す模式図である。
【図２９】本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【図３０】本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【図３１】本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【図３２】本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【図３３】本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【図３４】本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【図３５】本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【図３６】本実施例３の立体画像生成装置を用いた立体画像生成方法を説明するための模式図である。
【符号の説明】
１Ａ…動画像データ取得手段、１Ｂ…動画像データ入力手段、２Ａ…距離画像データ取得手段、２Ｂ…距離画像データ入力手段、３…制御手段、４…動画像データ記録手段、５…距離画像データ記録手段、６…距離画像データ補間手段、７…演算手段、８…表示手段、１０…撮影対象、１１…近景領域、１２…境目領域、１３…輪郭部領域、１５…光源、１６…全反射ミラー、１７…ハーフミラー、２０Ａ…補助画像データ取得手段、２０Ｂ…補助画像データ入力手段、２１…距離画像データ補間生成手段。
Claims (10)
- １フレーム時間毎の動画像データを入力するステップと、
前記動画像データから立体画像を生成するためのデータ（以下、距離画像データと称する）を、間欠的なフレーム間隔で入力するステップと、
前記動画像データ及び前記入力された距離画像データに基づいて、前記距離画像データが存在しないフレーム時刻の距離画像データを補間生成するステップとを有することを特徴とする立体画像生成方法。 - 前記距離画像データを補間生成するステップは、
前記入力された距離画像データから、遠近の境目領域を求めるステップと、
前記入力された距離画像データと同じフレーム時刻の動画像データから、前記境目領域と同じ位置、または前記境目領域の近傍の輪郭部領域を求めるステップと、
前記距離画像データが存在しないフレーム時刻の動画像データから、前記輪郭部領域に相当する領域を求めるステップと、
前記輪郭部領域と、前記輪郭部領域に相当する領域の移動量に基づいて、前記境目領域及びその内部領域を移動させて、前記距離画像データを生成するステップとを有することを特徴とする請求項１に記載の立体画像生成方法。 - 前記距離画像データを補間生成するステップは、
前記入力された距離画像データと同じフレーム時刻の動画像データを選択するステップと、
前記選択された動画像データから、前記距離画像データが存在しないフレーム時刻の動画像データまでの間の画像の動きベクトルを求めるステップと、
前記入力された距離画像データを複数の領域に分割し、前記動きベクトルに基づいて前記各領域を移動させて、距離画像データを生成するステップとを有することを特徴とする請求項１に記載の立体画像生成方法。 - 前記距離画像データを入力するステップは、
前記距離画像データを生成可能な補助画像データを、間欠的なフレーム間隔で入力するステップと、
前記補助画像データ、または前記補助画像データ及び前記補助画像データと同じフレーム時刻の動画像データに基づいて距離画像データを生成するステップとを有することを特徴とする請求項１乃至請求項３のいずれか１項に記載の立体画像生成方法。 - １フレーム時間毎の動画像データを入力する動画像データ入力手段と、
前記動画像データから立体画像を生成するためのデータ（以下、距離画像データと称する）を、間欠的なフレーム間隔で入力する距離画像データ入力手段と、
前記動画像データ入力手段から入力された動画像データ及び前記距離画像データ入力手段から入力された距離画像データに基づいて、前記距離画像データが存在しないフレーム時刻の距離画像データを補間生成する距離画像データ補間手段とを備えることを特徴とする立体画像生成装置。 - 前記距離画像データ補間手段は、
前記距離画像データ入力手段から入力された距離画像データから、遠近の境目領域を求める手段と、
前記距離画像データと同じフレーム時刻の動画像データから、前記境目領域と同じ位置、または前記境目領域の近傍の輪郭部領域を求める手段と、
前記距離画像データが存在しないフレーム時刻の動画像データから、前記輪郭部領域に相当する領域を求める手段と、
前記輪郭部領域と、前記輪郭部領域に相当する領域の移動量に基づいて、前記境目領域及びその内部領域を移動させて、前記距離画像データを生成する手段とを有することを特徴とする請求項５に記載の立体画像生成装置。 - 前記距離画像データ補間手段は、
前記入力された距離画像データと同じフレーム時刻の動画像データを選択する手段と、
前記選択された動画像データから、前記距離画像データが存在しないフレーム時刻の動画像データまでの間の画像の動きベクトルを求める手段と、
前記入力された距離画像データを複数の領域に分割し、前記動きベクトルに基づいて前記各領域を移動させて、距離画像データを生成する手段とを備えることを特徴とする請求項５に記載の立体画像生成装置。 - 前記距離画像データ入力手段は、
前記距離画像データを生成可能な補助画像データを、間欠的なフレーム間隔で入力する補助画像データ入力手段と、
前記補助画像データ、または前記補助画像データ及び前記補助画像データと同じフレーム時刻の動画像データに基づいて距離画像データを生成する手段とを備えることを特徴とする請求項５乃至請求項７のいずれか１項に記載の立体画像生成装置。 - 請求項１乃至請求項４のいずれか１項に記載の立体画像生成方法の各ステップをコンピュータに実行させるための立体画像生成プログラム。
- 前記請求項９に記載の立体画像生成プログラムがコンピュータで読み出し可能に記録された記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003016302A JP3988879B2 (ja) | 2003-01-24 | 2003-01-24 | 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003016302A JP3988879B2 (ja) | 2003-01-24 | 2003-01-24 | 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004229093A true JP2004229093A (ja) | 2004-08-12 |
| JP3988879B2 JP3988879B2 (ja) | 2007-10-10 |
Family
ID=32903802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003016302A Expired - Fee Related JP3988879B2 (ja) | 2003-01-24 | 2003-01-24 | 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3988879B2 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010071976A (ja) * | 2008-08-19 | 2010-04-02 | Panasonic Corp | 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ |
| JP2010130495A (ja) * | 2008-11-28 | 2010-06-10 | Toshiba Corp | 立体情報出力装置及び立体情報出力方法 |
| JP2010224886A (ja) * | 2009-03-24 | 2010-10-07 | Toshiba Corp | 立体画像描画装置および描画方法 |
| JP2010534878A (ja) * | 2007-07-26 | 2010-11-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 深さ関連情報伝達のための方法及び装置 |
| JP2011228846A (ja) * | 2010-04-16 | 2011-11-10 | Canon Inc | 画像処理装置および方法 |
| KR20110122817A (ko) * | 2009-01-30 | 2011-11-11 | 톰슨 라이센싱 | 깊이 맵의 코딩 |
| JP2012506994A (ja) * | 2008-07-15 | 2012-03-22 | サムスン エレクトロニクス カンパニー リミテッド | 映像処理方法 |
| WO2012056686A1 (ja) * | 2010-10-27 | 2012-05-03 | パナソニック株式会社 | ３次元画像補間装置、３次元撮像装置および３次元画像補間方法 |
| JP2012134655A (ja) * | 2010-12-20 | 2012-07-12 | Toshiba Corp | 画像処理装置、画像処理方法および画像表示装置 |
| WO2013054463A1 (ja) * | 2011-10-11 | 2013-04-18 | パナソニック株式会社 | 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム |
| EP2693753A1 (en) * | 2012-07-31 | 2014-02-05 | Samsung Electronics Co., Ltd | Method of converting 2-dimension images into 3-dimension images and display apparatus thereof |
| JP2015023552A (ja) * | 2013-07-23 | 2015-02-02 | キヤノン株式会社 | 画像再生装置、画像再生方法、プログラム、及び記憶媒体 |
| JP2020086824A (ja) * | 2018-11-22 | 2020-06-04 | キヤノン株式会社 | 画像処理装置、画像処理方法、撮像装置およびプログラム |
| JP2021025909A (ja) * | 2019-08-06 | 2021-02-22 | 直之 村上 | コンピユーターの目（ｐｃｅｙｅ） |
| WO2024057902A1 (ja) * | 2022-09-12 | 2024-03-21 | ソニーグループ株式会社 | 情報処理装置および方法、並びにプログラム |
-
2003
- 2003-01-24 JP JP2003016302A patent/JP3988879B2/ja not_active Expired - Fee Related
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8854425B2 (en) | 2007-07-26 | 2014-10-07 | Koninklijke Philips N.V. | Method and apparatus for depth-related information propagation |
| JP2010534878A (ja) * | 2007-07-26 | 2010-11-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 深さ関連情報伝達のための方法及び装置 |
| JP2012506994A (ja) * | 2008-07-15 | 2012-03-22 | サムスン エレクトロニクス カンパニー リミテッド | 映像処理方法 |
| JP2010071976A (ja) * | 2008-08-19 | 2010-04-02 | Panasonic Corp | 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ |
| JP2010130495A (ja) * | 2008-11-28 | 2010-06-10 | Toshiba Corp | 立体情報出力装置及び立体情報出力方法 |
| KR20110122817A (ko) * | 2009-01-30 | 2011-11-11 | 톰슨 라이센싱 | 깊이 맵의 코딩 |
| CN102356637A (zh) * | 2009-01-30 | 2012-02-15 | 汤姆森特许公司 | 深度图的编码 |
| US9569819B2 (en) | 2009-01-30 | 2017-02-14 | Thomson Licensing | Coding of depth maps |
| KR101675555B1 (ko) | 2009-01-30 | 2016-11-11 | 톰슨 라이센싱 | 깊이 맵의 코딩 |
| JP2010224886A (ja) * | 2009-03-24 | 2010-10-07 | Toshiba Corp | 立体画像描画装置および描画方法 |
| JP2011228846A (ja) * | 2010-04-16 | 2011-11-10 | Canon Inc | 画像処理装置および方法 |
| US9270970B2 (en) | 2010-10-27 | 2016-02-23 | Dolby International Ab | Device apparatus and method for 3D image interpolation based on a degree of similarity between a motion vector and a range motion vector |
| WO2012056686A1 (ja) * | 2010-10-27 | 2012-05-03 | パナソニック株式会社 | ３次元画像補間装置、３次元撮像装置および３次元画像補間方法 |
| EP2635034A4 (en) * | 2010-10-27 | 2014-04-23 | Panasonic Corp | 3D IMAGE INTERPOLATION DEVICE, 3D IMAGING DEVICE AND 3D INTERPOLATION PROCESS |
| JP5887267B2 (ja) * | 2010-10-27 | 2016-03-16 | ドルビー・インターナショナル・アーベー | ３次元画像補間装置、３次元撮像装置および３次元画像補間方法 |
| CN102687515A (zh) * | 2010-10-27 | 2012-09-19 | 松下电器产业株式会社 | 三维图像插补装置、三维摄像装置以及三维图像插补方法 |
| CN102687515B (zh) * | 2010-10-27 | 2015-07-15 | 杜比国际公司 | 三维图像插补装置、三维摄像装置以及三维图像插补方法 |
| JP2012134655A (ja) * | 2010-12-20 | 2012-07-12 | Toshiba Corp | 画像処理装置、画像処理方法および画像表示装置 |
| JPWO2013054463A1 (ja) * | 2011-10-11 | 2015-03-30 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム |
| WO2013054463A1 (ja) * | 2011-10-11 | 2013-04-18 | パナソニック株式会社 | 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム |
| EP2693753A1 (en) * | 2012-07-31 | 2014-02-05 | Samsung Electronics Co., Ltd | Method of converting 2-dimension images into 3-dimension images and display apparatus thereof |
| JP2015023552A (ja) * | 2013-07-23 | 2015-02-02 | キヤノン株式会社 | 画像再生装置、画像再生方法、プログラム、及び記憶媒体 |
| JP2020086824A (ja) * | 2018-11-22 | 2020-06-04 | キヤノン株式会社 | 画像処理装置、画像処理方法、撮像装置およびプログラム |
| JP7346021B2 (ja) | 2018-11-22 | 2023-09-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体 |
| JP2021025909A (ja) * | 2019-08-06 | 2021-02-22 | 直之 村上 | コンピユーターの目（ｐｃｅｙｅ） |
| JP7133520B2 (ja) | 2019-08-06 | 2022-09-08 | 直之 村上 | コンピユーターの目（ｐｃｅｙｅ） |
| WO2024057902A1 (ja) * | 2022-09-12 | 2024-03-21 | ソニーグループ株式会社 | 情報処理装置および方法、並びにプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3988879B2 (ja) | 2007-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10930054B2 (en) | Method and system of robust virtual view generation between camera views | |
| CN107274338B (zh) | 用于深度图的低等待时间变形的系统、方法和装置 | |
| CN106796718B (zh) | 用于高效深度图像变换的方法和设备 | |
| JP6094863B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
| CN108335322A (zh) | 深度估计方法和装置、电子设备、程序和介质 | |
| US20170078637A1 (en) | Image processing apparatus and method | |
| JP2004229093A (ja) | 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体 | |
| US8478024B2 (en) | Depth map generation module for foreground object and method thereof | |
| US11017587B2 (en) | Image generation method and image generation device | |
| CN1331822A (zh) | 用于从顺序的2d图象数据产生3d模型的系统和方法 | |
| KR20160127057A (ko) | 구조화된 스테레오 | |
| JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
| EP2259599A1 (en) | Method and arrangement for processing a stereo image for three-dimensional viewing | |
| Li et al. | A real-time high-quality complete system for depth image-based rendering on FPGA | |
| US20160180514A1 (en) | Image processing method and electronic device thereof | |
| KR100720722B1 (ko) | 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치 | |
| JP2004200973A (ja) | 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体 | |
| US20150256819A1 (en) | Method, program and apparatus for reducing data size of a plurality of images containing mutually similar information | |
| CN114513646A (zh) | 一种三维虚拟场景中全景视频的生成方法及设备 | |
| TW202439822A (zh) | 使用光學運動補償和遊戲內運動補償的畫面插值 | |
| CN109389674B (zh) | 数据处理方法及装置、mec服务器及存储介质 | |
| JP4155401B2 (ja) | ３次元画像生成方法及び３次元画像生成装置、ならびに３次元画像生成プログラム及び記録媒体 | |
| JPH07175930A (ja) | 画像処理装置 | |
| CN102572457A (zh) | 前景深度地图产生模块及其方法 | |
| CN118337974A (zh) | 三维视频生成方法及装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050120 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070305 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070417 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070618 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070710 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070711 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |