JP2000285260A - 多視点画像の符号化方法及び任意視点画像の生成方法 - Google Patents

Abstract

(57)【要約】 【課題】ＰＣレベルの演算能力、メモリ量を持つプラッ
トフォームで自然な任意視点画像をリアルタイム再生す
る任意視点画像生成方法を提供する。 【解決手段】多視点画像を入力するステップ５０１、多
視点画像を符号化するステップ５０２〜５１１、被写体
面上の点より座標推定の容易性が高いと予想される特徴
点を求め、この特徴点に対してその座標とその点が有効
に見えている視点の範囲を表す情報よりなる特徴点リス
トを作成し、符号化するステップ５１２〜５１３を有す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、多視点画像を用い
て任意の視点から見た画像をリアルタイムで作成し、仮
想空間内のウォークスルーなどを可能とするような画像
処理システムにおける多視点画像の符号化方法および任
意視点画像生成方法に関する。

【０００２】

【従来の技術】近年、コンピュータ技術、グラフィクス
技術の進展により、バーチャルショッピングモールなど
に代表される仮想空間内のウォークスルーが身近な存在
になりつつある。現状の仮想空間は、構成要素がＣＧ
（コンピュータグラフィクス）によって生成されるもの
が大半である。これに対し、最近ではリアリティに注目
した別のアプローチとして、実写画像から仮想３次元空
間を生成する試みがなされてきている。

【０００３】ＣＧの分野では、モデルを精密にし、演算
資源を投入することによりリアリティを追求する努力が
払われてきたが、これとは別に、近年、“image based
rendering ”と称して、実写を利用してリアリティを高
めようという動きがある。このような技術として既に実
用に供せられている例として、文献１（Ｓ．Ｅ．Ｃｈｅ
ｎ ｅｔ ａｌ，ＳＩＧＧＲＡＰＨ‘９５ ｐ２９−３
８）に開示されているQuickTime ＶＲが挙げられる。

【０００４】QuickTime ＶＲは、一つの視点から撮った
パノラマ画像から視線方向の成分を切り出す技術であ
り、自分の周りの３６０°の視野をインタラクティブに
見渡すような画像表現ができる。但し、この方法では画
像入力の際の視点はある一点に固定されているので、任
意視点からの画像を再構成することはできない。すなわ
ち、視線方向は選択できるものの、視点は常に固定され
ているので、視点が変わったときに発生するオクルージ
ョン（隠れ）の状況の変化を再現することはできない。

【０００５】このような物体との距離方向も含めた任意
視点の実現、オブジェクトとしての操作可能性、空間へ
の配置可能性といった更に進んだ機能を実現することが
できる画像表現方法としては、例えば文献２（「光線情
報による３次元実空間の効率的記述へ向けた光線空間射
影法」苗村他、信学技報ＩＥ９５−１１９）に開示され
ている方法が知られている。この方法では、３次元空間
上を通る光線を表現する「光線空間」という概念を導入
し、多視点画像と光線空間とを相互に変換することによ
り、入力された多視点画像から任意視点画像を生成して
いる。以下、この原理につき具体的に説明する。

【０００６】光線情報に基づく記述の考え方は、３次元
空間を伝播する光線の情報を３次元の直交座標空間上に
おける光線の通過位置（Ｘ，Ｙ，Ｚ）とその方向（θ，
φ）によって定義される５次元情報空間ｆ（Ｘ，Ｙ，
Ｚ，θ，φ）に記述するというものである。ここで、θ
は直交座標空間上の任意の点（Ｘ，Ｙ，Ｚ）を通過する
光線の水平方向の傾き、つまりＸ−Ｚ平面上の角度を示
し、φは（Ｘ，Ｙ，Ｚ）を通過する光線の垂直方向の傾
き、つまりＸ−Ｚ平面上からＹ軸方向への角度を示す。

【０００７】画像情報が直交座標空間上の任意の点
（Ｘ，Ｙ，Ｚ）に視点を置いたときにそこを通過する
（θ，φ）方向の光線の集合により形成されるものであ
ることを考慮すると、画像情報と前述の光線情報は相互
に変換可能であることが分かる。ここで、光線が減衰せ
ずに直進するという仮定が成立するような場合には、５
次元情報空間ｆ（Ｘ，Ｙ，Ｚ，θ，φ）を４次元に縮退
させることができる。上述した文献２には、光線情報を
記録する面の取り方によって平面記録、円筒記録、球面
記録の３通りの記録方法があることが記されているが、
ここでは以後の説明を行うために必要な円筒記録につい
て簡単に説明する。

【０００８】図２０に、円筒記録のための座標系を示
す。まず、空間を４次元に縮退するために、（Ｘ，Ｙ，
Ｚ）から（Ｐ，Ｑ，Ｒ）への座標変換が行われる。
（Ｐ，Ｑ，Ｒ）座標のＲ軸は、図示のように光線の進行
方向（θ，φ）と一致するように規定される。これによ
りＲ軸に沿った信号の変化はなくなり、この軸は無視す
ることができるので、（Ｘ，Ｙ，Ｚ，θ，φ）は（Ｐ，
Ｑ，Ｒ）、つまり（Ｐ，Ｑ，θ，φ）の４次元に変換さ
れる。次に、円筒記録ではθが同一であるφ方向の全て
の光線は、θ方向に法線を持つ（Ｐ，Ｑ）平面上の各点
に記録される。これより、 Ｐ＝Ｘｃｏｓθ−Ｚｓｉｎθ （１） Ｑ＝−Ｘｓｉｎθ・ｔａｎφ＋Ｙ−Ｚｃｏｓθ・ｔａｎφ （２） の関係が得られる。

【０００９】図２０は、直交座標系Ｏ−ＸＹＺの原点
（０，０，０）を通る進行方向（θ，φ）の光線を記録
する例を示している。Ｒ軸からＸ−Ｙ平面上に降ろした
垂線の足をＭとした場合、Ｏ−Ｍを法線とする（Ｐ，
Ｑ）平面が定義され、そこにφ方向の全ての光線が記録
されることになる。このようにして、同一θ方向の光線
はそのφ方向に関わらず全て同一の（Ｐ，Ｑ）平面上の
対応する座標位置に記録される。

【００１０】次に、この原理を使って多視点画像から光
線空間への記録を行い、記録された光線空間から任意視
点画像を生成する原理について説明する。上述の原理に
よって光線空間が４次元に縮退されたといっても、扱う
べき多視点画像の数や演算量は非常に多く、現実的では
ない。そこで、文献３（「光線情報に基づく３次元空間
操作」石川他、ＰＣＳＪ９６ Ｐ−３．１３）において
はφ方向の視差を無視して、（ｐ，θ）の２次元空間
（以下、ｐ−θ平面という）への記録で代用している。

【００１１】また、実際に扱える光線の数には限りがあ
るので、実用にはサンプリングが介在することになる。
すなわち、入力として扱われる視点の数は有限個にとど
められる。このとき、Ｙ＝一定の平面上でのある視点の
座標（Ｘ，Ｚ）が決まると、その点を通る光線の軌跡は
式（１）のみで与えられる。Ｙ＝一定の平面上ではＱ方
向の値は変化しないからである。

【００１２】有限個の複数の視点を設定して画像を入力
すると、光線空間はある視点の座標（Ｘ，Ｚ）を通る光
線の軌跡に沿った光線情報によって埋められてくる。光
線空間上で光線情報の得られていない部分は、得られて
いる光線情報により内挿等によって補間してやると、密
に光線情報で埋まった光線空間が得られる。再生の際は
任意視点（Ｘ，Ｚ）を指定すると、その点を通る光線の
軌跡が式（１）から得られるので、その軌跡上の光線情
報を入力画像情報から取ってくることにより、任意の視
点画像の画面のＹ＝一定における一つの走査線、つまり
ある特定のＹの値に対応する一本の表示ライン上の画像
が得られる。こうして得られる走査線をＹ方向に積み重
ねることによって、任意の視点から見た１画面分の画像
を得ることができる。

【００１３】上述したように、光線空間を用いた原理に
基づく任意視点画像の生成においては従来、扱うべき情
報ができる限り少なくて済むように簡略化を施してはい
るが、現状では、このような簡略化を施しても情報量、
処理量は依然として非常に多く、再生のリアルタイム
化、情報量の削減などが課題として挙げられている。

【００１４】次に、情報量削減の観点から見た従来の技
術につき説明する。通常、情報量を削減しようとする場
合、符号化が行われる。多視点画像を符号化する場合、
種々の方法が考えられる。第１は、多視点画像を構成す
る各視点画像をそれぞれ静止画とみなして、ＪＰＥＧな
どの方法により符号化する方法である。この方法は、各
視点画像同士の相関を使っておらず無駄がある。第２
は、多視点画像を動画像とみなしてＭＰＥＧなどの方法
により符号化する方法であり、動き補償予測によって隣
り合う視点画像同士の相関がある程度取り除かれる。特
に、多視点画像の１つのケースとしてのステレオ画像の
符号化では、同様の原理は視差補償予測と呼ばれてお
り、これは例えば文献４（特開平２−１００５９２号公
報）などに開示されている。

【００１５】また、ＭＰＥＧ２標準においても類似の原
理はマルチビュープロファイルの範疇にてサポートされ
ている。この方法は画像に対して一種のモデル化を行っ
ていることになるが、モデル化がブロック毎にしか行わ
れておらず、画素単位で見たときにはモデルからのずれ
が大きくなりがちである。また、モデルのパラメータと
しても各ブロックに動きベクトルの形でパラメータを与
えることになり、全体としてモデルパラメータの情報量
もかなり大きくなる。

【００１６】光線空間の概念を取り入れた多視点画像の
符号化に関する技術としては、文献５（「複合現実感表
示のための光線空間データの圧縮」片山他、ＩＭＰＳ９
６Ｉ−６．１）に開示されている技術がある。この方法
では、同一被写体から得た１２０枚の多視点画像のうち
の何枚かを参照画像として設定してそのまま送り、他の
画像については参照画像中のどの画素値に近いか、とい
う画素を指定する情報として送ることによって、情報を
圧縮している。従って、上述の動き補償の流用と比較し
て、モデル化が画素単位で行われてる点でモデルからの
ずれは少なくなるが、モデルのパラメータ情報は逆に多
くなる。

【００１７】また、文献６（特開平８−１１５４３９号
公報）では多視点画像の圧縮に関連する別の技術とし
て、（少ない）多視点画像の対応点の軌跡を規定するパ
ラメータを利用することにより、受信側で任意視点画像
のための内挿を行う技術が開示されている。この際、こ
のパラメータのみによって光線空間を表現すれば、非常
に少ない情報量による表現が可能となる。

【００１８】文献５，６はいずれもモデルのみによって
多視点画像を表現しようとするものであるが、実際には
特に後者の場合、多視点画像からのモデルの推定はかな
り難しく、誤差を伴うものとなる。この結果、モデルの
推定に誤差が生じた部分については、再生される画像が
不自然になってしまう。

【００１９】これに対し、文献７（「３次元構造推定に
基づく多眼３次元画像の圧縮と補間」藤井、原島 ３次
元画像コンファレンス’９４ １−４）には、３次元構
造モデルから多眼画像の予測信号を生成し、予測誤差を
送る方法が開示されている。この文献７でのモデルは、
平面や平面パッチなどの近似であって、これによる予測
の精度はあまりよいとは言えない。しかし単純にモデル
の精度を良くすると、精度を良くするほどモデル自体の
情報量が大きくなってしまい、全体の情報量を減らすこ
とはできない。

【００２０】次に、任意視点からの画像生成の観点から
従来技術につき説明する。上述した文献６（特開平８−
１１５４３９号公報）では、被写体の各点に与えられた
パラメータから任意視点画像をオクルージョンを考慮し
ながら作成する。この方法では全ての画素について前記
の演算を行うための演算量が非常に大きくなり、実時間
での再生は困難である。そこで、文献８（特開平９−２
４５１９５号公報）では、あらかじめ光線空間において
内挿を行ったものを再生時にメモリに保持しておき、再
生演算を高速化するとしている。しかし、この場合は内
挿された光線空間は多視点画像情報全体よりも更に大き
な情報量となり、再生に必要なメモリ量は膨大になる。

【００２１】同じ光線空間を用いた原理に基づく方法で
あっても、前記内挿の方法にも種々の技術がある。最も
原始的な方法は、図２１に示すように得られている視点
画像の間をそのまま近い視点画像のデータで繰り返し埋
める方法である。すなわち、この方法では例えば図２１
で境界２１０４と境界２１０５とで囲まれた領域は、視
点画像２１０１の画素をそれぞれθ方向に埋めていくよ
うにして内挿する。この方法は処理は簡単であるが、内
挿された光線空間は参照される視点画像の切り変わり目
で不連続となる。

【００２２】例えば、新たな視点として視点画像２１０
３に相当する視点が与えられたとする。このとき、視点
画像２１０３上の画素としては、２１０７及び２１０８
はデータとして持っている視点画像２１０１，２１０２
と重なっているため、正しい光線として再生される。し
かし、それ以外の点では内挿された光線空間から画素値
が作られることとなり、特に視点画像の参照の切り替え
点である２１１１においては２１０９及び２１１０の値
より作られるが、一般に２１０９と２１１０には被写体
の同一点が映されていないからである。

【００２３】逆に、ある意味で最も理想的な方法は、文
献６（特開平８−１１５４３９号公報）の方法のよう
に、被写体の各点に対して形状と等価なパラメータを求
め、各点からの投影を行い、オクルージョンを考慮して
有効な光線を求めることにより内挿を行う方法である。
しかし、実際には被写体の全ての点に対して正確な形状
パラメータを求めることは非常に困難であり、理想的な
内挿はなかなか実現できない。また、先にも述べたよう
に点毎の内挿演算を再生時に行おうとすると演算量の問
題が生じ、事前に内挿を行っておこうとするとメモリ量
の問題が出てくる。そこで、文献９（Ｓ．Ｊ．Ｇｏｒｔ
ｌｅｒ ｅｔ ａｌ，“Ｔｈｅ Ｌｕｍｉｇｒａｐ
ｈ“，ＳＩＧＧＲＡＰＨ’９６ ｐｐ．４３−５４）で
は、再生時の各視点画像の参照は点単位ではなくブロッ
クによって構成される面単位とし、ブロックに対して代
表的な形状と等価なパラメータを与え、このパラメータ
に相当する分だけ参照位置をシフトして再生画像を作る
ものとしている。但し、この方法でも形状はブロックに
含まれる各点に対しては代表的なパラメータとして与え
られるため、そのままでは再生画像にはやはり不連続が
確認され、これに対処するために複数領域から参照を行
ったものを重み付け加算して不自然さを和らげるものと
している。

【００２４】

【発明が解決しようとする課題】上述したように多視点
画像からの任意視点画像の再生においては、演算量およ
び使用メモリ量が少なく、かつ高画質を維持することが
重要であるが、従来の技術ではこれらの要求を同時に満
足することができないという問題点があった。

【００２５】本発明は、メモリに保持する情報量と任意
視点画像の再生に必要な演算量とのバランスをとり、か
つ自然性の高い任意視点画像の生成を行うことのできる
システムを提供することを目的とし、より具体的にはＰ
Ｃレベルの演算能力、メモリ量を持つプラットフォーム
で実写と変わりない任意視点画像をリアルタイム再生す
ることを目的とする。

【００２６】

【課題を解決するための手段】上記の課題を解決するた
め、本発明は被写体との位置関係が既知の複数の視点か
らそれぞれ異なる視線方向で得られた該被写体について
の複数の視点画像からなる多視点画像を符号化する多視
点画像符号化方法において、前記多視点画像を入力する
入力ステップと、前記多視点画像を符号化する符号化ス
テップと、前記被写体面上の点より座標推定の容易性が
高いと予想される特徴点を求める特徴点抽出ステップ
と、前記特徴点に対してその座標とその点が有効に見え
ている視点の範囲を表す情報よりなる特徴点リストを作
成するリスト作成ステップとを有することを特徴とす
る。

【００２７】また、前記符号化ステップは、前記被写体
面上の各点の座標値と輝度値とから構成されるモデル情
報を求めるモデル化ステップと、前記モデル情報を符号
化してモデルデータを得るモデル情報符号化ステップ
と、前記モデルモータを復号化してモデル情報を得るモ
デルデータ復号化ステップと、前記モデルデータ復号化
ステップにより復号化されたモデル情報から前記多視点
画像に含まれる各視点画像の予測信号を作成する予測信
号作成ステップと、前記多視点画像と前記予測信号との
予測誤差情報を符号化して予測誤差データを得る予測誤
差符号化ステップとを有することを特徴とする。

【００２８】さらに、前記特徴点リストを符号化して特
徴点リストデータを得る特徴点リスト符号化ステップ
と、前記モデルデータ、予測誤差データ及び符号化され
た特徴点リストデータを多重化する多重化ステップとを
さらに有することを特徴とする。

【００２９】本発明に係る多視点画像の任意画像生成方
法は、被写体との位置関係が既知の複数の視点より多視
点画像を入力して符号化した情報及び、前記被写体面上
の点より座標推定の容易性が高いと予想される特徴点に
対してその座標とその点が有効に見えている視点の範囲
を表す情報よりなる特徴点リストを用いて任意視点画像
を生成する方法であって、前記多視点画像を復号するス
テップと、再生すべき視点位置及び視線方向を決定する
ステップと、前記決定された視点位置から見た画像を生
成するために使用する特徴点を前記特徴点の特徴点リス
トより選択するステップと前記決定された視点位置から
見た画像を生成するための多視点画像の被参照部分の位
置を前記視点情報と前記選択された特徴点より確定する
ステップと、前記復号された多視点画像より前記決定さ
れた視点位置から見た画像を生成するステップとを有す
ることを特徴とする。

【００３０】さらに、本発明に係る多視点画像の任意画
像生成方法は、被写体との位置関係が既知の複数の視点
より多視点画像を入力し、被写体面上の点の座標と輝度
の情報よりなるモデル情報を求めて、モデル情報より前
記多視点画像に含まれる各視点画像の予測信号を作成
し、前記モデル情報及び、前記多視点画像と前記予測信
号との予測誤差として符号化するとともに、前記被写体
面上の点より座標推定の容易性が高いと予想される特徴
点を求め、前記特徴点に対してその座標とその点が有効
に見えている視点の範囲を表す情報よりなる特徴点リス
トを作成し、前記モデルデータ、予測誤差データ及びリ
スト情報として多重する方法によって符号化多重された
情報を復号し任意視点画像を生成する方法であって、前
記符号化多重された情報から前記モデルデータ、前記予
測誤差データ及び前記特徴点のリストデータを分離し、
前記予測誤差データ及び前記特徴点のリスト情報をＲＡ
Ｍに保持するステップと、前記モデルデータを復号しモ
デル情報としてＲＡＭに保持するステップと、再生すべ
き視点位置及び視線方法を決定するステップと、前記決
定された視点位置から見た画像を生成するために使用す
る特徴点を前記特徴点のリスト情報より選択するステッ
プと、前記決定された視点位置から見た画像を生成する
ための視点画像の被参照部分の位置を前記視点情報と前
記選択された特徴点より確定するステップと、前記計算
された視点画像の被参照部分の位置に前記ＲＡＭより読
み出した前記モデル情報より予測信号を生成するステッ
プと、前記計算された視点画像の被参照部分の位置に対
応する前記予測誤差データの必要部分を前記ＲＡＭより
読み出し復号して予測誤差を得るステップと、前記予測
信号と前記予測誤差とを加算し再生画像を得るステップ
と、前記再生画像より前記決定された視点位置から見た
画像を生成するステップとを有することを特徴とする。

【００３１】このような本発明によれば、多視点画像を
用いて任意視点画像を再生するシステムにおいて、再生
される任意視点画像は不連続な部分のない実写画像に近
いものとすることができる。

【００３２】また、再生演算はデータとして持つ視点画
像から面単位でマッピングするようにし、参照される領
域のみを逐次復号するようにしているため、使用するメ
モリ量、生成に要する演算量をリーズナブルな範囲に収
めることができる。

【００３３】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。なお、以下の例では前述した文献
［１］に示された円筒記録モデルに従う例を基に説明す
るが、他のモデルを使用した場合においても本発明は適
用することが可能である。

【００３４】［多視点画像符号化について］図１は、本
発明の多視点画像符号化方法が適用される装置の典型的
な構成を示すブロック図である。この装置はＣＰＵ１０
１、画像入力装置１０２、大容量の記憶装置（典型的な
例としては、ハードディスク装置）１０３およびＲＡＭ
（ランダムアクセスメモリ）１０４からなり、これらを
バス１００により接続して構成される。

【００３５】図２は、図１における画像入力装置１０２
として用いられる多視点画像装置の構成例を示す図であ
る。この例では、被写体２０１は回転台２０２に載せら
れ、カメラ２０３により撮影される。カメラ２０３の光
軸２０６は回転台２０２の回転軸２０５と交差してお
り、回転軸２０５と光軸２０６とは互いに直交している
ものとする。回転軸２０５と光軸２０６の位置関係は既
知であり、その間の距離はＲであるとする。回転台２０
２は、制御装置２０４により一定の角度（例えば３°）
ずつステップ的に回転するように制御され、その都度カ
メラ２０３により画像が入力される。この例では、カメ
ラ２０３の一回転で視点の異なる１２０枚の画像が入力
されることになる。制御装置２０４は、図１のＣＰＵ１
０１が兼ねてもよい。次に、この場合の光線空間につい
て説明する。

【００３６】前述した文献２に示されているように、円
筒記録の場合、点（Ｘ，Ｙ，Ｚ）を通る光線は、光線空
間上の次式により表現される座標に記録される。 Ｐ＝Ｘｃｏｓθ−Ｚｓｉｎθ （３） Ｑ＝−Ｘｓｉｎθ・ｔａｎφ＋Ｙ−Ｚｃｏｓθ・ｔａｎφ （４） ここで今、従来技術の項でも説明したように、扱う情報
量、演算量が大きくなりすぎないようにＱ方向の光線の
変化は考えないものとする。また、光線空間は回転軸２
０５に直交する平面２０７で定義し、これをＹ方向に積
み上げて近似するものとする。この場合、φ方向の変化
によるオクルージョンなどは再現されない。

【００３７】図３は、平面２０７上での被写体２０１の
断面３０１とカメラ２０３の位置関係を表している。こ
こで表記上、回転台２０２の回転軸２０５を中心とする
極座標表現（ｒ，ψ）を図３に示すように導入すると、 Ｘ＝ｒｓｉｎψ （５） Ｚ＝ｒｃｏｓψ （６） であるから、式（３）より Ｐ＝ｒｃｏｓθ・ｓｉｎψ−ｒｓｉｎθ・ｃｏｓψ ＝ｒｓｉｎ（ψ−θ） （７） となる。従って、図４に示すように光線空間であるｐ−
θ平面上での１２０枚の視点画像からなる多視点画像の
光線空間上における軌跡４１１は、 Ｐ＝Ｒｓｉｎ（ｎ＊３°−θ），ｎ＝０，…，１１９ （８） で表される。

【００３８】ここで、軌跡４１１の中の曲線４０１，４
０２，４０３，４０４，…は、それぞれ３°ずつ異なる
角度から撮影した視点画像を示している。すなわち、曲
線４０１，４０２，４０３，４０４，…は、それぞれ互
いに３°ずつ異なる角度から撮影した複数の視点画像に
おける特定のＹ方向位置に対応する一走査線分の画像を
表している。

【００３９】同様の性質は、被写体面上の点においても
当てはまり、被写体面を表す関数ｒ（ψ）を導入する
と、被写体面上の任意の点（ｒ（ψ），ψ）から出る光
線の軌跡４１２は、 Ｐ＝ｒ（ψ）ｓｉｎ（ψ−θ） （９） で表される。

【００４０】従って、被写体面上の任意の点（ｒ
（ψ），ψ）から出る光線の軌跡４１２の光線情報は、
軌跡４１１の中の曲線４０１，４０２，４０３，４０
４，…と軌跡４１２との交点４０５，４０６，４０７，
４０８，…で与えられることになる。このことは、被写
体面上の点のみならず、（Ｘ，Ｙ，Ｚ）座標上の任意の
点についても言える。

【００４１】そこで、多視点画像から任意視点画像を再
生する場合には、その視点の位置情報によってその視点
を通る光線の軌跡が図４の光線空間上に決定され、その
軌跡と軌跡４１１の中の各曲線４０１，４０２，４０
３，４０４，…との交点における光線情報を採ってくる
ことにより、任意視点画像の画面の一つの走査線が再生
される。従って、この例においては平面２０７に平行な
各平面で同様の操作を行い、得られた各走査線をＹ方向
に積み上げることによって、任意視点画像の画面全体、
つまり全てのＹについての走査線を再生できる。

【００４２】被写体面上の一点ｒ（ψ）から出る光線の
光線空間上の軌跡が前述の式（９）で表せるということ
は、被写体面が光線の方向によって光線情報の値があま
り変わらない完全拡散面に近い性質の面である場合に
は、被写体面上の一点ｒ（ψ）に対応する多視点画像
は、その点の座標値ｒと代表輝度値でモデル化でき、ま
た被写体面が完全拡散面から遠い性質の場合には、座標
値ｒとθの関数である輝度Ｌ（θ）でモデル化できるこ
とを示している。ここでいう輝度とは、ＴＶカメラでい
うと輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂ、または３原
色信号Ｒ，Ｇ，Ｂなどに対応するものを称している点に
注意されたい。文献２では、この輝度は光線情報と称せ
られている。

【００４３】次に、図５に示すフローチャートを参照し
て本発明に係る多視点画像符号化の処理手順を説明す
る。

【００４４】まず、図１の画像入力装置１０２により多
視点画像が入力され（ステップ５０１）、記憶装置１０
３に蓄えられる。次に、モデル推定が行われ、モデル情
報が生成される（ステップ５０２）。このステップ５０
２を含め、以下のステップでの処理は全て多視点画像を
記憶装置１０３から参照しつつ必要なデータをＲＡＭ１
０４に蓄え、ＣＰＵ１０１によりデータを参照すること
によって行われる。

【００４５】本実施形態では、モデル情報は被写体面上
の各点の座標情報と輝度情報よりなる。座標情報は元々
は３次元の座標情報（ｘ，ｙ，ｚ）であるが、ｙ一定の
断面で考え、極座標を導入することにより（ｒ，ψ）と
なる。さらに、ψは後述するようにモデルを考慮する視
点画像と、そこでの座標からｚ値が正か負かの２通りに
限られるので、１ビットのパリティによって表すことが
できる。また、座標情報は推定の確度により全点に対し
て与えるのではなく、高い確度で求まる代表的な点のみ
について求め、他の点の座標は代表点の座標より推測す
るようにしてもよい。モデル推定ステップ５０２につい
ては、後に詳しく説明する。

【００４６】モデル推定ステップ５０２でモデル情報が
求まったら、次にモデル情報の符号化が行われる（ステ
ップ５０３）。符号化の典型例としては、モデル情報の
うちの輝度値に対してはテキスチャ画像としてＪＰＥＧ
やＭＰＥＧのＩピクチャの符号化に代表されるような、
ブロック化した後、ＤＣＴ＋量子化＋可変長符号化を行
う方法が適当である。座標情報については先に述べたよ
うにｚ値が計算され、ｒとパリティの組として符号化さ
れる。また、座標情報についてもブロック上に密に得ら
れる場合には輝度情報と同様の方法で、代表点について
のみ得られるような場合には予測符号化等の方法で符号
化することが考えられる。このようにして最終的に可変
長符号化されたモデル情報は、記憶装置４０２に一旦蓄
えられる。。

【００４７】次に、モデルデータの復号化が行われる
（ステップ５０４）。この復号化はモデルデータをステ
ップ５０３の処理と逆の手順で元のモデル情報に戻す操
作であり、例えば逆量子化＋逆ＤＣＴにより行われる。
このモデルデータの復号化によって得られたモデル情報
は、後のステップで使用するためにＲＡＭ１０４に蓄え
られる。

【００４８】こうしてモデル情報の符号化が終了する
と、次に多視点画像を構成する各視点画像の予測符号化
のループに入る。例として、多視点画像の画像の枚数を
ｎmax（例えば１２０枚）として説明する。

【００４９】まず、フレーム番号ｎを０にセットし（ス
テップ５０５）、フレーム番号ｎを１ずつインクリメン
トしながら（ステップ５１０）、記憶装置１０３より多
視点画像を１フレームずつ読み出す（ステップ５０
６）。なお、多視点画像を構成する個々の視点画像がそ
れぞれここでいうフレームで構成されているとする。

【００５０】次に、各フレームに対してＲＡＭ１０４に
蓄えられたモデル情報から予測信号を生成する（ステッ
プ５０７）。この予測信号生成ステップ５０７について
は、後に詳しく説明する。

【００５１】次に、このようにして生成された予測信号
と入力フレームｎとの差分がとられて予測誤差が生成さ
れ（ステップ５０８）、この予測誤差が符号化される
（ステップ５０９）。この予測誤差の符号化の典型例
も、ＤＣＴ＋量子化＋可変長符号化である。こうして予
測誤差を符号化して得られた予測誤差データは、記憶装
置１０３に蓄えられる。

【００５２】上述したステップ５０６〜５１０の処理を
多視点画像の全てのフレームについて、つまりステップ
５１１でｎ＝ｎmax と判定されるまで繰り返し行う。

【００５３】ここで、予測誤差符号化ステップ５０９に
おける量子化においては、量子化されたＤＣＴ係数情報
が全て０であった場合に、そのブロックを無効と判定
し、そのブロックについては情報を全く送らないものと
する。本実施形態における予測では、物理現象に直接対
応したモデルを使用しているので、モデル化が良好に行
われる画像については、予測誤差がほとんど発生しない
ことが期待できる。従って、情報量を大幅に減らすため
に、このように有効判定を行って無効なブロックを送ら
なくすることは非常に重要である。

【００５４】次に、特徴点リストの作成を行う（ステッ
プ５１２）。作成された特徴点リストは符号化され（ス
テップ５１３）、特徴点リストデータが生成される。特
徴点リストの作成ステップ５１２については、後に詳し
く説明する。

【００５５】最後に、記憶装置１０３に蓄えられたモデ
ルデータと各視点画像の予測誤差データおよび特徴点リ
ストデータを多重化して、多重化ストリームを生成する
（ステップ５１２）。この場合の多重化フォーマットに
ついても、後に詳しく説明する。

【００５６】なお、上述した多視点画像符号化の手順の
中で、モデル符号化ステップ５０３以降のステップと特
徴点リスト作成ステップ５１２とは順序が逆であっても
よいし、並列に行うことにしてもよい。また、モデル推
定ステップ５０２と特徴点リスト作成ステップ５１２は
処理的には共通するので、一つのステップの中で同時に
行うことにしてもよい。

【００５７】（モデル推定について）次に、図６、図
７、図８および図９を用いて図５のモデル推定ステップ
５０２の処理について詳しく説明する。図６は、モデル
推定ステップ５０２の詳細な処理手順を示すフローチャ
ートである。まず、ステップ６００で各視点からの画像
に対してテキスチャとして特徴のある被写体上の点を抽
出する。この方法としては、例えば点を含む所定の大き
さ（あまり大きくない方が望ましいと思われる。例えば
５＊５画素など）のブロックについて水平方向のエッジ
検出を行い、しきい値以上の大きさのエッジが得られた
ブロックを特徴点として抽出する。

【００５８】ステップ６０１では、得られた複数の特徴
点に対して処理する順序付けを行う。処理はｐ−θ平面
でｐ＝０に近いところにある特徴点から処理するものと
する。

【００５９】次に、ステップ６０２から特徴点の数の処
理ループに入る。各点に対応するｒの値の推定はステッ
プ６０６で上述したブロックでの動きベクトル（ＭＶ）
検出を行うことにより行われるが、その際のＭＶの探索
範囲がステップ６０５で制限される。図７を用いて、こ
の探索範囲の制限を行う原理を説明する。

【００６０】今、注目している点に対応する光線のｐ−
θ平面上での軌跡を７０１とすると、図７においてブロ
ック７０２についてＭＶ検出を行おうとするとき、軌跡
７０１上でθ＝ψ±９０°に対応する点は、図８に示す
ようにその点が見えていればｒの値が直接見えている視
点である。従って、ｒの値はこの位置での包絡線のうち
小さい方よりも必ず小さい値となるので、この値を一画
面間隔に換算したＭＶをＭＶ探索すべき範囲の最大値と
する。このように多視点画像から得られる性質を利用し
て、必要のない計算を避けることができる。

【００６１】次に、ステップ６０６で隣り合った画像同
士でのＭＶ探索を行う。これは図９に示すように、まず
特徴点ｋから隣の画像に対して探索を行って得られたブ
ロックから更に隣の画像に対して探索を行うというよう
に連続して行う。この場合、全て探索の範囲はステップ
６０５で得られた値が上限である。

【００６２】また、ＭＶ探索で予測誤差を比較する際に
誤差の差があまり無い場合には、特徴点として選ばれた
点が優先的に選ばれるように判定基準を設定する。この
ステップ６０６で特徴点ｋと対応付けられた他の特徴点
ｋ＋αについては、スキップフラグを仮に立て、後述の
ステップでこの点ｋ＋αについてｒの値が確定した時点
でスキップフラグを確定する。

【００６３】ステップ６０４の判定条件では、ステップ
フラグの立っている特徴点は既にｒが確定した点に対応
するものとして、以降の処理をスキップする。次に、ス
テップ６０７において所定の枚数以上の画像間で共通の
ｒの値でつじつまが合うようなＭＶが求められたかを判
断する。ここでＹＥＳであれば、その点に対してエッジ
に対応する画素に対してｒの値がフィットするかをステ
ップ６０８で確認し、ｒの細かい精度に対して微調節を
行った後に、ステップ６０９でその点に対してｒの値を
確定し、対応するψの値と組にして記憶する。

【００６４】以上の操作を特徴点の数だけ行うと、特徴
的なテキスチャを持つ点についてｒの値が決まるので、
ステップ６１１でｒが決まった点の間の面上の点のｒを
求める。この面上の点はテキスチャが無いので、ｒが決
まった点の間を直線近似したｒの値を初期近似として再
構成しながら、各視点の画像と比較してｒの値を調整し
て確定する。

【００６５】最後に、ステップ６１２で得られたモデル
の推定値から全体の光線空間を再構成し比較して微調整
を行い、モデルの推定を終了する。

【００６６】本実施形態においては、モデルの推定があ
る程度間違っていてもこれを用いて予測を行った後に誤
差を送るので、復号再生側で再構成される光線空間は実
際と大きく違ったものになることはない。

【００６７】また、モデルの推定としてより確実に形状
情報を得られる別の方法としては、被写体の形状を入力
された多視点画像から推定するのではなく３Ｄディジタ
イザやレンジファインダといった３Ｄ計測機器で直接形
状情報を取得する方法を用いてもよい。この場合、入力
のフェーズでの手間はかかるが予測が非常によくなるこ
とが期待できる。

【００６８】（予測信号の生成原理について）次に、図
１０および図１１を用いて図５のステップ５０７での予
測信号の生成原理を説明する。図１０は、図４で説明し
たｐ−θ平面の図であり、前述したように多視点画像を
Ｙ＝一定の断面で切った一つの走査線に対応している。
フレーム１００１は現在符号化しようとしているフレー
ム（ある特定角度から被写体を撮影することによって得
られた視点画像）、フレーム１００２はモデルを含むフ
レーム（代表輝度値として使用された部分を含む特定角
度の視点画像）、ブロック１００６はモデルとして符号
化され、復号化されたブロックを示している。

【００６９】予測信号の作成は、入力される符号化対象
フレームに対して、ブロック１００６のようにモデルと
して符号化された全てのブロック上の点から、その符号
化対象フレームに対して投影を行うことにより行われ
る。ブロック１００６上の点１００７は、復号化された
輝度値および座標値ｒの値を有している。この点１００
７も被写体上の点より投影されてできているものである
から、点１００７の輝度値は既に説明した原理より、点
１００７の輝度の源となっている被写体上の点の極座標
表現を（ｒ，ψ）とすれば、ｒｓｉｎ（ψ−θ）とフレ
ーム１００２の交点として表現される。これらのうち座
標値ｒは情報として復号化されており、θの値はフレー
ム１００２の位置により一意に決まるため、ψの値を求
めればよい。

【００７０】点１００７を通るｒｓｉｎ（ψ−θ）の曲
線は、例えば図５の例では１００３，１００４の２通り
存在するが、図１１に示すようにｐ−θ平面に見える点
として投影されるのは、ｚ＝ｒｃｏｓ（ψ−θ）の値が
大きい方のψ１であることにより、一意に求められる。
従って、点１００７を通る光線の軌跡は１００３と確定
する。このことから、点１００７より投影されるフレー
ム１００１上の点は曲線１００３，１００１の交点１０
０８となる。点１００８に投影される光線の軌跡は他に
も存在し得る（この例では１００５）。一点に複数の光
線が投影された場合、図１１に示されるｚの値が最も大
きい光線が最終的に投影されたことになる（図の例では
１００３）。モデルとして符号化された１００７のよう
な全ての点からフレーム２０１への投影を行うと、フレ
ーム１００１は予測信号で密に埋まる。モデルはこれを
満たすように選択され、符号化されている。このように
して、符号化対象の各フレーム毎に被写体面上の各点の
モデル情報によってそのフレームの画像が予測される。

【００７１】また、別の方法としてモデル化の負荷を小
さくし、不完全なモデルを許容する方法も考えられる。
この場合は、モデルの全点を投影し終わっても予測信号
が形成されない点があり得ることになる。その場合、予
測信号は０であるとしてよいし（方法１）、あるいは生
成された近隣の予測信号から内挿してもよい（方法
２）。

【００７２】逆に、本実施形態ではモデルの符号化の最
小単位はブロックになっているので、被写体面上のある
点に対応する視点画像上の点は被写体面上のその一つの
点に対して、複数回符号化される可能性があり得る。こ
の場合、一点に重複して投影されたときは、モデルから
の投影における規則として例えば非投影面に角度的に一
番近い視点画像上でモデルとして符号化された点からの
投影を有効にするなどとして、符号化側と復号側で投影
による予測信号生成にミスマッチが起こらないようにす
ることが必要である。

【００７３】（特徴点リストの作成について）次、図５
の特徴点リスト作成ステップ５１２の処理について説明
する。図１２は、ステップ５１２の処理を詳細に示した
フローチャートである。

【００７４】まず、ステップ１２０１で視点画像のライ
ン番号ｌｎを０にセットして、ライン番号を固定の値ｌ
ｓおきずつカウントしながら（ステップ１２１５）、ラ
イン位置毎の処理をする。ｌｓは１としてもよいが、リ
ストの情報が多くなり、リスト作成の処理量も大きくな
るので、８または１６などの値を用いてサンプルするも
のとしてもよい。

【００７５】次に、処理しているラインにおいて図６で
説明したモデル推定で抽出された特徴点の中から適切な
個数の特徴点を選び（ステップ１２０２）、そのライン
の特徴点数ｓｐｎｍａｘを特徴点リストにセットする
（ステップ１２０３）。特徴点数ｓｐｎｍａｘは図６の
ｋｍａｘと同じでもよいが、多すぎると再生処理が重く
なるので、特徴点として有効なものから順に必要最小限
の個数に絞る方が良い。

【００７６】次に、ステップ１２０４で特徴点番号ｓｐ
ｎを０にセットして、特徴点番号を１ずつカウントしな
がら（ステップ１２１３）、以下のように特徴点の処理
を行う。まず、その特徴点についてモデル推定で得たｒ
とψの値を特徴点リストにセットする（ステップ１２０
５）。続いて視点番号ｖｐを０にセットし（ステップ１
２０６）、視点番号を１ずつカウントしながら（ステッ
プ１２１１）、その特徴点が各視点において見えている
かどうかをチェックする処理をする。

【００７７】この一連の処理の中では、まずステップ１
２０７でｒ，ψより、この特徴点がこの視点画像に投影
されるべき画素位置を計算する。次に、この特徴点が１
つ前の視点画像に投影された画素位置の画素との差分を
とり、これをしきい値と比較する（ステップ１２０
８）。差分がしきい値以下の場合は特徴点が有効に見え
ていると判断し、有効／無効テーブルに１をセットする
（ステップ１２０９）。差分がしきい値よりも大きい場
合は、この視点ではこの特徴点は隠されて見えないと判
断し、有効／無効テーブルに０をセットする（ステップ
１２１０）。以上の処理を全ての視点（ステップ１２１
２）、全ての特徴点（ステップ１２１４）、全てのライ
ン（ステップ１２１６）について行って、処理を終了す
る。

【００７８】以上の処理によって作成される特徴点リス
トの実体について整理すると、図１３に示すようなもの
になる。図１３は、リストのうちライン番号がｘ番目の
ｌｎ＝ｌｎ（ｘ）の部分を取り出して示したものであ
る。ここに含まれる情報はライン番号１３００、特徴点
数１３０１、ｓｐｎ（ｘ）個の特徴点に対するｒとψの
リスト１３０２、ｓｐｎ（ｘ）個の特徴点及びｖｐｍａ
ｘ個の視点（今まで実施形態で説明してきた例では、ｖ
ｐｍａｘ＝１２０）に対する有効／無効テーブル１３０
３（これは０／１の要素を持つｓｐｎ（ｘ）^＊ ｖｐｍ
ａｘの配列となる）であり、実際の特徴点リストはこれ
がｌｓおきに調べたライン数分だけ集まったものにな
る。

【００７９】図５の特徴点リスト符号化ステップ５１３
では、この値を符号化する。符号化の例としては、ｒと
ψのリスト１３０２に対しては隣り合った特徴点との予
測符号化＋可変長符号化、有効／無効テーブル１３０３
に対してはランレングス符号化が考えられる。いずれも
可変長となるので、符号の区切りが分かるように、使用
している可変長符号の組み合わせでは発生しないユニー
クな符号パターン（ユニークワード）で符号の終了を知
らせる必要がある。

【００８０】（多重化フォーマットについて）図５に示
した多重化ステップ５１４では、一旦記憶装置１０２に
蓄えられたモデル符号化データと各視点画像の予測誤差
符号化データ、特徴点リストデータを多重化する。

【００８１】図１４（ａ）〜（ｇ）に、図１中の多重化
回路１１６における多重化フォーマットの例を示す。こ
の多重化フォーマットは、ＴＶ会議用のＩＴＵ−Ｔ勧告
Ｈ．２６１の多重化フォーマットの記述方法に準じて記
述されている。本実施形態では、多重化フォーマットは
可能な限り、ＭＰＥＧ等の既存の符号化に似せたフォー
マットとなるようにした。まず、フォーマットは階層的
な構造とした。各レイヤの情報にはスタートコード、エ
ンドコードなどレイヤ固有の情報を含むヘッダおよびト
レイラが存在する。最上位レイヤは、１セットの多視点
画像で表現される図１４（ａ）のオブジェクトレイヤで
ある。このオブジェクトレイヤは、大きくは図１４
（ｈ）のリストレイヤ、図１４（ｂ）のモデルレイヤ、
図１４（ｃ）の誤差レイヤの３つから構成される。

【００８２】モデルレイヤのヘッダは輝度情報を量子化
するステップサイズ（ＱＵＡＮＴ）、ｒを量子化するス
テップサイズ（ＱＵＡＮＴ＿ｒ）を含み、誤差レイヤの
ヘッダは誤差情報を量子化するステップサイズ（ＱＵＡ
ＮＴ）を含む。再生側では、モデルレイヤはどのような
視点からの画像を再生する場合でも必ず全てが復号の初
期のステージでアクセスされるのに対して、誤差レイヤ
は視点によってアクセスされる部分が変わるので、モデ
ルレイヤは図１４（ａ）に示すようにオブジェクトレイ
ヤの情報のうち前の方に固めて配置され、その後に誤差
レイヤの情報が続くようにするのが良い。

【００８３】図１４（ｂ）（ｃ）に示したモデルレイヤ
と誤差レイヤの内容は、共通の構造を持つ。まず、モデ
ルレイヤと誤差レイヤの直ぐ下のレイヤとして図１４
（ｄ）に示すフレームレイヤが来る。フレームレイヤの
へッダはフレーム番号（ＰＮ）、そのフレームが撮影さ
れた条件である、被写体の中心軸とカメラとの距離Ｒお
よびカメラの光軸と交わる被写体面の角度座標ψの情報
を含む。Ｒ、ψの情報は、図２で説明したように固定距
離、固定回転角での撮影である場合に限定すれば、オブ
ジェクトレイヤのヘッダに入っていてもよいが、より一
般的にはフレーム毎に異なっても問題なく、本実施形態
ではフレームレイヤに存在するものとする。また、この
情報は論理的にはモデルまたは誤差のいずれか一方に入
っていれば再生可能であるが、アクセスを簡単にする都
合上、ここでは両方に入っているものとする。

【００８４】フレームレイヤの下は図１４（ｆ）に示す
ＭＢ（マクロブロック）レイヤであるが、ＭＰＥＧのよ
うにフレームレイヤとＭＢレイヤの間に図１４（ｅ）に
示すスライスレイヤが入ってもよい。スライスレイヤ
は、ＳＳＣ（Ｓｌｉｃｅ Ｓｔａｒｔ Ｃｏｄｅ）、Ｓ
Ｎ（Ｓｌｉｃｅ Ｎｕｍｂｅｒ）およびそのスライスに
属する複数のマクロブロックレイヤから構成されてい
る。スライスレイヤが入るとスライス毎へのアクセスが
しやすくなり、復号処理が楽になると共にオブジェクト
を軸に直交する面で切った一部のみの再生がしやすくな
る。

【００８５】また、上述したリスト作成のライン間隔を
スライスに含まれるライン数に合わせれば、リストの処
理はスライスに１回となり整合性が良い。

【００８６】マクロブロックレイヤの下は図１４（ｇ）
に示すブロックレイヤであり、この中はＤＣＴ係数（Ｔ
ｃｏｅｆｆ）とＥＯＢ（Ｅｎｄ ｏｆ Ｂｌｏｃｋ）よ
りなる。モデルのマクロブロックは、図１５に示すよう
にＹ（輝度）、ｒ、ＣｒおよびＣｂ（色差）のブロック
よりなる。また、誤差のマクロブロックは図１５からｒ
のブロックを取り除いたＹ（輝度）、ＣｒおよびＣｂ
（色差）のブロックよりなる。

【００８７】スライス、マクロブロック共にへッダには
フレーム内でのアドレス情報を含み（ＳＮおよびＭＢ
Ａ）、情報の無いスライス、マクロブロックは送られな
い（スキップ）。マクロブロックレイヤのパリティ（Ｐ
ＡＲＩＴＹ）は、図１０および図１５の説明で前述した
ψを指示するためのパリティ（ｚ：＋ｏｒ−を示す）で
あり、モデルレイヤについてのみ送られる。ＣＢＰはマ
クロブロック内の情報を含むブロックのパターンを示す
情報であり、誤差レイヤのマクロブロックについてのみ
送られる。

【００８８】なお、本実施形態ではＭＰＥＧ等との親和
性からマクロブロックレイヤを持つ構造にしたが、マク
ロブロックレイヤの階層にいきなりブロックレイヤが来
るように構成しても何等問題はない。

【００８９】図１４（ｈ）に示すリストレイヤは、図１
３で説明した構造を符号化したもので、リストスタート
コード（ＬＳＣ）で始まり、ライン番号（ＬＮ）、特徴
点数（ＳＰＮ）、特徴点の形状データであるｒ，ψ、有
効／無効テーブル（Ｖ／ＮＶ）およびリストエンドコー
ド（ＬＥＣ）よりなる。１つのオブジェクトに対するリ
ストには、ＬＮから始まる構造がモデルを作成したライ
ン数分、各ＬＮから始まる構造の中には、ｒから始まる
構造がそこに書かれたＳＰＮ個分含まれる。

【００９０】［多視点画像復号化および任意視点画像生
成について］次に、本発明に係る多視点画像復号化方法
および任意視点画像の生成方法の一実施形態に説明す
る。図１６は、本発明の多視点画像復号化方法および任
意視点画像の生成方法が適用される装置の典型的な構成
を示すブロック図である。この装置はＣＰＵ１６０１、
視点位置・視線方向入力装置１６０２、大容量の記憶装
置（典型的な例としては、ハードディスク装置）１６０
３、ＲＡＭ（ランダムアクセスメモリ）１６０４および
画像出力装置１６０５からなり、これらをバス１６００
により接続して構成される。

【００９１】次に、図１７に示すフローチャートを用い
て、符号化されたデータを復号し、任意視点画像として
再生する手順を説明する。本実施形態では、リストを求
めるためにサンプルしたライン数はスライス当り１つで
あり、再生処理はスライス単位に行われるようになって
いるものとして説明する。

【００９２】まず、ステップ１７００で符号化されたデ
ータ（多重化ストリーム）を記憶装置１６０３に入力す
る。入力された符号化データは既に説明したように、符
号化された特徴点のリスト、モデルデータと予測誤差デ
ータが多重化されたストリームであるので、次のＣＰＵ
１６０１でヘッダを解析しながらこれら３つのデータを
分離する。

【００９３】ＣＰＵ１６０１で分離されたデータのう
ち、予測誤差データについては符号化されたままの形で
ＲＡＭ１６０４に保持する（ステップ１７０１）。図１
６の装置構成の場合、この分離の処理を含めて、以後の
処理は全てＣＰＵ１６０１で行われる。

【００９４】次に、分離されたデータのうちモデルデー
タを復号し、得られたモデル情報をＲＡＭ１６０４に保
持する（ステップ１７０２）。このモデルデータの復号
は、符号化手順で説明したモデル復号化処理と全く同じ
であり、典型的には可変長復号、逆量子化、逆ＤＣＴと
いった処理である。

【００９５】次に、分離されたデータのうち特徴点リス
トデータを復号し、リスト情報としてＲＡＭ１６０４に
保持する（ステップ１７０３）。特徴点リストデータの
復号は、符号化手順で説明したリスト符号化の逆の処理
であり、図１３で説明したデータを復元するものであ
る。

【００９６】また、さらに再生処理を高速にするために
は、ｒとψのリスト１３０２及び有効／無効テーブル１
３０３の形でＲＡＭ１６０４に保持するのではなく、図
１２のステップ１２０７で説明した、ｒ，ψより各特徴
点が各視点画像に投影されるべき画素位置の計算までを
このステップで行って、各ラインに相当するｓｐｎ
（ｘ）^＊ ｖｐｍａｘの配列に元々テーブルに１が入っ
ていた位置に対してはこの画素の座標を保持し、０が入
っていた位置はそのままにしたようなテーブルに変換し
たものとして、ＲＡＭ１６０４３に保持するようにして
もよい。再生時に参照するのはこの座標であるから、こ
の処理を事前に行っておくことにより、再生時の処理は
少なくできる。

【００９７】上述したステップ１６０１〜１６０３の処
理は、ソフトウェア起動時あるいはソフトウェア内での
オブジェクトを選択した時点で、視点に関する情報が入
力される前に行われ、これで再生の準備が整った状態と
なる。

【００９８】次に、視点位置・視線方向入力装置１６０
２より視点の位置、視線方向の情報を入力する（ステッ
プ１７０４）。視点位置・視線方向入力装置１６０２の
例としては、バーチャルリアリティの分野ではヘッドマ
ウントディスプレイに位置センサ、方向センサを取り付
けたものなどを使用することがある。しかし、ＰＣレベ
ルのプラットフォームで手軽に使う手段としては、例え
ばＶＲＭＬブラウザで実現されている、表示画面上に仮
想的なレバーやハンドルを表示し、これをマウスなどの
ポインティング装置で仮想的に操作することによって視
点位置、方向を入力するシステムのようにソフトウエア
的に実現されるものでもよい。この入力によって、対応
する視点からの画像の生成のループが開始される。以
下、このループ内では、この視点から見た画像作成の処
理が行われる。

【００９９】まず、指定した視点から指定された方向を
見た再生画像ｐ−θ面上での位置を計算する（ステップ
１７０５）。この計算に際しては、視点位置・視線方向
入力装置１６０２より得られた視点に対応する位置、方
向のパラメータをオブジェクト固定の座標に変換した距
離Ｒ、移動角ξのパラメータに変換する。

【０１００】次に、まず移動角ξを０として再生画像を
求め、求まった画像をξを考慮して平行移動して指定し
た視点から指定された方向を見た再生画像を作成する。
この時の平行移動量は、カメラの視野角と扱う再生画像
の解像度によって決まる。

【０１０１】すなわち、カメラの視野角を±η、扱う画
像サイズの横方向をＨとすると、 αｔａｎη＝Ｈ／２ （１０） なる関係を持つαを求め、 Δ＝αｔａｎξ （１１） なるΔだけ平行移動すればよい。より正確には撮影系の
パラメータを考慮した変換が必要になるが、簡易的には
この程度でも実用上使えないことはない。

【０１０２】ここで、次にξ＝０として再生画像を求め
る様子を図１８を参照しつつ説明する。まず、求められ
た距離のパラメータＲより、ｐ−θ平面上での再生すべ
き画像を表す曲線１８０１が求められる。この曲線は、
Ｙの値によらず共通である。この時点で、再生画像のど
の位置の座標がどの視点画像を参照して作成されるかが
大まかに確定する。例えば、図１８の例では再生画像１
８０１上の点１８０４と１８０５の間の領域は、少なく
とも視点画像１８０２または１８０３を参照して作成さ
れることが確定する。

【０１０３】次に、スライス番号ｓｌを０にセットし
（ステップ１７０６）、スライスを１つずつカウントし
て（ステップ１７１５）、処理するスライスのループに
入る。本実施形態では、１マクロブロックラインを１ス
ライスとして符号化されたものとし、復号はスライス毎
に行うとして説明する。

【０１０４】画像１８０１の再生において参照される画
像１８０２、１８０３等は、被写体の形状に応じて異な
ったｐに相当する部分が参照されるが、Ｙ座標は同じ値
が参照されるので、マクロブロックライン（＝スライ
ス）毎の処理はこの性質に適している。

【０１０５】次に、再生に使用する特徴点を特徴点リス
トの中から選択する（ステップ１７０７）。このステッ
プ１７０７以降の処理は、参照する視点画像が変わる単
位毎に行われる。ここでは、一例として図１８の再生画
像１８０１上の点１８０４と１８０５の間の領域に対し
ての処理として説明する。また、特徴点リストは上述し
たようにステップ１７０３で有効な画素は座標に変換さ
れたテーブルになっているものとして説明する。

【０１０６】まず、処理しているスライスに対応するラ
インのテーブルを選び、視点画像１８０２と１８０３に
相当する列を見る。これらの中で特徴点として両方の列
で有効であり、対応する軌跡と視点画像１８０１が点１
８０４と１８０５の間で交わるような図１８中の特徴点
１８０６、１８０７の組を持つような特徴点を選択す
る。

【０１０７】ここで、このような特徴点の組が複数あっ
た場合には、予め決められた規則にしたがって１組を選
択する。例えば、（ａ）図１８の１８０８のような交点
の位置が１８０４と１８０５の中央に近いものを選択す
る。この場合、後のマッピング処理での歪みも小さくで
きる。あるいは、（ｂ）特徴点の軌跡１８０６→１８０
７のような線が上のスライスの同様の線と平行に近いも
のを選択する。この場合、再生画像の上下方向の連続性
が良くなる。あるいは、（ｃ）対応するｒの値が大きい
特徴点を選択する。この場合、最も目立つ視差の変化を
正確に再現することができる。

【０１０８】なお、別の実施形態として複数の特徴点が
条件を満たした場合は、その全てを切り替え点として採
用するようにしてもよい。その場合は、全ての特徴点に
ついて点１８０８に相当する点を求め、隣同士の１８０
８に相当する点で挟まれた領域をそれに対応する１８０
６または１８０７に相当する点に挟まれた領域からマッ
ピングする。視点画像１８０２、１８０３のどちらから
マッピングするかは例えば切り替え点（１８０８に相当
する点）が中央に対してどちらに近いかによって決定す
る。

【０１０９】また、この範囲に対して条件を満たすよう
な特徴点が１つもなかった場合、この領域は例えば図２
１で説明した従来の方法で作成する。特徴点が見つから
なかったということは、この範囲は輝度の変化が小さい
平坦な領域である可能性が高く、どの点で参照を切り替
えてもそれほど不自然な画像にはならないと期待でき
る。

【０１１０】この時点で視点画像中の参照される画素位
置及び再生画像領域との対応が確定する（ステップ１７
０８）。例えば、図１８では点１８０４から点１８０８
までの間の領域は光線空間上で近い位置にある視点画像
１８０２上の点１８０４から点１８０６の間を参照し、
点１８０８から点１８０５までの間の領域は光線空間上
で近い位置にある視点画像１８０３上の点１８０７から
点１８０５の間を参照して再生される。

【０１１１】この中で点１８０４、１８０５はデータと
して持っている光線と全く一致するので、完全に再生で
きる画素である。点１８０８は被写体の同じ点から出た
光線の軌跡上にあるので、かなり実際と近く再生できる
画素である。その他の画素は、この方法で推測して再生
した画素であり、実際とは少しずれているかもしれない
が、不自然にならないように再生した画素ということに
なる。

【０１１２】次に、ステップ１０９で再生画像位置１８
０１にモデルから投影を行って予測信号の仮作成を行う
（ステップ１７０９）。このステップ１７０９は、参照
する領域に対して予測信号を作成する際に投影すべきモ
デルの被写体面上の点を制限し、予測のための演算量を
減らすための処理である。

【０１１３】この先の一連のステップを再び図１８を参
照しながら説明する。まず、モデルとして把握している
点を全て再生画像位置１８０１に投影してみる。このと
き、各視点画像間に挟まれた領域毎に、そこと交わるモ
デル上の点を記憶する。次にステップ１７０８で参照さ
れることが特定された領域に対して、予測信号を生成す
る（ステップ１７１０）。

【０１１４】このステップ１７１０では、例えば図１８
の例では点１８０４と１８０６に挟まれた領域及び点１
８０７と１８０５に挟まれた領域に予測信号を生成す
る。この際、モデルとしてＲＡＭ１６０４に保持されて
いる全ての点から投影し、オクルージョンを考慮して最
前面の投影を選択するのでは演算が多くなる。

【０１１５】しかし、本実施形態では事前にステップ１
７０８でモデル全体から仮投影し、上述の領域に有効に
投影される可能性のあるモデルの点につき絞り込みを行
ってあるので、ここでの予測信号生成のための投影はス
テップ１７０８で記憶された点からのみＲＡＭ１６０４
から読み出して投影を行い、オクルージョン判定を行っ
て最終的に有効な投影を決定すればよい。

【０１１６】次に、上述の位置に対応する誤差ブロック
をＲＡＭ１６０４から読み出して復号する（ステップ１
７１１〜１７１２）。誤差の復号は符号化方法で説明し
た予測誤差の符号化の逆の処理であり、典型的な例とし
ては可変長復号、逆量子化、逆ＤＣＴである。

【０１１７】次に、予測信号と予測誤差が加算されて上
述の領域における画像が再生される（ステップ１７１
３）。

【０１１８】次に、再生された画像が再生画像位置１８
０１に図７の下の図（上の図を拡大したもの）に示した
ようにマッピングされる（ステップ１７１４）。

【０１１９】以上の処理をｓｌｍａｘ個の全てのスライ
スに対して行い（ステップ１７１６）、先に述べたよう
に視線方向分シフトを行えば（ステップ１７１７）、入
力された視点に対応する再生画像の生成処理は終了す
る。別の視点の入力が新たに行われれば（ステップ１７
１８）、また同じ処理を繰り返す。

【０１２０】オブジェクトが複数ある場合には、視線の
ループ内の処理をオブジェクトの個数分行う。この際、
シフト量はオブジェクトが仮想空間に配置された座標に
したがってオブジェクト毎に異なる値が設定されること
に注意が必要である。

【０１２１】以上の実施形態ではスライスの中のライン
に対しては全て同じマッピングで再生画像を生成するよ
うに説明したが、リストが与えられたラインの間のライ
ンにおける切り替え点の位置は内挿によって連続的に変
化するようにしてもよい。

【０１２２】その場合、画像レベルで見たときには図１
９に示すような台形から台形へのテキスチャマッピング
となる。図１９では、処理中のスライスの１つ下のスラ
イスに対する特徴点を１８０６’も求め、間の特徴点は
特徴点１８０６と１８０６’とから内挿するため、画像
レベルで見ると図のように台形の領域となる。再生画像
側でも同様に、１つ下のスライスの切り替え点１８０
８’と切り替え点１８０８とから間の切り替え点が内挿
されるので、これも台形となる。このようなテキスチャ
マッピングは標準的なグラフィックライブラリを使用す
ることによって一括して処理することができる。

【０１２３】

【発明の効果】以上説明したように、本発明によれば多
視点画像を用いて任意視点画像を再生するシステムにお
いて、実写に近い自然な任意視点画像を生成することが
できるようになり、また使用するメモリ量、生成に要す
る演算量をリーズナブルな範囲に収めることができる。

【図面の簡単な説明】

【図１】本発明で想定している多視点画像符号化に使わ
れる装置の例を説明する図

【図２】本発明における画像入力装置の一実施形態を示
す図

【図３】被写体の断面と極座標の関係を説明する図

【図４】入力された多視点画像のｐ−θ平面上での位置
関係を説明する図

【図５】本発明に係る多視点画像符号化方法の一実施形
態を説明するフローチャート

【図６】図５におけるモデル推定の手順の一実施形態を
説明するフローチャート

【図７】図６のモデル推定処理における探索範囲の制限
について説明する図

【図８】図６のモデル推定処理における探索範囲の制限
について説明する図

【図９】図６のモデル推定処理におけるＭＶ検出につい
て説明する図

【図１０】本発明における予測信号が作成される原理を
説明する図

【図１１】重なった光線の処理を説明する図

【図１２】特徴点リスト作成の手順の一実施形態を説明
するフローチャート

【図１３】本発明における特徴点リストの構成例を示す
図

【図１４】本発明の多重化フォーマットの一実施形態を
示す図

【図１５】本発明のマクロブロックの構成の一実施形態
を示す図

【図１６】本発明で想定している任意視点画像の生成に
使われる装置の例を説明する図

【図１７】本発明に係る多視点画像復号／任意視点画像
生成方法の一実施形態を説明するフローチャート

【図１８】復号再生時の参照画素を求める原理を説明す
る図

【図１９】本発明におけるマッピングの様子を示す図

【図２０】光線空間の円筒記録を説明する図

【図２１】従来の任意視点画像生成方法の例を説明する
図

【符号の説明】

１００…バス １０１…ＣＰＵ １０２…画像入力装置（多視点画像入力装置） １０３…記憶装置 １０４…ＲＡＭ １６００…バス １６０１…ＣＰＵ １６０２…視点位置・視線方向入力装置 １６０３…記憶装置 １６０４…ＲＡＭ １６０５…画像表示装置

フロントページの続き Ｆターム(参考） 5B050 BA09 DA07 EA10 EA18 EA27 EA28 5B057 BA02 BA19 CA13 CA16 CB13 CB18 CG03 5C059 KK08 KK15 MA04 MB00 MB08 MB14 PP12 PP13 RB02 UA02 UA05 UA34 UA38 5L096 AA09 CA04 EA24 FA09 GA08 9A001 EE04 HH23 HH27 HZ32

Claims (5)

【特許請求の範囲】
1. 【請求項１】被写体との位置関係が既知の複数の視点か
   らそれぞれ異なる視線方向で得られた該被写体について
   の複数の視点画像からなる多視点画像を符号化する多視
   点画像符号化方法において、 前記多視点画像を入力する入力ステップと、 前記多視点画像を符号化する符号化ステップと、 前記被写体面上の点より座標推定の容易性が高いと予想
   される特徴点を求める特徴点抽出ステップと、 前記特徴点に対してその座標とその点が有効に見えてい
   る視点の範囲を表す情報よりなる特徴点リストを作成す
   るリスト作成ステップとを有することを特徴とする多視
   点画像の符号化方法。
2. 【請求項２】前記符号化ステップは、 前記被写体面上の各点の座標値と輝度値とから構成され
   るモデル情報を求めるモデル化ステップと、 前記モデル情報を符号化してモデルデータを得るモデル
   情報符号化ステップと、 前記モデルモータを復号化してモデル情報を得るモデル
   データ復号化ステップと、 前記モデルデータ復号化ステップにより復号化されたモ
   デル情報から前記多視点画像に含まれる各視点画像の予
   測信号を作成する予測信号作成ステップと、 前記多視点画像と前記予測信号との予測誤差情報を符号
   化して予測誤差データを得る予測誤差符号化ステップと
   を有することを特徴とする請求項１記載の多視点画像符
   号化方法。
3. 【請求項３】前記リスト情報を符号化するリスト情報符
   号化ステップと、 前記モデルデータ、予測誤差データ及びリストデータを
   多重化する多重化ステップとをさらに有することを特徴
   とする請求項２記載の多視点画像符号化方法。
4. 【請求項４】被写体との位置関係が既知の複数の視点よ
   り多視点画像を入力して符号化した情報及び、前記被写
   体面上の点より座標推定の容易性が高いと予想される特
   徴点に対してその座標とその点が有効に見えている視点
   の範囲を表す情報よりなる特徴点リストを用いて任意視
   点画像を生成する方法であって、 前記多視点画像を復号するステップと、 再生すべき視点位置及び視線方向を決定するステップ
   と、 前記決定された視点位置から見た画像を生成するために
   使用する特徴点を前記特徴点リストより選択するステッ
   プと前記決定された視点位置から見た画像を生成するた
   めの多視点画像の被参照部分の位置を前記視点情報と前
   記選択された特徴点より確定するステップと、 前記復号された多視点画像より前記決定された視点位置
   から見た画像を生成するステップとを有することを特徴
   とする多視点画像の任意視点画像生成方法。
5. 【請求項５】被写体との位置関係が既知の複数の視点よ
   り多視点画像を入力し、被写体面上の点の座標と輝度の
   情報よりなるモデル情報を求めて、モデル情報より前記
   多視点画像に含まれる各視点画像の予測信号を作成し、
   前記モデル情報及び、前記多視点画像と前記予測信号と
   の予測誤差として符号化するとともに、前記被写体面上
   の点より座標推定の容易性が高いと予想される特徴点を
   求め、前記特徴点に対してその座標とその点が有効に見
   えている視点の範囲を表す情報よりなる特徴点リストを
   作成し、前記モデルデータ、予測誤差データ及び特徴点
   リストを多重する方法によって符号化多重された情報を
   復号し任意視点画像を生成する方法であって、 前記符号化多重された情報から前記モデルデータ、前記
   予測誤差データ及び前記特徴点リストを分離し、前記予
   測誤差データ及び前記特徴点リストをＲＡＭに保持する
   ステップと、 前記モデルデータを復号しモデル情報としてＲＡＭに保
   持するステップと、 再生すべき視点位置及び視線方法を決定するステップ
   と、 前記決定された視点位置から見た画像を生成するために
   使用する特徴点を前記特徴点リストより選択するステッ
   プと、 前記決定された視点位置から見た画像を生成するための
   視点画像の被参照部分の位置を前記視点情報と前記選択
   された特徴点より確定するステップと、 前記計算された視点画像の被参照部分の位置に前記ＲＡ
   Ｍより読み出した前記モデル情報より予測信号を生成す
   るステップと、 前記計算された視点画像の被参照部分の位置に対応する
   前記予測誤差データの必要部分を前記ＲＡＭより読み出
   し復号して予測誤差を得るステップと、 前記予測信号と前記予測誤差とを加算し再生画像を得る
   ステップと、 前記再生画像より前記決定された視点位置から見た画像
   を生成するステップとを有することを特徴とする多視点
   画像の任意視点画像生成方法。