JPH09186957A

JPH09186957A - 画像記録再生装置

Info

Publication number: JPH09186957A
Application number: JP7343889A
Authority: JP
Inventors: Masakazu Matsugi; 優和真継
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-12-28
Filing date: 1995-12-28
Publication date: 1997-07-15

Abstract

(57)【要約】【課題】画像生成時と再生時とで視点の変化が異る場
合でもスムーズかつ自然な画像再生を行えるようにす
る。【解決手段】複数の撮像手段１の位置・姿勢を検出
し、その視線データを生成手段２で生成する。インデク
ス処理ユニット４は上記視線データと撮像時間を示す時
間データとを処理して一次配列記憶手段５に画像データ
と共に、所定の配列で記録する。再生時に視点入力手段
７からの視点運動情報に基づいて予測手段８が視点の移
動を予測し、この予測に応じて画像データサンプリング
手段９は上記記録された画像データを再配列し、再配列
された画像データは高速メモリ１１に転送後、表示手段
６で表示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は物体を複数の視点位
置から見た画像を記録再生する画像記録再生装置に関す
る。

【０００２】

【従来の技術】従来、被写体を撮像して得られる実写画
像を記録し、再生時にその被写体を指定された視点位置
から見た画像として再生する方法として、時系列的に画
像を撮像し、その撮像時における撮像手段の位置、姿勢
などを画像とともに記録しておき、再生時に上記位置姿
勢を指定し、それに対応する画像を再生する方法があっ
た。また他の例としては、特開平６−１８７４２４号公
報に開示されるように事前に計算した画像の集合から選
択した立体画像の対に動的にアクセスする方式があり、
また本出願人により提案された予め立体画像情報を完全
に求め、再生時に指定した手順で再生する方法などがあ
った。

【０００３】

【発明が解決しようとする課題】しかしながら、上記撮
像時に時系列的に記録された画像を用いる方法では、同
じ被写体、或いは同じ風景、建物の中などの画像を撮像
時と異なる任意の視点位置から任意の速度で自然に再生
することは不可能であった。例えば再生時の視点位置の
変化が撮像時と同じであっても、撮像時と再生時とで視
点の変化速度が異なる場合は再生時の視点位置変化にス
ムーズに追随して視点位置変化の緩急に応じた再生動画
像を得ることは困難であった。特に、画像中に動く被写
体（人、動物、車など）が存在する場合、再生時の視点
位置の変化速度を増減することは、再生速度（コマ送り
速度）を増減することと実質的に等価であり、再生時の
視点速度または方向と画像中の被写体の動作速度（また
は時間スケールの大きさ）との独立性が欠如していた。
このため、視点位置の速度に応じて被写体の動作速度も
変わるような不自然な画像再生しか実現できなかった。

【０００４】さらに視点位置や視線方向の変化の仕方が
一回の動画撮像でカバーできない場合、視点の変化に追
随した画像再生を行うためには、複数回に分けて撮像さ
れた動画像に対して、再生時に記録手段上で異なる視点
位置（視線方向）で撮像された一連の時系列画像の一つ
のアドレスへジャンプする必要があった。このため、撮
像時と異なる視点位置（視線方向）の変化に高速、且つ
なめらかに追従することのできる自然な画像再生は一層
困難であった。特に被写体および再生時の視点がある動
作または運動をする場合、再生時の視点の運動と画像生
成時の視点の運動および撮像時と再生時の被写体の運
動、それぞれの時間スケール（または各運動の速度）ま
たは運動パターンを独立的に任意に設定することは原理
的に不可能であった。

【０００５】また立体情報を求めてから画像を再生する
方式では、事前の演算量が莫大になること、従って実写
画像空間中を再生時の視点位置に応じてインタラクティ
ブに再生するには不向きであった。

【０００６】そこで本発明の第１の目的は、画像生成時
と再生時とで視点位置または視線方向の変化の仕方が異
なる場合でも、スムーズかつ自然な画像再生が可能な画
像記録再生装置を提供することである。本発明の第２の
目的は、画像生成時と再生時とで視点位置または視線方
向の変化の仕方を任意かつ独立に設定可能で、被写体画
像の動作速度が再生時の視点速度によらずにスムーズか
つ自然な画像再生が可能な画像記録再生装置を提供する
ことである。本発明の第３の目的は、背景画像と被写体
画像を任意に設定可能でかつ、被写体動作と再生時の視
点位置、視線方向の変化パターンとが任意独立に指定可
能な画像記録再生装置を提供することである。

【０００７】本発明の第４の目的は、時系列的に記録生
成される画像データに対して第１または第２または第３
の目的を達成可能な画像記録再生装置を提供することで
ある。本発明の第５の目的は、再生時に指定される視点
位置または視線方向の変化に自然に追随して動作または
動きを伴う被写体の自然な画像再生が可能な第１の目的
に準じた画像記録再生装置を提供することである。本発
明の第６の目的は、異なる視点位置または視線方向で得
た動作主体の存在する動画像を効率的に圧縮する第１の
目的に準じた画像記録再生装置を提供することである。
本発明の第７の目的は、視点位置、視線方向の変化パタ
ーンと画像データ中の被写体との位置関係とを任意に指
定して高速再生可能な第１の目的に準じた画像記録再生
装置を提供することである。

【０００８】

【課題を解決するための手段】本発明においては、物体
を複数視点または視線方向から見た画像データを生成す
る画像データ生成手段と、上記画像データを記憶する記
憶手段と、上記画像データに対応する視点位置で、視線
方向を示す視線データと画像データの時刻または時間経
過を示す時間データとを記憶するデータ記憶手段と、上
記視線データおよび時間データに基づいて上記記憶手段
上における画像データの再配列処理を行う処理手段とを
設けている。

【０００９】

【作用】本発明によれば、生成された多視点画像データ
は記憶手段に記憶されると共に、画像データに伴う視線
データと時間データとがデータ記憶手段に記憶される。
処理手段は記憶手段上の画像データを、上記視線データ
と時間データとに応じて並べ直す再配列を行う。従っ
て、再生時に上記再配列された画像データを読み出して
表示することにより、任意の視点位置からの動画像を撮
像時の動画記録順序によらずに再生することができる。

【００１０】

【発明の実施の形態】図１は本発明の第１の実施の形態
によるシステム構成図である。本実施の形態は不図示の
移動物体を多視点から見た動画像を撮像して記録し、再
生時に移動または固定視点位置から見た動画像を生成・
表示する装置である。図において、１は被写体の多視点
画像を得るために複数の位置に設定された複数の撮像手
段、２は各撮像手段１の視線方向（その光軸の向いてい
る方向）、位置データを検出してそれらのデータを生成
する生成手段、４は各撮像手段１の視線方向・位置およ
び時間経過に関するインデクス処理ユニット、５は一次
配列記憶手段、６は画像表示手段、７は再生時の視点位
置・姿勢入力手段である。

【００１１】ここでは簡単のために、図示のように立方
体状の空間中に多数の撮像手段１を配列した場合を示し
ている。各撮像手段１には複数の互いに光軸方向（視線
方向）の異なる撮像ユニット（不図示）が内蔵されてい
る。また各撮像手段１は、不図示のレンズ駆動手段、合
焦手段、露光量調整手段、センサ感度調整手段、画像記
録手段、および撮像手段間の同期手段などを有する。そ
の他の構成要素としては、再生時の視点位置を入力する
視点入力手段７、その視点位置入力データに基づく視点
変化軌道範囲の予測手段８、予測視点軌道に基づいて画
像データをサンプリングする画像データサンプリング手
段９、画像データ転送手段１０、高速メモリとしてのキ
ヤッシュメモリ１１が設けられている。また、予測手段
８と画像データサンプリング手段９とにより二次配列処
理記憶手段１００が構成される。

【００１２】図２はインデクス処理ユニット４の主たる
構成を示し、画像一次記憶手段４１、各撮像手段１との
同期をとる同期手段４４、位置・姿勢時間データ読み込
み手段４３が設けられている。この読み込み手段４３
は、撮像手段１の位置・姿勢（視線方向）データおよび
動画取り込み時間経過データを検索インデクスとする画
像インデクスの生成機能を有している。またインデクス
付き画像データ書き込み制御手段４２、画像一次記憶手
段４１と一次配列記憶手段５間のデータ授受用のインタ
ーフェース手段４５が設けられている。

【００１３】次に、画像の入力から再生までの処理手順
について説明する。姿勢、位置データの生成手段２から
得られるパラメータとして各撮像手段１の３次元空間に
おける位置ベクトルを（Ｘ，Ｙ，Ｚ）、姿勢（視線方
向）をθ、φのように表記する。ここでθ、φは撮像手
段１の光軸方向を示し、被写体中心に設定される絶対直
交座標系上で定義される経度（ＸＹ面内でＸ軸に対する
角度）、緯度（Ｚ軸に対する角度）をそれぞれ示す。

【００１４】まず画像データのインデクス書き込み制御
および転送制御方法について説明する。図２の位置・姿
勢・時間データ読み出し手段４３は図１の位置・姿勢デ
ータ生成手段２からのデータを所定のレートで同期手段
４４を介して取り込み、インデクスデータを生成して画
像データのヘッダ部に付与する。図６に画像記録時のヘ
ッダ部のフォーマット例を示す。図６（ｃ）のｒは所定
位置からの走行距離などを示す。インデクス付き画像デ
ータ書き込み制御手段４２は各撮像手段１から得た同時
刻の画像データを画像一次記憶手段４１に順次に書き込
む。図６は各画像に付与されるインデクスの書き込みフ
ォーマット例を示す。

【００１５】次に一次配列記憶手段５による画像データ
の一次配列処理について説明する。本実施の形態では、
一次配列記憶手段５は、各撮像手段１ごとに設定された
複数の画像データ記録媒体を有している。特に光（磁
気）ディスクなどの円盤型ディスク媒体を用いる場合
は、画像データのヘッダ部に時間データ（時間インデク
ス）、例えばフレーム間の時間間隔、時刻または時間経
過を記録し、同一トラックに配列される画像データは視
点位置と視線方向が一定で円周方向に時間インデクスが
所定間隔（例えば３０ミリ秒）となるように配列して記
録する。ここではこのような配列を一次配列というもの
とする。

【００１６】上記一次配列された画像データは、再生時
には、視点運動情報に応じて再配列処理されて二次配列
画像データとなり、キャッシュメモリ１１に記憶され
る。

【００１７】上記二次再配列処理について説明する。視
点変化軌道範囲予測手段８は、再生時の視点入力手段７
からの視点運動データとして仮想視点の位置、速度ベク
トルなどに基づき現フレームから所定時間分の視点位置
（軌道）を予測する。画像データサンプリング手段９は
視点の予測軌道と各視点位置の時刻（または経過時間）
データに最も近いインデクスを有する画像データを一次
配列データを格納した一次配列記憶手段５から抽出し、
視点軌道上の視点変化パターンに対応するように画像を
再配列する。このようにして得られる画像列が二次配列
後の画像データである。二次配列後の画像データは画像
データ転送手段１０によりキャッシュメモリ１１に記憶
される。

【００１８】尚、予測視点軌道の誤差を考慮して、各時
刻の視点位置範囲の上下限内に対応して複数（例えば３
つ）のキャッシュメモリ１１を用意し、それぞれに二次
配列後の画像データを記憶させるようにしてもよい。こ
の場合は予測軌道に対応するメモリ内の画像データを転
送手段１０により表示手段６に転送し、同時に再生時の
視点位置の時間変化に伴って各メモリ上での現フレーム
に対応するアドレスを同期して更新させ、ずれが予め設
定された許容範囲を越える場合は、マルチプレクサによ
る再生視点の現在位置に対応する視点軌道に対応するメ
モリ内の画像データへの切り替えを行って、表示手段６
に転送することにより、予測軌道とのずれ補正を行いな
がら画像再生が可能となる。尚、転送手段１０はこのよ
うな画像データ選択的表示のための不図示の転送制御手
段を内蔵している。

【００１９】また、視点変化パターンが予め固定または
指定される場合には、再配列処理の高速化のために、記
録媒体上にインデクスデータが視点変化パターンと一致
するように対応する画像データ領域の割り当てを予め行
ってもよい。その場合は、時間インデクスの変化幅は一
定とし、視点位置、視線方向インデクスを予め記録媒体
に書き込んでもよい。例えば撮像手段１により実写され
た建物（或いは風景）内のウオークスルーを行う場合、
ユーザが予めルートを指定することにより、上述した再
配列処理を画像再生に先行させることができ、その結果
画像再生中の上述した演算負荷を無くして視点変化に対
応した高速画像再生が実現可能となる。

【００２０】次に予め指定される視点の動きパターンに
基づくメモリ再配列の方法を詳しく説明する。ここでは
視点位置または方向の変化を表す軌道パターンを仮想時
系列データとして再構成し、指定された視点パターンの
動きに対応する画像データ列を予測または抽出してキャ
ッシュメモリ上などに配列して記憶させ、再生時は指定
された視点の動きに従って高速に画像の生成を行う。そ
の一つの方法として時刻ｔでの視点位置・視線方向パラ
メータで構成される６次元状態空間（ｔ，Ｘ，Ｙ，Ｚ，
θ，φ）、或いは時間データと視点パラメータの少なく
とも一つを含むような状態空間またはインデクスにおい
て、視点の状態変化が一つの軌跡を描くような順序列パ
ターンを複数用意し、再生時に指定された視点位置・姿
勢の順序列パターンに対応する画像データ列またはイン
デクス列の並び変えを行った後、画像の高速再生を行う
方法がある。例えば特定の被写体を異なる視点位置から
撮像した画像（既に複数の視点位置・姿勢条件下で撮像
済とする）を再生する場合について、指定された視点位
置変化パターンが原点からの距離ｒを保ったまま、視点
位置が所定の平面ａＸ＋ｂＹ＋ｃＺ＝ｄと球面Ｘ²＋Ｙ
²＋Ｚ²＝ｒ²との交差曲線である円周上を動くとす
る。

【００２１】また、順序列パターンの種別をメニュー形
式で端末に表示されたものを選択し、その後に運動パラ
メータの設定を行ってもよい。また再配列後に再生開始
時の画像の視点パラメータを変更する場合には、与えら
れた初期視点パラメータから該当する先頭インデクス値
および先頭画像アドレスを参照テーブルから求めること
により、それ以降の画像列を再生することができる。特
に視点パラメータの軌道が状態空間内で閉じている場合
には、視点パラメータ初期値変更後に再生用の先頭画像
のインデクスが、最後尾画像のインデクスと視点パラメ
ータ軌道上で隣接する（要するに軌道が閉じる）ように
再配列をやり直してもよい。さらに、複数の指定された
視点運動パターンからなる再生を行ってもよい。これに
より視点位置変化を複雑化したり、任意の視点運動パタ
ーンを予め設定することができる。また順序列パターン
を指定する方程式のパラメータを変更したり、各パター
ンの始点と終点座標（状態空間内）を指定してもよいも
のとする。尚、状態空間の次元は時間軸を除いたパラメ
ータの幾つかを固定して次元数を削減することにより、
再配列処理の高速化が可能となる。

【００２２】また、インデクス処理ユニット４から転送
されたインデクスデータを判定して、予め設定されたイ
ンデクス値のいずれかに等しくなる（或いは設定値との
差が所定閾値以下）場合には、記録媒体上の対応する設
定領域に画像データを記録してもよい。このように設定
済の姿勢インデクス番地に画像データを書き込む場合に
は、撮像動作終了時に必ずしも全記録領域が埋まるとは
限らない。この場合には空きデータ領域が消滅する（即
ち空きデータ前後間の画像データを再配列後に連続させ
る）ように再配列してもよい。インデクス（時間データ
または対応する位置・姿勢データ）の配列を一定微小間
隔にすることにより、再生時の視点位置、視線方向の変
化に対する追従応答性が格段に向上する。即ち、視点位
置、視線方向の変化の緩急、或いはそれらの変化パター
ンにスムーズに追従した画像再生が可能となる。特に再
生時の視点の位置、視線方向をマウス、操作レバーなど
の検知手段を用いて直接操作する場合には、検知信号を
所定の予測関数に基づき予測フィルタ（カルマンフィル
タなど）を用いて視点パラメータを推定し、該当する画
像インデクスを求めて再生してもよい。但し、再配列後
の画像データにはインデクス情報は付加しなくてもよい
が、再配列処理においては指定された順序列パターンに
対応するインデクス列を視点位置パラメータとインデク
スとの参照テーブルまたは変換式を用いることにより、
自動的かつ高速に求めることができる。

【００２３】再生時に視点が仮想空間内の特定の場所に
おいて周囲を眺め回すような場合には、同一位置インデ
クスで視線方向の異なる画像を各メモリの先頭アドレス
に配置し、マルチプレクサによる再生画像の切り替えを
行ってもよいし、或いは位置インデクスの同じ画像を既
に説明した様に視線方向の順に再配列して所定の画像メ
モリ（不図示）に記憶させてから再生してもよい。さら
に予め設定された視線方向の中間的方向での画像をアフ
ィン変換などを用いて補間画像列を自動生成することに
より、滑らかな画像再生が可能になる。さらに特定の物
体の周りに視点位置を変化させながら背景を含む物体画
像を再生することも可能である。この場合にはその物体
には３次元形状モデルに基づく所定視点位置からのＣＧ
画像と背景とを合成してもよい。再配列後の画像データ
列（前述のように必ずしも撮像時の時系列画像データで
はない）に、通常の動画圧縮（ＭＰＥＧ，Ｍｏｔｉｏｎ
−ＪＰＥＧなど）と同様の方式を適用して圧縮してもよ
い。

【００２４】以上のように、本実施の形態によれば、応
答速度が高く、かつ再生範囲の広い視点追従型（インタ
ラクティブ）画像再生、特に実写動画像空間のウオーク
スルーや動きを伴う被写体の連続的視点変換再生が可能
となった。尚、画像生成手段として撮像手段１を用いた
場合について説明したが、コンピュータグラフィックス
を用いて生成した画像に対し、本実施の形態と同様に各
画像に対応するインデクスを付与し、再生時に活用して
もよい。

【００２５】次に第２の実施の形態について説明する。
本実施の形態は、移動行路上に複数の撮像手段を設置す
るかまたは移動体上にジャイロ、走行計および互いに光
軸方向の異なる複数の撮像手段を搭載し、移動体の位置
と走行距離を計測しながら、人や動物のいる建物の中や
外の風景、町並みなどを撮像する場合である。但し、自
然な画像再生のために、移動体に搭載した撮像手段を用
いる場合に限って、再生時の視点移動速度は撮像時と等
しくする必要がある。さらに各撮像手段からの画像に対
して、画像取り込み開始からの経過時間、移動体の位置
およびそれぞれ固有の視線方向データに基づいてインデ
クスデータを生成する。各撮像手段が視線方向に関して
所定間隔（例えば、前実施の形態においてθ、φ方向に
一定間隔）で設置され、かつ移動体位置（Ｘ，Ｙ，Ｚ）
または走行距離ｒのサンプリングも一定間隔となること
が望ましい。図６（ａ）、（ｃ）に本実施の形態による
画像ヘッダ部の記録フォーマット例を示す。

【００２６】ここでは特に、マウス、操作レバーなどの
検知手段を用いて直接操作し、かつ再生時の仮想視点が
所定方向に重心移動しながら視線方向も変化させる場合
について説明する。図３は本実施の形態による画像記憶
部２００を設けた構成例を示す。画像記憶部２００にお
いて、再生時の視点入力部７の移動方向ごとに視線方向
を離散的にＮ個とりそれぞれに対応して複数の高速画像
転送メモリ（キャッシュメモリ）５６に転送される。ま
た視点入力部７からの情報に基づき、再生時視点の行路
分岐ごとにマルチプレクサ５７による画像データのスイ
ッチング制御を行う制御部５８が設けられている。

【００２７】即ち、各キャッシュメモリ５６には分岐点
においてある方向に分岐した後の各地点（または各走行
距離）および各視線方向に対応する画像データが記憶さ
れている。他の配列形式として、各キャッシュメモリ５
６に配列された画像データ列は視線方向を表す姿勢イン
デクスが一定で、かつ位置インデクス（例えば、移動距
離など）が所定間隔で更新される画像データ列となるよ
うに再配列してもよい。尚、不図示の同期手段により再
生時の視点位置（移動距離）と各キャッシュメモリ５６
の先頭画像アドレスとが常に対応するようにアドレス更
新をメモリ間で同期して行ってもよい。尚、一次配列記
憶手段５は画像データ読み出し書き込み手段５１と記録
媒体５５とから構成され、この構成は図１の第１の実施
の形態においても同様である。

【００２８】図４は第３の実施の形態を示す。図４にお
いて、ドーム状の半球面内に同期手段で結合された多数
の撮像手段１を設け、各撮像手段１により半球内の被写
体の動画像を撮像する。また各撮像手段１はそれぞれイ
ンデクス処理ユニット４が接続されている。図示では撮
像手段１ａとインデクス処理ユニット４ａとを代表して
示している。

【００２９】各撮像手段の３次元的位置と光軸方向は既
知かつ固定とし、各撮像手段１間で互いに同期して取り
込んで得られる画像にはそれぞれ固有の視点位置・姿勢
インデクスおよび時間経過インデクスが撮像時にインデ
クス生成処理ユニット４により、図６（ｂ）のフォーマ
ットに従って付与される。尚、インデクス処理ユニット
は撮像手段１に内蔵されてもよい。

【００３０】再配列後は第１の実施の形態で使用した姿
勢パラメータを予め指定された所定の軌道上で連続再生
するが、その際、各撮像手段１間の補間画像列を生成す
ることにより、視線方向の異なる少数の撮像手段１から
の画像を記録しても視点位置の変化に追従する画像再生
を連続的に行うことができる。本実施の形態によれば、
画像再生に先だって予め補間画像列を生成しておくこと
により、高速に視点位置に応じた画像再生が可能とな
る。尚、撮像手段１の配置は本実施の形態に限らず、例
えば被写体を囲む円筒面内、或いは建物内の壁面、天井
面上の配置でもよい。

【００３１】図５は第４の実施の形態を示す。ここでは
図１の構成要素の他に背景画像データベース５ｂと被写
体画像データベース５ａ（前実施の形態の一次記憶手
段）とを設けて用いる。また被写体画像切り出し手段１
３を設けて、撮像時または画像生成時に特定被写体画像
の切り出し処理を行い、さらに被写体ごとの時間経過イ
ンデクスおよび視点パラメータ（位置・姿勢）インデク
スを生成して画像データのヘッダ部に記録する。さらに
再生時に用いる画像合成手段１２を設けて視点運動に応
じた背景画像との合成処理を行う。この場合、背景画像
データベース５ｂには、静止画背景の場合は、視点位
置、方向インデクスをヘッダ部に書き込まれた画像が配
列され、動画背景の場合は、各被写体画像データベース
と同様に時間経過インデクスおよび視点インデクスが付
与されている。画像データサンプリング手段９の画像デ
ータサンプリング方法は、第１の実施の形態と基本的に
同じであるが、本実施の形態では被写体ごとに時間イン
デクスの変化幅を独立に可変とするか、または画像再生
時の時間インデクスサンプリング幅を合成される被写体
ごとに独立に可変とすることができる。

【００３２】また、視点入力部７は視点の状態空間中の
軌道のみならず速度も指定可能とする。これにより、例
えば複数の撮像手段１により得られる実在の役者の演技
をＣＧまたは実写によって生成される背景画像空間中に
生成し（画像合成処理）、かつユーザはその画像を任意
の視点位置から任意の速さで視点位置・方向の変化を行
いながら鑑賞（観察）することができる。

【００３３】再生用の表示手段６としては頭部の位置・
姿勢検出手段を搭載した頭部搭載型ディスプレイ（ＨＭ
Ｄ）が好適に用いられる。但し必ずしも複眼タイプ、即
ち両眼それぞれに画像表示するタイプでなくてもよい。
また複眼タイプディスプレイに視点追従型立体動画像表
示を行うためには各撮像手段１を複眼撮像系で構成して
もよい。尚、立体表示装置としてはＨＭＤに限定され
ず、他の方式を用いてもよいが観察者の頭部の位置、視
線方向などを計測する手段が必要である。

【００３４】

【発明の効果】以上説明したように第１の発明によれ
ば、画像生成時の視点位置、視線方向データおよび、画
像の各フレームの時刻または時間経過などの時間データ
に基づいて動画像データの再配列を行うようにしたこと
により、任意の視点位置からの動画像を撮像時の動画記
録順序によらずに再生することができる。また、第２の
発明によれば、動画生成時の視線または視点データ時間
データおよび再生時視点データに基づく画像データの再
配列を行うようにしたことにより、画像生成時の動画記
録順序、撮像時の視点位置変化の仕方によらずに、任意
の視点位置からの画像を高速に再生することができる。

【００３５】第３の発明によれば、画像生成時の視点位
置、視線方向データおよび各被写体ごとに切り出された
動画像の時間データと再生時の視点データに基づき被写
体動画像と背景画像を合成するようにしたことにより、
任意の背景において視点位置変化を被写体画像生成時と
独立可変に設定可能でかつ被写体動作が視点変化に影響
受けない自然な動画像再生を行うことができる。第４の
発明によれば、視点位置、視線方向および画像生成時間
データに基づいて各画像のインデクスを生成するように
したことにより、再生時の視点変化に高速に追従可能な
動画像再生を行うことができる。

【００３６】第５の発明によれば、視点位置、視線方向
および時間経過データなどの付帯データに基づいて生成
されたアドレスを有する画像データを隣接する画像間の
付帯データの差異が所定の間隔となるように画像データ
を再配列するようにしたことにより、再生時の視点位置
変化に追従した高速動画像再生を行うことができる。第
６の発明によれば、画像データ再配列の後に、隣接また
は近傍アドレスの画像データを用いて画像データを圧縮
符号化するようにしたことにより、記憶手段の容量節減
とコンパクト化、画像生成順序によらない高率画像圧縮
を行うことができる。第７の発明によれば、記憶手段に
おいて再配列後の画像データを一括して他の記憶手段に
転送するようにしたことにより、動画像空間のウオーク
スルー再生を高速に実現し、画像生成順序によらず任意
の視点位置変化パターンに応じた高速動画像再生を行う
ことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態を示す構成図であ
る。

【図２】インデクス処理ユニットの構成図である。

【図３】第２の実施の形態を示す構成図である。

【図４】第３の実施の形態を示す構成図である。

【図５】第４の実施の形態を示す構成図である。

【図６】インデクスを含む画像フォーマットを示す構成
図である。

【符号の説明】

１撮像手段２姿勢・位置データ生成手段４インデクス処理ユニット５記憶手段６画像表示手段７再生時の視点位置・姿勢入力手段８視点変化軌道範囲の予測手段９予測視点軌道に基づく画像データサンプリング手段１０画像データ転送手段１１キャッシュメモリ

Claims

【特許請求の範囲】

【請求項１】物体を複数視点または視線方向から見た
画像データを生成する画像データ生成手段と、上記画像データを記憶する記憶手段と、上記画像データに対応する視点位置で、視線方向を示す
視線データと画像データの時刻または時間経過を示す時
間データとを記憶するデータ記憶手段と、上記視線データおよび時間データに基づいて上記記憶手
段上における画像データの再配列処理を行う処理手段と
を備えた画像記録再生装置。
【請求項２】再生時の視点位置または視点運動を示す
再生時視点データを入力する入力手段を設け、上記処理
手段は、上記再生時視点データに基づいて画像データの
再配列処理を行うことを特徴とする請求項１に記載の画
像記録再生装置。
【請求項３】被写体画像と背景画像とを合成する合成
手段を設け、上記処理手段は上記画像データの再配列と
上記画像合成とを行うことを特徴とする請求項１に記載
の画像記録再生装置。
【請求項４】上記画像データ生成手段は複数の撮像手
段と各撮像手段の位置、姿勢検知手段とからなり、上記
記憶手段は上記視線データに基づいて各画像データのイ
ンデクスを生成するインデクス処理手段を有し、撮像時
の画像データおよび上記インデクスを上記記憶手段に記
録し、上記インデクスに基づいて画像再生順序を決定す
ることを特徴とする請求項１に記載の画像記録再生装
置。
【請求項５】上記処理手段は上記インデクスを有する
画像データを、上記視線データまたは上記時間データが
所定の間隔で配列されるようにして再配列処理すること
を特徴とする請求項４に記載の画像記録再生装置。
【請求項６】上記処理手段は画像データ再配列処理の
後に、隣接または近傍アドレスの画像データを用いて画
像データを圧縮符号化することを特徴とする請求項１に
記載の画像記録再生装置。
【請求項７】上記記憶手段は再配列後の画像データを
一括して他の記憶手段に転送することを特徴とする請求
項１に記載の画像記録再生装置。
【請求項８】上記他の記憶手段に高速メモリを用い、
上記再配列後の画像データを上記高速メモリに転送する
転送手段を設けた請求項７に記載の画像記録再生装置。
【請求項９】上記記憶手段にディスク媒体を用いた請
求項１に記載の画像記録再生装置。
【請求項１０】上記ディスク媒体の同一トラック上に
視点位置と視線方向とが一定の画像データを円周方向に
所定間隔毎に一次配列するようにした請求項９に記載の
画像記録再生装置。
【請求項１１】上記複数の撮像手段の動作を同期させ
る同期手段を設けた請求項４に記載の画像記録再生装
置。
【請求項１２】上記複数の撮像手段が３次元空間内に
配置されている請求項４に記載の画像記録再生装置。
【請求項１３】上記複数の撮像手段には、それぞれレ
ンズ駆動手段、合焦手段、露光量調整手段、センサ感度
調整手段が設けられている請求項４に記載の画像記録再
生装置。
【請求項１４】上記入力手段から入力される再生時視
点データに基づいて上記再配列を予測する予測手段を設
けた請求項２に記載の画像記録再生装置。
【請求項１５】上記高速メモリの画像データを表示手
段で表示するようにした請求項８に記載の画像記録再生
装置。