JPH11232486A

JPH11232486A - ３次元動画再生装置及び方式

Info

Publication number: JPH11232486A
Application number: JP10029967A
Authority: JP
Inventors: Ichiro Sakamoto; 一郎坂元; Shigeto Osuji; 成人大條
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1998-02-12
Filing date: 1998-02-12
Publication date: 1999-08-27

Abstract

(57)【要約】【課題】圧縮画像データを伸長した動画データが３次
元オブジェクトと仮想的な３次元空間にあるものとして
表示するに際し、動画再生時の負荷を減らす。【解決手段】ディスプレイ７の表示画面９に、仮想的
な３次元空間にある３次元オブジェクト１０と表示領域
１１とが視野からみた状態で表示され、この表示領域１
１には、圧縮動画データを伸張して得られる動画データ
が表示される。これら３次元オブジェクト１０と表示領
域１１とは、その３次元空間内での位置に応じて、部分
的に重なる場合があり、これらの重なり部分で表示領域
１１での３次元オブジェクト１０よりも視点から遠い場
所にあるときには、この部分を不可視領域１１ａとし、
この不可視領域１１ａでの圧縮動画データの伸張処理を
しないようにする。これにより、無駄な伸張処理を省く
ことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画データの再生
に係り、特に、仮想的な３次元空間内の指定した領域に
圧縮された動画データの動画を表示する３次元動画再生
装置及び方式に関する。

【０００２】

【従来の技術】３次元オブジェクトを２次元画像として
表示するための３次元グラフィックス、特に、インタラ
クティブな３次元グラフィックス技術としては、例え
ば、VRML(Virtual Reality Modeling Language)が知ら
れている。このVRMLでは、WWW(World Wide Web)上で３
次元データのやり取りを行ない、表示画面内での仮想的
な３次元空間でユーザの操作に応じて視点を変え（即
ち、この３次元空間内でオブジェクトを移動させたり、
回転させたりしてこのオブジェクトを見る方向を変
え）、空間内の様々なオブジェクトの変形表示を実現で
きる。

【０００３】一方、動画データの圧縮技術としては、例
えば、MPEG(Moving Picture Experts Group)規格が知ら
れている。この規格は、アナログ信号として扱われてい
たオーディオ・ビジュアル情報をデジタル化し、その情
報量の圧縮を実現するものであり、ビデオCDやDVD(Digi
tal Versatile Disc)、さらに、衛星放送などで広く利
用されている。

【０００４】そして、これらのインタラクティブな３次
元グラフィックスと圧縮動画データの再生とを組み合わ
せ、かかるグラフィックスと圧縮動画データによる動画
とをパソコンなどの同じ表示画面上に表示するようにし
た技術が知られている。

【０００５】

【発明が解決しようとする課題】ところで、このように
３次元グラフィックスと圧縮動画データによる動画とを
共通の表示画面に組み合わせて表示させる場合、いずれ
の従来技術においても、圧縮動画データを全て伸張処理
して伸張した動画データを得、これを３次元空間内の指
定された表示領域へマッピングして動画表示するもので
あるが、圧縮動画データの伸張処理をするに際しては、
３次元空間内でのこの表示領域の位置などは反映されて
いない。

【０００６】一般に、画質を落とさずに圧縮率を高める
程伸張処理の負荷は高くなり、その結果として、伸張処
理を実現する装置に高い処理能力が要求される。しか
し、従来の３次元空間内で圧縮動画データを再生する装
置では、この伸張処理の負荷を軽減する試みはなされて
おらず、このため、かかる装置に用いられるＣＰＵなど
には、大きな負担がかかることになる。

【０００７】本発明の目的は、かかる問題を解消し、圧
縮動画データの伸張処理を効率的に行なうことにより、
その負荷を低減することができるようにした３次元動画
再生装置及び方式を提供することにある。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、３次元オブジェクトデータの座標変換や
ライティング計算などを行なうジオメトリ計算手段と、
該ジオメトリ計算手段で作成されたデータを２次元の表
示データに変換するレンダリング手段とからなり、１つ
または複数の動画データを該３次元オブジェクトの表面
などの３次元空間内の１つまたは複数の指定した表示領
域に配置し表示する３次元動画再生装置において、動画
データの表示領域の不可視部分を判定しその判定結果に
応じて圧縮動画データの可視部分のみ伸張を行なうもの
である。

【０００９】

【発明の実施の形態】以下、本発明の実施形態を図面に
より説明する。

【００１０】図１は本発明による３次元動画再生装置及
び方式の一実施形態を示すブロック図であって、１，２
は記憶手段、３は入力手段、４はメモリ、５は３次元描
画処理手段、６はディスプレイ駆動手段、７はディスプ
レイ、８はＣＰＵ、９は表示画面、１０は３次元オブジ
ェクト、１１は表示領域である。

【００１１】同図において、ＣＰＵ８は、メモリ４内に
格納されているプログラムに従って、３次元描画処理手
段５や入力手段３など３次元動画再生装置全体の制御を
行なう。記憶手段１には、圧縮された動画データが記憶
されており、記憶手段２には、３次元オブジェクトの位
置座標や色の情報などで構成される３次元データが記憶
される。

【００１２】これら記憶手段１，２内の記憶データは必
要に応じてメモリ４に書き込まれ、３次元描画処理手段
５により、３次元空間内に位置づけられた視点から見た
ときの２次元画像データに変換され、これがディスプレ
イ駆動手段６により、ディスプレイ７の表示画面９に表
示される。ここで、この表示画面９は、３次元空間内の
設定された視点から見た視野内の画像が表示されるもの
であり、以下では、この表示画面９を視野画面ともい
う。

【００１３】この表示画面９では、記憶手段２から読み
出された３次元データによる３次元オブジェクト１０が
表示されるとともに、表示領域１１が設定され、この表
示領域１１内に記憶手段から読み出された圧縮動画デー
タによる動画像が表示される。このことからして、この
表示領域１１は、動画像を表示する表示パネルというオ
ブジェクトとみることもできる。

【００１４】入力手段３はマウスやキーボードなどから
なり、３次元描画処理手段５の処理の開始や終了、３次
元空間内の視点の移動、視野範囲（３次元空間の表示画
面９で表示される範囲）及び光源位置の設定、３次元空
間内の表示領域１１の位置や向きなどの指定などのため
のデータ入力が行なわれる。

【００１５】なお、ここでは、記憶手段１内の圧縮動画
データや記憶手段２内の３次元データが、３次元動画再
生装置に直接接続されている記憶媒体上のデータとして
読み込まれるものとする。しかし、これに限らず、ネッ
トワークを通して別のデータ源からこの３次元動画再生
装置に伝送されてくるような構成とすることも可能であ
る。また、３次元描画処理手段５を専用回路として実現
する構成としたが、汎用のＣＰＵやその上で実行される
ソフトウェア，３次元描画専用のプロセッサ，動画伸張
専用のプロセッサなどの組み合わせでの実現も可能であ
る。

【００１６】この実施形態は、ＣＰＵ８の制御のもと
に、３次元描画処理手段５で、記憶手段１からの圧縮動
画データを伸張処理し、また、記憶手段２からの３次元
データを２次元画像データに変換して、夫々を合成し、
ディスプレイ７の表示画面９において、図示するよう
に、表示領域１１に動画像が３次元オブジェクト１０と
ともに表示するものであるが、３次元描画処理手段５で
は、さらに、３次元オブジェクト１０と表示領域１１と
の重なり具合を判定することにより、この表示領域１１
での３次元オブジェクト１０と重なって視点から見えな
い部分を検出して不可視部分とし、圧縮画像データのう
ちのこの不可視部分に含まれる部分については伸張処理
を行なわないようにするものである。

【００１７】これにより、３次元描画処理手段５は、圧
縮画像データ伸張処理に対する処理量を低減できて負荷
が軽減する。この結果、３次元描画処理手段５がかかる
３次元動画再生処理以外の他の処理にも兼用する場合に
は、圧縮画像データの伸張処理に対する占有率を低くす
ることができて、他の処理も余裕をもって行なうことが
できるし、また、３次元描画処理手段５が圧縮画像デー
タの伸張処理専用のものである場合でも、限られた能力
で迅速な伸張処理を可能とする。

【００１８】図２は図１における３次元描画処理手段５
の一具体例を示すブロック図であって、１２はジオメト
リ計算手段、１３はレンダリング手段であり、図１に対
応する部分には同一符号をつけている。

【００１９】同図において、３次元描画処理手段５は、
ジオメトリ計算手段１２とレンダリング手段１３とで構
成されている。

【００２０】ジオメトリ計算手段１２は、記憶手段２か
らの表示すべきオブジェクトの３次元データをポリゴン
と呼ばれる閉平面図形の集合からなるデータに変換し、
入力手段３（図１）の入力データに応じて、３次元空間
内に位置づけられた視点やオブジェクトの動きに応じて
変形，回転，拡大，縮小を夫々のポリゴンに施こし、さ
らに、光源の種類と位置，オブジェクトの形状に応じて
生じる光と影の計算をポリゴン毎に行なう。

【００２１】ここで、最も基本的なポリゴン形状は三角
形であり、夫々のポリゴンは三角形を構成する３つの頂
点の表示画面９（図１）上での座標で記述できる。従っ
て、これら３つの頂点で囲まれる範囲が表示画面９での
このポリゴンの表示範囲であり、３次元オブジェクト１
０（図１）を構成するポリゴン夫々の表示範囲の集合が
この３次元オブジェクトの表示画面９での表示範囲であ
る。

【００２２】また、ジオメトリ計算手段１２は、入力手
段３からの入力データにより、表示領域１１の３次元空
間内（従って、表示画面９）での位置座標を初期設定す
る。この表示領域１１についても、３次元空間内に位置
づけられた視点の動きなどに応じて、その位置や向きな
どが３次元的に変化する処理が施される。

【００２３】レンダリング手段１３は、ジオメトリ手段
２０１で作成された３次元オブジェクトや表示領域１１
のデータを２次元の表示データに変換し、また、記憶手
段１からの圧縮動画データを伸張処理して表示領域１１
内にマッピングするものであり、このようにして得られ
た２次元の表示データはディスプレイ駆動手段６によっ
てディスプレイ７（図１）に表示される。

【００２４】図３は図２におけるレンダリング手段１３
の一具体例を示すブロック図であって、１４は不可視判
定手段、１５は動画伸張手段、１６はマッピング手段で
あり、図２に対応する部分には同一符号をつけている。

【００２５】同図において、レンダリング手段１３は、
不可視判定手段１４と動画伸張手段１５とマッピング手
段１６とで構成されている。

【００２６】不可視判定手段１４は、ジオメトリ計算手
段１２（図２）によって計算された３次元空間内の表示
領域１１の座標とオブジェクトの座標と記憶手段１内の
圧縮動画データに含まれる動画像の表示サイズなどのデ
ータとを取得し、これらから動画データによる動画での
３次元オブジェクトによって隠れる不可視部分を判定す
る。この不可視部分の判定処理については、後に図５を
用いて詳述する。

【００２７】動画伸張手段１５は、動画像のうちの設定
された表示領域１１に含まれて表示される範囲の圧縮動
画データを記憶手段１から読み取り、その圧縮単位とし
ての画素集合（MPEG規格では、マクロブロック）毎に圧
縮動画データの伸張処理を行なうものであるが、この伸
張処理を行なう際に、この画素集合が不可視判定手段１
４で不可視部分と判定された領域内にあるかどうかを判
定し、不可視部分にあるときには、その伸張を行なわ
ず、可視部分である画素集合に対してのみその圧縮動画
データの伸張を行なうものである。なお、圧縮動画の伸
張処理については、後に図９を用いて詳述する。

【００２８】マッピング手段１６は、動画伸張手段１５
で伸張された動画データをジオメトリ計算手段１２（図
２）で計算された３次元空間内の表示領域１１に貼り付
けるものである。このようなマッピング手段１６を実現
する方式としては、テクスチャマッピングが一般に知ら
れており、例えば、「３次元コンピュータグラフィック
ス」昭晃堂(１９８６)に記述され、ここでは、詳細な説
明を省略する。

【００２９】図４は記憶手段１に記憶される圧縮動画デ
ータの１再生フレーム分のデータ構造を説明するための
図である。

【００３０】動画データは再生フレーム毎に圧縮，伸長
される。この再生フレーム４０１は、図４（ａ）に示す
ように、ｎ×ｍ個の圧縮，伸長単位としての画素集合
（この画素集合は、上記のように、画像圧縮方式がＭＰ
ＥＧ規格である場合、マクロブロック)４０２から構成
されている。ここで、再生フレーム４０１でのｉ行ｊ列
目の画素集合４０２を画素集合(ｉ,ｊ)とする。

【００３１】かかる２次元の動画データは、再生フレー
ム４０１毎に、画素集合単位で連結パターン４０３に沿
う順に（即ち、左から右方向に画素集合の配列順で、か
つこの配列の上から下へ順に）圧縮されて連結され、図
４（ｂ）に示すように、伸張の際に必要となるヘッダ情
報４０５が先頭に付加された一次元の圧縮動画データ４
０４が形成される。図４（ｃ）はこのヘッダ情報４０５
のデータ構造を示すものであり、この圧縮画像データを
伸張して得られる動画像を表示画面９（図１）に表示し
たときの高さ（動画像の高さ）Ｈ，幅（動画像の幅）Ｗ
や、そのときの画素集合の高さｈ，幅ｗなどのデータを
含んでいる。これらの情報は図３における不可視判定手
段１４及び動画伸張手段１５で用いられる。

【００３２】なお、この圧縮動画データ４０４の連結パ
ターン４０３は、動画データや動画再生装置の特性に応
じて変更可能である。

【００３３】図５は図３における不可視判定手段１４の
処理手順を示すフローチャートである。

【００３４】不可視であるかどうかの判定は、図４
（ａ）に示す再生フレーム４０１毎に、画素集合４０２
を単位として行なわれる。

【００３５】図４及び図５において、まず、画素集合４
０２の座標変換処理が行なわれる（ステップ５０１）。
ここでは、圧縮動画データ４０４のヘッダ情報４０５と
ジオメトリ計算手段１２（図２）の計算結果とから、動
画データの再生フレーム４０１の高さＨと幅Ｗ，画素集
合４０２の高さｈと幅ｗ（以上、図６（ａ）参照。これ
らは初期値であって、再生フレーム４０１の高さＨと幅
Ｗは、そのまま画像表示したときには、ディスプレイ７
の表示画面９全体に表示されるような大きさのものでも
よいし、それよりも小さい大きさのものであってもよ
く、一定のものである。また、上記のように、再生フレ
ーム４０１がｎ×ｍ個の画素集合４０２から構成されて
いるときには、ｈ＝Ｈ/ｎ，ｗ＝Ｗ/ｍとなる）と、３次
元空間内の表示領域１１の３次元座標とを取得し、これ
らの値を用いて、各画素集合４０２の表示領域１１での
３次元座標を計算する。この場合の３次元座標は、画素
集合の１つの特定の画素（例えば、画素集合の中心の画
素）の座標とする。座標変換処理５０１については、後
に図６を用いて詳述する。

【００３６】次に、画素集合４０２の奥行き情報の計算
が行なわれる（ステップ５０２）。ここでは、視点の３
次元座標及び視野範囲と、ステップ５０１によって計算
された画素集合４０２の３次元座標とを取得し、これら
の値を用いて、視野範囲に含まれる各画素集合４０２の
視点からの奥行き値を計算する。

【００３７】次の奥行き情報の比較処理（ステップ５０
３）では、ジオメトリ計算手段１２で計算されたオブジ
ェクトの３次元座標を取得してその奥行き値を計算し、
視野画面（図１でのディスプレイ７の表示画面９）で画
素集合４０２と重なって見える部分について、そのオブ
ジェクトの奥行き値と画素集合４０２の奥行き値との比
較を行なう。

【００３８】そして、これら奥行き値の比較の結果、表
示領域１１内での動画の画素集合４０２が３次元オブジ
ェクトと重なって不可視となる場合には、この画素集合
に対応する不可視フラグを１に設定し、不可視であるこ
とを示すようにする（ステップ５０４）。このように不
可視フラグを１に設定した後、あるいは、表示領域１１
内での動画の画素集合４０２が３次元オブジェクトによ
って不可視とならない場合には、３次元空間内の全ての
オブジェクトについてかかる奥行き情報の比較が行なわ
れたか否かを判定し（ステップ５０５）、比較が行なわ
れていないオブジェクトが存在する場合には、そのオブ
シェクトについてステップ５０３からの処理を繰り返
す。

【００３９】図５のステップ５０１での画素集合４０２
の座標変換処理過程を図６により説明する。

【００４０】図６（ａ）は画素集合からなる動画データ
の再生フレーム４０１を示すものであって、図４（ａ）
で示したものと同様である。まず、図４（ｂ）に示した
圧縮動画データ４０４のヘッダ情報４０５から動画デー
タの再生フレーム４０１の高さＨと幅Ｗ、画素集合４０
２の高さｈと幅ｗを夫々取得し、各画素集合４０２の再
生フレーム４０１上での位置座標を求める。この際、画
素集合４０２の座標としては、この画素集合４０２の中
心画素の座標を用いるものとする。勿論、それ以外の特
定の画素を用いてもよいが、この特定の画素は、全ての
画素集合について、画素集合での相対位置（例えば、左
上隅など）が同じである画素とする。

【００４１】次に、３次元空間内の表示領域１１の形状
に合わせ、画素集合４０２の位置をスケーリングする。
例えば、図６（ｂ）に示す高さＨ’，幅Ｗ’の表示領域
１１に対しては、再生フレーム４０１上の画素集合４０
２の位置は垂直方向にＷ'/Ｗ倍、水平方向にＨ'/Ｈ倍に
スケーリングされる。このようにスケーリングされた画
像集合４０２の位置は、表示領域１１上での基準点をＯ
Ｌとする座標系での座標位置であり、これは、基準点Ｏ
Ｌからの相対座標ｖ_ijとして保存されるとともに、さら
に、３次元空間上での基準座標系に変換される。

【００４２】図６（ｃ）はその座標変換を示すものであ
って、（Ｘ_W，Ｙ_W，Ｚ_W）が３次元空間での基準座標系
であり、（Ｘ_L，Ｙ_L，Ｚ_L）が表示領域１１上での座標
系である。そこで、上記のように、再生フレーム４０１
での各画素集合４０２が表示領域１１での座標系
（Ｘ_W，Ｙ_W，Ｚ_W）で位置付けられると、次の演算Ｘ_W＝ａ₁₁Ｘ_L＋ａ₁₂Ｙ_L＋ａ₁₃Ｚ_L Ｙ_W＝ａ₂₁Ｘ_L＋ａ₂₂Ｙ_L＋ａ₂₃Ｚ_L ……（１）Ｚ_W＝ａ₃₁Ｘ_L＋ａ₃₂Ｙ_L＋ａ₃₃Ｚ_L により、各画素集合の位置が３次元空間の基準座標系で
表わされることになる。

【００４３】ここで、入力手段３(図１)のデータ入力に
よって３次元空間内での表示領域１１や視点の移動があ
ったとき、視点からのこの表示領域１１の見え方が変わ
ることになる。このことは、表示領域１１上での座標系
(Ｘ_L，Ｙ_L，Ｚ_L)が３次元空間での基準座標系(Ｘ_W，
Ｙ_W，Ｚ_W)内で移動したり、回転したり、その両方が行
なわれたりすることになるのであるが、これは、上記式
(１)での変換係数ａ₁₁〜ａ₁₃，ａ₂₁〜ａ₂₃，ａ₃₁〜ａ₃₃
が変化することに相当するものである。従って、このよ
うに３次元空間内での表示領域１１や視点の移動があっ
ても、上記のように、表示領域１１上の座標系（Ｘ_L，
Ｙ_L，Ｚ_L）での各画素集合４０２の座標位置が保存され
ているので、簡単に各画素集合４０２の３次元空間の基
準座標系（Ｘ_W，Ｙ_W，Ｚ_W)での座標位置を求めることが
できる。

【００４４】図７は画素集合の不可視フラグ及び奥行き
値を格納する奥行き情報バッファのデータ構造を示す図
である。

【００４５】同図において、奥行き情報バッファ４ａは
メモリ４(図１)に設けられており、画素集合４０２毎に
不可視フラグと奥行き値を持つ構造となっている。図５
のステップ５０２で夫々の画素集合４０２の奥行き値が
計算されると、これら奥行き値は順次奥行き情報バッフ
ァ４ａに格納されるが、この格納場所のアドレスが、同
様にメモリ４に設けられているポインタバッファ４ｂに
格納される。

【００４６】ポインタバッファ４ｂは、視野画面（図１
でのディスプレイ７の表示画面９）の画素数と同じ個数
の要素（区分された枠で示す）を有しており、夫々の要
素は視野画面上の各画素に一対一に対応している。

【００４７】ここでは、表示領域１１での画素集合は視
野画面で１つの画素に相当するものである。即ち、伸張
された動画データを視野画面、即ち、ディスプレイ７の
表示画面９での表示領域１１に表示するときには、この
動画データの画素集合４０２毎に１画素ずつ表示される
ことになる。この画素集合４０２毎の表示される画素と
しては、その画素集合４０２での中心画素などの上記特
定された画素とする。従って、例えば、画像圧縮方式を
MPEG方式とし、画素集合４０２を１６×１６画素の１マ
クロブロックとすると、表示領域１１に表示される動画
の画素数は、もとの画素数の１/(１６×１６）となる。

【００４８】いま、不可視フラグや奥行き値が奥行き情
報バッファ４ａに格納された任意の画素集合４０２を画
素集合（ｉ,ｊ）として、奥行き情報バッファ４ａでの
この画素集合（ｉ,ｊ）のこれら情報が格納されたアド
レスをＡ_ijとすると、このアドレスＡ_ijは、ポインタバ
ッファ４ｂにおいて、この画素集合(ｉ,ｊ）の視野画面
上での位置に対応する要素に書き込まれる。

【００４９】奥行き情報バッファ４ａは、３次元空間内
の視点毎に同じ空間内に存在する動画データの表示領域
１１毎に設けられ、これに対応して、ポインタバッファ
４ｂも、夫々の表示領域１１毎に設けられている。即
ち、ポインタバッファ４ｂの各要素は、アドレスを持た
ないポインタ(以下、ｎｕｌｌポインタという）によっ
て初期化されており、視点が移動する毎に、異なる奥行
き情報バッファ４ａとポインタバッファ４ｂとが使用さ
れることになる。

【００５０】図５のステップ５０２で動画データの各画
素集合４０２の奥行き値が計算されて、夫々の奥行き値
が奥行き情報バッファ４ａに格納され、その格納アドレ
スがポインタバッファ４ｂに格納されると、ポインタバ
ッファ４ｂでの表示領域１１に相当する範囲内での要素
にかかるアドレスが書き込まれていることになる。

【００５１】そこで、図５のステップ５０３では、この
ポインタバッファ４ｂの表示領域１１に相当する範囲内
での要素からアドレスを読み出し、さらに、このこのア
ドレスに対応する奥行き情報バッファ４ａの格納場所か
ら奥行き値を読み出して、この要素に相当する位置にあ
る３次元オブジェクトのポリゴンの奥行き値とを比較
し、このときの画素集合４０２が３次元オブジェクトに
対して不可視状態になるかどうかを判定する。この判定
の結果、不可視状態になるものであるならば、図５のス
テップ５０４において、奥行き情報バッファ４ａでのこ
の画素集合４０２に対応する格納場所に不可視フラグを
１に設定するのである。

【００５２】図８は図５におけるステップ５０２（奥行
き情報の計算処理），ステップ５０３（奥行き情報の比
較処理）及びステップ５０５の処理手順の一具体例を示
すフローチャートである。

【００５３】図７及び図８において、ステップ５０２
（奥行き情報の計算処理）では、圧縮動画データの画素
集合４０２毎に奥行き情報を計算して（ステップ８０
１）、奥行き情報バッファ４ａにその値を書き込む（ス
テップ８０２）とともに、不可視フラグを０に設定し
（ステップ８０３）、その奥行き情報が格納されている
場所のアドレスをこの画素集合４０２の視野画面上での
位置に対応しているポインタバッファ４ｂの要素に書き
込む（ステップ８０４）。

【００５４】ここで、画素集合４０２の視野画面上での
位置については、複数の表示領域１１を設定した場合の
他の圧縮動画データの画素集合も含め、複数の画素集合
が同じ位置となる場合もあり得る。このような場合に
は、既にポインタバッファ４ｂの同じ要素に書き込まれ
ているアドレスの画素集合の奥行き値と新たに書き込も
うとする画素集合の奥行き値とを比較し、新たに書き込
もうとする画素集合の奥行き値の方が小さい場合、即
ち、視点側にある場合のみ、ポインタバッファ４ｂ中の
対応する要素を書き換える。

【００５５】次のステッブ５０３(奥行き情報の比較処
理)では、まず、３次元オブジェクトの視点からの奥行
き値を計算し(ステップ８０５)、視野画面上でその３次
元オブジェクトが画素集合と重なるか否かを、ポインタ
バッファ４ｂ中の対応する要素がＮｕｌｌポインタか否
かで判定する(ステップ８０６)。Ｎｕｌｌポインタでな
い場合には、重なっている画素集合の奥行き値を奥行き
情報バッファ４ａから取得し(ステップ８０７)、この画
素集合の奥行き値とステップ８０５で計算した３次元オ
ブジェクトの奥行き値とを比較する(ステップ８０８)。
視野画面上で３次元オブジェクトと重なる画素集合の奥
行き値は、ポインタバッファ４ｂに格納されているポイ
ンタが指す奥行き情報バッファ４ａの格納場所から取得
できる。

【００５６】ステップ８０８の処理結果に基づいて、画
素集合４０２の奥行き値のほうが大きい場合、即ち、こ
の画素集合４０２が視点から見て遠くにある場合、その
画素集合４０２は不可視であると判定し、不可視フラグ
を１に設定する（ステップ５０４）。

【００５７】次のステップ５０５では、３次元空間内の
全ての３次元オブジェクトについて奥行き情報の比較処
理５０３が行なわれたか否かを判定し（ステップ８１
０）、まだ比較が行なわれていない３次元オブジェクト
が存在する場合には、その３次元オブジェクトに対して
ステップ８０５からの処理を繰り返す。全ての３次元オ
ブジェクトとの比較が完了している場合には、ポインタ
バッファ４ｂの各要素にＮｕｌｌポインタを代入し、ポ
インタバッファ４ｂをクリアする（ステップ８１１）。

【００５８】以上のステップ８０１〜８１１の処理は、
再生フレーム毎、または、視点の移動毎に行なわれるこ
とになる。

【００５９】図９は図３での動画伸張手段１５の処理手
順を示すフローチャートである。動画伸張処理は、図４
（ｂ）に示す圧縮画像データ４０４の画素集合４０２毎
に、その配列順に行なわれる。

【００６０】図９において、いま、動画伸張処理する画
素集合４０２を画素集合(ｉ,ｊ）とし、また、この画素
集合(ｉ,ｊ）に対する不可視フラグを不可視フラグ(ｉ,
ｊ）として、まず、不可視判定手段１４(図３)で設定さ
れた奥行き情報バッファ４ａから、この画素集合(ｉ,
ｊ）が不可視であるか否かを示す不可視フラグ(ｉ,ｊ）
を取得する(ステップ９０１)。１つの動画データに対
し、不可視フラグ(ｉ,ｊ）は視点毎にその動画データの
表示領域の数だけ存在する。そして、この画素集合(ｉ,
ｊ）の全ての不可視フラグ(ｉ,ｊ)と“１”との比較を
行ない(ステップ９０２）、全ての不可視フラグ(ｉ,
ｊ）が１である場合には、この画素集合(ｉ,ｊ）は不可
視であると判定する。かかる画素集合(ｉ,ｊ）に対して
は伸張処理をスキップし(即ち、行なわず）、圧縮動画
データ４０４上でのこの画素集合(ｉ,ｊ）の次に位置し
ている画素集合４０２について、ステップ９０１からの
同じ動画伸張処理を繰り返す。

【００６１】但し、各画素集合４０２が可変長符号化さ
れていて、それらのデータの大きさが不明である場合に
は、圧縮動画データ４０４上の上記の画素集合(ｉ,ｊ）
の次に位置している画素集合４０２を取得するため、画
素集合(ｉ,ｊ）を固定長のデータに復号する処理が必要
となる。

【００６２】また、少なくとも１つの不可視フラグ(ｉ,
ｊ）が０である場合には、この画素集合 (ｉ,ｊ) は可
視であると判定され、圧縮動画データ４０４のこの画素
集合(ｉ,ｊ)に対応する部分でステップ９０３の伸張処
理が行なわれる。

【００６３】圧縮動画データ４０４の伸張処理は、圧縮
の際に行なわれた処理とは逆の処理を行なうことで実現
される。例えば、離散コサイン変換及び量子化によって
圧縮された動画データは逆量子化及び逆離散コサイン変
換によって伸張できる。

【００６４】なお、動画伸張手段１５では、各再生フレ
ーム４０１が互いに独立して圧縮されていることを前提
としているが、各再生フレーム４０１が互いに依存し合
っているような場合には、他の再生フレーム４０１から
参照されている再生フレーム４０１を、可視，不可視に
かかわらず、全て伸張し、他の再生フレーム４０１を参
照している再生フレーム４０１のみ、不可視判定手段３
０１の処理結果を用いて、伸張処理を行なうという構成
も可能である。

【００６５】図１０は図１でのディスプレイ７での再生
画面の一具体例を示す図であって、１１ａは３次元空間
内に指定された動画データの表示領域の不可視領域、１
７は操作パネルであり、図１に対応する部分には同一符
号を付けている。

【００６６】同図において、操作パネル１７は図１での
入力手段３の一部を構成しており、３次元描画処理手段
５（図１）の処理の開始，終了や、３次元空間内の視点
の移動、視野範囲及び光源位置の設定、３次元空間内の
動画データの表示領域の指定などのためのデータ入力を
インタラクティブに行なうためのものである。動画デー
タの表示領域１１中の不可視領域１７は、視点からみて
３次元オブジェクト１０に遮られる部分であって、視点
や表示領域１１，３次元オブジェクト１０の移動に伴っ
て変わるが、この不可視領域１７の伸張は、不可視判定
手段３０１と動画伸張手段１５とにより、常にスキップ
される。

【００６７】以上のように、この実施形態では、視野画
面上で可視となる部分についてのみ圧縮動画データの伸
張及び再生を行なうものであるから、３次元動画再生装
置に掛る伸張や再生時の負荷を軽減し、処理能力の限ら
れた装置でも、効率良く短時間で３次元動画表示の処理
が可能となるし、圧縮動画データを全て伸張処理する従
来の３次元動画再生装置に比べて、無駄な処理をなくし
て処理能力も小さくでき、また、ＣＰＵ８（図１）が３
次元動画表示処理以外の他の処理に兼用する場合でも、
この３次元動画表示処理に対する占有率を低くすること
ができ、この他の処理も効果的に実行することを可能に
する。

【００６８】

【発明の効果】以上説明したように、本発明によれば、
動画データの再生時の負荷を軽減することができるた
め、リアルタイム性を損なわずに動画データの画質の向
上が可能となるし、再生できる動画データの数を増やす
ことが可能となる。また、再生する動画データの画質や
数が同じである場合には、要求される処理能力を小さく
することができ、少ないコストで３次元動画再生を実現
できる。

【図面の簡単な説明】

【図１】本発明による３次元動画再生装置及び方式の一
実施形態を示すブロック図である。

【図２】図１における３次元描画処理手段の一具体例を
示すブロック図である。

【図３】図２におけるレンダリング手段の一具体例を示
すブロック図である。

【図４】図３での記憶手段に記憶されている圧縮動画デ
ータのデータ構造を示す図である。

【図５】図３における不可視判定手段の処理手順を示す
フローチャートである。

【図６】図５におけるステップ５０１の処理による座標
変換過程を示す図である。

【図７】不可視フラグ及び奥行き値を格納する奥行き情
報バッファのデータ構造を示す図である。

【図８】図５におけるステップ５０２，５０３及び５０
５の一具体例を示すフローチャートである。

【図９】図３における動画処理手段の処理手順を示すフ
ローチャートである。

【図１０】図１におけるディスプレイでの再生画面の一
具体例を示す図である。

【符号の説明】

１，２記憶手段３入力手段４メモリ５３次元描画処理手段６ディスプレイ駆動手段７ディスプレイ８ＣＰＵ９表示画面（視野画面）１０３次元オブジェクト１１動画データの表示領域１１ａ不可視領域１２ジオメトリ計算手段１３レンダリング手段１４不可視判定手段１５動画伸張手段１６マッピング手段

Claims

【特許請求の範囲】

【請求項１】３次元オブジェクトデータの座標変換や
ライティング計算などを行なうジオメトリ計算手段と、
該ジオメトリ計算手段で作成されたデータを２次元の表
示データに変換するレンダリング手段とからなり、１つ
または複数の圧縮された動画データを該３次元オブジェ
クトの表面など３次元空間内の１つまたは複数の指定し
た表示領域に配置して表示する３次元動画再生装置にお
いて、動画データの表示領域の不可視部分を判定する不可視判
定手段と、該不可視判定手段の判定結果に応じて圧縮動画データの
可視部分のみ伸張処理を行なう動画伸張手段とを備える
ことを特徴とする３次元動画再生装置。
【請求項２】請求項１記載の３次元動画再生装置にお
いて、前記動画伸張手段は任意のサイズ（高さ，幅）の圧縮動
画データを伸張可能であることを特徴とする３次元動画
再生装置。
【請求項３】請求項１記載の３次元動画再生装置にお
いて、前記動画伸張手段は画素集合毎に圧縮・構築された圧縮
動画データを伸張可能であることを特徴とする３次元動
画再生装置。
【請求項４】請求項１記載の３次元動画再生装置にお
いて、前記不可視判定手段は、不可視部分の判定を画素集合単
位で行ない、該画素集合の伸張及び再生表示を行なうか
否かの決定が可能であることを特徴とする３次元動画再
生装置。
【請求項５】請求項４記載の３次元動画再生装置にお
いて、前記不可視判定手段は、動画データの画素集合の視点か
らの奥行き情報と３次元オブジェクトの視点からの奥行
き情報とを比較することにより、該画素集合が不可視で
あるか否かの判定が可能であることを特徴とする３次元
動画再生装置。
【請求項６】請求項５記載の３次元動画再生装置にお
いて、前記不可視判定手段は、画素集合の視点からの奥行き情
報として画素集合の中心座標の視点からの奥行き値を用
いることにより、該画素集合が不可視であるか否かの判
定が可能であることを特徴とする３次元動画再生装置。
【請求項７】請求項６記載の３次元動画再生装置にお
いて、前記不可視判定手段は、画素集合の座標を動画データの
表示領域からの相対座標として保持しておき、前記表示
領域の移動あるいは視点の移動に対応して画素集合の絶
対座標を再計算し、奥行き値を取得することにより、該
画素集合が不可視であるか否かの判定が可能であること
を特徴とする３次元動画再生装置。
【請求項８】請求項７記載の３次元動画再生装置にお
いて、前記不可視判定手段は、前記３次元空間内の視点からの
奥行き情報を格納できる奥行き情報バッファを視点毎に
動画データの表示領域の数だけ備え、動画データの各画
素集合の奥行き情報を該奥行き情報バッファに格納する
ことにより、奥行き情報の比較が可能であることを特徴
とする３次元動画再生装置。
【請求項９】３次元オブジェクトデータの座標変換や
ライティング計算などを行なうジオメトリ計算手段と、
該ジオメトリ計算手段で作成されたデータを２次元の表
示データに変換するレンダリング手段とからなり、１つ
または複数の動画データを該３次元オブジェクトの表面
など３次元空間内の１つまたは複数の指定した表示領域
に配置して表示する３次元動画再生方式において、動画データの表示領域の不可視部分を判定し、その判定結果に応じて圧縮動画データの可視部分のみ伸
張を行なうことを特徴とする３次元動画再生方式。
【請求項１０】請求項９記載の３次元動画再生方式に
おいて、任意のサイズ（高さ，幅）の圧縮動画データを伸張可能
であることを特徴とする３次元動画再生方式。
【請求項１１】請求項９記載の３次元動画再生方式に
おいて、画素集合毎に圧縮・構築された圧縮動画データを伸張可
能であることを特徴とする３次元動画再生方式。
【請求項１２】請求項９記載の３次元動画再生方式に
おいて、不可視部分の判定を画素集合単位で行ない、該画素集合
の伸張及び再生表示を行なうか否かの決定が可能である
ことを特徴とする３次元動画再生方式。
【請求項１３】請求項１２記載の３次元動画再生方式
において、動画データの画素集合の視点からの奥行き情報と３次元
オブジェクトの視点からの奥行き情報とを比較すること
により、該画素集合が不可視であるか否かの判定が可能
であることを特徴とする３次元動画再生方式。
【請求項１４】請求項１３記載の３次元動画再生方式
において、画素集合の視点からの奥行き情報として画素集合の中心
座標の視点からの奥行き値を用いることにより、該画素
集合が不可視であるか否かの判定が可能であることを特
徴とする３次元動画再生方式。
【請求項１５】請求項１４記載の３次元動画再生方式
において、画素集合の座標を動画データの表示領域からの相対座標
として保持しておき、前記表示領域の移動あるいは視点
の移動に対応して画素集合の絶対座標を再計算し、奥行
き値を取得することにより、該画素集合が不可視である
か否かの判定が可能であることを特徴とする３次元動画
再生方式。
【請求項１６】請求項１５記載の３次元動画再生方式
において、前記３次元空間内の視点からの奥行き情報を格納できる
奥行き情報バッファを視点毎に動画データの表示領域の
数だけ備え、動画データの各画素集合の奥行き情報を該
奥行き情報バッファに格納することにより、奥行き情報
の比較が可能であることを特徴とする３次元動画再生方
式。