JPH08163560A - 画像情報生成方法及び画像情報処理方法、並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【構成】 所定のマクロブロック単位の空間軸の画像情
報に対して直交変換を施し、得られた係数データを量子
化し、当該量子化した係数データをランレングス符号化
して、ラン−レベル(run-level) ペアの１６ビットフォ
ーマットのビットストリームを生成する。 【効果】 データ長が短くて済む。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、情報処理により画像情
報を作成する画像情報生成方法及びその画像情報を処理
する画像情報処理方法、並びに画像情報が記録された記
録媒体に関する。

【０００２】

【従来の技術】例えば、家庭用ゲーム機やパーソナルコ
ンピュータ装置或いはグラフィックコンピュータ装置等
において、テレビジョン受像機やモニタ受像機或いはＣ
ＲＴディスプレイ装置等に出力されて表示される画像は
２次元のものが殆どであり、基本的には２次元の平面的
な背景に２次元のキャラクタ等を適宜に配置して移動さ
せたり、変化させたりするような形態で画像表示が行わ
れている。

【０００３】しかしながら、上述したような２次元的な
画像表示や映像では、表現できる背景及びキャラクタや
それらの動きに制限があり、例えばゲームの臨場感を高
めることが困難である。

【０００４】そこで、例えば次に示すような方法で疑似
的な３次元の画像や映像を作成することが行われてい
る。すなわち、上記キャラクタとしていくつかの方向か
ら見た画像を用意しておき、表示画面中での視点の変化
等に応じてこれらの複数画像の内から１つを選択して表
示したり、２次元の画像を奥行き方向に重ねて疑似的な
３次元画像を表現したりするような方法が挙げられる。
また、画像データを生成或いは作成する際に、いわゆる
テクスチャ（生地、地模様）の画像を多面体等の所望の
面に貼り付けるようなテクスチャマッピング方法や、画
像の色データをいわゆるカラールックアップテーブルを
通して変換することにより表示色を変化させる手法が採
られている。

【０００５】ここで、従来の家庭用ゲーム機の概略的な
構成の一例を図２７に示す。この図２７において、マイ
クロプロセッサ等から成るＣＰＵ３９１は、入力パッド
やジョイスティック等の入力デバイス３９４の操作情報
をインターフェイス３９３を介し、メインバス３９９を
通して取り出す。この操作情報の取り出しと同時に、メ
インメモリ３９２に記憶されている３次元画像のデータ
がビデオプロセッサ３９６によってソースビデオメモリ
３９５に転送され、記憶される。

【０００６】また、上記ＣＰＵ３９１は、上記ソースビ
デオメモリ３９５に記憶された画像を重ね合わせて表示
するための画像データの読み出し順位を上記ビデオプロ
セッサ３９６に送る。上記ビデオプロセッサ３９６は上
記画像データの読み出し順位に従って上記ソースビデオ
メモリ３９５から画像データを読み出し、画像を重ね合
わせて表示する。

【０００７】上述のように画像を表示すると同時に、上
記取り出された操作情報中の音声情報により、オーディ
オプロセッサ３９７はオーディオメモリ３９８内に記憶
されている上記表示される画像に応じた音声データを出
力する。

【０００８】図２８は、図２７に示す構成をもつ家庭用
ゲーム機において、２次元画像のデータを用いて３次元
画像を出力する手順を示す図である。この図２８では、
市松模様の背景画像上に円筒状の物体を３次元画像とし
て表示する場合を説明する。

【０００９】この図２８のソースビデオメモリ３９５に
は、市松模様の背景画像２００と、この背景画像２００
上の円筒状の物体の深さ方向の断面を表す矩形の画像、
いわゆるスプライト２０１、２０２、２０３、２０４の
データが記憶されている。この矩形の画像２０１、２０
２、２０３、２０４上の円筒の断面の画像以外の部分は
透明色で描かれている。

【００１０】ビデオプロセッサ３９６内のシンクジェネ
レータ４００は、表示する画像の同期信号に合わせた読
み出しアドレス信号を発生する。また、このシンクジェ
ネレータ４００は、上記読み出しアドレス信号をメイン
バス３９９を介して図２７のＣＰＵ３９１から与えられ
た読み出しアドレステーブル４０１に送る。さらに、こ
のシンクジェネレータ４００は上記読み出しアドレステ
ーブル４０１からの情報に従って上記ソースビデオメモ
リ３９５内の画像データを読み出す。

【００１１】上記読み出された画像データは、上記ＣＰ
Ｕ３９１により上記メインバス３９９を介して与えられ
たプライオリティテーブル４０２内の画像の重ね合わせ
順位に基づいて、重ね合わせ処理部４０３で順次重ね合
わせられる。この場合には、上記背景画像２００が最も
順位が低く、矩形の画像２０１、２０２、２０３、２０
４と順に順位が高くなっているため、背景画像２００か
ら順次画像が重ね合わせられる。

【００１２】次に、透明色処理部４０４において、円筒
以外の部分を背景画像で表示するために上記重ね合わせ
られた円筒の断面の画像２０１、２０２、２０３、２０
４により表示される円筒以外の部分を透明にする処理を
施す。

【００１３】上述した処理により、円筒状の物体の２次
元画像のデータが図２８に示す３次元画像ＶＤ₀ の画像
データとして出力される。

【００１４】

【発明が解決しようとする課題】ところで、上記家庭用
ゲーム機において、上記メインメモリ３９２に供給され
る画像データは、一般に大容量の外部又は内部の補助記
憶装置から供給されるものであるが、近年はより多くの
画像データを上記補助記憶装置に蓄えるために、データ
圧縮を施すことが提案されている。

【００１５】ところが、近年は、よりリアルで高品質な
画像が求められている。しかし、このような高品質な画
像はデータ量が多く、上記圧縮を行ったとしてもそのデ
ータ量は膨大になる。

【００１６】このようなことから、上記補助記憶装置に
蓄えられる圧縮画像データに対しては、よりデータ長が
短くなる形式でかつ伸張後に得られる画像の品質も高い
ものが望まれる。

【００１７】本発明は、データ長が短くて済み、画像の
品質も高いものとすることができる画像情報を生成する
画像情報生成方法及び、その画像情報を処理する画像情
報処理方法、並びに画像情報が記録された記録媒体を提
供するものである。

【００１８】

【課題を解決するための手段】本発明の画像情報生成方
法は、所定のマクロブロック単位の空間軸の画像情報に
対して直交変換を施し、得られた係数データを量子化
し、当該量子化した係数データをランレングス符号化し
てビットストリームを生成することを特徴とするもので
ある。ここで、上記直交変換してランレングス符号化し
たマクロブロックの最初のラン領域に上記量子化の際の
量子化ステップ情報を格納することができる。

【００１９】また、本発明の画像情報処理方法は、所定
のマクロブロック単位の空間軸の画像情報に対して直交
変換を施し、得られた係数データを量子化し、当該量子
化した係数データがランレングス符号化されたビットス
トリームに対して、ランレングス復号化を施し、得られ
た係数データに逆量子化を施し、当該逆量子化した係数
データを逆直交変換して、マクロブロック単位の空間軸
の画像情報を生成することを特徴とするものである。こ
こで、上記ビットストリームのマクロブロックの最初の
ラン領域に格納された量子化ステップ情報を用いて上記
逆量子化を行うことができる。

【００２０】また、本発明の記録媒体は、所定のマクロ
ブロック単位の空間軸の画像情報に対して直交変換を施
し、得られた係数データを量子化し、当該量子化した係
数データをランレングス符号化して生成されたビットス
トリームを記録してなることを特徴とするものである。
さらに、上記直交変換してランレングス符号化したマク
ロブロックの最初のラン領域に上記量子化の際の量子化
ステップ情報を格納することも可能である。

【００２１】

【作用】本発明においては、所定のマクロブロック単位
の空間軸の画像情報が直交変換され、さらにこれを量子
化した係数データをランレングス符号化しているため、
データ長が短くなっている。また、直交変換してランレ
ングス符号化したマクロブロックの最初のラン領域に量
子化の際の量子化ステップ情報が格納されるため、マク
ロブロック毎に量子化ステップを設定できるようにな
る。

【００２２】

【実施例】以下、本発明の好ましい実施例について、図
面を参照しながら説明する。

【００２３】先ず、本発明実施例の画像情報生成方法の
説明に先立ち、本発明の画像情報処理方法が適用される
画像情報処理装置すなわち本発明の画像情報生成方法に
より生成された画像データを用いて３次元グラフィック
スデータを生成して表示するような画像処理システムに
ついて説明する。本実施例の画像処理システムは、例え
ば家庭用ゲーム機やパーソナルコンピュータ装置或いは
グラフィックコンピュータ装置等に適用されるものであ
り、図１の例では家庭用ゲーム機に適用した例を示して
いる。

【００２４】本実施例の画像処理システムは、後述する
本発明のフォーマットのデータが記録されている本発明
の記録媒体である例えば光学ディスク（例えばＣＤ−Ｒ
ＯＭディスク）からデータ（例えばゲームプログラム）
を読み出して実行することにより、使用者からの指示に
応じてゲームを行うようになっており、図１に示すよう
な構成を有している。

【００２５】すなわち、この画像処理システムは、中央
演算処理装置（ＣＰＵ５１）及びその周辺装置（周辺デ
バイスコントローラ５２等）からなる制御系５０と、フ
レームバッファ６３上に描画を行うグラフィックスプロ
セッシングユニット（ＧＰＵ６２）等からなるグラフィ
ックシステム６０と、楽音、効果音等を発生するサウン
ドプロセッシングユニット（ＳＰＵ７１）等からなるサ
ウンドシステム７０と、補助記憶装置である光学ディス
ク（ＣＤ−ＲＯＭのディスク）ドライブ８１の制御や再
生情報のデコード等を行う光学ディスク制御部８０と、
使用者からの指示を入力するコントローラ９２からの指
示入力及びゲームの設定等を記憶する補助メモリ（メモ
リカード９３）からの入出力を制御する通信制御部９０
と、上記制御系５０から通信制御部９０までが接続され
ているメインバスＢ等を備えている。

【００２６】上記制御系５０は、ＣＰＵ５１と、割り込
み制御、タイムコントロール、メモリコントロール、ダ
イレクトメモリアクセス（ＤＭＡ）転送の制御等を行う
周辺デバイスコントローラ５２と、例えば２メガバイト
のＲＡＭからなる主記憶装置（メインメモリ）５３と、
このメインメモリ５３や上記グラフィックシステム６
０，サウンドシステム７０等の管理を行ういわゆるオペ
レーティングシステム等のプログラムが格納された例え
ば５１２キロバイトのＲＯＭ５４とを備えている。

【００２７】ＣＰＵ５１は、例えば３２ビットのＲＩＳ
Ｃ(reduced instruction set computor)ＣＰＵであり、
ＲＯＭ５４に記憶されているオペレーティングシステム
を実行することにより装置全体の制御を行う。当該ＣＰ
Ｕ５１は命令キャッシュとスクラッチパッドメモリを搭
載し、実メモリの管理も行う。

【００２８】上記グラフィックシステム６０は、座標変
換等の処理を行う座標計算用コプロセッサからなるジオ
メトリトランスファエンジン（ＧＴＥ）６１と、ＣＰＵ
５１からの描画指示に従って描画を行うグラフィックス
プロセッシングユニット（ＧＰＵ）６２と、該ＧＰＵ６
２により描画された画像を記憶する例えば１メガバイト
のフレームバッファ６３と、いわゆる離散コサイン変換
などの直行変換により圧縮されて符号化された画像デー
タを復号化する画像デコーダ（以下ＭＤＥＣと呼ぶ）６
４とを備えている。

【００２９】ＧＴＥ６１は、例えば複数の演算を並列に
実行する並列演算機構を備え、ＣＰＵ５１のコプロセッ
サとして、ＣＰＵ５１からの演算要求に応じて座標変
換、光源計算、例えば固定小数点形式の行列やベクトル
の演算を高速に行うことができるようになっている。

【００３０】具体的には、このＧＴＥ６１は、１つの三
角形状のポリゴンに同じ色で描画するフラットシェーデ
ィングを行う演算の場合では、１秒間に最大１５０万程
度のポリゴンの座標演算を行うことができるようになっ
ており、これによってこの画像処理システムでは、ＣＰ
Ｕ５１の負荷を低減すると共に、高速な座標演算を行う
ことができるようになっている。

【００３１】ＧＰＵ６２は、ＣＰＵ５１からのポリゴン
描画命令に従って動作し、フレームバッファ６３に対し
て多角形（ポリゴン）等の描画を行う。このＧＰＵ６２
は、１秒間に最大３６万程度のポリゴンの描画を行うこ
とができるようになっている。また、このＧＰＵ６２
は、ＣＰＵ５１とは独立した２次元のアドレス空間を持
ち、そこにフレームバッファ６３がマッピングされるよ
うになっている。

【００３２】フレームバッファ６３は、いわゆるデュア
ルポートＲＡＭからなり、ＧＰＵ６２からの描画あるい
はメインメモリ５３からの転送と、表示のための読み出
しとを同時に行うことができるようになっている。

【００３３】このフレームバッファ６３は、例えば１メ
ガバイトの容量を有し、それぞれ１６ビットの横１０２
４で縦５１２の画素のマトリックスとして扱われる。

【００３４】このフレームバッファ６３のうちの任意の
領域を例えばディスプレイ装置等のビデオ出力手段６５
に出力することができるようになっている。

【００３５】また、このフレームバッファ６３には、ビ
デオ出力として出力される表示領域の他に、ＧＰＵ６２
がポリゴン等の描画を行う際に参照するカラールックア
ップテーブル（以下ＣＬＵＴと呼ぶ）が記憶されるＣＬ
ＵＴ領域と、描画時に座標変換されてＧＰＵ６２によっ
て描画されるポリゴン等の中に挿入（マッピング）され
る素材（テクスチャ）が記憶されるテクスチャ領域が設
けられている。これらのＣＬＵＴ領域とテクスチャ領域
は表示領域の変更等に従って動的に変更されるようにな
っている。すなわち、このフレームバッファ６３は、表
示中の領域に対して描画アクセスを実行することがで
き、また、メインメモリ５３との間で高速ＤＭＡ転送を
行うことも可能となっている。

【００３６】なお、上記ＧＰＵ６２は、上述のフラット
シェーディングの他にポリゴンの頂点の色から補間して
ポリゴン内の色を決めるグーローシェーディングと、上
記テクスチャ領域に記憶されているテクスチャをポリゴ
ンに張り付けるテクスチャマッピングを行うことができ
るようになっている。

【００３７】これらのグーローシェーディング又はテク
スチャマッピングを行う場合には、上記ＧＴＥ６１は、
１秒間に最大５０万程度のポリゴンの座標演算を行うこ
とができる。

【００３８】ＭＤＥＣ６４は、上記ＣＰＵ５１からの制
御により、ＣＤ−ＲＯＭディスクから読み出されてメイ
ンメモリ５３に記憶されている静止画あるいは動画の画
像データを復号化して再びメインメモリ５３に記憶す
る。具体的には、ＭＤＥＣ６４は逆離散コサイン変換
（逆ＤＣＴ）演算を高速に実行でき、ディスクから読み
出されたカラー静止画圧縮標準（いわゆるＪＰＥＧ）や
蓄積メディア系動画像符号化標準（いわゆるＭＰＥＧ、
但し本実施例ではフレーム内圧縮のみ）の圧縮データの
伸張を行うことができるようになっている。

【００３９】ところで、上記ディスクに記録される画像
データの圧縮の際には、ＤＣＴ（離散コサイン変換）が
用いられるが、ここでこのＤＣＴについて説明する。

【００４０】ＤＣＴは一般的には直交変換と呼ばれる線
形変換に含まれ、一種の周波数変換と考えることができ
る。空間軸のＮ×Ｎピクセルの矩形画像にＤＣＴ処理を
施すと、その画像の低周波成分が一箇所に集中する。そ
の結果をハフマン符号化することにより、データの圧縮
が成立する。すなわち、ＤＣＴとは、データの圧縮が容
易な形に変換するものであり、それ自体データサイズを
小さくする性質のものではない。実際にデータ圧縮を行
うのはハフマン符号化である。ＤＣＴ変換を行うと、一
般的な画像は周波数成分が低域に集中しているため、変
換後の成分の殆どが０になり、画像を直接ハフマン符号
化するよりもはるかに高能率の圧縮が実現できる。ここ
でのハフマン符号化をＶＬＣ(Variable Length Coding)
と呼ぶ。ＶＬＣされたデータのバイト／ワード・バウン
ダリは論理的には無意味となり、単なるビットの並びで
表現されたものとなる。これをビットストリームと呼
ぶ。そして、この一連の作業は全て１６×１６の矩形領
域単位で行われる。この単位をマクロブロックと呼ぶ。
したがって、ＤＣＴ圧縮は、マクロブロックを入力とし
てそれを圧縮し、ビットストリーム形式に変換するもの
と言うこともできる。また、画像は、ＤＣＴ変換された
後に、一旦ある単位で量子化される。この量子化ステッ
プを制御することで、圧縮率を制御することができる。
一般に量子化ステップを粗くすると圧縮率が向上する。

【００４１】これに対してＤＣＴの展開は、圧縮の逆の
手順で行われる。すなわち、取り込んだビットストリー
ムを一旦ＶＬＣデコードした後、これをＩＤＣＴ（逆Ｄ
ＣＴ）して元の画像を復元する。したがって、ビットス
トリームの展開は、ＶＬＣのデコード処理の後、ＩＤＣ
Ｔ処理するという２つのパスから構成されることにな
る。

【００４２】本発明の記録媒体（ＣＤ−ＲＯＭディス
ク）に記録される圧縮画像データは、例えば後述するよ
うに２４ビットモードのフルカラーデータ（ダイレクト
カラーのデータ）である。この２４ビットのフルカラー
データは、一旦ＤＣＴ変換された後、ランレングス圧縮
された形式（後述するランレベルのペア）の中間データ
になされる。その後、この中間データにＶＬＣをかけて
ビットストリームとなされ、これが本発明の記録媒体
（ディスク）に記録されるようになっている。圧縮率の
制御は、ランレベルを生成する過程で、量子化ステップ
を指定することで行うようにしている。なお、本実施例
での圧縮時には、中間データであるランレベルは出力さ
れない。より具体的に説明すると、先ず、２４ビットモ
ードの１６×１６マクロブロックのデータは量子化さ
れ、このとき量子化ステップを指定して圧縮率が設定さ
れる。次に、この量子化されたデータはランレングス符
号化されてランレベル（中間データ）になされ、その
後、ＶＬＣによりビットストリームとなされる。

【００４３】したがって、本発明の記録媒体に記録され
た上記圧縮画像データの上記ＭＤＥＣ６４における展開
の際には、上記圧縮作業とは逆の作業が行われることに
なる。すなわち、ディスクから再生された圧縮画像デー
タのビットストリームは、ＶＬＣデコードされてランレ
ベルなされる。このランレベルがＤＣＴ係数データに戻
され、これがＩＤＣＴされる。その後、さらに圧縮時の
量子化ステップを用いて逆量子化されることで、１６×
１６のマクロブロックのデータが得られるようになる。
なお、本実施例においてＤＣＴの対象となる画像データ
は、後述するように２４ビットモードのフルカラーデー
タ（ダイレクトカラーのデータ）であるが、これを圧縮
して作られたビットストリームは、１６ビットモード／
２４ビットモードのいずれでも展開できるようになって
いる。なお、モードの設定は展開時に選択できるように
なっている。また、１６ビットモードのデータの場合、
展開時に後述する先頭の１ビット（ＳＴＰビット）のオ
ン／オフも選択可能となっている。

【００４４】なお、上記逆ＤＣＴには処理時間がかかる
ため、ＣＰＵ５１と並列にＭＤＥＣ６４が処理を行うよ
うにしている。そのため、ＭＤＥＣ６４へデータを転送
するための関数と、展開したデータを受け取るための関
数が用意されている。

【００４５】また、ＭＤＥＣ６４とＣＰＵ５１はお互い
にメインメモリ５３を共有しながら並列に動作する。上
記ＣＰＵ５１からＭＤＥＣ６４にデータを転送するため
の関数は、ＣＰＵ５１がバス権を開放している間を縫
い、後述するランレベルをバックグラウンドでＭＤＥＣ
６４へ送信する。同様に、上記展開したデータを受け取
る関数も、後述する展開したマクロブロックをバックグ
ラウンドでメインメモリ５３に転送する。

【００４６】また、ＭＤＥＣ６４で展開したデータは、
必ず一旦メインメモリ５３を経由してフレームバッファ
６３に転送される。このとき、ＭＤＥＣ６４とメインメ
モリ５３間の送受信は非同期に行うことができる。した
がって、１フレーム分（６４０×２４０）の画像を展開
するに際して、メインメモリ５３上にフレームサイズ分
のバッファを構成せずに展開することも可能である。こ
の例として、画像を１６×２４０（１５マクロブロッ
ク）の縦に細長い短冊状の領域に切り分けて、この短冊
状の領域毎にデータを受信，転送することができる。

【００４７】上述のようなことから、本実施例のシステ
ムでは、ビットストリームを本発明の記録媒体（ディス
ク）から連続に読み込み再生することにり、動画の再生
を行うことができることになる。

【００４８】なお、動画の解像度とフレーム数は、展開
速度とディスクからの転送速度により決定される。ＭＤ
ＥＣ６４の展開速度は、最大９０００マクロブロック／
秒となっている。これは、３２０×２４０の画像を１秒
３０枚の速度で展開することに当たる。この展開速度
は、圧縮率には関係なく、当然ながら、画像の解像度と
再生フレーム数は反比例する。すなわち、３２０×２４
０の画像であれば、３０フレーム／秒、６４０×２４０
であれば１５フレーム／秒、６０×４８０であれば７．
５フレーム／秒の動画が実現できる。

【００４９】一方、ＣＤ−ＲＯＭは転送レートとして、
１５０キロバイト／秒（標準速）、３００キロバイト／
秒（倍速）のいずれかを選択できる。

【００５０】倍速再生時は、１フレームを構成するビッ
トストリームを１０キロバイト（＝３００キロバイト／
３０）以下に圧縮してＣＤ−ＲＯＭに記録すれば、ＣＤ
−ＲＯＭから３０フレーム／秒のデータが読み出せるこ
とになる。このため、例えば２０キロバイトでは１０フ
レーム／秒が、３０キロバイトでは７．５フレーム／秒
のデータが読み出させることになる。

【００５１】動画再生レートは、これら２つの条件で決
まり、例えば、倍速再生時は、１フレーム（３２０×２
４０）を構成するビットストリームを１０キロバイト
（＝３００キロバイト／３０）に圧縮し、ＣＤ−ＲＯＭ
に記録すればよいことになる。この条件を満たす範囲で
あれば、フレーム数、画像解像度、圧縮率を任意に選ぶ
ことができる。

【００５２】図１に戻って、上述して伸張された画像デ
ータは、ＧＰＵ６２を介してフレームバッファ６３に記
憶することにより、上述のＧＰＵ６２によって描画され
る画像の背景として使用することができるようにもなっ
ている。

【００５３】上記サウンドシステム７０は、ＣＰＵ５１
からの指示に基づいて、楽音、効果音等を発生するサウ
ンド再生処理プロセッサ（ＳＰＵ）７１と、ＣＤ−ＲＯ
Ｍから読み出された音声，楽音等のデータや音源データ
等が記憶される例えば５１２キロバイトのサウンドバッ
ファ７２と、ＳＰＵ７１によって発生される楽音、効果
音等を出力するサウンド出力手段としてのスピーカ７３
とを備えている。

【００５４】上記ＳＰＵ７１は、１６ビットの音声デー
タを４ビットの差分信号として適応差分符号化（ＡＤＰ
ＣＭ）された音声データを再生するＡＤＰＣＭ復号機能
と、サウンドバッファ７２に記憶されている音源データ
を再生することにより、効果音等を発生する再生機能
と、サウンドバッファ７２に記憶されている音声データ
等を変調させて再生する変調機能等を備えている。すな
わち、当該ＳＰＵ７１は、ルーピングや時間を系数とし
た動作パラメータの自動変更などの機能を持つＡＤＰＣ
Ｍ音源２４ボイスを内蔵し、ＣＰＵ５１からの操作によ
り動作する。また、ＳＰＵ７１は、サウンドバッファ７
２がマッピングされた独自のアドレス空間を管理し、Ｃ
ＰＵ５１からサウンドバッファ７２にＡＤＰＣＭデータ
を転送し、キーオン／キーオフやモジュレーション情報
を直接渡すことによりデータを再生する。

【００５５】このような機能を備えることによってこの
サウンドシステム７０は、ＣＰＵ５１からの指示によっ
てサウンドバッファ７２に記録された音声データ等に基
づいて楽音、効果音等を発生するいわゆるサンプリング
音源として使用することができるようになっている。

【００５６】上記光学ディスク制御部８０は、ＣＤ−Ｒ
ＯＭディスクである光学ディスクに記録されたプログラ
ム、データ等を再生するディスクドライブ装置８１と、
例えばエラー訂正（ＥＣＣ）符号が付加されて記録され
ているプログラム、データ等を復号するデコーダ８２
と、ディスクドライブ装置８１からの再生データを一時
的に記憶することにより、ＣＤ−ＲＯＭディスクからの
読み出されたデータを記憶する例えば３２キロバイトの
バッファ８３とを備えている。すなわち、当該光学ディ
スク制御部８０は、上記ドライブ装置８１やデコーダ８
２等のディスクの読み出しを行うために必要な部品類か
ら構成されている。なお、ここでは、ディスクフォーマ
ットとしてＣＤ−ＤＡ、ＣＤ−ＲＯＭ ＸＡをサポート
できるようになっている。なお、デコーダ８２はサウン
ドシステム７０の一部も構成している。

【００５７】また、ディスクドライブ装置８１で再生さ
れるディスクに記録されている音声データとしては、上
述のＡＤＰＣＭデータ（ＣＤ−ＲＯＭ ＸＡのＡＤＰＣ
Ｍデータ等）の他に音声信号をアナログ／デジタル変換
したいわゆるＰＣＭデータがある。

【００５８】ＡＤＰＣＭデータとして、例えば１６ビッ
トのデジタルデータの差分を４ビットで表わして記録さ
れている音声データは、デコーダ８２で誤り訂正と復号
化がなされた後、上述のＳＰＵ７１に供給され、ＳＰＵ
７１でデジタル／アナログ変換等の処理が施された後、
スピーカ７３を駆動するために使用される。

【００５９】また、ＰＣＭデータとして、例えば１６ビ
ットのデジタルデータとして記録されている音声データ
は、デコーダ８２で復号化された後、スピーカ７３を駆
動するために使用される。なお、当該デコーダ８２のオ
ーディオ出力は、一旦ＳＰＵ７１に入り、当該ＳＰＵ出
力とミックスされ、リバーブユニットを経由して最終の
オーディオ出力となる。

【００６０】また、通信制御部９０は、メインバスＢを
介してＣＰＵ５１との通信の制御を行う通信制御デバイ
ス９１と、使用者からの指示を入力するコントローラ９
２と、ゲームの設定等を記憶するメモリカード９３とを
備えている。

【００６１】コントローラ９２は、使用者の意図をアプ
リケーションに伝達するインタフェースであり、使用者
からの指示を入力するために、例えば１６個の指示キー
を有し、通信制御デバイス９１からの指示に従って、こ
の指示キーの状態を、同期式通信により、通信制御デバ
イス９１に毎秒６０回程度送信する。そして、通信制御
デバイス９１は、コントローラ９２の指示キーの状態を
ＣＰＵ５１に送信する。なお、コントローラ９２は、本
体に２個のコネクタを有し、その他にマルチタップを使
用して多数のコントローラを接続することも可能となっ
ている。

【００６２】これにより、使用者からの指示がＣＰＵ５
１に入力され、ＣＰＵ５１は、実行しているゲームプロ
グラム等に基づいて使用者からの指示に従った処理を行
う。

【００６３】また、ＣＰＵ５１は、実行しているゲーム
の設定等を記憶する必要があるときに、該記憶するデー
タを通信制御デバイス９１に送信し、通信制御デバイス
９１はＣＰＵ５１からのデータをメモリカード９３に記
憶する。

【００６４】このメモリカード９３は、メインバスＢか
ら分離されているため、電源を入れた状態で、着脱する
ことができるようになっている。これにより、ゲームの
設定等を複数のメモリカード９３に記憶することができ
るようになっている。

【００６５】また、本実施例システムは、メインバスＢ
に接続された１６ビットパラレル入出力（Ｉ／Ｏ）ポー
ト１０１と、非同期式のシリアル入出力（Ｉ／Ｏ）ポー
ト１０２とを備えている。

【００６６】そして、パラレルＩ／Ｏポート１０１を介
して周辺機器との接続を行うことができるようになって
おり、また、シリアルＩ／Ｏポート１０２を介して他の
ビデオゲーム装置等との通信を行うことができるように
なっている。

【００６７】ところで、上記メインメモリ５３、ＧＰＵ
６２、ＭＤＥＣ６４及びデコーダ８２等の間では、プロ
グラムの読み出し、画像の表示あるいは描画等を行う際
に、大量の画像データを高速に転送する必要がある。

【００６８】このため、この画像処理システムでは、上
述のようにＣＰＵ５１を介さずに周辺デハイスコントロ
ーラ５２からの制御により上記メインメモリ５３、ＧＰ
Ｕ６２、ＭＤＥＣ６４及びデコーダ８２等の間で直接デ
ータの転送を行ういわゆるＤＭＡ転送を行うことができ
るようになっている。

【００６９】これにより、データ転送によるＣＰＵ５１
の負荷を低減させることができ、高速なデータの転送を
行うことができようになっている。

【００７０】このビデオゲーム装置では、電源が投入さ
れると、ＣＰＵ５１が、ＲＯＭ５４に記憶されているオ
ペレーティングシステムを実行する。

【００７１】このオペレーティングシステムに実行によ
り、ＣＰＵ５１は、上記グラフィックシステム６０、サ
ウンドシステム７０等の制御を行う。

【００７２】また、オペレーティングシステムが実行さ
れると、ＣＰＵ５１は、動作確認等の装置全体の初期化
を行った後、光学ディスク制御部８０を制御して、光学
ディスクに記録されているゲーム等のプログラムを実行
する。

【００７３】このゲーム等のプログラムの実行により、
ＣＰＵ５１は、使用者からの入力に応じて上記グラフィ
ックシステム６０、サウンドシステム７０等を制御し
て、画像の表示、効果音、楽音の発生を制御するように
なっている。

【００７４】次に、本実施例の画像処理システムにおけ
るディスプレイ上への表示について説明する。

【００７５】上記ＧＰＵ６２は、フレームバッファ６３
４内の任意の矩形領域の内容を、そのまま上記ビデオ出
力手段６５の例えばＣＲＴ等のディスプレイ上に表示す
る。この領域を以下表示エリアと呼ぶ。上記矩形領域と
ディスプレイ画面表示の関係は、図２に示すようになっ
ている。

【００７６】また、上記ＧＰＵ６２は、次の１０個の画
面モードをサポートしている。

【００７７】 〔モード〕 〔標準解像度〕 備考 モード０ 256(H)×240(V) ノンインターレス モード１ 320(H)×240(V) ノンインターレス モード２ 512(H)×240(V) ノンインターレス モード３ 640(H)×240(V) ノンインターレス モード４ 256(H)×480(V) インターレス モード５ 320(H)×480(V) インターレス モード６ 512(H)×480(V) インターレス モード７ 640(H)×480(V) インターレス モード８ 384(H)×240(V) ノンインターレス モード９ 384(H)×480(V) インターレス 画面サイズすなわちディスプレイ画面上のピクセル数は
可変で、図３のように、水平方向、垂直方向それぞれ独
立に表示開始位置（座標（ＤＴＸ，ＤＴＹ））、表示終
了位置（座標（ＤＢＸ，ＤＢＹ））を指定することがで
きる。

【００７８】また、各座標に指定可能な値と画面モード
との関係は、以下のようになっている。なお、座標値の
ＤＴＸ，ＤＢＸは４の倍数になるように設定する必要が
ある。したがって、最小画面サイズは、横４ピクセル、
縦２ピクセル（ノンインターレス時）又は４ピクセル
（インターレス時）になる。

【００７９】〔Ｘ座標の指定可能範囲〕 〔モード〕 〔ＤＴＸ〕 〔ＤＢＸ〕 ０，４ ０〜２７６ ４〜２８０ １，５ ０〜３４８ ４〜３５２ ２，６ ０〜５５６ ４〜５６０ ３，７ ０〜７００ ４〜７０４ ８，９ ０〜３９６ ４〜４００ 〔Ｙ座標の指定可能範囲〕 〔モード〕 〔ＤＴＹ〕 〔ＤＢＹ〕 ０〜３，８ ０〜２４１ ２〜２４３ ４〜７，９ ０〜４８０ ４〜４８４ 次に、ＧＰＵ６２は、表示色数に関するモードとして、
１６ビットダイレクトモード（３２７６８色）と、２４
ビットダイレクトモード（フルカラー）の２つをサポー
トしている。上記１６ビットダイレクトモード（以下１
６ビットモードと呼ぶ）は３２７６８色表示モードであ
る。この１６ビットモードでは、２４ビットダイレクト
モード（以下２４ビットモードと呼ぶ）に較べ表示色数
に限りはあるが、描画時のＧＰＵ６２内部での色計算は
２４ビットで行われ、また、いわゆるディザ機能も搭載
しているので、疑似フルカラー（２４ビットカラー）表
示が可能となっている。また、上記２４ビットモード
は、１６７７７２１６色（フルカラー）表示のモードで
ある。但し、フレームバッファ６３内に転送されたイメ
ージデータの表示（ビットマップ表示）のみが可能で、
ＧＰＵ６２の描画機能を実行することはできない。ここ
で、１ピクセルのビット長は２４ビットとなるが、フレ
ームバッファ６３上での座標や表示位置の値は１６ビッ
トを基準として指定する必要がある。すなわち、６４０
×４８０の２４ビット画像データは、フレームバッファ
６３中では９６０×４８０として扱われる。また、前記
座標値ＤＢＸは８の倍数になるように設定する必要があ
り、したがって、この２４ビットモードでの最小画面サ
イズは横８×縦２ピクセルになる。

【００８０】また、ＧＰＵ６２には次のような描画機能
が搭載されている。

【００８１】先ず、１×１ドット〜２５６×２５６ドッ
トのスプライトに対して、４ビットＣＬＵＴ（４ビット
モード、１６色／スプライト）や８ビットＣＬＵＴ（８
ビットモード、２５６色／スプライト），１６ビットＣ
ＬＵＴ（１６ビットモード、３２７６８色／スプライ
ト）等が可能なスプライト描画機能と、ポリゴン（三角
形や四角形等の多角形）の各頂点の画面上の座標を指定
して描画を行うと共に、ポリゴン内部を同一色で塗りつ
ぶすフラットシェーディング、各頂点に異なる色を指定
して内部をグラデーションするグーローシェーディン
グ、ポリゴン表面に２次元のイメージデータ（テクスチ
ャパターン）を用意して張り付けるテクスチャマッピン
グ等を行うポリゴン描画機能と、グラデーションが可能
な直線描画機能と、ＣＰＵ５１からフレームバッファ６
３への転送、フレームバッファ６３からＣＰＵ５１への
転送、フレームバッファ６３からフレームバッファ６３
への転送等のイメージ転送機能と、その他の機能とし
て、各ピクセルの平均をとって半透明化する機能（各ピ
クセルのピクセルデータを所定比率αで混合することか
らαブレンディング機能と呼ばれる）、色の境界にノイ
ズを乗せてぼかすディザ機能、描画エリアを越えた部分
を表示しない描画クリッピング機能、描画エリアに応じ
て描画原点を動かすオフセット指定機能等がある。

【００８２】また、描画を行う座標系は符号付きの１１
ビットを単位としており、Ｘ，Ｙそれぞれに−１０２４
〜＋１０２３の値をとる。また、図４に示すように、本
実施例でのフレームバッファ６３のサイズは１０２４×
５１２となっているので、はみ出した部分は折り返すよ
うになっている。描画座標の原点は、座標値のオフセッ
ト値を任意に設定する機能により、フレームバッファ６
３内で自由に変更することができる。また、描画は、描
画クリッピング機能により、フレームバッファ６３内の
任意の矩形領域に対してのみ行われる。

【００８３】さらに、ＧＰＵ６２は、最大２５６×２５
６ドットのスプライトをサポートしており、縦，横それ
ぞれの値を自由に設定することができる。

【００８４】上記スプライトに張りつけるイメージデー
タ（スプライトパターン）は、図５に示すように、フレ
ームバッファ６３の非表示領域に配置する。スプライト
パターンは、描画コマンド実行に先立ってフレームバッ
ファ６３に転送される。スプライトパターンは、２５６
×２５６ピクセルを１ページとして、フレームバッファ
６３上にメモリの許す限り何枚でも置くことができ、こ
の２５６×２５６の領域をテクスチャページと呼んでい
る。１枚のテクスチャページの場所は、描画コマンドの
ＴＳＢと呼ぶテクスチャページの位置（アドレス）指定
のためのパラメータに、ページ番号を指定することで決
定される。

【００８５】スプライトパターンには、４ビットＣＬＵ
Ｔ（４ビットモード）、８ビットＣＬＵＴ（８ビットモ
ード）、１６ビットＣＬＵＴ（１６ビットモード）の３
種類の色モードがある。４ビットＣＬＵＴ及び８ビット
ＣＬＵＴの色モードでは、ＣＬＵＴを使用する。

【００８６】このＣＬＵＴとは、図６に示すように、最
終的に表示される色を表す３原色のＲ，Ｇ，Ｂ値が１６
乃至２５６個、フレームバッファ６３上に並んだもので
ある。各Ｒ，Ｇ，Ｂ値はフレームバッファ６３上の左か
ら順に番号付けされており、スプライトパターンはこの
番号により各ピクセルの色を表す。また、ＣＬＵＴはス
プライト単位で選択でき、全てのスプライトに対して独
立したＣＬＵＴを持つことも可能である。また、図６に
おいて、１個のエントリは１６ビットモードの１ピクセ
ルと同じ構造となっており、したがって、１セットのＣ
ＬＵＴは１×１６（４ビットモード時）、１×２５５
（８ビットモード時）のイメージデータと等しくなる。
フレームバッファ６３内でのＣＬＵＴの格納位置は、描
画コマンド内のＣＢＡと呼ぶＣＬＵＴの位置（アドレ
ス）指定のためのパラメータに、使用するＣＬＵＴの左
端の座標を指定することで決定する。

【００８７】さらに、スプライト描画の概念を模式的に
示すと図７のように表すことができる。なお、図７中の
描画コマンドのＵ，Ｖはテクスチャページのどの位置か
を横（Ｕ），縦（Ｖ）で指定するパラメータであり、
Ｘ，Ｙは描画エリアの位置を指定するためのパラメータ
である。

【００８８】また、ＧＰＵ６２は、動画表示の方式とし
て、フレームダブルバッファリングという手法を用いる
ようにしている。このフレームダブルバッファリングと
は、図８に示すように、フレームバッファ６３上に２つ
の矩形領域を用意し、一方のエリアに描画をしている間
はもう片側を表示し、描画が終了したら２つのエリアを
お互いに交換するものである。これにより、書き換えの
様子が表示されるのを回避することができることにな
る。なお、バッファの切り換え操作は、垂直帰線期間内
に行う。また、ＧＰＵ６２では、描画の対象となる矩形
領域と座標系の原点を自由に設定できるので、この２つ
を移動させることにより、複数のバッファを実現するこ
とも可能である。

【００８９】次に、前記ＭＤＥＣ６４の具体的構成につ
いて、図９を用いて説明する。

【００９０】当該ＭＤＥＣ６４は、端子１７０によって
メインバスＢと接続されている。メインバスＢを介して
供給される圧縮符号化された画像データは、ＲＡＭから
なる入力バッファ１７１を介してコマンドデコーダ１７
２に送られる。当該コマンドデコーダ１７２では後述す
るコマンドの解析を行い、これ以降の処理はコマンドに
応じてなされる。

【００９１】上記コマンドデコーダ１７２の出力データ
は、ランレングスデコーダ１７３に送られる。当該ラン
レングスデコーダ１７３ではＶＬＣ（可変長符号）の展
開（復号化）と前記ランレベルのＤＣＴ係数への変換を
行い、その復号化データをＦＩＦＯメモリ１７４に送
る。当該ＦＩＦＯメモリ１７４から読み出されたデータ
は、逆量子化器１７５にて符号化時に施された量子化に
対応する逆量子化処理が行われる。このとき、逆量子化
器１７５における逆量子化のためのステップサイズは、
ステップサイズ発生回路１９１内に配される後述する逆
量子化マトリクス（ＩＱマトリクス）テーブルに基づい
て決定される。

【００９２】上記逆量子化器１７５からの逆量子化され
たＤＣＴ係数データは、ＩＤＣＴ回路１７６に送られ
る。当該ＩＤＣＴ回路１７６では、符号化時に行われた
離散コサイン変換に対応する逆離散コサイン変換の処理
が行われる。このとき、当該ＩＤＣＴ回路１７６におけ
るＩＤＣＴのための後述するＩＤＣＴマトリクステーブ
ルは、ＩＤＣＴマトリクス回路１９２が格納している。

【００９３】上記ＩＤＣＴ回路１７６からは、後述する
ＲＧＢモード又はＲＡＷモードの画像データが出力され
る。ＲＧＢモードの画像データは、ＦＩＦＯメモリ１７
８を介して、コンバータ１７９に送られ、ここで（Ｙ，
Ｃｂ，Ｃｒ）から（Ｒ，Ｇ，Ｂ）への変換が行われ、そ
の後パッキングロジック１８０に送られ、ここで所定の
パック単位のデータの並びに変換される。また、上記Ｒ
ＡＷモードの画像データは、直接パッキングロジック１
８０に送られる。当該パッキングロジック１８０の出力
は、出力バッファ１９０で一旦蓄えられた後、端子１７
０を介してメインバスＢに出力される。

【００９４】次に、本実施例の画像処理システムが扱う
本発明のデータフォーマットについて説明する。

【００９５】前記ＭＤＥＣ６４は、ホストシステム（Ｃ
ＰＵ５１）より汎用ポートに書き込まれるコマンドを順
次実行する。コマンドは大きく分けて、ＩＤＣＴ（逆離
散コサイン変換）コマンド、ＩＱ（逆量子化）テーブル
設定コマンド（IQ mattix cofficients setting-up com
mand) 、ＩＤＣＴマトリクス設定コマンド(IDCT mattix
cofficients setting-up command)がある。

【００９６】汎用ポートは入出力それぞれ、一度に３２
ワード（＝１２８バイト）ワードまでを書き込むことが
できる。汎用ポートにはＣＰＵ５１から直接リード／ラ
イトする場合（Ｉ／Ｏ転送）、ＤＭＡ転送の場合の両方
が可能である。長いコマンドの場合、コマンドの一部を
Ｉ／Ｏ転送し、残りをＤＭＡ転送することもできる。Ｄ
ＭＡ転送は３２ワード単位で転送できる。

【００９７】ＩＤＣＴコマンド（コマンドコード＝０１
ｈ）は、コマンドコードの後にブロックデータ列を与え
る。コマンドコードは、図１０に示す通りである。な
お、図中のＯＦＭは出力フォーマットであり、００のと
き復号結果を４ビットＲＡＷモードで出力し、０１のと
き復号結果を８ビットＲＡＷモードで出力し、１０のと
き復号結果を２４ビットＲＧＢモードで出力し、１１の
とき復号結果を１６ビットＲＧＢモードで出力する。Ｓ
ＧＮはサインビットで、０のとき出力ピクセルを０から
２５５でクリップして符号無しで出力し、１のとき出力
ピクセルを−１２７から１２７でクリップして符号付き
で出力する。ＳＴＰは１６ビットＲＧＢピクセルの最上
位ビットを指定する。ＳＩＺＥはコマンドに続きデータ
のワード数である。

【００９８】上記コマンドコードの後には、図１１に示
すようにＢ１〜Ｂｎで示すブロックデータが続く。

【００９９】各ブロックのサイズはブロック毎に異なる
ＲＧＢモードの場合、図１２に示すようなマクロブロッ
クを構成する各輝度ブロック（Ｙ０，Ｙ１，Ｙ２，Ｙ
３）と色差ブロック（Ｃｂ，Ｃｒ）は、図１２中の０〜
５で示す順番でＭＤＥＣ６４へ転送する。すなわち、コ
マンドに続くｎ番目の入力ブロックは、 ｎ＝６ｋ＋０： Ｃｂブロック ｎ＝６ｋ＋１： Ｃｒブロック ｎ＝６ｋ＋２： Ｙ０ブロック ｎ＝６ｋ＋３： Ｙ１ブロック ｎ＝６ｋ＋４： Ｙ２ブロック ｎ＝６ｋ＋５： Ｙ３ブロック と判断される。なお、輝度ブロックと色差ブロックの入
力フォーマットは共通となっている。ＳＧＮ＝０の場合
は、符号無し４〜８ビットで出力され、ＳＧＮ＝１の場
合は出力は符号付き４〜８ビットで出力される。

【０１００】コマンドの後に複数のブロックを続けて転
送することもでき、転送するワード数はＳＩＺＥで指定
する。ただし、ブロックの途中で終了するような転送サ
イズの指定はできない。さらに、ＲＧＢモードの場合、
転送するブロック数は６の倍数でなければならない。

【０１０１】ＩＱテーブル設定コマンド（コマンドコー
ド＝０２ｈ）は、コマンドコードの後に逆量子化テーブ
ルデータを与える。ＩＱテーブルは２種類設定できて、
ＲＡＷモード及び、Ｙの輝度ブロックの逆量子化には０
番、Ｃｒ／Ｃｂの色差ブロックの量子化には１番のテー
ブルが使用される。コマンドコードは、図１３に示す通
りである。なお、図中のＴＳＬはＩＱマトリクステーブ
ル番号（０番／１番）である。

【０１０２】ＩＱテーブル設定コマンドのコマンドコー
ドの後には、図１４に示すようなテーブルデータが続
く。テーブルサイズは合計で１６ワードであり、ＩＱテ
ーブルの係数はジグザグ(zig-zag) オーダーで指定され
る。なお図中のＺＱ（ｘ，ｙ）はジグザグオーダー逆量
子化マトリクス係数（無符号８ビット）である。

【０１０３】ＩＤＣＴマトリクス設定コマンド（コマン
ドコード＝０３ｈ）は、コマンドコードの後にＩＤＣＴ
マトリクスの係数を与える。コマンドコードは、図１５
に示す通りである。このコマンドコードの後には、図１
６に示すように係数データが続く。テーブルサイズは合
計で３２ワードである。なお、図１６中のＣ（ｘ，ｙ）
はＩＤＣＴ係数（有符号１６ビット）である。

【０１０４】次に、ＭＤＥＣ６４への入力ブロックフォ
ーマットの仕様について説明する。

【０１０５】入力ブロックフォーマットは、各ブロック
タイプ（輝度ブロック／色差ブロック）で共通で、ＩＤ
ＣＴ係数をランレングス符号化の(run,level) のペア(r
un-level) で転送する。この係数(run-level) に対して
ＭＤＥＣ６４内で、ランレングスデコード１７３→逆量
子化器１７５→ＩＤＣＴ回路１７６の順で処理が施され
る。

【０１０６】一つの係数(run-level）のペアは１６ビッ
トでそのフォーマットは図１７に示す通りである。な
お、図１７中のＲＵＮは非ゼロ係数に先立つゼロ係数の
個数（無符号６ビット）で、ＬＥＶＥＬは非ゼロ係数の
値（有符号１０ビット）である。

【０１０７】ただし、ブロックの最初の係数（ＤＣ係
数）のＲＵＮフィールドには、量子化ステップが入る。
すなわち、図１８に示すようになる。なお、図１８中の
ＱＵＡＮＴは量子化ステップ（無符号６ビット）を、Ｌ
ＥＶＥＬはＤＣ係数（有符号１０ビット）を示す。ＱＵ
ＡＮＴ＝０の場合は、逆量子化は実行されない。また、
係数(run-level) のペアが例えば０ｘｆｅ００（ＱＵＡ
ＮＴ＝３ｘｆかつＬＥＶＥＬ＝０ｘ１００）の場合は、
そのペアはＮＯＰとみなされ、スキップされる。

【０１０８】係数(run-level) のペアは、図１９に示す
ように２組が３２ビットにパックされて転送される。な
お、図中のＲＬ（ｎ）は(run-level) のペアである。こ
のときの係数(run-level) のペアのブロック当たりの個
数Ｎは、ブロック毎に異なる。ただし、２≦Ｎ≦６３で
ある。またブロックの先頭に指定されたＮＯＰは、単に
スキップされる。ブロックの途中にＮＯＰがあると、Ｍ
ＤＥＣ６４はそのブロックの係数(run-level) のペアの
デコードを中断して（未設定のフィールドには０が詰め
られる）、ＩＱデコードを開始する。

【０１０９】次にＭＤＥＣ６４の出力ブロックフォーマ
ットには、ＲＡＷモードとＲＧＢモードである。

【０１１０】ＲＡＷモードの場合は入力ブロックと出力
ブロックの対応は１対１になっている。ＲＧＢモードの
場合、コマンドに続く６個のブロックを１つのマクロブ
ロックとみなして、１６×１６のブロックを一つ再構成
して出力する。このブロックをＲＧＢブロックと呼ぶ。
そのため、ＲＧＢモードでは６個のブロック（＝１個の
マクロブロック）を入力すると、１個のＲＧＢブロック
を出力することになる。したがって、ＲＧＢモードでは
入力ブロック数と出力ブロック数が異なることになる。

【０１１１】次に、ＲＡＷモードは８ビットＲＡＷモー
ドと４ビットＲＡＷモードとがあり、８ビットＲＡＷモ
ードでは、ＲＧＢ変換を通らないＩＤＣＴの復号結果を
ブロック単位で出力する。このモードは図２０の構成を
とる。なお、図中のＦ（ｘ，ｙ）はＩＤＣＴで復号され
たデータ（８ビット）を示す。ＩＤＣＴコマンドのＳＧ
Ｎが０の場合は、復号結果は０≦Ｆ(x,y) ≦２５５にな
るようにクリップされて無符号８ビットで出力される。
ＳＧＮが１の場合は、復号結果は、−１２７≦Ｆ(x,y)
≦１２７になるようにクリップされて有符号８ビットで
出力される。

【０１１２】これに対して、４ビットＲＡＷモードで
は、８ビットＲＡＷモードで出力されるピクセル値の５
ビット目を四捨五入して上位４ビットをパックして出力
する。このモードは図２１の構成をとる。なお、図中の
Ｆ_xyはＩＤＣＴで復号されたデータ（上位４ビット）を
示す。

【０１１３】また、上記ＲＧＢモードには、２４ビット
ＲＧＢモードと１６ビットＲＧＢモードと８ビットＲＧ
Ｂモードがあり、２４ビットＲＧＢモードでは、復号結
果をＲＧＢに変換し、２４ビットにパックして出力す
る。デコードブロックのフォーマットは、図２２及び図
２３に示す通りである。図２２には、このモードにおけ
るＩ／Ｏ転送時のＩ／Ｏモードのフォーマットを示し、
図２３にはＤＭＡ転送時のＤＭＡモードのフォーマット
を示している。このように、Ｉ／Ｏ転送時とＤＭＡ転送
時ではピクセルのオーダーが異なっている。なお、図２
２，図２３中のＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，
ｙ）は、ＲＧＢの輝度値（８ビット×３）である。さら
に、ＩＤＣＴコマンドのＳＮＧが０の場合は、復号結果
は０≦〔ＲＧＢ〕(x,y) ≦２５５になるようにクリップ
されて無符号８ビットで出力される。ＳＧＮが１の場合
は、復号結果は−１２７≦〔ＲＧＢ〕(x,y) ≦＋１２７
になるようにクリップされて有符号８ビットで出力され
る。

【０１１４】一方、１６ビットＲＧＢモードでは、図２
４及び図２５に示すように、８ビットＲＧＢモードで出
力されるピクセル値の６ビット目を四捨五入して上位５
ビットを１６ビットにパックして出力する。Ｉ／Ｏ転送
時とＤＭＡ転送時ではピクセルのオーダーが異なる。図
２４には、このモードにおけるＩ／Ｏ転送時のＩ／Ｏモ
ードのフォーマットを示す、図２５にはＤＭＡ転送時の
ＤＭＡモードのフォーマットを示している。なお、図２
４，図２５中のＰＩＸ（ｘ，ｙ）は１６ビットピクセル
を示す。

【０１１５】次に、上記１６ビットピクセルのフォーマ
ットは、図２６に示す通りである。先頭の１ビットには
ＩＤＣＴコマンドのＳＴＰフィールドの値が詰められ
る。なお、図中のＲＧＢは、各輝度値（５ビット）を示
す。

【０１１６】上述したように、本実施例においては、逆
直交変換の入力ブロック（係数）がランレングス符号化
された形式であること、画像ブロックを逆直交変換する
前に行われる逆量子化処理の係数をブロックの先頭で設
定できる形式であること、逆直交変換後のブロックを通
常のビデオ信号（Ｙ，Ｃｂ，Ｃｒ）の他にＣＳＣ（Colo
r Space Converter)を通すことで、Ｒ，Ｇ，Ｂ輝度値と
して出力することも選択できる形式であること、Ｒ，
Ｇ，Ｂ輝度値として出力される際に、その色解像度をデ
コード時にブロック毎に選択できる形式であること、出
力ブロックの符号を有符号或いは無符号のいずれかをブ
ロック単位で選択できる形式であることが特徴となって
いる。

【０１１７】すなわち、本実施例においては、逆直交変
換の入力ブロック（係数）がランレングス符号化されて
いるので、データ長が短くて済む。また、画像ブロック
を直交変換する前に行われる逆量子化処理の係数をブロ
ックの先頭で設定できるので、ブロック毎に量子化ステ
ップを細かく設定できる。さらに、逆直交変換後のブロ
ックを通常のビデオ信号（Ｙ，Ｃｂ，Ｃｒ）の他にＣＳ
Ｃ（Color Space Converter)を通すことで、Ｒ，Ｇ，Ｂ
輝度値として出力することも選択できるので、フレーム
バッファ上に背景画面あるいはテクスチャソースとして
そのまま使用することができる。また、Ｒ，Ｇ，Ｂ輝度
値として出力される際にその色解像度をデコード時にブ
ロック毎に選択できるので、描画装置のピクセル解像度
及び要求画像の品質、フレームバッファサイズに応じて
ピクセル解像度を選択できる。また、出力ブロックの符
号を有符号或いは無符号のいずれかをブロック単位で選
択できるため、通常の画像の他、フレーム相関を用いた
動き補償の際に使用される差分画像に対しても対応でき
る。

【０１１８】

【発明の効果】以上の説明からも明らかなように、本発
明においては、所定のマクロブロック単位の空間軸の画
像情報が直交変換され、さらにこれを量子化した係数デ
ータをランレングス符号化しているため、データ長が短
くなっている。また、直交変換してランレングス符号化
したマクロブロックの最初のラン領域に量子化の際の量
子化ステップ情報が格納されるため、マクロブロック毎
に量子化ステップを設定できるようになる。すなわち、
本発明によれば、データ長が短くて済み、画像の品質も
高いものとすることができる。

【図面の簡単な説明】

【図１】本発明実施例の画像情報処理装置の概略的な構
成を示すブロック回路図である。

【図２】ディスプレイ上への表示について説明するため
の図である。

【図３】ディスプレイ上の表示の設定について説明する
ための図である。

【図４】描画クリッピングの機能について説明するため
の図である。

【図５】テクスチャページについて説明するための図で
ある。

【図６】ＣＬＵＴ構造について説明するための図であ
る。

【図７】スプライト描画の概念を説明するための図であ
る。

【図８】フレームダブルバッファリングについて説明す
るための図である。

【図９】ＭＤＥＣの具体的構成を説明するためのブロッ
ク回路図である。

【図１０】ＩＤＣＴコマンドの構成を示す図である。

【図１１】ＩＤＣＴコマンドのコマンドコードとそれに
続くマクロブロックデータを示す図である。

【図１２】マクロブロックの構成を示す図である。

【図１３】ＩＱテーブル設定コマンドの構成を示す図で
ある。

【図１４】ＩＱテーブル設定コマンドのコマンドコード
に続くテーブルデータを示す図である。

【図１５】ＩＤＣＴマトリクス設定コマンドの構成を示
す図である。

【図１６】ＩＤＣＴマトリクス設定コマンドのコマンド
コードとそれに続く係数データを示す図である。

【図１７】入力ブロックフォーマットを示す図である。

【図１８】入力ブロックフォーマットのうち最初の係数
のランフィールドに量子化ステップが入った状態を示す
図である。

【図１９】ランレベルペアのパックを示す図である。

【図２０】ＩＤＣＴで復号されたデータを示す図であ
る。

【図２１】４ビットＲＡＷモードの説明に用いる図であ
る。

【図２２】２４ビットＲＧＢモードのＩ／Ｏモード時の
各ピクセルデータを示す図である。

【図２３】２４ビットＲＧＢモードのＤＭＡモード時の
各ピクセルデータを示す図である。

【図２４】１６ビットＲＧＢモードのＩ／Ｏモード時の
各ピクセルデータを示す図である。

【図２５】１６ビットＲＧＢモードのＤＭＡモード時の
各ピクセルデータを示す図である。

【図２６】１６ビットＲＧＢモードの１６ビットピクセ
ルのフォーマットを示す図である。

【図２７】従来の画像作成装置（家庭用ゲーム機）の構
成例を示すブロック回路図である。

【図２８】従来の画像作成装置による画像作成方法の説
明に用いる図である。

【符号の説明】

５１ ＣＰＵ ５２ 周辺デバイスコントローラ ５３ メインメモリ ５４ ＲＯＭ ６０ グラフィックシステム ６１ ジオメトリトランスファエンジン（ＧＴＥ） ６２ グラフィックスプロセッシングユニット ６３ フレームバッファ ６４ 画像デコーダ（ＭＤＥＣ） ６５ ビデオ出力手段（ディスプレイ装置） ７０ サウンドシステム ７１ サウンドプロセッシングユニット（ＳＰＵ） ７２ サウンドバッファ ７３ スピーカ ８０ 光学ディスク制御部 ８１ ディスクドライブ装置 ８２ デコーダ ８３ バッファ ９０ 通信制御部 ９１ 通信制御機 ９２ コントローラ ９３ メモリカード １０１ パラレルＩ／Ｏポート １０２ シリアルＩ／Ｏポート

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０３Ｍ 7/46 9382−5Ｋ Ｈ０４Ｎ 1/41 Ｂ 5/92 Ｈ０４Ｎ 5/92 Ｈ

Claims (6)

【特許請求の範囲】
1. 【請求項１】 所定のマクロブロック単位の空間軸の画
   像情報に対して直交変換を施し、 得られた係数データを量子化し、 当該量子化した係数データをランレングス符号化してビ
   ットストリームを生成することを特徴とする画像情報生
   成方法。
2. 【請求項２】 上記直交変換してランレングス符号化し
   たマクロブロックの最初のラン領域に上記量子化の際の
   量子化ステップ情報を格納することを特徴とする請求項
   １記載の画像情報生成方法。
3. 【請求項３】 所定のマクロブロック単位の空間軸の画
   像情報に対して直交変換を施し、得られた係数データを
   量子化し、当該量子化した係数データがランレングス符
   号化されたビットストリームに対して、ランレングス復
   号化を施し、 得られた係数データに逆量子化を施し、 当該逆量子化した係数データを逆直交変換して、マクロ
   ブロック単位の空間軸の画像情報を生成することを特徴
   とする画像情報処理方法。
4. 【請求項４】 上記ビットストリームのマクロブロック
   の最初のラン領域に格納された量子化ステップ情報を用
   いて上記逆量子化を行うことを特徴とする請求項３記載
   の画像情報処理方法。
5. 【請求項５】 所定のマクロブロック単位の空間軸の画
   像情報に対して直交変換を施し、得られた係数データを
   量子化し、当該量子化した係数データをランレングス符
   号化して生成されたビットストリームを記録してなるこ
   とを特徴とする記録媒体。
6. 【請求項６】 上記直交変換してランレングス符号化し
   たマクロブロックの最初のラン領域に上記量子化の際の
   量子化ステップ情報を格納してなることを特徴とする請
   求項５記載の記録媒体。