JP3380236B2 - 映像音声処理装置 - Google Patents
映像音声処理装置Info
- Publication number
- JP3380236B2 JP3380236B2 JP2001182648A JP2001182648A JP3380236B2 JP 3380236 B2 JP3380236 B2 JP 3380236B2 JP 2001182648 A JP2001182648 A JP 2001182648A JP 2001182648 A JP2001182648 A JP 2001182648A JP 3380236 B2 JP3380236 B2 JP 3380236B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- processing
- unit
- instruction
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、デジタル信号処理
の技術分野に属するものであって、圧縮された映像及び
音声データの伸長、映像及び音声データの圧縮、グラフ
ィックス処理などを行う画像処理装置に関する。 【０００２】 【従来の技術】近年、ディジタル動画データの圧縮／伸
長技術が確立されてきたことや、ＬＳＩ技術が向上して
きたこととがあいまって、圧縮映像及び音声データを伸
長するデコーダ、映像及び音声データを圧縮するエンコ
ーダ、グラフィックス処理を行うグラフィックス処理な
どの種々の映像音声処理装置が重要視されている。 【０００３】第１の従来技術として、ＭＰＥＧ（Moving
Picture Experts Group）規格の圧縮映像及び音声デー
タを伸長する映像音声デコーダ（特開平８−１１１６４
２９）がある。この映像音声デコーダは、１つの信号処
理ユニットを用いて映像デコードと音声デコードの両方
を行う。図１に、この映像音声デコーダによるデコード
処理の説明図を示す。同図の縦軸は時間を、横軸は演算
量を表している。 【０００４】縦軸に沿って大きく見ると、映像デコード
と音声デコードとが交互に処理される。これは、共通の
ハードウェアで映像、音声の両者をデコードするためで
ある。同図のように映像デコードは、逐次処理とブロッ
ク処理とに分けられる。逐次処理は、ブロック以外のデ
コード、つまりＭＰＥＧストリームのヘッダ解析など多
岐にわたる条件判断を必要とする処理であり、その演算
量は少ない。ブロックデコードは、ＭＰＥＧストリーム
の可変長符号を復号しさらにブロック単位に逆量子化、
逆ＤＣＴ（離散余弦変換）を行う処理であり、その演算
量は大きい。同図のように音声デコードも、多岐にわた
る条件判断を必要とする上記と同様の逐次処理と、音声
データ本体のデコード処理とに分けられる。音声データ
本体のデコード処理は、画像データよりも高い精度が要
求され、かつ限られた時間内に処理しなければならない
ので、精度よく高速に処理する必要があり、その演算量
は大きい。 【０００５】このように、第１の従来技術は、１チップ
化を可能にし、１チップという少ないハードウェアで効
率的な音声映像デコードを実現している。第２の従来技
術として、２チップ構成のデコーダがある。１チップは
映像デコーダ、他の１チップは音声デコーダとして用い
られる。図２に２チップ構成のデコーダによるデコード
処理の説明図を示す。映像デコーダ、音声デコーダとも
にヘッダ解析等の条件判断を多数含む逐次処理と、デー
タ本体のデコードを主とするブロックデコード処理とを
行う。映像デコーダ、音声デコーダともに、独立に処理
するので第１の従来技術と比べて個々のチップの能力は
低くてよい。 【０００６】 【発明が解決しようとする課題】しかしながら上記従来
技術によれば、次のような問題があった。第１の従来技
術によれば、信号処理ユニットが映像も音声もデコード
しなねればならないので、高い処理能力が要求される。
つまり１００ＭＨｚ以上の高速クロックを用いて動作さ
せる必要があり、民生用の半導体としてはコストが高い
という問題がある。また、高速クロックを用いずに処理
能力を高めるために、ＶＬＩＷ(Very Long Instruction
Word)プロセッサなどを用いることも考えられなくはな
いが、ＶＬＩＷプロセッサそのもののコストが高いうえ
に、別途逐次処理を行うプロセッサを用いなければ全体
の処理としては非効率になるという問題がある。 【０００７】第２の従来技術によれば、２つのプロセッ
サを用いるのでコストが高いという問題があった。つま
り、映像用プロセッサも音声用プロセッサも、処理能力
の低い汎用の安価なプロセッサをそのまま使用すること
はできない。なぜなら映像用のプロセッサは、大量の画
像データをリアルタイムに処理する能力が要求されるか
らである。また音声用のプロセッサは、映像用プロセッ
サほど多くの演算量を要求されないけれども、音声デー
タの方が画像データよりも高い精度を要求されるからで
ある。それゆえ、安価なあるいは処理能力の低いプロセ
ッサでは、映像用としても音声用としても、要求される
処理能力を満たさない。 【０００８】さらに、ディジタル（衛星）放送用チュー
ナー（ＳＴＢ（Set Top Box）と呼ばれる）やＤＶＤ（D
igital Versatile/Video Disc）再生装置などに用いら
れるＡＶデコーダ中に上記映像音声処理装置が用いられ
る場合には、放送波から受信されたあるいはディスクか
ら読み出されたＭＰＥＧストリームを入力し、そのＭＰ
ＥＧストリームをデコードし、最終的にディスプレイ、
スピーカなどへ映像信号出力及び音声信号出力をするま
でに必要とされる一連の処理量は膨大なものとなる。最
近では、このような一連の膨大な処理を効率良く実行す
る映像音声処理装置に対する要求が高まっている。 【０００９】本発明は、圧縮画像及び圧縮音声データを
表すストリームデータの入力、デコード、出力という一
連の処理を行い、高い周波数で動作させなくても高い処
理能力を有し、製造コストを低減させることができる映
像音声処理装置を提供することを目的とする。また本発
明の他の目的は、圧縮映像データのデコード、映像デー
タのエンコード、グラフィックス処理を低コストで実現
する映像音声処理装置を提供することにある。 【００１０】 【課題を解決するための手段】上記の課題を解決するた
め本発明の映像音声処理装置は、圧縮音声データと圧縮
映像データとを含むデータストリームを外部から入力、
デコードし、デコードしたデータを出力装置に出力する
装置であって、外部要因により非同期に発生する入出力
処理を行う入出力処理手段と、前記入出力処理と並行し
て、メモリに格納されたデータストリームのデコードを
主とするデコード処理を行うデコード処理手段とを備
え、前記デコード処理手段によりデコードされた映像デ
ータ、デコードされた音声データはメモリに格納され、
前記入出力処理は、外部から非同期に入力される前記デ
ータストリームを入力し、さらにメモリに格納すること
と、メモリに格納されたデータストリームをデコード処
理手段に供給することと、外部の表示装置、音声出力装
置それぞれの出力レートに合わせてメモリから読み出
し、それらに出力することとを入出力処理として行うよ
うに構成されている。 【００１１】この構成によれば、入出力処理手段とデコ
ード処理手段とがパイプライン的に並列動作することに
加えて、非同期処理とデコード処理とを入出力処理手段
とデコード処理手段とに分担させるので、デコード処理
手段は非同期に発生する処理から解放されてデコード処
理に専従することができる。その結果、本映像音声処理
装置は、ストリームデータ入力、デコード、出力という
一連の処理を効率良く実行するので、ストリームデータ
のフルデコード（フレーム落ちなし）を高速な動作クロ
ックを用いなくても可能にしている。 【００１２】 【発明の実施の形態】本発明の映像音声処理装置につい
て、その実施の形態を次のように項分けして記載する。 1 第１の実施形態 1.1 映像音声処理装置の概略構成 1.1.1 入出力処理部 1.1.2 デコード処理部 1.1.2.1 逐次処理部 1.1.2.2 定型処理部 1.2 映像音声処理装置の構成 1.2.1 入出力処理部の構成 1.2.2 デコード処理部 1.2.2.1 逐次処理部 1.2.2.2 定型処理部 1.3 各部の詳細構成 1.3.1 プロセッサ７（逐次処理部） 1.3.2 定型処理部 1.3.2.1 コード変換部 1.3.2.2 画素演算部 1.3.2.3 画素読み書き部 1.3.3 入出力処理部 1.3.3.1 ＩＯプロセッサ 1.3.3.1.1 命令読出回路 1.3.3.1.2 タスク管理部 1.4 動作説明 2 第２の実施形態 2.1 映像音声処理装置の構成 2.1.1 画素演算部 ＜1. 第１の実施形態＞本実施形態における映像音声処
理装置は、衛星放送受信装置（ＳＴＢ:Set TopBoxと呼
ばれる）、ＤＶＤ(Digital Versatile Disc)再生装置、
ＤＶＤ−ＲＡＭ記録再生装置などに備えられ、圧縮映像
／音声データとして衛星放送から又はＤＶＤからのＭＰ
ＥＧストリームを入力し、伸長処理（以下単にデコード
と呼ぶ）を行って、映像信号及び音声信号を外部の出力
装置に出力する。 ＜1.1 映像音声処理装置の概略構成＞図３は、本発明
の第１の実施形態における映像音声処理装置の概略構成
を示すブロック図である。 【００１３】映像音声処理装置１０００は、入出力処理
部１００１、デコード処理部１００２、メモリコントロ
ーラ６を備え、入出力処理とデコード処理とを分離して
並行して行うように構成されている。また、外部メモリ
３は、ＭＰＥＧストリームやデコード後の音声データを
一時的に記憶する作業用メモリ、デコード後の映像デー
タを記憶するフレームメモリとして利用される。 ＜1.1.1 入出力処理部＞入出力処理部１００１は、映
像音声処理装置１０００の内部動作とは非同期に発生す
る入出力処理を行う。この入出力処理は、（ａ）外部か
ら非同期に入力されるＭＰＥＧストリームを入力して外
部メモリ３に一時的に格納すること、（ｂ）外部メモリ
３に格納されたＭＰＥＧストリームをデコード処理部１
００２に供給すること、（ｃ）デコードされた映像デー
タ、音声データを外部メモリ３から読み出し、外部の表
示装置、音声出力装置（図外）それぞれの出力レートに
合わせて出力することを内容とする。 ＜1.1.2 デコード処理部＞デコード処理部１００２
は、入出力処理部１００１の動作とは独立に並行して、
入出力処理部１００１によって供給されるＭＰＥＧスト
リームのデコードし、デコード後の映像データ及び音声
データを外部メモリ３に格納する。ＭＰＥＧストリーム
のデコード処理は演算量が多く処理内容も多岐にわたる
ため、デコード処理部１００２は、逐次処理部１００
３、定型処理部１００４とを備え、多岐に亘る条件判断
を主とする逐次処理と、定型的な大量の演算を主としか
つ並列演算に適した定型処理とを分離して並行して実行
するように構成されている。ここで、逐次処理は、ＭＰ
ＥＧストリームのヘッダ解析などであり、ヘッダの検出
及びヘッダ内容の判定等の多数の条件判断含む。また定
型処理は、所定数の画素からなるブロック単位に各種演
算を施す必要があるので、パイプライン的な並列処理に
適していて、かつ、異なるデータ（画素）に対して全く
同じ演算を施すというベクトル演算のような並列処理に
適している。 ＜1.1.2.1 逐次処理部＞逐次処理部１００３は、入出
力処理部１００１から供給される圧縮音声データ及び圧
縮映像データのヘッダ解析と、定型処理部１００４をマ
クロブロック毎に起動する制御と、圧縮音声データのデ
コード処理とを上記逐次処理として行う。ヘッダ解析
は、ＭＰＥＧストリームにおけるマクロブロックヘッダ
の解析と、動きベクトルの復号を含む。ここでブロック
とは、８＊８画素からなる画像を表す。マクロブロック
とは、４つの輝度ブロックと２つの色差ブロックからな
る。動きベクトルとは、参照フレーム中の８＊８画素の
矩形領域を指すベクトルであり、当該ブロックが参照フ
レーム中のどの矩形領域との差分がとられたかを指し示
す。 ＜1.1.2.2 定型処理部＞定型処理部１００４は、逐次
処理部１００３からマクロブロック毎にデコードの起動
指示を受けて逐次処理部１００３の音声デコード処理と
並行して、マクロブロックのデコード処理を上記定型処
理として行う。このデコード処理は、可変長符号の復号
（ＶＬＤ:Variable Length code Decoding）、逆量子化
（ＩＱ：Inverse Quantization）、逆離散余弦変換（Ｉ
ＤＣＴ:Inverse Discrete Cosine Transform）、動き補
償（ＭＣ:Motion Compensation）を同順に施すことを内
容とする。定型処理部１００４は、動き補償において、
復号後のブロックをフレームメモリとしての外部メモリ
３にメモリコントローラ６を介して格納する。 ＜1.2 映像音声処理装置の構成＞図４は、映像音声処
理装置１０００のより詳細な構成を示すブロック図であ
る。 ＜1.2.1 入出力処理部の構成＞同図において入出力処
理部１００１は、ストリーム入力部１、バッファメモリ
２、入出力プロセッサ５（以下ＩＯプロセッサ５と略
す）、ＤＭＡＣ（Direct Memory Access Controller）
５ａ、ビデオ出力部１２、音声出力部１３、ホストI/F
部１４とを備える。 【００１４】ストリーム入力部１は、外部からシリアル
に入力されるＭＰＥＧデータストリームをパラレルデー
タ（以降、ＭＰＥＧデータと呼ぶ）に変換する。その
際、ストリーム入力部１は、ＭＰＥＧデータストリーム
からＧＯＰ(Group Of Picture:Ｉピクチャを１つ含み、
約０．５秒分の動画に相当するＭＰＥＧデータストリー
ム）のスタートコードを検出し、その旨をＩＯプロセッ
サ５に通知する。この通知により変換後のＭＰＥＧデー
タは、ＩＯプロセッサ５の制御によりバッファメモリ２
に転送される。 【００１５】バッファメモリ２は、ストリーム入力部１
から転送されたＭＰＥＧデータを一時的に保持する緩衝
用メモリである。バッファメモリ２に保持されたＭＰＥ
Ｇデータは、さらに入出力プロセッサ５の制御の下でメ
モリコントローラ６を介して外部メモリ３に転送され
る。外部メモリ３は、ＳＤＲＡＭ（Synchronous Dynami
c Random Access Memory）チップにより構成され、バッ
ファメモリ２からメモリコントローラ６を介して転送さ
れたＭＰＥＧデータを一時的に保持する。さらに、外部
メモリ３は復号後の映像データ（以降、フレームデータ
とも呼ぶ）および復号後の音声データも保持する。 【００１６】入出力プロセッサ５は、ストリーム入力部
１、バッファメモリ２、外部メモリ３（メモリコントロ
ーラ６が介在する）、ＦＩＦＯメモリ４の間のデータ入
出力を制御する。すなわち以下の(1)〜(4)に示す経路の
データ転送（ＤＭＡ転送）を制御する。 (1)ストリーム入力部１→バッファメモリ２→メモリコントローラ
６→外部メモリ３ (2)外部メモリ３→メモリコントローラ６→ＦＩＦＯメモリ４ (3)外部メモリ３→メモリコントローラ６→バッファメモリ２→ビ
デオ出力部１２ (4)外部メモリ３→メモリコントローラ６→バッファメモリ２→音
声出力部１３ これらの径路では入出力プロセッサ５は、ＭＰＥＧデー
タ中の映像データと音声データとを独立にそれぞれの転
送を制御する。また、(1)、(2)は復号前のＭＰＥＧデー
タの転送経路である。(1)、(2)の転送経路において入出
力プロセッサ５は、圧縮映像データと圧縮音声データと
を別個に転送する。(3)、(4)はそれぞれ、復号後の映
像、音声データの転送経路である。復号後の映像、音声
データは、外部の表示装置（図外）、音声出力装置（図
外）それぞれの出力レートに合わせて転送される。 【００１７】ＤＭＡＣ５ａは、ストリーム入力部１、ビ
デオ出力部１２、音声出力部１３とバッファメモリ２と
の間のＤＭＡ転送、バッファメモリ２と外部メモリ３と
の間のＤＭＡ転送、外部メモリ３とＦＩＦＯメモリ４の
間のＤＭＡ転送をＩＯプロセッサ５の制御に従って実行
する。ビデオ出力部１２は、外部の表示装置（ＣＲＴ
等）の出力レート（たとえば水平同期信号Ｈsyncの周
期）に合せて入出力プロセッサ５にデータ要求を出し、
入出力プロセッサ５により上記(3)の転送経路により入
力される映像データをその表示装置に出力する。 【００１８】音声出力部１３は、外部の音声出力装置の
出力レートに合せて入出力プロセッサ５にデータ要求を
出し、入出力プロセッサ５により上記(4)の転送経路に
より入力される音声データを音声出力装置（Ｄ／Ａコン
バータ、音声アンプ、スピーカの組み合わせ等）に出力
する。ホストI/F部１４は、外部のホストプロセッサ、
たとえばＤＶＤ再生装置の場合にはその制御全般を行う
プロセッサとの通信を行うためのインターフェースであ
る。この通信では、ホストプロセッサからＭＰＥＧスト
リームのデコード開始、停止、早送り再生、逆再生等の
指示などが送られる。 ＜1.2.2 デコード処理部＞図４のデコード処理部１０
０２は、ＦＩＦＯメモリ４、逐次処理部１００３、定型
処理部１００４と備え、入出力処理部１００１からＦＩ
ＦＯメモリ４を介して供給されるＭＰＥＧデータのデコ
ード処理を行う。また、逐次処理部１００３は、プロセ
ッサ７と内部メモリ８とを備える。定型処理部１００４
は、コード変換部９、画素演算部１０、画素読み書き部
１１、バッファ２００、バッファ２０１を備える。 【００１９】ＦＩＦＯメモリ４は、２つのＦＩＦＯ（以
下映像ＦＩＦＯ、音声ＦＩＦＯと呼ぶ）からなり、入出
力プロセッサ５の制御の下で外部メモリ３から転送され
た圧縮映像データ、圧縮音声データをそれぞれ先入れ先
出し式に記憶する。 ＜1.2.2.1 逐次処理部＞プロセッサ７は、ＦＩＦＯメ
モリ４の圧縮映像データ及び圧縮音声データの読み出し
を制御するとともに、圧縮映像データに対する一部のデ
コード処理と、圧縮音声データに対する全デコード処理
とを行う。圧縮映像データの一部のデコード処理とは、
ＭＰＥＧデータ中のヘッダ情報の解析と動きベクトルの
計算と圧縮映像デコード処理の制御とを含む。これは、
圧縮映像データの全デコード処理を、プロセッサ７と、
定型処理部１００４とで分担して行うためである。つま
りプロセッサ７は多岐にわたる条件判断を必要とする逐
次処理を分担し、定型処理部１００４は、大量の定型的
な演算処理を分担する。これに対し音声デコードは、映
像デコードに比べて演算量が少ないのでプロセッサ７が
全部を担当している。 【００２０】プロセッサ７の機能を図５を用いて具体的
に説明する。図５はＭＰＥＧストリームを階層的に示と
ともに映像音声処理装置各部の動作タイミングを示して
いる。同図において横軸は時間軸である。第１階層はＭ
ＰＥＧストリームの流れを示す。第２階層のように１秒
間のＭＰＥＧストリームは、複数のフレーム（Ｉ、Ｐ、
Ｂピクチャ）を含む。第３階層のように１フレームは、
ピクチャヘッダと複数のスライスを含む。第４階層のよ
うに１スライスは、スライスヘッダと複数のマクロブロ
ックを含む。第５階層のように１マクロブロックは、マ
クロブロックヘッダと６つのブロックを含む。 【００２１】同図に示す第１〜第５階層のデータ構成
は、公知文献、例えば株式会社アスキー「ポイント図解
式最新ＭＰＥＧ教科書」に詳しく説明されている。プロ
セッサ７は、同図の第５階層以下に示すように、ＭＰＥ
Ｇストリーム中のマクロブロック層までのヘッダ解析と
圧縮音声データの復号とを行う。その際、プロセッサ７
は、マクロブロック単位のヘッダ解析結果に従って、コ
ード変換部９、画素演算部１０及び画素読み書き部１１
に対してマクロブロックのデコードを開始を指示し、コ
ード変換部９、画素演算部１０及び画素読み書き部１１
によってマクロブロックのデコードがなされている間、
ＦＩＦＯメモリ４から圧縮音声データの読み出してデコ
ードする。コード変換部９、画素演算部１０及び画素読
み書き部１１によりマクロブロックのデコードが終了し
たと、プロセッサ７は、割込み信号によりその旨の通知
を受け、圧縮音声データのデコードを中断して、次のマ
クロブロックのヘッダ解析を開始する。 【００２２】内部メモリ８は、プロセッサ７のワークメ
モリであり、復号された音声データを一時的に保持す
る。保持された音声データは、入出力プロセッサ５によ
り上記(4)の経路で外部メモリ３に転送される。 ＜1.2.2.2 定型処理部＞コード変換部９は、ＦＩＦＯ
メモリ４から読み出された圧縮映像データを可変長復号
（ＶＬＤ）する。図５に示すように、コード変換部９
は、復号後のデータのうち、ヘッダ情報及び動きベクト
ルに関する情報（図中の破線区間）をプロセッサ７に転
送し、マクロブロック（輝度ブロックＹ０〜Ｙ３と色差
ブロックＣｂ、Ｃｒとからなる６ブロック）のデータ
（図中の実線区間）をバッファ２００を介して画素演算
部１０に転送する。コード変換部９による復号後のマク
ロブロックのデータは空間周波数成分を表すデータであ
る。 【００２３】バッファ２００は、コード変換部９により
書き込まれる１ブロック（８×８画素分）分の空間周波
数成分を表すデータを保持する。画素演算部１０は、コ
ード変換部９からバッファ２００を介して転送されたブ
ロックデータに対して、逆量子化処理（ＩＱ）及び逆離
散余弦変換（ＩＤＣＴ）をブロック単位に行う。画素演
算部１０による処理結果は、輝度ブロックであれば画素
の輝度値又はその差分を表すデータであり、色差ブロッ
クであれば画素の色差又はその差分を表すデータであ
り、バッファ２０１を介して画素読み書き部１１に転送
される。 【００２４】バッファ２０１は、１ブロック（８×８画
素分）分の画素データを保持する。画素読み書き部１１
は、画素演算部１０の処理結果に対して、ブロック単位
に動き補償を行う。すなわち、Ｐピクチャ、Ｂピクチャ
については、外部メモリ３内の復号済みの参照フレーム
から動きベクトルが示す矩形領域をメモリコントローラ
６を介して切り出して、画素演算部１０の処理結果のブ
ロックと合成することにより、元のブロック画像に復号
する。画素読み書き部１１による復号結果は、メモリコ
ントローラ６を介して外部メモリ３に格納される。 【００２５】上記の動き補償、ＩＱ、ＩＤＣＴの各内容
については公知技術なので詳しい説明は省略する（上記
文献参照）。 ＜1.3 各部の詳細構成＞次に、映像音声処理装置１０
００の主要な各部の詳細な構成について説明する。 ＜1.3.1 プロセッサ７（逐次処理部）＞図６は、プロ
セッサ７によるマクロブロックヘッダの解析と、他の各
部への制御内容とを示す図である。まず同図に略語で示
してあるマクロブロックヘッダ中の各データは上記文献
等に説明されているのでここでは説明を省略する。 【００２６】同図のようにプロセッサ７は、コード変換
部９にコマンドを発行して可変長復号されたヘッダ部分
のデータを逐次取得し、その内容に従ってコード変換部
９、画素演算部１０、画素読み書き部１１に対してマク
ロブロックのデコードに必要なデータを設定する。具体
的には、まずプロセッサ７は、コード変換部９にＭＢＡ
Ｉ（Macro BlockAddress Increment）を取得するための
コマンドを発行して（Ｓ１０１）、コード変換部９から
ＭＢＡＩを取得する。このＭＢＡＩに基づき当該マクロ
ブロックデータがスキップマクロブロックであれば（今
デコードしようとしているマクロブロックが前回と同じ
であれば）、マクロブロックデータが省略されているの
でＳ１１７に進み、スキップマクロブロックでなければ
ヘッダ解析を続ける（Ｓ１０２、１０３）。 【００２７】次いで、プロセッサ７はＭＢＴ（Macro Bl
ock Type）を取得するためのコマンドを発行して、コー
ド変換部９からＭＢＴを取得する。このＭＢＴからブロ
ックのスキャンタイプがジグザグスキャンかオールタネ
ートスキャンかを判断し、画素演算部１０にバッファ２
００の読み出し順序を指示する（Ｓ１０４）。さらに、
プロセッサ７は既に取得したヘッダデータからＳＴＷＣ
（Spartial Temporal Weight Code）が存在するか否か
を判定し（Ｓ１０５）、存在する場合にはコマンドを発
行して取得する（Ｓ１０６）。 【００２８】同様にしてプロセッサ７は、ＦｒＭＴ（Fr
ame Motion Type）、ＦｉＭＴ（Field Motion Type）、
ＤＴ（DCT type）、ＱＳＣ（Quantizer Scale Code）、
ＭＶ（Motion Vector）、ＣＢＰ（Coded Block Patter
n）を取得する（Ｓ１０７〜１１６）。その際、プロセ
ッサ７は、ＦｒＭＴ、ＦｉＭＴ、ＤＴの解析結果を画素
読み書き部１１に通知し、ＱＳＣの解析結果を画素演算
部１０に通知し、ＣＢＰの解析結果をコード変換部９に
通知する。これによりＩＱ、ＩＤＣＴ、動き補償に必要
が情報が、コード変換部９、画素演算部１０、画素読み
書き部１１に設定される。 【００２９】また２プロセッサ構成では、多岐にわたる
条件判断を必要とする上記の逐次処理を各プロセッサが
個別に行うため冗長な構成になっていた。次いで、プロ
セッサ７はコード変換部９に対してマクロブロックのデ
コード開始指示を発行する（Ｓ１１７）。これによりコ
ード変換部９は、マクロブロック内の各ブロックについ
てＶＬＤを開始し、ＶＬＤの結果をバッファ２００を介
して画素演算部１０に出力する。さらにプロセッサ７
は、ＭＶデータに基づいて動きベクトルを計算し（Ｓ１
１８）、その計算結果を画素読み書き部１１に通知する
（Ｓ１１９）。 【００３０】上記処理において、動きベクトルに関して
は、動きベクトルのデータ（ＭＶ）取得（Ｓ１１３）
し、動きベクトルの計算（Ｓ１１８）し、動きベクトル
を画素読み書き部１１に設定する（Ｓ１１９）という一
連の処理が必要である。この点、プロセッサ７は、動き
ベクトルデータ（ＭＶ）を取得（Ｓ１１３）した直後に
動きベクトルの計算及び設定（Ｓ１１８、１１９）しな
いで、定型処理部１００４へのデコード開始指示を発行
してから動きベクトルを計算及び設定を行うようにして
いる。これにより、プロセッサ７の動きベクトル計算お
よび設定処理と、定型処理部１００４へのデコード処理
とが並列に処理されるようになる。つまり定型処理部１
００４のデコード開始タイミングを早くしている。 【００３１】以上のようにしてマクロブロック１つ分の
圧縮映像データのヘッダ解析が完了するので、プロセッ
サ７は、ＦＩＦＯメモリ４から圧縮音声データを取得し
て、音声デコード処理を開始する（Ｓ１２０）。音声デ
コード処理は、コード変換部９からマクロブロックのデ
コード完了を示す割り込み信号が入力されるまで続けら
れる。この割り込み信号によりプロセッサ７は次のマク
ロブロックに対して上記ヘッダ解析を開始する。 ＜1.3.2 定型処理部＞次に、定型処理部１００４は、
マクロブロック内の６つのブロックをコード変換部９、
画素演算部１０、画素読み書き部１１を並列に（パイプ
ライン的に）に動作させることによりデコード処理を行
っている。ここでは、画素演算部１０、画素読み書き部
１１、コード変換部９の順にそれらの構成をより詳細に
説明する。 ＜1.3.2.1 コード変換部９＞図１９は、コード変換部
９の構成を示すブロック図である。 【００３２】同図のコード変換部９は、ＶＬＤ部９０
１、カウンタ９０２、インクリメンタ９０３、セレクタ
９０４、スキャンテーブル９０５、スキャンテーブル９
０６、フリップフロップ（以下ＦＦと略す）９０７、セ
レクタ９０８とを備え、可変長復号（ＶＬＤ）した結果
をブロック単位に、ジグザグスキャン又はオルタネート
スキャンの順に配列するようにバッファ２００に書き込
むよう構成されている。 【００３３】ＶＬＤ部９０１は、ＦＩＦＯメモリ４から
読み出された圧縮映像データを可変長復号（ＶＬＤ）
し、復号後のデータのうち、ヘッダ情報及び動きベクト
ルに関する情報（図５中の破線区間）をプロセッサ７に
転送し、マクロブロック（輝度ブロックＹ０〜Ｙ３と色
差ブロックＣｂ、Ｃｒとからなる６ブロック）のデータ
（図５中の実線区間）をブロック（６４個の空間周波数
データ）単位にバッファ２００に出力する。 【００３４】カウンタ９０２、インクリメンタ９０３、
セレクタ９０４からなる回路部分は、ＶＬＤ部９０１か
らの空間周波数データの出力に同期して、０から６３ま
でを繰り返しカウントする。スキャンテーブル９０５
は、バッファ２００のブロック記憶領域のアドレスをジ
グザグスキャンの順に記憶しているテーブルであり、カ
ウンタ９０２の出力値（０〜６３）が順に入力され、順
次そのアドレスを出力する。図２０にバッファ２００中
の８×８個の空間周波数データを記憶するブロック記憶
領域と、ジグザグスキャンの順路を示す。スキャンテー
ブル９０５は、同図の順路における画素アドレスを順次
出力する。 【００３５】スキャンテーブル９０６は、バッファ２０
０のブロック記憶領域のアドレスをオルタネートスキャ
ンの順に記憶しているテーブルであり、カウンタ９０２
の出力値（０〜６３）が順に入力され、順次そのアドレ
スを出力する。図２１にバッファ２００中の８×８個の
空間周波数データを記憶するブロック記憶領域と、オル
タネートスキャンの順路を示す。スキャンテーブル９０
５は、同図の順路における画素アドレスを順次出力す
る。 【００３６】ＦＦ９０７は、スキャンタイプ（ジグザグ
スキャンかオルタネートスキャンか）を示すフラグを保
持する。このフラグは、プロセッサ７により設定され
る。セレクタ９０８は、ＦＦ９０７のフラグに応じてス
キャンテーブル９０５とスキャンテーブル９０６とから
出力されるアドレスを選択し、バッファ２００に書き込
みアドレスとして出力する。 ＜1.3.2.2 画素演算部＞図７は、画素演算部１０の構
成を示すブロック図である。 【００３７】同図のように画素演算部１０は、乗算器５
０２と加減算器５０３からなる実行部５０１と、第１プ
ログラムカウンタ（以降、第１ＰＣと略す）５０４と、
第２プログラムカウンタ（以降、第２ＰＣと略す）５０
５と、第１命令メモリ５０６と、第２命令メモリ５０７
と、セレクタ５０８とを有し、ＩＱとＩＤＣＴの一部と
をオーバラップさせて並列に実行できるように構成され
ている。。 【００３８】実行部５０１は、第１命令メモリ５０６、
第２命令メモリ５０７から順次出力されるマイクロ命令
に従って、バッファ２００、２０１のアクセス及び演算
を実行する。第１命令メモリ５０６、第２命令メモリ５
０７は、バッファ２００に保持されたブロック（周波数
成分）に対して、ＩＱ、ＩＤＣＴを実現するためのマイ
クロプログラムを記憶する制御記憶である。図８に、第
１命令メモリ５０６及び第２命令メモリ５０７に記憶さ
れたマイクロプログラムの一例を示す。 【００３９】同図において、第１命令メモリ５０６はＩ
ＤＣＴ１Ａマイクロプログラムと、ＩＱマイクロプログ
ラムとを記憶し、第１ＰＣ５０４によって読み出しアド
レスが指定される。ＩＱマイクロプグラムは、バッファ
２００の読み出しと、乗算とを主体とする演算処理であ
り、加減算器５０３を用いない。第２命令メモリ５０７
はＩＤＣＴ１Ｂマイクロプログラムと、ＩＤＣＴ２マイ
クロプログラムとを記憶し、セレクタ５０８を介して第
１ＰＣ５０４又は第２ＰＣ５０５により読出アドレスが
指定される。ここで、ＩＤＣＴ１は、乗算及び加減算を
主とするＩＤＣＴの前半部分の処理を意味し、ＩＤＣＴ
１ＡマイクロプログラムとＩＤＣＴ１Ｂマイクロプログ
ラムとが同時に読み出されることにより実行部５０１全
体を使って実行される。また、ＩＤＣＴ２は、加減算を
主とするＩＤＣＴの後半部分の処理とバッファ２０１へ
の書き出し処理を意味し、第２命令メモリ５０７のＩＤ
ＣＴ２マイクロプログラムが読み出されることによって
加減算器５０３を使って実行される。 【００４０】ＩＱは乗算器５０２により、ＩＤＣＴ２は
加減算器５０３により処理されるので、これらは並列動
作可能になっている。図９に、画素演算部１０によるＩ
Ｑ、ＩＤＣＴ１、ＩＤＣＴ２の動作タイミング図を示
す。図９において、コード変換部９はバッファ２００に
輝度ブロックＹ０のデータを書き込むと（タイミングｔ
０）、その旨を制御信号１０２にて画素演算部１０に通
知する。画素演算部１０は、プロセッサ７のヘッダ解析
時に設定されたＱＳ（Quantizer Scale）値を用いて、
第１ＰＣ５０４のアドレス指定に従って第１命令メモリ
５０６のＩＱマイクロプログラムを読み出すことによっ
てバッファ２００のデータに対してＩＱを行う。このと
き、セレクタ５０８は第１ＰＣ５０４を選択する（タイ
ミングｔ１）。 【００４１】さらに、画素演算部１０は、第１ＰＣ５０
４のアドレス指定に従ってＩＤＣＴ１Ａ及びＩＤＣＴ１
Ｂマイクロプログラムを読み出すことによってバッファ
２００のデータに対してＩＤＣＴ１を行う。このとき、
セレクタ５０８は第１ＰＣ５０４を選択するので、第１
命令メモリ５０６、第２命令メモリ５０７の双方に第１
ＰＣ５０４からのアドレスが指定される（タイミングｔ
２）。 【００４２】次に、画素演算部１０は、上記ＱＳ（Quan
tizer Scale）値を用いて、第１ＰＣ５０４のアドレス
指定に従って第１命令メモリ５０６のＩＱマイクロプロ
グラムを読み出すことによってバッファ２００のブロッ
クＹ１のデータに対してＩＱを行い、同時に、第２ＰＣ
５０５のアドレス指定に従って第２命令メモリ５０７の
ＩＤＣＴ２マイクロプログラムを読み出すことによって
ブロックＹ０に対してＩＤＣＴ処理の後半部分を処理す
る。このときセレクタ５０８は第２ＰＣ５０５を選択す
る。第１ＰＣ５０４と第２ＰＣ５０５とは独立にアドレ
スを指定することになる（タイミングｔ３）。 【００４３】この後も同様に画素演算部１０はブロック
単位に処理を続ける（タイミングｔ４以降）。 ＜1.3.2.3 画素読み書き部＞図１０は、画素読み書き
部１１の詳細な構成を示すブロック図である。同図のよ
うに画素読み書き部１１は、バッファ７１〜７４（以
下、バッファＡ〜Ｄと呼ぶ）と、ハーフぺル補間部７５
と、合成部７６と、セレクタ７７、７８と、読み書き制
御部７９とからなる。 【００４４】読み書き制御部７９は、バッファ２０１を
介して入力されるブロックデータに対して、バッファＡ
〜Ｄを用いて動き補償を行い、最終的な復号画像を２ブ
ロック単位で外部メモリ３に転送する。より具体的に
は、プロセッサ７のヘッダ解析時に設定された動きベク
トルに従って、外部メモリ３中の参照フレームから２ブ
ロック分に相当する矩形領域を読み出すようメモリコン
トローラ６を制御する。その結果、バッファＡ又はバッ
ファＢに動きベクトルが指し示す２ブロック分の矩形領
域のデータが格納される。その後、ピクチャの種類（Ｉ
かＰかＢピクチャか）に応じて２ブロック分の矩形領域
のハーフペル補間を合成部７６にて行う。さらにバッフ
ァ２０１を介して入力されるブロックデータと、ハーフ
ペル補間後の矩形領域とを合成（加算）することによ
り、当該ブロックの画素値を算出し、バッファＢに格納
する。こうしてバッファＢに格納された最終的な復号ブ
ロックはメモリコントローラ６を介して外部メモリ３に
転送される。 ＜1.3.3 入出力処理部＞入出力処理部１００１は、上
記のように多数のデータ入出力（データ転送）を実行す
るために、種々のデータ転送を分担する複数のタスクを
オーバーヘッドなく切り替え、しかもデータ入出力要求
に対して応答遅延を生じさせないように構成されてい
る。ここでいうオーバーヘッドは、タスクスイッチ時に
発生するコンテキストの退避及び復帰である。つまり入
出力プロセッサ５は、プログラムカウンタの命令アドレ
スやレジスタデータをメモリ（スタック領域）に退避及
び復帰することにより生ずるオーバーヘッドを解消する
ように構成されている。ここでは、その詳細な構成につ
いて説明する。 ＜1.3.3.1 ＩＯプロセッサ＞図１１は、ＩＯプロセッ
サ５の構成を示すブロック図である。同図において、Ｉ
Ｏプロセッサ５は、状態監視レジスタ５１、命令メモリ
５２、命令読出回路５３、命令レジスタ５４、デコーダ
５５、演算実行部５６、汎用レジスタセット群５７、タ
スク管理部５８を備え、非同期に発生する複数のイベン
トに対応するために、極めて短い周期（例えば４命令サ
イクル）毎にタスクを切り替えながら実行するよう構成
されている。 【００４５】状態監視レジスタ５１は、レジスタＣＲ１
〜ＣＲ３からなり、ＩＯプロセッサ５が種々の入出力状
態を監視するための種々の状態データ（フラグなど）を
保持する。例えば、状態監視レジスタ５１は、ストリー
ム入力部１の状態（ＭＰＥＧストリームにおけるスター
トコード検出フラグ）、ビデオ出力部１２の状態（水平
ブランキング期間を示すフラグ、フレームデータの転送
完了フラグ）、音声出力部１３の状態（音声フレームデ
ータの転送完了フラグ）や、それらとバッファメモリ
２、外部メモリ３及びＦＩＦＯメモリ４との間でのデー
タ転送の状態（データ転送数、ＦＩＦＯメモリ４へのデ
ータ要求フラグ）などを示す状態データを保持する。 【００４６】より具体的には、以下のフラグ等を含む。 ・スタートコード検出フラグ（以下フラグ１とも呼ぶ） このフラグは、ストリーム入力部１によってＭＰＥＧス
トリームにおけるスタートコードが検出されたとき設定
される。 ・水平ブランキングフラグ（フラグ２） このフラグは、水平ブランキング期間を示すフラグであ
り、ビデオ出力部１２により設定される。約６０マイク
ロ秒周期で設定される。 ・映像フレームデータの転送完了フラグ（フラグ３） このフラグは、外部メモリ３からビデオ出力部１２へ１
フレーム分の復号された画像データが転送されたときＤ
ＭＡＣ５ａによって設定される。 ・音声フレームデータの転送完了フラグ（フラグ４） このフラグは、外部メモリ３から音声出力部１３へ１フ
レーム分の復号された音声データが転送されたときＤＭ
ＡＣ５ａによって設定される。 ・データ転送完了フラグ（フラグ５） このフラグは、ストリーム入力部１からバッファメモリ
２へＩＯプロセッサ５により指定されたデータ数の圧縮
画像データがＤＭＡＣ５ａによりＤＭＡ転送されたとき
（ターミナルカウントになったとき）に設定される。 ・ＤＭＡ要求フラグ（フラグ６） このフラグは、バッファメモリ２の圧縮画像データ又は
圧縮音声データを外部メモリ３へＤＭＡ転送すべきデー
タがあることを示すフラグであり、ＩＯプロセッサ５に
より設定される（後述するタスク１からタスク２への要
求）。 ・映像ＦＩＦＯへのデータ要求フラグ（フラグ７） このフラグは、外部メモリ３からＦＩＦＯメモリ４中の
映像ＦＩＦＯへのデータ転送を要求するフラグであり、
映像ＦＩＦＯの圧縮映像データが所定量以下になったと
き設定される。このフラグは、約５〜４０マイクロ秒周
期で設定される。 ・音声ＦＩＦＯへのデータ要求フラグ（フラグ８） このフラグは、外部メモリ３からＦＩＦＯメモリ４中の
音声ＦＩＦＯへのデータ転送を要求するフラグであり、
音声ＦＩＦＯの圧縮音声データが所定量以下になったと
きに設定される。このフラグは、約１５〜６０マイクロ
秒周期で設定される。 ・デコーダ通信要求フラグ（フラグ９） このフラグは、デコード処理部１００２から入出力処理
部１００１へ通信を要求するフラグである。 ・ホスト通信要求フラグ（フラグ１０） このフラグは、ホストプロセッサから入出力処理部１０
０１へ通信を要求するフラグである。 【００４７】上記のフラグ類は、ＩＯプロセッサ５によ
り実行される各タスクにより、割り込みではなく、定常
的に監視される。命令メモリ５２は、多数のデータ入出
力（データ転送）制御を分担する複数のタスクプログラ
ムを記憶する。本実施例では、タスク０〜５の６つのタ
スクプログラムを記憶する。 ・タスク０（ホストI/Fタスク） 本タスクは、上記フラグ１０が設定されたとき、ホスト
コンピュ−タとの通信、つまりホストI/F部１４を介し
たホストコンピュ−タとの通信処理を行うためのタスク
である。例えば、ホストプロセッサからのＭＰＥＧスト
リームのデコード開始、停止、早送り再生、逆再生等の
受け付けと、デコード状況（エラー等）の通知などが行
われる。この処理は、上記フラグ１０をトリガーとす
る。 ・タスク１（パージングタスク） 本タスクは、ストリーム入力部１によりスタートコード
が検出されたとき（上記フラグ１）、ストリーム入力部
１から入力されるＭＰＥＧデータを解析（パージング）
して、個々のエレメンタリストリームを抽出して、抽出
されたエレメンタリストリームを、ＤＭＡ転送(上記転
送経路(1)の前半部分)によりバッファメモリ２に転送す
るプログラムである。ここで抽出されるエレメンタリス
トリームの種類は、圧縮映像データ（ビデオエレメンタ
リーストリームとも呼ぶ）、圧縮音声データ（オーディ
オエレメンタリーストリームとも呼ぶ）、プライベート
データなどがある。エレメンタリストリームをバッファ
メモリ２に格納したときに、上記フラグ６が設定され
る。 ・タスク２（ストリーム転送／オーディオタスク） 本タスクは、次の（ａ）〜（ｃ）の転送を制御するプロ
グラムである。 【００４８】(a)バッファメモリ２から外部メモリ３へ
個々のエレメンタリーストリームのＤＭＡ転送(上記転
送経路(1)の後半部分)。この転送は、上記フラグ１、３
をトリガーとする。 (b)オーディオＦＩＦＯに保持されている圧縮音声デー
タのデータサイズ（残量）に応じて、外部メモリ３から
ＦＩＦＯメモリ４のオーディオＦＩＦＯへの圧縮音声デ
ータのＤＭＡ転送（上記転送経路(2)におけるオーディ
オＦＩＦＯへの転送）。このデータ転送は、オーディオ
ＦＩＦＯに保持されている圧縮音声データのデータサイ
ズが一定量よりも少なくなった場合になされる。この転
送は、上記フラグ８をトリガーとする。 【００４９】(c)外部メモリ３からバッファメモリ２
へ、さらにバッファメモリ２から音声出力部１３へ復号
後のオーディオデータのＤＭＡ転送（上記転送経路
(4)）。この転送は、上記フラグ２をトリガーとする。 ・タスク３（映像供給タスク） 本タスクは、映像ＦＩＦＯに保持されている圧縮映像デ
ータのデータサイズ（残量）に応じて、外部メモリ３か
らＦＩＦＯメモリ４の映像ＦＩＦＯへの圧縮映像データ
のＤＭＡ転送（上記転送経路(2)における映像ＦＩＦＯ
への転送）を処理するプログラムである。このデータ転
送は、映像ＦＩＦＯに保持されている圧縮映像データの
データサイズが一定量よりも少なくなった場合になされ
る。この転送は、上記フラグ７をトリガーとする。 ・タスク４（ビデオ出力タスク） 本タスクは、外部メモリ３からバッファメモリ２へ、さ
らにバッファメモリ２からビデオ出力部１２へ復号後の
映像データのＤＭＡ転送（上記転送経路(4)）を処理す
るプログラムである。この転送は、上記フラグ２をトリ
ガーとする。 ・タスク５（デコーダＩ／Ｆタスク） 本タスクは、デコード処理部１００２からＩＯプロセッ
サ５に向けてのコマンドを処理するプログラムである。
コマンドには、「getAPTS」、「getVPTS」、「getSTC」
などがある。getVPTS（Video Presentation Time Stam
p）は、デコード処理部１００２がＩＯプロセッサ５に
対して圧縮映像データに付与されているＶＰＴＳの取得
を要求するコマンドである。getAPTS（Audio Presentat
ion Time Stamp）は、デコード処理部１００２がＩＯプ
ロセッサ５に対して圧縮音声データに付与されているＡ
ＰＴＳの取得を要求するコマンドである。getSTC（Syst
em Time Clock）は、デコード処理部１００２がＩＯプ
ロセッサ５に対してＳＴＣの取得を要求するコマンドで
ある。これらのコマンドを受けたＩＯプロセッサ５は、
デコード処理部１００２にＳＴＣ、ＶＰＴＳ、ＡＰＴＳ
をそれぞれ通知する。ＳＴＣ、ＶＰＴＳ、ＡＰＴＳは、
デコード処理部１００２において音声と映像とのデコー
ドを同期させたり、フレーム単位でデコードの進度を調
整するために用いられる。この処理は、上記フラグ９を
トリガーとする。 【００５０】命令読出回路５３は、命令フェッチアドレ
スを指すプログラムカウンタ（以下ＰＣと略す）を複数
個備え、タスク管理部５８により指定されたＰＣを用い
て命令メモリ５２から命令を読み出して命令レジスタ５
４に格納する。具体的には、命令読出回路５３は、上記
タスク０〜５に対応するＰＣ０〜５を有し、タスク管理
部５８によるＰＣの指定が変更されたとき、ハードウェ
アにより高速にＰＣを切り替えるように構成されてい
る。この構成によりＩＯプロセッサ５は、タスクスイッ
チに際して現在のタスクのＰＣ値をメモリに退避し、メ
モリから次のタスクのＰＣ値を復帰する処理から解放さ
れている。 【００５１】デコーダ５５は、命令メモリ５２から読み
出されて命令レジスタ５４に格納された命令を解読し、
当該命令を実行するように演算実行部５６を制御する。
加えて、デコーダ５５は、ＩＯプロセッサ５全体を、命
令読出回路５３の命令読み出しステージ、デコーダ５５
の解読ステージ、演算実行部５６の実行ステージの少な
くとも３段からなるパイプライン制御を行う。 【００５２】演算実行部５６は、ＡＬＵ（Arithmetic L
ogical Unit）、乗算器、ＢＳ(Barrel Shifter)などを
有し、デコーダ５５の制御に従って、命令で指定された
演算を実行する。汎用レジスタセット群５７は、タスク
０〜タスク５に対応する６つのレジスタセット（１レジ
スタセットは４本の３２ビットレジスタと４本の１６ビ
ットレジスタ）を備えている。全部で２４本の３２ビッ
トレジスタと２４本の１６ビットレジスタとを有し、実
行中のタスクに対応するレジスタセットが使用される。
これによりＩＯプロセッサ５は、タスクスイッチに際し
て現在の全レジスタデータをメモリに退避し、メモリか
ら次のタスクのレジスタデータを復帰する処理から解放
されている。 【００５３】タスク管理部５８は、所定数の命令サイク
ル数毎に、命令読出回路５３のＰＣ及び汎用レジスタセ
ット群５７のレジスタセットを切り替えることによりタ
スク切替えを行う。本実施例では上記所定数は４であ
る。またＩＯプロセッサ５は１命令を１命令サイクルで
パイプライン処理するので、タスク管理部５８は、上記
オーバーヘッドを生じることなしに４命令毎にタスクを
切り替えることになる。これにより非同期に発生する各
種の入出力要求に対して応答遅延を抑えている。つまり
入出力要求に対する応答遅延は、最大でもわずか２４命
令サイクルしか生じない。 ＜1.3.3.1.1 命令読出回路＞図１２は、命令読出回路
５３の詳細な構成例を示すブロック図である。 【００５４】同図において命令読出回路５３は、タスク
別ＰＣ格納部５３ａ、現ＩＦＡＲ（Instruction Fetch
Address Register）５３ｂ、インクリメンタ５３ｃ、次
ＩＦＡＲ５３ｄ、セレクタ５３ｅ、セレクタ５３ｆ、Ｄ
ＥＣＡＲ（DECode Address Register）５３ｇを備え、
タスク切替えに際してオーバーヘッドなしに命令読み出
しアドレスを切り替えるように構成されている。 【００５５】タスク別ＰＣ格納部５３ａは、タスク０〜
５に対応する６本のアドレスレジスタを有し、タスク毎
にプログラムカウント値を保持する。各プログラムカウ
ント値は、対応するタスクの再開アドレスである。タス
ク切替えに際して、タスク管理部５８及びデコーダ５５
の制御の下で、次に実行すべきタスクに対応するアドレ
スレジスタからプログラムカウント値が読み出され、現
に実行しているタスクに対応するアドレスレジスタのプ
ログラムカウント値が新たな再開アドレスに更新され
る。このとき、次に実行すべきタスク、現タスクは、そ
れぞれタスク管理部５８により"nexttaskid（rd add
r）"信号（以下タスクＩＤとも呼ぶ）、”taskid（wr a
ddr）”信号により指定される。 【００５６】タスク０、１、２に対応するプログラムカ
ウント値を図１３のＰＣ０、１、２に示す。同図におい
て、（０−０）はタスク０の命令０を、（１−４）はタ
スク１の命令４を表す。例えば、ＰＣ０は、タスク０の
再開に際して読み出され（命令サイクルｔ０）、次のタ
スクへの切替に際して、命令（０−４）のアドレスに更
新される（命令サイクルｔ４）。 【００５７】インクリメンタ５３ｃ、次ＩＦＡＲ５３
ｄ、セレクタ５３ｅからなるループ回路は、セレクタ５
３ｅにより選択された命令読み出しアドレスを更新する
回路である。セレクタ５３ｅから出力されるアドレスを
図１３のＩＦ１に示す。同図において、例えばタスク０
からタスク１への切替えに際して、セレクタ５３ｅは、
サイクルｔ４においてタスク別ＰＣ格納部５３ａから読
み出された命令（１−０）アドレスを選択し、サイクル
ｔ５〜ｔ７において次ＩＦＡＲ５３ｄからのインクリメ
ントされた命令アドレスを選択する。 【００５８】現ＩＦＡＲ５３ｂは、セレクタ５３ｅの選
択出力ＩＦ１を１サイクル遅れて保持し、命令メモリ５
２に命令読み出しアドレスとして出力する。言い換えれ
ば、現在アクティブなタスクの命令読み出しアドレスを
保持する。現ＩＦＡＲ５３ｂの命令読み出しアドレス
を、図１３のＩＦ２に示す。同図に示すように、ＩＦ２
は４命令サイクル毎に異なるタスクの命令アドレスを指
している。 【００５９】ＤＥＣＡＲ５３ｇは、命令レジスタ５４に
保持されている命令のアドレスを保持する。つまり、デ
コード中の命令を指す。図１３中のＤＥＣに、ＤＥＣＡ
Ｒ５３ｇに保持されたアドレスを示す。また、図１３中
のＥＸは、実行中の命令アドレスを示す。セレクタ５３
ｆは、分岐命令実行時や割込み発生時に分岐アドレスを
選択し、それ以外は次ＩＦＡＲ５３ｄのアドレスを選択
する。 【００６０】このような命令読出回路５３を備えること
により、ＩＯプロセッサ５は、図１３に示すように４段
（ＩＦ１、ＩＦ２、ＤＥＣ、ＥＸ）のパイプライン処理
を行っている。このうちＩＦ１ステージは、複数プログ
ラムカウント値の選択及び更新を行うステージである。
ＩＦ２ステージは、命令を読み出すステージである。 ＜1.3.3.1.2 タスク管理部＞図１４は、タスク管理部
５８の詳細な構成を示すブロック図である。同図におい
てタスク管理部５８は、タスクの切替えタイミングを管
理するスロットマネージャと、タスクの順序を管理する
スケジューラとに大別される。 【００６１】スロットマネージャは、カウンタ５８ａ、
ラッチ５８ｂ、比較器５８ｃ、ラッチユニット５８ｄを
有し、４命令サイクル毎にタスク切替えを指示するタス
ク切替信号（chgtaskex）を命令読出回路５３へ出力す
る。具体的には、ラッチ５８ｂは、カウンタ５８ａの出
力の下位２ビットを保持する２個のＦＦ（Flip Flop）
回路である。カウンタ５８ａは、命令サイクルを示すク
ロック毎にラッチ５８ｂの２ビットの出力値を＋１イン
クリメントした３ビットを出力する。その結果、カウン
タ５８ａは、１、２、３、４を繰り返し出力することに
なる。比較器５８ｃは、カウンタ５８ａの出力値が定数
４と一致したときにタスク切替信号（chgtaskex）を命
令読出回路５３とスケジューラとに出力する。 【００６２】スケジューラは、タスクラウンド管理部５
８ｅ、プライオリティエンコーダ５８ｆ、ラッチ５８ｇ
を備え、タスク切替信号（chgtaskex）が出力されるご
とに、タスクｉｄを更新し、現在のタスクｉｄと次に実
行すべきタスクｉｄとを命令読出回路５３に出力する。
具体的には、ラッチユニット５８ｄ、ラッチ５８ｇは、
ともに現在のタスクｉｄをエンコードされた形式（３ビ
ット）で保持する。エンコードされた形式は、その値が
タスクｉｄを表す。 【００６３】タスクラウンド管理部５８ｅは、タスク切
替信号（chgtaskex）が入力されたとき、ラッチユニッ
ト５８ｄを参照して、次に実行すべきタスクｉｄを、デ
コードされた形式（６ビット）で出力する。デコードさ
れた形式（６ビット）は、１ビットが１タスクに対応
し、ビット位置がタスクｉｄを表す。プライオリティエ
ンコーダ５８ｆは、タスクラウンド管理部５８ｅから出
力されるタスクｉｄを、デコードされた形式からエンコ
ードされた形式に変換する。上記ラッチユニット５８
ｄ、ラッチ５８ｇは、ともにエンコードされたタスクｉ
ｄを１サイクル遅れて保持する。 【００６４】この構成により、タスクラウンド管理部５
８ｅは、比較器５８ｃからタスク切替信号（chgtaske
x）が出力されたとき、プライオリティエンコーダ５８
ｆから次に実行すべきタスクのｉｄを"nexttaskid（rd
addr）"信号として、ラッチ５８ｅから現タスクｉｄ
を”taskid（wr addr）”信号として出力する。 ＜1.4 動作説明＞以上のように構成された第１の実施
形態における映像音声処理装置１０００について、その
動作を説明する。 【００６５】入出力処理部１００１において、ストリー
ム入力部１から非同期に入力されるＭＰＥＧストリーム
は、入出力プロセッサ５の制御によって、バッファメモ
リ２、メモリコントローラ６を介して一旦外部メモリ３
に格納され、さらに、メモリコントローラ６を介してＦ
ＩＦＯメモリ４に保持される。このときＦＩＦＯメモリ
４に対して、ＩＯプロセッサ５は、上記タスク２
（ｂ）、タスク３を実行することによりその残量に応じ
て、圧縮動画データ、圧縮音声データを供給する。これ
により、ＦＩＦＯメモリ４には過不足なく一定量の圧縮
動画データ、圧縮音声データが供給されるので、デコー
ド処理部１００２は、非同期の入出力とは切り離され
て、デコード処理に専従することができる。ここまでの
処理は、上記入出力処理部１００１により、デコード処
理部１００２とは独立に並行してなされる。 【００６６】一方、デコード処理部１００２において、
ＦＩＦＯメモリ４に保持されたＭＰＥＧストリームデー
タは、以降プロセッサ７、コード変換部９、画素演算部
１０、画素読み書き部１１により復号される。ＦＩＦＯ
メモリ４以降の復号動作を示す説明図を図１５に示す。
同図では、横軸を時間軸としておおよそ１マクロブロッ
ク分のヘッダ解析及び各ブロック毎のデコードの様子を
示している。また縦方向はデコード処理部１００２の各
部においてブロック毎のデコードがパイプライン的に実
行される様子を示している。 【００６７】同図に示すように、プロセッサ７は、圧縮
映像データのヘッダ解析と、圧縮音声データに対するデ
コード処理とを時分割で繰り返す。すなわち、プロセッ
サ７は、１マクロブロック分のヘッダ解析を行い、解析
結果をコード変換部９、画素演算部１０、画素読み書き
部１１に通知した後、コード変換部９に対してマクロブ
ロックのデコード開始を指示する。その後プロセッサ７
は、コード変換部９からの割込み信号が通知されるま
で、圧縮音声データのデコード処理を行う。デコード後
の音声データは内部メモリ８に一旦保持され、さらにメ
モリコントローラ６により外部メモリ３にＤＭＡ転送さ
れる。 【００６８】また、コード変換部９は、プロセッサ７か
らマクロブロックのデコード開始指示を受けて、マクロ
ブロック内の各ブロック毎にバッファ２００に格納す
る。このときコード変換部９は、プロセッサ７のヘッダ
解析時に通知されたブロックのスキャンタイプに応じて
バッファ２００への書き込みアドレスの順番を変更す
る。つまりジグザグスキャンの場合と、オルタネートス
キャンの場合とで書き込みアドレスの順番を変更する。
これにより画素演算部１０は、読み出しアドレスの順番
を変更しなくてもよく、スキャンタイプに拘らず常に同
じに読み出しアドレスの順番にて読み出すことができ
る。コード変換部９は、マクロブロック内の６つのブロ
ックをＶＬＤ処理をし終えるまで上記動作を繰り返して
バッファ２００に書き出す。６ブロックのＶＬＤを終え
るとプロセッサ７に割込みを発生する。この割込み信号
は、マクロブロックデコード終了信号End Of Macro Blo
ck(EOMB)である。コード変換部９は６つ目のブロックの
ブロック終了信号End Of Block(EOB)を検出することに
よりEOMBを生成している。 【００６９】画素演算部１０は、コード変換部９と並行
して、図９に示したようにバッファ２００に格納された
ブロックデータをブロック単位にＩＱ、ＩＤＣＴを施
し、その処理結果をバッファ２０１に格納する。画素読
み書き部１１は、画素演算部１０と並行して、バッファ
２０１のブロックデータと、プロセッサ７によるヘッダ
解析により通知された動きベクトルとに基づいて、図１
５に示すように外部メモリ３の参照フレームからの矩形
領域の切り出しと、ブロック合成とを行う。ブロック合
成結果は、ＦＩＦＯメモリ４を介して外部メモリ３に格
納される。 【００７０】上記は、スキップマクロブロックではない
場合の動作であるが、スキップマクロブロックの場合に
はコード変換部９及び画素演算部１０は動作せず、画素
読み書き部１１のみが動作する。スキップマクロブロッ
クがある場合には、参照フレーム中の矩形領域と同じ画
像なので、画素読み書き部１１により、その画像が復号
画像として外部メモリ３にコピーされることになる。 【００７１】この場合、コード変換部９からプロセッサ
７への割込み信号は次のようにして生成される。すなわ
ち、プロセッサ７が画素読み書き部１１に対して動き補
償動作の開始の制御信号を送付したことを示す信号と、
画素読み書き部１１が動き補償動作が可能であることを
示す信号と、スキップマクロブロックであることを示す
信号との論理積を取り、さらにこの論理積と上記のEOMB
信号との論理和として割込み信号がプロセッサ７に入力
される。 【００７２】以上説明してきたように本発明の第１実施
形態の映像音声処理装置によれば、記憶媒体や通信媒体
からのＭＰＥＧストリーム入力処理と、表示装置及び音
声出力装置への表示画像データ及び音声データの出力処
理と、デコード処理部１００２へストリームを供給する
処理とを入出力処理部１００１が分担し、圧縮映像デー
タ及び圧縮音声データのデコード処理をデコード処理部
１００２が分担するように構成されている。これによ
り、デコード処理部１００２は、非同期に発生する処理
から解放されてデコード処理に専従することができる。
その結果、ＭＰＥＧストリーム入力、デコード、出力と
いう一連の処理を効率良く実行するので、高速な動作ク
ロックを用いなくてもＭＰＥＧストリームのフルデコー
ド（フレーム落ちなし）を実現することができる。 【００７３】また、本映像音声処理装置は、１チップに
ＬＳＩ化することが望ましい。この場合、１００ＭＨｚ
以下の動作クロック（実際には５４ＭＨｚ）で上記フル
デコードが可能である。この点、動作クロックが１００
ＭＨｚさらには２００ＭＨｚを越える近年の高性能ＣＰ
Ｕは、画像サイズが小さければ上記フルデコードを可能
にしているが、その反面製造コストが高価である。これ
に対して、本映像音声処理装置は、製造コストの点とフ
ルデコードの点で優れている。 【００７４】さらに、本映像音声処理装置のデコード処
理部１００２は、次のように役割分担している。つま
り、プロセッサ７が圧縮映像データに対しても圧縮音声
データに対しても多岐にわたる条件判断を必要とするヘ
ッダ解析を担当するとともに音声圧縮データのデコード
も担当する。圧縮映像データのブロックデータに対して
は、定型的な大量の演算量が要求されるので、コード変
換部９、画素演算部１０、画素読み書き部１１という専
用のハードウェア（ファームウェア）が、デコード処理
を担当する。図１５に示したようにコード変換部９、画
素演算部１０、画素読み書き部１１は、パイプライン化
されている。画素演算部１０は、ＩＱとＩＤＣＴとが並
列処理が可能になっている。画素読み書き部１１は２ブ
ロック単位の参照フレームのアクセスを実現している。
これらにより圧縮音声デコード処理の効率化が達成され
ているので、映像デコード専用のハードウェア部分は高
速クロックを用いなくとも、高い処理能力を得ることが
できる。具体的には１００ＭＨｚを越える高速クロック
を用いずに５０〜６０ＭＨｚ程度のクロックで従来と同
程度以上の処理能力が得られた。従って、高速素子を用
いる必要がなく製造コストを押さえることができる。 【００７５】また、映像デコードの基本単位をプロセッ
サ７においてマクロブロック単位、コード変換部９およ
び画素演算部１０においてブロック、画素読み書き部１
１において２ブロックとしているので、映像デコードに
おける緩衝バッファの容量を最小限に抑えることが可能
となる。 ＜2 第２の実施形態＞本実施形態の映像音声処理装置
は、圧縮ストリームデータのデコード機能に加えて、さ
らに、圧縮機能（以降、エンコード処理と呼ぶ）とグラ
フィックス機能を果たすように構成されている。 ＜2.1 映像音声処理装置の構成＞図１６は、本発明の
第２の実施形態における映像音声処理装置の構成を示す
ブロック図である。 【００７６】この映像音声処理装置２０００は、ストリ
ーム入出力部２１、バッファメモリ２２、ＦＩＦＯメモ
リ２４、入出力プロセッサ２５、メモリコントローラ２
６、プロセッサ２７、内部メモリ２８、コード変換部２
９、画素演算部３０、画素読み書き部３１、ビデオ出力
部１２、音声出力部１３、バッファ２００、バッファ２
０１とからなる。映像音声処理装置２０００は、図４に
示した映像音声処理装置１０００の機能に加えて、次の
機能が付加されている。すなわち、映像データと音声デ
ータの圧縮機能と、ポリゴンデータを描画するグラフィ
ックス機能とが付加されている。 【００７７】そのため、映像音声処理装置２０００にお
いて、図４と同名称の構成要素は全く同じ機能を有し、
さらに、圧縮機能とグラフィックス機能を果たす機能が
付加されている。以下図４と同じ点は説明を省略し、異
なる点を中心に説明する。ストリーム入出力部２１は、
双方向になっている点が異なる。つまり、入出力プロセ
ッサ２５の制御によりバッファメモリ２２からＭＰＥＧ
データを転送されると、転送されたパラレルデータをシ
リアルデータに変換して、ＭＰＥＧデータストリームと
して外部に出力する。 【００７８】バッファメモリ２２、ＦＩＦＯメモリ２４
も双方向になった点が異なる。入出力プロセッサ２５
は、第１実施形態に示した(1)〜(4)に示すの経路のデー
タ転送を制御することに加えて、(5)〜(8)の径路の転送
をも制御する。 (1)ストリーム入出力部２１→バッファメモリ２２→メモリコントロー
ラ２６→外部メモリ３ (2)外部メモリ３→メモリコントローラ２６→ＦＩＦＯメモリ２４ (3)外部メモリ３→メモリコントローラ２６→バッファメモリ２２
→ビデオ出力部１２ (4)外部メモリ３→メモリコントローラ２６→バッファメモリ２２
→音声出力部１３ (5)外部メモリ３→メモリコントローラ２６→内部メモリ２８ (6)外部メモリ３→メモリコントローラ２６→画素読み書き部３１ (7)ＦＩＦＯメモリ２４→メモリコントローラ２６→外部メモリ３ (8)外部メモリ３→メモリコントローラ２６→バッファメモリ２２
→ストリーム入出力部２１ (5)(6)の径路は、映像データ、音声データのエンコード
処理を行う場合の元のデータの径路であり、(7)(8)は、
圧縮後のＭＰＥＧストリームの径路を示す。 【００７９】まず、エンコード処理について説明する。
エンコードすべきデータは外部メモリ３に格納されてい
るものとする。外部メモリ３の映像データは、メモリコ
ントローラ２６を画素読み書き部３１が制御することに
より画素読み書き部３１に転送される。画素読み書き部
３１は映像データを第２のバッファ２０１に書き込む処
理と差分画像生成処理を行なう。差分画像生成処理は、
ブロック単位の動き検出（動きベクトルの算出）と差分
画像の生成とからなる。そのため、画素読み書き部３１
は、符号化対象ブロックと類似する矩形領域と参照フレ
ーム内で探索することにより動きベクトルを検出する動
き検出回路を内部に有している。なお動き検出回路の代
わりに、隣接するフレームの既に計算済みのブロックの
動きベクトルを利用して符号化対象の動きベクトルを見
積もる動き見積回路を備えるようにしてもよい。 【００８０】画素演算部２５は、ブロック単位に差分画
像データを受け取り、ＤＣＴ、ＩＤＣＴ、量子化処理
（以降、Ｑ処理）、ＩＱを行なう。こうして量子化され
た映像データはバッファ２００に格納される。コード変
換部２９は、バッファ２００から量子化データを受け取
り可変長符号処理（ＶＬＣ）を行なう。可変長符号化さ
れたデータは先入れ先出しメモリ２４に格納され、メモ
リコントローラ２６を通して外部メモリ３に格納される
とともに、プロセッサ２７によりマクロブロック毎にヘ
ッダ情報が付加される。 【００８１】また、外部メモリ３の映像データは、メモ
リコントローラ２６を介して内部メモリ２８に転送され
る。プロセッサ２７は、マクロブロック毎にヘッダ情報
を付加する処理と時分割で、内部メモリ２８の音声デー
タの圧縮処理を行う。以上のように、エンコード処理
は、第１の実施形態と逆の径路で処理されることにな
る。 【００８２】次に、グラフィックス処理について説明す
る。グラフィックス処理は、ポリゴンと呼ばれる矩形型
図形の組合せによって行なわれる三次元画像生成処理で
ある。本装置においてはポリゴンの頂点座標における画
素データからポリゴン内部の画素データを生成する処理
を行う。最初にポリゴンの頂点データは外部メモリ３に
格納されている。 【００８３】頂点データは、プロセッサ２７がメモリコ
ントローラ２６を制御することにより内部メモリ２８に
格納される。プロセッサ２７は内部メモリ２８より頂点
データを読みだしＤＤＡ(Digital Difference Analyze)
の前処理を行ないＦＩＦＯメモリ２４に書き込む。コー
ド変換部２９は、画素演算部３０の指示に従ってＦＩＦ
Ｏメモリ２４から頂点データを読みだし画素演算部３０
に転送する。 【００８４】画素演算部３０は、DDA処理を行ない画素
読み書き部３１に送信する。画素読み書き部３１は、プ
ロセッサ２７の指示に従い、Zバッファ処理あるいはα
ブレンディング処理を行ないメモリコントローラ２６を
介して外部メモリ３に画像データを書き出す。 ＜2.1.1 画素演算部＞図１７は、画素演算部３０の構
成を示すブロック図である。 【００８５】同図は、図７に示した画素演算部１０と同
じ構成要素には同じ番号を付与し、説明を省略し、以下
異なる点を中心に説明する。異なる点は、同図のように
画素演算部３０は、図７に示した画素演算部１０に対し
て実行部が３面（５０１ａ〜５０１ｃ）になっている点
と、命令ポインタ保持部３０８と命令レジスタ３０９と
分配部３１０とが追加された点とである。 【００８６】実行部５０１ａ〜５０１ｃが３面になって
いるのは、演算性能を向上させるためである。具体的に
は、グラフィックス処理においてはカラー画像ＲＧＢを
独立に並列演算する。ＩＱおよびＱ処理では、乗算器５
０２を３つ用いて高速化を図っている。ＩＤＣＴにおい
ては乗算器５０２および加減算器５０３を複数用いるこ
とによって時間短縮を図っている。ＩＤＣＴにおいては
バタフライ演算と呼ばれる演算が存在し、これは演算の
元となる全てのデータ間で依存関係があるので、実行部
５０１ａ〜５０１ｃのユニット間通信を行なうデータ線
１０３を設けている。 【００８７】第１命令メモリ５０６、第２命令メモリ５
０７は、ＩＤＣＴ、ＩＱに加えてＤＣＴ、Ｑ処理、ＤＤ
Ａ用のマイクロプログラムが格納されている。図１８
に、第１命令メモリ５０６、第２命令メモリ５０７の記
憶内容の一例を示す。図８に比べてＱ処理マイクロプロ
グラムと、ＤＣＴマイクロプログラムと、ＤＤＡマイク
ロプログラムとが追加されている。 【００８８】命令ポインタ保持部３０８ａ〜３０８ｃ
は、実行部５０１ａ〜５０１ｃに対応して設けられ、そ
れぞれ第１プログラムカウンタから入力されるアドレス
を変換して命令レジスタ部３０９に出力する変換テーブ
ルを有する。変換後のアドレスは、命令レジスタ部３０
９のレジスタ番号を意味する。さらに、命令ポインタ保
持部３０８ａ〜３０８ｃは、それぞれ後述するモディフ
ァイフラグを保持し命令実行部５０１ａ〜５０１ｃに出
力する。 【００８９】変換テーブルについては命令ポインタ保持
部３０８ａ、３０８ｂ、３０８ｃは、例えば入力アドレ
スが1,2,3,4,5,6,7,8,9,10,11,12である場合に、それぞ
れ次のような変換後アドレスを出力する。 命令ポインタ保持部３０８ａ:1,2,3,4,5,6,7,8,9,10,1
1,12 命令ポインタ保持部３０８ｂ:2,1,4,3,6,5,8,7,10,9,1
2,11 命令ポインタ保持部３０８ｃ:4,3,2,1,8,7,6,5,12,11,1
0,9 命令レジスタ部３０９は、図２３に示すように、マイク
ロ命令を保持する複数のレジスタ３つのセレクタと３つ
の出力ポートとからなる。３つのセレクタは、命令ポイ
ンタ部３０８ａ、３０８ｂ、３０８ｃから入力される変
換アドレス（レジスタ番号）に指定されるレジスタのマ
イクロ命令を選択する。３つの出力ポートは、セレクタ
に対応して設けられ、それぞれセレクタに選択されたマ
イクロ命令を分配部３１０を介して実行部５０１ａ〜５
０１ｃに出力する。３つのセレクタ及び出力ポートが設
けられているのは、３つの加減算器５０３（又は３つの
乗算器５０２）に同時に異なるマイクロ命令を供給する
ためである。本実施例では３つの出力ポートは、分配部
３１０を介して３つの加減算器５０３と３つの乗算器５
０２の何れかに選択的に供給するものとする。 【００９０】例えば、命令レジスタ部３０９はレジスタ
Ｒ１〜Ｒ１６（レジスタ番号１〜１６）を備えている。
レジスタＲ１〜Ｒ１６に格納されているマイクロプログ
ラムは、ＤＣＴ及びＩＤＣＴにおいて必要な行列演算処
理を表し、上記の３つのレジスタ番号順のいずれによっ
ても同一処理を行うように格納されている。つまり、上
記３つの実行順をもつマイクロプログラムは、実行順序
が可換な一部のマイクロ命令の順序が入れ換えられてい
る。これは、実行部５０１ａ〜５０１ｃが並列にマイク
ロプログラムを実行するので、実行部５０１ａ〜５０１
ｃ間でレジスタ（図外）アクセスの競合など資源干渉を
回避するためである。また、上記行列演算処理は、８×
８行列の乗算、転置、転送をその内容とする。 【００９１】次に、命令レジスタ部３０９の各レジスタ
に格納されるマイクロ命令はニーモニック形式では、
「ｏｐ Ｒｉ，Ｒｊ，ｄｅｓｔ，（モディファイフラ
グ）」と表記される。ただし命令レジスタ部３０９のマ
イクロ命令は、「ｏｐとＲｉ，Ｒｊと（モディファイフ
ラグ）」の部分だけである。「ｄｅｓｔ」の部分は命令
メモリ５０６、５０７から指定される。「（モディファ
イフラグ）」の部分命令ポインタ保持部３０８ａ〜３０
８ｃから指定される。 【００９２】ここで、”ｏｐ”は乗算命令、加減算命
令、転送命令などを示すオペレーションコード、”Ｒ
ｉ，Ｒｊ”はオペランドである。乗算命令は、３つの実
行部５０１ａ〜ｃ中の各乗算器５０２に実行される命令
であり、加算命令及び転送命令は、３つの実行部５０１
ａ〜ｃ中の各乗算器５０２に実行される命令である。”
ｄｅｓｔ”は演算結果の格納先を示す。この”ｄｅｓ
ｔ”は命令レジスタ部３０９のレジスタではなく、命令
メモリ５０６（乗算命令の場合）又は命令メモリ５０７
（加減算命令や転送命令の場合）から指定される。これ
は、命令レジスタ部３０９のマイクロプログラムを実行
部５０１ａ〜５０１ｃに共通化するためである。もし転
送先をレジスタにより指定すれば実行部５０１ａ〜５０
１ｃそれぞれに個別のマイクロプログラムを用意する必
要があり、マイクロプログラムの容量が数倍に膨らむこ
とになる。 【００９３】”モディファイフラグ”は、加減算命令に
おいて、加算であるか減算であるかを示すフラグであ
る。この”モディファイフラグ”は、命令レジスタ部３
０９のレジスタからではなく、命令ポインタ保持部３０
８ａ〜ｃから別途指定される。これは、ＤＣＴ、ＩＤＣ
Ｔでの行列演算に用いられる定数行列中に全要素が”
１”の行（又は列）と全要素が”−１”行（又は列）と
が含まれるので、命令ポインタ３０８ａ〜ｃから”モデ
ィファイフラグ”を指定することにより、命令レジスタ
部３０９の同一マイクロプログラムを共用することを可
能にしている。 【００９４】分配部３１０は、命令レジスタ部３０９か
ら入力される３つのマイクロ命令が加減算命令である場
合には、それらの「ｏｐとＲｉ，Ｒｊ」の部分と、命令
メモリ５０６から入力される「ｄｅｓｔ」の部分と、命
令ポインタ部３０８ａ〜ｃから入力される「モディファ
イフラグ」とを３つの加減算器５０３に分配し、同時に
命令メモリ５０６のマイクロ命令を３つの乗算器５０２
に分配する。また、分配部３１０は、命令レジスタ部３
０９から入力される３つのマイクロ命令が乗算命令であ
る場合には、それらの「ｏｐとＲｉ，Ｒｊ」の部分とを
命令メモリ５０６から入力される「ｄｅｓｔ」の部分と
を３つの乗算器５０２に分配し、、命令メモリ５０７の
マイクロ命令を３つの加減算器５０３に分配する。言い
換えれば、分配部３１０により、３つの加減算器５０３
に供給されるマイクロ命令は、３つの加減算器５０３に
共通する命令については命令メモリ５０７から１つのマ
イクロ命令がそれぞれに供給され、３つの加減算器５０
３で異なる加減算命令については命令レジスタ部３０９
からの３つのマイクロ命令がそれぞれに供給される。同
様に、３つの乗算器５０２に供給されるマイクロ命令
は、３つの乗算器５０２に共通する命令については命令
メモリ５０６からマイクロ命令が供給され、３つの乗算
器５０２で異なる乗算算命令については命令レジスタ部
３０９からのマイクロ命令がそれぞれに供給される。 【００９５】画素演算部３０のこのような構成によれ
ば、命令メモリ５０６、命令メモリ５０７の記憶容量を
削減することができる。もし、画素演算部３０が命令ポ
インタ保持部３０８ａ〜ｃ、命令レジスタ部３０９、分
配部３１０を備えていないと仮定すると、命令メモリ５
０６、命令メモリ５０７はいずれも、３つの実行部５０
１ａ〜ｃに対して異なるマイクロ命令を供給するには、
３つのマイクロ命令を並列に記憶しなければならない。 【００９６】図２２に命令ポインタ保持部３０８ａ〜
ｃ、命令レジスタ部３０９、分配部３１０を備えていな
い場合の命令メモリ５０６及び命令メモリ５０７の記憶
内容の一例を示す。同図では、１６ステップのマイクロ
プログラムが記憶され、１つのマイクロ命令は１６ビッ
ト長としている。この場合、命令メモリ５０６と命令メ
モリ５０７は、３つのマイクロ命令を並列に記録するこ
とから、合計１５３６ビット（１６ステップ×１６ビッ
ト×３×２）の記憶容量を必要とする。 【００９７】これに対して、本実施例の画素演算部３０
における、命令ポインタ保持部３０８ａ〜ｃ、命令レジ
スタ部３０９の記憶内容の一例を図２３に示す。同図で
も１６ステップのマイクロプログラムが記憶され、１マ
イクロ命令は１６ビットとしている。同図において、命
令ポインタ保持部３０８ａ〜ｃは、それぞれ１６個のレ
ジスタ番号（４ビット長）を記憶し、命令レジスタ部３
０９は１６個のマイクロ命令を記憶する。この場合、命
令ポインタ保持部３０８ａ〜ｃと命令レジスタ部３０９
との記憶容量は４４８ビット（１６ステップ×（１２＋
１６））でよい。このように画素演算部３０では、マイ
クロプログラムの記憶容量を大幅に削減することができ
る。実際には、「ｄｅｓｔ」「モディファイフラグ」が
別途発行されるようにしているので、その分の記録容量
又は回路が必要である。また、命令メモリ５０６、５０
７はマイクロ命令中の「ｄｅｓｔ」を指定し、また、実
行部５０１ａ〜ｃに共通する乗算命令、加減算命令を発
行するようにしているので、命令メモリ５０６、５０７
を完全に削除することまではしていない。もし、命令レ
ジスタ部３０９に６つの出力ポートを設ければ、命令メ
モリ５０６と命令メモリ５０７とを削除することも可能
になる。 【００９８】なお、図２３では、命令ポインタ保持部３
０８ａ〜３０８ｃは、第１プログラムカウンタの値が０
〜１５の場合に、変換アドレス（レジスタ番号）を出力
しているが、これに限らない。例えば第１プログラムカ
ウンタの値が３２〜４７の場合に変換アドレスを出力す
るようにしてもよい。この場合、第１プログラムカウン
タの値に適切なオフセット値を加える構成とすればよ
い。これにより、第１プログラムカウンタが示す任意の
アドレス列を変換アドレスに変換することができる。 【００９９】以上の構成により、本実施形態では圧縮映
像データと圧縮音声データのデコード処理だけでなく、
映像および音声データのエンコード処理と、ポリゴンデ
ータに基づくグラフィックス処理とが可能となってい
る。また、複数の実行部の並列動作により処理効率が向
上している。しかも、命令レジスタ部３０８ａ〜３０８
ｃにおいて一部のマイクロ命令の順序を入れ換えたこと
により、複数の実行部間の資源干渉を回避することがで
きるので、さらに処理効率を向上させている。 【０１００】なお、上記実施形態では３つの実行部を有
する構成を示しているのは、ＲＧＢカラーのそれぞれを
独立に演算できる点で有利だからである。さらに実行部
の数は、３つ以上あればいくつでもよい。また、上記実
施形態において映像音声処理装置１０００、２０００
は、それぞれ１チップＬＳＩ化することが望ましい。さ
らに外部メモリ３は、チップ外部であるものとして説明
したが、１チップ内に内臓する構成としてもよい。 【０１０１】また、上記実施形態では外部メモリに対し
てストリーム入出力部１（あるいはストリーム入出力部
２１）が、ＭＰＥＧストリーム（あるいは映像音声デー
タ）を格納していたが、ホストプロセッサが直接外部メ
モリ３に格納するように構成してもよい。さらに、上記
実施形態においてＩＯプロセッサ５は、４命令サイクル
毎にタスク切替えを行っているが、４命令サイクル以外
の複数命令サイクル毎であってもよい。また、タスク切
替えの命令サイクル数は、タスク毎に予め重み付けをし
て異なる命令サイクル数にしておいてもよい。また優先
度・緊急度に応じてタスク毎の命令サイクル数に重み付
けを行ってもよい。 【０１０２】 【発明の効果】本発明の映像音声処理装置は、圧縮音声
データと圧縮映像データとを含むデータストリームを外
部から入力、デコードし、デコードしたデータを出力装
置に出力する映像音声処理装置であって、外部要因によ
り非同期に発生する入出力処理を行う入出力処理手段
と、前記入出力処理と並行して、メモリに格納されたデ
ータストリームのデコードを主とするデコード処理を行
うデコード処理手段とを備え、前記デコード処理手段に
よりデコードされた映像データ、デコードされた音声デ
ータはメモリに格納され、前記入出力処理は、外部から
非同期に入力される前記データストリームを入力し、さ
らにメモリに格納することと、メモリに格納されたデー
タストリームをデコード処理手段に供給することと、外
部の表示装置、音声出力装置それぞれの出力レートに合
わせてメモリから読み出し、それらに出力することとを
入出力処理として行うように構成されている。 【０１０３】この構成によれば、入出力処理手段とデコ
ード処理手段とがパイプライン的に並列動作することに
加えて、非同期処理とデコード処理とを入出力処理手段
とデコード処理手段とに分担させるので、デコード処理
手段は非同期に発生する処理から解放されてデコード処
理に専従することができる。その結果、本映像音声処理
装置は、ストリームデータ入力、デコード、出力という
一連の処理を効率良く実行するので、ストリームデータ
のフルデコード（フレーム落ちなし）を高速な動作クロ
ックを用いなくても可能にしている。 【０１０４】また、前記デコード処理手段は、データス
トリームに対して、条件判断を主とする逐次処理であっ
て、圧縮音声データ及び圧縮映像データのヘッダ解析
と、圧縮音声データのデコードとを含む逐次処理を行な
う逐次処理手段と、前記逐次処理と並行して、定型処理
を行う。定型処理は、圧縮映像データのヘッダ解析を除
く圧縮映像データのデコードである定型処理手段とを備
える構成としてもよい。 【０１０５】この構成によれば、処理特性の異なる逐次
処理と並列処理に適した定型処理とを１つのユニットに
併存させることを解消することにより、処理効率を大幅
に向上させることができる。特に、定型処理手段の処理
効率を向上させることができる。なぜなら本映像音声処
理装置において、定型処理手段は上記の非同期処理及び
逐次処理から解放されたことから、圧縮映像データのデ
コードに要求される定型的な種々演算のみに専従できる
るからである。その結果、高速な動作クロックを用いな
くても高い処理能力を得ることができる。 【０１０６】さらに、前記入出力処理手段は、外部から
非同期データストリームを入力する入力手段と、外部の
表示装置にデコードされた映像データを出力する映像出
力手段と、外部の音声出力装置にデコードされた音声デ
ータを出力する音声出力手段と、命令メモリに格納され
た第１から第４のタスクを切替えながら実行するプロセ
ッサとを有し、前記第１タスクは入力部から前記メモリ
にデータストリームを転送するプログラムであり、前記
第２タスクは前記メモリからデコード処理手段にデータ
ストリームを供給するプログラムであり、前記第３タス
クは前記メモリから映像出力部にデコードされた映像デ
ータを出力するプログラムであり、前記第４タスクは前
記メモリから音声出力部にデコードされた音声データを
出力するプログラムであると構成してもよい。 【０１０７】ここで、前記プロセッサは、前記第１から
第４タスクに対応する少なくとも４つのプログラムカウ
ンタを有するプログラムカウンタ部と、１つのプログラ
ムカウンタが指す命令アドレスを用いて、各タスクプロ
グラムを記憶する命令メモリから命令を取り出す命令フ
ェッチ部と、命令取出部に取出された命令を実行する命
令実行部と、所定数の命令サイクルが経過する毎に、命
令フェッチ部に対してプログラムカウンタを順次切替え
るように制御するタスク制御部とを有する構成としても
よい。 【０１０８】この構成によれば、外部装置により定まる
ストリームデータの入力レート及び入力周期、外部表示
装置、外部音声出力装置により定まる映像データ、音声
データそれぞれの出力レート及び出力周期がどのような
範囲であっても、入出力要求に対する応答遅延が極めて
小さいという効果がある。また、本発明の映像音声処理
装置は、圧縮音声データと圧縮映像データとを含むデー
タストリームを入力する入力手段と、データストリーム
に対して、条件判断を主とする逐次処理であって、デー
タストリーム中の所定ブロック単位に付加されたヘッダ
情報の解析と、データストリーム中の圧縮音声データの
復号とを行なう逐次処理手段と、定型演算を主とする定
型処理であって、ヘッダ解析の結果を用いてデータスト
リーム中の圧縮映像データを、前記逐次処理と並行し
て、所定ブロック単位に復号する定型処理手段とを備
え、前記逐次処理手段は前記所定ブロックのヘッダ解析
が終了したとき、定型処理手段に当該所定ブロックのデ
コード開始を指示し、定型処理手段から所定ブロックの
デコード終了通知を受けたとき、次の所定ブロックのヘ
ッダ解析を開始するように構成してもよい。 【０１０９】この構成によれば、逐次処理手段が圧縮映
像データに対しても圧縮音声データに対しても多岐にわ
たる条件判断を必要とするヘッダ解析を担当するととも
に音声圧縮データのデコードも担当する。一方、定型処
理手段は、圧縮映像データのブロックデータに対する、
定型的な大量の演算量を担当する。このような役割分担
により、また逐次処理手段は映像デコードに比較して演
算量が少ない音声デコード全般と、圧縮映像データのヘ
ッダ解析と、定型処理手段の制御とを行う。その制御の
下で、定型処理手段は、専ら定型的な演算を行うので、
無駄のない効率的な処理を実現できる。それゆえ高い周
波数で動作させなくても処理能力を得ることができ、製
造コストを低減させることができる。また、逐次処理手
段は、音声デコード全般と、圧縮映像データのヘッダ解
析と、定型処理手段の制御とを順次行うので、１プロセ
ッサにて構成できる。 【０１１０】また、前記定型処理手段は、逐次処理手段
の指示に従ってデータストリーム中の圧縮映像データを
可変長復号するデータ変換手段と、可変長復号により得
られた映像ブロックに対して、所定の演算を施すことに
より逆量子化および逆離散余弦変換を行う演算手段と、
逆離散余弦変換後の映像ブロックと復号済みのブロック
を合成することにより動き補償処理を行って映像データ
を復元する合成手段とを有し、前記逐次処理手段は、デ
ータ変換手段により可変長復号されたヘッダ情報を取得
する取得手段と、取得されたヘッダ情報を解析する解析
手段と、解析結果として得られるパラメータを定型処理
手段に通知する通知手段と、入力手段により入力された
データストリーム中の圧縮音声データを復号する音声復
号手段と、前記定型処理手段から所定ブロックのデコー
ド完了を通知する割込み信号を受けたとき、音声復号手
段の動作を停止するとともに取得手段を起動し、前記通
知手段が前記通知をしたとき、前記データ変換手段に映
像ブロックの可変長復号の開始を指示する制御手段とを
有するように構成してもよい。 【０１１１】この構成によれば、マクロブロックなど所
定ブロック単位に逐次処理手段は、ヘッダ解析を行った
後音声デコードを行い、定型処理手段により所定ブロッ
クのデコードが完了したとき次のブロックのヘッダ解析
を開始する。このように逐次処理手段は時分割でヘッダ
解析と音声デコードとを繰り返すので１個のプロセッサ
にて低コストで実現することができる。また、定型処理
手段は多岐にわたる条件判断処理をする必要がないの
で、低コストで専用ハードウェア（或はハードウェアと
ファームウェア）化することができる。 【０１１２】ここで、前記演算手段は、さらに１ブロッ
クに相当する記憶領域を有する第１バッファを有し、前
記データ変換手段は、データストリーム中の圧縮映像デ
ータを可変長復号する可変長復号手段と、第１バッファ
の記憶領域のアドレスをジグザグスキャン順に並べた第
１アドレス列を記憶する第１アドレステーブル手段と、
第１バッファの記憶領域のアドレスをオルタネートスキ
ャン順に並べた第２アドレス列を記憶する第２アドレス
テーブル手段と、第１アドレス列と第２アドレス列の一
方に従って、可変長復号手段の可変長復号により得られ
るブロックデータを第１バッファに書き込む書き込み手
段とを有する構成としてもよい。 【０１１３】この構成によれば、書込み手段は、ジグザ
グスキャンとオルタネートスキャンのどちらにも対応し
て、第１バッファの記憶領域にブロックデータを書き込
むことができる。従って演算手段は、第１バッファの記
憶領域からブロックデータ読み出すときに、読み出しア
ドレスの順番を変更しなくてもよく、スキャンタイプに
拘らず常に同じに読み出しアドレスの順番にて読み出す
ことができる。 【０１１４】さらに、前記解析手段は、ヘッダ情報に基
づいて量子化スケールと動きベクトルとを算出し、前記
通知手段は、量子化スケールを演算手段に、動きベクト
ルを合成手段に通知するように構成してもよい。この構
成によれば、動きベクトルの算出を逐次処理手段に担当
させることができ、合成手段は算出された動きベクトル
を用いて定型的に動き補償処理を行うことができる。。 【０１１５】また、前記演算手段は、それぞれマイクロ
プログラムを記憶する第１、第２の制御記憶部と、第１
制御記憶部に第１読出アドレスを指定する第１プログラ
ムカウンタと、第２読出アドレスを指定する第２プログ
ラムカウンタと、第１読出アドレスと第２読出アドレス
との一方を選択して第２制御記憶部に出力するセレクタ
と、乗算器と加算器とを有し、第１、第２制御記憶部に
よるマイクロプログラム制御によりブロック単位の逆量
子化と逆離散余弦変換とを実行する実行部とを有する構
成としてもよい。 【０１１６】この構成によれば、マイクロプログラム
（ファームウェア）は多岐にわたる条件判断処理を行う
必要がなく、定型的な処理を実現するだけなのでプログ
ラムサイズが小さくかつ作成が容易であり、低コスト化
に適している。しかも、２つのプログラムカウンタを使
用して乗算器と加算器とを独立して並列に動作させるこ
とができる。 【０１１７】さらに、前記実行部は、セレクタにより第
２読出アドレスが選択されたとき、乗算器を用いた処理
と加算器を用いた処理とを独立並行して行い、セレクタ
により第１読出アドレスが選択されたとき、乗算器を用
いた処理と加算器を用いた処理とを連動させて行うよう
構成してもよい。この構成によれば、乗算器及び加算器
の遊び時間を減らして処理効率を向上させることができ
る。 【０１１８】ここで、前記演算手段は、さらに、データ
変換手段からの映像ブロックを保持する第１バッファ
と、実行部により逆離散余弦変換されたブロックを保持
する第２バッファとを有し、前記第１制御記憶部は、逆
量子化処理するマイクロプログラムと、逆離散余弦変換
するマイクロプログラムとを記憶し、前記第２制御記憶
部は、逆離散余弦変換するマイクロプログラムと、逆離
散余弦変換された映像ブロックを第２バッファに転送す
るマイクロプログラムとを記憶し、前記実行手段は、逆
離散余弦変換された映像ブロックを第２バッファに転送
する処理と、次の映像ブロックを逆量子化する処理とを
並列に実行し、逆量子化された当該映像ブロックを逆離
散余弦変換する処理を乗算器と加算器とを連動させて実
行するように構成してもよい。 【０１１９】この構成によれば、逆量子化処理と第２バ
ッファへの転送処理とを並列実行するので処理効率を向
上させることができる。また、前記入力手段は、さらに
ポリゴンデータを入力し、前記逐次処理手段は、さらに
ポリゴンデータを解析してポリゴンの頂点座標とエッジ
の傾きとを算出し、前記定型処理手段は、さらに算出さ
れた頂点座標と傾きと従って、前記ポリゴンの画像デー
タを生成するように構成してもよい。 【０１２０】この構成によれば、逐次処理手段はポリゴ
ンデータの解析を担当し、定型処理手段は定型的な画像
データ生成処理を担当する。本映像音声処理装置は、効
率よくポリゴンデータから画像データを生成するグラフ
ィックス処理を行うことができる。ここで、前記第１、
第２制御記憶部は、さらにＤＤＡアルゴリズムによる走
査変換を行うマイクロブログラムを記憶し、前記実行部
は、さらに逐次処理手段により算出された頂点座標と傾
きとに基づいてマイクロプログラム制御により走査変換
を行うように構成してもよい。 【０１２１】この構成によれば、画像データの生成は前
記第１、第２制御記憶部に走査変換マイクロプログラム
により簡単に実現することができる。また、前記合成手
段はさらに圧縮すべき映像データから差分画像を表す差
分ブロックを生成し、前記第２バッファはさらに生成さ
れた差分画像を保持し、第１制御記憶部はさらに離散余
弦変換するマイクロプログラムと量子化処理するマイク
ロプログラムとを記憶し、第２制御記憶部はさらに離散
余弦変換するマイクロプログラムと離散余弦変換された
映像ブロックを第１バッファに転送するマイクロプログ
ラムとを記憶し、前記実行手段はさらに第２バッファに
保持された差分ブロックに対して離散余弦変換と量子化
を実行して第１バッファに転送し、前記データ変換手段
はさらに第１バッファのブロックに対して可変長符号化
を行い、前記逐次処理手段はさらにデータ変換手段によ
り可変長符号化された所定のブロックに対してヘッダ情
報を付加するように構成してもよい。 【０１２２】この構成によれば、定型処理手段は定型的
な処理として量子化と離散余弦変換を担当し、逐次処理
手段は条件判断を要する処理（ヘッダ情報の付加）を担
当する。この場合、本映像音声処理装置は、高速クロッ
クを用いなくても画像データから圧縮映像データへのエ
ンコード処理を効率よく実行することができる。また、
前記演算手段は、それぞれマイクロプログラムを記憶す
る第１、第２の制御記憶部と、第１制御記憶部に第１読
出アドレスを指定する第１プログラムカウンタと、第２
読出アドレスを指定する第２プログラムカウンタと、第
１読出アドレスと第２読出アドレスとの一方を選択して
第２制御記憶部に出力するセレクタと、乗算器と加算器
とをそれぞれ有し、第１、第２制御記憶部によるマイク
ロプログラム制御によりブロック単位の逆量子化と逆離
散余弦変換とを実行する複数の実行部とを備え、各実行
部は、ブロックを分割した部分ブロックを分担して処理
するように構成してもよい。 【０１２３】この構成によれば、複数の実行部が並列に
演算命令を実行するので、定型的な大量の演算を画素レ
ベルで並列化して効率よく実行することができる。ま
た、前記演算手段は、さらに、各実行部に対応して設け
られ、各変換テーブルは所定のアドレス列に対応して部
分的にアドレス順序を入れ換えた変換アドレス保持する
複数のアドレス変換テーブルと、所定の演算を実現する
マイクロプログラムを構成する個々のマイクロ命令を変
換アドレスに対応させて記憶する複数レジスタからなる
命令レジスタ群と、第１及び第２制御記憶部と複数の実
行部との間に設けられ、第１制御記憶部又はセレクタか
ら各実行部に出力されるマイクロ命令を、命令レジスタ
のマイクロ命令に切り替えて複数の実行部に出力する切
り替え部とを備え、前記第１読出アドレス又は第２読出
アドレスが前記所定のアドレス列の中のアドレスである
場合、そのアドレスは前記各アドレス変換テーブルによ
って変換アドレスに変換される。前記命令レジスタ群
は、変換テーブルから出力された各変換アドレスに対応
するマイクロ命令を出力するように構成してもよい。 【０１２４】この構成によれば、複数の実行部が並列に
マイクロプログラムを実行する間、実行部間でアクセス
の競合など資源干渉を回避して、さらに効率よく処理す
ることができる。ここで、前記各変換テーブルは、さら
に第１プログラムカウンタが前記所定のアドレス列中の
第１読出アドレスを出力する間、前記レジスタ中の加減
算を示すマイクロ命令出力に伴って、加算すべきか減算
すべきかを示すフラグを前記複数の実行部に出力し、前
記各実行部は、前記フラグに従って加減算を実行し、前
記フラグは、前記第２制御記憶部のマイクロ命令に従っ
て設定されるように構成してもよい。 【０１２５】この構成によれば、マイクロ命令により加
算を行うか減算を行うかを変換テーブルが指定するの
で、同じマイクロプログラムを２通りに共用できるの
で、さらに、マイクロプログラムの全容量を低減させる
ことができ、ハードウェア規模の低減、ひいては低コス
ト化を実現できる。また、前記第２制御記憶部は、さら
に第１プログラムカウンタが前記所定のアドレス列中の
第１読出アドレスを出力する間、前記レジスタ中のマイ
クロ命令出力に伴って、マイクロ命令実行結果の格納先
を示す情報を前記複数の実行部に出力し、前記各実行部
は、格納先情報に従って実行結果を格納するように構成
してもよい。 【０１２６】この構成によれば、格納先情報は、命令レ
ジスタ群中のマイクロプログラムと別個に指定できるの
で、当該マイクロプロラムを異なる処理例えば行列演算
の部分的な処理において共用することができる。その結
果、さらに、マイクロプログラムの全容量を低減させる
ことができ、ハードウェア規模の低減、ひいては低コス
ト化を実現できる。
の技術分野に属するものであって、圧縮された映像及び
音声データの伸長、映像及び音声データの圧縮、グラフ
ィックス処理などを行う画像処理装置に関する。 【０００２】 【従来の技術】近年、ディジタル動画データの圧縮／伸
長技術が確立されてきたことや、ＬＳＩ技術が向上して
きたこととがあいまって、圧縮映像及び音声データを伸
長するデコーダ、映像及び音声データを圧縮するエンコ
ーダ、グラフィックス処理を行うグラフィックス処理な
どの種々の映像音声処理装置が重要視されている。 【０００３】第１の従来技術として、ＭＰＥＧ（Moving
Picture Experts Group）規格の圧縮映像及び音声デー
タを伸長する映像音声デコーダ（特開平８−１１１６４
２９）がある。この映像音声デコーダは、１つの信号処
理ユニットを用いて映像デコードと音声デコードの両方
を行う。図１に、この映像音声デコーダによるデコード
処理の説明図を示す。同図の縦軸は時間を、横軸は演算
量を表している。 【０００４】縦軸に沿って大きく見ると、映像デコード
と音声デコードとが交互に処理される。これは、共通の
ハードウェアで映像、音声の両者をデコードするためで
ある。同図のように映像デコードは、逐次処理とブロッ
ク処理とに分けられる。逐次処理は、ブロック以外のデ
コード、つまりＭＰＥＧストリームのヘッダ解析など多
岐にわたる条件判断を必要とする処理であり、その演算
量は少ない。ブロックデコードは、ＭＰＥＧストリーム
の可変長符号を復号しさらにブロック単位に逆量子化、
逆ＤＣＴ（離散余弦変換）を行う処理であり、その演算
量は大きい。同図のように音声デコードも、多岐にわた
る条件判断を必要とする上記と同様の逐次処理と、音声
データ本体のデコード処理とに分けられる。音声データ
本体のデコード処理は、画像データよりも高い精度が要
求され、かつ限られた時間内に処理しなければならない
ので、精度よく高速に処理する必要があり、その演算量
は大きい。 【０００５】このように、第１の従来技術は、１チップ
化を可能にし、１チップという少ないハードウェアで効
率的な音声映像デコードを実現している。第２の従来技
術として、２チップ構成のデコーダがある。１チップは
映像デコーダ、他の１チップは音声デコーダとして用い
られる。図２に２チップ構成のデコーダによるデコード
処理の説明図を示す。映像デコーダ、音声デコーダとも
にヘッダ解析等の条件判断を多数含む逐次処理と、デー
タ本体のデコードを主とするブロックデコード処理とを
行う。映像デコーダ、音声デコーダともに、独立に処理
するので第１の従来技術と比べて個々のチップの能力は
低くてよい。 【０００６】 【発明が解決しようとする課題】しかしながら上記従来
技術によれば、次のような問題があった。第１の従来技
術によれば、信号処理ユニットが映像も音声もデコード
しなねればならないので、高い処理能力が要求される。
つまり１００ＭＨｚ以上の高速クロックを用いて動作さ
せる必要があり、民生用の半導体としてはコストが高い
という問題がある。また、高速クロックを用いずに処理
能力を高めるために、ＶＬＩＷ(Very Long Instruction
Word)プロセッサなどを用いることも考えられなくはな
いが、ＶＬＩＷプロセッサそのもののコストが高いうえ
に、別途逐次処理を行うプロセッサを用いなければ全体
の処理としては非効率になるという問題がある。 【０００７】第２の従来技術によれば、２つのプロセッ
サを用いるのでコストが高いという問題があった。つま
り、映像用プロセッサも音声用プロセッサも、処理能力
の低い汎用の安価なプロセッサをそのまま使用すること
はできない。なぜなら映像用のプロセッサは、大量の画
像データをリアルタイムに処理する能力が要求されるか
らである。また音声用のプロセッサは、映像用プロセッ
サほど多くの演算量を要求されないけれども、音声デー
タの方が画像データよりも高い精度を要求されるからで
ある。それゆえ、安価なあるいは処理能力の低いプロセ
ッサでは、映像用としても音声用としても、要求される
処理能力を満たさない。 【０００８】さらに、ディジタル（衛星）放送用チュー
ナー（ＳＴＢ（Set Top Box）と呼ばれる）やＤＶＤ（D
igital Versatile/Video Disc）再生装置などに用いら
れるＡＶデコーダ中に上記映像音声処理装置が用いられ
る場合には、放送波から受信されたあるいはディスクか
ら読み出されたＭＰＥＧストリームを入力し、そのＭＰ
ＥＧストリームをデコードし、最終的にディスプレイ、
スピーカなどへ映像信号出力及び音声信号出力をするま
でに必要とされる一連の処理量は膨大なものとなる。最
近では、このような一連の膨大な処理を効率良く実行す
る映像音声処理装置に対する要求が高まっている。 【０００９】本発明は、圧縮画像及び圧縮音声データを
表すストリームデータの入力、デコード、出力という一
連の処理を行い、高い周波数で動作させなくても高い処
理能力を有し、製造コストを低減させることができる映
像音声処理装置を提供することを目的とする。また本発
明の他の目的は、圧縮映像データのデコード、映像デー
タのエンコード、グラフィックス処理を低コストで実現
する映像音声処理装置を提供することにある。 【００１０】 【課題を解決するための手段】上記の課題を解決するた
め本発明の映像音声処理装置は、圧縮音声データと圧縮
映像データとを含むデータストリームを外部から入力、
デコードし、デコードしたデータを出力装置に出力する
装置であって、外部要因により非同期に発生する入出力
処理を行う入出力処理手段と、前記入出力処理と並行し
て、メモリに格納されたデータストリームのデコードを
主とするデコード処理を行うデコード処理手段とを備
え、前記デコード処理手段によりデコードされた映像デ
ータ、デコードされた音声データはメモリに格納され、
前記入出力処理は、外部から非同期に入力される前記デ
ータストリームを入力し、さらにメモリに格納すること
と、メモリに格納されたデータストリームをデコード処
理手段に供給することと、外部の表示装置、音声出力装
置それぞれの出力レートに合わせてメモリから読み出
し、それらに出力することとを入出力処理として行うよ
うに構成されている。 【００１１】この構成によれば、入出力処理手段とデコ
ード処理手段とがパイプライン的に並列動作することに
加えて、非同期処理とデコード処理とを入出力処理手段
とデコード処理手段とに分担させるので、デコード処理
手段は非同期に発生する処理から解放されてデコード処
理に専従することができる。その結果、本映像音声処理
装置は、ストリームデータ入力、デコード、出力という
一連の処理を効率良く実行するので、ストリームデータ
のフルデコード（フレーム落ちなし）を高速な動作クロ
ックを用いなくても可能にしている。 【００１２】 【発明の実施の形態】本発明の映像音声処理装置につい
て、その実施の形態を次のように項分けして記載する。 1 第１の実施形態 1.1 映像音声処理装置の概略構成 1.1.1 入出力処理部 1.1.2 デコード処理部 1.1.2.1 逐次処理部 1.1.2.2 定型処理部 1.2 映像音声処理装置の構成 1.2.1 入出力処理部の構成 1.2.2 デコード処理部 1.2.2.1 逐次処理部 1.2.2.2 定型処理部 1.3 各部の詳細構成 1.3.1 プロセッサ７（逐次処理部） 1.3.2 定型処理部 1.3.2.1 コード変換部 1.3.2.2 画素演算部 1.3.2.3 画素読み書き部 1.3.3 入出力処理部 1.3.3.1 ＩＯプロセッサ 1.3.3.1.1 命令読出回路 1.3.3.1.2 タスク管理部 1.4 動作説明 2 第２の実施形態 2.1 映像音声処理装置の構成 2.1.1 画素演算部 ＜1. 第１の実施形態＞本実施形態における映像音声処
理装置は、衛星放送受信装置（ＳＴＢ:Set TopBoxと呼
ばれる）、ＤＶＤ(Digital Versatile Disc)再生装置、
ＤＶＤ−ＲＡＭ記録再生装置などに備えられ、圧縮映像
／音声データとして衛星放送から又はＤＶＤからのＭＰ
ＥＧストリームを入力し、伸長処理（以下単にデコード
と呼ぶ）を行って、映像信号及び音声信号を外部の出力
装置に出力する。 ＜1.1 映像音声処理装置の概略構成＞図３は、本発明
の第１の実施形態における映像音声処理装置の概略構成
を示すブロック図である。 【００１３】映像音声処理装置１０００は、入出力処理
部１００１、デコード処理部１００２、メモリコントロ
ーラ６を備え、入出力処理とデコード処理とを分離して
並行して行うように構成されている。また、外部メモリ
３は、ＭＰＥＧストリームやデコード後の音声データを
一時的に記憶する作業用メモリ、デコード後の映像デー
タを記憶するフレームメモリとして利用される。 ＜1.1.1 入出力処理部＞入出力処理部１００１は、映
像音声処理装置１０００の内部動作とは非同期に発生す
る入出力処理を行う。この入出力処理は、（ａ）外部か
ら非同期に入力されるＭＰＥＧストリームを入力して外
部メモリ３に一時的に格納すること、（ｂ）外部メモリ
３に格納されたＭＰＥＧストリームをデコード処理部１
００２に供給すること、（ｃ）デコードされた映像デー
タ、音声データを外部メモリ３から読み出し、外部の表
示装置、音声出力装置（図外）それぞれの出力レートに
合わせて出力することを内容とする。 ＜1.1.2 デコード処理部＞デコード処理部１００２
は、入出力処理部１００１の動作とは独立に並行して、
入出力処理部１００１によって供給されるＭＰＥＧスト
リームのデコードし、デコード後の映像データ及び音声
データを外部メモリ３に格納する。ＭＰＥＧストリーム
のデコード処理は演算量が多く処理内容も多岐にわたる
ため、デコード処理部１００２は、逐次処理部１００
３、定型処理部１００４とを備え、多岐に亘る条件判断
を主とする逐次処理と、定型的な大量の演算を主としか
つ並列演算に適した定型処理とを分離して並行して実行
するように構成されている。ここで、逐次処理は、ＭＰ
ＥＧストリームのヘッダ解析などであり、ヘッダの検出
及びヘッダ内容の判定等の多数の条件判断含む。また定
型処理は、所定数の画素からなるブロック単位に各種演
算を施す必要があるので、パイプライン的な並列処理に
適していて、かつ、異なるデータ（画素）に対して全く
同じ演算を施すというベクトル演算のような並列処理に
適している。 ＜1.1.2.1 逐次処理部＞逐次処理部１００３は、入出
力処理部１００１から供給される圧縮音声データ及び圧
縮映像データのヘッダ解析と、定型処理部１００４をマ
クロブロック毎に起動する制御と、圧縮音声データのデ
コード処理とを上記逐次処理として行う。ヘッダ解析
は、ＭＰＥＧストリームにおけるマクロブロックヘッダ
の解析と、動きベクトルの復号を含む。ここでブロック
とは、８＊８画素からなる画像を表す。マクロブロック
とは、４つの輝度ブロックと２つの色差ブロックからな
る。動きベクトルとは、参照フレーム中の８＊８画素の
矩形領域を指すベクトルであり、当該ブロックが参照フ
レーム中のどの矩形領域との差分がとられたかを指し示
す。 ＜1.1.2.2 定型処理部＞定型処理部１００４は、逐次
処理部１００３からマクロブロック毎にデコードの起動
指示を受けて逐次処理部１００３の音声デコード処理と
並行して、マクロブロックのデコード処理を上記定型処
理として行う。このデコード処理は、可変長符号の復号
（ＶＬＤ:Variable Length code Decoding）、逆量子化
（ＩＱ：Inverse Quantization）、逆離散余弦変換（Ｉ
ＤＣＴ:Inverse Discrete Cosine Transform）、動き補
償（ＭＣ:Motion Compensation）を同順に施すことを内
容とする。定型処理部１００４は、動き補償において、
復号後のブロックをフレームメモリとしての外部メモリ
３にメモリコントローラ６を介して格納する。 ＜1.2 映像音声処理装置の構成＞図４は、映像音声処
理装置１０００のより詳細な構成を示すブロック図であ
る。 ＜1.2.1 入出力処理部の構成＞同図において入出力処
理部１００１は、ストリーム入力部１、バッファメモリ
２、入出力プロセッサ５（以下ＩＯプロセッサ５と略
す）、ＤＭＡＣ（Direct Memory Access Controller）
５ａ、ビデオ出力部１２、音声出力部１３、ホストI/F
部１４とを備える。 【００１４】ストリーム入力部１は、外部からシリアル
に入力されるＭＰＥＧデータストリームをパラレルデー
タ（以降、ＭＰＥＧデータと呼ぶ）に変換する。その
際、ストリーム入力部１は、ＭＰＥＧデータストリーム
からＧＯＰ(Group Of Picture:Ｉピクチャを１つ含み、
約０．５秒分の動画に相当するＭＰＥＧデータストリー
ム）のスタートコードを検出し、その旨をＩＯプロセッ
サ５に通知する。この通知により変換後のＭＰＥＧデー
タは、ＩＯプロセッサ５の制御によりバッファメモリ２
に転送される。 【００１５】バッファメモリ２は、ストリーム入力部１
から転送されたＭＰＥＧデータを一時的に保持する緩衝
用メモリである。バッファメモリ２に保持されたＭＰＥ
Ｇデータは、さらに入出力プロセッサ５の制御の下でメ
モリコントローラ６を介して外部メモリ３に転送され
る。外部メモリ３は、ＳＤＲＡＭ（Synchronous Dynami
c Random Access Memory）チップにより構成され、バッ
ファメモリ２からメモリコントローラ６を介して転送さ
れたＭＰＥＧデータを一時的に保持する。さらに、外部
メモリ３は復号後の映像データ（以降、フレームデータ
とも呼ぶ）および復号後の音声データも保持する。 【００１６】入出力プロセッサ５は、ストリーム入力部
１、バッファメモリ２、外部メモリ３（メモリコントロ
ーラ６が介在する）、ＦＩＦＯメモリ４の間のデータ入
出力を制御する。すなわち以下の(1)〜(4)に示す経路の
データ転送（ＤＭＡ転送）を制御する。 (1)ストリーム入力部１→バッファメモリ２→メモリコントローラ
６→外部メモリ３ (2)外部メモリ３→メモリコントローラ６→ＦＩＦＯメモリ４ (3)外部メモリ３→メモリコントローラ６→バッファメモリ２→ビ
デオ出力部１２ (4)外部メモリ３→メモリコントローラ６→バッファメモリ２→音
声出力部１３ これらの径路では入出力プロセッサ５は、ＭＰＥＧデー
タ中の映像データと音声データとを独立にそれぞれの転
送を制御する。また、(1)、(2)は復号前のＭＰＥＧデー
タの転送経路である。(1)、(2)の転送経路において入出
力プロセッサ５は、圧縮映像データと圧縮音声データと
を別個に転送する。(3)、(4)はそれぞれ、復号後の映
像、音声データの転送経路である。復号後の映像、音声
データは、外部の表示装置（図外）、音声出力装置（図
外）それぞれの出力レートに合わせて転送される。 【００１７】ＤＭＡＣ５ａは、ストリーム入力部１、ビ
デオ出力部１２、音声出力部１３とバッファメモリ２と
の間のＤＭＡ転送、バッファメモリ２と外部メモリ３と
の間のＤＭＡ転送、外部メモリ３とＦＩＦＯメモリ４の
間のＤＭＡ転送をＩＯプロセッサ５の制御に従って実行
する。ビデオ出力部１２は、外部の表示装置（ＣＲＴ
等）の出力レート（たとえば水平同期信号Ｈsyncの周
期）に合せて入出力プロセッサ５にデータ要求を出し、
入出力プロセッサ５により上記(3)の転送経路により入
力される映像データをその表示装置に出力する。 【００１８】音声出力部１３は、外部の音声出力装置の
出力レートに合せて入出力プロセッサ５にデータ要求を
出し、入出力プロセッサ５により上記(4)の転送経路に
より入力される音声データを音声出力装置（Ｄ／Ａコン
バータ、音声アンプ、スピーカの組み合わせ等）に出力
する。ホストI/F部１４は、外部のホストプロセッサ、
たとえばＤＶＤ再生装置の場合にはその制御全般を行う
プロセッサとの通信を行うためのインターフェースであ
る。この通信では、ホストプロセッサからＭＰＥＧスト
リームのデコード開始、停止、早送り再生、逆再生等の
指示などが送られる。 ＜1.2.2 デコード処理部＞図４のデコード処理部１０
０２は、ＦＩＦＯメモリ４、逐次処理部１００３、定型
処理部１００４と備え、入出力処理部１００１からＦＩ
ＦＯメモリ４を介して供給されるＭＰＥＧデータのデコ
ード処理を行う。また、逐次処理部１００３は、プロセ
ッサ７と内部メモリ８とを備える。定型処理部１００４
は、コード変換部９、画素演算部１０、画素読み書き部
１１、バッファ２００、バッファ２０１を備える。 【００１９】ＦＩＦＯメモリ４は、２つのＦＩＦＯ（以
下映像ＦＩＦＯ、音声ＦＩＦＯと呼ぶ）からなり、入出
力プロセッサ５の制御の下で外部メモリ３から転送され
た圧縮映像データ、圧縮音声データをそれぞれ先入れ先
出し式に記憶する。 ＜1.2.2.1 逐次処理部＞プロセッサ７は、ＦＩＦＯメ
モリ４の圧縮映像データ及び圧縮音声データの読み出し
を制御するとともに、圧縮映像データに対する一部のデ
コード処理と、圧縮音声データに対する全デコード処理
とを行う。圧縮映像データの一部のデコード処理とは、
ＭＰＥＧデータ中のヘッダ情報の解析と動きベクトルの
計算と圧縮映像デコード処理の制御とを含む。これは、
圧縮映像データの全デコード処理を、プロセッサ７と、
定型処理部１００４とで分担して行うためである。つま
りプロセッサ７は多岐にわたる条件判断を必要とする逐
次処理を分担し、定型処理部１００４は、大量の定型的
な演算処理を分担する。これに対し音声デコードは、映
像デコードに比べて演算量が少ないのでプロセッサ７が
全部を担当している。 【００２０】プロセッサ７の機能を図５を用いて具体的
に説明する。図５はＭＰＥＧストリームを階層的に示と
ともに映像音声処理装置各部の動作タイミングを示して
いる。同図において横軸は時間軸である。第１階層はＭ
ＰＥＧストリームの流れを示す。第２階層のように１秒
間のＭＰＥＧストリームは、複数のフレーム（Ｉ、Ｐ、
Ｂピクチャ）を含む。第３階層のように１フレームは、
ピクチャヘッダと複数のスライスを含む。第４階層のよ
うに１スライスは、スライスヘッダと複数のマクロブロ
ックを含む。第５階層のように１マクロブロックは、マ
クロブロックヘッダと６つのブロックを含む。 【００２１】同図に示す第１〜第５階層のデータ構成
は、公知文献、例えば株式会社アスキー「ポイント図解
式最新ＭＰＥＧ教科書」に詳しく説明されている。プロ
セッサ７は、同図の第５階層以下に示すように、ＭＰＥ
Ｇストリーム中のマクロブロック層までのヘッダ解析と
圧縮音声データの復号とを行う。その際、プロセッサ７
は、マクロブロック単位のヘッダ解析結果に従って、コ
ード変換部９、画素演算部１０及び画素読み書き部１１
に対してマクロブロックのデコードを開始を指示し、コ
ード変換部９、画素演算部１０及び画素読み書き部１１
によってマクロブロックのデコードがなされている間、
ＦＩＦＯメモリ４から圧縮音声データの読み出してデコ
ードする。コード変換部９、画素演算部１０及び画素読
み書き部１１によりマクロブロックのデコードが終了し
たと、プロセッサ７は、割込み信号によりその旨の通知
を受け、圧縮音声データのデコードを中断して、次のマ
クロブロックのヘッダ解析を開始する。 【００２２】内部メモリ８は、プロセッサ７のワークメ
モリであり、復号された音声データを一時的に保持す
る。保持された音声データは、入出力プロセッサ５によ
り上記(4)の経路で外部メモリ３に転送される。 ＜1.2.2.2 定型処理部＞コード変換部９は、ＦＩＦＯ
メモリ４から読み出された圧縮映像データを可変長復号
（ＶＬＤ）する。図５に示すように、コード変換部９
は、復号後のデータのうち、ヘッダ情報及び動きベクト
ルに関する情報（図中の破線区間）をプロセッサ７に転
送し、マクロブロック（輝度ブロックＹ０〜Ｙ３と色差
ブロックＣｂ、Ｃｒとからなる６ブロック）のデータ
（図中の実線区間）をバッファ２００を介して画素演算
部１０に転送する。コード変換部９による復号後のマク
ロブロックのデータは空間周波数成分を表すデータであ
る。 【００２３】バッファ２００は、コード変換部９により
書き込まれる１ブロック（８×８画素分）分の空間周波
数成分を表すデータを保持する。画素演算部１０は、コ
ード変換部９からバッファ２００を介して転送されたブ
ロックデータに対して、逆量子化処理（ＩＱ）及び逆離
散余弦変換（ＩＤＣＴ）をブロック単位に行う。画素演
算部１０による処理結果は、輝度ブロックであれば画素
の輝度値又はその差分を表すデータであり、色差ブロッ
クであれば画素の色差又はその差分を表すデータであ
り、バッファ２０１を介して画素読み書き部１１に転送
される。 【００２４】バッファ２０１は、１ブロック（８×８画
素分）分の画素データを保持する。画素読み書き部１１
は、画素演算部１０の処理結果に対して、ブロック単位
に動き補償を行う。すなわち、Ｐピクチャ、Ｂピクチャ
については、外部メモリ３内の復号済みの参照フレーム
から動きベクトルが示す矩形領域をメモリコントローラ
６を介して切り出して、画素演算部１０の処理結果のブ
ロックと合成することにより、元のブロック画像に復号
する。画素読み書き部１１による復号結果は、メモリコ
ントローラ６を介して外部メモリ３に格納される。 【００２５】上記の動き補償、ＩＱ、ＩＤＣＴの各内容
については公知技術なので詳しい説明は省略する（上記
文献参照）。 ＜1.3 各部の詳細構成＞次に、映像音声処理装置１０
００の主要な各部の詳細な構成について説明する。 ＜1.3.1 プロセッサ７（逐次処理部）＞図６は、プロ
セッサ７によるマクロブロックヘッダの解析と、他の各
部への制御内容とを示す図である。まず同図に略語で示
してあるマクロブロックヘッダ中の各データは上記文献
等に説明されているのでここでは説明を省略する。 【００２６】同図のようにプロセッサ７は、コード変換
部９にコマンドを発行して可変長復号されたヘッダ部分
のデータを逐次取得し、その内容に従ってコード変換部
９、画素演算部１０、画素読み書き部１１に対してマク
ロブロックのデコードに必要なデータを設定する。具体
的には、まずプロセッサ７は、コード変換部９にＭＢＡ
Ｉ（Macro BlockAddress Increment）を取得するための
コマンドを発行して（Ｓ１０１）、コード変換部９から
ＭＢＡＩを取得する。このＭＢＡＩに基づき当該マクロ
ブロックデータがスキップマクロブロックであれば（今
デコードしようとしているマクロブロックが前回と同じ
であれば）、マクロブロックデータが省略されているの
でＳ１１７に進み、スキップマクロブロックでなければ
ヘッダ解析を続ける（Ｓ１０２、１０３）。 【００２７】次いで、プロセッサ７はＭＢＴ（Macro Bl
ock Type）を取得するためのコマンドを発行して、コー
ド変換部９からＭＢＴを取得する。このＭＢＴからブロ
ックのスキャンタイプがジグザグスキャンかオールタネ
ートスキャンかを判断し、画素演算部１０にバッファ２
００の読み出し順序を指示する（Ｓ１０４）。さらに、
プロセッサ７は既に取得したヘッダデータからＳＴＷＣ
（Spartial Temporal Weight Code）が存在するか否か
を判定し（Ｓ１０５）、存在する場合にはコマンドを発
行して取得する（Ｓ１０６）。 【００２８】同様にしてプロセッサ７は、ＦｒＭＴ（Fr
ame Motion Type）、ＦｉＭＴ（Field Motion Type）、
ＤＴ（DCT type）、ＱＳＣ（Quantizer Scale Code）、
ＭＶ（Motion Vector）、ＣＢＰ（Coded Block Patter
n）を取得する（Ｓ１０７〜１１６）。その際、プロセ
ッサ７は、ＦｒＭＴ、ＦｉＭＴ、ＤＴの解析結果を画素
読み書き部１１に通知し、ＱＳＣの解析結果を画素演算
部１０に通知し、ＣＢＰの解析結果をコード変換部９に
通知する。これによりＩＱ、ＩＤＣＴ、動き補償に必要
が情報が、コード変換部９、画素演算部１０、画素読み
書き部１１に設定される。 【００２９】また２プロセッサ構成では、多岐にわたる
条件判断を必要とする上記の逐次処理を各プロセッサが
個別に行うため冗長な構成になっていた。次いで、プロ
セッサ７はコード変換部９に対してマクロブロックのデ
コード開始指示を発行する（Ｓ１１７）。これによりコ
ード変換部９は、マクロブロック内の各ブロックについ
てＶＬＤを開始し、ＶＬＤの結果をバッファ２００を介
して画素演算部１０に出力する。さらにプロセッサ７
は、ＭＶデータに基づいて動きベクトルを計算し（Ｓ１
１８）、その計算結果を画素読み書き部１１に通知する
（Ｓ１１９）。 【００３０】上記処理において、動きベクトルに関して
は、動きベクトルのデータ（ＭＶ）取得（Ｓ１１３）
し、動きベクトルの計算（Ｓ１１８）し、動きベクトル
を画素読み書き部１１に設定する（Ｓ１１９）という一
連の処理が必要である。この点、プロセッサ７は、動き
ベクトルデータ（ＭＶ）を取得（Ｓ１１３）した直後に
動きベクトルの計算及び設定（Ｓ１１８、１１９）しな
いで、定型処理部１００４へのデコード開始指示を発行
してから動きベクトルを計算及び設定を行うようにして
いる。これにより、プロセッサ７の動きベクトル計算お
よび設定処理と、定型処理部１００４へのデコード処理
とが並列に処理されるようになる。つまり定型処理部１
００４のデコード開始タイミングを早くしている。 【００３１】以上のようにしてマクロブロック１つ分の
圧縮映像データのヘッダ解析が完了するので、プロセッ
サ７は、ＦＩＦＯメモリ４から圧縮音声データを取得し
て、音声デコード処理を開始する（Ｓ１２０）。音声デ
コード処理は、コード変換部９からマクロブロックのデ
コード完了を示す割り込み信号が入力されるまで続けら
れる。この割り込み信号によりプロセッサ７は次のマク
ロブロックに対して上記ヘッダ解析を開始する。 ＜1.3.2 定型処理部＞次に、定型処理部１００４は、
マクロブロック内の６つのブロックをコード変換部９、
画素演算部１０、画素読み書き部１１を並列に（パイプ
ライン的に）に動作させることによりデコード処理を行
っている。ここでは、画素演算部１０、画素読み書き部
１１、コード変換部９の順にそれらの構成をより詳細に
説明する。 ＜1.3.2.1 コード変換部９＞図１９は、コード変換部
９の構成を示すブロック図である。 【００３２】同図のコード変換部９は、ＶＬＤ部９０
１、カウンタ９０２、インクリメンタ９０３、セレクタ
９０４、スキャンテーブル９０５、スキャンテーブル９
０６、フリップフロップ（以下ＦＦと略す）９０７、セ
レクタ９０８とを備え、可変長復号（ＶＬＤ）した結果
をブロック単位に、ジグザグスキャン又はオルタネート
スキャンの順に配列するようにバッファ２００に書き込
むよう構成されている。 【００３３】ＶＬＤ部９０１は、ＦＩＦＯメモリ４から
読み出された圧縮映像データを可変長復号（ＶＬＤ）
し、復号後のデータのうち、ヘッダ情報及び動きベクト
ルに関する情報（図５中の破線区間）をプロセッサ７に
転送し、マクロブロック（輝度ブロックＹ０〜Ｙ３と色
差ブロックＣｂ、Ｃｒとからなる６ブロック）のデータ
（図５中の実線区間）をブロック（６４個の空間周波数
データ）単位にバッファ２００に出力する。 【００３４】カウンタ９０２、インクリメンタ９０３、
セレクタ９０４からなる回路部分は、ＶＬＤ部９０１か
らの空間周波数データの出力に同期して、０から６３ま
でを繰り返しカウントする。スキャンテーブル９０５
は、バッファ２００のブロック記憶領域のアドレスをジ
グザグスキャンの順に記憶しているテーブルであり、カ
ウンタ９０２の出力値（０〜６３）が順に入力され、順
次そのアドレスを出力する。図２０にバッファ２００中
の８×８個の空間周波数データを記憶するブロック記憶
領域と、ジグザグスキャンの順路を示す。スキャンテー
ブル９０５は、同図の順路における画素アドレスを順次
出力する。 【００３５】スキャンテーブル９０６は、バッファ２０
０のブロック記憶領域のアドレスをオルタネートスキャ
ンの順に記憶しているテーブルであり、カウンタ９０２
の出力値（０〜６３）が順に入力され、順次そのアドレ
スを出力する。図２１にバッファ２００中の８×８個の
空間周波数データを記憶するブロック記憶領域と、オル
タネートスキャンの順路を示す。スキャンテーブル９０
５は、同図の順路における画素アドレスを順次出力す
る。 【００３６】ＦＦ９０７は、スキャンタイプ（ジグザグ
スキャンかオルタネートスキャンか）を示すフラグを保
持する。このフラグは、プロセッサ７により設定され
る。セレクタ９０８は、ＦＦ９０７のフラグに応じてス
キャンテーブル９０５とスキャンテーブル９０６とから
出力されるアドレスを選択し、バッファ２００に書き込
みアドレスとして出力する。 ＜1.3.2.2 画素演算部＞図７は、画素演算部１０の構
成を示すブロック図である。 【００３７】同図のように画素演算部１０は、乗算器５
０２と加減算器５０３からなる実行部５０１と、第１プ
ログラムカウンタ（以降、第１ＰＣと略す）５０４と、
第２プログラムカウンタ（以降、第２ＰＣと略す）５０
５と、第１命令メモリ５０６と、第２命令メモリ５０７
と、セレクタ５０８とを有し、ＩＱとＩＤＣＴの一部と
をオーバラップさせて並列に実行できるように構成され
ている。。 【００３８】実行部５０１は、第１命令メモリ５０６、
第２命令メモリ５０７から順次出力されるマイクロ命令
に従って、バッファ２００、２０１のアクセス及び演算
を実行する。第１命令メモリ５０６、第２命令メモリ５
０７は、バッファ２００に保持されたブロック（周波数
成分）に対して、ＩＱ、ＩＤＣＴを実現するためのマイ
クロプログラムを記憶する制御記憶である。図８に、第
１命令メモリ５０６及び第２命令メモリ５０７に記憶さ
れたマイクロプログラムの一例を示す。 【００３９】同図において、第１命令メモリ５０６はＩ
ＤＣＴ１Ａマイクロプログラムと、ＩＱマイクロプログ
ラムとを記憶し、第１ＰＣ５０４によって読み出しアド
レスが指定される。ＩＱマイクロプグラムは、バッファ
２００の読み出しと、乗算とを主体とする演算処理であ
り、加減算器５０３を用いない。第２命令メモリ５０７
はＩＤＣＴ１Ｂマイクロプログラムと、ＩＤＣＴ２マイ
クロプログラムとを記憶し、セレクタ５０８を介して第
１ＰＣ５０４又は第２ＰＣ５０５により読出アドレスが
指定される。ここで、ＩＤＣＴ１は、乗算及び加減算を
主とするＩＤＣＴの前半部分の処理を意味し、ＩＤＣＴ
１ＡマイクロプログラムとＩＤＣＴ１Ｂマイクロプログ
ラムとが同時に読み出されることにより実行部５０１全
体を使って実行される。また、ＩＤＣＴ２は、加減算を
主とするＩＤＣＴの後半部分の処理とバッファ２０１へ
の書き出し処理を意味し、第２命令メモリ５０７のＩＤ
ＣＴ２マイクロプログラムが読み出されることによって
加減算器５０３を使って実行される。 【００４０】ＩＱは乗算器５０２により、ＩＤＣＴ２は
加減算器５０３により処理されるので、これらは並列動
作可能になっている。図９に、画素演算部１０によるＩ
Ｑ、ＩＤＣＴ１、ＩＤＣＴ２の動作タイミング図を示
す。図９において、コード変換部９はバッファ２００に
輝度ブロックＹ０のデータを書き込むと（タイミングｔ
０）、その旨を制御信号１０２にて画素演算部１０に通
知する。画素演算部１０は、プロセッサ７のヘッダ解析
時に設定されたＱＳ（Quantizer Scale）値を用いて、
第１ＰＣ５０４のアドレス指定に従って第１命令メモリ
５０６のＩＱマイクロプログラムを読み出すことによっ
てバッファ２００のデータに対してＩＱを行う。このと
き、セレクタ５０８は第１ＰＣ５０４を選択する（タイ
ミングｔ１）。 【００４１】さらに、画素演算部１０は、第１ＰＣ５０
４のアドレス指定に従ってＩＤＣＴ１Ａ及びＩＤＣＴ１
Ｂマイクロプログラムを読み出すことによってバッファ
２００のデータに対してＩＤＣＴ１を行う。このとき、
セレクタ５０８は第１ＰＣ５０４を選択するので、第１
命令メモリ５０６、第２命令メモリ５０７の双方に第１
ＰＣ５０４からのアドレスが指定される（タイミングｔ
２）。 【００４２】次に、画素演算部１０は、上記ＱＳ（Quan
tizer Scale）値を用いて、第１ＰＣ５０４のアドレス
指定に従って第１命令メモリ５０６のＩＱマイクロプロ
グラムを読み出すことによってバッファ２００のブロッ
クＹ１のデータに対してＩＱを行い、同時に、第２ＰＣ
５０５のアドレス指定に従って第２命令メモリ５０７の
ＩＤＣＴ２マイクロプログラムを読み出すことによって
ブロックＹ０に対してＩＤＣＴ処理の後半部分を処理す
る。このときセレクタ５０８は第２ＰＣ５０５を選択す
る。第１ＰＣ５０４と第２ＰＣ５０５とは独立にアドレ
スを指定することになる（タイミングｔ３）。 【００４３】この後も同様に画素演算部１０はブロック
単位に処理を続ける（タイミングｔ４以降）。 ＜1.3.2.3 画素読み書き部＞図１０は、画素読み書き
部１１の詳細な構成を示すブロック図である。同図のよ
うに画素読み書き部１１は、バッファ７１〜７４（以
下、バッファＡ〜Ｄと呼ぶ）と、ハーフぺル補間部７５
と、合成部７６と、セレクタ７７、７８と、読み書き制
御部７９とからなる。 【００４４】読み書き制御部７９は、バッファ２０１を
介して入力されるブロックデータに対して、バッファＡ
〜Ｄを用いて動き補償を行い、最終的な復号画像を２ブ
ロック単位で外部メモリ３に転送する。より具体的に
は、プロセッサ７のヘッダ解析時に設定された動きベク
トルに従って、外部メモリ３中の参照フレームから２ブ
ロック分に相当する矩形領域を読み出すようメモリコン
トローラ６を制御する。その結果、バッファＡ又はバッ
ファＢに動きベクトルが指し示す２ブロック分の矩形領
域のデータが格納される。その後、ピクチャの種類（Ｉ
かＰかＢピクチャか）に応じて２ブロック分の矩形領域
のハーフペル補間を合成部７６にて行う。さらにバッフ
ァ２０１を介して入力されるブロックデータと、ハーフ
ペル補間後の矩形領域とを合成（加算）することによ
り、当該ブロックの画素値を算出し、バッファＢに格納
する。こうしてバッファＢに格納された最終的な復号ブ
ロックはメモリコントローラ６を介して外部メモリ３に
転送される。 ＜1.3.3 入出力処理部＞入出力処理部１００１は、上
記のように多数のデータ入出力（データ転送）を実行す
るために、種々のデータ転送を分担する複数のタスクを
オーバーヘッドなく切り替え、しかもデータ入出力要求
に対して応答遅延を生じさせないように構成されてい
る。ここでいうオーバーヘッドは、タスクスイッチ時に
発生するコンテキストの退避及び復帰である。つまり入
出力プロセッサ５は、プログラムカウンタの命令アドレ
スやレジスタデータをメモリ（スタック領域）に退避及
び復帰することにより生ずるオーバーヘッドを解消する
ように構成されている。ここでは、その詳細な構成につ
いて説明する。 ＜1.3.3.1 ＩＯプロセッサ＞図１１は、ＩＯプロセッ
サ５の構成を示すブロック図である。同図において、Ｉ
Ｏプロセッサ５は、状態監視レジスタ５１、命令メモリ
５２、命令読出回路５３、命令レジスタ５４、デコーダ
５５、演算実行部５６、汎用レジスタセット群５７、タ
スク管理部５８を備え、非同期に発生する複数のイベン
トに対応するために、極めて短い周期（例えば４命令サ
イクル）毎にタスクを切り替えながら実行するよう構成
されている。 【００４５】状態監視レジスタ５１は、レジスタＣＲ１
〜ＣＲ３からなり、ＩＯプロセッサ５が種々の入出力状
態を監視するための種々の状態データ（フラグなど）を
保持する。例えば、状態監視レジスタ５１は、ストリー
ム入力部１の状態（ＭＰＥＧストリームにおけるスター
トコード検出フラグ）、ビデオ出力部１２の状態（水平
ブランキング期間を示すフラグ、フレームデータの転送
完了フラグ）、音声出力部１３の状態（音声フレームデ
ータの転送完了フラグ）や、それらとバッファメモリ
２、外部メモリ３及びＦＩＦＯメモリ４との間でのデー
タ転送の状態（データ転送数、ＦＩＦＯメモリ４へのデ
ータ要求フラグ）などを示す状態データを保持する。 【００４６】より具体的には、以下のフラグ等を含む。 ・スタートコード検出フラグ（以下フラグ１とも呼ぶ） このフラグは、ストリーム入力部１によってＭＰＥＧス
トリームにおけるスタートコードが検出されたとき設定
される。 ・水平ブランキングフラグ（フラグ２） このフラグは、水平ブランキング期間を示すフラグであ
り、ビデオ出力部１２により設定される。約６０マイク
ロ秒周期で設定される。 ・映像フレームデータの転送完了フラグ（フラグ３） このフラグは、外部メモリ３からビデオ出力部１２へ１
フレーム分の復号された画像データが転送されたときＤ
ＭＡＣ５ａによって設定される。 ・音声フレームデータの転送完了フラグ（フラグ４） このフラグは、外部メモリ３から音声出力部１３へ１フ
レーム分の復号された音声データが転送されたときＤＭ
ＡＣ５ａによって設定される。 ・データ転送完了フラグ（フラグ５） このフラグは、ストリーム入力部１からバッファメモリ
２へＩＯプロセッサ５により指定されたデータ数の圧縮
画像データがＤＭＡＣ５ａによりＤＭＡ転送されたとき
（ターミナルカウントになったとき）に設定される。 ・ＤＭＡ要求フラグ（フラグ６） このフラグは、バッファメモリ２の圧縮画像データ又は
圧縮音声データを外部メモリ３へＤＭＡ転送すべきデー
タがあることを示すフラグであり、ＩＯプロセッサ５に
より設定される（後述するタスク１からタスク２への要
求）。 ・映像ＦＩＦＯへのデータ要求フラグ（フラグ７） このフラグは、外部メモリ３からＦＩＦＯメモリ４中の
映像ＦＩＦＯへのデータ転送を要求するフラグであり、
映像ＦＩＦＯの圧縮映像データが所定量以下になったと
き設定される。このフラグは、約５〜４０マイクロ秒周
期で設定される。 ・音声ＦＩＦＯへのデータ要求フラグ（フラグ８） このフラグは、外部メモリ３からＦＩＦＯメモリ４中の
音声ＦＩＦＯへのデータ転送を要求するフラグであり、
音声ＦＩＦＯの圧縮音声データが所定量以下になったと
きに設定される。このフラグは、約１５〜６０マイクロ
秒周期で設定される。 ・デコーダ通信要求フラグ（フラグ９） このフラグは、デコード処理部１００２から入出力処理
部１００１へ通信を要求するフラグである。 ・ホスト通信要求フラグ（フラグ１０） このフラグは、ホストプロセッサから入出力処理部１０
０１へ通信を要求するフラグである。 【００４７】上記のフラグ類は、ＩＯプロセッサ５によ
り実行される各タスクにより、割り込みではなく、定常
的に監視される。命令メモリ５２は、多数のデータ入出
力（データ転送）制御を分担する複数のタスクプログラ
ムを記憶する。本実施例では、タスク０〜５の６つのタ
スクプログラムを記憶する。 ・タスク０（ホストI/Fタスク） 本タスクは、上記フラグ１０が設定されたとき、ホスト
コンピュ−タとの通信、つまりホストI/F部１４を介し
たホストコンピュ−タとの通信処理を行うためのタスク
である。例えば、ホストプロセッサからのＭＰＥＧスト
リームのデコード開始、停止、早送り再生、逆再生等の
受け付けと、デコード状況（エラー等）の通知などが行
われる。この処理は、上記フラグ１０をトリガーとす
る。 ・タスク１（パージングタスク） 本タスクは、ストリーム入力部１によりスタートコード
が検出されたとき（上記フラグ１）、ストリーム入力部
１から入力されるＭＰＥＧデータを解析（パージング）
して、個々のエレメンタリストリームを抽出して、抽出
されたエレメンタリストリームを、ＤＭＡ転送(上記転
送経路(1)の前半部分)によりバッファメモリ２に転送す
るプログラムである。ここで抽出されるエレメンタリス
トリームの種類は、圧縮映像データ（ビデオエレメンタ
リーストリームとも呼ぶ）、圧縮音声データ（オーディ
オエレメンタリーストリームとも呼ぶ）、プライベート
データなどがある。エレメンタリストリームをバッファ
メモリ２に格納したときに、上記フラグ６が設定され
る。 ・タスク２（ストリーム転送／オーディオタスク） 本タスクは、次の（ａ）〜（ｃ）の転送を制御するプロ
グラムである。 【００４８】(a)バッファメモリ２から外部メモリ３へ
個々のエレメンタリーストリームのＤＭＡ転送(上記転
送経路(1)の後半部分)。この転送は、上記フラグ１、３
をトリガーとする。 (b)オーディオＦＩＦＯに保持されている圧縮音声デー
タのデータサイズ（残量）に応じて、外部メモリ３から
ＦＩＦＯメモリ４のオーディオＦＩＦＯへの圧縮音声デ
ータのＤＭＡ転送（上記転送経路(2)におけるオーディ
オＦＩＦＯへの転送）。このデータ転送は、オーディオ
ＦＩＦＯに保持されている圧縮音声データのデータサイ
ズが一定量よりも少なくなった場合になされる。この転
送は、上記フラグ８をトリガーとする。 【００４９】(c)外部メモリ３からバッファメモリ２
へ、さらにバッファメモリ２から音声出力部１３へ復号
後のオーディオデータのＤＭＡ転送（上記転送経路
(4)）。この転送は、上記フラグ２をトリガーとする。 ・タスク３（映像供給タスク） 本タスクは、映像ＦＩＦＯに保持されている圧縮映像デ
ータのデータサイズ（残量）に応じて、外部メモリ３か
らＦＩＦＯメモリ４の映像ＦＩＦＯへの圧縮映像データ
のＤＭＡ転送（上記転送経路(2)における映像ＦＩＦＯ
への転送）を処理するプログラムである。このデータ転
送は、映像ＦＩＦＯに保持されている圧縮映像データの
データサイズが一定量よりも少なくなった場合になされ
る。この転送は、上記フラグ７をトリガーとする。 ・タスク４（ビデオ出力タスク） 本タスクは、外部メモリ３からバッファメモリ２へ、さ
らにバッファメモリ２からビデオ出力部１２へ復号後の
映像データのＤＭＡ転送（上記転送経路(4)）を処理す
るプログラムである。この転送は、上記フラグ２をトリ
ガーとする。 ・タスク５（デコーダＩ／Ｆタスク） 本タスクは、デコード処理部１００２からＩＯプロセッ
サ５に向けてのコマンドを処理するプログラムである。
コマンドには、「getAPTS」、「getVPTS」、「getSTC」
などがある。getVPTS（Video Presentation Time Stam
p）は、デコード処理部１００２がＩＯプロセッサ５に
対して圧縮映像データに付与されているＶＰＴＳの取得
を要求するコマンドである。getAPTS（Audio Presentat
ion Time Stamp）は、デコード処理部１００２がＩＯプ
ロセッサ５に対して圧縮音声データに付与されているＡ
ＰＴＳの取得を要求するコマンドである。getSTC（Syst
em Time Clock）は、デコード処理部１００２がＩＯプ
ロセッサ５に対してＳＴＣの取得を要求するコマンドで
ある。これらのコマンドを受けたＩＯプロセッサ５は、
デコード処理部１００２にＳＴＣ、ＶＰＴＳ、ＡＰＴＳ
をそれぞれ通知する。ＳＴＣ、ＶＰＴＳ、ＡＰＴＳは、
デコード処理部１００２において音声と映像とのデコー
ドを同期させたり、フレーム単位でデコードの進度を調
整するために用いられる。この処理は、上記フラグ９を
トリガーとする。 【００５０】命令読出回路５３は、命令フェッチアドレ
スを指すプログラムカウンタ（以下ＰＣと略す）を複数
個備え、タスク管理部５８により指定されたＰＣを用い
て命令メモリ５２から命令を読み出して命令レジスタ５
４に格納する。具体的には、命令読出回路５３は、上記
タスク０〜５に対応するＰＣ０〜５を有し、タスク管理
部５８によるＰＣの指定が変更されたとき、ハードウェ
アにより高速にＰＣを切り替えるように構成されてい
る。この構成によりＩＯプロセッサ５は、タスクスイッ
チに際して現在のタスクのＰＣ値をメモリに退避し、メ
モリから次のタスクのＰＣ値を復帰する処理から解放さ
れている。 【００５１】デコーダ５５は、命令メモリ５２から読み
出されて命令レジスタ５４に格納された命令を解読し、
当該命令を実行するように演算実行部５６を制御する。
加えて、デコーダ５５は、ＩＯプロセッサ５全体を、命
令読出回路５３の命令読み出しステージ、デコーダ５５
の解読ステージ、演算実行部５６の実行ステージの少な
くとも３段からなるパイプライン制御を行う。 【００５２】演算実行部５６は、ＡＬＵ（Arithmetic L
ogical Unit）、乗算器、ＢＳ(Barrel Shifter)などを
有し、デコーダ５５の制御に従って、命令で指定された
演算を実行する。汎用レジスタセット群５７は、タスク
０〜タスク５に対応する６つのレジスタセット（１レジ
スタセットは４本の３２ビットレジスタと４本の１６ビ
ットレジスタ）を備えている。全部で２４本の３２ビッ
トレジスタと２４本の１６ビットレジスタとを有し、実
行中のタスクに対応するレジスタセットが使用される。
これによりＩＯプロセッサ５は、タスクスイッチに際し
て現在の全レジスタデータをメモリに退避し、メモリか
ら次のタスクのレジスタデータを復帰する処理から解放
されている。 【００５３】タスク管理部５８は、所定数の命令サイク
ル数毎に、命令読出回路５３のＰＣ及び汎用レジスタセ
ット群５７のレジスタセットを切り替えることによりタ
スク切替えを行う。本実施例では上記所定数は４であ
る。またＩＯプロセッサ５は１命令を１命令サイクルで
パイプライン処理するので、タスク管理部５８は、上記
オーバーヘッドを生じることなしに４命令毎にタスクを
切り替えることになる。これにより非同期に発生する各
種の入出力要求に対して応答遅延を抑えている。つまり
入出力要求に対する応答遅延は、最大でもわずか２４命
令サイクルしか生じない。 ＜1.3.3.1.1 命令読出回路＞図１２は、命令読出回路
５３の詳細な構成例を示すブロック図である。 【００５４】同図において命令読出回路５３は、タスク
別ＰＣ格納部５３ａ、現ＩＦＡＲ（Instruction Fetch
Address Register）５３ｂ、インクリメンタ５３ｃ、次
ＩＦＡＲ５３ｄ、セレクタ５３ｅ、セレクタ５３ｆ、Ｄ
ＥＣＡＲ（DECode Address Register）５３ｇを備え、
タスク切替えに際してオーバーヘッドなしに命令読み出
しアドレスを切り替えるように構成されている。 【００５５】タスク別ＰＣ格納部５３ａは、タスク０〜
５に対応する６本のアドレスレジスタを有し、タスク毎
にプログラムカウント値を保持する。各プログラムカウ
ント値は、対応するタスクの再開アドレスである。タス
ク切替えに際して、タスク管理部５８及びデコーダ５５
の制御の下で、次に実行すべきタスクに対応するアドレ
スレジスタからプログラムカウント値が読み出され、現
に実行しているタスクに対応するアドレスレジスタのプ
ログラムカウント値が新たな再開アドレスに更新され
る。このとき、次に実行すべきタスク、現タスクは、そ
れぞれタスク管理部５８により"nexttaskid（rd add
r）"信号（以下タスクＩＤとも呼ぶ）、”taskid（wr a
ddr）”信号により指定される。 【００５６】タスク０、１、２に対応するプログラムカ
ウント値を図１３のＰＣ０、１、２に示す。同図におい
て、（０−０）はタスク０の命令０を、（１−４）はタ
スク１の命令４を表す。例えば、ＰＣ０は、タスク０の
再開に際して読み出され（命令サイクルｔ０）、次のタ
スクへの切替に際して、命令（０−４）のアドレスに更
新される（命令サイクルｔ４）。 【００５７】インクリメンタ５３ｃ、次ＩＦＡＲ５３
ｄ、セレクタ５３ｅからなるループ回路は、セレクタ５
３ｅにより選択された命令読み出しアドレスを更新する
回路である。セレクタ５３ｅから出力されるアドレスを
図１３のＩＦ１に示す。同図において、例えばタスク０
からタスク１への切替えに際して、セレクタ５３ｅは、
サイクルｔ４においてタスク別ＰＣ格納部５３ａから読
み出された命令（１−０）アドレスを選択し、サイクル
ｔ５〜ｔ７において次ＩＦＡＲ５３ｄからのインクリメ
ントされた命令アドレスを選択する。 【００５８】現ＩＦＡＲ５３ｂは、セレクタ５３ｅの選
択出力ＩＦ１を１サイクル遅れて保持し、命令メモリ５
２に命令読み出しアドレスとして出力する。言い換えれ
ば、現在アクティブなタスクの命令読み出しアドレスを
保持する。現ＩＦＡＲ５３ｂの命令読み出しアドレス
を、図１３のＩＦ２に示す。同図に示すように、ＩＦ２
は４命令サイクル毎に異なるタスクの命令アドレスを指
している。 【００５９】ＤＥＣＡＲ５３ｇは、命令レジスタ５４に
保持されている命令のアドレスを保持する。つまり、デ
コード中の命令を指す。図１３中のＤＥＣに、ＤＥＣＡ
Ｒ５３ｇに保持されたアドレスを示す。また、図１３中
のＥＸは、実行中の命令アドレスを示す。セレクタ５３
ｆは、分岐命令実行時や割込み発生時に分岐アドレスを
選択し、それ以外は次ＩＦＡＲ５３ｄのアドレスを選択
する。 【００６０】このような命令読出回路５３を備えること
により、ＩＯプロセッサ５は、図１３に示すように４段
（ＩＦ１、ＩＦ２、ＤＥＣ、ＥＸ）のパイプライン処理
を行っている。このうちＩＦ１ステージは、複数プログ
ラムカウント値の選択及び更新を行うステージである。
ＩＦ２ステージは、命令を読み出すステージである。 ＜1.3.3.1.2 タスク管理部＞図１４は、タスク管理部
５８の詳細な構成を示すブロック図である。同図におい
てタスク管理部５８は、タスクの切替えタイミングを管
理するスロットマネージャと、タスクの順序を管理する
スケジューラとに大別される。 【００６１】スロットマネージャは、カウンタ５８ａ、
ラッチ５８ｂ、比較器５８ｃ、ラッチユニット５８ｄを
有し、４命令サイクル毎にタスク切替えを指示するタス
ク切替信号（chgtaskex）を命令読出回路５３へ出力す
る。具体的には、ラッチ５８ｂは、カウンタ５８ａの出
力の下位２ビットを保持する２個のＦＦ（Flip Flop）
回路である。カウンタ５８ａは、命令サイクルを示すク
ロック毎にラッチ５８ｂの２ビットの出力値を＋１イン
クリメントした３ビットを出力する。その結果、カウン
タ５８ａは、１、２、３、４を繰り返し出力することに
なる。比較器５８ｃは、カウンタ５８ａの出力値が定数
４と一致したときにタスク切替信号（chgtaskex）を命
令読出回路５３とスケジューラとに出力する。 【００６２】スケジューラは、タスクラウンド管理部５
８ｅ、プライオリティエンコーダ５８ｆ、ラッチ５８ｇ
を備え、タスク切替信号（chgtaskex）が出力されるご
とに、タスクｉｄを更新し、現在のタスクｉｄと次に実
行すべきタスクｉｄとを命令読出回路５３に出力する。
具体的には、ラッチユニット５８ｄ、ラッチ５８ｇは、
ともに現在のタスクｉｄをエンコードされた形式（３ビ
ット）で保持する。エンコードされた形式は、その値が
タスクｉｄを表す。 【００６３】タスクラウンド管理部５８ｅは、タスク切
替信号（chgtaskex）が入力されたとき、ラッチユニッ
ト５８ｄを参照して、次に実行すべきタスクｉｄを、デ
コードされた形式（６ビット）で出力する。デコードさ
れた形式（６ビット）は、１ビットが１タスクに対応
し、ビット位置がタスクｉｄを表す。プライオリティエ
ンコーダ５８ｆは、タスクラウンド管理部５８ｅから出
力されるタスクｉｄを、デコードされた形式からエンコ
ードされた形式に変換する。上記ラッチユニット５８
ｄ、ラッチ５８ｇは、ともにエンコードされたタスクｉ
ｄを１サイクル遅れて保持する。 【００６４】この構成により、タスクラウンド管理部５
８ｅは、比較器５８ｃからタスク切替信号（chgtaske
x）が出力されたとき、プライオリティエンコーダ５８
ｆから次に実行すべきタスクのｉｄを"nexttaskid（rd
addr）"信号として、ラッチ５８ｅから現タスクｉｄ
を”taskid（wr addr）”信号として出力する。 ＜1.4 動作説明＞以上のように構成された第１の実施
形態における映像音声処理装置１０００について、その
動作を説明する。 【００６５】入出力処理部１００１において、ストリー
ム入力部１から非同期に入力されるＭＰＥＧストリーム
は、入出力プロセッサ５の制御によって、バッファメモ
リ２、メモリコントローラ６を介して一旦外部メモリ３
に格納され、さらに、メモリコントローラ６を介してＦ
ＩＦＯメモリ４に保持される。このときＦＩＦＯメモリ
４に対して、ＩＯプロセッサ５は、上記タスク２
（ｂ）、タスク３を実行することによりその残量に応じ
て、圧縮動画データ、圧縮音声データを供給する。これ
により、ＦＩＦＯメモリ４には過不足なく一定量の圧縮
動画データ、圧縮音声データが供給されるので、デコー
ド処理部１００２は、非同期の入出力とは切り離され
て、デコード処理に専従することができる。ここまでの
処理は、上記入出力処理部１００１により、デコード処
理部１００２とは独立に並行してなされる。 【００６６】一方、デコード処理部１００２において、
ＦＩＦＯメモリ４に保持されたＭＰＥＧストリームデー
タは、以降プロセッサ７、コード変換部９、画素演算部
１０、画素読み書き部１１により復号される。ＦＩＦＯ
メモリ４以降の復号動作を示す説明図を図１５に示す。
同図では、横軸を時間軸としておおよそ１マクロブロッ
ク分のヘッダ解析及び各ブロック毎のデコードの様子を
示している。また縦方向はデコード処理部１００２の各
部においてブロック毎のデコードがパイプライン的に実
行される様子を示している。 【００６７】同図に示すように、プロセッサ７は、圧縮
映像データのヘッダ解析と、圧縮音声データに対するデ
コード処理とを時分割で繰り返す。すなわち、プロセッ
サ７は、１マクロブロック分のヘッダ解析を行い、解析
結果をコード変換部９、画素演算部１０、画素読み書き
部１１に通知した後、コード変換部９に対してマクロブ
ロックのデコード開始を指示する。その後プロセッサ７
は、コード変換部９からの割込み信号が通知されるま
で、圧縮音声データのデコード処理を行う。デコード後
の音声データは内部メモリ８に一旦保持され、さらにメ
モリコントローラ６により外部メモリ３にＤＭＡ転送さ
れる。 【００６８】また、コード変換部９は、プロセッサ７か
らマクロブロックのデコード開始指示を受けて、マクロ
ブロック内の各ブロック毎にバッファ２００に格納す
る。このときコード変換部９は、プロセッサ７のヘッダ
解析時に通知されたブロックのスキャンタイプに応じて
バッファ２００への書き込みアドレスの順番を変更す
る。つまりジグザグスキャンの場合と、オルタネートス
キャンの場合とで書き込みアドレスの順番を変更する。
これにより画素演算部１０は、読み出しアドレスの順番
を変更しなくてもよく、スキャンタイプに拘らず常に同
じに読み出しアドレスの順番にて読み出すことができ
る。コード変換部９は、マクロブロック内の６つのブロ
ックをＶＬＤ処理をし終えるまで上記動作を繰り返して
バッファ２００に書き出す。６ブロックのＶＬＤを終え
るとプロセッサ７に割込みを発生する。この割込み信号
は、マクロブロックデコード終了信号End Of Macro Blo
ck(EOMB)である。コード変換部９は６つ目のブロックの
ブロック終了信号End Of Block(EOB)を検出することに
よりEOMBを生成している。 【００６９】画素演算部１０は、コード変換部９と並行
して、図９に示したようにバッファ２００に格納された
ブロックデータをブロック単位にＩＱ、ＩＤＣＴを施
し、その処理結果をバッファ２０１に格納する。画素読
み書き部１１は、画素演算部１０と並行して、バッファ
２０１のブロックデータと、プロセッサ７によるヘッダ
解析により通知された動きベクトルとに基づいて、図１
５に示すように外部メモリ３の参照フレームからの矩形
領域の切り出しと、ブロック合成とを行う。ブロック合
成結果は、ＦＩＦＯメモリ４を介して外部メモリ３に格
納される。 【００７０】上記は、スキップマクロブロックではない
場合の動作であるが、スキップマクロブロックの場合に
はコード変換部９及び画素演算部１０は動作せず、画素
読み書き部１１のみが動作する。スキップマクロブロッ
クがある場合には、参照フレーム中の矩形領域と同じ画
像なので、画素読み書き部１１により、その画像が復号
画像として外部メモリ３にコピーされることになる。 【００７１】この場合、コード変換部９からプロセッサ
７への割込み信号は次のようにして生成される。すなわ
ち、プロセッサ７が画素読み書き部１１に対して動き補
償動作の開始の制御信号を送付したことを示す信号と、
画素読み書き部１１が動き補償動作が可能であることを
示す信号と、スキップマクロブロックであることを示す
信号との論理積を取り、さらにこの論理積と上記のEOMB
信号との論理和として割込み信号がプロセッサ７に入力
される。 【００７２】以上説明してきたように本発明の第１実施
形態の映像音声処理装置によれば、記憶媒体や通信媒体
からのＭＰＥＧストリーム入力処理と、表示装置及び音
声出力装置への表示画像データ及び音声データの出力処
理と、デコード処理部１００２へストリームを供給する
処理とを入出力処理部１００１が分担し、圧縮映像デー
タ及び圧縮音声データのデコード処理をデコード処理部
１００２が分担するように構成されている。これによ
り、デコード処理部１００２は、非同期に発生する処理
から解放されてデコード処理に専従することができる。
その結果、ＭＰＥＧストリーム入力、デコード、出力と
いう一連の処理を効率良く実行するので、高速な動作ク
ロックを用いなくてもＭＰＥＧストリームのフルデコー
ド（フレーム落ちなし）を実現することができる。 【００７３】また、本映像音声処理装置は、１チップに
ＬＳＩ化することが望ましい。この場合、１００ＭＨｚ
以下の動作クロック（実際には５４ＭＨｚ）で上記フル
デコードが可能である。この点、動作クロックが１００
ＭＨｚさらには２００ＭＨｚを越える近年の高性能ＣＰ
Ｕは、画像サイズが小さければ上記フルデコードを可能
にしているが、その反面製造コストが高価である。これ
に対して、本映像音声処理装置は、製造コストの点とフ
ルデコードの点で優れている。 【００７４】さらに、本映像音声処理装置のデコード処
理部１００２は、次のように役割分担している。つま
り、プロセッサ７が圧縮映像データに対しても圧縮音声
データに対しても多岐にわたる条件判断を必要とするヘ
ッダ解析を担当するとともに音声圧縮データのデコード
も担当する。圧縮映像データのブロックデータに対して
は、定型的な大量の演算量が要求されるので、コード変
換部９、画素演算部１０、画素読み書き部１１という専
用のハードウェア（ファームウェア）が、デコード処理
を担当する。図１５に示したようにコード変換部９、画
素演算部１０、画素読み書き部１１は、パイプライン化
されている。画素演算部１０は、ＩＱとＩＤＣＴとが並
列処理が可能になっている。画素読み書き部１１は２ブ
ロック単位の参照フレームのアクセスを実現している。
これらにより圧縮音声デコード処理の効率化が達成され
ているので、映像デコード専用のハードウェア部分は高
速クロックを用いなくとも、高い処理能力を得ることが
できる。具体的には１００ＭＨｚを越える高速クロック
を用いずに５０〜６０ＭＨｚ程度のクロックで従来と同
程度以上の処理能力が得られた。従って、高速素子を用
いる必要がなく製造コストを押さえることができる。 【００７５】また、映像デコードの基本単位をプロセッ
サ７においてマクロブロック単位、コード変換部９およ
び画素演算部１０においてブロック、画素読み書き部１
１において２ブロックとしているので、映像デコードに
おける緩衝バッファの容量を最小限に抑えることが可能
となる。 ＜2 第２の実施形態＞本実施形態の映像音声処理装置
は、圧縮ストリームデータのデコード機能に加えて、さ
らに、圧縮機能（以降、エンコード処理と呼ぶ）とグラ
フィックス機能を果たすように構成されている。 ＜2.1 映像音声処理装置の構成＞図１６は、本発明の
第２の実施形態における映像音声処理装置の構成を示す
ブロック図である。 【００７６】この映像音声処理装置２０００は、ストリ
ーム入出力部２１、バッファメモリ２２、ＦＩＦＯメモ
リ２４、入出力プロセッサ２５、メモリコントローラ２
６、プロセッサ２７、内部メモリ２８、コード変換部２
９、画素演算部３０、画素読み書き部３１、ビデオ出力
部１２、音声出力部１３、バッファ２００、バッファ２
０１とからなる。映像音声処理装置２０００は、図４に
示した映像音声処理装置１０００の機能に加えて、次の
機能が付加されている。すなわち、映像データと音声デ
ータの圧縮機能と、ポリゴンデータを描画するグラフィ
ックス機能とが付加されている。 【００７７】そのため、映像音声処理装置２０００にお
いて、図４と同名称の構成要素は全く同じ機能を有し、
さらに、圧縮機能とグラフィックス機能を果たす機能が
付加されている。以下図４と同じ点は説明を省略し、異
なる点を中心に説明する。ストリーム入出力部２１は、
双方向になっている点が異なる。つまり、入出力プロセ
ッサ２５の制御によりバッファメモリ２２からＭＰＥＧ
データを転送されると、転送されたパラレルデータをシ
リアルデータに変換して、ＭＰＥＧデータストリームと
して外部に出力する。 【００７８】バッファメモリ２２、ＦＩＦＯメモリ２４
も双方向になった点が異なる。入出力プロセッサ２５
は、第１実施形態に示した(1)〜(4)に示すの経路のデー
タ転送を制御することに加えて、(5)〜(8)の径路の転送
をも制御する。 (1)ストリーム入出力部２１→バッファメモリ２２→メモリコントロー
ラ２６→外部メモリ３ (2)外部メモリ３→メモリコントローラ２６→ＦＩＦＯメモリ２４ (3)外部メモリ３→メモリコントローラ２６→バッファメモリ２２
→ビデオ出力部１２ (4)外部メモリ３→メモリコントローラ２６→バッファメモリ２２
→音声出力部１３ (5)外部メモリ３→メモリコントローラ２６→内部メモリ２８ (6)外部メモリ３→メモリコントローラ２６→画素読み書き部３１ (7)ＦＩＦＯメモリ２４→メモリコントローラ２６→外部メモリ３ (8)外部メモリ３→メモリコントローラ２６→バッファメモリ２２
→ストリーム入出力部２１ (5)(6)の径路は、映像データ、音声データのエンコード
処理を行う場合の元のデータの径路であり、(7)(8)は、
圧縮後のＭＰＥＧストリームの径路を示す。 【００７９】まず、エンコード処理について説明する。
エンコードすべきデータは外部メモリ３に格納されてい
るものとする。外部メモリ３の映像データは、メモリコ
ントローラ２６を画素読み書き部３１が制御することに
より画素読み書き部３１に転送される。画素読み書き部
３１は映像データを第２のバッファ２０１に書き込む処
理と差分画像生成処理を行なう。差分画像生成処理は、
ブロック単位の動き検出（動きベクトルの算出）と差分
画像の生成とからなる。そのため、画素読み書き部３１
は、符号化対象ブロックと類似する矩形領域と参照フレ
ーム内で探索することにより動きベクトルを検出する動
き検出回路を内部に有している。なお動き検出回路の代
わりに、隣接するフレームの既に計算済みのブロックの
動きベクトルを利用して符号化対象の動きベクトルを見
積もる動き見積回路を備えるようにしてもよい。 【００８０】画素演算部２５は、ブロック単位に差分画
像データを受け取り、ＤＣＴ、ＩＤＣＴ、量子化処理
（以降、Ｑ処理）、ＩＱを行なう。こうして量子化され
た映像データはバッファ２００に格納される。コード変
換部２９は、バッファ２００から量子化データを受け取
り可変長符号処理（ＶＬＣ）を行なう。可変長符号化さ
れたデータは先入れ先出しメモリ２４に格納され、メモ
リコントローラ２６を通して外部メモリ３に格納される
とともに、プロセッサ２７によりマクロブロック毎にヘ
ッダ情報が付加される。 【００８１】また、外部メモリ３の映像データは、メモ
リコントローラ２６を介して内部メモリ２８に転送され
る。プロセッサ２７は、マクロブロック毎にヘッダ情報
を付加する処理と時分割で、内部メモリ２８の音声デー
タの圧縮処理を行う。以上のように、エンコード処理
は、第１の実施形態と逆の径路で処理されることにな
る。 【００８２】次に、グラフィックス処理について説明す
る。グラフィックス処理は、ポリゴンと呼ばれる矩形型
図形の組合せによって行なわれる三次元画像生成処理で
ある。本装置においてはポリゴンの頂点座標における画
素データからポリゴン内部の画素データを生成する処理
を行う。最初にポリゴンの頂点データは外部メモリ３に
格納されている。 【００８３】頂点データは、プロセッサ２７がメモリコ
ントローラ２６を制御することにより内部メモリ２８に
格納される。プロセッサ２７は内部メモリ２８より頂点
データを読みだしＤＤＡ(Digital Difference Analyze)
の前処理を行ないＦＩＦＯメモリ２４に書き込む。コー
ド変換部２９は、画素演算部３０の指示に従ってＦＩＦ
Ｏメモリ２４から頂点データを読みだし画素演算部３０
に転送する。 【００８４】画素演算部３０は、DDA処理を行ない画素
読み書き部３１に送信する。画素読み書き部３１は、プ
ロセッサ２７の指示に従い、Zバッファ処理あるいはα
ブレンディング処理を行ないメモリコントローラ２６を
介して外部メモリ３に画像データを書き出す。 ＜2.1.1 画素演算部＞図１７は、画素演算部３０の構
成を示すブロック図である。 【００８５】同図は、図７に示した画素演算部１０と同
じ構成要素には同じ番号を付与し、説明を省略し、以下
異なる点を中心に説明する。異なる点は、同図のように
画素演算部３０は、図７に示した画素演算部１０に対し
て実行部が３面（５０１ａ〜５０１ｃ）になっている点
と、命令ポインタ保持部３０８と命令レジスタ３０９と
分配部３１０とが追加された点とである。 【００８６】実行部５０１ａ〜５０１ｃが３面になって
いるのは、演算性能を向上させるためである。具体的に
は、グラフィックス処理においてはカラー画像ＲＧＢを
独立に並列演算する。ＩＱおよびＱ処理では、乗算器５
０２を３つ用いて高速化を図っている。ＩＤＣＴにおい
ては乗算器５０２および加減算器５０３を複数用いるこ
とによって時間短縮を図っている。ＩＤＣＴにおいては
バタフライ演算と呼ばれる演算が存在し、これは演算の
元となる全てのデータ間で依存関係があるので、実行部
５０１ａ〜５０１ｃのユニット間通信を行なうデータ線
１０３を設けている。 【００８７】第１命令メモリ５０６、第２命令メモリ５
０７は、ＩＤＣＴ、ＩＱに加えてＤＣＴ、Ｑ処理、ＤＤ
Ａ用のマイクロプログラムが格納されている。図１８
に、第１命令メモリ５０６、第２命令メモリ５０７の記
憶内容の一例を示す。図８に比べてＱ処理マイクロプロ
グラムと、ＤＣＴマイクロプログラムと、ＤＤＡマイク
ロプログラムとが追加されている。 【００８８】命令ポインタ保持部３０８ａ〜３０８ｃ
は、実行部５０１ａ〜５０１ｃに対応して設けられ、そ
れぞれ第１プログラムカウンタから入力されるアドレス
を変換して命令レジスタ部３０９に出力する変換テーブ
ルを有する。変換後のアドレスは、命令レジスタ部３０
９のレジスタ番号を意味する。さらに、命令ポインタ保
持部３０８ａ〜３０８ｃは、それぞれ後述するモディフ
ァイフラグを保持し命令実行部５０１ａ〜５０１ｃに出
力する。 【００８９】変換テーブルについては命令ポインタ保持
部３０８ａ、３０８ｂ、３０８ｃは、例えば入力アドレ
スが1,2,3,4,5,6,7,8,9,10,11,12である場合に、それぞ
れ次のような変換後アドレスを出力する。 命令ポインタ保持部３０８ａ:1,2,3,4,5,6,7,8,9,10,1
1,12 命令ポインタ保持部３０８ｂ:2,1,4,3,6,5,8,7,10,9,1
2,11 命令ポインタ保持部３０８ｃ:4,3,2,1,8,7,6,5,12,11,1
0,9 命令レジスタ部３０９は、図２３に示すように、マイク
ロ命令を保持する複数のレジスタ３つのセレクタと３つ
の出力ポートとからなる。３つのセレクタは、命令ポイ
ンタ部３０８ａ、３０８ｂ、３０８ｃから入力される変
換アドレス（レジスタ番号）に指定されるレジスタのマ
イクロ命令を選択する。３つの出力ポートは、セレクタ
に対応して設けられ、それぞれセレクタに選択されたマ
イクロ命令を分配部３１０を介して実行部５０１ａ〜５
０１ｃに出力する。３つのセレクタ及び出力ポートが設
けられているのは、３つの加減算器５０３（又は３つの
乗算器５０２）に同時に異なるマイクロ命令を供給する
ためである。本実施例では３つの出力ポートは、分配部
３１０を介して３つの加減算器５０３と３つの乗算器５
０２の何れかに選択的に供給するものとする。 【００９０】例えば、命令レジスタ部３０９はレジスタ
Ｒ１〜Ｒ１６（レジスタ番号１〜１６）を備えている。
レジスタＲ１〜Ｒ１６に格納されているマイクロプログ
ラムは、ＤＣＴ及びＩＤＣＴにおいて必要な行列演算処
理を表し、上記の３つのレジスタ番号順のいずれによっ
ても同一処理を行うように格納されている。つまり、上
記３つの実行順をもつマイクロプログラムは、実行順序
が可換な一部のマイクロ命令の順序が入れ換えられてい
る。これは、実行部５０１ａ〜５０１ｃが並列にマイク
ロプログラムを実行するので、実行部５０１ａ〜５０１
ｃ間でレジスタ（図外）アクセスの競合など資源干渉を
回避するためである。また、上記行列演算処理は、８×
８行列の乗算、転置、転送をその内容とする。 【００９１】次に、命令レジスタ部３０９の各レジスタ
に格納されるマイクロ命令はニーモニック形式では、
「ｏｐ Ｒｉ，Ｒｊ，ｄｅｓｔ，（モディファイフラ
グ）」と表記される。ただし命令レジスタ部３０９のマ
イクロ命令は、「ｏｐとＲｉ，Ｒｊと（モディファイフ
ラグ）」の部分だけである。「ｄｅｓｔ」の部分は命令
メモリ５０６、５０７から指定される。「（モディファ
イフラグ）」の部分命令ポインタ保持部３０８ａ〜３０
８ｃから指定される。 【００９２】ここで、”ｏｐ”は乗算命令、加減算命
令、転送命令などを示すオペレーションコード、”Ｒ
ｉ，Ｒｊ”はオペランドである。乗算命令は、３つの実
行部５０１ａ〜ｃ中の各乗算器５０２に実行される命令
であり、加算命令及び転送命令は、３つの実行部５０１
ａ〜ｃ中の各乗算器５０２に実行される命令である。”
ｄｅｓｔ”は演算結果の格納先を示す。この”ｄｅｓ
ｔ”は命令レジスタ部３０９のレジスタではなく、命令
メモリ５０６（乗算命令の場合）又は命令メモリ５０７
（加減算命令や転送命令の場合）から指定される。これ
は、命令レジスタ部３０９のマイクロプログラムを実行
部５０１ａ〜５０１ｃに共通化するためである。もし転
送先をレジスタにより指定すれば実行部５０１ａ〜５０
１ｃそれぞれに個別のマイクロプログラムを用意する必
要があり、マイクロプログラムの容量が数倍に膨らむこ
とになる。 【００９３】”モディファイフラグ”は、加減算命令に
おいて、加算であるか減算であるかを示すフラグであ
る。この”モディファイフラグ”は、命令レジスタ部３
０９のレジスタからではなく、命令ポインタ保持部３０
８ａ〜ｃから別途指定される。これは、ＤＣＴ、ＩＤＣ
Ｔでの行列演算に用いられる定数行列中に全要素が”
１”の行（又は列）と全要素が”−１”行（又は列）と
が含まれるので、命令ポインタ３０８ａ〜ｃから”モデ
ィファイフラグ”を指定することにより、命令レジスタ
部３０９の同一マイクロプログラムを共用することを可
能にしている。 【００９４】分配部３１０は、命令レジスタ部３０９か
ら入力される３つのマイクロ命令が加減算命令である場
合には、それらの「ｏｐとＲｉ，Ｒｊ」の部分と、命令
メモリ５０６から入力される「ｄｅｓｔ」の部分と、命
令ポインタ部３０８ａ〜ｃから入力される「モディファ
イフラグ」とを３つの加減算器５０３に分配し、同時に
命令メモリ５０６のマイクロ命令を３つの乗算器５０２
に分配する。また、分配部３１０は、命令レジスタ部３
０９から入力される３つのマイクロ命令が乗算命令であ
る場合には、それらの「ｏｐとＲｉ，Ｒｊ」の部分とを
命令メモリ５０６から入力される「ｄｅｓｔ」の部分と
を３つの乗算器５０２に分配し、、命令メモリ５０７の
マイクロ命令を３つの加減算器５０３に分配する。言い
換えれば、分配部３１０により、３つの加減算器５０３
に供給されるマイクロ命令は、３つの加減算器５０３に
共通する命令については命令メモリ５０７から１つのマ
イクロ命令がそれぞれに供給され、３つの加減算器５０
３で異なる加減算命令については命令レジスタ部３０９
からの３つのマイクロ命令がそれぞれに供給される。同
様に、３つの乗算器５０２に供給されるマイクロ命令
は、３つの乗算器５０２に共通する命令については命令
メモリ５０６からマイクロ命令が供給され、３つの乗算
器５０２で異なる乗算算命令については命令レジスタ部
３０９からのマイクロ命令がそれぞれに供給される。 【００９５】画素演算部３０のこのような構成によれ
ば、命令メモリ５０６、命令メモリ５０７の記憶容量を
削減することができる。もし、画素演算部３０が命令ポ
インタ保持部３０８ａ〜ｃ、命令レジスタ部３０９、分
配部３１０を備えていないと仮定すると、命令メモリ５
０６、命令メモリ５０７はいずれも、３つの実行部５０
１ａ〜ｃに対して異なるマイクロ命令を供給するには、
３つのマイクロ命令を並列に記憶しなければならない。 【００９６】図２２に命令ポインタ保持部３０８ａ〜
ｃ、命令レジスタ部３０９、分配部３１０を備えていな
い場合の命令メモリ５０６及び命令メモリ５０７の記憶
内容の一例を示す。同図では、１６ステップのマイクロ
プログラムが記憶され、１つのマイクロ命令は１６ビッ
ト長としている。この場合、命令メモリ５０６と命令メ
モリ５０７は、３つのマイクロ命令を並列に記録するこ
とから、合計１５３６ビット（１６ステップ×１６ビッ
ト×３×２）の記憶容量を必要とする。 【００９７】これに対して、本実施例の画素演算部３０
における、命令ポインタ保持部３０８ａ〜ｃ、命令レジ
スタ部３０９の記憶内容の一例を図２３に示す。同図で
も１６ステップのマイクロプログラムが記憶され、１マ
イクロ命令は１６ビットとしている。同図において、命
令ポインタ保持部３０８ａ〜ｃは、それぞれ１６個のレ
ジスタ番号（４ビット長）を記憶し、命令レジスタ部３
０９は１６個のマイクロ命令を記憶する。この場合、命
令ポインタ保持部３０８ａ〜ｃと命令レジスタ部３０９
との記憶容量は４４８ビット（１６ステップ×（１２＋
１６））でよい。このように画素演算部３０では、マイ
クロプログラムの記憶容量を大幅に削減することができ
る。実際には、「ｄｅｓｔ」「モディファイフラグ」が
別途発行されるようにしているので、その分の記録容量
又は回路が必要である。また、命令メモリ５０６、５０
７はマイクロ命令中の「ｄｅｓｔ」を指定し、また、実
行部５０１ａ〜ｃに共通する乗算命令、加減算命令を発
行するようにしているので、命令メモリ５０６、５０７
を完全に削除することまではしていない。もし、命令レ
ジスタ部３０９に６つの出力ポートを設ければ、命令メ
モリ５０６と命令メモリ５０７とを削除することも可能
になる。 【００９８】なお、図２３では、命令ポインタ保持部３
０８ａ〜３０８ｃは、第１プログラムカウンタの値が０
〜１５の場合に、変換アドレス（レジスタ番号）を出力
しているが、これに限らない。例えば第１プログラムカ
ウンタの値が３２〜４７の場合に変換アドレスを出力す
るようにしてもよい。この場合、第１プログラムカウン
タの値に適切なオフセット値を加える構成とすればよ
い。これにより、第１プログラムカウンタが示す任意の
アドレス列を変換アドレスに変換することができる。 【００９９】以上の構成により、本実施形態では圧縮映
像データと圧縮音声データのデコード処理だけでなく、
映像および音声データのエンコード処理と、ポリゴンデ
ータに基づくグラフィックス処理とが可能となってい
る。また、複数の実行部の並列動作により処理効率が向
上している。しかも、命令レジスタ部３０８ａ〜３０８
ｃにおいて一部のマイクロ命令の順序を入れ換えたこと
により、複数の実行部間の資源干渉を回避することがで
きるので、さらに処理効率を向上させている。 【０１００】なお、上記実施形態では３つの実行部を有
する構成を示しているのは、ＲＧＢカラーのそれぞれを
独立に演算できる点で有利だからである。さらに実行部
の数は、３つ以上あればいくつでもよい。また、上記実
施形態において映像音声処理装置１０００、２０００
は、それぞれ１チップＬＳＩ化することが望ましい。さ
らに外部メモリ３は、チップ外部であるものとして説明
したが、１チップ内に内臓する構成としてもよい。 【０１０１】また、上記実施形態では外部メモリに対し
てストリーム入出力部１（あるいはストリーム入出力部
２１）が、ＭＰＥＧストリーム（あるいは映像音声デー
タ）を格納していたが、ホストプロセッサが直接外部メ
モリ３に格納するように構成してもよい。さらに、上記
実施形態においてＩＯプロセッサ５は、４命令サイクル
毎にタスク切替えを行っているが、４命令サイクル以外
の複数命令サイクル毎であってもよい。また、タスク切
替えの命令サイクル数は、タスク毎に予め重み付けをし
て異なる命令サイクル数にしておいてもよい。また優先
度・緊急度に応じてタスク毎の命令サイクル数に重み付
けを行ってもよい。 【０１０２】 【発明の効果】本発明の映像音声処理装置は、圧縮音声
データと圧縮映像データとを含むデータストリームを外
部から入力、デコードし、デコードしたデータを出力装
置に出力する映像音声処理装置であって、外部要因によ
り非同期に発生する入出力処理を行う入出力処理手段
と、前記入出力処理と並行して、メモリに格納されたデ
ータストリームのデコードを主とするデコード処理を行
うデコード処理手段とを備え、前記デコード処理手段に
よりデコードされた映像データ、デコードされた音声デ
ータはメモリに格納され、前記入出力処理は、外部から
非同期に入力される前記データストリームを入力し、さ
らにメモリに格納することと、メモリに格納されたデー
タストリームをデコード処理手段に供給することと、外
部の表示装置、音声出力装置それぞれの出力レートに合
わせてメモリから読み出し、それらに出力することとを
入出力処理として行うように構成されている。 【０１０３】この構成によれば、入出力処理手段とデコ
ード処理手段とがパイプライン的に並列動作することに
加えて、非同期処理とデコード処理とを入出力処理手段
とデコード処理手段とに分担させるので、デコード処理
手段は非同期に発生する処理から解放されてデコード処
理に専従することができる。その結果、本映像音声処理
装置は、ストリームデータ入力、デコード、出力という
一連の処理を効率良く実行するので、ストリームデータ
のフルデコード（フレーム落ちなし）を高速な動作クロ
ックを用いなくても可能にしている。 【０１０４】また、前記デコード処理手段は、データス
トリームに対して、条件判断を主とする逐次処理であっ
て、圧縮音声データ及び圧縮映像データのヘッダ解析
と、圧縮音声データのデコードとを含む逐次処理を行な
う逐次処理手段と、前記逐次処理と並行して、定型処理
を行う。定型処理は、圧縮映像データのヘッダ解析を除
く圧縮映像データのデコードである定型処理手段とを備
える構成としてもよい。 【０１０５】この構成によれば、処理特性の異なる逐次
処理と並列処理に適した定型処理とを１つのユニットに
併存させることを解消することにより、処理効率を大幅
に向上させることができる。特に、定型処理手段の処理
効率を向上させることができる。なぜなら本映像音声処
理装置において、定型処理手段は上記の非同期処理及び
逐次処理から解放されたことから、圧縮映像データのデ
コードに要求される定型的な種々演算のみに専従できる
るからである。その結果、高速な動作クロックを用いな
くても高い処理能力を得ることができる。 【０１０６】さらに、前記入出力処理手段は、外部から
非同期データストリームを入力する入力手段と、外部の
表示装置にデコードされた映像データを出力する映像出
力手段と、外部の音声出力装置にデコードされた音声デ
ータを出力する音声出力手段と、命令メモリに格納され
た第１から第４のタスクを切替えながら実行するプロセ
ッサとを有し、前記第１タスクは入力部から前記メモリ
にデータストリームを転送するプログラムであり、前記
第２タスクは前記メモリからデコード処理手段にデータ
ストリームを供給するプログラムであり、前記第３タス
クは前記メモリから映像出力部にデコードされた映像デ
ータを出力するプログラムであり、前記第４タスクは前
記メモリから音声出力部にデコードされた音声データを
出力するプログラムであると構成してもよい。 【０１０７】ここで、前記プロセッサは、前記第１から
第４タスクに対応する少なくとも４つのプログラムカウ
ンタを有するプログラムカウンタ部と、１つのプログラ
ムカウンタが指す命令アドレスを用いて、各タスクプロ
グラムを記憶する命令メモリから命令を取り出す命令フ
ェッチ部と、命令取出部に取出された命令を実行する命
令実行部と、所定数の命令サイクルが経過する毎に、命
令フェッチ部に対してプログラムカウンタを順次切替え
るように制御するタスク制御部とを有する構成としても
よい。 【０１０８】この構成によれば、外部装置により定まる
ストリームデータの入力レート及び入力周期、外部表示
装置、外部音声出力装置により定まる映像データ、音声
データそれぞれの出力レート及び出力周期がどのような
範囲であっても、入出力要求に対する応答遅延が極めて
小さいという効果がある。また、本発明の映像音声処理
装置は、圧縮音声データと圧縮映像データとを含むデー
タストリームを入力する入力手段と、データストリーム
に対して、条件判断を主とする逐次処理であって、デー
タストリーム中の所定ブロック単位に付加されたヘッダ
情報の解析と、データストリーム中の圧縮音声データの
復号とを行なう逐次処理手段と、定型演算を主とする定
型処理であって、ヘッダ解析の結果を用いてデータスト
リーム中の圧縮映像データを、前記逐次処理と並行し
て、所定ブロック単位に復号する定型処理手段とを備
え、前記逐次処理手段は前記所定ブロックのヘッダ解析
が終了したとき、定型処理手段に当該所定ブロックのデ
コード開始を指示し、定型処理手段から所定ブロックの
デコード終了通知を受けたとき、次の所定ブロックのヘ
ッダ解析を開始するように構成してもよい。 【０１０９】この構成によれば、逐次処理手段が圧縮映
像データに対しても圧縮音声データに対しても多岐にわ
たる条件判断を必要とするヘッダ解析を担当するととも
に音声圧縮データのデコードも担当する。一方、定型処
理手段は、圧縮映像データのブロックデータに対する、
定型的な大量の演算量を担当する。このような役割分担
により、また逐次処理手段は映像デコードに比較して演
算量が少ない音声デコード全般と、圧縮映像データのヘ
ッダ解析と、定型処理手段の制御とを行う。その制御の
下で、定型処理手段は、専ら定型的な演算を行うので、
無駄のない効率的な処理を実現できる。それゆえ高い周
波数で動作させなくても処理能力を得ることができ、製
造コストを低減させることができる。また、逐次処理手
段は、音声デコード全般と、圧縮映像データのヘッダ解
析と、定型処理手段の制御とを順次行うので、１プロセ
ッサにて構成できる。 【０１１０】また、前記定型処理手段は、逐次処理手段
の指示に従ってデータストリーム中の圧縮映像データを
可変長復号するデータ変換手段と、可変長復号により得
られた映像ブロックに対して、所定の演算を施すことに
より逆量子化および逆離散余弦変換を行う演算手段と、
逆離散余弦変換後の映像ブロックと復号済みのブロック
を合成することにより動き補償処理を行って映像データ
を復元する合成手段とを有し、前記逐次処理手段は、デ
ータ変換手段により可変長復号されたヘッダ情報を取得
する取得手段と、取得されたヘッダ情報を解析する解析
手段と、解析結果として得られるパラメータを定型処理
手段に通知する通知手段と、入力手段により入力された
データストリーム中の圧縮音声データを復号する音声復
号手段と、前記定型処理手段から所定ブロックのデコー
ド完了を通知する割込み信号を受けたとき、音声復号手
段の動作を停止するとともに取得手段を起動し、前記通
知手段が前記通知をしたとき、前記データ変換手段に映
像ブロックの可変長復号の開始を指示する制御手段とを
有するように構成してもよい。 【０１１１】この構成によれば、マクロブロックなど所
定ブロック単位に逐次処理手段は、ヘッダ解析を行った
後音声デコードを行い、定型処理手段により所定ブロッ
クのデコードが完了したとき次のブロックのヘッダ解析
を開始する。このように逐次処理手段は時分割でヘッダ
解析と音声デコードとを繰り返すので１個のプロセッサ
にて低コストで実現することができる。また、定型処理
手段は多岐にわたる条件判断処理をする必要がないの
で、低コストで専用ハードウェア（或はハードウェアと
ファームウェア）化することができる。 【０１１２】ここで、前記演算手段は、さらに１ブロッ
クに相当する記憶領域を有する第１バッファを有し、前
記データ変換手段は、データストリーム中の圧縮映像デ
ータを可変長復号する可変長復号手段と、第１バッファ
の記憶領域のアドレスをジグザグスキャン順に並べた第
１アドレス列を記憶する第１アドレステーブル手段と、
第１バッファの記憶領域のアドレスをオルタネートスキ
ャン順に並べた第２アドレス列を記憶する第２アドレス
テーブル手段と、第１アドレス列と第２アドレス列の一
方に従って、可変長復号手段の可変長復号により得られ
るブロックデータを第１バッファに書き込む書き込み手
段とを有する構成としてもよい。 【０１１３】この構成によれば、書込み手段は、ジグザ
グスキャンとオルタネートスキャンのどちらにも対応し
て、第１バッファの記憶領域にブロックデータを書き込
むことができる。従って演算手段は、第１バッファの記
憶領域からブロックデータ読み出すときに、読み出しア
ドレスの順番を変更しなくてもよく、スキャンタイプに
拘らず常に同じに読み出しアドレスの順番にて読み出す
ことができる。 【０１１４】さらに、前記解析手段は、ヘッダ情報に基
づいて量子化スケールと動きベクトルとを算出し、前記
通知手段は、量子化スケールを演算手段に、動きベクト
ルを合成手段に通知するように構成してもよい。この構
成によれば、動きベクトルの算出を逐次処理手段に担当
させることができ、合成手段は算出された動きベクトル
を用いて定型的に動き補償処理を行うことができる。。 【０１１５】また、前記演算手段は、それぞれマイクロ
プログラムを記憶する第１、第２の制御記憶部と、第１
制御記憶部に第１読出アドレスを指定する第１プログラ
ムカウンタと、第２読出アドレスを指定する第２プログ
ラムカウンタと、第１読出アドレスと第２読出アドレス
との一方を選択して第２制御記憶部に出力するセレクタ
と、乗算器と加算器とを有し、第１、第２制御記憶部に
よるマイクロプログラム制御によりブロック単位の逆量
子化と逆離散余弦変換とを実行する実行部とを有する構
成としてもよい。 【０１１６】この構成によれば、マイクロプログラム
（ファームウェア）は多岐にわたる条件判断処理を行う
必要がなく、定型的な処理を実現するだけなのでプログ
ラムサイズが小さくかつ作成が容易であり、低コスト化
に適している。しかも、２つのプログラムカウンタを使
用して乗算器と加算器とを独立して並列に動作させるこ
とができる。 【０１１７】さらに、前記実行部は、セレクタにより第
２読出アドレスが選択されたとき、乗算器を用いた処理
と加算器を用いた処理とを独立並行して行い、セレクタ
により第１読出アドレスが選択されたとき、乗算器を用
いた処理と加算器を用いた処理とを連動させて行うよう
構成してもよい。この構成によれば、乗算器及び加算器
の遊び時間を減らして処理効率を向上させることができ
る。 【０１１８】ここで、前記演算手段は、さらに、データ
変換手段からの映像ブロックを保持する第１バッファ
と、実行部により逆離散余弦変換されたブロックを保持
する第２バッファとを有し、前記第１制御記憶部は、逆
量子化処理するマイクロプログラムと、逆離散余弦変換
するマイクロプログラムとを記憶し、前記第２制御記憶
部は、逆離散余弦変換するマイクロプログラムと、逆離
散余弦変換された映像ブロックを第２バッファに転送す
るマイクロプログラムとを記憶し、前記実行手段は、逆
離散余弦変換された映像ブロックを第２バッファに転送
する処理と、次の映像ブロックを逆量子化する処理とを
並列に実行し、逆量子化された当該映像ブロックを逆離
散余弦変換する処理を乗算器と加算器とを連動させて実
行するように構成してもよい。 【０１１９】この構成によれば、逆量子化処理と第２バ
ッファへの転送処理とを並列実行するので処理効率を向
上させることができる。また、前記入力手段は、さらに
ポリゴンデータを入力し、前記逐次処理手段は、さらに
ポリゴンデータを解析してポリゴンの頂点座標とエッジ
の傾きとを算出し、前記定型処理手段は、さらに算出さ
れた頂点座標と傾きと従って、前記ポリゴンの画像デー
タを生成するように構成してもよい。 【０１２０】この構成によれば、逐次処理手段はポリゴ
ンデータの解析を担当し、定型処理手段は定型的な画像
データ生成処理を担当する。本映像音声処理装置は、効
率よくポリゴンデータから画像データを生成するグラフ
ィックス処理を行うことができる。ここで、前記第１、
第２制御記憶部は、さらにＤＤＡアルゴリズムによる走
査変換を行うマイクロブログラムを記憶し、前記実行部
は、さらに逐次処理手段により算出された頂点座標と傾
きとに基づいてマイクロプログラム制御により走査変換
を行うように構成してもよい。 【０１２１】この構成によれば、画像データの生成は前
記第１、第２制御記憶部に走査変換マイクロプログラム
により簡単に実現することができる。また、前記合成手
段はさらに圧縮すべき映像データから差分画像を表す差
分ブロックを生成し、前記第２バッファはさらに生成さ
れた差分画像を保持し、第１制御記憶部はさらに離散余
弦変換するマイクロプログラムと量子化処理するマイク
ロプログラムとを記憶し、第２制御記憶部はさらに離散
余弦変換するマイクロプログラムと離散余弦変換された
映像ブロックを第１バッファに転送するマイクロプログ
ラムとを記憶し、前記実行手段はさらに第２バッファに
保持された差分ブロックに対して離散余弦変換と量子化
を実行して第１バッファに転送し、前記データ変換手段
はさらに第１バッファのブロックに対して可変長符号化
を行い、前記逐次処理手段はさらにデータ変換手段によ
り可変長符号化された所定のブロックに対してヘッダ情
報を付加するように構成してもよい。 【０１２２】この構成によれば、定型処理手段は定型的
な処理として量子化と離散余弦変換を担当し、逐次処理
手段は条件判断を要する処理（ヘッダ情報の付加）を担
当する。この場合、本映像音声処理装置は、高速クロッ
クを用いなくても画像データから圧縮映像データへのエ
ンコード処理を効率よく実行することができる。また、
前記演算手段は、それぞれマイクロプログラムを記憶す
る第１、第２の制御記憶部と、第１制御記憶部に第１読
出アドレスを指定する第１プログラムカウンタと、第２
読出アドレスを指定する第２プログラムカウンタと、第
１読出アドレスと第２読出アドレスとの一方を選択して
第２制御記憶部に出力するセレクタと、乗算器と加算器
とをそれぞれ有し、第１、第２制御記憶部によるマイク
ロプログラム制御によりブロック単位の逆量子化と逆離
散余弦変換とを実行する複数の実行部とを備え、各実行
部は、ブロックを分割した部分ブロックを分担して処理
するように構成してもよい。 【０１２３】この構成によれば、複数の実行部が並列に
演算命令を実行するので、定型的な大量の演算を画素レ
ベルで並列化して効率よく実行することができる。ま
た、前記演算手段は、さらに、各実行部に対応して設け
られ、各変換テーブルは所定のアドレス列に対応して部
分的にアドレス順序を入れ換えた変換アドレス保持する
複数のアドレス変換テーブルと、所定の演算を実現する
マイクロプログラムを構成する個々のマイクロ命令を変
換アドレスに対応させて記憶する複数レジスタからなる
命令レジスタ群と、第１及び第２制御記憶部と複数の実
行部との間に設けられ、第１制御記憶部又はセレクタか
ら各実行部に出力されるマイクロ命令を、命令レジスタ
のマイクロ命令に切り替えて複数の実行部に出力する切
り替え部とを備え、前記第１読出アドレス又は第２読出
アドレスが前記所定のアドレス列の中のアドレスである
場合、そのアドレスは前記各アドレス変換テーブルによ
って変換アドレスに変換される。前記命令レジスタ群
は、変換テーブルから出力された各変換アドレスに対応
するマイクロ命令を出力するように構成してもよい。 【０１２４】この構成によれば、複数の実行部が並列に
マイクロプログラムを実行する間、実行部間でアクセス
の競合など資源干渉を回避して、さらに効率よく処理す
ることができる。ここで、前記各変換テーブルは、さら
に第１プログラムカウンタが前記所定のアドレス列中の
第１読出アドレスを出力する間、前記レジスタ中の加減
算を示すマイクロ命令出力に伴って、加算すべきか減算
すべきかを示すフラグを前記複数の実行部に出力し、前
記各実行部は、前記フラグに従って加減算を実行し、前
記フラグは、前記第２制御記憶部のマイクロ命令に従っ
て設定されるように構成してもよい。 【０１２５】この構成によれば、マイクロ命令により加
算を行うか減算を行うかを変換テーブルが指定するの
で、同じマイクロプログラムを２通りに共用できるの
で、さらに、マイクロプログラムの全容量を低減させる
ことができ、ハードウェア規模の低減、ひいては低コス
ト化を実現できる。また、前記第２制御記憶部は、さら
に第１プログラムカウンタが前記所定のアドレス列中の
第１読出アドレスを出力する間、前記レジスタ中のマイ
クロ命令出力に伴って、マイクロ命令実行結果の格納先
を示す情報を前記複数の実行部に出力し、前記各実行部
は、格納先情報に従って実行結果を格納するように構成
してもよい。 【０１２６】この構成によれば、格納先情報は、命令レ
ジスタ群中のマイクロプログラムと別個に指定できるの
で、当該マイクロプロラムを異なる処理例えば行列演算
の部分的な処理において共用することができる。その結
果、さらに、マイクロプログラムの全容量を低減させる
ことができ、ハードウェア規模の低減、ひいては低コス
ト化を実現できる。
【図面の簡単な説明】
【図１】第１の従来技術における映像音声デコーダによ
るデコード処理の説明図を示す。 【図２】第２の従来技術における２チップ構成のデコー
ダによるデコード処理の説明図を示す。 【図３】本発明の第１の実施形態における画像処理装置
の概略構成を示すブロック図である。 【図４】本発明の第１の実施形態における画像処理装置
の構成を示すブロック図である。 【図５】ＭＰＥＧストリームを階層的に示すとともに画
像処理装置各部の動作タイミングを示す図である。 【図６】プロセッサ７によるマクロブロックヘッダの解
析と、他の各部への制御内容とを示す図である。 【図７】画素演算部１０の構成を示すブロック図であ
る。 【図８】第１命令メモリ５０６及び第２命令メモリ５０
７に記憶されたマイクロプログラムの一例を示す。 【図９】画素演算部１０の動作タイミングを示す図であ
る。 【図１０】画素読み書き部１１の詳細な構成を示すブロ
ック図である。 【図１１】ＩＯプロセッサ５の構成を示すブロック図で
ある。 【図１２】命令読出回路５３の詳細な構成例を示すブロ
ック図である。 【図１３】ＩＯプロセッサ５の動作タイミングを示すタ
イムチャートである。 【図１４】タスク管理部の構成を示すブロック図であ
る。 【図１５】ＦＩＦＯメモリ４以降の復号動作を示す説明
図である。 【図１６】本発明の第２の実施形態のおける画像処理装
置の構成を示すブロック図である。 【図１７】画素演算部３０の構成を示すブロック図であ
る。 【図１８】第１命令メモリ５０６、第２命令メモリ５０
７の記憶内容の一例を示す。 【図１９】コード変換部９の構成を示すブロック図であ
る。 【図２０】８×８個の空間周波数データを記憶するブロ
ック記憶領域と、ジグザグスキャンの順路を示す。 【図２１】８×８個の空間周波数データを記憶するブロ
ック記憶領域と、オルタネートスキャンの順路を示す。 【図２２】命令ポインタ保持部３０８ａ〜ｃ、命令レジ
スタ部３０９、分配部３１０を備えていない場合の命令
メモリ５０６及び命令メモリ５０７の記憶内容の一例を
示す。 【図２３】命令ポインタ保持部３０８ａ〜ｃ、命令レジ
スタ部３０９の記憶内容の一例を示す。 【符号の説明】 １ ストリーム入力部 ２ バッファメモリ ３ 外部メモリ ４ ＦＩＦＯメモリ ５ 入出力プロセッサ ５ａ ＤＭＡＣ ６ メモリコントローラ ７ プロセッサ ８ 内部メモリ ９ コード変換部 １０ 画素演算部 １２ ビデオ出力部 １３ 音声出力部 １４ ホストＩ／Ｆ部 １０００ 映像音声処理装置 １００１ 入出力処理部 １００２ デコード処理部 １００３ 逐次処理部 １００４ 定型処理部
るデコード処理の説明図を示す。 【図２】第２の従来技術における２チップ構成のデコー
ダによるデコード処理の説明図を示す。 【図３】本発明の第１の実施形態における画像処理装置
の概略構成を示すブロック図である。 【図４】本発明の第１の実施形態における画像処理装置
の構成を示すブロック図である。 【図５】ＭＰＥＧストリームを階層的に示すとともに画
像処理装置各部の動作タイミングを示す図である。 【図６】プロセッサ７によるマクロブロックヘッダの解
析と、他の各部への制御内容とを示す図である。 【図７】画素演算部１０の構成を示すブロック図であ
る。 【図８】第１命令メモリ５０６及び第２命令メモリ５０
７に記憶されたマイクロプログラムの一例を示す。 【図９】画素演算部１０の動作タイミングを示す図であ
る。 【図１０】画素読み書き部１１の詳細な構成を示すブロ
ック図である。 【図１１】ＩＯプロセッサ５の構成を示すブロック図で
ある。 【図１２】命令読出回路５３の詳細な構成例を示すブロ
ック図である。 【図１３】ＩＯプロセッサ５の動作タイミングを示すタ
イムチャートである。 【図１４】タスク管理部の構成を示すブロック図であ
る。 【図１５】ＦＩＦＯメモリ４以降の復号動作を示す説明
図である。 【図１６】本発明の第２の実施形態のおける画像処理装
置の構成を示すブロック図である。 【図１７】画素演算部３０の構成を示すブロック図であ
る。 【図１８】第１命令メモリ５０６、第２命令メモリ５０
７の記憶内容の一例を示す。 【図１９】コード変換部９の構成を示すブロック図であ
る。 【図２０】８×８個の空間周波数データを記憶するブロ
ック記憶領域と、ジグザグスキャンの順路を示す。 【図２１】８×８個の空間周波数データを記憶するブロ
ック記憶領域と、オルタネートスキャンの順路を示す。 【図２２】命令ポインタ保持部３０８ａ〜ｃ、命令レジ
スタ部３０９、分配部３１０を備えていない場合の命令
メモリ５０６及び命令メモリ５０７の記憶内容の一例を
示す。 【図２３】命令ポインタ保持部３０８ａ〜ｃ、命令レジ
スタ部３０９の記憶内容の一例を示す。 【符号の説明】 １ ストリーム入力部 ２ バッファメモリ ３ 外部メモリ ４ ＦＩＦＯメモリ ５ 入出力プロセッサ ５ａ ＤＭＡＣ ６ メモリコントローラ ７ プロセッサ ８ 内部メモリ ９ コード変換部 １０ 画素演算部 １２ ビデオ出力部 １３ 音声出力部 １４ ホストＩ／Ｆ部 １０００ 映像音声処理装置 １００１ 入出力処理部 １００２ デコード処理部 １００３ 逐次処理部 １００４ 定型処理部
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 木村 浩三
大阪府門真市大字門真1006番地 松下電
器産業株式会社内
(56)参考文献 特開 平８−111642（ＪＰ，Ａ)
特開 平６−326615（ＪＰ，Ａ)
特開 平９−37249（ＪＰ，Ａ)
大藤健、尾高敏則、櫻井貴康，ＨＤＴ
Ｖにも対応できるリアルタイム復合化を
実現，日経エレクトロニクス，日経ＢＰ
社，1994年３月14日，1994年３月14日
号，ｐ．93−100
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 7/24 - 7/68
Claims (1)
- (57)【特許請求の範囲】 【請求項１】 圧縮音声データと圧縮映像データとを含
むデータストリームを入力する入力手段と、 定型演算を主とする定型処理であって、データストリー
ム中のブロック単位に付加されたヘッダ情報及びデータ
ストリーム中の圧縮映像データの可変長復号処理と、可
変長復号された圧縮映像データをブロック単位に復号す
る処理とを行う定型処理手段と、 条件判断を主とする逐次処理であって、定型処理手段に
よって可変長復号処理されたヘッダ情報の解析処理と、
データストリーム中の圧縮音声データの復号処理とを時
分割で行う逐次処理手段とを備え、 前記定型処理手段は、ヘッダ情報と圧縮映像データの可
変長復号処理を行い、圧縮映像データのブロックの可変
長復号処理が終了後に、前記逐次処理手段に対して次の
ブロックのヘッダ情報の解析処理を開始するように指示
し、 前記逐次処理手段は、解析すべきヘッダ情報が可変長符
号化されているときには、前記定型処理手段にそのヘッ
ダ情報の可変長復号処理を指示し、可変長復号されたヘ
ッダ情報を取得するとこれを解析し、ブロックのヘッダ
情報の取得が終了後に、前記定型処理手段に対して、前
記ブロックの圧縮映像データの可変長復号処理を開始
し、前記解析されたヘッダ情報を用いて前記可変長復号
後の圧縮映像データを復号するように指示することを特
徴とする映像音声処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001182648A JP3380236B2 (ja) | 1997-04-07 | 2001-06-15 | 映像音声処理装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8852397 | 1997-04-07 | ||
| JP9-88523 | 1997-04-07 | ||
| JP2001182648A JP3380236B2 (ja) | 1997-04-07 | 2001-06-15 | 映像音声処理装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09344798A Division JP3589565B2 (ja) | 1997-04-07 | 1998-04-06 | 映像音声処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002094988A JP2002094988A (ja) | 2002-03-29 |
| JP3380236B2 true JP3380236B2 (ja) | 2003-02-24 |
Family
ID=26429888
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001182648A Expired - Lifetime JP3380236B2 (ja) | 1997-04-07 | 2001-06-15 | 映像音声処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3380236B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007166597A (ja) * | 2005-11-15 | 2007-06-28 | Seiko Epson Corp | 情報再生装置及び電子機器 |
-
2001
- 2001-06-15 JP JP2001182648A patent/JP3380236B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| 大藤健、尾高敏則、櫻井貴康，ＨＤＴＶにも対応できるリアルタイム復合化を実現，日経エレクトロニクス，日経ＢＰ社，１９９４年３月１４日，１９９４年３月１４日号，ｐ．９３−１００ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002094988A (ja) | 2002-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100502586B1 (ko) | 처리효율을높인영상음성처리장치 | |
| KR100450228B1 (ko) | 비동기로실행할태스크가다수있어도비동기이벤트태스크를효율적으로실행할수있는프로세서 | |
| US5909224A (en) | Apparatus and method for managing a frame buffer for MPEG video decoding in a PC environment | |
| USRE48845E1 (en) | Video decoding system supporting multiple standards | |
| KR100562116B1 (ko) | 처리 효율을 높인 영상음성 처리장치 | |
| US5812791A (en) | Multiple sequence MPEG decoder | |
| EP1446953B1 (en) | Multiple channel video transcoding | |
| US6847365B1 (en) | Systems and methods for efficient processing of multimedia data | |
| US7885336B2 (en) | Programmable shader-based motion compensation apparatus and method | |
| US5768429A (en) | Apparatus and method for accelerating digital video decompression by performing operations in parallel | |
| US20080126812A1 (en) | Integrated Architecture for the Unified Processing of Visual Media | |
| KR19990006296A (ko) | Mpeg영상 압축해제용 방법 및 장치 | |
| JPH05268590A (ja) | 動画像符号化復号化回路 | |
| JP3589565B2 (ja) | 映像音声処理装置 | |
| EP1011072A1 (en) | Image processor | |
| JP3123496B2 (ja) | 動き補償処理方法及びシステム並びにその処理プログラムを記録した記録媒体 | |
| JP3380236B2 (ja) | 映像音声処理装置 | |
| JP2002245448A (ja) | 演算装置 | |
| JP3410669B2 (ja) | 映像音声処理装置 | |
| US6873735B1 (en) | System for improved efficiency in motion compensated video processing and method thereof | |
| JP3356677B2 (ja) | 非同期に実行すべきタスクが多数あっても、非同期イベントタスクを効率良く実行することができるプロセッサ | |
| JP2006086964A (ja) | ビットレート変換装置およびビットレート変換方法 | |
| US20040240544A1 (en) | System and method for intraframe timing in multiplexed channel | |
| Li et al. | An efficient video decoder design for MPEG-2 MP@ ML | |
| KR100367581B1 (ko) | 멀티미디어서브장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071213 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081213 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091213 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091213 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101213 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101213 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111213 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111213 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121213 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121213 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131213 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term |