JPH0759084A - 画像処理システム - Google Patents

画像処理システム

Info

Publication number
JPH0759084A
JPH0759084A JP6124706A JP12470694A JPH0759084A JP H0759084 A JPH0759084 A JP H0759084A JP 6124706 A JP6124706 A JP 6124706A JP 12470694 A JP12470694 A JP 12470694A JP H0759084 A JPH0759084 A JP H0759084A
Authority
JP
Japan
Prior art keywords
memory
instruction
image
bus
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6124706A
Other languages
English (en)
Other versions
JP3687107B2 (ja
Inventor
Artieri Alain
アルテール アラン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMicroelectronics SA
STMicroelectronics lnc USA
Original Assignee
SGS Thomson Microelectronics SA
SGS Thomson Microelectronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR9306612A external-priority patent/FR2705804B1/fr
Application filed by SGS Thomson Microelectronics SA, SGS Thomson Microelectronics Inc filed Critical SGS Thomson Microelectronics SA
Publication of JPH0759084A publication Critical patent/JPH0759084A/ja
Application granted granted Critical
Publication of JP3687107B2 publication Critical patent/JP3687107B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/461Saving or restoring of program or task context
    • G06F9/462Saving or restoring of program or task context with multiple register sets
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/32Address formation of the next instruction, e.g. by incrementing the instruction counter
    • G06F9/321Program or instruction counter, e.g. incrementing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/32Address formation of the next instruction, e.g. by incrementing the instruction counter
    • G06F9/322Address formation of the next instruction, e.g. by incrementing the instruction counter for non-sequential address
    • G06F9/325Address formation of the next instruction, e.g. by incrementing the instruction counter for non-sequential address for loops, e.g. loop detection or loop counter
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【目的】 MPEG標準に基づき符号化された画像を復
号するシステムを開示する。 【構成】 画像ブロックに相当したパケットにより到達
する圧縮データを処理し、パケットがパケットの復号パ
ラメータを有するヘッダにより分離しているシステム。
メモリバスはメモリコントローラにより制御されており
処理エレメントと画像メモリとの間でデータを交換す
る。パイプライン回路には多数の処理エレメントが含ま
れている。パラメータバスは処理されるパケットをパイ
プライン回路に与え、復号パラメータをシステムのエレ
メントに与えている。このパラメータバスはメモリバス
から圧縮データを受け、更にパケットおよび復号パラメ
ータを取り出す可変長復号器により制御されている。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は画像処理システム、更
に詳細にはMPEG標準に基づき符号化された画像を復
号するシステムに関する。
【0002】
【従来の技術】図1にはMPEG復号器の主なエレメン
トを示している。特にMPEG−2標準用の全てのMP
EG復号器には、一般に可変長復号器(VLD)10,
ランレベル復号器(RLD)11, 逆量子化回路
(Q-1)12,逆離散コサイン変換回路(DCT-1)1
3, 半画素フィルタ14、更にメモリ15が含まれてい
る。符号化されたデータはCDinを通して入力され、
復号化されたデータはバスVIDoutを通して出力さ
れる。入力と出力の間で、データは前述の順序で処理回
路10−13を通るが、これはダッシュラインの矢印で
示している。復号器出力はフィルタ14とコサイン変換
回路13の出力を加える加算器16により出力される。
フィルタ14にはメモリ15に記憶されている以前の復
号化された画像が一部必要である。
【0003】図2Aは現在再生された画像IM1の一部
の復号化のステップを示している。画像の復号化は同時
に1つのマクロブロックで行なわれる。マクロブロック
は一般に1つの16×16画素画像ブロックに対応して
いる。
【0004】図2BはマクロブロックMBの、特に4:
2:0の代表的なフォーマットを示している。マクロブ
ロックMBには4つの8×8素ブロックY1−Y4と、
2つの8×8画素ブロックU,Vにより構成されている
1つのクロミナンス(色)ブロック、とにより形成され
ている輝度ブロックが含まれている。これに代わるフォ
ーマットとして4:2:2のフォーマットがあり、この
フォーマットには2つの8×16画素ブロックが含まれ
ている。
【0005】図2Aの現在の画像IM1においては、現
在のマクロブロックMBcが復号化されているが、前に
復号化されたマクロブロックはハッチングラインで示さ
れている。一般に、マクロブロックMBcは前に復号化
された画像IM0内に取り出された予測マクロブロック
MBpを使用して再生される。予測マクロブロックMB
pを見つけるため、マクロブロックMBcを復号する役
目をするデータにより移動補償ベクトルVが与えられる
が、このベクトルにより画像内でマクロブロックMBc
の位置に対し予測マクロブロックMBpの位置が定めら
れる。
【0006】予測マクロブロックMBpは前に復号化さ
れた画像IM0を記憶しているメモリ15内に取り出さ
れ、更にフィルタ14に加えられるが、コサイン変換回
路13はマクロブロックMBcに対応したデータを処理
している。
【0007】前述の復号化は所謂“予測”復号化であ
る。復号化されたマクロブロックも予測型であると呼ば
れている。MPEG標準に従えば、“内部”、“予
測”、及び“両方向”と呼ばれている大きな3つ復号化
のタイプがある。
【0008】内部マクロブロックは画像ブロックに直接
対応している、即ち内部マクロブロックはこれがコサイ
ン変換回路13からの出力である時予測マクロブロック
と組み合わされない。
【0009】予測マクロブロックは、前述のように、前
に復号化された画像の1つのマクロブロックと組み合わ
され、現在再生された画像の前にディスプレイの順序で
到来する。
【0010】両方向マクロブロックは2つの前の復号化
画像の2つの予測マクロブロックとそれぞれ組み合わさ
れる。これら2つの画像は現在の再生された画像に対
し、ディスプレイの順にそれぞれ前(前方)及び後続
(後方)画像となる。このように、符号化された画像は
ディスプレイの順序と異なる順序で到達する。
【0011】更に、予測又は両方向マクロブロックはそ
れぞれ前進的又は飛び越し的である。マクロブロックが
前進的な時、DCT-1回路は連続的な順序でマクロブロ
ックのラインに加えられる。マクロブロックが飛び越し
的な時、DCT-1回路は先ずマクロブロックの偶数ライ
ンに加えられ、次に奇数ラインに加えられる。更に、予
測又は両方向マクロブロックの復号を行なう予測マクロ
ブロックも前進的又は飛び越し的である。予測マクロブ
ロックが飛び越し的な時、マクロブロックは2つのハー
フマクロブロックに分割される;一方のハーフマクロブ
ロックは偶数ラインに他方のハーフマクロブロックは奇
数ラインに対応し、それぞれのハーフマクロブロックは
前の同じ復号画像内の異なる位置で取り出される。
【0012】画像のタイプも内部、予測又は両方向的で
ある。内部画像には内部マクロブロックのみが含まれて
いる;予測画像には内部又は予測マクロブロックが含ま
れている;更に、両方向画像には内部、予測、又は両方
向マクロブロックが含まれている。
【0013】種々の復号パラメータ、特にベクトルVと
マクロブロックのタイプを復号器の種々の回路に与える
ため、符号化データのフローにはヘッダが含まれてい
る。ヘッダには次の幾つかのタイプがある: (1)逆量子化回路12に加えるための特に2つの量子
化テーブルを含む画像シーケンスヘッダで、一番目のテ
ーブルはシーケンスの内部マクロブロック用であり、二
番目のテーブルは予測又は両方向マクロブロック用であ
る; (2)復号用の有益なデータを含まない画像ヘッダのグ
ループ; (3)移動補償ベクトルの使用についての画像及び情報
のタイプ(予測、内部、両方向)を含む画像ヘッダ; (4)誤り訂正情報を含む画像スライスヘッダ; (5)マクロブロックのタイプ、逆量子化回路12に加
えられる量子化スケール、更に移動補償ベクトルのコン
ポーネント。飛び越し両方向マクロブロックを処理する
時4つまでのベクトルが与えられる。
【0014】更に、階層の高いヘッダには例えばオンス
クリーン(on−screen)ディスプレイ用のプラ
イベートデータを含むことができる。幾つかのプライベ
ートデータも復号器に対する外部コンポーネントにより
使用できる。
【0015】MPEG復号器の種々の処理回路は早いデ
ータフローを処理するが、非常に複雑で柔軟性のない、
即ち標準を変形することが難しく更にオンスクリーンデ
ィスプレイ及びプライベートデータを活用することが不
十分なパイプライン構造でしばしば配置されている。
【0016】最も簡単で最も低廉な解決策はマルチタス
ク処理装置により制御されているコモンバスを通して種
々の処理回路とメモリを連結することである。
【0017】特許番号第EP−A−0503956号
(C−キューブ)には、バスの上でデータの転送を制御
する処理装置と、回路10から回路14までに基づく処
理ステップを実行する3つのコプロセッサ(copro
cessor)とを含むシステムが記載されている。バ
スを通して行なわれる転送のそれぞれのタイプは処理装
置により行なわれるタスクに対応している。全てのタス
クは同時に行なわれ、コプロセッサにより発生する処理
割込みにより行なわれる。コプロセッサはバスを通し処
理されるデータを交換し、プロセッサにより与えられる
命令をバスを通して受ける。
【0018】このシステムは簡単であるが、現在必要と
される早いデータフローを取り扱うことができない。
【0019】
【課題を解決するための手段】この発明の目的は比較的
簡単な構造の特に早い画像デコンプレッションシステム
を提示することである。
【0020】この発明の他の目的は非常に早いデータフ
ロー速度を処理するため同一のデコンプレッションシス
テムと並列に容易に接続できるデコンプレッションを提
示することである。
【0021】これらの目的を達成するため、この発明で
はコンポジット構造の復号器を提示、即ち処理エレメン
トの幾つかは一緒にされ一番目のバスを通して画像メモ
リに接続されており、他のエレメントはパイプライン構
造で接続されている。これらの他のエレメントは以下で
は“パイプライン回路”と呼ぶ。二番目のバスは所要の
復号パラメータをシステムのエレメントに与え、更に処
理されるデータをパイプライン回路の一番目のエレメン
トに供給している。
【0022】この構造により、パイプライン回路はデー
タを直列に処理するが、一番目のバスを通してメモリと
交換する必要はない。更に、一番目のバスは二番目のバ
スにより伝送される復号パラメータの伝送を行なう。こ
のように、所定の復号化ステップに対応して一番目のバ
スの上で行なわれる交換の数は実質的に減少するが、こ
れによりシステムの性能が増加する。システムの柔軟性
はバスシステムを使用することにより高い。この柔軟性
はパイプライン回路に含まれるエレメントの選択を最適
にすることにより増加する。
【0023】この発明はより詳細には画像ブロックに対
応したパケットにより到達する圧縮データを処理するシ
ステムを提示しており、これらのパケットはパケットの
復号化パラメータを含むヘッダにより分離されている。
このシステムには前記の復号化パラメータを使用した多
数の処理用エレメントと、メモリバスとがあるが、この
メモリバスはエレメントの処理速度に適合する速度で処
理用エレメント間でデータを交換し、更に処理又は再使
用されるデータを画像メモリにデータを記憶するためメ
モリコントローラで制御されている。このシステムには
パケットを直列に処理するため接続された多数の処理用
エレメントを含むパイプライン回路と、更に処理される
パケットをパイプライン回路に与え復号化パラメータを
システムのエレメントに与えるパラメータバスとを有し
ている。パラメータバスはマスタ処理用エレメントによ
り制御されているが、このマスタ処理用エレメントはメ
モリバスから圧縮データを受けパケット及び復号パラメ
ータを出力している。
【0024】この発明の実施態様によれば、圧縮データ
のパケットの前にはそれぞれブロックヘッダがありパケ
ットは連続したグループであるが、このパケットのグル
ープの前にはグループ復号化パラメータと可能であれば
プライベート及びオンスクリーンディスプレイ情報を含
んだグループヘッダがある。このシステムには更に次の
ものが含まれている;グループ復号化パラメータとプラ
イベート及びオンスクリーンディスプレイ情報をシステ
ムエレメントに与えるためマイクロプロッセサにより制
御されているプロセッサバス;プロセッサバスによりア
クセスされメモリバスを通して圧縮データを受けるバッ
ファメモリ;マイクロプロセッサの割込みを発生するた
め前記のバッファメモリと共に動作するグループヘッダ
検出器。
【0025】この発明の実施態様によれば、メモリバス
に接続された2つのエレメント間のデータの転送は、2
つのエレメントの一方がデータを出力し又は受けるため
リクエストを出す時開始され又は継続される特別なタス
クに対応しており、全ての可能性を有したタスクはタス
ク優先管理に基づきメモリコントローラにより実施され
る同時発生のタスクである。
【0026】この発明の実施態様によれば、画像メモリ
とデータを交換するエレメントは書込み又は読み出し専
用バッファメモリを通してメモリバスに接続されてい
る。書込み専用バッファメモリは関係するエレメントに
より空にされ、メモリの内容が下限に達した時メモリバ
スを通しデータを受けるリクエストを発生する。読み出
し専用バッファメモリは関連するエレメントにより充満
され、メモリの内容が上限に達した時メモリバスの上に
データを出すリクエストを発生する。
【0027】この発明の実施態様によれば、このシステ
ムには次のものが含まれている;前記のマスタ処理用エ
レメントを形成する可変長復号器(VLD);パイプラ
イン回路の一番目のエレメントを形成し、更にVLDに
より処理されるパケットをパラメータバスを通して受け
るランレベル復号器(RLD);パイプライン回路の二
番目のエレメントを形成し、更にパラメータバスを通し
量子化スケール係数を受ける逆量子化回路;パイプライ
ン回路の三番目のエレメントを形成する逆コサイン変換
回路;パラメータバスを通し移動補償ベクトルを受ける
メモリコントローラ;パラメータバスを通しブロックの
タイプを受けるフィルタで、このフィルタはメモリコン
トローラが受けたベクトルの関数としてメモリバスに与
えられたデータを受けるためブロックのタイプに基づき
個々のリクエストを発生する;メモリバスにフィルタと
コサイン変換回路の出力の和を与えるための加算器。
【0028】この発明の実施態様によれば、グループヘ
ッダ検出器は関係したバッファメモリが画像シーケンス
ヘッダ又は画像ヘッダを含む時マイクロプロセッサの割
込みを発生するが、このマイクロプロッセサは、グルー
プヘッダ検出器、マイクロプロッセサが逆量子化回路に
与える量子化テーブル、画像のタイプに関し及びマイク
ロプロセッサがVLDに与える移動補償ベクトルの大き
さに関する情報、更にメモリバスを通し復号データを受
けるディスプレイコントローラにマイクロプロセッサが
与えるディスプレイの構成に関する情報、に関係したバ
ッファメモリ内で読み出しによる割込みにレスポンスす
るようにプログラムされている。
【0029】この発明の実施態様によれば、メモリコン
トローラには(メモリバスと独立した)命令メモリが含
まれているが、このメモリ内には次のものが記憶されて
いる;メモリバス上の転送タスクにそれぞれ対応したプ
ログラム命令;実行される連続した命令を受けるため命
令メモリに接続されており、更にメモリバス上でこれら
の命令にレスポンスを示すように接続されているコマン
ド処理装置(ALU);可能なタスクにそれぞれ関連し
更に関連したタスクを実行する現在の命令アドレスをそ
れぞれが含む多数のポインタであり、これらのポインタ
の1つのみが命令アドレスとしてその内容を命令メモリ
に同時に与えることができる;所定の優先レベルをそれ
ぞれのリクエストに割り当て更に一番高い優先レベルを
有するアクティブリクエストと命令ポインタを関連付け
るプライオリティ復号器;イネーブルにされた命令ポイ
ンタの内容を増加させ、更にその内容が関連プログラム
のエンドアドレスに到達した時関連プログラムスタート
により再初期化させるための手段。
【0030】この発明の実施態様によれば、それぞれの
命令には処理装置(ALU)に加えられるコマンドフィ
ールドとプリフィックス(prefix)復号器に加え
られるフィーチャフィールド(freature fi
eld)とがあるが、このプリフィックス復号器には現
在の命令のフィーチャフィールドが一番目の所定の値で
あればプライオリティ復号器により新しい命令ポインタ
をイネーブルにする手段と、更に現在の命令のフィーチ
ャフィールドが二番目の所定の値にあればイネーブル命
令ポインタの内容を現在のプログラムのスタートアドレ
スまで初期化する手段とが含まれている。
【0031】この発明の実施態様によれば、プリフィッ
クス復号器にはフィーチャフィールドが三番目の所定の
値であればイネーブル命令ポインタの増加を禁止する手
段が含まれているが、これは現在の命令が数回連続的に
実施されるようにするためであり、この実施の回数はこ
の三番目の値により決定される。
【0032】この発明の実施態様によれば、それぞれの
命令には制御処理装置(ALU)に加えられるコマンド
フィールドとアクノレッジフィールド(acknowl
edge field)とがあるが、このアクノレッジ
フィールドは命令が実行される時メモリバスに接続され
る少なくとも1つのバッファメモリをイネーブルにする
手段に加えられている。
【0033】この発明の実施態様によれば、処理装置
(ALU)にはアドレスを計算する多数のハードワイヤ
(hard wired)機能があるが、それぞれの機
能は実行される読み出し又は書込み命令のフィールドに
より選択される。
【0034】この発明の実施態様によれば、それぞれの
ハードワイヤ機能はメモリバスに接続されたアドレスレ
ジスタに関連がある;ハードワイヤ機能は命令が処理用
ユニット(ALU)内で実行される毎にアドレスレジス
タの内容を適当に変更する。
【0035】この発明は更に復号画像データを画像メモ
リに与える復号化手段を含み、画像に対応した圧縮デー
タを処理するシステムを提示しているが、これらの復号
化手段には再生される画像の現在のブロックを復号化す
る場合、予め復号化された画像の予測ブロックが必要で
ある。実際、処理システムにはそれぞれの画像メモリに
関連のある多数の復号器が含まれているが、それぞれの
復号器は多数の画像の当該ブロックの特定のスライス部
分を記憶しており、少なくとも1つのマージンは特定の
スライス部分のブロックを再生するため使用される予測
ブロックとなる。
【0036】この発明の実施態様によれば、対象とする
それぞれの復号器には少なくとも1つの付加的な特定の
スライス部分の境界エリアをマージンとして画像メモリ
内に記憶し、更に対象とする復号器と関連のある特定の
スライス部分の境界エリアをマージンとして少なくとも
1つの二番目の復号器に与える手段がある。
【0037】この発明の実施態様によれば、対象とする
それぞれの復号器は次のものを有している;特定のスラ
イス部分から画像ブロックを受ける一番目のバッファメ
モリ;他の特定のスライス部分の隣接エリアから画像ブ
ロックを受ける少なくとも1つの二番目のバッファメモ
リ;対象とする復号器の一番目のバッファメモリと他の
復号器の二番目のバッファメモリに特定なスライス部分
を与える端末処理用回路;一番目のバッファメモリ内で
ブロックを読み出し特定なスライス部分に対応したアド
レスで画像メモリ内にブロックを書込むため、更に二番
目のバッファメモリ内でブロックを読み出しマージンに
対応したアドレスでブロックを書込むためのメモリコン
トローラ。
【0038】この発明の実施態様によればそれぞれの二
番目のバッファメモリの前には所要のマージンに対応し
たデータのみを二番目のバッファメモリに記憶するため
のバリア回路が置かれている。
【0039】この発明の実施態様によれば処理される画
像は、等しい高さの水平スライス部分に分割されている
高精細テレビジョンの画像である。
【0040】
【実施例】−MPEG復号器の一般的な構造− 図3は既に図1に示したエレメントを同じ参照番号で示
している。
【0041】以下ではメモリバスMBUSと言うバスは
画像メモリ15を圧縮データ入力バスCDinと、可変
長復号器(VLD)10の入力と、ハーフ画素フィルタ
14の入力と、ディスプレイコントローラ18の入力に
連結している。バスCDin,復号器10,及びディス
プレイコントローラ18はそれぞれバッファメモリ(F
IFO)20,21及び22を通してメモリバスMBU
Sに接続されている。ハーフ画素フィルタ14にはメモ
リバスMBUSに接続されている2つのインターナルF
IFOがある。メモリバスMBUS上でのデータの交換
はFIFOのリクエストによりFIFOと画像メモリと
の間で転送動作を行なうメモリコントローラ(MCU)
24により制御されている。これを行なうためメモリコ
ントローラ24は多数のリクエストRQを受け対応する
アクノレッジACKを出す。メモリコントローラ24は
前述の特許番号第EP−A−0503956号に記載さ
れたものである。このメモリコントローラのより好都合
な実施態様を以下に示す。
【0042】この発明によれば、ラン(run)レベル
の復号器(RLD)11,逆量子化回路(Q-1)12及
び逆離散コサイン変換回路(DCT-1)13はパイプラ
イン構造に従い接続されている、即ちこれらの回路11
−13は復号器に至るデータを連続的に処理するが、こ
れらのデータは任意にメモリ(15)を通過することは
ない。一連の回路11−13は、以下においてパイプラ
イン回路と呼ぶ。ハーフ画素フィルタ14の出力は加算
器16によりDCT-1回路13に加算されるが、この加
算器はメモリコントローラ24により制御されているF
IFO24を通しバスMBUSに連結されている。ハン
ドシェイクラインHS1とHS2により加算器16はそ
れぞれVLD回路とDCT-1回路に接続されている。
【0043】この発明の内容によれば、VLD回路10
はバスVLDBUSを制御しているが、このバスVLD
BUSはパイプライン回路11−13により処理される
データをRLD回路に、更に種々のパラメータをハーフ
画素フィルタ14,逆量子化回路12,ディスプレイコ
ントローラ18,及びメモリコントローラ24に与えて
いる。VLD回路は一般に受信した圧縮データのヘッダ
を復号する。前述のように、これらのヘッダにはシステ
ムの種々のエレメントに与えられる復号化パラメータを
含んでいる。
【0044】マクロヘッダには逆量子化回路12に与え
られる量子化スケールと、マクロブロックタイプのパラ
メータと、移動補償ベクトルのコンポーネントとが含ま
れている。これらの復号化パラメータはVLD回路によ
り復号され、更に逆量子化回路12,ハーフ画素フィル
タ14,及びメモリコントローラ24の特定なレジスタ
にそれぞれ書込まれる。
【0045】画像ヘッダには前述の通り、移動補償ベク
トルの使用に関する画像タイプのパラメータと情報が含
まれている。これらのパラメータはマクロブロックのベ
クトルとデータを復号するためVLD回路自体が使用し
ている。
【0046】シーケンスヘッダにはVLD回路により取
り出され逆量子化回路12の2つのレジスタに加えられ
る2つの量子化テーブルがある。画像ヘッダにはディス
プレイされた画像に関するスケーリング(scalin
g)又はターンケイティング(truncating)
パラメータがあるが、これらのパラメータはVLD回路
により復号化されディスプレイコントローラ18に加え
られている。
【0047】VLD回路はヘッダを復号する時バスVL
DBUSに関する書込み動作を行なう。バスVLDBU
Sに関するVLD回路の書込み動作は処理されるデータ
がもはや受信されない時RLD回路11により割込まれ
る。これはハンドシェイクコネクションHS3により示
される。
【0048】シークエンサ(sequencer)28
はVLD回路のイネーブル信号ENを与える。シークエ
ンサ28はディスプレイ(水平、垂直)同期信号H/V
SYNCをディスプレイコントローラ18を通し、マク
ロブロック同期信号MBSをハーフ画素フィルタ14か
ら、更に画像信号の終了EPOをVLD回路10から受
ける。シークエンサ28は画像同期信号ISYNCをメ
モリコントローラ24に与えるが、この画像同期信号は
画像信号の終了EOP及び垂直同期信号の両方がアクテ
ィブの時アクティブである。シークエンサ28の役割は
後程理解できるであろう。
【0049】既に示したように、画像を再生するため、
2つの復号化された画像の画像部分を使用することがし
ばしば必要である。これを行なうため、メモリ15には
現在再生された画像と2つの前に復号化された画像を記
憶するための3つの画像エリアIM1,IM2及びIM
3を有する必要がある。メモリ15には処理される前に
バスCDinに到達する圧縮データを任意に記憶するた
めエリアCDが更に含まれている。
【0050】−画像メモリエリアの制御− メモリエリアIM1−IM3内にメモリコントローラ2
4が書込みを行なう必要があることを知るため、VLD
回路により与えられる4つの画像ポインタImPtを以
下では使用している。このVLD回路には画像ヘッダに
より与えられる画像タイプのパラメータから画像ポイン
タを計算するユニットが含まれている。以下に画像の推
移の例示と画像ポインタを計算する方法を記載する。
【0051】バスCDinに到達する圧縮画像の次の推
移を検討する:I0,P1,B2,B3,P4,B5,
B6 ここに文字I,P及びBはそれぞれ内部画像、予測画
像、及び両方向画像を示している。MPEG標準によれ
ば、両方向画像は他の画像を計算するのに使用できな
い。このように、画像P1の再生には画像I0が必要で
あり、画像B2及びB3の再生には画像I0及びP1
が、画像P4の再生には画像P1が、更に画像B5及び
B6の再生には画像P4及びP1が必要である。
【0052】これらの画像は次の順序でディスプレイさ
れる:I0,B2,B3,P1,B5,P4, B6 これは予測画像Pがディスプレイの順序に従い以前の画
像から再生されるため、更に両方向画像Bがディスプレ
イの順序に従い一方は以前の画像で他方は以後の画像で
ある2つの画像から再生されるためである。
【0053】メモリコントローラ24がアクセスする必
要のあるメモリエリアIM1−IM3を決定するため
に、4つの画像ポインタRP,FP,BP及びDPが使
用され、それぞれ現在の再生画像、前(前方)の画像、
後(後方)の画像及び現在のディスプレイ画像の位置を
示している。次の表には前述の推移の復号の間の画像ポ
インタの値をまとめてある。
【0054】
【表1】
【0055】一番目の画像I0が復号される時、画像は
まだディスプレイされない。再生された画像ポインタR
Pは画像I0を記憶するため空きエリア、例えばエリア
IM1を示している。
【0056】画像P1が復号化されると、画像I0は必
ずディスプレイされる。再生された画像ポインタRPは
例えばエリアIM2を示しており、更にディスプレイ画
像ポインタDPは画像I0があるエリアIM1を示して
いる。予測画像P1には再生時に前方画像PIが必要で
あるので、前方画像ポインタFPもエリアIM1を示し
ている。
【0057】両方向画像B2が復号されると、この画像
B2もディスプレイされる画像である。再生された画像
ポインタRPとディスプレイされた画像DPの両方はま
だフリーなエリアIM3を示している。復号化におい
て、画像B2には前方画像I0及び後方画像P1が必要
である;前方画像ポインタFPと後方画像BPはそれぞ
れエリアIM1及びIM2を示している。
【0058】復号化される時画像をディスプレイするこ
とができるようにするため、実際のディスプレイは一般
にほぼ2分の1画像だけ遅延される;エリアIM3は画
像B2がディスプレイを始めると十分満たされる。
【0059】画像B3が復号化されると、その画像もデ
ィスプレイされる。画像B3には復号化の時画像I0と
P1が必要なので、画像I0とP1は前方画像FP及び
後方画像BPポインタによりまだ示されているエリアT
M1とTM2内に記憶されたままである。画像B3のみ
がエリアIM3内に記憶される、すなわち再生画像RP
とディスプレイ画像DPポインタにより示される。
【0060】しかし、画像B3がエリアIM3内に再生
され始めると、エリアIM3に記憶されている画像B2
がディスプレイされる。ディスプレイされた画像B2が
再生された画像B3により重ね書きされそうになると、
画像B3のデータを与えているVLD回路は停止する。
前述のシークエンサ28の役目は復号化されたマクロブ
ロックの数がディスプレイされた画像の数より大きい画
像の数に等しければイネーブル信号ENを無能にするこ
とによりVLD回路を停止させることである。この数の
大きさは水平同期パルスHSYNCの数を数えることに
より決定され、復号化されたマクロブロックの数はマク
ロブロック同期パルスMBSの数を数えることにより決
定される。
【0061】画像P4が復号化されると、画像P1は必
ずディスプレイされる。画像P4はその後フリーとなる
エリアIM1内に記憶される;再生された画像ポインタ
RPはエリアIM1を示す;ディスプレイされた画像ポ
インタDPは画像P1が記憶されるエリアIM2を示
す。画像P4には復号化の時前方画像P1が必要であ
る;前方画像ポインタFPはエリアIM2を示す。
【0062】画像P5が復号化されると、この画像も必
ずディスプレイされる。画像B5はフリーにされるエリ
アIM3内に記憶される;再生された画像RPとディス
プレイされた画像DPポインタはエリアIM3を示して
いる。画像B5には前方画像P1と既に復号化された後
方画像P4が必要である;前方画像P4と後方画像BP
ポインタはそれぞれエリアIM2とIM1を示してい
る、等々。
【0063】−MPEG復号器の動作− 図4は図3のシステムの動作の代表例を概略的に示すタ
イミングダイアグラムである。図4は上から下に向かっ
て優先度の減少に従い、リクエスト信号RQとシステム
の種々のエレメントの当該アクノレッジ信号ACKを示
している。ハッチ部分はメモリバスMBUS上及びパラ
メータバスVLDBUS上の動作を示している。
【0064】リクエストとアクノレッジ信号RQVI
D,ACKVIDの一番目の組はディスプレイコントロ
ーラ18のFIFO22に対応している。信号RQC
D,ACKCDの二番目の組は圧縮データ入力バスCD
inのFIFO20に対応している。信号RQVLD,
ACKVLDの組はVLD回路10のFIFO21に対
応している。
【0065】信号RQFILT(1),ACKFILT
(1)の組はハーフ画素フィルタ14により形成される
6つのリクエストの1つに対応している。組RQSU
M,ACKSUMは再生マクロブロックを与えるFIF
O26に対応している。図4には更に次の波形も示して
いる;信号FILTRDYの波形で、この信号はハーフ
画素フィルタ14がデータを与えるため用意されている
ことを加算器16に示している;信号DCTRDYの波
形で、この信号はDCT-1回路13がデータを与えるた
め用意されていることを加算器16に示している;更に
信号SUMENの波形で、この信号はFIFO26内に
加算器16により与えられた和を加える。ハーフ画素フ
ィルタ14によりメモリコントローラ24及びシークエ
ンサ28に加えられるマクロブロック同期信号MBSも
示してある。
【0066】図4はメモリバスMBUSが64−bit
データバスを含みFIFOの大きさが2パケットのデー
タであり、1パケットのデータはマクロブロックの大き
さに対応している例について記載している。バスMBU
Sの上に書込まれるFIFO(20,26)はその内容
が容量の半分を越える時リクエストを発生し、バスの上
に読み込まれるFIFO(フィルタ14の21,22)
はその内容が容量の半分より小さい時リクエストを発生
する。
【0067】時間t0 でリクエストRQVID,RQC
D及びRQVLDが発生する;FIFO22,20及び
21は事実上空になる。リクエストRQVIDは優先度
が高いので、時間t0 のすぐ後信号ACKVIDにより
アクノレッジが出される。信号ACKVIDがアクティ
ブの時、メモリコントローラ24はメモリ15の適当な
エリア内(ディスプレイされた画像ポインタDPにより
表示)でディスプレイされる画素を読み出しFIFO2
2内にスタックされる。FIFO22の内容が容量の半
分を越える時、リクエストRQVIDは無能にされる。
しかし、ディスプレイコントローラ18により行なわれ
る所定の大きさのフルパケットが転送されないかぎり、
タスクは継続する(信号ACKVIDはアクティブのま
まである)。(実際、以下で分かるようにシステムの有
効性を改善するため幾つかの非割り込み転送サブタスク
に分割される)
【0068】メモリ15にはマクロブロックの順序で記
録される画像が含まれているが、これらの画像はライン
の順序でディスプレイコントローラ18に与えられる必
要がある。このように、メモリコントローラ24の転送
タスクもラインの順序でデータを読み出すための適当な
アドレスを計算するためである。
【0069】時間t1 で、アクノレッジ信号ACKVI
Dが無能にされた直後、リクエストRQCDは信号AC
KCDを発生することによりアクノレッジが行なわれ
る。メモリコントローラ24はFIFO20の圧縮デー
タをメモリ15のエリアCDに転送する。FIFO20
の内容が容量の半分より小さい時、リクエストRQCD
は無能にされるが、前述のようにデータの転送はデータ
のフルパケットが転送されるまで続く。圧縮データは到
着の順序でメモリ15に書込まれる。
【0070】時間t2 でアクノレッジ信号ACKCDが
無能にされた直後、リクエストRQVLDは信号ACK
VLDの発生によりアクノレッジが行なわれる。メモリ
コントローラ24はその後書込まれた順序で圧縮データ
をメモリ15からFIFO21に転送する。FIFO2
1の内容が容量の半分より大きい時、リクエストRQV
LDは無能にされ転送はデータのフルパケットが転送さ
れるまで続く。
【0071】次にVLD回路はアンスタック(unst
ack)を開始しFIFO21に含まれたデータの処理
を開始する。時間t3 で、VLD回路はマクロブロック
ヘッダを復号しバスVLDBUSを通し復号化されたパ
ラメータをこれらを必要とするエレメントに与える。特
に、マクロブロックはハーフ画素フィルタ14に加えら
れ、量子化スケールは逆量子化回路12に加えられ、ベ
クトルはハーフ画素フィルタ14と同じくメモリコント
ローラ24に加えられる。
【0072】時間t4 で、全てのパラメータが加えられ
VLD回路は復号化される画像データをRLD回路11
に加え始める。これがマクロブロックとベクトルを受け
ると、フィルタ14は予測マクロブロックを受ける準備
をする。フィルタ14は受取ったマクロブロックに従い
1つのRQFILTリクエストを発生する。フィルタ1
4は3個のリクエストラインRQFILTに関する6個
の異なるリクエストまで発生できるが、これらの異なる
リクエストはマクロブロックの6個の異なるタイプに対
応している(内部、予測、両方向;それぞれのマクロブ
ロックは組み合わされている、即ち累進的である)。こ
の例において、リクエストRQFILT(1)は累進的
な予測マクロブロックに対応している。
【0073】優先度の高いリクエストはアクティブでな
いので、リクエストRQFILT(1)は信号ACKF
ILT(1)を発生することによりアクノレッジされ
る。同期信号MBSはフィルタリクエストがアクティブ
にされるようにパルス化されるが、これにより前述の理
由からシークエンサ28はマクロブロックのカウンタを
増加させ、更にメモリコントローラ24はVLD回路を
通して受けた1以上のベクトルを有効にする。
【0074】このように、時間t4 の直後にアクノレッ
ジ信号ACKFILT(1)が発生され、予測マクロブ
ロックのフィルタ14への転送がメモリ15の適当なエ
リアから始まる(前方の画像ポインタFPにより示され
ている)。フィルタ14には2つのFIFOがある;一
方のFIFOは(前方の画像の)前方マクロブロックを
受けるようにされている;他のFIFOは(後方の画像
の)後方マクロブロックを受けるようにされている。こ
の例では、メモリコントローラ24は予測マクロブロッ
クに対応したリクエストを受けフィルタ14の前方マク
ロブロックFIFOを選択するアクノレッジ信号ACK
FILT(1)を発生する。メモリコントローラ24が
受けたフィルタリクエストに左右されるので、フィルタ
14内で前方マクロブロックFIFO、後方マクロブロ
ックFIFOを選択し、又はアクティブでない状態を続
けることをメモリコントローラ24に示すため3つのア
クノレッジの1つが発生する(内部マクロブロック)。
【0075】データがバスMBUSの64bitsで転
送され、更にマクロブロックが16×16画素の画像の
一部に対応していれば、4:2:0のフォーマットマク
ロブロック(図2b)の転送が、簡単な場合図4の1か
ら3の番号の3つの段階で行なわれる。輝度とクロミナ
ンス画素が8bitsでコード化されている。このよう
に、バスMBUS上で転送された1つのワードは8画素
に対応している。各々の転送段階は順次2つの輝度ブロ
ックY1とY2、2つの輝度ブロックY3とY4、更に
2つのクロミナンスブロックUとVを転送するため16
サイクルで行なわれる。フィルタ14のFIFOの容量
は4つの8×8画素ブロックである。フィルタ14は当
該FIFOの内容が容量の半分より小さい時6個のリク
エストの1個を発生する。
【0076】実際には、図4には記載していないが、フ
ィルタに加えられる予測マクロブロックには17×17
画素の輝度ブロック(Y1−Y4)と、9×18画素の
クロミナンスブロックUとVとが含まれている。更に転
送される一組のブロック(Y1,Y2,Y3,Y4;
U,V)は必ずしもバスMBUSの64データビットで
“配列”されないが、これには輝度ブロック(大きさが
136ビット)が17読み出しサイクルの3つの段階で
転送される必要があることと、クロミナンスブロック
(大きさが76ビット)が18回の読み出しサイクルの
2つの段階で転送される必要があることが含まれてい
る。実際、輝度ブロックの画素の各ラインがバスMBU
Sを通してアクセス可能な3つの64ビットワードとオ
ーバーラップしており、クロミナンスブロックの各ライ
ンは2つの64ビットワードとオーバーラップしてい
る。フィルタ14は蓄積されたデータから輝度及びクロ
ミナンスブロックを取り出す必要がある。
【0077】簡単な例の一番目の転送段階1の始めに、
フィルタ14の当該FIFOは空である。段階1の終わ
りにブロックY1とY2は完全に転送されるが、フィル
タ14はFIFOを空にし始める;リクエストRQFI
LT(1)はアクティブのままであり、転送段階2がす
ぐに開始する。段階2の間、FIFOは半分の状態まで
達する;リクエストRQFILT(1)は無能になる
が、転送段階はブロックY3とY4が完全に転送するま
で継続する。
【0078】フィルタ14が一番目のブロックY1とY
2を受けると、フィルタを通ったデータを加算器16に
加える準備が行なわれる。フィルタ14はこの状態を加
算器16に知らせるため(図3のハンドシェイクHS1
の) ラインFILTRDYをアクティブにする。加算器
16はハンドシェイクHS1の他の信号(図示していな
い)を通してデータを受ける準備でないことを答える
が、これはDCT-1回路がまだデータを受ける準備がな
いからであり、これは信号FILTRDYがイネーブル
の時アクティブでない信号DCTRDYにより示されて
いる。
【0079】時間t6 で、DCT-1回路は時間t4 から
RLD回路11に入れられるデータを与えることを開始
する。ハンドシェイクHS2の信号DCTRDYはイネ
ーブルにされ、加算器16はフィルタ14と追加が開始
するDCT-1回路とに示される信号SUMENをイネー
ブルにする。追加の結果はFIFO26にスタックされ
る。
【0080】時間t9 で、FIFO26は半分満たされ
リクエストRQSUMを発生する。このリクエストは優
先度が一番低いが、他のリクエストがアクティブでない
のでアクノレッジ信号ACKSUMがアクティブになる
ことにより直後にアクノレッジされる。次にメモリ15
の適当なエリア(再生された画像ポインタRPにより示
されている)まで再生されたマクロブロックのブロック
Y1とY2の転送段階1を開始する。リクエストRQS
UMはブロックY1とY2の転送の間無能にされるが、
ブロックY1とY2が完全に転送されるまで転送が継続
する。
【0081】時間t10で、FIFO26は再び半分まで
満たされ再生マクロブロックのブロックY3とY4を転
送する段階2が開始する、等々。
【0082】前述の記載は、図3のシステムで行なわれ
るメインタスクの非常に簡単な連鎖に関している。実際
に、多くのタスクはより高い優先度を有したタスクによ
りランダムに割込まれる。
【0083】例えば時間t5 で、時間t6 の前にリクエ
ストRQCDはFIFO20に含まれる圧縮データをメ
モリ15に転送するため再びイネーブルにされる。
【0084】時間t7 で、フィルタにより処理される予
測マクロブロックからクロミナンスブロックUとVを受
けるため、フィルタ14はリクエストRQFILT
(1)を発生する。このリクエストは、アクノレッジ信
号ACKFILT(1)が無能にされる時、即ち圧縮デ
ータのパケットの全てがFIFO20からメモリ15に
転送される時のみ、アクノレッジ信号ACKFILT
(1)によりアクノレッジが行なわれる。ブロックUと
Vは次にフィルタ14への転送を開始するが、これは前
述の三番目の段階に相当する。
【0085】時間t8 では、リクエストRQFILT
(1)はまだアクティブであるが、より高い優先度を有
するリクエストRQVLDが発生する。しかし、マクロ
ブロックの2つのブロック(この場合UとV)の転送は
割り込みできない基本的なタスクである。このように、
信号ACKVLDをイネーブルにすることにより信号R
QVLDのアクノレッジを行なう前には、このシステム
はリクエストACKFILT(1)が無能にされるまで
待機する。
【0086】幾つかのタスクはより高い優先度を有した
タスクによりいつでも割り込みを行なうことができるの
で、このタスクは周期的な連鎖をしていない。種々の復
号化パラメータ(ベクトル、画像タイプ…)が予知でき
ない時間にこれらのパラメータを要求する回路に到達す
る。適当な時間でパラメータを検討するための回路をイ
ネーブルにするため、各回路にはレジスタがあり、この
レジスタ内でパラメータが到達した時スタックされる;
その後、パラメータは使用される時同期信号により累進
的なスタックが行なわれないか又は有効にされる。これ
を行なうため、同期信号MBS,ISYNC及びVSY
NCが与えられている。
【0087】信号MBSは、例えば予測マクロブロック
を処理するため必要なパラメータを受ける時、フィルタ
14によりアクティブにされるマクロブロック同期信号
である。信号MBSはメモリコントローラ24に与えら
れるが、これはフィルタ14に加えられる1以上の予測
マクロブロックを取り出すベクトルを適当な時間に有効
にするためである。
【0088】VLD回路が画像の終わり(EOP)を検
知する時、及びディスプレイ垂直同期信号がイネーブル
の時アクティブにされる信号ISYNCはメモリコント
ローラMCU内で適当な時間に一組の画像ポインタIm
Ptを有効にする。信号ISYNCもメモリコントロー
ラの計算レジスタをリセットするが、このレジスタはメ
モリ15内に記憶されたデータのアドレスを計算するた
めに使用される。
【0089】図3のシステムに使用されるメモリコント
ローラは以下に詳細を記載する特別な利点を有する処理
装置である。実際には、従来の処理装置はバスを通して
のみ通信している;バス以外の他の方法ではパラメータ
を受信するようにされていない。更に、従来の処理装置
ではリクエストは割り込みリクエストに相当しており、
アクノレッジはリクエストを発生した装置(FIFO)
の読み出し又は書き込み動作に相当している。
【0090】従来の処理装置を使用することも勿論可能
である。この場合、画像ポインタImPt及びベクトル
はメモリバスに接続されているFIFOにスタックされ
ている。従って、信号MBSとISYNCは優先度の一
番高い割り込みリクエストに対応しているが、これは処
理装置がパラメータを読み出し内部ワークレジスタに書
き込みができるようにするためである。
【0091】−メモリコントローラ− 図5には特別な利点を有する処理装置に基づくこの発明
によるメモリコントローラの実施態様を示している。こ
の処理装置を記載する前に、従来の処理装置の構造を以
下に記載するが、これはこの発明による処理装置の利点
を強調するためとその構造をより理解しやすくするため
である。
【0092】従来の処理装置には、より一般的に算術論
理演算装置(ALU)と呼ばれる処理装置が含まれてい
る。このALUは先ずシステムバスを通しROM又はR
AMに記憶されている命令を受ける、即ちロードし、次
にこの命令を実行する。この命令の実行により一般に転
送されるデータがシステム上の2つのメモリロケーショ
ンの間、即ちメモリと処理装置のレジスタとの間に生ず
る。
【0093】従来の処理装置では、命令が取り出される
アドレスは単一の命令ポインタの中に含まれている。処
理装置が多数の同時のタスクを実施する必要があれば、
リクエストはそれぞれのタスクに関連している。リクエ
ストが処理装置に到達すると、割り込みが行なわれ新し
いタスクに関連した新しいプログラムが実行される。あ
るタスクから他のタスクへの切り換えを可能にするた
め、所謂“コンテクストセーブアンドリストア(con
text save and restore)”手順
が使用される。この手順にはプログラムに実行が割込ま
れる時、及びその後続けられる時、それぞれ命令ポイン
タの内容をセーブ及びリストアすることから成る。この
手順では特に命令サイクルにおいて時間が消費されタス
クの実行速度が制限される。
【0094】図5では、これに対しこの発明に基づくメ
モリコントローラ24に多数の命令ポンイタIP1,I
P2…IPnが含まれているが、各々の命令ポインタは
メモリバスMBUS上でのデータ転送のタスクに対応し
ている。これらのポインタは、処理装置50により取り
出される命令アドレスとして内容を与える個々のイネー
ブルラインEN1−ENnにより一度に1つづつイネー
ブルされる。イネーブルラインENはバスRQ/ACK
のリクエストラインRQを受けるプライオリティ復号器
52により制御されている。それぞれのリクエストライ
ンRQにはプライオリティレベルが割り当てられてい
る。同じプライオリティレベルを数個のタスクに割り当
てることも可能である。従って、例えば異なるプライオ
リティレベルをこれらのタスクに内部で割り当てること
により、更に1つの命令又はグループの命令が実行され
る毎にこれらのレベルを循環的にシフトさせることによ
り、復号器52は一度に1つのポインタIPのみをイネ
ーブルにする必要がある。これにより同一のプライオリ
ティレベルを有するタスクは実際にシフトが行なわれる
異なるレベルを有すると言うことができる。
【0095】FIFOがリクエストを発生すると、メモ
リバスを通してデータを受け又は与える準備が行なわれ
る。リクエストのアクノレッジはリクエストが無くなる
まで当該FIFOにデータを書き込み又は読み出すこと
から成り、書き込み又は読み出しサイクルはFIFOに
特有なアドレスでメモリバスMBUSを通して行なわれ
る。より好都合なアクノレッジのシステムを後に記載す
る。
【0096】更に、メモリコントローラにより必ず実行
されるタスクは予め定義されているので、これらのタス
クに対応するプログラムはメモリバスMBUSに独立な
非揮発性命令メモリ(ROM)54に記録されている。
イネーブル命令ポインタIPi の内容はROM54のア
ドレス入力に加えられている。ALU50はメモリバス
MBUSに連結されこのバスの上にデータを転送する
が、ROMから命令を直接受けるため従来のALUと比
較して変形されている。従来の処理装置のこの種の変形
は当業者により容易に行なうことができる。
【0097】従来の処理装置には同じバスに接続されて
いる命令レジスタとワークレジスタが含まれている。命
令がロードされると命令レジスタ内に書込まれ、この命
令が実行されると動作がバスとワークレジスタの間で生
ずる。
【0098】この発明によれば、命令レジスタをメモリ
バスMUBSに接続する代わり、この命令レジスタ(図
示していない)がROM54の出力に接続されている。
このような構成により、ALU50内にロードされると
すぐ実行される。このように、実行される命令と同じ数
の読み出しサイクルが節約されるが、これは時間が大幅
に省略されることを示している。
【0099】−メモリコントローラの動作−電源が投入
されると、レジスタである各命令ポインタIPi(i=
1,2…n)が内蔵プログラムのスタートアドレスに対
応したスタート値IPi0 で初期化される。これらのス
タートアドレスは命令ポインタのレジスタのプレチャー
ジ(precharge)入力の上に存在するハードワ
イヤデータに対応している。各プログラムの中にあるプ
ライオリティレベルはプライオリティ復号器により決定
されるが、この復号器によりプライオリティレベルとし
てプログラムに例えば内蔵された命令ポインタのランク
が割り当てられている。
【0100】システムに電源が投入されると、リクエス
トがラインRQ上に現われる。プライオリティ復号器は
一番高いプライオリティを有したリクエストに入ってい
る命令ポインタIPをイネーブルにする。ALU50は
イネーブル命令(インストラクション)ポインタにより
示されたアドレスに位置している命令をロードし、この
命令を実行する。命令が実行されると、増加(インクレ
メンテーション)回路56はイネーブル命令ポインタを
増加するが、このポインタは次にALUにより実行され
る次の命令のアドレスを与える。増加回路56はイネー
ブルポインタ上でのみ動作し、他のポインタの内容は変
更されない。増加回路56の表示(+1)はシンボル記
号である;実行される命令は例えば命令が異なる長さを
有する時、又はジャンプ或いはサブプログラムコール命
令が実行される時、連続したアドレスの位置に必ずしも
ない。この場合、イネーブル命令ポインタは従来の処理
装置で知られているように適当な値だけ増加又は減少す
る。
【0101】以下では、命令ポインタIPのランク
(i)は内蔵されたプログラム(又はタスク)とリクエ
ストを示すため使用されている。
【0102】プログラムi−1の優先度より高い優先度
を有するリクエストiが発生すると、プログラムi−1
の現在の分割できないグループの命令が実行された直後
復号器52はポインタIPi−1の代わり命令ポインタ
IPi をイネーブルにする。リクエストiは関係のある
アクノレッジラインACKにより同時にアクノレッジが
行なわれる。新しいイネーブルポインタIPi により指
示された命令はALU50内にロードされ時間のロスを
伴わないで実行される、即ち新しい命令はプログラムi
−1の新しい命令が実行されると同時に実行される。
【0103】プライオリティ(優先)リクエストiが無
能にされると、復号器52は優先度の最大の新しいタス
クに対応した命令ポインタをイネーブルにするが、この
優先度の最大のタスクはタスクi又は新しいタスクによ
り中断されたタスクとなる。内蔵されたプログラムは中
断された点から、即ちまだスタートしていないタスクに
対応したプログラムであればその最初から実行される。
【0104】この種のシステムでは、あるタスクから他
のタスクへの切り換えはコンテクストセーブアンドリス
トアを実行するため従来のシステムに必要であるデッド
タイムを発生することなく行なわれる。
【0105】画像処理システムにおいて、データ転送タ
スクを有するプログラムはエンドレスループ内で実行す
るように設計されている。このように、この種のプログ
ラムの最後の命令はプログラムの最初の命令に対するジ
ャンプである。このジャンプは従来は増加回路56によ
り管理されている。この発明による制御ループに対する
最適な方法を後に記載する。
【0106】前述のように現在のタスクの優先度より高
い優先度のリクエストを発生する代わり、現在の命令の
グループの実行を終えることが望ましい(データのパケ
ットの全ての転送)。従来の処理装置では、特別な命令
により命令リクエストの実行に対しイネーブルとディセ
イブルが行なわれている。しかし、この発明による処理
装置では従来の割り込みシステムが使用できないので、
このような特別の命令は適していない。
【0107】この問題を解決するため、この発明では各
々の命令IをプリフィックスI1とコマンドI2とに分
割している。プリフィックスI1はプリフィックス復号
器58に与えられ、従来の命令に対応したコマンドI2
はALU50に与えられている。プリフィックスI1は
内蔵命令が実行された時現在のプログラムが中断される
か又はされないかを示している。
【0108】プリフィックス復号器58はプライオリテ
ィ復号器52に信号NEXTENを与えているが、この
信号はプリフィックスが特別な値であれば、たとえ現在
のプログラムの優先度より高い優先度のリクエストが発
生しても、新しい命令ポインタのイネーブルを禁止す
る。
【0109】−メモリコントローラの最適化− 命令のプリフィックスI1は適当なビット数により、現
在のプログラムが現在の命令の後に中断されるか又はさ
れないか、更に現在の命令を所定の時間実行する必要が
あるかを示すのに好都合である。プリフィックスI1に
より更に現在の命令がプログラムの最後の命令であるか
示すこともできる(この可能性の利用は後に示す)。
【0110】プリフィックス復号器58はプリフィック
スI1により決定される多数のサイクルで初期化される
命令サイクルのダウンカウンタから構成されている。こ
の数はプリフィックス復号器内に記憶された幾つかの一
定数の中から選択された数、即ちALU50により与え
られる数Nである。ループ命令が実行されると、プリフ
ィックス復号器58は命令サイクルが所要の数の間増加
回路56を禁止する。この結果ロードされた命令は希望
の回数だけ実行される。
【0111】この方法では実行される各ループに対する
ジャンプ命令を省略しており、これにより1つの命令だ
けが連続的に数回実行されることになっておれば大幅に
時間の節約ができる。このようなループ命令はデータが
パケットにより転送されることになっている時特に有益
であるが、これはこのシステムにおける1つのケースで
ある。
【0112】現在実行された命令が最後の1つであるこ
とをプリフィックスI1が示していれば、命令が実行さ
れる毎に復号器58は信号INITに一組の命令ポイン
タIPを与えるが、これによりプログラムスタートアド
レスにおいてのみイネーブルポインタの初期化が行なわ
れる。
【0113】このようなシステムでは、幾つかの場合処
理装置の命令セットは多くのジャンプ命令を含まないセ
ットに制限されるが、これにより処理装置、より詳細に
は増加回路が大幅に簡単になる。
【0114】この処理システムにおいては、データの処
理は特別な回路により行なわれる。メモリコントローラ
のみがメモリバスMBUSを通してデータを転送し、画
像メモリ15内で適当なデータアドレスを計算する。
【0115】各々のFIFOはメモリバスMBUSの上
に内容を与え、又はこのFIFOがアクノレッジ信号A
CKを受けた時メモリバスMBUSの上にあるデータを
受ける。この信号ACKは命令Iのそれぞれから追加フ
ィールドI3を受けるアクノレッジ回路59により与え
られている。この構成によりFIFOと、メモリバスM
UBSに接続された読み出し−書き込み専用装置とが、
メモリバス上に多くのアドレスを発生することなく命令
(より詳細にはフィールドI3)により直接選択され
る。これにより画像メモリ内に読み出されるデータが書
き込み専用装置に直接書込まれ、更に読み出し専用装置
に読み出されるデータが画像メモリ内に直接書込まれる
が、これは書き込みサイクルが後に続く読み出しサイク
ルを実施する必要性を生ずることなく行なわれている。
アクノレッジ回路59は必要があれば、復号器及び/又
はアクノレッジを適当にフォーマットする回路である
(例えばFIFOメモリにより読み出される前にバスの
上の現在のデータに画像メモリの時間を与えるためアク
ノレッジ信号を遅延する必要がある)。
【0116】前に示したように、リクエストの内容が内
容の最小値より小さい時、例えばFIFOサイズの半分
に等しい時書き込み専用FIFOはリクエストを発生す
る。書き込み専用FIFOが有するタスクはデータのパ
ケットを画像メモリからFIFOに転送することから成
るが、このデータのパケットの大きさは固定されてお
り、例えばFIFOの大きさの半分に等しい。
【0117】このような転送動作は前述のように、画像
メモリ呼び出し命令のループ化された実行から成るが、
このループの数は読み出し命令のプリフィックスI1に
より決定されている。読み出し命令のそれぞれの実行の
毎に、画像メモリはFIFOにすぐ転送されるデータを
メモリバスの上で与える。
【0118】読み出し専用FIFOは内蔵された多数の
データが内容の最大値、例えばFIFOの大きさの半分
に等しい値を越える時、リクエストを発生する。FIF
Oが有するタスクはデータのパケットによりFIFOの
内容を画像メモリに転送することから成る。パケットの
それぞれには例えばFIFOの大きさの半分に等しい一
定数のデータが入っている。
【0119】このような転送動作は画像メモリ書込み命
令のループ化された実行から成るが、ループの数は書込
み命令のプリフィックスI1により決定される。FIF
Oのアクノレッジ信号がアクティブになると、FIFO
は書込み命令の実行速度でバスの上にデータを与える。
このようにFIFOによりバスの上に与えられるそれぞ
れのデータは画像メモリにすぐ書込まれる。
【0120】画像メモリ内のどの位置からデータパケッ
トが転送されるかを知るため、例えば画像メモリ内に記
憶されたデータのポインタを更新することができる。A
LUにはアドレスレジスタARがあるが、このアドレス
で転送(読み出し又は書込み)動作が行なわれる。デー
タのパケットの転送プログラムの始めにはこのアドレス
レジスタAR内にデータポイントの内容を書込む命令が
含まれている。プログラムのその後の命令は読み出し又
は書込み命令においてアドレスレジスタの内容を適当に
変更する命令である。この適当な変更は増加(この量は
画像メモリ内の連続したアドレスでデータを書込むこ
と、又は読み出すことに相当する)であり、より複雑な
計算(例えば一連のマクロブロックから画像ラインを取
り出す再帰計算)である。
【0121】しかし、転送命令の各実行においてアドレ
スレジスタARを変更する命令の実行には転送命令の前
後に命令が挿入されることが必要であるが、この命令は
転送命令と同じループで実行される。この方法は現在の
命令のみがループ化されることを示すプリフィックスI
1を使用することにより与えられる利点とは両立しな
い。
【0122】この欠点を避け更にシステムのスピードを
上げるため、ALUにはハードウエアによりアドレスの
計算に対する所定の数の所定の機能を実行するアドレス
計算ユニット50−1がある。計算ユニットのそれぞれ
の計算機能は命令Iの追加フィールドI4により選択さ
れる(フィールドI4もアクノレッジフィールドI3に
相当している)。このように実行される各命令に対し、
特別なアドレス計算機能が選択される。それぞれのハー
ドワイヤ機能は命令サイクルに同期してレジスタARの
状態を変更するように計算されている。
【0123】この構成により単独の読み出し又は書込み
の命令に対するループ実行が行なわれが、この読み出し
又は書込み動作は命令に関連したハードワイヤ機能によ
り各ループで自動的に、又適当に更新されるレジスタA
Rを含むアドレスに発生する。
【0124】既に述べたように、メモリバスMBUSに
接続されたFIFO内に移動補償ベクトルと画像ポイン
タを記憶させる代わり、これらのパラメータは計算ユニ
ット50−1のレジスタ50−2内にスタックされる。
それぞれの画像同期パルスISYNCにおいて、計算ユ
ニット50−1により新しい組の画像ポインタが検討さ
れ、更にアドレスレジスタARが初期化されるようにレ
ジスタ50−2の内容がシフトされる。それぞれのマス
クブロック同期パルスMBSにおいて、計算ユニット5
0−1が新しいベクトルを検討するようにレジスタの内
容がシフトされる。
【0125】以下では、FIFOから画像メモリにn個
のデータのパケットを転送するプログラムを検討する。
この転送プログラムは対象とするFIFOにより与えら
れるリクエストで初期化されるタスクに相当している。
数nは対象とするFIFOがパケットのn+1番目のデ
ータを受けた時リクエストを無能にするように選択され
ている。
【0126】このようなプログラムは基本的に次の連続
的な命令から成る: (1)現在のタスクの最初の実行の間に使用される最後
のアドレスをレジスタARにロードする1つの命令(こ
のアドレスは例えばタスクに割当てられた位置で画像メ
モリ内に記憶されている)。この命令のプリフィックス
I1は命令が実行された後タスクが(より高い優先度の
タスクにより)中断されないことを示している。フィー
ルドI3とI4はアクティブでない値を有している。 (2)命令がn回実行されタスクが中断されることをプ
リフィックスI1が示す1つの転送命令。フィールドI
3は使用されるFIFOを選択し、フィールドI4は使
用されるハードワイヤアドレス計算機能を選択する。 (3)レジスタARの内容をセーブする1つの命令で、
そのプリフィックスI1はプログラムの実行が一番目の
命令から再開されることとタスクが中断されることを示
している。フィールドI3とI4にはアクティブでない
値が含まれている。
【0127】このようなタスクはプログラムの最後の命
令(これはタスクの休止を認める命令である)の場合
で、即ちデータの全てのパケットが転送される時より高
い優先度のタスクに制御を移す。パケット内のデータの
数nが高ければ、より高い優先度のタスクにしばしば制
御を移す必要がある。
【0128】これを行なうため、一番目のアプローチは
n個のパケットをn1 …ni …npから成るp個のサブ
パケットに分割すること、及びn1 …ni …np のデー
タのp個の連続した転送サブプログラムを有する転送プ
ログラムを与えることである。これは3つのサブブロッ
クにマクロブロックを転送する場合を提示している。転
送命令がn回の代わりni 回実行されること、及びプロ
グラムが最初の命令から再開されることを最後のサブプ
ログラムのセーブAR命令のみが示していることを除く
と、各サブプログラムは前述の3つの命令を含んでい
る。これにより各サブプログラムの終わりで、即ち(n
データの代わりに)ni のデータの転送に対し多くても
等しい比較的短い潜伏時間の後により高い優先度のタス
クに制御が移される。これにより、各サブプログラムで
個々のアドレス計算機能も選択され、更に他のタスクに
使用されているが複雑な計算機能を簡単なサブプログラ
ムに分割される。
【0129】しかし、このアプローチにはni のデータ
の2つの転送の間にはセーブ命令の実行とレジスタAR
の更新命令に実行が必要で、これにより処理が遅くな
る。
【0130】二番目のアプローチはこの欠点を回避する
が、これにはハードワイヤ計算機能と同じ数のアドレス
レジスタARがALU内にある。このようにそれぞれの
計算機能は自身のアドレスレジスタ上で動作を実施し、
更に(内蔵タスクが中断するので)その機能が中断され
れば内蔵アドレスレジスタは機能が再度アクティブにさ
れれば継続するアドレスを保持している。これらのアド
レスレジスタを更新又はセーブする必要はない。この結
果、転送プログラムのみがアドレスレジスタの一番目の
更新命令、最後のセーブ命令、更にその間の一連の転送
命令から構成されているが、これらの命令のそれぞれは
ループ内で実行され、転送命令のプリフィックスI1は
ループの数を示している。
【0131】プログラムはループ命令が実行される間中
断されてはいけない。このようにするため、ループ命令
のフィールドI1はプログラムが中断されてはいけない
ことをアクティブビットにより示している。このアクテ
ィブビットは信号NEXTEN(現在のプログラムが中
断される場合があることを示す役目をする)をアクティ
ブにしないプリフィックス復号器により明らかにされ
る。
【0132】−画像メモリとしてのダイナミックメモリ
の使用− 一般的に使用される画像メモリはダイナミックメモリで
ある(DRAM)。DRAMの利点はこれらの形が小さ
く低廉で、記憶容量が大きいことである。しかし、DR
AMは2つのステップでアクセスされる。実際DRAM
は幾つかのページに分割される。DRAM内で読み出し
又は書込みを行なう前に、ページは特別なアドレスサイ
クルで選択される必要がある;次にワードは通常の読み
出し又は書込みサイクルでこのページ内で選択される必
要がある。ページが選択されるとこのページのワードは
通常の読み出し又は書込みサイクルにより全てアクセス
できることは勿論である。
【0133】DRAMの使用を最適にするため、マクロ
ブロックの輝度ブロックは一番目のページに記憶され、
クロミナンスブロックは他のページに記憶される。クロ
ミナンスブロックはブロックの全数をDRAMのページ
内に記憶するため輝度ブロックから分離される。処理装
置の適当な機能によりマクロブロックの転送の間ブロッ
クの分離及び分類が管理される。
【0134】予測マクロブロックMPpはランダムな移
動補償ベクトルにより決定されるので、DRAMの幾つ
かのページをオーバーラップできる。予測器の読み出し
は、従ってより複雑である。この場合、選択された計算
機能により数Nがプリフィックス復号器に与えられる
が、この数Nはベクトルから計算される。数Nは例えば
予測器を部分的に含む上側のページ内で予測器の列の画
素の高さを示している。予測器の読み出しは、それぞれ
完全な画素の列に対し上側のページ内に含まれる列の一
番目の部分の画素を読み出すためN回読み出し命令を実
施し、次に下側のページ内の列の残りの部分を読み出す
ためH−N回読み出し命令を実施することから成るが
(Hは列の画素内のトータルの高さ)、このページの変
化は2つの読み出しループの間で行なわれる。
【0135】この構成により、予測器は適当な順序で読
み出されるが、これにより予測器の画素を再配列するた
め複雑なアドレス計算機能と、再配列される前に予測器
の画素を任意に記憶するバッファとを与える必要性が避
けられる。前述のEP−A−0503956の特許出願
においては、ページ内に含まれる部分予測器の全ての画
素は、より一層複雑になることを犠牲にしてページの変
化の数を最小にするため、他のページに含まれる部分予
測器の画素を読み出す前に読み出される。
【0136】この発明によれば、システムが十分早いの
でより多くのページの変化を実行できる。更に、ページ
変化の数の増加は実際には64データビットのメモリバ
スでは100クロックサイクルあたり約4クロックサイ
クルである。
【0137】−マイクロプロセッサに内蔵されたMPE
G復号器− 図6には幾つかのヘッダのあるプライベートデータを使
用することに特に適したこの発明に基づくMPEG復号
器の実施態様を示している。
【0138】MPEG復号器はマイクロプロセッサを含
むテレビジョン装置又マイクロコンピュータのような装
置に最も多く使用されている。
【0139】図6には同じ参照番号を付けた図3と同じ
エレメントを示している。このシステムと図3のシステ
ムの違いはマイクロプロセッサ60により制御されてい
るプロセッサバスPBUSがあることである。マイクロ
プロセッサ60はVLD回路10の幾つかのタスクを実
施するようにされている、即ち構成パラメータをディス
プレイコントローラ18に与え、量子化テーブルQTa
bを逆量子化回路12に与え、画像ポインタImPtを
メモリコントローラ24に与え、更に(移動補償ベクト
ルに関する画像タイプ及び復号化情報)VLD回路が必
要とする復号化パラメータ(“命令”)を与えている。
【0140】更にこのシステムには、2つの追加された
FIFO、即ち1つはメモリ15内にバスPBUSから
データを書込むためのFIFO62で、他はバスPBU
Sの上でメモリ15からデータを書込むためのFIFO
64がある。FIFO64の内容は更に同期信号ISY
NCを受け割り込みリクエストIRQをマイクロプロセ
ッサ60に与えるヘッダ検出器66により使用されてい
る。
【0141】FIFO64はメモリ15から圧縮データ
を受ける。ヘッダ検出器66はシーケンス画像ヘッダを
検出しこれらのヘッダの1つが検出された時マイクロプ
ロセッサ60に割り込みを行なうようにされている。マ
イクロプロセッサの役目はFIFO64内でヘッダを読
み出すこと、これらのヘッダのパラメータを取出すこ
と、量子化テーブルを回路12に、構成パラメータをデ
ィスプレイコントローラ18に、VLD回路に対する命
令をシークエンサ28に与えること、前述の4つの画像
ポインタ(RP,FP,BP,DP)を計算すること、
更にこれらをメモリコントローラ24に与えること、で
ある。
【0142】更に、マイクロプロセッサ60はオンスク
リーンディスプレイデータとプライベートデータをヘッ
ダから取り出す。オンスクリーンディスプレイデータは
FIFO62に与えられ、バスMBUSを通してメモリ
15のエリアOSDに伝えられる。プライベートデータ
はマイクロプロセッサ60に内蔵されたメモリ(図示し
ていない)に記憶され、デコンプレッションシステムに
対し外部となるエレメントにより使用されている。
【0143】このような構成により、VLD回路により
実施されるタスクが減少するが、これにより速度が増加
し複雑度が減る。勿論、ヘッダを検出する必要があるの
で、VLD回路はシーケンス画像ヘッダを検出するが、
処理はしない。
【0144】FIFO62からメモリ15への転送と、
メモリ15からFIFO64への転送はメモリコントロ
ーラ24により実施される追加されたタスクであり、こ
れらのタスクは他のFIFOに関して記載したリクエス
ト/アクノレッジシステムにより実施される。FIFO
62に関連してタスクは例えばFIFO20と22の優
先度から構成される優先度を有しており、FIFO64
に関連したタスクは例えばFIFO20と21の優先度
から構成される優先度を有している。
【0145】図6のシークエンサ28は図3のシークエ
ンサに比較すると役目が追加されている。この役目はV
LD回路の命令をレジスタ内にスタックすること、信号
ISYNCと同期してVLD回路にこれらの命令を与え
ることである。
【0146】マイクロプロセッサ60は幾つかのMPE
G復号器のタスクを引き継ぐが、このタスクはマイクロ
プロセッサの能力を大幅に損なうことがなく復号器によ
り実施が複雑になる。実際には、INTEL486−タ
イプのプロセッサの場合、例えばこれらのタスクはマイ
クロプロセッサの能力のほぼ1%に対応しており、優先
度の一番低い割り込みルーチンにより処理される。
【0147】−高精細画像の処理− この発明によるデコンプレッションシステム、即ちMP
EG復号器は標準精細のテレビジョン画像(例えば72
0×480画素の画像)を処理することができる。高精
細画像を処理するため、工程の計算が増加する。例えば
1440×960画素の高精細画像を処理するため、少
なくとも4つのMPEG復号器を並列に動作する必要が
ある。
【0148】図7は4つのスライス部分SL1−SL4
に分割された高精細画像を示しており、それぞれはMP
EG復号器により処理されている。
【0149】図8は高精細画像の4つのスライス部分を
処理するため接続された4つのMPEG復号器を示して
いる。各MPEG復号器の入力は圧縮データバスCDi
nに接続されており、更に各復号器はそれぞれの画像メ
モリで動作する。各復号器のディスプレイコントローラ
はスライス部分に対応したディスプレイ同期信号を受
け、ディスプレイコントローラにより与えられるデータ
が重ねられる。このように、1つの復号器のディスプレ
イコントローラは関連したスライスが表示される毎に水
平同期パルスHSYNCのバーストを受け、更に1つの
画像から他の画像の遷移を示す垂直同期パルスVSYN
Cを受ける。
【0150】しかし、多数の復号器を並列に配置するの
は容易でない。実際には、図7に関して、例えばスライ
スSL3の上側の部分のマクロブロックMB1を再生す
るため、スライスSL2の下側の部分にある予測マクロ
ブロックMBp1を使用する必要がある。同様に、スラ
イスSL3の下側部分にマクロブロックMB2を再生す
るため、スライスSL4の上側の部分にある予測マクロ
ブロックMBp2を使用する必要がある。言い換えれ
ば、スライスSL3に関連した復号器はスライスSL2
とSL3に関連した復号器のメモリをアクセスすること
ができる。
【0151】この発明では標準精細画像を復号するため
使用したMPEG復号器の簡単な変更を提示している。
この変更によりあらゆる精細度の画像を処理するため多
数のMPEG復号器を並列に配置することができる。
【0152】このようにするため、この発明では復号器
に関連したメモリを大きくしているが、これは隣接スラ
イスの境界エリアに対応したマージンと関連スライスを
含むようにするためである。境界エリアの高さは移動補
償ベクトルの垂直の大きさの最大値により決定される。
以下ではこの大きさは画像スライスの半分の高さに相当
していると仮定する。従って、スライスに関連したメモ
リは関連スライス、隣接上側スライスの下側半分、更に
隣接下側スライスの上側半分を含むのに適した大きさで
ある。一番端の復号器のメモリの大きさは関連スライス
とスライスの半分を含むのに適している。
【0153】このような構成により、スライスのマクロ
ブロックを再生するため使用されている全ての予測マク
ロブロックはこのスライスと関係のある復号器のメモリ
コントローラによりアクセスされる。
【0154】更に、それぞれの復号器の間には交換シス
テムが与えられているが、このシステムにより復号器は
メモリにスライスのデータを与え、又隣接復号器のメモ
リに同じデータを与えている。
【0155】図9にはこの発明に基づき並列に接続され
た2つの復号器の内部構造を部分的に示している。各々
の復号器には加算器16と再生マクロブロックを復号器
メモリに与えるFIFO26とを示している。加算器1
6はFIFO26を通してデータを復号器のメモリに与
えているが、この加算器は同時に隣接復号器に接続され
た交換バスXBUS上に同じデータを与えている。各復
号器には更に2つのFIFO90と92があるが、これ
らのFIFOは復号器のメモリバスMBUSに接続さ
れ、それぞれ2つの隣接復号器の交換バスからデータを
受ける。復号器の他のFIFOのように、FIFO90
と92のデータは復号器のメモリコントローラにより実
行されるリクエスト/アクノレッジシステムを通し復号
器のメモリに転送されている。FIFO90に関係する
タスクはFIFO90から上側境界スライスのメモリエ
リア1/2SLにデータを転送するためにあり、FIF
O92に関係するタスクはFIFO92から下側境界ス
ライスのメモリエリア1/2SLにデータを転送するた
めにある。
【0156】スライスSLの全てのデータは交換バスX
BUSの上に与えられているので、FIFO90と92
の前には当該ハーフスライスのデータをフィルタに通す
ためそれぞれバリア回路94と96とがある。このよう
にするため、バリア回路94にはカウントされたデータ
の数がスライスの半分のデータ数に達するとすぐデータ
をFIFO90に転送するデータカウンタがある。バリ
ア回路96にはカウントされたデータの数がスライスの
半分のデータ数に達する時までデータをFIFO92に
転送するデータカウンタがある。バリアカウンタ94と
96のカウンタは2つのスライスのディスプレイの間
で、例えば垂直同期信号VSYNCにより初期化され
る。
【0157】この発明に基づく高精細画像処理システム
には4つの個々のMPEG復号器のメモリサイズに比較
して75%のメモリサイズの増加が必要である。しか
し、増加したメモリサイズの価格はシステムを簡単にす
ることにより補うことができる。
【0158】以上のようにこの発明の1つの特別な実施
態様について記載したが、種々の変形、変更及び改善が
当業者には容易に考えられる。このような変形、変更及
び改善はこの開示の一部であり、この発明の内容及び範
囲である。従って、前述の記載は一例でありこれには制
限されない。
【図面の簡単な説明】
【図1】MPEGデコンプレッションシステムの基本エ
レメント
【図2A】マクロブロックの復号化ステップ
【図2B】マクロブロック構造の一例
【図3】この発明に基づくデコンプレッションシステム
の構造、即ちMPEG復号器の実施態様
【図4】図3のデコンプレッションシステムの動作を示
すタイミングダイアグラム
【図5】この発明に基づくメモリコントローラの好都合
な実施態様
【図6】この発明に基づくデコンプレッションシステム
の他の実施態様
【図7】多数のデコンプレッションシステムによるスラ
イスにより処理される高精細テレビジョン画像
【図8】高精細画像を処理するため並列に接続された多
数のデコンプレッションシステム
【図9】この発明に基づき並列接続を容易にする復号器
の内部構造の部分的な実施態様
【符号の説明】
10 可変長復号器(VLD) 11 ランレベル復号器(RLD) 12 逆量子化回路(Q-1) 13 逆離散コサイン変換回路(DCT-1) 14 ハーフ画素フィルタ 15 メモリ 16 加算器 18 ディスプレイコントローラ 20,21,22 バッファメモリ(FIFO) 24 メモリコントローラ(MCU) 26 FIFO 28 シークエンサ 50 処理装置(ALU) 50−1 アドレス計算装置 50−2 レジスタ 52 プライオリティ復号器 54 非揮発性命令メモリ(ROM) 56 増加回路 58 プリフィックス復号器 59 アクノレッジ回路 60 マイクロプロセッサ 62,64 FIFO 66 ヘッダ検出器 90,92 FIFO 94,96 バリア回路
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 8420−5L G06F 15/66 330 C

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 画像ブロックに対応したパケットにより
    到達する圧縮データを処理するシステムで、前記のパケ
    ットはパケットの復号化パラメータを有するヘッダによ
    り分離されており、前記のシステムには次のものが含ま
    れている: (a)前記の復号化パラメータを用いた幾つかの処理用
    エレメント; (b)前記のエレメントの処理速度に適合した速度によ
    り処理用エレメントの間でデータを交換し、更に処理又
    は再使用するため画像メモリ(15)内でデータを記憶
    するためメモリコントローラ(24)により制御された
    メモリバス(MBUS); (c)パケットを直列に処理するために接続された多数
    の処理用エレメントを有するパイプライン回路(11,
    12,13); (d)処理されるパケットをパイプライン回路に与え、
    更に復号化パラメータをシステムのエレメントに与える
    パラメータバス(VLDBUS)で、前記のパラメータ
    バスはメモリバスから圧縮データを受け更にパケット及
    び復号化パラメータを取り出すマスタ処理用エレメント
    (VLD)により制御されている。
  2. 【請求項2】 圧縮データの各パケットの前にブロック
    ヘッダがあり、更にパケットが連続したグループになっ
    ている請求項1のシステムで、パケットの各グループの
    前にはグループヘッダがあり、このグループヘッダはグ
    ループ復号化パラメータを含み、更にプライベート及び
    オンスクリーンディスプレイ情報を含む可能性がある
    が、このシステムには更に次のものが含まれている: (a)グループ復号化パラメータ、更にプライベート及
    びオンスクリーンディスプレイ情報をシステムエレメン
    トに供給するためマイクロプロセッサ(60)で制御さ
    れたプロセッサバス(PBUS); (b)プロセッサバスによりアクセスされ、メモリバス
    を通して圧縮データを受けるバッファメモリ(64); (c)マイクロプロセッサに割込みを生ずるため前記の
    バッファメモリと共に動作するグループヘッダ検出器
    (66);
  3. 【請求項3】 2つのエレメントの一方がデータを与え
    るため又は受けるためリクエストを発生する時初期化さ
    れ又は継続される特別なタスクに対し、メモリバス(M
    BUS)に接続された2つのエレメントの間でのデータ
    の転送が対応しており、全ての可能性を有したタスクが
    タスク優先度管理に基づくメモリコントローラ(24)
    により実行される同時発生のタスクである請求項1又は
    2のシステム。
  4. 【請求項4】 画像メモリ(15)とデータを交換する
    エレメントが書き込み又は読み出し専用バッファメモリ
    を通してメモリバス(MBUS)に接続されている請求
    項3のシステムで、 書き込み専用バッファメモリは関連のあるエレメントに
    より空にされ、メモリの内容が下限に達した時メモリバ
    スを通してデータを受けるためリクエストを発生してお
    り、読み出し専用バッファメモリは関連のあるエレメン
    トにより充満され、メモリの内容が上限に達した時メモ
    リバスの上にデータを与えるためリクエストを発生して
    いる。
  5. 【請求項5】 次のものを含む請求項4のシステム: (a)前記のマスタ処理用エレメントを形成する可変長
    復号器(VLD); (b)パイプライン回路の一番目のエレメントを形成
    し、更に可変長復号器により処理されるパケットをパラ
    メータバス(VLDBUS)を通して受けるランレベル
    復号器(RLD); (c)パイプライン回路の二番目のエレメントを形成
    し、更にパラメータバスを通して量子化スケール係数を
    受ける逆量子化回路(Q-1); (d)パイプライン回路の三番目のエレメントを形成す
    る逆コサイン変換回路(DCT-1); (e)パラメータバスを通して移動補償ベクトルを受け
    るメモリコントローラ(24); (f)パラメータバスを通してブロックのタイプを受け
    るフィルタ(14)で、前記のフィルタはメモリコント
    ローラが受けるベクトルの関数としてメモリバスの上に
    与えられる当該データを受けるため、ブロックのタイプ
    に基づき個々のリクエストを発生している; (g)フィルタ及びコサイン変換回路の出力の和をメモ
    リバスの上で与える加算器(16)。
  6. 【請求項6】 関連のあるバッファメモリ(64)が画
    像シーケンスヘッダ、即ち画像ヘッダを受ける時グルー
    プヘッダ検出器(66)がマイクロプロセッサ(60)
    に割込みを発生し、グループヘッダ検出器に連結したバ
    ッファメモリ内で、マイクロプロセッサが逆量子化回路
    (Q-1)に与える量子化テーブルと、画像タイプに関す
    る及びマイクロプロセッサが可変長復号器(VLD)に
    与える移動補償ベクトルの大きさに関する情報と、更に
    メモリバスを通し復号化データを受けるディスプレイコ
    ントローラ(18)が与えるディスプレイ構成に関する
    情報とを読み出すことにより割込みに応答するようにこ
    のマイクロプロセッサがプログラムされている請求項5
    のシステム。
  7. 【請求項7】 メモリコントローラ(24)が次のもの
    を含む請求項3のシステム: (a)前記メモリバス(MBUS)と独立した命令メモ
    リ(54)で、この命令メモリ内にはメモリバスの上で
    タスクをそれぞれ転送することに対応したプログラム命
    令を記憶している; (b)実行される連続した命令を受けるため命令メモリ
    に接続され、更に前記メモリバス(MBUS)の上でこ
    れらの命令に対応して動作するように接続されているコ
    マンド処理装置(ALU); (c)可能性のあるタスクにそれぞれ関連を有し更に関
    連のあるタスクを実行するため現在の命令アドレスをそ
    れぞれ含んでいる多数の命令ポインタ(IP)であり、
    前記ポインタの1つのみが命令アドレスとしてその内容
    を命令メモリに与えるため同時にイネーブルにされる; (d)各リクエスト(RQ)に所定の優先レベルを割当
    て、更に一番高い優先レベルを有するアクティブなリク
    エストに関係した命令ポインタをイネーブルにするプラ
    イオリティ復号器(52); (e)イネーブルにされた命令ポインタの内容を増加さ
    せるため、更にその内容が関連のあるプログラムのエン
    ドアドレスに到達した時関連のあるプログラムスタート
    のアドレスで再初期化するための手段(56)。
  8. 【請求項8】 各命令(I)が処理装置(ALU)に与
    えられるコマンドフィールドと、次のものを有するプリ
    フィックス復号器(58)に与えられるフィーチャフィ
    ールド(I1)とを含む請求項7のシステム: (a)現在の命令のフィーチャフィールドが一番目の所
    定値にあれば、プライオリティ復号器により新しい命令
    ポインタをイネーブルにする手段(NEXTEN); (b)現在の命令のフィーチャフィールドが二番目の所
    定値にあれば、現在のプログラムのスタートアドレスに
    対しイネーブル命令ポインタの内容を初期化する手段
    (INIT)。
  9. 【請求項9】 現在の命令を数回連続的に実行するた
    め、フィーチャフィールドが三番目の所定値にあれば、
    イネーブル命令ポインタの増加を禁止するための手段
    (INH)をプリフィックス復号器(58)が有してお
    り、実行の数がこの三番目の値により決定される請求項
    8のシステム。
  10. 【請求項10】 処理装置(ALU)に与えられたコマ
    ンドフィールド(I2)と、メモリバスに接続された少
    なくとも1つのバッファメモリが実行された時イネーブ
    ルにする手段(59)に与えられたアクノレッジフィー
    ルド(I3)とを各命令が有する請求項7のシステム。
  11. 【請求項11】 処理装置(ALU)がアドレスを計算
    するための多数のハードワイヤ機能(50−1)を有
    し、それぞれの機能が実行される読み出し又は書込み命
    令のフィールド(I4)により選択されている請求項7
    のシステム。
  12. 【請求項12】 メモリバスに接続されたアドレスレジ
    スタ(AR)が各ハードワイヤ機能に連結されており、
    命令が処理装置(ALU)内で実行される毎にハードワ
    イヤ機能がアドレスレジスタの内容を適当に変更する請
    求項11のシステム。
JP12470694A 1993-05-27 1994-05-16 画像処理システム Expired - Fee Related JP3687107B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
FR9306612A FR2705804B1 (fr) 1993-05-27 1993-05-27 Architecture de processeur multi-tâches.
FR93/13293 1993-10-29
FR9313293A FR2705805B1 (fr) 1993-05-27 1993-10-29 Système de traitement d'images.
FR93/06612 1993-10-29

Publications (2)

Publication Number Publication Date
JPH0759084A true JPH0759084A (ja) 1995-03-03
JP3687107B2 JP3687107B2 (ja) 2005-08-24

Family

ID=26230372

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12470694A Expired - Fee Related JP3687107B2 (ja) 1993-05-27 1994-05-16 画像処理システム

Country Status (5)

Country Link
US (1) US5579052A (ja)
EP (1) EP0626653B1 (ja)
JP (1) JP3687107B2 (ja)
DE (1) DE69429207T2 (ja)
FR (1) FR2705805B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000032473A (ja) * 1998-06-23 2000-01-28 St Microelectronics 画像復号化方法および画像復号化装置
JP2001053825A (ja) * 1999-07-08 2001-02-23 Thomson Licensing Sa 適応トランスポートプロトコル復号器
US6452968B2 (en) 1997-10-31 2002-09-17 Oki Electric Industry Co., Ltd. Circuitry and apparatus for converting a decoded image with a macroblock/raster scan conversion capability

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6047112A (en) 1992-06-30 2000-04-04 Discovision Associates Technique for initiating processing of a data stream of encoded video information
US5842033A (en) 1992-06-30 1998-11-24 Discovision Associates Padding apparatus for passing an arbitrary number of bits through a buffer in a pipeline system
US6034674A (en) * 1992-06-30 2000-03-07 Discovision Associates Buffer manager
US5768561A (en) 1992-06-30 1998-06-16 Discovision Associates Tokens-based adaptive video processing arrangement
US7095783B1 (en) 1992-06-30 2006-08-22 Discovision Associates Multistandard video decoder and decompression system for processing encoded bit streams including start codes and methods relating thereto
US6067417A (en) 1992-06-30 2000-05-23 Discovision Associates Picture start token
US6330665B1 (en) 1992-06-30 2001-12-11 Discovision Associates Video parser
US6079009A (en) 1992-06-30 2000-06-20 Discovision Associates Coding standard token in a system compromising a plurality of pipeline stages
US5809270A (en) 1992-06-30 1998-09-15 Discovision Associates Inverse quantizer
US6112017A (en) 1992-06-30 2000-08-29 Discovision Associates Pipeline processing machine having a plurality of reconfigurable processing stages interconnected by a two-wire interface bus
DE69229338T2 (de) 1992-06-30 1999-12-16 Discovision Associates, Irvine Datenpipelinesystem
US5835740A (en) 1992-06-30 1998-11-10 Discovision Associates Data pipeline system and data encoding method
US5805914A (en) 1993-06-24 1998-09-08 Discovision Associates Data pipeline system and data encoding method
US5861894A (en) 1993-06-24 1999-01-19 Discovision Associates Buffer manager
CA2145363C (en) 1994-03-24 1999-07-13 Anthony Mark Jones Ram interface
JP3076201B2 (ja) 1994-07-28 2000-08-14 日本電気株式会社 画像データ伸張方式
US5703793A (en) 1994-07-29 1997-12-30 Discovision Associates Video decompression
EP0710033A3 (en) * 1994-10-28 1999-06-09 Matsushita Electric Industrial Co., Ltd. MPEG video decoder having a high bandwidth memory
JP3732867B2 (ja) * 1995-03-09 2006-01-11 株式会社ルネサステクノロジ 画像伸張装置
US6119213A (en) * 1995-06-07 2000-09-12 Discovision Associates Method for addressing data having variable data width using a fixed number of bits for address and width defining fields
US6166723A (en) * 1995-11-17 2000-12-26 Immersion Corporation Mouse interface device providing force feedback
US5781664A (en) * 1995-09-11 1998-07-14 National Semiconductor Corporation Highly efficient method and structure for motion compensation in a video decompression system
KR100195098B1 (ko) * 1995-10-13 1999-06-15 윤종용 영상 압축 및 복원장치에 있어서 가변길이복호화된 데이타 재배열방법 및 회로
KR0176537B1 (ko) * 1995-10-14 1999-05-01 김광호 가변길이복호화기의 메모리 인터페이스방법 및 회로
US6058459A (en) 1996-08-26 2000-05-02 Stmicroelectronics, Inc. Video/audio decompression/compression device including an arbiter and method for accessing a shared memory
US6100874A (en) * 1995-11-17 2000-08-08 Immersion Corporation Force feedback mouse interface
US5686963A (en) * 1995-12-26 1997-11-11 C-Cube Microsystems Method for performing rate control in a video encoder which provides a bit budget for each frame while employing virtual buffers and virtual buffer verifiers
US5764293A (en) * 1995-12-26 1998-06-09 C-Cube Microsystems, Inc. Method of encoding video using master and slave encoders wherein bit budgets for frames to be encoded are based on encoded frames
FR2743969B1 (fr) * 1996-01-19 1998-04-10 Sgs Thomson Microelectronics Dispositif d'extraction de paramaetres de decodage d'un flux de donnees video codees selon une norme mpeg
US6112324A (en) * 1996-02-02 2000-08-29 The Arizona Board Of Regents Acting On Behalf Of The University Of Arizona Direct access compact disc, writing and reading method and device for same
DE69614500T2 (de) * 1996-02-27 2001-11-22 Stmicroelectronics S.R.L., Agrate Brianza Speicherverminderung für das Grundprofil und die Hauptebene eines MPEG-2-Dekoders
US5986709A (en) * 1996-11-18 1999-11-16 Samsung Electronics Co., Ltd. Adaptive lossy IDCT for multitasking environment
US5852451A (en) * 1997-01-09 1998-12-22 S3 Incorporation Pixel reordering for improved texture mapping
JPH10341438A (ja) * 1997-06-09 1998-12-22 Sharp Corp 画像処理装置
US6028612A (en) * 1997-11-18 2000-02-22 Stmicroelectronics, Inc. Picture memory mapping to minimize memory bandwidth in compression and decompression of data sequences
US6104416A (en) * 1997-11-18 2000-08-15 Stmicroelectronics, Inc. Tiling in picture memory mapping to minimize memory bandwidth in compression and decompression of data sequences
US7244677B2 (en) 1998-02-04 2007-07-17 Semitool. Inc. Method for filling recessed micro-structures with metallization in the production of a microelectronic device
US6823016B1 (en) * 1998-02-20 2004-11-23 Intel Corporation Method and system for data management in a video decoder
US6934338B1 (en) 1998-05-18 2005-08-23 Sony Corporation Variable length decoder for decoding digitally encoded video signals
US6704361B2 (en) 1998-05-18 2004-03-09 Sony Corporation Variable length decoder for decoding digitally encoded video signals
US6717620B1 (en) * 1998-06-12 2004-04-06 Ati Technologies, Inc. Method and apparatus for decompressing compressed data
US7471298B1 (en) * 2000-06-26 2008-12-30 S3 Graphics Co., Ltd. Fetching pixel data with reduced memory bandwidth requirement
US6909745B1 (en) 2001-06-05 2005-06-21 At&T Corp. Content adaptive video encoder
US7773670B1 (en) 2001-06-05 2010-08-10 At+T Intellectual Property Ii, L.P. Method of content adaptive video encoding
US6810086B1 (en) 2001-06-05 2004-10-26 At&T Corp. System and method of filtering noise
US6968006B1 (en) 2001-06-05 2005-11-22 At&T Corp. Method of content adaptive video decoding
US6970513B1 (en) * 2001-06-05 2005-11-29 At&T Corp. System for content adaptive video decoding
US8401084B2 (en) * 2002-04-01 2013-03-19 Broadcom Corporation System and method for multi-row decoding of video with dependent rows
US7034897B2 (en) * 2002-04-01 2006-04-25 Broadcom Corporation Method of operating a video decoding system
US8284844B2 (en) 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards
JP4431537B2 (ja) * 2003-06-16 2010-03-17 パナソニック株式会社 パケット処理装置及び方法
US7970056B2 (en) * 2003-06-26 2011-06-28 Lsi Corporation Method and/or apparatus for decoding an intra-only MPEG-2 stream composed of two separate fields encoded as a special frame picture
US7653265B2 (en) * 2004-01-16 2010-01-26 Nvidia Corporation Video image processing with utility processing stage
JP2009021837A (ja) * 2007-07-12 2009-01-29 Panasonic Corp 復号化システム
CN105809941A (zh) * 2016-03-15 2016-07-27 安阳工学院 一种mbus热量表数据采集控制器及采集方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3545106A1 (de) * 1985-12-19 1987-06-25 Ruge I Schaltung zur bilddatenreduktion, mustererkennung, etc.
US4800441A (en) * 1986-02-28 1989-01-24 Kabushiki Kaisha Toshiba Binary data compression and expansion processing apparatus
US5253078A (en) * 1990-03-14 1993-10-12 C-Cube Microsystems, Inc. System for compression and decompression of video data using discrete cosine transform and coding techniques
CA2062200A1 (en) * 1991-03-15 1992-09-16 Stephen C. Purcell Decompression processor for video applications

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6452968B2 (en) 1997-10-31 2002-09-17 Oki Electric Industry Co., Ltd. Circuitry and apparatus for converting a decoded image with a macroblock/raster scan conversion capability
JP2000032473A (ja) * 1998-06-23 2000-01-28 St Microelectronics 画像復号化方法および画像復号化装置
JP2001053825A (ja) * 1999-07-08 2001-02-23 Thomson Licensing Sa 適応トランスポートプロトコル復号器
JP2012005144A (ja) * 1999-07-08 2012-01-05 Thomson Licensing 適応トランスポートプロトコル復号器

Also Published As

Publication number Publication date
DE69429207D1 (de) 2002-01-10
EP0626653A1 (fr) 1994-11-30
US5579052A (en) 1996-11-26
EP0626653B1 (fr) 2001-11-28
FR2705805B1 (fr) 1996-06-28
JP3687107B2 (ja) 2005-08-24
FR2705805A1 (fr) 1994-12-02
DE69429207T2 (de) 2002-07-18

Similar Documents

Publication Publication Date Title
JPH0759084A (ja) 画像処理システム
US6104751A (en) Apparatus and method for decompressing high definition pictures
USRE48845E1 (en) Video decoding system supporting multiple standards
JP3713723B2 (ja) マルチタスクプロセッサ
US5909224A (en) Apparatus and method for managing a frame buffer for MPEG video decoding in a PC environment
US6470376B1 (en) Processor capable of efficiently executing many asynchronous event tasks
US5818967A (en) Video decoder engine
US7034897B2 (en) Method of operating a video decoding system
US5870497A (en) Decoder for compressed video signals
EP0397180A2 (en) Multiprocessor type time varying image encoding system and image processor
EP0572263A2 (en) Variable length code decoder for video decompression operations
JPH05268590A (ja) 動画像符号化復号化回路
JPH10509569A (ja) 3:2のプルダウンで映像をデコードしそして表示するメモリ利用法
JPH08123953A (ja) 画像処理装置
US5778096A (en) Decompression of MPEG compressed data in a computer system
US5774676A (en) Method and apparatus for decompression of MPEG compressed data in a computer system
JP3087588B2 (ja) 画像処理システム
JP4879381B2 (ja) 画像復号化方法および画像復号化装置
JP3141772B2 (ja) Mpeg復号化器及びその復号化方法
JP4702967B2 (ja) 画像復号化方法および画像処理装置
KR19980018884A (ko) 화상처리장치 (Image Processor)
EP1351512A2 (en) Video decoding system supporting multiple standards
US6614438B1 (en) Data-processing arrangement for processing different types of data
JPH1155668A (ja) 画像符号化装置
JP3307822B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20040127

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20040130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050530

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090617

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090617

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100617

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110617

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees