JPH08181983A - 画像復号回路 - Google Patents

画像復号回路

Info

Publication number
JPH08181983A
JPH08181983A JP31792994A JP31792994A JPH08181983A JP H08181983 A JPH08181983 A JP H08181983A JP 31792994 A JP31792994 A JP 31792994A JP 31792994 A JP31792994 A JP 31792994A JP H08181983 A JPH08181983 A JP H08181983A
Authority
JP
Japan
Prior art keywords
error
data
image
video decoder
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP31792994A
Other languages
English (en)
Other versions
JP2898212B2 (ja
Inventor
Toshihisa Nakai
敏久 中井
Yasuko Matsumura
靖子 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP31792994A priority Critical patent/JP2898212B2/ja
Publication of JPH08181983A publication Critical patent/JPH08181983A/ja
Application granted granted Critical
Publication of JP2898212B2 publication Critical patent/JP2898212B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Error Detection And Correction (AREA)

Abstract

(57)【要約】 【目的】 入力動画像符号化データにデータ誤りが含ま
れている場合の復号動作を、非常に簡単な構成で画像品
質良く行う。 【構成】 システムデコーダ102は内部にマイクロプ
ロセッサなどからなる誤り検出回路102aを備え、入
力端子101から入力されたパケットデータを解読し、
データ誤り検出した場合は、誤り通知用ユニークワード
を出力し、データ誤りを検出しない場合は、ペイロード
をインタフェース回路103を介してビデオデコーダ1
04に与える。ビデオデコーダ104も内部のビデオデ
コーダを制御するためにマイクロプロセッサなどからな
る誤り通知検出回路104aを内部に備える。このビデ
オデコーダ104は復号した画像データを出力端子10
5に出力するものである。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像復号回路に関し、例
えば、データ誤りや符号誤りなどに対して考慮した動画
像復号回路で、MPEG(Moving Pictur
e Expert Group、メディア統合系動画像
圧縮の国際標準)2に適用し得るものである。
【0002】
【従来の技術】
文献:テレビジョン学会技術報告1994年Vol.1
8、No.39、ページ37〜42、『マルチメディア
多重化における国際標準化動向』によると、動画像符号
化の国際標準であるMPEG2におけるシステムストリ
ームが説明されている。
【0003】伝送路で誤りが発生した場合の動作に関連
して、上記文献内の図4にはMPEG2 トランスポー
ト(Transport)ストリーム(Stream)
のシンタックスが記述されている。この図4中のリンク
ヘッダ(Link Header)にトランスポートエ
ラーインディケータ(Transport error
indicator)のフィールドに‘1’がセット
される。このトランスポートエラーインディケータフィ
ールドに‘1’が設定されたパケットをどのように扱う
かを記述した文献は見当たらない。
【0004】一方、MPEG2による動画像符号化方式
においては、誤りの発生により復号が不可能になる時間
を短くするために、周期的にスタートコードと呼ばれる
ユニークワードを設け、そのコードはスタートコードの
位置以外では発生しないようにしている。この規則によ
って、復号回路で例え誤りによる復号が一時的に不可能
になっても、次のスタートコードからは正しい復号動作
が可能になる。動画像信号は一般に時間的相関が強いの
で、復号できなかった部分は正しく復号できた部分の補
間によって比較的良好な画像が生成できる。
【0005】しかしながら、誤りを含んだデータが復号
回路に入力されると復号回路は極端に画質が劣化した間
違った画像を生成してしまう場合がある。これらのこと
から、伝送路上での誤りが検出された場合には、誤りの
発生を復号回路に伝送し、誤りが含まれたデータは復号
回路に入力しないことが画質向上に役立つことになる。
【0006】また、MPEG2においては、トランスポ
ートエラーインディケータフィールドに‘1’がセット
された場合には、復号回路に誤りの発生を通知し、その
パケットのPES(パケット化エレメンタリストリー
ム)パケットデータは復号回路に入力せずに廃棄するこ
とによって復号画像の画質は向上することになる。
【0007】図2は従来例の動画像復号回路の構成図で
ある。この動画像復号回路はシステムデコーダ201、
ビデオデコーダ202、インタフェース回路203から
構成される。インタフェース回路203は、メモリ20
4、書き込みアドレスカウンタ205、読み出しアドレ
スカウンタ206、ラッチ回路207、一致回路208
から構成される。メモリ204は圧縮符号化されたデー
タ量がピクチャ毎に異なることに起因するシステムデコ
ーダとビデオデコーダの速度差を吸収するために必要と
なるFIFO(Fast In Fast Out)メ
モリである。
【0008】入力端子209からシステムデコーダ20
1に入力されるパケットのトランスポートエラーインデ
ィケータフィールドにはそのパケットに誤りが含まれて
いる場合には‘1’、誤りが含まれていない場合には
‘0’が設定されている。このシステムデコーダ201
の処理は、このトランスポートエラーインディケータフ
ィールドの値によって異なる。
【0009】このトランスポートエラーインディケータ
フィールドが‘0’の場合にはそのパケットのペイロー
ドがメモリ204に書き込まれる。メモリ204は書き
込みアドレスカウンタ205と読みだしアドレスカウン
タ206とともにFIFOメモリとして動作する。トラ
ンスポートエラーインディケータフィールドが‘1’の
場合にはシステムデコーダ201はそのパケットのペイ
ロードを廃棄し、誤り通知信号を発生する。誤り通知信
号はラッチ回路207に入力され、誤り通知信号が発生
した時刻の書き込みアドレスカウンタの値がラッチ回路
207に保持される。
【0010】一致回路208は、読み出しアドレスカウ
ンタの値とラッチ回路207の値が一致すると制御信号
をビデオデコーダ202に、リセット信号をラッチ回路
207に出力する。ビデオデコーダ202は制御信号を
受けとると、スタートコードの検索をはじめ、スタート
コードが見つかるまで復号動作を行わない。これにより
誤りのないデータだけを復号するので、出力端子210
より出力される復号画像の品質が向上する。
【0011】
【発明が解決しようとする課題】しかしながら、上述の
ような回路構成では、システムデコーダ201に誤り通
知信号を発生する回路と、インタフェース回路203に
ラッチ回路207と一致回路208、更に、ビデオデコ
ーダ202に制御信号を受信する回路が必要であり、回
路構成が複雑であった。
【0012】更に、システムデコーダ201やビデオデ
コーダ202をLSIで実現する場合には、入出力ピン
数が増大するという問題点があった。
【0013】
【課題を解決するための手段】そこで、本発明は、入力
画像符号化データを解析するシステムデコーダと、解析
した画像符号化データを一時保持するメモリ回路からな
るインタフェース手段と、メモリ回路に保持されている
動画像符号化データから復号化するビデオデコーダとを
備える画像復号回路において、以下のような特徴的な構
成で上述の課題を解決するものである。
【0014】即ち、システムデコーダに、入力画像符号
化データからデータ誤りが検出された場合に、画像符号
化データをインタフェース手段に出力しない代わりに、
誤り通知用ユニークワードをインタフェース手段のメモ
リ回路に出力する誤り通知手段を備えるものである。
【0015】
【作用】本発明の画像復号回路によれば、入力画像符号
化データにデータ誤りが検出された場合には、従来のよ
うな誤り通知信号を生成してインタフェース回路を制御
するのではなく、画像符号化データをインタフェース手
段に出力しない代わりに、誤り通知用ユニークワードを
出力し、メモリ回路に記憶させ、この誤り通知用ユニー
クワードはビデオデコーダに与えられるので、従来に比
べインタフェース回路の構成を簡単にすることができ
る。
【0016】従来のように誤り通知信号を、画像符号化
データとは別にインタフェース回路に与える必要もな
い。しかも、画像符号化データの代わりに、誤り通知用
ユニークワードを通知するのであるから、複雑な発生回
路を備える必要もないので、構成が簡単になる。
【0017】
【実施例】次に本発明を動画像復号回路に適用した場合
の好適な実施例を図面を用いて説明する。
【0018】図1は実施例の動画像復号回路の機能構成
図である。この図1において、入力側のシステムデコー
ダ102と、出力側のビデオデコーダ104とがインタ
フェース回路103を介して接続されている。インタフ
ェース回路103はFIFOメモリからなるメモリ回路
106と、書き込みアドレスカウンタ107と、読み出
しアドレスカウンタ108とから構成されている。
【0019】システムデコーダ102は内部にマイクロ
プロセッサなどからなる誤り検出回路102aを備え、
入力端子101から入力されたパケットデータを解読
し、データ誤り検出した場合は、誤り通知用ユニークワ
ードを出力し、データ誤りを検出しない場合は、ペイロ
ードをインタフェース回路103を介してビデオデコー
ダ104に与える。ビデオデコーダ104も内部のビデ
オデコーダを制御するためにマイクロプロセッサなどか
らなる誤り通知検出回路104aを内部に備える。この
ビデオデコーダ104は復号した画像データを出力端子
105に出力するものである。
【0020】(動作の説明): 入力端子101に
は、圧縮画像データをパケット化したパケットデータが
入力される。図3は入力されるパケットデータのフォー
マットの一例を示す図である。この図3において、トラ
ンスポートパケットストリームは、1フレームが188
バイトで構成され、1フレームはヘッダ部と、ペイロー
ド部とから構成されている。
【0021】ヘッダ部は同期バイト31(8ビット)
と、トランスポートエラーインディケータ32(1ビッ
ト)と、ペイロードユニットスタートインディケータ3
3(1ビット)と、トランスポートプライオリティ34
(1ビット)と、PID(パケット識別情報)35(1
3ビット)と、トランスポートスクランブリングコント
ロール36(2ビット)と、アダプテーションフィール
ドコントロール37(2ビット)と、コンティニュイテ
ィカウンタ38(4ビット)と、アダプテーションフィ
ールド39とから構成されている。
【0022】このアダプテーションフィールド39は、
アダプテーションフィールド長さ40(8ビット)と、
ディスコンティニュイティインディケータ41(1ビッ
ト)と、ランダムアクセスインディケータ42(1ビッ
ト)と、エレメンタリストリームプライオリティインデ
ィケータ43(1ビット)と、5フラグ44(5ビッ
ト)と、オプショナルフィールド45と、スタッフィン
グバイト46とから構成されている。
【0023】更に、このオプショナルフィールド45
は、PCR(Program Clock Refer
ence:システム時刻基準参照値)47(42ビッ
ト)と、OPCR(Original PCR)48
(42ビット)と、スプライスカウントダウン49(8
ビット)と、トランスポートプライベイトデータ長50
(8ビット)と、トランスポートプライベイトデータ5
1と、アダプテーションフィールドエクステンション長
52(8ビット)と、3フラグ53(3ビット)と、オ
プショナルフィールド54とから構成されている。
【0024】また、オプショナルフィールド54は、I
tw バリッドフラグ55(1ビット)と、Itwオフ
セット56(15ビット)と、空き57(2ビット)、
ピースワイズレート58(22ビット)と、スプライス
タイプ59(4ビット)と、DTS(Decoding
Time Stamp:復号の時刻管理情報) ne
xt au60(33ビット)とから構成されている。
【0025】トランスポートパケットストリームは、ヘ
ッダとペイロードとからなるパケットの連続であり、ヘ
ッダにはペイロード中に誤りが含まれているかどうかを
表示するトランスポートエラーインディケータフィール
ドがある。このフィールドには、ペイロード中に誤りが
ある場合には‘1’が、誤りがない場合には‘0’が設
定されている。ペイロードには、圧縮した画像データが
含まれている。
【0026】図4はシステムデコーダ102の誤り検出
回路102aの動作フローチャートである。システムデ
コーダ102は、先ずパケットを読み込み(ステップS
1)、ヘッダとペイロードを分離する。次にヘッダのト
ランスポートエラーインディケータフィールドを読み、
トランスポートエラーインディケータが‘0’(ステッ
プS2)であればペイロードを出力(ステップS3)
し、トランスポートエラーインディケータが‘1’(ス
テップS2)であればペイロードは出力せずに廃棄し、
その代わりに誤り通知用ユニークワードを出力(ステッ
プS4)する。この誤り通知用ユニークワードは、圧縮
画像データには出現しないビット列とする。
【0027】例えば、動画像符号化がISO/MPEG
2によって行われている場合には、誤り通知用ユニーク
ワードとしては1994年5月発行のDIS(Draf
tInternational Standard)の
段階ではリザーブされている0x000001B0など
が候補である。システムデコーダ102は書き込みクロ
ックに同期してデータをメモリ回路106に出力する。
書き込むメモリのアドレスは書き込みアドレスカウンタ
107により制御される。メモリ回路106に蓄えられ
たデータは、ビデオデコーダ104から出力される読み
だしクロックに同期してビデオデコーダ104に入力さ
れる。読みだし時のアドレスは読みだしアドレスカウン
タ108によって制御される。
【0028】上述の図4は動作フローチャートとして表
しているが、システムデコーダ102の機能ブロック構
成としてとらえることもできる。
【0029】図5はビデオデコーダ104の誤り通知検
出回路104aの動作フローチャートである。この図5
において、ビデオデコーダ104は先ずメモリ回路10
6からデータを読み込み(ステップS10)、読み出し
たデータが誤り通知用ユニークワードであるかどうかを
判定する(ステップS11)。誤り通知用ユニークワー
ドでない場合には通常通りデータを復号し(ステップS
12)、次のデータを読み込む。読み込んだデータが誤
り通知用ユニークワードであった場合にはデータの復号
を停止し(ステップS13)、次にスタートコードが見
つかるまでデータを読み続ける(ステップS14〜S1
5)。スタートコードが見つかると、次のデータを読み
込む(ステップS10)。
【0030】ビデオデコーダ104は、通常通り復号で
きた部分の画像信号はそのまま出力端子105から出力
する。復号を停止してから次のスタートコードを検出す
るまでの区間はデータが消滅しているので、この部分の
画像信号は例えば時間的に1フレーム前の画像の、同じ
位置の部分の画像を出力するものである。これによっ
て、出力画像がとぎれることなく品質の良い画像を連続
的に出力することができる。
【0031】上述の図5は動作フローチャートとして表
しているが、ビデオデコーダ104の機能ブロック構成
としてとらえることもできる。
【0032】(実施例の効果): 以上の実施例の動
画像復号回路によれば、システムデコーダ102からビ
デオデコーダ104への誤りの通知を、誤り通知用ユニ
ークワードにより行なうようにしたので、複雑なインタ
フェース回路103を構成しなくても、ビデオデコーダ
104は入力データのどの部分で誤りが発生したかを検
出することができる。
【0033】この誤りの発生位置が検出できれば、ビデ
オデコーダ104は誤りの含まれているデータを間違っ
て復号することがなくなるので、出力端子105から出
力される復号画像の品質は向上する。また、従来の誤り
通知信号線を設ける必要がないので、システムデコーダ
102やビデオデコーダ104をLSIによって構成す
る場合には、ピン数を従来に比べ削減することもできる
ので、製造工程が簡単になると共に、信頼性の向上と小
形化にも寄与することができる。
【0034】また、動画像符号化データを低いビットレ
ートで伝送する場合の動画像復号回路として適用した場
合に非常に効果的である。
【0035】(他の実施例): (1)尚、以上の実
施例は、例えば、ATM網を介したMPEG2画像信号
伝送に適用可能である。
【0036】図6は通信プロトコルのレイヤモデル図で
ある。PH61は物理レイヤインタフェースであり、伝
送路60からのビット列を受信する。ATMレイヤ62
はビット列をセルとして受けとる。AAL63は、AT
Mアダプテーションレイヤであり、数個のセルをまとめ
て受けとり、誤りの検出を行い、誤り検出結果と受信デ
ータをH.22X specificレイヤ64に送
る。このH.22X specificレイヤ64はパ
ケットヘッダ部のトランスポートエラーインディケータ
に、誤り検出情報にしたがって‘0’或いは‘1’を設
定する。
【0037】MPEG2システム65、MPEG2ビデ
オ66は上述の実施例で述べたシステムデコーダ10
2、ビデオデコーダ104動作を行ない、画像信号をデ
ィスプレイ装置67に出力する。
【0038】上述の実施例では、インタフェース回路1
03は独立した構成になっているが、メモリ容量が小さ
い場合には、インタフェース回路103はシステムデコ
ーダ102或いはビデオデコーダ104のいずれかに内
蔵又は合体して回路構成することも小形化のために好ま
しい。
【0039】(2)また、上述の実施例は、MPEG2
への適用の他、蓄積メディア用(MPEG1)としても
適用することができる。また、静止画の復号(JPE
G)、高精細2値画の復号(JBIG)などにも適用し
て効果的である。
【0040】(3)更に、図3のトランスポートパケッ
トストリームについて、トランスポートエラーインジケ
ータが含まれていれば、他のフォーマットでも適用し得
る効果がある。
【0041】(4)更にまた、誤り通知用ユニークワー
ドとしては上述の0x000001B0だけでなく、幾
つか用意しておき、それらのいずれかを選択使用するよ
うに構成することでも上述のような効果がある。
【0042】
【発明の効果】以上述べた様に本発明によれば、システ
ムデコーダに、入力画像符号化データからデータ誤りが
検出された場合に、画像符号化データをインタフェース
手段に出力しない代わりに、誤り通知用ユニークワード
をインタフェース手段のメモリ回路に出力する誤り通知
手段を備えたことで、入力画像符号化データにデータ誤
りが含まれている場合の復号動作を、非常に簡単な構成
で画像品質良く行う画像復号回路を実現することができ
る。
【0043】このため、画像符号化データを低いビット
レートで伝送する場合の画像復号回路として適用した場
合に非常に効果的である。
【図面の簡単な説明】
【図1】実施例の動画像復号回路の機能構成図である。
【図2】従来例の動画像復号回路の機能構成図である。
【図3】実施例のパケットデータのフォーマット図であ
る。
【図4】実施例のシステムデコーダの動作フローチャー
トである。
【図5】実施例のビデオデコーダの動作フローチャート
である。
【図6】実施例の動画像復号回路の利用形態の説明図で
ある。
【符号の説明】
101…入力端子、102…システムデコーダ、103
…インタフェース回路、104…ビデオデコーダ、10
5…出力端子、106…メモリ回路、107…書き込み
アドレスカウンタ、108…読み出しアドレスカウン
タ。

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 入力画像符号化データを解析するシステ
    ムデコーダと、解析した画像符号化データを一時保持す
    るメモリ回路からなるインタフェース手段と、メモリ回
    路に保持されている画像符号化データから復号化するビ
    デオデコーダとを備える画像復号回路において、 上記システムデコーダは、 入力画像符号化データからデータ誤りが検出された場合
    に、画像符号化データをインタフェース手段に出力しな
    い代わりに、誤り通知用ユニークワードをインタフェー
    ス手段のメモリ回路に出力する誤り通知手段を備えるこ
    とを特徴とする画像復号回路。
  2. 【請求項2】 上記ビデオデコーダは、 インタフェース手段から与えられたデータが誤り通知用
    ユニークワードである場合に、復号動作を次のスタート
    コードが検出されるまで停止する誤り通知検出手段を備
    えることを特徴とする請求項1記載の画像復号回路。
  3. 【請求項3】 上記ビデオデコーダは、 復号を停止した区間について前フレームの復号画像デー
    タを出力する出力手段を備えることを特徴とする請求項
    2記載の画像復号回路。
JP31792994A 1994-12-21 1994-12-21 画像復号回路 Expired - Lifetime JP2898212B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31792994A JP2898212B2 (ja) 1994-12-21 1994-12-21 画像復号回路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31792994A JP2898212B2 (ja) 1994-12-21 1994-12-21 画像復号回路

Publications (2)

Publication Number Publication Date
JPH08181983A true JPH08181983A (ja) 1996-07-12
JP2898212B2 JP2898212B2 (ja) 1999-05-31

Family

ID=18093615

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31792994A Expired - Lifetime JP2898212B2 (ja) 1994-12-21 1994-12-21 画像復号回路

Country Status (1)

Country Link
JP (1) JP2898212B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003036988A1 (en) * 2001-10-25 2003-05-01 Matsushita Electric Industrial Co., Ltd. Media separating method, image decoding method and image decoding device
US7131048B2 (en) 2001-07-10 2006-10-31 Hitachi, Ltd. Apparatus for system decoder and method for error correction of packet data
US7688726B2 (en) 2007-10-30 2010-03-30 Kabushiki Kaisha Toshiba Broadcast reception apparatus, TS packet reproduction apparatus, broadcast reception method and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7131048B2 (en) 2001-07-10 2006-10-31 Hitachi, Ltd. Apparatus for system decoder and method for error correction of packet data
WO2003036988A1 (en) * 2001-10-25 2003-05-01 Matsushita Electric Industrial Co., Ltd. Media separating method, image decoding method and image decoding device
US7688726B2 (en) 2007-10-30 2010-03-30 Kabushiki Kaisha Toshiba Broadcast reception apparatus, TS packet reproduction apparatus, broadcast reception method and program

Also Published As

Publication number Publication date
JP2898212B2 (ja) 1999-05-31

Similar Documents

Publication Publication Date Title
US5376969A (en) Method and apparatus for conveying compressed video data over a noisy communication channel
US5365272A (en) Method for formatting compressed video data into transport cells
US6236432B1 (en) MPEG II system with PES decoder
US6226291B1 (en) Transport stream packet parser system
US20010005385A1 (en) Multimedia information communication apparatus and method
US20100067576A1 (en) Method and Apparatus to Prioritize Video Information During Coding and Decoding
US20100008420A1 (en) Method and decoder for realizing random access in compressed code stream using multi-reference images
US20030193940A1 (en) Apparatus and method of packetizing data stream
JP2898212B2 (ja) 画像復号回路
JP2000308023A (ja) データ伝送方法およびデータ伝送装置
US6879635B2 (en) Method of decoding time information of video image
US7839925B2 (en) Apparatus for receiving packet stream
US6907068B2 (en) Image compressing coding apparatus and method for detecting a top position of an image in a buffer overflow
JP3531434B2 (ja) 記録再生システム
US6556626B1 (en) MPEG decoder, MPEG system decoder and MPEG video decoder
KR0181082B1 (ko) 엠펙 시스템의 피티에스 부호화장치
KR0177314B1 (ko) 엠펙시스템에서의 전송패킷 보호장치
KR0181080B1 (ko) 엠펙 시스템의 이에스씨알 부호화장치
KR0147122B1 (ko) 엠펙2의 트랜스포트 디코더 장치
JP2001320704A (ja) 画像復号装置及び画像復号方法
JP2005341107A (ja) パケット送受信装置
JP2000308052A (ja) データ受信方法およびデータ受信装置
US8458761B2 (en) Receiver
JP2000307646A (ja) データ受信方法およびデータ受信装置
CN116033113A (zh) 一种视频会议辅助信息传输方法和系统

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080312

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090312

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100312

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100312

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110312

Year of fee payment: 12

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110312

Year of fee payment: 12

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120312

Year of fee payment: 13

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 14

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 15

EXPY Cancellation because of completion of term