JPH06506802A - 画像信号符号化方法 - Google Patents

画像信号符号化方法

Info

Publication number
JPH06506802A
JPH06506802A JP4507990A JP50799092A JPH06506802A JP H06506802 A JPH06506802 A JP H06506802A JP 4507990 A JP4507990 A JP 4507990A JP 50799092 A JP50799092 A JP 50799092A JP H06506802 A JPH06506802 A JP H06506802A
Authority
JP
Japan
Prior art keywords
blocks
image signal
information
scan line
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4507990A
Other languages
English (en)
Other versions
JP3093266B2 (ja
Inventor
ハーペル, カルステン
ケーゼン, ハインツ−ヴェルナー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Thomson Brandt GmbH
Original Assignee
Deutsche Thomson Brandt GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=6430334&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JPH06506802(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Deutsche Thomson Brandt GmbH filed Critical Deutsche Thomson Brandt GmbH
Publication of JPH06506802A publication Critical patent/JPH06506802A/ja
Application granted granted Critical
Publication of JP3093266B2 publication Critical patent/JP3093266B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Color Television Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 画像信号符号化方法 本発明は画像信号符号化方法に関する。
技術分封 DE3642664において示されている変換回路を用いて8*8−は2本(4 *8)−DCT−変換が行なわれ得る( D CT = discrete c osine transformation)。制御線路上のロジックレベルの 選定により8*8−と2”(4木8)−DCTとの間で切換えを行ない本発明の 基礎を示す課題とするところはインターレース走査された入力信号をも処理し得 る、順次走査される画像信号に適するコーデックを用いて画像符号化を行なう方 法を提供することにある。
基本的Jこ本発明の要点とするところは次の通りである。ハイブリッドエンコー ダにより画像信号符号化を行なう方法であて、上記ハイブリッドエンコーダは順 次走査される画素を処理し得るものであるようにした当該方法において、当該符 号化前に垂直方向で相互に上下に位置する夫々2つのブロック内にインターレー ス走査される画素のブロックからの走査線セクションを配する際、上記ブロック の各々内で、当該画像信号の1つのフィールドからの走査線セクションのみが含 まれているようにしたのである。
その場合、画像内容における動きが検出され、そしてダイナミックな画像内容の 場合において、走査線セクションが、相互に上下に位置するブロック内でソート し直しく分類し直し)される。
本発明の方法の有利な発展形態は当該の引用請求項に記載されている。
I S O−M P E G (I S O: International  Organisation for 5tandardization、 M  P E G : Motion Picture Expert Group) により提案、提示されている画像信号のハイブリッド符号化のための方法では順 次走査される入力信号が、ブロックごとにDCTにより処理され、その際そのつ ど、8車8の画素のブロックが符号化ないし復号化され、フレーム間符号化画像 が、規則的間隔をおいてフレーム内符号化画像により置換されている。その場合 、符号化効率はまたそのようなブロック内の画素の比較的高い相関に基づく。イ ンターレース走査されたソース信号をそのようなハイブリッドエンコーダで処理 しようとする際には、ダイナミック画像内容の場合においてコード化効率が低下 し、ないしコード化のために必要なデータレートが上昇する、それというのは夫 々2番目毎の走査線が、異なった動きフェーズのブロックに由来し、それにより 、当該画素の相関が、そのようなブロック内で低下するがらである。これに反し スタチック(静的)な画像内容の場合コード化効率は維持される。ダイナミック な画像内容の場合2つの相互に上下に位置する8*8の画素ブロックからの、最 初の(第1の)フィールドに属する走査線が1つの第1の(最初の)8*8ブロ ツクにまとめられ、そして、当該の2つの相互に上下に位置する8*8ブロツク からの、第2のフィールドに属する走査線が1つの第2の8本8ブロツクにまと められて、当該の形態でハイブリッドエンコーダに供給される。人力信号の再構 成(再編成)により、インターレース信号の場合、DE3642664における ように8本8−と2本(4本8)−DCT変換との間で、ハイブリッドエンコー ダにて切換える必要がなく、ダイナミック画像内容の場合にも8”8DCTを有 利に実施し得る。動き検出によって検出されるのは静的(スタチック)な又は動 的(ダイナミック)な画像内容が生じているか否か、そしてそれに相応して当該 走査線のソート(分類)し直し又はアドレッシングし直しが行なわれるか否か、 ということである。ブロックごとないし2重ブロックごとのビットにより当該情 報は夫々のブロックのコード化データに付加され得る。
当該のデコーディングの際相応の走査線が、再びもとの順序にもたらされ、その 際当該の動き情報が評価される。上記の規格提案内容によれば夫々4つの正方形 に配置されたルミナンス(輝度)一画素−ブロックが1つのマクロブロックにま とめられている。有利にはそのような1つのマクロブロックの相互に上下に位置 する各2つのブロックが、1つの対を成す。その際各マクロブロックごとの1ビ ツトがソート(分類)し直しを指示し得る。
図面 次に図を用いて本発明の詳細な説明する。
図1はスタチック及びダイナミックな画像内容の場合のブロック内部での走査線 配置状態を示し、図2はコーデックに対する本発明の付加回路のブロック接続図 である。
実施例 図1a及び図1bはX−Y平面内のルミナンス−又はクロミナンス画素の各2つ の相互に位置するブロックを示す。上記ブロックはわかり易い表示のため8本8 の大きさの代わりに、夫々4*4の大きさを有する。8*8の大きさの代わりに 、当該ブロックは一般に(2”n、)”(2”m)の大きさを有し得る。但し、 n=1.2.3.、、、、m=1.2,3.、、、。それらの数値の最初(第1 )の数字はブロック番号を示し、第2の数字はブロック内の第2の走査線番号を 示す。
順次走査される形態での公知ハイブリッドエンコーダのコード化されるべきない しデコード化された画素は図1aに示すように配置されている。このことは同様 にインターレース走査される画素の場合におけるスタチック(静止)画像内容を 有する画素についても成宜つ。ダイナミックな画像内容の場合は当該符号化前に 2つの相互に上下に位置するブロックの走査線が図1bに示すように入替えられ 、デコーディングの後再び図1aに示すように配置される。
図2は上記の規格提案に相応するハイブリッドエンコーダ25を示す。当該入力 側21には画像nのインターレース走査された画像信号が供給されこれは画像メ モリ22と動き検出器24内に供給される。画像メモリ22からは動き検出器2 4により必要とされる画像n−1のデータ(2つの相互に上下に位置するブロッ ク)及び2つの夫々関与するブロックの走査線セクションが読出されてブロック メモリ23内に読込まれ、該ブロックメモリからはハイブリッドエンコーダは夫 々8本8ブロツクを取出し得る。ブロックメモリ23においてはスタチックな画 像内容の場合における画素が、図18に相応して、そして、ダイナミックな画像 内容の場合における画素が、図1bに相応して中間記憶される。
当該動き検出器は種々の手法に従って実現され得る。例えば各々のコード化すべ きブロックないしダブル(2重)ブロックに対して、画像nとn−1の同じ空間 位置のブロックからの画素の絶対値差が形成され得る。選択的に、動き検出器の 代わりにハイブリッドエンコーダ25により形成された動きベクトル(例えば夫 々2つの相互に上下に位置するブロックに対して)使用され得る。当該絶対値− 差の夫々の和および又は相応の動きベクトルの大きさく当該ブロック又は複数ブ ロックに対して)が所定閾値を越える(換言すればダイナミック画像内容が存在 する)と、当該画素は図1bに相応して、そしてそうでない(ダイナミックでな い)場合は図1aに相応してブロックメモリ23中に中間記憶される。
当該ソートし直しく分類し直し)は次の指示事項に相応して行なわれ得る。
B−v+1 (x、y)=B+−1(x、2*y−Bo、、エ (x、y)=B 、j1 (x、2”y)ENDDO ENDDO B6u+1 (x、y +N/ 2) =B ln□(x、 2*y−1) B6−+1(X、y + N/ 2) =B +52(x、 2*y) ENDDO ENDDO。
但し、Bhlは位置的に比較的に高いブロックであり、モしてNは偶数である。
12 12 12 ’12 13 13 13 1321 21 21 21  12 i2 12 1222 Z2 22 22 14 i4 14 14b F旧、1 請 求 の 範 囲 1.順次走査される画素のブロックを符号化するハイブリッドエンコーダ(25 )を用いて、変換ないし逆変換により画像信号の符号化又は所定の大きさの画素 ブロックのデコーディングを行なう方法であって、ダイナミックの画像内容の場 合に修整変更された処理が行なわれるようにした方法において、当該画像内容に おける動きに無関係に、当該の所定の大きさのブロックを変換ないし逆変換し、 ここにおいて、ダイナミック画像内容(24)の場合、当該符号化前に垂直方向 で相互に上下に位置する夫々2つのブロック内にてインターレース走査される画 素(11〜14.21〜24)のブロックからの走査線セクションを配する際、 上記ブロックの各々内で、当該画像信号の1つのフィールドからの走査線セクシ ョンのみが含まれているようにしく図1b)、そして、当該デコーディング後当 該の走査線セクションは再びもとの(最初の)順序に配列される(図1a)よう にしたことを特徴とする画像符号化方法。
2、 相互に上下に位置するブロックの6対に対するコード化された画像信号に 当該情報が付加されるように該情報は走査線セクションのソートし直しく分類し 直し)が行なわれたか否かを表わすものであるようにし、そして、当該情報はデ コーディングの際評価されるようにした請求項1記載の方法。
3、 上記ブロックは8本8の画素の所定の大きさを有するようにした請求項1 記載の方法。
4.8車8のルミナンス(輝度)一画素の大きさを有する各4つのブロックが、 正方形の形状にまとめられており、ここにおいて、上記のまとめられたブロック 内部で、夫々、相互に上下に位置するブロックが配置されている請求項3記載の 方法。
5、 当該のコード化された画像信号に付加される情報が、夫々、4つのまとめ られたブロックに対して共通に成立っものであるようにした請求項2から4まで のいずれか1項または複数項記載の方法。
6、 上記走査線セクションの分類し直しくソートし直し)を運動ベクトル(2 4)の出力信号により、および/又はハイブリッドエンコーダ(25)にて生成 された運動ベクトルにより制御されるようにした請求項1から5までのいずれが 1項または複数項記載の方法。
コニ = 1 ’:=’? l = 1

Claims (8)

    【特許請求の範囲】
  1. 1.ハイブリッドエンコーダ(25)により画像信号符号化を行なう方法であて 、上記ハイブリッドエンコーダは順次走査される画素のブロックを処理し得るも のであるようにした当該方法において、当該符号化前に垂直方向で相互に上下に 位置する夫々2つのブロック内にてインターレース走査される画素(11〜14 ,21〜24)のブロックからの走査線セクションを配する際、上記ブロックの 各々内で、当該画像信号の1つのフィールドからの走査線セクションのみが含ま れているようにしたことを特徴とする画像符号化方法。
  2. 2.当該の画像内容における動きが検出され、そして、ダイナミックな画像内容 の場合において当該走査線セクションは、当該の相互に上下に位置するブロック 内でソート(分類)し直されるようにした請求項1記載の方法。
  3. 3.相互に上下に位置するブロックの各対に対するコード化された信号に当該情 報が付加されるように該情報は走査線セクションのソートし直し(分類し直し) が行なわれたか否かを表わすものであるようにした請求項1又は2記載の方法。
  4. 4.当該デコーディングの後上記走査線は再びそれのもとの順序に配置され、こ こにおいて、当該のコード化された画像信号に付加される情報が評価されるよう にした請求項3記載の方法。
  5. 5.上記ブロックは8*8の画素の大きさを有するようにした請求項1から4ま でのいずれか1項記載の方法。
  6. 6.8*8のルミナンス(輝度)画素の大きさを有する各4つのブロックが、正 方形の形状にまとめられており、ここにおいて、上記のまとめられたブロック内 部で、夫々、相互に上下に位置するブロックが配置されている請求項5記載の方 法。
  7. 7.当該のコード化された画像信号に付加される情報が、夫々、4つのまとめら れたブロックに対して共通に成立つものであるようにした請求項3から6までの いずれか1項記載の方法。
  8. 8.上記走査線セクションの分類し直し(ソートし直し)を運動ベクトル(24 )の出力信号により、および/又はハイブリッドエンコーダ(25)にて生成さ れた運動ベクトルにより制御されるようにした請求項1から7までのいずれか1 項記載の方法。
JP04507990A 1991-04-25 1992-04-14 画像信号符号化方法 Expired - Lifetime JP3093266B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE4113505A DE4113505A1 (de) 1991-04-25 1991-04-25 Verfahren zur bildsignalcodierung
DE4113505.9 1991-04-25
PCT/EP1992/000843 WO1992020190A1 (de) 1991-04-25 1992-04-14 Verfahren zur bildsignalcodierung

Publications (2)

Publication Number Publication Date
JPH06506802A true JPH06506802A (ja) 1994-07-28
JP3093266B2 JP3093266B2 (ja) 2000-10-03

Family

ID=6430334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04507990A Expired - Lifetime JP3093266B2 (ja) 1991-04-25 1992-04-14 画像信号符号化方法

Country Status (11)

Country Link
US (1) US5422676A (ja)
EP (1) EP0608231B1 (ja)
JP (1) JP3093266B2 (ja)
KR (1) KR100333229B1 (ja)
AT (1) ATE140356T1 (ja)
CA (1) CA2108778C (ja)
DE (2) DE4113505A1 (ja)
ES (1) ES2090628T3 (ja)
HK (1) HK208896A (ja)
SG (1) SG50678A1 (ja)
WO (1) WO1992020190A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5617143A (en) * 1993-03-29 1997-04-01 Canon Kabushiki Kaisha Movement detection device and encoding apparatus using the same
US5757668A (en) * 1995-05-24 1998-05-26 Motorola Inc. Device, method and digital video encoder of complexity scalable block-matching motion estimation utilizing adaptive threshold termination
US6983018B1 (en) 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6563953B2 (en) * 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US6577766B1 (en) * 1999-11-10 2003-06-10 Logitech, Inc. Method and apparatus for motion detection in the discrete cosine transform domain
US6376514B1 (en) 2000-10-17 2002-04-23 The Procter & Gamble Co. Substituted six-membered heterocyclic compounds useful for treating multidrug resistance and compositions and methods thereof
ES2545394T3 (es) 2001-11-21 2015-09-10 Google Technology Holdings LLC Codificación de cuadro/campo adaptativa de nivel de macrobloques para contenido de vídeo digital
US6980596B2 (en) 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
NO342643B1 (no) * 2001-11-21 2018-06-25 Motorola Mobility Llc Makroblokknivå adaptiv ramme-/feltkoding på makroblokknivå for digitalt videoinnhold
EP2262269B1 (en) * 2001-12-17 2018-01-24 Microsoft Technology Licensing, LLC Skip macroblock coding
CN101448162B (zh) 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
US10554985B2 (en) 2003-07-18 2020-02-04 Microsoft Technology Licensing, Llc DC coefficient signaling at small quantization step sizes
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7609763B2 (en) 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US7830963B2 (en) * 2003-07-18 2010-11-09 Microsoft Corporation Decoding jointly coded transform type and subblock pattern information
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US7426308B2 (en) * 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
US7738554B2 (en) 2003-07-18 2010-06-15 Microsoft Corporation DC coefficient signaling at small quantization step sizes
US7620106B2 (en) 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US7623574B2 (en) 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
US7092576B2 (en) * 2003-09-07 2006-08-15 Microsoft Corporation Bitplane coding for macroblock field/frame coding type information
US8064520B2 (en) 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7599438B2 (en) 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US7567617B2 (en) 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7577200B2 (en) 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
US7616692B2 (en) 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7606308B2 (en) * 2003-09-07 2009-10-20 Microsoft Corporation Signaling macroblock mode information for macroblocks of interlaced forward-predicted fields
US20050120340A1 (en) * 2003-12-01 2005-06-02 Skazinski Joseph G. Apparatus, system, and method for automated generation of embedded systems software
CN101677402B (zh) * 2004-09-16 2012-04-18 汤姆逊许可证公司 用于快速视频帧和场编码的方法和装置
EP1732331A1 (en) * 2005-06-08 2006-12-13 BRITISH TELECOMMUNICATIONS public limited company Video coding
US9077960B2 (en) * 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US7860996B2 (en) 2008-05-30 2010-12-28 Microsoft Corporation Media streaming with seamless ad insertion
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
JP7500743B2 (ja) 2020-02-17 2024-06-17 ビ-エイイ- システムズ パブリック リミテッド カンパニ- レーザコントローラ

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1381730A1 (ru) * 1986-06-20 1988-03-15 Предприятие П/Я А-1772 Устройство кодировани телевизионного сигнала
EP0262555B1 (de) * 1986-10-01 1995-11-22 Deutsche Thomson-Brandt GmbH Schaltung zur Discreten Cosinus Transformation
NL8700565A (nl) * 1987-03-10 1988-10-03 Philips Nv Televisiesysteem waarin aan een transformatiekodering onderworpen gedigitaliseerde beeldsignalen worden overgebracht van een kodeerstation naar een dekodeerstation.
EP0290085B1 (de) * 1987-05-06 1996-03-20 Philips Patentverwaltung GmbH System zur Übertragung von Videobildern
US5091782A (en) * 1990-04-09 1992-02-25 General Instrument Corporation Apparatus and method for adaptively compressing successive blocks of digital video

Also Published As

Publication number Publication date
CA2108778A1 (en) 1992-10-26
JP3093266B2 (ja) 2000-10-03
EP0608231A1 (de) 1994-08-03
ES2090628T3 (es) 1996-10-16
EP0608231B1 (de) 1996-07-10
CA2108778C (en) 2001-03-27
DE59206755D1 (de) 1996-08-14
DE4113505A1 (de) 1992-10-29
WO1992020190A1 (de) 1992-11-12
HK208896A (en) 1996-11-29
ATE140356T1 (de) 1996-07-15
US5422676A (en) 1995-06-06
SG50678A1 (en) 1998-07-20
KR100333229B1 (ko) 2002-11-22

Similar Documents

Publication Publication Date Title
JPH06506802A (ja) 画像信号符号化方法
JP3764457B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム
EP1863295B1 (en) Coded block pattern encoding/decoding with spatial prediction
EP0395293B1 (en) Motion estimator
EP0349847B1 (en) Method of and apparatus for compressing image data
US5732157A (en) Image processing apparatus and method using lossless encoding of a difference between image blocks
JPH05130595A (ja) 動き補償予測符号化装置
MXPA05007345A (es) Metodo para seleccionar una imagen de referencia.
EP0633699A2 (en) Forced intra-frame coding method
US5774592A (en) Parallel image processing with compensation for motion of image
JPH01177786A (ja) 低ブロック境界現象の対称型映像ブロック走査方法及びその装置
EP1461770B1 (en) Image data retrieval
JPH01502143A (ja) パターン処理
JPH0422392B2 (ja)
US6263115B1 (en) Method and apparatus for encoding a binary shape signal
IE882084L (en) Data encoding
CA2328581C (en) Method for the coding of picture signals
JP3675135B2 (ja) 動画像符号化方法及び復号化方法
US20050232350A1 (en) Inverse prediction apparatus and decoding apparatus using the same
JPH01216674A (ja) 画像信号の符号化方式とその装置
Steliaros et al. Video object motion representation using run-length codes
JPH047871B2 (ja)
JPH06105301A (ja) 動画像符号化方式及び装置
JP2561292B2 (ja) 画像データの圧縮装置
JPS5857863A (ja) 画像圧縮方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070728

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080728

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080728

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090728

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090728

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100728

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110728

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110728

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120728

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120728

Year of fee payment: 12