JPH0888867A - 補間装置 - Google Patents

補間装置

Info

Publication number
JPH0888867A
JPH0888867A JP7255552A JP25555295A JPH0888867A JP H0888867 A JPH0888867 A JP H0888867A JP 7255552 A JP7255552 A JP 7255552A JP 25555295 A JP25555295 A JP 25555295A JP H0888867 A JPH0888867 A JP H0888867A
Authority
JP
Japan
Prior art keywords
signal
frame
field
mixed
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7255552A
Other languages
English (en)
Other versions
JP2955984B2 (ja
Inventor
Brion L Dunbar
ブライアン・エル・ダンバー
Daniel J Chaplin
ダニエル・ジェイ・チャプリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Grass Valley Group Inc
Original Assignee
Grass Valley Group Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Grass Valley Group Inc filed Critical Grass Valley Group Inc
Publication of JPH0888867A publication Critical patent/JPH0888867A/ja
Application granted granted Critical
Publication of JP2955984B2 publication Critical patent/JP2955984B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/75Chroma key
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Television Systems (AREA)
  • Picture Signal Circuits (AREA)
  • Color Television Systems (AREA)

Abstract

(57)【要約】 (修正有) 【課題】 ビデオ信号において、オブジェクトがフィー
ルド・レートで水平に移動しているときにも、確実に動
きを検出して、適切な補間信号を発生する。 【解決手段】 ビデオ信号をフレーム・ベース補間器1
2及びフィールド・ベース補間器14に入力し、フレー
ム補間信号及びフィールド補間信号を発生して、混合器
16に供給する。フレーム補間信号をフレーム遅延回路
18にも供給し、加算回路20は、フレーム遅延回路1
8の入力信号及び出力信号から時間的にろ波したフレー
ム補間信号を発生し、混合器16に供給する。減算回路
22は、フレーム遅延回路18の遅延出力信号をフレー
ム補間信号から減算して、動き信号を発生する。絶対値
及びルックアップ・テーブル24は、動き信号及び時間
的ろ波係数に応じて混合信号を発生し、混合器16の選
択及び混合動作を制御する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ビデオ・プロダク
ション・スイッチャ、特に、動き検出器を用い、クロマ
・キー装置用のキー信号補間器としても使用できる補間
装置に関する。
【0002】
【従来の技術】現在利用可能な動き検出器には種々の例
がある。かかる従来の動き検出器の1つは、アメリカ合
衆国カリフォルニア州グラス・バレーのザ・グラス・バ
レー・グループ・インコーポレイテッドが製造している
カレイドスコープ・デジタル画像マニピュレータに使用
されており、これを図2に示す。この従来技術では、同
じフィールド極性、即ち、フレーム間(インターフレー
ム)の動きによる2つのフレームの間におけるピクセル
毎の絶対的な差により、動きを検出している。この際、
ビデオ入力信号を直列された3個のフィールド遅延回路
50、52及び54に入力しているので、4つの連続し
たフィールドを表す4つの出力信号を発生できる。2つ
の連続したフレームの内の奇数フィールドのビデオ信
号、即ち、ビデオ入力端子及び遅延回路52からのビデ
オ信号をフレーム間動き検出器51に入力する。また、
同じ2つのフレームの内の偶数フィールドのビデオ信
号、即ち、遅延回路50及び54からのビデオ信号を別
のフレーム間動き検出器53に入力する。
【0003】これらフレーム間動き検出器51及び53
は、同じ構成であり、同じ動作を行うので、検出器51
は括弧を用いずに、また検出器53は括弧を用いて説明
する。減算回路56(64)は、ビデオ入力信号(遅延
回路50の出力信号)と、2フィールド(即ち、1フレ
ーム)遅延された遅延回路52(54)の出力信号とを
差を求める。絶対値回路58(66)は、減算回路56
(64)の出力信号の絶対値を求め、減算回路60(6
8)は、求めた絶対値をマイクロプロセッサ(μP:図
示せず)からのしきい値と比較する。2つのフィールド
間の差がしきい値未満ならば、動きが検出されず、ま
た、この差がしきい値よりも大きければ、動きが検出さ
れる。乗算器62(70)は、減算器60(68)の出
力信号をμPからの係数と乗算して、動き検出信号とす
る。これら乗算器62及び70からの動き検出信号をプ
ログラム可能なリード・オンリ・メモリ(PROM)7
2に入力し、動き値を発生する。なお、このPROM7
2は、アドレス入力端子に、フレーム間動き検出器51
及び53からの動き検出信号を受け、対応するアドレス
位置に記憶された動き値をデータ端子から出力するたル
ックアップ・テーブルである。
【0004】
【発明が解決しようとする課題】60Hzで525ライ
ン(走査線)のD1フォーマットであるフィールド・イ
ンターバルに一致する一定の水平レートにて通常のイン
ターバルで移動するオブジェクト、例えば、文字発生器
が発生した文字の如き画像の大きさを変更する際に、動
き検出器に関する問題が生じる。すなわち、文字が次の
フレーム内の他の同じ形状の文字に重なってしまうよう
なレートで、1組の文字が水平に移動している場合、2
つのフレーム間の差がしきい値未満なので、動き検出器
は、だまされて動きがない旨の出力を発生する。しか
し、1つのフレーム内の2つのフィールドを用いて補間
を行うと、その結果は、文字及び背景間の不正確な補間
となる。この動きの結果として、文字が2つの連続した
フィールドの一方のみに存在して、その後の補間によ
り、黒及び白のピクセルの組み合わせが発生して、灰色
のピクセルを出力する。
【0005】したがって、本発明の目的は、ビデオ信号
において、オブジェクトがフィールド・レートで水平に
移動しているときにも、動きを確実に検出して、適切な
補間信号を発生できる補間装置を提供することにある。
【0006】
【課題を解決するための手段】本発明の補間装置は、動
き検出器を用いており、そのままキー信号補間器として
も使用できる。本発明では、ビデオ信号内のフィールド
間(インターフィールド)の差を検出し、その情報を用
いて、現在のフィールド・データのみでどのように補間
を行うかを指示する。フレームに基づいた補間器(フレ
ーム・ベース補間器)は、キー信号などの入力ビデオ信
号に対してフィールド間補間信号(フレーム補間信号)
を発生し、フィールドに基づいた補間器(フィールド・
ベース補間器)は、入力ビデオ信号に対してフィールド
内(イントラフィールド)補間信号(フィールド補間信
号)を発生する。フィールド間補間信号を1フレームだ
け遅延させて、現在のフィールド間補間信号から減算し
て、動きを検出する。この動きの検出に応じて、絶対値
/ルックアップ・テーブル(変換手段)をアクセスし
て、混合係数(混合信号)を発生する。1フレーム遅延
したフィールド間補間信号を現在のフィールドと共に平
均化して、平均化したフィールド間補間信号を発生す
る。フィールド間補間信号、平均化したフィールド間補
間信号及びフィールド内補間信号を混合係数と共に混合
器に入力する。この混合器は、フィールド内補間信号
と、フィールド間補間信号又は平均化したフィールド間
補間信号との組み合わせを、入力ビデオ信号用の補間し
た出力信号として発生する。
【0007】本発明の他の目的、効果及び新規な特徴
は、添付図を参照した以下の詳細な説明より明らかにな
ろう。
【0008】
【発明の実施の形態】図1は、本発明による動き検出器
を用いた補間装置のブロック図であり、キー信号補間器
にそのまま使用できる。フレーム・ベース補間器12
は、入力ビデオ信号のフレーム用の複数のライン(走査
線)のデータを受ける。すなわち、偶数ラインは、処理
すべきライン(CTR)と同じフィールドのものであ
り、奇数ラインは、同じフレームの別のフィールドのも
のである。フィールド・ベース補間器14は、入力ビデ
オ信号のフレームで処理すべきライン(CTR)と同じ
フィールドの複数のライン・データを受ける。なお、補
間器12及び14の入力データ側の数字は、処理すべき
ライン(CTR)に対する相対的なライン番号を示す。
従来のクロマ・キー発生器からのキー信号でもよい入力
ビデオ信号をこれら補間器12及び14の両方に入力し
て、2つの補間された信号、即ち、フィールド間補間信
号(同じフレーム内の異なるフィールドの間の補間信
号、即ち、フレーム補間信号)及びフィールド内補間信
号(単一のフィールド内の補間信号、即ち、フィールド
補間信号)を発生する。
【0009】これらフィールド内補間信号及びフィール
ド間補間信号を混合器(混合手段)16に入力する。フ
ィールド間補間信号は、フレーム遅延回路18にも入力
する。このフレーム遅延回路(遅延手段)18で1フレ
ーム分だけ遅延された出力信号を加算回路20に入力し
て、平均化した、即ち、時間的にろ波した(フィルタ処
理した)フィールド間補間信号を発生する。なお、ろ波
手段として動作する加算回路20は、フレーム・ベース
補間器12及び遅延回路18の出力信号を加算する加算
器Mと、この加算器Mの出力信号を2分の1にして平均
値を求める乗算器(K=0.5)とを具えている。この
平均化した補間信号を混合器16に入力する。フレーム
遅延回路18の出力信号を減算回路(減算手段)22に
入力する。この減算回路22は、フレーム遅延回路18
の入力信号からフレーム遅延回路18の出力信号を減算
し、2つの連続した補間フレーム信号の差を求める。減
算回路22の出力信号は、動き信号であり、変換手段で
ある絶対値及びルックアップ・テーブル(LUT)24
に入力する。この絶対値及びルックアップ・テーブル2
4の別の入力信号は、マイクロプロセッサ(μP:図示
せず)からの時間フィルタ係数である。この絶対値及び
ルックアップ・テーブル24は、減算回路22からの動
き信号の絶対値を求め、この絶対値及び時間フィルタ係
数の組み合わせで決まる出力信号を、混合器16用の混
合信号(混合係数)として発生する。なお、遅延回路1
8、加算回路20、減算回路22及び絶対値ルックアッ
プ・テーブル24は、判定手段を構成する。
【0010】絶対値ルックアップ・テーブル24からの
混合信号は、第1混合信号成分及び第2混合信号成分の
組み合わせである。混合器16は、マルチプレクサ(選
択)機能及び混合機能を兼ね備えている。よって、混合
器16では、絶対値及びルックアップ・テーブル24か
らの混合信号の一方の成分に応じて、フィールド・ベー
ス補間器14からのフィールド内補間信号と混合する信
号を、マルチプレクサ機能により、フレーム・ベース補
間器12からのフィールド間補間信号及び加算回路20
からの平均化した(時間的にろ波した)フィールド間補
間信号から選択する。また、混合器16の混合機能は、
フィールド・ベース補間器24からのフィールド内補間
信号を、マルチプレクサ機能の出力信号と混合するが、
その混合比は、絶対値及びルックアップ・テーブル24
からの混合信号の他の成分に応じて制御される。よっ
て、混合比によっては、混合器16の出力信号を、フィ
ールド・ベース補間器14からのフィールド内補間信号
のみとしたり、フレーム・ベース補間器12又は加算回
路20からのフィールド間補間信号のみとすることもで
きる。
【0011】ところで、μPから絶対値及びルックアッ
プ・テーブル24への時間フィルタ係数入力は、操作者
が制御ノブ又は他の方法で設定できる可変レジスタ値で
あり、混合器16で用いる加算回路20からの時間的に
ろ波したデータ(即ち、平均化したフィールド間補間信
号)の相対量を決める。最も簡単な例では、時間フィル
タ係数は、オン又はオフである。時間フィルタ係数がオ
フの場合、混合器16がフィールド間補間信号及びフィ
ールド内補間信号を混合するような混合信号を絶対値ル
ックアップ・テーブル24が発生する。また、時間フィ
ルタ係数がオンの場合、混合器16が平均化されたフィ
ールド間補間信号及びフィールド内補間信号を混合する
ような混合信号を絶対値ルックアップ・テーブル24が
発生する。すなわち、絶対値及びルックアップ・テーブ
ル24では、この時間フィルタ係数に応じて、混合器1
6のマルチプレクサ機能を制御する上述の混合信号の一
方の成分を発生する。
【0012】次に、例としての表1を参照する。
【表1】 フレーム・ベース補間器12が現在のフィールド4を作
成するとき、このフレーム・ベース補間器はフィールド
3及び4からの情報を用いる。同時に、フレーム遅延回
路18の出力が同じ補間を与えるが、フィールド1及び
2からの情報である。フレーム・ベース補間器12がフ
ィールド3及びフィールド4のラインの中間のラインを
作成すると、フィールド1,2におけるこのラインでは
ない「新たな」ラインにおける任意の変化が、減算器2
2の出力端に動きとして現れる。次に、この動きを用い
て、絶対値及びルックアップ・テーブル24から混合信
号を発生して、フィールド間補間信号の多い混合からフ
ィールド内補間信号の多い混合とする。これによると、
動きのアーティファクトの影響がない。すなわち、混合
器16は、絶対値及びルックアップ・テーブル24から
の混合信号に応じて、フレーム補間信号及びフィールド
補間信号を混合して、動きが存在するときにフィールド
補間信号を出力信号として発生し、動きが存在しないと
きにフレーム補間信号を上記出力信号として発生する。
なお、混合器16の出力信号は、補間信号である。例え
ば、入力信号がクロマ・キー発生器からのキー信号の場
合には、混合器16からの出力信号が、補間されたキー
信号となる。
【0013】
【発明の効果】上述の如く本発明によれば、同じ構成
で、改良されたキー信号補間器が得られる。本発明の補
間装置は、フレーム・ベース補間及びフィールド・ベー
ス補間の両方を実行し、これら補間結果を混合器に入力
する。また、2つの補間フレーム間の差を求めて、この
差に応じた混合信号(混合係数)を発生する。そして、
動きを検出した際に、フィールド・ベース補間を出力
し、動きが検出されない際に、フレーム・ベース補間を
出力する。よって、ビデオ信号において、オブジェクト
がフィールド・レートで水平に移動しているときにも、
適切な補間信号を発生できる。
【図面の簡単な説明】
【図1】本発明による補間装置のブロック図である。
【図2】従来の動き検出器のブロック図である。
【符号の説明】
12 フレーム・ベース補間器 14 フィールド・ベース補間器 16 混合器(混合手段) 18 フレーム遅延回路(遅延手段) 20 加算回路(ろ波手段) 22 減算回路(減算手段) 24 絶対値及びルックアップ・テーブル(変換手段)
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ダニエル・ジェイ・チャプリン アメリカ合衆国 カリフォルニア州 95959ネバダ・シティ ブレントウッド・ コート 11878

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 ビデオ・データの1フレーム内の隣接し
    たラインのデータを入力として受け、各ラインに対して
    フレーム補間信号を発生するフレーム・ベース補間器
    と、 ビデオ・データの1フィールド内の隣接したラインのデ
    ータを入力として受け、各ラインに対してフィールド補
    間信号を発生するフィールド・ベース補間器と、 上記フレーム補間信号と、該フレーム補間信号を1フレ
    ームだけ遅延させた遅延フレーム補間信号との差に応じ
    た混合信号を判定する判定手段と、 上記混合信号に応じて上記フレーム補間信号及び上記フ
    ィールド補間信号を混合し、動きが存在するときに上記
    フィールド補間信号を出力信号として発生し、動きが存
    在しないときに上記フレーム補間信号を上記出力信号と
    して発生する混合手段とを具えた補間装置。
  2. 【請求項2】 上記判定手段は、 上記フレーム補間信号を1フレームだけ遅延して、遅延
    したフレーム補間信号を発生する遅延手段と、 上記フレーム補間信号から上記遅延したフレーム補間信
    号を減算して、動き信号を発生する減算手段と、 上記動き信号を上記混合信号に変換する変換手段とを具
    えることを特徴とする請求項1の補間装置。
  3. 【請求項3】 上記判定手段は、上記遅延したフレーム
    補間信号及び上記フレーム補間信号から時間的にろ波し
    たフレーム補間信号を発生するろ波手段を更に具え、 上記時間的にろ波したフレーム補間信号を上記混合手段
    に入力することを特徴とする請求項2の補間装置。
  4. 【請求項4】 上記変換手段は、第1混合信号及び第2
    混合信号の組み合わせ混合信号として上記混合信号を発
    生する手段を具え、 上記混合手段が上記第1混合信号を用いて、上記時間的
    にろ波したフレーム補間信号及び上記フレーム補間信号
    を混合して、最終フレーム補間信号を発生し、 上記混合手段が上記第2混合信号を用いて、上記最終フ
    レーム補間信号及び上記フィールド補間信号を混合して
    上記出力信号を発生することを特徴とする請求項3の補
    間装置。
JP7255552A 1994-09-08 1995-09-07 補間装置 Expired - Fee Related JP2955984B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/303,242 1994-09-08
US08/303,242 US5668609A (en) 1994-09-08 1994-09-08 Motion detector and key signal interpolator using same

Publications (2)

Publication Number Publication Date
JPH0888867A true JPH0888867A (ja) 1996-04-02
JP2955984B2 JP2955984B2 (ja) 1999-10-04

Family

ID=23171166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7255552A Expired - Fee Related JP2955984B2 (ja) 1994-09-08 1995-09-07 補間装置

Country Status (4)

Country Link
US (1) US5668609A (ja)
JP (1) JP2955984B2 (ja)
DE (1) DE19532151A1 (ja)
GB (1) GB2293074B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5974184A (en) * 1997-03-07 1999-10-26 General Instrument Corporation Intra-macroblock DC and AC coefficient prediction for interlaced digital video
GB2356998A (en) * 1999-12-02 2001-06-06 Sony Uk Ltd Video signal processing
JP3653450B2 (ja) * 2000-07-17 2005-05-25 三洋電機株式会社 動き検出装置
GB2446616B (en) * 2006-12-06 2011-12-07 Sony Uk Ltd Motion adaptive image processing

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6046390A (ja) * 1983-08-24 1985-03-13 Tanaka Kikinzoku Kogyo Kk めっき前処理方法
GB8328362D0 (en) * 1983-10-24 1983-11-23 Indep Broadcasting Authority Movement detector
NL8501582A (nl) * 1985-02-12 1986-09-01 Philips Nv Videosignaalverwerkingsschakeling voor de verwerking van een geinterlinieerd videosignaal.
DE3526596C2 (de) * 1985-07-25 1994-05-05 Nokia Deutschland Gmbh Schaltungsanordnung zur Detektion einer Bewegung in einem Fernsehbild
US4768092A (en) * 1986-07-23 1988-08-30 Canon Kabushiki Kaisha Image signal conversion device
US4731648A (en) * 1986-09-29 1988-03-15 Rca Corporation Interstitial signal generating system
FR2623040B1 (fr) * 1987-11-09 1990-02-09 France Etat Procede et dispositif de traitement de signaux d'image a balayage de trame entrelace
US4941045A (en) * 1988-10-11 1990-07-10 Scientific-Atlanta, Inc. Method and apparatus for improving vertical definition of a television signal by scan conversion
US4967271A (en) * 1989-04-05 1990-10-30 Ives C. Faroudja Television scan line doubler including temporal median filter
GB8909498D0 (en) * 1989-04-26 1989-06-14 British Telecomm Motion estimator
EP0474276B1 (en) * 1990-09-03 1997-07-23 Koninklijke Philips Electronics N.V. Video image motion vector estimation with asymmetric update region
JPH04207582A (ja) * 1990-11-30 1992-07-29 Sony Corp 画像変換装置
US5428693A (en) * 1991-04-12 1995-06-27 Mitsubishi Denki Kabushiki Kaisha Motion compensation predicting coding method and apparatus
US5410356A (en) * 1991-04-19 1995-04-25 Matsushita Electric Industrial Co., Ltd. Scanning-line interpolation apparatus

Also Published As

Publication number Publication date
GB2293074A (en) 1996-03-13
JP2955984B2 (ja) 1999-10-04
GB2293074B (en) 1998-09-02
US5668609A (en) 1997-09-16
DE19532151A1 (de) 1996-03-14
GB9517635D0 (en) 1995-11-01

Similar Documents

Publication Publication Date Title
EP0241854B1 (en) Video signal processing circuit of motion adaptive type
JP2634632B2 (ja) 動き検出回路
KR940010833A (ko) 슈도우메디안 필터를 이용한 주사선 보간기의 보간성분 발생기
US5083203A (en) Control signal spreader
EP0482894A2 (en) Non-interlace television for multi color standards
US7319491B2 (en) Method and apparatus for processing motion information
JP2955984B2 (ja) 補間装置
JP2596166B2 (ja) 動き適応型走査線補間装置
JPH0832025B2 (ja) 動き摘応型信号処理回路
US5070394A (en) Image signal processing device
JPH06311488A (ja) 走査線変換装置
JPH04326276A (ja) 動き検出回路および動き適応型走査線補間回路
JP2770300B2 (ja) 画像信号処理処置
JPH11261973A (ja) 走査線補間方法
JPH0481086A (ja) 動き適応型走査線補間装置
KR0153536B1 (ko) 주사보간 신호발생 회로 및 방법
JPH06339124A (ja) 動き検出装置
JPH04355581A (ja) 走査線補間回路
JPS5850863A (ja) 垂直補間装置
JP2804795B2 (ja) 動き検出回路
JPS6330079A (ja) 画像信号変換装置
JPH10336596A (ja) 順次走査変換装置
JPH05219531A (ja) 動き信号発生回路
JPH03229582A (ja) 走査線補間回路
JPH0832075B2 (ja) 信号処理回路

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070723

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080723

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080723

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090723

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090723

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100723

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110723

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110723

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 14

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees