JP2000322076A - コマーシャル部分認識方法及びそのプログラム記録媒体 - Google Patents

コマーシャル部分認識方法及びそのプログラム記録媒体

Info

Publication number
JP2000322076A
JP2000322076A JP11127967A JP12796799A JP2000322076A JP 2000322076 A JP2000322076 A JP 2000322076A JP 11127967 A JP11127967 A JP 11127967A JP 12796799 A JP12796799 A JP 12796799A JP 2000322076 A JP2000322076 A JP 2000322076A
Authority
JP
Japan
Prior art keywords
commercial
time length
blank
audio signal
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11127967A
Other languages
English (en)
Other versions
JP3513424B2 (ja
Inventor
Kunio Kayano
邦夫 柏野
Hiroshi Murase
洋 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP12796799A priority Critical patent/JP3513424B2/ja
Publication of JP2000322076A publication Critical patent/JP2000322076A/ja
Application granted granted Critical
Publication of JP3513424B2 publication Critical patent/JP3513424B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Receiver Circuits (AREA)

Abstract

(57)【要約】 【課題】 コマーシャルの検出にパイロット信号を利用
できない場合でも検出可能とする。 【解決手段】 認識対象コマーシャルの時間長(例えば
15秒、30秒)を記憶手段1に記憶しておき、放送受
信信号中の音響信号を60ミリ秒の窓をかけて平均音量
値を計算し、その窓を10ミリ秒ずつ移動しながら計算
し、その平均パワー値の常用対数値の20倍を平均音量
値とし(2)、平均音量値が連続して100ミリ秒間8
0より低下した時刻をブランクとして検出し(3)、こ
のブランクはCMと番組の境界に生じ、よってブランク
の間隔と記憶したCM時間長とを照合し(4)、一致す
ればそのブランクの間がCM部分として出力する
(4)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、テレビやラジオ
などの放送中から、コマーシャル部分を認識する方法に
関するものであり、例えばコマーシャル部分の自動抽出
装置やコマーシャル部分を自動的に除いて録画または録
音を行う装置に応用することができるものである。
【0002】
【従来の技術】従来、コマーシャル部分認識方法に関し
ては、テレビコマーシャルのほとんどがステレオ放送で
あることに着目して、家庭用ビデオ装置において、受信
しているテレビ放送信号から、音声多重放送のパイロッ
ト信号を検出し、ステレオ放送以外からステレオ放送に
切り替わった時点をコマーシャルの開始時点とみなして
録画を制御する方法が知られている。しかし、この方法
では、番組自体がステレオ放送の場合には適用できな
い、またテレビ放送以外の放送のように、パイロット信
号が利用できない場合には適用できないという欠点があ
った。
【0003】
【発明が解決しようとする課題】この発明は、ステレオ
番組中のコマーシャルや、テレビ放送以外の放送におけ
るコマーシャルなど、パイロット信号が利用できない場
合であっても適用でき、公知の方法よりも適用範囲の広
いコマーシャル部分認識方法およびそのプログラム記録
媒体を提供することを目的としている。
【0004】
【課題を解決するための手段】この発明は、上記目的を
達成するためになされたものであり、この発明の第1
は、認識の対象とする個々のコマーシャルの時間長をコ
マーシャル時間長記憶過程で予め記憶しておき、音響信
号のある時間内における平均音量値を平均音量値計算過
程で算出し、前記平均音量値がある時間以上継続してあ
る値を下回ったことをブランク検出過程で検出し、その
ブランク検出過程で検出されるブランクどうしの間隔
と、前記コマーシャル時間長記憶過程で記憶されている
時間長との差が、ある値よりも小さいかどうかをブラン
ク間隔照合過程で判定し、前記差がある値より小さけれ
ば、そのブランクどうしの間隔をコマーシャル部分と認
識することを特徴とする。
【0005】またこの発明の第2は、第1の発明におけ
る前記ブランク検出過程と前記ブランク間隔照合過程の
構成に関するものであり、あらかじめ前記コマーシャル
時間長記憶過程で記憶された時間長だけ離れた各時点に
おける各平均音量値を少なくとも2つのブランクを検出
する過程により検出し、それら検出された平均音量値に
基づいてコマーシャル部分を認識することを特徴とす
る。
【0006】またこの発明の第3は、新たに出現したコ
マーシャル部分のみを認識するために、第1または第2
の発明に加えて、認識したコマーシャル部分の音響信号
または映像信号、もくしはその音響信号や映像信号から
抽出された特徴を既出コマーシャル記憶過程で記憶し、
また認識されたコマーシャル部分の音響信号または映像
信号、もしくは音響信号や映像信号から抽出された特徴
を、前記既出コマーシャル記憶過程で記憶されたコマー
シャル部分と既出コマーシャル照合過程で照合すること
を特徴とする。
【0007】
【発明の実施の形態】次に、この発明の一実施形態につ
いて図面を用いて説明する。図1は、この発明方法を適
用した音響信号を用いたコマーシャル部分認識装置の一
実施形態を示すブロック図である。この実施形態のコマ
ーシャル部分認識装置は、コマーシャル時間長記憶手段
1と、平均音量値計算手段2と、ブランク検出手段3
と、ブランク間隔照合手段4と、既出コマーシャル記憶
手段5と、既出コマーシャル照合手段6とにより構成さ
れ、放送の音響信号を入力とし、コマーシャル部分の時
間範囲を出力する。また、前記コマーシャル部分のうち
で、新たに出現した、即ちその時点までに記憶手段5に
記憶されていないコマーシャル部分のみを出力すること
も可能となっている。
【0008】コマーシャル時間長記憶手段1は、認識の
対象とする個々のコマーシャルの時間長を予め記憶して
おく。例えば日本国内のテレビ放送におけるコマーシャ
ルは15秒、30秒のものが大部分であり、この予め知
られているコマーシャルの時間長を記憶しておく。平均
音量値計算手段2は、入力された音響信号のある時間、
例えば60ミリ秒内における平均音量値を算出する。
【0009】ブランク検出手段3は、前記平均音量値が
ある時間以上継続してある値を下回ったことを検出す
る。つまり番組放送とコマーシャルの切り替え時に、音
響信号がゼロ乃至、著しく低下する。この低下を検出す
る。ブランク間隔照合手段4は、前記ブランク検出手段
3で検出されるブランクどうしの間隔と、前記コマーシ
ャル時間長記憶手段1に記憶されている時間長との差
が、ある値よりも小さいかどうかを判定する。つまりこ
の差が小さければ、そのブランクどうしの間隔の部分は
コマーシャル部分と認識することができる。
【0010】既出コマーシャル記憶手段5は、新たに出
現した(コマーシャル部分と認識した)コマーシャルの
音響信号または映像信号、もしくはその音響信号や映像
信号から抽出された特徴を記憶する。既出コマーシャル
照合手段6は、ブランク間隔照合手段4によりコマーシ
ャル部分と認識されたコマーシャル部分の音響信号また
は映像信号、もしくはその音響信号や映像信号から抽出
された特徴を、前記既出コマーシャル記憶手段5に記憶
されたコマーシャル部分と照合する。
【0011】次に、上述したコマーシャル時間長記憶手
段1〜既出コマーシャル照合手段6における処理を具体
的に説明する。コマーシャル時間長記憶手段1では、装
置外部から与えられる、対象とするコマーシャルの時間
長を記憶する。例えば、日本国内のテレビ放送における
コマーシャルは、15秒と30秒のものが大半を占めて
おり、この他に少数ではあるが3秒、5秒、60秒など
のものが放送されている。コマーシャル時間長記憶手段
1では、認識対象コマーシャルの時間長を記憶してお
き、ブランク間隔照合手段4に供給する。
【0012】平均音量値計算手段2では、装置外部から
供給される対象とするコマーシャルを含む放送信号中の
音響信号を、例えば標本化周波数11kHz、量子化精
度16bitでデジタル化し、音響信号の短時間平均パ
ワー値を計算する。すなわち、入力音響信号波形の自乗
値(パワー値)を計算してメモリ上に保持し、このパワ
ー値のある時間内における平均値を順次計算する。例え
ば、入力音響信号に60ミリ秒間の窓をかけ、窓内にお
ける平均パワー値を、10ミリ秒ずつ窓を移動しながら
計算すると、良い結果が得られる。このようにして得ら
れた平均パワー値の常用対数値の20倍を、平均音量値
としてブランク検出手段3に出力する。
【0013】ブランク検出手段3では、平均音量値計算
手段2から供給される平均音量値が、ある時間ts 以上
連続して、予め定めた値θを下回るかどうかを調べる。
もし下回っていればブランクが検出されたことを意味す
る。そこでブランク時刻(平均音量値がθを下回ってい
た時間の中央の時刻)を、ブランク間隔照合手段4に出
力する。日本国内のテレビ放送におけるコマーシャル抽
出では、ts を100ミリ秒、θを80とすると良い結
果が得られる。コマーシャルが存在すると、図2に示す
ように、コマーシャル(CM)の前後で平均音量値が小
さいブランクが生じる。コマーシャルの時間長は一般に
は予め決められた長さである。
【0014】従ってブランク間隔照合手段4では、ブラ
ンク検出手段3から出力されるブランクどうしの間隔
が、コマーシャル時間長記憶手段1において記憶されて
いるコマーシャル時間長と一致するかどうかを調べ、一
致している場合には、そのブランクに挟まれている部分
をコマーシャル部分として出力する。なお、第2の発明
にあるように、ブランク検出手段3とブランク間隔照合
手段4における処理は、あらかじめ前記コマーシャル時
間長記憶手段1に記憶された時間長だけ離れた2つの時
点における各平均音量値を1組の値として検出し、その
検出を一定時間、前記例では10ミリ秒ずつ移動させて
行うようにブランク検出手段3を構成し、それらの1組
の平均音量値の平均値が、ある時間(ts )以上連続し
てある値(θ)を下回るかどうかでコマーシャル部分を
判定するようにしてもよい。
【0015】上記の処理によりコマーシャル部分が抽出
されるが、第3の発明にあるように、初めて放送された
(検出された)コマーシャルのみを認識するためには、
既出コマーシャル記憶手段5と、既出コマーシャル照合
手段6を設ける。既出コマーシャル記憶手段5では、既
に出現したコマーシャル部分の音響信号または映像信号
を記憶しておく。実際には、記憶容量の点から、音響信
号または映像信号から抽出した特徴を記憶しておく方が
良い。この場合の特徴抽出としては、音響信号のスペク
トル特徴をベクトル量子化したものや、映像信号の色ヒ
ストグラムなど、各種の公知の方法を用いることが可能
である。
【0016】既出コマーシャル照合手段6では、ブラン
ク間隔照合手段4で出力されるコマーシャル部分の音響
信号または映像信号が、既出コマーシャル記憶手段5に
記憶されている既出コマーシャル部分の音響信号または
映像信号と一致するかどうかを調べる。既出コマーシャ
ル記憶手段5において、音響信号や映像信号の特徴を記
憶している場合には、ブランク間隔照合手段4で出力さ
れるコマーシャル部分についても特徴を抽出し、既出コ
マーシャル記憶手段5に記憶されている既出コマーシャ
ル部分の特徴と順次照合する。照合の結果、既出コマー
シャル部分のいずれに対しても一致度が低ければ、ブラ
ンク間隔照合手段4で出力されたコマーシャル部分を新
出コマーシャル部分として出力する。それとともに、そ
の部分を以後既出コマーシャル部分として扱うために既
出コマーシャル記憶手段5に記憶する。一方、前記照合
の結果、既出コマーシャル部分のいずれかに対して一致
度が高かった場合、当該コマーシャル部分を照合出力と
して出力することも考えられる。
【0017】図1に示した各部の機能はコンピュータに
よりプログラムを解読実行させることにより作用させる
こともできる。このためプログラムによる処理手順は図
3に示すようになる。この図は前記説明から特に説明す
るまでもなく、理解できるので省略する。
【0018】
【発明の効果】次に、この発明を適用した装置の動作実
験例を示す。以下に、あるチャネルのテレビ放送に対し
てコマーシャル部分を認識した結果の一部を示す。これ
は、午後7時からの1時間における、15秒のコマーシ
ャルの開始時刻を表している。 19:04:57 19:05:12 19:05:27 19:05:42 19:05:53 19:13:40 19:13:55 19:14:05 19:14:21 19:14:36 19:14:51 19:15:06 19:18:44 19:19:29 19:19:43 19:19:58 19:24:57 19:25:13 19:31:21 19:33:36 19:33:51 19:40:28 19:52:00 19:52:15 19:55:56 19:56:11 19:56:26 19:56:41 19:56:56 19:57:11 19:57:26 19:57:41 19:57:56 19:58:11 認識性能は、実際に放送されたコマーシャルをどの程度
もれなく認識できるか(リコール率)で評価することが
できる。日本国内のテレビ放送を対象とした動作実験の
結果、前記実施例に示したパラメータ設定において、1
5秒コマーシャルに対するリコール率は99パーセント
以上であることが確認された。したがってこの発明は、
コマーシャルの認識において有用であると考えられる。
【0019】以上、説明したように、この発明によれ
ば、放送中のCM(コマーシャル)の前後に存在する平
均音量の小さい部分(ブランク)に着目し、またコマー
シャルの時間長が予め決められた複数の値の何れかをと
ることに基づき、ブランク間の時間間隔を利用すること
によって、ステレオ番組中のコマーシャルや、テレビ放
送以外の放送におけるコマーシャルなど、パイロット信
号が利用できない場合であっても、公知の方法と比較し
て、高い精度でコマーシャル部分認識処理を行うことが
できるという利点がある。
【図面の簡単な説明】
【図1】この発明によるコマーシャル部分認識方法を適
用した装置の一実施形態を示すブロック図。
【図2】放送における平均音量値の変化を示す概念図。
【図3】コマーシャル部分認識装置の処理手順の例を示
す流れ図。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/44 H04N 5/91 C 5/60 N 5/91 G11B 27/02 Z // G10L 101:065 Fターム(参考) 5C025 AA29 BA18 DA10 5C026 DA11 DA28 5C053 FA30 HA27 JA12 KA05 KA22 KA24 5D015 KK02 KK04 5D110 CA52 CB07

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 放送等におけるコマーシャル部分を、前
    記放送等の音響信号を用いて認識するコマーシャル部分
    認識方法において、 認識の対象とする個々のコマーシャルの時間長を予め記
    憶しておくコマーシャル時間長記憶過程と、 音響信号の所定時間内における平均音量値を算出する平
    均音量値計算過程と、 前記平均音量値が所定時間以上継続して、所定値を下回
    ったことを検出するブランク検出過程と、 前記ブランク検出過程で検出されたブランクのうちのあ
    る2つのブランクの間隔と、前記コマーシャル時間長記
    憶過程で記憶されている時間長との差が、所定値よりも
    小さいかどうかを判定し、所定値より小さいとそのブラ
    ンクの間をコマーシャル部分とするブランク間隔照合過
    程と、 を備えることを特徴とするコマーシャル部分認識方法。
  2. 【請求項2】 請求項1記載の方法において、 前記ブランク検出過程およびブランク間隔照合過程にお
    いて、 あらかじめ前記コマーシャル時間長記憶過程で記憶され
    た時間長だけ離れた時点における各平均音量値を検出し
    て、少なくとも2つのブランクを検出し、それら検出し
    たブランクにおける平均音量値に基づいてコマーシャル
    部分を認識することを特徴とするコマーシャル部分認識
    方法。
  3. 【請求項3】 請求項1または請求項2に記載の方法に
    おいて、 前記判定したコマーシャル部分の音響信号または映像信
    号、もしくはその音響信号や映像信号から抽出された特
    徴を記憶する既出コマーシャル記憶過程と、 前記判定したコマーシャル部分の音響信号または映像信
    号、もしくはその音響信号や映像信号から抽出された特
    徴を、前記既出コマーシャル記憶手段に記憶されたコマ
    ーシャル部分と照合する既出コマーシャル照合過程と、 を備え、前記既出コマーシャル照合過程で記憶されてい
    ないコマーシャル部分を出力することを特徴とするコマ
    ーシャル部分認識方法。
  4. 【請求項4】 放送等におけるコマーシャル部分を、前
    記放送等の音響信号を用いて認識するコマーシャル部分
    認識方法のプログラムを記録した記録媒体であって、 認識の対象とする個々のコマーシャルの時間長を記憶す
    るコマーシャル時間長記憶処理と、 音響信号の所定時間内における平均音量値を算出する平
    均音量値計算処理と、 前記平均音量値が所定時間以上継続して、所定値を下回
    ったことを検出するブランク検出処理と、 前記ブランク検出処理で検出されたブランクのうちのあ
    る2つのブランクの間隔と、前記コマーシャル時間長記
    憶処理で記憶されている時間長との差が、所定値より小
    さいかどうかを判定し、所定値より小さいとそのブラン
    クの間をコマーシャル部分とするブランク間照合処理
    と、 をコンピュータに実行させるプログラムを記録した記録
    媒体。
  5. 【請求項5】 請求項4記載の記録媒体において、 前記ブランク検出処理および前記ブランク間照合処理に
    おいて、前記コマーシャル時間長記憶処理で記憶された
    時間長だけ離れた時点における各平均音量値を検出し
    て、少なくとも2つのブランクを検出し、それら検出し
    たブランクにおける平均音量値に基づいてコマーシャル
    部分を認識することを特徴とする記録媒体。
  6. 【請求項6】 請求項4又は5記載の記録媒体におい
    て、 前記判定したコマーシャル部分の音響信号または映像信
    号、もしくはその音響信号または映像信号から抽出され
    た特徴を記憶する既出コマーシャル記憶処理と、 前記判定したコマーシャル部分の音響信号または映像信
    号、もしくはその音響信号または映像信号から抽出され
    た特徴を、前記既出コマーシャル記憶手段に記憶された
    コマーシャル部分と照合する既出コマーシャル照合処理
    と、 前記既出コマーシャル照合処理で記憶されていないコマ
    ーシャル部分を出力する処理とを上記コンピュータに実
    行させるプログラムを上記プログラムが含むことを特徴
    とする記録媒体。
JP12796799A 1999-05-10 1999-05-10 コマーシャル部分認識方法及びそのプログラム記録媒体 Expired - Lifetime JP3513424B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12796799A JP3513424B2 (ja) 1999-05-10 1999-05-10 コマーシャル部分認識方法及びそのプログラム記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12796799A JP3513424B2 (ja) 1999-05-10 1999-05-10 コマーシャル部分認識方法及びそのプログラム記録媒体

Publications (2)

Publication Number Publication Date
JP2000322076A true JP2000322076A (ja) 2000-11-24
JP3513424B2 JP3513424B2 (ja) 2004-03-31

Family

ID=14973123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12796799A Expired - Lifetime JP3513424B2 (ja) 1999-05-10 1999-05-10 コマーシャル部分認識方法及びそのプログラム記録媒体

Country Status (1)

Country Link
JP (1) JP3513424B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215418A (ja) * 2005-02-07 2006-08-17 Nissan Motor Co Ltd 音声入力装置及び音声入力方法
JP2008084381A (ja) * 2006-09-26 2008-04-10 Hitachi Ltd 番組録画装置及びコマーシャル検出方法
JP2019212047A (ja) * 2018-06-05 2019-12-12 日本電信電話株式会社 Cm情報生成装置、cm情報生成方法、及びプログラム
US11368762B2 (en) 2018-06-05 2022-06-21 Nippon Telegraph And Telephone Corporation Commercial section detection device, commercial section detection method, and program
US11645845B2 (en) 2018-06-05 2023-05-09 Nippon Telegraph And Telephone Corporation Device and method for detecting display of provided credit, and program

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006215418A (ja) * 2005-02-07 2006-08-17 Nissan Motor Co Ltd 音声入力装置及び音声入力方法
JP2008084381A (ja) * 2006-09-26 2008-04-10 Hitachi Ltd 番組録画装置及びコマーシャル検出方法
US8306397B2 (en) 2006-09-26 2012-11-06 Hitachi, Ltd. Picture recorder and commercial message detection method
JP2019212047A (ja) * 2018-06-05 2019-12-12 日本電信電話株式会社 Cm情報生成装置、cm情報生成方法、及びプログラム
WO2019235406A1 (ja) * 2018-06-05 2019-12-12 日本電信電話株式会社 Cm情報生成装置、cm情報生成方法、及びプログラム
US11368762B2 (en) 2018-06-05 2022-06-21 Nippon Telegraph And Telephone Corporation Commercial section detection device, commercial section detection method, and program
US11412304B2 (en) 2018-06-05 2022-08-09 Nippon Telegraph And Telephone Corporation Commercial information generating device, commercial information generating method, and program
US11645845B2 (en) 2018-06-05 2023-05-09 Nippon Telegraph And Telephone Corporation Device and method for detecting display of provided credit, and program

Also Published As

Publication number Publication date
JP3513424B2 (ja) 2004-03-31

Similar Documents

Publication Publication Date Title
CN109584876B (zh) 语音数据的处理方法、装置和语音空调
CN109637531B (zh) 一种语音控制方法、装置、存储介质及空调
JP2004528790A (ja) 番組開始及び終了区切りを検出する拡張epg
US20070250881A1 (en) Future capture of block matching clip
US7523038B2 (en) Voice controlled system and method
US6934462B2 (en) Signal processing apparatus and method, recording medium, and program
JP2000322076A (ja) コマーシャル部分認識方法及びそのプログラム記録媒体
CN106792048B (zh) 一种识别智能电视用户语音命令的方法和装置
CN111599378A (zh) 音频匹配方法,电子设备及存储介质
CN112151054B (zh) 音频降噪处理方法、装置、服务器及存储介质
CN112992137B (zh) 语音交互方法和装置、存储介质及电子装置
US7421628B2 (en) Methods and apparatus to extract codes from a plurality of channels
CN112053669B (zh) 一种人声消除方法、装置、设备及介质
JP2002344872A (ja) 情報信号処理装置、情報信号処理方法および情報信号記録媒体
JP2001242880A (ja) 信号検出方法、信号の検索方法及び認識方法並びに記録媒体
JP3474131B2 (ja) 高速信号探索方法、装置及びその記録媒体
CN110430508B (zh) 麦克风降噪处理方法及计算机存储介质
CN111753129B (zh) 基于实时视频内容激发搜索的方法、系统以及终端设备
JP2005536824A (ja) メディア信号から不要信号を除去する方法
JP3005330B2 (ja) 音声認識装置
CN113129882A (zh) 一种智能设备的语音唤醒方法及装置
JP5028651B2 (ja) 情報処理装置およびコンテンツ解析プログラム
JP2000023064A (ja) テレビ受信機
EP1560354A1 (en) Method and apparatus for comparing received candidate sound or video items with multiple candidate reference sound or video items
JP2002236496A (ja) 信号検出方法、信号検出装置、記録媒体及びプログラム

Legal Events

Date Code Title Description
A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040109

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090116

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100116

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110116

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110116

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 9

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term