JPH10126272A - オーディオデータ伝送方式 - Google Patents

オーディオデータ伝送方式

Info

Publication number
JPH10126272A
JPH10126272A JP8273792A JP27379296A JPH10126272A JP H10126272 A JPH10126272 A JP H10126272A JP 8273792 A JP8273792 A JP 8273792A JP 27379296 A JP27379296 A JP 27379296A JP H10126272 A JPH10126272 A JP H10126272A
Authority
JP
Japan
Prior art keywords
transmission
frequency component
data
audio data
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8273792A
Other languages
English (en)
Other versions
JP3588937B2 (ja
Inventor
Shinji Hizuka
真二 肥塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP27379296A priority Critical patent/JP3588937B2/ja
Publication of JPH10126272A publication Critical patent/JPH10126272A/ja
Application granted granted Critical
Publication of JP3588937B2 publication Critical patent/JP3588937B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 【課題】 伝送帯域が逐次変動する伝送路においても、
常にリアルタイム性を損なわずにオーディオデータを伝
送する。 【解決手段】 オーディオデータは直交変換部1で時間
−周波数直交変換されたのち、高域成分制限部2に入力
される。高域成分制限部2は、状態選択部3からの状態
情報に基づいて周波数スペクトラムデータの高域成分を
制限する。制限情報付加部4は、高域成分制限部2から
の高域成分が制限されたデータに、データサイズや状態
選択部3から供給される制限状態等を制限情報として付
加する。制限情報が付加されたデータは、送信部5を介
して伝送路へ送出される。伝送帯域モニタ部6は、伝送
路の伝送帯域をモニタする。そして、このモニタ結果に
基づいて状態選択部3が次のデータの伝送の制限状態を
選択する。受信部では、制限された高域成分の情報を補
間処理によって補償する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、伝送帯域が逐次
変動する伝送路を介してオーディオデータをリアルタイ
ム伝送するのに好適なオーディオデータ伝送方式に関す
る。
【0002】
【従来の技術】近年、インターネットに代表される通信
ネットワークの進歩に伴い、通信ネットワークを介して
画像やオーディオデータの伝送が頻繁に行われるように
なってきた。特にオーディオデータの場合、音楽や音声
をリアルタイムで伝送することが重要であり、従来は、
伝送路の平均的な伝送帯域を考慮して、必要なデータ圧
縮を行って調整された固定のデータレートでオーディオ
データを伝送している。
【0003】
【発明が解決しようとする課題】しかしながら、インタ
ーネットの場合、回線のトラフィックの状況によって伝
送帯域が大きく変動するという問題がある。従って、平
均的には伝送帯域が送出したいオーディオデータのデー
タレートを満たしていても、一時的な伝送帯域の減少に
よって、リアルタイム性が損なわれ、音楽演奏の途中で
音切れが発生するといった事態が生じ、著しく聴感品質
を低下させるという問題がある。
【0004】この発明は、このような問題点に鑑みなさ
れたもので、伝送帯域が逐次変動する伝送路において
も、常にリアルタイム性を損なわずにオーディオデータ
を伝送することができるオーディオデータ伝送方式を提
供することを目的とする。
【0005】
【課題を解決するための手段】この発明に係るオーディ
オデータ伝送方式は、送信側で伝送路の伝送帯域を逐次
モニタして、このモニタされた伝送帯域の状況に応じて
伝送すべきオーディオデータの高域成分の伝送を制限す
ると共に、前記高域成分の制限状態を特定する制限情報
を前記オーディオデータに付加して前記伝送路に送出
し、受信側で前記制限情報に基づいて前記オーディオデ
ータの高域成分を補償して前記伝送すべきオーディオデ
ータを再構成するようにしたことを特徴とする。
【0006】この発明によれば、送信側で伝送路の伝送
帯域を逐次モニタし、このモニタされた伝送帯域の状況
に基づいて、オーディオデータの伝送を制限するので、
伝送帯域に応じてデータレートが適応的に変化し、これ
により常にリアルタイムでの伝送が保証され、音切れな
どの発生を防止することができる。しかも、この発明に
よれば、制限する情報は、聴感上影響の少ないオーディ
オデータの高域成分のみであり、且つ受信側で高域成分
が前後の周波数成分や前後の伝送データ等に基づいて補
償されるので、データレートが下がった場合でも、聴感
品質の低下は殆どない。
【0007】なお、より具体的には、例えば送信側でオ
ーディオデータの高域成分を特定の周波数間隔で間引く
ことにより高域成分の伝送を制限することが考えられ
る。この場合には、受信側でオーディオデータの高域成
分の間引いた部分を前後の周波数成分に基づいて、例え
ば直線補間等により高域成分を補償することができる。
【0008】また、送信側でオーディオデータの高域成
分のうち奇数番目の周波数成分と、高域成分のうち偶数
番目の周波数成分とを交互に伝送することにより高域成
分の伝送を制限した場合には、受信側で奇数番目の周波
数成分と偶数番目の周波数成分とに基づいて高域成分を
補償すれば良い。通常、オーディオデータの場合、隣接
フレーム間の相関は非常に高いので、高域成分をこのよ
うに偶数番目と奇数番目とで交互に間引いても、前後の
フレームから殆どもとのデータを再現することができ
る。
【0009】更に、送信側で前記高域成分のうち伝送す
る周波数成分のパターンを異ならせた複数の状態を同一
パターンが連続しないように繰り返すことにより高域成
分の伝送を制限すれば、受信側でこれら複数の異なる周
波数成分のパターンから高域成分を補償することができ
る。この場合、伝送の冗長性がより一層排除されて、更
に少ないデータレートでの伝送が可能になる。
【0010】
【発明の実施の形態】以下、図面を参照して、この発明
の好ましい実施の形態について説明する。図1は、この
発明の実施例に係るオーディオデータ送信装置のブロッ
ク図である。オーディオデータ等の入力データは直交変
換部1に入力され、ここで例えばFFT(Fast Fourier
Transform),DCT(Discrete Cosine Transform)
等のアルゴリズムに基づいて時間−周波数直交変換され
て周波数スペクトラムデータとなる。このデータは、高
域成分制限部2に入力される。高域成分制限部2は、後
述する状態選択部3からの状態情報に基づいて周波数ス
ペクトラムデータの高域成分を制限する。制限情報付加
部4は、高域成分制限部2からの高域成分が制限された
データに、データサイズや状態選択部3から供給される
制限状態等を制限情報として付加する。制限情報が付加
されたデータは、送信部5を介して送信データとして図
示しない伝送路を介して受信装置へ送出される。送信部
5は、また、受信装置側から返送されたACKデータを
受信する。伝送帯域モニタ部6は、送信部5からのデー
タ送信開始からACKデータ受信終了までの時間に基づ
いて、伝送路の伝送帯域をモニタする。そして、このモ
ニタ結果に基づいて状態選択部3が次のデータの伝送の
制限状態を選択する。
【0011】次に、このように構成されたオーディオデ
ータ送信装置の動作について説明する。この送信装置で
は、伝送帯域モニタ部6によって伝送路の伝送帯域が常
時モニタされる。図2は、このモニタ処理の手順を示す
フローチャートである。まず、時間カウント値TCを0
に初期化する(S1)。次に、送信部5がデータの送信
を開始したら(S2)、時間カウント値TCのカウント
アップを開始し(S3)、送信部5が受信装置からAC
Kデータを受信するまでTCのカウントを続行する(S
4)。ACKデータの受信が完了したら、現在のBPS
(Bit per Second)を下記数1のように算出する(S
5)。
【0012】
【数1】
【0013】但し、TFはタイムファクタで、カウント
値TCを実時間に換算するための係数である。以上の処
理により、伝送路の伝送帯域を現在のBPSによって把
握することができる。
【0014】状態選択部3は、求められた伝送路の伝送
帯域に応じて次の4つの制限状態のいずれか1つを選択
して高域成分制限部2を制御する。図3は、この4つの
制限状態の一例を示す図である。図は、入力データの周
波数成分(チャネル)が1からNチャネルまである場合
で、チャネルM以上がここでの制限対象である高域成分
となっている。同図(a)の状態Aは何も制限を加えな
い状態であり、伝送帯域に余裕がある場合に選択され
る。同図(b)の状態Bは、チャネルM以上の高域成分
のうち、チャネルMから数えて偶数番目のチャネルを削
除して、チャネルMから数えて奇数番目のチャネルのみ
を出力する制限状態である。伝送帯域が一時的に狭くな
った場合にこの状態が選択される。同図(c)の状態C
は、チャネルM以上の高域成分のうち、チャネルMから
数えて奇数番目のチャネルを削除して、チャネルMから
数えて偶数番目のチャネルのみを出力する制限状態であ
る。状態Bが続くような場合に選択される。同図(d)
の状態Dは、M以上のチャネルを全て削除する制限状態
であり、状態B,Cによっても伝送データが伝送帯域の
中に収まらなくなってきたときに選択される。
【0015】これら4つの状態のいずれを選択するかを
決定するのが状態選択部3であり、その状態遷移を示し
たのが図4である。図中、黒の太矢印はBPSが増加
(伝送帯域が拡大)した場合の遷移、白の太矢印はBP
Sが低下(伝送帯域が縮小)した場合の遷移、実線矢印
はBPSが変化しない場合の遷移をそれぞれ示してい
る。状態DのときにBPSが増加した場合には状態B
へ、状態B又はCのときにBPSが増加した場合には状
態Aへそれぞれ遷移する。状態AのときにBPSが低下
した場合には状態Bへ、状態B,CのときにBPSが低
下した場合には状態Dへそれぞれ遷移する。更に、状態
A,DのときにBPSが変動しない場合には、そのまま
の状態を維持するが、状態B,CのときにBPSが変動
しない場合には、それぞれ状態C,Bに遷移する。この
ように、状態BとCを交互に挿入するのは、各々の状態
において制限されたチャネルを連続させないためであ
り、このように制御することにより、受信側での補間精
度を上げることができる。また、この過程で帯域に余裕
が出てきた場合には、適当なタイミングで状態Aが挿入
されることになり、これりより更に補間精度は向上す
る。なお、状態A,DからBへ遷移するか、Cへ遷移す
るかは任意に設定可能である。
【0016】図5は、このような状態遷移を実現するた
めの状態遷移部3の処理を示すフローチャートである。
まず、CR(今回のビットレート)に現在のBPSを格
納する(S11)。次にCRとPR(前回のビットレー
ト)とを比較し(S12)、その比較結果に応じて次の
ように処理する。 (1)CR>PR(BPSが増加した場合) PS(前回の状態)が状態Dのとき(S13)CS(現
在の状態)を状態Bとし(S14)、それ以外のときは
CSを状態Aとする(S15)。 (2)CR<PR(BPSが減少した場合) PSが状態Aのとき(S16)CSを状態Bとし(S1
7)、それ以外のときはCSを状態Dとする(S1
8)。 (3)CR=PR(BPSが不変の場合) PSが状態Bのとき(S19)CSを状態Cとし(S2
0)、PSが状態Cのとき(S21)CSを状態Bとし
(S22)、それ以外のときはCS=PSとする(S2
3)。CSが決定されたら、PR,PSをそれぞれC
R,CSに更新して終了する(S24)。
【0017】このようにして状態が決定されたら、高域
成分制限部2では、入力データから制限済みデータを生
成する。図6及び図7は、制限済みデータを生成するた
めの高域成分制限部2の処理を示すフローチャートであ
る。 (1)CS=Aのとき[図6(a)] 入力データのチャネル番号を示すループカウンタiを1
からNまで1ずつ変化させながら(S31,S33,S
34)、入力データInData(i)を出力データOutData(i)
とする処理を繰り返す(S32)。これにより、入力デ
ータがそのまま出力データとして出力される。 (2)CS=Bのとき[図6(b)] ループカウンタiを1からMまで1ずつ変化させながら
(S41,S43,S44)、入力データInData(i)を
出力データOutData(i)とする処理を繰り返す(S4
2)。iがM以上になったら(S44)、iを1だけカ
ウントアップして(S45)、iをM+1からNまで2
ずつ変化させながら(S47,S48)、入力データIn
Data(i)を出力データOutData(i)とする処理を繰り返す
(S46)。これにより、入力データの高域成分のうち
M番地から数えて偶数番目のチャネルのみが制限された
データが出力データとして出力される。
【0018】(3)CS=Cのとき[図7(a)] ループカウンタiを1からMまで1ずつ変化させながら
(S51,S53,S54)、入力データInData(i)を
出力データOutData(i)とする処理を繰り返す(S5
2)。iがM以上になったら(S54)、iをMからN
まで2ずつ変化させながら(S56,S57)、入力デ
ータInData(i)を出力データOutData(i)とする処理を繰
り返す(S55)。これにより、入力データの高域成分
のうちM番地から数えて奇数番目のチャネルのみが制限
されたデータが出力データとして出力される。 (4)CS=Dのとき[図7(b)] ループカウンタiを1からMまで1ずつ変化させながら
(S61,S63,S64)、入力データInData(i)を
出力データOutData(i)とする処理を繰り返す(S6
2)。これにより、入力データの高域成分が全て制限さ
れたデータが出力データとして出力される。
【0019】以上の処理で制限済みデータが生成された
ら、制限情報付加部4では、図8に示すように、制限済
みデータの先頭に制限情報を付加して送信データを生成
する。制限情報は、A〜Dのいずれの制限状態であるか
を示す状態情報(例えば2ビット)と、データのサイズ
の情報からなる。
【0020】この送信データを受信するオーディオ受信
装置は、例えば図9に示すように構成することができ
る。受信データは受信部11で受信され、制限情報分離
部12で受信データのうちの制限情報のみが分離され
る。制限済みデータはデータ補償部13に供給され、こ
こで制限情報に基づく補償処理が実行される。即ち、状
態Aのときはデータがスルー状態で出力され、状態B,
C,Dのときは、データバッファ14に保存されている
前回送信されたデータに基づいて補償処理が実行され
る。状態B,Cの場合には、前回受信されたデータと今
回受信されたデータとで高域成分の奇数チャネルと偶数
チャネルとを交互に埋める処理であり、状態Dの場合に
は、前回の補償済みデータを用いた補償処理を実行すれ
ばよい。補償済みデータは、図示しない直交逆変換部に
よって周波数−時間変換されてオーディオデータが再生
される。
【0021】いま、サンプリング周波数が44.1KH
z、1フレーム512サンプルとすれば、1フレームの
周期は約11msであり、オーディオデータの性質を考
えると、この程度のフレーム周期であればフレーム間の
相関がかなり高いことが明らかである。従って、上述し
たようなデータの制限を行っても、前後のフレームから
再生されたデータはもとのデータと殆ど変わらない。こ
のため、この装置によれば、再生品質を殆ど落とさずに
データレートを伝送路に合わせて柔軟に制御することが
でき、リアルタイムでの伝送が可能になる。
【0022】なお、この発明は、上述した実施例に限定
されるものではない。上記実施例では、高域成分のチャ
ネルを固定としたが、伝送帯域に応じて更にMの値を可
変にして、より多くの制限状態から適切な状態を選択す
るようにしても良い。また、受信側での補間方法として
は、状態B,Cの場合にフレーム内の隣接チャネル間の
直線補間を行う方法も考えられるし、多少の遅延が許容
されるシステムでは、データバッファ14に複数のフレ
ーム分のデータを保存しておいて、前後フレームの同一
チャネルのデータから補間を行うことも考えられる。ま
た、状態Dについても、前フレームの補償済みデータか
ら補償する他、複数フレームのデータの同一チャネルか
ら推定可能である。
【0023】
【発明の効果】以上述べたように、この発明によれば、
送信側で伝送路の伝送帯域を逐次モニタし、このモニタ
された伝送帯域の状況に基づいて、オーディオデータの
高域成分の伝送を制限するようにしているので、聴感品
質を殆ど下げることなく、伝送帯域に応じたデータレー
トの適応制御が可能になり、常にリアルタイムでの伝送
が保証され、音切れなどの発生を防止することができる
という効果を奏する。
【図面の簡単な説明】
【図1】 この発明の一実施例に係るオーディオ送信装
置のブロック図である。
【図2】 同装置における伝送帯域モニタの処理を示す
フローチャートである。
【図3】 同装置における高域成分制限の態様を示す図
である。
【図4】 同装置における状態選択部での状態選択遷移
図である。
【図5】 同状態選択遷移を実現する処理の内容を示す
フローチャートである。
【図6】 同装置における高域成分制限部での各選択状
態に対応した制限済みデータの生成方法を示すフローチ
ャートである。
【図7】 同装置における高域成分制限部での各選択状
態に対応した制限済みデータの生成方法を示すフローチ
ャートである。
【図8】 同装置における制限情報付加部4で生成され
る送信データのフォーマットを示す図である。
【図9】 同実施例に係るオーディオ受信装置のブロッ
ク図である。
【符号の説明】
1…直交変換部、2…高域成分制限部、3…状態選択
部、4…制限情報付加部、5…送信部、6…伝送帯域モ
ニタ部、11…受信部、12…制限情報分離部、13…
データ補償部、14…データバッファ。

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 送信側で伝送路の伝送帯域を逐次モニタ
    して、このモニタされた伝送帯域の状況に応じて伝送す
    べきオーディオデータの高域成分の伝送を制限すると共
    に、前記高域成分の制限状態を特定する制限情報を前記
    オーディオデータに付加して前記伝送路に送出し、 受信側で前記制限情報に基づいて前記オーディオデータ
    の高域成分を補償して前記伝送すべきオーディオデータ
    を再構成するようにしたことを特徴とするオーディオデ
    ータ伝送方式。
  2. 【請求項2】 前記送信側で前記オーディオデータの高
    域成分を特定の周波数間隔で間引くことにより前記高域
    成分の伝送を制限し、 前記受信側でオーディオデータの高域成分の間引いた部
    分を前後の周波数成分に基づいて補間することにより前
    記高域成分を補償するようにしたことを特徴とする請求
    項1記載のオーディオデータ伝送方式。
  3. 【請求項3】 前記送信側で前記オーディオデータの高
    域成分のうち奇数番目の周波数成分と、前記高域成分の
    うち偶数番目の周波数成分とを交互に伝送することによ
    り前記高域成分の伝送を制限し、 前記受信側で前記奇数番目の周波数成分と偶数番目の周
    波数成分とに基づいて前記高域成分を補償するようにし
    たことを特徴とする請求項1記載のオーディオデータ伝
    送方式。
  4. 【請求項4】 前記送信側で前記高域成分のうち伝送す
    る周波数成分のパターンを異ならせた複数の状態を同一
    パターンが連続しないように繰り返すことにより前記高
    域成分の伝送を制限し、 前記受信側で前記複数の異なる周波数成分のパターンか
    ら前記高域成分を補償するようにしたことを特徴とする
    請求項1乃至3のいずれか1項記載のオーディオデータ
    伝送方式。
JP27379296A 1996-10-16 1996-10-16 オーディオデータ伝送方式 Expired - Fee Related JP3588937B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27379296A JP3588937B2 (ja) 1996-10-16 1996-10-16 オーディオデータ伝送方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27379296A JP3588937B2 (ja) 1996-10-16 1996-10-16 オーディオデータ伝送方式

Publications (2)

Publication Number Publication Date
JPH10126272A true JPH10126272A (ja) 1998-05-15
JP3588937B2 JP3588937B2 (ja) 2004-11-17

Family

ID=17532650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27379296A Expired - Fee Related JP3588937B2 (ja) 1996-10-16 1996-10-16 オーディオデータ伝送方式

Country Status (1)

Country Link
JP (1) JP3588937B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001222720A (ja) * 2000-02-10 2001-08-17 Sony Corp 情報符号化装置
WO2003007480A1 (en) * 2001-07-13 2003-01-23 Matsushita Electric Industrial Co., Ltd. Audio signal decoding device and audio signal encoding device
WO2004019497A1 (ja) * 2002-08-21 2004-03-04 Sony Corporation 信号符号化装置及び方法、並びに信号復号装置及び方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001222720A (ja) * 2000-02-10 2001-08-17 Sony Corp 情報符号化装置
WO2003007480A1 (en) * 2001-07-13 2003-01-23 Matsushita Electric Industrial Co., Ltd. Audio signal decoding device and audio signal encoding device
AU2002318813B2 (en) * 2001-07-13 2004-04-29 Matsushita Electric Industrial Co., Ltd. Audio signal decoding device and audio signal encoding device
US7260541B2 (en) 2001-07-13 2007-08-21 Matsushita Electric Industrial Co., Ltd. Audio signal decoding device and audio signal encoding device
WO2004019497A1 (ja) * 2002-08-21 2004-03-04 Sony Corporation 信号符号化装置及び方法、並びに信号復号装置及び方法
US7205910B2 (en) 2002-08-21 2007-04-17 Sony Corporation Signal encoding apparatus and signal encoding method, and signal decoding apparatus and signal decoding method

Also Published As

Publication number Publication date
JP3588937B2 (ja) 2004-11-17

Similar Documents

Publication Publication Date Title
KR100840146B1 (ko) 패킷 데이터 통신 시스템에서 암호-동기화를 구현하기 위한 방법 및 장치
JP3658087B2 (ja) 端末装置及び端末装置の制御方法
US6901069B2 (en) Sub-packet insertion for packet loss compensation in voice over IP networks
US7787500B2 (en) Packet receiving method and device
JP4782973B2 (ja) オーディオおよびビデオ信号の同期化
US8675728B2 (en) Transmitting apparatus and method, and receiving apparatus and method
EP1143671A2 (en) Device and method for reducing delay jitter in data transmission
JP2007089137A (ja) ロバストなストリーミングを行うためのサーバメディア処理による適応型メディアプレイアウト
US7072291B1 (en) Devices, softwares and methods for redundantly encoding a data stream for network transmission with adjustable redundant-coding delay
US20080170500A1 (en) Data communication apparatus for performing bit rate control in real-time audio-video communications
US6961331B2 (en) IP gateway apparatus
JP4076981B2 (ja) 通信端末装置およびバッファ制御方法
JP3588937B2 (ja) オーディオデータ伝送方式
KR20030026109A (ko) 채널 적응적 멀티미디어 데이터 전송 장치 및 방법
US8027374B2 (en) Method, system and apparatus for transmit diversity control
JP3833490B2 (ja) データ伝送において発生する遅延ジッタを吸収する装置および方法
CN112786062A (zh) 带宽自适应网络音频传输方法、设备、介质及系统
JPH07212836A (ja) ディジタルコードレス電話装置
JPH1169327A (ja) 同期制御装置
JP2006074359A (ja) 遠隔会議システムにおける音声データの送受信システム及び制御方法
JP2004080625A (ja) パケット型音声通信端末
EP2424159A1 (en) Information transmission apparatus, information transmission method, and computer readable medium
JPH0865278A (ja) マルチメディア通信装置
JP3587920B2 (ja) 送信方法及び受信方法
JP4973453B2 (ja) 送信端末、通信システム、プログラム、及びデータ品質制御方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040727

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040809

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070827

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080827

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090827

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100827

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees