JPH10111645A - 光学センサのシミュレーション方法およびシミュレーション装置 - Google Patents
光学センサのシミュレーション方法およびシミュレーション装置Info
- Publication number
- JPH10111645A JPH10111645A JP26475396A JP26475396A JPH10111645A JP H10111645 A JPH10111645 A JP H10111645A JP 26475396 A JP26475396 A JP 26475396A JP 26475396 A JP26475396 A JP 26475396A JP H10111645 A JPH10111645 A JP H10111645A
- Authority
- JP
- Japan
- Prior art keywords
- target
- optical sensor
- image
- speed
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
のには多大な時間と労力がかかる等の問題があり、この
ような問題を解決することが課題であった。 【解決手段】 光学センサにより目標Tを検知しながら
同目標Tに接近する移動体(ミサイルM)における光学
センサのシミュレーション方法であって、目標Tに向か
って接近しながら目標Tを含む画像を撮像し、その接近
速度と移動体の想定速度との差に基づいて画像の画角変
換を行うと共に、画角変換した画像に対して光学センサ
の目標認識処理を行うことにより、実環境における精度
の高い模擬運用を可能にした。
Description
移動体に搭載する光学センサの性能評価などに利用され
る光学センサのシミュレーション方法および光学センサ
のシミュレーション装置に関するものである。
ンサを搭載したミサイルの攻撃に対する防御手段の性能
評価を行うには、実環境において実物の光学センサさら
には実物の移動体を用いるのが最も確実である。ところ
が、この種の光学センサは、運用される環境が特異であ
り、現実には様々な面での制約を受けることから、全て
実物を用いて評価を行うことは困難である。
を行うことになるが、従来では、光学センサの目標を含
む環境をモデル化してコンピュータに入力し、そのモデ
ル化した環境において光学センサの目標認識処理を行う
ことにより、光学センサの性能評価を行っていた。
たような従来の光学センサのシミュレーションでは、実
環境をモデル化するのに多大な時間や労力かかると共
に、実環境と同等の現実性を得ることが難しいという問
題があり、このような問題を解決することが課題であっ
た。
されたもので、実環境において精度の高い模擬運用を行
うことができる光学センサのシミュレーション方法およ
びシミュレーション装置を提供することを目的としてい
る。
サのシミュレーション方法は、請求項1として、光学セ
ンサにより目標を検知しながら同目標に接近する移動体
における光学センサのシミュレーション方法であって、
目標に向かって接近しながら目標を含む画像を撮像し、
その接近速度と移動体の想定速度との差に基づいて画像
の画角変換を行うと共に、画角変換した画像に対して光
学センサの目標認識処理を行う構成とし、請求項2とし
て、目標に対する接近速度よりも移動体の想定速度が大
であり、画角変換が、デジタル画像においてアフィン変
換により画像を拡大する画角変換である構成とし、請求
項3として、目標に対する接近速度よりも移動体の想定
速度が大であり、画像変換が、デジタル画像に対する光
学センサの視野角を小さくする画角変換である構成と
し、請求項4として、画像変換が、目標を含む画像を撮
像する撮像手段におけるズーム機構により行われる構成
としており、上記の構成を課題を解決するための手段と
している。
ション方法において、目標に向かって接近しながら目標
を含む画像を撮像するにあたっては、航空機が用いるこ
とができる。また、請求項1の光学センサのシミュレー
ション方法では、目標に対する接近速度と移動体の想定
速度の大小関係がとくに限定されることはなく、例え
ば、接近速度よりも想定速度が小さい場合であってもシ
ミュレーションは可能であるが、実際には、目標に対す
る接近速度は零に近くし得るので、請求項2および3に
記載したように、目標に対する接近速度よりも移動体の
想定速度が大である場合に用いることが望ましい。
ョン装置は、請求項5として、航空機に搭載され、光学
センサにより目標を検知しながら同目標に接近する移動
体における光学センサのシミュレーション装置であっ
て、撮像手段と、撮像手段により撮像した画像を航空機
の速度と移動体の想定速度との差に基づいて画角変換す
る画像処理手段と、画角変換した画像に対して光学セン
サの目標認識処理を行う制御手段を備えた構成とし、請
求項6として、撮像手段が、航空機の外部に着脱可能な
ポッドの先端内部に搭載してある構成としており、上記
の構成を課題を解決するための手段としている。
ション装置にあっても、航空機の速度と移動体の想定速
度の大小関係がとくに限定されることはないが、航空機
を用いればその速度を零に近くし得るので、当該装置を
搭載した航空機よりも高速の移動体における光学センサ
のシミュレーションに用いることが望ましい。
シミュレーション方法では、目標に向かって接近しなが
ら目標を含む画像を撮像し、その接近速度と移動体の想
定速度との差に基づいて画像の画角変換を行うので、画
角変換された画像は移動体がそれ自体の速度で目標に接
近する状態と同等の画像になり、その画角変換された画
像に対して光学センサの目標認識処理を行うので、実質
的に実環境における光学センサの模擬運用が成されるこ
ととなる。
ミュレーション方法では、目標に対する接近速度よりも
移動体の想定速度が大であって、目標の撮像を行ってい
る接近速度と移動体の想定速度との差に基づいて、デジ
タル画像においてアフィン変換により画像を拡大する画
角変換を行うので、移動体がそれ自体の速度で目標に接
近する状態と同等の画像になる。
ミュレーション方法では、目標に対する接近速度よりも
移動体の想定速度が大であって、目標の撮像を行ってい
る接近速度と移動体の想定速度との差に基づいて、デジ
タル画像に対する光学センサの視野角を小さくする画角
変換を行うので、移動体がそれ自体の速度で目標に接近
する状態と同等の画像になる。
ミュレーション方法では、目標を含む画像を撮像する撮
像手段が同目標に対して接近しており、その接近速度と
移動体の想定速度との差に基づいて、撮像手段における
ズーム機構により画像変換が行われるので、移動体がそ
れ自体の速度で目標に接近する状態と同等の画像にな
る。
ミュレーション装置では、当該装置を航空機に搭載し
て、目標に向かって接近しながら撮像手段により目標を
含む画像を撮像し、画像処理手段により航空機の速度と
移動体の想定速度との差に基づいて撮像画像の画角変換
を行うので、画角変換された画像は移動体がそれ自体の
速度で目標に接近する状態と同等の画像になり、その画
角変換された画像に対して制御手段により光学センサの
目標認識処理を行うので、実質的に実環境における光学
センサの模擬運用が成されることとなる。
ミュレーション装置では、航空機の翼下などにポッドを
装着し、航空機を目標に向けて飛行させながら、ポッド
の先端内部に搭載した撮像手段により目標を含む画像を
撮像する。この場合、画像処理手段や制御手段は機内に
搭載され、機内においてリアルタイムでのシミュレーシ
ョンが行われる。
シミュレーション方法によれば、移動体がそれ自体の速
度で目標に接近する状態と同等の画像が得られることか
ら、実環境においてきわめて精度の高い光学センサの模
擬運用を行うことができ、実環境をモデル化する従来の
方式に比べて時間や労力を大幅に軽減することができる
と共に、信頼性の高い光学センサの性能評価を行うこと
ができる。また、移動体側の光学センサの性能評価だけ
ではなく、光学センサに対する目標側の応答手段の性能
評価なども精度良く行うことができる。
ンサのシミュレーション方法によれば、請求項1と同様
の効果を得ることができるうえに、デジタル画像におい
て画角変換を行うので、連続する撮像画像に対してこれ
を高速で画像処理することが可能であり、また、移動体
の想定速度などの条件を変更する場合にもきわめて容易
に対処することができる。
ミュレーション方法によれば、請求項1と同様の効果を
得ることができるうえに、撮像手段におけるズーム機構
により画像変換を行うことから、撮像している画像その
ものを移動体がそれ自体の速度で目標に接近する状態と
同等の画像にすることができ、その画像において直接的
に目標認識処理を行うこととなるので、より精度の高い
模擬運用を行うことができる。また、機械的なズーム機
構は構造が簡単であるとともに制御も容易である。
ミュレーション装置によれば、実環境において、画像処
理手段により、移動体がそれ自体の速度で目標に接近す
る状態と同等の画像が得られると共に、制御手段によ
り、高精度の光学センサの模擬運用を行うことができ、
実環境をモデル化する従来の方式に比べて時間や労力を
大幅に軽減することができると共に、信頼性の高い光学
センサの性能評価を行うことができる。また、移動体側
の光学センサの性能評価だけではなく、光学センサに対
する目標側の応答手段の性能評価なども精度良く行うこ
とができる。
ミュレーション装置によれば、撮像手段を航空機の外部
に着脱可能なポッドに搭載したことから、撮像手段を航
空機の翼下のパイロンなどに容易に備え付けることがで
き、航空機側の改造もほとんど必要とせず、且つ航空機
の運行に何ら支障を及ぼすことなくシミュレーションを
行うことができる。また、機内に搭載した画像処理手段
や制御手段により、機内においてリアルタイムでのシミ
ュレーションを行うことができる。
センサのシミュレーション方法およびシミュレーション
装置の一実施例を説明する。この実施例では、図3に示
すように、艦船である目標Tに対して、航空機Aから発
射される赤外線誘導型のミサイルMに搭載した目標検知
用光学センサのシミュレーションを示している。つま
り、光学センサにより目標Tを検知しながら同目標Tに
接近する移動体はミサイルMであり、その飛翔速度は航
空機Aよりも高速である。また、目標Tにおいては、欺
瞞用の赤外線デコイ弾Dが発射される。
の全体を示すブロック図である。シミュレーション装置
は、航空機Aに搭載してあって、機体B内に搭載される
ものと、航空機Aの外部に着脱可能なポッドPに搭載さ
れるものに分かれている。この実施例では2つのポッド
P,Pを備えており、各ポッドPは例えば航空機Aの両
翼の下部のパイロンに装着される。
を撮像するための撮像手段である赤外線カメラ1が搭載
してある。この赤外線カメラ1は、ジンバル機構2によ
り回動自在に保持してある。ジンバル機構2は、その回
動状態を検出するジンバルセンサ3を備えると共に、ト
ルカ4により駆動可能であって、ジンバルセンサ3から
の検出信号はジンバルコントローラ5を介してトルカ4
にフィードバックされる。
制御部である電子機器6および画像記録器7などが収容
してある。なお、この実施例では左右のポッドP,Pに
おいて、使用周波数帯の異なる赤外線カメラ1,1を搭
載しており、一方の赤外線カメラ1の使用周波数帯は3
〜5μmであり、他方の赤外線カメラ1の使用周波数帯
は8〜12μmである。
ラ1により撮像した画像を航空機Aの速度とミサイルM
の想定速度との差に基づいて画角変換する画像処理手段
としての画像処理装置8と、画角変換した画像に対して
光学センサの目標認識処理を行う制御手段としてのコン
ピュータ9を備えている。
カメラ用の電子機器6から第1スイッチ21を介して、
赤外線カメラ1で撮像した画像が入力される。第1スイ
ッチS1は、左右のポッドP,Pの電子機器6,6から
の入力を選択するスイッチである。画像処理装置8で画
角変換した画像は、コンピュータ9のほかにモニタ10
にも入力される。なお、モニタ10には、赤外線カメラ
1で撮像した画像も入力される。コンピュータ9には、
GPS11および慣性センサ12より、当該航空機Aの
位置、機種方位および速度などが入力されると共に、キ
ーボード13の操作により、模擬運用を行おうとするミ
サイルMおよび光学センサの条件などが入力される。
ータは、光学センサ画像記録装置14に入力されると共
に、各ポッドP内の画像記録器7にも入力され、さら
に、第2および第3のスイッチ22,23を介して、各
ポッドP内のジンバルコントローラ5に入力される。こ
れにより、誘導ミサイルのシーカーの動作と同様に、目
標認識処理のデータに基づいて赤外線カメラ1を回動さ
せる。
3は、各ジンバルコントローラ5に対して、コンピュー
タ9からの目標認識処理のデータの入力と、各ポッドP
に対応する手動ジンバルコントローラ15,16からの
入力とを切換えるスイッチである。このほか、機体B内
には、各ポッドP内の赤外線カメラ1の調整を行うため
に、電子機器6に接続される赤外線カメラコントローラ
17が設けてある。
のシミュレーションを行うには、航空機Aを所定の高度
および速度で飛行させ、目標Tの方位および距離を測定
し、図1に示すように、ステップS1において初期条件
を設定する。初期条件においては、ミサイルの機種およ
び光学センサなどのミサイル条件や、目標Tに対する初
期方位、距離および速度などの攻撃条件を設定する。こ
の設定は、先に述べたキーボード13の操作によりコン
ピュータ9に入力される。
艦船である目標T側において、図1に示すステップS1
01において、タカン(TACAN:戦術航行方式)を
オンにし、ステップS102において航空機Aまでの距
離および方位を送信し、その信号を航空機A側で受信す
ることにより行う。また、目標Tでは、送信後、ステッ
プS103においてタカンをオフにし、ステップS10
4において訓練スターととなる。
A側でステップS2においてシミュレーションスタート
となり、目標Tに向かって接近しながら赤外線カメラ1
で目標Tを含む画像の撮像を開始し、ステップS3にお
いてミサイルMの運動を計算する一方で、ステップS4
において赤外線カメラ1からの画像を入力し、ステップ
S5において、目標Tに対する航空機Aの接近速度とミ
サイルMの想定速度との差に基づいて画像処理装置8で
画角変換を行う。
標Tに対して距離Rから接近している状態において、想
定されたミサイルMの速度Vmは航空機Aの速度Vaよ
りも大きく、一定の時間tが経過した時点では、航空機
AはVat分進み、ミサイルMはこれよりも大であるV
mt分進むことになる。つまり、航空機Aから撮像して
いる目標Tは接近するにつれて画像の中で拡大されてい
くが、その画像に基づいて航空機Aよりも高速であるミ
サイルMから見た状態の画像を得るには、航空機Aの接
近速度とミサイルMの想定速度との差に基づいて、画像
中で目標Tが拡大されていく度合いを増大させる必要が
ある。
1の方法として、撮像した画像をデジタル画像に変換し
て、そのデジタル画像においてアフィン変換により画像
を拡大する方法がある。これは拡大する係数をk、光学
センサの視野角をθmとして次式で求められる。
t)tanθ}/θm つまり、赤外線カメラ1で撮像した画像をデジタル画像
に変換し、目標Tをk倍で拡大することにより、ミサイ
ルMがそれ自体の速度で目標Tに接近する状態と同等の
画像にすることができる。なお、このような画角変換
は、連続的入力される撮像画像に対して同じく連続的に
行われる。
m/k倍でデジタル画像に対する視野角を小さくしてい
くことにより、実質的に目標Tを拡大し、ミサイルMが
それ自体の速度で目標Tに接近する状態と同等の画像に
することができる。
変換を行ったのちには、ステップS6においてコンピュ
ータ9で光学センサ視野内の赤外線強度重心計算、つま
り目標認識処理を行う。これにより、画角変換された画
像に対して光学センサがどの様に反応しているかが把握
される。また、目標T側では、ステップS105におい
て光学センサに対する欺瞞用の赤外線デコイ弾を発射す
る。
られたデータは、ステップS3のミサイル運動計算にフ
ィードバックされると共に、ジンバルコントローラ5に
送ることによって姿勢制御用のデータなどに用いられ、
さらに、ステップS7において光学センサ画像のパラメ
ータを算出する。この結果は、ステップS8における訓
練装置表示画面に送ることもできる。
ップS9において目標Tまでの距離を判断し、接近中で
あって距離が零ではない場合(No)には、ステップS
3に戻って上記の処理を繰り返し行い、目標Tに到達し
て距離が零になった場合(Yes)には、ステップS1
0において最終ミスディスタンス(目標Tとの距離誤
差)を算出し、その結果を目標T側に通知(ステップS
106)し、シミュレーションを終了(ステップS1
1)する。
ンサのシミュレーション方法およびシミュレーション装
置では、航空機Aの機内においてリアルタイムでのシミ
ュレーションが行われることとなり、目標Tに向かって
接近しながら目標Tを含む画像を撮像し、その接近速度
とミサイルMの想定速度との差に基づいて画像の画角変
換を行うので、画角変換された画像はミサイルMがそれ
自体の速度で目標Tに接近する状態と同等の画像にな
り、その画角変換された画像対して光学センサの目標認
識処理を行うので、実質的に実環境における光学センサ
の模擬運用が成されることとなる。
いて画角変換を行ったが、本発明の請求項4に係わる光
学センサのシミュレーション方法として、画像変換を、
目標Tを含む画像を撮像する撮像手段におけるズーム機
構によって行う方法もあり、この場合には、図2中に点
線で示すように、画像処理装置(画像処理手段)からの
画角変換信号により、撮像手段である赤外線カメラ1の
ズーム機構Zを駆動する。このズーム機構としては、モ
ータ等によって内蔵したレンズ間の間隔を変化させるよ
うにした機械的な機構を採用し得る。
像している画像そのものを、ミサイル(移動体)Mがそ
れ自体の速度で目標Tに接近する状態と同等の画像にす
ることができ、その画像において直接的に目標認識処理
を行うこととなるので、より精度の高い模擬運用が行わ
れる。
方法を説明するフローチャートである。
装置の一実施例を説明するブロック図である。
係を説明する図である。
Claims (6)
- 【請求項1】 光学センサにより目標を検知しながら同
目標に接近する移動体における光学センサのシミュレー
ション方法であって、目標に向かって接近しながら目標
を含む画像を撮像し、その接近速度と移動体の想定速度
との差に基づいて画像の画角変換を行うと共に、画角変
換した画像に対して光学センサの目標認識処理を行うこ
とを特徴とする光学センサのシミュレーション方法。 - 【請求項2】 目標に対する接近速度よりも移動体の想
定速度が大であり、画角変換が、デジタル画像において
アフィン変換により画像を拡大する画角変換であること
を特徴とする請求項1に記載の光学センサのシミュレー
ション方法。 - 【請求項3】 目標に対する接近速度よりも移動体の想
定速度が大であり、画像変換が、デジタル画像に対する
光学センサの視野角を小さくする画角変換であることを
特徴とする請求項1に記載の光学センサのシミュレーシ
ョン方法。 - 【請求項4】 画像変換が、目標を含む画像を撮像する
撮像手段におけるズーム機構により行われることを特徴
とする光学センサのシミュレーション方法。 - 【請求項5】 航空機に搭載され、光学センサにより目
標を検知しながら同目標に接近する移動体における光学
センサのシミュレーション装置であって、撮像手段と、
撮像手段により撮像した画像を航空機の速度と移動体の
想定速度との差に基づいて画角変換する画像処理手段
と、画角変換した画像に対して光学センサの目標認識処
理を行う制御手段を備えたことを特徴とする光学センサ
のシミュレーション装置。 - 【請求項6】 撮像手段が、航空機の外部に着脱可能な
ポッドの先端内部に搭載してあることを特徴とする光学
センサのシミュレーション装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26475396A JP3818401B2 (ja) | 1996-10-04 | 1996-10-04 | 光学センサのシミュレーション方法およびシミュレーション装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26475396A JP3818401B2 (ja) | 1996-10-04 | 1996-10-04 | 光学センサのシミュレーション方法およびシミュレーション装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10111645A true JPH10111645A (ja) | 1998-04-28 |
| JP3818401B2 JP3818401B2 (ja) | 2006-09-06 |
Family
ID=17407715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26475396A Expired - Lifetime JP3818401B2 (ja) | 1996-10-04 | 1996-10-04 | 光学センサのシミュレーション方法およびシミュレーション装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3818401B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103776318A (zh) * | 2014-01-03 | 2014-05-07 | 中国人民解放军陆军军官学院 | 光电检测环境模拟系统 |
| CN104700681A (zh) * | 2015-03-27 | 2015-06-10 | 北京航空航天大学 | 驾束制导演示仪 |
| CN106570225A (zh) * | 2016-10-19 | 2017-04-19 | 长春理工大学 | 一种用于红外干扰弹的仿真模拟方法 |
| US10325507B2 (en) * | 2016-10-06 | 2019-06-18 | Honeywell International Inc. | Method and system for determining effective approach angle and predicting aircraft landing distance |
-
1996
- 1996-10-04 JP JP26475396A patent/JP3818401B2/ja not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103776318A (zh) * | 2014-01-03 | 2014-05-07 | 中国人民解放军陆军军官学院 | 光电检测环境模拟系统 |
| CN104700681A (zh) * | 2015-03-27 | 2015-06-10 | 北京航空航天大学 | 驾束制导演示仪 |
| US10325507B2 (en) * | 2016-10-06 | 2019-06-18 | Honeywell International Inc. | Method and system for determining effective approach angle and predicting aircraft landing distance |
| CN106570225A (zh) * | 2016-10-19 | 2017-04-19 | 长春理工大学 | 一种用于红外干扰弹的仿真模拟方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3818401B2 (ja) | 2006-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104168455B (zh) | 一种空基大场景摄像系统及方法 | |
| CN106339006B (zh) | 一种飞行器的目标跟踪方法和装置 | |
| JP6583840B1 (ja) | 検査システム | |
| CN107643759A (zh) | 从无人机拍摄移动图像的具有目标跟踪和定位的自主系统 | |
| CN107918397A (zh) | 带目标跟踪和拍摄角保持的无人机移动图像自主拍摄系统 | |
| CN105373011B (zh) | 检测光电跟踪设备的实时仿真系统和计算机 | |
| CN109269525B (zh) | 一种空间探测器起飞或着陆过程光学测量系统及方法 | |
| CN114139370B (zh) | 一种光学引擎和电磁成像双模动目标同步仿真方法和系统 | |
| CN115291536A (zh) | 基于视觉的无人机跟踪地面目标半物理仿真平台验证方法 | |
| KR20120082728A (ko) | 공중추적영상촬영을 위한 무인헬리콥터 탑재 카메라 짐벌의 시선각 연동 장치 | |
| JP6496955B1 (ja) | 制御装置、システム、制御方法、及びプログラム | |
| CN111079291A (zh) | 一种小卫星拼接成像地面模拟系统 | |
| US7083139B2 (en) | Method for guiding a rocket | |
| JP2019211486A (ja) | 検査システム | |
| JP2017201757A (ja) | 画像取得システム、画像取得方法、画像処理方法 | |
| WO2019238044A1 (zh) | 确定装置、移动体、确定方法以及程序 | |
| JP2013106267A (ja) | 自動追尾カメラシステム | |
| JP3818401B2 (ja) | 光学センサのシミュレーション方法およびシミュレーション装置 | |
| Amidi et al. | Research on an autonomous vision-guided helicopter | |
| US20220166917A1 (en) | Information processing apparatus, information processing method, and program | |
| CN108225316A (zh) | 载体姿态信息的获取方法和装置及系统 | |
| JPH09322053A (ja) | 自動撮影カメラシステムにおける被写体の撮影方法。 | |
| JP4168591B2 (ja) | 赤外線撮像装置 | |
| JPH1144700A (ja) | 速度測定装置、該装置を用いた自動追尾システム及び予想到達位置表示システム | |
| CN105550996A (zh) | 一种小型化周视光学搜索跟踪装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Effective date: 20051111 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051215 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060322 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060518 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Effective date: 20060607 Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Effective date: 20060607 Free format text: JAPANESE INTERMEDIATE CODE: A61 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090623 Year of fee payment: 3 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Year of fee payment: 3 Free format text: PAYMENT UNTIL: 20090623 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |