JP2000333159A - 監視カメラシステム - Google Patents

監視カメラシステム

Info

Publication number
JP2000333159A
JP2000333159A JP11139449A JP13944999A JP2000333159A JP 2000333159 A JP2000333159 A JP 2000333159A JP 11139449 A JP11139449 A JP 11139449A JP 13944999 A JP13944999 A JP 13944999A JP 2000333159 A JP2000333159 A JP 2000333159A
Authority
JP
Japan
Prior art keywords
priority
surveillance camera
monitoring target
size
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11139449A
Other languages
English (en)
Other versions
JP4306017B2 (ja
Inventor
Tsutomu Tsunejima
勤 経島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu General Ltd
Original Assignee
Fujitsu General Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu General Ltd filed Critical Fujitsu General Ltd
Priority to JP13944999A priority Critical patent/JP4306017B2/ja
Publication of JP2000333159A publication Critical patent/JP2000333159A/ja
Application granted granted Critical
Publication of JP4306017B2 publication Critical patent/JP4306017B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)

Abstract

(57)【要約】 【課題】 複数の監視カメラが対象物を検出した場合に
も適切な監視カメラにより監視を行うことができる監視
カメラシステムを構築する。 【解決手段】 監視カメラ10には、インテリジェント
機能を持たせてネットワークL1と接続して映像信号等
からなるパケット信号を伝送する。ネットワークL1に
は、システム制御部30を接続し制御信号等からなるパ
ケット信号を伝送して監視カメラ10を制御するととも
に、監視カメラ10から伝送される映像信号を受信し映
像モニタ40に表示して監視を行う。監視カメラ10に
は、監視対象の大きさ、動きその他の監視対象の特徴を
検出する特徴検出部と、特徴検出部で検出された監視対
象の特徴から監視の優先度を算出する優先度算出部を設
けて、システム制御部30で各監視カメラから伝送され
る優先度に応じて該当する監視カメラに優先権を与え、
その監視カメラからの映像信号を監視する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数の監視カメラ
をネットワークに接続して監視を行う場合に、複数の監
視カメラが対象物を検出した場合にも適切な監視カメラ
により監視を行うことができる監視カメラシステムに関
する。
【0002】
【従来の技術】公共施設のホールや廊下等に設置した複
数台の監視カメラにセンサ機能等のインテリジェント機
能を持たせてネットワークに接続して、センサにより監
視対象物を検出した監視カメラの映像信号を監視するよ
うにすることにより、きめ細かい監視が可能となる。し
かし、このような監視カメラシステムでは、複数の監視
カメラによって対象物をとらえると一斉にセンサが反応
して、ネットワークのトラフィックが混乱してしまい、
動画伝送に支障を来すことともなる。
【0003】
【発明が解決しようとする課題】本発明は上記問題点に
鑑みなされたもので、複数の監視カメラが対象物を検出
した場合にも適切な監視カメラにより監視を行うことが
できる監視カメラシステムを構築することを目的とす
る。
【0004】
【課題を解決するための手段】複数の監視カメラとこれ
らを制御するシステム制御部をネットワーク上に接続
し、監視カメラからネットワークを介して伝送される映
像信号をシステム制御部に接続した映像モニタに表示し
て所定の場所を監視する監視カメラシステムにおいて、
各監視カメラに監視対象の大きさ、動きその他の監視対
象の特徴を検出する特徴検出部と、特徴検出部で検出さ
れた監視対象の特徴から監視の優先度を算出する優先度
算出部を設け、システム制御部で各監視カメラから伝送
される優先度に応じて該当する監視カメラに優先権を与
えることにより、優先度の高い監視カメラからの映像信
号をネットワーク上に乗せて監視を行うようにする。
【0005】特徴検出部では、被写体の動き検出を行い
その動き部分の大きさを監視対象の大きさとし、優先度
算出部では、特徴検出部で検出した監視対象の大きさを
画面全体全体の大きさと比較した比率から優先度を算出
するものとする。
【0006】特徴検出部では、被写体の動き検出を行う
ことにより監視対象の大きさを検出するとともに、監視
対象の動く速さを検出し、優先度算出部では、特徴検出
部で検出した監視対象の大きさを画面全体の大きさと比
較した比率から優先度を算出するとともに、監視対象の
動きが速いときは優先度を上げる。
【0007】特徴検出部では、被写体の動き検出を行う
ことにより監視対象の大きさを検出するとともに、監視
対象の大きさが次第に小さくなることから監視対象が遠
ざかると判定し、優先度算出部では、特徴検出部で検出
した監視対象の大きさを画面全体の大きさと比較した比
率から優先度を算出するとともに、監視対象が遠ざかる
ときは優先度を下げる。
【0008】優先度算出部で判定した優先度が所定の値
より高いときは、優先度のデータとアラーム信号をネッ
トワークに乗せて伝送し、そのアラーム信号をシステム
制御部で受信し、所定の時間内に他のカメラからのアラ
ーム信号が伝送されないときにはそのアラーム信号を発
した監視カメラに優先権を付与する処理を行う。
【0009】システム制御部で複数のアラーム信号を受
信した場合には、優先度の高い監視カメラに優先権を付
与する。
【0010】優先度算出部では、監視対象の大きさが次
第に小さくなることから監視対象が遠ざかると判定し
て、監視対象が遠ざかるときには優先権を放棄する棄権
信号をネットワークに乗せて伝送し、その棄権信号をシ
ステム制御部で受信し、他の優先度の高い監視カメラに
優先権を付与する処理を行う。
【0011】優先権を付与された監視カメラは、一定時
間毎にネットワークのブロードキャストアドレスにより
優先度算出部で判定する優先度のデータを伝送し、他の
監視カメラでそのデータを受信し自己の優先度算出部で
判定する優先度と比較して、自己の優先度が高いときに
は、アラーム信号をネットワーク上に乗せるて伝送す
る。
【0012】ネットワークは、高速イーサネットまたは
IEEE1394ロング規格とする。
【0013】システム制御部は、汎用のパソコンで構成
する。
【0014】
【発明の実施の形態】以下に本発明の実施の形態につい
て、図を用いて説明する。図1は、本発明による監視カ
メラシステムの1実施例の概要ブロック図である。公共
施設のホールや廊下等に複数台の監視カメラ10、1
0、・・を設置して、侵入物等を監視する。監視カメラ
10、10、・・には、インテリジェント機能を持たせ
て高速イーサネット等からなるネットワークL1と接続
して映像信号等からなるパケット信号を伝送する。ネッ
トワークL1には、またシステム制御部30を接続し
て、制御信号等からなるパケット信号を伝送して監視カ
メラ10、10、・・を制御するとともに、監視カメラ
10、10、・・から伝送される映像信号を受信し映像
モニタ40に表示して、ホールや廊下等の監視を行う。
各監視カメラ10、10、・・には、監視対象の大き
さ、動きその他の監視対象の特徴を検出する特徴検出部
と、特徴検出部で検出された監視対象の特徴から監視の
優先度を算出する優先度算出部を設けて、システム制御
部30で各監視カメラから伝送される優先度に応じて該
当する監視カメラに優先権を与えることにより、優先度
の高い監視カメラからの映像信号をネットワークL1上
に乗せて監視を行うようにする。
【0015】図2は、本発明による監視カメラシステム
の1実施例の監視カメラ部分の要部ブロック図である。
監視カメラ10のCCD(Charge Coupled Device )等
からなる撮像部11よりの映像信号をA/D変換部12
でディジタル映像信号に変換して、特徴検出部13のフ
レームメモリ13aに記憶する。特徴検出部13は、例
えば、複数のフレームを記憶するフレームメモリ13a
と、その記憶データを用いて被写体の動きを検出する動
き検出部13bと、動き検出部で検出される動き部分の
大きさを検出する大きさ検出部13cから構成する。動
き検出部13bでは、フレームメモリ13aに記憶した
複数フレームのデータからフレーム間の比較を行って、
被写体の動く部分から侵入物等の監視対象を検出する。
大きさ検出部13cでは、動き検出部13bで検出する
監視対象の大きさを検出する。優先度算出部14では、
特徴検出部13で検出した監視対象の大きさを1つのフ
レーム全体の大きさである画面全体の大きさと比較した
比率から優先度を算出する。そして、例えば監視対象の
大きさが所定の大きさより大きいときには優先度が大き
いとして、監視カメラ全体を制御する制御部15にアラ
ーム信号を出力する。制御部15では、これにより通信
部17を制御して、アラーム信号に監視対象の大きさ等
からなる優先度データを付加した伝送パケットを作成し
て、ネットワークL1を介してシステム制御部30に伝
送する。
【0016】特徴検出部13では、上記のように動き検
出部13bでフレームメモリ13aのフレーム間データ
から被写体の動き検出を行うことにより監視対象の大き
さを検出するとともに、さらに監視対象の動く速さをも
検出する。そして、優先度算出部14では、特徴検出部
13の大きさ検出部13cで検出した監視対象の大きさ
を画面全体の大きさと比較してその比率から優先度を算
出するとともに、動き検出部13bで検出した監視対象
の速さから、監視対象の動きが速いときは優先度を上げ
るようにするこもできる。
【0017】特徴検出部13の大きさ検出部13cで検
出する監視対象の大きさから、優先度算出部14で監視
対象の大きさが次第に小さくなることから監視対象が遠
ざかると判定して、特徴検出部13で検出した監視対象
の大きさを画面全体の大きさと比較した比率から優先度
を算出するとともに、監視対象が遠ざかるときは優先度
を下げるようにするこもできる。
【0018】優先度算出部14で判定した優先度が所定
の値より高いときは、通信部17でその優先度のデータ
とアラーム信号をパケット信号としてネットワークL1
に乗せて伝送する。そのアラーム信号をシステム制御部
30で受信したときには、所定の時間(例えば1mse
c)内に他のカメラからのアラーム信号が伝送されない
ときには、そのアラーム信号を発した監視カメラに優先
権を付与する処理を行う。そして、優先権を得た監視カ
メラでは、撮像部11で得た映像信号を圧縮処理部16
で帯域圧縮を行い、通信部17からパケット信号として
ネットワークL1を介してシステム制御部30に伝送
し、映像モニタに表示して監視する。なお、システム制
御部30で所定の時間以内に複数のアラーム信号を受信
した場合には、優先度の高い監視カメラに優先権を付与
するようにしても良い。
【0019】また、別の実施例としては、上記のように
優先度算出部14で監視対象の大きさが次第に小さくな
ることから監視対象が遠ざかると判定して、監視対象が
遠ざかるときには優先権を放棄する棄権信号を通信部1
7によりパケット信号としネットワークL1に乗せて伝
送する。その棄権信号を受信したシステム制御部30で
は、他の優先度の高い監視カメラ10に優先権を付与す
る処理を行うようにすることもできる。
【0020】さらに、優先権を付与された監視カメラ1
0からは、一定時間毎にネットワークL1上のブロード
キャストアドレスにより優先度算出部14で判定する優
先度のデータを伝送する。他の監視カメラ10でそのデ
ータを受信し、自己の優先度算出部14で判定する優先
度と比較して、自己の優先度が高いときには、通信部1
7によりアラーム信号をネットワークL1上に乗せて伝
送する。そのアラーム信号をシステム制御部30で受信
したときには、所定の時間(例えば1msec)内に他
のカメラからのアラーム信号が伝送されないときには、
そのアラーム信号を発した監視カメラに優先権を付与す
る処理を行う。なお、ネットワークL1は映像信号等か
らなるパケット信号を伝送するため、高速イーサネット
あるいはIEEE1394ロング規格等の高速のネット
ワークが望ましい。また、システム制御部30は汎用の
パソコンで構成することで、システム管理をソフトウェ
アにより行うことができるため、監視カメラ10の追加
等のシステムの変更に柔軟に対応が可能となる。
【0021】
【発明の効果】以上に記載したように、複数の監視カメ
ラとこれらを制御するシステム制御部をネットワーク上
に接続し、監視カメラからネットワークを介して伝送さ
れる映像信号をシステム制御部に接続した映像モニタに
表示して所定の場所を監視する監視カメラシステムにお
いて、各監視カメラに監視対象の大きさ、動きその他の
監視対象の特徴を検出する特徴検出部と、特徴検出部で
検出された監視対象の特徴から監視の優先度を算出する
優先度算出部を設け、システム制御部で各監視カメラか
ら伝送される優先度に応じて該当する監視カメラに優先
権を与えることにより、優先度の高い監視カメラからの
映像信号をネットワーク上に乗せて監視を行うようにす
ることにより、複数の監視カメラが対象物を検出した場
合にも適切な監視カメラにより監視を行うことが可能と
なる。そのため、ネットワーク上のトラフィックの混雑
が解消し、コマ落ちしない動画像を得ることができる。
また、監視対象を監視するのに適切な監視カメラが選択
されるために、効果的な監視が可能となる。
【図面の簡単な説明】
【図1】本発明による監視カメラシステムの1実施例の
概要ブロック図である。
【図2】本発明による監視カメラシステムの1実施例の
監視カメラ部分の要部ブロック図である。
【符号の説明】
10 監視カメラ 11 撮像部 12 A/D変換部 13 特徴検出部 13a フレームメモリ 13b 動き検出部 13c 大きさ検出部 14 優先度算出部 15 制御部 16 圧縮処理部 17 通信部 30 システム制御部 40 映像モニタ L1 ネットワーク
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C054 AA01 CA04 CC05 CE16 CH01 DA09 EA01 EA03 EA05 EB05 EG09 FC12 FC13 FF06 HA19 5C084 AA02 AA07 BB31 CC19 DD12 GG18 GG42 GG52 GG54 GG78 HH10 HH12 HH13 5C087 AA02 AA03 AA09 AA24 BB52 DD05 DD20 EE05 EE07 GG02 GG07

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 複数の監視カメラとこれらを制御するシ
    ステム制御部をネットワーク上に接続し、監視カメラか
    らネットワークを介して伝送される映像信号をシステム
    制御部に接続した映像モニタに表示して所定の場所を監
    視する監視カメラシステムにおいて、各監視カメラに監
    視対象の大きさ、動きその他の監視対象の特徴を検出す
    る特徴検出部と、特徴検出部で検出された監視対象の特
    徴から監視の優先度を算出する優先度算出部を設け、シ
    ステム制御部で各監視カメラから伝送される優先度に応
    じて該当する監視カメラに優先権を与えることにより、
    優先度の高い監視カメラからの映像信号をネットワーク
    上に乗せて監視を行うようにすることを特徴とした監視
    カメラシステム。
  2. 【請求項2】 特徴検出部では、被写体の動き検出を行
    いその動き部分の大きさを監視対象の大きさとし、優先
    度算出部では、特徴検出部で検出した監視対象の大きさ
    を画面全体の大きさと比較した比率から優先度を算出す
    るものとすることを特徴とした請求項1記載の監視カメ
    ラシステム。
  3. 【請求項3】 特徴検出部では、被写体の動き検出を行
    うことにより監視対象の大きさを検出するとともに、監
    視対象の動く速さを検出し、優先度算出部では、特徴検
    出部で検出した監視対象の大きさを画面全体の大きさと
    比較した比率から優先度を算出するとともに、監視対象
    の動きが速いときは優先度を上げることを特徴とした請
    求項1記載の監視カメラシステム。
  4. 【請求項4】 特徴検出部では、被写体の動き検出を行
    うことにより監視対象の大きさを検出するとともに、監
    視対象の大きさが次第に小さくなることから監視対象が
    遠ざかると判定し、優先度算出部では、特徴検出部で検
    出した監視対象の大きさを画面全体の大きさと比較した
    比率から優先度を算出するとともに、監視対象が遠ざか
    るときは優先度を下げることを特徴とした請求項1記載
    の監視カメラシステム。
  5. 【請求項5】 優先度算出部で判定した優先度が所定の
    値より高いときは、優先度のデータとアラーム信号をネ
    ットワークに乗せて伝送し、そのアラーム信号をシステ
    ム制御部で受信し、所定の時間内に他のカメラからのア
    ラーム信号が伝送されないときにはそのアラーム信号を
    発した監視カメラに優先権を付与する処理を行うことを
    特徴とした請求項1記載の監視カメラシステム。
  6. 【請求項6】 システム制御部で複数のアラーム信号を
    受信した場合には、優先度の高い監視カメラに優先権を
    付与することを特徴とした請求項5記載の監視カメラシ
    ステム。
  7. 【請求項7】 優先度算出部では、監視対象の大きさが
    次第に小さくなることから監視対象が遠ざかると判定し
    て、監視対象が遠ざかるときには優先権を放棄する棄権
    信号をネットワークに乗せて伝送し、その棄権信号をシ
    ステム制御部で受信し、他の優先度の高い監視カメラに
    優先権を付与する処理を行うことを特徴とした請求項5
    記載の監視カメラシステム。
  8. 【請求項8】 優先権を付与された監視カメラは、一定
    時間毎にネットワークのブロードキャストアドレスによ
    り優先度算出部で判定する優先度のデータを伝送し、他
    の監視カメラでそのデータを受信し自己の優先度算出部
    で判定する優先度と比較して、自己の優先度が高いとき
    には、アラーム信号をネットワーク上に乗せるて伝送す
    ることを特徴とした請求項5記載の監視カメラシステ
    ム。
  9. 【請求項9】 ネットワークは、高速イーサネットまた
    はIEEE1394ロング規格とすることを特徴とした
    請求項1記載の監視カメラシステム。
  10. 【請求項10】 システム制御部は、汎用のパソコンで
    構成することを特徴とした請求項1記載の監視カメラシ
    ステム。
JP13944999A 1999-05-20 1999-05-20 監視カメラシステム Expired - Fee Related JP4306017B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13944999A JP4306017B2 (ja) 1999-05-20 1999-05-20 監視カメラシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13944999A JP4306017B2 (ja) 1999-05-20 1999-05-20 監視カメラシステム

Publications (2)

Publication Number Publication Date
JP2000333159A true JP2000333159A (ja) 2000-11-30
JP4306017B2 JP4306017B2 (ja) 2009-07-29

Family

ID=15245476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13944999A Expired - Fee Related JP4306017B2 (ja) 1999-05-20 1999-05-20 監視カメラシステム

Country Status (1)

Country Link
JP (1) JP4306017B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3332158B2 (ja) 1999-11-08 2002-10-07 横河電機株式会社 監視システム
US7433588B2 (en) * 2004-11-16 2008-10-07 Canon Kabushiki Kaisha Camera control apparatus, camera control method, program and storage medium
US8139633B2 (en) 2005-12-02 2012-03-20 Sony Corporation Multi-codec camera system and image acquisition program
KR101187906B1 (ko) 2007-07-27 2012-10-05 삼성테크윈 주식회사 지능형 감시 시스템 및 그의 제어방법
WO2015098110A1 (ja) * 2013-12-27 2015-07-02 パナソニックIpマネジメント株式会社 撮像装置、撮像システムおよび撮像方法
US9596438B2 (en) 2013-10-23 2017-03-14 Canon Kabushiki Kaisha Information processing system linking information processing apparatus with image pickup apparatus, information processing apparatus, image pickup apparatus, control method therefor, and storage medium storing control program therefor
US9609150B2 (en) 2013-10-23 2017-03-28 Canon Kabushiki Kaisha Information processing system capable of automatically configuring settings for functional cooperation between apparatuses, image pickup apparatus, method of controlling the image pickup apparatus, and storage medium
KR20190110537A (ko) * 2017-01-25 2019-09-30 캐리어 코포레이션 라인 어레이 검출 및 이미징 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12367674B2 (en) 2020-09-07 2025-07-22 Motorola Solutions, Inc. Context based call status tracking for relevant dispatch call participants

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3332158B2 (ja) 1999-11-08 2002-10-07 横河電機株式会社 監視システム
US7433588B2 (en) * 2004-11-16 2008-10-07 Canon Kabushiki Kaisha Camera control apparatus, camera control method, program and storage medium
US8139633B2 (en) 2005-12-02 2012-03-20 Sony Corporation Multi-codec camera system and image acquisition program
US9955058B2 (en) 2005-12-02 2018-04-24 Sony Corporation Multi-codec camera system and image acquisition program
KR101187906B1 (ko) 2007-07-27 2012-10-05 삼성테크윈 주식회사 지능형 감시 시스템 및 그의 제어방법
US9596438B2 (en) 2013-10-23 2017-03-14 Canon Kabushiki Kaisha Information processing system linking information processing apparatus with image pickup apparatus, information processing apparatus, image pickup apparatus, control method therefor, and storage medium storing control program therefor
US9609150B2 (en) 2013-10-23 2017-03-28 Canon Kabushiki Kaisha Information processing system capable of automatically configuring settings for functional cooperation between apparatuses, image pickup apparatus, method of controlling the image pickup apparatus, and storage medium
WO2015098110A1 (ja) * 2013-12-27 2015-07-02 パナソニックIpマネジメント株式会社 撮像装置、撮像システムおよび撮像方法
US9826146B2 (en) 2013-12-27 2017-11-21 Panasonic Intellectual Property Management Co., Ltd. Video capturing apparatus, video capturing system and video capturing method
KR20190110537A (ko) * 2017-01-25 2019-09-30 캐리어 코포레이션 라인 어레이 검출 및 이미징 시스템
KR102481485B1 (ko) 2017-01-25 2022-12-26 캐리어 코포레이션 라인 어레이 검출 및 이미징 시스템

Also Published As

Publication number Publication date
JP4306017B2 (ja) 2009-07-29

Similar Documents

Publication Publication Date Title
EP0986259B1 (en) A network surveillance video camera system
EP0290548B1 (en) Digital image acquisition system
US7075567B2 (en) Method and apparatus for controlling a plurality of image capture devices in a surveillance system
JP2828324B2 (ja) 遠隔監視システム
JP2003333584A (ja) 監視システム
KR100696728B1 (ko) 감시정보송신장치 및 감시정보송신방법
EP2078421A1 (en) Method and apparatus for setting camera viewpoint based on alarm event or condition
JP2000333159A (ja) 監視カメラシステム
JP3942606B2 (ja) 変化検出装置
JP2004171379A (ja) 送信装置、ビデオカメラ装置、送信装置の送信方法およびビデオカメラ装置の送信方法
JPH0520559A (ja) 画像処理を用いた防災監視装置
JPH11355761A (ja) 監視システム
KR101050823B1 (ko) 도어폰 연동 감시 장치, 시스템 및 그 감시 방법
JP2000032437A (ja) 画像伝送システム
EP4080879A1 (en) Smart security camera system with automatically adjustable activity zone and method
JP2003523647A (ja) 閉回路テレビジョン(cctv)カメラおよびシステム
KR20000033921A (ko) 감시 시스템의 영상 저장 장치
JP3986193B2 (ja) 画像センサ、及び、画像監視システム
JPH10191307A (ja) 画像監視システム
JP2001250180A (ja) セキュリティシステム
JP2003032523A (ja) 防犯カメラ、防犯カメラの制御装置及び防犯カメラの制御方法
KR100351667B1 (ko) 이동물체 감시 시스템
JP2001275105A (ja) 画像圧縮伝送システム
WO2019236953A1 (en) A panoptes device or image acquisition system having multiple independent sensors
JPH03162188A (ja) 監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090427

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees