JPH10227609A - 屋外用距離計測装置 - Google Patents

屋外用距離計測装置

Info

Publication number
JPH10227609A
JPH10227609A JP9047366A JP4736697A JPH10227609A JP H10227609 A JPH10227609 A JP H10227609A JP 9047366 A JP9047366 A JP 9047366A JP 4736697 A JP4736697 A JP 4736697A JP H10227609 A JPH10227609 A JP H10227609A
Authority
JP
Japan
Prior art keywords
image
laser
minimum value
difference image
irradiating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9047366A
Other languages
English (en)
Other versions
JP3909377B2 (ja
Inventor
Kazunari Shiraishi
一成 白石
Hitoshi Wakisako
仁 脇迫
Moriyuki Nakajima
盛之 中島
Yoshinaga Maruyama
佳長 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP04736697A priority Critical patent/JP3909377B2/ja
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Priority to EP98902214A priority patent/EP1008831B1/en
Priority to DE69827275T priority patent/DE69827275D1/de
Priority to US09/355,707 priority patent/US6331887B1/en
Priority to PCT/JP1998/000594 priority patent/WO1998036238A1/ja
Priority to CA002281551A priority patent/CA2281551A1/en
Priority to KR1019997007374A priority patent/KR20000071087A/ko
Priority to TW087102028A priority patent/TW412632B/zh
Publication of JPH10227609A publication Critical patent/JPH10227609A/ja
Application granted granted Critical
Publication of JP3909377B2 publication Critical patent/JP3909377B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

(57)【要約】 【課題】 本発明は、上記従来技術の課題を解決するも
ので、屋外においても低出力のレーザで距離測定のでき
る装置を提供することを目的とする。 【解決手段】 測定対象物にパルス状にレーザ光を照射
するレーザ照射手段(101) と、レーザ光の照射、停止に
同期させて、測定対象物の画像を取り込む画像読込み手
段(105,106) と、複数回のレーザ光の照射、停止により
読み込まれる各画像間の「差画像の最小値」を検出する
手段(107) と、差画像の最小値から２値化閾値を決定す
る手段(108,110) と、差画像の最小値を２値化し、レー
ザの受光位置を検出する手段(114) とを備える。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、屋外で用いられる
距離計測装置に関し、特に光切断法により距離を算出す
る距離計測装置に関するものである。
【０００２】
【従来の技術】近年、距離計測装置は多様化しており、
接触式の計測法に代わり光伝搬時間計測法、両眼立体視
法等のような非接触式の計測法が多く使われるようにな
った。特に精度面などからロボットのハンドリングなど
の用途では、光切断法が一般的である。以下、一般的な
光切断法による計測装置の構成を示す。図３は従来の光
切断法による距離計測装置例の構成を示すものである。
レーザ投光器３０１によって、被測定対象物３０２にレ
ーザ光を照射する。ＣＣＤカメラ３０３により被測定対
象物３０２を撮像すると、被測定対象物３０２の位置に
よりＣＣＤカメラ３０３上に投影されるレーザの位置が
変化する（三角測量法）。このレーザの位置を求めるた
めに、ＣＣＤカメラ３０３の信号をＡ／Ｄ変換器３０４
でデジタル信号に変換し、あらかじめ定めた閾値３０５
により２値化回路３０６により２値画像に変換する。こ
の２画像をラベリング３０７、重心検出３０８を行うこ
とにより、画像上のレーザ位置の検出が行える。画像上
のレーザ位置が検出できれば、光学パラメータ（焦点距
離、レーザ投光器３０１及びＣＣＤカメラ３０３の設置
距離と角度）またはキャリブレーショテーブル３０９に
より距離の算出３１０ができる仕組みである。
【０００３】
【発明が解決しようとする課題】しかしながら、上記の
従来の構成では、ＣＣＤカメラに投影されるレーザの像
が画像上の他の場所より明るいことが前提であり、屋外
において、太陽光の影響を受けるような場所では、レー
ザの出力を上げざるを得ず、安全性の面からも問題が残
る。また屋外では、照度も煩雑に変化するため、あらか
じめ閾値を定めることもできない。そこで、本発明者
は、受光カメラから得られる画像情報を同時座標変換し
た後、重ね合わせ処理を行うことにより周囲光を除去
し、レーザ光のみを識別する装置を提案した（特開平８
−９４３２２号公報参照）。ところが、この提案でも、
動く物体が写った場合、風等の影響で背景の物体が揺れ
る場合などは、その画像が除去できず、ノイズとして残
ってしまっていた。そこで、本発明は、動く物体が写っ
た場合、風等の影響で背景の物体が揺れる場合などもノ
イズがのることなく、低出力のレーザで距離測定のでき
る装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】この目的を達成するため
に本発明は、測定対象物にパルス状にレーザ光を照射す
るレーザ照射手段と、前記レーザ光の照射、停止に同期
させて、測定対象物の画像を取り込む画像読込み手段
と、複数回のレーザ光の照射、停止により読み込まれる
各画像間の差画像の最小値を検出する手段と、前記差画
像の最小値から２値化閾値を決定する手段と、前記差画
像の最小値を２値化し、レーザの受光位置を検出する手
段と、を備えることを特徴とするものである。
【０００５】
【発明の実施の形態】本発明による一実施例を図面を参
照して説明する。図１は距離計測装置の構成を示すもの
である。レーザ投光器１０１によって、被測定対象物１
０２にレーザを照射、停止を複数回行い、それに同期さ
せてＣＣＤカメラ１０３により被測定対象物１０２を撮
像する。Ａ／Ｄ変換器１０４で映像信号をデジタル化
し、照射時画像１０５、停止時の画像１０６を別のメモ
リに記憶する。レーザの照射、停止ごとに照射画像１０
５から停止画像１０６を差し引いた画像（差画像）を求
め、それらを最小値検出回路１０７により「差画像の最
小値」を各画素おきに求め記憶する。 図２に撮像され
る映像例を示す。レーザ照射時の画像を２０１〜２０２
に、レーザ停止時の画像を２０３〜２０４に示す。屋外
での映像では、レーザの波長成分を太陽光が含んでいる
ため、レーザの波長成分のみを透過するバンドパスフィ
ルタを用いても、画像にはレーザ光以外の映像も撮像さ
れる。レーザ照射時の画像から停止時の画像を差し引い
た差画像を２０５〜２０７に示す。各画像にはレーザ光
が観測されるが、各撮像間隔時に画像の変化（レーザ照
射時に明、停止時に暗）が起こった場所、すなわち動き
のあった場所に外乱を生じる。これらの差画像２０５〜
２０７の最小値を各画素ごとに算出すると、外乱は除去
されレーザ光のみが抽出される（２０８）。この「差画
像の最小値」のデータは１ビットではなく階調を持って
いるためヒストグラム１０８により２値化閾値１０９を
動的に決定することができ、照度変化の強い屋外環境下
においてもレーザ光のみ検出できる。この閾値により２
値化１１０、ラベリング１１１、重心検出１１２を行え
ば画像上でのレーザ位置が検出でき距離の算出１１４が
可能となる。
【０００６】図２を用いて、被測定対象物を屋外に架線
された電線とした場合の本発明の作用を説明する。電線
Ｌ（説明のため、若干太く描いている）の背景には街路
樹Ｔがあり、鳥Ｂが飛んでおり、電線Ｌの所定の箇所に
図１に示したレーザ投光器１０１によって、レーザ光Ｐ
を投射している。このようすを示すのが照射画像２０１
である。次に、レーザ光Ｐの投射を中止して、停止画像
２０３を得る。このとき鳥Ｂは移動しており、街路樹Ｔ
の葉も風で揺れている。したがって、照射画像２０１と
停止画像２０３の差画像は２０５のようになる。すなわ
ち、レーザ光Ｐの点、鳥Ｂ、風で揺れた街路樹Ｔの葉の
部分が残る。次に、レーザ光Ｐの投射を再開して、停止
画像２０２を得る。このとき鳥Ｂは移動しており、街路
樹Ｔの葉も風で揺れている。したがって、停止画像２０
３と照射画像２０２の差画像は２０６のようになる。す
なわち、レーザ光Ｐの点、鳥Ｂ、風で揺れた街路樹Ｔの
葉の部分が残る。次に、レーザ光Ｐの投射を中止して、
停止画像２０４を得る。このとき鳥Ｂは移動しており
（画面から消えている）、街路樹Ｔの葉も風で揺れてい
る。したがって、照射画像２０２と停止画像２０４の差
画像は２０７のようになる。すなわち、レーザ光Ｐの
点、風で揺れた街路樹Ｔの葉の部分が残る。最後に、差
画像２０５，２０６，２０７の最小値（各画素は濃淡値
が入っている）を求めると最小値の画像２０８となる。
最小値の画像２０８では、レーザ光Ｐの点のみが強い輝
度を保っている。これにより、太陽光による背景がノイ
ズとならず、レーザ光の照射点のみを抽出できたことに
なる。
【０００７】
【発明の効果】以上のような本発明では、低出力のレー
ザでもレーザ光のみを検出でき、照度の変化にも強い屋
外用距離装置を実現できるものである。したがって、屋
外で作業するロボットシステム等に必要な対象ワークの
距離測定装置として極めて有効である。
【図面の簡単な説明】
【図１】本発明の一実施例における距離計測装置の構成
図
【図２】本実施例による映像を示す図
【図３】従来技術による距離計測装置の構成図
【符号の説明】
１０１：レーザ投光器 １０２：被測定対象物 １０３：ＣＣＤカメラ １０４：Ａ／Ｄ変換器 １０５：照射画像 １０６：停止画像 １０７：最小値検出 １０８：ヒストグラム １０９：閾値 １１０：２値化 １１１：ラベリング １１２：重心検出 １１３：光学パラメータまたはキャリグレーションテー
ブル １１４：距離算出 ２０１〜２０２：照射画像 ２０３〜２０４：停止画像 ２０５〜２０７：差画像 ２０８：差画像の最小値 ３０１：レーザ投光器 ３０２：被測定対象物 ３０３：ＣＣＤカメラ ３０４：Ａ／Ｄ変換器 ３０５：閾値 ３０６：２値化 ３０７：ラベリング ３０８：重心検出 ３０９：光学パラメータまたはキャリブレーションテー
ブル ３１０：距離算出
───────────────────────────────────────────────────── フロントページの続き (72)発明者 丸山 佳長 福岡県福岡市中央区渡辺通２丁目１番82号 九州電力株式会社内

Claims (1)

    【特許請求の範囲】
  1. 【請求項１】測定対象物にパルス状にレーザ光を照射す
    るレーザ照射手段と、 前記レーザ光の照射、停止に同期させて、測定対象物の
    画像を取り込む画像読込み手段と、 複数回のレーザ光の照射、停止により読み込まれる各画
    像間の差画像の最小値を検出する手段と、 前記差画像の最小値から２値化閾値を決定する手段と、 前記差画像の最小値を２値化し、レーザの受光位置を検
    出する手段と、を備えたことを特徴とする屋外用距離計
    測装置。
JP04736697A 1997-02-14 1997-02-14 屋外用距離計測装置 Expired - Fee Related JP3909377B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP04736697A JP3909377B2 (ja) 1997-02-14 1997-02-14 屋外用距離計測装置
DE69827275T DE69827275D1 (de) 1997-02-14 1998-02-12 Abstandsmesser für gebrauch im freien
US09/355,707 US6331887B1 (en) 1997-02-14 1998-02-12 Outdoor range finder
PCT/JP1998/000594 WO1998036238A1 (fr) 1997-02-14 1998-02-12 Telemetre pour l'exterieur
EP98902214A EP1008831B1 (en) 1997-02-14 1998-02-12 Outdoor range finder
CA002281551A CA2281551A1 (en) 1997-02-14 1998-02-12 Outdoor range finder
KR1019997007374A KR20000071087A (ko) 1997-02-14 1998-02-12 옥외용 거리 계측 장치
TW087102028A TW412632B (en) 1997-02-14 1998-02-13 Outdoor range finder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04736697A JP3909377B2 (ja) 1997-02-14 1997-02-14 屋外用距離計測装置

Publications (2)

Publication Number Publication Date
JPH10227609A true JPH10227609A (ja) 1998-08-25
JP3909377B2 JP3909377B2 (ja) 2007-04-25

Family

ID=12773121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04736697A Expired - Fee Related JP3909377B2 (ja) 1997-02-14 1997-02-14 屋外用距離計測装置

Country Status (8)

Country Link
US (1) US6331887B1 (ja)
EP (1) EP1008831B1 (ja)
JP (1) JP3909377B2 (ja)
KR (1) KR20000071087A (ja)
CA (1) CA2281551A1 (ja)
DE (1) DE69827275D1 (ja)
TW (1) TW412632B (ja)
WO (1) WO1998036238A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008039746A (ja) * 2006-08-10 2008-02-21 Nissan Motor Co Ltd 光検出方法および光検出装置
CN101963696A (zh) * 2010-08-19 2011-02-02 山东神戎电子股份有限公司 具有测距功能的夜视仪
JP2019163980A (ja) * 2018-03-19 2019-09-26 三菱電機株式会社 画像処理装置、レーザ照射装置および目標物の位置特定方法

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6323911B1 (en) 1995-10-02 2001-11-27 Starsight Telecast, Inc. System and method for using television schedule information
US6732369B1 (en) 1995-10-02 2004-05-04 Starsight Telecast, Inc. Systems and methods for contextually linking television program information
US6615531B1 (en) 2002-03-04 2003-09-09 Larry Holmberg Range finder
US8240077B2 (en) 2002-03-04 2012-08-14 Larry Holmberg Range finder for weapons
US6556245B1 (en) 1999-03-08 2003-04-29 Larry Allan Holmberg Game hunting video camera
US7643132B2 (en) * 2002-03-04 2010-01-05 Larry Holmberg Range finder
US7574824B2 (en) * 2006-01-06 2009-08-18 Larry Holmberg Device mount for a firearm
IL133835A (en) * 1999-12-30 2003-10-31 Rafael Armament Dev Authority In-flight boresight
EP1273928A1 (de) * 2001-07-06 2003-01-08 Leica Geosystems AG Verfahren und Vorrichtung zur Unterdrückung elektromagnetischer Hintergrundstrahlung in einem Bild
ES2316566T3 (es) * 2001-07-17 2009-04-16 Leica Geosystems Ag Telemetro con dispositivo visor.
US8156680B2 (en) 2002-03-04 2012-04-17 Larry Holmberg Device mounting system for a weapon
WO2003089950A2 (en) * 2002-04-15 2003-10-30 Toolz, Ltd. Distance measurement device
US7050625B2 (en) * 2002-10-21 2006-05-23 Hewlett-Packard Development Company, L.P. Method and digital camera for indicating when image data has been captured for a three-dimensional target object
US7375801B1 (en) 2005-04-13 2008-05-20 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Video sensor with range measurement capability
WO2006133029A2 (en) * 2005-06-03 2006-12-14 Gilmore Sports Concepts, Inc. Combination red dot sight and range indicator apparatus
US20070146482A1 (en) * 2005-12-23 2007-06-28 Branislav Kiscanin Method of depth estimation from a single camera
US20080001057A1 (en) * 2006-06-30 2008-01-03 Larry Holmberg Device mount
US7506643B2 (en) 2006-06-30 2009-03-24 Larry Holmberg Crossbow device mount
US7647922B2 (en) * 2006-06-30 2010-01-19 Larry Holmberg Adaptor for device mount
US7594352B2 (en) * 2006-10-17 2009-09-29 Larry Holmberg Device mount with stabilizing function
US7891131B2 (en) 2007-01-05 2011-02-22 Larry Holmberg Device mount system for a weapon
US7739822B1 (en) 2007-01-09 2010-06-22 Larry Holmberg Method and device for mounting an accessory to a firearm
US7780363B1 (en) 2008-01-17 2010-08-24 Larry Holmberg Device for mounting imaging equipment to a bow and method of recording a hunt
US8161674B2 (en) 2009-06-16 2012-04-24 Larry Holmberg Electronic device mount system with strap
US8024884B2 (en) 2009-06-16 2011-09-27 Larry Holmberg Electronic device mount system for weapons
US8497981B2 (en) 2009-09-15 2013-07-30 Qualcomm Incorporated Small form-factor size sensor
US8396685B2 (en) 2009-09-15 2013-03-12 Qualcomm Incorporated Small form-factor distance sensor
US8656625B2 (en) 2010-12-29 2014-02-25 Larry Holmberg Accessory mount
US8656624B2 (en) 2010-12-29 2014-02-25 Larry Holmberg Universal device mount
CN102749702B (zh) * 2012-06-28 2014-04-16 北京航空航天大学 一种手持式半导体激光主动夜视仪红曝消除方法
US9043146B2 (en) * 2013-06-19 2015-05-26 The Boeing Company Systems and methods for tracking location of movable target object
CN109709974B (zh) * 2019-01-04 2021-01-19 南京航空航天大学 一种基于激光测距的二维空间引导定位方法
EP4057218A1 (en) * 2021-03-11 2022-09-14 Koninklijke Philips N.V. A method and image capturing apparatus
CN114046768B (zh) * 2021-11-10 2023-09-26 重庆紫光华山智安科技有限公司 激光测距方法、装置、激光测距设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06344144A (ja) * 1993-06-04 1994-12-20 Mitsubishi Heavy Ind Ltd 溶接部材開先形状計測方法
JPH08177263A (ja) * 1994-12-21 1996-07-09 Mitsubishi Heavy Ind Ltd 車ドアの開閉検知方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3463588A (en) * 1966-12-30 1969-08-26 United Aircraft Corp Radar system
JPS54154351A (en) * 1978-05-25 1979-12-05 Canon Inc Distance measuring device
US4678329A (en) * 1985-10-18 1987-07-07 Calspan Corporation Automatically guided vehicle control system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06344144A (ja) * 1993-06-04 1994-12-20 Mitsubishi Heavy Ind Ltd 溶接部材開先形状計測方法
JPH08177263A (ja) * 1994-12-21 1996-07-09 Mitsubishi Heavy Ind Ltd 車ドアの開閉検知方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008039746A (ja) * 2006-08-10 2008-02-21 Nissan Motor Co Ltd 光検出方法および光検出装置
CN101963696A (zh) * 2010-08-19 2011-02-02 山东神戎电子股份有限公司 具有测距功能的夜视仪
JP2019163980A (ja) * 2018-03-19 2019-09-26 三菱電機株式会社 画像処理装置、レーザ照射装置および目標物の位置特定方法

Also Published As

Publication number Publication date
EP1008831A1 (en) 2000-06-14
DE69827275D1 (de) 2004-12-02
EP1008831A4 (en) 2001-02-07
KR20000071087A (ko) 2000-11-25
EP1008831A8 (en) 2004-09-29
WO1998036238A1 (fr) 1998-08-20
US6331887B1 (en) 2001-12-18
JP3909377B2 (ja) 2007-04-25
TW412632B (en) 2000-11-21
CA2281551A1 (en) 1998-08-20
EP1008831B1 (en) 2004-10-27

Similar Documents

Publication Publication Date Title
JPH10227609A (ja) 屋外用距離計測装置
EP3087341B1 (en) Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
US10302424B2 (en) Motion contrast depth scanning
US10999524B1 (en) Temporal high dynamic range imaging using time-of-flight cameras
JP2000002518A (ja) ３次元入力装置
JP7030451B2 (ja) 画像処理装置
JP2002323564A (ja) 浮遊物体の検出・監視方法及びその装置
JPH1144533A (ja) 先行車両検出装置
JP4305073B2 (ja) パンタグラフ支障物検出方法及び装置
JP4312729B2 (ja) レール継目板の締結ボルトの脱落検出装置
JP2006214903A (ja) 建築限界支障物検出装置
CN111046765B (zh) 一种用于高铁的危险预警方法和系统
JPS6129704A (ja) 計測方法
JP2521156Y2 (ja) 位置計測用ターゲット
JPH06241730A (ja) ロボットの位置計測システム
JP2005351869A (ja) 測位方法および測位システム
WO2024232404A1 (ja) レーザースキャン方法、レーザースキャン装置およびプログラム
JPH04196993A (ja) 画像監視装置
JP3915753B2 (ja) 画像検出装置
JPH0477951B2 (ja)
JP2973153B2 (ja) コイル先端形状検出装置
JPH0726810B2 (ja) チップ部品位置ずれ検査装置
JP2642033B2 (ja) 位置情報検出装置
JP2922904B2 (ja) Ｔｖカメラによる監視方法、及び、同監視装置
JPH0498148A (ja) はんだブリッジ検査装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20061222

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20061222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20061222

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110202

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120202

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120202

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130202

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140202

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees