JPH08314997A - 多次元形状の座標計測システム及び測定情報の教示方法 - Google Patents
多次元形状の座標計測システム及び測定情報の教示方法Info
- Publication number
- JPH08314997A JPH08314997A JP7121192A JP12119295A JPH08314997A JP H08314997 A JPH08314997 A JP H08314997A JP 7121192 A JP7121192 A JP 7121192A JP 12119295 A JP12119295 A JP 12119295A JP H08314997 A JPH08314997 A JP H08314997A
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- data
- cad
- unit
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Image Processing (AREA)
Abstract
果データや測定命令に互換性を与え、データの管理や整
理の自動化を容易に実施できるようにする。 【構成】 データを入力するCADデータ入力部105
と、このCADデータを表示するCAD図形表示部104
と、測定命令や測定条件及び評価方法等を教示する測定
条件入力部107及び測定命令入力部110と、測定命令や測
定条件及び評価方法等に従って測定機を動作させる測定
命令を作成する測定情報作成成部112と、測定命令に従
った測定機に入力可能なデータを測定機に出力する測定
機命令出力部121と、測定された測定座標値を入力する
測定座標値入力部120と、入力された測定座標値と教示
された測定情報によって評価を行う評価部117と、教示
された測定情報と評価された結果とを自動的に関連付け
て画面に表示する評価結果表示部113と、評価された結
果を外部装置に対して出力する評価結果出力部119と、
を有するシステムとする。
Description
標測定機によって測定された、多次元形状であるワーク
(被測定物)の所要の位置における座標値データを基
に、被測定物の位置や寸法や幾何偏差等の形状評価を行
い、被測定物が設計通りに正しく出来ているかどうか、
検査を行う装置及びその測定情報の教示方法に関するも
のである。
場においては、製作されたワーク(被測定物)が設計値
通りに出来ているかどうかを、様々な測定機器を用いて
判定している。このような製品検査の分野においては、
高い精度と汎用性の高さから、工場顕微鏡や万能投影機
及び三次元測定機等の、二次元/三次元の座標測定機を
用いた測定・検査が広く普及している。
センサもしくは光などを媒体とした非接触式センサなど
によって被測定物が直線・円・円筒・平面・円錐・球な
どの多次元の形状要素毎に空間的な座標値データとして
サンプリングされ、測定機に接続された電子計算機に入
力される。電子計算機では、その形状データを該当する
多次元形状を表す方程式に代入し、最小自乗法や幾何計
算などの数学的方法によって、その形状要素の位置・姿
勢・寸法・幾何偏差などの形状パラメータを算出する。
こうして得られた形状パラメータを、設計書や図面など
に記された数値と比較することで、被測定物が正しく製
作されているかどうかを判定する方法を取っている。
オカメラを用いて入力された多数階調の画像データか
ら、画像処理の技法によって被測定物の所定の位置にお
ける座標値を測定するものが多くなって来ている。従来
この種の画像処理による座標測定機では、単純な二値化
処理によって座標値を検出するものが主流であったが、
最近では技術の進歩により、多数階調の画像データから
直接座標測定を行うことが可能となり、より複雑な立体
形状でも測定可能となって来たことから、三次元測定機
に匹敵する精度と汎用性を持つに至っている。
は、顕微鏡のように常に人が測定位置を確認しながら位
置合わせをする必要も無く、自動的にかつ多数の測定点
を一度に測定する事が可能である。また、オートフォー
カスによる高さ測定も可能な事から、接触式の三次元座
標測定機では測定出来ないような小さいワークや柔らか
いワークの測定も可能であるため、三次元測定機と同様
に座標測定分野の大きな柱と成りつつある。
ピューターと呼ばれる電子計算機が付属しており、測定
された座標値から被測定形状の形状パラメータを算出す
るのみならず、測定した際の測定条件や測定経路と言っ
たものを記憶しておき、それらを繰り返し呼び出すこと
で、自動的に測定を繰り返すティーチング・プレイバッ
クの機能も一般的には有している。この機能を用いるこ
とにより、測定者は、初回の測定時に測定条件や測定経
路と言った測定条件を確認・決定しながら測定を実施
し、その時の評価命令や測定条件を適宜記憶させ、次の
ワークからはこのデータに基づいて繰り返し、自動測定
を実行させることで測定作業の効率化を図っている。
定機用オフライン・ティーチング・システムの普及によ
って、座標測定機を用いた測定作業のうち、前準備であ
る測定命令のティーチング作業は大幅に効率化された。
しかし、全測定業務のうち、ティーチング作業は全体の
約3割程度を効率化したに過ぎず、相変わらず測定後の
膨大なデータの整理作業は測定者が手作業で行わなけれ
ば成らない状況である。このため、真に計測業務全体を
効率化できる計測システムの開発が望まれていた。
ら、これらの座標測定機にもオフライン・ティーチング
・システムがほしいと言う要求が非常に強く成ってきて
いる。しかしながら、画像の処理による座標測定機で
は、三次元測定機の様に被測定物に対して直接接触して
測定するのではなく、ビデオカメラ等によって撮影され
た画像データから、予め設定されている測定条件に従っ
て、数値処理によって所要の座標値を検出する方法を取
っている。特に多数階調画像を扱う場合には、ワーク
(被測定物)が無い状態ではビデオ画像を見ることが出
来ないために、測定を行える程度に十分な画像が得られ
るかどうかは事前に判断出来ない欠点があった。特に、
照明条件や被測定物のエッジ(稜線)検出方法等、各測
定条件の決定が事前には出来ない事から、多階調画像の
処理による座標測定機ではオフライン・ティーチングは
不可能もしくは非常に限定された部分のみにしか対応で
きないと言われていた。又、二値化画像を扱うものの中
には、オフライン・ティーチング・システムが実現され
ている物もあるが、これらは測定対象が薄い板状の物等
であったり、特に複雑な測定条件を必要としない物や、
測定対象が特定されている専用機である為、任意の形状
を持つ被測定物に対応可能な画像処理による汎用システ
ムは、未だに存在していないのが現状である。
ン・ティーチング・システムでは、CADデータを用い
て測定教示を行い、測定機が入力可能な測定命令の作製
及び出力までを行う機能しか持たない物がほとんどであ
る。測定座標値から寸法や形状の評価を行うのは、座標
測定機に付属しているデータ処理ソフトウェアであり、
その評価結果の出力や管理も測定機に付属しているソフ
トウェアが行っているのが現状である。これは、測定座
標値から形状評価を行うには非常に高度な技術が要求さ
れるためであり、測定機に付属している形状評価ソフト
を利用した方が、システムの開発期間を短く出来ると言
う利点があるためである。
・システムは、形状座標測定機に付属している寸法や形
状評価ソフトが直接入力可能な型式でデータを出力する
方法を取っている。しかし、この為に寸法や形状評価ソ
フトに合わせて各メーカー毎にオフライン・ティーチン
グ・システムを用意しなければ成らない状態である。そ
して現実には、一つの計測現場内であっても、製造メー
カーの異なる同種の測定機が多数導入されているのが一
般的である。このため、オフライン・ティーチング・シ
ステムを導入する場合にも、測定機と同様にメーカー毎
に同様な機能のものを導入する必要が有るため、ユーザ
ーに取っては投資コストが高くなるばかりで無く、これ
らのシステムや測定機の間では、結果データや測定命令
に互換性が無い為、データの管理や整理の自動化もまま
ならないと言う問題が頻発している。
つある画像処理による座標測定機をも含めて、被測定物
の寸法や形状の測定・評価を行う分野において、前述の
問題点を解決するために誠意研究を行った結果開発明さ
れた物であり、測定教示から評価された結果の確認及び
データ整理や管理と言う、計測業務の全般に渡って真に
効果的な測定装置を提供するものである。
定物の所要の位置における座標値を測定し、寸法や形状
等を測定・評価する装置において、予め作成されている
CADデータ入力するCADデータ入力部と、入力され
たCADデータを表示するCAD図形表示部と、表示さ
れたCAD図形に対して測定条件を教示する測定条件入
力部と、測定命令や評価方法等の所要の測定情報を教示
する測定命令入力部と、教示された測定命令や測定条件
及び評価方法等に従って座標測定機を動作させるための
測定命令を作成する測定情報作成部と、作成された測定
命令に従った測定機に入力可能なデータを測定機に出力
する測定機命令出力部と、測定機によって測定された測
定座標値を入力する測定座標値入力部と、入力された測
定座標値と予め教示された測定情報の内容に従って、被
測定物の寸法や形状等の評価を行う評価部と、予め教示
された測定情報と評価された結果とを自動的に関連付け
て、数値や図形で画面に表示する評価結果表示部と、評
価された結果を外部装置に対して、所定の形式で出力す
る評価結果出力部、とを有する多次元形状の座標計測シ
ステムとするものである。
ムにおいて、測定教示された測定情報の中から、測定機
で実際に測定動作を必要とする測定命令と、測定時の測
定条件を設定する命令のみとを抽出する測定情報作成部
とし、前記測定情報抽出部で抽出された測定情報から測
定機が入力できる形式に測定情報を変換する情報変換部
を設け、その変換された測定情報を測定機に対して、ま
とめて測定命令データとして出力するか、もしくは、測
定命令を一つづ測定機に送る測定機命令出力部とし、測
定された座標値群のデータをまとめて入力するか、もし
くは、その測定座標値を一つづ入力する測定座標値入力
部を設け、測定された座標値と既に作成されている測定
情報に従って、被測定物の寸法及び形状を評価する評価
部とする、多次元形状の座標計測システムとすることも
ある。
おいて、CADデータを用い、設定されるビデオ画像の
拡大倍率やキャリパー種別等の、測定に必要となる測定
条件に従って、実測時のビデオ画面の状態を画面上に表
示するシミュレーション表示部を設けた多次元形状の座
標計測システムとすることがある。そして、ビデオカメ
ラから入力された階調画像データを元に、所要の位置に
おける座標値を画像処理の技法によって測定し、その座
標値から多次元形状である被測定物の寸法や形状等を測
定・評価する為に、CADデータを用いて測定命令や測
定条件及び評価方法等をオフラインで教示する測定情報
を教示する方法において、現在設定されているビデオ画
像の拡大倍率やキャリパー種別等の、測定に必要となる
測定条件に従って、実測時のビデオ画面の状態を、CA
Dデータを用いて画面上にシミュレーション表示し、そ
の表示画面に対して測定命令や条件等の測定教示操作を
行う、測定情報の教示方法を用いるものである。
図形データを用いて、CAD座標系でのビデオ画面位置
を算出することにより、測定位置の位置決めを行うこと
がある。又、測定情報の教示方法において、画像処理装
置のビデオ画面表示範囲にもとづいて、CAD図面の拡
大倍率毎のビデオ画面枠サイズを算出し、画像データ領
域とCADの測定対象図形領域との比較を行い、拡大倍
率を設定することもある。
AD図形データを用いて、キャリパーの定義及びCAD
上での編集作業を行うことにより、キャリパーの位置決
めと図形形状に対応したキャリパー姿勢の設定を自動演
算により行うことがある。
チング・システムと異なり、本システム内に測定教示機
能から形状評価並びに結果出力機能までを統合化した座
標計測システムであるから、本システムのみで計測業務
の準備段階から後作業までの広い範囲に渡って計測業務
を効率化することができる。
る測定命令と、測定時の測定条件を設定する命令のみと
を抽出する測定情報作成部を設け、測定機命令出力部及
び測定座標値入力部を測定情報や測定された座標値をま
とめて入力するか、もしくは、一つづ入力する測定機命
令出力部及び測定座標値入力部とする場合は、本システ
ムと測定機本体とを、非常に汎用的で単純な方法によっ
て接続・データ交換する事を可能とできるために、測定
機の製造メーカーの違いを越えて使用することが可能と
なり、ユーザーに対して低コストで効果的な計測環境を
提供することができる。
オ画面の状態を画面上に表示するシミュレーション表示
部を設ければ、階調画像処理による座標測定機に対する
測定条件をティーチングすることができる。そして、本
発明に係る方法は、従来困難であったとされていた、多
階調画像処理による座標測定機に対して、操作者に対し
て測定時のビデオ画像を推測可能な図形として測定条件
に従って表示可能とする事によって、測定時に必要とな
る各種の測定条件を判断・決定させることを可能とする
ものである。
図形データを用いて、CAD座標系でのビデオ画面位置
を算出する方法は、測定位置の正確な位置決めを可能と
することができる。更に、測定情報の教示方法におい
て、画像処理装置のビデオ画面表示範囲にもとづいて、
CAD上での拡大倍率毎のビデオ画面枠サイズを算出
し、領域の比較を行う方法は、最適拡大倍率を自動的に
設定することができる。
パーの定義や編集作業を行うことにより、キャリパーの
位置と姿勢とを自動演算により決定する方法は、表示画
面との対話により、測定条件などの入力を極めて容易に
おこなうことができる。
測システムの一実施例を、図表を用いて詳細に説明す
る。まず、本システムの特徴は、従来の単純なオフライ
ン・ティーチング・システムとは異なり、システム内に
オフライン・ティーチング(測定教示)機能、測定命令
出力機能並びに測定機の測定制御機能、寸法及び形状評
価機能、測定結果の参照機能、外部装置や他のシステム
への結果出力機能を、一つのシステムとして統合化し、
更に各機能を最適に再構成する事で、検査業務の準備段
階からデータ整理等の後処理に至る全工程を、効率的か
つ合理的に支援するシステムを実現化するものである。
計測システム125のブロック図を示す。この座標計測シ
ステム125では、外部のCADシステム102によって作製
されたCADデータをCADデータ入力部105に入力す
るものである。このCADデータ入力部105に入力され
るCADデータは、2次元の図形データであっても良い
し、3次元の形状データで合っても良い。機能の面から
考えると3次元の形状データの方が、より高度な処理が
可能であるため好ましいが、測定を行うと言う点から見
れば2次元の図形データでも支障はない。ただ、2次元
図形の場合には、座標計測システム125の内部で簡易的
に3次元形状に復元する為の作業(操作)が多少必要に
なるだけである。
状データに復元する方法は、既に公知の技術であるた
め、ここでは詳しく説明をしないが、その一例を簡単に
説明すると、まず入力図面を正面図・平面図・矢視図の
ように、各図面単位毎に図形要素を分割(または分類)
する。次に分割された各図面毎に基準となる座標系の座
標軸の位置と方向と拡大率を設定する。こうする事によ
って分割された各図面を、基準座標系の3次元空間上に
再配置したことになる。元々図面は3角法等の図法に従
って、被測定物の形状を投影して描いているので、図面
中の任意の一つの要素もしくは、被測定物で同一形状を
表す図形要素を、二つの分割された図面中から指示する
事によって、元々の立体(被測定物)形状の基準座標形
上に於ける幾何学的な形状や位置及び姿勢を求める事が
可能となる。
に3次元に復元された図形データ)は、後の処理に適し
たデータ型式に変換されて本システム内のCADデータ
記憶部106に記憶される。尚、CADデータ記憶部106に
記憶されるCADデータのデータ型式は、処理の方法や
アルゴリズムによって様々に変化するため、ここでは特
に限定しない。
CADデータは、測定者の指示に従い、CAD図形表示
部104によってCRTディスプレイ等の表示装置101に表
示される。三次元座標測定機や万能投影機等では、この
画面に表示されたCAD図形(2次元/3次元のどちら
でも可)に対して、直接ティーチング(測定教示)作業
を行う事になる。
合には、ビデオカメラから画像データを入力し、その画
像を数値的に処理する事によって座標値の検出を行うた
め、三次元座標測定機のようにCAD図形の任意の部分
(測定の対象となる部分)を希望の大きさに拡大/縮小
表示するだけでは、確実に測定できるかどうか保証され
ないと言う問題がある。つまり、画像処理による座標測
定機では、ビデオカメラを通して被測定物を見なければ
成らないために、ビデオカメラの画面枠サイズと言う
「可視(測定可能)領域」に明確な制限が存在する。よ
って、従来のオフライン・ティーチング・システムのよ
うに、いくらCRTの画面上で拡大/縮小表示させたと
しても、被測定物の測定したい領域が、ビデオカメラの
画面枠の中に納まっているかどうかは判断できないので
ある。
ィーチング機能の中にビデオ画面を、CADデータを用
いてシミュレーション表示する機能を付加することと
し、シミュレーション表示部103を設けることによりこ
の問題を解決した。即ち、最近の画像処理による座標測
定機では、撮影倍率を任意に設定もしくは選択できる物
もある。従って測定条件入力部107で指示された測定条
件(後述)に従って、CAD図形上にビデオ画面の画面
枠を表示するか、若しくは、図2に示すごとく、画面の
別領域にビデオ画面と同じ倍率で可視範囲の図形を表示
する部分を枠201として追加し、この枠201の内部に表示
されているCAD図形202に対してティーチング作業を
行うことで、前述の問題を解決し正確な測定指示を行え
るようにするものである。特に、最近のGC(コンピュ
ータ・グラフィックス)技術を用いれば、照明方法や各
種の測定条件に従った陰影表示も可能であり、正確な測
定条件の設定が可能になる。
処理は、その時設定されている測定条件(後述)に逐次
連動して行う必要があるため、測定条件記憶部108に記
憶されている測定条件とCADデータ記憶部106に記憶
されているデータとを用いて、行うものである。又、測
定条件入力部107は、キーボードやマウス等の入力装置
によって、測定者が希望する測定条件を入力するもので
ある。
学式の検出方法を用いる座標測定機に対するものであ
り、これには座標値の検出方法と照明方法との二つに大
別できる。設定条件としては、画像を扱う場合が最も多
いため、ここでは画像を扱う場合に付いて説明する。こ
のシミュレーション表示部103は、図3に示すように、
測定位置処理部30及びキャリパー定義部40により構成さ
れ、常に測定位置処理部30の後にキャリパー定義部40が
稼働する。
ピック内容解析部32、表示中心決定部33、ビデオ画面枠
算出部34、ズーム処理部35で構成する。又、キャリパー
定義部40は、キャリパー選択操作部41、キャリパー初期
設定部42、キャリパー位置決定部43、キャリパー姿勢決
定部44、キャリパー描画部45、キャリパー編集部46、照
明条件設定部47、形状変更操作部48で構成する。
図面上で指示された測定位置と拡大倍率とをもとに、C
ADデータ記憶部106からのデータに基づいてCAD上
でのズーム表示の中心座標とビデオ画面枠寸法とを算出
した後、ズーム処理を行ってCRTディスプレイなどの
表示装置101に測定対象図形を描画するものである。即
ち、測定位置指示部31において、拡大倍率を指定するこ
とにより、図4に示すように、表示装置101に表示され
たCAD図面上での測定位置の指示をCRTディスプレ
イを利用して行う。
示部31で指示されたCADデータ及び指示内容の解析を
行う。指示内容が図形要素(CAD上で表現された幾何
要素の最小単位。円、円弧、直線など)であれば、図形
要素ID(CAD上で個々の図形要素を特定するもの)
とさらにこの図形要素IDによりCADのデータベース
より図形諸元データ(例えば直線であれば、始点及び終
点座標など)の抽出を行う。また、CAD座標系でのピ
ック位置も抽出する。指示内容が図形要素以外であれ
ば、ピック位置のみを抽出する。
解析結果が図形要素であれば、抽出された図形諸元デー
タをもとに当該図形の領域を算出し、又、図5に示すよ
うに、ビデオ画面として表示される範囲の画面枠201を
考慮し、最大許容表示サイズとの比較判別を行う。尚、
当該図形の領域が許容表示サイズ以上であれば、最適な
拡大倍率を自動的に再設定するものである。
処理中心の決定を行う。基本的には、前記ピック内容解
析部32で抽出したCAD座標系でのピック位置を表示中
心とする。そしてビデオ画面枠算出部34において、前記
測定位置指示部31で指定された拡大倍率と画像処理装置
のビデオ画面表示範囲をもとに、CAD上での表示枠寸
法を算出し、枠201の図形データを生成する。
心決定部33での中心位置をビデを画面の中心とし、図5
に示したように、前記ビデオ画面枠算出部34での枠201
の図形がCAD画面内に最大限に表示されるようにズー
ム処理を行い、表示装置101であるCRTディスプレイ
上に表示する。更に、ズーム処理部35において、測定対
象図形データとビデオ画面に表示する枠201のサイズと
を比較することにより、枠201のサイズを超えた無意味
な拡大表示を自動的に検出し、最適拡大倍率を再設定す
ることがある。
象となるCAD図形データを利用するため、測定位置へ
の正確な位置決め(測定移動命令の生成)が可能であ
り、CAD上でビデオカメラの画面内における可視範囲
の正確なシミュレーションができる。又、キャリパー定
義部40は、選択されたキャリパーを測定位置処理部30に
より注出された図形データをもとに、キャリパーの位置
と姿勢とを決定することにより、CAD上での対話形式
による形状変形操作を可能としている。
測定機に特有のキャリパーと呼ばれる座標値検出領域の
諸元を定義するものである。キャリパーの諸元の代表的
な物には、図6に示すように、点キャリパー204・線キ
ャリパー205・矩形キャリパー206等のキャリパー種別、
キャリパー内での測定点数、キャリパーの位置と角度、
稜線検出時の閾値や検出方法・方向性等が有る。これら
の諸元の内、キャリパー種別に付いては、図2に示した
様に、基本的には矩形キャリパーの特別な場合として定
義できる。
どの種別で選択可能としておけば良いが、内部処理では
全て矩形キャリパーとして情報を保持することが可能で
ある。座標測定機を製造している各メーカー毎に多少の
違いはあるが、基本的には矩形キャリパーでほとんどの
キャリパーを表現可能である。例えば、点キャリパーで
あれば、パラメータとしてW=H=0とし、その中での
測定点数を1とすれば良い。また、線キャリパーであれ
ばパラメータとしてW=0とし、その中の測定点数を1
とすれば良い。
ー選択操作部41を介して行う。この特定は、キャリパー
初期設定部42にキャリパー毎の形状パラメータの初期値
を設定して行うものである。更に、キャリパー位置決定
部43により、表示中心決定部33で決定された表示位置を
キャリパー位置とする。キャリパー姿勢決定部44におい
て、キャリパー選択操作部41で選択部で選択されたキャ
リパー種別が図形形状を考慮して設定すべき特性を持つ
キャリパー(線キャリパーや矩形キャリパーなど)の場
合は、前記ピック内容解析部32にて抽出した図形諸元デ
ータをもとにキャリパー姿勢の算出を行う。図7に示す
ように、図形要素が直線の場合は、直線方向と垂直方向
を、円や円弧の場合は中心からピック位置に向かう方向
をキャリパー姿勢とする。尚、ピック内容が図形要素以
外の場合、及び、姿勢変更が不要な点キャリパーなどで
あれば、姿勢計算は行わない。
キャリパー初期設定部42で決定された形状パラメータ
と、前記キャリパー位置決定部において決定した位置
と、前記キャリパー姿勢決定部44において決定した姿勢
とをもとに、CRTディスプレイ上にキャリパーを表示
する。更に、キャリパー形状変更操作部48は、CAD図
面上に設定されたキャリパーの移動とサイズの変更を対
話形式で行う。
リパーに移動用のマーク208及びサイズ変更用のマーク2
09として例えば丸印などを描画し(図8参照)、サイズ
変更用のマーク209を直接移動させてキャリパーのサイ
ズを、又、移動用のマーク208をマウスなどにより移動
させてキャリパーの変更位置を決定する。移動指示にお
いて、前記ピック内容解析部32における解析結果が図形
要素であれば、図形諸元データを用いて、移動指示位置
からの図形上の最短距離点(例えば直線であれば、移動
指示位置から伸ばした直線上の垂線の足)を算出して新
キャリパー位置としており、図9に示すように、常に図
形要素への正確な位置決めを可能としている。キャリパ
ー姿勢についても、同時に再計算を行う。
の形状特性に応じた変更を可能としている。線キャリパ
ーであれば、キャリパー中心位置に対して両方向への高
さ(H寸法)変更のみが可能であり、矩形キャリパーで
あれば、これに加えて幅(W寸法)の変更が可能であ
る。このように、キャリパー定義部40において、CAD
図形データを利用するため、キャリパーの正確な位置決
めとキャリパー特性対図形形状を考慮した姿勢設定(例
えば、線分図形に対して常に垂直な姿勢に線キャリパー
を設定すること)が可能である。又、キャリパー定義に
おいて、形状変更をCAD上で対話形式により行うた
め、測定対象図形とキャリパー形状の直感的把握が容易
である。
細は各メーカー毎に異なるが、基本的には透過照明・落
射照明・分割照明の3種類に分類できる。従って、照明
方法の詳細は違っていても、これらの照明方式とそれぞ
れの照明器に番号を割当て、そのそれぞれに対して、O
N/OFFと照明強度の情報を照明条件設定部47で設定
記憶させる事で、画像入力(測定)時の照明条件を的確
にかつ簡単に定義することができる。
って逐次変更・記憶する処理は、測定条件記憶部108が
専門に行い、その情報に逐次連動してシミュレーション
表示部103がCAD図形の画面表示を行う。尚、対象測
定機が接触式の三次元測定機の場合には、シミュレーシ
ョン表示部103及びこれらの条件設定は不要になるのは
当然である。
示に従って、寸法や形状の評価方法、それに付随する評
価のための条件、センサー(接触子や光センサやビデオ
カメラ等)の移動経路等、測定と評価に関するの情報の
指示・変更を行う。ここで入力された測定命令は、一旦
測定命令記憶部111に記憶され、測定命令が確定した段
階で、前述の測定条件記憶部108に記憶された測定条件
と結合され、測定に必要となる全ての情報を含んだ「測
定情報」として測定情報作成部112で再構成され、測定
情報記憶部115に整理されて記憶される。従って、ここ
で作成及び記憶された測定情報が、測定を行う為に必要
となる全ての情報を含んだものとして、以後の各処理の
基準データとなる。
法や形式があるが、これらは既に公知の技術である為、
その方法や方式に関する詳細な説明は省略するが、一例
としては画面上に表示された測定・評価命令のテーブル
から希望する項目を選択し、次に測定対象となる図形要
素を画面から指示する。そして必要な測定点数や位置及
び評価方法や測定条件等も指示し、必要な指示が確定し
たならば、その測定項目に番号もしくは任意の名称を付
けて、CAD図面上の任意の位置に重ねて表示するか、
測定項目の一覧表に表示する等の方法がある。また、既
に測定指示された項目間での幾何演算を行う場合には、
画面に表示されている項目番号や名称をマウス等で指示
する事で簡単に指示する事が可能である。
システムとしての機能を当該座標計測システム125に組
み込んだ。しかし、オフライン・ティーチング機能だけ
では、計測業務の前準備のみを行ったにす過ぎない。そ
こで本実施例のシステムでは、測定機の測定制御機能並
びに、寸法や形状の評価機能をもシステム内に取り込ん
だことで、測定作業そのものも実行する事を可能として
いる。ところが、ここで言う特徴を、測定機の製造メー
カーの違いを越えて実現するためには、単に評価機能や
制御機能を取り込んだだけでは実現不可能であった。
ために以下の方法を採用考案した。まず、オフライン・
ティーチング(測定教示)された測定情報の内容を、三
つの種類の分類する事から行うこととする。測定・評価
には、実際に測定機を動作させ測定点(測定座標値)を
取り込む命令と、取り込んだ測定点から所要の形状(例
えば、点・直線・平面・円等)を評価する命令、及び一
旦評価された形状データから幾何計算等によって新たな
形状として評価する命令に大別できる。
定・評価ソフトでは、これら命令は数十から数百のも種
類があり、その個々に対して番号や名称等による識別を
行い、測定命令(情報)として定義している。ここでの
問題は、この命令の種類や数や機能及び識別方法やティ
ーチング・データの形式等が、測定機の製造メーカーや
製品毎によって様々に違うために、たとえオフライン・
ティーチング・システムを開発できたとしても、対象と
した測定機専用のシステムに成らざるを得ないのが現実
である。
方法として、先に大別した命令の内実際に測定機を動作
させ測定点を取り込む命令と、それ以外の命令に分けて
処理を行う方法を開発採用した。即ちその方法は、図1
0に示すように、まず作成された測定情報(301)の中か
ら実際に測定作業を行う命令のみを抜き出すこととし(3
03)、その測定情報に指示されている命令や測定条件を
基に、対象とする測定機が入力可能な形式へとデータ変
換を行う(305)こととし、このデータ変換は、測定情報
記憶部115に記憶された情報に基づき、測定情報変換部1
18で行っている。
ったデータを用いて測定機にリアルタイムで測定機命令
出力部112から出力して(306)測定機を駆動するか、若し
くは測定機命令出力部112から測定命令データとして転
送し(307)、測定された測定座標値のみをバッチシステ
ムで測定座標値入力部120に取り込み(307)、若しくはリ
アルタイムに本システムの測定座標値入力部120に取り
込み(306)、寸法や形状の評価の実行(304)やその後のデ
ータ整理作業は本システム内で全て行う方法とするもの
である。
果、ティーチングデータの違いの多くは寸法や形状の評
価機能と幾何計算等に依存する物が大半であり、測定動
作を行う命令や測定条件にはほとんど違いが無いことが
判明した。従って、本システム内に寸法や形状の評価機
能等を取り込み、測定機には本来の座標値のみを測定す
る装置として働かせる事で、あらゆるメーカーの測定機
に対応可能な測定システムとすることができたものであ
る。
・システムでは、あくまでもオフラインでの測定命令の
教示作業しか出来なかったが、本実施例ではオフライン
・ティーチングに限らず、変換された測定命令を逐次測
定機124に送り出し、同様に逐次測定機124から測定座標
値を取り込むことで、オンライン測定とオフライン測定
を共存させ、ユーザーが自分の状況に合わせて自由に使
い分ける事も可能とした。
して渡す方法としては、本システムと測定機に付属して
いるソフトが同一の計算機で動作するならば、必要な測
定命令をまとめてディスク・ファイル等として渡すバッ
チ方式(307)でよいが、別の計算機で動作する場合には
フロッピー・ディスク等の外部記憶を介してデータを渡
す方法もあり、又、リアルタイムに通信によって受け渡
しが可能で有るならば、測定命令を一つずつ測定機124
に転送し、測定機124を駆動させて測定座標値を一つず
つ入力する事によって、リアルタイムな測定機として実
施することも可能である。
ステム内に一時的に記憶し、既に作成されている測定情
報に従って、所定の寸法・形状の評価演算を評価部117
で実行する(304)こととした。そして、評価部117で評価
された結果は評価結果記憶部114に記憶され(302)て、後
の結果参照時に使用される。ここでの特徴は、予め作成
されている測定情報を用いて直接評価計算を行うため、
従来のオフラインティーチング・システムの用に、測定
機本体で評価された結果と測定情報との関連付けと言う
煩雑な内部計算が不要となることである。
114に記憶された結果は、測定者の指示操作に従って評
価結果の表示部113がCRT画面に表示する。この際、
既に作成されている測定情報と結果の関連付けが自ずと
できているので、参照したい測定項目の番号や名称を指
示するだけで、希望する評価結果を直ちに参照する事が
可能である。また、単に番号や名称に限らず、測定教示
の際にはCAD図形に対しても関連付けが行われるの
で、測定した図形要素をマウス等でピックする事でも、
結果の参照が直ちに可能である。即ち、従来は、測定機
から出力された数値(紙出力や画面表示)を、測定個所
に関連づけて整理する作業を、全て人間が手作業で行っ
ていた。従って、この作業自体は非常に膨大な時間と労
力を要し、場合によっては全測定作業時間の5〜6割に
も達する事もあった。この従来の整理に対し、本実施例
のごとく、この作業が自動化される意義には非常に大き
なものであり、本機能によって関連付けの等の整理作業
は一切不要になるため、大幅な作業時間の短縮が可能に
なった。
の評価結果を、紙や画面表示以外にも他のソフトや装置
等に出力するか、もしくは記憶しておく必要がある。こ
の際には評価結果の表示部で指示された方法に従って、
評価結果変換部116が所定のデータ形式に変換する。こ
の変換作業の手順は、出力対象が決まっている場合に
は、予め専用のソフトウェアとして用意し組み込んでお
けば良いが、測定者が自分で変換手順を自由設定できる
仕組みを組み込んで、利用範囲を拡大できるようにする
方法もある。
タを外部記憶装置122(例えば磁気記憶装置や通信装置
等)や、他の装置123に出力する処理を行う。例えば、
最近の計算機では複数のソフトウェアを同時に起動でき
るOS(基本ソフト)も普及している。この中にはOS
自体がこの機能を有する場合もあるが、その際にも評価
結果をそのまま出力するのではなく、データの適度な成
形をしてから出力する方がより効率的に作業を進められ
る事が多い。
5における一実施例の説明である。尚、本実施例の中で
は特に説明していないが、入力されたCADデータや測
定情報及び測定座標値や評価結果をシステム外に記憶/
呼び出しする機能も有する。これら多次元形状の座標計
測システム125は、電子計算機によって構成されること
が望ましい。
の座標計測システムに、寸法・形状評価機能及び評価結
果の参照・出力機能をも内臓した事によって、測定機の
製造メーカーの違いに影響される事が無く、同一のシス
テムで、多くの測定に対して接続可能としているため、
設計・製造工程のCAD・CAM化に対する投資を、よ
り低く押さえる事が可能になる。
製造メーカーの違いを越えて、二次元/三次元の様々な
座標測定機に対して接続可能なため、ティーチングシス
テムの操作方法や機能及び出力される結果データが統一
化される事によって、従来では極めて困難であった検査
結果データの統合管理やデータ・ベース化も容易に実現
可能となる。
扱う座標測定機に対しても、CADデータを用いてティ
ーチング・データを作製し、検査結果データの統合管理
を行うこともできる。そして、請求項4に記載の発明
は、従来困難であった階調画像を扱う座標測定機に対し
ても、CADデータを用いてティーチング・データをオ
フラインで作製することを可能とし、被測定物が無くと
も測定の準備作業を事前に実施することを可能した。
が無くとも、測定位置を容易且つ正確に設定することが
できる。又、請求項6に記載の発明は、拡大倍率を適性
とすることにより、測定条件の入力操作が容易且つ正確
となる。そして、請求項7に記載の発明は、測定箇所の
設定が極めて容易に行える。
易とすると共に、大部分を手作業に頼らざるを得ない現
状の検査業務を、大幅に自動化・効率化することができ
るようになり、従来の単純なオフライン・ティーチング
・システムでは成し得ない大きな効果を生むものであ
る。
能のブロック図で示したものである。
る座標測定機における、ビデオ画面シミュレーション表
示の例を示す図。
ョン表示部の詳細を示すブロック図。
図形の表示例を示す図。
加したときのCAD図形の表示例を示す図。
パーの種類を示す図。
パーの表示例を示す図。
パーの変更操作を示す図。
パーの変更操作を示す図。
らあらゆる座標測定機に接続可能とするための方法にお
ける、機能のブロック図を示す。
解析部 33 表示中心決定部 34 ビデオ画面
枠算出部 35 ズーム処理部 40 キャリパー定義部 41 キャリパー選択操作部 42 キャリパー
初期設定部 43 キャリパー位置決定部 44 キャリパー
姿勢決定部 45 キャリパー描画部 46 キャリパー
編集部 47 照明条件設定部 48 形状変更操
作部 101 表示装置 102 CADシス
テム 103 シミュレーション表示部 104 CAD図形
表示部 105 CADデータ入力部 106 CADデー
タ記憶部 107 測定条件入力部 108 測定条件記
憶部 109 測定命令記憶部 110 測定命令入
力部 111 測定命令記憶部 112 測定情報作
成部 113 評価結果表示部 114 評価結果記
憶部 115 測定情報記憶部 116 評価結果変
換部 117 評価部 118 測定情報変
換部 119 評価結果出力部 120 測定座標値
入力部 121 測定機命令出力部 122 外部記憶装
置 123 他の装置 124 測定機 125 座標計測システム 201 枠 202 図形 204 点キャリパー 205 線キャリパ
ー 206 矩形キャリパー
Claims (7)
- 【請求項1】 多次元形状である被測定物の所要の位置
における座標値を測定し、寸法や形状等を測定・評価す
る装置において、 予め作成されているCADデータを入力するCADデー
タ入力部と、 入力されたCADデータを表示するCAD図形表示部
と、 表示されたCAD図形に対して測定条件を教示入力する
測定条件入力部と、 測定命令や評価方法等の所要の測定情報を教示入力する
測定命令入力部と、 教示された測定命令や測定条件及び評価方法等に従っ
て、座標測定機を動作させるための測定命令を作成する
測定情報作成部と、 作成された測定命令に従った測定機に入力可能なデータ
を測定機に出力する測定機命令出力部と、 測定機によって測定された測定座標値を入力する測定座
標値入力部と、 入力された測定座標値と予め教示された測定情報の内容
に従って、被測定物の寸法や形状等の評価を行う評価部
と、 予め教示された測定情報と評価された結果とを自動的に
関連付けて、数値や図形で画面に表示する評価結果表示
部と、 評価された結果を外部装置に対して、所定の形式で出力
する評価結果出力部と、を有する事を特徴とする多次元
形状の座標計測システム。 - 【請求項2】 請求項1に記載された座標計測システム
において、 教示された測定情報の中から、測定機で実際に測定動作
を必要とする測定命令と、測定時の測定条件を設定する
命令のみとを抽出する測定情報作成部とし、 前記測定情報作成部で抽出作成された測定情報から測定
機が入力できる形式に測定情報を変換する測定情報変換
部を設け、 その変換された測定情報を測定機に対して、まとめて測
定命令データとして出力するか、もしくは、測定命令を
一つづ測定機に送る測定機命令出力部とし、 測定された座標値群のデータをまとめて入力するか、も
しくは、その測定座標値を一つづ入力する測定座標値入
力部とし、 測定された座標値と既に作成されている測定情報に従っ
て、被測定物の寸法及び形状を評価する評価部とする、 ことを特徴とする多次元形状の座標計測システム。 - 【請求項3】 請求項1又は請求項2に記載された座標
計測システムにおいて、 CADデータを用い、設定されているビデオ画像の拡大
倍率やキャリパー種別等の、測定に必要となる測定条件
に従って、実測時のビデオ画面の状態を画面上に表示す
るシミュレーション表示部を有することを特徴とする多
次元形状の座標計測システム。 - 【請求項4】 ビデオカメラから入力された階調画像デ
ータを元に、所要の位置における座標値を画像処理の技
法によって測定し、その座標値から多次元形状である被
測定物の寸法や形状等を測定・評価する為に、CADデ
ータを用いて測定命令や測定条件及び評価方法等をオフ
ラインで教示する測定情報の教示方法において、 現在設定されているビデオ画像の拡大倍率やキャリパー
種別等の、測定に必要となる測定条件に従って、実測時
のビデオ画面の状態を、CADデータを用いて画面上に
シミュレーション表示し、その表示画面に対して測定命
令や条件等の測定教示操作を行う、 ことを特徴とする測定情報の教示方法。 - 【請求項5】 請求項4に記載された測定情報の教示方
法において、 CAD図形データを用いて、CAD座標系でのビデオ画
面位置を算出することにより、測定位置の位置決めを行
うことを特徴とする測定情報の教示方法。 - 【請求項6】 請求項4又は請求項5に記載された測定
情報の教示方法において、 画像処理装置のビデオ画面表示範囲にもとづいて、CA
D図面の拡大倍率毎のビデオ画面枠サイズを算出し、画
像データ領域とCADの測定対象図形領域との比較を行
い、拡大倍率を設定することを特徴とする測定情報の教
示方法。 - 【請求項7】 請求項4乃至請求項6の何れかに記載さ
れた測定情報の教示方法において、 CAD図形データを用いて、キャリパーの定義及びCA
D上での編集作業を行うことにより、キャリパーの位置
決めと図形形状に対応したキャリパー姿勢の設定を自動
演算により行うことを特徴とする測定情報の教示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12119295A JP3765061B2 (ja) | 1995-05-19 | 1995-05-19 | 多次元形状の座標計測機用オフライン・ティーチング・システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12119295A JP3765061B2 (ja) | 1995-05-19 | 1995-05-19 | 多次元形状の座標計測機用オフライン・ティーチング・システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08314997A true JPH08314997A (ja) | 1996-11-29 |
| JP3765061B2 JP3765061B2 (ja) | 2006-04-12 |
Family
ID=14805147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12119295A Expired - Lifetime JP3765061B2 (ja) | 1995-05-19 | 1995-05-19 | 多次元形状の座標計測機用オフライン・ティーチング・システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3765061B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003044118A (ja) * | 2001-07-31 | 2003-02-14 | Amada Co Ltd | 板金加工製品の3次元検査・利用方法及びそのシステム |
| US6968080B2 (en) | 2000-05-10 | 2005-11-22 | Mitutoyo Corporation | Method and apparatus for generating part programs for use in image-measuring instruments, and image-measuring instrument and method of displaying measured results therefrom |
| CN100383778C (zh) * | 2004-12-11 | 2008-04-23 | 鸿富锦精密工业(深圳)有限公司 | 图档几何特征量测系统及方法 |
| EP3088838A1 (en) | 2015-04-20 | 2016-11-02 | Hitachi, Ltd. | Method of manufacturing railway vehicle, measurement apparatus and measurement method |
| JP2017004447A (ja) * | 2015-06-16 | 2017-01-05 | 株式会社日立製作所 | 3次元モデル生成装置、構成部材判定方法、およびプログラム |
| JPWO2019167150A1 (ja) * | 2018-02-27 | 2021-02-18 | 株式会社ニコン | 像解析装置、解析装置、形状測定装置、像解析方法、測定条件決定方法、形状測定方法及びプログラム |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04218708A (ja) * | 1990-06-04 | 1992-08-10 | Olympus Optical Co Ltd | 撮像手段を用いた対象物の測定方法 |
| JPH0510722A (ja) * | 1991-07-05 | 1993-01-19 | Dainippon Screen Mfg Co Ltd | 測長装置 |
| JPH06258242A (ja) * | 1993-03-09 | 1994-09-16 | Nippon Steel Corp | 回路パターンの検査装置 |
-
1995
- 1995-05-19 JP JP12119295A patent/JP3765061B2/ja not_active Expired - Lifetime
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04218708A (ja) * | 1990-06-04 | 1992-08-10 | Olympus Optical Co Ltd | 撮像手段を用いた対象物の測定方法 |
| JPH0510722A (ja) * | 1991-07-05 | 1993-01-19 | Dainippon Screen Mfg Co Ltd | 測長装置 |
| JPH06258242A (ja) * | 1993-03-09 | 1994-09-16 | Nippon Steel Corp | 回路パターンの検査装置 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6968080B2 (en) | 2000-05-10 | 2005-11-22 | Mitutoyo Corporation | Method and apparatus for generating part programs for use in image-measuring instruments, and image-measuring instrument and method of displaying measured results therefrom |
| JP2003044118A (ja) * | 2001-07-31 | 2003-02-14 | Amada Co Ltd | 板金加工製品の3次元検査・利用方法及びそのシステム |
| CN100383778C (zh) * | 2004-12-11 | 2008-04-23 | 鸿富锦精密工业(深圳)有限公司 | 图档几何特征量测系统及方法 |
| EP3088838A1 (en) | 2015-04-20 | 2016-11-02 | Hitachi, Ltd. | Method of manufacturing railway vehicle, measurement apparatus and measurement method |
| JP2017004447A (ja) * | 2015-06-16 | 2017-01-05 | 株式会社日立製作所 | 3次元モデル生成装置、構成部材判定方法、およびプログラム |
| JPWO2019167150A1 (ja) * | 2018-02-27 | 2021-02-18 | 株式会社ニコン | 像解析装置、解析装置、形状測定装置、像解析方法、測定条件決定方法、形状測定方法及びプログラム |
| US12140415B2 (en) | 2018-02-27 | 2024-11-12 | Nikon Corporation | Image analysis device, analyis device, shape measurement device, image analysis method, measurement condition determination method, shape measurement method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3765061B2 (ja) | 2006-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11520472B2 (en) | Inspection program editing environment including integrated alignment program planning and editing features | |
| JP7128933B2 (ja) | 画像処理装置 | |
| US8723862B2 (en) | Information processor and information processing method | |
| Ponomareva et al. | Grasplook: a vr-based telemanipulation system with r-cnn-driven augmentation of virtual environment | |
| KR20240044495A (ko) | 점검 지원 시스템, 점검 지원 방법, 및, 점검 지원 프로그램 | |
| JPH08314997A (ja) | 多次元形状の座標計測システム及び測定情報の教示方法 | |
| CN116339512A (zh) | 一种基于桌面投影的增强现实辅助装配系统及方法 | |
| US12400351B2 (en) | Workpiece image analyzing device, workpiece image analyzing method, and program | |
| JP2018144163A (ja) | ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
| JP3853658B2 (ja) | 画像測定装置及び画像測定用プログラム | |
| JP2018144161A (ja) | ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
| US11836865B2 (en) | Systems and methods for augmented reality visual inspections | |
| CN115859014A (zh) | 绝对定位精度的预测方法、装置、设备及存储介质 | |
| US6559841B2 (en) | Three-dimensional shape extracting method, apparatus and computer memory product | |
| JPH0660164A (ja) | 3次元形状処理システム | |
| CN113297952A (zh) | 一种复杂环境下绳驱柔性机器人的测量方法和系统 | |
| US20250349097A1 (en) | Processing device, processing system, and processing method | |
| JP3796453B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2002228424A (ja) | 照明条件の最適化による画像測定機のオフラインティーチング方法 | |
| JP4812477B2 (ja) | 画像計測装置用パートプログラム生成装置、画像計測装置用パートプログラム生成方法、及び画像計測装置用パートプログラム生成用プログラム | |
| JP2004163296A (ja) | パートプログラム編集時の座標系再現方法及びその装置 | |
| CN120868916A (zh) | 汽车零部件检测方法、装置、介质及计算机程序产品 | |
| EP4724233A1 (en) | Calibrating free moving equipment with camera-based augmented reality | |
| JPH03100409A (ja) | 測定支援装置 | |
| JP3142191B2 (ja) | 図形処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050331 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050530 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050804 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050913 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20051101 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060113 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100203 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110203 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120203 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130203 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130203 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140203 Year of fee payment: 8 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |