JPH11250247A - 孤立領域判定装置 - Google Patents
孤立領域判定装置Info
- Publication number
- JPH11250247A JPH11250247A JP10073100A JP7310098A JPH11250247A JP H11250247 A JPH11250247 A JP H11250247A JP 10073100 A JP10073100 A JP 10073100A JP 7310098 A JP7310098 A JP 7310098A JP H11250247 A JPH11250247 A JP H11250247A
- Authority
- JP
- Japan
- Prior art keywords
- filter
- value
- pixel
- determination
- isolated area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 235000013305 food Nutrition 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 239000000126 substance Substances 0.000 description 5
- 238000009499 grossing Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
い、高速な孤立領域判定が行える、高感度な孤立領域判
定装置を提供する。 【解決手段】入力端子1から入力された濃淡画像の各画
素について第1のフィルタ演算手段2で演算を行って第
1の出力値を算出し、第1の判定手段5において前記第
1の出力値と第1の判定基準値とを比較して前記画素が
孤立領域であるか否かを判定する。第2の判定手段6に
おいて前記第1の出力値と第2の判定基準値とを比較し
て前記画素が孤立領域候補であるか否かを判定し、孤立
領域候補と判定された画素についてのみ第2のフィルタ
演算手段7で演算を行い、その出力値と第3の判定基準
値とを比較して画素が孤立領域であるか否かを判定す
る。第1および第3の判定手段の結果の論理和を判定結
果とする。
Description
素が、近傍より濃度が高く孤立した領域である孤立領域
であるか否かを判定する孤立領域判定装置に関するもの
であり、より詳細には、X線透過画像を用いて食品など
の被測定物に混入する金属、石、ガラス等の微小異物を
検出する異物検出機等に使用する、リアルタイムな画像
のディジタル信号処理を行う孤立領域判定装置に関す
る。
物の混入の有無を判定する方法には、種々の画像処理手
法が提案されている。X線透過画像中において異物は孤
立領域とみなせる。そのため、ほとんどの手法は前記X
線透過画像と、前記X線透過画像の各画素に平滑化フィ
ルタ処理を行い平滑化した画像との差分値を算出し、前
記差分値とあらかじめ定められた判定基準値とを比較し
孤立領域であるか否かを判定する方法である。
均フィルタを用いた孤立領域判定装置の構成を示す。移
動平均フィルタとは濃淡画像の各画素について注目画素
を中心とした局所領域の領域平均値を前記注目画素の出
力値とする処理であり、低域通過フィルタの一つであ
る。移動平均フィルタは高速に処理を行えるため、リア
ルタイム処理が要求される場合によく使用される。
置の動作を以下に示す。入力端子1に入力されたX線透
過画像は、平均値算出手段3で各画素について当該画素
周辺の局所領域の領域平均値が計算される。この操作に
より平均値算出手段3から出力される画像は高周波成分
が除去され、滑らかな画像になる。次に前記X線透過画
像の各画素の濃度値と当該画素の前記領域平均値との差
分値が差分値算出手段4により計算される。この操作に
より前記平均値算出手段3で除去された前記透過画像の
高周波成分が抽出され、急峻な濃度変化をする孤立領域
などが強調される。最後に、判定手段5で前記差分値と
あらかじめ定められた判定基準値との比較を行い孤立領
域であるか否かを判定し、判定結果が出力端子10から
出力される。
均フィルタを用いた孤立領域判定装置は平均値を求める
局所領域の大きさを大きくすると、孤立領域だけでな
く、背景に含まれる被測定物のエッジなども強調してし
まい、これが誤判定の要因となる。エッジなどを孤立領
域と判定しないような判定基準値を設定して孤立領域の
有無を判定すると、孤立領域である異物の検出感度が低
下してしまうという問題がある。
域のみを強調するためには、孤立領域判定装置の平滑化
フィルタに、注目画素を中心とした局所領域の領域中央
値を前記注目画素の出力値とするメディアンフィルタ、
あるいは、注目画素の周囲でエッジを含まない局所領域
を探し、前記局所領域の領域平均値を前記注目画素の出
力値とする選択的局所平均化、などの非線形フィルタを
使用すれば良い。しかし、非線形フィルタは移動平均フ
ィルタなどの線形フィルタに比べ処理が複雑になり、処
理時間が長くなることが多い。
ためになされたもので、移動平均フィルタを用いた孤立
領域判定装置とほぼ同等の処理時間で、エッジなどの影
響による誤判定のない孤立領域判定が行える、高感度な
孤立領域判定装置を提供することを目的としている。
置は、濃淡画像の注目画素の周辺の局所領域の画素の濃
度値に所定の係数行列を用いて積和演算を行って第1の
フィルタ出力値を算出する第1のフィルタ演算手段と、
前記第1のフィルタ出力値を受けて、該第1のフィルタ
出力値とあらかじめ定められた第1の判定基準値とを比
較して、前記注目画素が前記濃淡画像において近傍より
濃度が高く孤立した領域である孤立領域であるか否かを
判定する第1の判定手段と、前記第1のフィルタ出力値
を受けて、該第1のフィルタ出力値とあらかじめ定めら
れた第2の判定基準値とを比較して、前記注目画素が前
記濃淡画像において近傍より濃度が高い領域である孤立
領域候補であるか否かを判定する第2の判定手段と、該
第2の判定手段からの判定結果と前記濃淡画像の各画素
のデータを受けて、前記各画素のうち、孤立領域候補と
判定された画素については、当該画素の周辺の局所領域
の画素の濃度値を用いてフィルタ演算を行って第2のフ
ィルタ出力値を算出する第2のフィルタ演算手段と、前
記第2のフィルタ出力値を受けて、該第2のフィルタ出
力値とあらかじめ定められた第3の判定基準値とを比較
して、前記注目画素が孤立領域であるか否かを判定する
第3の判定手段とを備え、第1の判定手段の判定結果と
第3の判定手段の判定結果とに基づいて、前記注目画素
が孤立領域であるか否かを判定する。
画素の周辺の局所領域の画素の濃度値に所定の係数行列
を用いて積和演算を行って第1のフィルタ出力値を算出
し、前記第1のフィルタ出力値と前記第1の判定基準値
とを比較して前記注目画素が孤立領域であるか否かを判
定するとともに、前記第1のフィルタ出力値と前記第2
の判定基準値とを比較して前記注目画素が孤立領域候補
であるか否かを高速に判定することができる。その後、
孤立領域候補と判定された画素についてのみ前記注目画
素の周辺の局所領域の濃度値を用いてフィルタ演算を行
って第2のフィルタ出力値を算出し、孤立領域候補と判
定されなかった画素については所定の値を第2のフィル
タ出力値として出力する。前記第2のフィルタ出力値と
前記第3の判定基準値とを比較して前記注目画素が孤立
領域であるか否かを判定することにより、前記第1の判
定基準値で孤立領域と判定されなかった検出すべき孤立
領域を孤立領域と判定することができる。
の濃淡画像のうちの1%の画素が孤立領域候補であった
とし、前記第2のフィルタ演算手段が前記第1のフィル
タ演算手段の5倍の処理時間であり、前記第1のフィル
タ演算手段が従来の移動平均フィルタを用いたフィルタ
である場合について考える。このとき、本発明の孤立領
域判定装置の1フレームの処理時間は判定処理などの時
間を無視できるとすると,従来の移動平均フィルタを用
いた孤立領域判定装置の、 1+1/100×5=1.05(倍) となり、従来の移動平均フィルタを用いた孤立領域判定
装置の処理時間とほとんど変わらず、高速である。
を用いて説明する。入力端子1に入力された濃淡画像
は、第1のフィルタ演算手段2で各画素について当該画
素周辺の局所領域の画素の濃度値に所定の係数行列を用
いて積和演算を行って第1のフィルタ出力値が算出され
る。
フィルタ演算手段2について説明する。入力端子1に入
力された濃淡画像は、平均値算出手段3で各画素につい
て当該画素周辺の局所領域の領域平均値が計算される。
次に前記濃淡画像の当該画素の濃度値と当該画素の前記
領域平均値との差分値が差分値算出手段4により計算さ
れ、第1のフィルタ出力値として出力される。
たX線透過画像を示す。図4(a)、(b)、(c)は
異物、図4(d)は食品の重なり、図4(e)は食品の
エッジである。図5に前記第1のフィルタ出力値により
得られる濃淡画像を示す。ただし、負の値は0とし、前
記濃淡画像中の最大値を255に規格化し、255を
黒、0を白で表している。前記第1のフィルタ出力値は
高域通過フィルタの出力値となり、図5(a)、
(b)、(c)の異物、図5(d)の食品の重なり、図
5(e)の食品のエッジなどのように急峻な濃度変化を
する画素が強調されている。
いて前記第1のフィルタ出力値とあらかじめ定められた
第1の判定基準値とを比較して、当該画素が孤立領域で
あるか否かが判定され、出力される。第1の判定基準値
はエッジなどが誤判定されないように設定する。また、
第2の判定手段6で前記各画素について前記第1のフィ
ルタ出力値とあらかじめ定められた第2の判定基準値と
を比較して、当該画素が孤立領域候補であるか否かが判
定され、出力される。第2の判定基準値によりエッジな
どが誤判定されても構わない。
出機では異物の存在しない被判定画像を第1のフィルタ
演算手段3で処理し、全ての画素の処理結果の値の中で
最大の値に余裕をもたせた値を判定基準値に設定する方
法等がある。また、第2の判定基準値の設定は、異物の
み存在する被判定画像を第1のフィルタ演算手段で処理
し、異物画素の処理結果の値の中で最小の値に余裕をも
たせた値を判定基準値に設定する方法等がある。
1の判定手段で孤立領域判定した画像を示す。本来は孤
立領域であるか否かを判定するだけでよいが、視覚的に
わかりやすいように孤立領域と判定された画素を黒と
し、判定されなかった画素のうち、前記第1のフィルタ
出力値が正のものを灰色とし、負のものを白とした。第
1の判定基準値は誤判定されないように設定してあるた
め、図6(b)のように検出できない異物がある。ま
た、図7に図5の濃淡画像を第2の判定手段で孤立領域
候補判定した結果の画像を示す。図5と同様に孤立領域
候補と判定された画素を黒とし、判定されなかった画素
のうち、前記第1のフィルタ出力値が正のものを灰色と
し、負のものを白とした。図6では検出できなかった図
6(b)のような異物が図7では図7(b)のようにす
べて検出できている。しかし、図7(d)のような食品
の重なりや、図7(e)のような食品のエッジなどが誤
判定されている。
は、第2のフィルタ演算手段7で各画素について前記第
2の判定手段6で孤立領域候補と判定された画素につい
ては当該画素周辺の局所領域の画素の濃度値を用いてフ
ィルタ演算を行って第2のフィルタ出力値が算出され、
第2の判定手段6で孤立領域候補と判定されなかった画
素については、次に説明する第3の判定手段8で孤立領
域であると判定されないような所定値が第2のフィルタ
出力値として出力される。
としてメディアンフィルタを使用したフィルタの構成を
図2に示す。入力端子11に入力された濃淡画像は、各
画素について入力端子12に入力される第2の判定手段
6で判定された孤立領域候補の判定結果を受けて、前記
第2の判定手段6で孤立領域候補と判定された画素につ
いては選択手段13で13aの経路に送られ、中央値算
出手段14で当該画素周辺の局所領域の領域中央値が計
算される。次に前記濃淡画像の当該画素の濃度値と当該
画素の前記領域中央値との差分値が差分値算出手段15
で計算され、第2のフィルタ出力値として出力端子17
に出力される。前記第2の判定手段で孤立領域と判定さ
れなかった画素については選択手段13で13bの経路
に送られ、零値出力手段16で0が出力され、出力端子
17に出力される。0は次で説明する第3の判定手段8
で孤立領域と判定されないような値の具体例である。
をフィルタ入力端子11に入力し、図7の異物候補判定
結果を入力端子12に入力したときの前記第2のフィル
タ出力値により得られる濃淡画像を示す。ただし、負の
値は0とし、前記濃淡画像中の最大値を255に規格化
し、255を黒、0を白で表している。前記第2のフィ
ルタ出力値は図5の第1のフィルタ出力値による濃淡画
像と比較すると、図8(a)、(b)のような異物は同
じように強調されているが、図8(e)のような食品の
エッジなどは強調されていないことがわかる。
タ出力値とあらかじめ定められた第3の判定基準値とを
比較して、当該画素が孤立領域であるか否かが判定さ
れ、出力される。第3の判定基準値は、例えば異物検出
機では異物の存在しない被判定画像を第2のフィルタ演
算手段7で処理し、全ての画素の処理結果の値の中で最
大の値に余裕をもたせた値を判定基準値に設定する方法
等がある。
3の判定手段8で孤立領域判定した結果の画像を示す。
孤立領域と判定された画素を黒とし、判定されなかった
画素のうち、前記第2のフィルタ出力値が正のものを灰
色とし、負のものを白とした。図6の第1の判定手段5
で検出することのできなかった図6(b)の異物が図9
(b)のように検出できている。しかし、第1の判定手
段5で検出できた図6(c)の異物は図9(c)のよう
に検出できなくなっている。
前記第1の判定手段5の孤立領域判定結果と前記第3の
判定手段8の孤立領域判定結果の論理和が算出され、出
力端子10に出力される。第1の判定手段5と第3の判
定手段8のどちらか一方でも孤立領域と判定された画素
が孤立領域と判定されるため、一つの判定手段で孤立領
域判定を行うのに比べ、孤立領域の判定感度が向上す
る。
説明する。第1の実施の形態との相違点は第2の判定手
段6の孤立領域候補の判定結果が第2のフィルタ演算部
7だけでなく、第3の判定手段8および論理和算出手段
9にも送られることである。前記第2の判定手段6で孤
立領域候補と判定された画素については当該画素の周辺
の局所領域の画素の濃度値を用いてフィルタ演算を行っ
て第2のフィルタ出力値が算出され、第3の判定手段8
で前記第2のフィルタ出力値とあらかじめ定められた第
3の判定基準値とを比較して、当該画素が孤立領域であ
るか否かが判定され、論理和算出手段9で前記第1の判
定手段5の孤立領域判定結果と前記第3の孤立領域判定
結果との論理和が算出され、出力端子10に出力され
る。前記第2の判定手段6で孤立領域と判定されなかっ
た画素については第2のフィルタ演算部および第3の判
定手段8では処理を行う必要はなく、論理和算出部9で
前記第1の判定手段5での判定結果がそのまま出力さ
れ、出力端子10に出力される。
た第1のフィルタ演算手段について説明したが、すべて
の孤立領域を強調し、高速に演算を行うことができるフ
ィルタであれば同様に実現できる。単純な移動平均フィ
ルタは平均値算出を高速に行うアルゴリズムが知られて
いるため、畳み込み演算を行う通常の線形フィルタより
も高速に演算を行うことができる。
を使用した第2のフィルタ演算手段について説明した
が、孤立領域を強調するようなフィルタであれば同様に
実現できる。例えば、モルフォロジー演算による孤立領
域抽出フィルタとして、トップハット変換や輪なげフィ
ルタ(Quoitフィルタ)などがある。第1のフィル
タ演算手段のフィルタ演算を行う係数行列を変えたフィ
ルタでも第1のフィルタ演算手段とフィルタ特性が異な
るため、該フィルタを第2のフィルタ演算手段に使用し
ても、孤立領域の判定感度を向上させることができる。
いて、高速な第1のフィルタ演算手段により算出される
第1のフィルタ出力値とあらかじめ定められた第1の判
定基準値とを比較して、孤立領域であるか否かを判定す
るとともに、前記第1のフィルタ出力値とあらかじめ定
められた第2の判定基準値とを比較して孤立領域候補で
あるか否かを判定し、孤立領域候補と判定された画素に
ついてのみ第2のフィルタ演算手段により第2のフィル
タ出力値を算出し、前記第2のフィルタ出力値とあらか
じめ定められた第3の判定基準値とを比較して、孤立領
域であるか否かを判定し、第1の判定基準値と第3の判
定基準値のどちらか一方でも孤立領域と判定された画素
を孤立領域と判定することとしたから、従来の移動平均
フィルタを用いた孤立領域判定装置と同様に処理が高速
で、感度についてはより高感度な孤立領域判定装置を実
現することができる。
る。
る。
る。
である。
である。
図である。
示す図である。
である。
図である。
る。
Claims (1)
- 【請求項1】濃淡画像の注目画素の周辺の局所領域の画
素の濃度値に所定の係数行列を用いて積和演算を行って
第1のフィルタ出力値を算出する第1のフィルタ演算手
段(2)と、 前記第1のフィルタ出力値を受けて、該第1のフィルタ
出力値とあらかじめ定められた第1の判定基準値とを比
較して、前記注目画素が前記濃淡画像において近傍より
濃度が高く孤立した領域である孤立領域であるか否かを
判定する第1の判定手段(5)と、 前記第1のフィルタ出力値を受けて、該第1のフィルタ
出力値とあらかじめ定められた第2の判定基準値とを比
較して、前記注目画素が前記濃淡画像において近傍より
濃度が高い領域である孤立領域候補であるか否かを判定
する第2の判定手段(6)と、 該第2の判定手段からの判定結果と前記濃淡画像の各画
素のデータを受けて、前記各画素のうち、孤立領域候補
と判定された画素については、当該画素の周辺の局所領
域の画素の濃度値を用いてフィルタ演算を行って第2の
フィルタ出力値を算出する第2のフィルタ演算手段
(7)と、 前記第2のフィルタ出力値を受けて、該第2のフィルタ
出力値とあらかじめ定められた第3の判定基準値とを比
較して、前記注目画素が孤立領域であるか否かを判定す
る第3の判定手段(8)とを有し、第1の判定手段の判
定結果と第3の判定手段の判定結果とに基づいて、前記
注目画素が孤立領域であるか否かを判定する孤立領域判
定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07310098A JP4008093B2 (ja) | 1998-03-05 | 1998-03-05 | 孤立領域判定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07310098A JP4008093B2 (ja) | 1998-03-05 | 1998-03-05 | 孤立領域判定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11250247A true JPH11250247A (ja) | 1999-09-17 |
| JP4008093B2 JP4008093B2 (ja) | 2007-11-14 |
Family
ID=13508579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07310098A Expired - Lifetime JP4008093B2 (ja) | 1998-03-05 | 1998-03-05 | 孤立領域判定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4008093B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007310635A (ja) * | 2006-05-18 | 2007-11-29 | Akuseru:Kk | 画像処理装置および画像処理方法 |
| JP2008099129A (ja) * | 2006-10-13 | 2008-04-24 | Fuji Xerox Co Ltd | 画像読取装置 |
| US8103058B2 (en) | 2008-10-17 | 2012-01-24 | Visidon Oy | Detecting and tracking objects in digital images |
-
1998
- 1998-03-05 JP JP07310098A patent/JP4008093B2/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007310635A (ja) * | 2006-05-18 | 2007-11-29 | Akuseru:Kk | 画像処理装置および画像処理方法 |
| JP2008099129A (ja) * | 2006-10-13 | 2008-04-24 | Fuji Xerox Co Ltd | 画像読取装置 |
| US8103058B2 (en) | 2008-10-17 | 2012-01-24 | Visidon Oy | Detecting and tracking objects in digital images |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4008093B2 (ja) | 2007-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0467275A (ja) | 認識方法及び認識装置 | |
| KR960006477A (ko) | 에지강조를 이루는 오차확산방식 이치화 방법 및 장치 | |
| US5237621A (en) | Product appearance inspection methods and apparatus employing low variance filter | |
| CN114596210A (zh) | 噪声估计方法、装置、终端设备及计算机可读存储介质 | |
| US6999604B1 (en) | Apparatus and method for detecting a moving object in a sequence of color frame images | |
| JP2005165387A (ja) | 画面のスジ欠陥検出方法及び装置並びに表示装置 | |
| Etemadnia et al. | Automatic Image Shadow Identification using LPF in Homomorphic Processing System. | |
| JP2005283197A (ja) | 画面のスジ欠陥検出方法及び装置 | |
| JPH11250247A (ja) | 孤立領域判定装置 | |
| KR20030026983A (ko) | 텍스트 판별 방법 및 관련된 장치 | |
| Choudhary et al. | A novel approach for edge detection for blurry images by using digital image processing | |
| Hossain et al. | Hardware design and implementation of adaptive canny edge detection algorithm | |
| JP3871292B2 (ja) | 孤立領域強調フィルタ回路 | |
| Sun et al. | Retinex theory‐based shadow detection and removal in single outdoor image | |
| Mathur | Edge Detection Techniques In Image Processing With Elaborative Approach Towards Canny | |
| JPH10208037A (ja) | 目標検出装置 | |
| JPH0512440A (ja) | エツジ検出装置 | |
| JP2940254B2 (ja) | エッジ・領域検出方法及び装置 | |
| JPH0844844A (ja) | 物体検出装置 | |
| JP2005251132A (ja) | 影検出装置、影検出方法及び影検出プログラム、影検出装置を用いた画像処理装置、影検出方法を用いた画像処理方法及び影検出プログラムを用いた画像処理プログラム | |
| Adinarayana | Edge detector for spectral image using new approach | |
| JPS63219081A (ja) | 画像の2値化方式 | |
| JPH0683959A (ja) | 画像の領域分割方式 | |
| JPH1153544A (ja) | 画像処理装置 | |
| JP3240788B2 (ja) | 画像信号の二値判別回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040630 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070515 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070807 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070829 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130907 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |