JPH08205187A - 画像再生方法及び画像再生装置 - Google Patents

画像再生方法及び画像再生装置

Info

Publication number
JPH08205187A
JPH08205187A JP7028844A JP2884495A JPH08205187A JP H08205187 A JPH08205187 A JP H08205187A JP 7028844 A JP7028844 A JP 7028844A JP 2884495 A JP2884495 A JP 2884495A JP H08205187 A JPH08205187 A JP H08205187A
Authority
JP
Japan
Prior art keywords
image
data
image pickup
pickup data
parameter group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7028844A
Other languages
English (en)
Other versions
JP3706648B2 (ja
Inventor
Keishin Shiraiwa
敬信 白岩
Eiichiro Ikeda
栄一郎 池田
Yoshiro Udagawa
善郎 宇田川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP02884495A priority Critical patent/JP3706648B2/ja
Priority to US08/534,338 priority patent/US6201893B1/en
Publication of JPH08205187A publication Critical patent/JPH08205187A/ja
Application granted granted Critical
Publication of JP3706648B2 publication Critical patent/JP3706648B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【目的】 所望の正確な画像再生を行うことができるよ
うにした。 【構成】 前記撮像データの夫々について画像再生パラ
メータ群を特定し、前記関連する複数枚の撮像データに
ついて特定した前記画像再生パラメータの中から共通の
画像再生パラメータ群を使用して前記複数枚の撮像デー
タを画像データに変換する(S5〜S7)。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像再生方法及び画像再
生装置に関し、より詳しくは撮像管やCCD等の撮像素
子により得られる撮像信号に対して、その撮像データを
可視化できる画像データ、例えばNTSC−RGB等に
変換する画像再生方法及びそれを利用した画像再生装置
に関する。
【0002】
【従来の技術】従来より、CCD等の撮像素子を利用し
たテレビカメラ等の画像再生装置においては、撮像素子
やカラーフィルタ等の経年変化や照明光源の変化とは無
関係に目視で同一印象が常に得られるように、或いはで
きるだけ忠実な再生画像が得られるように、撮像データ
から画像データを得る画像再生処理時にて前記撮像デー
タ自身から画像再生パラメータの一部を決定することが
一般的に行われている。画像再生パラメータとしては、
例えば、色温度や再生輝度レベル等があり、画像再生パ
ラメータはこれら色温度を補正したり再生輝度レベルを
設定することにより決定される。
【0003】色温度の補正においては、具体的には、所
謂ホワイトバランス調整が行われ、白色と見えるべき物
体は白色に見えるように調整される。そして、この色温
度補正は一般には撮像された画像データに基づいて判断
されて行われる。すなわち、画像データから白色と目視
される物体を抽出し、これら白色と目視される物体から
画像再生パラメータの一部であるホワイトバランス係数
が決定される。ホワイトバランス調整においては、通
常、前記ホワイトバランス係数を使用して撮像素子から
出力される映像信号の内、複数の色成分信号に夫々色成
分ゲイン量を与えて補正することにより、白色と目視さ
れるべき物体に対してその映像信号を構成する各色成分
信号の出力レベルが等しくなるように調整される。
【0004】再生輝度レベルの設定は、撮像データから
輝度分布を算出し、最適な再生輝度レベル(範囲)を設
定し、その範囲において再生画像が得られるようにパラ
メータが調整され、再生される。
【0005】
【発明が解決しようとする課題】しかしながら、上記ホ
ワイトバランス調整により映像の色合いを調整する方法
は、撮像素子等から得られる映像信号中に白色と目視さ
れる物体が十分に存在するときには有効な方法である
が、特定の状況においては撮像信号中に白色と目視され
るべき物体がない場合や白色と目視されるべき物体が非
常に少ない場合があり、かかる状況下においては上記ホ
ワイトバランス調整により色合いを調整することが不可
能である。また、かかる状況下においては、一般に撮像
データ全体の撮像信号を各色成分毎に平均化して平均値
を算出し、該平均値を使用してホワイトバランス調整が
行われることがあるが、該方法では前記平均値に示され
る色が白色(光源の色)であるとは限らず、精度よくホ
ワイトバランス調整を行うことができない。
【0006】このように従来の画像再生装置において
は、最適な再生画像を得るために画像再生処理を行う場
合、前記撮像データから各再生パラメータを決定しよう
とすると、例えばホワイトバランス処理における光源情
報等のように特定のパラメータを決定するのに必要なだ
けの十分な情報を得ることができなくなる場合があり、
パラメータを精度良く設定することができないという問
題点があった。
【0007】また、再生輝度レベルの設定においては、
個々の撮像データ毎に輝度の再生パラメータを決定する
と画像比較等を行う場合や画像合成処理等を行う場合
に、比較する複数枚の撮像データ間の輝度の相関関係等
が失われ、再生画像間の比較が困難となったり、或いは
合成等における合成画像において輝度の繋がりが不自然
になる等の不具合が生じる虞があるという問題点があっ
た。例えば、撮影領域の関係で、本来なら同一画面とし
て撮像したい被写体を分割して撮像し、複数枚の撮像デ
ータを得たときに上記不具合が明らかになる。
【0008】すなわち、画像情報により画像再生パラメ
ータ群を決めて得られる再生画像は、個々の撮像データ
についての画像再生パラメータ群に基づくものが個別に
得られるため、輝度情報により物性情報等を得る場合の
ように複数枚の画像を比較解析することにより画像間の
情報を抽出して再生画像を得ることができない。このた
め、例えば、反射率が空間的に徐々に変化している場合
においては、個々の撮像データ毎に得られている輝度分
布範囲に違いが生じており、これを各撮像データ毎に最
適化して画像再生を行うと、本来各撮像領域にあった輝
度の相関関係が失われた画像として再現され、したがっ
て各撮像領域を撮像した画像を合成して一枚の画像とす
ると輝度の相関関係が失われた不自然な合成画像になる
という問題点があった。
【0009】本発明はこのような問題点に鑑みなされた
ものであって、所望の正確な画像再生を行うことができ
る画像再生方法と画像再生装置を提供することを目的と
する。
【0010】
【課題を解決するための手段】上記目的を達成するため
に本発明は、記録媒体に記録されている関連する複数枚
の撮像データを画像再生パラメータ群にしたがって画像
データに変換する画像再生方法において、前記撮像デー
タの夫々について画像再生パラメータ群を特定し、前記
関連する複数枚の撮像データについて特定した前記画像
再生パラメータの中から共通の画像再生パラメータ群と
して前記複数枚の撮像データを画像データに変換するこ
とを特徴としている。
【0011】具体的には、前記記録媒体に記録されてい
る撮像データから少なくとも2枚以上の撮像データを選
択指示すると共に、前記撮像データに応じた画像再生パ
ラメータ群を特定し、前記選択指示された撮像データを
前記画像再生パラメータにしたがって再生処理を施し、
次いで前記撮像データ以外の撮像データについて前記特
定された画像再生パラメータと共通の画像再生パラメー
タを使用して順次再生処理を施し、前記複数枚の撮像デ
ータを画像データに変換することを特徴としている。
【0012】また、本発明は、撮像データを記録する撮
像データ記録手段と、該撮像データ記録手段に記録され
た撮像データを画像データに変換する画像再生手段とを
備えた画像再生装置において、前記画像再生処理手段
が、前記撮像データ記録手段に記録されている撮像デー
タから少なくとも2枚以上の撮像データを選択する撮像
データ選択手段と、前記撮像データに応じた画像再生パ
ラメータ群を選択する画像再生パラメータ群選択手段
と、該画像再生パラメータ群選択手段と前記撮像データ
選択手段とに基づいて画像の再生処理を行う再生処理手
段とを備え、前記再生処理手段が、複数枚の撮像データ
に対する共通の画像再生パラメータ群により画像の再生
処理を行うことを特徴としている。
【0013】また、上記画像再生方法及び画像再生装置
において、前記画像再生パラメータを構成するパラメー
タは、色温度情報、階調情報、輝度情報を含むことを特
徴としている。
【0014】
【作用】上記画像再生方法及び画像再生装置によれば、
関連する複数枚の撮像データについて最適となるように
特定した画像再生パラメータ群を共通の画像再生パラメ
ータ群として複数枚の撮像データが画像データに変換さ
れる。
【0015】
【実施例】以下、本発明の実施例を図面に基づいて詳説
する。
【0016】図1は本発明に係る画像再生装置の一実施
例を示すブロック構成図である。
【0017】1は、デジタルカメラ等のカラー画像撮像
部であって、被写体を撮像し該被写体を二次元のデジタ
ル撮像データ(以下、単に「撮像データ」という)とし
て撮像データメモリ部2に出力する。そして、撮像デー
タメモリ部2は、カラー画像撮像部1から送られてきた
前記撮像データを記憶保存する。
【0018】カラー画像再生処理部3は、撮像データメ
モリ部2に記憶保存されている撮像データに関し所定の
画像再生処理を施し、例えば、デジタル化されたNTS
C−RGBデータに変換し、カラー画像再生表示部4及
び再生画像データメモリ部5に出力する。前記カラー画
像再生表示部4は、例えばカラービデオボード及びモニ
タを備え、画像再生処理部3から出力されたカラー画像
データを受信し、或いは前記再生画像データメモリ部5
に記憶されているカラー画像データを読み出し、カラー
画像としてモニタ上に表示する。また、再生画像データ
メモリ部5は、カラー画像再生処理部3において画像再
生された画像データを記憶保存し、この記憶保存された
画像データは必要に応じてカラー画像再生表示部4に供
給され、カラー画像として表示する。
【0019】画像再生パラメータメモリ部6は、カラー
画像再生処理部3からの指示情報に基づいて所望のパラ
メータ群或いはその一部を記憶保存し、必要に応じてカ
ラー画像再生処理部3に供給する。ここで、前記パラメ
ータ群を構成する画像再生パラメータとしては、例え
ば、色温度、ホワイトバランス係数、色成分ゲイン量、
ホワイトポイント情報、ブラックポイント情報、ガンマ
係数、階調特性、階調変換曲線、階調変換ルックアップ
テーブル、ニーポイント、ダイナミックレンジ、色域、
照明光源情報、色座標変換マトリックス係数、空間周波
数特性、ブラック(グレイ)バランス係数、S/N比、
自己相関係数、ウィーナスペクトル、強度(濃度)分
布、輝度分布等を記述するパラメータ或いはこれらの情
報により直接、間接に得られるパラメータ等を挙げるこ
とができる。
【0020】しかして、前記カラー画像再生処理部3
は、撮像データメモリ部2からのデジタルデータを保持
する撮像データ保持機構7と、撮像データメモリ部2に
記憶されている撮像データを選択して前記撮像データ保
持機構7に取り出す撮像データ選択機構8と、該撮像デ
ータ選択機構8に対して撮像データを選択するための条
件等を指示する撮像データ選択指示機構9と、画像再生
処理において使用される画像再生パラメータ群を選択或
いは決定する画像再生パラメータ群決定機構10と、前
記画像再生パラメータ群を選択或いは決定するための条
件等を前記画像再生パラメータ群決定機構10に指示す
る画像再生パラメータ群選択指示機構11と、前記画像
再生パラメータ群を使用して撮像データを画像再生する
画像再生処理機構12とを備えている。また、前記画像
再生パラメータ群決定機構10は、画像再生パラメータ
群或いはその一部を前記画像再生パラメータメモリ部6
に出力すると共に、該画像再生パラメータメモリ部6か
ら必要に応じて画像再生パラメータ群或いはその一部が
供給され、画像再生処理機構12に送られて撮像データ
を画像データに変換される際に使用される。
【0021】図2は本画像再生処理装置の画像処理手順
を示すフローチャートであって、本プログラムはカラー
画像再生処理部3で実行される。また、撮像データメモ
リ部2には既にカラー画像撮像部1で撮像された複数枚
の撮像データが記憶保持されているものとする。
【0022】まず、ステップS1で撮像データ選択指示
機構9の内容を調査し、選択指示内容を撮像データ選択
機構8に供給する。具体的には、撮像データ選択指示機
構9では、通常は選択する撮像データをファイル名等の
入力により指示するか、或いは撮像データメモリ部2に
格納されている撮像データを適当な手段により一覧表示
し、該一覧表示された撮像データの中から適宜マークし
指示する。本実施例では少なくとも2枚以上の撮像デー
タが指示されるが、この場合、撮像データメモリ部2に
格納されている撮像データについてその撮像条件(例え
ば、撮像日、撮像時間、環境条件等)が情報として存在
している場合は、かかる選択指示を行う場合に参酌され
る。尚、撮像データが1枚のみ指示されたときは、本プ
ログラムは実施されず、通常の画像再生処理により撮像
データが画像データに変換される。
【0023】続くステップS2では画像再生パラメータ
群選択指示機構11の内容が調査され、画像再生パラメ
ータ群決定機構10に供給される。画像再生パラメータ
群選択指示の内容としては、例えば、画像再生パラメー
タ群を構成する色温度や再生輝度レベル等の複数の画像
再生パラメータを直接入力し、或いは設定する。すなわ
ち、画像再生パラメータメモリ部6に既に画像再生パラ
メータが群として保存されているときは該保存された画
像再生パラメータ群を指示する。或いは、特定の撮像デ
ータを指示することにより該撮像データを解析すること
により決定される画像再生パラメータ群を指示し、或い
は撮像データから得られるパラメータに基づき画像再生
パラメータ群を構成するパラメータとして新たに指示す
る。
【0024】次に、ステップS3では、画像再生パラメ
ータ群選択指示機構11から供給された画像再生パラメ
ータ群の選択指示情報を解析し、必要に応じて撮像デー
タ選択機構8や撮像データ保持機構7或いは画像再生パ
ラメータ群メモリ部6とアクセスし、所望の画像再生パ
ラメータ群を選択・決定或いは再構成する。該選択・決
定或いは再構成された画像再生パラメータ群は、続くス
テップS4において、画像再生処理機構12における画
像再生パラメータ群として設定される。
【0025】ステップS5では、撮像データ選択機構8
において、前記撮像データ選択指示機構9で指示された
選択指示内容に基づいて撮像データメモリ部2に格納さ
れている撮像データの中から該選択指示内容に合致する
撮像データを選択して前記撮像データメモリ部2から出
力され、所望の撮像データが撮像データ保持機構7を介
して画像再生処理機構12に取り込まれる。
【0026】ステップS6では、画像再生処理機構12
で画像再生パラメータ群にしたがった画像再生処理が行
われる。次いでステップS7では選択指示された撮像デ
ータに相当する枚数分だけ画像再生処理が終了したか否
かを判断し、選択指示された撮像データに相当する枚数
だけ画像再生処理が終了していないときはステップS5
及びステップS6の処理を繰返し、撮像データに相当す
る枚数分だけ画像再生処理が終了したときは本プログラ
ムを終了する。すなわち、ステップS5及びステップS
6を撮像データの枚数分だけ順次繰り返すことにより、
夫々の撮像データについて最適に再生するように特定さ
れた画像再生パラメータ群の中から、複数枚の撮像デー
タに共通の画像再生パラメータ群を使用して再生画像が
得られることとなる。
【0027】図3は上記画像再生装置を使用して被写体
を撮影する場合を模式的に示した図であって、撮影領域
の関係から、本来なら同一画面として撮影したい被写体
を4つの撮影領域A、B、C、Dに分割して撮影される
場合を示している。すなわち、図3においては、4つの
撮影領域A、B、C、Dに分割されて被写体が撮影され
ており、4枚の撮像データが画像再生される。つまり、
これらの画像再生に使用される画像再生パラメータ群
は、これらの4枚の撮像データを解析することにより、
各撮像データについて最適であって、且つ4枚の撮像デ
ータの相関関係が保持されるように決定される。換言す
ると、このようにして決定された画像再生パラメータ群
が、4枚の撮像データの画像再生処理に対する共通の特
定画像再生パラメータ群として使用され、前記4枚の撮
像データの画像再生がなされるのである。
【0028】このように予め指示した方法により得られ
る特定の画像再生パラメータ群を共通のパラメータ群と
して使用し、複数枚の撮像データに介して最適な画像再
生処理を施すことにより、撮像データ間の相関関係を生
かし、かつ有用な画像情報を保持しつつ画像再生を行う
ことができ、不自然さを感じさせない高精度な画像の再
生を行うことができる。
【0029】尚、本発明は上記実施例に限定されるもの
ではなく、撮像データから画像データる変換する際に、
複数枚の撮像データに関して最適となるように特定した
画像再生パラメータ群を共通の画像再生パラメータ群と
して使用し、複数枚の撮像データについて該撮像データ
を画像データに変換できればよい。したがって上記以外
にも種々のシーケンス処理で実行することができる。例
えば、論理化され又はソフトウェア化され、或いはアル
ゴリズム化されたものに従って動作するハードウェアや
装置で実行することも可能である。
【0030】
【発明の効果】以上詳述したように本発明の画像再生方
法及び画像再生装置によれば、複数枚の撮像データに対
して画像再生パラメータ群を精度良く決定することがで
き、画像毎に異なった画像再生パラメータを使用して再
生処理が行われることにより撮像時にあった撮像データ
間の関係の情報が失われることもなく、したがって画像
間の情報や相関関係が失われることもなく、より正確な
画像再生パラメータで構成される画像再生パラメータ群
を使用して撮像データを画像データに変換することが可
能となり、自然で正確な画像を再生することができる。
【図面の簡単な説明】
【図1】本発明に係る画像再生装置の一実施例を示すブ
ロック構成図である。
【図2】本発明に係る画像再生方法の一実施例を示すフ
ローチャートである。
【図3】本発明により被写体を撮像したときの状態を模
式的に示した図である。
【符号の説明】
2 撮像データメモリ部(撮像データ記録手段) 3 画像再生処理部(画像再生手段) 8 撮像データ選択機構(撮像データ選択手段) 10 画像再生パラメータ群決定機構(画像再生パラメ
ータ群選択手段) 12 画像再生処理機構(再生処理手段)

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 記録媒体に記録されている関連する複数
    枚の撮像データを画像再生パラメータ群にしたがって画
    像データに変換する画像再生方法において、 前記撮像データの夫々について画像再生パラメータ群を
    特定し、前記関連する複数枚の撮像データについて特定
    した前記画像再生パラメータの中から共通の画像再生パ
    ラメータ群を使用して前記複数枚の撮像データを画像デ
    ータに変換することを特徴とする画像再生方法。
  2. 【請求項2】 前記記録媒体に記録されている撮像デー
    タから少なくとも2枚以上の撮像データを選択指示する
    と共に、前記撮像データに応じた画像再生パラメータ群
    を特定し、前記選択指示された撮像データを前記画像再
    生パラメータにしたがって再生処理を施し、次いで前記
    撮像データ以外の撮像データについて前記特定された画
    像再生パラメータと共通の画像再生パラメータを使用し
    て順次再生処理を施し、前記複数枚の撮像データを画像
    データに変換することを特徴とする請求項1記載の画像
    再生方法。
  3. 【請求項3】 前記画像再生パラメータを構成するパラ
    メータは、色温度情報、階調情報、輝度情報を含むこと
    を特徴とする請求項1又は請求項2記載の画像再生方
    法。
  4. 【請求項4】 撮像データを記録する撮像データ記録手
    段と、該撮像データ記録手段に記録された撮像データを
    画像データに変換する画像再生手段とを備えた画像再生
    装置において、 前記画像再生手段が、前記撮像データ記録手段に記録さ
    れている撮像データから少なくとも2枚以上の撮像デー
    タを選択する撮像データ選択手段と、前記撮像データに
    応じた画像再生パラメータ群を選択する画像再生パラメ
    ータ群選択手段と、該画像再生パラメータ群選択手段と
    前記撮像データ選択手段とに基づいて画像の再生処理を
    行う再生処理手段とを備え、 前記再生処理手段が、複数枚の撮像データに対する共通
    の画像再生パラメータ群により画像の再生処理を行うこ
    とを特徴とする画像再生装置。
  5. 【請求項5】 前記画像再生パラメータを構成するパラ
    メータは、色温度情報、階調情報、輝度情報を含むこと
    を特徴とする請求項4記載の画像再生装置。
JP02884495A 1994-09-28 1995-01-25 画像再生方法及び画像再生装置 Expired - Fee Related JP3706648B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP02884495A JP3706648B2 (ja) 1995-01-25 1995-01-25 画像再生方法及び画像再生装置
US08/534,338 US6201893B1 (en) 1994-09-28 1995-09-27 Image reproduction apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP02884495A JP3706648B2 (ja) 1995-01-25 1995-01-25 画像再生方法及び画像再生装置

Publications (2)

Publication Number Publication Date
JPH08205187A true JPH08205187A (ja) 1996-08-09
JP3706648B2 JP3706648B2 (ja) 2005-10-12

Family

ID=12259685

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02884495A Expired - Fee Related JP3706648B2 (ja) 1994-09-28 1995-01-25 画像再生方法及び画像再生装置

Country Status (1)

Country Link
JP (1) JP3706648B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05130640A (ja) * 1991-11-07 1993-05-25 Sony Corp 静止画信号処理装置及びプリント方法
JPH06197372A (ja) * 1992-12-24 1994-07-15 Canon Inc 映像再生装置
JPH06261333A (ja) * 1993-03-08 1994-09-16 Canon Inc 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05130640A (ja) * 1991-11-07 1993-05-25 Sony Corp 静止画信号処理装置及びプリント方法
JPH06197372A (ja) * 1992-12-24 1994-07-15 Canon Inc 映像再生装置
JPH06261333A (ja) * 1993-03-08 1994-09-16 Canon Inc 撮像装置

Also Published As

Publication number Publication date
JP3706648B2 (ja) 2005-10-12

Similar Documents

Publication Publication Date Title
EP0757473B1 (en) Image processing apparatus and method
JP3668014B2 (ja) 画像処理方法及び装置
JP3948229B2 (ja) 画像撮像装置及び方法
JP2005117612A (ja) 画像処理方法および装置
EP0442369B1 (en) Gradation correcting apparatus
JP4066803B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法および電子カメラ
US6201893B1 (en) Image reproduction apparatus and method
US7880771B2 (en) Imaging apparatus, image processing apparatus, image processing system and image processing method
JP7332325B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2017085481A (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
JP2020145553A (ja) 画像処理装置、画像処理方法、及びプログラム
JPH11331738A (ja) 画像処理方法および装置
JP4955235B2 (ja) デジタルカメラおよびゲイン算出方法
JP2006080942A (ja) 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置
JP5070921B2 (ja) 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム
JP2005268952A (ja) 撮像装置、画像処理装置、画像処理システム、及び画像処理方法
JP3943611B2 (ja) 画像再生方法及び画像再生装置
JP7657629B2 (ja) 撮像装置
JP3706648B2 (ja) 画像再生方法及び画像再生装置
EP1578110B1 (en) Image processing apparatus, image processing system and image processing method
JP3064961B2 (ja) 電子スチルカメラ
JPH10243289A (ja) 画像加算装置
JP3444989B2 (ja) 画像再生方法及び画像再生装置
JP2000151989A5 (ja)
JP3198983B2 (ja) 電子スチルカメラ

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050801

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080805

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090805

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090805

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100805

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110805

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120805

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120805

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130805

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees