JP4782277B2 - 赤外線カラー画像形成装置 - Google Patents
赤外線カラー画像形成装置 Download PDFInfo
- Publication number
- JP4782277B2 JP4782277B2 JP2000363648A JP2000363648A JP4782277B2 JP 4782277 B2 JP4782277 B2 JP 4782277B2 JP 2000363648 A JP2000363648 A JP 2000363648A JP 2000363648 A JP2000363648 A JP 2000363648A JP 4782277 B2 JP4782277 B2 JP 4782277B2
- Authority
- JP
- Japan
- Prior art keywords
- infrared
- color
- image
- spectrum
- reflectance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000002329 infrared spectrum Methods 0.000 claims description 54
- 230000003595 spectral effect Effects 0.000 claims description 34
- 238000004040 coloring Methods 0.000 claims description 11
- 230000001678 irradiating effect Effects 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 230000005855 radiation Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000001429 visible spectrum Methods 0.000 description 3
- 238000005033 Fourier transform infrared spectroscopy Methods 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 238000001157 Fourier transform infrared spectrum Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000985 reflectance spectrum Methods 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、対象物についての画像を赤外線カメラで取得するとともに、その対象物の赤外線放射強度又は赤外線反射率の値を検出し、この値からその対象物のカラー情報を得てカラー画像を形成する赤外線カラー画像形成装置に関する。
【０００２】
【従来の技術】
従来の赤外線カメラでは赤外線強度を有する画像しか得られなかった。赤外線カメラで着色画像が得られるものとしては、人体温度や地球画像を、温度範囲を色情報として着色した画像がある。この種のカラー表示映像装置は、被測定物体上の各点を水平、垂直走査して、被測定物体から放射される赤外線を赤外線検出装置により電気的に検出し、この信号強度に応じた複数階調に色付けし、ブラウン管等の表示装置に擬似カラー映像として映出し、映出された画像を定量、定性的に測定して分析等に供する構成である。
【０００３】
【発明が解決しようとする課題】
このように、従来は、赤外線カメラでは、赤外線強度画像しか得られない。そして、赤外線カメラで着色画像を作っても、疑似カラーであるため、対象物の実際に近いカラー画像は期待できないという問題があった。
【０００４】
本発明は、このような従来の問題点を解決することを目的とするものであり、その具体的な課題は、対象物について赤外線カメラで得た画像に、適当なカラー情報を加えることによって、対象物の実際に近いカラー画像を得ることが可能な赤外線カラー画像形成装置を実現することである。
【０００５】
【課題を解決するための手段】
本発明は上記課題を解決するために、対象物から放射又は反射される赤外線を受光し、赤外スペクトル画像を得る赤外線カメラと、該対象物について、色と、赤外スペクトル放射強度又は赤外スペクトル反射率との対応データを予め記憶する記憶装置と、該対応データに基づいて、前記赤外スペクトル画像の各位置における赤外スペクトルの放射強度又は赤外スペクトル反射率の値から、前記赤外スペクトル画像の各位置における色を決定する第１の処理手段と、前記第１の処理手段で得た色情報を基に、前記対象物の画像の各位置に人工的に着色を施す第２の処理手段と、を備えていることを特徴とする赤外線カラー画像形成装置を提供する。
【０００６】
さらに、本発明は上記課題を解決するために、対象物に波長の異なる赤外線を照射する赤外線照射手段と、前記対象物からの反射光をそれぞれ別個に受光し画像を得る複数の赤外線カメラと、該対象物について、色と赤外スペクトル放射強度又は赤外スペクトル反射率との対応データを予め記憶する記憶装置と、前記各赤外線カメラ毎で取得した各波長毎の赤外スペクトル放射強度又は赤外スペクトル反射率の値から、前記対応データに基づいて、前記赤外スペクトル画像の各位置における色を決定する第１の処理手段と、前記第１の処理手段で得た色情報を基に、前記対象物の画像の各位置に人工的に着色を施す第２の処理手段と、を備えていることを特徴とする赤外線カラー画像形成装置を提供する。
【０００７】
さらに、本発明は上記課題を解決するために、対象物に波長の異なる赤外線を照射する複数の赤外線照射手段と、前記対象物に波長の異なる赤外線を照射する際に、前記複数の赤外線照射手段を順番に動作させ、前記波長の異なる赤外線を時分割で照射するよう制御する赤外線照射制御手段と、前記対象物からの前記波長の異なる赤外線の各波長の反射光を受光し画像を得る赤外線カメラと、該対象物について、色と、赤外スペクトル放射強度又は赤外スペクトル反射率との対応データを予め記憶する記憶装置と、前記赤外線カメラで取得した各波長毎の画像に対する赤外ベクトル放射強度又は赤外ベクトル反射率の値から、前記対応データに基づいて、前記赤外スペクトル画像の各位置における色を決定する第１の処理手段と、前記第１の処理手段で得た色情報を基に、前記対象物の画像の各位置に人工的に着色を施す第２の処理手段と、を備えていることを特徴とする赤外線カラー画像形成装置を提供する。
【０００８】
さらに、本発明は上記課題を解決するために、対象物に波長の異なる赤外線を照射する赤外線照射手段と、前記対象物からの前記波長の異なる赤外線の各波長の反射光を時分割で受光し画像を得る赤外線カメラと、前記対象物に波長の異なる赤外線を受光する際に、前記赤外線分光フィルタ装置のフィルタを順番に受光路に置き、前記波長の異なる赤外線を時分割で受光するよう制御する赤外線フィルタ切換制御手段と、該対象物について、色と、赤外スペクトル放射強度又は赤外スペクトル反射率との対応データを予め記憶する記憶装置と、前記赤外線カメラで取得した各波長毎の画像に対する赤外ベクトル放射強度又は赤外ベクトル反射率から、前記対応データに基づいて、前記赤外スペクトル画像の各位置における色を決定する第１の処理手段と、前記第１の処理手段で得たスペクトル情報を基に、前記対象物の画像の各位置に人工的に着色を施す第２の処理手段と、を備えていることを特徴とする赤外線カラー画像形成装置を提供する。
【０００９】
色と赤外スペクトル放射強度又は赤外スペクトル反射率との対応データは、各色と、赤外スペクトル放射強度又は赤外スペクトル反射率の分布であるか、あるいは、可視領域におけるスペクトル放射強度又は反射率と、赤外スペクトル放射強度又は赤外スペクトル反射率との対応データである構成としてもよい。
【００１０】
【発明の実施の形態】
本発明に係る赤外線カラー画像形成装置の実施の形態を実施例に基づいて図面を参照して説明する。
【００１１】
本発明の基本的な考えは、予め対象物について、その色と、赤外スペクトル放射強度又は赤外スペクトル反射率を対応させたデータを取得しておき、対象物が放射及び／又は反射する赤外スペクトルを赤外分光光度計により測定して、上記対応させたデータに基づいて、対象物の色を判別し、対象物について色を付しカラー画像を得るようにしたことを特徴とする画像形成装置である。
【００１２】
（実施例１）
図１は本発明に係る赤外線カラー画像形成装置の実施例１の全体構成を示すブロック図である。この実施例の赤外線カラー画像形成装置１では、対象物２（被測定物体）から放射される赤外線を、赤外線分光装置３で分光して赤外線カメラで検出して赤外スペクトル放射強度を求められるように構成されている。
【００１３】
あるいは、赤外線光源５から波長分布を有する（異なる波長を有する）赤外線を対象物２に照射し、その反射光を赤外線分光装置３で分光し赤外線カメラ４で検出して赤外スペクトル放射強度又は赤外スペクトル反射率を求め求められるように構成されている。
【００１４】
そして、予めその対象物２について、色と、赤外スペクトルの放射強度又赤外スペクトル反射率との対応データを予めコンピュータ６の記憶装置７に記憶しておく。そして、この対応データに基づいて、上記赤外スペクトル放射強度又は赤外スペクトル反射率をコンピュータ６において処理して、対象物２のカラー情報を得て、その色を確定するものである。
【００１５】
このコンピュータ６は、赤外線カメラ４で取得した画像に対する赤外スペクトル放射強度又は赤外スペクトル反射率のデータからカラー情報を得る第１の処理手段８と、第１の処理手段８で得られたカラー情報を基に対象物２に人工的な着色を施す第２の処理手段９とを備えている。そして、この画像をディスプレーで表示できる。この赤外線カラー画像形成装置１の構成を、以下さらに詳細に説明する。
【００１６】
赤外スペクトルを測定する赤外線分光装置３として、フーリエ変換型赤外分光光度計を用いる。このフーリエ変換型赤外分光光度計１０の原理を図２に示す。入射した赤外線をビームスプリッタ１１で２つに分割し、一方の赤外線に対する反射鏡を固定鏡１２とし、他方の赤外線に対する反射鏡を移動鏡１３とする。
【００１７】
これにより、分割された赤外線をそれぞれ固定鏡１２と移動鏡１３で反射させて、光路差を変化させて再度重ね合わせ、光路差で変化する干渉波形を作り、これを赤外線カメラ（赤外線検出器）で検出し、その干渉波形をフーリエ変換して、入射した赤外線の分光出力を計算で求め、赤外スペクトル放射強度又は赤外スペクトル反射率を測定する。
【００１８】
なお、赤外スペクトル放射強度又は反射率は、プリズム、回折格子等を用いた周知の赤外分光光度計を用いて測定することも出来る。
【００１９】
このような赤外スペクトル放射強度又は反射率の測定を、二次元的走査で行うことにより、対象物２の画像の二次元のｘｙの各位置における赤外スペクトル放射強度又は反射率分布を測定することができる。
【００２０】
上記のフーリエ変換型赤外スペクトル検出において、結像光学系を用いて対象物２の画像スペクトル分布を、走査する事なしに同時に得ることも可能である。
【００２１】
対象物２（例えば、顔料や染料、樹木等）の各色と、その赤外スペクトルの関連について、図３に示すような青、緑、赤の各色に対応する赤外スペクトル放射強度又は反射率を予め測定して取得し、この対応データをコンピュータ６の記憶装置７に記憶しておく。要するに色と、赤外スペクトル放射強度又は反射率のパターンを記憶装置７に記憶しておく。
【００２２】
そして、対象物２から放射又は反射される赤外線を分光し赤外スペクトル放射強度又は赤外スペクトル反射率得て、コンピュータ６は、その記憶装置７に記憶された対象物の色と、赤外スペクトル放射強度又は赤外スペクトル反射率との対応データ（図３参照。）に基づいてパターン認識し色を決定できる。そして、この色を画像に着色することでカラー画像を形成することができる。
【００２３】
対象物２の赤外スペクトル放射強度又は赤外スペクトル反射率を測定することで、その対象物２の色を判別するための別の手段について述べる。この別の手段では、対象物２（例えば、顔料や染料、樹木等）の可視領域スペクトル分布と、この可視スペクトル分布に対応する赤外スペクトル放射強度又は赤外スペクトル反射率をそれぞれ測定しておく。これを図４に示す。この図４において、可視領域スペクトルに対応する赤外スペクトル放射強度又は赤外スペクトル反射率を知り、図４（ａ）とこれに対応する図４（ｂ）、そして図４（ｃ）とこれに対応する図４（ｄ）のように、可視光領域の各波長と、これに対応する赤外スペクトル強度のデータをコンピュータ６の記憶装置７に記憶しておく。
【００２４】
そして、コンピュータ６は、その記憶装置７に記憶された対象物の可視スペクトルと、赤外スペクトル放射強度又は赤外スペクトル反射率との対応データ（図４参照。）に基づいて、可視スペクトル分布を推定し、色を確定できる。そして、その色情報により赤外線カメラで得た画像を着色する。
【００２５】
なお、可視スペクトル色情報を決定する方法は従来の測色学の手段が利用出来る。また、効率的な赤外スペクトル分布と色情報の対応づけ手段としては、ニューラルネットワークを用いた学習法が利用できる。
【００２６】
（実施例２）
図５は、本発明に係る赤外線カラー画像形成装置の実施例２を示すブロック図である。この実施例２は、波長の異なるいくつかの赤外線を実施例１のような赤外線分光装置で分光処理する煩雑さを無くす為、波長の異なる幾つかの赤外線を含む赤外線を対象物２に照射するとともに、その反射光を異なる波長の赤外光を受光する赤外線カメラで受光するものである。
【００２７】
図５において、赤外線カラー画像形成装置１４は、λ１用赤外線カメラ（受光手段）１５、λ２用赤外線カメラ１６及びλ３用赤外線カメラ１７を備え、コンピュータ６は各波長用の赤外線カメラ１５〜１７からそれぞれ入力されるλ１用赤外線反射情報、λ２用赤外線反射情報及びλ３用赤外線反射情報を分析して色を確定し、ディスプレーでカラー画像を提供する。
【００２８】
λ１用赤外線カメラ１５は、波長λ１にピーク感度のある赤外線カメラからなっており、赤外線カメラの画像を得ると共に、波長λ１の赤外線反射強度又は反射率を得る。λ２用赤外線カメラ１６は、波長λ２にピーク感度のある赤外線カメラからなっており、λ２の赤外線放射強度又は反射率を得る。λ３用赤外線カメラ１７は、λ３にピーク感度のある赤外線カメラからなっており、波長λ３の赤外線放射強度又は反射率を得る。
【００２９】
この実施例２では、コンピュータ６は、各対象物２についての色情報と、赤外スペクトル放射強度又は反射率との対応データを予め記憶している記憶装置を有している。さらに、コンピュータ６は、第１及び第２の処理手段を有している。第１の処理手段は、上記各赤外線カメラ毎で取得したλ１、λ２、λ３の各波長の画像に対する赤外スペクトル放射強度又は反射率を、上記色情報と赤外スペクトル放射強度又は反射率との対応データに基づいてパターン認識し、カラー情報を得る機能を有する。
【００３０】
そして、第２の処理手段は、第１の処理手段で得たカラー情報を基に画像に着色を施す機能を有するものである。
【００３１】
（実施例３）
図６は、本発明に係る赤外線カラー画像形成装置の実施例３を示すブロック図である。この実施例３の赤外線カラー画像形成装置１８は、特定波長赤外線放射・受光手段を有する。この特定波長赤外線放射・受光手段は、複数の波長を時分割で順次放射する複数の赤外線光源と、対象物２からの反射光を受光する赤外線カメラ２４とを備えている。
【００３２】
赤外線光源装置は、複数の波長の赤外線を照射する複数の赤外線光源、例えば図６に示すように、λ１用赤外線光源１９、λ２用赤外線光源２０、λ３用赤外線光源２１を備えている。そして、コンピュータ２２は、対象物２に複数の波長の赤外線を時分割で照射するように制御する赤外線光源制御装置２３を有しており、これらの複数の赤外線光源１９〜２１がコンピュータ２２からの同期信号に同期して時分割で順次放射可能である。
【００３３】
このように時分割で放射されたλ１、λ２、λ３の赤外線が対象物２で反射され、これを赤外線カメラ２４で受光し、赤外スペクトル放射強度又は反射率の表現された画像として取り込むように構成されている。
【００３４】
コンピュータ２２は、各対象物２についての色情報と、赤外スペクトル放射強度又は反射率との対応データを予め記憶している記憶装置７を設けており、さらに画像のカラー情報を得る第１の処理手段８と、第１の処理手段で得たカラー情報を基に対象物２を人工的に着色を施す第２の処理手段９とを有している。
【００３５】
上記赤外線カメラ２４で受光した赤外線強度の表現された画像データを、コンピュータ２２に入力し、第１の処理手段で、λ１、λ２、λ３の赤外線スペクトル放射強度又は反射率を、予め記憶装置７に記憶された対応データに基づいて、パターン認識して対象物２の色を確定し、第２の処理手段９で、画像に色を付けるデータ処理を行う。そして、ディスプレー２５でカラー画像を視認することができる。
【００３６】
（実施例４）
図７は、本発明に係る赤外線カラー画像形成装置の実施例４を示すブロック図である。この実施例４の赤外線カラー画像形成装置２６は、複数の波長を含む赤外線を放射する赤外線光源装置２７と、対象物２からの反射光を分光する赤外線分光フィルタ装置２８と、赤外線分光フィルタ装置２８で分光された赤外線を受光する赤外線カメラ２９とから構成されている。
【００３７】
そして、赤外線分光フィルタ装置２８は、赤外線カメラの前の受光路中に設けられ、コンピュータ２２のフィルタ切換制御装置３０からの同期信号に同期して時分割で受光路中に置くように切換可能な複数のフィルタを有する。即ち、赤外線光源から放射される赤外線は、コンピュータ２２のフィルタ切換制御装置３０からの同期信号に同期して時分割で切り換えられるフィルタを通過し分光された、例えば、λ１、λ２、λ３の波長の赤外線を赤外線カメラで受光することが可能である。
【００３８】
このように時分割で分光され受光されたλ１、λ２、λ３の赤外線を赤外線カメラ２９で順次受光し、赤外スペクトル放射強度又は反射率で表現された画像として取り込むように構成されている。
【００３９】
コンピュータ２２は、各対象物２についての色情報と、赤外スペクトル放射強度又は反射率との対応データを予め記憶している記憶装置７を設けており、さらに画像のカラー情報を得る第１の処理手段８と、第１の処理手段で得たカラー情報を基に対象物２を人工的に着色を施す第２の処理手段９とを有している。
【００４０】
上記赤外線カメラで受光した赤外線画像についてのλ１、λ２、λ３の赤外スペクトル放射強度又は反射率を処理手段８でコンピュータ２２に入力し、λ１、λ２、λ３の赤外スペクトル放射強度又は反射率を、予め記憶装置に記憶された対応データに基づいてパターン認識し、対象物２の色を確定し、第２の処理手段で取り込んだ画像に色を付けるデータ処理を行う。ディスプレー２５でカラー画像を視認することができる。
【００４１】
以上本発明の実施の形態を実施例に基づいて説明したが、本発明は、特にこのような実施例に限定されるものではなく特許請求の範囲記載の技術的事項の範囲内でいろいろな実施例があることは言うまでもない。
【００４２】
【発明の効果】
従来、赤外線カメラでは、赤外線強度画像しか得られず、たとえ赤外線カメラで着色画像を作っても、疑似カラーであるため、対象物の実際に近いカラー画像は期待できないという問題があったが、本発明に係る赤外線カラー画像形成装置計によれば、対象物について赤外線カメラで得た画像に、カラー情報を加えることができ、対象物の実際に近いカラー画像を得ることが可能である。
【図面の簡単な説明】
【図１】本発明に係る赤外線カラー画像形成装置の実施例１を示すブロック図である。
【図２】実施例１の赤外線分光装置として利用されるフーリエ変換型赤外分光光度計の原理を示す図である。
【図３】対象物に関する色別の赤外スペクトルの分布を示す図である。
【図４】対象物に関する可視スペクトル分布と赤外スペクトル分布の対応を示す図である。
【図５】本発明に係る赤外線カラー画像形成装置の実施例２を示すブロック図である。
【図６】本発明に係る赤外線カラー画像形成装置の実施例３を示すブロック図である。
【図７】本発明に係る赤外線カラー画像形成装置の実施例４を示すブロック図である。
【符号の説明】
１、１４、１８、２６ 赤外線カラー画像形成装置
２ 対象物
３ 赤外線分光装置
４、２４、２９ 赤外線カメラ
５ 赤外線光源
６、２２ コンピュータ
７ 記憶装置
８ 第１の処理手段
９ 第２の処理手段
１０ フーリエ変換赤外分光光度計
１１ ビームスプリッタ
２３ 赤外線光源制御装置
２８ 赤外線分光フィルタ装置
３０ フィルタ切換制御装置
【発明の属する技術分野】
本発明は、対象物についての画像を赤外線カメラで取得するとともに、その対象物の赤外線放射強度又は赤外線反射率の値を検出し、この値からその対象物のカラー情報を得てカラー画像を形成する赤外線カラー画像形成装置に関する。
【０００２】
【従来の技術】
従来の赤外線カメラでは赤外線強度を有する画像しか得られなかった。赤外線カメラで着色画像が得られるものとしては、人体温度や地球画像を、温度範囲を色情報として着色した画像がある。この種のカラー表示映像装置は、被測定物体上の各点を水平、垂直走査して、被測定物体から放射される赤外線を赤外線検出装置により電気的に検出し、この信号強度に応じた複数階調に色付けし、ブラウン管等の表示装置に擬似カラー映像として映出し、映出された画像を定量、定性的に測定して分析等に供する構成である。
【０００３】
【発明が解決しようとする課題】
このように、従来は、赤外線カメラでは、赤外線強度画像しか得られない。そして、赤外線カメラで着色画像を作っても、疑似カラーであるため、対象物の実際に近いカラー画像は期待できないという問題があった。
【０００４】
本発明は、このような従来の問題点を解決することを目的とするものであり、その具体的な課題は、対象物について赤外線カメラで得た画像に、適当なカラー情報を加えることによって、対象物の実際に近いカラー画像を得ることが可能な赤外線カラー画像形成装置を実現することである。
【０００５】
【課題を解決するための手段】
本発明は上記課題を解決するために、対象物から放射又は反射される赤外線を受光し、赤外スペクトル画像を得る赤外線カメラと、該対象物について、色と、赤外スペクトル放射強度又は赤外スペクトル反射率との対応データを予め記憶する記憶装置と、該対応データに基づいて、前記赤外スペクトル画像の各位置における赤外スペクトルの放射強度又は赤外スペクトル反射率の値から、前記赤外スペクトル画像の各位置における色を決定する第１の処理手段と、前記第１の処理手段で得た色情報を基に、前記対象物の画像の各位置に人工的に着色を施す第２の処理手段と、を備えていることを特徴とする赤外線カラー画像形成装置を提供する。
【０００６】
さらに、本発明は上記課題を解決するために、対象物に波長の異なる赤外線を照射する赤外線照射手段と、前記対象物からの反射光をそれぞれ別個に受光し画像を得る複数の赤外線カメラと、該対象物について、色と赤外スペクトル放射強度又は赤外スペクトル反射率との対応データを予め記憶する記憶装置と、前記各赤外線カメラ毎で取得した各波長毎の赤外スペクトル放射強度又は赤外スペクトル反射率の値から、前記対応データに基づいて、前記赤外スペクトル画像の各位置における色を決定する第１の処理手段と、前記第１の処理手段で得た色情報を基に、前記対象物の画像の各位置に人工的に着色を施す第２の処理手段と、を備えていることを特徴とする赤外線カラー画像形成装置を提供する。
【０００７】
さらに、本発明は上記課題を解決するために、対象物に波長の異なる赤外線を照射する複数の赤外線照射手段と、前記対象物に波長の異なる赤外線を照射する際に、前記複数の赤外線照射手段を順番に動作させ、前記波長の異なる赤外線を時分割で照射するよう制御する赤外線照射制御手段と、前記対象物からの前記波長の異なる赤外線の各波長の反射光を受光し画像を得る赤外線カメラと、該対象物について、色と、赤外スペクトル放射強度又は赤外スペクトル反射率との対応データを予め記憶する記憶装置と、前記赤外線カメラで取得した各波長毎の画像に対する赤外ベクトル放射強度又は赤外ベクトル反射率の値から、前記対応データに基づいて、前記赤外スペクトル画像の各位置における色を決定する第１の処理手段と、前記第１の処理手段で得た色情報を基に、前記対象物の画像の各位置に人工的に着色を施す第２の処理手段と、を備えていることを特徴とする赤外線カラー画像形成装置を提供する。
【０００８】
さらに、本発明は上記課題を解決するために、対象物に波長の異なる赤外線を照射する赤外線照射手段と、前記対象物からの前記波長の異なる赤外線の各波長の反射光を時分割で受光し画像を得る赤外線カメラと、前記対象物に波長の異なる赤外線を受光する際に、前記赤外線分光フィルタ装置のフィルタを順番に受光路に置き、前記波長の異なる赤外線を時分割で受光するよう制御する赤外線フィルタ切換制御手段と、該対象物について、色と、赤外スペクトル放射強度又は赤外スペクトル反射率との対応データを予め記憶する記憶装置と、前記赤外線カメラで取得した各波長毎の画像に対する赤外ベクトル放射強度又は赤外ベクトル反射率から、前記対応データに基づいて、前記赤外スペクトル画像の各位置における色を決定する第１の処理手段と、前記第１の処理手段で得たスペクトル情報を基に、前記対象物の画像の各位置に人工的に着色を施す第２の処理手段と、を備えていることを特徴とする赤外線カラー画像形成装置を提供する。
【０００９】
色と赤外スペクトル放射強度又は赤外スペクトル反射率との対応データは、各色と、赤外スペクトル放射強度又は赤外スペクトル反射率の分布であるか、あるいは、可視領域におけるスペクトル放射強度又は反射率と、赤外スペクトル放射強度又は赤外スペクトル反射率との対応データである構成としてもよい。
【００１０】
【発明の実施の形態】
本発明に係る赤外線カラー画像形成装置の実施の形態を実施例に基づいて図面を参照して説明する。
【００１１】
本発明の基本的な考えは、予め対象物について、その色と、赤外スペクトル放射強度又は赤外スペクトル反射率を対応させたデータを取得しておき、対象物が放射及び／又は反射する赤外スペクトルを赤外分光光度計により測定して、上記対応させたデータに基づいて、対象物の色を判別し、対象物について色を付しカラー画像を得るようにしたことを特徴とする画像形成装置である。
【００１２】
（実施例１）
図１は本発明に係る赤外線カラー画像形成装置の実施例１の全体構成を示すブロック図である。この実施例の赤外線カラー画像形成装置１では、対象物２（被測定物体）から放射される赤外線を、赤外線分光装置３で分光して赤外線カメラで検出して赤外スペクトル放射強度を求められるように構成されている。
【００１３】
あるいは、赤外線光源５から波長分布を有する（異なる波長を有する）赤外線を対象物２に照射し、その反射光を赤外線分光装置３で分光し赤外線カメラ４で検出して赤外スペクトル放射強度又は赤外スペクトル反射率を求め求められるように構成されている。
【００１４】
そして、予めその対象物２について、色と、赤外スペクトルの放射強度又赤外スペクトル反射率との対応データを予めコンピュータ６の記憶装置７に記憶しておく。そして、この対応データに基づいて、上記赤外スペクトル放射強度又は赤外スペクトル反射率をコンピュータ６において処理して、対象物２のカラー情報を得て、その色を確定するものである。
【００１５】
このコンピュータ６は、赤外線カメラ４で取得した画像に対する赤外スペクトル放射強度又は赤外スペクトル反射率のデータからカラー情報を得る第１の処理手段８と、第１の処理手段８で得られたカラー情報を基に対象物２に人工的な着色を施す第２の処理手段９とを備えている。そして、この画像をディスプレーで表示できる。この赤外線カラー画像形成装置１の構成を、以下さらに詳細に説明する。
【００１６】
赤外スペクトルを測定する赤外線分光装置３として、フーリエ変換型赤外分光光度計を用いる。このフーリエ変換型赤外分光光度計１０の原理を図２に示す。入射した赤外線をビームスプリッタ１１で２つに分割し、一方の赤外線に対する反射鏡を固定鏡１２とし、他方の赤外線に対する反射鏡を移動鏡１３とする。
【００１７】
これにより、分割された赤外線をそれぞれ固定鏡１２と移動鏡１３で反射させて、光路差を変化させて再度重ね合わせ、光路差で変化する干渉波形を作り、これを赤外線カメラ（赤外線検出器）で検出し、その干渉波形をフーリエ変換して、入射した赤外線の分光出力を計算で求め、赤外スペクトル放射強度又は赤外スペクトル反射率を測定する。
【００１８】
なお、赤外スペクトル放射強度又は反射率は、プリズム、回折格子等を用いた周知の赤外分光光度計を用いて測定することも出来る。
【００１９】
このような赤外スペクトル放射強度又は反射率の測定を、二次元的走査で行うことにより、対象物２の画像の二次元のｘｙの各位置における赤外スペクトル放射強度又は反射率分布を測定することができる。
【００２０】
上記のフーリエ変換型赤外スペクトル検出において、結像光学系を用いて対象物２の画像スペクトル分布を、走査する事なしに同時に得ることも可能である。
【００２１】
対象物２（例えば、顔料や染料、樹木等）の各色と、その赤外スペクトルの関連について、図３に示すような青、緑、赤の各色に対応する赤外スペクトル放射強度又は反射率を予め測定して取得し、この対応データをコンピュータ６の記憶装置７に記憶しておく。要するに色と、赤外スペクトル放射強度又は反射率のパターンを記憶装置７に記憶しておく。
【００２２】
そして、対象物２から放射又は反射される赤外線を分光し赤外スペクトル放射強度又は赤外スペクトル反射率得て、コンピュータ６は、その記憶装置７に記憶された対象物の色と、赤外スペクトル放射強度又は赤外スペクトル反射率との対応データ（図３参照。）に基づいてパターン認識し色を決定できる。そして、この色を画像に着色することでカラー画像を形成することができる。
【００２３】
対象物２の赤外スペクトル放射強度又は赤外スペクトル反射率を測定することで、その対象物２の色を判別するための別の手段について述べる。この別の手段では、対象物２（例えば、顔料や染料、樹木等）の可視領域スペクトル分布と、この可視スペクトル分布に対応する赤外スペクトル放射強度又は赤外スペクトル反射率をそれぞれ測定しておく。これを図４に示す。この図４において、可視領域スペクトルに対応する赤外スペクトル放射強度又は赤外スペクトル反射率を知り、図４（ａ）とこれに対応する図４（ｂ）、そして図４（ｃ）とこれに対応する図４（ｄ）のように、可視光領域の各波長と、これに対応する赤外スペクトル強度のデータをコンピュータ６の記憶装置７に記憶しておく。
【００２４】
そして、コンピュータ６は、その記憶装置７に記憶された対象物の可視スペクトルと、赤外スペクトル放射強度又は赤外スペクトル反射率との対応データ（図４参照。）に基づいて、可視スペクトル分布を推定し、色を確定できる。そして、その色情報により赤外線カメラで得た画像を着色する。
【００２５】
なお、可視スペクトル色情報を決定する方法は従来の測色学の手段が利用出来る。また、効率的な赤外スペクトル分布と色情報の対応づけ手段としては、ニューラルネットワークを用いた学習法が利用できる。
【００２６】
（実施例２）
図５は、本発明に係る赤外線カラー画像形成装置の実施例２を示すブロック図である。この実施例２は、波長の異なるいくつかの赤外線を実施例１のような赤外線分光装置で分光処理する煩雑さを無くす為、波長の異なる幾つかの赤外線を含む赤外線を対象物２に照射するとともに、その反射光を異なる波長の赤外光を受光する赤外線カメラで受光するものである。
【００２７】
図５において、赤外線カラー画像形成装置１４は、λ１用赤外線カメラ（受光手段）１５、λ２用赤外線カメラ１６及びλ３用赤外線カメラ１７を備え、コンピュータ６は各波長用の赤外線カメラ１５〜１７からそれぞれ入力されるλ１用赤外線反射情報、λ２用赤外線反射情報及びλ３用赤外線反射情報を分析して色を確定し、ディスプレーでカラー画像を提供する。
【００２８】
λ１用赤外線カメラ１５は、波長λ１にピーク感度のある赤外線カメラからなっており、赤外線カメラの画像を得ると共に、波長λ１の赤外線反射強度又は反射率を得る。λ２用赤外線カメラ１６は、波長λ２にピーク感度のある赤外線カメラからなっており、λ２の赤外線放射強度又は反射率を得る。λ３用赤外線カメラ１７は、λ３にピーク感度のある赤外線カメラからなっており、波長λ３の赤外線放射強度又は反射率を得る。
【００２９】
この実施例２では、コンピュータ６は、各対象物２についての色情報と、赤外スペクトル放射強度又は反射率との対応データを予め記憶している記憶装置を有している。さらに、コンピュータ６は、第１及び第２の処理手段を有している。第１の処理手段は、上記各赤外線カメラ毎で取得したλ１、λ２、λ３の各波長の画像に対する赤外スペクトル放射強度又は反射率を、上記色情報と赤外スペクトル放射強度又は反射率との対応データに基づいてパターン認識し、カラー情報を得る機能を有する。
【００３０】
そして、第２の処理手段は、第１の処理手段で得たカラー情報を基に画像に着色を施す機能を有するものである。
【００３１】
（実施例３）
図６は、本発明に係る赤外線カラー画像形成装置の実施例３を示すブロック図である。この実施例３の赤外線カラー画像形成装置１８は、特定波長赤外線放射・受光手段を有する。この特定波長赤外線放射・受光手段は、複数の波長を時分割で順次放射する複数の赤外線光源と、対象物２からの反射光を受光する赤外線カメラ２４とを備えている。
【００３２】
赤外線光源装置は、複数の波長の赤外線を照射する複数の赤外線光源、例えば図６に示すように、λ１用赤外線光源１９、λ２用赤外線光源２０、λ３用赤外線光源２１を備えている。そして、コンピュータ２２は、対象物２に複数の波長の赤外線を時分割で照射するように制御する赤外線光源制御装置２３を有しており、これらの複数の赤外線光源１９〜２１がコンピュータ２２からの同期信号に同期して時分割で順次放射可能である。
【００３３】
このように時分割で放射されたλ１、λ２、λ３の赤外線が対象物２で反射され、これを赤外線カメラ２４で受光し、赤外スペクトル放射強度又は反射率の表現された画像として取り込むように構成されている。
【００３４】
コンピュータ２２は、各対象物２についての色情報と、赤外スペクトル放射強度又は反射率との対応データを予め記憶している記憶装置７を設けており、さらに画像のカラー情報を得る第１の処理手段８と、第１の処理手段で得たカラー情報を基に対象物２を人工的に着色を施す第２の処理手段９とを有している。
【００３５】
上記赤外線カメラ２４で受光した赤外線強度の表現された画像データを、コンピュータ２２に入力し、第１の処理手段で、λ１、λ２、λ３の赤外線スペクトル放射強度又は反射率を、予め記憶装置７に記憶された対応データに基づいて、パターン認識して対象物２の色を確定し、第２の処理手段９で、画像に色を付けるデータ処理を行う。そして、ディスプレー２５でカラー画像を視認することができる。
【００３６】
（実施例４）
図７は、本発明に係る赤外線カラー画像形成装置の実施例４を示すブロック図である。この実施例４の赤外線カラー画像形成装置２６は、複数の波長を含む赤外線を放射する赤外線光源装置２７と、対象物２からの反射光を分光する赤外線分光フィルタ装置２８と、赤外線分光フィルタ装置２８で分光された赤外線を受光する赤外線カメラ２９とから構成されている。
【００３７】
そして、赤外線分光フィルタ装置２８は、赤外線カメラの前の受光路中に設けられ、コンピュータ２２のフィルタ切換制御装置３０からの同期信号に同期して時分割で受光路中に置くように切換可能な複数のフィルタを有する。即ち、赤外線光源から放射される赤外線は、コンピュータ２２のフィルタ切換制御装置３０からの同期信号に同期して時分割で切り換えられるフィルタを通過し分光された、例えば、λ１、λ２、λ３の波長の赤外線を赤外線カメラで受光することが可能である。
【００３８】
このように時分割で分光され受光されたλ１、λ２、λ３の赤外線を赤外線カメラ２９で順次受光し、赤外スペクトル放射強度又は反射率で表現された画像として取り込むように構成されている。
【００３９】
コンピュータ２２は、各対象物２についての色情報と、赤外スペクトル放射強度又は反射率との対応データを予め記憶している記憶装置７を設けており、さらに画像のカラー情報を得る第１の処理手段８と、第１の処理手段で得たカラー情報を基に対象物２を人工的に着色を施す第２の処理手段９とを有している。
【００４０】
上記赤外線カメラで受光した赤外線画像についてのλ１、λ２、λ３の赤外スペクトル放射強度又は反射率を処理手段８でコンピュータ２２に入力し、λ１、λ２、λ３の赤外スペクトル放射強度又は反射率を、予め記憶装置に記憶された対応データに基づいてパターン認識し、対象物２の色を確定し、第２の処理手段で取り込んだ画像に色を付けるデータ処理を行う。ディスプレー２５でカラー画像を視認することができる。
【００４１】
以上本発明の実施の形態を実施例に基づいて説明したが、本発明は、特にこのような実施例に限定されるものではなく特許請求の範囲記載の技術的事項の範囲内でいろいろな実施例があることは言うまでもない。
【００４２】
【発明の効果】
従来、赤外線カメラでは、赤外線強度画像しか得られず、たとえ赤外線カメラで着色画像を作っても、疑似カラーであるため、対象物の実際に近いカラー画像は期待できないという問題があったが、本発明に係る赤外線カラー画像形成装置計によれば、対象物について赤外線カメラで得た画像に、カラー情報を加えることができ、対象物の実際に近いカラー画像を得ることが可能である。
【図面の簡単な説明】
【図１】本発明に係る赤外線カラー画像形成装置の実施例１を示すブロック図である。
【図２】実施例１の赤外線分光装置として利用されるフーリエ変換型赤外分光光度計の原理を示す図である。
【図３】対象物に関する色別の赤外スペクトルの分布を示す図である。
【図４】対象物に関する可視スペクトル分布と赤外スペクトル分布の対応を示す図である。
【図５】本発明に係る赤外線カラー画像形成装置の実施例２を示すブロック図である。
【図６】本発明に係る赤外線カラー画像形成装置の実施例３を示すブロック図である。
【図７】本発明に係る赤外線カラー画像形成装置の実施例４を示すブロック図である。
【符号の説明】
１、１４、１８、２６ 赤外線カラー画像形成装置
２ 対象物
３ 赤外線分光装置
４、２４、２９ 赤外線カメラ
５ 赤外線光源
６、２２ コンピュータ
７ 記憶装置
８ 第１の処理手段
９ 第２の処理手段
１０ フーリエ変換赤外分光光度計
１１ ビームスプリッタ
２３ 赤外線光源制御装置
２８ 赤外線分光フィルタ装置
３０ フィルタ切換制御装置
Claims (1)
- 対象物について、赤外線を照射し反射される赤外線からの赤外スペクトル反射率の測定を、二次元的走査で行うことにより、対象物の二次元的なスペクトル画像を得て、該スペクトル画像の各位置に人工的に着色を行う赤外線カラー画像形成装置であって、
波長分布を有する前記赤外線を対象物に照射する赤外線照射手段と、
対象物から反射される赤外線を分光する赤外線分光装置と、
分光された赤外線を受光し、赤外スペクトル画像を検出する赤外線カメラと、
対象物について、色と、赤外スペクトル反射率のパターンとの対応データを予め記憶する記憶装置と、
前記赤外線照射手段で対象物に照射し、その反射光を前記赤外線分光装置で分光して赤外線カメラで検出した赤外スペクトル画像について、該画像の各位置における赤外スペクトル反射率のパターンから、前記対応データに基づいてパターン認識して、前記赤外スペクトル画像の各位置における色を決定する第１の処理手段と、
前記第１の処理手段で得た色情報を基に、前記対象物の画像の各位置に人工的に着色を施す第２の処理手段と、を備えており、
前記対応データは、予め前記赤外線照射手段で対象物に照射し、その反射光を前記赤外線分光装置で分光して赤外線カメラで検出した赤外スペクトル画像について、該画像の赤外スペクトル反射率のパターンを予め得て、該対象物の色と、予め得た赤外スペクトル反射率のパターンの対応データであることを特徴とする赤外線カラー画像形成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000363648A JP4782277B2 (ja) | 2000-11-29 | 2000-11-29 | 赤外線カラー画像形成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000363648A JP4782277B2 (ja) | 2000-11-29 | 2000-11-29 | 赤外線カラー画像形成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002171519A JP2002171519A (ja) | 2002-06-14 |
| JP4782277B2 true JP4782277B2 (ja) | 2011-09-28 |
Family
ID=18834725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000363648A Expired - Fee Related JP4782277B2 (ja) | 2000-11-29 | 2000-11-29 | 赤外線カラー画像形成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4782277B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4080812B2 (ja) * | 2002-08-09 | 2008-04-23 | 浜松ホトニクス株式会社 | 可視並びに不可視領域の色度計測が可能なシステム |
| JP2006109120A (ja) | 2004-10-06 | 2006-04-20 | Funai Electric Co Ltd | 赤外線撮像装置 |
| JP2007263829A (ja) * | 2006-03-29 | 2007-10-11 | Jfe Steel Kk | Ｃｏガスの漏洩監視方法 |
| JP5874116B2 (ja) | 2009-07-30 | 2016-03-02 | 国立研究開発法人産業技術総合研究所 | 画像撮影装置および画像撮影方法 |
| TWI581638B (zh) * | 2011-01-28 | 2017-05-01 | Yasushi Nagamune | Image photographing apparatus and image photographing method |
| JP6011778B2 (ja) * | 2012-05-22 | 2016-10-19 | 株式会社富士通ゼネラル | 暗視撮像装置および赤外線照射装置および暗視撮像システム |
| JP6055681B2 (ja) | 2013-01-10 | 2016-12-27 | 株式会社 日立産業制御ソリューションズ | 撮像装置 |
| KR101604541B1 (ko) * | 2014-07-21 | 2016-03-18 | 대진대학교 산학협력단 | 복수 파장의 광을 이용한 컬러 영상 재현장치 및 컬러 영상 재현방법 |
| JP6260512B2 (ja) * | 2014-10-24 | 2018-01-17 | 株式会社Ｊｖｃケンウッド | 撮像装置、撮像方法、撮像プログラム |
| JP6361500B2 (ja) * | 2014-12-24 | 2018-07-25 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2016159189A1 (ja) | 2015-03-31 | 2016-10-06 | 株式会社ニコン | 撮像装置 |
| JP6459808B2 (ja) * | 2015-07-08 | 2019-01-30 | オムロン株式会社 | 画像処理装置およびこれを備えた交通違反管理システム |
| JP6455604B2 (ja) * | 2015-10-05 | 2019-01-23 | 株式会社ニコン | 撮像装置、撮像プログラムおよび撮像方法 |
| JP7443990B2 (ja) | 2020-08-26 | 2024-03-06 | 株式会社Ｊｖｃケンウッド | 機械学習装置、画像処理装置、機械学習方法、及び機械学習プログラム |
| CN114830627B (zh) * | 2020-11-09 | 2024-07-09 | 谷歌有限责任公司 | 对可见光图像进行重照明的成像系统和方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS563033A (en) * | 1979-06-21 | 1981-01-13 | Olympus Optical Co | Endoscope device |
| JPS60164717A (ja) * | 1984-02-07 | 1985-08-27 | Hamamatsu Photonics Kk | 擬似カラ−による直視観察装置 |
| JPH0679594B2 (ja) * | 1987-08-11 | 1994-10-12 | オリンパス光学工業株式会社 | 電子内視鏡装置 |
| JPH047992A (ja) * | 1990-04-25 | 1992-01-13 | Sony Corp | 暗視カラー撮像装置 |
| JPH0486075A (ja) * | 1990-07-27 | 1992-03-18 | Mitsubishi Electric Corp | 赤外線撮像装置 |
| JPH04329340A (ja) * | 1991-05-01 | 1992-11-18 | Tokyu Constr Co Ltd | 植物の活性度測定方法 |
| FI88768C (fi) * | 1991-11-27 | 1993-06-28 | Valtion Teknillinen | Foerfarande och anordning foer bildning av felfaergbild |
| JPH08293025A (ja) * | 1995-04-20 | 1996-11-05 | Olympus Optical Co Ltd | 画像分類装置 |
| JPH0968466A (ja) * | 1995-08-31 | 1997-03-11 | Toray Ind Inc | 繊維の染色濃淡度の測定方法およびその装置 |
| US5903712A (en) * | 1995-10-05 | 1999-05-11 | Goss Graphic Systems, Inc. | Ink separation device for printing press ink feed control |
| JPH10148580A (ja) * | 1996-11-19 | 1998-06-02 | Nippon Avionics Co Ltd | 擬似カラー熱画像をアラーム表示に用いた温度監視方法及び装置 |
| US5808303A (en) * | 1997-01-29 | 1998-09-15 | Art Aerospace Research Technologies Inc. | Infrared screening and inspection system |
| JPH11243538A (ja) * | 1998-02-25 | 1999-09-07 | Nissan Motor Co Ltd | 車両用視認装置 |
| JP4039751B2 (ja) * | 1998-10-20 | 2008-01-30 | 日本分光株式会社 | 画像データ採取顕微分光光度計 |
| JP2000155379A (ja) * | 1998-11-19 | 2000-06-06 | Konica Corp | 画像処理方法、プリント方法、画像処理装置、プリント装置、画像処理システム、プリントシステム、写真フィルム及びカメラ |
| JP2001137828A (ja) * | 1999-11-12 | 2001-05-22 | Takeshi Hashimoto | 廃棄物の素材の種類の判断方法 |
-
2000
- 2000-11-29 JP JP2000363648A patent/JP4782277B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002171519A (ja) | 2002-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4782277B2 (ja) | 赤外線カラー画像形成装置 | |
| US11436871B2 (en) | Living body determination device, living body determination method, and living body determination program | |
| US6690466B2 (en) | Spectral imaging system | |
| RU2535640C2 (ru) | Формирование многоспектральных изображений | |
| Cao et al. | A prism-mask system for multispectral video acquisition | |
| RU2457447C2 (ru) | Устройство и способ проверки образца волос | |
| US7276719B2 (en) | Device for a goniometric examination of the optical properties of surfaces | |
| US7692784B2 (en) | Apparatus and methods relating to enhanced spectral measurement systems | |
| US7180588B2 (en) | Devices and method for spectral measurements | |
| Du et al. | A prism-based system for multispectral video acquisition | |
| KR101604424B1 (ko) | 휘도 및 색도 분포 측정 장치 | |
| US7433055B2 (en) | Device for the examination of optical properties of surfaces | |
| US20180372542A1 (en) | LED Lighting Based Multispectral Imaging System for Color Measurement | |
| US6556706B1 (en) | Three-dimensional surface profile imaging method and apparatus using single spectral light condition | |
| CN103630240B (zh) | 物体表面颜色测量装置与方法 | |
| US20150098092A1 (en) | Device and Method For the Simultaneous Three-Dimensional Measurement of Surfaces With Several Wavelengths | |
| HK1045187A1 (zh) | 校準一個反映影像分光器的系統及方法 | |
| US7189984B2 (en) | Object data input apparatus and object reconstruction apparatus | |
| US10616458B2 (en) | Imaging apparatus and image processing method | |
| US3508051A (en) | Employing a plurality of dichroic mirrors to produce a three-color image | |
| JP2000009440A (ja) | 三次元物体の計測方法及び装置 | |
| JP4672498B2 (ja) | コンクリート劣化因子検出方法及び検出装置 | |
| JPH05273042A (ja) | 空間反射光の状態測定装置 | |
| KR100809553B1 (ko) | 컬러 이미지 센서 평가 장치 및 방법 | |
| CN112556849B (zh) | 高光谱成像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070919 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100805 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100805 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110705 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110707 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140715 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |