JP3673845B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP3673845B2 JP3673845B2 JP2002335041A JP2002335041A JP3673845B2 JP 3673845 B2 JP3673845 B2 JP 3673845B2 JP 2002335041 A JP2002335041 A JP 2002335041A JP 2002335041 A JP2002335041 A JP 2002335041A JP 3673845 B2 JP3673845 B2 JP 3673845B2
- Authority
- JP
- Japan
- Prior art keywords
- spectral
- wavelength
- image
- imaging
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 97
- 230000003595 spectral effect Effects 0.000 claims description 168
- 230000003287 optical effect Effects 0.000 claims description 70
- 239000003086 colorant Substances 0.000 claims description 19
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 16
- 230000001902 propagating effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000001444 catalytic combustion detection Methods 0.000 description 5
- 230000000644 propagated effect Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004611 spectroscopical analysis Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Blocking Light For Cameras (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
【発明の属する技術分野】
本発明は、複数の分光画像をワンショットで取得する撮像装置に関する。
【0002】
【従来の技術】
マルチバンドカメラ(撮像装置)は、物体(被写体)の色を忠実に再現するための入力機であり、4色以上の多色で撮影して得られた多色情報に基づき演算を行い、物体の色を正確に取得するカメラである。
【0003】
上記の撮像装置としては、被写体から撮像素子までの光路中に多色のカラーホイールを介挿し、このカラーホイールを回転させ、この回転に合わせて順次撮影する方式のものがある。この方式は順次の撮影が必要なためワンショット撮影が不可能である。
【0004】
ワンショット撮影が可能な撮像装置としては、ハーフミラーで入射光を2つに分離し各光路に同じRGBのCCDが配置されるとともに各光路中に所定の波長特性を持った2つのフィルターが配置されるものがある(非特許文献1参照)。これにより、2つのCCDで生成されるデータに基づき6色の分光画像が取得できる。
【0005】
【非特許文献1】
石丸浩、他6名「複数のRGBカメラを用いたワンショット型マルチスペクトルカメラの開発」、第61回応用物理学会学術講演会 講演予講集、2000年9月、p887
【0006】
【発明が解決しようとする課題】
しかしながら、上記の非特許文献1の技術においては、ハーフミラーで入射光を分離する際に各光路で光量が半減するとともに、光量が半減した各光路に配置される各フィルターがさらに特定波長の光をカットするため、CCDに到達する光量が小さくなり、効率が悪い。
【0007】
本発明は、上記課題に鑑みてなされたものであり、ワンショットで複数の分光画像を光量効率良く取得できる撮像装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
上記の課題を解決するため、請求項1の発明は、撮像装置であって、(a)ダイクロイック膜により、被写体に係る入射光を複数の光路に分岐し射出する分岐手段と、(b)前記分岐手段で分岐された光路上にそれぞれ設けられる複数の撮像センサとを備え、前記複数の撮像センサそれぞれは、複数の波長帯域を持つ分光感度特性を有するとともに、前記ダイクロイック膜は、前記複数の波長帯域のうち少なくとも1の波長帯域の光成分を第1と第2の部分に分割し、前記第1の部分を選択的に透過する波長特性を有する。
【0009】
また、請求項2の発明は、請求項1の発明に係る撮像装置において、前記複数の波長帯域は、三原色に対応する3の波長帯域である。
【0010】
また、請求項3の発明は、請求項1または請求項2の発明に係る撮像装置において、前記複数の撮像センサそれぞれは、前記複数の波長帯域に対応する複数の色フィルタが光電セル配列上に配列される色フィルタ配列を有する。
【0011】
また、請求項4の発明は、請求項3の発明に係る撮像装置において、前記複数の撮像センサは、互いに前記色フィルタ配列の配列パターンが同一である。
【0012】
また、請求項5の発明は、請求項1ないし請求項4のいずれかの発明に係る撮像装置において、前記ダイクロイック膜は、前記複数の波長帯域それぞれの光成分を第1と第2の部分に分割し、前記第1の部分を選択的に透過する波長特性を有する。
【0013】
【発明の実施の形態】
<第1実施形態>
<撮像システムの要部構成>
図1は、本発明の第1実施形態に係る撮像システム1Aの外観を示す斜視図である。
【0014】
撮像システム1Aは、撮像装置10Aとパーソナルコンピュータ(以下「パソコン」と略称する)100とを備えている。撮像装置10Aとパソコン100とは、ケーブルCBによって電気的に接続され、撮像装置10Aとパソコン100とは相互にデータを送受信することができる。なお、ここでは、ケーブルCBによって電気的に接続したが、無線回線によって接続しても良いし、有線回線や無線回線等から構成されるネットワークを介して接続しても良い。
【0015】
撮像装置10Aは、主に撮像レンズ2と箱形のカメラ本体部3Aとによって構成され、例えば、被写体表面の色を分析する分析用のカメラ等として用いられる。また、撮像装置10Aは、後述するように、被写体表面から発する光を複数の色に対応する波長帯域別に分光し、これを撮影することによってマルチバンド画像、つまり分光画像データを生成できる。
【0016】
また、撮像装置10Aは、生成された分光画像データを、ケーブルCBを介してパソコン100に送信する。
【0017】
パソコン100は、情報処理装置として機能し、各種信号やデータの入出力を行うとともに各種データ処理等を行うパソコン本体部101と、種々の画像を可視的に出力する表示部102と、キーボードやマウス等によって構成される操作部103とを備えている。なお、図示を省略するが、パソコン本体部101と表示部102、パソコン本体部101と操作部103とは、各種信号やデータを互いに送受信可能となるように接続されている。
【0018】
図2は、撮像システム1Aの要部構成を示す図である。
【0019】
撮像装置10Aのカメラ本体部3Aは、分光プリズム31Aと、2つの撮像素子32a、32bとを有している。
【0020】
分光プリズム31Aは、直方体状の外形を有しており、その内部にダイクロイック膜で構成される分光面31fが設けられている。この分光面31fは、ダイクロイックフィルタとして機能し、被写体SBから分光プリズム31Aに入射する入射光Loに対して45度程度傾けられることにより、入射光Loの進行方向と同一方向に透過される光路Laと、入射光Loの進行方向と直交方向に反射される光路Lbとに分岐されて入射光Loが射出される。
【0021】
撮像素子32(32a、32b)は、撮像センサとして機能し、受光の最小面積単位である画素(光電セル)ごとに赤(R)、緑(G)、青(B)の色フィルターが、例えばベイヤー配列で配列された汎用のカラーCCDとして構成されている。すなわち、撮像素子32a、32bそれぞれは、三原色の波長帯域に対応するRGBの3つの色フィルタが光電セル配列上に配列されている。また、撮像素子32a、32bは、分光プリズム31Aで分岐された光路La、Lb上にそれぞれ配置されている。そして、撮像素子32aでは、一方の光路Laを進む被写体SBの分光画像を取得し、撮像素子32bでは、他方の光路Lbを進む被写体SBの分光画像を取得する(後で詳述)。
【0022】
パソコン100のパソコン本体部101は、画像処理部105と、画像処理部105に電気的に接続する制御部106とを有している。
【0023】
画像処理部105は、撮像装置10AからケーブルCBを介して送られた分光画像データに対して、必要に応じて例えば画素補間の処理やγ補正などの画像処理を施す部位である。
【0024】
制御部106は、撮像装置10Aの動作を制御したり、撮像装置10Aで生成されたマルチバンド画像情報に係る種々のデータを取り扱う。この場合、ユーザーが操作部103を操作することによって、パソコン本体部101からケーブルCBを介して撮像装置10Aに種々の制御信号を送信することができる。例えば、パソコン本体部101からの制御信号によって、撮像装置10Aにおける撮影の開始や停止、被写体に係るカラー情報に基づいた分光画像データの生成等を制御することができる。
【0025】
また、パソコン本体部101は、ハードディスク(図示省略)を備えるとともに、前面に設けられたドライブ104に光ディスク等の記憶媒体を着装することができる。そして、ユーザーが操作部103を操作することによって、撮像装置10AからケーブルCBを介して入力される分光画像データをハードディスクや記憶媒体に記憶することができる。
【0026】
以上のような機能を有するパソコン100では、表示部102において分光画像データに基づく種々の画像を可視的に出力することによって、被写体表面の色彩の解析を行うことができる。例えば、被写体表面の色彩を多数色のカラー情報として取得している場合は、表示部102に各色毎にヒストグラム(輝度分布)を表示させたりすることによって、被写体表面の色彩の解析を行うことができる。
【0027】
以上の構成を有する撮像装置10Aにおいて、分光画像を取得する方法について以下で説明する。
【0028】
<分光画像の取得方法について>
図3は、撮像装置10Aでの分光画像の取得方法を説明するための図である。図3(a)〜(c)では、横軸に波長を示し、縦軸に透過率を示している。
【0029】
図3(a)に示すように、撮像素子32に配列されるRGB各色の色フィルタは、それぞれ透過率がピークとなる波長から外れると徐々に減衰する分光感度分布を持つ分光透過特性Fr、Fg、Fb(仮想線で示す)を有している。一方、ダイクロイックプリズム31Aの分光面31fは、撮像素子32の各色フィルタが有する分光透過特性Fr、Fg、Fbそれぞれを分割するような波長特性F1を有している。
【0030】
具体的には、分光透過特性Frで表されるR色の波長帯域の光成分は、波長特性F1において最小透過率から最大透過率に変化する立上がり部(傾斜部)F11により波長方向に第1と第2の部分に分割され、そのうちの高波長側に相当する部分が選択的に透過する。一方、分光透過特性Fgで表されるG色の波長帯域の光成分は、傾斜部F12により第1と第2の部分に分割され、そのうちの低波長側に相当する部分が選択的に透過する。また、分光透過特性Fbで表されるB色の波長帯域の光成分は、傾斜部F13により第1と第2の部分に分割され、そのうちの高波長側に相当する部分が選択的に透過する。この分光面31fの波長特性F1により、入射光Loが透過する光路Laでは、波長特性F1を表す曲線より下側の光成分が伝搬するとともに、入射光Loが反射する光路Lbでは、波長特性F1の曲線より上側の光成分が伝搬する。このように、光路Laおよび光路Lbでは、光成分について相補的な関係となる。
【0031】
よって、分光面31fを透過して光路La上を伝搬する被写体SBの光像は、図3(b)に示すように、撮像素子32aで取得される。すなわち、撮像素子32aのR画素では、傾斜部F11の右側(高帯域側)の波長帯域Ra(平行斜線部)に関する分光画像が得られる。また、撮像素子32aのG画素では、傾斜部F12の左側(低帯域側)の波長帯域Gb(網掛け部)に関する分光画像が得られる。さらに、撮像素子32aのB画素では、傾斜部F13の右側(高帯域側)の波長帯域Ba(平行斜線部)に関する分光画像が得られる。
【0032】
また、分光面31fで反射して光路Lb上を伝搬する被写体SBの光像は、図3(c)に示すように、撮像素子32bで取得される。すなわち、撮像素子32bのR画素では、傾斜部F11の左側(低帯域側)の波長帯域Rb(平行斜線部)に関する分光画像が得られる。また、撮像素子32bのG画素では、傾斜部F12の右側(高帯域側)の波長帯域Ga(網掛け部)に関する分光画像が得られる。さらに、撮像素子32bのB画素では、傾斜部F13の左側(低帯域側)の波長帯域Bb(平行斜線部)に関する分光画像が得られる。
【0033】
分光プリズム31Aは、ガラス母材の吸収などの微少な光量ロスを除けば、波長特性F1に基づき入射光Loが透過または反射するため、2つの撮像素子32a、32bにおいて、6つの波長帯域Ra、Rb、Ga、Gb、Ba、Bbすなわち6色の分光画像が、光量効率良く取得できることとなる。
【0034】
<撮像システム1Aの動作>
図4は、撮像システム1Aの動作を説明するフローチャートである。
【0035】
まず、ユーザーがパソコン100の操作部103を種々操作することにより、パソコン100から撮像装置10Aに撮影指示をする(ステップS1)。この場合、制御部106で生成された撮影指示信号が、ケーブルCBを介して撮像装置10Aに伝達することで、指示が行われることとなる。
【0036】
ステップS2では、ダイクロイック膜を有する分光プリズム31Aで被写体SBからの入射光Loが2つの光路La、Lbに分岐される。
【0037】
ステップS3では、ステップS2で分岐された光路La、Lbにおいて被写体SBの光像を受光する2つの撮像素子32a、32bによって画像を取得する。
【0038】
ステップS4では、ステップS3で取得された画像データに対して、画像処理部105で画素補間などの画像処理を行う。
【0039】
ステップS5では、ステップS4で画像処理されることにより、分光画像データが生成される。この場合、撮像素子32における3つの分光透過特性Fr、Fg、Fbそれぞれを分割する分光面31fの分光透過特性F1により、ワンショット撮影で6色(3色×2)の分光画像データが生成されることとなる。そして、生成された分光画像データに基づき、例えば表示部102に表示することにより、ユーザーが確認できることとなる。
【0040】
以上の撮像システム1Aの構成および動作により、ダイクロイック膜で構成される分光面31fで分離された被写体光像を2つの撮像素子で取得するため、ワンショットで複数の分光画像を光量効率良く取得できる。
【0041】
また、2つの撮像素子32a、32bは、ともにベイヤー配列、つまり互いにRGBの色フィルタの配列パターンが同一であるため、それぞれの撮像素子で取得した分光画像の比較・検討が容易となる。
【0042】
さらに、ダイクロイック膜がRGBの波長帯域Fr、Fg、Fbそれぞれを分断させる波長特性F1を有するため、ワンショットで多数の分光画像を効率よく安価に取得できることとなる。
【0043】
なお、分光プリズム31Aの分光面31fにおけるダイクロイック膜については、図3に示す分光透過特性F1を有するのは必須でなく、図5に示す分光透過特性F2を有しても良い。
【0044】
図5(a)に示すように、分光透過特性Frで表されるR色の波長帯域の光成分は、波長特性F2の傾斜部F21により第1と第2の部分に分割され、そのうちの低波長側に相当する部分が選択的に透過する。一方、分光透過特性Fgで表されるG色の波長帯域の光成分は、傾斜部F22により第1と第2の部分に分割され、そのうちの高波長側に相当する部分が選択的に透過する。また、分光透過特性Frで表されるR色の波長帯域の光成分は、傾斜部F23により第1と第2の部分に分割され、そのうちの低波長側に相当する部分が選択的に透過する。この波長特性F2により、入射光Loが透過する光路Laでは、波長特性F2を表す曲線より下側の光成分が伝搬するとともに、入射光Loが反射する光路Lbでは、波長特性F2の曲線より上側の光成分が伝搬することとなる。
【0045】
よって、分光面31fを透過して光路La上を伝搬する被写体SBの光像は、図5(b)に示すように、撮像素子32aで取得される。すなわち、撮像素子32aのR画素では、傾斜部F21の左側(低帯域側)の波長帯域Rd(平行斜線部)に関する分光画像が得られる。また、撮像素子32aのG画素では、傾斜部F22の右側(高帯域側)の波長帯域Gc(網掛け部)に関する分光画像が得られる。さらに、撮像素子32aのB画素では、傾斜部F23の左側(低帯域側)の波長帯域Bd(平行斜線部)に関する分光画像が得られる。
【0046】
また、分光面31fで反射して光路Lb上を伝搬する被写体SBの光像は、図5(c)に示すように、撮像素子32bで取得される。すなわち、撮像素子32bのR画素では、傾斜部F21の右側(高帯域側)の波長帯域Rc(平行斜線部)に関する分光画像が得られる。また、撮像素子32bのG画素では、傾斜部F22の左側(低帯域側)の波長帯域Gd(網掛け部)に関する分光画像が得られる。さらに、撮像素子32bのB画素では、傾斜部F23の右側(高帯域側)の波長帯域Bc(平行斜線部)に関する分光画像が得られる。
【0047】
図5に示す波長特性F2を有する分光プリズム31Aによっても、2つの撮像素子32a、32bにおいて、6つの波長帯域Rc、Rd、Gc、Gd、Bc、Bdすなわち6色の分光画像が、光量効率良く取得できる。
【0048】
なお、図3および図5に示す分光面31fの波長特性F1および波長特性F2については、1つのダイクロイック膜で実現するのは必須でなく、2つのダイクロイック膜を張合わせるようにして実現しても良い。例えば、分光プリズム31A(図2)を作製するには、図6に示すように2つの三角柱状のプリズム311、312をダイクロイック膜がコートされたコート面311f、312fで張合わせる。この場合、図7(a)に示す波長特性T1を有するコート面311fと、図7(b)に示す波長特性T2を有するコート面312fとを張合わせることにより、図3に示す分光透過特性F1を実現できる。また、図8(a)に示す波長特性T3を有するコート面311fと、図8(b)に示す波長特性T4を有するコート面312fとを張合わせることにより、図5に示す分光透過特性F2を実現できる。
【0049】
このように比較的複雑な波長特性F1、F2でも、簡素化され生成容易な波長特性T1、T2、T3、T4を有するコート面を張合わせることによって簡易で適切に実現できることとなる。
【0050】
また、分光プリズム31Aの分光面31fにおけるダイクロイック膜については、図3および図5に示すように撮像素子32の3つの分光透過特性Fr、Fg、Fbそれぞれを分割する波長特性F1、F2を有するのは必須でなく、図9および図10に示すように2つの波長帯域を分割する波長特性F3、F4を有しても良い。
【0051】
図9(a)に示すように、分光透過特性Fgで表されるG色の波長帯域の光成分は、波長特性F3の傾斜部F31により第1と第2の部分に分割され、そのうちの低波長側に相当する部分が選択的に透過する。一方、分光透過特性Fbで表されるB色の波長帯域の光成分は、傾斜部F32により第1と第2の部分に分割され、そのうちの高波長側に相当する部分が選択的に透過する。この分光面31fの波長特性F3により、入射光Loが透過する光路Laでは、波長特性F3を表す曲線より下側の光成分が伝搬するとともに、入射光Loが反射する光路Lbでは、波長特性F3の曲線より上側の光成分が伝搬することとなる。
【0052】
よって、分光面31fを透過して光路La上を伝搬する被写体SBの光像は、図9(b)に示すように、撮像素子32aで取得される。すなわち、撮像素子32aのG画素では、傾斜部F31の左側(低帯域側)の波長帯域Gi(網掛け部)に関する分光画像が得られる。さらに、撮像素子32aのB画素では、傾斜部F32の右側(高帯域側)の波長帯域Bh(平行斜線部)に関する分光画像が得られる。
【0053】
また、分光面31fで反射して光路Lb上を伝搬する被写体SBの光像は、図9(c)に示すように、撮像素子32bで取得される。すなわち、撮像素子32bのR画素では、分光透過特性F3の傾斜部が存在しないため、R色の色フィルタが有する波長帯域Roに関する分光画像が得られる。また、撮像素子32bのG画素では、傾斜部F31の右側(高帯域側)の波長帯域Gh(網掛け部)に関する分光画像が得られる。さらに、撮像素子32bのB画素では、傾斜部F32の左側(低帯域側)の波長帯域Bi(平行斜線部)に関する分光画像が得られる。
【0054】
一方、図10(a)に示すように、分光透過特性Frで表されるR色の波長帯域の光成分は、波長特性F4の傾斜部F41により第1と第2の部分に分割され、そのうちの低波長側に相当する部分が選択的に透過する。また、分光透過特性Fgで表されるG色の波長帯域の光成分は、傾斜部F42により第1と第2の部分に分割され、そのうちの高波長側に相当する部分が選択的に透過する。この分光面31fの波長特性F4により、入射光Loが透過する光路Laでは、波長特性F4を表す曲線より下側の光成分が伝搬するとともに、入射光Loが反射する光路Lbでは、波長特性F4の曲線より上側の光成分が伝搬することとなる。
【0055】
よって、分光面31fを透過して光路La上を伝搬する被写体SBの光像は、図10(b)に示すように、撮像素子32aで取得される。すなわち、撮像素子32aのR画素では、傾斜部F41の左側(低帯域側)の波長帯域Rk(平行斜線部)に関する分光画像が得られる。また、撮像素子32aのG画素では、傾斜部F42の右側(高帯域側)の波長帯域Gi(網掛け部)に関する分光画像が得られる。
【0056】
また、分光面31fで反射して光路Lb上を伝搬する被写体SBの光像は、図10(c)に示すように、撮像素子32bで取得される。すなわち、撮像素子32bのR画素では、傾斜部F41の右側(高帯域側)の波長帯域Rj(平行斜線部)に関する分光画像が得られる。また、撮像素子32bのG画素では、傾斜部F42の左側(低帯域側)の波長帯域Gk(網掛け部)に関する分光画像が得られる。また、撮像素子32bのB画素では、波長特性F4の傾斜部が存在しないため、B色の色フィルタが有する波長帯域Boに関する分光画像が得られる。
【0057】
以上で説明したように、図9および図10に示す分光透過特性F3、F4を有する分光プリズム31Aによっても、2つの撮像素子32a、32bにおいて、図9に示す5つの波長帯域Ro、Gh、Gi、Bh、Biまたは、図10に示す5つの波長帯域Rj、Rk、Gj、Gk、Bo、すなわち5色の分光画像が光量効率良く取得できることとなる。
【0058】
同様に、分光プリズム31Aの分光面31fにおけるダイクロイック膜については、図11および図12に示すように1つの波長帯域のみを分割する分透過特性F5、F6を有するようにしても良い。
【0059】
図11(a)に示すように、分光透過特性Frで表されるR色の波長帯域の光成分は、波長特性F5の傾斜部F51により第1と第2の部分に分割され、そのうちの高波長側に相当する部分が選択的に透過する。この分光面31fの波長特性F5により、入射光Loが透過する光路Laでは、波長特性F5を表す曲線より下側の光成分が伝搬するとともに、入射光Loが反射する光路Lbでは、波長特性F5の曲線より上側の光成分が伝搬することとなる。
【0060】
よって、分光面31fを透過して光路La上を伝搬する被写体SBの光像は、図11(b)に示すように、撮像素子32aで取得される。すなわち、撮像素子32aのR画素では、傾斜部F51の右側(高帯域側)の波長帯域Rm(平行斜線部)に関する分光画像が得られる。
【0061】
また、分光面31fで反射して光路Lb上を伝搬する被写体SBの光像は、図11(c)に示すように、撮像素子32bで取得される。すなわち、撮像素子32bのR画素では、傾斜部F51の左側(低帯域側)の波長帯域Rn(平行斜線部)に関する分光画像が得られる。また、撮像素子32bのG画素およびB画素では、分光透過特性F5の傾斜部が存在しないため、G色およびB色の色フィルタが有する波長帯域Go、Boに関する分光画像が得られる。
【0062】
一方、図12(a)に示すように、分光透過特性Fbで表されるB色の波長帯域の光成分は、波長特性F6の傾斜部F61により第1と第2の部分に分割され、そのうちの低波長側に相当する部分が選択的に透過する。この分光面31fの波長特性F6により、入射光Loが透過する光路Laでは、波長特性F6を表す曲線より下側の光成分が伝搬するとともに、入射光Loが反射する光路Lbでは、波長特性F6の曲線より上側の光成分が伝搬することとなる。
【0063】
よって、分光面31fを透過して光路La上を伝搬する被写体SBの光像は、図12(b)に示すように、撮像素子32aで取得される。すなわち、撮像素子32aのB画素では、傾斜部F61の左側(低帯域側)の波長帯域Bn(平行斜線部)に関する分光画像が得られる。
【0064】
また、分光面31fで反射して光路Lb上を伝搬する被写体SBの光像は、図12(c)に示すように、撮像素子32bで取得される。すなわち、撮像素子32bのR画素およびG画素では、分光透過特性F6の傾斜部が存在しないため、R色およびG色の色フィルタが有する波長帯域Ro、Goに関する分光画像が得られる。また、撮像素子32bのB画素では、傾斜部F61の右側(高帯域側)の波長帯域Bm(平行斜線部)に関する分光画像が得られる。
【0065】
以上で説明したように、図11および図12に示す分光透過特性F5、F6を有する分光プリズム31Aによっても、2つの撮像素子32a、32bにおいて、図11に示す4つの波長帯域Rm、Rn、Go、Boまたは、図12に示す4つの波長帯域Ro、Go、Bm、Bn、すなわち4色の分光画像が光量効率良く取得できることとなる。
【0066】
<第2実施形態>
本発明の第2実施形態に係る撮像システム1Bについては、図1に示す第1実施形態の撮像システム1Aと同様の外観を有している。
【0067】
図13は、撮像システム1Bの要部構成を示す図である。
【0068】
撮像システム1Bは、第1実施形態と同様の構成であるパソコン100を有しているが、第1実施形態と異なる撮像装置10Bを有している。
【0069】
撮像装置10Bは、分光プリズム31Bと3つの撮像素子32c〜32eとを有するカメラ本体部3Bを備えている。
【0070】
分光プリズム31Bは、第1実施形態の分光プリズム31Aと異なり、2つの分光面31p、31qを有している。これらの分光面31p、31qは、ダイクロイック膜で構成されており、被写体SBからの入射光Loが透過する光路Lcと、分光面31pで反射される光路Ldと、分光面31qで反射される光路Leとに入射光Loを分離する。
【0071】
撮像素子32(32c〜32e)は、第1実施形態と同様に、画素(光電変換セル)ごとに赤(R)、緑(G)、青(B)の色フィルターが、例えばベイヤー配列で配列された汎用のカラーCCDとして構成されている。そして、撮像素子32cでは、2つの分光面31p、31qを通過して光路Lcを進む被写体SBの分光画像を取得し、撮像素子32dでは、分光面31pにおける反射光の光路Ldを進む被写体SBの分光画像を取得するとともに、撮像素子32eでは、分光面31qにおける反射光の光路Leを進む被写体SBの分光画像を取得する(後で後述)。
【0072】
以上の構成を有する撮像装置10Bにおいて、分光画像を取得する方法を以下で説明する。
【0073】
<分光画像の取得方法について>
図14および図15は、撮像装置10Bでの分光画像の取得方法を説明するための図である。
【0074】
分光プリズム10Bの分光面31pは、図14(a)に示すように、撮像素子32の色フィルタが有する分光透過特性Fr、Fg、Fbそれぞれを分割する波長特性F7を有している。
【0075】
具体的には、分光透過特性Frで表されるR色の波長帯域の光成分は、波長特性F7の傾斜部F71により第1と第2の部分に分割され、そのうちの低波長側に相当する部分が選択的に透過する。一方、分光透過特性Fgで表されるG色の波長帯域の光成分は、傾斜部F72により第1と第2の部分に分割され、そのうちの高波長側に相当する部分が選択的に透過する。また、分光透過特性Frで表されるR色の波長帯域の光成分は、傾斜部F73により第1と第2の部分に分割され、そのうちの低波長側に相当する部分が選択的に透過する。この分光面31pの波長特性F7により、入射光Loが透過する光路Lcでは、波長特性F7を表す曲線より下側の光成分が伝搬するとともに、入射光Loが反射する光路Ldでは、波長特性F7の曲線より上側の光成分が伝搬することとなる。
【0076】
よって、分光面31pを透過して分光面31qに至までの被写体SBの光像は、図14(b)に示すような波長の構成となる。すなわち、撮像素子32のR画素に関する光成分は、傾斜部F71の左側(低帯域側)の波長帯域R23(平行斜線部)となる。また、撮像素子32のG画素に関する光成分は、傾斜部F72の右側(高帯域側)の波長帯域G12(網掛け部)となる。さらに、撮像素子32のB画素に関する光成分は、傾斜部F73の左側(低帯域側)の波長帯域B23(平行斜線部)となる。
【0077】
また、分光面31pで反射して光路Ld上を伝搬する被写体SBの光像は、図14(c)に示すように、撮像素子32dで取得される。すなわち、撮像素子32dのR画素では、傾斜部F71の右側(高帯域側)の波長帯域R1(平行斜線部)に関する分光画像が得られる。また、撮像素子32dのG画素では、傾斜部F72の左側(低帯域側)の波長帯域G3(網掛け部)に関する分光画像が得られる。さらに、撮像素子32dのB画素では、傾斜部F73の右側(高帯域側)の波長帯域B1(平行斜線部)に関する分光画像が得られる。
【0078】
一方、分光プリズム10Bの分光面31qは、分光面31pと波長特性が異なっているが、図15(a)に示すように、撮像素子32の色フィルタが有する分光透過特性Fr、Fg、Fbそれぞれを分割する波長特性F8を有している。
【0079】
具体的には、分光透過特性Frで表されるR色の波長帯域の光成分は、波長特性F8の傾斜部F81により第1と第2の部分に分割され、そのうちの低波長側に相当する部分が選択的に透過する。一方、分光透過特性Fgで表されるG色の波長帯域の光成分は、傾斜部F82により第1と第2の部分に分割され、そのうちの高波長側に相当する部分が選択的に透過する。また、分光透過特性Frで表されるR色の波長帯域の光成分は、傾斜部F83により第1と第2の部分に分割され、そのうちの低波長側に相当する部分が選択的に透過する。この分光面31qにより、入射光Loが透過する光路Lcでは、波長特性F8を表す曲線より下側の光成分が伝搬するとともに、入射光Loが反射する光路Leでは、波長特性F8の曲線より上側の光成分が伝搬することとなる。
【0080】
よって、分光面31qで透過して光路Lc上を伝搬する被写体SBの光像は、図15(b)に示すように、撮像素子32cで取得される。すなわち、撮像素子32cのR画素では、傾斜部F81の左側(低帯域側)の波長帯域R3(平行斜線部)に関する分光画像が得られる。また、撮像素子32cのG画素では、傾斜部F82の右側(高帯域側)の波長帯域G1(網掛け部)に関する分光画像が得られる。さらに、撮像素子32cのB画素では、傾斜部F83の左側(低帯域側)の波長帯域B3(平行斜線部)に関する分光画像が得られる。
【0081】
また、分光面31qで反射して光路Le上を伝搬する被写体SBの光像は、図15(c)に示すように、撮像素子32eで取得される。すなわち、撮像素子32eのR画素では、傾斜部F81の右側(高帯域側)の波長帯域R2(平行斜線部)に関する分光画像が得られる。また、撮像素子32eのG画素では、傾斜部F82の左側(低帯域側)の波長帯域G2(網掛け部)に関する分光画像が得られる。さらに、撮像素子32eのB画素では、傾斜部F83の右側(高帯域側)の波長帯域B2(平行斜線部)に関する分光画像が得られる。
【0082】
分光プリズム31Bは、第1実施形態と同様に、分光面31pの分光透過特性F7および分光面31qの分光透過特性F8に基づき入射光Loが透過または反射するため、3つの撮像素子32c〜32eにおいて、9つの波長帯域R1〜R3、G1〜G3、B1〜B3すなわち9色の分光画像が、光量効率良く取得できることとなる。
【0083】
<撮像システム1Bの動作>
図16は、撮像システム1Bの動作を説明するフローチャートである。
【0084】
ステップS11では、図4のフローチャートに示すステップS1と同様の動作を行う。
【0085】
ステップS12では、分光プリズム31Bで被写体SBからの入射光Loが3つの光路Lc〜Leに分岐される。この際には、2つの分光面31p、31qにおいて透過光および反射光に分離されることにより、分光プリズム31Bからの出射光が3つに分岐されることとなる。
【0086】
ステップS13では、ステップS12で分岐された3つの光路Lc〜Leにおいて被写体SBの光像を受光する3つの撮像素子32c〜32eによって画像を取得する。
【0087】
ステップS14およびステップS15では、図4のフローチャートに示すステップS4およびステップS5と同様の動作を行う。ただし、ステップS15においては、撮像素子32における3つの分光透過特性Fr、Fg、Fbそれぞれを分割する分光面31pの波長特性F7および分光面31qの波長特性F8により、ワンショット撮影で9色(3色×3)の分光画像データが生成される。
【0088】
以上の撮像システム1Bの構成および動作により、ダイクロイック膜で構成される2つの分光面31p、31qで分岐された被写体光像を3つの撮像素子で取得するため、9色の分光画像を光量効率良く簡易に取得できる。
【0089】
<変形例>
◎上記の各実施形態における撮像素子については、三原色の色フィルタからなる配列を有するのは必須でなく、2色や4色以上の色フィルタからなる配列を有しても良い。
【0090】
また、撮像素子は、色フィルタで分光するのは必須でなく、受光する波長によって異なる深さで吸収する特性を利用してRGBの各波長帯域ごとに分光しても良い。
【0091】
◎上記の第1実施形態における分光プリズムについては、図2に示す直方体の形状を有するのは必須でなく、図17(a)〜(e)に示す各形状を有しても良い。
【0092】
図17(a)および図17(b)に示す分光プリズム31C、31Dは、底面に分光面31gを有する三角柱状の形状を有しており、略直交方向に光路を分岐する。
【0093】
図17(c)および図17(d)に示す分光部材31E、31Fは、1つの主面に分光面31gを有する矩形板状の形状を有しており、2つの光路に分岐する。
【0094】
図17(e)に示す分光プリズム31Gは、図2に示す分光プリズムと異なり、互いに直交しない2つの光路に入射光を分岐させる。具体的には、被写体からの入射光Loに対して所定の傾斜を有する分光面31hと、分光面31hで反射した光を反射させる反射面31mとによって、分光プリズム31Gから出射する2つの光路Lh、Liに分離する。
【0095】
◎上記の各実施形態の撮像システムについては、撮像装置とパソコンとの組合せで実現するのは必須でなく、パソコンの操作部や表示部に相当するユーザインターフェースがカメラ上に追加された撮像装置のみで実現しても良い。
【0096】
【発明の効果】
以上説明したように、請求項1ないし請求項5の発明によれば、ダイクロイック膜は複数の撮像センサそれぞれが有する複数の波長帯域のうち少なくとも1の波長帯域の光成分を第1と第2の部分に分割し、第1の部分を選択的に透過する波長特性を有する。その結果、ワンショットで複数の分光画像を光量効率良く取得できる。
【0097】
特に、請求項2の発明においては、複数の波長帯域が三原色に対応する3の波長帯域であるため、汎用のカラー撮像素子を利用し簡単に分光画像を取得できる。
【0098】
また、請求項3の発明においては、複数の撮像センサそれぞれは複数の波長帯域に対応する複数の色フィルタが光電セル配列上に配列された色フィルタ配列を有するため、複数の波長帯域を持つ分光特性を容易に実現できる。
【0099】
また、請求項4の発明においては、複数の撮像センサが互いに色フィルタ配列の配列パターンが同一であるため、それぞれの撮像センサで取得した分光画像の比較・検討が容易になる。
【0100】
また、請求項5の発明においては、ダイクロイック膜が複数の波長帯域それぞれの光成分を第1と第2の部分に分割し、第1の部分を選択的に透過する波長特性を有するため、ワンショットで多数の分光画像を効率よく安価に取得できる。
【図面の簡単な説明】
【図1】本発明の第1実施形態に係る撮像システム1Aの外観を示す斜視図である。
【図2】撮像システム1Aの要部構成を示す図である。
【図3】撮像装置10Aでの分光画像の取得方法を説明するための図である。
【図4】撮像システム1Aの動作を説明するフローチャートである。
【図5】分光画像の他の取得方法を説明するための図である。
【図6】分光プリズム31Aの作製方法を説明するための図である。
【図7】分光プリズム31Aの作製方法を説明するための図である。
【図8】分光プリズム31Aの作製方法を説明するための図である。
【図9】5色の分光画像の取得方法を説明するための図である。
【図10】5色の分光画像の取得方法を説明するための図である。
【図11】4色の分光画像の取得方法を説明するための図である。
【図12】4色の分光画像の取得方法を説明するための図である。
【図13】本発明の第2実施形態に係る撮像システム1Bの要部構成を示す図である。
【図14】撮像装置10Bでの分光画像の取得方法を説明するための図である。
【図15】撮像装置10Bでの分光画像の取得方法を説明するための図である。
【図16】撮像システム1Bの動作を説明するフローチャートである。
【図17】本発明の変形例に係る分光プリズム31C〜31Gを説明するための図である。
【符号の説明】
1A、1B 撮像システム
2 撮像レンズ
3 カメラ本体部
10A、10B 撮像装置
31A〜31G 分光プリズム
31f、31p、31q 分光面
32a〜32e 撮像素子
F1〜F8、T1〜T4 分光面の波長特性
Claims (5)
- 撮像装置であって、
(a)ダイクロイック膜により、被写体に係る入射光を複数の光路に分岐し射出する分岐手段と、
(b)前記分岐手段で分岐された光路上にそれぞれ設けられる複数の撮像センサと、
を備え、
前記複数の撮像センサそれぞれは、複数の波長帯域を持つ分光感度特性を有するとともに、
前記ダイクロイック膜は、前記複数の波長帯域のうち少なくとも1の波長帯域の光成分を第1と第2の部分に分割し、前記第1の部分を選択的に透過する波長特性を有することを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記複数の波長帯域は、三原色に対応する3の波長帯域であることを特徴とする撮像装置。 - 請求項1または請求項2に記載の撮像装置において、
前記複数の撮像センサそれぞれは、
前記複数の波長帯域に対応する複数の色フィルタが光電セル配列上に配列される色フィルタ配列、
を有することを特徴とする撮像装置。 - 請求項3に記載の撮像装置において、
前記複数の撮像センサは、互いに前記色フィルタ配列の配列パターンが同一であることを特徴とする撮像装置。 - 請求項1ないし請求項4のいずれかに記載の撮像装置において、
前記ダイクロイック膜は、前記複数の波長帯域それぞれの光成分を第1と第2の部分に分割し、前記第1の部分を選択的に透過する波長特性を有することを特徴とする撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002335041A JP3673845B2 (ja) | 2002-11-19 | 2002-11-19 | 撮像装置 |
| US10/462,648 US20040095489A1 (en) | 2002-11-19 | 2003-06-17 | Image pickup apparatus, image pickup system, and image pickup method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002335041A JP3673845B2 (ja) | 2002-11-19 | 2002-11-19 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004172832A JP2004172832A (ja) | 2004-06-17 |
| JP3673845B2 true JP3673845B2 (ja) | 2005-07-20 |
Family
ID=32290335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002335041A Expired - Fee Related JP3673845B2 (ja) | 2002-11-19 | 2002-11-19 | 撮像装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040095489A1 (ja) |
| JP (1) | JP3673845B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1686810A4 (en) | 2003-11-11 | 2009-06-03 | Olympus Corp | MULTIPLE SPECTRUM IMAGE CAPTURE DEVICE |
| JP4633129B2 (ja) * | 2003-11-11 | 2011-02-16 | オリンパス株式会社 | マルチスペクトル画像撮影装置 |
| JP4717363B2 (ja) * | 2004-03-10 | 2011-07-06 | オリンパス株式会社 | マルチスペクトル画像撮影装置及びアダプタレンズ |
| US20060221209A1 (en) * | 2005-03-29 | 2006-10-05 | Mcguire Morgan | Apparatus and method for acquiring and combining images of a scene with multiple optical characteristics at multiple resolutions |
| US7864235B2 (en) * | 2005-03-30 | 2011-01-04 | Hoya Corporation | Imaging device and imaging method including generation of primary color signals |
| JP5086535B2 (ja) * | 2005-11-21 | 2012-11-28 | オリンパスメディカルシステムズ株式会社 | 2板撮像装置 |
| US20070158535A1 (en) * | 2006-01-12 | 2007-07-12 | Cory Watkins | Color imaging using monochrome imagers |
| EP2175657A4 (en) * | 2007-07-17 | 2011-04-20 | Panasonic Corp | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, COMPUTER PROGRAM, THE COMPUTER PROGRAM STORING RECORDING MEDIA, METHOD FOR CALCULATING MOVEMENT FROM FULL IMAGE TO IMAGE IMAGE AND IMAGE PROCESSING METHOD |
| US8018500B2 (en) * | 2007-08-07 | 2011-09-13 | Panasonic Corporation | Image picking-up processing device, image picking-up device, image processing method and computer program |
| US7825968B2 (en) * | 2007-09-07 | 2010-11-02 | Panasonic Corporation | Multi-color image processing apparatus and signal processing apparatus |
| JP5034927B2 (ja) * | 2007-12-25 | 2012-09-26 | 凸版印刷株式会社 | 情報取得装置、情報取得方法および情報取得プログラム |
| CN101682693B (zh) * | 2008-01-09 | 2013-08-07 | 松下电器产业株式会社 | 图像数据生成装置、图像数据生成方法 |
| JP2011112452A (ja) * | 2009-11-25 | 2011-06-09 | Olympus Corp | カラーセンサ |
| JP5482199B2 (ja) * | 2009-12-28 | 2014-04-23 | ソニー株式会社 | 撮像装置 |
| JP6659611B2 (ja) * | 2017-03-30 | 2020-03-04 | 西日本電信電話株式会社 | 多波長撮影カメラシステム、多波長撮影カメラの撮影方法、画像処理装置、画像処理方法およびプログラム |
| JP2023099967A (ja) * | 2022-01-04 | 2023-07-14 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置および電子機器 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR0169376B1 (ko) * | 1995-10-10 | 1999-03-20 | 김광호 | 멀티미디어 대응 가능한 씨씨디 카메라 시스템 |
| JP3713321B2 (ja) * | 1995-12-19 | 2005-11-09 | オリンパス株式会社 | カラー画像記録再生システム及び画像カラー画像記録再生方法 |
| JP4076248B2 (ja) * | 1997-09-09 | 2008-04-16 | オリンパス株式会社 | 色再現装置 |
| US20030151685A1 (en) * | 2002-02-11 | 2003-08-14 | Ia Grone Marcus J. | Digital video camera having only two CCDs |
| EP1686810A4 (en) * | 2003-11-11 | 2009-06-03 | Olympus Corp | MULTIPLE SPECTRUM IMAGE CAPTURE DEVICE |
-
2002
- 2002-11-19 JP JP2002335041A patent/JP3673845B2/ja not_active Expired - Fee Related
-
2003
- 2003-06-17 US US10/462,648 patent/US20040095489A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20040095489A1 (en) | 2004-05-20 |
| JP2004172832A (ja) | 2004-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3673845B2 (ja) | 撮像装置 | |
| US10904513B2 (en) | Camera image fusion methods | |
| CN101971636B (zh) | 摄像装置 | |
| KR100848763B1 (ko) | 멀티 스펙트럼 화상 촬영 장치 및 어댑터 렌즈 | |
| JP4940361B2 (ja) | カラー画像を撮像するための装置 | |
| JP5325117B2 (ja) | 固体撮像装置 | |
| JP5484258B2 (ja) | 色分解光学系 | |
| CN102948153A (zh) | 双传感器成像系统 | |
| US6967720B2 (en) | Multi-screen spectroscopic imaging device | |
| US20190058837A1 (en) | System for capturing scene and nir relighting effects in movie postproduction transmission | |
| CN106412533B (zh) | 数字成像装置、数字成像设备和数字成像方法 | |
| CN103404152B (zh) | 固体摄像元件、摄像装置、以及信号处理方法 | |
| JP5894573B2 (ja) | 固体撮像素子、撮像装置および信号処理方法 | |
| JP2018040976A (ja) | フィルタ、画像撮影装置および画像撮影システム | |
| US5168350A (en) | Solid-state color imaging apparatus | |
| WO2012172735A1 (ja) | 固体撮像素子、撮像装置および信号処理方法 | |
| CN102474649A (zh) | 三维摄像装置及透光板 | |
| JP4874752B2 (ja) | デジタルカメラ | |
| CN103843319B (zh) | 摄像元件及摄像装置 | |
| US20070097252A1 (en) | Imaging methods, cameras, projectors, and articles of manufacture | |
| US10715771B1 (en) | Wide-gamut-color image formation and projection | |
| JPS599888B2 (ja) | 色分解光学装置 | |
| CN223488331U (zh) | 多ccd成像装置 | |
| JP2004208212A (ja) | 撮像装置 | |
| JP2003309747A (ja) | マルチスペクトル画像撮影方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050321 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050406 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3673845 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100513 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120513 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |