JP6878111B2 - 固体撮像装置及び情報処理装置 - Google Patents

固体撮像装置及び情報処理装置 Download PDF

Info

Publication number
JP6878111B2
JP6878111B2 JP2017084523A JP2017084523A JP6878111B2 JP 6878111 B2 JP6878111 B2 JP 6878111B2 JP 2017084523 A JP2017084523 A JP 2017084523A JP 2017084523 A JP2017084523 A JP 2017084523A JP 6878111 B2 JP6878111 B2 JP 6878111B2
Authority
JP
Japan
Prior art keywords
image sensor
light
sensor module
bandpass filter
solid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017084523A
Other languages
English (en)
Other versions
JP2018182255A (ja
JP2018182255A5 (ja
Inventor
長谷川 正明
正明 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Mobile Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Mobile Communications Inc filed Critical Sony Mobile Communications Inc
Priority to JP2017084523A priority Critical patent/JP6878111B2/ja
Priority to PCT/JP2018/007864 priority patent/WO2018193727A1/ja
Priority to EP18787756.8A priority patent/EP3614435B1/en
Priority to US16/497,447 priority patent/US11265520B2/en
Publication of JP2018182255A publication Critical patent/JP2018182255A/ja
Publication of JP2018182255A5 publication Critical patent/JP2018182255A5/ja
Application granted granted Critical
Publication of JP6878111B2 publication Critical patent/JP6878111B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/28Interference filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7908Suppression of interfering signals at the reproducing side, e.g. noise
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/011Manufacture or treatment of image sensors covered by group H10F39/12
    • H10F39/024Manufacture or treatment of image sensors covered by group H10F39/12 of coatings or optical elements
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80Constructional details of image sensors
    • H10F39/805Coatings
    • H10F39/8053Colour filters
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80Constructional details of image sensors
    • H10F39/806Optical elements or arrangements associated with the image sensors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10FINORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80Constructional details of image sensors
    • H10F39/804Containers or encapsulations

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Optical Filters (AREA)

Description

本開示は、固体撮像装置及び情報処理装置に関する。
例えば特許文献1には、複数のレンズを備えた複眼方式のカメラモジュールに関する技術が開示されている。
特開2009−164654号公報
上記特許文献1に記載された複眼方式のカメラモジュールは被写体までの測距を目的としているものである。複数のレンズを備えることで、一度の撮像で複数の画像データを得ることが出来る。
そこで、本開示では、一度の撮像で異なる波長の光を露光した画像データの生成が可能な、新規かつ改良された固体撮像装置及び情報処理装置を提案する。
本開示によれば、光を集光する複数のレンズと、前記複数のレンズを通過する光がそれぞれ照射され、異なる前記光の波長帯を透過させる透過パターンからなる複数の領域を有するフィルタ部と、前記フィルタ部を透過した光を電気信号に変換する画素がマトリクス状に配置され、前記画素の前記フィルタ部の側に前記透過パターンに対応するカラーフィルタを備えるイメージセンサと、を備える、固体撮像装置が提供される。
また本開示によれば、上記固体撮像装置を備える、情報処理装置が提供される。
以上説明したように本開示によれば、一度の撮像で異なる波長の光を露光した画像データの生成が可能な、新規かつ改良された固体撮像装置及び情報処理装置を提供することが出来る。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施の形態に係るセンサモジュールの外観例を示す意説明図である。 同実施の形態に係るセンサモジュールの内部構造を分解斜視図で示す説明図である。 イメージセンサの有効領域について示す説明図である。 光の三原色に対応した青、緑、赤のカラーフィルタの特性例と、同実施の形態に係るセンサモジュールで用いられるバンドパスフィルタの特性例と、をグラフで示す説明図である。 バンドパスフィルタの例を示す説明図である。 バンドパスフィルタの特性例を示す説明図である。 バンドパスフィルタの特性例を示す説明図である。 バンドパスフィルタの特性例を示す説明図である。 バンドパスフィルタの特性例を示す説明図である。 同実施の形態に係るセンサモジュールが組み込まれた情報処理装置の機能構成例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.本開示の実施の形態
1.1.センサモジュールの外観例
1.2.センサモジュールの機能
1.3.センサモジュールを備えた装置の構成例
2.まとめ
<1.本開示の実施の形態>
[1.1.センサモジュールの外観例]
まず、図面を参照しながら本開示の実施の形態に係るセンサモジュールの外観例について説明する。図1は、本開示の実施の形態に係るセンサモジュールの外観例を示す意説明図である。以下、図1を用いて本開示の実施の形態に係るセンサモジュールの外観例について説明する。
図1に示したセンサモジュール100は、例えばスマートフォン、タブレット型端末、ゲーム機、携帯型音楽再生装置その他のユーザが携帯可能な機器に搭載されうるセンサモジュールである。図1に示したように、本開示の実施の形態に係るセンサモジュール100は、ハウジング110と、リジッドフレキシブル基板120と、で構成される。ハウジング110の光が入射される面には、4つのレンズ111a〜111dが設けられている。なお本実施形態では、センサモジュール100の4つのレンズが備えられている例を示したが、本開示は係る例に限定されるものでは無い。
センサモジュール100は、後述するように、ハウジング110の内部にバンドパスフィルタを備えている。またリジッドフレキシブル基板120にはイメージセンサが形成される。そして本実施形態のセンサモジュール100は、バンドパスフィルタを4つの領域に分け、4つのレンズ111a〜111dをそれぞれ通過した光に対して、バンドパスフィルタを通じて所定の波長帯(周波数帯)の光を通過させて、イメージセンサにその光を照射させる。このような構成を有することで、本実施形態に係るセンサモジュール100は、一度の撮像で異なる波長帯(周波数帯)の光を露光した画像データの生成を可能としている。
以上、本開示の実施の形態に係るセンサモジュールの外観例について説明した。続いて、本開示の実施の形態に係るセンサモジュールの内部構造について分解斜視図を用いて説明する。
図2は、本開示の実施の形態に係るセンサモジュールの内部構造を分解斜視図で示す説明図である。以下、図2を用いて本開示の実施の形態に係るセンサモジュールの内部構造について説明する。
上述したように、ハウジング110は4つのレンズ111a〜111dが設けられる。そしてハウジング110の内部は、図2に示したように4つの領域110a〜110dに分けられている。
バンドパスフィルタ112は、4つのレンズ111a〜111dを通過した光に対して、所定の周波数帯波長帯(周波数帯)の光を通過させる。そして本実施形態では、バンドパスフィルタ112は、それぞれ異なる通過パターンを有する4つのバンドパスフィルタ112a〜112dからなる。レンズ111aを通過した光はバンドパスフィルタ112aを通過する。同様に、レンズ111bを通過した光はバンドパスフィルタ112bを、レンズ111cを通過した光はバンドパスフィルタ112cを、レンズ111dを通過した光はバンドパスフィルタ112dを、それぞれ通過する。バンドパスフィルタ112を通過した光はイメージセンサ121に照射される。
イメージセンサ121は、例えばCCD(Charge Coupled Device;電荷結合素子)やCMOS(Complementary metal−oxide−semiconductor;相補型MOS)で構成される撮像素子を備えるイメージセンサであり、バンドパスフィルタ112を通過した光を電気信号に変換する。本実施形態では、イメージセンサ121は4つの領域121a〜121dに分けられており、それぞれ、バンドパスフィルタ112a〜112dを通過した光を電気信号に変換する。またイメージセンサ121には撮像素子の上部にカラーフィルタを備える。
以上、本開示の実施の形態に係るセンサモジュールの内部構造について分解斜視図を用いて説明した。続いて、本開示の実施の形態に係るセンサモジュールに備えられている、イメージセンサ121の有効領域について説明する。ここでイメージセンサ121の有効領域とは、レンズを通じて光が照射される領域のことをいう。
図3は、イメージセンサ121の有効領域について示す説明図であり、センサモジュール100をレンズ111a〜111dが設けられている側から見ている様子を示した図である。図3に示したように、レンズ111a〜111dが設けられていることにより、イメージセンサ121には4つの有効領域122a〜122dが存在することになる。イメージセンサ121は、有効領域122a〜122dに対して照射された光を光電変換することで画像データを生成する。
なお、このようにイメージセンサ121の上にレンズ111a〜111dが設けられる場合、レンズ111a〜111dを通過する入射光を効率よくイメージセンサ121に照射させるために瞳補正が行われても良い。瞳補正は、レンズ111a〜111dの中央部と周辺部とで、光線の入射角に合わせてレンズ111a〜111dを調整する補正である。
[1.2.センサモジュールの機能]
続いて、本開示の実施の形態に係るセンサモジュールの機能について説明する。上述したように、本開示の実施の形態に係るセンサモジュール100は、異なる通過パターンを有する4つのバンドパスフィルタ112a〜112dからなるバンドパスフィルタ112を備える。バンドパスフィルタ112a〜112dは、それぞれ、所定の範囲の波長帯の光を通過させ、その他の波長帯の光を減衰させるバンドパスフィルタ、またはそのようなバンドパスフィルタの組み合わせで構成される。
通常のセンサモジュールは、光の三原色に対応した青、緑、赤のカラーフィルタがベイヤー配列で設けられる。本実施形態のイメージセンサ121では、カラーフィルタとして、上記の青、緑、赤の光の三原色によるものではなく、後述するように、所望の周波数帯の成分を抽出するための、各領域について異なる配列としたカラーフィルタを備えることを特徴としている。
図4は、光の三原色に対応した青、緑、赤のカラーフィルタの特性例と、本開示の実施の形態に係るセンサモジュール100で用いられるバンドパスフィルタの特性例と、をグラフで示す説明図である。符号131は、青のカラーフィルタの特性、符号132は、緑のカラーフィルタの特性、符号133は、赤のカラーフィルタの特性である。これに対し、符号141〜147は、本開示の実施の形態に係るセンサモジュール100で用いられるバンドパスフィルタの特性例である。以下の説明では、センサモジュール100で用いられるバンドパスフィルタについて、波長が短いものから順にBPF1、BPF2、・・・、BPF7とする。そしてバンドパスフィルタ112a〜112dは、このBPF1〜BPF7の中から少なくとも1つを有する。
例えば、500nm〜550nmは、野菜や植物の葉緑素を可視化しやすい波長帯である。従って、野菜や植物の葉緑素を可視化する用途でセンサモジュール100を用いたい場合は、BPF3を含んだバンドパスフィルタを作成してセンサモジュール100に組み込むことが望ましい。
また例えば、550nm〜600nmは、食肉が古くなると茶色を呈する原因物質であるメトミオグロビンを可視化しやすい波長帯であり、すなわち食肉の劣化を可視化しやすい波長帯である。従って、食肉の劣化を可視化する用途でセンサモジュール100を用いたい場合は、BPF4を含んだバンドパスフィルタを作成してセンサモジュール100に組み込むことが望ましい。
また例えば、600nm〜650nmは、トマトなどに含まれるリコピンを可視化しやすい波長帯である。従って、リコピンを可視化する用途でセンサモジュール100を用いたい場合は、BPF5を含んだバンドパスフィルタを作成してセンサモジュール100に組み込むことが望ましい。
また例えば、650nm〜700nmは、食肉の鮮度に関する成分を可視化しやすい波長帯である。従って、食肉の鮮度に関する成分を可視化する用途でセンサモジュール100を用いたい場合は、BPF6を含んだバンドパスフィルタを作成してセンサモジュール100に組み込むことが望ましい。
また例えば、800nm〜900nmは、野菜や植物に含まれる水分を可視化しやすい波長帯である。従って、野菜や植物に含まれる水分を可視化する用途でセンサモジュール100を用いたい場合は、BPF7を含んだバンドパスフィルタを作成してセンサモジュール100に組み込むことが望ましい。
そして本実施形態に係るセンサモジュール100は、バンドパスフィルタ112が複数のバンドパスフィルタ112a〜112dで構成されていることで、これらの用途を1つのセンサモジュール100で対応することが出来る。
しかし、イメージセンサ121に設けるカラーフィルタを、青、緑、赤の光の三原色を用いたベイヤー配列のカラーフィルタとすると、バンドパスフィルタ112を通過した光に対して感度が低いものが存在することになってしまう。例えば、緑のカラーフィルタに割り当てられた画素は、BPF1が通過させる400nm〜450nmや、BPF5が通過させる600nm〜650nmの帯域の波長では感度が得られない。従って、BPF1やBPF5が設けられた領域については、緑色の画素からは殆ど情報を得られない。従って、緑色の画素が無駄になってしまう。
そこで本実施形態に係るセンサモジュール100は、それぞれのバンドパスフィルタ112a〜112dを通過した光に対し、上述の7つの周波数帯の成分を分離するために、また、バンドパスフィルタ112a〜112dを通過した光の情報を効率よく得るために、それぞれのバンドパスフィルタ112a〜112dが通過させる周波数帯に対応するようなカラーフィルタが、イメージセンサ121に設けられる。すなわち、ベイヤー配列のカラーフィルタに比べ、バンドパスフィルタ112a〜112dを通過した光の情報が得られる画素の数を増加させたカラーフィルタがイメージセンサ121に設けられる。
本実施形態に係るセンサモジュール100は、上述した用途以外にも、バンドパスフィルタの組み合わせを変えることで様々な用途に対応することが可能となる。例えば、単に画像処理を行うだけでは、人の顔なのか、精巧に作られた人形やマネキンの顔なのかを判別することが難しい場合、ある波長付近で皮膚の分光反射率が変化することを利用して、その波長の光を透過させるバンドパスフィルタをセンサモジュール100に設けてもよい。このように、皮膚の分光反射率が変化する波長の光を透過させるバンドパスフィルタを設けることで、本実施形態に係るセンサモジュール100は、生体認証に用いられうる。
図5は、バンドパスフィルタ112a〜112dとして構成されているバンドパスフィルタ及びそれぞれのバンドパスフィルタ112a〜112dに対応してイメージセンサ121に設けられるカラーフィルタの例を示す説明図である。図5に示した例では、バンドパスフィルタ112aはBPF1及びBPF4からなる。同様に、バンドパスフィルタ112bはBPF2及びBPF5からなる。また同様に、バンドパスフィルタ112cはBPF3及びBPF6からなる。また同様に、バンドパスフィルタ112dはBPF7からなる。
そして、イメージセンサ121に設けられるカラーフィルタは、バンドパスフィルタ112a〜112dのそれぞれが通過させる周波数帯の成分を得られるように形成される。バンドパスフィルタ112aはBPF1及びBPF4からなるので、バンドパスフィルタ112aの領域には、青色のカラーフィルタと対になる画素と、カラーフィルタの無い画素(白黒画素)とが市松模様に配置されている。バンドパスフィルタ112bはBPF2及びBPF5からなるので、バンドパスフィルタ112bの領域には、赤色のカラーフィルタと対になる画素と、青色のカラーフィルタと対になる画素とが市松模様に配置されている。バンドパスフィルタ112cはBPF3及びBPF6からなるので、バンドパスフィルタ112cの領域には、緑色のカラーフィルタと対になる画素と、赤色のカラーフィルタと対になる画素とが市松模様に配置されている。バンドパスフィルタ112dはBPF7からなるので、バンドパスフィルタ112cの領域には、カラーフィルタの無い画素(白黒画素)が配置されている。
このように、バンドパスフィルタ112a〜112dのそれぞれが通過させる周波数帯の成分を得られるようにカラーフィルタが形成されることで、本実施形態に係るセンサモジュール100は、それぞれの周波数帯の成分を効率よく抽出することが出来る画素配列としている。そして本実施形態に係るセンサモジュール100は、一度の撮像によって、所望する7つの周波数帯の成分を、4種類のバンドパスフィルタと、通常の青、緑、赤の光の三原色を用いたカラーフィルタとによって抽出することができる。
図6〜図9は、バンドパスフィルタ112aの特性例を示す説明図である。バンドパスフィルタ112aはBPF1及びBPF4からなるので、図6に示したような波長帯の光を通過させ、その他の波長帯の光を減衰させる。バンドパスフィルタ112bはBPF2及びBPF5からなるので、図7に示したような波長帯の光を通過させ、その他の波長帯の光を減衰させる。バンドパスフィルタ112cはBPF3及びBPF6からなるので、図8に示したような波長帯の光を通過させ、その他の波長帯の光を減衰させる。そしてバンドパスフィルタ112dはBPF7からなるので、図9に示したような波長帯の光を通過させ、その他の波長帯の光を減衰させる。
上述した4通りのバンドパスフィルタ及びカラーフィルタが、1枚のイメージセンサ121に重ねられていることで、本実施形態に係るセンサモジュール100は、少なくとも4通りの用途に応じた画像データを生成することが出来る。
別の例を示す。この例では、領域110aのバンドパスフィルタ112aはBPF1及びBPF5からなり、領域110bのバンドパスフィルタ112bはBPF2及びBPF6からなり、領域110cのバンドパスフィルタ112cはBPF3及びBPF7からなり、領域110dのバンドパスフィルタ112dはBPF4からなるとする。
この場合、バンドパスフィルタ112aの領域には、青色のカラーフィルタと対になる画素と、赤色のカラーフィルタと対になる画素とを市松模様に配置する。バンドパスフィルタ112bの領域には、青色のカラーフィルタと対になる画素と、赤色のカラーフィルタと対になる画素とを市松模様に配置する。バンドパスフィルタ112cの領域には、緑色のカラーフィルタと対になる画素と、カラーフィルタの無い画素(白黒画素)とを市松模様に配置する。バンドパスフィルタ112dの領域には、カラーフィルタの無い画素(白黒画素)を配置する。このようにイメージセンサ121にカラーフィルタを形成することで、センサモジュール100は、一度の撮像によって、所望する7つの周波数帯の成分を、4種類のバンドパスフィルタと、通常の青、緑、赤の光の三原色を用いたカラーフィルタとによって抽出することができる。
別の例を示す。この例でも同様に、領域110aのバンドパスフィルタ112aはBPF1及びBPF5からなり、領域110bのバンドパスフィルタ112bはBPF2及びBPF6からなり、領域110cのバンドパスフィルタ112cはBPF3及びBPF7からなり、領域110dのバンドパスフィルタ112dはBPF4からなるとする。
この場合、バンドパスフィルタ112aの領域には、赤色のカラーフィルタと対になる画素と、カラーフィルタのない画素(白黒画素)とを市松模様に配置する。BPF5の周波数帯の成分は赤色のカラーフィルタと対になる画素によって抽出することができる。一方、BPF1の周波数帯の成分は、カラーフィルタのない画素(白黒画素)によって得られたものから、赤色のカラーフィルタと対になる画素によって得られたものを引くことで抽出することができる。
また、バンドパスフィルタ112bの領域には、青色のカラーフィルタと対になる画素と、カラーフィルタのない画素(白黒画素)とを市松模様に配置する。BPF2の周波数帯の成分は青色のカラーフィルタと対になる画素によって抽出することができる。一方、BPF6の周波数帯の成分は、カラーフィルタのない画素(白黒画素)によって得られたものから、青色のカラーフィルタと対になる画素によって得られたものを引くことで抽出することができる。
また、バンドパスフィルタ112cの領域には、緑色のカラーフィルタと対になる画素と、カラーフィルタのない画素(白黒画素)とを市松模様に配置する。BPF3の周波数帯の成分は緑色のカラーフィルタと対になる画素によって抽出することができる。一方、BPF7の周波数帯の成分は、カラーフィルタのない画素(白黒画素)によって抽出することができる。また、バンドパスフィルタ112dの領域には、カラーフィルタのない画素(白黒画素)を配置する。BPF4の周波数帯の成分はラーフィルタのない画素(白黒画素)によって抽出することができる。
このように、本開示の実施の形態に係るセンサモジュール100は、カラーフィルタを適切に組み合わせることで、所望の周波数帯の成分を効率よく抽出することが可能となる。
[1.3.センサモジュールを備えた装置の構成例]
続いて、本開示の実施の形態に係るセンサモジュール100が組み込まれる情報処理装置の機能構成例について説明する。
図10は、本開示の実施の形態に係るセンサモジュール100が組み込まれた情報処理装置1000の機能構成例を示す説明図である。図10に示したように、情報処理装置1000は、センサモジュール100と、画像処理部1010と、制御部1020と、表示部1030と、通信部1040と、入力部1050と、記憶部1060と、を含んで構成される。
センサモジュール100によって生成された画像データは画像処理部1010に送られる。画像処理部1010は、GPU(Graphics Processing Unit)等の画像処理を実行する回路を含み、センサモジュール100が出力した画像データに対する各種画像処理を実行するものであり、例えば、ノイズ除去、イメージセンサ121の領域121a〜121d毎の画像データへの分割などを行う。画像処理部1010は、画像処理後の画像データを制御部1020に出力する。
制御部1020は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等を含んで構成され、情報処理装置1000の動作を制御する。
表示部1030は、例えば、液晶ディスプレイや有機ELディスプレイで構成される。表示部1030はユーザが画面を直接触って操作するためのタッチパネルが備えられていても良い。通信部1040は、例えばセルラー通信を行ったり、無線LAN等に接続したり、赤外線通信やBluetooth(登録商標)等の無線通信規格を用いたりして、他の装置との間で通信処理を実行する。入力部1050は、ユーザに入力操作を行わせるためのデバイスであり、例えばキーボードやマウス、タッチパネルなどで構成されうる。記憶部1060は、例えば不揮発性または揮発性のメモリで構成され、情報処理装置1000の動作に必要なプログラムやデータを保持したり、情報処理装置1000の動作のログを記憶したりする。
なお図10には、本開示の実施の形態に係るセンサモジュール100のみが組み込まれた情報処理装置1000を図示しているが、本開示は係る例に限定されるものではなく、情報処理装置1000には、センサモジュール100に加え、通常のベイヤー配列のカラーフィルタを備えたセンサモジュールが組み込まれても良い。
情報処理装置1000は、本開示の実施の形態に係るセンサモジュール100を備えることで、一度の撮像処理で、様々な用途で用いるための画像データを得ることができる。例えば、上述したように野菜や植物の葉緑素や水分の状態を可視化したり、食肉の劣化や鮮度に関する成分を可視化したりするために、本開示の実施の形態に係るセンサモジュール100を備える情報処理装置1000を使用することができる。
<2.まとめ>
以上説明したように本開示の実施の形態によれば、一度の撮像処理で、異なる波長帯(周波数帯)の光を露光した画像データの生成を可能としたセンサモジュール100、およしそのようなセンサモジュール100を備えた情報処理装置1000が提供される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
光を集光する複数のレンズと、
前記複数のレンズを通過する光がそれぞれ照射され、異なる前記光の波長帯を透過させる透過パターンからなる複数の領域を有するフィルタ部と、
前記フィルタ部を透過した光を電気信号に変換する画素がマトリクス状に配置され、前記画素の前記フィルタ部の側に前記透過パターンに対応するカラーフィルタを備えるイメージセンサと、
を備える、固体撮像装置。
(2)
前記透過パターンは、それぞれ異なる波長帯を透過させるバンドパスフィルタの中から少なくとも1つが選択された、前記(1)に記載の固体撮像装置。
(3)
前記透過パターンは、それぞれ異なる波長帯を透過させるバンドパスフィルタの中から、波長帯が隣接しない2つのバンドパスフィルタが選択された、前記(2)に記載の固体撮像装置。
(4)
前記バンドパスフィルタが透過させる波長帯は、少なくとも50nm刻みに設定される、前記(2)または(3)に記載の固体撮像装置。
(5)
前記カラーフィルタは、前記イメージセンサの各前記画素に対応して形成される、前記()〜(4)のいずれかに記載の固体撮像装置。
(6)
前記(1)〜(5)のいずれかに記載の固体撮像装置を備える、情報処理装置。
100 :センサモジュール
110 :ハウジング
111a :レンズ
111b :レンズ
111c :レンズ
111d :レンズ
112 :バンドパスフィルタ
112a :バンドパスフィルタ
112b :バンドパスフィルタ
112c :バンドパスフィルタ
112d :バンドパスフィルタ
120 :リジッドフレキシブル基板
121 :イメージセンサ
121a :領域
121b :領域
121c :領域
121d :領域
122a :有効領域
122b :有効領域
122c :有効領域
122d :有効領域
1000 :情報処理装置

Claims (6)

  1. 光を集光する複数のレンズと、
    前記複数のレンズを通過する光がそれぞれ照射され、異なる前記光の波長帯を透過させる透過パターンからなる複数の領域を有するフィルタ部と、
    前記フィルタ部を透過した光を電気信号に変換する画素がマトリクス状に配置され、前記画素の前記フィルタ部の側に前記透過パターンに対応するカラーフィルタを備えるイメージセンサと、
    を備え、前記複数のレンズの各々に対応する有効領域に対して照射される、前記複数のレンズの中央部と周辺部との前記光の各々の入射角に合わせて対応する前記複数のレンズの各々が調整される、固体撮像装置。
  2. 前記透過パターンは、それぞれ異なる波長帯を透過させるバンドパスフィルタの中から少なくとも1つが選択された、請求項1に記載の固体撮像装置。
  3. 前記透過パターンは、それぞれ異なる波長帯を透過させるバンドパスフィルタの中から、波長帯が隣接しない2つのバンドパスフィルタが選択された、請求項2に記載の固体撮像装置。
  4. 前記バンドパスフィルタが透過させる波長帯は、少なくとも50nm刻みに設定される、請求項2または3に記載の固体撮像装置。
  5. 前記カラーフィルタは、前記イメージセンサの各前記画素に対応して形成される、請求項1〜4のいずれか1項に記載の固体撮像装置。
  6. 請求項1〜5のいずれか1項に記載の固体撮像装置を備える、情報処理装置。
JP2017084523A 2017-04-21 2017-04-21 固体撮像装置及び情報処理装置 Expired - Fee Related JP6878111B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017084523A JP6878111B2 (ja) 2017-04-21 2017-04-21 固体撮像装置及び情報処理装置
PCT/JP2018/007864 WO2018193727A1 (ja) 2017-04-21 2018-03-01 固体撮像装置及び情報処理装置
EP18787756.8A EP3614435B1 (en) 2017-04-21 2018-03-01 Solid-state imaging apparatus and information processing apparatus
US16/497,447 US11265520B2 (en) 2017-04-21 2018-03-01 Solid-state imaging device and information processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017084523A JP6878111B2 (ja) 2017-04-21 2017-04-21 固体撮像装置及び情報処理装置

Publications (3)

Publication Number Publication Date
JP2018182255A JP2018182255A (ja) 2018-11-15
JP2018182255A5 JP2018182255A5 (ja) 2020-05-07
JP6878111B2 true JP6878111B2 (ja) 2021-05-26

Family

ID=63857130

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017084523A Expired - Fee Related JP6878111B2 (ja) 2017-04-21 2017-04-21 固体撮像装置及び情報処理装置

Country Status (4)

Country Link
US (1) US11265520B2 (ja)
EP (1) EP3614435B1 (ja)
JP (1) JP6878111B2 (ja)
WO (1) WO2018193727A1 (ja)

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11201819A (ja) * 1998-01-08 1999-07-30 Minolta Co Ltd 2次元分光特性測定装置
US6611289B1 (en) * 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
US7920908B2 (en) * 2003-10-16 2011-04-05 David Hattery Multispectral imaging for quantitative contrast of functional and structural features of layers inside optically dense media such as tissue
JP2006122338A (ja) * 2004-10-28 2006-05-18 Aruze Corp 遊技機及びプログラム
EP1952106B1 (en) * 2005-11-04 2014-08-27 George Themelis System for multispectral imaging
JP2009164654A (ja) * 2006-04-24 2009-07-23 Panasonic Corp 複眼方式のカメラモジュール
WO2008074019A2 (en) * 2006-12-13 2008-06-19 Georgia Tech Research Corporation Systems and methods for real time multispectral imaging
JP5332996B2 (ja) * 2009-07-17 2013-11-06 ソニー株式会社 多層膜光学フィルタ、固体撮像素子、撮像装置、表示装置、通信装置
US20130331669A1 (en) * 2012-06-11 2013-12-12 Raytheon Company Multi-spectral imaging system and method for remote biometric measurement of human physiological parameters
US9258495B2 (en) * 2012-06-21 2016-02-09 Providence Photonics, Llc Multi-spectral infrared imaging system for flare combustion efficiency monitoring
CN105264419B (zh) * 2013-06-06 2017-09-22 富士胶片株式会社 自动聚焦装置及其动作控制方法
JP6404923B2 (ja) * 2014-06-24 2018-10-17 マクセル株式会社 撮像センサおよび撮像装置
US9699393B2 (en) * 2014-06-26 2017-07-04 Semiconductor Components Industries, Llc Imaging systems for infrared and visible imaging with patterned infrared cutoff filters
JP6536877B2 (ja) * 2014-07-31 2019-07-03 パナソニックIpマネジメント株式会社 撮像装置および撮像システム
US9666620B2 (en) * 2014-10-06 2017-05-30 Visera Technologies Company Limited Stacked filter and image sensor containing the same
US9972651B2 (en) * 2015-08-03 2018-05-15 Visera Technologies Company Limited Spectrum-inspection device
KR102255789B1 (ko) * 2016-08-30 2021-05-26 삼성전자주식회사 광학모듈 및 이를 이용한 광학디바이스
CN110383047B (zh) * 2016-11-20 2022-06-07 尤尼斯拜特罗有限责任公司 多频带成像系统
EP3388885B1 (en) * 2017-04-11 2025-07-30 Leica Instruments (Singapore) Pte. Ltd. Multiple band pass liquid crystal tunable filter

Also Published As

Publication number Publication date
EP3614435B1 (en) 2022-01-05
US11265520B2 (en) 2022-03-01
EP3614435A1 (en) 2020-02-26
WO2018193727A1 (ja) 2018-10-25
JP2018182255A (ja) 2018-11-15
US20200106994A1 (en) 2020-04-02
EP3614435A4 (en) 2020-04-22

Similar Documents

Publication Publication Date Title
CN103826530B (zh) 摄像系统
CN111345903B (zh) 图像处理设备、荧光观察设备及模拟荧光观察设备的方法
US11134848B2 (en) Mobile hyperspectral camera system and human skin monitoring using a mobile hyperspectral camera system
EP2910012B1 (en) Single-sensor hyperspectral imaging device
CN100374883C (zh) 利用混合滤光器进行波长依赖成像和检测的方法及系统
JP6524617B2 (ja) 撮像装置および方法
CN114376491B (zh) 内窥镜成像装置及其方法、系统以及电子设备
WO2014018951A1 (en) Ycbcr pulsed illumination scheme in a light deficient environment
EP4307701A3 (en) Sensing images using multiple band pass bayer pattern filter for discriminating lipid and collagen tissues
JP6462594B2 (ja) 撮像装置、画像処理装置および画像処理方法
US10516866B2 (en) Imaging device and endoscope device
US20220257101A1 (en) Miniature hyperspectral imaging
WO2018193727A1 (ja) 固体撮像装置及び情報処理装置
JPWO2016174775A1 (ja) 撮像装置
US20110080506A1 (en) Image sensing device and system
JP7830439B2 (ja) 固体撮像装置及び電子機器
CN207768366U (zh) 肤质检测器
TWI428108B (zh) 影像感測裝置及其處理系統
CN116183021A (zh) 成像系统中的发光体校正
US20240268678A1 (en) Multi-modal skin imaging
EP2334084A1 (en) Image sensing device and system
EP4464031B1 (en) Method and apparatus for performing spectral analysis of skin of a subject

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190426

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200323

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210428

R150 Certificate of patent or registration of utility model

Ref document number: 6878111

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees