JP6806591B2

JP6806591B2 - 撮影装置

Info

Publication number: JP6806591B2
Application number: JP2017035596A
Authority: JP
Inventors: 俊克堺
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2017-02-27
Filing date: 2017-02-27
Publication date: 2021-01-06
Anticipated expiration: 2037-02-27
Also published as: JP2018142838A

Description

本発明は、動物体の被写体を自動検出し撮影を開始して記録するための撮像素子、撮像装置及び撮影装置に関する。

従来より、動物体の被写体を自動検出し撮影を開始して記録するために、種々の技法が知られている。

例えば、撮像素子エリア又はその周囲の所定箇所に配置された入射光量の変化を検出する変化検出素子の検出信号に基づいてトリガー信号を発生させ、そのトリガー信号に応じて、撮像装置における撮像用光電変換素子から得られる画素情報の取り込みの開始または停止を制御する技法が開示されている（例えば、特許文献１参照）。

また、実質的に動物体の被写体を自動検出するものではないが、高速に状態変化する撮影対象物を高速カメラ（撮像装置）により高速撮影するために、撮影対象物の明るさを測定するためのフォトダイオードなどの光センサーを撮影対象物の近くに配置し、ストロボ照明装置からの発光を当該撮影対象物に照射するとともに、その光センサーにも入射することで、適正露光量に対応する設定された光センサーの出力がしきい値以上になったときに光センサーから高速カメラにトリガー信号を出力し、高速カメラのシャッターを開くよう構成する技法が開示されている（例えば、特許文献２参照）。

尚、特許文献２では、動物体の被写体を自動検出するためには、その動物体の発する音や着荷信号などを、ストロボ照明装置の発光開始に同期させる仕組みが必要になるとされている。

特開２００７−１６６５８１号公報特開２００４−３３６３５３号公報

特許文献１の技法では、変化検出素子が画素情報を取得する撮像素子とは異なるため、その変化検出素子を撮像素子エリアに配置した場合は画素情報が欠落し高画質化の妨げになるという問題がある。また、特許文献１に開示されるように、その光学検出素子と撮像素子とを分離配置してプリズムで分光した入射光を結像させる構成とすると、レンズを含む撮像装置が大型化してしまうという問題がある。

また、動物体の被写体を自動検出し撮影を開始して記録する撮影装置として、特許文献２の技法を利用し応用しようとしても、その動物体の発する音や着荷信号などを、ストロボ照明装置の発光開始に同期させる仕組みが必要となり、更には、ストロボ照明装置、撮像装置、及び光センサーの位置調整が個別に必要となるため、その制御も複雑化するという問題がある。このため、動物体の被写体を自動検出する撮影装置として特許文献２の技法を利用し応用しようとしても、動物体の自動検出に関する高速・高精度応答性の観点で改善の余地がある。

そこで、本発明の目的は、上述の問題を同時に解決するべく、照明装置と撮像装置との同期接続を不要とし小型化が可能で、且つ高画質、及び高速・高精度応答性を実現可能にして、動物体の被写体を自動検出し撮影を開始して記録するための撮像素子、撮像装置及び撮影装置を提供することにある。

本発明の撮影装置は、所定の撮像領域内に侵入する動物体の被写体に対し可視光及び赤外光を照射する照明装置、並びに、前記照明装置とは同期させる接続を行うことなく構成され、前記被写体から反射する可視光及び赤外光を個別に受光して撮像する撮像素子と前記撮像素子の撮影タイミングを制御する制御部とを有する撮像装置、を備える撮影装置であって、前記照明装置は、可視光源及び赤外光源を有し、前記可視光源による可視光については前記赤外光源による赤外光よりも短い点灯時間で間欠点灯し、前記赤外光源による赤外光については前記可視光よりも長い点灯時間で間欠点灯させて、前記所定の撮像領域を照射するように構成され、前記撮像素子は、可視光を構成する青色光のみ吸収し残りを透過させて撮像する青色光撮像部と、可視光を構成する緑色光のみ吸収し残りを透過させて撮像する緑色光撮像部と、可視光を構成する赤色光のみ吸収し残りを透過させて撮像する赤色光撮像部と、赤外光のみに感度を持ち撮像する赤外光撮像部とを積層して構成され、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々は、二次元平面上に第１の画素配列で第１の画素サイズの画素部が配列された撮像面を有し、独立して露光量を制御可能で、且つ撮像制御可能な素子とし、前記赤外光撮像部は、前記二次元平面上に第２の画素配列で第２の画素サイズの画素部が配列された撮像面を有し、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々に対し独立して撮像制御可能な素子として構成され、前記撮像装置は、前記照明装置とは同期させる接続を行うことなく一体又は別体で構成され、前記撮像素子により前記被写体から反射する可視光及び赤外光を個別に受光して撮像するよう構成され、前記撮像装置における制御部は、前記赤外光撮像部から赤外光撮像画像信号を取得して、前記赤外光撮像画像信号から構成される赤外光画像の定常状態からの画素値変化を監視し、前記所定の撮像領域内に動物体の被写体が侵入したか否かを示すトリガー信号を発生させ、該トリガー信号が前記所定の撮像領域内に動物体の被写体が侵入している旨を示す間のみ、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々から得られる可視光画像信号を基に形成される可視光画像を所定の記録部に対し記録するよう撮影タイミングを制御することを特徴とする。

また、本発明の撮影装置において、前記赤外光撮像部による赤外光撮像画像信号は、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々に対する撮影タイミングを制御するための赤外センサーとして機能するよう構成されていることを特徴とする。

また、本発明の撮影装置において、前記第２の画素サイズは前記第１の画素サイズ以上とし、前記第２の画素配列は前記第１の画素配列と比して同一以下の解像度を持つ画素配列としていることを特徴とする。

本発明によれば、照明装置と撮像装置との同期接続が不要でその位置あわせが簡便となり、小型化が可能で、且つ高画質、及び高速・高精度応答性を実現可能な撮像素子、撮像装置及び撮影装置を構成することができる。

本発明による一実施形態の照明装置及び撮像装置よりなる撮影装置の概略構成を示す図である。本発明による一実施形態の撮像装置の概略構成を示すブロック図である。本発明による一実施形態の撮像装置における撮像素子の概略構成を示す斜視図である。本発明による一実施形態の撮像装置における撮像素子の概略構造の一例を示す図である。本発明による一実施形態の撮像装置における撮像素子の画素部の概略構造の一例を示す図である。（ａ）, （ｂ）は、それぞれ本発明による一実施形態の撮像装置における撮像素子の可視光用画素配列と赤外光用画素配列の好適例を示す図である。本発明による一実施形態の撮像装置の全体動作に係る概略構成を示す図である。本発明による一実施形態の照明装置及び撮像装置よりなる撮影装置の実施例１の動作例を示す図である。本発明による一実施形態の照明装置及び撮像装置よりなる撮影装置の実施例２の動作例を示す図である。本発明による一実施形態の照明装置及び撮像装置よりなる撮影装置の実施例３の動作例を示す図である。

以下、図面を参照して、本発明による一実施形態の照明装置２及び撮像装置３よりなる撮影装置１について説明する。

〔撮影装置〕
まず、本発明による一実施形態の撮影装置１の詳細について説明する。図１は、本発明による一実施形態の照明装置２及び撮像装置３よりなる撮影装置１の概略構成を示す図である。撮影装置１は、撮像領域Ｗ内に侵入する動物体の被写体Ｏｂｊを自動検出し撮影を開始して記録する装置として構成される。

照明装置２は、撮像装置３により動画撮影可能な波長帯域を持つ赤色光源２Ｒ、緑色光源２Ｇ、及び青色光源２Ｂの可視光源と、撮影装置１により撮影可能な波長帯域を持つ赤外光源２ＩＲとを備えている。赤色光源２Ｒ、緑色光源２Ｇ、青色光源２Ｂ、及び赤外光源２ＩＲは、それぞれ多数の発光ダイオードから構成することができる。

尚、照明装置２として利用する可視光源は、白色発光ダイオードやハロゲンランプ、或いは蛍光管ランプなど任意であり、赤色（Ｒ色）、緑色（Ｇ色）、及び青色（Ｂ色）のように発光分光させる必要はない。

一方、赤外光源２ＩＲについては、可視光カットフィルタ等を利用したハロゲンランプ、或いは蛍光管ランプで構成することもできるが、照明装置２自体が独立にパルス制御して赤外光をパルス発光させストロボ照明できるものとする。

照明装置２は、本例では赤色光源２Ｒ、緑色光源２Ｇ、及び青色光源２Ｂから発光する可視光と、赤外光源２ＩＲから発光する赤外光を撮像領域Ｗを照射する。この照明装置２の配置は、撮像領域Ｗを照射する配置であれば厳格性は要求されない。

撮影装置１は、動作撮影可能な撮像素子３１を備え、当該撮影装置１が持つ結像レンズは、撮像領域Ｗの焦点位置に合うよう焦点距離を固定させて撮像素子３１に結像させるように構成している。

尚、図１では、照明装置２と撮像装置３とを物理的に分離させた装置として図示しているが、照明装置２と撮像装置３とを一体化させた装置として構成することもできる。ただし、本実施形態の撮影装置１では、照明装置２と撮像装置３との同期接続を不要としている点に留意する。

〔撮像装置〕
次に、本発明による一実施形態の撮像装置３の詳細について説明する。図２は、本発明による一実施形態の撮像装置３の概略構成を示すブロック図である。撮像装置３は、撮像素子３１と、結像レンズ３２と、制御部３３と、記録部３４と、再生部３５と、操作部３６とを備える。

また、撮像素子３１は、詳細は後述するが、青色（Ｂ色）光のみ吸収し残りを透過させて撮像する青色光撮像部３１Ｂ、緑色（Ｇ色）光のみ吸収し残りを透過させて撮像する緑色光撮像部３１Ｇ、赤色（赤色）光のみ吸収し残りを透過させて撮像する赤色光撮像部３１Ｒ、及び赤外光（ＩＲ光）のみ吸収して撮像する赤外光撮像部３１ＩＲをそれぞれ独立した素子層として構成して四層積層し、赤外光撮像素子付き単板カラー撮像素子として構成されている。

撮像素子３１は、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ、及び赤外光撮像部３１ＩＲについて、図３に示すように四層積層させて構成しているため、同一光路上で撮像領域Ｗに対する画素密度（画素サイズ及び画素数）を共通化することができ、例えばＲＧＢカラーフィルタをベイヤー配列とした撮像素子と比べて画素情報の欠落がなく、撮像解像度を高めることができる。また、プリズムで分光する必要がなく、撮像素子３１を含む結像光学系を小型化させることができる。

ただし、赤外光撮像部３１ＩＲの画素サイズ及び画素数については、後述するが、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ、及び赤外光撮像部３１ＩＲの画素サイズよりも大きくし、更には間欠画素配列とすることもできる。

結像レンズ３２は、撮像領域Ｗの焦点位置に合うよう焦点距離を固定させて撮像素子３１に結像させている。尚、結像レンズ３２は、操作者によって撮像領域Ｗの変更ができるようにズーム機能付きとするのが好ましい。

制御部３３は、青色光用撮像制御部３３１Ｂ、緑色光用撮像制御部３３１Ｇ、赤色光用撮像制御部３３１Ｒ、赤外光用撮像制御部３３２、可視光画像処理部３３４、動物体検出判定部３３５、記録制御部３３６、及び再生制御部３３７を備える。制御部３３は、リード・オンリー・メモリ（ＲＯＭ）等の所定のメモリ（図示せず）に記憶されたプログラムを読み出し、操作部３６からの指示に応じて所定の処理を実行するマイクロプロセッサや、各種制御信号の生成や画像信号の処理に必要な回路を備える。尚、図２に示す制御部３３は、本発明に係る制御に関する構成要素のみを図示している。

青色光用撮像制御部３３１Ｂは、撮像素子３１における青色光撮像部３１Ｂに対し撮像制御信号を出力し、青色光撮像画像信号を可視光画像処理部３３４へ出力させる機能部であり、この撮像制御信号により、青色光撮像部３１Ｂにおける露光量制御（露光時間制御、又は青色光撮像部３１Ｂに電子シャッター機能がある時はその制御）を可能とする。

緑色光用撮像制御部３３１Ｇは、撮像素子３１における緑色光撮像部３１Ｇに対し撮像制御信号を出力し、緑色光撮像画像信号を可視光画像処理部３３４へ出力させる機能部であり、この撮像制御信号により、緑色光撮像部３１Ｇにおける露光量制御（露光時間制御、又は緑色光撮像部３１Ｇに電子シャッター機能がある時はその制御）を可能とする。

赤色光用撮像制御部３３１Ｒは、撮像素子３１における赤色光撮像部３１Ｒに対し撮像制御信号を出力し、赤色光撮像画像信号を可視光画像処理部３３４へ出力させる機能部であり、この撮像制御信号により、赤色光撮像部３１Ｒにおける露光量制御（露光時間制御、又は赤色光撮像部３１Ｒに電子シャッター機能がある時はその制御）を可能とする。

赤外光用撮像制御部３３２は、撮像素子３１における赤外光撮像部３１ＩＲに対し撮像制御信号を出力し、赤外光撮像画像信号を動物体検出判定部３３５へ出力させる機能部であり、本例では、赤外光の露光量が赤外光撮像部３１ＩＲにてオーバーフローしない設定としており、必ずしも赤外光撮像部３１ＩＲにおける露光量制御を行う必要はない。

可視光画像処理部３３４は、撮像素子３１から青色光撮像画像信号、緑色光撮像画像信号、及び赤色光撮像画像信号を入力し、それぞれアナログ・デジタル変換処理を施してデジタル信号に変換し、シェーディング補正やガンマ補正、或いは色調補正等を行って合成し、動画像のフレーム単位の可視光画像を構成する可視光画像信号を記録制御部３３６に出力する。

動物体検出判定部３３５は、撮像素子３１から赤外光撮像画像信号を入力し、アナログ・デジタル変換処理を施してデジタル信号に変換し、シェーディング補正等を行って赤外光画像を生成する。そして、動物体検出判定部３３５は、動画像のフレーム単位で、その赤外光画像の定常状態からの画素値変化を監視して、撮像領域Ｗ内に動物体の被写体が侵入したか否かを検出する。

動物体検出判定部３３５は、トリガー信号発生部３３５ａを備えている。動物体検出判定部３３５は、撮像領域Ｗ内に動物体の被写体が侵入したと検出した場合、動物体の被写体が当該撮像領域Ｗ内で検出されている間、その検出している旨を示すトリガー信号をトリガー信号発生部３３５ａにより発生させ、記録制御部３３６に出力する。

本例では、トリガー信号がＯＮ（パルス信号としてＨｉ）のとき動物体の被写体が当該撮像領域Ｗ内で検出されている旨を示すものとし、トリガー信号がＯＦＦ（パルス信号としてＬｏ）のとき、動物体の被写体が当該撮像領域Ｗ外となる（又は動物体の被写体が当該撮像領域Ｗ内で検出されていない）旨を示すものとする。

記録制御部３３６は、可視光画像処理部３３４から可視光画像信号を常時、入力しているが、動物体検出判定部３３５から得られるトリガー信号がＯＮのときのみ当該可視光画像信号を動画ファイルとして記録部３４へ記録し、トリガー信号がＯＦＦのときには記録しないよう制御する。当該可視光画像信号を動画ファイルとして記録部３４へ記録するときは、その撮影日時や当該撮像領域Ｗの設定等の付加情報を各動画ファイルに付加するのが好適である。

これにより、撮像素子３１における赤外光撮像部３１ＩＲを、可視光画像信号の撮影タイミングを制御するトリガー信号発生用の赤外センサーとして機能させることができる。

再生制御部３３７は、操作者の操作に基づき、ユーザーインターフェースとして機能する操作部３６からその操作信号を受け付け、記録部３４に記録されている各動画ファイルのうち操作者が指定する動画ファイルを画像表示装置等の再生部３５に再生するよう制御する機能部である。尚、画像表示装置等の再生部３５を設ける代わりに、撮像装置３の外部へ出力する出力インターフェースとすることもできる。

操作部３６は、制御部３３に対して種々の指示を与える機能を有し、上述した動作の他に、撮像装置３の電源をオンオフする電源スイッチ、日時設定、当該撮像領域Ｗの設定、動画ファイルの指定等のメニューを所定の表示部に表示させるメニューボタン等から構成される。

〔撮像素子〕
次に、本発明による一実施形態の撮像装置３における撮像素子３１の詳細について説明する。

まず、撮像素子３１は、図３に示したように、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ、及び赤外光撮像部３１ＩＲについて四層積層させて構成している。

青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの各層は、ＲＧＢのうち１色のみに感度を持つ感光層（本例では、有機光電変換膜）が積層された構造（各層は赤外光を透過）となっている。尚、本例の撮像素子３１では、可視光撮像部の積層構造を各色単層としているが、必ずしも各色単層とせずともよく、例えば単層の青色光撮像部３１Ｂ、単層の緑色光撮像部３１Ｇ、及び２層の赤色光撮像部３１Ｒとするなど、複層としてもよい。また、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの積層順序は、本例に限定する必要はなく任意である。

一方、最下層の赤外光撮像部３１ＩＲは、赤外光のみに感度を持つ感光層となっており、上述したように、可視光画像信号の撮影タイミングを制御するトリガー信号発生用の赤外センサーとして機能する。赤外光撮像部３１ＩＲは、Ｓｉ−ＰＩＮ, ＩｎＧａＡｓ等の高速応答性を持つフォトダイオードの画素構造とするのが望ましい。

図４は、本発明による一実施形態の撮像装置３における撮像素子３１の概略構造の一例を示す図である。また、図５は、本発明による一実施形態の撮像装置３における撮像素子３１の画素部３００の概略構造の一例（酸化物半導体ＴＦＴ（ＺｎＯ‐ＴＦＴ））を示す図である。

図４に示すように、撮像素子３１を構成する四層積層された青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ、及び赤外光撮像部３１ＩＲの各々は、画素部３００を２次元平面上に配列している。各画素部３００は、行選択線で垂直走査回路４００に接続され、出力信号線で水平信号読み出し回路５００に接続される。垂直走査回路４００は、制御部３３からの各層の撮像制御信号で制御される。垂直走査回路４００で行選択信号を発生させて行を選択し、行選択線を介して接続される各画素部３００の図５に示すゲート電極３０８が制御されて、各画素部３００におけるフォトダイオード（ＰＤ）を構成する図５に示す有機光電変換膜３１０からの信号が出力信号線を介して読み出される。また、この読み出された信号は、撮影画像信号として出力される。

図５では、略透明な酸化物半導体ＴＦＴ（ＺｎＯ‐ＴＦＴ）を用いて、四層積層された青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ、及び赤外光撮像部３１ＩＲの各層における画素部３００を構成する例を示している。１画素を構成する図５に示す信号回路は酸化亜鉛薄膜トランジスタ（ＺｎＯ‐ＴＦＴ）をスイッチング素子として採用し、無アルカリ基板（ガラス基板３０１）上に形成される。

図５に例示する酸化亜鉛薄膜トランジスタ（ＺｎＯ‐ＴＦＴ）では、ガラス基板３０１上に設けたゲート電極３０８にＳｉＮ系ゲート絶縁膜３０２及びＳｉＯ系ゲート絶縁膜３０３を堆積し、さらに酸化亜鉛薄膜（ＺｎＯ）を形成している。酸化亜鉛薄膜（ＺｎＯ）の周囲をＳｉＮ系保護膜３０４で包囲し、エッチングしてドレインＩＴＯ電極３０６及びソースＩＴＯ電極３０９を形成し、さらにＭｏＷ合金の出力信号用電極３０７を形成してＳｉＮ系保護膜３０５で覆う構造となっている。

このＺｎＯ‐ＴＦＴ回路上に光導電性有機材料の有機光電変換膜３１０として例えばキナクリドン薄膜を数十ｎｍ〜数百ｎｍの厚さで形成し、その上に対向ＩＴＯ電極３１１を形成している。

ただし、有機光電変換膜３１０としては、例えば、スチルベン誘導体、ベンゾキサゾール誘導体、縮合芳香族炭素環（ペリレン誘導体、アントラセン誘導体、テトラセン誘導体等）、メロシアニン誘導体、オキサジアゾール誘導体、ジアミン誘導体、チオフェン誘導体、ＰｔやＥｕ、Ｓｎ、Ａｌ、Ｉｒ、Ｚｎ等の金属錯体、ＤＣＭ誘導体、アゾ系有機顔料、又は多環式系有機顔料（フタロシアニン類、キナクリドン類、ポルフィリン類等）等を用いることができる。

ガラス基板３０１として、光透過性の高いものが望ましく、石英、サファイア、ＢＫ７、無アルカリガラス、ソーダガラス等のガラス材料などがあり、その他、ポリカーボネート、ポリメチルメタクリレート、ポリプロピレン、ポリスチレン、ポリサルフォン、又はポリエーテルサルフォン等の透明プラスチック材料で構成した透明基板としてもよい。
また、可視光用の各撮像部（青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、赤色光撮像部３１Ｒ）は、必ずしもガラス基板上に作る必要は無く、シリコン基板上や後述のＳｉ−ＰＩＮ, ＩｎＧａＡｓ等の高速応答フォトダイオードを形成した基板上に層間絶縁膜を介して直接積層してもよい。

各電極は、光の透過率が高い事が望ましく、インジウム・スズ酸化物（ＩＴＯ）で透明電極を形成する他、インジウム酸化物（ＩＯ）、インジウム・亜鉛酸化物（ＩＺＯ）等の金属酸化物や、あるいは白金（ｐｔ）、金（Ａｕ）、銀（Ａｇ）、マグネシウム（Ｍｇ）、アルミニウム（Ａｌ）等の金属材料を５ｎｍ〜３０ｎｍと薄く堆積した透明又は半透明金属薄膜で構成することができる。

図５に示すように、ソースＩＴＯ電極３０９上に、有機光電変換膜３１０及び対向ＩＴＯ電極３１１を堆積したことで、入射した光に相当する電荷を発生するフォトダイオード（ＰＤ）が形成される。フォトダイオード（ＰＤ）による発生電荷は、ゲート電極３０８の印加電圧でドレインＩＴＯ電極３０６とソースＩＴＯ電極３０９との通電が制御されることにより、出力信号用電極３０７を介して出力して取り出すことができる。したがって、ドレインＩＴＯ電極３０６、ソースＩＴＯ電極３０９及び対向ＩＴＯ電極３１１は１画素毎に設けられる画素電極として機能させ、ゲート電極３０８を行選択信号電極として機能させ、出力信号用電極３０７を出力信号線に接続する電極として機能させることができる。

このように、有機光電変換膜３１０は、入射光の一部を吸収・光電変換し、残りの成分は透過する半透明な有機材料とすることができるが、これ以外にも半透明の薄い無機半導体材料とすることができる。

また、画素部３００を構成するために、可視光に対して略透明な酸化物半導体ＴＦＴ（ＺｎＯ‐ＴＦＴ）を用いる以外にも、ＳＯＩ等の可視光に対する透過性を持つ半導体を用いることができる。

図４に示す垂直走査回路４００はシフトレジスタで構成することができ、図４に示す水平信号読み出し回路５００は、各画素部３００で発生した光電変換信号を外部に読み出し増幅させるためのトランジスタ群で構成される。このトランジスタに用いられる半導体は、単結晶Ｓｉ、多結晶Ｓｉ、アモルファスＳｉなどのシリコン系材料による半導体、ＩＧＺＯ，ＺｎＯなどの酸化物半導体、ペンタセンなどの有機半導体等を利用することができる。

尚、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒについては、その光透過性を高めるという観点からは、数十ｎｍの薄いシリコンや酸化物半導体、透過性の高い有機半導体材料を用いることが望ましい。

また、有機材料の光電変換膜を用いる場合、光吸収特性を有機材料の選択と膜厚によって調整することができ、例えば、有機材料のキナクリドン（Ｎ，Ｎ’ジメチルキナクリドン）を用いれば、入射光として波長５４０ｎｍの単波長光（緑色光）に対して、その膜厚調整で、１０％〜９０％の範囲で光吸収率を調整することができる。

また、赤外光撮像部３１ＩＲについては、動物体の検出判定用のトリガー信号を発生させるために用いるので、高速に応答できるものが望ましく、特にＳｉ−ＰＩＮ, ＩｎＧａＡｓ等の高速応答フォトダイオードが望ましい。

また、赤外光撮像部３１ＩＲから得られる赤外光撮像信号は、動物体の検出判定用のトリガー信号として用いるため、高解像度とするよりはむしろ高ＳＮ比・高ダイナミックレンジとし、尚且つ被写体の動きぼやけを低減させる画素配列とすることがより好適となる。

そこで、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの各々における撮像領域Ｗに対する可視光用画素配列について、例えば図６（ａ）に示すように画素部３００をＮ画素×Ｍ画素で配列構成した場合、赤外光撮像部３１ＩＲにおける撮像領域Ｗに対する赤外光用画素配列については、例えば図６（ｂ）に示すようにＮ’画素×Ｍ’画素（Ｎ’＜Ｎ，Ｍ’＜Ｍ）のように画素数を減らして間欠画素配列とし、その赤外光用画素配列の画素部３００の画素サイズを、可視光用画素配列の画素部３００の画素サイズより大きくすることが好適である。

尚、赤外光撮像部３１ＩＲにおける撮像領域Ｗに対する赤外光用画素配列についても、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの各々における撮像領域Ｗに対する可視光用画素配列と同じ構成とし、図２に示す動物体判定処理部３３５の処理として、図６（ｂ）に示すようなＮ’画素×Ｍ’画素（Ｎ’＜Ｎ，Ｍ’＜Ｍ）の間欠画素配列に相当する信号変換処理を行うことで、高ＳＮ比で、尚且つ被写体の動きぼやけを低減させる画素配列に相当する動物体の検出判定用のトリガー信号を生成することができる。

（動作例）
まず、図７には、上述した本実施形態の撮像装置３の全体動作に係る概略構成を示している。図７に示すように、撮像装置３は、制御部３３によって、青色光撮像部３１Ｂ、緑色光撮像部３１Ｇ、及び赤色光撮像部３１Ｒの各々に対し、撮像制御信号により駆動制御して、撮像領域Ｗに対する可視光用画素配列に対応する可視光の各ＲＧＢ色光の撮像画像信号を得ることができる。また、撮像装置３は、制御部３３によって、赤外光撮像部３１ＩＲに対し、撮像制御信号により駆動制御して、撮像領域Ｗに対する赤外光用画素配列に対応する赤外光の撮像画像信号を得ることができる。

そして、撮像装置３は、制御部３３によって、赤外光の撮像画像信号を用いて赤外光画像を動画像のフレーム単位で形成し、動画像のフレーム単位で、その赤外光画像の定常状態からの画素値変化を監視して、撮像領域Ｗ内に動物体の被写体が侵入したか否かを示すトリガー信号を発生させる。制御部３３は、当該トリガー信号が像領域Ｗ内に動物体の被写体が侵入している旨を示す間、可視光の各ＲＧＢ色光の撮像画像信号を基に形成される可視光画像信号を記録部３４に対し記録する。

ここで、図１に示す撮影装置１を構成する照明装置２及び撮像装置３の動作に関して、以下、様々な撮影条件を簡便に適用するべく、３つの実施例を説明する。

（実施例１）
図８は、本実施形態の照明装置２及び撮像装置３よりなる撮影装置１の実施例１の動作例を示す図である。図８の上部には、撮像領域Ｗ内に動物体の被写体Ｏｂｊが侵入している間の様子を示している。実施例１では、図１に示す照明装置２における赤色光源２Ｒ、緑色光源２Ｇ、青色光源２Ｂによる可視光、及び赤外光源２ＩＲによる赤外光のいずれについても常時点灯させ、撮像領域Ｗに向けて照射している。

照明装置２による照明光が被写体Ｏｂｊにて反射することにより撮像装置３は可視光の撮像及び赤外光の撮像ができる。ただし、実施例１では、照明装置２における可視光源（赤色光源２Ｒ、緑色光源２Ｇ、及び青色光源２Ｂ）は、暗時撮影などを担保するために設けられ、用途によっては必ずしも必要ではない。

撮像装置３は、照明装置２との同期接続を不要としているため、照明装置２とは独立して動作し、制御部３３によって、赤外光の撮像画像信号を用いて赤外光画像を動画像のフレーム単位で形成し、動画像のフレーム単位で、その赤外光画像の定常状態からの画素値変化（赤外光の受光強度の変化）を監視して、撮像領域Ｗ内に動物体の被写体Ｏｂｊが侵入したか否かを示すトリガー信号を発生させる。

トリガー信号は、動物体の被写体Ｏｂｊが当該撮像領域Ｗに侵入していない状態では、ＯＦＦ（パルス信号としてＬｏ）を発生し、撮像領域Ｗ内に動物体の被写体Ｏｂｊが侵入するとＯＮ（パルス信号としてＨｉ）に遷移する。撮像装置３は、制御部３３によって、当該トリガー信号が像領域Ｗ内に動物体の被写体が侵入している旨を示す間、可視光の各ＲＧＢ色光の撮像画像信号を基に形成される可視光画像信号を記録部３４に対し記録する。動物体の被写体が当該撮像領域Ｗ外となると、トリガー信号はＯＦＦ（パルス信号としてＬｏ）に遷移して、記録部３４に対する当該可視光画像信号の記録を停止する。

赤外光画像内の被写体の動きぼやけを低減させたい場合には、図６（ｂ）を参照して説明したような間欠画素配列に相当する赤外光撮像画像信号とすればよい。

このように、実施例１では、照明装置２と撮像装置３との同期接続が不要であるため、その位置あわせが簡便となり、撮影装置１全体としても小型化が可能である。また、撮像素子３１は、画素部３００を各ＲＧＢ色毎に密に配置した可視光層と、この可視光層とは別に同一光路上で下層に配置される赤外光層を有する構造としているため、この観点からも、撮影装置１全体としても小型化が可能であり、尚且つ高画質、及び高速・高精度応答性が実現される。

（実施例２）
図９は、本実施形態の照明装置２及び撮像装置３よりなる撮影装置１の実施例２の動作例を示す図である。図９の上部には、撮像領域Ｗ内に動物体の被写体Ｏｂｊが侵入している間の様子を示している。実施例２では、図１に示す照明装置２における赤色光源２Ｒ、緑色光源２Ｇ、及び青色光源２Ｂによる可視光は常時点灯とし、赤外光源２ＩＲによる赤外光については間欠点灯（図中、ＯＮ：点灯、ＯＦＦ：消灯）させ、撮像領域Ｗに向けて照射している。

照明装置２による照明光が被写体Ｏｂｊにて反射することにより撮像装置３は可視光の撮像及び赤外光の撮像ができる。ただし、実施例２においても、照明装置２における可視光源（赤色光源２Ｒ、緑色光源２Ｇ、及び青色光源２Ｂ）は、暗時撮影などを担保するために設けられ、用途によっては必ずしも必要ではない。

本実施例においても、撮像装置３は、照明装置２との同期接続を不要としているため、照明装置２とは独立して動作し、制御部３３によって、赤外光の撮像画像信号を用いて赤外光画像を動画像のフレーム単位で形成し、動画像のフレーム単位で、その赤外光画像の定常状態からの画素値変化（赤外光の受光強度の変化）を監視して、撮像領域Ｗ内に動物体の被写体Ｏｂｊが侵入したか否かを示すトリガー信号を発生させる。

従って本実施例においても、トリガー信号は、動物体の被写体Ｏｂｊが当該撮像領域Ｗに侵入していない状態では、ＯＦＦ（パルス信号としてＬｏ）を発生し、撮像領域Ｗ内に動物体の被写体Ｏｂｊが侵入するとＯＮ（パルス信号としてＨｉ）に遷移する。撮像装置３は、制御部３３によって、当該トリガー信号が像領域Ｗ内に動物体の被写体が侵入している旨を示す間、可視光の各ＲＧＢ色光の撮像画像信号を基に形成される可視光画像信号を記録部３４に対し記録する。動物体の被写体が当該撮像領域Ｗ外となると、トリガー信号はＯＦＦ（パルス信号としてＬｏ）に遷移して、記録部３４に対する当該可視光画像信号の記録を停止する。

ところで、実施例２では、赤外光源２ＩＲによる赤外光については間欠点灯（図中、ＯＮ：点灯、ＯＦＦ：消灯）させ、撮像領域Ｗに向けて照射している。このため、照明装置２側での赤外光の間欠点灯により、赤外光画像内の被写体の動きぼやけを低減させることができるため、図６（ｂ）を参照して説明したような間欠画素配列に相当する赤外光撮像画像信号とせずともよいし、これを組み合わせた構成としてもよい。

従って本実施例においても、照明装置２と撮像装置３との同期接続が不要であるため、その位置あわせが簡便となり、撮影装置１全体としても小型化が可能である。また、撮像素子３１は、画素部３００を各ＲＧＢ色毎に密に配置した可視光層と、この可視光層とは別に同一光路上で下層に配置される赤外光層を有する構造としているため、この観点からも、撮影装置１全体としても小型化が可能であり、尚且つ高画質、及び高速・高精度応答性が実現される。

（実施例３）
図１０は、本実施形態の照明装置２及び撮像装置３よりなる撮影装置１の実施例３の動作例を示す図である。撮像領域Ｗ内に動物体の被写体Ｏｂｊが侵入している間の様子は、前述した実施例１，２と同様であり、その図示を省略している。実施例３では、図１に示す照明装置２における赤色光源２Ｒ、緑色光源２Ｇ、及び青色光源２Ｂによる可視光は赤外光よりも短い点灯時間で間欠点灯し（図中、ＯＮ：点灯、ＯＦＦ：消灯）、一方、赤外光源２ＩＲによる赤外光については、可視光よりも長い点灯時間で間欠点灯させ、撮像領域Ｗに向けて照射している。

照明装置２による照明光が被写体Ｏｂｊにて反射することにより撮像装置３は可視光の撮像及び赤外光の撮像ができる。実施例３においては、照明装置２における可視光源（赤色光源２Ｒ、緑色光源２Ｇ、及び青色光源２Ｂ）を必要とする撮影現場を想定し、可視光照明を必要としている。

ところで、実施例３では、図１０に示すように、照明装置２における可視光及び赤外光の間欠点灯を、厳格性は要求されないが、ある程度同期させている。

また、撮像装置３は、撮像素子３１における赤外光撮像部３１ＩＲに対し撮像制御信号を常時出力して駆動している一方で、可視光の撮像部（青色光撮像部３１Ｂ，緑色光撮像部３１Ｇ，赤色光撮像部３１Ｒ）に対しては、通常時では撮像制御信号を停止している。

そこで、撮像装置３は、トリガー信号のＯＮに応じて、可視光の各色毎の撮像制御信号の駆動を開始して同期させ、トリガー信号のＯＦＦに応じて可視光の各色毎の撮像制御信号の駆動を停止する。従って、撮像装置３は、照明装置２との同期接続を不要としていながら、トリガー信号のＯＮで可視光画像信号を得るための撮像制御信号のタイミング同期を得ることができ、これにより、動画像のフレーム単位で、露光量制御（露光時間制御、又は撮像素子３１内に電子シャッター機能がある時はその制御）を可能としている。

実施例３では、照明装置２側での可視光の間欠点灯により、可視光画像内の被写体の動きぼやけを低減させることができる。赤外光画像についても、照明装置２側での赤外光の間欠点灯により、赤外光画像内の被写体の動きぼやけを低減させることができるため、図６（ｂ）を参照して説明したような間欠画素配列に相当する赤外光撮像画像信号とせずともよいし、これを組み合わせた構成としてもよい。

尚、実施例３の変形例として、赤外光源２ＩＲによる赤外光については常時点灯させ、撮像領域Ｗに向けて照射してもよく、赤外光画像内の被写体の動きぼやけを低減させるには図６（ｂ）を参照して説明したような間欠画素配列に相当する赤外光撮像画像信号とすればよい。

上記の実施形態及び実施例では、照明装置２と撮像装置３とを別体として構成する例を説明したが一体化させてもよく、特定の画素部３００の構造例及び画素配列を主として説明したが他の画素構造及び画素配列でもよい。従って、本発明は上述の実施形態及び実施例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。

本発明によれば、照明装置と撮像装置との同期接続が不要でその位置あわせが簡便となり、小型化が可能で、且つ高画質、及び高速・高精度応答性を実現可能となるので、動物体の被写体検出やその撮影記録を可能とする撮像素子、撮像装置及び撮影装置の用途に有用である。

１撮影装置
２照明装置
２Ｒ赤色光源
２Ｇ緑色光源
２Ｂ青色光源
２ＩＲ赤外光源
３撮像装置
３１撮像素子
３１Ｒ赤色光撮像部
３１Ｇ緑色光撮像部
３１Ｂ青色光撮像部
３１ＩＲ赤外光撮像部
３２結像レンズ
３３制御部
３４記録部
３５再生部
３６操作部
３００画素部
３０１ガラス基板
３０２ＳＩＮｘ
３０３ＳＩＯｘ
３０４ＳＩＮｘ
３０５ＳＩＮｘ
３０６ドレインＩＴＯ電極
３０７出力信号用電極
３０８ゲート電極
３０９ソースＩＴＯ電極
３１０有機光電変換膜
３１１対向ＩＴＯ電極
４００垂直走査回路
５００水平信号読み出し回路
３３１Ｒ赤色光用撮像制御部
３３１Ｇ緑色光用撮像制御部
３３１Ｂ青色光用撮像制御部
３３２赤外光用撮像制御部
３３４可視光画像処理部
３３５動物体検出判定部
３３５ａトリガー信号発生部
３３６記録制御部
３３７再生制御部

Claims

所定の撮像領域内に侵入する動物体の被写体に対し可視光及び赤外光を照射する照明装置、並びに、前記照明装置とは同期させる接続を行うことなく構成され、前記被写体から反射する可視光及び赤外光を個別に受光して撮像する撮像素子と前記撮像素子の撮影タイミングを制御する制御部とを有する撮像装置、を備える撮影装置であって、
前記照明装置は、可視光源及び赤外光源を有し、前記可視光源による可視光については前記赤外光源による赤外光よりも短い点灯時間で間欠点灯し、前記赤外光源による赤外光については前記可視光よりも長い点灯時間で間欠点灯させて、前記所定の撮像領域を照射するように構成され、
前記撮像素子は、
可視光を構成する青色光のみ吸収し残りを透過させて撮像する青色光撮像部と、
可視光を構成する緑色光のみ吸収し残りを透過させて撮像する緑色光撮像部と、
可視光を構成する赤色光のみ吸収し残りを透過させて撮像する赤色光撮像部と、
赤外光のみに感度を持ち撮像する赤外光撮像部とを積層して構成され、
前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々は、二次元平面上に第１の画素配列で第１の画素サイズの画素部が配列された撮像面を有し、独立して露光量を制御可能で、且つ撮像制御可能な素子とし、
前記赤外光撮像部は、前記二次元平面上に第２の画素配列で第２の画素サイズの画素部が配列された撮像面を有し、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々に対し独立して撮像制御可能な素子として構成され、
前記撮像装置は、前記照明装置とは同期させる接続を行うことなく一体又は別体で構成され、前記撮像素子により前記被写体から反射する可視光及び赤外光を個別に受光して撮像するよう構成され、
前記撮像装置における制御部は、
前記赤外光撮像部から赤外光撮像画像信号を取得して、前記赤外光撮像画像信号から構成される赤外光画像の定常状態からの画素値変化を監視し、前記所定の撮像領域内に動物体の被写体が侵入したか否かを示すトリガー信号を発生させ、該トリガー信号が前記所定の撮像領域内に動物体の被写体が侵入している旨を示す間のみ、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々から得られる可視光画像信号を基に形成される可視光画像を所定の記録部に対し記録するよう撮影タイミングを制御することを特徴とする撮影装置。
前記赤外光撮像部による赤外光撮像画像信号は、前記青色光撮像部、前記緑色光撮像部、及び前記赤色光撮像部の各々に対する撮影タイミングを制御するための赤外センサーとして機能するよう構成されていることを特徴とする、請求項１に記載の撮影装置。
前記第２の画素サイズは前記第１の画素サイズ以上とし、前記第２の画素配列は前記第１の画素配列と比して同一以下の解像度を持つ画素配列としていることを特徴とする、請求項１又は２に記載の撮影装置。