JP2009089158A

JP2009089158A - 撮像装置

Info

Publication number: JP2009089158A
Application number: JP2007257819A
Authority: JP
Inventors: Kazufumi Mizusawa; 和史水澤; Yasuhiro Matsushima; 廉浩松島; Takashi Kikuchi; 隆菊地; Hideyuki Iguchi; 秀之井口
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2007-10-01
Filing date: 2007-10-01
Publication date: 2009-04-23
Also published as: WO2009044544A1

Abstract

【課題】夜間などの状況で物体を視認させやすくすることができる撮像装置を提供すること。
【解決手段】可視光領域および赤外光領域に分割された撮像素子１２と、撮像素子１２から出力された映像信号を処理する映像信号処理手段１３とを備え、撮像素子１２には、可視光および赤外光を検知する画素が配列されており、映像信号処理手段１３は、可視光領域に対応する画素から出力される映像信号に対しては可視光の映像信号を処理し、赤外光領域に対応する画素から出力される映像信号に対しては赤外光の映像信号を処理するように構成する。
【選択図】図１

Description

本発明は、可視光および赤外光の映像を処理する撮像装置に関する。

波長の異なる光を分けて物体を撮像する従来のカメラとしては、透過する光の波長が所定波長領域内において、一方向に連続的に変化する連続干渉フィルタと、センサの素子がライン毎にそれぞれ該所定波長領域を細分した定波長の透過光のみを受光するよう配置された二次元イメージセンサとを有するものが知られている（例えば、特許文献１参照）。

また、この種の従来のカメラとしては、光源によって照明される領域を撮像する第１のカメラと、第１のカメラとは感度が異なる波長帯域で同一方を撮像する第２のカメラと、第１および第２の各カメラによってそれぞれ撮像された画像を合成するカメラが知られている（例えば、特許文献２参照）。

また、可視光及び近赤外光に感度を有するＣＭＯＳで形成される各画素に、シアン（Ｃｙ）、黄（Ｙｅ）、マゼンダ（Ｍｇ）の色フィルタ、並びに、可視光領域及び近赤外光領域で波長に関わらず透過率がほぼ一定のフィルタ（Ｘ）を形成した色フィルタを有し、可視光カラー画像及び近赤外光画像を独立に得る撮像装置が知られている（例えば、特許文献３参照）。

また、可視光の他に赤外線を検知する画素が１つのカラーセンサに組み込まれており、昼間は、近赤外光の映像を処理せずに可視光の映像を処理し、夜間は、可視光の映像を処理せずに近赤外光の映像を処理するなど、状況によって対象となる映像を切り替える撮像装置が知られている（例えば、非特許文献１参照）。
特開平０６−０１８３２９号公報特開平０９−０３７１４７号公報特開２００２−１４２２２８号公報 "松下電器産業、薄型カメラユニットに最適な耐久性の高いイメージセンサー"、 [online] 、[平成１９年８月６日検索] 、インターネット(ＵＲＬ： http://it.nikkei.co.jp/pc/news/digitalcamera.aspx?n=MMITdg000014052007)

しかしながら、可視光及び近赤外光の映像を生成する従来の撮像装置は、自動車に搭載された場合、例えば、夜間は可視光の映像を処理せずに近赤外光の映像を処理することで、普段見えない障害物が見えるが、中央車線を示す白線などが見えなくなるなどの課題があった。すなわち、従来の撮像装置では、状況に応じて可視光及び近赤外光のいずれの映像が適しているかが異なるため、可視光の映像、近赤外光の映像に対応して２台のカメラが必要となってしまう場合がある。

本発明は、このような課題を解決するもので、夜間などの状況で物体を視認させやすくすることができる撮像装置を提供することを目的としている。

本発明の撮像装置は、可視光領域および赤外光領域に分割された撮像素子と、前記撮像素子から出力された前記可視光領域に対応した可視光の映像信号および前記赤外光領域に対応した赤外光の映像信号を処理する映像信号処理手段とを備えた構成を有している。
この構成により、可視光領域に対応した可視光の映像信号を処理すると共に赤外光領域に対応した赤外光の映像信号を処理するため、例えば、夜間などの状況でも目に見えるものがある領域を可視光領域とし、可視光領域でない領域を赤外光領域とすれば、それぞれの領域に映る物体を視認させやすくすることができる。

また、本発明の撮像装置は、前記撮像素子には、可視光および赤外光を検知する画素が配列されており、前記画素が前記可視光の映像信号および前記赤外光の映像信号を出力し、前記映像信号処理手段が、前記可視光領域に対応する前記撮像素子の画素から出力される映像信号に対しては前記可視光の映像信号を処理し、前記赤外光領域に対応する前記撮像素子の画素から出力される映像信号に対しては前記赤外光の映像信号を処理する構成を有している。
この構成により、可視光領域に対応する画素から出力される映像信号に対しては可視光の映像信号を処理し、赤外光領域に対応する画素から出力される映像信号に対しては赤外光の映像信号を処理するため、例えば、夜間などの状況でも目に見えるものがある領域を可視光領域とし、可視光領域でない領域を赤外光領域とすれば、それぞれの領域に映る物体を視認させやすくすることができる。

また、本発明の撮像装置は、前記撮像素子が車両の周囲を撮像するよう設置されており、前記撮像素子の撮像領域のうち、前記周囲にある路面が映ると想定される領域を前記可視光領域とし、該可視光領域でない領域を前記赤外光領域とする構成を有している。
この構成により、周囲にある路面が映ると想定される領域を可視光領域とし、可視光領域でない領域を赤外光領域とするため、夜間などの状況で、可視光領域では路面にある車線などを視認させやすくし、赤外光領域では障害物を視認させやすくすることができる。

また、本発明の撮像装置は、前記撮像素子が車両の進行方向の前方を撮像するよう設置されており、前記撮像素子の撮像領域のうち、前記前方にある対向車が映ると想定される領域を前記可視光領域とし、該可視光領域でない領域を前記赤外光領域とする構成を有している。
この構成により、前方にある対向車が映ると想定される領域を可視光領域とし、可視光領域でない領域を赤外光領域とするため、夜間などの状況で、可視光領域では対向車などを視認させやすくし、赤外光領域では障害物を視認させやすくすることができる。

また、本発明の撮像装置は、光を集光して前記被写体を結像するためのレンズを有し、前記可視光領域に対応した赤外光カットフィルタおよび前記赤外光領域に対応した可視光カットフィルタを前記レンズと前記撮像素子との間に備えた構成を有している。
この構成により、可視光領域に対応する光を赤外光カットフィルタで除去することで可視光の映像信号だけを処理し、赤外光領域に対応する光を可視光カットフィルタで除去することで赤外光の映像信号だけを処理するため、例えば、夜間などの状況でも目に見えるものがある領域を可視光領域とし、可視光領域でない領域を赤外光領域とすれば、それぞれの領域に映る物体を視認させやすくすることができる。
また、本発明の撮像装置は、前記撮像素子が車両の進行方向の前方を撮像するよう設置されており、前記撮像素子の撮像領域のうち、前記車両の可視光ヘッドライトの光の到達範囲を前記可視光領域とし、該可視光領域でない領域を前記赤外光領域とする構成を有している。
この構成により、車両の可視光ヘッドライトの光の到達範囲を可視光領域とし、可視光領域でない領域を前記赤外光領域とするため、夜間などの状況で、可視光領域では可視光ヘッドライトの光の到達範囲を視認させやすくし、赤外光領域では障害物を視認させやすくすることができる。

以上のように、本発明は、夜間などの状況で物体を視認させやすくすることができる撮像装置を提供するものである。

以下、本発明の実施の形態について、図面を用いて説明する。

（本発明の第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮像装置のブロック図である。撮像装置１０は、光を集光して被写体を結像するためのレンズ１１、レンズ１１から集光された光を映像信号に変換する撮像素子１２、および、撮像素子１２によって変換された映像信号を処理する映像信号処理手段１３によって構成されている。撮像装置１０は、例えば、車両の進行方向の前方を撮像するように車両に設置されている。なお、撮像装置１０は、特に車両の進行方向の前方には限定せず、車両の周囲を撮像してもよい。

撮像素子１２が撮像できる範囲となる撮像領域は、可視光領域と赤外光領域とに分割されている。可視光領域と赤外光領域とに分割された撮像領域の詳細な構成を図２に示す。

図２に示したように、撮像素子１２の撮像領域には、可視光および赤外光を検知する画素がｍ行ｎ列に配列されている。ｍ行ｎ列に配列される画素群は、予め決まっている可視光領域と赤外光領域とに分割されている。例えば、１列目〜ｋ列目にある画素が可視光領域と設定され、ｋ列目〜ｎ列目にある画素を赤外光領域と設定される。なお、ｋは１〜ｎにある値である。

各画素は、可視光におけるＲ（赤）、Ｂ（青）、およびＧ（緑）の成分を検知するように構成されていると共に、近赤外光ＩＲにおける成分を検知するように構成されている。なお、可視光においては、Ｒ、Ｂ、Ｇに替えて、Ｃｙ（シアン）、Ｙｅ（黄）、Ｍｇ（マゼンダ）にしてもよい。

映像信号処理手段１３は、情報処理回路などによって構成され、撮像素子１２から出力された映像信号を処理するようになっている。映像信号処理手段１３は、可視光領域にある画素によって出力される映像信号からＲ、Ｂ、Ｇの成分の映像信号を処理するようになっている。また、映像信号処理手段１３は、赤外光領域にある画素によって出力される映像信号からＩＲの成分の映像信号を処理するようになっている。

また、映像信号処理手段１３は、映像信号に対してノイズ除去やゲイン調整を行ったり、映像信号に対して補正処理を行う。映像信号処理手段１３が出力した映像信号は、撮像装置１０と同じ車両に搭載されるディスプレイなどに表示される。

図３は、車載のディスプレイが表示する映像を表した図である。図３に示すように、ディスプレイ３０には、地平線３３の上に人３１の映像が表示されており、さらに、地平線３３の下に片側１車線３２の映像が表示されている。

ここで、図３の映像の領域を、地平線３３を境界にして路面上にある領域である上領域３４と路面が映る領域である下領域３５とに分割するものとし、上領域３４に対応するように赤外光領域が設定され、下領域３５に対応するように可視光領域が設定されるものとする。このように設定すれば、車両が夜間走行している最中に、運転者が、上領域３４の人３１がいることを赤外光による映像で確認することができ、下領域３５にある車線３２の白線などを可視光による映像で確認することができる。

以上のように構成された本発明の第１の実施の形態に係る撮像装置の動作について説明する。図４は、本発明の第１の実施の形態に係る撮像装置の映像信号処理手段の動作を示すフローチャートである。

まず、映像信号処理手段１３は、撮像素子１２のｍ行ｎ列に配列された各画素から映像信号を順に取り込み（ステップＳ１１）、次に、取り込んだ映像信号の画素が可視光領域にあるものか赤外光領域にあるものかを判定する（ステップＳ１２）。

取り込んだ映像信号の画素が可視光領域にある場合、映像信号処理手段１３は、ＩＲの成分の映像信号の処理を行わず、Ｒ、Ｂ、Ｇの成分の映像信号だけを処理する（ステップＳ１３）。取り込んだ映像信号の画素が赤外光領域にある場合、映像信号処理手段１３は、Ｒ、Ｂ、Ｇの成分の映像信号の処理を行わず、ＩＲの成分の映像信号だけを処理する（ステップＳ１４）。

以上説明したように、本発明の第１の実施の形態に係る撮像装置は、撮像領域のうち可視光で見たい領域には可視光領域が設定され、赤外光で見たい領域には赤外光領域が設定され、可視光領域に対応する画素から出力される映像信号に対しては可視光の映像信号だけを処理し、赤外光領域に対応する画素から出力される映像信号に対しては赤外光の映像信号だけを処理するため、夜間などの状況で物体を視認させやすくすることができる。また、カメラを複数台使用することなく１台のカメラで実現できる。

図３の映像領域では、地平線３３を境界にして上領域３４に対応する赤外光領域と、可視光領域に対応する下領域３５とに分割するものとしたが、映像領域のうち自車線の路面が映ると想定される領域を可視光領域とし、可視光領域でない領域を赤外光領域としてもよい。また、自車両から一定距離（３０ｍもしくは８０ｍ）が離れた路面が映ると想定される領域を可視光領域とし、可視光領域でない領域を赤外光領域としてもよい。
また、車両の可視光ヘッドライトの光の到達範囲を可視光領域とし、可視光領域でない領域を赤外光領域としてもよい。さらに、可視光ヘッドライトのハイビームまたはロービームの切替えに連動して可視光領域および赤外光領域の範囲がハイビームまたはロービームの光の到達範囲に対応するよう変更されてもよい。

また、最近では、ハイビームと兼用の近赤外線投光器を車両に搭載し、赤外線投光器から近赤外線を車両の進行方向の前方に照射し、夜間走行している車両の進行方向の前方を赤外線カメラで撮影し、赤外線カメラで車両の進行方向の前方にある物体を検知することで、夜間でも歩行者などを検知するものがある。このように近赤外線投光器を搭載した車両が対向車として現れると、撮像装置１０は、赤外光領域で対向車を視認させることが困難となってしまう。このため、図５に示すように、近赤外線投光器５２を有する対向車５１が映ると想定される領域を可視光領域とし、可視光領域でない領域を赤外光領域としてもよい。なお、図５に示すように、可視光領域と赤外光領域との間に破線で示している境界線を示している。

撮像装置１０は、対向車の有無を判定できるセンサなどを設け、対向車が無い場合は撮像領域全てを赤外光領域とし、対向車があった場合だけ対向車が映ると想定される領域を可視光領域とするよう、可視光領域を切り替えてもよい。

（本発明の第２の実施の形態）
図６は、本発明の第２の実施の形態に係る撮像装置のブロック図である。撮像装置２０は、光を集光して被写体を結像するためのレンズ１１、レンズ１１から集光された光を映像信号に変換する撮像素子２２、撮像素子２２によって変換された映像信号を処理する映像信号処理手段２３、赤外光領域に対応した可視光カットフィルタ２４および可視光領域に対応した赤外光カットフィルタ２５によって構成されている。撮像装置２０は、例えば、車両の進行方向を撮像するように車両に設置されている。

赤外光カットフィルタ２５は、撮像素子２２の撮像領域を分割した可視光領域に対応する位置に配置されている。可視光カットフィルタ２４は、撮像素子２２の撮像領域を分割した赤外光領域に対応する位置に配置されている。

撮像素子２２が撮像できる範囲となる撮像領域は、可視光領域と赤外光領域とに分割されている。撮像素子２２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーなど構成されており、撮像素子１２のように同一画素内に同時に赤外光と可視光とを検知できるものではない。

映像信号処理手段２３は、情報処理回路などによって構成され、撮像素子２２から出力された映像信号を処理するようになっている。なお、映像信号処理手段２３は、映像信号処理手段１３に説明したように、可視光領域にある画素および赤外光領域にある画素を区別して映像信号を処理することはない。

また、映像信号処理手段２３は、映像信号に対してノイズ除去やゲイン調整を行ったり、映像信号に対して補正処理を行う。映像信号処理手段２３が出力した映像信号は、撮像装置２０と同じ車両に搭載されるディスプレイなどに表示される。

図３は、車載のディスプレイが表示する映像を表した図である。赤外光カットフィルタ２５は、下領域３５の可視光領域に対応するような位置に配置され、可視光カットフィルタ２４は、上領域３４の赤外光領域に対応するような位置に配置される。

赤外光カットフィルタ２５は、映像領域のうち自車線の路面が映ると想定される可視光領域に対応するような位置に配置されてもよく、可視光カットフィルタ２４は、可視光領域でない赤外光領域に対応するような位置に配置されてもよい。また、赤外光カットフィルタ２５は、対向車が映ると想定される可視光領域に対応するような位置に配置されてもよい。

以上説明したように、本発明の第２の実施の形態に係る撮像装置は、可視光領域に対応した赤外光カットフィルタ２５および赤外光領域に対応した可視光カットフィルタ２４を備え、可視光領域に対応する光を赤外光カットフィルタ２５で除去することで可視光の映像信号だけを処理し、赤外光領域に対応する光を可視光カットフィルタ２４で除去することで赤外光の映像信号だけを処理するため、夜間などの状況で物体を視認させやすくすることができる。

以上のように、本発明は、夜間などの状況で物体を視認させやすくすることができるという効果を有し、車両などに設置される撮像装置等として有用である。

本発明の第１の実施の形態に係る撮像装置のブロック図本発明の第１の実施の形態に係る撮像素子の構成図車載のディスプレイが表示する映像を表した図本発明の第１の実施の形態に係る撮像装置の映像信号処理手段の動作を示すフローチャート車載のディスプレイが表示する映像を表した図本発明の第２の実施の形態に係る撮像装置のブロック図

符号の説明

１０、２０撮像装置
１１レンズ
１２、２２撮像素子
１３、２３映像信号処理手段
２４可視光カットフィルタ
２５赤外光カットフィルタ
３０ディスプレイ
３１人
３２車線
３３地平線
３４上領域
３５下領域

Claims

可視光領域および赤外光領域に分割された撮像素子と、
前記撮像素子から出力された前記可視光領域に対応した可視光の映像信号および前記赤外光領域に対応した赤外光の映像信号を処理する映像信号処理手段と、
を備えたことを特徴とする撮像装置。
前記撮像素子には、可視光および赤外光を検知する画素が配列されており、前記画素が前記可視光の映像信号および前記赤外光の映像信号を出力し、
前記映像信号処理手段が、前記可視光領域に対応する前記撮像素子の画素から出力される映像信号に対しては前記可視光の映像信号を処理し、前記赤外光領域に対応する前記撮像素子の画素から出力される映像信号に対しては前記赤外光の映像信号を処理することを特徴とする請求項１に記載の撮像装置。
前記撮像素子が車両の周囲を撮像するよう設置されており、
前記撮像素子の撮像領域のうち、前記周囲にある路面が映ると想定される領域を前記可視光領域とし、該可視光領域でない領域を前記赤外光領域とすることを特徴とする請求項２に記載の撮像装置。
前記撮像素子が車両の進行方向の前方を撮像するよう設置されており、
前記撮像素子の撮像領域のうち、前記前方にある対向車が映ると想定される領域を前記可視光領域とし、該可視光領域でない領域を前記赤外光領域とすることを特徴とする請求項２に記載の撮像装置。
光を集光して前記被写体を結像するためのレンズを有し、
前記可視光領域に対応した赤外光カットフィルタおよび前記赤外光領域に対応した可視光カットフィルタを前記レンズと前記撮像素子との間に備えたことを特徴とする請求項１に記載の撮像装置。
前記撮像素子が車両の進行方向の前方を撮像するよう設置されており、
前記撮像素子の撮像領域のうち、前記車両の可視光ヘッドライトの光の到達範囲を前記可視光領域とし、該可視光領域でない領域を前記赤外光領域とすることを特徴とする請求項２に記載の撮像装置。