JP2013196331A - 撮像制御装置及びプログラム - Google Patents
撮像制御装置及びプログラム Download PDFInfo
- Publication number
- JP2013196331A JP2013196331A JP2012062349A JP2012062349A JP2013196331A JP 2013196331 A JP2013196331 A JP 2013196331A JP 2012062349 A JP2012062349 A JP 2012062349A JP 2012062349 A JP2012062349 A JP 2012062349A JP 2013196331 A JP2013196331 A JP 2013196331A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- distance
- image
- unevenness
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
- H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Input (AREA)
- Image Analysis (AREA)
Abstract
【課題】ドライバ等の撮像対象の位置が変化した場合でも、光源からの光の照射によって生ずる輝度ムラの影響を抑制できる撮像制御装置及びプログラムを提供すること。
【解決手段】カメラ3によってドライバの顔を撮像して顔画像を得た場合には、記憶部17に記憶された(距離と輝度ムラとの関係を示す)関係データに基づいて、その距離に対応した輝度ムラの情報を求め、この輝度ムラの情報に基づいて、撮像により得られた画像の輝度ムラの補正を行う。具体的には、所定の距離における顔画像の輝度ムラを、基準の顔画像の輝度ムラとして記憶し、実際に撮像された顔画像に対して、その輝度ムラを、基準の顔画像の輝度ムラと一致するように補正する。これにより顔画像の認識の精度が大きく向上するので、例えば視線方向や目の開閉状態を確実に検出することができる。
【選択図】図5
【解決手段】カメラ3によってドライバの顔を撮像して顔画像を得た場合には、記憶部17に記憶された(距離と輝度ムラとの関係を示す)関係データに基づいて、その距離に対応した輝度ムラの情報を求め、この輝度ムラの情報に基づいて、撮像により得られた画像の輝度ムラの補正を行う。具体的には、所定の距離における顔画像の輝度ムラを、基準の顔画像の輝度ムラとして記憶し、実際に撮像された顔画像に対して、その輝度ムラを、基準の顔画像の輝度ムラと一致するように補正する。これにより顔画像の認識の精度が大きく向上するので、例えば視線方向や目の開閉状態を確実に検出することができる。
【選択図】図5
Description
本発明は、例えば自動車のドライバ(運転者)の顔画像を撮像するために用いられる撮像制御装置及びプログラムに関する。
従来より、例えばドライバ等の個人を特定する個人認証のために、カメラによって顔を撮影して顔画像を取得し、その顔画像を解析することによって個人認証を行う技術が開発されていた(下記特許文献1〜5参照)。
また、眠気や脇見運転などといった運転操作上好ましくないドライバの状態を検出するために、カメラによって顔を撮影して顔画像を取得し、その顔画像を解析することによってドライバの状態を検知する技術が開発されていた(下記特許文献6参照)。
この種の技術では、カメラの撮像の際には、夜間等において安定した画像を得るために、顔及びその周囲に向けて、光源(投光器)から必要な光量の光(近赤外光)を照射していた。
しかしながら、上述した従来技術においては、夜間等に投光器より例えばドライバの顔に光を照射した場合には、ドライバの顔領域に輝度ムラが生じる(従ってその顔画像にも輝度ムラが生じる)という問題があった。
つまり、顔は平面ではないため、顔領域中において投光器からの距離が異なっており(例えば投光器から鼻までの距離や頬までの距離は異なっており)、更に、投光器からの光の強度は距離の2乗に反比例するため、顔領域中の位置によって顔画像に輝度ムラがあった。
特に、この輝度ムラは、投光器と顔との距離やカメラと顔との距離によって変化するので、ドライバの顔の位置が移動すると輝度ムラが変化するという問題があった。
この様な輝度ムラがあると、顔画像にも輝度ムラが生じるので、顔画像から精度良く個人認証を行うことや、ドライバ等の状態を精度良く検出することは容易ではない。
この様な輝度ムラがあると、顔画像にも輝度ムラが生じるので、顔画像から精度良く個人認証を行うことや、ドライバ等の状態を精度良く検出することは容易ではない。
この対策としては、例えば常に顔領域に均等に光を照射することが考えられるが、ドライバ等の顔の位置は、前後左右に動くので、この対策は実際上困難である。
本発明は上記問題点を解決するものであり、その目的は、ドライバ等の撮像対象の位置が変化した場合でも、光源からの光の照射によって生ずる輝度ムラの影響を抑制できる撮像制御装置及びプログラムを提供することである。
本発明は上記問題点を解決するものであり、その目的は、ドライバ等の撮像対象の位置が変化した場合でも、光源からの光の照射によって生ずる輝度ムラの影響を抑制できる撮像制御装置及びプログラムを提供することである。
(1)請求項1の発明は、光源から撮像対象に近赤外線を含む光を照射し、撮像部によって前記撮像対象を撮像する画像撮像装置を制御する撮像制御装置において、前記光源から前記撮像対象までの距離及び前記撮像対象から前記撮像部までの距離の少なくとも一方の距離と、前記撮像対象を撮像した画像における輝度ムラの情報との関係を示す関係データを記憶している記憶手段と、前記距離を検知する距離検知手段と、前記撮像部によって前記撮像対象を撮像して画像を得た場合に、前記記憶手段に記憶された関係データから、前記距離検知手段によって検知された距離に対応した輝度ムラの情報を求める輝度ムラ情報取得手段と、前記輝度ムラ情報取得手段によって求めた輝度ムラの情報に基づいて、前記撮像により得られた画像における輝度ムラの補正を行う補正手段と、を備えたことを特徴とする。
本発明では、撮像部によって撮像対象(例えばドライバの顔)を撮像して画像を得た場合には、記憶手段に記憶された(前記距離と輝度ムラとの関係を示す)関係データに基づいて、その距離に対応した輝度ムラの情報を求め、この輝度ムラの情報に基づいて、撮像により得られた画像の輝度ムラの補正を行う。
つまり、上述の様に、例えば投光器やカメラと顔との距離が変化すると、その顔を撮像した画像の輝度ムラも変化するが、本発明では、その距離と輝度ムラとの関係データを予め記憶しておいて、検出した距離に応じて(その関係データを用いて)画像の輝度ムラを補正するので、距離によって変動する輝度ムラの影響を低減して、画像の認識(例えば顔の向きや視線などの検出)を精度良く行うことができる。
ここで、前記輝度ムラとは、実際の凹凸のある顔等の撮像対象を撮像した画像において、その凹凸に起因して生ずる画像の平面方向における輝度の変化(例えば画像の各画素の画素値の分布状態)を示している。これは、例えば平板状の撮像対象を撮像した場合の輝度の分布状態に対する輝度の分布の変化ということができる。
また、前記記憶手段としては、各種のメモリが挙げられ、この記憶手段には、所定の距離毎に、撮像対象の画像における輝度ムラに関する情報を記憶している。
更に、前記距離検知手段としては、撮像した画像における輝度(画素値)から判断する手段を採用できる。例えば、光を所定の強度でドライバの顔に照射した場合、投光器から顔までの距離が同じであれば、その顔画像における特定の位置の輝度はほぼ同様であると考えられる。つまり、光の強度など、距離以外の条件が同じであれば、顔画像の特定の位置の輝度は、距離に対応していると考えられるので、その輝度から距離を推定することができる。
更に、前記距離検知手段としては、撮像した画像における輝度(画素値)から判断する手段を採用できる。例えば、光を所定の強度でドライバの顔に照射した場合、投光器から顔までの距離が同じであれば、その顔画像における特定の位置の輝度はほぼ同様であると考えられる。つまり、光の強度など、距離以外の条件が同じであれば、顔画像の特定の位置の輝度は、距離に対応していると考えられるので、その輝度から距離を推定することができる。
(2)請求項2の発明は、前記撮像された画像に対して、該画像の輝度ムラを前記距離による輝度ムラの変動が少なくなるように(好ましくは変動が無いように)補正することを特徴とする。
このように補正することにより、実際に撮像された画像に対して、その輝度ムラの距離による変動の影響を低減することができる。よって、どのような距離で撮像された画像を用いても、その画像に対する各種の認識を精度良く行うことができる。
(3)請求項3の発明では、所定の前記距離における画像の輝度ムラを、前記補正を行う際の基準の画像の輝度ムラとして記憶し、前記撮像された画像に対して、該画像の輝度ムラを前記基準の画像の輝度ムラに近づけるように(好ましくは一致するように)補正することを特徴とする。
本発明では、ある距離における画像の輝度ムラを基準とし、その基準の輝度ムラとなるように、各距離において実際に撮像された画像の輝度ムラを補正するので、(距離が異なっていても)常に基準の輝度ムラと同様な輝度ムラの画像が得られる。これにより画像の認識の精度が大きく向上する。
(4)請求項4の発明では、前記記憶手段に、所定の距離毎に前記画像を所定の微小領域(例えば画素)に分割して、各微少領域における輝度に関する情報を記憶しているとともに、該各微小領域における輝度に関する情報として、前記撮像により得られた画像の輝度を前記基準の画像の輝度に換算する補正係数の情報を記憶していることを特徴とする。
本発明は、記憶手段に記憶された関係データを例示している。この様な各距離とその距離における画像の微小領域の輝度に関する情報(基準の輝度ムラに近づくように変換する補正係数)を用いることにより、撮像された画像の輝度ムラを、基準の画像の輝度ムラに近づけるように補正することができる。
なお、この補正係数としては、得られた画像の微小領域の輝度を、対応する基準の画像の微小領域の輝度に近づける(特に一致させる)ための倍数などが挙げられる。
(5)請求項5の発明では、環境光の強度が所定値以下の場合に、前記補正を行うことを特徴とする。
(5)請求項5の発明では、環境光の強度が所定値以下の場合に、前記補正を行うことを特徴とする。
本発明では、補正を行う状況を例示している。環境光の強度が弱い場合(例えば夜等の場合)には、光を照射して撮像を行う必要があるが、その様な場合には、光の照射によって上述した輝度ムラによる問題が生じ易い。よって、この様な状況で補正を行うことが有効である。
(6)請求項6の発明では、前記撮像された画像は、車両の運転者の顔を撮影した顔画像であることを特徴とする。
本発明は、撮像対象を例示している。ドライバの顔を撮像する場合には、顔は平面ではなく複雑な凹凸のある形状であるので、上述した輝度ムラによる問題が生じ易い。よって、この様な撮像対象の場合に前記補正を行うことが有効である。
本発明は、撮像対象を例示している。ドライバの顔を撮像する場合には、顔は平面ではなく複雑な凹凸のある形状であるので、上述した輝度ムラによる問題が生じ易い。よって、この様な撮像対象の場合に前記補正を行うことが有効である。
(7)請求項7の発明は、コンピュータを、前記請求項1に記載の輝度ムラ情報取得手段及び補正手段として機能させるためのプログラムである。
つまり、上述した撮像制御装置の機能は、コンピュータのプログラムにより実行される処理により実現することができる。
つまり、上述した撮像制御装置の機能は、コンピュータのプログラムにより実行される処理により実現することができる。
このようなプログラムの場合、例えば、FD、MO、DVD−ROM、CD−ROM、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードして起動することにより用いることができる。この他、ROMやバックアップRAMをコンピュータ読み取り可能な記録媒体として本プログラムを記録しておき、そのROMあるいはバックアップRAMをコンピュータに組み込んで用いても良い。
以下に本発明の実施形態を図面と共に説明する。
a)まず、本実施例の撮像制御装置を搭載した車両のシステム構成を、図1及び図2に基づいて説明する。
図1及び図2に示す様に、車両(自動車)には、運転の支援等の制御を行うために、搭乗者(例えばドライバ)の顔画像を撮像し、この顔画像から目(瞳孔)の向きや目の開閉状態等の必要な情報を得ることができる顔画像撮像装置1が搭載されている。
図1及び図2に示す様に、車両(自動車)には、運転の支援等の制御を行うために、搭乗者(例えばドライバ)の顔画像を撮像し、この顔画像から目(瞳孔)の向きや目の開閉状態等の必要な情報を得ることができる顔画像撮像装置1が搭載されている。
この顔画像撮像装置1は、ドライバの顔を撮像するカメラ3と、ドライバの顔等に光を照射する撮像用の投光器5と、周囲の明るさを検知する照度センサ7と、ナビゲーション装置9と、マニュアルでの操作を行う操作部11と、それらの動作の制御等を行う撮像制御装置13とを備えている。
このうち、カメラ3は、近赤外光により画像の撮像を行うことが可能な近赤外光に対して一定の感度を持つ例えばCCDカメラ(撮像部)であり、例えばドライバの顔を正面斜め下方より撮像が可能な様に、メーター(図示せず)の近傍に配置されている。
投光器5は、例えば近赤外LEDからなり、近赤外光をドライバの顔に向けて照射するように配置されており、その照射領域は、ドライバの顔を中心にほぼ円錐状である。
この投光器5とカメラ3とは、投光器5の光軸とカメラ3の光軸とがほぼ同軸となるように近接して配置されている。従って、投光器5からドライバの顔までの距離(第1距離)とカメラ3からドライバの顔まで距離(第2距離)とは、実質的に同一である。
この投光器5とカメラ3とは、投光器5の光軸とカメラ3の光軸とがほぼ同軸となるように近接して配置されている。従って、投光器5からドライバの顔までの距離(第1距離)とカメラ3からドライバの顔まで距離(第2距離)とは、実質的に同一である。
照度センサ7は、例えばダッシュボード等に配置されて、周囲の明るさ(周囲の光:環境光)を検知する環境光センサであり、これにより、夜間等の環境光の弱い(暗い)状態や、昼間等の環境光の強い(明るい)状態等を検知することができる。
ナビゲーション装置9は、地図上で自車両の位置を表示したり、経路案内等を行うことができる装置であり、これにより、例えば自車両がトンネル等の環境光の弱い場所を走行していることを検知することができる。
操作部11は、ドライバ等がマニュアルでの操作を行うことができるスイッチ等であり、これにより、例えば撮像制御のオン・オフや、各種の制御値(例えば照射する光の強度)の設定等を行うことが可能とされている。
撮像制御装置13は、周知のマイクロコンピュータを備えた電子制御装置であり、カメラ3からの画像情報や照度センサ7からの信号などに基づいて、投光器5からの近赤外光の照射状態(例えば照射する光の強度や照射のタイミング)や、カメラ3の撮像状態(例えば露光時間やアナログゲイン)などを制御するものである。
この撮像制御装置13には、図2に示す様に、機能的に、記憶部17と認識部19と昼夜判定部21と距離計算部23と投光器制御部25と撮像制御部27とを備えている。また、撮像制御装置11は、計時を行って(昼夜判定部21に)時刻を出力する時計IC29を備えている。
このうち、記憶部17では、撮像制御装置13の動作に必要な各種のデータを記憶している。例えば後述する様に、投光器5からドライバの顔までの距離と、その距離において撮像された顔の画像(顔画像)における輝度ムラの情報との関係を示す関係データを記憶している。
認識部19では、カメラ1からの画像情報等を処理し解析して、顔に関する各種の認識を行う。例えば、顔画像の目の瞳孔の位置から、顔の向きや視線方向を認識したり、目の開閉状態の認識等を行う。また、この認識部19では、画像情報から、投光器5からの光の照射状態やカメラ3の露光状態やアナログゲインが適切であるか等の判断も行う。
昼夜判定部21では、照度センサ7からの環境光の強さを示す信号や、時計IC29からの時刻を示す情報に基づいて、昼夜の判定を行う。
距離計算部23では、カメラ3によって得られた顔画像から、投光器5からドライバの顔までの距離を求める。つまり、顔画像の特定の位置(例えば額の中央の位置:図4のA参照)の輝度は、投光器5からの距離が短いほど高く距離が長いほど低いと考えられるので、顔画像におけるその位置の輝度の高低からから距離を推定する。
距離計算部23では、カメラ3によって得られた顔画像から、投光器5からドライバの顔までの距離を求める。つまり、顔画像の特定の位置(例えば額の中央の位置:図4のA参照)の輝度は、投光器5からの距離が短いほど高く距離が長いほど低いと考えられるので、顔画像におけるその位置の輝度の高低からから距離を推定する。
投光器制御部25では、所定の発光パターンにて照射を行うために、投光器5の動作を制御する。
撮像制御部27では、認識部19で得られた情報(例えば顔画像の明るさ等の情報等)や、投光器制御部25から得られた投光器5を制御する情報に基づいて、カメラ3の動作(例えば露光時間)を制御する。
撮像制御部27では、認識部19で得られた情報(例えば顔画像の明るさ等の情報等)や、投光器制御部25から得られた投光器5を制御する情報に基づいて、カメラ3の動作(例えば露光時間)を制御する。
尚、前記認識部19と昼夜判定部21と距離計算部23と投光器制御部25と撮像制御部27は、周知のCPUを主要部とするマイクロコンピュータにより実現でき、記憶部17は、例えばEEPROM等の不揮発性メモリにより実現できる。
b)次に、本実施例の要部である前記距離と顔画像の輝度ムラとの関係について、図3及び図4に基づいて説明する。
なお、本実施例では、投光器5から顔までの距離(第1距離)と顔からカメラ3までの距離(第2距離)とは、ほぼ同一であるので、以下では、前記距離として、第1距離を用いて説明する。
なお、本実施例では、投光器5から顔までの距離(第1距離)と顔からカメラ3までの距離(第2距離)とは、ほぼ同一であるので、以下では、前記距離として、第1距離を用いて説明する。
図3(a)に示す様に、ドライバの顔に近赤外光を照射してドライバの顔の撮像を行う場合には、顔に凹凸(湾曲等)があるので、その凹凸に起因して顔に輝度ムラがあり、よって、その顔を撮像した顔画像にも輝度ムラ(即ち顔画像の位置における輝度の違い)が生じる。
例えば鼻と(鼻の左右方向の)頬とでは、投光器5からの距離が異なるので、その距離の違いによって(顔が平板状であると仮定した場合に比べて)顔画像に輝度ムラが生じる。
しかも、図3(b)に示す様に、その顔画像における輝度ムラは、投光器5から顔までの距離によっても変化する。
例えば投光器5から30cm離れた位置に顔がある場合の顔画像の輝度ムラと、投光器5から120cm離れた位置に顔がある場合の顔画像の輝度ムラとは、同一ではない。
例えば投光器5から30cm離れた位置に顔がある場合の顔画像の輝度ムラと、投光器5から120cm離れた位置に顔がある場合の顔画像の輝度ムラとは、同一ではない。
これは、光の強度は距離の2乗に反比例するという性質があり、しかも、投光器5から顔までの距離と顔の平面方向(光軸と垂直方向)における距離との関係が、投光器5から顔までの距離によって変化するので、距離によって(顔に対する)光の当たり具合が変化するからである。
図4に、距離に応じた輝度ムラの変化をより具体的に示す。なお、図4では、説明を簡単にするために、顔画像をメッシュ状に区分した領域(微小領域)で分け、その微小領域における平均の画素値を示しているが、各画素単位で区分してもよい。
具体的には、図4(a)に、例えば投光器5から30cm離れた位置に顔がある場合の顔画像の輝度ムラを模式的に示すが、顔画像の中央(例えば鼻の頭の位置)の微小領域における輝度が100、その左右の頬の位置の輝度が50であるとする。
また、図4(b)に、例えば投光器5から120cm離れた位置に顔がある場合の顔画像の輝度ムラを模式的に示すが、顔画像の中央(例えば鼻の頭の位置)の輝度が50、その左右の頬の位置(図4(a)の頬と同じ位置)の輝度が20とする。
つまり、この図4から明らかな様に、投光器5から顔までの距離に応じて、各距離の顔画像の輝度が異なるだけでなく、各顔画像における輝度の分布も異なっている。
従って、例えば図4(b)に示す顔画像全体の輝度を2倍しても、鼻の頭の輝度は100となって図4(a)の顔画像と一致するが、(距離に起因する輝度ムラのために)他の箇所(例えば頬)の輝度は一致しない。
従って、例えば図4(b)に示す顔画像全体の輝度を2倍しても、鼻の頭の輝度は100となって図4(a)の顔画像と一致するが、(距離に起因する輝度ムラのために)他の箇所(例えば頬)の輝度は一致しない。
そこで、本実施例では、予め投光器5から顔までの各距離(例えば1cm毎)において、各顔画像の輝度ムラ(輝度の分布状態)を測定しておき、その測定データに基づいて、投光器5から顔までの距離にかかわらず顔画像の輝度ムラが一定となるように補正する。
例えば前記図4(a)の顔画像を基準とし、その基準の顔画像の輝度ムラと一致するように、実際に撮像された顔画像の輝度ムラを補正する。
具体的には、図4(b)の顔画像の輝度ムラを、基準となる図4(a)の顔画像の輝度ムラに補正する場合を考えると、基準の顔画像の輝度ムラは、顔の中央の輝度:頬の輝度=100:50であるので、同様な比率の関係となるように、図4(b)の輝度を補正する。つまり、図4(b)の中央の輝度の50を2倍して100とする場合には、頬の輝度の20を2.5倍して50とする。これにより、距離が120cmの顔画像の輝度ムラを、基準となる距離が30cmの顔画像の輝度ムラに補正することができる。
具体的には、図4(b)の顔画像の輝度ムラを、基準となる図4(a)の顔画像の輝度ムラに補正する場合を考えると、基準の顔画像の輝度ムラは、顔の中央の輝度:頬の輝度=100:50であるので、同様な比率の関係となるように、図4(b)の輝度を補正する。つまり、図4(b)の中央の輝度の50を2倍して100とする場合には、頬の輝度の20を2.5倍して50とする。これにより、距離が120cmの顔画像の輝度ムラを、基準となる距離が30cmの顔画像の輝度ムラに補正することができる。
そして、記憶部17には、この様な補正が可能なような関係データを予め記憶しておく。
具体的には、例えば図4(b)の様な距離が120cmの顔画像の場合には、頬の位置の輝度を2.5倍とするように、その位置における補正係数(換算率)を設定しておく。同様に、その顔画像における他の位置の微小領域(例えば画素)における補正係数を設定しておく。
具体的には、例えば図4(b)の様な距離が120cmの顔画像の場合には、頬の位置の輝度を2.5倍とするように、その位置における補正係数(換算率)を設定しておく。同様に、その顔画像における他の位置の微小領域(例えば画素)における補正係数を設定しておく。
そして、この様な顔画像の全微小領域(例えば全画素)における補正係数を記憶したデータを、全ての距離において記憶しておく。
従って、顔を撮影して顔画像を得た場合に、投光器5から顔までの距離を検出した際には、この関係データに基づいて、距離に対応した顔画像における各微小領域の補正係数のデータを用いて、基準の顔画像の輝度ムラとなるように補正することができる。
従って、顔を撮影して顔画像を得た場合に、投光器5から顔までの距離を検出した際には、この関係データに基づいて、距離に対応した顔画像における各微小領域の補正係数のデータを用いて、基準の顔画像の輝度ムラとなるように補正することができる。
c)次に、前記撮像制御装置13にて行われる制御処理を、図5に基づいて説明する。
本処理は、実際に撮像された顔画像の輝度ムラを、基準となる輝度ムラに補正するものである。
本処理は、実際に撮像された顔画像の輝度ムラを、基準となる輝度ムラに補正するものである。
まず、図5に示す様に、ステップ(S)100にて、環境光の情報を取得する。具体的には、照度センサ7からの信号に基づいて、周囲(車室内)の明るさ(即ち環境光の強さを示す照度)を検出する。
続くステップ110では、環境光による照度が照度閾値より大きいか否かを判定する。つまり、環境光による照度が、投光器5からの近赤外光の照射が不要な明るさの下限である照度閾値より大きい(明るい)か否かを判定する。ここで肯定判断されるとステップ120に進み、一方否定判断されるとステップ130に進む。
ステップ120では、環境光による照度が照度閾値より大きく、環境光が強い(即ち明るい昼等の状態である)ので、そのことを示すために、フラグTを0にセットする。
一方、ステップ130では、環境光による照度が照度閾値以下であり、環境光が弱い(即ち暗い夜等の状態である)ので、そのことを示すために、フラグTを1にセットする。
一方、ステップ130では、環境光による照度が照度閾値以下であり、環境光が弱い(即ち暗い夜等の状態である)ので、そのことを示すために、フラグTを1にセットする。
続くステップ140では、前記フラグTの値が、前回のフラグTの値から変化があったか否かを判定し、ここで肯定判断されるとステップ150に進み、一方否定判断されるとステップ160に進む。
ステップ150では、フラグTの値が変化した、即ち、環境光が明から暗又は暗から明に変化したので、そのことを示すために、後述する所定の判定値nにn2の値をセットする。なお、このn2の値はn1よりも大きな値に設定されている。
一方、ステップ160では、フラグTの値が変化しないので、即ち、環境光の明の状態又は暗の状態が継続しているので、そのことを示すために、前記判定値nにn1の値をセットする。
続くステップ170では、所定の初期設定の制御値(初期値)を用いて、投光器5からの投光と、カメラ3による撮像を行う。
続くステップ180では、フラグTの値が0か否か、即ち環境光が明るい状態か否かを判定する。ここで肯定判断されるとステップ210に進み、一方否定判断されるとステップ190に進む。
続くステップ180では、フラグTの値が0か否か、即ち環境光が明るい状態か否かを判定する。ここで肯定判断されるとステップ210に進み、一方否定判断されるとステップ190に進む。
ステップ190では、環境光が暗の状態であり、よって、投光器5から光を照射した場合に、顔画像に輝度ムラが発生する状態であるので、上述した顔画像における所定の位置(例えば図4(a)のAの位置)の輝度を利用する手法によって、投光器5から運転者の顔までの距離を求める。
続くステップ200では、今回撮像された顔画像に対して、輝度ムラの補正を行う。つまり、上述した様に、記憶部17に記憶されている関係データ(即ち距離と顔画像の輝度ムラとの関係を示す情報)を参照し、投光器5から運転者の顔までの距離に基づいて、その距離における顔画像の輝度ムラを基準となる顔画像の輝度ムラに補正する情報(補正係数)を求め、その補正係数を用いて、実際に撮像によって得られた顔画像の輝度ムラを、基準となる顔画像の輝度ムラに一致するように補正する。
そして、ステップ200では、上述の様にして得られた顔画像を用いて、各種の認識処理を行う。
具体的には、周知の手法にて、前記顔画像から目の瞳孔の位置(例えば目の向き)や目の開閉状態を検出する等の処理を行う(例えば特許第3316725号公報や特開2008−276328号公報参照)。これによって、視線方向に基づく脇見運転の判断や、目の開閉状態に基づく、居眠り運転の判断を行うことができる。
具体的には、周知の手法にて、前記顔画像から目の瞳孔の位置(例えば目の向き)や目の開閉状態を検出する等の処理を行う(例えば特許第3316725号公報や特開2008−276328号公報参照)。これによって、視線方向に基づく脇見運転の判断や、目の開閉状態に基づく、居眠り運転の判断を行うことができる。
また、得られた顔画像から、その顔画像が画像解析に適切な画像であるかどうか、即ち、例えば照射強度、照射時間、露光時間、アナログゲイン等の制御値が適切であるかどうかも判断する。
続くステップ220では、より好適な顔画像を得るために、制御値の変更(調整)が必要であるか否かを判定する。ここで肯定判断されるとステップ230に進み、一方否定判断されるとステップ250に進む。
なお、この制御値とは、撮像済みの顔画像に基づいて、より好適な顔画像を得るために設定される調整のための制御値、即ち、既に撮像された顔画像のデータに基づいてフィードバックされて設定される調整制御値であり、例えば照射時間、露光時間、アナログゲイン等である。
ステップ250では、カウンタをインクリメント(1増加)し、前記ステップ170に戻って同様な処理を繰り返す。
一方、ステップ230では、カウンタMの値が、所定の判定値nを上回るか否かを判定する。ここで肯定判断されるとステップ260に進み、一方否定判断されるとステップ240に進む。
一方、ステップ230では、カウンタMの値が、所定の判定値nを上回るか否かを判定する。ここで肯定判断されるとステップ260に進み、一方否定判断されるとステップ240に進む。
ステップ240では、調整制御値を変更し、前記ステップ250の処理を行ってから、前記ステップ170に戻って同様な処理を繰り返す。
一方、ステップ260では、カウンタMをクリアし、前記ステップ100に戻り同様な処理を繰り返す。
一方、ステップ260では、カウンタMをクリアし、前記ステップ100に戻り同様な処理を繰り返す。
d)本実施例では、上述した構成によって、下記の効果を奏する。
本実施例では、カメラ3によってドライバの顔を撮像して顔画像を得た場合には、記憶部17に記憶された(距離と輝度ムラとの関係を示す)関係データに基づいて、その距離に対応した輝度ムラの情報を求め、この輝度ムラの情報に基づいて、撮像により得られた画像の輝度ムラの補正を行う。
本実施例では、カメラ3によってドライバの顔を撮像して顔画像を得た場合には、記憶部17に記憶された(距離と輝度ムラとの関係を示す)関係データに基づいて、その距離に対応した輝度ムラの情報を求め、この輝度ムラの情報に基づいて、撮像により得られた画像の輝度ムラの補正を行う。
具体的には、所定の距離における顔画像の輝度ムラを、基準の顔画像の輝度ムラとして記憶し、実際に撮像された顔画像に対して、その輝度ムラを、基準の顔画像の輝度ムラと一致するように補正する。
これにより顔画像の認識の精度が大きく向上するので、例えば視線方向や目の開閉状態を確実に検出することができる。
また、本実施例では、環境光の強度が弱い場合に、前記補正を行うので、輝度ムラによる問題を効果的に抑制できるという利点がある。
また、本実施例では、環境光の強度が弱い場合に、前記補正を行うので、輝度ムラによる問題を効果的に抑制できるという利点がある。
尚、本発明は前記実施例になんら限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
(1)例えば、上述した撮像制御装置の機能を、コンピュータのプログラムにより実行される処理により実現したもの、即ち前記機能を実現するためのプログラムも本発明の範囲である。
(1)例えば、上述した撮像制御装置の機能を、コンピュータのプログラムにより実行される処理により実現したもの、即ち前記機能を実現するためのプログラムも本発明の範囲である。
(2)前記実施例では、関係データの距離の情報として、投光器から運転者の顔までの距離(第1距離)を用いたが、運転者の顔からカメラまでの距離(第2距離)を用いてもよい。
なお、顔画像の輝度ムラは、投光器から顔までの距離(第1距離)及び顔からカメラまでの距離(第2距離)の合計距離によっても変動するので、この合計距離と顔画像の輝度ムラのデータを関係データとして用いてもよい。
(3)前記実施例では、顔画像から脇見や居眠りを検出する例を挙げたが、本発明は、顔画像から個人の認証を行う個人認証にも適用できる。
(4)前記実施例では、照度センサや時計ICを利用して環境光の強さを判定したが、例えば投光器を点灯せずに(或いは点灯して)、カメラによって顔画像等の画像を撮影し、その撮像画像の明るさから、環境光の強さを判定してもよい。
(4)前記実施例では、照度センサや時計ICを利用して環境光の強さを判定したが、例えば投光器を点灯せずに(或いは点灯して)、カメラによって顔画像等の画像を撮影し、その撮像画像の明るさから、環境光の強さを判定してもよい。
(5)ナビゲーション装置から、車両が例えばトンネル内を走行していると判断された場合には、環境光が弱いと推定してもよい。
1…顔画像撮像装置
3…カメラ(撮像部)
5…投光器(光源)
7…照度センサ
9…ナビゲーション装置
13…撮像制御装置
17…記憶部
19…認識部
21…昼夜判定部
23…距離計算部
25…投光器制御部
27…撮像制御部
3…カメラ(撮像部)
5…投光器(光源)
7…照度センサ
9…ナビゲーション装置
13…撮像制御装置
17…記憶部
19…認識部
21…昼夜判定部
23…距離計算部
25…投光器制御部
27…撮像制御部
Claims (7)
- 光源から撮像対象に近赤外線を含む光を照射し、撮像部によって前記撮像対象を撮像する画像撮像装置を制御する撮像制御装置において、
前記光源から前記撮像対象までの距離及び前記撮像対象から前記撮像部までの距離の少なくとも一方の距離と、前記撮像対象を撮像した画像における輝度ムラの情報との関係を示す関係データを記憶している記憶手段と、
前記距離を検知する距離検知手段と、
前記撮像部によって前記撮像対象を撮像して画像を得た場合に、前記記憶手段に記憶された関係データから、前記距離検知手段によって検知された距離に対応した輝度ムラの情報を求める輝度ムラ情報取得手段と、
前記輝度ムラ情報取得手段によって求めた輝度ムラの情報に基づいて、前記撮像により得られた画像における輝度ムラの補正を行う補正手段と、
を備えたことを特徴とする撮像制御装置。 - 前記撮像された画像に対して、該画像の輝度ムラを前記距離による輝度ムラの変動が少なくなるように補正することを特徴とする請求項1に記載の撮像制御装置。
- 所定の前記距離における画像の輝度ムラを、前記補正を行う際の基準の画像の輝度ムラとして記憶し、前記撮像された画像に対して、該画像の輝度ムラを前記基準の画像の輝度ムラに近づけるように補正することを特徴とする請求項1又は2に記載の撮像制御装置。
- 前記記憶手段に、所定の距離毎に前記画像を所定の微小領域に分割して、各微少領域における輝度に関する情報を記憶しているとともに、
該各微小領域における輝度に関する情報として、前記撮像により得られた画像の輝度を前記基準の画像の輝度に換算する補正係数の情報を記憶していることを特徴とする請求項3に記載の撮像制御装置。 - 環境光の強度が所定値以下の場合に、前記補正を行うことを特徴とする請求項1〜4のいずれか1項に記載の撮像制御装置。
- 前記撮像された画像は、車両の運転者の顔を撮影した顔画像であることを特徴とする請求項1〜5のいずれか1項に記載の撮像制御装置。
- コンピュータを、前記請求項1に記載の輝度ムラ情報取得手段及び補正手段として機能させるためのプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012062349A JP2013196331A (ja) | 2012-03-19 | 2012-03-19 | 撮像制御装置及びプログラム |
| US13/826,822 US20130242073A1 (en) | 2012-03-19 | 2013-03-14 | Image-capturing control apparatus and control method of capturing image |
| KR1020130028388A KR20130106308A (ko) | 2012-03-19 | 2013-03-18 | 영상 포착 제어 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012062349A JP2013196331A (ja) | 2012-03-19 | 2012-03-19 | 撮像制御装置及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013196331A true JP2013196331A (ja) | 2013-09-30 |
Family
ID=49157237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012062349A Withdrawn JP2013196331A (ja) | 2012-03-19 | 2012-03-19 | 撮像制御装置及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20130242073A1 (ja) |
| JP (1) | JP2013196331A (ja) |
| KR (1) | KR20130106308A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015170322A (ja) * | 2014-03-10 | 2015-09-28 | 富士通株式会社 | 画像処理装置、生体認証装置、画像処理方法及びプログラム |
| WO2019235623A1 (ja) * | 2018-06-08 | 2019-12-12 | 株式会社デンソー | 測距装置 |
| WO2023281746A1 (ja) * | 2021-07-09 | 2023-01-12 | 日本電気株式会社 | 制御装置、制御方法、及び記録媒体 |
| JP2023159741A (ja) * | 2022-04-20 | 2023-11-01 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、および記憶媒体 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6531395B2 (ja) | 2015-01-08 | 2019-06-19 | 富士通株式会社 | 三次元形状測定装置、三次元形状測定方法、及び、プログラム |
| JP7470540B2 (ja) * | 2020-03-18 | 2024-04-18 | 本田技研工業株式会社 | 内部機器の異常判定装置、異常判定方法、及びプログラム |
| CN113869291B (zh) * | 2021-12-02 | 2022-03-04 | 杭州魔点科技有限公司 | 基于环境亮度调节人脸曝光度的方法、系统、装置和介质 |
| CN122138055A (zh) * | 2024-12-02 | 2026-06-02 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及存储介质 |
-
2012
- 2012-03-19 JP JP2012062349A patent/JP2013196331A/ja not_active Withdrawn
-
2013
- 2013-03-14 US US13/826,822 patent/US20130242073A1/en not_active Abandoned
- 2013-03-18 KR KR1020130028388A patent/KR20130106308A/ko not_active Ceased
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015170322A (ja) * | 2014-03-10 | 2015-09-28 | 富士通株式会社 | 画像処理装置、生体認証装置、画像処理方法及びプログラム |
| WO2019235623A1 (ja) * | 2018-06-08 | 2019-12-12 | 株式会社デンソー | 測距装置 |
| JP2019211429A (ja) * | 2018-06-08 | 2019-12-12 | 株式会社デンソー | 測距装置 |
| WO2023281746A1 (ja) * | 2021-07-09 | 2023-01-12 | 日本電気株式会社 | 制御装置、制御方法、及び記録媒体 |
| JP2023159741A (ja) * | 2022-04-20 | 2023-11-01 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、および記憶媒体 |
| JP7877043B2 (ja) | 2022-04-20 | 2026-06-22 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、および記憶媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130242073A1 (en) | 2013-09-19 |
| KR20130106308A (ko) | 2013-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5761074B2 (ja) | 撮像制御装置及びプログラム | |
| RU2453884C1 (ru) | Устройство для формирования изображения водителя и способ формирования изображения водителя | |
| JP4380412B2 (ja) | 撮像制御装置及びプログラム | |
| US20110304746A1 (en) | Image capturing device, operator monitoring device, method for measuring distance to face, and program | |
| US20110200258A1 (en) | Lane-marker recognition system with improved recognition-performance | |
| US20110035099A1 (en) | Display control device, display control method and computer program product for the same | |
| JP6601351B2 (ja) | 視線計測装置 | |
| US20080024606A1 (en) | Image processing apparatus | |
| US20130242073A1 (en) | Image-capturing control apparatus and control method of capturing image | |
| US20160063334A1 (en) | In-vehicle imaging device | |
| US9892333B2 (en) | Viewing area estimation device | |
| CN107960989B (zh) | 脉搏波计测装置以及脉搏波计测方法 | |
| CN107169403B (zh) | 面部图像处理装置 | |
| JP2013225205A (ja) | 喫煙検出装置及びプログラム | |
| JP2009244946A (ja) | 信号機認識装置,信号機認識方法および信号機認識プログラム | |
| US20190259279A1 (en) | Luminance control device, luminance control system, and luminance control method | |
| WO2016104166A1 (ja) | 撮像システム | |
| JP6717330B2 (ja) | 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラム | |
| KR101276073B1 (ko) | 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법 | |
| JP2017188851A (ja) | 車室内用カメラの顔撮影方法および車室内用カメラ | |
| US9307155B2 (en) | Method of determining exposure control value for vehicle-mounted camera | |
| JP4556777B2 (ja) | 夜間運転視界支援装置 | |
| JP2008183933A (ja) | 赤外線暗視装置 | |
| JP5206190B2 (ja) | ドライバー監視装置 | |
| JP2013123180A (ja) | モニタリング装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140527 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20140617 |