JP7140819B2 - 撮像装置 - Google Patents

Description

本発明は撮像装置に関し、特に車載用画像処理装置に関する。

運転者の管理などを目的とし、車両の室内又は周辺等を撮影する車両用の撮影装置が提案されている。その一つとして、複数の赤外線光源により撮影対象を照射し、赤外線カメラにより画像を撮影する装置が提案されている（例えば、特許文献１参照）。

特許文献１に記載された装置は、赤外線カメラによる撮影画像における場所ごとの明るさのばらつきが小さくなるように、複数の光源の各々の輝度を個別に設定するように構成されている。

特開２０１７－１０５４３１号公報

特許文献１では、赤外線により照射される範囲に限れば明るさのばらつきは小さくなるかもしれないが、照射範囲外の被写体、たとえば車両の室外の光景が撮影範囲に含まれる場合、その部分について明るさのばらつきを小さくすることは困難である。

本発明は上記従来例に鑑みて成されたもので、車両の室内および室外を撮影対象として、それぞれに対して適正な露出で撮影できる撮像装置を提供することを目的とする。

上記目的を達成するために、本発明は以下の構成を有する。すなわち、車室内に設けられた撮像装置であって、
相異なる感度を切り替えて画像を撮像可能であり、
撮像時に、前記車室内の認識用の画像を高感度で撮像し、車室外の認識用の画像を低感度で撮像する
ことを特徴とする撮像装置が提供される。

本発明によれば、車両の室内および室外を撮影対象として、それぞれに対して適正な露出で撮影できる撮像装置を提供することができる。

実施形態のドライブレコーダのカメラを取り付けた車両の図である。 実施形態のドライブレコーダの制御構成のブロック図である。 車内カメラによる撮影および画像処理を示す模式図である。 撮影された画像および認識対象の画像例を示す図である。 撮影および画像認識処理の手順を示すフローチャートである。 撮影された画像および認識対象の画像の例を示す図である。 撮影および画像認識処理の手順を示すフローチャートである。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴は任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

［第１実施形態］
●ドライブレコーダを取り付けた車両の構成
図１は、車両１００に本実施形態のドライブレコーダを取り付けた様子を示す図である。図１（Ａ）は、車両のフロントウィンドウの上部を前席左側付近から見た様子を示す、フロントウィンドウ中央情報には、ルームミラー１１１が設けられている。またその左側にはドライブレコーダのカメラユニット１１０が設けられている。カメラユニット１１０には、車両の後方を向いて車室内を撮影する車内カメラ１０１と、車両の前方を向いてフロントウィンドウ越しに車両前方を撮影する車外カメラ１０２とが設けられている。本例では車内カメラおよび車外カメラとも単眼レンズを備える。車内カメラ１０１と車外カメラ１０２はそれぞれ独立してその撮影範囲を調整可能である。しかしながら車内カメラ１０１は広角レンズまたは魚眼レンズを採用しているため、撮影範囲は固定されていてもよい。

制御部を含む本体はカメラユニット１１０に組み込まれていてもよいし、カメラユニットから離れた位置に設けられ、カメラユニット１１０とケーブルにより接続されていてもよい。

図１（Ｂ）は、車両１００を、そのルーフを透かして上方から見た図である。この例では、車両１００の前方（進行前方）は図の左側であり、前方に向かってルームミラー１１１の左側にカメラユニット１１０が設けられている。車両１００の室内には、右前席（右ハンドルでは運転席とも呼ぶ。）１０４Ｒと左前席（右ハンドルでは助手席とも呼ぶ。）１０４Ｌ、後席１０５が設けられている。車両１００の側方には透過部として窓があり、窓を通して車室の内部から外部を観察できる。なお窓はガラス製であり、その開閉に関わらず透過部として機能する。また、カメラユニット１１０の車内カメラ１０２は、前席１０４Ｒ，１０４Ｌ，後席１０５に着座した乗員のほか、窓を通して車両の外部の風景を撮影できる。すなわち撮影した画像には、車両１００の内部の画像と外部の画像とを含み、外部に位置する車両等の移動体も含めて撮影される。

なおカメラユニット１１０はルームミラー１１１の右側に設けてもよい。ただし、室内カメラ１０１のレンズの光軸が、面対称に設けられた窓の対称面に沿うよう、すなわち平行になるよう室内カメラ１０１の撮影範囲が調整されることが望ましい。また、カメラユニット１１０は、ルームミラー１１１に可能な限り近い位置に設けられることが望ましい。これらはいずれも、カメラの方向が対称面からずれることに起因する、左右それぞれの窓を通して撮影した外部の映像から推定した速度の左右差を小さくするためである。このようにカメラユニット１１０は、外界と隔てられた車両１００の空間の内部に設けられる。

●ドライブレーダの構成例
図２に実施形態のドライブレコーダの制御構成の一例を示す。このドライブレコーダは車両に後付けするものであり、外部からの入力信号はなくてよい。ただし、ドライブレコーダの電源は車両１００に依存し、またユーザインタフェースについても車両１００に搭載されたデバイスを利用できる。本実施形態ではドライブレコーダにより画像処理を行って運転支援を実現する構成及び手順を説明することから、その点に着目してドライブレコーダのことを画像処理装置あるいは運転支援装置と呼ぶこともある。

図２において、ドライブレコーダは制御部２００と車内カメラ１０１と車外カメラ１０２とを含む。これらのカメラ特に車内カメラ１０１のことを画像取得部などと呼ぶこともある。カメラインタフェース（ＩＦ）２１０、２０２はそれぞれ車内カメラ１０１、車外カメラ１０２との信号のインタフェースである。それぞれのカメラは、所定のフレームレート、たとえば２９ｆｐｓ（フレーム／秒）で映像（動画）を撮影する。撮影した画像は画像処理部２０３により画像処理が施され、さらに必要な処理がＣＰＵ２０４により実行されて、消去可能ＲＯＭ２０９に映像ファイルとして保存される。映像ファイルは所定時間、たとえば３０秒から６０秒程度の長さの映像を含み、所定時間の記録を終えると、新たな映像ファイルが記録される。映像ファイルは少なくとも２つあり、消去可能ＲＯＭ２０９に空き空間がなくなると、最も古い映像ファイルを消去して空き空間が確保され、そこに新たな映像ファイルが記録される。

ドライブレコーダとしての機能を果たすために、ドライブレコーダには加速度センサなども含まれ、所定値を超える加速度が検知されると映像ファイルの記録を停止するなどの制御が行われる。しかし本実施形態では、このドライブレコーダの運転支援機能に着目して説明するために、そのドライブレコーダとしての機能やデバイスについての説明は省略する。

通信部２０８は有線または無線通信機能を提供する。たとえば後述する警告を出力するために、通信部２０８を介してスマートフォンなどに接続し、そこに警告を出力してもよい。また他の目的のための通信を行うことももちろん可能である。

入力部２０６および出力部２０７はユーザインタフェースとしての入出力部を含み、入出力部はたとえば操作部を構成するタッチパネルなどで実現されてよい。あるいは、車両１００に備えられたディスプレイオーディオデバイスと接続するインタフェースを提供してもよい。ＲＡＭ２０５は、ＣＰＵ２０４や画像処理部２０３の動作に必要なデータメモリや、ＣＰＵ２０４により実行されるプログラムを格納するためのメモリとして用いられる。電源部２１０は、車両１００から提供される電源と接続され、ドライブレコーダに適した電源電力を提供する。

●撮影時の感度および色の制御
図３に、車内カメラ１０１により撮影を行う際の感度と色の制御の様子を示す。車内カメラ１０１は、固定された状態で、運転者の顔を含む室内と、車室の側方及び後方に設けられた窓を通した室外の風景とを撮影対象とする画角で、走行中に撮影を行う。車内カメラ１０１は、たとえば撮像素子のゲインを調整することで、その感度を高感度から低感度に、あるいはその逆に変える機能を有する。感度は連続的に変更できてい良いが、本例では決定された２通りの感度の間で切り替えられてよい。

高感度撮影時には、室内、特に運転者の顔が黒くつぶれた状態とならず、良好な画像が撮影できる感度で撮影される。一方、低感度撮影時には、窓を通して撮影される室外が白飛びした状態とならず、良好な画像が撮影できる感度で撮影される。良好な画像とは、画像認識の対象とした場合に、認識対象の被写体が特定できるような画像である。車室内および車外について、適切な感度は特に車外の明るさにより変動すると考えられる。そこで、たとえばエンジン始動時などに、車室内と窓外とのそれぞれについて明るさを測定し、それぞれに合わせたゲインを特定しておいてよい。撮影中には、そのときに特定したゲインを用いて撮影を行ってよい。また、定期的に明るさを再測定し、ゲインの再設定を行ってもよい。さらに、それぞれの感度で撮影を行う都度、ゲインを再設定してもよい。

また車内カメラ１０１はカラー（たとえばＲＧＢ）撮影と白黒（モノクロームまたはモノクロとも呼ぶ）撮影のいずれかを切り替えて撮影する機能を有する。たとえば車内カメラ１０１の撮像素子はカラー撮影用に構成され、モノクローム画像の撮影時には、画像処理部２０３により、輝度成分のみを持つモノクローム画像へ変換してもよい。上述した感度の切り替えおよび色（カラーまたは白黒）の切り替えは、車内カメラ１０１により撮影される動画像のフレームごとに行われる。感度およびカラーの切り替えは、制御部２００により行われてよい。なお車内カメラ１０１により撮影される画像は、所定のインターバルで間欠的に撮影される静止画であってもよいが、本例では所定のフレームレートで撮影される動画として説明する。

図３（A）は、インターバルｔintごとにフレームを撮影する様子を時系列で示す図である。車内カメラ１０１は、インターバルｔintごとに白黒の高感度画像の撮影（あるいは取得）と、カラーの低感度画像の撮影（あるいは取得）を交互に行う。さらにフォーカス（ピント）も同じタイミングで切り替えてよい。カラー低感度画像の撮影時には、フォーカスを車室外の距離たとえば無限遠点に設定し、モノクロ高感度画像の撮像時には、フォーカスを車室内の距離、たとえば運転者の顔の距離（たとえば５０ｃｍ程度）に設定してよい。

図３（Ｂ）は、車内カメラ１０１で撮影した白黒の高感度画像とカラーの低感度画像の処理の概略を示す。上述のようにこれらの画像は交互に撮影され、白黒高感度画像が取得されると（３０１）、車内領域を残すようにトリミングし（３０２）、残った画像領域を対象として画像認識処理を行う（３０３）。高感度で撮影した画像には、特に画質の良好な室内の光景が含まれている。そのため、室内たとえば乗員の顔の認識の精度を向上させることができる。特に運転者の顔があるはずの領域が認識の対象となる。顔が認識されたなら、たとえば登録済みの特徴データベースと照合して運転者を特定し、車外カメラ１０２により撮影されている映像を運転者と関連づけて保存してよい。また顔領域からさらに目を認識し、特に瞳の位置から視線を特定してよい。ここでたとえば所定数のフレームにわたって視線が前方を見ていないと判定されれば運転者に対する警告を音声などで出力してよい。そのほか、運転者以外の乗員の顔を認識し、特定できたなら乗員として記録してもよい。

一方、カラー低感度画像が取得されると（３１１）、窓部すなわち車外の風景を残すようにトリミングし（３１２）、残った画像領域を対象として画像認識処理を行う（３１３）。低感度で撮影した画像には、特に画質の良好な室外の光景が含まれている。そのため、窓を通して室外にある道路施設や建物の物標の認識の精度を向上させることができる。物標が認識されたなら、たとえばその物標の予測されるサイズや画像内の位置などに基づいて距離を特定し、それを複数フレームにわたって行うことで、カメラユニット１１０を搭載した車両１００の速度を推定するなどしてよい。このようにして、低感度画像と高感度画像とを交互に撮影することで、低感度画像と高感度画像それぞれを短時間で大量に取得できる。そのため、低感度画像のフレーム間および高感度画像のフレーム間それぞれで、運転者に関する分析や動き解析などの画像解析を行うこともできる。

図４に撮影した画像と認識対象の領域の例とを示す。画像４０１は高感度で白黒撮影された画像の例である。画像４０１では、車両１００の室内が、良好な画像認識を行える画質となるよう撮影されている。ここで特に運転者の顔を含む領域４０２を対象として画像認識処理、特に顔領域の認識処理が行われる。対象となる領域４０２は、たとえば画像全体を対象として顔の輪郭を探し、該当する輪郭を含む領域と決めてよい。あるいは、車内カメラ１０１の設置時に、運転者の顔の位置する領域をあらかじめ設定しておいてもよい。

一方、画像４１１は低感度でカラー撮影された画像の例である。窓を通した車外の光景が、良好な画像認識を行える画質となるよう撮影されている。ここで特に窓部を含む領域４１２を対象として画像認識処理、特に道路周辺の施設や建物などの認識処理が行われる。ここでは示していないが、さらに車両側面の窓を画像認識の対象としてもよい。対象となる領域４１２は、たとえば明度が高い領域を探し、該当する領域と決めてよい。あるいは、車内カメラ１０１の設置時に、窓の位置する領域を設定しておいてもよい。

●処理手順の例
図５に、例えばＣＰＵ２０４により実行される、撮影済みの画像（フレーム）の処理手順を示すフローチャートを示す。図５の手順は各フレームが撮影される都度実行されてよい。まず撮影したフレーム画像を取得する（Ｓ５０１）。そして取得した画像を対象として、図４に示したようにトリミングを行う（Ｓ５０３）。なおここで画像がモノクロ高感度画像なら顔領域を含む車内を、カラー低感度画像なら車外を含む窓を残してトリミングする。どちらの画像かは、たとえば図３（Ａ）に示したように、撮像のタイミングで決定してよい。最初の画像を、白黒高感度で撮影された画像あるいはカラー低感度で撮影された画像のどちらかに決めれば、そこを基点としてどちらかの種類の画像が交互に表れるので、撮影のタイミングでいずれであるかを判定できる。次に、トリミングの結果、残った領域を対象として画像認識処理を行う（Ｓ５０５）。認識処理も、画像の種類に応じて、顔または車外の物標を認識するように行われる。画像認識が行われたなら、認識結果に応じて、運転者の監視や、車外の物標に応じた運転支援などを行う（Ｓ５０７）。

なお、この実施形態では、画像をトリミングしているが、トリミングすることなく、領域を限定して画像認識処理を行ってもよい。

以上説明したように、本実施形態によれば、１台の車載カメラにより車室内を撮影し、撮影した画像から室内および室外を対象として画像認識を行う場合に、いずれに対しても適正な露出を設定し、良好な画像認識結果を得ることができる。さらに、低感度画像と高感度画像とを合成するＨＤＲ（ハイダイナミックレンジ合成）処理を行うことなく、画像処理負担を軽減できる。

●その他の実施形態
次に、トリミングに代えてマスキングを行う処理について説明する。本実施形態では、図３（Ｂ）のトリミング３０２，３１２に代えて、マスキングを行う。この例では、認識対象とならない領域にマスキングするため、撮影した画像全体を対象として認識処理を行ってよい。

図６は、本例における画像処理の一例を示す図である。また図７は本例における画像処理手順を示すフローチャートである。白黒高感度画像４０１またはカラー低感度画像４１１を取得すると（Ｓ７０１）、マスキング処理を行う（Ｓ７０３）。マスク画像は、固定されたカメラの画角に応じて予め作成しておいてもよいし、画像処理により作成してもよい。図６のマスク画像４０２は、たとえば白黒高感度画像４０１を、所定の画素値を閾値として二値化し、それを反転した画像である。このマスク画像４０２を用いてマスキング処理した画像が画像４０３であり、窓を通した車外の領域はマスキングされている。一方、図６のマスク画像４１２は、たとえば白黒高感度画像４０１を、所定の画素値を閾値として二値化して作成したマスク画像である。このマスク画像４１２を用いてカラー低感度画像４１１をマスキング処理した画像が画像４１３であり、車内の領域はマスキングされている。

ここで処理対象の画像がどちらの種類の画像かは、たとえば図３（Ａ）に示したように、撮像のタイミングで決定してよい。最初の画像が白黒高感度で撮影された画像あるいはカラー低感度で撮影された画像のどちらかに決めれば、そこを基点としてどちらかの種類の画像が交互に表れる。次に、マスキングした画像を対象として画像認識処理を行う（Ｓ７０５）。認識処理も、画像の種類に応じて、顔または車外の物標を認識するように行われる。画像認識が行われたなら、認識結果に応じて、運転者の監視や、車外の物標に応じた運転支援などを行う（Ｓ７０７）。

以上説明したように、本実施形態によれば、１台の車載カメラにより車室内を撮影し、撮影した画像から室内および室外を対象として画像認識を行う場合に、いずれに対しても適正な露出を設定し、良好な画像認識結果を得ることができる。さらに、低感度画像と高感度画像とを合成するＨＤＲ（ハイダイナミックレンジ合成）処理を行うことなく、画像処理負担を軽減できる。さらに低感度画像および高感度画像それぞれに適したマスキング処理を行うことで、認識対象ではない領域を除外した適切な画像認識を実現できる。

●実施形態のまとめ
以上説明した本実施形態をまとめると以下のとおりである。

本発明の第１の態様によれば、車室内に設けられた撮像装置であって、
相異なる感度を切り替えて画像を撮像可能であり、
撮像時に、前記車室内の認識用の画像を高感度で撮像し、車室外の認識用の画像を低感度で撮像する
ことを特徴とする撮像装置が提供される。
この構成により、車室内および車室外それぞれに応じた露出で画像を撮影できる。

本発明の第２の態様によれば、第１の態様に加えて、
低感度での撮像と、高感度での撮像とを交互に行う
ことを特徴とする撮像装置が提供される。
この構成により、低感度画像と高感度画像それぞれを短時間で取得できる。

本発明の第３の態様によれば、第１または第２の態様に加えて、
低感度での撮像と高感度での撮像とで、フォーカスの設定を変更する
ことを特徴とする撮像装置が提供される。
この構成により、撮影対象に合わせたフォーカスで画像を取得できる。

本発明の第４の態様によれば、第３の態様に加えて、
低感度での撮像時には、フォーカスを車室外の距離に設定し、高感度での撮像時には、フォーカスを車室内の距離に設定する
ことを特徴とする撮像装置が提供される。
この構成により低感度では車室外の画像を、高感度では車室内の画像を、特に良好な状態で取得できる。

本発明の第５の態様によれば、第１乃至第４の態様に加えて、
低感度での撮像と高感度での撮像とで、色の設定を変更する
ことを特徴とする撮像装置が提供される。
この構成により、低感度画像と高感度画像の用途に応じた色で画像を取得できる。

本発明の第６の態様によれば、第５の態様に加えて、
低感度での撮像時には、色をカラー撮影に設定し、高感度での撮像時には、色をモノクローム撮影に設定する
ことを特徴とする撮像装置が提供される。
この構成により、低感度画像は車外の対象を認識しやすいカラーで、高感度画像は色成分を省いたモノクロームで取得できる。

本発明の第７の態様によれば、第１乃至第６の態様に加えて、
低感度での撮像時には、車室に設けられた窓部分を画像認識の対象とし、高感度での撮像時には、前記車室内の運転者の顔を画像認識の対象とする
ことを特徴とする撮像装置が提供される。
この構成により、低感度画像から車外を、高感度画像から運転者の顔を認識できる。

本発明の第８の態様によれば、第７の態様に加えて、
低感度での撮像時には、車室に設けられた窓部分を除く車室内をマスキングし、高感度での撮像時には、前記窓部分をマスキングして画像認識を行う
ことを特徴とする撮像装置が提供される。
この構成により、不要な領域をマスキングして、必要な領域を認識対象とすることができる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

１０１ 車内カメラ、１０２ 車外カメラ、１１０ カメラユニット、２００ 制御部

Claims (9)

1. 車室内に設けられた撮像装置であって、
   相異なる感度を切り替えて画像を撮像可能であり、
   撮像時に、前記車室内の認識用の画像を高感度で撮像し、車室外の認識用の画像を低感度で撮像し、
   低感度での撮像時には、色をカラー撮影に設定し、高感度での撮像時には、色をモノクローム撮影に設定する
   ことを特徴とする撮像装置。
2. 請求項1に記載の撮像装置であって、
   低感度での撮像と、高感度での撮像とを交互に行う
   ことを特徴とする撮像装置。
3. 請求項1または２に記載の撮像装置であって、
   低感度での撮像と高感度での撮像とで、フォーカスの設定を変更する
   ことを特徴とする撮像装置。
4. 請求項３に記載の撮像装置であって、
   低感度での撮像時には、フォーカスを車室外の距離に設定し、高感度での撮像時には、フォーカスを車室内の距離に設定する
   ことを特徴とする撮像装置。
5. 請求項1乃至４のいずれか一項に記載の撮像装置であって、
   低感度での撮像時には、車室に設けられた窓部分を画像認識の対象とし、高感度での撮像時には、前記車室内の運転者の顔を画像認識の対象とする
   ことを特徴とする撮像装置。
6. 請求項５に記載の撮像装置であって、
   低感度での撮像時には、車室に設けられた窓部分を除く車室内をマスキングし、高感度での撮像時には、前記窓部分をマスキングして画像認識を行う
   ことを特徴とする撮像装置。
7. 車室内に設けられた撮像装置であって、
   相異なる感度を切り替えて画像を撮像可能であり、
   撮像時に、前記車室内の認識用の画像を撮像する場合、色をモノクローム撮影に設定し、車室外の認識用の画像を撮像する場合、色をカラー撮影に設定する
   ことを特徴とする撮像装置。
8. 請求項７に記載の撮像装置であって、
   モノクローム撮影で撮影した画像については、前記車室内の運転者の顔を画像認識の対象とし、カラー撮影で撮影した画像については、車室に設けられた窓部分を画像認識の対象とする
   ことを特徴とする撮像装置。
9. 請求項1乃至８のいずれか一項に記載の撮像装置であって、
   前記車室内と、車室に設けられた窓部分を通した車室外とを含む画角で、フレームごとに前記感度を切り替えて動画を撮像する
   ことを特徴とする撮像装置。

Images