JP2021056882A - 周辺監視装置および周辺監視プログラム - Google Patents

Abstract

【課題】適切なシチュエーションで復元画像を利用する。【解決手段】本開示の一例としての周辺監視装置は、車両の周辺の路面を含む領域を撮像するように車両に設けられる撮像部により撮像される撮像画像を取得する画像取得部と、撮像画像が撮像部の光学系の汚れに起因する汚れ領域を含む場合に、撮像画像のうち路面が写った路面領域と、汚れ領域と、の位置関係に応じて、汚れ領域を除去することで撮像部の光学系の汚れが存在しない状態を疑似的に再現するように撮像画像から復元された復元画像を出力する復元処理を実行するか否かを制御する復元制御部と、を備える。【選択図】図６

Description

本開示は、周辺監視装置および周辺監視プログラムに関する。

従来、車両に搭載された撮像部により撮像された撮像画像を表示装置に出力することでドライバなどに車両の周辺の状況を監視させるための技術が知られている。このような技術において、撮像画像が、撮像部の光学系（たとえばレンズ）に付着した水滴やホコリ、泥などといった汚れに起因する汚れ領域を含む場合、撮像画像をそのまま出力しても、車両の周辺の状況の監視を適切に実現できないことがある。そこで、汚れ領域を除去することで撮像部の光学系の汚れが存在しない状態を疑似的に再現するように撮像画像から復元された復元画像を生成するための技術について検討されている。

国際公開第２０１７／０７８０７２号 特開２０１８−１９７６６６号公報

しかしながら、上記のような技術では、たとえば監視すべき対象物が路面上に実際に存在する場合であっても、路面が写った路面領域と汚れ領域との位置関係によっては、対象物が写るべき領域と汚れ領域とが重なることで、復元画像において対象物が写るべき領域が汚れ領域とともに除去される事態が発生しうる。したがって、車両の周辺の状況の監視のためにあらゆるシチュエーションで常に復元画像を利用することは適切ではない。

そこで、本開示の課題の一つは、適切なシチュエーションで復元画像を利用することが可能な周辺監視装置および周辺監視プログラムを提供することである。

本開示の一例としての周辺監視装置は、車両の周辺の路面を含む領域を撮像するように車両に設けられる撮像部により撮像される撮像画像を取得する画像取得部と、撮像画像が撮像部の光学系の汚れに起因する汚れ領域を含む場合に、撮像画像のうち路面が写った路面領域と、汚れ領域と、の位置関係に応じて、汚れ領域を除去することで撮像部の光学系の汚れが存在しない状態を疑似的に再現するように撮像画像から復元された復元画像を出力する復元処理を実行するか否かを制御する復元制御部と、を備える。

上述した周辺監視装置によれば、路面領域と汚れ領域との位置関係を考慮して復元処理を実行するか否かを制御することで、復元画像において対象物が写るべき領域が汚れ領域とともに除去される事態の発生を抑制することができる。これにより、適切なシチュエーションで復元画像を利用することができる。

上述した周辺監視装置において、復元制御部は、撮像画像において汚れ領域が路面領域の重心に近い位置に存在するほど、復元処理の実行を抑制する。このような構成によれば、監視すべき対象物が写り込む可能性が高い路面領域の重心と汚れ領域とが離れているほど、復元処理の実行が抑制されるので、復元画像において対象物が写るべき領域が汚れ領域とともに除去される事態の発生をより抑制することができる。

この場合において、復元制御部は、撮像画像における路面領域と汚れ領域の重心との近接度合に応じて算出される評価値と閾値との比較結果に応じて、復元処理を実行するか否かを切り替える。このような構成によれば、評価値と閾値とを比較するだけで、復元処理を実行するか否かを容易に切り替えることができる。

評価値を用いる上記の構成において、復元制御部は、復元処理を実行しない場合、車両に設けられる汚れ除去部を作動させて撮像部の光学系の汚れを物理的に除去することを試行した後、画像取得部により取得される新たな撮像画像に基づいて算出される評価値と閾値とを比較する。このような構成によれば、物理的に除去可能な汚れの除去を試行した上で、評価値を算出することができる。

また、評価値を用いる上記の構成において、復元制御部は、撮像画像に含まれる汚れ領域の位置および大きさに関する汚れデータと、路面領域の重心との間の距離に応じて変動する値を持つように撮像画像内の各領域に対して予め決められた重みに関する重みデータと、に基づいて、評価値を算出する。このような構成によれば、汚れデータと重みデータとに基づいて、適切な評価値を容易に算出することができる。

この場合において、復元制御部は、撮像画像の入力に応じて当該撮像画像内の各領域の汚れ領域に該当する可能性を出力するように機械学習により予めトレーニングされた汚れ検出用ニューラルネットワークを利用して、汚れデータを取得する。このような構成によれば、汚れ検出用ニューラルネットワークに撮像画像を入力するだけで、汚れデータを容易に取得することができる。

上述した周辺監視装置において、復元制御部は、撮像画像の入力に応じて当該撮像画像に対応した復元画像を出力するように機械学習により予めトレーニングされた復元用ニューラルネットワークを利用して、復元処理を実行する。このような構成によれば、復元用ニューラルネットワークに撮像画像を入力するだけで、容易に復元処理を実行することができる。

また、上述した周辺監視装置において、復元制御部は、車両に対するドライバの運転操作の少なくとも一部を代行する代行制御が実行されている場合に、復元処理を実行するか否かを制御する。このような構成によれば、代行制御の精度の低下を抑制することができる。より具体的に、代行制御の実行時には、適切でないシチュエーションで復元画像を利用すると、復元画像から対象物が適切に検出されない結果として、代行制御の精度が低下する可能性がある。これに対して、代行制御の実行時に復元処理を実行するか否かを適切に制御すれば、代行制御の精度の低下を抑制することができる。

また、上述した周辺監視装置において、復元制御部は、撮像画像の中央下部の領域に路面領域の重心が存在するものとみなして、撮像画像の中央下部の領域と、汚れ領域と、の位置関係に応じて、復元処理を実行するか否かを制御する。このような構成によれば、撮像画像の中央下部の領域に路面領域の重心が存在するものとみなして、復元処理を実行するか否かの制御の根拠となる位置関係を簡単に特定することができる。

また、上述した周辺監視装置において、撮像画像から路面領域を推定する路面推定部をさらに備え、復元制御部は、路面推定部により推定された路面領域と、汚れ領域と、の位置関係に応じて、復元処理を実行するか否かを制御する。このような構成によれば、路面推定部の推定結果を利用して、復元処理を実行するか否かの制御の根拠となる位置関係を適切に特定することができる。

本開示の他の一例としての周辺監視プログラムは、車両の周辺の路面を含む領域を撮像するように車両に設けられる撮像部により撮像される撮像画像を取得する画像取得ステップと、撮像画像が撮像部の光学系の汚れに起因する汚れ領域を含む場合に、撮像画像のうち路面が写った路面領域と、汚れ領域と、の位置関係に応じて、汚れ領域を除去することで撮像部の光学系の汚れが存在しない状態を疑似的に再現するように撮像画像から復元された復元画像を出力する復元処理を実行するか否かを制御する復元制御ステップと、をコンピュータに実行させるためのプログラムである。

上記のような周辺監視プログラムによれば、路面領域と汚れ領域との位置関係を考慮して復元処理を実行するか否かを制御することで、復元画像において対象物が写るべき領域が汚れ領域とともに除去される事態の発生を抑制することができる。これにより、適切なシチュエーションで復元画像を利用することができる。

図１は、実施形態にかかる車両の車室内の構成を示した例示的かつ模式的な図である。 図２は、実施形態にかかる車両を上方から見た外観を示した例示的かつ模式的な図である。 図３は、実施形態にかかる車両のシステム構成を示した例示的かつ模式的なブロック図である。 図４は、実施形態にかかる車載カメラによって取得されうる撮像画像の一例を示した例示的かつ模式的な図である。 図５は、実施形態にかかる車載カメラによって取得されうる撮像画像の図４とは異なる一例を示した例示的かつ模式的な図である。 図６は、実施形態にかかる周辺監視装置の構成を示した例示的かつ模式的なブロック図である。 図７は、実施形態において実行される撮像画像の復元を説明するための例示的かつ模式的な図である。 図８は、実施形態において実行される評価値の算出を説明するための例示的かつ模式的な図である。 図９は、実施形態にかかる周辺監視装置が実行する一連の処理を示した例示的かつ模式的なフローチャートである。

以下、本開示の実施形態および変形例を図面に基づいて説明する。以下に記載する実施形態および変形例の構成、ならびに当該構成によってもたらされる作用および効果は、あくまで一例であって、以下の記載内容に限られるものではない。

＜実施形態＞
まず、図１および図２を用いて、実施形態にかかる車両１の概略的な構成について説明する。図１は、実施形態にかかる車両１の車室２ａ内の構成を示した例示的かつ模式的な図であり、図２は、実施形態にかかる車両１を上方から見た外観を示した例示的かつ模式的な図である。

図１に示されるように、実施形態にかかる車両１は、ユーザとしての運転者を含む乗員が乗車する車室２ａを有している。車室２ａ内には、ユーザが座席２ｂから操作可能な状態で、制動部（制動操作部）３０１ａや、加速部（加速操作部）３０２ａ、操舵部３０３ａ、変速部（変速操作部）３０４ａなどが設けられている。

制動部３０１ａは、たとえば、運転者の足下に設けられたブレーキペダルであり、加速部３０２ａは、たとえば、運転者の足下に設けられたアクセルペダルである。また、操舵部３０３ａは、たとえば、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、変速部３０４ａは、たとえば、センターコンソールから突出したシフトレバーである。なお、操舵部３０３ａは、ハンドルであってもよい。

車室２ａ内には、各種の画像を出力可能な表示部８と、各種の音を出力可能な音声出力部９と、を有するモニタ装置１１が設けられている。モニタ装置１１は、たとえば、車室２ａ内のダッシュボードの幅方向（左右方向）の中央部に設けられる。なお、表示部８は、たとえばＬＣＤ（液晶ディスプレイ）やＯＥＬＤ（有機エレクトロルミネセンスディスプレイ）などで構成されている。

ここで、表示部８において画像が表示される領域としての表示画面には、操作入力部１０が設けられている。操作入力部１０は、たとえば、指やスタイラスなどの指示体が近接（接触を含む）した位置の座標を検出可能なタッチパネルとして構成されている。これにより、ユーザ（運転者）は、表示部８の表示画面に表示される画像を視認することができるとともに、操作入力部１０上で指示体を用いたタッチ（タップ）操作などを行うことで、各種の操作入力を実行することができる。

なお、実施形態では、操作入力部１０が、スイッチや、ダイヤル、ジョイスティック、押しボタンなどといった、各種の物理的なインターフェースであってもよい。また、実施形態では、車室２ａ内におけるモニタ装置１１の位置とは異なる位置に、他の音声出力装置が設けられていてもよい。この場合、音声出力部９および他の音声出力装置の両方から、各種の音情報を出力することができる。また、実施形態では、モニタ装置１１が、ナビゲーションシステムやオーディオシステムなどの各種システムに関する情報を表示可能に構成されていてもよい。

また、図１および図２に示されるように、実施形態にかかる車両１は、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有した四輪の自動車として構成されている。以下では、簡単化のため、前輪３Ｆおよび後輪３Ｒを、総称して車輪３と記載することがある。実施形態では、４つの車輪３の一部または全部の横滑り角が、操舵部３０３ａの操作などに応じて変化（転舵）する。

また、車両１には、複数（図１および図２に示される例では４つ）の車載カメラ１５ａ〜１５ｄが搭載されている。なお、車載カメラ１５ａ〜１５ｄは、「撮像部」の一例である。

車載カメラ１５ａ〜１５ｄは、車両１の周辺の路面を含む領域を撮像するように車両１に設けられている。より具体的に、車載カメラ１５ａは、車体２の後側の端部２ｅ（たとえばリヤドアの下方）に設けられ、車両１の後方の路面を含む領域を撮像する。また、車載カメラ１５ｂは、車体２の右側の端部２ｆのドアミラー２ｇに設けられ、車両１の右側方の路面を含む領域を撮像する。また、車載カメラ１５ｃは、車体２の前側の端部２ｃ（たとえばフロントバンパ）に設けられ、車両１の前方の路面を含む領域を撮像する。また、車載カメラ１５ｄは、車体２の左側の端部２ｄのドアミラー２ｇに設けられ、車両１の左側方の路面を含む領域を撮像する。以下では、簡単化のため、車載カメラ１５ａ〜１５ｄを総称して車載カメラ１５と記載することがある。

車載カメラ１５は、たとえば、ＣＣＤ（電荷結合素子）やＣＩＳ（ＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサ）などといった撮像素子を有したいわゆるデジタルカメラである。車載カメラ１５は、所定のフレームレートで車両１の周囲の撮像を行い、当該撮像によって得られた撮像画像の画像データを出力する。車載カメラ１５により得られる画像データは、フレーム画像として動画像を構成することが可能である。

なお、実施形態では、車両１の周囲の状況をセンシングするための構成として、上述した車載カメラ１５に加えて、車両１の周囲に存在する立体物までの距離を検出（算出、特定）する測距センサが設けられていてもよい。このような測距センサとしては、たとえば、音波を送信し、車両１の周囲に存在する物体から反射された音波を受信するソナーや、光などの電波を送信し、車両１の周囲に存在する物体から反射された電波を受信するレーザーレーダなどが用いられる。

次に、図３を用いて、実施形態にかかる車両１において各種の制御を実現するために設けられるシステム構成について説明する。なお、図３に示されるシステム構成は、あくまで一例であるので、様々に設定（変更）可能である。

図３は、実施形態にかかる車両１のシステム構成を示した例示的かつ模式的なブロック図である。

図３に示されるように、実施形態にかかる車両１は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、汚れ除去部３０７と、車載カメラ１５と、モニタ装置１１と、制御装置３１０と、車載ネットワーク３５０と、を有している。

制動システム３０１は、車両１の減速を制御する。制動システム３０１は、制動部３０１ａと、制動制御部３０１ｂと、制動部センサ３０１ｃと、を有している。

制動部３０１ａは、たとえば上述したブレーキペダルなどといった、車両１を減速させるための装置である。

制動制御部３０１ｂは、たとえば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などといったハードウェアプロセッサを有したマイクロコンピュータとして構成される。制動制御部３０１ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、制動部３０１ａを作動させることで、車両１の減速度合を制御する。

制動部センサ３０１ｃは、制動部３０１ａの状態を検出するための装置である。たとえば、制動部３０１ａがブレーキペダルとして構成される場合、制動部センサ３０１ｃは、制動部３０１ａの状態として、ブレーキペダルの位置または当該ブレーキペダルに作用している圧力を検出する。制動部センサ３０１ｃは、検出した制動部３０１ａの状態を車載ネットワーク３５０に出力する。

加速システム３０２は、車両１の加速を制御する。加速システム３０２は、加速部３０２ａと、加速制御部３０２ｂと、加速部センサ３０２ｃと、を有している。

加速部３０２ａは、たとえば上述したアクセルペダルなどといった、車両１を加速させるための装置である。

加速制御部３０２ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したマイクロコンピュータとして構成される。加速制御部３０２ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、加速部３０２ａを作動させることで、車両１の加速度合を制御する。

加速部センサ３０２ｃは、加速部３０２ａの状態を検出するための装置である。たとえば、加速部３０２ａがアクセルペダルとして構成される場合、加速部センサ３０２ｃは、アクセルペダルの位置または当該アクセルペダルに作用している圧力を検出する。加速部センサ３０２ｃは、検出した加速部３０２ａの状態を車載ネットワーク３５０に出力する。

操舵システム３０３は、車両１の進行方向を制御する。操舵システム３０３は、操舵部３０３ａと、操舵制御部３０３ｂと、操舵部センサ３０３ｃと、を有している。

操舵部３０３ａは、たとえば上述したステアリングホイールやハンドルなどといった、車両１の転舵輪を転舵させる装置である。

操舵制御部３０３ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したマイクロコンピュータとして構成される。操舵制御部３０３ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、操舵部３０３ａを作動させることで、車両１の進行方向を制御する。

操舵部センサ３０３ｃは、操舵部３０３ａの状態を検出するための装置である。たとえば、操舵部３０３ａがステアリングホイールとして構成される場合、操舵部センサ３０３ｃは、ステアリングホイールの位置または当該ステアリングホイールの回転角度を検出する。なお、操舵部３０３ａがハンドルとして構成される場合、操舵部センサ３０３ｃは、ハンドルの位置または当該ハンドルに作用している圧力を検出してもよい。操舵部センサ３０３ｃは、検出した操舵部３０３ａの状態を車載ネットワーク３５０に出力する。

変速システム３０４は、車両１の変速比を制御する。変速システム３０４は、変速部３０４ａと、変速制御部３０４ｂと、変速部センサ３０４ｃと、を有している。

変速部３０４ａは、たとえば上述したシフトレバーなどといった、車両１の変速比を変更するための装置である。

変速制御部３０４ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したコンピュータとして構成される。変速制御部３０４ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、変速部３０４ａを作動させることで、車両１の変速比を制御する。

変速部センサ３０４ｃは、変速部３０４ａの状態を検出するための装置である。たとえば、変速部３０４ａがシフトレバーとして構成される場合、変速部センサ３０４ｃは、シフトレバーの位置または当該シフトレバーに作用している圧力を検出する。変速部センサ３０４ｃは、検出した変速部３０４ａの状態を車載ネットワーク３５０に出力する。

障害物センサ３０５は、車両１の周囲に存在しうる障害物に関する情報を検出するための装置である。障害物センサ３０５は、たとえば上述したソナーやレーザーレーダなどといった測距センサを含んでいる。障害物センサ３０５は、検出した情報を車載ネットワーク３５０に出力する。

走行状態センサ３０６は、車両１の走行状態を検出するための装置である。走行状態センサ３０６は、たとえば、車両１の車輪速を検出する車輪速センサや、車両１の前後方向または左右方向の加速度を検出する加速度センサや、車両１の旋回速度（角速度）を検出するジャイロセンサなどを含んでいる。走行状態センサ３０６は、検出した走行状態を車載ネットワーク３５０に出力する。

汚れ除去部３０７は、車両１に搭載された複数の車載カメラ１５の光学系（たとえばレンズ）の汚れを物理的に除去するように作動するデバイスである。汚れ除去部３０７は、たとえば、車載カメラ１５の光学系に対する空気の吹き付けや振動の付与、洗浄液の供給などを制御装置３１０の制御のもとで実行することで、車載カメラ１５の光学系に付着した水滴やホコリ、泥などといった汚れを物理的に除去することが可能である。

制御装置３１０は、車両１に設けられる各種のシステムを統括的に制御する装置である。詳細は後述するが、実施形態にかかる制御装置３１０は、車両１に対するドライバの運転操作の少なくとも一部を代行する代行制御を実行する機能や、当該代行制御の実行時に車載カメラ１５により得られる撮像画像が車載カメラ１５の光学系の汚れに起因する汚れ領域を含む場合に、当該汚れ領域を除去することで車載カメラ１５の光学系の汚れが存在しない状態を疑似的に再現するように撮像画像から復元された復元画像を出力する復元処理を実行する機能などを有している。

より具体的に、制御装置３１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１０ａと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３１０ｂと、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３１０ｃと、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）３１０ｄと、表示制御部３１０ｅと、音声制御部３１０ｆと、を有したＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）として構成されている。

ＣＰＵ３１０ａは、制御装置３１０を統括的に制御するハードウェアプロセッサである。ＣＰＵ３１０ａは、ＲＯＭ３１０ｂなどに記憶された各種の制御プログラム（コンピュータプログラム）を読み出し、当該各種の制御プログラムに規定されたインストラクションにしたがって各種の機能を実現する。各種の制御プログラムには、上記の復元処理を伴う周辺監視処理を実現するための周辺監視プログラムが含まれる。

ＲＯＭ３１０ｂは、上述した各種の制御プログラムの実行に必要なパラメータなどを記憶する不揮発性の主記憶装置である。

ＲＡＭ３１０ｃは、ＣＰＵ３１０ａの作業領域を提供する揮発性の主記憶装置である。

ＳＳＤ３１０ｄは、書き換え可能な不揮発性の補助記憶装置である。なお、実施形態にかかる制御装置３１０においては、補助記憶装置として、ＳＳＤ３１０ｄに替えて（またはＳＳＤ３１０ｄに加えて）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）が設けられてもよい。

表示制御部３１０ｅは、制御装置３１０で実行されうる各種の処理のうち、主として、車載カメラ１５から得られた撮像画像に対する画像処理や、モニタ装置１１の表示部８に出力する画像データの生成などを司る。

音声制御部３１０ｆは、制御装置３１０で実行されうる各種の処理のうち、主として、モニタ装置１１の音声出力部９に出力する音声データの生成などを司る。

車載ネットワーク３５０は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、汚れ除去部３０７と、モニタ装置１１の操作入力部１０と、制御装置３１０と、を通信可能に接続する。

ところで、従来、車載カメラ１５により撮像された撮像画像を表示部８に出力することで、ドライバなどに車両１の周辺の状況を監視させるための技術が知られている。このような技術において、撮像画像が、車載カメラ１５の光学系に付着した水滴やホコリ、泥などといった汚れに起因する汚れ領域を含む場合、撮像画像をそのまま出力しても、車両１の周辺の状況の監視を適切に実現できないことがある。そこで、汚れ領域を除去することで車載カメラ１５の光学系の汚れが存在しない状態を疑似的に再現するように撮像画像から復元された復元画像を生成するための技術について検討されている。

しかしながら、上記のような技術では、たとえば監視すべき対象物が路面上に実際に存在する場合であっても、路面が写った路面領域と汚れ領域との位置関係によっては、対象物が写るべき領域と汚れ領域とが重なることで、復元画像において対象物が写るべき領域が汚れ領域とともに除去される事態が発生しうる。

たとえば、図４は、実施形態にかかる車載カメラ１５によって取得されうる撮像画像の一例を示した例示的かつ模式的な図であり、図５は、実施形態にかかる車載カメラ１５によって取得されうる撮像画像の図４とは異なる一例を示した例示的かつ模式的な図である。

図４に示される例において、撮像画像としての画像４００は、水滴に起因する汚れ領域４０１と、路面が写った路面領域４０２と、を含んでいる。また、図５に示される例においても、撮像画像としての画像５００は、水滴に起因する汚れ領域５０１と、路面が写った路面領域５０２と、を含んでいる。

図４に示される例では、汚れ領域４０１と路面領域４０２との重なりが小さい。より具体的に、図４に示される例では、監視すべき対象物が写り込む可能性が高い領域の一例である路面領域４０２の重心（中心）近傍の領域と汚れ領域４０１とが重なっていない。したがって、図４に示される画像４００を復元しても、監視すべき対象物が写る可能性が高い領域が汚れ領域４０１とともに除去される可能性が低い。このため、図４に示される画像４００のような撮像画像が得られているシチュエーションでは、車両１の周辺の状況の監視のために復元画像を利用しても不都合が発生しにくい。

一方、図５に示される例では、汚れ領域５０１と路面領域５０２との重なりが大きい。より具体的に、図５に示される例では、監視すべき対象物が写り込む可能性が高い領域の一例である路面領域５０２の重心（中心）近傍の領域と汚れ領域５０１とが大きく重なっている。したがって、図５に示される画像５００を復元すると、監視すべき対象物が写る可能性が高い領域が汚れ領域５０１とともに除去される可能性が高い。このため、図５に示される画像５００のような撮像画像が得られているシチュエーションでは、車両１の周辺の状況の監視のために復元画像を利用すると不都合が発生しやすい。

以上のことから、車両１の周辺の状況の監視のためにあらゆるシチュエーションで常に復元画像を利用することは適切ではない。特に、代行制御の実行時には、適切でないシチュエーションで復元画像を利用すると、復元画像から対象物が適切に検出されない結果として、代行制御の精度が低下する可能性がある。

そこで、実施形態は、次の図６に示されるような構成を有した周辺監視装置６００を制御装置３１０内に実現することで、適切なシチュエーションで（のみ）復元画像を利用することを実現する。

図６は、実施形態にかかる周辺監視装置６００の構成を示した例示的かつ模式的なブロック図である。図６に示される構成は、ソフトウェアとハードウェアとの協働によって制御装置３１０内に実現される。すなわち、図６に示される構成は、制御装置３１０のＣＰＵ３１０ａがＲＯＭ３１０ｂなどに記憶された所定の制御プログラム（周辺監視プログラム）を読み出して実行した結果として実現される。なお、実施形態では、図６に示される機能の少なくとも一部が専用のハードウェア（回路）によって実現されてもよい。

図６に示されるように、実施形態にかかる周辺監視装置６００は、代行制御部６１０と、画像取得部６２０と、復元制御部６３０と、を有している。

代行制御部６１０は、上述した制動システム３０１、加速システム３０２、操舵システム３０３、および変速システム３０４のうち少なくとも一部を制御することで代行制御を実行する。なお、図６に示される例では、代行制御部６１０が周辺監視装置６００内に実現されているが、実施形態では、代行制御部６１０に相当する機能が周辺監視装置６００とは別個に実現されてもよい。

画像取得部６２０は、車載カメラ１５により撮像される撮像画像を取得する。

復元制御部６３０は、撮像画像が車載カメラ１５の光学系の汚れに起因する汚れ領域を含む場合に、撮像画像のうち路面が写った路面領域と、汚れ領域と、の位置関係に応じて、汚れ領域を除去することで車載カメラ１５の光学系の汚れが存在しない状態を疑似的に再現するように撮像画像から復元された復元画像を出力する復元処理を実行するか否かを制御する機能を有している。

より詳細に、復元制御部６３０は、上記のような機能を実現するための構成として、復元実行部６３１と、汚れ検出部６３２と、評価値算出部６３３と、復元判定部６３４と、汚れ除去制御部６３５と、画像出力制御部６３６と、を有している。

復元実行部６３１は、撮像画像から復元画像を生成する。より具体的に、復元実行部６３１は、次の図７に示されるように、撮像画像の入力に応じて復元画像を出力するように機械学習により予めトレーニングされた復元用ニューラルネットワーク６３１ａを用いて、撮像画像から復元画像を生成する。

図７は、実施形態において実行される撮像画像の復元を説明するための例示的かつ模式的な図である。図７に示される例においては、復元実行部６３１が、水滴に起因する汚れ領域７１１を含む撮像画像７１０を復元用ニューラルネットワーク６３１ａに入力することで、汚れ領域７１１が除去された撮像画像７１０としての復元画像７２０を取得している。

上記のような復元用ニューラルネットワーク６３１ａは、機械学習を利用した任意の方法で取得することができる。たとえば、上記のような復元用ニューラルネットワーク６３１ａは、汚れ領域を全く含まない撮像画像に対応した第１のサンプル画像の特徴量と、当該第１のサンプル画像に汚れ領域を人工的に付加した第２のサンプル画像の特徴量と、の対応関係を任意の機械学習アルゴリズムでディープニューラルネットワークに学習させることで取得することができる。

図６に戻り、汚れ検出部６３２は、撮像画像内の各領域（大きさは１ピクセルであってもよいし複数ピクセルであってもよい）の汚れ領域に該当する可能性を検出することで、撮像画像が汚れ領域を含むか否かを判定する。詳細は後述するが、実施形態において、汚れ検出部６３２は、撮像画像の入力に応じて当該撮像画像内の各領域の汚れ領域に該当する可能性をたとえば０〜１の数値として出力するように機械学習により予めトレーニングされた汚れ検出用ニューラルネットワーク６３２ａを用いて、撮像画像が汚れ領域を含むか否か、より具体的には撮像画像に含まれる汚れ領域の位置および大きさ（面積）に関する汚れデータを検出する。

ここで、撮像画像が汚れ領域を含まないと判定された場合は、撮像画像の復元を実行する余地は無い。一方、撮像画像が汚れ領域を含むと判定された場合は、撮像画像の復元を実行する余地がある。ただし、前述したように、撮像画像が汚れ領域を含むと判定された場合であっても、撮像画像のうち路面が写った路面領域と、汚れ領域と、の位置関係によっては、撮像画像の復元を実行するのが不適切な場合がある。

特に、前述したように、監視すべき対象物が写り込む可能性が高い領域の一例である路面領域の重心（中心）近傍の領域と汚れ領域とが重なっている場合は、撮像画像の復元を実行するのは不適切である。したがって、実施形態において、復元制御部６３０は、以下に説明するような構成により、路面領域と汚れ領域との位置関係を考慮して、撮像画像の復元を実行すべきか否かを判定し、撮像画像において汚れ領域が路面領域の重心に近い位置に存在するほど、復元処理の実行を抑制する。

より具体的に、実施形態において、評価値算出部６３３は、路面領域の重心との間の距離に応じて変動する値を持つように撮像画像内の各領域に対して予め決められた重みに関する重みデータ６３３ａを用いて、撮像画像の復元を実行すべきか否かを判定する根拠となる評価値を算出する。評価値の算出は、汚れ検出部６３２により検出される汚れデータと、重みデータ６３３ａと、に基づいて、次の図８に示されるような形で実行される。

図８は、実施形態において実行される評価値の算出を説明するための例示的かつ模式的な図である。

図８に示されるように、実施形態では、評価値の算出にあたり、まず、汚れ検出部６３２は、撮像画像８１０を汚れ検出用ニューラルネットワーク６３２ａに入力することで、撮像画像８１０内の各領域の汚れ領域に該当する可能性を表すたとえば０〜１の数値を画素値として有する汚れ検出画像８２０を取得する。図８に示される例では、一例として、汚れ領域に該当する可能性が高い領域ほど、汚れ検出画像８２０内で明るく表示されている。

そして、汚れ検出部６３２は、汚れ検出画像８２０に対して閾値処理および輪郭追跡処理を施すことで、汚れ領域の位置および大きさ（面積）に関する汚れデータを取得するための処理画像を取得する。

たとえば、図８に示される例においては、汚れ検出部６３２が、処理画像として、第１の処理画像８３１と、第２の処理画像８３２と、の２つの処理画像を取得している。第１の処理画像８３１は、汚れ検出画像８２０内の各領域に対して固定の閾値を用いた閾値処理を施した上で輪郭追跡処理を施すことで得られる処理画像であり、第２の処理画像８３２は、汚れ検出画像８２０内の各領域に対して周囲の領域の情報を考慮して決定される動的な閾値を用いた閾値処理を施した上で輪郭追跡処理を施すことで得られる処理画像である。

上記の閾値処理および輪郭追跡処理によれば、第１の処理画像８３１および第２の処理画像８３２のそれぞれにおいて汚れ領域に該当する可能性が閾値以上の領域を輪郭ごとに求めることができる。このように求められた領域は、位置および大きさ（面積）に関する汚れデータを取得する対象の汚れ領域とみなすことができる。したがって、実施形態において、汚れ検出部６３２は、上記の閾値処理および輪郭追跡処理に基づいて求められた領域に基づいて、第１の処理画像８３１および第２の処理画像８３２のそれぞれから汚れデータを取得する。

なお、図８に示される例では、第１の処理画像８３１および第２の処理画像８３２が、上記の閾値処理および輪郭追跡処理に基づいて求められる領域ごとに色分けされているが、これはあくまで分かりやすさのためである。実施形態では、第１の処理画像８３１および第２の処理画像８３２の領域ごとの色分けは必ずしも必要ではない。

また、図８に示される例では、２つの処理画像の両方から汚れデータが取得されているが、実施形態では、少なくとも１つの汚れデータを取得することができれば、必ずしも２種類の処理画像のうちの両方から汚れデータを取得する必要は無い。たとえば、実施形態では、２つの処理画像のうち一方のみから汚れデータを取得する構成が採用されてもよいし、２つの処理画像のうち両方から取得される汚れデータに平均化などの計算処理を行うことで１つの汚れデータを取得する構成が採用されてもよい。

評価値算出部６３３は、第１の処理画像８３１および第２の処理画像８３２（のうち少なくとも一方）から取得される汚れデータと、重みデータ６３３ａと、に基づいて、撮像画像の復元を実行すべきか否かを判定する根拠となる評価値を算出する。図８に示されるように、重みデータ６３３ａは、たとえば、領域ごとに予め決められた画素値を有する重み画像８４０として構成される。

ここで、前述した内容の繰り返しになるが、監視すべき対象物が写り込む可能性が高い領域の一例である路面領域の重心（中心）近傍の領域と汚れ領域とが重なっている場合、撮像画像の復元を実行するのが特に不適切である。したがって、図８に示される例において、重み画像８４０は、撮像画像の復元を実行すべきか否かを判定する根拠となる評価値の算出の際に汚れ領域と路面領域の重心との近接度合が考慮されるように、路面領域の重心近傍の領域に対応した中央下部の領域との間の距離に応じて連続的に変動する画素値を有している。

なお、実施形態において、重み画像８４０の画素値の変動は、必ずしも連続的でなくてもよい。たとえば、重み画像８４０の画素値は、路面領域の重心近傍の領域に対応した中央下部の領域との間の距離が所定値以下の領域においては連続的に変化し、路面領域の重心近傍の領域に対応した中央下部の領域との間の距離が所定値よりも大きい領域においては一定となるように設定されうる。

このようにして、実施形態にかかる評価値算出部６３３は、路面領域と汚れ領域との位置関係、より具体的には路面領域の重心と汚れ領域との近接度合を考慮して、復元画像の復元を実行するのに適切な場合と不適切な場合とで異なる値となるような評価値を算出する。

なお、図８に示される例では、評価値算出部６３３が単純な乗算器として図示されているが、実施形態において、評価値算出部６３３は、単純な乗算器に限られるものではない。すなわち、実施形態において、評価値算出部６３３は、乗算器を含む複数の計算器の任意の組み合わせとして実現されてもよい。

図６に戻り、復元判定部６３４は、評価値算出部６３３により算出された評価値に基づいて、撮像画像の復元を実行すべきか否かを判定する。より具体的に、復元判定部６３４は、評価値と所定の閾値との比較結果に基づいて、撮像画像の復元を実行すべきか否かを判定する。

特に、前述したように、代行制御部６１０による代行制御の実行時には、適切なシチュエーションで復元画像を利用することが求められる。したがって、実施形態において、復元判定部６３４は、代行制御の実行時に、撮像画像の復元を実行すべきか否かを判定する。そして、実施形態において、撮像画像の復元を実行すべきであると復元判定部６３４により判定された場合、復元実行部６３１による撮像画像の復元が実行されるとともに代行制御部６１０による代行制御が継続し、撮像画像の復元を実行すべきでないと復元判定部６３４により判定された場合、復元実行部６３１による撮像画像の復元が実行されることなく代行制御部６１０による代行制御が終了する。

ところで、車載カメラ１５の光学系の汚れ（のうち少なくとも一部）は、汚れ除去部３０７によって物理的に除去することができる可能性がある。したがって、上記の評価値の算出は、車載カメラ１５の光学系の汚れを物理的に除去することを試行した後で実行した方が、検出される汚れ領域が縮小されて計算の負担が小さくなりやすい。

そこで、実施形態において、汚れ除去制御部６３５は、車載カメラ１５の光学系の汚れが存在すると汚れ検出部６３２により判定された場合、汚れ除去部３０７を作動させて車載カメラ１５の光学系の汚れを物理的に除去することを試行する。そしてその後、評価値算出部６３３は、画像取得部６２０により取得される新たな撮像画像に基づいて評価値を算出し、復元判定部６３４は、当該評価値に基づいて、撮像画像の復元を実行すべきか否かを判定する。

画像出力制御部６３６は、表示部８への出力内容を制御する。より具体的に、画像出力制御部６３６は、撮像画像に汚れ領域が存在しないと汚れ検出部６３２により判定された場合、撮像画像をそのまま表示部８に出力する。また、画像出力制御部６３６は、撮像画像に汚れ領域が存在すると汚れ検出部６３２により判定された場合であって、撮像画像の復元を実行すべきと復元判定部６３４により判定された場合に、復元実行部６３１により生成される復元画像を表示部８に出力する。なお、画像出力制御部６３６は、撮像画像の復元を実行すべきでないと復元判定部６３４により判定された場合には、たとえば代行制御部６１０による代行制御が終了した旨の通知を表示部８（および／または音声出力部９）に出力し、車両１のドライバに手動の運転を促す。

以上の構成に基づき、実施形態にかかる周辺監視装置６００は、代行制御部６１０による代行制御の実行中に復元画像を用いた車両１の周辺の状況の監視を開始する条件としての復元開始条件が成立した場合、次の図９に示されるような流れに沿って処理を実行する。なお、復元開始条件とは、たとえば、車両１のドライバが撮像画像の復元を要求するための所定の操作を実行することである。

図９は、実施形態にかかる周辺監視装置６００が実行する一連の処理を示した例示的かつ模式的なフローチャートである。図９に示される一連の処理は、代行制御部６１０による代行制御の実行中に撮像画像の復元を開始する条件としての復元開始条件が成立した場合に開始する。

図９に示されるように、実施形態では、まず、Ｓ９０１において、周辺監視装置６００の画像取得部６２０は、車載カメラ１５により撮像された撮像画像を取得する。

そして、Ｓ９０２において、周辺監視装置６００の汚れ検出部６３２は、Ｓ９０１で取得された撮像画像に基づいて、図８を用いて説明したような手順で、汚れ領域の位置および大きさ（面積）に関する汚れデータを取得する。

そして、Ｓ９０３において、周辺監視装置６００の汚れ検出部６３２は、Ｓ９０２で取得された汚れデータに基づいて、撮像画像に汚れ領域が存在するか否かを判定する。

Ｓ９０３において、汚れ領域が存在しないと判定された場合、Ｓ９０４に処理が進む。そして、Ｓ９０４において、周辺監視装置６００の画像出力制御部６３６は、撮像画像をそのまま表示部８に出力する。そして、後述するＳ９１２に処理が進む。

一方、Ｓ９０３において、汚れ領域が存在しないと判定された場合、Ｓ９０５に処理が進む。そして、Ｓ９０５において、周辺監視装置６００の汚れ除去制御部６３５は、汚れ除去部３０７を作動させて車載カメラ１５の光学系の汚れを物理的に除去することを試行する。

そして、Ｓ９０６において、周辺監視装置６００の画像取得部６２０は、車載カメラ１５により撮像された撮像画像を再度取得する。

そして、Ｓ９０７において、周辺監視装置６００の汚れ検出部６３２は、Ｓ９０６で取得された撮像画像に基づいて、汚れデータを再度取得する。

そして、Ｓ９０８において、周辺監視装置６００の評価値算出部６３３は、Ｓ９０７で取得された汚れデータと、予め決められた重みデータ６３３ａと、に基づいて、復元処理を実行すべきか否かを判定する根拠となる評価値を算出する。

そして、Ｓ９０９において、復元判定部６３４は、Ｓ９０８で算出された評価値が閾値より小さいか否かを判定する。ここでは、一例として、評価値が閾値よりも小さい場合は復元処理を実行すべきと判定され、評価値が閾値以上の場合は復元処理を実行すべきでないと判定される例について説明する。

Ｓ９０９において、評価値が閾値よりも小さいと判定された場合、Ｓ９１０に処理が進む。そして、Ｓ９１０において、周辺監視装置６００の復元実行部６３１は、Ｓ９０６で取得された撮像画像に基づいて復元画像を生成する。

そして、Ｓ９１１において、周辺監視装置６００の画像出力制御部６３６は、Ｓ９０９で生成された復元画像を表示部８に出力する。

そして、Ｓ９１２において、周辺監視装置６００（たとえば復元制御部６３０が有するいずれかの構成）は、復元画像を用いた車両１の周辺の状況の監視を終了する条件としての復元終了条件が成立したか否かを判定する。なお、復元終了条件とは、たとえば、車両１のドライバが撮像画像の復元の終了を要求するための所定の操作を実行することである。

Ｓ９１２において、復元終了条件が成立していないと判定された場合、復元画像を用いた車両１の周辺の状況の監視を引き続き継続する必要がある。したがって、この場合、Ｓ９０１に処理が戻る。

一方、Ｓ９１２において、復元終了条件が成立したと判定された場合、復元画像を用いた車両１の周辺の状況の監視を終了する必要がある。したがって、この場合、処理が終了する。

なお、Ｓ９０９において、評価値が閾値以上であると判定された場合、Ｓ９１３に処理が進む。この場合、復元画像を用いた車両１の周辺の状況の監視を継続するのは適切でなく、代行制御による車両１の自動的／半自動的な運転を、ドライバによる車両１の手動の運転に切り替える必要がある。したがって、Ｓ９１３において、周辺監視装置６００の代行制御部６１０は、代行制御を終了する。このとき、画像出力制御部６３６は、代行制御が終了した旨の通知を表示部８（および／または音声出力部９）に出力し、車両１のドライバに手動の運転を促しうる。そして、処理が終了する。

以上説明したように、実施形態にかかる周辺監視装置６００は、画像取得部６２０と、復元制御部６３０と、を有している。画像取得部６２０は、車両１の周辺の路面を含む領域を撮像するように車両１に設けられる車載カメラ１５により撮像される撮像画像を取得する。復元制御部６３０は、撮像画像が車載カメラ１５の光学系の汚れに起因する汚れ領域を含む場合に、撮像画像のうち路面が写った路面領域と、汚れ領域と、の位置関係に応じて、汚れ領域を除去することで車載カメラ１５の光学系の汚れが存在しない状態を疑似的に再現するように撮像画像から復元された復元画像を出力する復元処理を実行するか否かを制御する。

実施形態にかかる周辺監視装置６００によれば、路面領域と汚れ領域との位置関係を考慮して復元処理を実行するか否かを制御することで、復元画像において対象物が写るべき領域が汚れ領域とともに除去される事態の発生を抑制し、適切なシチュエーションで（のみ）復元画像を利用することができる。

ここで、実施形態において、復元制御部６３０は、撮像画像において汚れ領域が路面領域の重心に近い位置に存在するほど、復元処理の実行を抑制する。このような構成によれば、監視すべき対象物が写り込む可能性が高い路面領域の重心と汚れ領域とが離れているほど、復元処理の実行が抑制されるので、復元画像において対象物が写るべき領域が汚れ領域とともに除去される事態の発生をより抑制することができる。

また、実施形態において、復元制御部６３０は、撮像画像における路面領域と汚れ領域の重心との近接度合に応じて算出される評価値と閾値との比較結果に応じて、復元処理を実行するか否かを切り替える。このような構成によれば、評価値と閾値とを比較するだけで、復元処理を実行するか否かを容易に切り替えることができる。

また、実施形態において、復元制御部６３０は、復元処理を実行しない場合、車両１に設けられる汚れ除去部３０７を作動させて車載カメラ１５の光学系の汚れを物理的に除去することを試行した後、画像取得部６２０により取得される新たな撮像画像に基づいて算出される評価値と閾値とを比較する。このような構成によれば、物理的に除去可能な汚れの除去を試行した上で、評価値を算出することができる。

また、実施形態において、復元制御部６３０は、撮像画像に含まれる汚れ領域の位置および大きさに関する汚れデータと、路面領域の重心との間の距離に応じて変動する値を持つように撮像画像内の各領域に対して予め決められた重みに関する重みデータと、に基づいて、評価値を算出する。このような構成によれば、汚れデータと重みデータとに基づいて、適切な評価値を容易に算出することができる。

また、実施形態において、復元制御部６３０は、撮像画像の入力に応じて当該撮像画像内の各領域の汚れ領域に該当する可能性を出力するように機械学習により予めトレーニングされた汚れ検出用ニューラルネットワーク６３２ａを利用して、汚れデータを取得する。このような構成によれば、汚れ検出用ニューラルネットワーク６３２ａに撮像画像を入力するだけで、汚れデータを容易に取得することができる。

また、実施形態において、復元制御部６３０は、撮像画像の入力に応じて当該撮像画像に対応した復元画像を出力するように機械学習により予めトレーニングされた復元用ニューラルネットワーク６３１ａを利用して、復元処理を実行する。このような構成によれば、復元用ニューラルネットワーク６３１ａに撮像画像を入力するだけで、容易に復元処理を実行することができる。

また、実施形態において、復元制御部６３０は、車両１に対するドライバの運転操作の少なくとも一部を代行する代行制御が実行されている場合に、復元処理を実行するか否かを制御する。このような構成によれば、代行制御の精度の低下を抑制することができる。より具体的に、代行制御の実行時には、適切でないシチュエーションで復元画像を利用すると、復元画像から対象物が適切に検出されない結果として、代行制御の精度が低下する可能性がある。これに対して、代行制御の実行時に復元処理を実行するか否かを適切に制御すれば、代行制御の精度の低下を抑制することができる。

なお、実施形態にかかる制御装置３１０において実行される周辺監視プログラムは、ＲＯＭ３１０ｂやＳＳＤ３１０ｄなどの記憶装置に予め組み込まれた状態で提供されてもよいし、フレキシブルディスク（ＦＤ）のような各種の磁気ディスクやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）のような各種の光ディスクなどといった、コンピュータで読み取り可能な記録媒体にインストール可能な形式または実行可能な形式で記録されたコンピュータプログラムプロダクトとして提供されてもよい。

また、実施形態にかかる制御装置３１０において実行される周辺監視プログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、実施形態にかかる制御装置３１０において実行される周辺監視プログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、当該コンピュータからネットワーク経由でダウンロードする、といった形で提供されてもよい。

＜変形例＞
上述した実施形態では、撮像画像の中央下部の領域に路面領域の重心が存在することを前提とする構成について主に例示されている。この構成において、重みデータは、常に撮像画像の中央下部の領域を基準として固定的に設定され、復元制御部は、撮像画像の中央下部の領域に路面領域の重心が存在するものとみなして、撮像画像の中央下部の領域と、汚れ領域と、の位置関係に応じて、復元処理を実行するか否かを制御する。しかしながら、実施形態において、復元制御部は、画像処理などによって撮像画像から路面領域を推定する路面推定部としての機能を有し、当該路面推定部により推定された路面領域と、汚れ領域と、の位置関係に応じて、復元処理を実行するか否かを制御するようにも構成されうる。この構成において、重みデータは、路面推定部の推定結果に応じて変動しうる路面領域の重心を基準として動的に設定される。

また、上述した実施形態では、予め実行された機械学習の結果を利用して撮像画像の復元および汚れデータの算出を実行する構成が例示されている。しかしながら、撮像画像の復元および汚れデータの算出は、ルールベースで実行されてもよい。つまり、撮像画像の復元および汚れデータの算出は、多数のデータに基づいて人為的に決定された一定のルールに基づいて実行されてもよい。

また、上述した実施形態では、予め実行された機械学習の結果を利用して算出された汚れデータに予め決められた重みデータに基づく所定の計算を実行することで評価値を算出する構成が例示されている。しかしながら、評価値の算出は、撮像画像の入力に応じて当該撮像画像に対応した評価値を出力するように機械学習により予めトレーニングされたニューラルネットワークを利用して実行されてもよい。

以上、本開示の実施形態および変形例を説明したが、上述した実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態および変形例は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態および変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 車両
１５、１５ａ〜１５ｄ 車載カメラ（撮像部）
３０７ 汚れ除去部
６００ 周辺監視装置
６２０ 画像取得部
６３０ 復元制御部
６３１ａ 復元用ニューラルネットワーク
６３２ａ 汚れ検出用ニューラルネットワーク

Claims (11)

1. 車両の周辺の路面を含む領域を撮像するように前記車両に設けられる撮像部により撮像される撮像画像を取得する画像取得部と、
   前記撮像画像が前記撮像部の光学系の汚れに起因する汚れ領域を含む場合に、前記撮像画像のうち前記路面が写った路面領域と、前記汚れ領域と、の位置関係に応じて、前記汚れ領域を除去することで前記撮像部の光学系の汚れが存在しない状態を疑似的に再現するように前記撮像画像から復元された復元画像を出力する復元処理を実行するか否かを制御する復元制御部と、
   を備える、周辺監視装置。
2. 前記復元制御部は、前記撮像画像において前記汚れ領域が前記路面領域の重心に近い位置に存在するほど、前記復元処理の実行を抑制する、
   請求項１に記載の周辺監視装置。
3. 前記復元制御部は、前記撮像画像における前記路面領域と前記汚れ領域の重心との近接度合に応じて算出される評価値と閾値との比較結果に応じて、前記復元処理を実行するか否かを切り替える、
   請求項２に記載の周辺監視装置。
4. 前記復元制御部は、前記復元処理を実行しない場合、前記車両に設けられる汚れ除去部を作動させて前記撮像部の前記光学系の汚れを物理的に除去することを試行した後、前記画像取得部により取得される新たな撮像画像に基づいて算出される前記評価値と前記閾値とを比較する、
   請求項３に記載の周辺監視装置。
5. 前記復元制御部は、前記撮像画像に含まれる前記汚れ領域の位置および大きさに関する汚れデータと、前記路面領域の重心との間の距離に応じて変動する値を持つように前記撮像画像内の各領域に対して予め決められた重みに関する重みデータと、に基づいて、前記評価値を算出する、
   請求項３または４に記載の周辺監視装置。
6. 前記復元制御部は、前記撮像画像の入力に応じて当該撮像画像内の各領域の前記汚れ領域に該当する可能性を出力するように機械学習により予めトレーニングされた汚れ検出用ニューラルネットワークを利用して、前記汚れデータを取得する、
   請求項５に記載の周辺監視装置。
7. 前記復元制御部は、前記撮像画像の入力に応じて当該撮像画像に対応した前記復元画像を出力するように機械学習により予めトレーニングされた復元用ニューラルネットワークを利用して、前記復元処理を実行する、
   請求項１〜６のうちいずれか１項に記載の周辺監視装置。
8. 前記復元制御部は、前記車両に対するドライバの運転操作の少なくとも一部を代行する代行制御が実行されている場合に、前記復元処理を実行するか否かを制御する、
   請求項１〜７のうちいずれか１項に記載の周辺監視装置。
9. 前記復元制御部は、前記撮像画像の中央下部の領域に前記路面領域の重心が存在するものとみなして、前記撮像画像の中央下部の領域と、前記汚れ領域と、の位置関係に応じて、前記復元処理を実行するか否かを制御する、
   請求項１〜８のうちいずれか１項に記載の周辺監視装置。
10. 前記撮像画像から前記路面領域を推定する路面推定部をさらに備え、
    前記復元制御部は、前記路面推定部により推定された前記路面領域と、前記汚れ領域と、の位置関係に応じて、前記復元処理を実行するか否かを制御する、
    請求項１〜８のうちいずれか１項に記載の周辺監視装置。
11. 車両の周辺の路面を含む領域を撮像するように前記車両に設けられる撮像部により撮像される撮像画像を取得する画像取得ステップと、
    前記撮像画像が前記撮像部の光学系の汚れに起因する汚れ領域を含む場合に、前記撮像画像のうち前記路面が写った路面領域と、前記汚れ領域と、の位置関係に応じて、前記汚れ領域を除去することで前記撮像部の光学系の汚れが存在しない状態を疑似的に再現するように前記撮像画像から復元された復元画像を出力する復元処理を実行するか否かを制御する復元制御ステップと、
    をコンピュータに実行させるための、周辺監視プログラム。

Images