JP7259660B2 - イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム - Google Patents

Description

この明細書による開示は、イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラムに関する。

特許文献１には、測距センサが開示されている。この測距センサは、光照射に応じた反射光を受光素子が感知することにより距離情報を含む反射光画像を生成可能である。特許文献２には、カメラが開示されている。カメラは、外部からの入射光をカメラ素子が検出することにより高解像のカメラ画像を生成可能である。

特開２０１９－９５４５２号公報 特開２０１８－６９８７８号公報

反射光画像及びカメラ画像は、アプリケーションにより処理され得る。しかしながら、反射光画像とカメラ画像とでは、検出タイミングにずれΔｔが生じ得る。ずれΔｔの間に、反射光画像及びカメラ画像に映り込む物体が移動した場合には、反射光画像に映り込む物体とカメラ画像に映り込む物体とを精度良く関連付けて処理することが困難となる。
故に、アプリケーションが反射光画像及びカメラ画像の両方を用いたとしても、これら画像の情報を最大限活用できないため、処理精度を十分に高めることができなかった。

この明細書の開示による目的のひとつは、アプリケーションの処理精度を高めるイメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラムを提供することにある。

ここに開示された態様のひとつは、光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより反射光画像と同座標系となっている背景光画像とを生成する測距センサ（１０）に対して通信可能に接続されると共に、外部からの入射光をカメラ素子（２２ａ）が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を生成するカメラ（２０）に対して通信可能に接続されたイメージレジストレーション装置であって、
反射光画像、背景光画像及びカメラ画像を取得する画像取得部（４１）と、
背景光画像の特徴点（ＦＰａ）とカメラ画像の特徴点（ＦＰｂ）との対応関係を特定することにより、背景光画像と同座標系の反射光画像と、カメラ画像とのイメージレジストレーションを実施する画像処理部（４２）と、を備え、
画像処理部は、
背景光画像の特徴点とカメラ画像の特徴点とをそれぞれ検出し、
測距センサとカメラとの間の相対位置に基づく画像上の対応点が映り込む位置の相違を考慮して、検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定し、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させる。
また、開示された態様の他のひとつは、光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより反射光画像と同座標系となっている背景光画像とを生成する測距センサ（１０）に対して通信可能に接続されると共に、外部からの入射光をカメラ素子（２２ａ）が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を生成するカメラ（２０）に対して通信可能に接続されたイメージレジストレーション装置であって、
反射光画像、背景光画像及びカメラ画像を取得する画像取得部（４１）と、
背景光画像の特徴点（ＦＰａ）とカメラ画像の特徴点（ＦＰｂ）との対応関係を特定することにより、背景光画像と同座標系の反射光画像と、カメラ画像とのイメージレジストレーションを実施する画像処理部（４２）と、を備え、
画像処理部は、
背景光画像の特徴点とカメラ画像の特徴点とをそれぞれ検出し、
検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定し、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させ、
背景光画像の特徴点とカメラ画像の特徴点との対応関係の特定において、各特徴点を含む周辺領域から得られる特徴量であって、スケールに対して不変性が高い特徴量を用いる。
また、開示された態様の他のひとつは、光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより反射光画像と同座標系となっている背景光画像とを生成する測距センサ（１０）に対して通信可能に接続されると共に、外部からの入射光をカメラ素子（２２ａ）が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を生成するカメラ（２０）に対して通信可能に接続されたイメージレジストレーション装置であって、
反射光画像、背景光画像及びカメラ画像を取得する画像取得部（４１）と、
背景光画像の特徴点（ＦＰａ）とカメラ画像の特徴点（ＦＰｂ）との対応関係を特定することにより、背景光画像と同座標系の反射光画像と、カメラ画像とのイメージレジストレーションを実施する画像処理部（４２）と、を備え、
画像処理部は、
スケールに影響するパラメータを有する特徴点検出器を用いて、背景光画像の特徴点とカメラ画像の特徴点とをそれぞれ検出し、
背景光画像の解像度とカメラ画像の解像度との比を把握し、比に基づいて、背景光画像の特徴点の検出に使用するパラメータと、カメラ画像の特徴点の検出に使用するパラメータとを相違させており、
検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定し、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させる。

このような態様によると、取得した反射光画像とカメラ画像とのイメージレジストレーションが、反射光画像と同座標系の背景光画像を用いて実施される。すなわち、反射光画像よりも性質がカメラ画像に近い背景光画像の特徴点を、カメラ画像の特徴点との比較では、特徴点同士の対応関係の特定が容易となる。こうした対応付けにより、反射光画像の座標系とカメラ画像の座標系とを精度良く合わせ込むことができるので、反射光画像及びカメラ画像の両方を用いるアプリケーションの処理精度を格段に高めることができる。

また、開示された態様の他のひとつは、アプリケーションに処理させる画像を生成する画像生成システムであって、
光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより、反射光画像と同座標系となっている背景光画像とを生成する測距センサ（１０）と、
外部からの入射光をカメラ素子（２２ａ）が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を生成するカメラ（２０）と、
背景光画像の特徴点（ＦＰａ）とカメラ画像の特徴点（ＦＰｂ）との対応関係を特定することにより、背景光画像と同座標系の反射光画像と、カメラ画像とのイメージレジストレーションを実施して、距離情報とカメラ画像の情報とが統合された複合画像を生成する画像処理部（４２）と、を備え、
画像処理部は、
背景光画像の特徴点とカメラ画像の特徴点とをそれぞれ検出し、
測距センサとカメラとの間の相対位置に基づく画像上の対応点が映り込む位置の相違を考慮して、検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定し、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させる。
また、開示された態様の他のひとつは、アプリケーションに処理させる画像を生成する画像生成システムであって、
光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより、反射光画像と同座標系となっている背景光画像とを生成する測距センサ（１０）と、
外部からの入射光をカメラ素子（２２ａ）が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を生成するカメラ（２０）と、
背景光画像の特徴点（ＦＰａ）とカメラ画像の特徴点（ＦＰｂ）との対応関係を特定することにより、背景光画像と同座標系の反射光画像と、カメラ画像とのイメージレジストレーションを実施して、距離情報とカメラ画像の情報とが統合された複合画像を生成する画像処理部（４２）と、を備え、
画像処理部は、
背景光画像の特徴点とカメラ画像の特徴点とをそれぞれ検出し、
検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定し、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させ、
背景光画像の特徴点とカメラ画像の特徴点との対応関係の特定において、各特徴点を含む周辺領域から得られる特徴量であって、スケールに対して不変性が高い特徴量を用いる。
また、開示された態様の他のひとつは、アプリケーションに処理させる画像を生成する画像生成システムであって、
光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより、反射光画像と同座標系となっている背景光画像とを生成する測距センサ（１０）と、
外部からの入射光をカメラ素子（２２ａ）が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を生成するカメラ（２０）と、
背景光画像の特徴点（ＦＰａ）とカメラ画像の特徴点（ＦＰｂ）との対応関係を特定することにより、背景光画像と同座標系の反射光画像と、カメラ画像とのイメージレジストレーションを実施して、距離情報とカメラ画像の情報とが統合された複合画像を生成する画像処理部（４２）と、を備え、
画像処理部は、
スケールに影響するパラメータを有する特徴点検出器を用いて、背景光画像の特徴点とカメラ画像の特徴点とをそれぞれ検出し、
背景光画像の解像度とカメラ画像の解像度との比を把握し、比に基づいて、背景光画像の特徴点の検出に使用するパラメータと、カメラ画像の特徴点の検出に使用するパラメータとを相違させており、
検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定し、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させる。

このような態様によると、反射光画像とカメラ画像とのイメージレジストレーションが、反射光画像と同座標系の背景光画像を用いて実施される。すなわち、反射光画像よりも性質がカメラ画像に近い背景光画像の特徴点と、カメラ画像の特徴点との比較では、特徴点同士の対応関係の特定が容易となる。こうした対応付けにより、反射光画像の座標系とカメラ画像の座標系とを精度良く合わせ込むことができる。そして、測距センサ及びカメラの異なる画像生成元からの情報である、距離情報とカメラ画像の情報とは、アプリケーションにて処理し易い複合画像の形態にて提供可能となる。このため、反射光画像及びカメラ画像の両方を用いるアプリケーションの処理精度を格段に高めることができる。

また、開示された態様の他のひとつは、測距センサ（１０）が生成した画像と、カメラ（２０）が生成した画像とのイメージレジストレーションを実施するイメージレジストレーションプログラムであって、
少なくとも１つの処理部（３１）に、
測距センサが生成した画像であって、光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより反射光画像と同座標系となっている背景光画像とを、取得する処理と、
カメラが生成した画像であって、外部からの入射光をカメラ素子（２２ａ）が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を取得する処理と、
測距センサとカメラとの間の相対位置に基づく画像上の対応点が映り込む位置の相違を考慮して、背景光画像の特徴点（ＦＰａ）とカメラ画像の特徴点（ＦＰｂ）とをそれぞれ検出する処理と、
検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定する処理と、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させる処理と、を実行させる。
また、開示された態様の他のひとつは、測距センサ（１０）が生成した画像と、カメラ（２０）が生成した画像とのイメージレジストレーションを実施するイメージレジストレーションプログラムであって、
少なくとも１つの処理部（３１）に、
測距センサが生成した画像であって、光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより反射光画像と同座標系となっている背景光画像とを、取得する処理と、
カメラが生成した画像であって、外部からの入射光をカメラ素子（２２ａ）が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を取得する処理と、
背景光画像の特徴点（ＦＰａ）とカメラ画像の特徴点（ＦＰｂ）とをそれぞれ検出する処理と、
検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定する処理と、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させる処理と、を実行させ、
背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定する処理においては、各特徴点を含む周辺領域から得られる特徴量であって、スケールに対して不変性が高い特徴量を用いる。
また、開示された態様の他のひとつは、測距センサ（１０）が生成した画像と、カメラ（２０）が生成した画像とのイメージレジストレーションを実施するイメージレジストレーションプログラムであって、
少なくとも１つの処理部（３１）に、
測距センサが生成した画像であって、光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより反射光画像と同座標系となっている背景光画像とを、取得する処理と、
カメラが生成した画像であって、外部からの入射光をカメラ素子（２２ａ）が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を取得する処理と、
スケールに影響するパラメータを有する特徴点検出器を用いて、背景光画像の特徴点（ＦＰａ）とカメラ画像の特徴点（ＦＰｂ）とをそれぞれ検出する処理と、
検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定する処理と、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させる処理と、を実行させ、
検出する処理においては、背景光画像の解像度とカメラ画像の解像度との比を把握し、比に基づいて、背景光画像の特徴点の検出に使用するパラメータと、カメラ画像の特徴点の検出に使用するパラメータとを相違させている。

このような態様によると、取得した背景光画像の特徴点と、カメラ画像の特徴点とがそれぞれ検出される。その後、検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係が特定される。その後、対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素が、他方の各画素に対応させられる。こうして、反射光画像とカメラ画像とのイメージレジストレーションが、反射光画像と同座標系であり、反射光画像よりも性質がカメラ画像に近い背景光画像を用いて実施されるので、特徴点同士の対応関係の特定が容易となる。こうした対応付けにより、反射光画像の座標系とカメラ画像の座標系とを精度良く合わせ込むことができるので、反射光画像及びカメラ画像の両方を用いるアプリケーションの処理精度を格段に高めることができる。そして、特徴点同士の対応関係を特定した後、その結果を用いて各画素の座標を対応させているので、各画素の対応関係をむやみに特定していく場合よりも、処理量の抑制又は処理速度の向上を図りつつ、精度が高いイメージレジストレーションを実施することができる。

なお、括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。

第１実施形態の画像生成システム及び運転支援ＥＣＵの全体像を示す図である。 第１実施形態の測距センサ及び外界カメラの車両への搭載状態を示す図である。 第１実施形態の画像処理ＥＣＵの構成を示す構成図である。 第１実施形態の背景光画像における特徴点の検出を説明するための図である。 第１実施形態のカメラ画像における特徴点の検出を説明するための図である。 第１実施形態の特徴点の対応関係の特定を説明するための図である。 第１実施形態の座標のマッチングを説明するための図である。 第１実施形態の画像処理ＥＣＵの処理を説明するためのフローチャートである。 第２実施形態における図３に対応する図である。

以下、複数の実施形態を図面に基づいて説明する。なお、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合せることができる。

（第１実施形態）
図１に示すように、本開示の第１実施形態によるイメージレジストレーション装置は、移動体としての車両１に用いられ、車両１に搭載されるように構成された画像処理ＥＣＵ（Electronic Control Unit）３０となっている。画像処理ＥＣＵ３０は、画像生成システム１００を、測距センサ１０及び外界カメラ２０と共に構成している。本実施形態の画像生成システム１００は、測距センサ１０及び外界カメラ２０の測定結果を統合した周辺監視画像情報を生成して、運転支援ＥＣＵ５０等に提供することが可能である。

画像処理ＥＣＵ３０は、車両１に搭載された車載ネットワークの通信バスに通信可能に接続されている。画像処理ＥＣＵ３０は、車両ネットワークに設けられた複数のノードのうちの１つである。車載ネットワークの通信バスには、測距センサ１０、外界カメラ２０の他、運転支援ＥＣＵ５０等がそれぞれノードとして接続されている。

運転支援ＥＣＵ５０は、プロセッサ、ＲＡＭ（Random Access Memory）、記憶部、入出力インターフェース、及びこれらを接続するバス等を備えたコンピュータを主体として含む構成である。運転支援ＥＣＵ５０は、車両１においてドライバの運転操作を支援する運転支援機能、及びドライバの運転操作を代行可能な運転代行機能の少なくとも一方を備えている。運転支援ＥＣＵ５０は、記憶部に記憶されたプログラムをプロセッサによって実行することにより、画像生成システム１００から取得する周辺監視画像情報に基づき、車両１の周辺環境を認識する。運転支援ＥＣＵ５０は、記憶部に記憶されたプログラムをプロセッサによって実行することにより、認識結果に応じた車両１の自動運転又は高度運転支援を実現する。

次に、画像生成システム１００に含まれる測距センサ１０、外界カメラ２０及び画像処理ＥＣＵ３０の各詳細を、順に説明する。

測距センサ１０は、例えば車両１の前方、又は車両１のルーフに配置された、ＳＰＡＤＲｉＤＡＲ（Single Photon Avalanche Diode Light Detection And Ranging）となっている。測距センサ１０は、車両１の周辺のうち少なくとも前方の測定範囲ＭＡ１を測定可能となっている。

測距センサ１０は、発光部１１、受光部１２、制御ユニット１３等を含む構成である。発光部１１は、光源から発光された光ビームを、可動光学部材（例えばポリゴンミラー）を用いて走査することにより、図２に示す測定範囲ＭＡ１へ向けて照射する。光源は、例えば半導体レーザ（Laser diode）であり、制御ユニット１３からの電気信号に応じて、乗員及び外界の人間から視認不能な近赤外域の光ビームを発光する。

受光部１２は、照射された光ビームが測定範囲ＭＡ１内の物体から反射される反射光又は反射光に対する背景光を例えば集光レンズにより集光して、受光素子１２ａへ入射させる。

受光素子１２ａは、光電変換により光を電気信号に変換する素子であり、検出電圧を増幅することにより、高感度を実現したＳＰＡＤ受光素子である。受光素子１２ａには、例えば近赤外域の反射光を検出するために、可視域に対して近赤外域の感度が高く設定されたＣＭＯＳセンサが採用されている。この感度は、受光部１２に光学フィルタを設けることよっても調整できる。受光素子１２ａは、複数の受光画素を１次元方向又は２次元方向に並ぶようにアレイ状に有する。

制御ユニット１３は、発光部１１及び受光部１２を制御するユニットである。制御ユニット１３は、例えば受光素子１２ａと共通の基板上に配置され、例えばマイコンないしＦＰＧＡ（Field-Programmable Gate Array）等の広義のプロセッサを主体として構成されている。制御ユニット１３は、走査制御機能、反射光測定機能、及び背景光測定機能を実現している。

走査制御機能は、光ビーム走査を制御する機能である。制御ユニット１３は、測距センサ１０に設けられたクロック発振器の動作クロックに基づいたタイミングにて、光源から光ビームをパルス状に複数回発振させると共に、可動光学部材を動作させる。

反射光測定機能は、光ビーム走査のタイミングに合わせて、例えばローリングシャッタ方式を用いて各受光画素が受光した反射光に基づく電圧値を読み出し、反射光の強度を測定する機能である。反射光の測定においては、光ビームの発光タイミングと反射光の受光タイミングとの時間差を検出することにより、測距センサ１０から反射光を反射した物体までの距離を測定することができる。反射光の測定により、制御ユニット１３は、測定範囲ＭＡ１に対応した画像平面上の２次元座標に反射光の強度及び当該反射光を反射した物体の距離情報が関連付けられた画像状のデータである反射光画像を、生成することができる。

背景光測定機能は、反射光を測定する直前のタイミングにて、各受光画素が受光した背景光に基づく電圧値を読み出し、背景光の強度を測定する機能である。ここで背景光とは、反射光を実質的に含まない、外界のうち測定範囲ＭＡ１から受光素子１２ａへ入射する入射光を意味する。入射光には、自然光、外界の表示等から入射する表示光等が含まれる。背景光の測定により、制御ユニット１３は、測定範囲ＭＡ１に対応した画像平面上の２次元座標に背景光の強度が関連付けられた画像状のデータである背景光画像を、生成することができる。

反射光画像及び背景光画像は、共通の受光素子１２ａにより感知され、当該受光素子１２ａを含む共通の光学系から取得される。したがって、反射光画像の座標系と背景光画像の座標系とは、互いに一致する同座標系とみなすことができる。さらには、反射光画像と背景光画像との間にて、測定タイミングのずれも殆どない（例えば１ｎｓ未満）といえる。したがって、反射光画像と背景光画像とは、同期もとれているとみなすことができる。

例えば本実施形態では、各画素に対応して、反射光の強度、物体の距離、及び背景光の強度の３チャンネルのデータが格納された一体的な画像データが、センサ画像として、画像処理ＥＣＵ３０へ逐次出力される。

外界カメラ２０は、例えば車両１のフロントウインドシールドの車室内側に配置されているカメラである。外界カメラ２０は、車両１の外界のうち少なくとも前方の測定範囲ＭＡ２、より詳細には測距センサ１０の測定範囲ＭＡ１と少なくとも一部を重複させた測定範囲ＭＡ２を、測定可能となっている。

外界カメラ２０は、受光部２２及び制御ユニット２３を含む構成である。受光部２２は、カメラ外部の測定範囲ＭＡ２から入射する入射光（背景光）を例えば受光レンズにより集光して、カメラ素子２２ａへ入射させる。

カメラ素子２２ａは、光電変換により光を電気信号に変換する素子であり、例えばＣＣＤセンサ又はＣＭＯＳセンサを採用することが可能である。カメラ素子２２ａでは、可視域の自然光を効率的に受光するために、近赤外域に対して可視領域の感度が高く設定されている。カメラ素子２２ａは、複数の受光画素（いわゆるサブ画素に相当する）を２次元方向に並ぶようにアレイ状に有する。互いに隣接する受光画素には、例えば赤色、緑色、青色のカラーフィルタが配置されている。各受光画素は、配置されたカラーフィルタに対応した色の可視光を受光する。赤色の強度、緑色の強度、青色の強度がそれぞれ測定されることによって、外界カメラ２０が撮影するカメラ画像は、反射光画像及び背景光画像よりも高解像の画像であって、可視域のカラー画像となり得る。

制御ユニット２３は、受光部２２を制御するユニットである。制御ユニット２３は、例えばカメラ素子２２ａと共通の基板上に配置され、マイコンないしＦＰＧＡ等の広義のプロセッサを主体として構成されている。制御ユニット２３は、撮影機能を実現している。

撮影機能は、上述のカラー画像を撮影する機能である。制御ユニット２３は、外界カメラ２０に設けられたクロック発振器の動作クロックに基づいたタイミングにて、例えばグローバルシャッタ方式を用いて各受光画素が受光した入射光に基づく電圧値を読み出し、入射光の強度を感知して測定する。このクロック発振器は、測距センサ１０のクロック発振器とは別に、独立して設けられている。制御ユニット２３は、測定範囲ＭＡ２に対応した画像平面上の２次元座標に入射光の強度が関連付けられた画像状のデータであるカメラ画像を、生成することができる。こうしたカメラ画像が、画像処理ＥＣＵ３０へ逐次出力される。

測距センサ１０と外界カメラ２０とは、別のクロック発振器に基づき動作し、測定タイミングの周期（すなわちフレームレート）も一致しているとは限らず、異なる場合が多い。このため、反射光画像及び背景光画像とカメラ画像との間には、測定タイミングのずれΔｔが生じ得る。Δｔは、反射光画像と背景光画像との間の測定タイミングのずれの１０００倍以上となり得る。

画像処理ＥＣＵ３０は、反射光画像、背景光画像、及びカメラ画像を複合的に画像処理する電子制御装置である。画像処理ＥＣＵ３０は、処理部３１、ＲＡＭ３２、記憶部３３、入出力インターフェース３４、及びこれらを接続するバス等を備えたコンピュータを主体として含む構成である。処理部３１は、ＲＡＭ３２と結合された演算処理のためのハードウェアである。処理部３１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphical Processing Unit）、ＲＩＳＣ（Reduced Instruction Set Computer）等の演算コアを少なくとも１つ含む構成である。処理部３１は、ＦＰＧＡ及び他の専用機能を備えたＩＰコア等をさらに含む構成であってもよい。ＲＡＭ３２は、画像生成のためのビデオＲＡＭを含む構成であってもよい。処理部３１は、ＲＡＭ３２へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。記憶部３３は、不揮発性の記憶媒体を含む構成である。記憶部３３には、処理部３１によって実行される種々のプログラム（イメージレジストレーションプログラム等）が格納されている。

画像処理ＥＣＵ３０は、記憶部３３に記憶されたイメージレジストレーションプログラムを処理部３１によって実行することで、イメージレジストレーション（Image Registration）を実施するための複数の機能部を有する。具体的に図３に示すように、画像処理ＥＣＵ３０には、画像取得部４１及び画像処理部４２等の機能部が構築される。

画像取得部４１は、測距センサ１０から反射光画像及び背景光画像を取得すると共に、外界カメラ２０からカメラ画像を取得する。画像取得部４１は、最新の反射光画像及び背景光画像の組と最新のカメラ画像とを、画像処理部４２に逐次提供する。

画像処理部４２は、背景光画像の特徴点ＦＰａとカメラ画像の特徴点ＦＰｂとの対応関係を特定することにより、背景光画像と同座標系をもつ反射光画像と、カメラ画像とのイメージレジストレーションを実施する。特に本実施形態の画像処理部４２は、反射光の強度、物体の距離、及び背景光の強度の３チャンネルのデータが格納されたセンサ画像と、高解像画像かつ可視域のカラー画像であるカメラ画像とが入力されると、反射光の強度、物体の距離、背景光の強度、及びカラー情報の４チャンネル以上のデータが格納された複合画像を出力する。本実施形態では、カラー情報が赤色の強度、緑色の強度、及び青色の強度の３チャンネルのデータで構成されているので、複合画像は、６チャンネルのデータが格納された画像となっている。

画像処理部４２は、特徴点検出機能、対応関係特定機能及び座標マッチング機能を有する。イメージレジストレーションにおいて、特徴点検出機能は第１フェイズの処理を実現し、対応関係特定機能は第１フェイズよりも後の第２フェイズの処理を実現し、座標マッチング機能は第２フェイズよりも後の第３フェイズの処理を実現する。

特徴点検出機能は、背景光画像の特徴点ＦＰａと、カメラ画像の特徴点ＦＰｂとをそれぞれ検出する機能である。特徴点ＦＰａ，ＦＰｂには、例えばコーナーを採用することができる。特徴点ＦＰａ，ＦＰｂの検出には、特徴点検出器を用いた種々の特徴点検出法を採用可能である。特に本実施形態ではハリスコーナー検出器（Harris Corner Detector）４３ａ，４３ｂによるハリスコーナー検出法が採用されている。

ハリスコーナー検出器４３ａ，４３ｂは、画素の位置の評価対象領域内の移動に伴う強度の差分の重み付き２乗和を、テイラー展開を用いた近似により構造テンソルにて表現した場合における、当該構造テンソルの固有値によって、特徴点ＦＰａ，ＦＰｂを検出する。ハリスコーナー検出器４３ａ，４３ｂは、構造テンソルの行列式と固有和の評価によって、評価対象領域がコーナー（これが特徴点ＦＰａ，ＦＰｂに相当する）であるか、エッジであるか、平坦であるかを判別可能である。

図４に示すように、ハリスコーナー検出器４３ａは、背景光画像の特徴点ＦＰａを複数検出する。図５に示すように、ハリスコーナー検出器４３ｂは、カメラ画像の特徴点ＦＰｂを複数検出する。図４，５では、特徴点ＦＰａ，ＦＰｂが十字のマークにて模式的に表現されているが、実際には、より多くの特徴点ＦＰａ，ＦＰｂが検出される。

ハリスコーナー検出器４３ａ，４３ｂは、スケールに影響する１つ以上の（本実施形態では２つの）パラメータ（換言すると、スケールに対する不変性が低いパラメータ）を有する。例えば、１つ目のパラメータは、評価対象領域のサイズである。２つ目のパラメータは、勾配検出フィルタ（例えばSobelの勾配検出フィルタ）のカーネルサイズである。

こうしたスケールに影響するパラメータに対して、背景光画像の解像度とカメラ画像の解像度が異なるので、ハリスコーナー検出器４３ａ，４３ｂは、通常、背景光画像及びカメラ画像について、互いに異なる数の特徴点ＦＰａ，ＦＰｂを検出する。したがって、測距センサ１０の測定範囲ＭＡ１と外界カメラ２０の測定範囲ＭＡ２との間に重複範囲が存在していたとしても、当該重複範囲に対して、同数の特徴点ＦＰａ，ＦＰｂが検出されるとは限らない。

ハリスコーナー検出器４３ａ，４３ｂは、図３において便宜上、背景光画像、カメラ画像にそれぞれ対応して１つずつ配置されているが、背景光画像及びカメラ画像に対して共通に（共通のプログラムによって）設けられてもよい。ハリスコーナー検出器４３ａ，４３ｂの処理のうち、汎用性の高い一部分のみが、背景光画像及びカメラ画像に対して共通に設けられてもよい。

対応関係特定機能は、背景光画像の特徴点ＦＰａとカメラ画像の特徴点ＦＰｂとの対応関係を特定する。本実施形態においては、検出される特徴点ＦＰａ，ＦＰｂの同数でないことに加え、背景光画像内の複数の特徴点ＦＰａにおける位置関係とカメラ画像内の複数の特徴点ＦＰｂにおける位置関係とが異なる可能性があること、対応関係がない特徴点ＦＰａ，ＦＰｂが含まれている可能性があることが、対応関係の特定の困難性を高めている。

すなわち、測距センサ１０の受光素子１２ａと外界カメラ２０のカメラ素子２２ａとは、図２に示すように車両１において互いに異なる位置に配置されており、配置の向きも異なり得る。この結果、上述のように背景光画像内の複数の特徴点ＦＰａにおける位置関係とカメラ画像内の複数の特徴点ＦＰｂにおける位置関係とが異なる。

また、本実施形態のように、高速に移動する車両１に用いられる場合では、測定タイミングのずれΔｔにより、背景光画像に映り込む物体の位置と、カメラ画像に映り込む物体の位置とが大きく異なる可能性があり、片方だけに物体が映り込む可能性すらある。したがって、背景光画像内の複数の特徴点ＦＰａにおける位置関係とカメラ画像内の複数の特徴点ＦＰｂにおける位置関係とが異なること及び対応関係がない特徴点ＦＰａ，ＦＰｂが含まれていることが、発生し易い。

こうした対応関係の特定の困難性に対応すべく、第１に、画像処理部４２は、各特徴点ＦＰａ，ＦＰｂを含む周辺領域から得られる特徴量であって、スケールに対して不変性が高い特徴量を用いて、対応関係を特定する。スケールに対して不変性が高い特徴量としては、例えばエッジの方向に関する情報、周辺領域における何らかの物理量の平均値又は比率等が挙げられる。本実施形態では、スケールに対して不変性が高い特徴量として、周辺領域にローパスフィルタを適用した場合の平滑化度合に対する極値の情報が採用されている。

例えば本実施形態の画像処理部４２は、ＳＩＦＴ（Scale-Invariant Feature Transform）の特徴量（以下、ＳＩＦＴ特徴量）をＳＩＦＴ特徴量検出器（以下、特徴量検出器）４４ａ，４４ｂによって検出し、検出されたＳＩＦＴ特徴量を用いて、対応関係を特定する。特徴量検出器４４ａ，４４ｂは、ハリスコーナー検出器４３ａ，４３ｂにて検出された各特徴点ＦＰａ，ＦＰｂを含む周辺領域に上述のローパスフィルタとしてガウシアンフィルタ（Gaussian Filter）を適用する。

特徴量検出器４４ａ，４４ｂは、当該ガウシアンフィルタの標準偏差に相当する重み係数σを変化させ、当該周辺領域の局所的極値を探索する。特徴量検出器４４ａ，４４ｂは、局所的極値が発見されたσのうち有望な（エッジを除外した）少なくとも一部のσを、スケールに対して不変性が高いＳＩＦＴ特徴量とする。

こうして、背景光画像の各特徴点ＦＰａに個別対応するＳＩＦＴ特徴量と、カメラ画像の各特徴点ＦＰｂに個別対応するＳＩＦＴ特徴量との比較において、特徴点ＦＰａ，ＦＰｂ同士のマッチング精度を高めることができる。

特徴量検出器４４ａ，４４ｂは、図３において便宜上、背景光画像、カメラ画像にそれぞれ対応して１つずつ配置されているが、背景光画像及びカメラ画像に対して共通に（共通のプログラムによって）設けられてもよい。特徴量検出器４４ａ，４４ｂの処理のうち、汎用性の高い一部分のみが、背景光画像及びカメラ画像に対して共通に設けられてもよい。

第２に、画像処理部４２は、測距センサ１０と外界カメラ２０との間の相対位置に基づく画像上の対応点が映り込む位置の相違を考慮して、対応関係を特定する。画像処理部４２は、エピポーラ幾何（Epipolar Geometry）に基づき、エピポーラ線投影器４５によって、図６に示すように、カメラ画像の特徴点ＦＰｂに対応するエピポーラ線ＥＬを、背景光画像に投影する。エピポーラ線ＥＬは、エピポーラ平面と画像平面とが交わる線である。エピポーラ平面は、測距センサ１０の光学中心と、外界カメラ２０の光学中心と、カメラ画像の特徴点ＦＰｂに対応する被写体の３次元点とを通る平面である。

実際には、エピポーラ線投影器４５は、受光素子１２ａの位置及びカメラ素子２２ａの位置に基づいて規定されたＥ行列（Essential matrix）を記憶している。Ｅ行列は、カメラ画像上の点を、背景光画像上の線（すなわちエピポーラ線ＥＬ）に写像するための行列である。

仮に、背景光画像とカメラ画像との間で同期がとれているとすれば、カメラ画像のある特徴点ＦＰｂと対応関係をもつ背景光画像の特徴点ＦＰｂは、エピポーラ線投影器４５によるエピポーラ線ＥＬ上に存在するはずである。しかしながら、本実施形態では、背景光画像とカメラ画像との間にて測定タイミングのずれΔｔがあり、ずれΔｔの間に背景光画像及びカメラ画像に映り込む物体が移動している可能性がある。

このため、画像処理部４２は、エピポーラ線ＥＬを中心線とした帯状の領域であって、所定の許容幅Ｗを有する判定領域ＪＡを用いて、対応関係をもつ特徴点ＦＰａを絞り込む。許容幅Ｗは、背景光画像の測定タイミングとカメラ画像の測定タイミングとの間に想定されるずれ量に応じて、設定されている。具体的に、画像処理部４２は、判定領域ＪＡの内部に位置する背景光画像の特徴点ＦＰａを、エピポーラ線ＥＬの投影元であるカメラ画像の特徴点ＦＰｂに対応する点の候補として絞り込む。そして、絞り込まれた特徴点ＦＰａのうち、ＳＩＦＴ特徴量が最も近似する特徴点ＦＰａを、対応する点であると判定する。こうして画像処理部４２は、カメラ画像の各特徴点ＦＰｂと、背景光画像の各特徴点ＦＰａとから、１対１の個別対応関係を特定していく。ハリスコーナー検出器４３ａ，４３ｂにより検出された特徴点ＦＰａ，ＦＰｂの数が背景光画像とカメラ画像との間で一致しない場合、当然に、対応関係にある点が相手方の画像に発見されない特徴点ＦＰａ，ＦＰｂが出現するが、こうした特徴点ＦＰａ，ＦＰｂは、結果的にイメージレジストレーションに使用されずに、以降の処理から除外される。

座標マッチング機能は、特徴点ＦＰａ，ＦＰｂの対応関係を特定した結果に基づいて、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させる機能である。具体的に図７に示すように、画像処理部４２は、対応関係をもつ特徴点ＦＰａ，ＦＰｂの対同士の位置関係に基づき、背景光画像及びカメラ画像のうち少なくとも一方を非線形的かつ滑らかに歪ませることで、背景光画像の座標系とカメラ画像の座標系との対応関係を得ることができる。

画像処理部４２は、座標のマッチングにあたり、例えばＴＰＳモデルを用いてＴＰＳ（Thin Plate Spline）を実施する。ＴＰＳモデルは、対応関係にある特徴点ＦＰａ，ＦＰｂの座標を共変量とし、ＴＰＳを実施する。ＴＰＳモデルは、背景光画像とカメラ画像との間にて、特徴点ＦＰａ，ＦＰｂに該当しない各画素の対応関係を特定する。

各画素の対応関係を特定する意味を説明するための具体例として、カメラ画像の測定タイミングのΔｔ後が背景光画像の測定タイミングであり、車両１に対して前方の他車両がずれΔｔの間に遠ざかる場合を考える。この場合、背景光画像において風景を映す特徴点同士の間隔に対する他車両を映す特徴点同士の間隔の比は、カメラ画像における風景を映す特徴点同士の間隔に対する他車両を映す特徴点同士の間隔の比よりも小さくなり得る。したがって、背景光画像において他車両を映す領域が風景を映す領域に対して拡大されるように、当該背景光画像を非線形的に歪ませることで、背景光画像の座標系を、カメラ画像の座標系に合わせ込むことができる。

すなわち、座標マッチング機能における処理は、測定タイミングのずれΔｔを補正し、背景光画像とカメラ画像とを、互いに同期がとれたデータと同様の取り扱いとすることを可能にする。上述のように、背景光画像は、反射光画像と同座標系かつ同期がとれているとみなすことができる。結果的に画像処理部４２は、距離情報を含む反射光画像と、高解像かつカラー画像であるカメラ画像とを、互いに同期がとれたデータと同様の取り扱いとすることを可能にする。こうした反射光画像とカメラ画像とのイメージレジストレーションにおいて、背景光画像は、２つの画像を対応付けるための接着剤のように機能する。

そして、画像処理部４２は、背景光画像の各画素に対応する座標を、カメラ画像上の座標に変換することにより、上述の一体的な画像データである複合画像を出力することができる。この複合画像は、各チャンネルに対して共通の座標系をもつので、これを用いるアプリケーションプログラム（以下、アプリケーション）の処理を単純化させて計算の負荷を軽減させると共に、当該アプリケーションの処理精度を向上させることができる。

本実施形態では、画像処理部４２が出力した複合画像は、周辺監視画像情報として運転支援ＥＣＵ５０へ提供される。運転支援ＥＣＵ５０においては、プロセッサが車両１の周辺環境を認識するためのアプリケーションとしての物体認識プログラムを実行することにより、複合画像を利用した物体認識が実施される。

本実施形態では、セマンティックセグメンテーション（Semantic Segmentation）を用いた物体認識が実施される。運転支援ＥＣＵ５０の記憶部には、物体認識プログラムの一構成要素としてニューラルネットワークを主体とした物体認識モデル５１が構築されている。このニューラルネットワークには、例えばエンコーダとデコーダとを結合したＳｅｇＮｅｔと呼ばれる構造を採用することができる。

次に、イメージレジストレーションプログラムに基づき、反射光画像とカメラ画像とのイメージレジストレーションを実施するイメージレジストレーション方法の詳細を、図８のフローチャートを用いて説明する。このフローチャートの各ステップに基づく一連の画像処理は、例えば、所定時間毎に、又は測距センサ１０又は外界カメラ２０が新規の画像を生成する毎に、実施される。

まず、Ｓ１１では、画像取得部４１は、最新の反射光画像及び背景光画像を測距センサ１０から取得すると共に、最新のカメラ画像を外界カメラ２０から取得する。画像取得部４１は、これら画像を画像処理部４２に提供する。Ｓ１１の処理後、Ｓ１２へ移る。

Ｓ１２では、画像処理部４２は、背景光画像の特徴点ＦＰａと、カメラ画像の特徴点ＦＰｂとを、それぞれ検出する。Ｓ１２の処理後、Ｓ１３へ移る。

Ｓ１３では、画像処理部４２は、Ｓ１２にて検出された背景光画像の特徴点ＦＰａと、カメラ画像の特徴点ＦＰｂとの対応関係を特定する。Ｓ１３の処理後、Ｓ１４へ移る。

Ｓ１４では、画像処理部４２は、Ｓ１３で対応関係が特定された特徴点ＦＰａ，ＦＰｂ同士の位置関係から、背景光画像とカメラ画像との間にて、特徴点ＦＰａ，ＦＰｂに該当しない各画素の座標の対応付け（座標のマッチング）を行なう。Ｓ１４の処理後、Ｓ１５へ移る。

Ｓ１５では、画像処理部４２は、背景光画像及び反射光画像の座標系を、カメラ画像の座標系に変換するか、その逆を実施することにより、反射光画像とカメラ画像とのイメージレジストレーションを完了する。Ｓ１５を以って一連の処理を終了する。

（作用効果）
以上説明した第１実施形態の作用効果を以下に改めて説明する。

第１実施形態の画像処理ＥＣＵ３０によると、取得した反射光画像とカメラ画像とのイメージレジストレーションが、反射光画像と同座標系の背景光画像を用いて実施される。反射光画像よりも性質がカメラ画像に近い背景光画像の特徴点ＦＰａと、カメラ画像の特徴点ＦＰｂとの比較では、特徴点ＦＰａ，ＦＰｂ同士の対応関係の特定が容易となる。こうした対応付けにより、反射光画像の座標系とカメラ画像の座標系とを精度良く合わせ込むことができるので、反射光画像及びカメラ画像の両方を用いるアプリケーションの処理精度を格段に高めることができる。

また、第１実施形態によると、イメージレジストレーションにおいては、背景光画像の特徴点ＦＰａとカメラ画像の特徴点ＦＰｂとがそれぞれ検出される。その後、検出された背景光画像の特徴点ＦＰａとカメラ画像の特徴点ＦＰｂとの対応関係が特定される。その後、対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素が、他方の各画素に対応させられる。すなわち、特徴点ＦＰａ，ＦＰｂ同士の対応関係を特定した後、その結果を用いて各画素の座標を対応させるので、各画素の対応関係をむやみに特定していく場合よりも、処理量の抑制又は処理速度の向上を図りつつ、精度が高いイメージレジストレーションを実施することができる。

また、第１実施形態によると、対応関係の特定において、測距センサ１０と外界カメラ２０との間の相対位置に基づく画像上の対応点が映り込む位置の相違が考慮される。こうした考慮によって、特徴点ＦＰａ，ＦＰｂ同士の対応関係の特定精度を高めることができる。

また、第１実施形態によると、対応関係の特定において、背景光画像及びカメラ画像のうち投影元の特徴点ＦＰｂに対応するエピポーラ線ＥＬが、投影先の画像に投影される。そして、エピポーラ線ＥＬに沿った所定の許容幅Ｗを有する帯状の判定領域ＪＡ内に位置する投影先の特徴点ＦＰａが、投影元の特徴点ＦＰｂに対応する点であると判定される。許容幅Ｗを持たせた判定により、特徴点ＦＰａ，ＦＰｂ同士の対応関係に特定にて、背景光画像とカメラ画像との投影誤差等の誤差を吸収し、特定精度を高めることができる。

また、第１実施形態によると、許容幅Ｗは、背景光画像の測定タイミングとカメラ画像の測定タイミングとの間に想定されるずれ量に応じて、設定されている。測定タイミングのずれΔｔの間に、背景光画像及びカメラ画像に映り込み、特徴点ＦＰａ，ＦＰｂを構成する物体が移動したとしても、ずれ量に応じた許容幅Ｗを有する判定領域ＪＡ内に当該物体の特徴点ＦＰａが位置していれば、対応関係をもつ特徴点ＦＰａ，ＦＰｂ同士が特定される。故に、対応関係の特定における精度を向上させることができる。

また、第１実施形態によると、背景光画像の特徴点ＦＰａとカメラ画像の特徴点ＦＰｂとの対応関係の特定において、各特徴点ＦＰａ，ＦＰｂを含む周辺領域から得られる特徴量であって、スケールに対して不変性が高い特徴量としてのＳＩＦＴ特徴量が用いられる。スケールに対して不変性が高いＳＩＦＴ特徴量を使用することにより、背景光画像の解像度に対してカメラ画像の解像度が高いことによる特徴点ＦＰａ，ＦＰｂの検出レベル（検出感度）の違いが生じていたとしても、対応関係の誤判定を抑制することができる。故に、対応関係の特定における精度を向上させることができる。

また、第１実施形態の画像生成システム１００によると、反射光画像とカメラ画像とのイメージレジストレーションが、反射光画像と同座標系の背景光画像を用いて実施される。すなわち、反射光画像よりも性質がカメラ画像に近い背景光画像の特徴点ＦＰａと、カメラ画像の特徴点ＦＰｂとの比較では、特徴点ＦＰａ，ＦＰｂ同士の対応関係の特定が容易となる。こうした対応付けにより、反射光画像の座標系とカメラ画像の座標系とを精度良く合わせ込むことができる。そして、測距センサ１０及び外界カメラ２０の異なる画像生成元からの情報である、距離情報とカメラ画像の情報とは、アプリケーションにて処理し易い複合画像の形態にて提供可能となる。このため、反射光画像及びカメラ画像の両方を用いるアプリケーションの処理制度を格段に高めることができる。

また、第１実施形態のイメージレジストレーション方法によると、用意した背景光画像の特徴点ＦＰａと、カメラ画像の特徴点ＦＰｂとがそれぞれ検出される。その後、検出された背景光画像の特徴点ＦＰａとカメラ画像の特徴点ＦＰｂとの対応関係が特定される。その後、対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素が、他方の各画素に対応させられる。こうして、反射光画像とカメラ画像とのイメージレジストレーションが、反射光画像と同座標系であり、反射光画像よりも性質がカメラ画像に近い背景光画像を用いて実施されるので、特徴点ＦＰａ，ＦＰｂ同士の対応関係の特定が容易となる。こうした対応付けにより、反射光画像の座標系とカメラ画像の座標系とを精度良く合わせ込むことができるので、反射光画像及びカメラ画像の両方を用いるアプリケーションの処理精度を格段に高めることができる。そして、特徴点ＦＰａ，ＦＰｂ同士の対応関係を特定した後、その結果を用いて各画素の座標を対応させているので、各画素の対応関係をむやみに特定していく場合よりも、処理量の抑制又は処理速度の向上を図りつつ、精度が高いイメージレジストレーションを実施することができる。

また、第１実施形態のイメージレジストレーションプログラムによると、取得した背景光画像の特徴点ＦＰａと、カメラ画像の特徴点ＦＰｂとがそれぞれ検出される。その後、検出された背景光画像の特徴点ＦＰａとカメラ画像の特徴点ＦＰｂとの対応関係が特定される。その後、対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素が、他方の各画素に対応させられる。こうして、反射光画像とカメラ画像とのイメージレジストレーションが、反射光画像と同座標系であり、反射光画像よりも性質がカメラ画像に近い背景光画像を用いて実施されるので、特徴点ＦＰａ，ＦＰｂ同士の対応関係の特定がより容易となる。こうした対応付けにより、反射光画像の座標系とカメラ画像の座標系とを精度良く合わせ込むことができるので、反射光画像及びカメラ画像の両方を用いるアプリケーションの処理精度を格段に高めることができる。そして、特徴点ＦＰａ，ＦＰｂ同士の対応関係を特定した後、その結果を用いて各画素の座標を対応させているので、各画素の対応関係をむやみに特定していく場合よりも、処理量の抑制又は処理速度の向上を図りつつ、精度が高いイメージレジストレーションを実施することができる。

（第２実施形態）
図９に示すように、第２実施形態は第１実施形態の変形例である。第２実施形態について、第１実施形態とは異なる点を中心に説明する。

第２実施形態では、第１実施形態の画像処理ＥＣＵ３０の機能と運転支援ＥＣＵ５０との機能が１つのＥＣＵに統合され、運転支援ＥＣＵ２３０が構成されている。したがって、第２実施形態では、運転支援ＥＣＵ２３０がイメージレジストレーション装置に相当する。また、第２実施形態の運転支援ＥＣＵ２３０では、イメージレジストレーション機能が高精度な周辺認識機能を実現するための一部分を構成しているともいえるから、当該運転支援ＥＣＵ２３０は、車両１の周辺環境を認識する周辺環境認識装置にも相当する。運転支援ＥＣＵ２３０は、第１実施形態の画像処理ＥＣＵ３０と同様に、処理部３１、ＲＡＭ３２、記憶部３３、入出力インターフェース３４等を有する。

第２実施形態の運転支援ＥＣＵ２３０は、第１実施形態の画像処理ＥＣＵ３０と同様に、記憶部３３に記憶されたイメージレジストレーションプログラム及び物体認識プログラムを処理部３１によって実行することで、複数の機能部を有する。具体的に図９に示すように、運転支援ＥＣＵ２３０には、画像取得部４１、画像処理部２４２、及び物体認識部４８等の機能部が構築される。

画像取得部４１は、第１実施形態と同様である。物体認識部４８は、第１実施形態と同様の物体認識モデル４８ａを用いて、セマンティックセグメンテーションを用いた物体認識を実施する。

第２実施形態の画像処理部２４２は、第１実施形態と同様に、特徴点検出機能、対応関係特定機能及び座標マッチング機能を有する。ただし、特徴点検出機能において背景光画像の解像度とカメラ画像の解像度との比（以下、解像度比）を考慮する点、及び対応関係特定機能においてＳＩＦＴ特徴量を使用しない点が、第１実施形態とは異なる。

具体的に、運転支援ＥＣＵ２３０の記憶部３３には、センサ系データベース（以下、センサ系ＤＢ）２４３ｃが設けられている。センサ系ＤＢ２４３ｃには、車両１に搭載された各種センサ及びカメラの情報が記憶されている。この情報には、測距センサ１０の受光素子１２ａの仕様に関する情報、外界カメラ２０のカメラ素子２２ａの仕様に関する情報が含まれる。測距センサ１０の受光素子１２ａの仕様に関する情報には、当該受光素子１２ａの解像度の情報が含まれ、外界カメラ２０のカメラ素子２２ａの仕様に関する情報には、当該カメラ素子２２ａの解像度の情報が含まれる。これら解像度の情報から、画像処理部２４２は、解像度比を把握可能である。

第２実施形態のハリスコーナー検出器２４３ａは、解像度比に基づいて、背景光画像の特徴点ＦＰａを検出する際のスケールパラメータと、カメラ画像の特徴点ＦＰｂを検出する際のスケールパラメータとを、相違させている。具体的に、背景光画像に対して高解像であるカメラ画像の特徴点検出においては、背景光画像の場合よりも、スケールパラメータとしての評価対象領域のサイズ及び勾配検出フィルタのカーネルサイズのうち少なくとも一方が、小さくされる。そうすると、特徴点ＦＰａ，ＦＰｂの検出レベルを、背景光画像とカメラ画像との間で近づけることができる。

この結果、対応関係特定機能においてＳＩＦＴを用いなくても、検出された背景光画像の特徴点ＦＰａとカメラ画像の特徴点ＦＰｂの対応関係特定は、容易となる。換言すると、精度良く対応関係を特定することができる。

以上説明した第２実施形態によると、背景光画像の特徴点ＦＰａ及びカメラ画像の特徴点ＦＰｂを検出する特徴点検出器としてのハリスコーナー検出器２４３ａ，２４３ｂがスケールに影響するスケールパラメータを有する。こうした構成において、把握された背景光画像の解像度とカメラ画像の解像度との比に基づいて、背景光画像の特徴点ＦＰａの検出に使用するスケールパラメータと、カメラ画像の特徴点ＦＰｂの検出に使用するスケールパラメータとは、相違させられている。こうすると、背景光画像の解像度に対してカメラ画像の解像度が高くても、特徴点ＦＰａ，ＦＰｂの検出レベルを、背景光画像とカメラ画像との間で近づけることが可能となる。近いレベルにて検出された特徴点ＦＰａ，ＦＰｂ同士を比較可能となるので、対応関係の特定における精度を向上させることができる。

（他の実施形態）
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

具体的に変形例１としては、測距センサ１０と外界カメラ２０とが一体型のセンサユニットを構成していてもよい。さらに、第１実施形態の画像処理ＥＣＵ３０のようなイメージレジストレーション装置が、このセンサユニットの構成要素として含まれていてもよい。

第１実施形態に関する変形例２としては、画像処理ＥＣＵ３０が、第２実施形態のような物体認識部４８を備え、車両１の周辺環境を認識してもよい。画像処理ＥＣＵ３０が車両１の周辺環境を認識した解析済み情報が、運転支援機能等を有する運転支援ＥＣＵ５０に提供されてもよい。

変形例３としては、画像処理部４２は、反射光画像、背景光画像及びカメラ画像を、多チャンネルの複合画像に統合して出力しなくてもよい。画像処理部４２は、反射光画像、背景光画像及びカメラ画像を、別々の画像データとして出力し、これらの画像データに加えて、各画像の座標の対応関係を示す座標対応データを出力するようにしてもよい。

変形例４としては、画像処理部４２は、イメージレジストレーション済の反射光画像及びカメラ画像を出力すればよく、背景光画像を出力しなくてもよい。

変形例５としては、カメラ画像は、カラー画像でなく、グレースケール画像であってもよい。

変形例６としては、イメージレジストレーション済みの反射光画像及びカメラ画像を用いた物体認識は、セマンティックセグメンテーションを用いた物体認識でなくてもよい。物体認識は、例えばバウンディングボックス（Bounding Box）を用いた物体認識であってもよい。

変形例７としては、イメージレジストレーション済みの反射光画像及びカメラ画像は、車両１における物体認識以外のアプリケーションに用いられてもよい。例えば、測距センサ１０及びカメラ２０を会議室に設置して、イメージレジストレーション済の反射光画像及びカメラ画像をテレビ会議の通信用アプリケーションにて用いてもよい。

変形例８としては、検出されたＳＩＦＴ特徴量に、回転不変性を持たせるための向き（Orientation）の情報が付加されてもよい。向きの情報は、例えば測距センサ１０の設置面の傾斜とカメラ２０の設置面の傾斜とが異なる状況下にて有用である。

変形例９としては、カメラ画像の特徴点ＦＰｂに対応するエピポーラ線ＥＬを、背景光画像に投影する場合、又は背景光画像の特徴点ＦＰａに対応するエピポーラ線ＥＬを、カメラ画像に投影する場合、Ｅ行列の代わりにＦ行列（Fundamental matrix）を用いてもよい。Ｆ行列は、測距センサ１０及びカメラ２０のキャリブレーションが実施されていない状況下にて有用である。

変形例１０としては、画像処理部４２は、測距センサ１０が生成した画像及びカメラ２０が生成した画像に加えて、ミリ波レーダ等が生成した追加の画像に対するイメージレジストレーションを実施してもよい。

変形例１１としては、画像処理ＥＣＵ３０によって提供されていた各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組み合わせによっても提供可能である。さらに、こうした機能がハードウェアとしての電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。

変形例１２としては、上記の異常検出方法を実現可能な異常検出プログラム等を記憶する記憶媒体の形態も、適宜変更されてもよい。例えば記憶媒体は、回路基板上に設けられた構成に限定されず、メモリカード等の形態で提供され、スロット部に挿入されて、画像処理ＥＣＵ３０の制御回路に電気的に接続される構成であってもよい。さらに、記憶媒体は、画像処理ＥＣＵ３０のプログラムのコピー基となる光学ディスク及びハードディスクであってもよい。

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

１０：測距センサ、１２ａ：受光素子、２０：外界カメラ（カメラ）、２２ａ：カメラ素子、３０：画像処理ＥＣＵ（イメージレジストレーション装置）、２３０：運転支援ＥＣＵ（イメージレジストレーション装置）、４１：画像取得部、４２：画像処理部、１００：画像生成システム、ＦＰａ，ＦＰｂ：特徴点

Claims (11)

1. 光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより前記反射光画像と同座標系となっている背景光画像とを生成する測距センサ（１０）に対して通信可能に接続されると共に、外部からの入射光をカメラ素子（２２ａ）が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を生成するカメラ（２０）に対して通信可能に接続されたイメージレジストレーション装置であって、
   前記反射光画像、前記背景光画像及び前記カメラ画像を取得する画像取得部（４１）と、
   前記背景光画像の特徴点（ＦＰａ）と前記カメラ画像の特徴点（ＦＰｂ）との対応関係を特定することにより、前記背景光画像と同座標系の前記反射光画像と、前記カメラ画像とのイメージレジストレーションを実施する画像処理部（４２）と、を備え、
   前記画像処理部は、
   前記背景光画像の特徴点と前記カメラ画像の特徴点とをそれぞれ検出し、
   前記測距センサと前記カメラとの間の相対位置に基づく画像上の対応点が映り込む位置の相違を考慮して、検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との前記対応関係を特定し、
   前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させるイメージレジストレーション装置。
2. 前記画像処理部は、
   前記背景光画像及び前記カメラ画像のうち投影元の特徴点に対応するエピポーラ線（ＥＬ）を、投影先の画像に投影し、前記エピポーラ線に沿った所定の許容幅（Ｗ）を有する帯状の判定領域（ＪＡ）内に位置する前記投影先の特徴点を、前記投影元の特徴点に対応する点であると判定する請求項１に記載のイメージレジストレーション装置。
3. 前記許容幅は、前記背景光画像の測定タイミングと前記カメラ画像の測定タイミングとの間に想定されるずれ量に応じて、設定されている請求項２に記載のイメージレジストレーション装置。
4. 光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより前記反射光画像と同座標系となっている背景光画像とを生成する測距センサ（１０）に対して通信可能に接続されると共に、外部からの入射光をカメラ素子（２２ａ）が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を生成するカメラ（２０）に対して通信可能に接続されたイメージレジストレーション装置であって、
   前記反射光画像、前記背景光画像及び前記カメラ画像を取得する画像取得部（４１）と、
   前記背景光画像の特徴点（ＦＰａ）と前記カメラ画像の特徴点（ＦＰｂ）との対応関係を特定することにより、前記背景光画像と同座標系の前記反射光画像と、前記カメラ画像とのイメージレジストレーションを実施する画像処理部（４２）と、を備え、
   前記画像処理部は、
   前記背景光画像の特徴点と前記カメラ画像の特徴点とをそれぞれ検出し、
   検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との前記対応関係を特定し、
   前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させ、
   前記背景光画像の特徴点と前記カメラ画像の特徴点との対応関係の特定において、各前記特徴点を含む周辺領域から得られる特徴量であって、スケールに対して不変性が高い特徴量を用いるイメージレジストレーション装置。
5. 光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより前記反射光画像と同座標系となっている背景光画像とを生成する測距センサ（１０）に対して通信可能に接続されると共に、外部からの入射光をカメラ素子（２２ａ）が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を生成するカメラ（２０）に対して通信可能に接続されたイメージレジストレーション装置であって、
   前記反射光画像、前記背景光画像及び前記カメラ画像を取得する画像取得部（４１）と、
   前記背景光画像の特徴点（ＦＰａ）と前記カメラ画像の特徴点（ＦＰｂ）との対応関係を特定することにより、前記背景光画像と同座標系の前記反射光画像と、前記カメラ画像とのイメージレジストレーションを実施する画像処理部（４２）と、を備え、
   前記画像処理部は、
   スケールに影響するパラメータを有する特徴点検出器を用いて、前記背景光画像の特徴点と前記カメラ画像の特徴点とをそれぞれ検出し、
   前記背景光画像の解像度と前記カメラ画像の解像度との比を把握し、前記比に基づいて、前記背景光画像の特徴点の検出に使用する前記パラメータと、前記カメラ画像の特徴点の検出に使用する前記パラメータとを相違させており、
   検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との前記対応関係を特定し、
   前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させるイメージレジストレーション装置。
6. アプリケーションに処理させる画像を生成する画像生成システムであって、
   光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより、前記反射光画像と同座標系となっている背景光画像とを生成する測距センサ（１０）と、
   外部からの入射光をカメラ素子（２２ａ）が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を生成するカメラ（２０）と、
   前記背景光画像の特徴点（ＦＰａ）と前記カメラ画像の特徴点（ＦＰｂ）との対応関係を特定することにより、前記背景光画像と同座標系の前記反射光画像と、前記カメラ画像とのイメージレジストレーションを実施して、前記距離情報と前記カメラ画像の情報とが統合された複合画像を生成する画像処理部（４２）と、を備え、
   前記画像処理部は、
   前記背景光画像の特徴点と前記カメラ画像の特徴点とをそれぞれ検出し、
   前記測距センサと前記カメラとの間の相対位置に基づく画像上の対応点が映り込む位置の相違を考慮して、検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との前記対応関係を特定し、
   前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させる画像生成システム。
7. アプリケーションに処理させる画像を生成する画像生成システムであって、
   光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより、前記反射光画像と同座標系となっている背景光画像とを生成する測距センサ（１０）と、
   外部からの入射光をカメラ素子（２２ａ）が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を生成するカメラ（２０）と、
   前記背景光画像の特徴点（ＦＰａ）と前記カメラ画像の特徴点（ＦＰｂ）との対応関係を特定することにより、前記背景光画像と同座標系の前記反射光画像と、前記カメラ画像とのイメージレジストレーションを実施して、前記距離情報と前記カメラ画像の情報とが統合された複合画像を生成する画像処理部（４２）と、を備え、
   前記画像処理部は、
   前記背景光画像の特徴点と前記カメラ画像の特徴点とをそれぞれ検出し、
   検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との前記対応関係を特定し、
   前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させ、
   前記背景光画像の特徴点と前記カメラ画像の特徴点との対応関係の特定において、各前記特徴点を含む周辺領域から得られる特徴量であって、スケールに対して不変性が高い特徴量を用いる画像生成システム。
8. アプリケーションに処理させる画像を生成する画像生成システムであって、
   光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより、前記反射光画像と同座標系となっている背景光画像とを生成する測距センサ（１０）と、
   外部からの入射光をカメラ素子（２２ａ）が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を生成するカメラ（２０）と、
   前記背景光画像の特徴点（ＦＰａ）と前記カメラ画像の特徴点（ＦＰｂ）との対応関係を特定することにより、前記背景光画像と同座標系の前記反射光画像と、前記カメラ画像とのイメージレジストレーションを実施して、前記距離情報と前記カメラ画像の情報とが統合された複合画像を生成する画像処理部（４２）と、を備え、
   前記画像処理部は、
   スケールに影響するパラメータを有する特徴点検出器を用いて、前記背景光画像の特徴点と前記カメラ画像の特徴点とをそれぞれ検出し、
   前記背景光画像の解像度と前記カメラ画像の解像度との比を把握し、前記比に基づいて、前記背景光画像の特徴点の検出に使用する前記パラメータと、前記カメラ画像の特徴点の検出に使用する前記パラメータとを相違させており、
   検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との前記対応関係を特定し、
   前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させる画像生成システム。
9. 測距センサ（１０）が生成した画像と、カメラ（２０）が生成した画像とのイメージレジストレーションを実施するイメージレジストレーションプログラムであって、
   少なくとも１つの処理部（３１）に、
   前記測距センサが生成した画像であって、光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより前記反射光画像と同座標系となっている背景光画像とを、取得する処理と、
   前記カメラが生成した画像であって、外部からの入射光をカメラ素子（２２ａ）が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を取得する処理と、
   前記背景光画像の特徴点（ＦＰａ）と前記カメラ画像の特徴点（ＦＰｂ）とをそれぞれ検出する処理と、
   前記測距センサと前記カメラとの間の相対位置に基づく画像上の対応点が映り込む位置の相違を考慮して、検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との対応関係を特定する処理と、
   前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させる処理と、を実行させるイメージレジストレーションプログラム。
10. 測距センサ（１０）が生成した画像と、カメラ（２０）が生成した画像とのイメージレジストレーションを実施するイメージレジストレーションプログラムであって、
    少なくとも１つの処理部（３１）に、
    前記測距センサが生成した画像であって、光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより前記反射光画像と同座標系となっている背景光画像とを、取得する処理と、
    前記カメラが生成した画像であって、外部からの入射光をカメラ素子（２２ａ）が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を取得する処理と、
    前記背景光画像の特徴点（ＦＰａ）と前記カメラ画像の特徴点（ＦＰｂ）とをそれぞれ検出する処理と、
    検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との対応関係を特定する処理と、
    前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させる処理と、を実行させ、
    前記背景光画像の特徴点と前記カメラ画像の特徴点との対応関係を特定する処理においては、各前記特徴点を含む周辺領域から得られる特徴量であって、スケールに対して不変性が高い特徴量を用いるイメージレジストレーションプログラム。
11. 測距センサ（１０）が生成した画像と、カメラ（２０）が生成した画像とのイメージレジストレーションを実施するイメージレジストレーションプログラムであって、
    少なくとも１つの処理部（３１）に、
    前記測距センサが生成した画像であって、光照射に応じた反射光を受光素子（１２ａ）が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより前記反射光画像と同座標系となっている背景光画像とを、取得する処理と、
    前記カメラが生成した画像であって、外部からの入射光をカメラ素子（２２ａ）が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を取得する処理と、
    スケールに影響するパラメータを有する特徴点検出器を用いて、前記背景光画像の特徴点（ＦＰａ）と前記カメラ画像の特徴点（ＦＰｂ）とをそれぞれ検出する処理と、
    検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との対応関係を特定する処理と、
    前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させる処理と、を実行させ、
    前記検出する処理においては、前記背景光画像の解像度と前記カメラ画像の解像度との比を把握し、前記比に基づいて、前記背景光画像の特徴点の検出に使用する前記パラメータと、前記カメラ画像の特徴点の検出に使用する前記パラメータとを相違させているイメージレジストレーションプログラム。

Images