JP7738632B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

近年、交通参加者の中でも脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて運転支援技術に関する研究開発を通して交通の安全性や利便性をより一層改善する研究開発に注力している。これに関連して、移動体に搭載されるカメラから撮影画像を取得し、取得した撮影画像のうちカメラの撮影方向における移動体の外部環境に基づいて設定または変更される抽出領域から特徴点を抽出し、抽出した特徴点からカメラの姿勢を推定する技術が知られている（例えば、特許文献１参照）。

特開２０２１－３３６０５号公報

ところで、運転支援技術においては、移動体への撮像装置の取り付けのずれや撮像装置の製品上のばらつき等の要因によって、撮像画像に対する適切な較正ができない場合があるという課題があった。

本願は、上記課題の解決のため、移動体に搭載された撮像装置により撮像された画像に対して、より適切な較正を行うことができる画像処理装置、画像処理方法、およびプログラムを提供することを目的の一つとする。そして、延いては持続可能な輸送システムの発展に寄与するものである。

この発明に係る画像処理装置、画像処理方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る画像処理装置は、移動体に搭載された撮像装置から前記移動体の周辺の画像を取得する取得部と、前記取得部により取得された画像から特徴点を抽出する抽出部と、前記画像から前記移動体が移動する移動道路領域を検出する第１検出部と、前記画像から前記移動道路領域と交差する交差道路領域を検出する第２検出部と、前記抽出部により抽出された特徴点のうち、前記第１検出部により検出した移動道路領域の特徴点を第１特徴点として抽出する第１特徴点抽出部と、前記特徴点のうち、前記第２検出部により検出した交差道路領域の特徴点を第２特徴点として抽出する第２特徴点抽出部と、前記第１特徴点と前記第２特徴点とに基づいて前記画像を較正する較正部と、を備える画像処理装置である。

（２）：上記（１）の態様において、前記取得部は、前記撮像装置により、少なくとも前記移動体の前方を撮像した画像と前記前方とは異なる方向の画像とを取得するものである。

（３）：上記（１）の態様において、前記較正部は、前記第１特徴点に基づいて前記移動体のピッチ方向の画像の較正を行い、前記第２特徴点に基づいて前記移動体のロール方向の画像の較正を行うものである。

（４）：上記（１）の態様において、前記較正部は、前記取得部により所定周期で取得される画像フレームから所定フレーム数以上連続して前記交差道路領域の第１特徴点と前記移動道路領域の第２特徴点とが抽出された場合に、前記画像の座標系を較正するものである。

（５）：上記（１）の態様において、前記較正部は、前記画像に含まれる前記移動体の前方を基準とした画像の座標系から前記移動体を上から見た鳥瞰座標系に変換する座標変換パラメータを較正するものである。

（６）：上記（１）の態様において、前記撮像装置は、前記移動体の前方を撮像する撮像部と、前記前方とは異なる方向を撮像する撮像部とが一体に構成されているものである。

（７）：本発明の他の態様に係る画像処理方法は、コンピュータが、移動体に搭載された撮像装置から前記移動体の周辺の画像を取得し、取得した前記画像から特徴点を抽出し、前記画像から前記移動体が移動する移動道路領域を検出し、前記画像から前記移動道路領域と交差する交差道路領域を検出し、抽出した前記特徴点のうち、前記移動道路領域の特徴点を第１特徴点として抽出し、前記特徴点のうち、前記交差道路領域の特徴点を第２特徴点として抽出し、前記第１特徴点と前記第２特徴点とに基づいて前記画像を較正する、画像処理方法である。

（８）：本発明の他の態様に係るプログラムは、コンピュータに、移動体に搭載された撮像装置から前記移動体の周辺の画像を取得させ、取得された前記画像から特徴点を抽出させ、前記画像から前記移動体が移動する移動道路領域を検出させ、前記画像から前記移動道路領域と交差する交差道路領域を検出させ、抽出された前記特徴点のうち、前記移動道路領域の特徴点を第１特徴点として抽出させ、前記特徴点のうち、前記交差道路領域の特徴点を第２特徴点として抽出させ、前記第１特徴点と前記第２特徴点とに基づいて前記画像を較正させる、プログラムである。

上記（１）～（８）の態様によれば、移動体に搭載された撮像装置により撮像された画像に対して、より適切な較正を行うことができる。

実施形態の画像処理装置を含む運転支援装置１の機能構成の一例を示す図である。 撮像装置１０の一例を示す図である。 前方カメラ１２と後方カメラ１４の撮影方向について説明するための図である。 撮像装置１０により撮像された画像の一例を示す図である。 実施形態における座標変換処理について説明するための図である。 実施形態の画像処理装置１００より実行される処理の流れの一例を示すフローチャートである。

以下、図面を参照し、本発明の画像処理装置、画像処理方法、およびプログラムの実施形態について説明する。以下の例では、移動体に搭載される画像処理装置について説明する。移動体とは、三輪または四輪等の車両、二輪車、マイクロモビリティ等を含み、人（運転者等の乗員）が搭乗するあらゆる移動体を含んでよい。また、移動体は、画像処理装置により処理された画像に基づいて移動体の乗員（運転者）の運転を支援する運転支援装置を備えていてもよい。以下の説明では、移動体は、四輪の車両（以下、「車両Ｍ」と称する）であり、且つ運転支援装置を備えているものとする。車両Ｍは、ディーゼルエンジンやガソリンエンジン等の内燃機関を動力源とした自動車、電動機を動力源とした電気自動車、または内燃機関および電動機を兼ね備えたハイブリッド自動車の何れでもよい。また、以下の説明では、車両Ｍの前方方向をプラスＸ方向、車両Ｍの後方方向をマイナスＸ方向、車両Ｍの幅方向であってプラスＸ方向を基準に右方向をプラスＹ方向、左側方向をマイナスＹ方向、Ｘ方向およびＹ方向に直交する方向であって車両Ｍの高さ方向をプラスＺ方向として説明する。

［構成］
図１は、実施形態の画像処理装置を含む運転支援装置１の機能構成の一例を示す図である。図１に示す運転支援装置１は、例えば、撮像装置１０と、認識部２０と、運転支援部３０と、通知制御部４０と、画像処理装置１００とを備える。認識部２０、運転支援部３０、通知制御部４０、および画像処理装置１００は、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＳＯＣ（System On Chip）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。なお、実施形態の車両Ｍには、図１の構成の他、車両Ｍを走行させるための構成（例えば、運転操作子、エンジンやモータ等の駆動装置、操舵装置、ブレーキ装置、車両センサ）等を備える。

撮像装置１０は、車両Ｍの周辺を撮像する。例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。撮像装置１０は、ステレオカメラであってもよい。また、撮像装置１０は、例えば、ドライブレコーダ等に用いられるカメラであってもよい。図１の例において、撮像装置１０は、複数の撮像部として、前方カメラ１２と、後方カメラ１４とを備える。前方カメラ１２は、車両Ｍの前方の所定領域を撮像する。後方カメラ１４は、前方と異なる方向（例えば、車両Ｍの後方）の所定領域を撮像する。前方カメラ１２により撮像された前方画像および後方カメラ１４により撮像された後方画像のうち少なくとも一方には車両Ｍの横方向の領域が含まれてよい。また、撮像装置１０は、前方カメラ１２および後方カメラ１４に加えて車両Ｍの横方向を撮像するサイドカメラが設けられていてもよい。また、撮像装置１０は、上述したカメラに代えて車両Ｍの前方および後方を含む周辺を広角に（例えば３６０度で）撮像可能な魚眼カメラであってもよい。撮像装置１０は、各カメラが所定周期で繰り返し撮像を行い、撮像画像を画像処理装置１００に出力する。

画像処理装置１００は、撮像装置１０により撮像された画像を取得し、画像の座標系（以下、カメラ座標系）を、カメラ座標系とは異なる座標系に変換する処理を行う。カメラ座標系には、前方画像に対応する前方カメラ座標系と後方画像に対応する後方カメラ座標系とが含まれる。カメラ座標系と異なる座標系とは、例えば、車両Ｍを上から見た車両Ｍの位置を基準とする座標系（車両座標系、鳥瞰座標系）である。

画像処理装置１００は、例えば、取得部１１０と、抽出部１２０と、第１検出部１３０と、第２検出部１３２と、第１特徴点抽出部１４０と、第２特徴点抽出部１４２と、較正部１５０と、座標変換部１６０と、記憶部１７０とを備える。

記憶部１７０は、ＨＤＤやフラッシュメモリ等の記憶装置或いはＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現されてもよい。記憶部１７０は、例えば、取得部１１０により取得される画像、較正部１５０や座標変換部１６０による処理結果、プログラム、その他の各種情報等が格納される。また、記憶部１７０には、地図情報が格納されていてもよい。地図情報は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が位置情報（緯度、経度情報）に対応付けて表現された情報である。また、地図情報は、道路の曲率や勾配、車線数、幅員、車線の中央の情報、或いは車線を区画する道路区画線等の車線境界情報等を含んでいてもよい。また、地図情報には、交通規制情報、分岐、合流、交差点、Ｔ字路等が存在する位置情報や、建物または駐車場等の施設情報、ＰＯＩ（Point Of Interest）情報等が含まれてよい。地図情報は、車両Ｍまたは運転支援装置１が他装置と通信することにより、随時、アップデートされてよい。

取得部１１０は、撮像装置１０により所定周期で撮像された前方画像および後方画像の画像フレームを取得する。抽出部１２０は、取得部１１０により取得された前方画像および後方画像に含まれる特徴点を抽出する。例えば、抽出部１２０は、前方画像および後方画像に対するエッジ抽出処理等の既知の画像解析処理を行い、画像解析処理結果に基づいて画像に含まれる実空間中の物体（例えば、交通信号機、道路標識、歩行者や他車両等の交通参加者、建物だけでなく、道路区画線や停止線等も含む）の特徴点を抽出する。この場合、抽出部１２０は、例えば、画像に含まれる物体のエッジ上の点列を特徴点（特徴点群）として抽出する。画像上の特徴点の抽出手法は、上記の例に限定されるものではなく他の既知の手法が用いられてよい。また、抽出部１２０は、例えば、前方画像や後方画像が入力されると、画像に写されるオブジェクト（例えば、建物や道路構造物等）のエッジを点群として出力するように学習された学習済みモデルを用いて、特徴点を抽出してもよい。学習済みモデルは、予め記憶部１７０に格納されてもよく、車両Ｍに搭載された通信装置（不図示）を介して外部装置から取得してもよい。また、抽出部１２０は、例えば、撮像装置１０により撮像された画像データから自己位置を三次元で把握する技術であるＶｉｓｕａｌ ＳＬＡＭ（Simultaneous Localization and Mapping）の手法を用いて特徴点を抽出してもよい。

第１検出部１３０は、前方画像および後方画像から車両Ｍが走行（移動）する自車道路領域（移動道路領域の一例）を検出する。第２検出部１３２は、前方画像および後方画像から自車道路と交差する交差道路領域を検出する。交差道路とは、例えば、交差点やＴ字路等において、自車道路と直角を含む所定角度範囲で連結される道路である。第１検出部１３０および第２検出部１３２の処理の詳細については後述する。

第１特徴点抽出部１４０は、抽出部１２０により抽出された特徴点（特徴点群）のうち、第１検出部１３０により検出された自車道路領域の特徴点を第１特徴点として抽出する。第２特徴点抽出部１４２は、抽出部１２０により抽出された特徴点（特徴点群）のうち、第２検出部１３２により検出された交差道路領域の特徴点を第２特徴点として抽出する。第１特徴点および第２特徴点は、実施形態における画像の較正（キャリブレーション）に必要な特徴点である。第１特徴点抽出部１４０および第２特徴点抽出部１４２の処理の詳細については後述する。

較正部１５０は、第１特徴点抽出部１４０により抽出された第１特徴点および第２特徴点抽出部１４２により抽出された第２特徴点に基づいて、撮像装置１０により撮像された画像を較正する。例えば、較正部１５０は、撮像された画像の座標系を、カメラ座標系から、カメラ座標系と異なる座標系（鳥瞰座標系）に変換する座標変換パラメータを較正する。これにより、より適切な座標変換を行うことができる。較正部１５０の機能の詳細については後述する。較正部１５０は、較正された座標変換パラメータに関する情報を記憶部１７０に記憶させてもよい。

座標変換部１６０は、取得部１１０により取得された画像の座標系（カメラ座標系）を他の座標系に変換する。例えば、座標変換部１６０は、カメラ座標系を認識部２０による車両Ｍの周辺状況の認識で用いられる鳥瞰座標系に変換する。この場合、座標変換部１６０は、予め記憶部１７０等に記憶された基準となる座標変換パラメータに対して較正部１５０により較正された座標変換パラメータにより鳥瞰座標に変換する。

認識部２０は、座標変換部１６０により鳥瞰座標系に変換された画像（以下、「鳥瞰画像」）に基づいて、車両Ｍの周辺状況を認識する。例えば、認識部２０は、鳥瞰画像に基づいて、車両Ｍの周辺（車両Ｍから所定距離以内）に存在する物体を認識する。物体には、例えば、他車両や歩行者等の交通参加者が含まれる。認識部２０は、物体の位置（車両Ｍから見た相対位置）、速度（車両Ｍからみた相対速度）、物体の種類、形状、大きさ等を認識する。物体の認識には、例えば、ディープラーニングや深層機械学習等によるモデルを用いた物体認識や、パターンマッチング手法に基づく物体認識、またはこれらを組み合わせた物体認識手法が行われる。

運転支援部３０は、認識部２０による認識結果に基づいて、車両Ｍの乗員に対する運転支援を行う。例えば、運転支援部３０は、認識部２０により認識された道路区画線により区画された車両の走行車線を逸脱するか否かを判定し、逸脱する可能性がある場合に通知制御部４０を介して車両Ｍの運転者に通知したり、車両Ｍの走行車線の逸脱を抑制するように（車両Ｍが走行車線の中央側に移動するように）、操舵装置（不図示）により車両Ｍの操舵を制御する。また、運転支援部３０は、車両Ｍの周辺（所定距離以内）に存在する他車両等の障害物を認識し、障害物との相対位置や相対速度に基づき障害物と接触する可能性があると判定した場合に、通知制御部４０により乗員に通知したり、接触を回避する走行制御（速度制御および操舵制御のうち少なくとも一方）を実行する。

通知制御部４０は、運転支援部３０による制御に基づき、車両Ｍの乗員（運転者）に運転支援に関する通知を行う。この場合、通知制御部４０は、乗員に通知する通知内容に対応付けられた音（警報）や画像等の通知情報を生成し、生成した通知情報を端末装置Ｔに送信して出力させる。

ここで、端末装置Ｔは、例えば、運転支援装置１が搭載された車両Ｍを運転する運転者が使用するスマートフォンやタブレット端末等の可搬型の端末装置である。端末装置Ｔでは、例えば、運転支援装置１による運転支援を受けるためのアプリケーション等が実行されている。アプリケーションは、運転支援装置１により送信された情報や通知に基づく画像を端末装置Ｔの表示部に表示させたり、音を端末装置Ｔのスピーカに発音させたりする。端末装置Ｔは、「通知部」の一例である。端末装置Ｔは、例えば、車両Ｍに着脱可能に取り付けられ利用される。例えば、端末装置Ｔまたは車両Ｍの一方または双方に着脱部を有する端末装置Ｔ用のホルダが設けられ、端末装置Ｔはホルダにより支持される。なお、実施形態では、車両Ｍにナビゲーション装置や表示装置、スピーカ等の機器が搭載されている場合に、運転支援部３０の指示に基づいて端末装置Ｔに代わりに搭載機器から通知情報を出力してもよい。

［特徴点を抽出するまでの処理］
次に、取得部１１０により取得した画像（前方画像、後方画像）から特徴点を抽出するまでの処理の具体例について説明する。図２は、撮像装置１０の一例を示す図である。実施形態の撮像装置１０は、例えば、図２に示すようにフロントウインドシールド上部のルームミラーＲＭ付近に取り付けられる。例えば、撮像装置１０は、例えば、車両Ｍに着脱自在に取り付け可能な取付部ＡＴを備える。取付部ＡＴは、例えば、吸盤やシール、ブラケット等の支持部材等の任意の部材である。図２の例において、撮像装置１０は、ルームミラーＲＭの下部に取り付けられているが、位置についてはこれに限定されるものではなく、例えばルームミラーＲＭの右側や左側に取り付けられてもよい。

図３は、前方カメラ１２と後方カメラ１４の撮影方向について説明するための図である。上述した図２や図３に示すように、撮像装置１０は、前方カメラ１２と後方カメラ１４とが所定距離以内で一体に構成される。一体に構成されるとは、例えば、前方カメラ１２と後方カメラ１４とが１つの筐体内に格納される場合やそれぞれが連結（結合）している構成を含んでいてもよい。この構成において、例えば、前方カメラ１２が車両Ｍの正面方向Ａ１（図中のプラスＸ軸方向）を中心とする所定の画角領域ＶＡ１を撮像する場合に、後方カメラ１４は車両Ｍの正面方向Ａ１とは逆の方向Ａ２を中心とする所定の画角領域ＶＡ２を撮像する。したがって、仮に、取り付け時または取り付け後に何らの要因による設置ずれ等により、前方カメラ１２が車両Ｍの正面方向Ａ１を基準として下方向に角度θ１だけ傾いた方向を中心とした画角領域を撮像する場合、後方カメラ１４は正面方向Ａ１とは逆の方向Ａ２を基準として上方向に角度θ１だけ傾いた方向を中心とした画角領域を撮像する。実施形態において、一体に構成された前方カメラ１２と後方カメラ１４のうち、一方のカメラの撮像方向（画角）にずれが生じた場合、他方のカメラの撮像方向（画角）にも、撮像装置１０の設置位置を中心とした対称の方向に同様のずれが生じる。

図４は、撮像装置１０により撮像された画像の一例を示す図である。図４の例では、前方カメラ１２により撮像される前方画像ＩＭ１０と、後方カメラ１４により撮像される車両Ｍの後方画像ＩＭ２０とが示されている。前方画像ＩＭ１０には、車両Ｍのフロントウインドシールド越しに車外（車両Ｍの前方）の領域が撮像される。後方画像ＩＭ２０には、車室内を含む後方領域が撮像され、サイドウインドシールドおよびリアウインドシールド越しに車外（車両Ｍの側方または後方）の領域が撮像される。

抽出部１２０は、図４に示す前方画像ＩＭ１０および後方画像ＩＭ２０から複数の特徴点（特徴点群）を抽出する。例えば、抽出部１２０は、所定周期で取得される前方画像ＩＭ１０および後方画像ＩＭ２０の画像フレームごとに特徴点を抽出する。

第１検出部１３０は、前方画像ＩＭ１０および後方画像ＩＭ２０から、画像中の自車道路領域を検出する。例えば、第１検出部１３０は、抽出部１２０により抽出された特徴点群に含まれる点列部分に基づいて車両Ｍの左右の道路区画線を取得し、取得した道路区画線により区画される領域を自車道路領域として検出する。例えば、第１検出部１３０は、前方画像ＩＭ１０および後方画像ＩＭ２０を複数の分割領域に分割し、分割領域ごとに自車道路領域を検出してもよい。また、図４の前方画像ＩＭ１０や後方画像ＩＭ２０に示すように、それぞれの画像上において、自車道路領域が存在する位置は画像の中央付近であり、ある程度予測しやすい。したがって、第１検出部１３０は、前方画像ＩＭ１０および後方画像ＩＭ２０のうち、予め自車道路領域が存在する可能性が高いと予測される部分領域（例えば、画像の中央を含む所定領域）を対象として、特徴点群に基づく自車道路領域を検出してもよい。これにより、自車道路領域の検出に関する処理負荷を軽減させることができる。

また、第１検出部１３０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現してもよい。例えば、「自車道路領域を検出する」機能は、前方画像ＩＭ１０および後方画像ＩＭ２０に対して、ディープラーニング等による自車両道路領域の検出と、予め与えられた判定処理（例えば、パターンマッチングに基づく判定処理）による自車両道路領域の検出とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。

図４の例において、第１検出部１３０は、前方画像ＩＭ１０から車両Ｍの前方の自車道路領域ＡＲ１０Ｆを検出し、後方画像ＩＭ２０から車両Ｍの後方の自車道路領域ＡＲ１０Ｒを検出する。

第２検出部１３２は、前方画像ＩＭ１０および後方画像ＩＭ２０から、画像中の交差道路領域を検出する。例えば、第２検出部１３２は、抽出部１２０により抽出された特徴点群に含まれる点列部分に基づいて、第１検出部１３０により検出された自車道路領域に所定角度で接する点列を検出する。所定角度とは、例えば、自車道路領域の延伸方向に対して９０度（直角）を含む所定角度範囲（例えば、約７５～１０５度程度）である。そして、第２検出部１３２は、２つの点列が所定距離以内に平行（許容誤差範囲を含む）に存在する場合に、その２つの点列を道路区画線とし、道路区画線で区画された領域を交差道路領域として検出する。

例えば、第２検出部１３２は、前方画像ＩＭ１０および後方画像ＩＭ２０を複数の分割領域に分割し、分割領域ごとに交差道路領域を検出してもよい。また、第２検出部１３２は、前方画像ＩＭ１０および後方画像ＩＭ２０のうち、予め交差道路領域が存在する可能性が高いと予測される部分領域を対象として、特徴点群に基づく交差道路領域を検出してもよい。これにより、交差道路領域の検出に関する処理負荷を軽減させることができる。

また、第２検出部１３２は、例えば、ＡＩによる機能と、予め与えられたモデルによる機能とを並行して実現してもよい。例えば、「交差道路領域を検出する」機能は、前方画像ＩＭ１０および後方画像ＩＭ２０に対して、ディープラーニング等による交差道路領域の検出と、予め与えられた判定処理（例えば、パターンマッチングに基づく判定処理）による交差両道路領域の検出とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。

なお、第２検出部１３２は、前方画像ＩＭ１０または後方画像ＩＭ２０から交通信号機や横断歩道等の特定の道路構造物が検出された場合に、道路構造物が検出された位置から所定距離以内の範囲で交差道路領域の検出処理を行ってもよい。また、第２検出部１３２は、車両Ｍの位置情報に基づいて記憶部１７０に記憶された地図情報を参照し、車両Ｍの位置が交差点やＴ字路等のように、交差道路が存在する可能性が高い位置に近い場合（所定距離以内である場合）に、交差道路領域の検出処理を行ってもよい。車両Ｍの位置情報は、例えば、車両Ｍに搭載された位置センサ（不図示）によって取得される。位置センサは、例えば、ＧＰＳ（Global Positioning System）装置から位置情報（経度・緯度情報）を取得する。また、位置センサは、車両Ｍに搭載されたナビゲーション装置（不図示）のＧＮＳＳ（Global Navigation Satellite System）受信機を用いて位置情報を取得してもよい。これにより、交差道路領域が存在する可能性が高い領域で検出処理が実行されるため、より効率的に交差道路領域を検出することができる。

図４の例において、第２検出部１３２は、前方画像ＩＭ１０から交差道路領域ＡＲ２０Ｌ、ＡＲ２０Ｒを検出する。また、第２検出部１３２は、自車道路領域ＡＲ１０Ｆに右側で連結する交差道路領域ＡＲ２０Ｒと、左側で連結する交差道路領域ＡＲ２０Ｌとを区別して認識してもよい。なお、第２検出部１３２は、後方画像ＩＭ２０に交差道路領域が含まれていれば、その領域も検出する。

第１特徴点抽出部１４０は、抽出部１２０により抽出された特徴点（特徴点群）のうち、第１検出部１３０により検出された自車道路領域ＡＲ１０Ｆ、ＡＲ１０Ｒの特徴点を抽出する。また、第２特徴点抽出部１４２は、抽出部１２０により抽出された特徴点のうち、第２検出部１３２により検出された交差道路領域ＡＲ２０Ｌ、ＡＲ２０Ｒの特徴点を抽出する。

［較正部］
次に、較正部１５０による画像の較正（キャリブレーション）処理について具体的に説明する。例えば、較正部１５０は、前方画像ＩＭ１０および後方画像ＩＭ２０のうち、少なくとも一方に対して、時刻の異なる画像のフレームから自車道路領域と交差道路領域の特徴点が、所定フレーム数以上連続して抽出された場合に、画像の較正を行う。所定フレーム数は、固定数でもよく、車両Ｍの走行車線の道路形状や車両Ｍの速度、進行方向等の走行状況に応じて可変に設定されてよい。

例えば、較正部１５０は、前方画像ＩＭ１０および後方画像ＩＭ２０の時刻の異なる二つの画像フレームに含まれる自車道路領域（例えば、図４に示す自車道路領域ＡＲ１０Ｆ、ＡＲ１０Ｒ）の時間経過に伴う特徴点の位置の変化に基づいて、特徴点のフレーム間での動きを検出し、検出した動きをベクトル（動きベクトル）で表すオプティカルフロー処理を行う。動きベクトルには、例えば、動いた方向と量（変位量）に関する情報が含まれる。動きベクトルを取得する異なる二つの画像フレームの時間間隔（周期）は、取得部１１０により取得される画像フレームの周期（または周期の整数倍）でもよく、車両Ｍの速度や自車道路領域の大きさ等に基づいて可変に設定されてもよい。

また、オプティカルフロー処理で用いられる特徴点は、自車道路領域ＡＲ１０Ｆ、ＡＲ１０Ｒに含まれる全ての特徴点を用いることに代えて、所定数以下となるように間引かれた特徴点でもよい。この場合、較正部１５０は、自車道路領域ＡＲ１０Ｆ、ＡＲ１０Ｒを複数の分割領域に分割し、分割領域ごとに特徴点の数が下限値以上、且つ上限値以下になるように調整してもよい。オプティカルフロー処理で用いる特徴点の数を減らすことで、処理負荷を軽減させることができる。

また、較正部１５０は、オプティカルフロー処理により得られた動きベクトルと、異なる二つの画像フレーム間の時間における車両Ｍの進行方向とに基づいて自車道路の路面から垂直な方向の法線ベクトルを設定する。例えば、較正部１５０は、前方画像から取得した自車道路領域ＡＲ１０Ｆから複数の動きベクトルを抽出し、抽出した複数の動きベクトルの方向（車両Ｍの進行方向に対応する方向）に基づいて自車道路の路面（平面）を設定し、設定した路面に対する法線ベクトルを設定する。また、較正部１５０は、後方画像から取得した自車道路領域ＡＲ１０Ｒについても同様に自車道路の路面に対する法線ベクトルを設定する。

そして、較正部１５０は、カメラ座標系における自車道路領域ＡＲ１０Ｆ、ＡＲ１０Ｒの法線ベクトルと、実際の路面の法線ベクトル（つまり、水平面に垂直な方向の基準法線ベクトル）とのずれ量が閾値以下となるように、画像のキャリブレーションを行う。なお、実施形態では、前方カメラ１２と後方カメラ１４とが一体に構成されているため、前方画像と後方画像とでずれ方向は逆となる。つまり、仮に、前方画像の自車道路領域ＡＲ１０Ｆに対する法線ベクトルが基準法線ベクトルに対して右方向にずれている場合、後方画像の自車道路領域ＡＲ１０Ｒに対する法線ベクトルは基準法線ベクトルに対して左方向にずれる。したがって、較正部１５０は、前方画像および後方画像のそれぞれに対応したキャリブレーションを実行する。

また、自車道路領域ＡＲ１０Ｆ、ＡＲ１０Ｒは、画像の上下（車両Ｍの前方または後方）に延伸する領域であるため、較正部１５０は、自車道路領域ＡＲ１０Ｆ、ＡＲ１０Ｒを用いて、主に車両Ｍ（または撮像装置１０）のピッチ方向の較正を行う。これにより、ピッチ方向に対してより適切な較正を行うことができる。

また同様に、較正部１５０は、前方画像ＩＭ１０および後方画像ＩＭ２０の時間の異なる二つの画像フレームに含まれる交差道路領域（例えば、図４に示す交差道路領域ＡＲ２０Ｌ、ＡＲ２０Ｒ）の時間経過に伴う特徴点の位置の変化に基づいて動きベクトルを抽出するオプティカルフロー処理を行う。この場合、較正部１５０は、オプティカルフロー処理で用いられる特徴点を間引いてもよく、交差道路領域ＡＲ２０Ｌ、ＡＲ２０Ｒを複数の分割領域に分割し、分割領域ごとに特徴点の数が下限値以上、且つ上限値以下になるように調整してもよい。

また、較正部１５０は、上述したように、動きベクトルと、異なる二つの画像フレーム間の時間における車両Ｍの進行方向とに基づいて交差道路の路面に対する法線ベクトルを設定し、設定した法線ベクトルと基準法線ベクトルのずれ量が閾値以下となるように、画像のキャリブレーションを行う。なお、交差道路領域ＡＲ２０Ｌ、ＡＲ２０Ｒは、画像の左右（車両Ｍの横方向）に延伸する領域であるため、較正部１５０は、交差道路領域ＡＲ２０Ｌ、ＡＲ２０Ｒを用いて、主に車両Ｍ（または車両Ｍに搭載された撮像装置１０）のロール方向の較正を行う。これにより、ロール方向に対してより適切な較正を行うことができる。

上述したように、較正部１５０は、自車道路領域に含まれる特徴点に基づいてピッチ方向のキャリブレーションを行い、交差道路領域に含まれる特徴点に基づいてロール方向のキャリブレーションを行う。なお、較正部１５０は、複数の法線ベクトルが存在する場合に、法線ベクトルの平均と基準法線ベクトルとを比較してキャリブレーションを行ってもよく、複数の法線ベクトルと、基準法線ベクトルとの誤差（最小二乗誤差）が閾値以下となるようにキャリブレーションを行ってもよい。

また、較正部１５０は、キャリブレーションに関する情報を較正パラメータとして取得してもよく、座標変換部１６０において、画像の座標系をカメラ座標系から異なる座標系（例えば、鳥瞰座標系）に座標変換する場合に用いられる座標変換パラメータを較正してもよい。これにより、画像の座標変換時において、より正確な座標変換を行うことができる。

［座標変換部］
次に、座標変換部１６０の処理について説明する。例えば、座標変換部１６０は、取得部１１０により取得された画像のカメラ座標系を鳥瞰座標系に座標変換する。この場合、座標変換部１６０は、予め決められた基準の座標変換パラメータに対して、較正部１５０により較正に必要なパラメータ（ピッチ方向およびロール方向の較正パラメータ）を付加して、座標変換を行う。

図５は、実施形態における座標変換処理について説明するための図である。例えば、撮像装置１０（図５の例では前方カメラ１２）により撮像されたカメラ座標系の三次元の各軸を［Ｘｃ，Ｙｃ，Ｚｃ］とし、車両Ｍの進行方向を向いた地面（移動路面）に水平な仮想カメラ座標系を［Ｘｖｃ，Ｙｖｃ，Ｚｖｃ］とする。ここで、Ｘｖｃは車両Ｍの進行方向、Ｙｖｃは車両Ｍの横方向、Ｚｖｃは車両Ｍの上下方向を示す。また、車両Ｍに対するロール角をθ、ピッチ角をρ、ヨー角をφとすると、それぞれの角度［θ，ρ，φ］は、仮想カメラ座標系［Ｘｖｃ，Ｙｖｃ，Ｚｖｃ］のそれぞれの軸周りの回転角を示す。このときのロール角θ、ピッチ角ρは、較正部１５０によりキャリブレーションされた値となっている。較正部１５０は、例えば以下に示す式（１）を用いて、カメラ座標系から進行方向を向いた地面に平行な仮想カメラ座標系への座標変換（回転）を行う。

なお、式（１）のうち各軸に対する回転自由度Ｒｘ、Ｒｙ、Ｒｚは以下に示す式（２）～（４）を用いて導出される。

認識部２０は、画像処理装置１００により処理された画像（キャリブレーション処理済み画像）を用いて車両Ｍの周辺に存在する物体の位置等の周辺状況を認識する。例えば、認識部２０は、キャリブレーション処理されたカメラ座標系の画像を鳥観図座標系に変換したときの物体の位置を認識する。

例えば、図５に示すように、地面（道路面）が常に平ら（変動角度が許容範囲内）である場合、認識部２０は、前方カメラ１２からみたカメラ座標系上の物体に対する鳥瞰図座標系での方位角と距離とを認識する。この場合、認識部２０は、例えば、俯角α（仮想カメラの向きを基準とした極座標で表現した時の物体の見下ろし角度）を以下に示す式（５）を用いて算出し、方位角βを「β＝ｔａｎ^－１（Ｙｖｃ／Ｘｖｃ）」によって算出する。

また、前方カメラ１２の設置位置（高さｈｃ）が予め設定されている場合、認識部２０は、俯角αと高さｈｃとを用いて、車両Ｍ（より具体的には、車両Ｍに搭載された前方カメラ１２の位置）から物体までの距離Ｄを「Ｄ＝ｈｃ／ｔａｎα」によって算出する。これらの処理を、車両Ｍの周辺の物体に対して行うことで、鳥瞰座標系において車両Ｍの周辺の物体の位置や、物体までの距離をより適切に認識することができる。

なお、通知制御部４０は、鳥瞰座標系に変換した後の車両Ｍの周辺状況の画像を生成し、生成した画像を、端末装置Ｔを介して乗員に通知してもよい。これにより、乗員に正確な周辺状況を、乗員がしやすい表示態様で表示させることができる。

上述したように、実施形態では、前方画像ＩＭ１０および後方画像ＩＭ２０の両方に含まれる自車道路領域に基づき、画像の較正（例えば、カメラ座標系から鳥瞰座標系への座標変換パラメータのキャリブレーション）を行うため、より高精度な較正を実現できる。また、実施形態によれば、例えば、車両Ｍに実際に搭載された前方カメラ１２および後方カメラ１４の画像情報に基づいてキャリブレーションを実行することで、取り付けずれや製品ごとのばらつきによるピッチ方向およびロール方向の画像の誤認識を抑制できる。したがって、より適切な物体認識や運転支援を行うことができる。特に、道路領域を基準にカメラ画像のキャリブレーションを行う場合、自車線領域は横方向の領域が狭いため、ロール方向のキャリブレーションが適切に行われない可能性がある。そこで、実施形態では、自車道路に交差する交差道路領域を用いることでロール方向に対してもより適切なキャリブレーションを行うことができる。

［処理フロー］
図６は、実施形態の画像処理装置１００より実行される処理の流れの一例を示すフローチャートである。図６の処理は、例えば、撮像装置１０を車両Ｍに取り付けた後の走行開始時等の所定タイミング、または所定周期で実行されてよい。図６の例において、取得部１１０は、撮像装置１０（前方カメラ１２および後方カメラ１４）からカメラ画像（前方画像および後方画像）を取得する（ステップＳ１００）。次に、抽出部１２０は、取得したカメラ画像の特徴点を抽出する（ステップＳ１１０）。次に、第１検出部１３０は、カメラ画像から自車道路領域を抽出する（ステップＳ１２０）。次に、第２検出部１３２は、カメラ画像から交差道路領域を抽出する（ステップＳ１３０）。

次に、第１特徴点抽出部１４０は、ステップＳ１１０の処理により抽出された特徴点のうち、自車道路領域内の特徴点を抽出する（ステップＳ１４０）。次に、第２特徴点抽出部１４２は、ステップＳ１１０の処理により抽出された特徴点のうち、自車道路領域内の特徴点を抽出する（ステップＳ１５０）。

次に、較正部１５０は、所定フレーム数以上連続して自車道路領域および交差道路領域の両方の領域の特徴点が抽出されたか否かを判定する（ステップＳ１６０）。所定フレーム数以上連続して両方の領域の特徴点が抽出されていないと判定した場合、ステップＳ１００の処理に戻る。また、所定フレーム数以上連続して両方の領域の特徴点が抽出されたと判定した場合、較正部１５０は、抽出された特徴点に基づいて、画像のピッチ方向およびロール方向の較正を実行する（ステップＳ１７０）。次に、座標変換部１６０は、較正結果に基づき画像の座標変換を行う（ステップＳ１８０）。これにより、本フローチャートの処理は実行する。

なお、図６の例において、ステップＳ１１０～Ｓ１３０の処理は、図６に示す順序と異なる順序で実行されてよく、マルチプロセッサ等により並列して実行されてもよい。ステップＳ１４０およびＳ１５０の処理についても同様である。

また、図６の例では、ステップＳ１６０の処理において、所定フレーム数以上連続して自車道路領域と交差道路領域の両方から特徴点が抽出された段階で較正を行ったが、較正部１５０は、所定フレーム数以上連続して自車道路領域から特徴点が抽出された場合に車両Ｍのピッチ方向のみの較正を行ってもよい。また、較正部１５０は、所定フレーム数以上連続して交差道路領域から特徴点が抽出された場合にロール方向のみの較正を行ってもよい。

＜変形例＞
実施形態では、上述したように画像全体の特徴点を抽出し、抽出した特徴点のうち自車道路領域および交差道路領域の特徴点を抽出することに代えて、先に画像に含まれる自車両道路領域および交差道路領域を抽出し、抽出した各道路領域から特徴点を抽出してもよい。

また、実施形態において、較正部１５０は、前方画像または後方画像から所定領域以上の自車道路領域および交差道路領域が抽出された場合に画像の較正を行ってもよい。これにより、比較的広い道路領域から路面に対する法線ベクトルをより正確に取得できるため、より適切な較正を行うことができる。

また、実施形態において、画像処理装置１００は、前方カメラ１２および後方カメラ１４に対する収差補正や歪補正等の補正処理を行ってもよい。また、実施形態では、後方画像に代えて（または加えて）、車両Ｍの横方向を含む画像（側方画像、サイド画像）を用いてもよい。

以上説明した実施形態によれば、画像処理装置１００において、車両Ｍ（移動体の一例）に搭載された撮像装置から車両Ｍの周辺の画像を取得する取得部１１０と、取得部１１０により取得された画像から特徴点を抽出する抽出部１２０と、画像から車両Ｍが移動する移動道路領域を検出する第１検出部１３０と、画像から移動道路領域と交差する交差道路領域を検出する第２検出部１３２と、抽出部１２０により抽出された特徴点のうち、第１検出部１３０により検出した移動道路領域の特徴点を第１特徴点として抽出する第１特徴点抽出部１４０と、上記特徴点のうち、第２検出部１３２により検出した交差道路領域の特徴点を第２特徴点として抽出する第２特徴点抽出部１４２と、第１特徴点と第２特徴点とに基づいて画像を較正する較正部１５０と、を備えることにより、車両Ｍに搭載された撮像装置１０により撮像された画像に対して、より適切な較正を行うことができる。

具体的には、実施形態によれば、例えば、車両Ｍの前方および後方の画像を用いて自車両道路領域および交差道路領域の特徴点に基づいて画像の較正を行うため、より多くの情報を用いてより高精度な較正を行うことができる。また、後方画像を含めることで、特に交差道路領域が取得し易くなる。また、実施形態によれば、車両Ｍのロール方向については、車両Ｍから見て前後方向に延伸する自車道路領域から得られる情報（自車道路の路面に対する法線ベクトル）を用いることで、ロール方向のより高精度な較正を行うことができる。また、車両Ｍのピッチ方向については、車両Ｍから見て左右方向に延伸する交差道路領域から得られる情報（交差道路の路面に対する法線ベクトル）を用いることで、ピッチ方向のより高精度な較正を行うことができる。

また、実施形態によれば、車両Ｍへの撮像装置の取り付けのずれや撮像装置の製品上のばらつきがあった場合でも車両Ｍに取り付けられた撮像装置から撮像された前方画像および後方画像を用いてキャリブレーションを行うことで、画像の座標変換を行う場合に、より適切な変換を行うことができ、車両Ｍの周辺の物体との相対位置や相対距離をより正確に認識することができる。したがって、これらの認識により、より適切な運転支援を実行することができる。

上記説明した実施形態は、以下のように表現することができる。
コンピュータによって読み込み可能な命令（computer-readable instructions）を格納する記憶媒体（storage medium）と、
前記記憶媒体に接続されたプロセッサと、を備え、
前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより（the processor executing the computer-readable instructions to:）
移動体に搭載された撮像装置から前記移動体の周辺の画像を取得し、
取得した前記画像から特徴点を抽出し、
前記画像から前記移動体が移動する移動道路領域を検出し、
前記画像から前記移動道路領域と交差する交差道路領域を検出し、
抽出した前記特徴点のうち、前記移動道路領域の特徴点を第１特徴点として抽出し、
前記特徴点のうち、前記交差道路領域の特徴点を第２特徴点として抽出し、
前記第１特徴点と前記第２特徴点とに基づいて前記画像を較正する、
画像処理装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…運転支援装置、１０…撮像装置、１２…前方カメラ、１４…後方カメラ、２０…認識部、３０…運転支援部、４０…通知制御部、１００…画像処理装置、１１０…取得部、１２０…抽出部、１３０…第１検出部、１３２…第２検出部、１４０…第１特徴点抽出部、１４２…第２特徴点抽出部、１５０…較正部、１６０…座標変換部、１７０…記憶部

Claims (8)

1. 移動体に搭載された撮像装置から前記移動体の周辺の画像を取得する取得部と、
   前記取得部により取得された画像から特徴点を抽出する抽出部と、
   前記画像から前記移動体が移動する移動道路領域を検出する第１検出部と、
   前記画像から前記移動道路領域と交差する交差道路領域を検出する第２検出部と、
   前記抽出部により抽出された特徴点のうち、前記第１検出部により検出した移動道路領域の特徴点を第１特徴点として抽出する第１特徴点抽出部と、
   前記特徴点のうち、前記第２検出部により検出した交差道路領域の特徴点を第２特徴点として抽出する第２特徴点抽出部と、
   前記第１特徴点と前記第２特徴点とに基づいて前記画像を較正する較正部と、
   を備える画像処理装置。
2. 前記取得部は、前記撮像装置により、少なくとも前記移動体の前方を撮像した画像と前記前方とは異なる方向の画像とを取得する、
   請求項１に記載の画像処理装置。
3. 前記較正部は、前記第１特徴点に基づいて前記移動体のピッチ方向の画像の較正を行い、前記第２特徴点に基づいて前記移動体のロール方向の画像の較正を行う、
   請求項１に記載の画像処理装置。
4. 前記較正部は、前記取得部により所定周期で取得される画像フレームから所定フレーム数以上連続して前記第１特徴点と前記第２特徴点とが抽出された場合に、前記画像の座標系を較正する、
   請求項１に記載の画像処理装置。
5. 前記較正部は、前記画像に含まれる前記移動体の前方を基準とした画像の座標系から前記移動体を上から見た鳥瞰座標系に変換する座標変換パラメータを較正する、
   請求項１に記載の画像処理装置。
6. 前記撮像装置は、前記移動体の前方を撮像する撮像部と、前記前方とは異なる方向を撮像する撮像部とが一体に構成されている、
   請求項１に記載の画像処理装置。
7. コンピュータが、
   移動体に搭載された撮像装置から前記移動体の周辺の画像を取得し、
   取得した前記画像から特徴点を抽出し、
   前記画像から前記移動体が移動する移動道路領域を検出し、
   前記画像から前記移動道路領域と交差する交差道路領域を検出し、
   抽出した前記特徴点のうち、前記移動道路領域の特徴点を第１特徴点として抽出し、
   前記特徴点のうち、前記交差道路領域の特徴点を第２特徴点として抽出し、
   前記第１特徴点と前記第２特徴点とに基づいて前記画像を較正する、
   画像処理方法。
8. コンピュータに、
   移動体に搭載された撮像装置から前記移動体の周辺の画像を取得させ、
   取得された前記画像から特徴点を抽出させ、
   前記画像から前記移動体が移動する移動道路領域を検出させ、
   前記画像から前記移動道路領域と交差する交差道路領域を検出させ、
   抽出された前記特徴点のうち、前記移動道路領域の特徴点を第１特徴点として抽出させ、
   前記特徴点のうち、前記交差道路領域の特徴点を第２特徴点として抽出させ、
   前記第１特徴点と前記第２特徴点とに基づいて前記画像を較正させる、
   プログラム。