JP7741690B2 - 架線認識装置および架線認識方法 - Google Patents

Description

本発明は、架線認識装置および架線認識方法に関する。

３次元点群データから空中線と樹木等のノイズを分離してからモデル推定を行うことにより、樹木がノイズとなる場合でも空中線の抽出を可能にする技術の一例として、特許文献１には、空中に電柱を介して設置された空中線と樹木を含む３次元形状の３次元点群データから電柱の座標を基準として空中線の点群データが存在すると想定される領域を対象エリアとして切り出す対象エリア切り出し部と、対象エリア内の３次元点群データの中から空中線の候補点群データを抽出する空中線候補抽出部と、抽出された空中線の候補点群データに基づいて空中線のモデルを推定する空中線モデル推定部とを有する、ことが記載されている。

特開２０２１－６０７７６号公報

車両にレーザスキャナ、デジタルカメラ、ＧＰＳ等の計測装置を搭載し、走行しながら道路周辺の３次元形状を３Ｄ点群（３次元点群）の形で収集するモバイルマッピングシステム（Ｍｏｂｉｌｅ Ｍａｐｐｉｎｇ Ｓｙｓｔｅｍ：ＭＭＳ）が知られている。

ＭＭＳは、道路周辺の広範囲の３次元形状を効率的かつ高精度に取得することが可能であり、道路周辺設備の状況把握への活用が期待されている。例えば、架線柱を支えとして空中に張り巡らされた架線（電線、通信線、ケーブル等）の認識に対するニーズがある。

特許文献１では、架線が重力によって垂れ下がる形状を３Ｄモデル（３次元モデル）で表現し、レーザスキャナによって取得した３Ｄ点群と架線の３Ｄモデルとのマッチングにより、架線を認識する方法が提示されている。

一方、デジタルカメラによって撮影した視点の異なる複数の画像（多視点画像）から、物体の３Ｄモデルを推定する技術が知られている。

多視点画像からカメラ位置姿勢を推定する技術はＳｆＭ（Ｓｔｒｕｃｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）、多視点画像から３Ｄ点群を生成する技術はＭＶＳ（Ｍｕｌｔｉ－Ｖｉｅｗ Ｓｔｅｒｅｏ）として知られている。ＳｆＭとＭＶＳとを組み合わせることで、多視点画像から物体の３Ｄモデルを推定することが可能である。

特許文献１では、レーザスキャナによって取得した高精度な３Ｄ点群を用いているため、架線の３Ｄモデルとのマッチングが可能となり、結果として架線認識を行うことが可能となっている。

一方、高価なレーザスキャナを使わずに、ドライブレコーダやスマートフォン等のデジタルカメラを用いて架線認識を行うことへのニーズがある。

上述のＳｆＭおよびＭＶＳを用いれば、多視点画像から３Ｄ点群を生成することは可能である。しかしながら、レーザスキャナによって取得される高精度な３Ｄ点群とは異なり、多視点画像から復元した３Ｄ点群は精度が粗いため、架線認識に適用することは困難である。特に、架線のような長い線は画像の特徴マッチングにより画像間の対応点を見つけることが難しい。このため、ＳｆＭおよびＭＳＶによって生成した３Ｄ点群は、誤差を含んで広がった形になっている。

本発明の目的は、デジタルカメラなどの撮像装置によって撮影した視点の異なる複数の画像を用いて、架線の認識を行うことが可能な架線認識装置および架線認識方法を提供することにある。

本発明は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、カメラによって撮影された、視点の異なる複数の入力画像と、前記カメラの位置および姿勢の情報と、が入力される入力部と、前記入力部において入力された、複数の前記入力画像から架線が含まれる架線領域を選択し、前記架線領域から前記架線の候補線分を抽出する架線候補抽出部と、仮想的な３Ｄ空間内に前記候補線分を投影し、前記候補線分、前記カメラの位置および姿勢の情報、および複数の前記入力画像に基づき、前記３Ｄ空間内において前記架線が存在する平面を求めて、前記架線の３Ｄモデルを推定する架線モデル推定部と、を備えることを特徴とする。

本発明によれば、デジタルカメラなどの撮像装置によって撮影した視点の異なる複数の画像を用いて、架線の認識を行うことができる。上記した以外の課題、構成および効果は、以下の実施例の説明により明らかにされる。

実施例１における架線認識装置の構成図である。 架線認識装置で推定する架線の３Ｄモデルを示す図である。 架線認識装置で推定する架線の３Ｄモデルをｘｙ平面上に表した状態を示す図である。 架線認識装置で推定する架線の３Ｄモデルをｘｚ平面上に表した状態を示す図である。 架線候補抽出部の処理フローを示す図である。 ３Ｄ架線領域の設定方法の一例を示す図である。 ３Ｄ架線領域の設定方法の一例を示す図である。 複数の入力画像から３Ｄ架線領域を撮影した画像を選択する方法の一例であり、カメラの位置と３Ｄ架線領域との距離に基づいて候補画像を絞り込む方法を示す図である。 複数の入力画像から３Ｄ架線領域を撮影した画像を選択する方法の一例であり、カメラの位置と３Ｄ架線領域との角度に基づいて最終的な画像を選択する方法を示す図である。 選択した複数の入力画像を３Ｄ架線領域に着目した平面投影画像に変換し、２Ｄ架線領域を設定する処理フローを示す図である。 選択した複数の入力画像を３Ｄ架線領域に着目した平面投影画像に変換し、２Ｄ架線領域を設定する方法の一例を示す図である。 選択した複数の入力画像を３Ｄ架線領域に着目した平面投影画像に変換し、２Ｄ架線領域を設定する方法の一例を示す図である。 選択した２枚の入力画像を変換した平面投影画像の一例を示す図である。 選択した２枚の入力画像を変換した平面投影画像の一例を示す図である。 ２Ｄ架線領域から、架線候補の線分を抽出する処理フローを示す図である。 図８Ａの平面投影画像に対する輪郭抽出の一例を示す図である。 図８Ｂの平面投影画像に対する輪郭抽出の一例を示す図である。 図１０Ａの輪郭抽出結果から架線候補を抽出する方法の一例を示す図である。 図１０Ｂの輪郭抽出結果から架線候補を抽出する方法の一例を示す図である。 図１０Ａの輪郭抽出結果から架線候補を抽出する方法の更に別の一例を示す図である。 図１０Ｂの輪郭抽出結果から架線候補を抽出する方法の更に別の一例を示す図である。 架線モデル推定部の処理フローを示す図である。 地面に垂直な平面の設定方法の一例を示す図である。 参考技術による３Ｄ点群を表示した状態を示す図である。 実施例１の架線認識装置による３Ｄ点群を表示した状態を示す図である。 実施例２における架線認識装置の構成図である。

以下に本発明の架線認識装置および架線認識方法の実施例を、図面を用いて説明する。なお、本明細書で用いる図面において、同一のまたは対応する構成要素には同一、または類似の符号を付け、これらの構成要素については繰り返しの説明を省略する場合がある。

＜実施例１＞
本発明の架線認識装置および架線認識方法の実施例１について図１乃至図１５Ｂを用いて説明する。

最初に、実施例１の架線認識装置の全体構成について図１を用いて説明する。図１は、実施例１における架線認識装置の構成図である。

図１に示すように、実施例１の架線認識装置は、入力部１０１、架線候補抽出部１０２、架線モデル推定部１０３を有する処理部１００により主に構成される。この処理部１００が、好適には架線認識方法の実行主体となる。ここで、架線の認識とは、実際の空間における架線の３Ｄ構造を把握すること、すなわち、架線の３Ｄモデルを推定することを示すものとする。

架線認識装置は、一般的な情報処理装置がソフトウェアを処理することで実現することでき、好適には、各々がコンピュータ等で構成されている。構成するコンピュータは、ＣＰＵやメモリ、インターフェース、処理結果等をユーザに提示するディスプレイ１０８、ユーザからの入力を受け付けるキーボード・マウス等１０９、記録装置等を備えており、各機器の動作の制御や後述する各種演算処理等が様々なプログラムに基づいて実行される。これらのプログラムは各構成内の内部記録媒体や外部記録媒体、データサーバ（いずれも図示省略）等に格納されており、ＣＰＵによって読み出され、実行される。

なお、制御処理は、１つのプログラムにまとめられていても、それぞれが複数のプログラムに別れていてもよく、それらの組み合わせでもよい。また、プログラムの一部または全ては専用ハードウェアで実現してもよく、モジュール化されていても良い。更には、各種プログラムは、プログラム配布サーバや内部記憶媒体や外部記録媒体からインストールされるものとしてもよい。

処理部１００では、多視点画像１０４、カメラ位置姿勢１０５、カメラパラメータ１０６の入力を受けて、架線モデルパラメータ１０７を出力する。

多視点画像１０４は、デジタルカメラなどの撮像装置によって撮影された視点の異なる複数の画像である。例えば、ドライブレコーダにより走行中に車両の前方および後方を撮影した一連の画像や、スマートフォンにより各所で任意の方向を撮影した画像等を示す。

カメラ位置姿勢１０５は、多視点画像１０４の各々を撮影したカメラの位置と姿勢を表し、カメラの外部パラメータと呼ばれている。このカメラ位置姿勢１０５は、例えば、カメラに搭載されたＧＰＳ、ジャイロ等によって取得することが可能である。また、公知のＳｆＭと呼ばれる技術により、多視点画像１０４からカメラの位置および姿勢を推定することも可能である。なお、ＳｆＭで推定できるのはカメラ間の相対的な位置および姿勢であり、全体のスケールや回転を推定することはできない。全体のスケールや回転を推定するためには、ＧＰＳ情報等のグローバルな位置情報が必要になる。

カメラパラメータ１０６は、レンズの焦点距離、歪係数等、カメラ固有のパラメータを表し、カメラの内部パラメータと呼ばれている。このカメラパラメータ１０６は、機種によっては、カメラ付属のＳＤＫ（Ｓｏｆｔｗｅｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ）により取得可能である。また、カメラパラメータ１０６は、大きさの分かっている図形パターンを撮影した視点の異なる複数の画像から求めることが可能である。カメラパラメータ１０６を求めることはキャリブレーションと呼ばれ、例えば、ＯｐｅｎＣＶ（ｈｔｔｐｓ：／／ｏｐｅｎｃｖ．ｏｒｇ）等の汎用的な画像処理ライブラリでキャリブレーション機能が提供されている。

入力部１０１は、カメラによって撮影された、視点の異なる多視点画像１０４、カメラ位置姿勢１０５、カメラパラメータ１０６を入力として受け付ける。この入力部１０１が好適には入力工程の実行主体となる。

架線候補抽出部１０２は、入力部１０１において入力として受け付けた多視点画像１０４から、対象となる架線２００（図２参照）を撮影した画像を複数選択する。更に、選択した画像上で、対象となる架線２００が含まれる２Ｄの架線領域を設定し、輪郭抽出等の画像処理により２Ｄ架線領域から架線２００の候補線分を抽出する。この架線候補抽出部１０２が好適には架線候補抽出工程の実行主体となる。

架線モデル推定部１０３は、仮想的な３Ｄ空間内に、架線２００の存在する地面に垂直な鉛直面を仮定する。カメラ位置姿勢１０５に基づいて、選択画像上の架線２００の候補線分を鉛直面に投影し、鉛直面上での架線２００の形状を曲線フィッテイングによって求める。他の選択画像についても同様に架線２００の形状を曲線フィッテイングによって求める。その後、複数の選択画像の間で曲線フィッテイング結果の一致度を評価し、一致度が高い場合に、鉛直面を架線２００が存在する平面として推定する。鉛直面を示すパラメータと、曲線フィッテイングによるパラメータとを合わせ、架線２００の３Ｄモデルとして推定し、架線モデルパラメータ１０７として出力する。この架線モデル推定部１０３が好適には架線モデル推定工程の実行主体となる。

図２Ａ乃至図２Ｃを参照して、実施例１の架線認識装置の架線モデル推定部１０３が推定する架線２００の３Ｄモデルについて説明する。図２Ａは架線認識装置で推定する架線２００の３Ｄモデルを示す図、図２Ｂは架線２００の３Ｄモデルをｘｙ平面上に表した状態を示す図、図２Ｃは架線２００の３Ｄモデルをｘｚ平面上に表した状態を示す図である。

図２Ａは、架線２００が架線柱２０１と架線柱２０２との間に張られている場合の例を示す。架線２００は、架線柱２０１と架線柱２０２との接合部を支持点とした張力と重力との釣り合いによって弛みが生じ、中央が垂れ下がった曲線になっている。この曲線は懸垂曲線と呼ばれる。架線柱２０１の根元に座標系２０３を設定すると、架線２００の３Ｄモデルは一例として架線の３Ｄモデル２０４のように表される。座標系２０３は、例えば、東方向をｘ軸、北方向をｙ軸、鉛直上向きをｚ軸にとるが、これに限定されない。

図２Ｂは、架線２００を真上から見た図であり、架線２００を真上から見て架線２００が存在する地面に垂直な平面に投影すると直線になっている。この直線の傾きをｓとする。

図２Ｃは、架線２００が存在する地面に垂直な鉛直面を真横から見た図である。架線２００を真横から見ると懸垂曲線になっている。この懸垂曲線の最下点を（ｔｘ，ｔｙ，ｔｚ）とする。

架線２００の３Ｄモデル２０４は、鉛直面の傾きｓおよび懸垂曲線の最下点（ｔｘ，ｔｙ，ｔｚ）をパラメータとして表現されている。なお、懸垂曲線は３Ｄモデル２０４に示すような２次式で近似することも可能である。

架線２００は、例えば、電線、通信線、ケーブル等を示す。本実施例では、架線２００と架線柱２０１，２０２との接合部を支持点としているが、架線２００の支持点は架線柱２０１，２０２に限らず、建物との接合部や他の架線２００との分岐点であってもよい。

次いで、図３を参照して、実施例１の架線認識装置の架線候補抽出部１０２における架線候補抽出部の処理の流れについて説明する。図３は架線候補抽出部１０２の処理フローを示す図である。

まず、架線候補抽出部１０２は、図３に示すように、ステップＳ３０１では、図２に示した架線２００を支える２本の架線柱２０１，２０２の３Ｄ座標Ｐ１，Ｐ２を入力する。３Ｄ座標Ｐ１，Ｐ２は、架線柱２０１，２０２の最上部の３Ｄ座標を示す。一例として、設備情報として管理されている、架線柱２０１，２０２の位置と高さ等の情報を利用して、算出するものとする。

次いで、架線候補抽出部１０２は、ステップＳ３０２では、仮想的な３Ｄ空間の２本の架線柱２０１，２０２の間に、架線２００が存在する可能性のある３Ｄ架線領域を設定する。

次いで、架線候補抽出部１０２は、ステップＳ３０３では、カメラ位置姿勢１０５を用い、多視点画像１０４から３Ｄ架線領域を撮影した画像を複数選択する。

次いで、架線候補抽出部１０２は、ステップＳ３０４では、ステップＳ３０３で選択した３Ｄ架線領域に対する各画像に対し、対象となる架線２００が存在する２Ｄ架線領域を設定する。

次いで、架線候補抽出部１０２は、ステップＳ３０５では、ステップＳ３０３で選択した各画像の２Ｄ架線領域から架線候補の線分を抽出する。架線候補の線分は、例えば、画像処理の輪郭抽出によって抽出することが可能である。

次いで、図４Ａおよび図４Ｂを参照して、ステップＳ３０２における３Ｄ架線領域の設定方法について説明する。図４Ａは３Ｄ架線領域を設定するための基準線の決め方の一例を示す図、図４Ｂは基準線Ｑ１Ｑ２に対する３Ｄ架線領域の設定方法の一例を示す図である。

図４Ａに示すように、架線候補抽出部１０２は、ステップＳ３０１で入力した架線柱２０１，２０２の最上部の３Ｄ座標Ｐ１，Ｐ２に対して、指定距離ｄｚを設定パラメータとして鉛直下方向に移動した点Ｑ１，Ｑ２を基準点とするとともに、これら基準点Ｑ１，Ｑ２を結ぶ線を基準線Ｑ１Ｑ２とする。

その後、図４Ｂに示すように、例えば、基準点Ｑ１を中心とし、高さｈ′、奥行きｄ′を設定パラメータとした矩形を、基準点Ｑ１から基準点Ｑ２まで掃引した領域を３Ｄ架線領域として設定する。

次いで、図５を参照して、ステップＳ３０３における複数画像の選択方法の一例として、カメラの位置と３Ｄ架線領域との距離に基づいて、候補画像を絞り込む方法について説明する。図５は複数の入力画像から３Ｄ架線領域を撮影した画像を選択する方法の一例であり、カメラの位置と３Ｄ架線領域との距離に基づいて候補画像を絞り込む方法を示す図である。

まず、架線候補抽出部１０２は、図５に示すように、ステップＳ５０１では、地面に水平なｘｙ平面上で基準線Ｑ１Ｑ２の中心座標Ｑ０（ｘ０，ｙ０）を求める。

次いで、架線候補抽出部１０２は、ステップＳ５０２では、地面に水平なｘｙ平面上のカメラ位置Ｃ（Ｘ，Ｙ）と中心座標Ｑ０との距離ｒを求める。

次いで、架線候補抽出部１０２は、ステップＳ５０３では、最大値Ｒｍａｘおよび最小値Ｒｍｉｎを設定パラメータとし、各々のカメラ位置Ｃ（Ｘ，Ｙ）と中心座標Ｑ０との距離ｒがこの範囲に含まれるかの判定を行う。含まれると判定されたときは処理をステップＳ５０４に進めて、含まれないと判定されたときは処理を終了する。

次いで、架線候補抽出部１０２は、ステップＳ５０４では、カメラ位置に対応する画像を選択し、処理を完了させる。

なお、カメラ位置に対応する画像が１枚も選択されなかったときはディスプレイ１０８などにエラーを出力して、以後説明する各種処理を実行せずに処理を完了させる。

次いで、図６を参照して、ステップＳ３０３における複数画像の選択方法の一例として、カメラの位置と３Ｄ架線領域との角度に基づいて、最終的な画像を選択する方法について説明する。図６は複数の入力画像から３Ｄ架線領域を撮影した画像を選択する方法の一例であり、カメラの位置と３Ｄ架線領域との角度に基づいて最終的な画像を選択する方法を示す図である。

まず、架線候補抽出部１０２は、図６に示すように、ステップＳ６０１では、地面に水平なｘｙ平面上で、カメラＣｎと基準点Ｑ１，Ｑ２をそれぞれ結び、角Ｑ１・Ｃｎ・Ｑ２の２等分線を求める。

次いで、架線候補抽出部１０２は、ステップＳ６０２では、ステップＳ６０１で求めた２等分線と基準線Ｑ１Ｑ２とのなす角θｎを求める。

次いで、架線候補抽出部１０２は、ステップＳ６０３では、ステップＳ６０２で求めた角度θが２つの指定角度Θ，π－Θに最も近い画像を候補としてそれぞれ選択する。２つの指定角度は、例えば、４５度と１３５度のように設定するが、この値に限定されるものではない。

次いで、図７Ａ乃至図７Ｃを参照して、ステップＳ３０４における選択した複数の入力画像を３Ｄ架線領域を視線方向とした平面投影画像に変換し、２Ｄ架線領域を設定する方法について説明する。図７Ａは選択した複数の入力画像を３Ｄ架線領域に着目した平面投影画像に変換し、２Ｄ架線領域を設定する処理フローを示す図、図７Ｂおよび図７Ｃは選択した複数の入力画像を３Ｄ架線領域に着目した平面投影画像に変換し、２Ｄ架線領域を設定する方法の一例を示す図である。

まず、架線候補抽出部１０２は、図７Ａおよび図７Ｂに示すように、ステップＳ７０１では、３Ｄ空間上でカメラＣの位置と２つの基準点Ｑ１，Ｑ２をそれぞれ結び、角Ｑ１・Ｃ・Ｑ２の２等分線を求めて、求めた２等分線を視線方向ｖと定める。

次いで、架線候補抽出部１０２は、ステップＳ７０２では、図７Ｂに示すように、基準線Ｑ１Ｑ２を対角とする矩形の幅ｗと高さｈに、係数ｒｘ，ｒｙをそれぞれ掛け、一回り大きいサイズ（Ｗ，Ｈ）の矩形を求める。

次いで、架線候補抽出部１０２は、ステップＳ７０３では、ステップＳ７０２で求めた一回り大きいサイズの矩形の水平画角と垂直画角から焦点距離ｆｘ，ｆｙをそれぞれ求め、焦点距離の小さい方を採用する。

次いで、架線候補抽出部１０２は、ステップＳ７０４では、視線方向ｖと焦点距離ｆから、入力画像を平面投影画像に変換する。

次いで、架線候補抽出部１０２は、ステップＳ７０５では、平面投影画像に、基準線Ｑ１Ｑ２を投影し、基準線Ｑ１Ｑ２の周辺領域を２Ｄ架線領域とする。例えば、図７Ｃに示すように、基準線Ｑ１Ｑ２を上下方向に距離ｄｈだけ平行移動することで形成される平行四辺形を２Ｄ架線領域とする。

図８Ａおよび図８Ｂに、選択した２枚の入力画像を変換した平面投影画像の一例を示す。図８Ａは３Ｄ架線領域を左から見た画像、図８Ｂは３Ｄ架線領域を右から見た画像に対応する。また、どちらも２Ｄ架線領域が画角内に収まるように調整されていることが分かる。

次いで、図９を参照して、２Ｄ架線領域から、架線候補の線分を抽出する方法について説明する。図９は２Ｄ架線領域から、架線候補の線分を抽出する処理フローを示す図である。

まず、架線候補抽出部１０２は、図９に示すように、ステップＳ９０１では、ステップＳ７０４で変換した平面投影画像から、線分候補を抽出する。線分候補は、例えば、画像の輪郭抽出により抽出する。

次いで、架線候補抽出部１０２は、ステップＳ９０２では、ステップＳ９０１で抽出した線分候補がステップＳ７０５で設定した２Ｄ架線領域内か否かを判定する。２Ｄ架線領域内と判定される場合には次のステップＳ９０３に進め、領域内ではないと判定されたときは処理を完了させる。

次いで、架線候補抽出部１０２は、ステップＳ９０３では、線分候補の傾きと基準線Ｑ１Ｑ２の傾きとの角度差を求め、角度差の閾値を設定パラメータとし、角度差が閾値以内であるか否かを判定する。角度差が閾値以内であると判定される場合には次のステップＳ９０４に進め、閾値以内ではないと判定されたときは処理を完了させる。

次いで、架線候補抽出部１０２は、ステップＳ９０４では、先のステップＳ９０２およびステップＳ９０３の条件を満足する線分を架線候補として選択し、処理を完了させる。

図１０Ａおよび図１０Ｂに、図８Ａおよび図８Ｂの平面投影画像に対する輪郭抽出結果の一例を示す。図１０Ａおよび図１０Ｂはそれぞれ、図８Ａと図８Ｂのカラー画像を濃淡画像に変換し、濃淡画像の勾配に基づいて勾配の大きい箇所を輪郭として抽出した結果である。

図１１Ａおよび図１１Ｂに、図１０Ａおよび図１０Ｂの輪郭抽出結果から架線候補を抽出する方法の一例を示す。

背景が空の場合、架線２００の輪郭がはっきりとしているため、図９にて説明した自動処理によって架線候補を抽出することが可能である。図１１Ａに示すＷ１，Ｗ２，Ｗ３および図１１Ｂに示すＶ１，Ｖ２，Ｖ３はそれぞれを抽出した架線候補を示している。

一方、背景が建物や植生の場合、架線２００の輪郭が曖昧になるため、自動処理によって架線候補を抽出することは困難である。このような場合の代替手段として、平面投影画像を背景として手動で架線候補のポリゴンを入力する手段を備えてもよい。

図１２Ａおよび図１２Ｂに、図１０Ａおよび図１０Ｂの輪郭抽出結果から架線候補を抽出する方法の更に別の一例を示す。ここでは、平面投影画像を背景として、架線候補の始点Ａ１，Ａ２，Ａ３および終点Ｂ１，Ｂ２，Ｂ３を手動で入力する。

背景が建物や植生の場合、建物や植生の一部が架線候補として抽出されてしまうという問題がある。手動で入力した始点および終点を、フィッティングを行う際の制約とすることが可能であり、自動処理が困難なケースでも処理を進めることが可能となる。

次いで、図１３を参照して、架線モデル推定部１０３の処理の流れについて説明する。図１３は架線モデル推定部１０３の処理フローを示す図である。

まず、架線モデル推定部１０３は、図１３に示すように、ステップＳ１３０１では、仮想的な３Ｄ空間の架線領域に、地面に垂直な鉛直面を仮定する。その後、ステップＳ１３０２では、仮定した鉛直面に、ステップＳ９０４で選択された架線候補線分を投影する。

次いで、架線モデル推定部１０３は、ステップＳ１３０３では、ステップＳ１３０２で投影した架線候補線分から、懸垂曲線パラメータを推定し、ステップＳ１３０４では、視点の異なる複数画像から推定した懸垂曲線の一致度を一つ一つ評価する。

次いで、架線モデル推定部１０３は、一致度の閾値を設定パラメータとし、ステップＳ１３０５では、ステップＳ１３０４で評価した一つ一つの懸垂曲線の一致度が閾値以上であるかを一つ一つの懸垂曲線ごとに判定する。一致度が閾値以上の場合には次のステップＳ１３０６に進め、閾値未満と判定されたときは処理を完了させる。

次いで、架線モデル推定部１０３は、ステップＳ１３０６では、一致度が閾値以上と判定された仮定した鉛直面を架線２００の存在する平面とみなし、懸垂曲線パラメータと合わせて架線２００の３Ｄモデルとする。

すべての架線候補線分についての処理が終わるまで、ステップＳ１３０１乃至ステップＳ１３０６までの処理を繰り返す。

図１４を参照して、地面に垂直な鉛直面の設定方法について説明する。

図１４は基準線Ｑ１Ｑ２を上から見た図であり、基準線Ｑ１Ｑ２が横になるように回転している。基準点Ｑ１およびＱ２をそれぞれ上下に指定距離ｄｙずつずらした点を複数求め、Ｑ１側の点とＱ２側の点をそれぞれ結ぶ線分を複数発生させる。図１４の例では、２５本の線分を発生している。発生した線分に対応して、地面に垂直な鉛直面を設定する。

次いで、図１５Ａおよび図１５Ｂを用いて、本実施例による架線の認識効果を説明する。図１５Ａは参考技術による３Ｄ点群を表示した状態を示す図、図１５Ｂは実施例１の架線認識装置による３Ｄ点群を表示した状態を示す図である。

図１５Ａは従来技術のＳｆＭとＭＶＳを用いて、視点の異なる複数の画像から復元した３Ｄ点群を表示したものである。部分的に架線２００が抽出できているものの、一本の架線２００に対応する３Ｄ点群が広がっているため、架線２００の３Ｄモデルを推定することは困難である。また、架線２００が全く抽出できていない区間も多数存在している。

これに対し、図１５Ｂに示すように、本実施例の架線認識装置で推定した架線２００の３Ｄモデルは、架線２００のみが抽出できているとともに、抽出された架線２００が分断されている部分もほぼなく、高い精度で認識できていることが判る。

次に、本実施例の効果について説明する。

上述した本発明の実施例１の架線認識装置は、カメラによって撮影された、視点の異なる多視点画像１０４と、カメラ位置姿勢１０５と、が入力される入力部１０１と、入力部１０１において入力された、多視点画像１０４のうち、架線２００が含まれる架線領域を選択し、架線領域から架線２００の候補線分を抽出する架線候補抽出部１０２と、仮想的な３Ｄ空間内に候補線分を投影し、候補線分、カメラ位置姿勢１０５、および多視点画像１０４に基づき、３Ｄ空間内において架線２００が存在する平面を求めて、架線２００の３Ｄモデルを推定する架線モデル推定部１０３と、を備えることによって、撮像装置により撮像された視点の異なる複数の入力画像から架線候補を抽出し、仮想的な３Ｄ空間に投影してマッチングをとるので、画像間で特徴マッチングをとることが困難な架線２００の３Ｄモデル推定が可能になる。入力される画像は、デジタルカメラなどの一般的な撮像装置で撮像されたものでよいので、レーザスキャナどの高価な機器を用いる必要がなくなり、低コストでの架線の認識が可能となる。

＜実施例２＞
本発明の実施例２の架線認識装置および架線認識方法について図１６を用いて説明する。図１６は本実施例２における架線認識装置の構成図である。

図４Ａおよび図４Ｂに示したように、実施例１の架線認識装置は、２本の架線柱２０１，２０２の間に架線領域を設定し、架線領域を撮影した視点の異なる複数の入力画像を選択している。２本の架線柱２０１，２０２間の距離が遠く離れている場合、カメラから遠い側で架線２００の位置誤差が大きくなるため、改善の余地がある。

また、図７Ａおよび図７Ｂに示したように、実施例１の架線認識装置では、カメラの画角が十分に広角で、架線領域が入力画像の画角に収まっていることが仮定されており、このような制約を除くことができれば、より構成を単純化できるなどの利点が得られことが考えられる。

図１６に示す本実施例の架線認識装置および架線認識方法は、これらの課題を解決するための構成、ステップを備えている。

図１に示した実施例１の構成に対して、実施例２の架線認識装置では、図１６に示すように、架線領域を２以上の区間に分割する架線領域分割部１１０が追加されている。この追加に伴い、架線候補抽出部１０２ａと架線モデル推定部１０３ａの処理が少し異なっている。

架線領域分割部１１０では、基準線Ｑ１Ｑ２を複数の区間に分割して、実施例１と同様の方法で分割された架線領域を設定する。

架線候補抽出部１０２ａでは、架線領域分割部１１０において分割された架線領域の各々に対して、対応する入力画像を複数選択して、架線候補を抽出する。

架線モデル推定部１０３ａでは、実施例１と同様に基準線Ｑ１Ｑ２を元に架線２００が存在する地面に垂直な鉛直面を仮定し、架線候補抽出部１０２ａで求めた架線候補をそれぞれ投影し、架線領域全体で架線モデルを推定する。

その他の構成・動作は前述した実施例１の架線認識装置および架線認識方法と略同じ構成・動作であり、詳細は省略する。

本発明の実施例２の架線認識装置および架線認識方法においても、前述した実施例１の架線認識装置および架線認識方法とほぼ同様な効果が得られる。

また、架線領域を２以上の区間に分割する架線領域分割部１１０を更に備え、架線候補抽出部１０２ａは、架線領域分割部１１０において分割された２以上の区間において架線候補を抽出することにより、２本の架線柱２０１，２０２間の距離が遠く離れている場合にも対応でき、またカメラの画角が十分に広角で、架線領域が入力画像の画角に収まっていない場合にも対応可能となるため、様々な状態の架線２００に対応できるようになるとともに、撮像装置側の制約を減らすことができる。

＜その他＞
なお、本発明は、上記の実施例に限定されるものではなく、様々な変形例が含まれる。上記の実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施例の構成の一部を他の実施例の構成に置き換えることも可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることも可能である。

１００…処理部
１０１…入力部
１０２，１０２ａ…架線候補抽出部
１０３，１０３ａ…架線モデル推定部
１０４…多視点画像（複数の入力画像）
１０５…カメラ位置姿勢（カメラの位置および姿勢の情報）
１０６…カメラパラメータ
１０７…架線モデルパラメータ
１０８…ディスプレイ
１０９…マウス・キーボード等
１１０…架線領域分割部
２００…架線
２０１，２０２…架線柱
２０３…座標系
２０４…架線の３Ｄモデル

Claims (9)

1. カメラによって撮影された、視点の異なる複数の入力画像と、前記カメラの位置および姿勢の情報と、が入力される入力部と、
   前記入力部において入力された、複数の前記入力画像から架線が含まれる架線領域を選択し、前記架線領域から前記架線の候補線分を抽出する架線候補抽出部と、
   仮想的な３Ｄ空間内に前記候補線分を投影し、前記候補線分、前記カメラの位置および姿勢の情報、および複数の前記入力画像に基づき、前記３Ｄ空間内において前記架線が存在する平面を求めて、前記架線の３Ｄモデルを推定する架線モデル推定部と、を備える
   ことを特徴とする架線認識装置。
2. 請求項１に記載の架線認識装置において、
   前記架線モデル推定部は、前記架線の３Ｄモデルを、前記架線が存在する地面に垂直な平面、および前記平面の上方での前記架線の弛みを示す曲線によって表現する
   ことを特徴とする架線認識装置。
3. 請求項２に記載の架線認識装置において、
   前記架線候補抽出部は、
   前記架線を支える２本の架線柱の３Ｄ座標を入力し、
   ２本の前記架線柱の間に３Ｄ架線領域を設定し、
   複数の前記入力画像から、前記３Ｄ架線領域を撮影した画像を複数選択し、
   選択した複数の前記画像上で、前記３Ｄ架線領域に対する２Ｄ架線領域を設定し、
   前記２Ｄ架線領域から架線候補の線分を抽出する
   ことを特徴とする架線認識装置。
4. 請求項３に記載の架線認識装置において、
   前記架線候補抽出部は、前記架線柱の前記３Ｄ座標から、最上部の点をそれぞれ鉛直下方向に指定距離だけ移動した点を基準点、２つの前記基準点を結ぶ線を基準線とし、前記基準線を中心とした周辺領域を前記３Ｄ架線領域として設定する
   ことを特徴とする架線認識装置。
5. 請求項４に記載の架線認識装置において、
   前記架線候補抽出部は、前記基準線の中心座標と、前記カメラの位置との水平距離が、指定した最大値と最小値の範囲に含まれる前記カメラの位置を選択し、対応する前記入力画像を選択する
   ことを特徴とする架線認識装置。
6. 請求項４に記載の架線認識装置において、
   前記架線候補抽出部は、地面に垂直な平面上で前記カメラの位置と２つの前記基準点とをそれぞれ直線で結び、２本の前記直線のなす角の２等分線を求め、前記２等分線と前記基準線とのなす角度が指定角度に近い前記カメラの位置を選択し、対応する前記入力画像を前記選択する
   ことを特徴とする架線認識装置。
7. 請求項４に記載の架線認識装置において、
   前記架線候補抽出部は、
   ３Ｄ空間上で、前記カメラの位置と２つの前記基準点とをそれぞれ直線で結び、２本の前記直線のなす角の２等分線を求め、前記２等分線を視線方向として設定し、
   前記基準線を対角とする矩形が指定した画像サイズに収まるように焦点距離を求め、
   前記視線方向と前記焦点距離とから平面投影画像に変換し、
   前記平面投影画像に前記基準線を投影し、投影した前記基準線の周辺領域を前記２Ｄ架線領域として設定する
   ことを特徴とする架線認識装置。
8. 請求項４に記載の架線認識装置において、
   前記架線領域を２以上の区間に分割する架線領域分割部を更に備え、
   前記架線候補抽出部は、前記架線領域分割部において分割された２以上の前記区間において前記架線候補を抽出する
   ことを特徴とする架線認識装置。
9. カメラによって撮影された、視点の異なる複数の入力画像と、前記カメラの位置および姿勢の情報と、が入力される入力工程と、
   前記入力工程において入力された、複数の前記入力画像から架線が含まれる架線領域を選択し、前記架線領域から前記架線の候補線分を抽出する架線候補抽出工程と、
   仮想的な３Ｄ空間内に前記候補線分を投影し、前記候補線分、前記カメラの位置および姿勢の情報、および複数の前記入力画像に基づき、前記３Ｄ空間内において前記架線が存在する平面を求めて、前記架線の３Ｄモデルを推定する架線モデル推定工程と、を有する
   ことを特徴とする架線認識方法。