JP2017196948A - 電車設備の三次元計測装置及び三次元計測方法 - Google Patents

Abstract

【課題】電車設備に対応する特徴点を好適に抽出し、電車設備の判定を行うことを可能とした電車設備の三次元計測装置及び三次元計測方法を提供する。【解決手段】電車車両１の前方又は後方を撮像する車上カメラ１１と、車上カメラ１１から画像データを入力する画像入力部１２ａ、電車車両１の走行速度を取得する車両速度データ取得部１２ｂ、画像データから特徴点Ｃを検出する特徴点検出部１２ｃ、画像データの時系列的に連続する二つの画像から検出した特徴点Ｃに基づいてオプティカルフローＦを算出するオプティカルフロー算出部１２ｄ、電車車両の走行速度、オプティカルフローＦ、及びカメラパラメータに基づいて求めた電車車両の移動量及び回転量を用いて特徴点Ｃの三次元座標を求める三次元復元部１２ｅ、特徴点Ｃの三次元座標に基づいて設備の有無を判定する設備判断部１２ｆを備える画像処理装置１２とを設けた。【選択図】図２

Description

本発明は、三次元計測装置及び三次元計測方法に関し、とくに一台のカメラで走行中の電車の車両前方又は車両後方を撮像した画像に基づいて電車設備の三次元形状の計測を行う電車設備の三次元計測装置及び三次元計測方法に関する。

一般的にカメラで三次元の計測を行うには、計測する対象物の三次元形状モデルが既知であるか、一つの対象物を複数個所から撮影して対象物の三次元座標を求める三角測量を行うことが必要となる。しかしながら電車設備の三次元計測を行うことを想定した場合、電車設備はその数が非常に多く、全ての設備について三次元形状モデルの設定を行うことは現実的ではない。また一つの対象物を複数個所から撮影する場合、カメラを複数台用意して撮影するステレオカメラシステムがよく用いられるが、設置個所によってはカメラを複数台設置できない場合や、設置できても精度を得難い近接した位置にしか設置できない場合があるなどの問題があった。

このような問題に対し、下記非特許文献１には、一台のカメラによって取得した画像から三次元座標の計測を行う手法として、オプティカルフローや、三次元運動復元等を利用したものが記載されている。

また、下記特許文献１には、車両に搭載されたカメラによって車両の移動中に撮影された複数の撮影画像から、ＳｆＭ（Structure from Motion）の技術に基づいて、カメラの三次元位置・姿勢や、被写体の三次元位置を求める画像処理装置が開示されている。

また、下記特許文献２には移動ステレオ方式により物体までの距離を計測する画像処理装置が記載され、下記特許文献３には移動ステレオ方式を用いた三次元環境地図作成を行う三次元形状生成装置が記載されている。

国際公開第WO2014/192061号パンフレット 特許第５４３９８７６号公報 特許第４５１１１４７号公報

「知識の森」２群−２編−４章 動画解析、電子情報通信学会、２０１３年、p.1/(18)-18/(18)

しかしながら、特許文献１〜３に記載されたものは、計測された三次元特徴が何かという判定を行うものではなかった。また、三次元復元の際に回転並進の６自由度のパラメータ全てを求める必要があるという問題もあった。

また引用文献２，３に共通した問題としてオプティカルフロー（もしくは特徴量）を求めるために特徴点を算出する必要があるが、実問題を扱う際の最適な特徴点抽出法が明記されていないという問題があった。

このようなことから本発明は、電車設備に対応する特徴点を好適に抽出し、電車設備の判定を行うことを可能とした電車設備の三次元計測装置及び三次元計測方法を提供することを目的とする。

上記の課題を解決するための第１の発明に係る電車設備の三次元計測装置は、
電車車両の前方又は後方を撮像する撮像装置と、当該撮像装置によって撮像した画像に基づいて前記電車車両の周囲にある設備を検出する画像処理装置とを備える電車設備の三次元計測装置であって、
前記画像処理装置が、
前記撮像装置によって撮像された画像データを入力する画像入力部と、
前記撮像装置によって画像を撮像した位置に対応する前記電車車両の走行速度を取得する車両速度データ取得部と、
前記画像データから特徴点を検出する特徴点検出部と、
前記画像データの時系列的に連続する二つの画像から検出した前記特徴点に基づいてオプティカルフローを算出するオプティカルフロー算出部と、
前記電車車両の走行速度、前記オプティカルフロー、及びカメラパラメータに基づいて前記電車車両の移動量及び回転量を求め、当該移動量及び回転量に基づいて前記特徴点の三次元座標を求める三次元復元部と、
前記特徴点の三次元座標に基づいて前記設備の有無を判定する設備判断部と
を備える
ことを特徴とする。

また、第２の発明に係る電車設備の三次元計測装置は、
前記特徴点検出部が、特徴点として前記画像データからコーナー点を検出する
ことを特徴とする。

また、第３の発明に係る電車設備の三次元計測装置は、
前記三次元復元部が、鉛直方向及びピッチング角を除く前記電車車両の移動量及び回転量を求める
ことを特徴とする。

また、第４の発明に係る電車設備の三次元計測装置は、
前記設備判断部が、前記特徴点が近接して所定値以上存在する領域を前記設備と判断し、前記特徴点が所定値未満の領域をノイズと判断する
ことを特徴とする。

また、第５の発明に係る電車設備の三次元計測方法は、
撮像装置によって電車車両の前方又は後方を撮像し、前記撮像装置によって撮像した画像に基づいて前記電車車両の周囲にある設備を検出する三次元計測方法であって、
前記撮像装置によって撮像された画像データを入力する画像入力工程と、
前記撮像装置によって画像を撮像した位置に対応する前記電車車両の走行速度を取得する車両速度データ取得工程と、
前記画像データから特徴点を検出する特徴点検出工程と、
前記画像データの時系列的に連続する二つの画像から検出した前記特徴点に基づいてオプティカルフローを算出するオプティカルフロー算出工程と、
前記電車車両の走行速度、前記オプティカルフロー、及びカメラパラメータに基づいて前記電車車両の移動量及び回転量を求め、当該移動量及び回転量に基づいて前記特徴点の三次元座標を求める三次元復元工程と、
前記特徴点の三次元座標に基づいて前記設備の有無を判定する設備判定工程と
を有することを特徴とする。

また、第６の発明に係る電車設備の三次元計測方法は、
前記特徴点検出工程が、前記特徴点として前記画像データからコーナー点を検出する
ことを特徴とする。

また、第７の発明に係る電車設備の三次元計測方法は、
前記三次元復元工程が、鉛直方向及びピッチング角を除く前記電車車両の移動量及び回転量を求める
ことを特徴とする。

また、第８の発明に係る電車設備の三次元計測方法は、
前記設備判定工程が、前記特徴点が近接して所定値以上存在する領域を前記設備と判断し、前記特徴点が所定値未満の領域をノイズと判断する
ことを特徴とする。

本発明に係る電車設備の三次元計測装置及び三次元計測方法によれば、電車設備に対応する特徴点を好適に抽出し、電車設備の判定を行うことが可能になる。

本発明の実施例に係る電車設備の三次元計測装置の設置例を示す装置構成図である。 図１に示す画像処理装置の構成を示すブロック図である。 図２に示す画像入力部により取得した画像データの一例を示す説明図である。 図２に示す特徴点検出部による処理の一例を示す説明図である。 図２に示すオプティカルフロー算出部による処理の一例を示す説明図である。 図２に示す設備判断部による処理の一例を示す説明図である。 図１に示す電車設備の三次元計測装置による処理の流れを示すフローチャートである。

以下、図面を参照しつつ本発明の実施の形態について説明する。

図１から図５を用いて本発明に係る電車設備の三次元形状計測装置の実施例について詳細に説明する。

図１に示すように、本実施例において電車車両１の屋根上には一台の車上カメラ１１（撮像装置）が設置され、この車上カメラ１１が電車車両１の内部に設置された画像収録及び解析コンピュータ（以下、画像処理装置という）１２に接続されている。

車上カメラ１１は、エリアカメラであり、電車車両１の前方又は後方を撮影可能に設置されている。
画像処理装置１２は、車上カメラ１１によって撮像した画像に基づき電車車両１の走行領域の周辺にある電車設備の三次元形状の計測を行うものである。すなわち、電車設備の形状モデルが未知の場合、パターンマッチングなどで画像中から電車設備を検出することは困難である。そこで、本実施例では、一台の車上カメラ１１で電車設備を撮像した動画像の複数の画像（フレーム）から抽出した特徴を用いて、電車設備の計測を行う。

具体的に説明すると、図２に示すように本実施例において画像処理装置１２は、画像入力部１２ａ、車両速度データ取得部１２ｂ、特徴点検出部１２ｃ、オプティカルフロー算出部１２ｄ、三次元復元部１２ｅ、設備判断部１２ｆ、及び記憶部１２ｇを備えている。

画像入力部１２ａは、車上カメラ１１によって取得した画像データＩｔ１，Ｉｔ２，…（図３（ａ），（ｂ）参照）を入力し、記憶部１２ｇに保管する。
車両速度データ取得部１２ｂは、図示しない自動列車制御装置（ＡＴＣ）からの信号やオドメトリ情報などから車上カメラ１１によって撮像を行った位置に対応した電車車両１の速度データを取得し、記憶部１２ｇに保管する。

特徴点検出部１２ｃは、車上カメラ１１により取得した画像データＩｔ１，Ｉｔ２，…から図４に＋で示すようなコーナー点（特徴点）Ｃをそれぞれ検出し、検出した特徴点Ｃの情報を特徴点データとして記憶部１２ｇに保管する。
ここで、特徴点Ｃの検出には固有値ベースのコーナー検出手法に代表される簡易で高速な手法を用いる。これにより、等間隔に特徴点を設ける手法に比較して電車設備に好適に特徴点を割り振ることができる。また、電車設備は通常コーナー点検出で特徴点Ｃが複数出るという特徴があるのも採用の理由である。

オプティカルフロー算出部１２ｄは、画像データと特徴点データとに基づいて、車上カメラ１１により取得した画像データＩｔ１，Ｉｔ２，…の時系列的に連続した二枚の画像（例えば、図４に示す時刻ｔ１における画像Ｉｔ１と、時刻ｔ２における画像Ｉｔ２）の特徴点データから、図５に矢印で示すようにオプティカルフローＦを算出し、オプティカルフローデータとして記憶部１２ｇに保管する。

ここで、電車設備は背景と比較すると電車車両１に近いため、時系列的に連続する画像間での写りの変化が大きくなる。そのため、前後の画像で同一点の移動量を表すオプティカルフローＦを算出し、そのフロー情報を用いて電車設備と背景の分離を行う。

なお、オプティカルフローＦの算出手法としては、Lucas-Kanade法に代表される小領域ごとのフローの対応探索を独立に行う手法を採用する。特徴点ベースの手法には、オプティカルフローではなく、リッチな特徴量を持つ特徴抽出方法を用いて、特徴量を用いた特徴点マッチングを行う手法もあるが、オプティカルフローに比べて計算コストが高く、また特徴点の数によって結果が不安定となることからも、オプティカルフローを用いるメリットがある。

三次元復元部１２ｅは、オプティカルフローデータ、車両速度、及び事前に求めたカメラパラメータに基づき、電車車両１の移動量及び回転量を求め、その値をもとにフロー情報を持つ各特徴点Ｃを三次元復元し、復元した三次元座標データと、電車車両１の移動量及び回転量を表す回転並進データを記憶部１２ｇに保管する。

すなわち、フロー情報、電車の移動速度、及びカメラパラメータを用いて三角測量を行い、各特徴点Ｃのカメラの焦点を原点とする三次元座標を計算する。なお、電車車両１は略水平とみなせるレール３上を移動するため、座標系をレール３上面と水平な電車車両１の前方（または後方）、レール３上面と水平な車両横方向（枕木方向）、電車車両１の鉛直方向にとった場合、車両鉛直方向の変化量は０、ピッチング角（車両鉛直方向周りの回転角）の変化は０とみなせる。そのため、通常であれば三次元復元は回転３自由度、並進３自由度の計６自由度の探索を行う必要があるが、本実施例では４自由度の探索で済むため安定した三次元計測が可能となる。

設備判断部１２ｆは、三次元座標データを、各特徴点Ｃの座標値を基準にグループ分けし、ある程度近接して特徴点Ｃが存在する領域（例えば、図６に網掛けで示す領域Ａ１，Ａ２。以下、点群という）を電車設備として判定し、設備判定データを記憶部１２ｇに保管する。

すなわち、電車設備は複数の特徴点Ｃを有すると考えられるため、特徴点Ｃが近接して所定値以上存在した場合は電車設備と判断し、近接して存在する特徴点Ｃが所定値未満である場合はノイズと判断する。三次元復元後に各点群を特徴点Ｃの座標値に基づいてグループ分けすることで、座標値が近接して複数存在する点群を電車設備として判断する。電車設備としては、例えば図１に示す電柱２のほか、支障物、ビームなどがある。
図６に示す例では、電柱２に対応する二つの領域が電車設備と判断されている。

記憶部１２ｇは、カメラパラメータ、画像データ、速度データ、特徴点座標データ、オプティカルフローデータ、三次元座標データ、回転並進データ、及び設備判定データを保管する。

以下、図７を用いて本実施例に係る三次元計測装置による処理の流れについて簡単に説明する。

本実施例では、まず、電車車両１の屋根上に設置した車上カメラ１１により、電車車両１の運行中に電車車両１の前方（または後方）の動画像を撮像して画像入力部１２ａにより画像データＩｔ１，Ｉｔ２，…を取得する（ステップＳ１）。続いて車両速度データ取得部１２ｂにより、車上カメラ１１によって動画像を取得したタイミングの車両速度をＡＴＣ信号又はオドメトリ等のデータから取得する（ステップＳ２）。

その後、特徴点検出部１２ｃにより、取得した各画像Ｉｔ１，Ｉｔ２，…について特徴点（コーナー）Ｃを検出し（ステップＳ３）、オプティカルフロー算出部１２ｄにより、取得した各画像Ｉｔ１，Ｉｔ２，…について時系列的に連続する次の画像との間のオプティカルフローＦを算出する（ステップＳ４）。

続いて、三次元復元部１２ｅにより、オプティカルフローの存在する各特徴点Ｃのフロー情報と車両速度、カメラパラメータを用いて車両の移動量、回転量を求め、その値をもとに各点を三次元復元し（ステップＳ５）、最後に、設備判断部１２ｆにより、三次元復元した点群について座標値をもとにグループ分けを行って電車設備かその他の設備かを判定する（ステップＳ６）。

このように構成される本実施例に係る電車設備の三次元計測装置によれば、電車設備の形状モデルなどが無い場合であっても電車設備がコーナー点を多く含むこと及び電車設備は近接してコーナー点（特徴点）Ｃを含むことを利用して電車設備の計測を行うことが可能となる。また、特徴量マッチングではなくオプティカルフローＦを利用することで二枚の画像の対応付けを高速かつ高精度に行うことができる。また、電車車両１の特徴を考慮することにより探索パラメータの少ない三次元復元を行うことができる。

本発明は、電車設備の三次元計測装置及び三次元計測方法に適用することができる。

１ 電車車両
２ 電柱（電車設備）
３ レール
１１ 車上カメラ
１２ 画像処理装置
１２ａ 画像入力部
１２ｂ 車両速度データ取得部
１２ｃ 特徴点検出部
１２ｄ オプティカルフロー算出部
１２ｅ 三次元復元部
１２ｆ 設備判断部
１２ｇ 記憶部
Ｃ 特徴点
Ｆ オプティカルフロー

Claims (8)

1. 電車車両の前方又は後方を撮像する撮像装置と、当該撮像装置によって撮像した画像に基づいて前記電車車両の周囲にある設備を検出する画像処理装置とを備える電車設備の三次元計測装置であって、
   前記画像処理装置が、
   前記撮像装置によって撮像された画像データを入力する画像入力部と、
   前記撮像装置によって画像を撮像した位置に対応する前記電車車両の走行速度を取得する車両速度データ取得部と、
   前記画像データから特徴点を検出する特徴点検出部と、
   前記画像データの時系列的に連続する二つの画像から検出した前記特徴点に基づいてオプティカルフローを算出するオプティカルフロー算出部と、
   前記電車車両の走行速度、前記オプティカルフロー、及びカメラパラメータに基づいて前記電車車両の移動量及び回転量を求め、当該移動量及び回転量に基づいて前記特徴点の三次元座標を求める三次元復元部と、
   前記特徴点の三次元座標に基づいて前記設備の有無を判定する設備判断部と
   を備える
   ことを特徴とする電車設備の三次元計測装置。
2. 前記特徴点検出部が、特徴点として前記画像データからコーナー点を検出する
   ことを特徴とする請求項１記載の電車設備の三次元計測装置。
3. 前記三次元復元部が、鉛直方向及びピッチング角を除く前記電車車両の移動量及び回転量を求める
   ことを特徴とする請求項１又は請求項２記載の電車設備の三次元計測装置。
4. 前記設備判断部が、前記特徴点が近接して所定値以上存在する領域を前記設備と判断し、前記特徴点が所定値未満の領域をノイズと判断する
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の電車設備の三次元計測装置。
5. 撮像装置によって電車車両の前方又は後方を撮像し、前記撮像装置によって撮像した画像に基づいて前記電車車両の周囲にある設備を検出する電車設備の三次元計測方法であって、
   前記撮像装置によって撮像された画像データを入力する画像入力工程と、
   前記撮像装置によって画像を撮像した位置に対応する前記電車車両の走行速度を取得する車両速度データ取得工程と、
   前記画像データから特徴点を検出する特徴点検出工程と、
   前記画像データの時系列的に連続する二つの画像から検出した前記特徴点に基づいてオプティカルフローを算出するオプティカルフロー算出工程と、
   前記電車車両の走行速度、前記オプティカルフロー、及びカメラパラメータに基づいて前記電車車両の移動量及び回転量を求め、当該移動量及び回転量に基づいて前記特徴点の三次元座標を求める三次元復元工程と、
   前記特徴点の三次元座標に基づいて前記設備の有無を判定する設備判定工程と
   を有することを特徴とする電車設備の三次元計測方法。
6. 前記特徴点検出工程が、前記特徴点として前記画像データからコーナー点を検出する
   ことを特徴とする請求項５記載の電車設備の三次元計測方法。
7. 前記三次元復元工程が、鉛直方向及びピッチング角を除く前記電車車両の移動量及び回転量を求める
   ことを特徴とする請求項５又は請求項６記載の電車設備の三次元計測方法。
8. 前記設備判定工程が、前記特徴点が近接して所定値以上存在する領域を前記設備と判断し、前記特徴点が所定値未満の領域をノイズと判断する
   ことを特徴とする請求項５から請求項７のいずれか１項に記載の電車設備の三次元計測方法。

Images