JP7329983B2 - 学習用データ生成装置及び物体検知装置 - Google Patents

Description

本発明は、学習用データ生成装置及び物体検知装置に関する。

従来、鉄道等の車両の乗降場所であるプラットホームには、車両軌道への利用客の進入を防止するホームドアが設けられている。ホームドアは開閉するドアパネルを有しており、このドアパネルは、車両のドアと対応するように配置される。

ホームドアは、車両がプラットホームに停車して、利用客が車両へ乗降する時には、ドアパネルが開き、車両の走行中又は車両がプラットホームに停車していない時には、ドアパネルを閉じる。

ホームドアには、ホームドア近傍の利用客又は障害物等の支障物を検知するセンサが配置される。センサの検知結果に基づいて、ドアパネルの開閉又は車両の運行が制御されて、利用客の安全が確保される。

ホームドアのセンサとして、三次元距離センサが用いられており、この三次元距離センサが検知エリアを走査することにより三次元距離画像が取得されて、検知エリア内の支障物の有無が判断される。

検知エリアは、ホームドアと車両との間の空間を含むように生成される。ここで、検知エリア内の領域を規定する境界は、利用客の安全を確保すると共に、過剰な検知を行わないように設定される。例えば、検知エリアの境界は、ホームドアの上側の部分に利用客が手を乗せている場合、または、ホームドアの下側の部分に利用客が足先を置いている場合には、このような状況を検知しないように設定される。

利用客の安全を確保する観点から、できるだけ多くの場所にホームドアを設置することが望まれている。

しかし、検知エリア内の支障物を検知する三次元距離センサが高価であることが、ホームドアの設置を促進することの妨げとなっている。

そこで、カメラで車両のドアの周辺の画像を撮影して、支障物の有無を判定することが提案されている。例えば、特許文献１が開示する車両ドア監視システムは、カメラを用いて車両のドアの周辺のカメラ画像を撮影し、このカメラ画像からドアを検出し、検出されたドアの位置から判定エリアを設定し、カメラ画像から判定エリアの画像を取得して、判定エリアの画像に基づいて、ドアにおける異物の挟み込みの有無を判定する。

特開２０１８－１６７５９４号公報

ここで、ホームドアの形状若しくは寸法、またはホームドアと車両との間の距離は、ホームドア及び車両との組み合わせごとに異なる場合があるので、支障物などの物体を検知するための検知エリアの境界は、ホームドアごと及び車両との組み合わせごと異なり得る。

また、カメラで撮影される画像を用いて、検知エリア内の物体を検知するためには、２次元情報である画像から、３次元的な物体の位置を見つけることが求められる。

そこで、本明細書では、ホームドアに設定された検知エリアを撮影した画像を用いて、ホームドア及び車両の組み合わせごとに異なり得る検知エリア内の物体を検知可能な機械学習器の学習用データを生成する学習用データ生成装置を提供することを課題とする。

また、本明細書では、ホームドアに設定された検知エリアを撮影した画像を用いて、ホームドアごと及び車両ごとに異なり得る検知エリア内の物体を検知可能な機械学習器を用いて物体を検知する物体検知装置を提供することを課題とする。

本明細書に開示する学習用データ生成装置によれば、車両が停車するホームのホームドアに対して設定された検知エリアを含む領域がカメラを用いて撮影された複数の画像であって、検知エリア内の物体の有無が３次元距離画像センサを用いて検知される複数の画像を入力し、かつ、複数の画像のそれぞれが撮影された時に、３次元距離画像センサを用いて検知エリアが検知された検知結果を入力する入力部と、検知結果に基づいて、検知エリア内における物体の有無を識別するラベルを生成するラベル生成部と、複数の画像のそれぞれに対して、当該画像が撮影された時の検知結果に基づいて生成されたラベルを関連づけて、機械学習器の学習用データを生成する学習用データ生成部と、学習用データを記憶する記憶部と、を有する。

また、本明細書に開示する物体検知装置によれば、上述した学習用データ生成装置が生成した学習用データを用いて、複数の画像のそれぞれと、当該画像と関連づけられているラベルとの関係性を学習する学習モデルを含む機械学習器と、車両が停車するホームのホームドアに対して設定された検知エリアに対して、学習用データの画像を撮影した時と同様の位置関係に配置されて、検知エリアを撮影するカメラと、カメラが撮影した画像を機械学習器に入力し、機械学習器の出力に基づいて、検知エリア内における物体の有無を判定する判定部とを有する。

上述した本明細書に開示する学習用データ生成装置によれば、画像を用いて、ホームドアごと及び車両ごとに異なり得る検知エリア内の物体を検知可能な機械学習器の学習用データを生成できる。

また、上述した本明細書に開示する物体検知装置によれば、画像を用いて、ホームドアごと及び車両ごとに異なり得る検知エリア内の物体を検知可能である。

本明細書に開示する機械学習システムの一実施形態の構成を示す図である。 ホームドアに設定される検知エリアを説明する斜視図である。 ホームドアに設定される検知エリアを説明する上面図である。 ホームドアに設定される検知エリアを説明する断面図である。 検知エリアに物体が存在する例を示す図（その１）である。 検知エリアに物体が存在する例を示す図（その２）である。 検知エリアに物体が存在する例を示す図（その３）である。 検知エリアに物体が存在する例を示す図（その４）である。 学習用データを生成する処理のフローチャートである。 学習モデルを生成する処理のフローチャートである。 本明細書に開示する支障物検知装置の一実施形態の構成を示す図である。

以下、図を参照しつつ、学習用データ生成装置について説明する。この学習用データ生成装置は、車両が停車するホームのホームドアに対して設定された検知エリアを含む領域がカメラを用いて撮影された複数の画像であって、検知エリア内の物体の有無が３次元距離画像センサを用いて検知される複数の画像を入力する。また、学習用データ生成装置は、複数の画像のそれぞれが撮影された時に、３次元距離画像センサを用いて検知エリアが検知された検知結果を入力する。学習用データ生成装置は、検知結果に基づいて、検知エリア内における物体の有無を識別するラベルを生成する。そして、学習用データ生成装置は、複数の画像のそれぞれに対して、この画像が撮影された時の検知結果に基づいて生成されたラベルを関連づけて、機械学習器の学習用データを生成して、記憶部に記憶する。

以下では、学習用データ生成装置を、機械学習システムに適用した例について説明する。この例では、学習用データ生成装置が機械学習器の学習用データを生成し、機械学習器は、この学習用データを用いて、画像とラベルとの関係性を学習する。但し、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。

図１は、本明細書に開示する機械学習システムの一実施形態の構成を示す図である。

本実施形態のシステム１は、学習用データ生成装置１０と、物体検知装置２０と、機械学習器６０と、カメラ５０とを備える。カメラ５０は、図２～図４に示すように、プラットホーム２に設置されたホームドア３０に対して設定された検知エリア４０を含む領域の画像を撮影する。

ホームドア３０は、ドアパネル３３を収納する２つの戸袋パネル３５と、戸袋パネル３５を支持する防護支柱３６を有する。支障物検知装置２０は、ホームドア３０の戸袋パネル３５の軌道側の面に配置される。

ホームドア３０は、車両６がプラットホーム２に停車して利用客が車両へ乗降する時を除いてドアパネル３３を閉じており、プラットホーム２上の利用客が車両軌道へ進入することを防止する。

物体検知装置２０は、学習用データ生成装置１０と通信可能な通信部２１と、三次元距離画像を取得する三次元距離画像センサ（以下、単にセンサともいう）２２と、これらを制御する処理部２３とを有する。図２～図４に示すように、センサ２２は、所定の周期で、ホームドア３と車両６との間の空間を走査して、三次元距離画像を取得して処理部２３へ出力する。センサ２２は、例えば、画角の範囲内で、パルス状のレーザ光を照射して走査し、反射した光が戻るのに要する時間を計測することにより、画素毎の距離を測定して、三次元距離画像を取得する。

処理部２３は、検知エリア４０を記憶する設定ファイルに基づいて、センサ２２を制御する。処理部２３は、センサ２２から三次元距離画像を入力する度に、検知エリア４０内の物体の有無を判断し、物体の有無を示す検知結果を、検知した検知時刻と共に、通信部２１を介して学習用データ生成装置１０へ送信する。

図２～４に示すように、検知エリア４０は、ホームドア３０と車両６との間の空間に設定される三次元領域である。センサ２２が検知エリア４０を走査することにより、物体検知装置２０は、検知エリア４０内の物体を検知する。

検知エリア４０は、全体として、ホームドア３０と車両６との間の空間の形状に対応した扁平な形状を有し、車両軌道側（車両６側）の領域である第１エリア４１と、ホームドア３０側の領域である第２エリア４２とを有する。検知エリア４０は、第１エリア４１及び第２エリア４２を有することにより、利用客の安全を確保すると共に、過剰な検知を行わないように境界が設定される。

第１エリア４１は、扁平なほぼ直方体形状を有し、第２エリア４２も、同様に扁平なほぼ直方体形状を有する。第２エリア４２の高さ方向（プラットホーム２の床面に対して垂直な方向）の寸法は、第１エリア４１よりも短い。第２エリア４２の高さ方向の位置は、ドアパネル３３の上側の部分に利用客が手を乗せている場合、又は、ドアパネル３３の下側の部分に利用客が足先を置いている場合には、利用客が手又は足先を検知しないように決定されている。

第１エリア４１の車両軌道側の形状は、車両の輪郭と対応するように決定され得る。同様に、第２エリア４２のホームドア３０側の形状は、ドアパネル３３等の形状と対応するように決定され得る。これにより、検知エリア４０の形状と、ホームドア３０と車両６との間の空間の形状との一致度が高められるので、支障物の検知精度が向上する。なお、検知エリア４０を、第１エリアと第２エリア４２とに分けなくてもよい。

検知エリア４０は、センサ２２が取得する三次元距離画像の各画素に対して、センサ２２に近い方の境界と、センサ２２から遠い方の境界を有する。物体検知装置２０の処理部２３は、センサ２２が測定した三次元距離画像を用いて、各画素から得られた距離が、検知エリア４０内に存在すること、即ち、センサ２２に近い方の境界と、センサ２２から遠い方の境界との間に存在する場合、検知エリア４０内に物体が存在すると判断する。

図５は、検知エリア４０内に物体の一例である利用客５０１、５０２が存在する例を示す図である。図６は、検知エリア４０内に物体の一例である鞄６０１が存在する例を示す図である。鞄６０１は、車両６０２のドア６０３に挟まれた状態で検知エリア４０内に飛び出た状態にある。図７は、検知エリア４０内に物体の一例である傘７０１が存在する例を示す図である。傘７０１は、車両７０２のドア７０３に挟まれた状態で検知エリア４０内に飛び出た状態にある。図８は、検知エリア４０内に物体の一例である缶８０１が存在する例を示す図である。缶８０１は、プラットホーム２上に落ちた状態になる。

カメラ５０は、学習用データ生成装置１０により制御されて、図２に示すように、ホームドア３０に設定された検知エリア４０の画像を撮影する。カメラ５０は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。カメラ５０の光軸及び画角は、検知エリア４０を含む空間を撮影するように調節される。カメラ５０は、撮影した画像を学習用データ生成装置１０へ送信する。図２に示す例では、カメラ５０は、検知エリア４０を斜め上方から撮影するように配置されているが、カメラ５０は、センサ２２の近傍の位置に配置されて、検知エリア４０が側方から撮影するようにしてもよい。カメラ５０は、撮影した画像を、その撮影時刻と共に学習用データ生成装置１０へ送信する。

学習用データ生成装置１０は、カメラ５０を用いて、車両が停車するホーム２のホームドア３０に対して設定された検知エリア４０を含む領域を撮影する。また、学習用データ生成装置１０は、カメラ５０が画像を有力する度に、検知エリア４０内における物体の有無を示す検知結果を入力して、検知エリア４０内における物体の有無を識別するラベルを作成する。学習用データ生成装置１０は、複数の画像のそれぞれに対してラベルを関連づけて、機械学習器の学習用データを生成して記憶する。

学習用データ生成装置１０は、操作部１１と、表示部１２と、通信部１３と、記憶部１４と、処理部１５を有する。

操作部１１は、ユーザに操作されて、学習用データを生成するために必要な情報などを入力する。操作部１１は、例えば、キーボード及びマウスなどのユーザの操作を入力する入力装置を有する。

表示部１２は、カメラ５０が撮影した画像などの学習用データを生成する処理に用いられる情報を表示する。表示部１２は、例えば、液晶ディスプレイを有する。

通信部１３は、学習用データ生成装置１０を、物体検知装置２０、カメラ５０及び機械学習器６０に接続するためのインターフェース回路を有する。通信部１３は、カメラ５０が撮影した画像を入力する入力部の一例である。また、通信部１３は、物体検知装置２０から検知結果を入力する入力部の一例である。

記憶部１４は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。記憶部１４は、カメラ５０が撮影した画像、画像が撮影された時の物体検知装置２０の検知結果、及び生成された学習用データなどを記憶する。例えば、カメラ５０が撮影した画像は、撮影時刻と一致する検知時刻を有する検知結果と関連付けられて、記憶部１４に記憶される。

処理部１５は、１個または複数個のプロセッサ及びその周辺回路を有する。処理部１５は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そして処理部１５は、カメラ５０が撮影した画像を記憶部１４などから取得し、画像が撮影された時の物体検知装置２０の検知結果に基づいて、検知エリア４０内における物体の有無を識別するラベルを生成し、画像に対して、ラベルを関連づけて、機械学習器の学習用データを生成する。そして、処理部１５は、ラベルが関連づけられた画像を、学習用データとして記憶部１４に記憶する。

処理部１５は、機械学習器の学習用データを生成する処理に関して、画像取得部１５ａと、ラベル生成部１５ｂと、学習用データ生成部１５ｃを有する。処理部１５が有するこれらの各部は、例えば、プロセッサ上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、処理部１５が有するこれらの各部は、処理部１５に設けられる、専用の演算回路であってもよい。処理部１５は、機械学習器の学習用データを生成する処理に関して、学習用の元データを取得するモード及び学習用データを生成するモードを有する。

画像取得部１５ａは、学習用の元データを取得するモードでは、カメラ５０を用いて、車両６が停車するプラットホーム２のホームドア３０に対して設定された検知エリア４０を含む領域の複数の画像を撮影する。そして、画像取得部１５ａは、検知エリア４０が撮影された画像及び撮影時刻を、カメラ５０から通信部１３を介して受信して記憶部１４に記憶する。また、画像取得部１５ａは、学習用データを生成するモードでは、画像及び撮影時刻を記憶部１４から読み出して、撮影時刻をラベル生成部１５ｂへ通知し、画像及び撮影時刻を学習用データ生成部１５ｃへ通知する。また、

ラベル生成部１５ｂは、学習用の元データを取得するモードでは、物体検知装置２０から、検知結果及び検知時刻を受信する度に、検知結果を検知時刻と関連づけて記憶部１４に記憶する。また、ラベル生成部１５ｂは、学習用データを生成するモードでは、画像取得部１５ａから撮影時刻が通知される度に、撮影時刻と一致する検知時刻の検知結果を、を記憶部１４から読み出して、この検知結果に基づいて、検知エリア４０内における物体の有無を識別するラベルを生成し、このラベルを撮影時刻と共に、学習用データ生成部１５ｃへ通知する。ラベル生成部１５ｂは、撮影時刻と一致する検知時刻の検知結果がない場合、撮影時刻に対して所定の時刻の範囲内の検知結果を記憶部１４から読み出して、この検知結果に基づいて、検知エリア４０内における物体の有無を識別するラベルを生成してもよい。また、ラベル生成部１５ｂは、検知エリア内に検知された物体が車両６の安全な運行に支障を与える支障物であるか否かを識別する情報を含めるようにラベルを生成してもよい。支障物である物体として、例えば、利用客、利用客が携帯する鞄または傘などが挙げられる。支障物ではない物体として、例えば、雨、雪、霧、ペットボトルまたは缶などの飲み物の容器、虫、太陽光などが挙げられる。この場合、ラベル生成部１５ｂは、カメラ５０が生成した画像を、記憶部１４から読み出して表示部１２に表示する。ユーザは、表示部１２に表示された画像を目視で確認して、物体が表示されている場合、物体が支障物であるか否かを判断して、操作部１１を用いて判断結果を学習用データ生成装置１０へ入力する。ラベル生成部１５ｂは、入力された判断結果に基づいて、物体が支障物であるか否かを識別する情報を、画像と関連付けられているラベルに追加する。このような学習用データを用いて学習した機械学習器は、カメラで撮影された画像に対して、検知エリア４０内の支障物の有無を識別することができる。また、ラベル生成部１５ｂは、検知エリア内に検知された物体の種類を識別する情報を含めるようにラベルを生成してもよい。この場合、ラベル生成部１５ｂは、カメラ５０が生成した画像を、記憶部１４から読み出して表示部１２に表示する。ユーザは、表示部１２に表示された画像を見て、物体が表示されている場合、物体の種類を判断して、操作部１１を用いて物体の種類を学習用データ生成装置１０へ入力する。ラベル生成部１５ｂは、入力された物体の種類を識別する情報を、画像と関連付けられているラベルに追加する。例えば、ラベル生成部１５ｂは、検知エリア内に検知された物体が車両であるか否かを識別する情報を含めるようにラベルを生成してもよい。このような学習用データを用いて学習した機械学習器は、カメラで撮影された画像に対して、駅の車両軌道に進入している車両の有無を識別することができる。さらに、ラベル生成部１５ｂは、検知エリア内に検知された物体が車両のドアであるか否かを識別する情報を含めるようにラベルを生成してもよい。このような学習用データを用いて学習した機械学習器を使用して、車両のドアが撮影された画像を識別することができる。そして、連続して撮影された画像のそれぞれのドアを示す領域の面積の経時変化を調べることにより、車両６のドアが開閉中であるか否かをさらに識別することができる。上述したように、ラベル生成部１５ｂは、検知エリア内における物体の有無、物体が支障物であるか否か、物体の種類などの情報を識別するラベルを、各画像に対して生成し得る。

学習用データ生成部１５ｃは、画像取得部１５ａから通知された画像に対して、撮影時刻を用いて、ラベル生成部１５ｂから通知されたラベルを関連づけて、機械学習器の学習用データを生成して、記憶部１４に記憶する。

次に、機械学習システム１が、学習用データを生成する処理を、図９に示すフローチャートを参照しながら以下に説明する。

まず、カメラ５０は、学習用データ生成装置１０により制御された検知エリア４０の複数の画像を撮影して、これらの画像を学習用データ生成装置１０に送信し、物体検知装置２０は、検知エリア４０内の物体の有無を示す検知結果を学習用データ生成装置１０に送信する（ステップＳ９０１）。この処理では、実際のプラットホーム２において、ホームドア３０の検知エリア４０に侵入し得る物体の種類及び検知エリア４０の物体の位置などの状況を可能な限り想定して、各状況を表した画像を撮影すると共に、撮影時における検知エリア４０内の物体の有無の検知が行われることが好ましい。

次に、学習用データ生成装置１０は、カメラ５０から受信した複数の画像を、物体検知装置２０から受信した検知結果と関連づけて記憶する（ステップＳ９０２）。

次に、学習用データ生成装置１０は、検知結果に基づいて、及び、検知エリア内に物体が検知されている場合には、物体の種類に基づいて、画像を識別するラベルを生成する（ステップＳ９０３）。この処理では、複数の画像がある場合、各画像を識別するラベルをまとめて生成してもよい。

次に、学習用データ生成装置１０は、複数の画像のそれぞれに対して、その画像が撮影された時に生成された検知結果に基づいて生成されたラベルを関連づけて、機械学習器の学習用データを生成する（ステップＳ９０４）。この処理では、複数の画像がある場合、各画像にラベルを関連付ける処理をまとめて実行してもよい。

次に、学習用データ生成装置１０は、学習用データを記憶する（ステップＳ９０５）。

次に、機械学習器６０について、以下に説明する。

機械学習器６０は、１個または複数個のプロセッサ及びその周辺回路を有する。機械学習器６０は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。機械学習器６０は、学習用データ生成装置１０と通信する通信部（図示せず）及び機械学習の処理に用いる情報を記憶する記憶部（図示せず）を有する。

機械学習器６０は、学習モデル６１と、誤差計算部６２と、学習モデル更新部６３を有する。学習モデル６１として、教師あり学習により画像の特徴を学習して、画像とラベルとの関係性を学習するディープニューラルネットワーク（ＤＮＮ）を用いることができる。なお、学習モデル６１として、ＤＮＮ以外のモデルを用いてもよい。学習モデル６１は、複数の画像のそれぞれと、その画像と関連づけられているラベルとの関係性を学習する。

機械学習器６０が、学習モデルを生成する動作を、図１０に示すフローチャートを参照しながら、以下に説明する。

まず、学習モデル６１は、学習用データ生成装置１０から学習用データの画像を入力する（ステップＳ１００１）。例えば、画像を形成する各画素の情報が、ディープニューラルネットワークの入力層に入力される。

次に、誤差計算部６２は、学習用データ生成装置１０から学習用データのラベルを入力し、学習モデル６１により得られた出力及びラベルに基づいて、誤差を計算する（ステップＳ１００２）。

次に、学習モデル更新部６３は、誤差が所定の条件を満たしたか否かを判定する（ステップＳ１００３）。例えば、学習モデル更新部６３は、数値で表された誤差が所定のしきい値以下であれば、所定の条件を満たしたと判定する（ステップＳ１００３－Ｙｅｓ）。図１０に示す処理は、学習用データ生成装置１０が生成した全ての学習用データの画像を用いて行われる。

一方、誤差が所定の条件を満たしていない場合（ステップＳ１００３－Ｎｏ）、学習モデル更新部６３は、誤差に基づいて学習モデル６１を更新して、再度、学習モデル６１は、同じ学習用データの画像を入力する（ステップＳ１００１）。例えば、学習モデル更新部６３は、誤差を逆伝搬してニューラルネットワークの重みパラメータを更新してもよい。このようにして機械学習器６０が生成した学習モデル６１は、他の機械学習器において利用可能である。

次に、上述した学習モデルを有する機械学習器を備える物体検知装置の一例である支障物検知装置について、図１１を参照しながら、以下に説明する。

図１１は、本明細書に開示する支障物検知装置の一実施形態の構成を示す図である。支障物検知装置７０は、カメラ５０を用いて撮影した画像に基づいて、ホームドア３０の検知エリア４０内の支障物の有無を検知する。支障物検知装置７０は、検知エリア４０における支障物の有無を検知して、支障物の有無を示す検知信号をホームドア３０に出力する。ホームドア３０は、検知信号に基づいて、ドアパネル３３の開閉動作を行う。

ホームドア３０は、ドアパネル３３を駆動して開閉する駆動部３２と、支障物検知装置７０と通信する通信部３４と、これらを制御する制御部３１を有する。ホームドア３０の構成は、図２～図４に示す通りである。なお、ホームドアは、学習用データを生成するために使用されたものと同一でなくてもよい。ホームドアは、学習用データを生成するために使用されたものと同一の検知エリアを有するものであればよい。

カメラ５０は、図２に示すように、機械学習器の学習用データを生成するための画像を撮影したのと同様の位置関係でホームドア３０の検知エリア４０に対して配置される。すなわち、カメラ５０の光軸、画角などの光学特性及び検知エリア４０との相対的な位置関係は、機械学習器の学習用データを生成するための画像を撮影した時と同じであることが好ましい。なお、カメラは、学習用データを生成するために使用されたものと同一でなくてもよい。カメラは、学習用データを生成するために使用されたものと同一の光軸及び画角などの光学特性及び結像光学系を有していて、ホームドアに対して設定された検知エリアに対して、学習用データの画像を撮影した時と同様の位置関係に配置されていればよい。

支障物検知装置７０は、通信部７１と、記憶部７２と、機械学習器６０と、処理部７３とを有する。

通信部７１は、ホームドア３０及びカメラ５０に接続するためのインターフェース回路を有する。通信部７１は、カメラ５０が撮影した画像を、処理部７３へ出力する。

記憶部７２は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。記憶部７２は、支障物を検知する処理で使用される各種の情報を記憶する。

機械学習器６０は、上述した機械学習システム１と同様のものを用いることができる。機械学習器６０は、学習用データ生成装置１０が生成した学習用データを用いて、画像とラベルとの関係性を学習した学習モデル６１を有する。

処理部７３は、１個または複数個のプロセッサ及びその周辺回路を有する。処理部７３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そして処理部７３は、カメラが撮影した画像を機械学習器６０に入力し、機械学習器６０の出力に基づいて、検知エリア４０内の支障物の有無を判定する。支障物は、物体の一例である。

処理部７３は、支障物を検知する処理に関して、判定部７３ａを有する。また、処理部７３は、支障物を検知する処理に関して、駅の車両軌道に進入している車両のドアの開閉動作を検知する処理に関して、ドア開閉検知部７３ｂを有する。処理部７３が有するこれらの各部は、例えば、プロセッサ上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、処理部７３が有するこれらの各部は、処理部７３に設けられる、専用の演算回路であってもよい。

判定部７３ａは、カメラ５０が生成した画像を、機械学習器６０に入力して、機械学習器６０の出力に基づいて、検知エリア４０内における支障物の有無を判定する。判定部７３ａは、機械学習器６０が画像内に支障物を識別した場合、検知エリア４０内に支障物が有ると判定する。判定部７３ａは、検知エリア４０内に利用者、鞄又は傘などの支障物として検知できる。一方、判定部７３ａは、検知エリア４０内に雨、雪、霧、ペットボトル又は缶などの飲み物の容器、虫、太陽光などの物体は、支障物として検知しない。これにより、判定部７３ａは、検知エリア４０のような複雑な空間形状内に位置する支障物の有無を、カメラ５０が生成した画像に基づいて判定することができる。判定部７３ａは、検知エリア４０内に支障物が有ると判定した場合、ドアパネル３３を開くことを要求する検知信号を、通信部７１を介してホームドア３０へ送信する。また、判定部７３ａは、カメラ５０が生成した画像を、機械学習器６０に入力して、機械学習器６０の出力に基づいて、物体の種類を判定する。例えば、判定部７３ａは、機械学習器６０が画像に写された物体が電車であることを識別した場合、電車が駅の車両軌道に進入していると判定することができる。これにより、電車を検知するセンサを別途設けることなく、支障物検知装置７０を用いて電車を検知することが可能となる。また、判定部７３ａは、機械学習器６０が画像に写された物体が電車のドアであることを識別した場合、この画像をドア開閉検知部７３ｂへ通知する。

ドア開閉検知部７３ｂは、通知された画像内の電車のドアに対応する領域を識別する。ドア開閉検知部７３ｂは、例えば、画像上に設定されるウィンドウから算出される特徴量（例えば、Histograms of Oriented Gradients, ＨＯＧ）を入力として、そのウィンドウに検出対象となる電車のドアが表される確信度を出力するように予め学習されたサポートベクトルマシン（ＳＶＭ）を用いてもよい。また、ドア開閉検知部７３ｂは、検出対象となる電車のドアが表されたテンプレートと画像との間でテンプレートマッチングを行うことで、ドアの領域を検出してもよい。ドア開閉検知部７３ｂは、電車のドアが撮影されている、時系列的に連続する複数の画像に対して、画像内の電車のドアに対応する領域を識別し、これらの領域の面積が増加しているのか、又は、減少しているのかを判定する。そして、ドア開閉検知部７３ｂは、面積が増加している場合、電車のドアは閉じつつあると判定する。一方、ドア開閉検知部７３ｂは、面積が減少している場合、電車のドアは開きつつあると判定する。これにより、電車のドアの開閉状態を検知するセンサを別途設けることなく、支障物検知装置７０を用いて電車のドアの開閉状態を検知することが可能となる。例えば、処理部７３は、検知エリア４０に支障物を検知し、かつ、電車のドアが閉じつつあると判定した場合、ホームドア３０に対して、ドアパネル３３を開くことを要求する信号を通信部７１を介して送信してもよい。なお、電車が走行している時に撮影された画像では、電車のドアは閉じた状態にあるので、画像内の電車のドアに対応する領域の面積は一定で変化しないため、ドア開閉検知部７３ｂは、ドアが開閉中であるとは判定しない。

また、支障物検知装置７０は、ホームドア３０が三次元距離センサを有している場合、カメラ５０を用いて、学習用データの画像及び検知結果を取得して、機械学習器６０の学習モデル６１を生成又は更新してもよい。

支障物検知装置７０は、学習用データを生成したのと同様の検知エリアを有するホームドアに対して適用可能であるので、１つの学習モデルを生成すれば、この学習モデルを用いる支障物検知装置７０を、学習データを生成したのと同じホームドアに配置することができる。これにより、高価な３次元距離を用いることなく、複数の支障物検知装置７０を各ホームドアに配置して、利用客の安全をさらに確保できる。

本発明では、上述した実施形態の学習用データ生成装置及び物体検知装置は、本発明の趣旨を逸脱しない限り適宜変更が可能である。

また、物体検知装置は、検知エリア内の物体の有無を検知する３次元距離画像センサと、検知エリアの画像と画像内の物体の種類との関係を学習可能な機械学習器とを有していてもよい。物体検知装置は、３次元距離画像センサを用いて、検知エリア内の物体を検知した場合、機械学習器を用いて画像内の物体が支障物であるか否かを識別して、検知エリア内の支障物を検知するようにしてもよい。

１ システム
２ ホーム
６ 車両
１０ 学習用データ生成装置
１１ 操作部
１２ 表示部
１３ 通信部
１４ 記憶部
１５ 処理部
１５ａ 画像取得部
１５ｂ ラベル生成部
１５ｃ 学習用データ生成部
２０ 物体検知装置
２１ 通信部
２２ 三次元距離画像センサ
２３ 処理部
３０ ホームドア
３１ 制御部
３２ 駆動部
３３ ドアパネル
３４ 通信部
３５ 戸袋パネル
３６ 防護支柱
４０ 検知エリア
４１ 第１エリア
４２ 第２エリア
５０ カメラ
６０ 機械学習器
６１ 学習モデル
６２ 誤差計算部
６３ 学習モデル更新部
７０ 支障物検知装置
７１ 通信部
７２ 記憶部
７３ 処理部
７３ａ 判定部
７３ｂ ドア開閉検知部

Claims (4)

1. 車両が停車するホームのホームドアに対して設定された検知エリアを含む領域がカメラを用いて撮影された複数の画像を入力し、かつ、前記複数の画像のそれぞれが撮影された時に、３次元距離画像センサを用いて前記検知エリア内の物体の有無が検知された検知結果を入力する入力部と、
   前記検知結果に基づいて、前記検知エリア内における物体の有無を識別するラベルを生成するラベル生成部と、
   前記複数の画像のそれぞれに対して、当該画像が撮影された時の前記検知結果に基づいて生成された前記ラベルを関連づけて、機械学習器の学習用データを生成する学習用データ生成部と、
   前記学習用データを記憶する記憶部と、
   を有し、
   前記ラベルは、前記物体が車両であるか否かを識別する情報を含む、学習用データ生成装置。
2. 前記ラベルは、さらに、前記物体が車両の安全な運行に支障を与える支障物であるか否かを識別する情報を含む、請求項１に記載の学習用データ生成装置。
3. 前記ラベルは、さらに、前記物体が車両のドアであるか否かを識別する情報を含む、請求項１に記載の学習用データ生成装置。
4. 請求項１に記載の学習用データ生成装置が生成した前記学習用データを用いて、前記複数の画像のそれぞれと、当該画像と関連づけられている前記ラベルとの関係性を学習する学習モデルを含む機械学習器と、
   車両が停車するホームのホームドアに対して設定された検知エリアに対して、前記学習用データの前記画像を撮影した時と同様の位置関係に配置されて、前記検知エリアを撮影するカメラと、
   前記カメラが撮影した画像を前記機械学習器に入力し、前記機械学習器の出力に基づいて、前記検知エリア内における物体の有無を判定する判定部と、
   を有する物体検知装置。

Images