JP7141987B2 - 安全確認方法 - Google Patents

Description

本発明は、鉄道車両が駅のホームから発車する際に、鉄道車両の乗務員がホーム上の旅客の安全を確認するための安全確認方法に関するものである。

例えば地方部の鉄道では、車掌が乗務せず、運転士一人により列車の運行を行うワンマン運転が行われている。ワンマン運転において、鉄道車両が駅のプラットホーム（ホーム）から発車する際は、運転士が、ホームに設置されているホームミラーを用いてホーム上の旅客を目視で確認することにより、ホーム上の旅客の安全を確認している。

一方、鉄道車両の側面にカメラを設置し、設置されたカメラにより撮影された映像を運転台に設置されたモニタに表示することにより、運転士が、ホームミラーを用いてホーム上の旅客の安全を目視で確認することに代えて、モニタに表示された映像を用いてホーム上の旅客の安全を確認する方法がある。

国際公開第２０１５／１４５７３６号（特許文献１）には、鉄道車両に搭載され、サーバと、モニタと、鉄道車両を編成する車両にそれぞれ設けられた車両の扉の乗降口付近を撮像可能な位置に設けたカメラ及びレイヤースイッチとがネットワークで接続されたモニタリングシステムにおいて、サーバが上位サーバより受信した運行情報に応じて、サーバは、カメラが撮像した映像をモニタに表示する技術が開示されている。

国際公開第２０１５／１４５７３６号

上記したように、鉄道車両の側面に設置されたカメラにより撮影された映像を運転台に設置されたモニタに表示し、モニタに表示された映像を用いて運転士がホーム上の旅客の安全を確認する場合を考える。このような場合、カメラが鉄道車両一両ごとに設置され、各カメラにより撮影される映像は長くても鉄道車両一両分で済むため、１つのホームミラーだけでホーム上の一列車分に対応した空間における旅客の安全を確認する場合に比べて、目視による安全確認の安全性が向上する。

しかしながら、目視による安全確認とは、あくまでも人間の眼による確認である。そのため、運転士の生理状態、天候又は時間帯等の環境条件によっては、ホーム上の旅客が鉄道車両に接近しているという危険事象の見逃しが発生するおそれがある。また、例えばワンマン運転を行っておらず鉄道車両が発車する際のホーム上の安全確認を車掌が行っている場合には、ホーム上の安全確認を自動化することができれば、乗務員の数を削減（乗務員レス化）することができるが、ホーム上の安全確認を自動化することができなければ、乗務員レス化も困難である。

本発明は、上述のような従来技術の問題点を解決すべくなされたものであって、鉄道車両が駅のホームから発車する際に、鉄道車両の乗務員がホーム上の旅客の安全を確認するための安全確認方法において、乗務員の見逃しを防止することができ、ホーム上の安全確認を自動化することができ、乗務員レス化が期待できる安全確認方法を提供することを目的とする。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

本発明の一態様としての安全確認方法は、鉄道車両が駅のホームから発車する際に、鉄道車両の乗務員がホーム上の旅客の安全を確認するための安全確認方法である。ホーム上には、複数の点字ブロックが配置され、複数の点字ブロックは、ホームの長さ方向に沿って配列され、鉄道車両のホーム側の側面には、鉄道車両のホーム側の側方及びホームの上方を撮影する第１カメラが設置されている。当該安全確認方法は、複数の点字ブロックの各々の大きさを示す第１情報、及び、ホームの幅方向におけるホームの端部と複数の点字ブロックの各々との間のホームの幅方向における第１距離を示す第２情報を用意する（ａ）ステップと、鉄道車両がホームから発車する際に、第１カメラにより鉄道車両のホーム側の側方及びホームの上方を撮影する（ｂ）ステップと、を有する。また、当該安全確認方法は、（ｂ）ステップにて第１カメラにより撮影された第１撮影画像から人物を検出し、検出された人物の第１撮影画像中の第１位置座標を取得する（ｃ）ステップと、複数の点字ブロックのうち第１撮影画像に撮影されている第１点字ブロックについて、第１点字ブロックの第１撮影画像中の第２位置座標を取得し、取得された第２位置座標と、第１情報及び第２情報と、に基づいて、第２位置座標を、ホームを上方から俯瞰した俯瞰画像中の第１点字ブロックの第３位置座標に変換するための射影変換行列を算出する（ｄ）ステップと、を有する。また、当該安全確認方法は、第１位置座標を射影変換行列を用いて変換することにより、人物の俯瞰画像中の第４位置座標を算出し、算出された第４位置座標に基づいて、ホームの幅方向におけるホームの端部と人物との間の第２距離を算出する（ｅ）ステップと、算出された第２距離を第１閾値と比較し、第２距離が第１閾値未満のときは、乗務員に注意情報を通知する（ｆ）ステップと、を有する。

また、他の一態様として、（ｄ）ステップでは、複数の点字ブロックのうち第１撮影画像に撮影されており且つ互いに隣り合う複数の第１点字ブロックである複数の第２点字ブロックを選択し、選択された複数の第２点字ブロックにより点字ブロック群を形成し、形成された点字ブロック群の第１撮影画像中の四隅の座標である４つの第２位置座標を取得し、第１情報及び第２情報に基づいて点字ブロック群の俯瞰画像中の四隅の座標である４つの第３位置座標を算出し、４つの第２位置座標を４つの第３位置座標に変換するための射影変換行列を算出してもよい。

また、他の一態様として、（ｄ）ステップでは、複数の点字ブロックのうち第１撮影画像に撮影されており且つ互いに隣り合うｎ個（ｎは３以上の整数）の第２点字ブロックを選択し、選択されたｎ個の第２点字ブロックにより点字ブロック群を形成してもよい。

また、他の一態様として、鉄道車両のホーム側の側面には、鉄道車両のホーム側の側方及びホームの上方を撮影する第２カメラが設置され、第２カメラは、鉄道車両の長さ方向において第１カメラと対向配置されていてもよい。（ｂ）ステップでは、鉄道車両がホームから発車する際に、第２カメラにより鉄道車両のホーム側の側方及びホームの上方を撮影してもよい。また、当該安全確認方法は、更に、複数の点字ブロックのうち、第１撮影画像、及び、（ｂ）ステップにて第２カメラにより撮影された第２撮影画像のいずれにも撮影されている点字ブロックである第３点字ブロックを選択し、選択された第３点字ブロックの第１撮影画像中の第５位置座標と、選択された第３点字ブロックの第２撮影画像中の第６位置座標と、に基づいて、第１カメラ又は第２カメラから第３点字ブロックまでの第３距離を算出する（ｇ）ステップを有してもよい。（ｅ）ステップでは、（ｇ）ステップにて算出された第３距離に基づいて、第２距離を補正してもよい。

また、他の一態様として、（ｃ）ステップは、（ｂ）ステップにて第１カメラにより撮影された第１撮影画像から人物を検出する（ｃ１）ステップと、（ｃ１）ステップにて検出された人物の第１撮影画像中の四隅のいずれかの第７位置座標と、人物の第１撮影画像中の第１幅及び第１高さと、を取得する（ｃ２）ステップと、第７位置座標と、第１幅及び第１高さと、に基づいて、人物の第１撮影画像中の足元の位置座標である第１位置座標を取得する（ｃ３）ステップと、を含んでもよい。

また、他の一態様として、（ｄ）ステップでは、第１点字ブロックの第１撮影画像中の第２位置座標を取得し、第１情報及び第２情報に基づいて、第１点字ブロックの実際の大きさを示す数値、又は、俯瞰画像のうち第１点字ブロックを示す第１領域に含まれる画素数、を含む第３情報を取得し、取得された第２位置座標と、取得された第３情報と、に基づいて、射影変換行列を算出してもよい。

本発明の一態様を適用することで、鉄道車両が駅のホームから発車する際に、鉄道車両の乗務員がホーム上の旅客の安全を確認するための安全確認方法において、乗務員の見逃しを防止することができ、ホーム上の安全確認を自動化することができ、乗務員レス化が期待できる。

実施の形態の安全確認システムの構成を示す図である。 実施の形態の安全確認方法の一部のステップを示すフロー図である。 実施の形態の安全確認方法の一部のステップを示すフロー図である。 実施の形態の安全確認方法における撮影画像及び俯瞰画像を模式的に示す図である。 実施の形態の安全確認方法における撮影画像及び俯瞰画像を模式的に示す図である。 実施の形態の安全確認方法における撮影画像及び俯瞰画像を模式的に示す図である。 撮影画像を射影変換行列を用いて変換した俯瞰画像を示す図である。 実施の形態の変形例の安全確認方法における撮影画像及び俯瞰画像を模式的に示す図である。 ステレオ画像処理技術による距離計測の原理を示す図である。

以下に、本発明の各実施の形態について、図面を参照しつつ説明する。

なお、開示はあくまで一例にすぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は説明をより明確にするため、実施の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。

また本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。

更に、実施の形態で用いる図面においては、断面図であっても図面を見やすくするためにハッチング（網掛け）を省略する場合もある。また、平面図であっても図面を見やすくするためにハッチングを付す場合もある。

なお、以下の実施の形態においてＡ～Ｂとして範囲を示す場合には、特に明示した場合を除き、Ａ以上Ｂ以下を示すものとする。

（実施の形態）
＜安全確認システム及び安全確認方法＞
初めに、本発明の一実施形態である実施の形態の安全確認システム及び安全確認方法について説明する。本実施の形態の安全確認システムは、鉄道車両が駅のホームから発車する際に、鉄道車両の乗務員がプラットホーム（ホーム）上の旅客の安全を確認するための安全確認システムである。また、本実施の形態の安全確認方法は、鉄道車両が駅のホームから発車する際に、鉄道車両の乗務員がホーム上の旅客の安全を確認するための安全確認方法であり、本実施の形態の安全確認システムを用いた安全確認方法である。

図１は、実施の形態の安全確認システムの構成を示す図である。図１は、本実施の形態の安全確認システムを備えた鉄道車両が駅のホームに停車している時に、鉄道車両とホームとを上方から視た状態を示し、鉄道車両の側面に設置されたカメラにより撮影された撮影画像が変換された俯瞰画像中の人物をホームと重ね合わせて示す。図２及び図３は、実施の形態の安全確認方法の一部のステップを示すフロー図である。図３は、図２の一部のステップに含まれるステップを示す。

図４乃至図６は、実施の形態の安全確認方法における撮影画像及び俯瞰画像を模式的に示す図である。図４乃至図６は、鉄道車両の側面に設置されたカメラにより撮影された撮影画像と、撮影画像が変換された俯瞰画像中の人物をホームと重ね合わせて示す。図４の左側、図５の左側及び図６の左側は、撮影画像を示し、図４の右側、図５の右側及び図６の右側は、俯瞰画像を示す。図４は、旅客が鉄道車両に接近していない状態を示し、図５は、旅客が鉄道車両に接近している状態を示し、図６は、その中間の状態を示す。

図１に示すように、本実施の形態の安全確認システム１０は、撮影部１１と、第１座標取得部１２と、変換行列算出部１３と、第２座標取得部１４と、情報通知部１５と、を有する。また、本実施の形態の安全確認システム１０は、撮影部１１、第１座標取得部１２、変換行列算出部１３、第２座標取得部１４及び情報通知部１５の動作を制御する制御部１６を有してもよい。第１座標取得部１２、変換行列算出部１３、第２座標取得部１４及び制御部１６として、例えば撮影部１１、第１座標取得部１２、変換行列算出部１３、第２座標取得部１４及び制御部１６に一定の動作をさせるためのプログラムを実行するコンピュータを用いることができる。なお、第１座標取得部１２、変換行列算出部１３、第２座標取得部１４及び制御部１６は、鉄道車両２０に設置されてもよいが、地上側に設置されてもよい。

図１に示すように、撮影部１１は、鉄道車両２０の側面に設置され、鉄道車両２０の側方を撮影する複数のカメラ（車両側面カメラ）を含む。車両側面カメラとして、例えば一両の鉄道車両２０の前後左右の４箇所の各々にそれぞれ設置されている４つのカメラ２１～２４を用いることができ、このような場合、鉄道車両２０の進行方向に対して、鉄道車両２０の後方から前方を監視するカメラ（左右）であるカメラ２１及び２２と、鉄道車両２０の前方から後方を監視するカメラ（左右）であるカメラ２３及び２４と、を用いることができる。図１には、４つのカメラ２１～２４の各々がそれぞれ撮影及び監視している範囲を、撮影範囲ＳＲ１～ＳＲ４として示している。４つのカメラ２１～２４の各々は、カメラの高さ位置が鉄道車両２０のドア２５の高さ位置と同程度になるように、設置されている。また、４つのカメラ２１～２４の各々は、水平方向よりも斜め下の方向を向き、且つ、プラットホーム（ホーム）２６全体を監視できるような俯角及び画角を有するように、設置されている。

情報通知部１５は、鉄道車両２０の運転台に設置されたモニタ１５ａを含むことができる。モニタ１５ａには、複数のカメラ２１～２４の各々により撮影された撮影画像が表示される。モニタ１５ａとして、例えば１秒間に数フレームの動画像を表示するものを用いることができ、モニタ１５ａを複数の領域に分割し、複数のカメラ２１～２４の各々によりそれぞれ撮影された撮影画像を表示するものを用いることができる。鉄道車両２０が駅のホーム２６に停車した後、モニタ１５ａによる撮影画像の表示が開始される。その後、乗務員がドア２５の開閉動作を行って、鉄道車両２０がホーム２６から発車した後、鉄道車両２０の速度が一定の速度に達した後、モニタ１５ａによる撮影画像の表示を終了する。

また、モニタ１５ａには、ドア２５が開閉された側のカメラ、即ちホーム２６側の側面に設置されたカメラにより撮影された撮影画像が表示される。なお、情報通知部１５のうちモニタ１５ａ以外の部分として、例えば情報通知部１５に一定の動作をさせるためのプログラムを実行するコンピュータを用いることができる。また、情報通知部１５のうちモニタ１５ａ以外の部分は、鉄道車両２０に設置されてもよいが、地上側に設置されてもよい。

次に、本実施の形態の安全確認システムを用いた安全確認方法について説明する。前述したように、本実施の形態の安全確認方法は、鉄道車両２０が駅のホーム２６から発車する際に、鉄道車両２０の乗務員がホーム２６上の旅客の安全を確認するための安全確認方法である。

本実施の形態では、ホーム２６上には、複数の点字ブロックＢＢが配置され、複数の点字ブロックＢＢは、ホーム２６の長さ方向に沿って配列され、鉄道車両２０のホーム２６側の側面には、鉄道車両２０のホーム２６側の側方及びホーム２６の上方を撮影するカメラ２１が設置されている。即ち、本実施の形態の安全確認方法は、鉄道車両２０のホーム２６側の側面に設置された１台のカメラ２１を用いるものである。

本実施の形態の安全確認方法では、予め、複数の点字ブロックＢＢの各々の、ホーム２６の長さ方向における長さＬＮ１、及び、ホーム２６の幅方向における幅ＷＤ１を含み、且つ、複数の点字ブロックＢＢの各々の大きさを示す情報ＩＮ１、並びに、ホーム２６の幅方向におけるホーム２６の端部（縁部又は端縁部）２６ａと複数の点字ブロックＢＢの各々との間のホーム２６の幅方向における距離ＤＳ１を示す情報ＩＮ２を用意する（図２のステップＳ１）。

なお、ステップＳ１については、後述するステップＳ４を行う時点よりも前に行えばよく、後述するステップＳ２又はステップＳ３を行う時点よりも後に行ってもよい。また、本実施の形態の安全確認システム１０が、記憶部１７を有する場合、このステップＳ１では、用意した情報ＩＮ１及び情報ＩＮ２を、記憶部１７に記憶させてもよい。

また、本実施の形態の安全確認方法では、撮影部１１は、鉄道車両２０がホーム２６から発車する際に、鉄道車両２０のホーム２６側の側面に設置されたカメラ２１により鉄道車両２０のホーム２６側の側方及びホーム２６の上方を撮影する（図２のステップＳ２）。

次に、第１座標取得部１２は、ステップＳ２にてカメラ２１により撮影された撮影画像ＣＰ１（図４参照）から人物ＰＥを検出し、検出された人物ＰＥの撮影画像ＣＰ１中の位置座標ＰＳ１（図４参照）を取得する（図２のステップＳ３）。

このステップＳ３では、撮影画像ＣＰ１から人物ＰＥを検出する方法として、例えば、鉄道車両２０の側面に設置されたカメラ２１により撮影された映像としての撮影画像ＣＰ１から人物ＰＥを抽出して検出し、図４の撮影画像ＣＰ１に示すように、撮影画像ＣＰ１中の人物ＰＥの位置（左上の座標（ｘ，ｙ））と幅及び高さ（ｗ、ｈ）を得る方法を用いることができる。撮影画像ＣＰ１中の人物ＰＥの位置を、撮影画像ＣＰ１中の枠ＦＲの左上の点の座標（ｘ，ｙ）により表すことができる。また、撮影画像ＣＰ１中の人物ＰＥの幅ｗを、撮影画像ＣＰ１中の枠ＦＲの幅ＷＤ２（図４参照）とし、幅ＷＤ２を、幅ｗにより表すことができる。また、撮影画像ＣＰ１中の人物ＰＥの高さｈを、撮影画像ＣＰ１中の枠ＦＲの高さＨＴ１（図４参照）とし、高さＨＴ１を、高さｈにより表すことができる。また、撮影画像ＣＰ１から人物ＰＥを抽出する手法として、後述するように、例えばディープラーニングを用いることができる。

また、ステップＳ３では、検出された人物ＰＥの撮影画像ＣＰ１中の位置座標ＰＳ１を取得する方法として、例えば抽出された人物ＰＥの情報から、足元の位置の位置座標ＰＳ１を求める方法を用いることができる。このとき、位置座標ＰＳ１の座標を、（ｘ＋ｗ／２，ｙ＋ｈ）とすることができる。足元の位置を人物中心とすることで、腕を上げて広げたとき又は腕を下げて閉じたときとの間の検出位置の変動分を吸収し、常に同一の座標を取得することができる。

次に、変換行列算出部１３は、複数の点字ブロックＢＢのうち撮影画像ＣＰ１に撮影されている点字ブロックＢＢ１について、点字ブロックＢＢ１の撮影画像ＣＰ１中の位置座標ＰＳ２（図４参照）を取得し、取得された位置座標ＰＳ２と、ステップＳ１にて用意した情報ＩＮ１及び情報ＩＮ２と、に基づいて、位置座標ＰＳ２を、ホーム２６を上方から俯瞰した俯瞰画像ＯＨ１中の点字ブロックＢＢ１の位置座標ＰＳ３（図４参照）に変換するための射影変換行列ＭＴ１（図４参照）を算出する（図２のステップＳ４）。

このステップＳ４では、変換行列算出部１３は、ホーム２６上にある点字ブロックＢＢ１の位置座標ＰＳ２を撮影画像ＣＰ１中から算出し、点字ブロックＢＢ１の実際の大きさ（長さ及び幅）を例えば４０ｃｍ×３０ｃｍとする情報（前述した情報ＩＮ１）、及び、ホーム２６の幅方向におけるホーム２６の端部２６ａから点字ブロックＢＢ１までの実際の距離を例えば１ｍとする情報（前述した情報ＩＮ２）について、ユーザ（例えば乗務員等）が実際の大きさ又は実際の距離の情報を数値で入力するか、又は、俯瞰画像ＯＨ１のうち点字ブロックＢＢを示す領域に含まれる画素数を入力することにより、カメラ２１により撮影された撮影画像ＣＰ１中の位置座標ＰＳ２を真上（上方）から俯瞰した俯瞰画像ＯＨ１中の位置座標ＰＳ３に変換するための射影変換行列ＭＴ１を算出することができる。算出された射影変換行列ＭＴ１を用いて変換を行う際には、撮影画像ＣＰ１が画素単位で変換されることになるので、俯瞰画像ＯＨ１における１画素の長さ又は幅が例えば１ｃｍである、等と設定することにより、変換した後の俯瞰画像ＯＨ１中の各画素データを実際の位置（現実空間）と合致させやすくなり、乗務員による安全確認を容易に行うことができる。

即ち、変換行列算出部１３は、ステップＳ４では、点字ブロックＢＢ１の撮影画像ＣＰ１中の位置座標ＰＳ２を取得し、情報ＩＮ１及び情報ＩＮ２に基づいて、点字ブロックＢＢ１の実際の大きさを示す数値、又は、俯瞰画像ＯＨ１のうち点字ブロックＢＢ１を示す領域ＲＧ１（図４参照）に含まれる画素数、を含む情報ＩＮ３を取得し、取得された位置座標ＰＳ２と、取得された情報ＩＮ３と、に基づいて、射影変換行列ＭＴ１を算出することになる。

次に、第２座標取得部１４は、位置座標ＰＳ１を射影変換行列ＭＴ１を用いて変換することにより、人物ＰＥの俯瞰画像ＯＨ１中の位置座標ＰＳ４（図４参照）を算出し、算出された位置座標ＰＳ４に基づいて、ホーム２６の幅方向におけるホーム２６の端部２６ａと人物ＰＥとの間の距離ＤＳ２（図４参照）を算出する（図２のステップＳ５）。

このステップＳ５では、第２座標取得部１４は、得られた射影変換行列ＭＴ１を用いて、人物ＰＥの足元の位置の位置座標ＰＳ１を人物ＰＥの位置座標ＰＳ４として俯瞰画像ＯＨ１中にマッピング（射影変換）し、マッピングされた位置座標ＰＳ４に基づいて、距離ＤＳ２を算出する。射影変換行列ＭＴ１の具体的な算出方法の詳細については、後述する。

次に、情報通知部１５は、算出された距離ＤＳ２を閾値ＴＨ１（図４参照）と比較し、距離ＤＳ２が閾値ＴＨ１未満のときは、乗務員に注意情報ＡＴ１（図５参照）を通知する（図２のステップＳ６）。

予め、ホーム２６の幅方向におけるホーム２６の端部２６ａから人物ＰＥまでの距離ＤＳ２に応じて、注意又は危険等の、情報通知部１５が乗務員に通知する注意情報の種類及び通知条件を、設定しておく。そして、情報通知部１５は、ステップＳ６では、予め設定された注意情報の種類及び通知条件と、ステップＳ５において俯瞰画像ＯＨ１中にマッピングされた位置座標ＰＳ４に基づいて算出された距離ＤＳ２と、に基づいて、必要に応じて乗務員にアラーム等の注意情報を通知することができる。注意情報を通知する方法として、モニタ１５ａに表示された撮影画像ＣＰ１において注意情報を表示して通知する方法、モニタ１５ａとは別に設置された表示器により注意情報を表示して通知する方法、発光器により光を発光して注意情報を通知する方法、又は、スピーカにより音声を出力して注意情報を通知する方法、等を用いることができる。

例えば閾値ＴＨ１を１ｍとし、ホーム２６の端部２６ａから人物ＰＥまでの距離ＤＳ２が閾値ＴＨ１未満のとき、即ち距離ＤＳ２が１ｍ未満のとき、図５に示すように、撮影画像ＣＰ１において、例えば「ＤＡＮＧＥＲ」等の注意情報ＡＴ１を表示することにより、危険であるとの注意情報ＡＴ１を表示して通知することができる。

また、情報通知部１５は、ステップＳ６では、算出された距離ＤＳ２を閾値ＴＨ１及び閾値ＴＨ１よりも大きい閾値ＴＨ２（図４参照）と比較し、距離ＤＳ２が閾値ＴＨ１以上閾値ＴＨ２未満のときは、乗務員に注意情報ＡＴ２（図６参照）を通知する。例えば閾値ＴＨ２を２ｍとし、ホーム２６の端部２６ａから人物ＰＥまでの距離ＤＳ２が閾値ＴＨ１以上閾値ＴＨ２未満のとき、即ち距離ＤＳ２が１ｍ以上２ｍ未満のとき、図６に示すように、撮影画像ＣＰ１において、例えば「ＣＡＵＴＩＯＮ」等の注意情報ＡＴ２を表示することにより、注意を要するとの注意情報ＡＴ２を表示することができる。

なお、ホーム２６の端部２６ａから人物ＰＥまでの距離ＤＳ２が閾値ＴＨ２以上のとき、即ち距離ＤＳ２が２ｍ以上のとき、図４に示すように、撮影画像ＣＰ１において、例えば「ＣＬＥＡＲ」等の注意情報ＡＴ３を表示することにより、安全であるとの注意情報ＡＴ３を表示することができる。

前述したように、鉄道車両の側面に設置されたカメラにより撮影された映像を運転台に設置されたモニタに表示し、モニタに表示された映像を用いて運転士がホーム上の旅客の安全を確認する場合を考える。このような場合、前述したように、１つのホームミラーだけでホーム上の一列車分に対応した空間における旅客の安全を確認する場合に比べて、目視による安全確認の安全性が向上する。

しかしながら、目視による安全確認とは、あくまでも人間の眼による確認である。そのため、運転士の生理状態、天候又は時間帯等の環境条件によっては、ホーム上の旅客が鉄道車両に接近しているという危険事象の見逃しが発生するおそれがある。また、例えばワンマン運転を行っておらず鉄道車両が発車する際のホーム上の安全確認を車掌が行っている場合には、ホーム上の安全確認を自動化することができれば、乗務員の数を削減（乗務員レス化）することができるが、ホーム上の安全確認を自動化することができなければ、乗務員レス化も困難である。

一方、本実施の形態の安全確認方法では、上記したステップＳ１乃至ステップＳ６を行うことにより、鉄道車両２０の側面に設置されたカメラ２１により撮影された映像を画像処理することによって、ホーム２６を上方から俯瞰した俯瞰画像ＯＨ１における旅客の位置座標ＰＳ４を算出し、ホーム２６上の旅客が鉄道車両２０に接近しているという危険事象の検知及び通知を行う。これにより、ホーム２６上の安全確認を、目視によらず、画像処理により実現することができるので、ホーム２６上の旅客が鉄道車両２０に接近しているという危険事象の見逃しを、防止することができる。また、ホーム２６上の安全確認を自動化することができるので、乗務員レス化が期待できる。

即ち、本実施の形態の安全確認方法は、鉄道車両２０の側面に設置されたカメラ２１により撮影された映像を画像処理することによって、ホーム２６上の旅客が鉄道車両２０に接近しているという危険事象の検知及び通知を行うことで、鉄道車両２０が駅のホーム２６から発車する際のホーム２６上の安全確認の安全性を高めることを目的としている。

好適には、鉄道車両２０が駅のホーム２６に停車した後、少なくとも当該ホーム２６から発車するまで、ステップＳ２、ステップＳ３、ステップＳ４、ステップＳ５及びステップＳ６を、一定の時間間隔で、ステップＳ２、ステップＳ３、ステップＳ４、ステップＳ５及びステップＳ６の順序で複数回繰り返す。このとき、複数回作成される俯瞰画像ＯＨ１を重ねて表示すること等により、俯瞰画像ＯＨ１に人物ＰＥの軌跡をマッピングすることができるので、鉄道車両２０が駅のホーム２６から発車する際に、鉄道車両２０の乗務員がホーム２６上の旅客の安全をリアルタイムで連続的に確認することができる。

好適には、ステップＳ４では、複数の点字ブロックＢＢのうち撮影画像ＣＰ１に撮影されており且つ互いに隣り合う複数の点字ブロックＢＢ１である複数の点字ブロックＢＢ２を選択し、選択された複数の点字ブロックＢＢ２により点字ブロック群ＢＢＧを形成し、形成された点字ブロック群ＢＢＧの撮影画像ＣＰ１中の四隅の座標である４つの位置座標ＰＳ２を取得し、情報ＩＮ１及び情報ＩＮ２に基づいて点字ブロック群ＢＢＧの俯瞰画像ＯＨ１中の四隅の座標である４つの位置座標ＰＳ３を算出し、４つの位置座標ＰＳ２を４つの位置座標ＰＳ３に変換するための射影変換行列ＭＴ１を算出する。

後述する射影変換の説明箇所において説明するものの、このような点字ブロック群ＢＢＧを用いることにより、射影変換された俯瞰画像ＯＨ１中の人物ＰＥの位置座標ＰＳ４の精度を向上させることができる。

点字ブロックＢＢは、駅のホーム２６に通常設置されているもののうち、矩形形状を有するものであり、軌道２７の長さ方向に沿って直線状に配列されたものである。また、複数の点字ブロックＢＢの各々のホーム２６の長さ方向における長さＬＮ１及びホーム２６の幅方向における幅ＷＤ１を含み複数の点字ブロックＢＢの各々の大きさを示す情報ＩＮ１、及び、ホーム２６の幅方向におけるホーム２６の端部２６ａと複数の点字ブロックＢＢの各々との間のホーム２６の幅方向における距離ＤＳ１を示す情報ＩＮ２は、精度の高い情報として、容易に用意することができる。更に、射影変換を行う基準となる矩形形状の大きさが大きいことが好ましい。そのため、１個の点字ブロックＢＢ１に代えて複数の点字ブロックＢＢ２よりなる点字ブロック群ＢＢＧの位置座標を、射影変換行列ＭＴ１を算出する際の基準位置座標として用いることにより、射影変換行列ＭＴ１の精度を向上させることができ、撮影画像ＣＰ１から変換された人物ＰＥの俯瞰画像ＯＨ１中の位置座標ＰＳ４の精度を向上させることができる。

即ち本発明者らは、駅のホーム２６において軌道２７の長さ方向に沿って配列された点字ブロック群ＢＢＧを用いることにより、通常のカメラ２１により撮影された撮影画像ＣＰ１中の位置座標ＰＳ１を俯瞰画像ＯＨ１中の位置座標ＰＳ４に変換する際の精度が著しく向上できることを初めて見出した。

好適には、第１座標取得部１２は、ステップＳ３１（図３参照）と、ステップＳ３２（図３参照）と、ステップＳ３３（図３参照）と、を含むステップＳ３を行う。第１座標取得部１２は、ステップＳ３１では、ステップＳ２にてカメラ２１により撮影された撮影画像ＣＰ１から人物ＰＥを検出する。また、第１座標取得部１２は、ステップＳ３２では、ステップＳ３１にて検出された人物ＰＥの撮影画像ＣＰ１中の四隅のいずれかの（例えば左上の）位置座標ＰＳ５（図４参照）と、人物ＰＥの撮影画像ＣＰ１中の幅ＷＤ２及び高さＨＴ１と、を取得する。また、第１座標取得部１２は、ステップＳ３３では、（例えば左上の）位置座標ＰＳ５、幅ＷＤ２及び高さＨＴ１と、に基づいて、人物ＰＥの撮影画像ＣＰ１中の足元の位置座標である位置座標ＰＳ１を取得する。前述したように、また、図４に示すように、幅ＷＤ２を、幅ｗにより表すことができ、高さＨＴ１を、高さｈにより表すことができる。

このような場合、足元の位置を人物ＰＥの位置とすることにより、腕を上げて広げたときと腕を下げて閉じたときとの間の検出位置の変動分を吸収することができるので、腕を上げて広げた場合でも、腕を下げて閉じた場合でも、常に同一の座標を取得することができる。

＜検出方法＞
次に、前述したステップＳ３１にてカメラ２１により撮影された撮影画像ＣＰ１から人物を検出する人物検出方法について、具体的な検出方法及び検出結果を説明する。

鉄道車両の側面に設置されたカメラにより撮影された映像から人物を抽出するためには、例えば深層学習（ディープラーニング）による一般物体認識アルゴリズムを用いることができる。また、一般物体認識アルゴリズムとして、一般物体認識アルゴリズムのうちＳＳＤ（Single Shot Detector）の一つであるＹＯＬＯｖ３を用いることができる。

ＳＳＤは、入力画像をある一定のサイズのグリッドに分割し、グリッドに対して物体の検出、分類、バウンディングボックス（Bounding Box）の回帰を行うものである。ＹＯＬＯｖ３のモデル構造は、入力画像に対して、縦横が１３×１３、２６×２６、５２×５２の３つのテンソルを出力する構造であり、各セルは［３×（４＋１＋８０）］サイズのベクトルを有する。ここでの物体のカテゴリ数は８０であり、３つのPrior Boxを保持している。

画像をＹＯＬＯｖ３による識別器にかけると、出力として、物体カテゴリ、カテゴリクラスの所属確率、横位置、縦位置、横幅、縦幅が得られる。出力されたカテゴリが人物であり、判定確率が設定した閾値を超える矩形を人物とし、画面出力を行うことができる。

ここで、鉄道車両の側面に試験的に設置したカメラにより撮影された映像に対して当該検出方法を行った。その結果、図示は省略するが、人物を精度良く検出できることが明らかになった。また、複数の人物が互いに隣接していても、バウンディングボックス同士が重なり正しく人物領域の検出ができることが明らかになった。そのため、上記した検出方法によれば、複数の人物が互いに重なって撮影されている場合でも、撮影された複数の人物の各々を精度良く検出することができる。

＜射影変換＞
次に、ステップＳ４にて射影変換行列ＭＴ１を算出し、ステップＳ５にて射影変換行列ＭＴ１を用いて位置座標ＰＳ１を変換する際の射影変換行列ＭＴ１の算出方法及び位置座標ＰＳ１の変換結果について説明する。なお、後述する図７を用いて説明するように、位置座標ＰＳ１の変換結果については、位置座標ＰＳ１の変換結果に代えて、位置座標ＰＳ２の変換結果を用いて説明する。

任意の画像を任意の画像に変換させるパラメトリックモーションには、並進、相似変換（回転＋並進＋スケール）、アフィン変換、射影変換（ホモグラフィ）がある。アフィン変換では、任意の平行四辺形を任意の平行四辺形に変形させることができるが、台形への変換を行うことはできない。台形も含むような任意の四角形から任意の四角形に変換する手法としては、射影変換が有効である。以下に、任意の四角形を表す４点から任意の四角形を表す４点への射影変換行列の算出を行う。

平面ｚ＝１上の点ｐをＰに変換することを考える。ここで、点ｐ及びＰは、下記式（数１）により表される。

このときホモグラフィ変換は下記式（数２）により表される。

ここで、行列Ｈは下記式（数３）により表されるホモグラフィ行列であり、この射影変換による形状変形を決定づけるパラメータである

ここでＰとＰ’は数値的には等価ではないが、変換によって得られる点としては意味的には同一である。また、実際の変換先の座標を求めるために、下記式（数４）を用いる。

この関係式はＰとＰ’が同一の方向ベクトルであることを表しているので、ベクトルの外積を用いると、下記式（数５）のように表すことができる。

また、Ｐ’及びＨｐを成分表示すると、下記式（数６）及び下記式（数７）のようになる。ここで、Ｈは、行ベクトルで表現している。

すると、ＰとＰ’の条件は、下記式（数８）のように表すことができる。

ホモグラフィ行列の行の項を括り出すと、下記式（数９）のように変形できる。

この連立方程式のうち、２つの線形和で一方を表現できるため、下記式（数１０）及び下記式（数１１）のように表現することができる。

ホモグラフィ行列は定数倍しても最終結果は同じになるため、求めなければならないパラメータは、８つである。従って、４つの既知の対応点があれば、連立方程式を解くことでホモグラフィ行列を算出できる。

点字ブロックＢＢには内方線付きのものと、内方線がないものが存在する。ここでは、内方線がないタイプを対象に射影変換行列を求めるための入力パラメータとして使用した。点字ブロックＢＢのサイズは３０ｃｍ×３０ｃｍであるため、用いる点字ブロックの個数を１個、３個、５個と変化させて射影変換行列ＭＴ１を求めた。変換した俯瞰画像ＯＨ１を図７に示す。図７は、撮影画像を射影変換行列を用いて変換した俯瞰画像を示す図である。図７（ａ）は、１個の点字ブロックＢＢ１（図４参照）による俯瞰画像ＯＨ１を示し、図７（ｂ）は、３個の点字ブロックＢＢ２よりなる点字ブロック群ＢＢＧによる俯瞰画像ＯＨ１を示し、図７（ｃ）は、５個の点字ブロックＢＢ２よりなる点字ブロック群ＢＢＧによる俯瞰画像ＯＨ１を示す。なお、図７（ａ）乃至図７（ｃ）は、主にホーム２６及び点字ブロックＢＢを示す。

図７（ａ）乃至図７（ｃ）に示すように、使用しているカメラは比較的広角に撮影しているため、レンズの樽型収差が起こっている。図７（ａ）、図７（ｂ）、図７（ｃ）の順序で、用いる点字ブロックの個数が１個、３個、５個と増加するにつれて、樽型収差を含んだ補正が良好に行われ、変換後の点字ブロックＢＢが配列されてなる矩形部分の形状が台形形状から長方形形状に近づき、より精度の高い変換がなされていることが明らかである。

図７（ａ）乃至図７（ｃ）を用いて説明した結果から、好適には、ステップＳ４にて、射影変換行列ＭＴ１を算出するためには、ステップＳ４では、複数の点字ブロックＢＢのうち撮影画像ＣＰ１に撮影されており且つ互いに隣り合うｎ個（ｎは３以上の整数）の点字ブロックＢＢ２を選択し、選択されたｎ個の点字ブロックＢＢ２により点字ブロック群ＢＢＧを形成し、形成された点字ブロック群ＢＢＧを用いることが好ましいことが分かる。ｎが３以上の場合、ｎが３未満の場合に比べ、射影変換行列ＭＴ１の精度を更に向上させることができ、撮影画像ＣＰ１から変換された人物ＰＥの俯瞰画像ＯＨ１中の位置座標ＰＳ４の精度を更に向上させることができる。なお、図示は省略するものの、用いる点字ブロックの個数が２個の場合でも、図７（ａ）に示す点字ブロックの個数が１個の場合よりは精度が向上することが確認された。

＜安全確認方法の変形例＞
次に、実施の形態の安全確認方法の変形例について説明する。本変形例の安全確認方法は、鉄道車両のホーム側の側面に設置された２台の各々のカメラにより鉄道車両のホーム側の側方及びホームの上方をそれぞれ撮影する点で、鉄道車両のホーム側の側面に設置された１台のカメラにより鉄道車両のホーム側の側方及びホームの上方を撮影する実施の形態の安全確認方法と異なる。

図８は、実施の形態の変形例の安全確認方法における撮影画像及び俯瞰画像を模式的に示す図である。図８は、鉄道車両の側面に設置された２台目のカメラにより撮影された撮影画像と、撮影画像が変換された俯瞰画像中の人物をホームと重ね合わせて示す。図８の左側は、撮影画像を示し、図８の右側は、俯瞰画像を示す。また、図８は、図４に対応しており、旅客が鉄道車両に接近していない状態を示す。

本変形例では、図１に示したように、鉄道車両２０のホーム２６側の側面には、鉄道車両２０のホーム２６側の側方及びホームの上方を撮影するカメラ２１及びカメラ２３が設置され、カメラ２３は、鉄道車両２０の長さ方向においてカメラ２１と対向配置されている。即ち、本変形例の安全確認方法は、鉄道車両２０のホーム２６側の側面に設置された２台のカメラを用いるものである。

また、図１に示すように、本変形例の安全確認方法では、撮影部１１は、ステップＳ２では、鉄道車両２０がホーム２６から発車する際に、鉄道車両２０のホーム２６側の側面に設置されたカメラ２１により鉄道車両２０のホーム２６側の側方及びホーム２６の上方を撮影し、鉄道車両２０のホーム２６側の側面に設置されたカメラ２３により鉄道車両２０のホーム２６側の側方及びホーム２６の上方を撮影する。

このような場合、第１座標取得部１２は、ステップＳ３では、ステップＳ２にてカメラ２１により撮影された撮影画像ＣＰ１（図４参照）から人物ＰＥを検出し、検出された人物ＰＥの撮影画像ＣＰ１中の位置座標ＰＳ１（図４参照）を取得する。また、第１座標取得部１２は、ステップＳ３では、ステップＳ２にてカメラ２３により撮影された撮影画像ＣＰ２（図８参照）から人物ＰＥを検出し、検出された人物ＰＥの撮影画像ＣＰ２中の位置座標ＰＳ６（図８参照）を取得する。

そのため、同一人物について２つの撮影画像から２つの位置座標を取得することができるので、例えば一方の撮影画像の周縁部に撮影されていて取得された位置座標の精度が低くなる場合でも、他方の撮影画像の中心部に撮影されていて取得された位置座標の精度が高くなる場合には、精度が高い方の位置座標を用いることができる。従って、撮影画像から変換された人物の俯瞰画像中の位置座標の精度を更に向上させることができる。

好適には、変換行列算出部１３は、ステップＳ４では、複数の点字ブロックＢＢのうち撮影画像ＣＰ１及び撮影画像ＣＰ２のいずれにも撮影されている点字ブロックＢＢ１について、点字ブロックＢＢ１の撮影画像ＣＰ２中の位置座標ＰＳ７（図８参照）を取得し、取得された位置座標ＰＳ７と、情報ＩＮ１及び情報ＩＮ２と、に基づいて、位置座標ＰＳ７を、ホーム２６を上方から俯瞰した俯瞰画像ＯＨ２（図８参照）中の点字ブロックＢＢ１の位置座標ＰＳ８（図８参照）に変換するための射影変換行列ＭＴ２（図８参照）を算出する。また、第２座標取得部１４は、ステップＳ５では、位置座標ＰＳ６を射影変換行列ＭＴ２を用いて変換することにより、人物ＰＥの俯瞰画像ＯＨ２中の位置座標ＰＳ９（図８参照）を算出し、算出された位置座標ＰＳ４又は位置座標ＰＳ９に基づいて、人物ＰＥのホーム２６の幅方向におけるホーム２６の端部２６ａと人物ＰＥとの間の距離ＤＳ２を算出する。

また、制御部１６は、ステップＳ２、ステップＳ３、ステップＳ４、ステップＳ５及びステップＳ６を、ステップＳ２、ステップＳ３、ステップＳ４、ステップＳ５及びステップＳ６の順序で２回繰り返す。そして、１回目のステップＳ３にて算出された位置座標ＰＳ１で表される点を点Ｐ１（図４参照）とし、１回目のステップＳ３にて算出された位置座標ＰＳ６で表される点を点Ｐ２（図８参照）とし、２回目のステップＳ３にて算出された位置座標ＰＳ１で表される点を点Ｐ３（図４参照）とし、２回目のステップＳ３にて算出された位置座標ＰＳ６で表される点を点Ｐ４（図８参照）とする。

このようにした場合であって、１回目のステップＳ２にて撮影された撮影画像ＣＰ１と２回目のステップＳ２にて撮影された撮影画像ＣＰ１とを重ね合わせたときの点Ｐ１と点Ｐ３との間の距離ＤＳ３（図４参照）が、１回目のステップＳ２にて撮影された撮影画像ＣＰ２と２回目のステップＳ２にて撮影された撮影画像ＣＰ２とを重ね合わせたときの点Ｐ２と点Ｐ４との間の距離ＤＳ４（図８参照）以上のときは、２回目のステップＳ５では、位置座標ＰＳ４に基づいて、距離ＤＳ２を算出する。一方、距離ＤＳ３が距離ＤＳ４未満のときは、２回目のステップＳ５では、位置座標ＰＳ９に基づいて、距離ＤＳ２を算出する。

つまり、例えばカメラ２１からは人物ＰＥが移動して見えるがカメラ２３からは人物ＰＥが止まって見える場合には、人物ＰＥの撮影画像ＣＰ２中の位置座標ＰＳ６を変換した位置座標ＰＳ９よりも、人物の撮影画像ＣＰ１中の位置座標ＰＳ１を変換した位置座標ＰＳ４の方が、精度良く算出できる。そのため、位置座標ＰＳ９に代えて位置座標ＰＳ４を用いることにより、撮影画像から変換された人物の俯瞰画像中の位置座標の精度を更に向上させることができる。或いは、例えばカメラ２１からは人物ＰＥが止まって見えるがカメラ２３からは人物ＰＥが移動して見える場合には、人物ＰＥの撮影画像ＣＰ１中の位置座標ＰＳ１を変換した位置座標ＰＳ４よりも、人物ＰＥの撮影画像ＣＰ２中の位置座標ＰＳ６を変換した位置座標ＰＳ９の方が、精度良く算出できる。そのため、位置座標ＰＳ４に代えて位置座標ＰＳ９を用いることにより、撮影画像から変換された人物の俯瞰画像中の位置座標の精度を更に向上させることができる。

なお、複数台のカメラを連携させることにより、一列車に含まれる１両又は複数両の鉄道車両の各々について、ホーム上の一列車分に対応した空間において、ホームの幅方向におけるホームの端部２６ａと旅客との間の距離を、俯瞰画像を用いて把握することができる。また、カメラ２１により撮影された撮影画像ＣＰ１については、基準位置を鉄道車両の後端とし、カメラ２３により撮影された撮影画像ＣＰ２については、基準位置を鉄道車両の前端とし、且つ、座標空間が軌道の長さ方向（前後方向）に反転するように変換することにより、撮影画像ＣＰ１と撮影画像ＣＰ２との間で、同一の座標空間を有する俯瞰画像に人物の軌跡をマッピングすることができる。

好適には、本変形例の安全確認システムは、距離算出部１８（図１参照）を有する。また、本変形例の安全確認方法では、距離算出部１８は、複数の点字ブロックＢＢのうち、撮影画像ＣＰ１、及び、ステップＳ２にてカメラ２３により撮影された撮影画像ＣＰ２のいずれにも撮影されている点字ブロックＢＢである点字ブロックＢＢ３（後述する図９参照）を選択し、選択された点字ブロックＢＢ３の撮影画像ＣＰ１中の位置座標ＰＳ１０（後述する図９参照）と、選択された点字ブロックＢＢ３の撮影画像ＣＰ２中の位置座標ＰＳ１１（後述する図９参照）と、に基づいて、カメラ２１又はカメラ２３から点字ブロックＢＢ３までの距離（後述する距離Ｚに等しい）を算出する（図２のステップＳ７）。また、第２座標取得部１４は、ステップＳ５では、ステップＳ７にて算出された、カメラ２１又はカメラ２３から点字ブロックＢＢ３までの距離に基づいて、距離ＤＳ２を算出即ち補正する。なお、図２では、理解を簡単にするために、ステップＳ７がステップＳ５に含められている場合を例示している。

都市部では駅のプラットホーム（ホーム）の上面の高さ位置は略一定であるものの、地方部ではホームの上面の高さ位置は、駅ごとに異なる場合がある。このような場合、１台のカメラにより撮影された撮影画像を用いて俯瞰画像中の位置座標を算出するときに、算出された位置座標がホームの上面の高さ位置に応じて変動する場合がある。

一方、本変形例では、撮影画像ＣＰ１と撮影画像ＣＰ２とを用いてカメラ２１又はカメラ２３から点字ブロックＢＢ３までの距離を算出することができる。そのため、撮影画像から変換された人物の俯瞰画像中の位置座標がホームの上面の高さ位置に応じて変動することを、防止又は抑制することができる。

ホームの上面の高さ位置を算出する方法として、以下に説明するステレオ画像処理方法を用いることができる。

＜ステレオ画像処理方法＞
次に、ステレオ画像処理方法について説明する。図９は、ステレオ画像処理技術による距離計測の原理を示す図である。図９は、平行化により画像におけるｙ軸（ｖ軸）が揃えられた前後２台のカメラ２１及び２３により対象物Ｍ（例えば点字ブロックＢＢ及びＢＢ３）が撮像されたときの、基準画像Ｉ（撮影画像ＣＰ１）、及び、基準画像Ｉに対応した対応画像Ｊ（撮影画像ＣＰ２）を示す。ｕ軸及びｕ’軸は、それぞれ基準画像Ｉ及び対応画像Ｊの横方向の位置を示し、ｖ軸は、基準画像Ｉ及び対応画像Ｊの縦方向の位置を示す。

カメラ２１により撮影された基準画像Ｉ（撮影画像ＣＰ１）には、カメラ２１の視点ＶＰ１と対象物Ｍの位置ＭＰ１を結ぶ直線Ｌ１と基準画像Ｉとの交点である点ｐに、対象物Ｍが写される。また、カメラ２３により撮影された対応画像Ｊには、カメラ２３の視点ＶＰ２と対象物Ｍの位置ＭＰ１を結ぶ直線Ｌ２と対応画像Ｊとの交点である点ｑに、対象物Ｍが写される。そのため、対象物Ｍの位置ＭＰ１における３次元の位置座標（Ｘ，Ｙ，Ｚ）は、点ｐの位置座標（ｕ_ｓ１，ｖ_１）、及び、点ｑの位置座標（ｕ_ｓ２，ｖ_２）に基づいて、算出される。ここで、点ｐの位置座標（ｕ_ｓ１，ｖ_１）が、前述した位置座標ＰＳ１０に相当し、点ｑの位置座標（ｕ_ｓ２，ｖ_２）が、前述した位置座標ＰＳ１１に相当する。また、点ｐの位置座標と、点ｑの位置座標との差（差に対応した画素数でもよい）が、視差ｄに相当するが、例えばｖ_１とｖ_２とが等しい場合には、視差ｄは、下記式（数１２）により算出される。
ｄ＝ｕ_ｓ１－ｕ_ｓ２ ・・・（数１２）

また、カメラ２１及び２３の焦点距離をｆとし、基準画像Ｉ及び対応画像Ｊの中心位置間距離、即ち基線長をＢとすると、位置ＭＰ１における位置座標と、点ｐの位置座標及び点ｑの位置座標との関係は、下記式（数１３）乃至下記式（数１５）により表される。
Ｘ＝Ｂｕ_ｓ１／ｄ ・・・（数１３）
Ｙ＝Ｂｖ_１／ｄ ・・・（数１４）
Ｚ＝Ｂｆ／ｄ ・・・（数１５）
Ｚは、カメラ２１から対象物Ｍまでの距離である。

従って、ステレオ画像処理においてカメラ２１から対象物Ｍまでの距離Ｚを計測するには、視差ｄを算出する必要がある。そのためには、カメラ２１の基準画像Ｉ中の点ｐと相関を有する点である点ｑがカメラ２３の対応画像Ｊ中のどこに位置するかを探索する画像マッチング（対応付け）が必要である。そして、このようなステレオ画像処理を行うことにより、距離Ｚを計測することができる。

以上、本発明者によってなされた発明をその実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。

例えば、前述の各実施の形態に対して、当業者が適宜、構成要素の追加、削除若しくは設計変更を行ったもの、又は、工程の追加、省略若しくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。

本発明は、鉄道車両が駅のホームから発車する際に、鉄道車両の乗務員がホーム上の旅客の安全を確認するための安全確認方法に適用して有効である。

１０ 安全確認システム
１１ 撮影部
１２ 第１座標取得部
１３ 変換行列算出部
１４ 第２座標取得部
１５ 情報通知部
１５ａ モニタ
１６ 制御部
１７ 記憶部
１８ 距離算出部
２０ 鉄道車両
２１～２４ カメラ
２５ ドア
２６ ホーム
２６ａ 端部
２７ 軌道
ＡＴ１～ＡＴ３ 注意情報
ＢＢ、ＢＢ１～ＢＢ３ 点字ブロック
ＢＢＧ 点字ブロック群
ＣＰ１、ＣＰ２ 撮影画像
ＤＳ１～ＤＳ４ 距離
ＦＲ 枠
ＨＴ１ 高さ
Ｉ 基準画像
ＩＮ１～ＩＮ３ 情報
Ｊ 対応画像
Ｌ１、ＬＮ２ 直線
Ｍ 対象物
ＭＰ１ 位置
ＭＴ１、ＭＴ２ 射影変換行列
ＯＨ１、ＯＨ２ 俯瞰画像
Ｐ１～Ｐ４ 点
ＰＥ 人物
ＰＳ１、ＰＳ１０、ＰＳ１１、ＰＳ２～ＰＳ９ 位置座標
ＲＧ１ 領域
ＳＲ１～ＳＲ４ 撮影範囲
ＴＨ１、ＴＨ２ 閾値
ＶＰ１、ＶＰ２ 視点
ＷＤ１、ＷＤ２ 幅

Claims (6)

1. 鉄道車両が駅のホームから発車する際に、前記鉄道車両の乗務員が前記ホーム上の旅客の安全を確認するための安全確認方法において、
   前記ホーム上には、複数の点字ブロックが配置され、
   前記複数の点字ブロックは、前記ホームの長さ方向に沿って配列され、
   前記鉄道車両の前記ホーム側の側面には、前記鉄道車両の前記ホーム側の側方及び前記ホームの上方を撮影する第１カメラが設置され、
   前記安全確認方法は、
   （ａ）前記複数の点字ブロックの各々の大きさを示す第１情報、及び、前記ホームの幅方向における前記ホームの端部と前記複数の点字ブロックの各々との間の前記ホームの幅方向における第１距離を示す第２情報を用意するステップ、
   （ｂ）前記鉄道車両が前記ホームから発車する際に、前記第１カメラにより前記鉄道車両の前記ホーム側の側方及び前記ホームの上方を撮影するステップ、
   （ｃ）前記（ｂ）ステップにて前記第１カメラにより撮影された第１撮影画像から人物を検出し、検出された前記人物の前記第１撮影画像中の第１位置座標を取得するステップ、
   （ｄ）前記複数の点字ブロックのうち前記第１撮影画像に撮影されている第１点字ブロックについて、前記第１点字ブロックの前記第１撮影画像中の第２位置座標を取得し、取得された前記第２位置座標と、前記第１情報及び前記第２情報と、に基づいて、前記第２位置座標を、前記ホームを上方から俯瞰した俯瞰画像中の前記第１点字ブロックの第３位置座標に変換するための射影変換行列を算出するステップ、
   （ｅ）前記第１位置座標を前記射影変換行列を用いて変換することにより、前記人物の前記俯瞰画像中の第４位置座標を算出し、算出された前記第４位置座標に基づいて、前記ホームの幅方向における前記ホームの端部と前記人物との間の第２距離を算出するステップ、
   （ｆ）算出された前記第２距離を第１閾値と比較し、前記第２距離が前記第１閾値未満のときは、前記乗務員に注意情報を通知するステップ、
   を有する、安全確認方法。
2. 請求項１に記載の安全確認方法において、
   前記（ｄ）ステップでは、前記複数の点字ブロックのうち前記第１撮影画像に撮影されており且つ互いに隣り合う複数の前記第１点字ブロックである複数の第２点字ブロックを選択し、選択された前記複数の第２点字ブロックにより点字ブロック群を形成し、形成された前記点字ブロック群の前記第１撮影画像中の四隅の座標である４つの前記第２位置座標を取得し、前記第１情報及び前記第２情報に基づいて前記点字ブロック群の前記俯瞰画像中の四隅の座標である４つの前記第３位置座標を算出し、４つの前記第２位置座標を４つの前記第３位置座標に変換するための前記射影変換行列を算出する、安全確認方法。
3. 請求項２に記載の安全確認方法において、
   前記（ｄ）ステップでは、前記複数の点字ブロックのうち前記第１撮影画像に撮影されており且つ互いに隣り合うｎ個（ｎは３以上の整数）の前記第２点字ブロックを選択し、選択された前記ｎ個の前記第２点字ブロックにより前記点字ブロック群を形成する、安全確認方法。
4. 請求項１乃至３のいずれか一項に記載の安全確認方法において、
   前記鉄道車両の前記ホーム側の側面には、前記鉄道車両の前記ホーム側の側方及び前記ホームの上方を撮影する第２カメラが設置され、
   前記第２カメラは、前記鉄道車両の長さ方向において前記第１カメラと対向配置され、
   前記（ｂ）ステップでは、前記鉄道車両が前記ホームから発車する際に、前記第２カメラにより前記鉄道車両の前記ホーム側の側方及び前記ホームの上方を撮影し、
   前記安全確認方法は、更に、
   （ｇ）前記複数の点字ブロックのうち、前記第１撮影画像、及び、前記（ｂ）ステップにて前記第２カメラにより撮影された第２撮影画像のいずれにも撮影されている点字ブロックである第３点字ブロックを選択し、選択された前記第３点字ブロックの前記第１撮影画像中の第５位置座標と、選択された前記第３点字ブロックの前記第２撮影画像中の第６位置座標と、に基づいて、前記第１カメラ又は前記第２カメラから前記第３点字ブロックまでの第３距離を算出するステップ、
   を有し、
   前記（ｅ）ステップでは、前記（ｇ）ステップにて算出された前記第３距離に基づいて、前記第２距離を補正する、安全確認方法。
5. 請求項１乃至４のいずれか一項に記載の安全確認方法において、
   前記（ｃ）ステップは、
   （ｃ１）前記（ｂ）ステップにて前記第１カメラにより撮影された前記第１撮影画像から前記人物を検出するステップ、
   （ｃ２）前記（ｃ１）ステップにて検出された前記人物の前記第１撮影画像中の四隅のいずれかの第７位置座標と、前記人物の前記第１撮影画像中の第１幅及び第１高さと、を取得するステップ、
   （ｃ３）前記第７位置座標と、前記第１幅及び前記第１高さと、に基づいて、前記人物の前記第１撮影画像中の足元の位置座標である前記第１位置座標を取得するステップ、
   を含む、安全確認方法。
6. 請求項１乃至５のいずれか一項に記載の安全確認方法において、
   前記（ｄ）ステップでは、前記第１点字ブロックの前記第１撮影画像中の前記第２位置座標を取得し、前記第１情報及び前記第２情報に基づいて、前記第１点字ブロックの実際の大きさを示す数値、又は、前記俯瞰画像のうち前記第１点字ブロックを示す第１領域に含まれる画素数、を含む第３情報を取得し、取得された前記第２位置座標と、取得された前記第３情報と、に基づいて、前記射影変換行列を算出する、安全確認方法。
   
   

Images