JP2004046875A - 交通機関自動案内装置 - Google Patents

Abstract

【課題】　時々刻々と変化する自動車等の交通機関の周囲の状況を自動的に認識し、道路等の運行経路を自動的に案内することができる交通機関自動案内装置を提供する。
【解決手段】　交通機関自動案内装置１では、入力装置２によって取得された運行する交通機関の周囲の状況に関する画像データ、音声データ等が、比較装置４によってデータベース内に予め格納された画像データ、音声データ等と比較される。画像データ、音声データ等を比較した結果が一致した場合には、そのデータの内容が認識装置５によって認識され、認識された結果は出力装置６によって運行者等に文字、画像、音声等によって通知される。
【選択図】　　　　　図１

Description

　本発明は、運行する交通機関のおかれた状況を自動的に認識し、その状況を運行者等に文字、画像、音声等によって通知し、運行経路を案内し、かつ、運行する際の適切な動作を指示する交通機関自動案内装置に関する。

　従来、道路に設置された標識、標示等を自動的に読み取り、その意味内容を認識したり、道路を走行する並進車両、追越車両、対向車両等の状況を認識して、自車両のおかれた状況を運転者又は同乗者に自動的に通知し、道路を案内する装置は存在しなかった。そこで、助手席に座った同乗者が、道路に設置された標識、標示等を読んで、運転者にその内容を知らせたり、道路を走行する並進車両、追越車両、対向車両等を見て、運転者にその状況を知らせたり、さらに、場合によっては、ブレーキを踏む等の操作を指示したりした。
　一方、近年における自動操縦技術の進歩によって、路肩に付設された白線を検知し、その白線に沿って自動車を自動走行させる装置が実用化されている。又、先行車両との距離を何らかの手段で検出し、所定距離を保持して自動車を自動走行させる装置、道路に設置されたビーコンに従って自動車を自動走行させる装置等が研究されており、実用化に近づいている（例えば、特許文献１参照）。
　何れにしても、道路に設置された標識、標示等、又、道路を走行する並進車両、追越車両、対向車両等を認識し、自動車が走行する道路を自動的に案内する装置は、これまで存在しなかった。
　このような従来の技術については、自動車等の路面を走行する車両に限らず、列車等の軌道を走行する車両、さらには、航空機等の空間を航行する機体、船舶等の海上を航行する船体においても同様であった。

特開平１０−１６２２８５号公報

　ここで、道路に設置された標識、標示等、又、道路を走行する先行車両、後続車両、並進車両、追越車両、対向車両等の自車両のおかれた状況を自動的に認識するためには、自車両の周囲の状況を画像、音声等として経時的に取り込み、取り込んだ画像データ、音声データ等を高速で処理しなければならない。
　しかし、時々刻々と変化する自車両の周囲の状況を自動的に認識し、道路を自動的に案内するには、膨大な量の画像データ、音声データ等を処理する必要があり、とても高速で処理するのは困難であった。ましてや、リアルタイムで処理するのは到底不可能であった。
　このような問題点については、自動車等の路面を走行する車両に限らず、列車等の軌道を走行する車両、さらには、航空機等の空間を航行する機体、船舶等の海上を航行する船体においても同様であった。

　本発明は、かかる従来の問題点に鑑みて為されたものであり、膨大な量の画像データ、音声データ等を高速に処理することができて、時々刻々と変化する自動車等の交通機関の周囲の状況を自動的に認識し、道路等の運行経路を自動的に案内することができる交通機関自動案内装置を提供することを目的とする。

　上記目的を達成するために、本発明の交通機関自動案内装置は、運行する交通機関の周囲の状況を画像、音声等として取得する入力装置と、その交通機関に関する画像データ、音声データ等を予め格納したデータベースと、前記入力装置によって取得した画像データ、音声データ等を前記データベース内に格納した画像データ、音声データ等と比較する比較装置と、画像データ、音声データ等を比較した結果が一致した場合にそのデータの内容を認識し、特定する認識装置と、前記認識装置によって認識し、特定した結果を運行者等に文字、画像、音声等によって通知する出力装置とから構成されることを特徴とする。

　さらに、前記入力装置によって取得された対象物に対応する画像データ、音声データ等が前記データベース内に存在しない場合に、その新たな対象物に対応する画像データ、音声データ等を地図上の位置と対応させて前記データベースに新たに格納する記憶装置と、対象物に対応する画像データ、音声データ等が前記データベース内に格納された画像データ、音声データ等と相違する場合に、新しい画像データ、音声データ等に更新して前記データベースに格納するデータ更新装置を有することが好ましい。
　又、前記認識装置によって認識又は特定された事項に基づいて何等かの判断を行い、前記出力装置によって運行者等に判断結果に基づく指示を文字、画像、音声等で通知する判断装置をも有するのが好ましい。
　さらに、前記判断装置は、前記認識装置によって認識又は特定された事項に基づいて何等かの判断を行い、さらに、その判断結果に基づいて前記出力装置に所定の動作を指示し、制動装置、操縦装置等を自動的に作動させるものであることが好ましい。

　又、前記交通機関自動案内装置において、これを構成する一又は複数の装置を他の装置と通信回線を介して接続するようにしてもよい。

　さらに、前記入力装置によって取得された交通機関の周囲の状況についての遠近法画像データを、遠近感を排除した平面画像データに変換する平面画像変換装置と、前記比較装置によって、変換された平面画像データを前記データベース内に格納してある画像データと比較した結果に基づいて、そのデータの内容を認識し、特定する平面画像認識装置と、この平面画像認識装置によって認識、特定された対象物に関して、種々の空間的物理量を計測する画像内容計測装置と、から構成される平面展開処理装置を付設してもよい。
　又、前記平面画像変換装置は、前記入力装置によって取得された交通機関の周囲の状況についての３６０度全周囲画像データをも、平面画像データに変換する機能を有するようにしてもよい。

　さらに、交通機関の周囲の状況を画像データ、計測データ等として取得する交通情報検出装置を交通機関の運行経路に設置して、前記交通情報検出装置によって取得した画像データ、計測データ等を受信できるようにしてもよい。
　ここで、前記交通情報検出装置は、取得された画像データ、計測データに基づいてコンピュータグラフィック化するグラフィック化装置を有することが好ましい。

　さらに、交通機関に搭載した入力装置によって映像を取得する画像取得部と、取得した映像をある期間記録する画像一時記録部と、画像内に対応点を取るための手掛り点を自動抽出する手掛り点自動抽出部と、距離差のある二以上の画像を取り出し、各画像内の複数の手掛り点の対応点を求める対応点検出部と、検出された複数の対応点から、入力装置の位置及び方向を演算する入力装置位置方向計測部と、求められた入力装置位置の三次元座標の相対距離値を、実測値を用いて絶対距離値に変換する実測スケール変換部と、から構成される位置関係認識装置を付設してもよい。

　以下、本発明の交通機関自動案内装置の好適な実施形態について、図面を参照して詳細に説明する。
本発明の交通機関自動案内装置１は、図１に示すように、入力装置２と、データベース３と、比較装置４と、認識装置５と、出力装置６と、判断装置７と、記憶装置８と、データ更新装置９と、から構成される。

　入力装置２は、交通機関を運行する際に、その交通機関の周囲の状況を画像、音声等として取得するものである。例えば、画像はビデオカメラによって、音声はマイクロフォンによって取得する。

　データベース３には、予め、自動車の場合には、道路標識、道路標示、交通案内板等、又、自動車等に関する画像データ、音声データ等を格納してある。列車の場合には、踏切面、踏切信号、自動車等の移動障害物、プラットフォーム等、又、列車等に関する画像データ、音声データ等を格納してある。航空機の場合には、空港形状、空港の滑走路、誘導路、管制塔等の構造物、自動車等の移動障害物、又、航空機等に関する画像データ、音声データ等を格納してある。船舶の場合には、港湾形状、港湾の岸壁、埠頭、航路標識、又、船舶等に関する画像データ、音声データ等を格納してある。

　比較装置４は、入力装置２によって取得した画像データ、音声データ等をデータベース３内に格納してある画像データ、音声データ等と比較する。

　認識装置５は、画像データ、音声データ等を比較した結果に基づいて、そのデータの内容を認識し、特定する。

　出力装置６は、認識装置５によって認識し、特定した結果を、運行者等に文字
、画像、音声等によって通知するものである。

　記憶装置８は、入力装置２によって取得された対象物に対応する画像データ、音声データ等がそもそもデータベース３内に存在しない場合に、その新たな対象物に対応する画像データ、音声データ等を、地図上の位置と対応させて、データベース３に新たに格納するものである。

　データ更新装置９は、地図上の所定位置に対象物が存在していても、その対象物に対応する画像データ、音声データ等がデータベース３内に格納された画像データ、音声データ等と相違する場合に、新しい画像データ、音声データ等に更新して、データベース３に格納するものである。

　判断装置７は、認識装置５によって認識又は特定された事項に基づいて、何等かの判断を行い、出力装置６によって運行者等に判断結果に基づく指示を文字、画像、音声等で通知するものである。
　さらに、判断装置７は、判断結果に基づいて、出力装置６に所定の動作を指示し、ブレーキ等の制動装置、ハンドル等の操縦装置を自動的に作動させる場合もある。

　次に、交通機関が自動車の場合について、交通機関自動案内装置１が、自車両のおかれた状況を自動的に認識し、その状況を運転者又は同乗者に文字、画像、音声等によって通知し、道路を案内し、又、道路を走行する際の適切な動作を指示する例について、具体的に説明する。

　図２に示すように、入力装置２によって制限速度５０ｋｍの道路標識１２が画像データとして取得された場合、先ず、比較装置４によってデータベース３内に格納してある画像データと比較され、認識装置５によって制限速度５０ｋｍの道路標識データであると認識、特定される。
　次いで、その認識結果に基づいて、出力装置６によって制限速度が５０ｋｍであることが運転者又は同乗者に文字、画像、音声等で通知される。

　このように、交通機関自動案内装置１によれば、運転者又は同乗者が道路標識１２を見逃してしまった場合にも、現在走行中の道路では制限速度が５０ｋｍであることを確実に知ることができ、速度超過による交通違反を未然に防止することができるとともに、追突事故等の発生をも防止することができる。

　図２に示すように、入力装置２によって自車両１１の右側に他車両１３が画像データとして取得された場合、先ず、比較装置４によってデータベース３内に格納してある画像データと比較され、認識装置５によってその他車両１３は追越車両であると認識される。
　次いで、その認識結果に基づいて、判断装置７は他車両１３が追越中には加速しないという判断を行い、出力装置６によって運転者又は同乗者に、加速しないようにという指示が、文字、画像、音声等で通知される。

　このように、交通機関自動案内装置１によれば、運転者又は同乗者が自車両１１の右側に他車両１３が存在することに気が付かなかった場合にも、他車両１３が追越中であることを確実に知ることができ、又、加速しないようにという指示によって、何等慌てることもなく、衝突事故等の発生を防止することができる。

　図２に示すように、入力装置２によって、前方に存在する、赤色灯が点滅し、警報機が鳴っている踏切信号１４が、画像データ、音声データとして取得された場合、先ず、比較装置４によってデータベース３内に格納してある画像データ、音声データと比較され、認識装置５によって、前方の踏切信号１４の赤色灯が点滅し、警報機が鳴っていることが認識される。
　次いで、その認識結果に基づいて、判断装置７は停止しなければならないという判断を行い、さらに、踏切に進入するのは危険であり、法律でも禁止されていることを考慮し、出力装置６にブレーキを作動するように指示する。これによって、出力装置６がブレーキを作動させるため、自動車は踏切手前の安全な位置に自動的に停止する。

　このように、交通機関自動案内装置１によれば、運転者又は同乗者が前方において踏切信号１４の赤色灯が点滅し、警報機が鳴っていることに気が付かなかった場合にも、さらには、気が付いていても適切な処置を取らなかった場合にも、踏切信号１４の赤色灯が点滅し、警報機が鳴っていて、踏切に進入することは危険であることを確実に通知し、自動的に停止させるという適切な処置を指示し、実行させることができるので、甚大な被害を及ぼす事故等の発生を未然に防止することができる。

　次に、交通機関が列車の場合について、交通機関自動案内装置１が、自車両のおかれた状況を自動的に認識し、その状況を運転者又は同乗者に文字、画像、音声等によって通知し、線路を案内し、又、線路を走行する際の適切な動作を指示する例について、具体的に説明する。

　図３に示すように、入力装置２によって自車両の前方にプラットフォーム２１が画像データとして取得された場合、先ず、比較装置４によってデータベース３内に格納してある画像データと比較され、認識装置５によって停車駅が近づいたことが認識される。
　次いで、その認識結果に基づいて、判断装置７は停車駅が近づいたので減速するという判断を行い、出力装置６によって運転者又は同乗者に、減速するようにという指示が、文字、画像、音声等で通知される。

　このように、交通機関自動案内装置１によれば、運転者又は同乗者が自車両の前方にプラットフォーム２１が存在することに気が付かなかった場合にも、停車駅が近づいたことを確実に知ることができ、又、減速するようにという指示によって、過誤により停車駅を通過してしまうミスを防止することができる。

　図３に示すように、入力装置２によって、自車両の前方に踏切面２２、踏切信号２３及び自動車等の移動障害物２４が画像データ、音声データとして取得された場合、先ず、比較装置４によって、データベース３内に格納してある画像データ、音声データと比較され、認識装置５によって、前方の踏切信号２３の赤色灯が点滅し、警報機が鳴っていること、及び、踏切面２２に自動車等の移動障害物２４が存在することが認識される。
　次いで、その認識結果に基づいて、判断装置７は緊急停止しなければならないという判断を行い、さらに、踏切面２２に進入するのは危険であることを考慮し、出力装置６にブレーキを直ちに作動するように指示する。これによって、出力装置６がブレーキを直ちに作動させるため、自車両は踏切面２２手前の安全な位置に自動的に急停止する。

　このように、交通機関自動案内装置１によれば、運転者又は同乗者が前方の踏切信号２３の赤色灯が点滅し、警報機が鳴っていること、及び、踏切面２２に自動車等の移動障害物２４が存在することに気が付かなかった場合にも、さらには、気が付いていても適切な処置を取らなかった場合にも、踏切信号２３の赤色灯が点滅し、警報機が鳴っていて、踏切面２２に進入することは危険であることを確実に通知し、自動的に急停止させるという適切な処置を指示し、実行させることができるので、甚大な被害を及ぼす踏切事故等の発生を未然に防止することができる。

　次に、交通機関が航空機の場合について、交通機関自動案内装置１が、自機体のおかれた状況を自動的に認識し、その状況を操縦者又は同乗者に文字、画像、音声等によって通知し、航路、空港内を案内し、又、航路を航行し、空港内を走行する際の適切な動作を指示する例について、具体的に説明する。

　図４に示すように、入力装置２によって、自機体３１の前方に他機体３２、自動車３３等の移動障害物が画像データ、音声データとして取得された場合、先ず、比較装置４によって、データベース３内に格納してある画像データ、音声データと比較され、認識装置５によって、前方に他機体３２、自動車３３等の移動障害物が存在することが認識される。
　次いで、その認識結果に基づいて、判断装置７は緊急停止しなければならないという判断を行い、さらに、前方に移動するのは危険であることを考慮し、出力装置６にブレーキを直ちに作動するように指示する。これによって、出力装置６がブレーキを直ちに作動させるため、自機体３１は移動障害物手前の安全な位置に自動的に急停止する。

　このように、交通機関自動案内装置１によれば、操縦者又は同乗者が自機体３１の前方に他機体３２、自動車３３等の移動障害物が存在することに気が付かなかった場合にも、さらには、気が付いていても適切な処置を取らなかった場合にも、前方に移動障害物が存在し、前方に移動することは危険であることを確実に通知し、自動的に急停止させるという適切な処置を指示し、実行させることができるので、甚大な被害を及ぼす航空機事故等の発生を未然に防止することができる。

　次に、交通機関が船舶の場合について、交通機関自動案内装置１が、自船体のおかれた状況を自動的に認識し、その状況を操縦者又は同乗者に文字、画像、音声等によって通知し、航路、港湾内を案内し、又、航路、港湾内を航行する際の適切な動作を指示する例について、具体的に説明する。

　図５に示すように、船舶４１が港湾４５内で着岸するために航行する際に、入力装置２によって、水路、埠頭４３、岸壁４４が画像データとして取得された場合、先ず、比較装置４によってデータベース３内に格納してある画像データ、音声データと比較され、認識装置５によって、水路、埠頭４３、岸壁４４が認識される。
　次いで、その認識結果に基づいて、判断装置７は、岸壁４４の着岸位置及び船舶４１の現在位置並びに港則法、海上交通安全法等の関係法令から航行経路を判断し、出力装置６によって、操縦者又は同乗者に、航行経路についての指示が文字、画像、音声等で通知される。

　このように、交通機関自動案内装置１によれば、操縦者又は同乗者が港湾４５内の形状について不案内であった場合にも、岸壁４４の着岸位置までの航行経路を容易に知得でき、岸壁４４に円滑に着岸することができて、港湾４５内における船舶の混雑を緩和することができる。

　図５に示すように、入力装置２によって、自船舶４１の前方に他船舶４２、埠頭４３、岸壁４４、浅瀬等が画像データ、音声データとして取得された場合、先ず、比較装置４によって、データベース３内に格納してある画像データ、音声データと比較され、認識装置５によって、他船舶４２、埠頭４３、岸壁４４、浅瀬等が存在することが認識される。
　次いで、その認識結果に基づいて、判断装置７は、緊急停止又は航路変更しなければならないという判断を行い、さらに、このまま航行するのは危険であることを考慮し、出力装置６に船舶４１を緊急停止又は航路変更する処置を直ちに取るように指示する。これによって、出力装置６が船舶４１を緊急停止又は航路変更させるため、船舶４１は安全な位置に自動的に停止するか、安全な位置に移動する。

　このように、交通機関自動案内装置１によれば、操縦者又は同乗者が前方に他船舶４２、埠頭４３、岸壁４４、浅瀬等が存在することに気が付かなかった場合にも、さらには、気が付いていても適切な処置を取らなかった場合にも、他船舶４２、埠頭４３、岸壁４４、浅瀬等が存在して、そのまま航行することは危険であることを確実に通知し、自動的に緊急停止、航路変更させるという適切な処置を指示し、実行させることができるので、甚大な被害を及ぼす船舶事故等の発生を未然に防止することができる。

　尚、交通機関自動案内装置１において、それを構成する入力装置２、データベース３、比較装置４、認識装置５、出力装置６、判断装置７、記憶装置８、データ更新装置９の何れか一の装置又は複数の装置を、交通機関自動案内装置１を構成する他の装置と通信回線を介して接続するようにしてもよい。
　かかる構成によれば、中央管制センター等において交通機関を遠隔制御することも可能となる。

　以上述べたように、本発明の交通機関自動案内装置によれば、膨大な量の画像データ、音声データ等を高速に処理することができ、時々刻々と変化する交通機関の周囲の状況を自動的に認識し、運行経路を自動的に案内することができる。

　又、本発明の交通機関自動案内装置１には、平面展開処理装置５１を付設することもできる。

平面展開処理装置５１は、運行する交通機関の周囲の状況について入力装置２によって取得された遠近法画像を、平面展開することによって遠近感を排除した平面画像に変換し、これに基づいて距離、面積等の計測処理を実行するものであり、図６に示すように、平面画像変換装置５２と、平面画像認識装置５３と、平面画像結合装置５４と、画像内容計測装置５５と、から構成される。

　交通機関を運行する際に、その交通機関の周囲の状況は、入力装置２によって遠近法画像として取得される。
　平面画像変換装置５２は、この取得された遠近法画像を平面展開することによって、遠近感を排除した平面画像に変換するものである。

　入力装置２であるビデオカメラによって取得された遠近法画像は、例えば、図７に示す変数を用いて、以下の式（１），（２）によって平面展開され、遠近感を排除した平面画像に変換される。

　ｙ＝ｖ・２^１／２・ｈ・ｃｏｓ（π／４−θ）・ｃｏｓ（β−θ）／
　　　（ｆ・ｓｉｎβ）　　　　　　　　　　　　　　　　　・・・・・（１）
　ｘ＝ｕ・ｈ・ｃｏｓ（β−θ）／（ｆ・ｓｉｎβ）　　　　・・・・・（２）

　ここで、θはカメラの光軸と道路面等の平面との為す角度、ｆはカメラの焦点距離、ｈはカメラの高さ、βはカメラの真下からｈ＋ｙの距離にある点とカメラとを結ぶ線分と道路面等の平面との為す角度、ｖはカメラの映写面上の原点から縦方向の座標、ｕはカメラの映写面上の原点から横方向の座標、ｙは道路面等の平面におけるカメラの真下からｈ進んだ点を原点とした縦方向の座標、ｘは道路面等の平面における横方向の座標である。

　平面画像認識装置５３は、比較装置４によって、変換された平面画像データをデータベース３内に格納してある画像データと比較した結果に基づいて、そのデータの内容を認識し、特定するものである。

　平面画像結合装置５４は、変換された平面画像データを適宜結合させて、大画面の平面画像データを生成するものである。

　画像内容計測装置５５は、平面画像認識装置５３によって認識、特定された対象物に関して、種々の空間的物理量を計測するものである。空間的物理量としては、位置、距離、面積、高さ、奥行、体積、速度、加速度等が挙げられる。

　次に、交通機関が自動車等の路面を走行する車両の場合について、平面展開処理装置５１によって所定の空間的物理量を計測処理する例について、具体的に説明する。

　図８（Ａ）に示すように、入力装置２によって自車両の前方に延長する走行車線５６が遠近法画像データとして取得された場合、先ず、平面画像変換装置５２によって、図８（Ｂ）に示すように、遠近感を排除した鉛直上方から見た平面画像データに変換される。ここで、平面画像認識装置５３によって、変換された平面画像データの内容が認識、特定され、平面画像内には走行車線５６が存在することが認識、特定される。
　次いで、画像内容計測装置５５によって、図８（Ｂ）に示すように、対象物である走行車線５６に関して、車線幅、車線の平行度等の種々の空間的物理量が計測される。又、入力装置２によってリアルタイムに遠近法画像データを取得すれば、時間当たりの移動距離を計測することによって、自車両の進行速度を計測することができる。

　次に、交通機関が列車等の軌道を走行する車両の場合について、平面展開処理装置５１によって所定の空間的物理量を計測処理する例について、具体的に説明する。

　図９（Ａ）に示すように、入力装置２によって自車両の前方に延長する線路５７が遠近法画像データとして取得された場合、先ず、平面画像変換装置５２によって、図９（Ｂ）に示すように、遠近感を排除した鉛直上方から見た平面画像データに変換される。ここで、平面画像認識装置５３によって、変換された平面画像データの内容が認識、特定され、平面画像内には線路５７が存在することが認識、特定される。
　次いで、画像内容計測装置５５によって、図１０に示すように、対象物である線路５７に関して、レール幅、レール平行度等の種々の空間的物理量が計測される。又、入力装置２によってリアルタイムに遠近法画像データを取得すれば、時間当たりの移動距離を計測することによって、自車両の進行速度を計測することができる。

　このように、平面展開処理装置５１によれば、交通機関自動案内装置１に付随して、交通機関を運行する際に、その交通機関の周囲の状況に関する種々の空間的物理量を取得することができる。
　又、この取得された空間的物理量に基づいて、交通機関自動案内装置１において、より適切な通知、指示を出すことも可能となる。

　平面展開処理装置５１は、遠近法画像を平面画像に変換する機能を有するだけでなく、３６０度全周囲画像（球面画像）を平面画像に変換する機能を有するものとしてもよい。
　３６０度全周囲画像とは、運行する交通機関の全周囲、すなわち、前後、左右、上下、全ての方向を捉えた画像であって、例えば、１）複数のカメラで撮影した画像を合成する、２）カメラの前面に曲面ミラーを設置し、曲面ミラーに映った画像を撮影する、３）１台のカメラを回動させ、各位置で撮影した画像を合成する、４）カメラに魚眼レンズを装着し、広範囲に撮影した画像を処理する、等の方法によって取得できる。

　前記３６０度全周囲画像を、図１１に示すように、仮想の球面上に貼り付けられた画像と見做せば、変換された平面画像は、所望の視点から見た平面に投影された画像と捉えることができる。
　路面を走行する自動車の周囲の状況を、上記のような方法で３６０度全周囲画像として取得した場合にあって、自動車の上方を視点として平面画像に変換した例を図１２に示す。

　尚、以上においては、交通機関として自動車等の路面を走行する車両、列車等の軌道を走行する車両を例に挙げて説明したが、航空機、船舶等においても同様に適用することができる。

　さらに、別途、交通機関の運行経路に交通情報検出装置６１を設置して、交通情報検出装置６１によって取得した画像データ、計測データ等を交通機関自動案内装置１に送信するようにしてもよい。

　交通情報検出装置６１は、交通機関自動案内装置１における入力装置２、データベース３、比較装置４、認識装置５、記憶装置８、データ更新装置９、平面展開処理装置５１、さらに、グラフィック化装置６２から構成される。

　グラフィック化装置６２は、入力装置２から取得された画像データ、計測データに基づいてコンピュータグラフィック（ＣＧ）化するものである。

　次に、交通機関が自動車の場合について、運行経路に設置した交通情報検出装置６１によって取得した画像データ、計測データ等を交通機関自動案内装置１に送信する例について、具体的に説明する。

　自動車の場合には、交通情報検出装置６１は、例えば図１３に示すように、道路に付設されたゲート６３、照明灯６４等に設置される。そして、図１４に示すように、交通情報検出装置６１によって取得した画像データ、計測データ等は、先ず、データを集中管理するために設置された基地局６５に送信され、次に、適宜場所に複数設置された端末局６６に配信され、端末局６６から交通機関自動案内装置１を搭載した各車両へと送信される。

　交通情報検出装置６１から基地局６５、端末局６６を介して交通機関自動案内装置１を搭載した各車両へ配信される画像データ、計測データ等は、コンピュータグラフィック画像（ＣＧ）化されて図形、数値等とともに送信されるから、各車両の交通機関自動案内装置１においては、出力装置６によって、図１５に示すように、図形、数値、文字等で理解し易く表示され、極めて便利である。

　コンピュータグラフィック化された出力画面においては、自車両の座標は適宜位置に固定され、走行する自車両の周囲の状況、すなわち道路標識、道路標示、交通案内板、他車両等の位置又表示は、交通情報検出装置６１を通過する毎に、時々刻々と変化するようになっている。
　尚、出力画面に表示されるものは、平面的なコンピュータグラフィック画像に限らず、立体的なコンピュータグラフィック画像（３ＤＣＧ）であってもよく、平面展開された実画像と合成されたものであってもよい。

　図１５に示す出力画面は、予め設定された自車両の安全圏を侵害する又は侵害する虞れのある他車両がある場合であって、「追い越し車両あり　時速：１４０ｋｍ」等、文字、音声等によって運転者又は同乗者に通知される。

　交通情報検出装置６１から交通機関自動案内装置１への送信によって交通情報を認識することは、図１６に示すように、特に、交叉点等において自車両からは左右道路が死角となる場合に、その左右道路の交通状況を容易に把握することができ、交通安全対策上極めて有益である。
　図１６に示す出力画面は、自車両からは左右道路が死角となる位置に他車両がある場合であって、「前方右折車あり」等、文字、音声等によって運転者又は同乗者に通知される。

　尚、以上においては、交通機関として路面を走行する自動車を例に挙げて説明したが、列車等の軌道を走行する車両、航空機、船舶等においても同様に適用することができる。

　さらに、交通機関自動案内装置１において、運行する交通機関と周囲との位置関係を正確に認識できる装置を付設すれば、より効果的に交通機関を自動案内することができる。
　以下においては、交通機関として自動車等の路面を走行する車両の場合について、運行する交通機関と周囲との位置関係を正確に認識できる位置関係認識装置１０１について説明する。

　運行する車両の位置関係を認識し、車両を案内する装置としては、搭載したカメラによって取得された映像から道路に付設された白線を検出し、その白線からはみ出さないように車両を案内する装置が既に開発されている。
　この装置にあっては、白線という特殊な対象物に限定して、自車両を白線との関係においてのみ位置付けているから、白線を付設していない道路では、位置認識機能及び自動案内機能は停止するし、白線が曲がって形成されていれば、誤作動をする虞れもある。又、交差点等白線に沿って進行することが必ずしも目的に沿わない場合には、位置認識機能及び自動案内機能は全く意味をもたないものとなってしまう。さらに、白線以外のものを白線と誤認識する危険もあり、白線に沿って走行していても、障害物が存在した場合には、それを回避することはできない。

　本発明における位置関係認識装置１０１は、道路に付設した白線のみならず、カメラによって取得された映像中の全ての対象物を利用して、自車両の三次元的位置を認識し、しかも、周囲の状況の中に自車両を三次元的に位置付けることができるようにしたものである。
　すなわち、位置関係認識装置１０１においては、道路に付設した白線のみならず、映像中に存在する全ての対象物が三次元計測の手掛りとなる。又、対象物そのものではなく、対象物中にあって画像処理によって抽出しやすい部分を手掛りとする。又、対象物中にあって、三次元計測の手掛りとなりそうな部分を複数抽出する。さらに、当初から対象物を特定するのではなく、検出できた対象物を手掛りとする、という点にも特徴がある。

　映像中の前記手掛りの部分を、車両の進行によって生成される連続画像の各画像中において、マッチング法等の画像処理技術を適用して自動追跡する。ここで、追跡に成功するものもあれば、追跡に失敗して逃すものもあるが、追跡に成功した手掛りの部分のみを三次元計測の対象とすればよい。
　そして、車両が適当な距離移動する間に追跡に成功した複数の手掛りの部分に基づいて、所定の演算をすることによって、自車両の三次元的位置及び方向を検出、認識する。

　又、複数のカメラを互いの視野が重なるように搭載して、重なる視野の中で対応点を検出して三次元計測を行い、周囲の手掛りとなる部分から構成された三次元座標の中に、又は、他の方法で取得された周囲の三次元画像の中に、自車両の三次元位置及び方向を位置付ける。

　本発明における位置関係認識装置１０１によれば、
　１）大きな視差を得ることができるので、遠方の対象物について計測精度が向上する。
　２）誤差の累積を少なくすることができる。
　３）カメラ位置を演算により計測できるので、装置構成が簡単になり、カメラの設定が極めて簡易になる。
　４）カメラによって撮影した過去の映像データから、三次元計測が可能になるので、過去の映像資料を活用することができる。
　５）過去に走行して取得した特徴となる点のデータから、その特徴点を手掛りとして、自車両の位置を演算により三次元的に求めることができる。
　６）映像には映っていない領域の車両位置及び方向を演算によって求めることができる。
　このように、位置関係認識装置１０１によれば、白線のみによる自車両の位置検出によっては決して為し得ない、様々な機能を発揮することができる。
　そして、周囲の交通状況を判断し、それを運行者に伝達し、又は、それに基づいて直接に車両を制御し、より高度な自動案内を実現することができ、交通安全に効果的に貢献することができる。

　本発明の位置関係認識装置１０１は、車両に搭載したビデオカメラ等の入力装置によって撮影される道路面、周囲物体等の映像情報に基づいて、道路面、周囲物体等及び自車両の三次元的位置を検出し、道路面との位置関係を認識することができるようにしたものであり、車両に搭載した入力装置によって画像を取得する画像取得部１０２と、取得した画像をある期間記録する画像一時記録部１０３と、画像内に対応点を取るための手掛り点を自動抽出する手掛り点自動抽出部１０４と、距離差のある二以上の画像から、各画像内の複数の手掛り点の対応点を検出する対応点検出部１０５と、検出された複数の対応点から、入力装置の位置及び方向を演算する入力装置位置方向計測部１０６と、演算された入力装置の位置の三次元座標における相対距離を、実測値を用いて絶対距離に変換する実測スケール変換部１０７と、から構成されることを特徴とする。

　画像取得部１０２と画像一時記録部１０３によれば、自車両に搭載したビデオカメラ等の入力装置からの映像を記録することができ、時間軸上に並べることによって、車両の進行とともに時間的に変化する画像が得られる。つまり、静止対象物に関しては、複数のカメラを車両が進行する道路上に並べて撮影したと同様の結果となる。このようにして、カメラを一台使用するだけであっても、カメラを移動することにより、複数の視差を得ることができる。

　次に、手掛り点自動抽出部１０４によって、画像内の特徴的な部分を手掛り点とするために、画像の輪郭を抽出し、又は色の領域に分割する等して、画像内の特徴的な部分を自動抽出する。
　ここで、手掛り点とは、位置の異なる地点で撮影した画像間での対応点を求めるために、その対応点となる画像内の特徴点を意味する。手掛り点は、対象物そのものである場合もあるが、対象物の一部分である場合の方が多い。又、ここにいう特徴点は、人間にとっての特徴点ではなく、画像処理するコンピュータにとっての特徴点でよいので、画像処理は極めて有利となる。
　当初から検出する手掛り点を特定しておく必要はなく、その時現場において容易に検出できた対象物又はその一部分を手掛り点とすることができる。さらに、検出された複数の手掛り点について、当初から追跡する手掛り点を特定しておく必要はなく、追跡できた手掛り点のみを三次元計測の演算対象の手掛り点とすることができる。これらの特徴によって、位置関係認識装置１０１による位置関係の認識が実現可能となっている。

　次に、対応点検出部１０５と入力装置位置方向計測部１０６とによって、複数の対応点を画像マッチング法等によって検出し、各対応点の座標に基づいて、演算によってカメラ等の入力装置位置及び方向を求める。
　ここで、入力装置の位置及び方向を連続して求めることによって、入力装置の速度、すなわち、車両速度、車両加速度、車両進行方向を求めることができる。
　対応点のうちには、車両の移動とともに隠れたりするものもあるが、十分に多くの手掛り点を選択しておき、最終的に数個の手掛り点さえ残れば、それで十分に演算は可能である。
　又、静止座標系に固定した対象物を手掛り点に選択しなければならないが、十分に多くの手掛り点を選択しておき、それらに統計処理を施して、異常値を示すものを削除し、有効な手掛り点のみを残すことによって、三次元計測が可能となる。

　演算によって得られたカメラ位置のデータは相対距離であり、絶対距離に変換するためには、計測対象とする対応点座標又は車両位置座標に関して、何処か一カ所以上の既知の距離が必要となるが、車両の走行によって距離に変更がない値として、例えば、カメラの設置高さ又は画像内で当初から既知の距離を用いて、較正をしておけばよい。又、カメラを複数台設置する場合には、そのカメラ間の距離を既知の距離とすることができる。さらに、画像内の対象物中に実測値が既知のものが存在すれば、それを既知の距離として、実測スケール変換部１０７によって、絶対距離に変換することができる。
　以上のようにして、カメラ位置及び方向を三次元的に計測することができる。

　前記位置関係認識装置１０１に、複数の手掛り点の各画像内の対応点から、複数の手掛り点を三次元計測し、それらとカメラ位置との関係を三次元座標として求める対応点三次元計測部１０８を付加してもよい。

　対応点三次元計測部１０８によれば、カメラの位置及び方向の三次元データを求める演算過程で、同時に、手掛り点の三次元データも求まる。これによって、複数の手掛り点の三次元位置、三次元配列、三次元分布の中にカメラ位置を配置することが可能になる。すなわち、周囲の複数の手掛り点の三次元分布と同じ三次元座標系の中に、車両の位置及び方向を三次元的に配置することができる。
　よって、周囲の静止座標系内の静止対象物の中に、言い換えれば、周囲のビル、電柱、道路等を含む三次元座標の中に、自車両、正確には自車両に搭載されたカメラの位置を三次元的に位置付けることができる。

　又、対応点三次元計測部１０８によって得られた対応点の三次元座標を記録する三次元データ記録部１０９を付加してもよい。

　演算で求められた手掛り点の三次元データを記録して残すことで、後にその周辺を走行する場合に、既に三次元座標を取得している手掛り点を、車両の位置及び方向の演算の指標として参考にすることができる。
　現実的には、前もって専用装置を搭載した車両を走行させ、手掛り点のより正確な三次元データを収集しておくことで、それらを後に多くの車両が利用することができる。

　さらに、三次元データ記録部１０９に蓄積した手掛り点の三次元データを、次回以降の周辺の走行時に、三次元データ記録部１０９から読み出す三次元データ読み出し部１１０と、それらデータと次回以降の走行時に取得された三次元データとを比較して、一致点を求めて、車両位置の演算精度を高める対応点比較部１１１とを付加してもよい。

　三次元データ記録部１０９から三次元データ読み出し部１１０によって、三次元データを読み出し、その後の走行の度に、以前の手掛り点の座標に変更があれば、その座標を更新して新しいデータとして再度記録しておくのがよい。
　同一場所付近の走行を重ねるにつれて、三次元データ記録部１０９のデータを更新し、新規に追加をすることで、手掛り点が増加し、又は位置精度が向上し、車両の位置及び方向の演算精度も向上する。
　前もって専用装置で精度の高い三次元データを生成しておき、それを後に他の車両が利用することによって、手掛り点の位置精度が極めて高くなる。さらに、前もって専用装置で手掛り点を画素単位まで拡張した三次元地図データを生成しておけば、走行路周辺の三次元空間が構成され、その中に車両の位置及び方向を配置できる。

　又、絶対座標が既知である対象物を対応点に選択し、前記入力位置方向計測部１０６及び対応点三次元計測部１０８によって取得した三次元データに絶対座標を与える絶対座標変換部１１２と、ある地域に存在する手掛り点の三次元座標を絶対座標系に統合する座標統合部１１３とを付加してもよい。

　絶対座標変換部１１２によれば、例えば、ＧＰＳでカメラ位置の絶対座標を取得するとか、既に緯度経度の既知である対象物を手掛りとして、相対距離として得られた三次元データを絶対座標に変換することができる。
　又、座標統合部１１３によれば、幾つかの手掛り点の座標を共通の絶対座標系に統一して表示でき、直ちに、三次元データは絶対座標を取得したことになる。
　手掛り点が絶対座標を取得すれば、次回以降も、或いは他の車両でも、手掛り点の共通の三次元データとして利用することができる。
　手掛り点を集めた三次元データと一致した現場データは、手掛り点の位置、配列、分布に一致したことで、絶対座標を得たことになる。そこから直ちに、カメラ位置、すなわち、車両の絶対座標が取得できることになる。
　さらに、ある地域全体の地図の中に手掛り点による三次元座標を落とし込むことによって、地図と手掛り点が結合し、新たなデータベースができあがり、多くの車両が、共通データとして自車両の位置及び方向のデータを記録する地図を取得できることになる。

　又、手掛り点の名称及び属性を手掛り点の位置データに対応付けて記録保存し、各手掛り点の属する対象物の名称及び属性を当該手掛り点の座標データに付加する名称属性付加部１１４と、付加された手掛り点の座標、名称及び属性を地図の中に関係付けて書き込み、記録保存するデータベース１１５とを付加してもよい。

　手掛り点が属する対象物の名称及び属性が前もって分かっていれば、又は、画像認識により名称が分かれば、対象物の名称とその一般的性質やその対象物固有の性質も属性データとして取得することができる。
　つまり、計測時の手掛り点とデータベース内の手掛り点との対応が付けば、その手掛り点の対象物の名称や性質を読み取ることができる。

　又、前記各種演算結果を適宜、運転者等に表示して知らせる表示部１１６を付加してもよい。

　取得したデータ、車両位置及び方向、手掛り点の属する対象物の名称及び属性等を表示部１１６によって表示すれば、それらを運転者や管理者が観察して、状況を判断することができる。

　前記演算結果により、周囲と自車両の位置関係及び道路と自車両の位置関係から車両の状況を自動判断する状況判断部１１７と、状況判断した結果を用いて、自動的に車両の目的にあった操作（ブレーキ操作、スピードコントロール操作、ハンドル操作、警報操作等）を自動的に行う自動車両制御部１１８を付加してもよい。

　状況判断部１１７によれば、自車両の位置及び方向、手掛り点の属する対象物の名称及び属性、それら手掛り点の名称及び属性、路面と車両との位置関係、標識、道路標示等を総合的に判断して、車両のおかれている状況を判断することができる。
　これによって、自動車両制御部１１８を介して、車両を自動的に又は半自動的に運行させることができる。又、周囲の状況と車両の位置関係を判断して、運転者等に車両の位置情報を伝達することができる。

　又、カメラを複数台設置して画像を取り込み、それぞれのカメラの視野の一部若しくは全部を重複させた複数カメラ画像取得部１１９と、単一カメラよる移動距離による視差から演算される三次元距離計測と、複数カメラによるカメラ間視差から演算される三次元距離計測と、の両方を併用し、複数カメラの視野重複方式で得られた手掛り点の三次元距離データを基準長として、単一カメラの移動による移動距離視差方式で得られた三次元距離データを較正することによって、絶対距離に変換するキャリブレーション部１２０と、を付加してもよい。

　車両の周囲を観察できるように、車両を取り巻く形で複数のカメラを車両に設置し、各カメラの視野が一部他のカメラの視野と重複するようにすれば、重複部分ではカメラ間視差を発生させることができる。
　複数カメラ視野重複方式による三次元距離計測の最大の特徴は、移動物体をも計測できることである。又、複数カメラ視野重複方式によれば、短距離の計測において高い精度が出せる。
　一方、単一カメラ移動距離方式によれば、複数カメラ方式におけるカメラ間距離を実質的に長距離とすることが可能であるため、長距離の三次元距離計測をする際に有利である。例えば、車載カメラにおけるカメラ間距離は、せいぜい１ｍ程度であるが、カメラ移動距離方式におけるカメラ間距離は、１ｍ、１０ｍ、１００ｍのみならず、１ｋｍ、１０ｋｍとすることが可能である。
　そこで、近距離は視野重複方式によって三次元計測し、遠距離は視差の大きく取れるカメラ移動距離方式によって三次元計測する。
　基本的に、単数の場合も複数の場合も計測の原理は同じであるが、視野重複する複数カメラ方式の場合の特徴として、視差による計測において、基準長としてカメラ間距離をとることができるので、絶対距離計測ができ、しかも、視差による距離計測から得られた中間距離計測の距離データによって、単一カメラ移動方式による計測距離を較正することができるので、短距離から長距離まで正確な計測が可能となる。すなわち、前方を走行する車両の位置、速度、加速度、進行方向を計測することができる。

　又、手掛り点の属する対象物の三次元形状を、表示画面の中に定義された座標系中の正しい位置に、三次元コンピュータグラフィックスで配置して表現し、必要に応じて名称、属性、他の対象物、自車両を、その表示画面中に表示する、三次元空間を再現する形状座標属性表示部１２０と、前記表示画面中に表現された各種対象物を示す三次元コンピュータグラフィックスの画像上で手で触れたり、マウスでクリックする等して、又は、現実画像のみを表示し、表示された現実画像上で目的の対象物を手で触れたり、マウスでクリックする等して、目的の対象物を指定することによって、その対象物の名称、座標、形状、その他関連データ等の属性を表示し、指示した目的の対象物に関連するデータを入力し、指示した目的対象物に対して、各種の操作や行動を指示することができる、ユーザインターフェース部１２１と、を付加してもよい。

　複数の手掛り点がその属する対象物の三次元座標、名称、属性を取得することができた場合、それらの手掛り点はそれらが属するそれぞれの対象物に対応が取れていることを意味する。
　そこで、対象物の三次元形状と三次元座標を前もってデータベースに入れておくことで、自車両とその周囲の状況を３ＤＣＧ（三次元コンピュータグラフィックス）で表現して、三次元座標系中に表示することができる。もちろん、他の属性も、そして手掛り点が見つからない対象物であっても、その形状と位置座標は分かっているので、表示することができる。
　再構築された三次元空間と、その中に配置された各対象物の位置関係、名称、属性等の情報から、状況判断をより適切に行うことが出来る。
　又、表示された３ＤＣＧ画面上の対象物をマウスでクリックしたり、手で触れたりする等して指定することにより、若しくは、直接音声で指示し、音声認識装置で指示内容を理解し、その目的の対象物の属性をデータベースから読み出して表示することができる。
　さらに、現実画像の二次元データと前記三次元コンピュータグラフィックスの二次元への投影画像データとを、それぞれ層状に形状が一致するように重ねて構成し、現実画像のみを表示して、表示画面上の対象画像をマウスでクリックしたり、手で触れる等して、目的の対象物を指定すれば、現実画像と３ＤＣＧ画像が互いに重なるように一致して構成されているデータ構造から、３ＤＣＧの対応する対象物のデータを指定して、対象物に関する名称、座標、属性、その他関連情報をデータベースから呼び出し、又は、書き込みをすることができる。

　又、通信回線を介して、他の車両、若しくは他の通信ポイントと接続され、情報を送受信する外部通信部１２２を付加してもよい。　

　通信回線を介して、他の車両、若しくは他の通信ポイントと接続すれば、自動的に、又はユーザインターフェースを介して指示し、自車両が生成する手掛り点の三次元情報、移動体情報を他に送信し、又は、自車両が生成すると同じにように、他車両がしかも異なる位置で生成した手掛り点の三次元情報、移動体情報を他車両から受信することができる。
　又、周囲の固定点に設置されたカメラで取得した映像から解析された手掛り点情報や、自車両を含む車両の位置情報、速度情報、及び状況を判断した結果の情報、例えば、渋滞情報、事故情報等を固定局が送信し、それらの情報を自車両が受信し、表示し、若しくは、自車両では取得できていない情報をも受信し、表示し、さらに、自車両が取得した情報に受信した情報を加えて状況判断をし、精度の高い情報を表示することができる。

　次に、交通機関が自動車等の路面を走行する車両の場合について、位置関係認識装置１０１によって、運行する交通機関と周囲との位置関係を認識する例について、具体的に説明する。

　図１９に示すように、車両の屋根部に魚眼レンズを装着した４台の超広角カメラを視野が一部重複するように設置し、カメラの視野の重複部分を利用して、車両の距離計測と速度計測を行った。又、近距離の手掛り点については、複数カメラ間の視差により三次元計測をし、遠距離の手掛り点については、単一カメラの移動による手掛り点の対応点検出によって、移動距離に基づいて三次元計測を行った。
　カメラ間の視差による演算も、カメラ移動による運動視差による演算も、基本的には同じ形式の演算となるが、どれが未知数となるかが異なる。運動視差による場合には、カメラの移動距離は未知数となるが、カメラ間の視差による場合には、カメラ間の距離は前もって実測できるので、既知数とすることができる。

　又、演算で求められた三次元計測データを記録しておけば、次に同じ地域を走行する場合には、以前求めた手掛り点が既知数となり、より精度を向上して、三次元計測が可能となる。手掛り点の例を図１８に○印で示す。
　取得した映像は、球面に貼り付けた球面座標形式に展開するのが後の処理にとって有利である。カメラの位置関係は、カメラ間距離及び方向を正確に計測しておくのが望ましいが、カメラ間距離も未知数として演算で求めることも可能であるから、適当に設置してもよい。カメラ間距離は、実測値変換の基準として用いることもできる。
　カメラの方向も既知数とすることができるが、カメラの固定方法によっては振動等で方向が多少ずれることも予想される場合には、カメラの方向は未知数として扱うことができる。
　尚、未知数が多い場合には、手掛り点を多く取り、演算によってそれらの未知数を求めることができる。原理的には、手掛り点は画素数まで増加させることができる。

　ここで、何れか一個以上の手掛り点を視野重複するカメラの視差により正確に計測して基準値とし、実測スケールに変換するか、又は、カメラの路面からの高さを基準値として実測スケールに変換することができる。又、画像内にある長さが既知である対象物を基準長とすることもできる。
　視野の重複部分は視差が得られるので、カメラ間距離を既知の基準長として、同時撮影した各カメラの映像内で、手掛り点の対応点を画像認識によって求めることができる。手掛り点は、画像の輪郭処理により、画像内からリアルタイムで自動抽出することができる。画像認識にリアルタイム性を持たせるためと、演算を容易にするために、輪郭化された画像内の十字交点、三角形状交点、四角形状交点等を画像内から抽出する。手掛り点のデータ収集のためであれば、リアルタイム性は必要がないので、オフライン処理によって、かなり多くの手掛り点を演算で求めることができる。又、画素全面にまで拡張することも可能である。

　一般には、多くの手掛り点のうちの幾つかを、特徴ある点として手掛り点とし、対応点を画像マッチング法等によって求める。対応点が決定されれば、手掛り点までの三次元距離を演算によって求めることができる。同時に、カメラ位置及び方向も演算によって求まる。
　手掛り点は、全てが常に対応点として見つかるとは限らない。途中において対応点が見つけられなくなる場合を想定して、多少多めに自動抽出しておくのが好ましい。
　手掛り点が見つかった場合は、後処理でもよいから、手掛り点の三次元位置を地図と対応させ、手掛り点の属する対象物の名称及び属性をリンクさせ、データベースに記録しておくのが好ましい。
　これによって、次回以降の走行においては、手掛り点を見つけるだけで、それが属する対応点の名称とその対象物が持つ属性を知ることができる。

　前記データベースを利用すれば、手掛り点の位置を求めるだけで、手掛り点の属する対象物を認識し、車両のおかれている状況を理解し、次に取るべき行動を判断することができる。そして、その判断結果によって、車両方向、速度等を適宜制御して、車両を適切に自動案内することができる。
　又、三次元計測結果、若しくは判断結果を画面表示、音声等で出力すれば、図１５に示すように、運転者や管理者に通知することができる。又、他車両からの情報や周囲に設置された固定カメラによる情報を統合すれば、図１６に示すように、自車両の周囲の状況を表示し、運転者や管理者に通知することができる。何れの場合にも、表示画面はユーザインターフェースとして機能し、目的の車両を指定し、通信を開始し、データの送受信をし、その車両を明示する等できる。

　尚、以上においては、交通機関として自動車等の路面を走行する車両を例に挙げて説明したが、列車等の軌道を走行する車両、航空機、船舶、宇宙船等においても、同様に適用することができる。

　
本発明の交通機関自動案内装置の構成図である。 交通機関が自動車である場合の、本発明の交通機関自動案内装置の作用を示す説明図である。 交通機関が軌道車両である場合の、本発明の交通機関自動案内装置の作用を示す説明図である。 交通機関が航空機である場合の、本発明の交通機関自動案内装置の作用を示す説明図である。 交通機関が船舶である場合の、本発明の交通機関自動案内装置の作用を示す説明図である。 本発明の交通機関自動案内装置に付設する平面展開処理装置の構成図である。 ビデオカメラによって取得された遠近法画像を平面展開して、遠近感を排除した平面画像に変換する式において、使用される変数を示す図である。 （Ａ）は、入力装置によって取得した遠近法画像、（Ｂ）は、平面画像変換装置によって変換された平面画像である。 （Ａ）は、入力装置によって取得した遠近法画像、（Ｂ）は、平面画像変換装置によって変換された平面画像である。 画像内容計測装置によって計測される空間的物理量を示す説明図である。 ３６０度全周囲画像を平面展開して、平面画像に変換する概念を示す説明図である。 ３６０度全周囲画像から変換された平面画像の例である。 道路における交通情報検出装置の設置例を示す説明図である。 交通情報検出装置から交通機関自動案内装置への送信例を示す説明図である。 車両が道路を走行している場合において、コンピュータグラフィック画像として表示される出力画面の例である。 車両が交叉点に進入する場合において、コンピュータグラフィック画像として表示される出力画面の例である。 本発明の交通機関自動案内装置に付設する位置関係認識装置の構成図である。 図１７の位置関係認識装置において、手掛り点として選択される対象部及びその一部の例を示す図である。 複数の車載カメラによる視野の重複状態を示す概念図である。

符号の説明

　１　交通機関自動案内装置
　２　入力装置
　３　データベース
　４　比較装置
　５　認識装置
　６　出力装置
　７　判断装置
　８　記憶装置
　９　データ更新装置
１１　自車両
５１　平面展開処理装置
５２　平面画像変換装置
５３　平面画像認識装置
５４　平面画像結合装置
５５　画像内容計測装置
６１　交通情報検出装置
６２　グラフィック化装置
１０１　位置関係認識装置
１０２　画像取得部
１０３　画像一時記録部
１０４　手掛り点自動抽出部
１０５　対応点検出部
１０６　入力装置位置方向計測部
１０７　実測スケール変換部
１０８　対応点三次元計測部
１０９　三次元データ記録部
１１０　三次元データ読み出し部
１１１　対応点比較部
１１２　絶対座標変換部
１１３　座標統合部
１１４　名称属性付加部
１１５　データベース
１１６　表示部
１１７　状況判断部
１１８　自動車両制御部
１１９　複数入力装置画像取得部
１２０　キャリブレーション部
１２１　形状座標属性表示分
１２２　ユーザインターフェース部
１２３　外部通信部

Claims (24)

1. 運行する交通機関の周囲の状況を画像、音声等として取得する入力装置と、その交通機関に関する画像データ、音声データ等を予め格納したデータベースと、前記入力装置によって取得した画像データ、音声データ等を前記データベース内に格納した画像データ、音声データ等と比較する比較装置と、画像データ、音声データ等を比較した結果が一致した場合にそのデータの内容を認識し、特定する認識装置と、前記認識装置によって認識し、特定した結果を運行者等に文字、画像、音声等によって通知する出力装置とから構成される交通機関自動案内装置。
2. 前記入力装置によって取得された対象物に対応する画像データ、音声データ等が前記データベース内に存在しない場合に、その新たな対象物に対応する画像データ、音声データ等を地図上の位置と対応させて前記データベースに新たに格納する記憶装置と、対象物に対応する画像データ、音声データ等が前記データベース内に格納された画像データ、音声データ等と相違する場合に、新しい画像データ、音声データ等に更新して前記データベースに格納するデータ更新装置を有することを特徴とする請求項１に記載の交通機関自動案内装置。
3. 前記認識装置によって認識又は特定された事項に基づいて何等かの判断を行い、前記出力装置によって運行者等に判断結果に基づく指示を文字、画像、音声等で通知する判断装置を有することを特徴とする請求項１又は２に記載の交通機関自動案内装置。
4. 前記判断装置は、前記認識装置によって認識又は特定された事項に基づいて何等かの判断を行い、さらに、その判断結果に基づいて前記出力装置に所定の動作を指示し、制動装置、操縦装置等を自動的に作動させるものであることを特徴とする請求項３に記載の交通機関自動案内装置。
5. 前記交通機関自動案内装置を構成する一又は複数の装置が他の装置と通信回線を介して接続されていることを特徴とする請求項１乃至４に記載の交通機関自動案内装置。
6. 運行する交通機関は自動車等の路面を走行する車両であって、自車両の周囲の状況を画像、音声等として取得する入力装置と、道路標識、道路標示、交通案内板等、自動車等に関する画像データ、音声データ等を予め格納したデータベースと、前記入力装置によって取得した画像データ、音声データ等を前記データベース内に格納した画像データ、音声データ等と比較する比較装置と、画像データ、音声データ等を比較した結果が一致した場合にそのデータの内容を認識し、特定する認識装置と、前記認識装置によって認識し、特定した結果を運転者又は同乗者に文字、画像、音声等によって通知する出力装置とから構成される交通機関自動案内装置。
7. 運行する交通機関は鉄道列車等の軌道を走行する車両であって、自車両の周囲の状況を画像、音声等として取得する入力装置と、軌道敷標識、軌道敷表示、軌道敷案内板等、鉄道車両等に関する画像データ、音声データ等を予め格納したデータベースと、前記入力装置によって取得した画像データ、音声データ等を前記データベース内に格納した画像データ、音声データ等と比較する比較装置と、画像データ、音声データ等を比較した結果が一致した場合にそのデータの内容を認識し、特定する認識装置と、前記認識装置によって認識し、特定した結果を運転者又は同乗者に文字、画像、音声等によって通知する出力装置とから構成される交通機関自動案内装置。
8. 運行する交通機関は船舶、航空機等の軌道のない二次元又は三次元を航行する船体又は機体であって、自体の周囲の状況を画像、音声等として取得する入力装置と、標識、表示、港湾形状、空港形状等、船舶又は航空機等に関する画像データ、音声データ等を予め格納したデータベースと、前記入力装置によって取得した画像データ、音声データ等を前記データベース内に格納した画像データ、音声データ等と比較する比較装置と、画像データ、音声データ等を比較した結果が一致した場合にそのデータの内容を認識し、特定する認識装置と、前記認識装置によって認識し、特定した結果を操縦者又は同乗者に文字、画像、音声等によって通知する出力装置とから構成される交通機関自動案内装置。
9. 前記入力装置によって取得された交通機関の周囲の状況についての遠近法画像データを、遠近感を排除した平面画像データに変換する平面画像変換装置と、前記比較装置によって、変換された平面画像データを前記データベース内に格納してある画像データと比較した結果に基づいて、そのデータの内容を認識し、特定する平面画像認識装置と、から構成される平面展開処理装置を付設したことを特徴とする請求項１乃至８に記載の交通機関自動案内装置。
10. さらに、前記平面画像認識装置によって認識、特定された対象物に関して、種々の空間的物理量を計測する画像内容計測装置と、から構成される平面展開処理装置を付設したことを特徴とする請求項９に記載の交通機関自動案内装置。
11. 前記平面画像変換装置は、前記入力装置によって取得された交通機関の周囲の状況についての３６０度全周囲画像データをも、平面画像データに変換する機能を有することを特徴とする請求項９又は１０に記載の交通機関自動案内装置。
12. 交通機関の周囲の状況を画像データ、計測データ等として取得する交通情報検出装置を交通機関の運行経路に設置して、前記交通情報検出装置によって取得した画像データ、計測データ等を受信できるようにしたことを特徴とする請求項１乃至１１に記載の交通機関自動案内装置。
13. 前記交通情報検出装置は、取得された画像データ、計測データに基づいてコンピュータグラフィック化するグラフィック化装置を有することを特徴とする請求項１２に記載の交通機関自動案内装置。
14. 交通機関に搭載した入力装置によって画像を取得する画像取得部と、取得した画像をある期間記録する画像一時記録部と、画像内に対応点を取るための手掛り点を自動抽出する手掛り点自動抽出部と、距離差のある二以上の画像を取り出し、各画像内の複数の手掛り点の対応点を求める対応点検出部と、検出された複数の対応点から、入力装置の位置及び方向を演算する入力装置位置方向計測部と、求められた入力装置の位置の三次元座標の相対距離を、実測値を用いて絶対距離に変換する実測スケール変換部と、から構成される位置関係認識装置を付設したことを特徴とする請求項１〜１３に記載の交通機関自動案内装置。
15. 前記位置関係認識装置に、複数の手掛り点の各画像内の対応点から複数の手掛り点を三次元計測し、それらと入力装置の位置との関係を三次元座標として求める対応点三次元計測部を付加したことを特徴とする請求項１４に記載の交通機関自動案内装置。
16. 前記位置関係認識装置に、前記対応点三次元計測部によって得られた対応点の三次元座標を記録する三次元データ記録部を付加したことを特徴とする請求項１５に記載の交通機関自動案内装置。
17. 前記位置関係認識装置に、運行して得られた前記三次元データ記録部に蓄積した手掛り点の三次元データを、次回以降の周辺の運行時に、三次元データ記録部から読み出す三次元データ読み出し部と、それらデータと、次回以降の運行時に取得された画像データとを比較して、一致点を求めることによって、交通機関の位置の演算精度を向上させる対応点比較部と、を付加したことを特徴とする請求項１６に記載の交通機関自動案内装置。
18. 前記位置関係認識装置に、絶対座標が既知である対象物を対応点に選択することで、前記入力装置位置方向計測部及び前記対応点三次元計測部で取得した三次元データに絶対座標を与える絶対座標変換部と、ある地域に存在する手掛り点の三次元座標を絶対座標系に統合する座標統合部と、を付加したことを特徴とする請求項１７に記載の交通機関自動案内装置。
19. 前記位置関係認識装置に、手掛り点の名称及び属性を、手掛り点の位置データに対応付けて記録保存し、各手掛り点の属する対象物の名称及び属性を当該手掛り点の座標データに付加する名称属性付加部と、付加された手掛り点の座標、名称、属性を、地図の中に関係付けて書き込み記録保存するデータベースと、を付加したことを特徴と請求項１８に記載の交通機関自動案内装置。
20. 前記位置関係認識装置に、前記各種演算結果を適宜、運行者等に表示して知らせる表示部を付加したことを特徴とする請求項１９に記載の交通機関自動案内装置。
21. 前記位置関係認識装置に、前記各種演算結果により、周囲と運行する交通機関の位置関係から、交通機関の状況を自動判断する状況判断部と、状況判断した結果を用いて、自動的に交通機関の目的にあった操作を自動的に行う自動制御部を付加したことを特徴とする請求項２０に記載の交通機関自動案内装置。
22. 前記位置関係認識装置に、入力装置を複数台設置して画像を取り込み、それぞれの入力装置の視野の一部又は全部を重複させた複数入力装置画像取得部と、単一入力装置による入力装置移動距離による視差から演算される三次元距離計測と複数入力装置による入力装置間視差から演算される三次元距離計測との両方を併用し、複数入力装置の視野重複方式で得られた手掛り点の三次元距離データを基準長として、単一入力装置移動による移動距離視差方式で得られた三次元距離データを較正することによって、絶対距離に変換するキャリブレーション部と、を付加したことを特徴とする請求項２１に記載の交通機関自動案内装置。
23. 前記位置関係認識装置に、手掛り点の属する対象物の三次元形状を、表示画面の中に定義された座標系中の正しい位置に、三次元コンピュータグラフィックスで配置して表現し、必要に応じて名称、属性、他の対象物、自車両をも、その表示画像の中に表示可能とする三次元空間を再現する形状座標属性表示部と、前記表示画像の中に表現された各種対象物を示す三次元コンピュータグラフィックスの画像上を手で触れたり、マウスでクリックする等して、又は、現実画像のみを表示し、表示された現実映像上で、目的の対象物を手で触れたり、マウスでクリックする等して、目的の対象物を指定することで、その対象物の名称、座標、形状、その他関連データ等の属性を表示し、指示した目的の対象物に関連するデータを入力し、指示した目的対象物に対して、各種の操作や行動を指示することができるユーザインターフェース部と、を付加したことを特徴とする請求項２２に記載の交通機関自動案内装置。
24. 前記位置関係認識装置に、通信回線を介して、他の交通機関又は他の通信ポイントと接続され、情報を送受信する外部通信部を付加したことを特徴とする請求項２３記載に記載の交通機関自動案内装置。