JPH03501903A - 遠隔操作の車輌制御 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 遠隔操作の車輌制御 本発明は遠隔操作の車輌制御に関係する。本発明は特に、接続リンクが車輌前方 の地表と障害物の画表示用の情報を伝送する、遠隔操作の車輌を制御する装置に 関係する。

遠隔操作の車輌の一型式は車輌と遠隔配置の操作員との間のケーブル接続を利用 している。このようなケーブルは例えば車輌に取付けたテレビ・カメラからのビ デオ信号を含む操作員用の広帯域の情報を伝送する。しかしながら、ケーブルの 必要上の限定長さが車輌の行動範囲を制限し、かつ機動性も制限しさらに損傷や 破損を受けやすくする。別の方法は高帯域無線リンクを使用することであるが、 これは又操作範囲や駆動される国の型式も制限する。加えて、１台以上の遠隔制 御の車輌を一緒に操作する場合の応用例には適していない。有用であろうビデオ ・データ圧縮の技術は存在するが、必要なセンサ帰還情報を送信可能とするため に、低帯域無線リンクを使用可能とする適切な圧縮比は有していない。

本発明は専用の高帯域無線リンクの必要性を排除した遠隔車輌制御の方法を提供 するよう工夫されている。

本発明によると、遠隔操作の車輌制御装置において、テレビ・カメラを担持する 遠隔制御の車輌を含み、カメラと車輌は無線受信器を有する別の基地局へ無線リ ンクにより接続され、伝送用ビデオ画像は、一部が短時間変動を表わし、他の部 分が長時間変動を表示する別々のデータセットに分割され、２つのデータセット は異なるビデオ・フレーム速度で伝送され、２つの伝送を組合せて前記受信器の ビデオ表示器上に複合画像を与える受信器の装置を含む遠隔操作の車輌制御装置 が提供される。

前記ビデオ・フレーム速度は第２の遅い速度と共に３０１−＋　２の速度を含む 。

伝送用画像情報はビデオ表示部に合成情景を発生するために用いられる全体的に 静止の地勢を選択するよう処理される。選択した画像情報は、縁と隅情報のみが 前記の遅いフレーム速度伝送に用いられるように処理される。

受信した遅いフレーム速度情報はビデオ表示部の画像面への投影用にビデオ・フ レーム速度に変換される。

−例として、本発明の特定の実施例を添附図面を参照して以下に説明するが、そ の中で、 第１図は車輌操作員のＩＩＩ　ｔｌｌｌコンソールを収容する基地局と共に典型 的な情景の遠隔操作車輌を図示する。

第２図は主ＩＩ！制御装置のブロック線図である。

第３図は所要の画像表示を提供するために必要な異なるデータ変換を図示する。

第１図に図示するように、遠隔操作の車輌１が田園の道路に沿って走行している のが図示され、車輌は基地局２に配置された操作員の１ＩｉｌｌｔＩ下にある。

操作員は操作コンソール３に位置しており、これは車輌前方の情景を図示するビ デオ表示を利用している。車輌の１根に配置したテレビ・カメラ４は車輌１の前 方の地表面の画像をコンソール３の受信器へ送信する。無線リンク６は２方向の もので、従ってコンソール３からの詞−信号を用いて車輌を案内できる。画像情 報に加えて、車輌１のセンサからの信号もコンソール３へ送信可能であるため、 ブレーキ効果、操舵運動等の情報もビデオ表示部へ印加可能である。

既述したように、ビデオ画全体を基地局へ送信するには大きなビデオ帯域を必要 とする。応用例のいくつかではこれは受入可能であるが、１台以上の車輌を同時 に操作する必要がある場合、この帯域を減少させることが望ましい。本発明では 、これはビデオ情報の異なる部分を異なるデータ速度で転送することにより実行 される。比較的迅速に変化する基礎の車輌移動情報は通常のビデオ・フレーム速 度で送信される。基礎の３次元情景構造はゆっくりと変化し、遅いフレーム速度 で転送される。これは、送信すべき新たに推論された構造情報を用いていくつか のビデオ・フレームを取ることを意味する。

観察した情景の構造情報を推論するため、各画像は情報処理段により「画像トー クン」に分解される。これらのトークンは特定のビデオ両面フレーム中にある隅 と縁の特徴点の位置を表わし、これらの特徴の識別は「ディジタル・データ処理 」という名称の共願の特願第８８１１２３号に与えられている。

１９８８年７月の遠隔操作とｔｉ制御に関する国際シンポジウム誌の１２３負〜 １３２頁のプリセット・アール・ジエー、チャーンレイ・ディー、ハリス・シー ・ジーによる「受動単眼視によるロボット可動性へ向けて」という論文に説明さ れている「移動からの構造」の適当な応用例が使用されている。次いで現在の位 置と車輌の姿勢に対して対応する情景の特徴の等ＩＡ３次元位四合評価する。次 に眺めた情景を３次元トークンに分解する。この情報を低置ｉｉ！無線リンクを 介して基地局へ送信する。

基地局では、処理回路は受信したトークン・データを基に情景情報の骨格表示を 合成可能である。合成情景は通常のビデオ・フレーム速度（３０Ｈｚ＞で画像面 へ再投影されるという条件で、眺めた情景の移動（ビデオ速ｆ！）表示は低周波 更新（例えば２Ｈｚ）を基に発生可能である。これを達成するためには、車輌移 動パラメータをビデオ速度で基地局へ送信する。この方式は、車輌動力学による 短時間変動を忠実に再生し、テレビ・カメラの視野の全体地勢と物体の展開を低 速度で記録する実時間ビデオ表示が基地局で利用可能となることを保証する。

動的に更新される情景は操作員により監視され、車輌を操縦可能とするセンサ帰 還情報を得るために用いられる。データ圧縮の必要性は、テレビ・カメラにより 記録された実際のグレイ・レベルが再構成不能であるという点で情報の部分的欠 員を生じるが、３次元情報の再構成は車輌前方の地勢の性質と障害物の存在に関 する貴重な別の定量的データを得られる。本方法は面倒で制限の多い中央部の必 要性を除去する利点を提供し、専用の高帯域無線リンクを必要としない。従って 、遠隔操作の車輌の使用性はこれにより増強される。

装置の応用例の利点は以下の異なるビデオ伝送形式のデータ速度要求間の比較か ら明らかとなる。

ビデオ形式　データ速度（Ｋピット／秒）全解像度ディジタル　６００００ 全解像度圧縮＜１０　：　１　’）　６０００低解像度圧縮（１０：　１　）　 １５００全解像度縁画像　約１５００ ２４０シーン・トークンの２ Ｈ２更新加えることの車輌パ ラメータの３０Ｈ２更新　１５．加えるこの約１本過程を実行するのに必要な主 装置制Ｗ装置は第２図に図示されている。この図は、ケーブルにより前段ビデオ ・プロセッサ７ヘアナログ・ビデオ・データを渡すテレビ・カメラ４（ノンイン ターレース走査線方式を使用セルにディジタル化し、このデータをフレーム記憶 部へ保持する。前段プロセッサはディジタル化した各フレームを画像トークンの 抽出リストと関連する属性に分解するよう設計されている。これらのトークンは 局所化した隅及び／又は縁を基にしている。プロセッサ７の設計はＶＭＥバス・ アーキテクチャを基にしており、前述の特願に開示の構造に従っている。

前段プロセッサ７から出るデータは非常に減少したデータ速度（秒当り約１．８ Ｍビット）である。このデータ流は、車輌１に塔載の補助移動及び姿勢センサが らのデータも別に受取る３次元幾何モジュール８へ渡される。

３次元幾何モジュール８はフレームからフレームへの画像トークンを整合させ、 車輌移動パラメータを計算又は利用し、３角測量を用いて対応する情景トークン の３次元位置を評価する。これらの評価は以後のフレームからさらにデータを受 取るにつれて連続的に改善される。モジュール８からの出力は改善された移動パ ラメータ評価と共に、現在テレビ・カメラ４に見える情景トークンの相対的な３ 次元位置の表である。これらの出力は送信器９と低帯域無線リンク６により基地 ８２へ送信される。

移動データは各ビデオ・フレーム毎（３０）−１ｚのフレーム速度）に送信され 、３次元データは低速度（例えば２Ｈｚ＞で送信される。、３次元幾何モジュー ル８のプロセッサは並列処理アーキテクチャを使用している。リンク６を介して のデータ伝送の速度は秒当り約１６にピットである。

基地局２の受信器１１によりデータが受信されると、３次元情景トークンを用い て眺めた情景の３次元面表示を合成する。これは３次元面発生器１２によりなさ れる。

情景トークンの点限定組を得る方法は上述の公開論文に記述されている。最初に 、最新の車輌移動及び姿勢データを利用して３次元トークンを現在の画像面上に 再投影する。次いでドローネ三角測量を投影したトークンを介して画像面上で実 行する。この三角測量は、深さ方向に単価の対応する３次元面が再構成されるこ とを保証する。

次いで面が輪郭（直交垂直面の等間隔組により面の交差部に形成）の直交格子に より可視化される。さらに、操縦に不適な潜在的な障害や領域は３次元面から推 論され、必要に応じて強調される。

次いでこの情報は操作員コンソール３上に動的表示として与えられる。操作員は 遠隔操作制御を用い、表示コンソールを観察することにより車輌を操縦可能であ る。

所要の車輌操舵及びブレーキ指令は車輌１へ送信される。

操作員への３次元情報の提供は車輌前方の地勢の性質を評価可能であり、潜在的 な障害を位置決定し避けうる。

第３図は所要の画像表示を得るために必要な異なるデータ変換を図示する。

テレビ−カメラからの信号は秒当り３０の速度で一連のビデオ・フレーム１４を 発生する。フレームは時間軸に沿って順番に間を置いて表示される。間隔を置い た各ビデオ・フレームから、前段プロセッサは画像トークンの組１７を発生する よう作動する。画像トークンの組は次いで３次元幾何モジュールへ渡されて３次 元情景トークン１８の作製へ向けられる。

車輌１は又例えば車輌速度と姿勢に関する情報を与える補助センサを装備してい る。これらの補助センサからの情報１９は、ｌ１ｊ１様に時間軸に沿って変化す る特性を有する車輌移動ベクトル２１を形成するよう処理される。

車輌移動ベクトル中の情報は秒当り３０フレームの速度で無線リンク６により送 信されて、基地局で受信車輌移動ベクトル２２を形成する。

補助センサからの情報１つは又３次元幾何モジュールへ渡されて３次元情景トー クン１８の作製へ向けられる。

これらのトークン１８は秒当り３０フレームの速度で変動し、生成したデータは 無線リンク６により基地局へ送信される。

秒当り２フレームの速度のサンプルした３次元情景トークン２３と秒当り３０フ レームの受信車輌移動ベクトル２２から構成される基地局で受信した情報は組合 されて一連の投影画像トークン・フレーム２４を与える。これは、最新の車輌移 動及び姿勢データを用いて現在の画像面へ３次元トークンを再投影することによ りなされる。

投影したトークンにより画像面上へドローネ三角測量２６を実行する。この三角 測量は、深さ方向に単価である対応する３次元面を再構成することを保証する。

次いでこの面は輪郭の直交格子により可視化されて秒当り３０フレームの速度で ３次元面輪郭と操縦可能領域を作成する。この輪郭情報２７はビデオ画像上に表 示され、いく分簡略化した地勢図ではあるが、操作員が車輌を操縦可能な図を与 える。

本発明の実施例の以上の説明は単なる１例として与えられ、添附請求の範囲に定 める本発明の範囲から逸脱することなく多数の修正を加えうる。例えば、画像フ レーム・データの変化速度は本実施例に記述した速度、すなわち秒当り３０フレ ームと２フレームから容易に違えることが可能である。車輌位置と姿勢に関係す るデータを与える車輌上の補助センサを使用する代りに、既述の「移動からの構 造」アルゴリズムの使用によるもののようにこの情報を他の方法で得ることも可 能である。

本発明は必ずしも道路車輌の制御に限定される、遠隔マニピュレータのＩＩＩＩ ａ用又は無人航空機の遠隔着陸用のセンサ帰還情報の送信のような他の目的にも 使用可能である。

５ＵＢＳＴｊＴＵＴＥ８Ｈ！ｉ、Ｅｒ 国際調査報告　。ｒＴ／ｎ。９゜／ｎｌ、ｌＧｌｍｍ＊１ｍ＋ｌＡ＋、ｉ＋、＋ ｗｍ、ｅＰＣＴ／ＣＢ８９１０１０１８国際調査報告 ？Ｃτ／ＣＢｅ９１０：０１！ ＳＡ　３）０７５

Claims (6)

【特許請求の範囲】
1. １．遠隔操作の車輛制御装置において、テレビ・カメラを担持する遠隔制御の車 輌を含み、カメラと車輌は無線受信器を有する別の基地局へ無線リンクにより接 続され、伝送用ビデオ画像は、一部が短時間変動を表わし、他の部分が長時間変 動を表示する別々のデータセットに分割され、２つのデータセットは異なるビデ オ・フレーム速度で伝送され、２つの伝送を組合せて前記受信器のビデオ表示器 上に複合画像を与える受信器の装置を含む遠隔操作の車輛制御装置。
2. ２．請求項第１項記載の制御装置において、前記ビデオ・フレーム速度は第２の 遅い速度のものと共に３０Ｈｚの速度を含む制御装置。
3. ３．請求項第１項又は第２項記載の制御装置において、全体的に静止部分を有す る画像部分はビデオ表示部に合成した情景を発生する役割を果たす制御装置。
4. ４．請求項第３項記載の制御装置において、縁及び隅情報のみが前記遅いフレー ム速度伝送に用いられるように選択した画像情報を処理する制御装置。
5. ５．請求項第１項〜第４項記載の制御装置において、受信した遅いフレーム速度 情報はビデオ表示部の画像面へ投影するためにビデオ・フレーム速度に変換され る制御装置。
6. ６．遠隔制御の車輛制御装置において、添附図面を参照して実質的に前述した車 輛制御装置。