JPH10275015A - 移動体の遠隔操作装置 - Google Patents
移動体の遠隔操作装置Info
- Publication number
- JPH10275015A JPH10275015A JP8298802A JP29880296A JPH10275015A JP H10275015 A JPH10275015 A JP H10275015A JP 8298802 A JP8298802 A JP 8298802A JP 29880296 A JP29880296 A JP 29880296A JP H10275015 A JPH10275015 A JP H10275015A
- Authority
- JP
- Japan
- Prior art keywords
- distance image
- time
- image
- distance
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
- G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
- Navigation (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】 （修正有）
【課題】遠隔操作の操作性を向上させる。
【解決手段】移動体から、移動体外部の物体までの距離
及び、移動体の位置変化割合が計測され、一定時間毎に
距離画像とともに監視局に送信される。監視局では、送
信された内容に基づいて、前回の距離画像４０が生成さ
れた時点から所定時間ｔが経過するまでの間の移動体の
移動距離が演算されて、距離画像４０の各画素５０の距
離データを相当量変化させることによって、前回の距離
画像４０が生成された時点から一定時間ｔが経過する途
中の予測距離画像４２が生成される。こうして生成され
た予測距離画像４２を前回の距離画像４０と次に、移動
体１０から送信されてくる距離画像４１との間に挿入表
示する。
及び、移動体の位置変化割合が計測され、一定時間毎に
距離画像とともに監視局に送信される。監視局では、送
信された内容に基づいて、前回の距離画像４０が生成さ
れた時点から所定時間ｔが経過するまでの間の移動体の
移動距離が演算されて、距離画像４０の各画素５０の距
離データを相当量変化させることによって、前回の距離
画像４０が生成された時点から一定時間ｔが経過する途
中の予測距離画像４２が生成される。こうして生成され
た予測距離画像４２を前回の距離画像４０と次に、移動
体１０から送信されてくる距離画像４１との間に挿入表
示する。
Description
【０００１】
【発明の属する技術分野】本発明は、無人ダンプトラッ
ク等の移動体を遠隔操作する遠隔操作装置に関し、特に
移動体前方の走行路面に沿って存在する障害物を検出し
つつ遠隔操作を行う装置に関する。
ク等の移動体を遠隔操作する遠隔操作装置に関し、特に
移動体前方の走行路面に沿って存在する障害物を検出し
つつ遠隔操作を行う装置に関する。
【０００２】
【従来の技術】無人ダンプトラック等の無人の移動体に
おいては、安全性の面等において完全な無人運転は不可
能であることから、移動体前方の走行路面上に存在する
障害物を検出しつつ、その検出された結果を監視局に送
り、オペレータの判断を介在させて監視局より移動体を
遠隔操作することが行われている。
おいては、安全性の面等において完全な無人運転は不可
能であることから、移動体前方の走行路面上に存在する
障害物を検出しつつ、その検出された結果を監視局に送
り、オペレータの判断を介在させて監視局より移動体を
遠隔操作することが行われている。
【０００３】従来の障害物検出装置としては、超音波セ
ンサ、レーザレーダ、ミリ波センサを用いて移動体進行
方向前方の障害物を検出する装置があるが、これらは得
られる情報量が少なく、視野角が狭く、広範囲で障害物
を検出することができないという面がある。そこで、上
記超音波センサ、レーザレーダ、ミリ波センサを用いた
障害物検出装置と比較して、得られる情報量が多く、視
野角が広く広範囲で障害物を検出できるという利点があ
ることから、移動体前方を撮像し、その撮像画像を処理
することにより障害物を検出する装置が使用されるに至
っている。
ンサ、レーザレーダ、ミリ波センサを用いて移動体進行
方向前方の障害物を検出する装置があるが、これらは得
られる情報量が少なく、視野角が狭く、広範囲で障害物
を検出することができないという面がある。そこで、上
記超音波センサ、レーザレーダ、ミリ波センサを用いた
障害物検出装置と比較して、得られる情報量が多く、視
野角が広く広範囲で障害物を検出できるという利点があ
ることから、移動体前方を撮像し、その撮像画像を処理
することにより障害物を検出する装置が使用されるに至
っている。
【０００４】
【発明が解決しようとする課題】操作性の高い遠隔操作
を実現するために、画像情報は非常に有効であり、テレ
ビジョン放送のようにリアルタイムで遠方の連続した画
像情報を、監視局で取得できるのが理想的である。
を実現するために、画像情報は非常に有効であり、テレ
ビジョン放送のようにリアルタイムで遠方の連続した画
像情報を、監視局で取得できるのが理想的である。
【０００５】しかし、建設機械などの移動体を遠隔操作
したり、監視したりする目的のためだけに、大規模な放
送局を移動体に搭載することは、スペース的にもコスト
的にも無理があり、現実的には不可能である。このた
め、スペース的、コスト的に兼ね合いのつく画像送信機
を移動体に搭載して、この画像送信機によって監視局に
画像を送信するようにしている。近年、スペクトラム拡
散通信方式などが採用されている。
したり、監視したりする目的のためだけに、大規模な放
送局を移動体に搭載することは、スペース的にもコスト
的にも無理があり、現実的には不可能である。このた
め、スペース的、コスト的に兼ね合いのつく画像送信機
を移動体に搭載して、この画像送信機によって監視局に
画像を送信するようにしている。近年、スペクトラム拡
散通信方式などが採用されている。
【０００６】しかし、こうした移動体に搭載可能な画像
送信機の画像伝送能力は現状では低く、リアルタイムに
画像を送信するには至っておらず、一秒間に送信できる
画像（フレーム）の数は限られている。このため、オペ
レータは、あたかもコマ送りのような画像を頼りに遠隔
操作せざるを得なく、操作性は著しく損なわれることに
なっていた。
送信機の画像伝送能力は現状では低く、リアルタイムに
画像を送信するには至っておらず、一秒間に送信できる
画像（フレーム）の数は限られている。このため、オペ
レータは、あたかもコマ送りのような画像を頼りに遠隔
操作せざるを得なく、操作性は著しく損なわれることに
なっていた。
【０００７】本発明はこうした実状に鑑みてなされたも
のであり、移動体から監視局に送られてきた前回の画像
とつぎに送信されてくる画像の途中の画像をきわめて高
い精度で予測し、この予測画像を、前回の画像とつぎに
送られてくる画像との間に挿入することで、伝送能力の
低さを補いつつリアルタイムな画像を監視局で表示させ
て、遠隔操作の操作性を飛躍的に向上させることを第１
の目的とするものである。
のであり、移動体から監視局に送られてきた前回の画像
とつぎに送信されてくる画像の途中の画像をきわめて高
い精度で予測し、この予測画像を、前回の画像とつぎに
送られてくる画像との間に挿入することで、伝送能力の
低さを補いつつリアルタイムな画像を監視局で表示させ
て、遠隔操作の操作性を飛躍的に向上させることを第１
の目的とするものである。
【０００８】さらに、移動体から監視局への画像伝送に
は時間を要することから、その伝送遅れ時間分だけ、監
視局で画像が遅れて表示されることになる。
は時間を要することから、その伝送遅れ時間分だけ、監
視局で画像が遅れて表示されることになる。
【０００９】本発明は、この画像伝送の遅れ時間を補償
し、現時点での画像を予測画像として表示させることを
第２の目的とするものである。
し、現時点での画像を予測画像として表示させることを
第２の目的とするものである。
【００１０】また、無人ダンプトラックの遠隔操作性を
向上させるには、走行状況に応じて撮像装置たるカメラ
の視点を自由に変えて、走行状況に応じた視点の画像を
監視局で表示できるようにすることが望ましい。
向上させるには、走行状況に応じて撮像装置たるカメラ
の視点を自由に変えて、走行状況に応じた視点の画像を
監視局で表示できるようにすることが望ましい。
【００１１】また、パワーショベルを遠隔操縦するよう
な場合、カメラ視点を、作業の状況に応じて作業面の横
方向に移動させて、それに応じた画像を表示させること
ができれば、のり面作業などの作業性の向上が期待でき
る。
な場合、カメラ視点を、作業の状況に応じて作業面の横
方向に移動させて、それに応じた画像を表示させること
ができれば、のり面作業などの作業性の向上が期待でき
る。
【００１２】しかし、カメラは通常一定箇所に固定され
ており、カメラの位置を動かすことによって自由な視点
の画像を表示させるのは、複雑な機構を設けるなどする
必要もあって実現が困難なことが多い。
ており、カメラの位置を動かすことによって自由な視点
の画像を表示させるのは、複雑な機構を設けるなどする
必要もあって実現が困難なことが多い。
【００１３】本発明は、複雑な機構を設けることなく簡
単な処理のみで、所望の視点の画像を表示できるように
することを第３の目的とするものである。
単な処理のみで、所望の視点の画像を表示できるように
することを第３の目的とするものである。
【００１４】
【課題を解決するための手段および効果】そこで、第１
の目的を達成するために、本発明の第１発明の主たる発
明では、移動体に搭載され、当該移動体の外部を撮像す
る撮像装置の撮像画像を、一定時間毎に監視局に送信
し、当該監視局で受信された撮像画像に基づいて移動体
を遠隔操作するようにした移動体の遠隔操作装置におい
て、前記撮像装置として、基準位置から、移動体外部の
物体までの距離を計測し、当該物体の距離画像を生成す
る距離画像生成手段を設けるとともに、前記移動体に、
当該移動体の位置変化を計測する計測手段と、この計測
手段の計測結果を前記監視局に送信する送信手段とを設
け、さらに、前記監視局に、前記計測手段の計測結果に
基づいて、前記距離画像生成手段で前回の距離画像が生
成された時点から前記一定時間よりも小さい所定時間が
経過するまでの間の移動体の移動距離を演算する演算手
段と、前記演算手段の演算結果に基づいて、前記距離画
像の各画素の距離データを、前記移動距離だけ変化させ
ることによって、前回の距離画像が生成された時点から
前記一定時間が経過する途中の予測距離画像を生成する
予測距離画像生成手段と、前記予測距離画像生成手段で
生成された予測距離画像を、前回の距離画像と次に、移
動体から送信されてくる距離画像との間に挿入して表示
する表示手段とを設けるようにしている。
の目的を達成するために、本発明の第１発明の主たる発
明では、移動体に搭載され、当該移動体の外部を撮像す
る撮像装置の撮像画像を、一定時間毎に監視局に送信
し、当該監視局で受信された撮像画像に基づいて移動体
を遠隔操作するようにした移動体の遠隔操作装置におい
て、前記撮像装置として、基準位置から、移動体外部の
物体までの距離を計測し、当該物体の距離画像を生成す
る距離画像生成手段を設けるとともに、前記移動体に、
当該移動体の位置変化を計測する計測手段と、この計測
手段の計測結果を前記監視局に送信する送信手段とを設
け、さらに、前記監視局に、前記計測手段の計測結果に
基づいて、前記距離画像生成手段で前回の距離画像が生
成された時点から前記一定時間よりも小さい所定時間が
経過するまでの間の移動体の移動距離を演算する演算手
段と、前記演算手段の演算結果に基づいて、前記距離画
像の各画素の距離データを、前記移動距離だけ変化させ
ることによって、前回の距離画像が生成された時点から
前記一定時間が経過する途中の予測距離画像を生成する
予測距離画像生成手段と、前記予測距離画像生成手段で
生成された予測距離画像を、前回の距離画像と次に、移
動体から送信されてくる距離画像との間に挿入して表示
する表示手段とを設けるようにしている。
【００１５】すなわち、この発明の構成によれば、図
１、図３、図４、図５に示すように、移動体１０の基準
位置から、移動体１０外部の物体までの距離が計測さ
れ、当該物体の距離画像４０が生成される。また、移動
体１０の位置変化Ｖが計測される。これらが監視局２０
に送信される。
１、図３、図４、図５に示すように、移動体１０の基準
位置から、移動体１０外部の物体までの距離が計測さ
れ、当該物体の距離画像４０が生成される。また、移動
体１０の位置変化Ｖが計測される。これらが監視局２０
に送信される。
【００１６】監視局２０では、送信された内容に基づい
て、前回の距離画像４０が生成された時点から一定時間
Δｔよりも小さい所定時間ｔが経過するまでの間の移動
体１０の移動距離Ｌ1＝Ｖ・ｔが演算される。そして、
距離画像４０の各画素５０の距離データｄを、移動距離
Ｌ1だけ変化（ｄ−Ｌ1）させることによって、前回の距
離画像４０が生成された時点から一定時間Δｔが経過す
る途中の予測距離画像４２（４３、４４、４５、４６）
が生成される。こうして生成された予測距離画像４２
（４３、４４、４５、４６）が、前回の距離画像４０と
次に、移動体１０から送信されてくる距離画像４１との
間に挿入されて表示される。
て、前回の距離画像４０が生成された時点から一定時間
Δｔよりも小さい所定時間ｔが経過するまでの間の移動
体１０の移動距離Ｌ1＝Ｖ・ｔが演算される。そして、
距離画像４０の各画素５０の距離データｄを、移動距離
Ｌ1だけ変化（ｄ−Ｌ1）させることによって、前回の距
離画像４０が生成された時点から一定時間Δｔが経過す
る途中の予測距離画像４２（４３、４４、４５、４６）
が生成される。こうして生成された予測距離画像４２
（４３、４４、４５、４６）が、前回の距離画像４０と
次に、移動体１０から送信されてくる距離画像４１との
間に挿入されて表示される。
【００１７】また、本発明の第１発明の別の発明によれ
ば、移動体１０の各方向の位置・姿勢変化を示す情報を
利用することによって、図７、図８に示すように、上記
所定時間ｔが経過した時点における車体座標系Ｘ−Ｙ−
Ｚの距離画像６０の各画素５０の３次元座標位置が求め
られ、この３次元座標位置に基づき予測距離画像６２が
生成される。
ば、移動体１０の各方向の位置・姿勢変化を示す情報を
利用することによって、図７、図８に示すように、上記
所定時間ｔが経過した時点における車体座標系Ｘ−Ｙ−
Ｚの距離画像６０の各画素５０の３次元座標位置が求め
られ、この３次元座標位置に基づき予測距離画像６２が
生成される。
【００１８】以上のように本発明によれば、移動体の移
動情報に基づき前回の距離画像の画素の距離データない
しは３次元座標位置を、移動情報に応じた分だけ変化さ
せる画像処理が施されることによって、前回の距離画像
（最新の距離画像）とつぎに送信される距離画像の途中
の予測距離画像がきわめて正確に、しかも高速に生成さ
れる。こうして生成された予測距離画像が、前回の距離
画像とつぎに送信されてくる距離画像との間に挿入され
ることで、画像の伝送能力の低さが補われつつリアルタ
イムな画像（たとえばビデオレート、３０フレーム/
秒）が監視局で表示される。このリアルタイムな画像に
基づき遠隔操作することで遠隔操作性が飛躍的に向上す
る。
動情報に基づき前回の距離画像の画素の距離データない
しは３次元座標位置を、移動情報に応じた分だけ変化さ
せる画像処理が施されることによって、前回の距離画像
（最新の距離画像）とつぎに送信される距離画像の途中
の予測距離画像がきわめて正確に、しかも高速に生成さ
れる。こうして生成された予測距離画像が、前回の距離
画像とつぎに送信されてくる距離画像との間に挿入され
ることで、画像の伝送能力の低さが補われつつリアルタ
イムな画像（たとえばビデオレート、３０フレーム/
秒）が監視局で表示される。このリアルタイムな画像に
基づき遠隔操作することで遠隔操作性が飛躍的に向上す
る。
【００１９】また、第２の目的を達成するために、本発
明の第２発明では、上記第１発明の構成において、図
１、図１０に示すように、移動体１０から監視局２０に
距離画像６０を送信するに要する送信遅延時間をＴdと
し、前回の距離画像６０が生成された時刻をｔ1とした
とき、送信遅延時間Ｔdを見込んだ時刻ｔ1から時間ｔだ
け経過した時刻ｔ1＋ｔにおける予測距離画像６２（６
３、６４、６５）を生成しておき、前回の距離画像６０
が監視局２０の表示手段２３で時刻ｔ1＋Ｔdにおいて表
示されてから時間ｔ−Ｔd経過した時点で時刻ｔ1＋ｔに
おける予測距離画像６２を表示するようにしている。
明の第２発明では、上記第１発明の構成において、図
１、図１０に示すように、移動体１０から監視局２０に
距離画像６０を送信するに要する送信遅延時間をＴdと
し、前回の距離画像６０が生成された時刻をｔ1とした
とき、送信遅延時間Ｔdを見込んだ時刻ｔ1から時間ｔだ
け経過した時刻ｔ1＋ｔにおける予測距離画像６２（６
３、６４、６５）を生成しておき、前回の距離画像６０
が監視局２０の表示手段２３で時刻ｔ1＋Ｔdにおいて表
示されてから時間ｔ−Ｔd経過した時点で時刻ｔ1＋ｔに
おける予測距離画像６２を表示するようにしている。
【００２０】このように、移動体１０から監視局２０へ
の画像伝送の遅れ時間が補償され、現時点ｔ1＋ｔでの
画像を予測距離画像６２（６３、６４、６５）として表
示させることができる。
の画像伝送の遅れ時間が補償され、現時点ｔ1＋ｔでの
画像を予測距離画像６２（６３、６４、６５）として表
示させることができる。
【００２１】また、第３の目的を達成するために、本発
明の第２発明では、上記第１発明の別の発明において、
車体座標系Ｘ−Ｙ−Ｚの原点位置を、所定座標軸方向に
所定量だけ変化させる処理（たとえば、鉛直Ｙ軸方向に
Ｈだけ変化させる）を行うことによって、表示手段２３
に表示される距離画像の視点を上方にＨ0け移動させる
ようにしている。
明の第２発明では、上記第１発明の別の発明において、
車体座標系Ｘ−Ｙ−Ｚの原点位置を、所定座標軸方向に
所定量だけ変化させる処理（たとえば、鉛直Ｙ軸方向に
Ｈだけ変化させる）を行うことによって、表示手段２３
に表示される距離画像の視点を上方にＨ0け移動させる
ようにしている。
【００２２】このようにカメラの位置を動かすための複
雑な機構を設けることなく簡単な処理のみで、所望の視
点の画像を表示することができるようになる。
雑な機構を設けることなく簡単な処理のみで、所望の視
点の画像を表示することができるようになる。
【００２３】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。
施の形態について説明する。
【００２４】本実施の形態では、図４に示すように無人
ダンプトラック等の移動体１０が走行路３１を走行する
場合に、その前方にみえる木３２、家３３、他の車両３
４等からなる距離画像を生成し、この距離画像に基づき
監視局のオペレータが障害物の存在等を判断すること
で、移動体１０の走行が遠隔操作される場合を想定して
いる。
ダンプトラック等の移動体１０が走行路３１を走行する
場合に、その前方にみえる木３２、家３３、他の車両３
４等からなる距離画像を生成し、この距離画像に基づき
監視局のオペレータが障害物の存在等を判断すること
で、移動体１０の走行が遠隔操作される場合を想定して
いる。
【００２５】なお、本発明としては、遠隔操作の内容は
任意であり、移動体の走行を遠隔操作する場合だけでな
く、所定の作業機で所定の作業をしながら走行する移動
体を遠隔操作する場合にも適用可能である。たとえば、
パワーショベルで対象物を掘削する場合に、本発明を適
用すれば、移動中や移動後の掘削対象物までの距離、そ
の形状といった情報をリアルタイムに得ることができる
ので、作業機用操作レバーの遠隔操縦性を飛躍的に高め
ることができる。
任意であり、移動体の走行を遠隔操作する場合だけでな
く、所定の作業機で所定の作業をしながら走行する移動
体を遠隔操作する場合にも適用可能である。たとえば、
パワーショベルで対象物を掘削する場合に、本発明を適
用すれば、移動中や移動後の掘削対象物までの距離、そ
の形状といった情報をリアルタイムに得ることができる
ので、作業機用操作レバーの遠隔操縦性を飛躍的に高め
ることができる。
【００２６】図６において、Ｘ−Ｙ−Ｚは、移動体１０
とともに移動する車体座標系を示している。Ｘは移動体
１０の車幅方向に対応する座標軸であり、Ｚは移動体１
０の進行方向（走行路３１）に対応する座標軸であり、
Ｙは鉛直方向の座標軸である。
とともに移動する車体座標系を示している。Ｘは移動体
１０の車幅方向に対応する座標軸であり、Ｚは移動体１
０の進行方向（走行路３１）に対応する座標軸であり、
Ｙは鉛直方向の座標軸である。
【００２７】図１は、本発明の実施形態である移動体の
遠隔操作装置の構成を示している。
遠隔操作装置の構成を示している。
【００２８】同図１に示すように、この遠隔装置は、大
きくは移動体１０に搭載される車上装置と、監視局２０
とからなっている。
きくは移動体１０に搭載される車上装置と、監視局２０
とからなっている。
【００２９】移動体１０の車上装置は、移動体１０搭載
のカメラの撮像結果に基づき、移動体１０上の基準位置
（基準面）から、その移動体１０の進行方向前方の各物
体までの距離を計測し、基準位置からの距離を示す距離
データｄおよび２次元座標位置データ（ｉ、ｊ）が各画
素に対応付けられた３次元の距離画像を生成する距離画
像生成部１１と、この距離画像生成部１１で生成された
距離画像を、一定時間Δｔ毎に監視局２０にアンテナ１
５を介して無線にて送信する画像送信機１３と、移動体
１０の内界センサで構成され、移動体１０の位置変化な
いしは各方向の位置・姿勢変化を計測する計測部１２
と、この計測部１２の計測結果をアンテナ１６を介して
監視局２０に無線にて送信するセンサ信号送信機１４と
から構成されている。
のカメラの撮像結果に基づき、移動体１０上の基準位置
（基準面）から、その移動体１０の進行方向前方の各物
体までの距離を計測し、基準位置からの距離を示す距離
データｄおよび２次元座標位置データ（ｉ、ｊ）が各画
素に対応付けられた３次元の距離画像を生成する距離画
像生成部１１と、この距離画像生成部１１で生成された
距離画像を、一定時間Δｔ毎に監視局２０にアンテナ１
５を介して無線にて送信する画像送信機１３と、移動体
１０の内界センサで構成され、移動体１０の位置変化な
いしは各方向の位置・姿勢変化を計測する計測部１２
と、この計測部１２の計測結果をアンテナ１６を介して
監視局２０に無線にて送信するセンサ信号送信機１４と
から構成されている。
【００３０】一方、監視局２０は、移動体１０の車上装
置から送信された距離画像およびセンサ信号をアンテナ
２４を介して受信し、受信内容に基づいて、前回の距離
画像が生成された時刻ｔ1から上記距離画像の送信の間
隔である一定時間Δｔよりも小さい所定時間ｔが経過す
るまでの間に移動体１０が移動することによって、前回
の距離画像の各画素が上記距離データｄとして示される
距離方向に変化する移動距離Ｌ1を演算する処理を行う
か、あるいは前回の距離画像が生成された時刻ｔ1にお
ける車体座標系Ｘ−Ｙ−Ｚを、当該時刻ｔ1から一定時
間Δｔよりも小さい所定時間ｔが経過した時刻ｔ1＋ｔ
における車体座標系Ｘ−Ｙ−Ｚに変換し、この所定時間
ｔが経過した時刻ｔ1＋ｔの車体座標系Ｘ−Ｙ−Ｚにお
ける前回の距離画像の各画素の３次元座標位置を演算す
る処理を行う演算部２１と、この演算結果に基づいて、
距離画像の各画素の距離データｄを、上記移動距離Ｌ1
だけ変化させることによって、前回の距離画像が生成さ
れた時刻ｔ1から画像送信間隔Δｔが経過する途中の時
刻ｔ1＋ｔにおける予測距離画像を生成するか、あるい
は、時刻ｔ1＋ｔの車体座標系Ｘ−Ｙ−Ｚにおける前回
の距離画像の各画素の３次元座標位置に基づいて前回の
距離画像が生成された時刻ｔ1から画像送信間隔Δｔが
経過する途中の時刻ｔ1＋ｔにおける予測距離画像を生
成する予測距離画像生成部２２と、この生成された予測
距離画像を、前回の距離画像と次に、移動体１０から送
信されてくる距離画像との間に挿入して表示するＣＲＴ
ディスプレイ等からなる表示部２３とから構成されてい
る。
置から送信された距離画像およびセンサ信号をアンテナ
２４を介して受信し、受信内容に基づいて、前回の距離
画像が生成された時刻ｔ1から上記距離画像の送信の間
隔である一定時間Δｔよりも小さい所定時間ｔが経過す
るまでの間に移動体１０が移動することによって、前回
の距離画像の各画素が上記距離データｄとして示される
距離方向に変化する移動距離Ｌ1を演算する処理を行う
か、あるいは前回の距離画像が生成された時刻ｔ1にお
ける車体座標系Ｘ−Ｙ−Ｚを、当該時刻ｔ1から一定時
間Δｔよりも小さい所定時間ｔが経過した時刻ｔ1＋ｔ
における車体座標系Ｘ−Ｙ−Ｚに変換し、この所定時間
ｔが経過した時刻ｔ1＋ｔの車体座標系Ｘ−Ｙ−Ｚにお
ける前回の距離画像の各画素の３次元座標位置を演算す
る処理を行う演算部２１と、この演算結果に基づいて、
距離画像の各画素の距離データｄを、上記移動距離Ｌ1
だけ変化させることによって、前回の距離画像が生成さ
れた時刻ｔ1から画像送信間隔Δｔが経過する途中の時
刻ｔ1＋ｔにおける予測距離画像を生成するか、あるい
は、時刻ｔ1＋ｔの車体座標系Ｘ−Ｙ−Ｚにおける前回
の距離画像の各画素の３次元座標位置に基づいて前回の
距離画像が生成された時刻ｔ1から画像送信間隔Δｔが
経過する途中の時刻ｔ1＋ｔにおける予測距離画像を生
成する予測距離画像生成部２２と、この生成された予測
距離画像を、前回の距離画像と次に、移動体１０から送
信されてくる距離画像との間に挿入して表示するＣＲＴ
ディスプレイ等からなる表示部２３とから構成されてい
る。
【００３１】監視局２０では、表示部２３に表示された
距離画像に基づき、あるいは距離画像を更に画像処理し
たものに基づき、移動体１０前方に存在する障害物の有
無等がオペレータによって判断され、駆動制御信号がア
ンテナ２４を介して送信されることによって移動体１０
が遠隔操作され、移動体１０の走行が駆動制御される。
距離画像に基づき、あるいは距離画像を更に画像処理し
たものに基づき、移動体１０前方に存在する障害物の有
無等がオペレータによって判断され、駆動制御信号がア
ンテナ２４を介して送信されることによって移動体１０
が遠隔操作され、移動体１０の走行が駆動制御される。
【００３２】ここで、計測部１２は、移動体１０の速度
Ｖを検出する速度センサで構成することができる。
Ｖを検出する速度センサで構成することができる。
【００３３】また、別の実施形態では、計測部１２は、
ＧＰＳ（グローバル・ポジショニング・センサ）などの
移動体１０の３次元位置を検出する位置センサあるいは
移動体１０の３次元速度を検出する速度センサと、ジャ
イロなどの角速度センサ等で構成することができる。た
とえば、移動体１０の車体のヨー方向のヨーイング角度
を検出するヨーレイトジャイロと、車体のピッチング角
とローリング角を検出する２つの傾斜計とから構成する
ことができ、これら検出結果に基づき、図６に示すよう
に、時刻ｔ1における車体座標系Ｘ−Ｙ−Ｚの座標軸に
対する時刻ｔ1から時間ｔだけ経過した時刻ｔ1＋ｔにお
ける車体座標系Ｘ−Ｙ−Ｚの座標軸の回転角を表す車体
の回転角（ＲＸ0、ＲＹ0、ＲＺ0）が出力される。時刻
ｔ1における車体座標系Ｘ−Ｙ−Ｚでみた時刻ｔ1＋ｔに
おける車体座標系Ｘ−Ｙ−Ｚの原点位置（Ｖx・ｔ、Ｖy
・ｔ、Ｖz・ｔ）は、時刻ｔ1＋ｔにおける速度センサの
出力Ｖ（Ｖx、Ｖy、Ｖz）から求めることができる。ま
た、ＧＰＳなどの位置センサの出力として取得すること
ができる。
ＧＰＳ（グローバル・ポジショニング・センサ）などの
移動体１０の３次元位置を検出する位置センサあるいは
移動体１０の３次元速度を検出する速度センサと、ジャ
イロなどの角速度センサ等で構成することができる。た
とえば、移動体１０の車体のヨー方向のヨーイング角度
を検出するヨーレイトジャイロと、車体のピッチング角
とローリング角を検出する２つの傾斜計とから構成する
ことができ、これら検出結果に基づき、図６に示すよう
に、時刻ｔ1における車体座標系Ｘ−Ｙ−Ｚの座標軸に
対する時刻ｔ1から時間ｔだけ経過した時刻ｔ1＋ｔにお
ける車体座標系Ｘ−Ｙ−Ｚの座標軸の回転角を表す車体
の回転角（ＲＸ0、ＲＹ0、ＲＺ0）が出力される。時刻
ｔ1における車体座標系Ｘ−Ｙ−Ｚでみた時刻ｔ1＋ｔに
おける車体座標系Ｘ−Ｙ−Ｚの原点位置（Ｖx・ｔ、Ｖy
・ｔ、Ｖz・ｔ）は、時刻ｔ1＋ｔにおける速度センサの
出力Ｖ（Ｖx、Ｖy、Ｖz）から求めることができる。ま
た、ＧＰＳなどの位置センサの出力として取得すること
ができる。
【００３４】距離画像生成部１１では、例えば図５
（ａ）に示すような走行路面３１と、この走行路面３１
に沿って存在する木３２、家３３、他の車両３４からな
る距離画像４０が生成される。距離画像４０の各画素５
０には、ｉ−ｊ２次元座標系における２次元座標位置
（ｉ、ｊ）、移動体１０の基準位置（基準面）からの距
離ｄを示す３次元のデータ（ｉ、ｊ、ｄ）が対応づけら
れており、距離画像４０の各位置ｉ、ｊの画素は、距離
ｄに応じた明度を有している。画素５０の明度は、距離
ｄが小さいほど大きく、明るくなる（画面では白くな
る）。こうした３次元の距離画像を生成するための距離
計測の方法としては、例えば特願平７−２００９９９号
に示される多眼レンズ（多眼カメラ）を使用した方法を
用いることができる。
（ａ）に示すような走行路面３１と、この走行路面３１
に沿って存在する木３２、家３３、他の車両３４からな
る距離画像４０が生成される。距離画像４０の各画素５
０には、ｉ−ｊ２次元座標系における２次元座標位置
（ｉ、ｊ）、移動体１０の基準位置（基準面）からの距
離ｄを示す３次元のデータ（ｉ、ｊ、ｄ）が対応づけら
れており、距離画像４０の各位置ｉ、ｊの画素は、距離
ｄに応じた明度を有している。画素５０の明度は、距離
ｄが小さいほど大きく、明るくなる（画面では白くな
る）。こうした３次元の距離画像を生成するための距離
計測の方法としては、例えば特願平７−２００９９９号
に示される多眼レンズ（多眼カメラ）を使用した方法を
用いることができる。
【００３５】以下、監視局２０の演算部２１、予測距離
画像生成部２２で行われる処理について、図２のフロー
チャートを参照して説明する。
画像生成部２２で行われる処理について、図２のフロー
チャートを参照して説明する。
【００３６】・第１の実施形態 この実施形態では、図４に示すように、移動体１０が直
線路である走行路３１を直進している場合を想定する。
特に、直進走行している場合に好適であり、簡易な構成
により簡易な処理で予測距離画像を生成することができ
る実施形態である。この実施形態では、計測部１２は、
速度センサのみで構成することができる。
線路である走行路３１を直進している場合を想定する。
特に、直進走行している場合に好適であり、簡易な構成
により簡易な処理で予測距離画像を生成することができ
る実施形態である。この実施形態では、計測部１２は、
速度センサのみで構成することができる。
【００３７】図５に示すように、監視局２０には、時刻
ｔ1で距離画像４０（前回の距離画像という）が受信さ
れる。なお、この時刻ｔ1からΔｔだけ時間が経過した
時刻ｔ2で、つぎの距離画像４１が受信される（ステッ
プ１０１：図５（ａ）、（ｂ）参照）。
ｔ1で距離画像４０（前回の距離画像という）が受信さ
れる。なお、この時刻ｔ1からΔｔだけ時間が経過した
時刻ｔ2で、つぎの距離画像４１が受信される（ステッ
プ１０１：図５（ａ）、（ｂ）参照）。
【００３８】つぎに、受信されたセンサ信号、つまり速
度センサの出力Ｖに基づいて、前回の距離画像４０が生
成された時点から所定時間ｔ（＜Δｔ）が経過するまで
の間の移動体１０の移動距離Ｌ1が下式によって演算さ
れる。
度センサの出力Ｖに基づいて、前回の距離画像４０が生
成された時点から所定時間ｔ（＜Δｔ）が経過するまで
の間の移動体１０の移動距離Ｌ1が下式によって演算さ
れる。
【００３９】Ｌ1＝Ｖ・ｔ …（５） （ステップ１０２） 前回の距離画像４０から時間ｔだけ経過したときの距離
画像は、前回の距離画像４０と比較して全体として上記
移動距離Ｌ1だけ近づいているはずである。そこで、前
回の距離画像４０の画素５０の距離データｄから、上記
演算移動距離Ｌ1だけ減算する処理がなされ、画素５０
の距離データがｄからｄ−Ｌ1へと変化される。この減
算処理は全画素について行われる。なお、距離データが
負の値に変化する場合には、距離データを０に設定すれ
ばよい。この結果、図５（ｃ）に示すように、前回の距
離画像４０が生成された時刻ｔ1から画像送信間隔Δｔ
が経過する途中の時刻ｔ1＋ｔにおける予測距離画像４
２が生成される（ステップ１０３）。
画像は、前回の距離画像４０と比較して全体として上記
移動距離Ｌ1だけ近づいているはずである。そこで、前
回の距離画像４０の画素５０の距離データｄから、上記
演算移動距離Ｌ1だけ減算する処理がなされ、画素５０
の距離データがｄからｄ−Ｌ1へと変化される。この減
算処理は全画素について行われる。なお、距離データが
負の値に変化する場合には、距離データを０に設定すれ
ばよい。この結果、図５（ｃ）に示すように、前回の距
離画像４０が生成された時刻ｔ1から画像送信間隔Δｔ
が経過する途中の時刻ｔ1＋ｔにおける予測距離画像４
２が生成される（ステップ１０３）。
【００４０】上記予測距離画像４２は１フレームだけで
はなく、時間ｔを異ならせて２フレーム以上を、予測距
離画像４２、４３、４４…として生成してもよい。
はなく、時間ｔを異ならせて２フレーム以上を、予測距
離画像４２、４３、４４…として生成してもよい。
【００４１】こうして生成された予測距離画像、たとえ
ば５フレームからなる予測距離画像４２、４３、４４、
４５、４６が、図３に示すように、前回の距離画像４０
と次に、移動体１０から送信されてくる距離画像４１と
の間に挿入されて表示部２３に表示される。
ば５フレームからなる予測距離画像４２、４３、４４、
４５、４６が、図３に示すように、前回の距離画像４０
と次に、移動体１０から送信されてくる距離画像４１と
の間に挿入されて表示部２３に表示される。
【００４２】この結果、表示部２３に、たとえばビデオ
レート、３０フレーム/秒のリアルタイムな画像が表示
され、画像の伝送能力の低さ（Δｔ間隔の画像伝送）を
十分補うことができる。そして、このリアルタイムな画
像に基づきオペレータが遠隔操作することで、移動体１
０の遠隔操作性が飛躍的に向上することになる。
レート、３０フレーム/秒のリアルタイムな画像が表示
され、画像の伝送能力の低さ（Δｔ間隔の画像伝送）を
十分補うことができる。そして、このリアルタイムな画
像に基づきオペレータが遠隔操作することで、移動体１
０の遠隔操作性が飛躍的に向上することになる。
【００４３】・第２の実施形態 この実施形態では、図７に示すように、移動体１０がカ
ーブ路である走行路３１を走行している場合を想定す
る。
ーブ路である走行路３１を走行している場合を想定す
る。
【００４４】この実施形態では、計測部１２は、速度セ
ンサ（あるいは位置センサ）および角速度センサ等の各
方向の位置変化および各方向の姿勢変化を検出するセン
サで構成される。以下、図９に示すフローチャートを参
照して説明する。
ンサ（あるいは位置センサ）および角速度センサ等の各
方向の位置変化および各方向の姿勢変化を検出するセン
サで構成される。以下、図９に示すフローチャートを参
照して説明する。
【００４５】図８に示すように、監視局２０には、時刻
ｔ1で距離画像６０が受信される。なお、この時刻ｔ1か
らΔｔだけ時間が経過した時刻ｔ2で、つぎの距離画像
６１が受信される（ステップ２０１：図８（ａ）、
（ｂ）参照）。
ｔ1で距離画像６０が受信される。なお、この時刻ｔ1か
らΔｔだけ時間が経過した時刻ｔ2で、つぎの距離画像
６１が受信される（ステップ２０１：図８（ａ）、
（ｂ）参照）。
【００４６】以下、受信されたセンサ信号に基づいて、
前回の距離画像６０が生成された時刻ｔ1における車体
座標系Ｘ−Ｙ−Ｚを、当該時刻ｔ1から所定時間ｔが経
過した時刻ｔ1＋ｔにおける車体座標系Ｘ−Ｙ−Ｚに変
換し、この所定時間ｔが経過した時刻ｔ1＋ｔの車体座
標系Ｘ−Ｙ−Ｚにおける前回の距離画像６０の各画素の
３次元座標位置を演算し、この時刻ｔ1＋ｔの車体座標
系Ｘ−Ｙ−Ｚにおける前回の距離画像６０の各画素の３
次元座標位置に基づいて、前回の距離画像６０が生成さ
れた時刻ｔ1から画像送信間隔Δｔが経過する途中の時
刻ｔ1＋ｔにおける予測距離画像６２を生成する処理が
実行される。
前回の距離画像６０が生成された時刻ｔ1における車体
座標系Ｘ−Ｙ−Ｚを、当該時刻ｔ1から所定時間ｔが経
過した時刻ｔ1＋ｔにおける車体座標系Ｘ−Ｙ−Ｚに変
換し、この所定時間ｔが経過した時刻ｔ1＋ｔの車体座
標系Ｘ−Ｙ−Ｚにおける前回の距離画像６０の各画素の
３次元座標位置を演算し、この時刻ｔ1＋ｔの車体座標
系Ｘ−Ｙ−Ｚにおける前回の距離画像６０の各画素の３
次元座標位置に基づいて、前回の距離画像６０が生成さ
れた時刻ｔ1から画像送信間隔Δｔが経過する途中の時
刻ｔ1＋ｔにおける予測距離画像６２を生成する処理が
実行される。
【００４７】まず、距離画像６０の各画素５０には、上
述したように（ｉ、ｊ、ｄ）の３次元の情報が対応づけ
られているので、この距離画像データ（ｉ、ｊ、ｄ）で
示される各画素５０を、図６、図７に示すように、移動
体１０とともに移動し、移動体１０の所定位置を原点と
する車体座標系Ｘ−Ｙ−Ｚ上の３次元座標位置データ
（Ｘ、Ｙ、Ｚ）に対応づけられた各画素に変換すること
ができる。この結果、距離画像６０の各画素５０（図６
のＰ点）は、時刻ｔ1における車体座標系Ｘ−Ｙ−Ｚ上
の３次元座標位置（ＸP（ｔ1）、ＹＰ（ｔ1）、ＺＰ
（ｔ1））で表される（ステップ２０２）。
述したように（ｉ、ｊ、ｄ）の３次元の情報が対応づけ
られているので、この距離画像データ（ｉ、ｊ、ｄ）で
示される各画素５０を、図６、図７に示すように、移動
体１０とともに移動し、移動体１０の所定位置を原点と
する車体座標系Ｘ−Ｙ−Ｚ上の３次元座標位置データ
（Ｘ、Ｙ、Ｚ）に対応づけられた各画素に変換すること
ができる。この結果、距離画像６０の各画素５０（図６
のＰ点）は、時刻ｔ1における車体座標系Ｘ−Ｙ−Ｚ上
の３次元座標位置（ＸP（ｔ1）、ＹＰ（ｔ1）、ＺＰ
（ｔ1））で表される（ステップ２０２）。
【００４８】さらに、受信されたセンサ信号に基づい
て、上述した時刻ｔ1から時刻ｔ1＋ｔまでの間の車体の
回転角（ＲＸ0、ＲＹ0、ＲＺ0）、時刻ｔ1における車体
座標系からみた時刻ｔ1＋ｔにおける車体座標系Ｘ−Ｙ
−Ｚの原点位置（Ｖx・ｔ、Ｖy・ｔ、Ｖz・ｔ）が求め
られる。この時刻ｔ1から時刻ｔ1＋ｔの間の位置の変化
量（Ｖx・ｔ、Ｖy・ｔ、Ｖz・ｔ）は、時刻ｔ1＋ｔにお
ける速度センサの出力Ｖ（Ｖx、Ｖy、Ｖz）に基づく演
算によって求めてもよく、ＧＰＳなどの位置センサから
出力される時刻ｔ1での位置と時刻ｔ1＋ｔでの位置とに
基づき求めるようにしてもよい（ステップ２０３）。
て、上述した時刻ｔ1から時刻ｔ1＋ｔまでの間の車体の
回転角（ＲＸ0、ＲＹ0、ＲＺ0）、時刻ｔ1における車体
座標系からみた時刻ｔ1＋ｔにおける車体座標系Ｘ−Ｙ
−Ｚの原点位置（Ｖx・ｔ、Ｖy・ｔ、Ｖz・ｔ）が求め
られる。この時刻ｔ1から時刻ｔ1＋ｔの間の位置の変化
量（Ｖx・ｔ、Ｖy・ｔ、Ｖz・ｔ）は、時刻ｔ1＋ｔにお
ける速度センサの出力Ｖ（Ｖx、Ｖy、Ｖz）に基づく演
算によって求めてもよく、ＧＰＳなどの位置センサから
出力される時刻ｔ1での位置と時刻ｔ1＋ｔでの位置とに
基づき求めるようにしてもよい（ステップ２０３）。
【００４９】つぎに、これら時刻ｔ1から時刻ｔ1＋ｔま
での間の車体の回転角（ＲＸ0、ＲＹ0、ＲＺ0）、時刻
ｔ1における車体座標系からみた時刻ｔ1＋ｔにおける車
体座標系Ｘ−Ｙ−Ｚの原点位置（Ｖx・ｔ、Ｖy・ｔ、Ｖ
z・ｔ）を用いて、図６に示すように、時刻ｔ1における
車体座標系上の画素５０（Ｐ点）の座標位置(ＸＰ（ｔ
1）、ＹＰ（ｔ1）、ＺＰ（ｔ1））と、時刻ｔ1＋ｔにお
ける車体座標系の同画素５０（Ｐ点）の座標位置(ＸＰ
（ｔ1＋ｔ）、ＹＰ（ｔ1＋ｔ）、ＺＰ（ｔ1＋ｔ））と
の関係が、次式（１）のようにして求められる。
での間の車体の回転角（ＲＸ0、ＲＹ0、ＲＺ0）、時刻
ｔ1における車体座標系からみた時刻ｔ1＋ｔにおける車
体座標系Ｘ−Ｙ−Ｚの原点位置（Ｖx・ｔ、Ｖy・ｔ、Ｖ
z・ｔ）を用いて、図６に示すように、時刻ｔ1における
車体座標系上の画素５０（Ｐ点）の座標位置(ＸＰ（ｔ
1）、ＹＰ（ｔ1）、ＺＰ（ｔ1））と、時刻ｔ1＋ｔにお
ける車体座標系の同画素５０（Ｐ点）の座標位置(ＸＰ
（ｔ1＋ｔ）、ＹＰ（ｔ1＋ｔ）、ＺＰ（ｔ1＋ｔ））と
の関係が、次式（１）のようにして求められる。
【００５０】 ただし、上記（１）式においてＭＲ0は、車体座標系の
回転マトリックスであり、車体の回転角（ＲＸ0、ＲＹ
0、ＲＺ0）を用いて、次式（２）のように表される。
回転マトリックスであり、車体の回転角（ＲＸ0、ＲＹ
0、ＲＺ0）を用いて、次式（２）のように表される。
【００５１】 よって、上記（１）式より、時刻ｔ1における車体座標
系における画素５０（点Ｐ）の座標位置（ＸＰ（ｔ
1）、ＹＰ（ｔ1）、ＺＰ（ｔ1））を、時刻ｔ1＋ｔにお
ける車体座標系の座標位置（ＸＰ（ｔ1＋ｔ）、ＹＰ
（ｔ1＋ｔ）、ＺＰ（ｔ1＋ｔ））に、以下のように変換
することができる。
系における画素５０（点Ｐ）の座標位置（ＸＰ（ｔ
1）、ＹＰ（ｔ1）、ＺＰ（ｔ1））を、時刻ｔ1＋ｔにお
ける車体座標系の座標位置（ＸＰ（ｔ1＋ｔ）、ＹＰ
（ｔ1＋ｔ）、ＺＰ（ｔ1＋ｔ））に、以下のように変換
することができる。
【００５２】 上記変換は距離画像６０のすべての画素について実行さ
れる（テップ２０４）。
れる（テップ２０４）。
【００５３】つぎに、上記求められた時刻ｔ1＋ｔにお
ける車体座標系の３次元座標位置（ＸＰ（ｔ1＋ｔ）、
ＹＰ（ｔ1＋ｔ）、ＺＰ（ｔ1＋ｔ））を、距離画像デー
タ（ｉ、ｊ、ｄ）に再び変換し直す処理が実行される。
この場合、カメラの画角内に存在する３次元座標のみが
選択され、その選択された３次元座標が距離画像データ
に戻される。こうして各画素５０の３次元座標位置が、
距離ｄと画面内での座標ｉ、ｊに変換され、この結果、
図８（ｃ）に示すように、前回の距離画像６０が生成さ
れた時刻ｔ1から画像送信間隔Δｔが経過する途中の時
刻ｔ1＋ｔにおける予測距離画像６２が生成される（ス
テップ２０５）。
ける車体座標系の３次元座標位置（ＸＰ（ｔ1＋ｔ）、
ＹＰ（ｔ1＋ｔ）、ＺＰ（ｔ1＋ｔ））を、距離画像デー
タ（ｉ、ｊ、ｄ）に再び変換し直す処理が実行される。
この場合、カメラの画角内に存在する３次元座標のみが
選択され、その選択された３次元座標が距離画像データ
に戻される。こうして各画素５０の３次元座標位置が、
距離ｄと画面内での座標ｉ、ｊに変換され、この結果、
図８（ｃ）に示すように、前回の距離画像６０が生成さ
れた時刻ｔ1から画像送信間隔Δｔが経過する途中の時
刻ｔ1＋ｔにおける予測距離画像６２が生成される（ス
テップ２０５）。
【００５４】上記予測距離画像６２は１フレームだけで
はなく、時間ｔを異ならせて２フレーム以上を、予測距
離画像６２、６３、６４…として生成してもよい。
はなく、時間ｔを異ならせて２フレーム以上を、予測距
離画像６２、６３、６４…として生成してもよい。
【００５５】こうして生成された予測距離画像、たとえ
ば５フレームからなる予測距離画像６２、６３、６４、
６５、６６が、図３に示すように、前回の距離画像６０
と次に、移動体１０から送信されてくる距離画像６１と
の間に挿入されて表示部２３に表示される。
ば５フレームからなる予測距離画像６２、６３、６４、
６５、６６が、図３に示すように、前回の距離画像６０
と次に、移動体１０から送信されてくる距離画像６１と
の間に挿入されて表示部２３に表示される。
【００５６】この結果、表示部２３に、たとえばビデオ
レート、３０フレーム/秒のリアルタイムな画像が表示
され、画像の伝送能力の低さ（Δｔ間隔の画像伝送）を
十分補うことができる。そして、このリアルタイムな画
像に基づきオペレータが遠隔操作することで、移動体１
０の遠隔操作性が飛躍的に向上することになる。
レート、３０フレーム/秒のリアルタイムな画像が表示
され、画像の伝送能力の低さ（Δｔ間隔の画像伝送）を
十分補うことができる。そして、このリアルタイムな画
像に基づきオペレータが遠隔操作することで、移動体１
０の遠隔操作性が飛躍的に向上することになる。
【００５７】ところで、図１０に示すように、移動体１
０から監視局２０へ距離画像を送信する際、実際には送
信に要する送信遅延時間Ｔdが存在する。よって、この
遅延時間Ｔdを考慮して現時点での画像を予測距離画像
として表示部２３に表示させることもできる。すなわ
ち、図１０に示すように、前回の距離画像６０が移動体
１０にて時刻ｔ1で生成されたものとすると、この距離
画像６０に基づき、前述したような処理によって、送信
遅延時間Ｔdを見込んだ時刻ｔ1から時間ｔだけ経過した
時刻ｔ1＋ｔにおける予測距離画像６２を監視局２０に
て生成する。そして、前回の距離画像６０が監視局２０
の表示部２３で時刻ｔ1＋Ｔdにおいて表示されてから時
間ｔ−Ｔd経過した時点で、上記時刻ｔ1＋ｔにおける予
測距離画像６２を表示する。他の予測距離画像６３、６
４、６５も同様にして表示する。この結果、現時点での
距離画像６２、６３、６４、６５が、監視局２０で表示
されることとなり、オペレータによる移動体１０の遠隔
操作性がさらに向上する。
０から監視局２０へ距離画像を送信する際、実際には送
信に要する送信遅延時間Ｔdが存在する。よって、この
遅延時間Ｔdを考慮して現時点での画像を予測距離画像
として表示部２３に表示させることもできる。すなわ
ち、図１０に示すように、前回の距離画像６０が移動体
１０にて時刻ｔ1で生成されたものとすると、この距離
画像６０に基づき、前述したような処理によって、送信
遅延時間Ｔdを見込んだ時刻ｔ1から時間ｔだけ経過した
時刻ｔ1＋ｔにおける予測距離画像６２を監視局２０に
て生成する。そして、前回の距離画像６０が監視局２０
の表示部２３で時刻ｔ1＋Ｔdにおいて表示されてから時
間ｔ−Ｔd経過した時点で、上記時刻ｔ1＋ｔにおける予
測距離画像６２を表示する。他の予測距離画像６３、６
４、６５も同様にして表示する。この結果、現時点での
距離画像６２、６３、６４、６５が、監視局２０で表示
されることとなり、オペレータによる移動体１０の遠隔
操作性がさらに向上する。
【００５８】なお、前述した第１の実施形態にこの方法
を適用してもよい。
を適用してもよい。
【００５９】また、監視局２０の表示部２３で表示され
る距離画像の視点を、所望の視点に変える実施も可能で
ある。
る距離画像の視点を、所望の視点に変える実施も可能で
ある。
【００６０】この場合、距離画像６２に変換する前の時
刻ｔ1＋ｔにおける車体座標系Ｘ−Ｙ−Ｚの原点位置
を、所望の座標軸方向に所望量だけ変化させる処理を行
えばよい。
刻ｔ1＋ｔにおける車体座標系Ｘ−Ｙ−Ｚの原点位置
を、所望の座標軸方向に所望量だけ変化させる処理を行
えばよい。
【００６１】具体的には、表示部２３に表示される距離
画像の視点をＨだけ上げ、オペレータの視点をＨだけ上
げたいときには、上記第（３）式の右辺に、下記（４）
式を加えればよい。
画像の視点をＨだけ上げ、オペレータの視点をＨだけ上
げたいときには、上記第（３）式の右辺に、下記（４）
式を加えればよい。
【００６２】 このように時刻ｔ1＋ｔにおける車体座標系Ｘ−Ｙ−Ｚ
の原点位置が、鉛直Ｙ軸方向にＨだけ変化されることに
よって、表示部２３に表示される距離画像の視点、つま
りオペレータの視点が上方にＨだけ移動される。
の原点位置が、鉛直Ｙ軸方向にＨだけ変化されることに
よって、表示部２３に表示される距離画像の視点、つま
りオペレータの視点が上方にＨだけ移動される。
【００６３】この方法を適用すれば、カメラの位置を動
かすための複雑な機構を設けることなく簡単な処理のみ
で、所望の視点の画像を表示することができる。このた
め、オペレータによる移動体１０の遠隔操作性はさらに
向上する。
かすための複雑な機構を設けることなく簡単な処理のみ
で、所望の視点の画像を表示することができる。このた
め、オペレータによる移動体１０の遠隔操作性はさらに
向上する。
【図１】図１は本発明に係る移動体の遠隔操作装置の実
施の形態における構成例を示すブロック図である。
施の形態における構成例を示すブロック図である。
【図２】図２は図１に示す監視局で実行される処理の手
順を示すフローチャートである。
順を示すフローチャートである。
【図３】図３は移動体から送信される距離画像と予測距
離画像との関係を概略的に示す図である。
離画像との関係を概略的に示す図である。
【図４】図４は移動体が走行する様子を上面から示す図
である。
である。
【図５】図５（ａ）、（ｂ）、（ｃ）は図４に示す走行
路を移動体が走行した場合に得られる距離画像と予測距
離画像とを示す図である。
路を移動体が走行した場合に得られる距離画像と予測距
離画像とを示す図である。
【図６】図６はある時刻における車体座標系とこの時刻
から所定時間が経過した時刻における車体座標系との関
係を示す図である。
から所定時間が経過した時刻における車体座標系との関
係を示す図である。
【図７】図７は移動体が走行する様子を上面から示す図
である。
である。
【図８】図８（ａ）、（ｂ）、（ｃ）は図７に示す走行
路を移動体が走行した場合に得られる距離画像と予測距
離画像とを示す図である。
路を移動体が走行した場合に得られる距離画像と予測距
離画像とを示す図である。
【図９】図９は図１に示す監視局で実行される他の処理
の手順を示すフローチャートである。
の手順を示すフローチャートである。
【図１０】図１０は現時点での画像を監視局で予測距離
画像として表示させる処理を説明するために用いた図で
ある。
画像として表示させる処理を説明するために用いた図で
ある。
１０ 移動体 １１ 距離画像生成部 １２ 計測部 １３ 画像送信機 １４ センサ信号送信機 ２０ 監視局 ２１ 演算部 ２２ 予測距離画像生成部 ２３ 表示部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ // Ｇ０１Ｃ 21/00 Ｇ０８Ｃ 17/00 Ａ
Claims (6)
- 【請求項１】 移動体に搭載され、当該移動体の外
部を撮像する撮像装置の撮像画像を、一定時間毎に監視
局に送信し、当該監視局で受信された撮像画像に基づい
て移動体を遠隔操作するようにした移動体の遠隔操作装
置において、 前記撮像装置として、基準位置から、移動体外部の物体
までの距離を計測し、当該物体の距離画像を生成する距
離画像生成手段を設けるとともに、 前記移動体に、当該移動体の位置変化を計測する計測手
段と、この計測手段の計測結果を前記監視局に送信する
送信手段とを設け、さらに、前記監視局に、 前記計測手段の計測結果に基づいて、前記距離画像生成
手段で前回の距離画像が生成された時点から前記一定時
間よりも小さい所定時間が経過するまでの間の移動体の
移動距離を演算する演算手段と、 前記演算手段の演算結果に基づいて、前記距離画像の各
画素の距離データを、前記移動距離だけ変化させること
によって、前回の距離画像が生成された時点から前記一
定時間が経過する途中の予測距離画像を生成する予測距
離画像生成手段と、 前記予測距離画像生成手段で生成された予測距離画像
を、前回の距離画像と次に、移動体から送信されてくる
距離画像との間に挿入して表示する表示手段とを設ける
ようにした移動体の遠隔操作装置。 - 【請求項２】 移動体に搭載され、当該移動体の外
部を撮像する撮像装置の撮像画像を、一定時間毎に監視
局に送信し、当該監視局で受信された撮像画像に基づい
て移動体を遠隔操作するようにした移動体の遠隔操作装
置において、 前記撮像装置として、基準位置から、移動体外部の物体
までの距離を計測し、各画素が、移動体とともに移動す
る車体座標系の３次元座標位置に対応づけられている距
離画像を生成する距離画像生成手段を設けるとともに、 前記移動体に、当該移動体の各方向の位置・姿勢変化を
計測する計測手段と、この計測手段の計測結果を前記監
視局に送信する送信手段とを設け、さらに、前記監視局
に、 前記計測手段の計測結果に基づいて、前記距離画像生成
手段で前回の距離画像が生成された時点における車体座
標系を、当該時点から前記一定時間よりも小さい所定時
間が経過した時点における車体座標系に変換し、この所
定時間が経過した時点の車体座標系における前回の距離
画像の各画素の３次元座標位置を演算する演算手段と、 前記演算手段で演算された前記所定時間が経過した時点
の車体座標系における前回の距離画像の各画素の３次元
座標位置に基づいて、前回の距離画像が生成された時点
から前記一定時間が経過する途中の予測距離画像を生成
する予測距離画像生成手段と、 前記予測距離画像生成手段で生成された予測距離画像
を、前回の距離画像と次に、移動体から送信されてくる
距離画像との間に挿入して表示する表示手段とを設ける
ようにした移動体の遠隔操作装置。 - 【請求項３】 前記移動体から前記監視局に距離画
像を送信するに要する送信遅延時間をＴdとし、前回の
距離画像が生成された時刻をｔ1としたとき、送信遅延
時間Ｔdを見込んだ時刻ｔ1から時間ｔだけ経過した時刻
ｔ1＋ｔにおける予測距離画像を生成しておき、前回の
距離画像が監視局の表示手段で時刻ｔ1＋Ｔdにおいて表
示されてから時間ｔ−Ｔd経過した時点で時刻ｔ1＋ｔに
おける予測距離画像を表示するようにした請求項１また
は請求項２記載の移動体の遠隔操作装置。 - 【請求項４】 前記計測手段は、移動体の速度を検
出する速度センサである請求項１記載の移動体の遠隔操
作装置。 - 【請求項５】 前記計測手段は、移動体の位置を検
出する位置センサあるいは移動体の速度を検出する速度
センサと、移動体の姿勢角を検出する姿勢角センサとの
組合せであるである請求項２記載の移動体の遠隔操作装
置。 - 【請求項６】 前記車体座標系の原点位置を、所定
座標軸方向に所定量だけ変化させる処理を行うことによ
って、前記表示手段に表示される距離画像の視点を移動
させるようにした請求項２記載の移動体の遠隔操作装
置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8298802A JPH10275015A (ja) | 1996-11-11 | 1996-11-11 | 移動体の遠隔操作装置 |
| PCT/JP1997/004083 WO1998021631A1 (fr) | 1996-11-11 | 1997-11-10 | Telecommande pour station mobile |
| AU48867/97A AU4886797A (en) | 1996-11-11 | 1997-11-10 | Remote controller for mobile station |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8298802A JPH10275015A (ja) | 1996-11-11 | 1996-11-11 | 移動体の遠隔操作装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10275015A true JPH10275015A (ja) | 1998-10-13 |
Family
ID=17864418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8298802A Withdrawn JPH10275015A (ja) | 1996-11-11 | 1996-11-11 | 移動体の遠隔操作装置 |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JPH10275015A (ja) |
| AU (1) | AU4886797A (ja) |
| WO (1) | WO1998021631A1 (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010061346A (ja) * | 2008-09-03 | 2010-03-18 | Ihi Aerospace Co Ltd | 遠隔操縦システム |
| JP2010262477A (ja) * | 2009-05-07 | 2010-11-18 | Ihi Corp | 遠隔操縦システム |
| JP2011028495A (ja) * | 2009-07-24 | 2011-02-10 | Technical Research & Development Institute Ministry Of Defence | 無人走行車両の遠隔操縦装置 |
| JP2012533115A (ja) * | 2009-07-10 | 2012-12-20 | ザ・ボーイング・カンパニー | 遠隔協調輸送手段のためのシステムおよび方法 |
| JP2013114330A (ja) * | 2011-11-25 | 2013-06-10 | Chiba Inst Of Technology | 無人走行体を用いた環境情報の取得システム |
| JP2013114329A (ja) * | 2011-11-25 | 2013-06-10 | Chiba Inst Of Technology | 無人走行体を用いた環境情報の取得システム |
| WO2014141479A1 (ja) * | 2013-03-15 | 2014-09-18 | 株式会社日立製作所 | 遠隔操作システム |
| JP2019049888A (ja) * | 2017-09-11 | 2019-03-28 | 株式会社Ｉｈｉエアロスペース | 遠隔操縦用表示装置と遠隔操縦用表示方法 |
| JP2022009142A (ja) * | 2015-11-04 | 2022-01-14 | ズークス インコーポレイテッド | 自律車両の軌道修正のための遠隔操作システムおよび方法 |
| US11537144B2 (en) | 2017-09-29 | 2022-12-27 | Komatsu Ltd. | Display control device and display control method |
| US11796998B2 (en) | 2015-11-04 | 2023-10-24 | Zoox, Inc. | Autonomous vehicle fleet service and system |
| JP7630733B1 (ja) * | 2024-03-28 | 2025-02-17 | 三菱電機株式会社 | 遠隔操作システムおよび遠隔操作装置 |
| US12265386B2 (en) | 2015-11-04 | 2025-04-01 | Zoox, Inc. | Autonomous vehicle fleet service and system |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109814569B (zh) * | 2019-02-19 | 2022-11-08 | 阿波罗智能技术(北京)有限公司 | 无人车控制方法、装置、设备及计算机可读介质 |
| CN109765902B (zh) | 2019-02-22 | 2022-10-11 | 阿波罗智能技术(北京)有限公司 | 无人车驾驶参考线处理方法、装置及车辆 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08191487A (ja) * | 1995-01-10 | 1996-07-23 | Nissin Electric Co Ltd | 遠隔操作システム |
-
1996
- 1996-11-11 JP JP8298802A patent/JPH10275015A/ja not_active Withdrawn
-
1997
- 1997-11-10 AU AU48867/97A patent/AU4886797A/en not_active Abandoned
- 1997-11-10 WO PCT/JP1997/004083 patent/WO1998021631A1/ja not_active Ceased
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010061346A (ja) * | 2008-09-03 | 2010-03-18 | Ihi Aerospace Co Ltd | 遠隔操縦システム |
| JP2010262477A (ja) * | 2009-05-07 | 2010-11-18 | Ihi Corp | 遠隔操縦システム |
| JP2012533115A (ja) * | 2009-07-10 | 2012-12-20 | ザ・ボーイング・カンパニー | 遠隔協調輸送手段のためのシステムおよび方法 |
| JP2011028495A (ja) * | 2009-07-24 | 2011-02-10 | Technical Research & Development Institute Ministry Of Defence | 無人走行車両の遠隔操縦装置 |
| JP2013114330A (ja) * | 2011-11-25 | 2013-06-10 | Chiba Inst Of Technology | 無人走行体を用いた環境情報の取得システム |
| JP2013114329A (ja) * | 2011-11-25 | 2013-06-10 | Chiba Inst Of Technology | 無人走行体を用いた環境情報の取得システム |
| JPWO2014141479A1 (ja) * | 2013-03-15 | 2017-02-16 | 株式会社日立製作所 | 遠隔操作システム |
| US9317035B2 (en) | 2013-03-15 | 2016-04-19 | Hitachi, Ltd. | Remote operation system |
| WO2014141479A1 (ja) * | 2013-03-15 | 2014-09-18 | 株式会社日立製作所 | 遠隔操作システム |
| JP2022009142A (ja) * | 2015-11-04 | 2022-01-14 | ズークス インコーポレイテッド | 自律車両の軌道修正のための遠隔操作システムおよび方法 |
| US11796998B2 (en) | 2015-11-04 | 2023-10-24 | Zoox, Inc. | Autonomous vehicle fleet service and system |
| US12265386B2 (en) | 2015-11-04 | 2025-04-01 | Zoox, Inc. | Autonomous vehicle fleet service and system |
| JP2019049888A (ja) * | 2017-09-11 | 2019-03-28 | 株式会社Ｉｈｉエアロスペース | 遠隔操縦用表示装置と遠隔操縦用表示方法 |
| US11537144B2 (en) | 2017-09-29 | 2022-12-27 | Komatsu Ltd. | Display control device and display control method |
| JP7630733B1 (ja) * | 2024-03-28 | 2025-02-17 | 三菱電機株式会社 | 遠隔操作システムおよび遠隔操作装置 |
| WO2025203442A1 (ja) * | 2024-03-28 | 2025-10-02 | 三菱電機株式会社 | 遠隔操作システムおよび遠隔操作装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO1998021631A1 (fr) | 1998-05-22 |
| AU4886797A (en) | 1998-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110244772B (zh) | 移动机器人的领航跟随系统和领航跟随控制方法 | |
| JP5868681B2 (ja) | 遠隔操縦車両システム | |
| US7697029B2 (en) | Image display apparatus and method | |
| JPH10275015A (ja) | 移動体の遠隔操作装置 | |
| US6366221B1 (en) | Rendering device | |
| EP0510363B1 (en) | Distance measuring device | |
| US20170030722A1 (en) | Vehicle localization system | |
| EP3790745A1 (en) | Visual object tracker | |
| JP6824856B2 (ja) | 表示制御装置および表示制御方法 | |
| JP2019016188A (ja) | 移動体遠隔操作システムおよび移動体遠隔操作方法 | |
| US11607999B2 (en) | Method and apparatus for invisible vehicle underbody view | |
| JP2011028495A (ja) | 無人走行車両の遠隔操縦装置 | |
| US20080151053A1 (en) | Operation Support Device | |
| CN114268787B (zh) | 基于ar-hud的延时补偿方法、装置、设备及存储介质 | |
| JP7708920B2 (ja) | 車両制御装置、車両制御方法及び車両制御プログラム | |
| JP2023152109A (ja) | 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム | |
| JP4028033B2 (ja) | ステアリング制御装置 | |
| US11845429B2 (en) | Localizing and updating a map using interpolated lane edge data | |
| JPH1137730A (ja) | 道路形状推定装置 | |
| US10249056B2 (en) | Vehicle position estimation system | |
| JP7478285B2 (ja) | 車両、車両制御方法及び車両制御プログラム | |
| JPH1139464A (ja) | 車両用画像処理装置 | |
| JP6793459B2 (ja) | 自律移動装置 | |
| JP3580152B2 (ja) | 車間距離検出装置 | |
| JPH10141954A (ja) | 移動体の走行路面上の障害物検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20040203 |