JPH08191487A - Remote control system - Google Patents
Remote control systemInfo
- Publication number
- JPH08191487A JPH08191487A JP198995A JP198995A JPH08191487A JP H08191487 A JPH08191487 A JP H08191487A JP 198995 A JP198995 A JP 198995A JP 198995 A JP198995 A JP 198995A JP H08191487 A JPH08191487 A JP H08191487A
- Authority
- JP
- Japan
- Prior art keywords
- time lag
- target
- station
- time
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 42
- 238000004891 communication Methods 0.000 claims abstract description 36
- 238000003384 imaging method Methods 0.000 claims description 17
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 36
- 230000006870 function Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Selective Calling Equipment (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、例えば宇宙、水中、地
下、無人倉庫等の場所に置かれた操作対象物を、ビデオ
カメラでとらえた操作対象物の映像をディスプレイ画面
上で確認しながら遠隔操作できるような遠隔操作システ
ムに関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention is to confirm an image of an operation target placed on a place such as space, underwater, underground, unmanned warehouse, etc. with a video camera on a display screen. The present invention relates to a remote control system that can be remotely controlled.
【０００２】[0002]
【従来の技術】無人倉庫・工場においてフォークリフト
やクレーンを遠隔操作したり、宇宙、水中、地下等の人
間が直接的に操作することが困難な場所で何らかの操作
対象物を遠隔操作するようなことは、現在では一般的に
行われている。このような遠隔操作を行うに際し、オペ
レータが直接的に操作対象物を目視できる位置にいれば
よいが、操作対象物を目視できない場所から遠隔操作す
る必要がある場合は、作業現場にビデオカメラを設置
し、該ビデオカメラにて撮像した操作対象物およびその
周辺の映像を伝送媒体を介して操作位置まで伝送してデ
ィスプレイに表示し、該ディスプレイの表示映像をオペ
レータが見ながら遠隔地の操作対象物を操作する構成が
とられる。2. Description of the Related Art Remote control of forklifts and cranes in unmanned warehouses and factories, or remote control of some operation target such as space, water, and underground where it is difficult for humans to directly operate. Is now commonly done. When performing such remote control, it suffices if the operator can directly see the operation target, but if it is necessary to perform remote control from a place where the operation target cannot be seen, install a video camera at the work site. The object to be operated, which is installed and picked up by the video camera, and the surrounding image are transmitted to the operation position via the transmission medium and displayed on the display, and the operator can watch the image displayed on the display and operate the object at a remote place. A configuration for operating an object is adopted.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら、上記の
ようなビデオカメラを利用した遠隔操作の場合、ビデオ
カメラがとらえた映像が伝送媒体を介して操作側へ届く
までに時間がかかり、この際のタイムラグ分だけ過去の
映像が表示装置に表示されることになるので、操作対象
物の現在の本当の位置の確認が困難であり、これがオペ
レータの操作を困難にさせる要因となっている。However, in the case of the remote operation using the video camera as described above, it takes time for the image captured by the video camera to reach the operation side via the transmission medium. Since the past image is displayed on the display device by the time lag, it is difficult to confirm the current true position of the operation target, which is a factor that makes the operation of the operator difficult.
【０００４】さらに、操作データが操作対象物へ届くま
でのタイムラグもあるので、遠隔地におけるオペレータ
の操作は直ぐには操作対象物の動作に反映されず、これ
がオペレータによる操作を一層困難にさせている。Further, since there is a time lag until the operation data reaches the operation object, the operation of the operator at the remote place is not immediately reflected in the operation of the operation object, which makes the operation by the operator more difficult. .
【０００５】例えば、移動している操作対象物が所定の
位置にきたときに何らかの動作を操作対象物に行わせる
遠隔操作を考える。具体例としては、図３に示すよう
に、移動している操作対象物Ａを停止位置Ｂ1 で停止さ
せるために、その手前の位置Ｂ2 でブレーキをかけるこ
とを想定する。遠隔地でオペレータが見ている表示装置
の映像は、ビデオカメラの映像が操作側へ届くまでのタ
イムラグだけ過去の映像であり、表示装置において操作
対象物Ａが位置Ｂ2 に存在する表示がなされたときにオ
ペレータが遠隔地でブレーキ操作をおこなっても遅い。
また、たとえこれを考慮して、表示装置の画面上におい
て位置Ｂ2 の少し手前でブレーキ操作を行ったとして
も、実際に制動動作が行われるのは操作データが操作対
象物へ届くまでのタイムラグぶんだけ後になり、操作が
遅れる可能性が高い。For example, let us consider a remote operation in which an operation target object is caused to perform some action when the moving operation target object reaches a predetermined position. As a specific example, as shown in FIG. 3, in order to stop the moving operation target A at the stop position B 1 , it is assumed that the brake is applied at the position B 2 in front of it. The image of the display device viewed by the operator at a remote place is a past image by the time lag until the image of the video camera reaches the operation side, and the display shows that the operation target A exists at the position B 2. Even if the operator operates the brakes at a remote place when it does, it is slow.
Further, even if the brake operation is performed slightly before the position B 2 on the screen of the display device in consideration of this, the braking operation is actually performed by the time lag until the operation data reaches the operation target object. It is likely that the operation will be delayed because it will be later.
【０００６】上記のタイムラグは伝送媒体の状態（例え
ばそのときのトラフィック）によって一定ではなく、し
たがって表示画面上の位置を予想して遠隔操作すること
は困難を極める。The above-mentioned time lag is not constant depending on the state of the transmission medium (for example, traffic at that time), and therefore it is extremely difficult to predict the position on the display screen and perform remote control.
【０００７】本発明は、上記に鑑みなされたものであ
り、その目的は、ビデオカメラを利用した遠隔操作の場
合でも、あたかも操作対象物を直接見て操作しているか
のような遠隔操作を可能とし、オペレータによる遠隔地
での操作を容易にすることができる遠隔操作システムを
提供することにある。The present invention has been made in view of the above, and an object of the present invention is to enable a remote operation using a video camera as if the object is directly viewed and operated. Another object of the present invention is to provide a remote control system that enables an operator to easily operate in a remote place.
【０００８】[0008]
【課題を解決するための手段】本発明に係る遠隔操作シ
ステムは、撮像手段（例えばＣＣＤカメラ等）にて撮像
された操作対象物の映像を通信媒体（例えばＩＳＤＮ
（Integrated ServicesDigital Network)等）を介して
遠隔地に設置された操作局側へ伝送すると共に、操作局
から送られてくる操作データを受信してその操作データ
に基づいて操作対象物の動作を制御するターゲット局
と、上記ターゲット局からの映像を受信して表示手段に
表示させると共に、表示手段の近傍に設けられた操作入
力手段にて入力された操作データを通信媒体を介してタ
ーゲット局側へ伝送する操作局とを備え、表示手段の表
示画面を見ながら操作対象物を遠隔操作できるシステム
であって、上記の課題を解決するために、以下の手段が
講じられていることを特徴とする。In a remote control system according to the present invention, an image of an operation target imaged by an image pickup means (for example, a CCD camera) is used as a communication medium (for example, ISDN).
(Integrated Services Digital Network) etc., and transmits to the operation station installed at a remote place, receives operation data sent from the operation station, and controls the operation of the operation target based on the operation data. The target station and the video from the target station are received and displayed on the display means, and the operation data input by the operation input means provided in the vicinity of the display means is transmitted to the target station side via the communication medium. A system that includes a transmitting operation station and can remotely operate an operation target object while looking at a display screen of a display unit, and is characterized in that the following means are taken to solve the above problems. .
【０００９】すなわち、上記操作局およびターゲット局
は時刻が同期しているタイマを各々備えると共に、上記
操作局はターゲット局側へ伝送する信号（操作データ
等）に送信時刻データを付加する第１タイムスタンプ手
段、上記ターゲット局は操作局側へ伝送する映像に撮像
時刻データを付加する第２タイムスタンプ手段を備え、
さらに、上記ターゲット局は、送信時刻データが付加さ
れた信号を受信したとき、その送信時刻と受信時刻とを
比較して操作タイムラグを演算し、操作タイムラグの情
報を操作局へ返信する操作タイムラグ返信手段を備え、
また、上記操作局は、撮像時刻データが付加された映像
を受信したとき、その撮像時刻と受信時刻とを比較して
映像受信タイムラグを演算する映像受信タイムラグ演算
手段と、映像受信タイムラグ演算手段にて演算された映
像受信タイムラグと操作局から受信した操作タイムラグ
とを加算して全体タイムラグを求め、該全体タイムラグ
に応じた操作対象物の画面上の未来の位置を画像処理に
よって予想する位置予想手段と、上記位置予想手段の操
作対象物に対する予想位置を映像化して表示手段に表示
させる表示制御手段とを備えている。That is, the operating station and the target station are each provided with a timer whose time is synchronized, and the operating station adds a transmission time data to a signal (operation data etc.) to be transmitted to the target station side. Stamping means, the target station is provided with a second time stamping means for adding imaging time data to the video transmitted to the operating station side,
Further, when the target station receives the signal with the transmission time data added, it compares the transmission time and the reception time, calculates the operation time lag, and returns the operation time lag information to the operation station. Equipped with means,
Further, when the operation station receives the video with the imaging time data added, it compares the imaging time with the reception time to calculate the video reception time lag, and the video reception time lag calculation means and the video reception time lag calculation means. Position prediction means for adding the calculated video reception time lag and the operation time lag received from the operation station to obtain the overall time lag, and predicting the future position on the screen of the operation target object according to the overall time lag by image processing. And display control means for visualizing the predicted position of the position predicting means with respect to the operation target object on the display means.
【００１０】[0010]
【作用】上記の構成によれば、操作局がターゲット局へ
送信する信号には第１タイムスタンプ手段により送信時
刻データが付加され、該信号を受信したターゲット局で
は操作タイムラグ返信手段が送信時刻データより操作タ
イムラグを計算して操作局へ返信する。これにより、操
作局はターゲット局へ信号を送信する毎に現在の操作タ
イムラグを認識できる。According to the above construction, the transmission time data is added to the signal transmitted from the operation station to the target station by the first time stamp means, and the operation time lag reply means is transmitted to the transmission time data in the target station receiving the signal. The operation time lag is calculated and returned to the operation station. This allows the operating station to recognize the current operating time lag each time it transmits a signal to the target station.
【００１１】一方、ターゲット局が操作局へ送信する映
像には第２タイムスタンプ手段により撮像時刻データが
付加されており、操作局では、映像受信タイムラグ演算
手段が撮像時刻データより映像受信タイムラグを計算す
ることにより、現在の映像受信タイムラグを認識でき
る。On the other hand, image pickup time data is added to the image transmitted from the target station to the operation station by the second time stamp means, and in the operation station, the image reception time lag calculation means calculates the image reception time lag from the image pickup time data. By doing so, the current video reception time lag can be recognized.
【００１２】そして、操作局では、映像受信タイムラグ
演算手段にて演算された映像受信タイムラグと、操作局
から受信した最新の操作タイムラグとを加算して現在の
全体タイムラグを求め、該全体タイムラグに応じた操作
対象物の画面上の未来の位置を画像処理によって予想す
る（画像処理の一例としては、映像に撮像時刻が付加さ
れているのを利用して、複数の画面上の操作対象物の位
置の時間的な変化から操作対象物の移動方向、速度、加
速度を演算し、この演算結果に基づいて元の画面上の操
作対象物を全体タイムラグぶんだけ移動させて位置予想
を行う方法が考えられる）。さらに、操作局では、上記
の予想位置を映像化して表示手段に表示させる。Then, in the operation station, the video reception time lag calculated by the video reception time lag calculation means and the latest operation time lag received from the operation station are added to obtain a current total time lag, and the current total time lag is calculated. The future position of the operation target on the screen is predicted by image processing. (As an example of the image processing, the position of the operation target on multiple screens is used by using the fact that the imaging time is added to the video. A method is conceivable in which the moving direction, speed, and acceleration of the operation target object are calculated from the temporal changes of the operation target object, and the position of the operation target object on the original screen is moved by the entire time lag based on the calculation result. ). Further, in the operation station, the above predicted position is visualized and displayed on the display means.
【００１３】上記のように、表示手段には、受信映像よ
りも全体タイムラグ（操作タイムラグ＋映像受信タイム
ラグ）の時間だけ後の映像と予想される映像が表示され
るようになっており、オペレータは、全体タイムラグに
応じた操作対象物の未来位置を表示手段で確認しなが
ら、操作対象物を遠隔操作することになる。したがって
オペレータは、従来のように映像受信タイムラグや操作
タイムラグによって生じる操作遅れを意識することな
く、あたかも操作対象物を直接見ているかのように操作
できる。As described above, the display means displays an image which is expected to be after the entire received image by the total time lag (operation time lag + image reception time lag). The operation target is remotely operated while confirming the future position of the operation target according to the overall time lag on the display means. Therefore, the operator can operate as if he or she is directly looking at the operation target without being aware of the operation delay caused by the video reception time lag or the operation time lag as in the conventional case.
【００１４】特に、通信媒体のトラフィック等の影響に
よって操作タイムラグ、映像受信タイムラグはいつも一
定とは限らないが、上記のタイムラグ補正機能によって
常に現在のタイムラグに応じた正確な映像を表示できる
ようになっている。In particular, although the operation time lag and the video reception time lag are not always constant due to the influence of traffic of the communication medium, the above-mentioned time lag correction function can always display an accurate video according to the current time lag. ing.
【００１５】[0015]
【実施例】本発明の一実施例について図１および図２に
基づいて説明すれば、以下の通りである。DESCRIPTION OF THE PREFERRED EMBODIMENTS The following will describe one embodiment of the present invention with reference to FIGS. 1 and 2.
【００１６】本実施例に係る遠隔操作システム全体の概
略構成を図２に示す。無人フォークリフト等の操作対象
物Ａがあるターゲット側には、操作対象物Ａを撮像する
ＣＣＤカメラ（撮像手段）１と、該ＣＣＤカメラ１およ
び操作対象物Ａが接続されたターゲット側コンピュータ
（ターゲット局）２とが設置され、一方、操作側には、
ＣＣＤカメラ１がとらえた映像を表示するディスプレイ
（表示手段）３と、オペレータがハンドル操作、アクセ
ル操作、ブレーキ操作等の必要な操作を行うためのマン
マシンインターフェース（操作入力手段）４と、これら
ディスプレイ３およびマンマシンインターフェース４が
接続されたホスト側コンピュータ（操作局）５とが設置
されている。FIG. 2 shows a schematic configuration of the entire remote control system according to this embodiment. On the target side where the operation target A such as an unmanned forklift is located, a CCD camera (imaging means) 1 for capturing an image of the operation target A and a target side computer (target station) to which the CCD camera 1 and the operation target A are connected. ) 2 and are installed, while on the operating side,
A display (display means) 3 for displaying an image captured by the CCD camera 1, a man-machine interface (operation input means) 4 for the operator to perform necessary operations such as steering wheel operation, accelerator operation, and brake operation, and these displays. 3 and a host-side computer (operation station) 5 to which the man-machine interface 4 is connected.
【００１７】そして、上記ターゲット側コンピュータ２
からホスト側コンピュータ５へは、無線通信あるいはＩ
ＳＤＮ（Ｎ−ＩＳＤＮまたはＢ−ＩＳＤＮ）等のディジ
タル通信可能な通信媒体を介して映像信号が連続して送
られ、ホスト側コンピュータ５からターゲット側コンピ
ュータ２へは通常の電話回線、ＩＳＤＮ（Ｎ−ＩＳＤＮ
またはＢ−ＩＳＤＮ）、無線電話、専用線等の通信媒体
を介して操作データ等が送られるようになっている。Then, the target side computer 2
From the host computer 5 to the host computer 5 by wireless communication or I
A video signal is continuously sent via a communication medium capable of digital communication such as SDN (N-ISDN or B-ISDN), and a normal telephone line from the host side computer 5 to the target side computer 2 and ISDN (N- ISDN
Alternatively, operation data and the like can be sent via a communication medium such as B-ISDN), a wireless telephone, and a leased line.
【００１８】図１に示すように、上記ターゲット側コン
ピュータ２は、上記ＣＣＤカメラ１から送られてくるア
ナログの映像信号をディジタル量に変換するアナログ／
ディジタル変換手段やディジタル量に変換された映像信
号を記憶するメモリ等からなるカメラ入力部６と、操作
側から送られてきた操作データに基づいて操作対象物Ａ
のモータドライバを制御する動力コントロール部７と、
操作対象物Ａに設けられた各種センサ（位置センサ、温
度センサ等）の入力処理（アナログ／ディジタル変換
等）を行うセンサ入力部８と、映像信号やセンサ入力信
号等の伝送データを所定の伝送フォーマットに変換する
送信処理や所定フォーマットの受信データから必要なデ
ータを取り出す受信処理等を行う通信処理部９と、変復
調機能を有し、伝送媒体とのインターフェースを行う送
受信部１０とを備えている。As shown in FIG. 1, the target-side computer 2 converts an analog video signal sent from the CCD camera 1 into a digital amount.
A camera input unit 6 including a digital conversion means and a memory for storing a video signal converted into a digital amount, and an operation target A based on operation data sent from the operation side.
A power control unit 7 for controlling the motor driver of
A sensor input unit 8 that performs input processing (analog / digital conversion, etc.) of various sensors (position sensor, temperature sensor, etc.) provided on the operation target A, and predetermined transmission of transmission data such as video signals and sensor input signals. The communication processing unit 9 performs a transmission process for converting into a format and a reception process for extracting necessary data from received data in a predetermined format, and a transmission / reception unit 10 having a modulation / demodulation function and interfacing with a transmission medium. .
【００１９】また、上記ホスト側コンピュータ５は、デ
ィスプレイ３の表示動作を制御するディスプレイコント
ロール部１１と、マンマシンインターフェース４から入
力される各種操作データの入力処理を行うマンマシンイ
ンターフェース入力部１２と、操作データ等の伝送デー
タを所定の伝送フォーマットに変換する送信処理や所定
フォーマットの受信データから必要なデータを取り出す
受信処理等を行う通信処理部１３と、変復調機能を有
し、伝送媒体とのインターフェースを行う送受信部１４
と、ターゲット側コンピュータ２から受信した映像に画
像処理を施して操作対象物Ａの未来位置を予想する画像
処理部（位置予想手段）１５とを備えている。Further, the host computer 5 has a display control section 11 for controlling the display operation of the display 3, a man-machine interface input section 12 for inputting various operation data input from the man-machine interface 4. An interface with a communication medium having a communication processing unit 13 that performs a transmission process of converting transmission data such as operation data into a predetermined transmission format and a reception process of extracting necessary data from reception data of a predetermined format, and a modulation / demodulation function, and a transmission medium. Transmitter / receiver 14
And an image processing unit (position predicting means) 15 for predicting the future position of the operation target A by performing image processing on the video received from the target side computer 2.
【００２０】上記ターゲット側コンピュータ２およびホ
スト側コンピュータ５は、何れも図示しないタイマを内
蔵しており、両方のタイマは時刻同期がとられている。
時刻同期の一例としては、例えばＧＰＳ（Grobal Posit
ioning System ：地球測位システム）衛星の電波を受信
する受信機をターゲット側コンピュータ２およびホスト
側コンピュータ５にそれぞれ設け、ＧＰＳ衛星の電波を
受信してその受信信号内に含まれる時刻情報に基づいて
時刻同期をとる方法が考えられる。あるいは、郵政省通
信総合研究所にて運用されている標準電波ＪＧ２ＡＳ
（現在、ＮＴＴ（日本電信電話株式会社）名崎無線送信
所（所在地：茨城県三和町）から発信されており、日本
国内であればどの場所でも標準電波ＪＧ２ＡＳを受信可
能）に含まれる時刻同期情報を用いて時刻同期をとるこ
ともできる。時刻同期の精度は、操作対象物Ａの動作速
度や各コンピュータの処理能力、内蔵タイマの精度、伝
送媒体の伝送速度等によって必要とされる精度は異なる
が、上記ＧＰＳ電波や標準電波ＪＧ２ＡＳを用いた時刻
同期では、非常に高精度で時刻同期をとることが可能で
ある。勿論、他の方法で時刻同期をとってもよい。The target-side computer 2 and the host-side computer 5 both have timers (not shown) built therein, and both timers are time-synchronized.
As an example of time synchronization, for example, GPS (Grobal Posit
ioning System: Global Positioning System) Receivers for receiving satellite radio waves are provided in the target computer 2 and the host computer 5, respectively, and the time is received based on the time information contained in the received signals by receiving the GPS satellite radio waves. A method of synchronizing can be considered. Alternatively, the standard radio wave JG2AS operated by the Ministry of Posts and Telecommunications Research Institute
(Currently sent from NTT (Nippon Telegraph and Telephone Corporation) Nazaki Radio Station (location: Sanwa-cho, Ibaraki Prefecture), and can receive standard radio wave JG2AS anywhere in Japan) Time synchronization can also be achieved using the synchronization information. The accuracy of time synchronization depends on the operation speed of the operation target A, the processing capacity of each computer, the accuracy of the built-in timer, the transmission speed of the transmission medium, etc., but the GPS radio wave and the standard radio wave JG2AS are used. With the time synchronization, the time synchronization can be achieved with extremely high accuracy. Of course, the time may be synchronized by another method.
【００２１】そして、上記ホスト側コンピュータ５の通
信処理部１３は、ターゲット側コンピュータ２へ送信す
るデータフレーム内に、フレームの送信時刻データ（絶
対時刻または相対時刻データ）を付加する第１タイムス
タンプ手段（図示せず）を具備している。上記通信処理
部１３は、マンマシンインターフェース４からの入力が
なくても、予め定められた一定期間内に必ず１回は送信
時刻データを付加したフレームをターゲット側コンピュ
ータ２へ送信する機能を有する。Then, the communication processing unit 13 of the host side computer 5 adds the frame transmission time data (absolute time or relative time data) to the data frame to be transmitted to the target side computer 2 by the first time stamp means. (Not shown). The communication processing unit 13 has a function of transmitting the frame to which the transmission time data is added to the target side computer 2 once at least once within a predetermined fixed period even if there is no input from the man-machine interface 4.
【００２２】また、上記ターゲット側コンピュータ２の
通信処理部９は、ＣＣＤカメラ１で撮像された映像に対
して１画面毎に撮像時刻データ（絶対時刻または相対時
刻データ）を付加する第２タイムスタンプ手段（図示せ
ず）を有し、映像と撮像時刻データとをセットでホスト
側コンピュータ５へ送信する機能を有する。Further, the communication processing unit 9 of the target side computer 2 adds the image pickup time data (absolute time or relative time data) for each screen to the image picked up by the CCD camera 1 as a second time stamp. It has means (not shown) and has a function of transmitting the image and the image pickup time data as a set to the host computer 5.
【００２３】また、上記ターゲット側コンピュータ２の
通信処理部９は、ホスト側コンピュータ５からデータフ
レームを受信した場合、それに含まれる送信時刻データ
から、通信によるタイムラグ（操作タイムラグと称す
る）を計算し、計算した操作タイムラグの情報を直ちに
ホスト側コンピュータ５へ返信する操作タイムラグ返信
手段（図示せず）を有する。Further, when the data processing unit 9 of the target side computer 2 receives a data frame from the host side computer 5, it calculates a time lag due to communication (referred to as an operation time lag) from the transmission time data contained therein, It has an operation time lag returning means (not shown) for immediately returning the calculated operation time lag information to the host computer 5.
【００２４】また、上記ホスト側コンピュータ５の通信
処理部１３は、ターゲット側コンピュータ２から映像信
号＋撮像時刻データを受信した場合、その撮像時刻デー
タから通信によるタイムラグ（映像受信タイムラグと称
する）を演算する映像受信タイムラグ演算手段（図示せ
ず）を有する。そして、ホスト側コンピュータ５は、上
記ホスト側コンピュータ５から送られてくる操作タイム
ラグの情報および映像信号＋撮像時刻データのセット、
並びに計算により求めた上記映像受信タイムラグに基づ
いて、操作対象物Ａの未来の予想位置を画像処理部１５
にて演算し、操作対象物Ａの予想位置を映像化してディ
スプレイ３に表示させる機能を有する（詳細は後述）。When the communication processing unit 13 of the host computer 5 receives the image signal + imaging time data from the target computer 2, the communication processing unit 13 calculates a time lag due to communication (referred to as image reception time lag) from the imaging time data. The video reception time lag calculating means (not shown) is provided. The host-side computer 5 then sets the operation time lag information and the image signal + imaging time data sent from the host-side computer 5,
Also, based on the calculated video reception time lag, the image processing unit 15 calculates the future predicted position of the operation target A.
Has a function of visualizing the expected position of the operation target A and displaying it on the display 3 (details will be described later).
【００２５】尚、上記ホスト側コンピュータ５の通信処
理部１３が有する上記の第１タイムスタンプ手段および
映像受信タイムラグ演算手段は、該通信処理部１３を構
成するＣＰＵ（Central Processing Unit)がメモリに格
納された所定のプログラムを実行することによって実現
される機能モジュールである。In the first time stamp means and the video reception time lag calculating means included in the communication processing unit 13 of the host computer 5, the CPU (Central Processing Unit) constituting the communication processing unit 13 stores in the memory. It is a functional module realized by executing the specified program.
【００２６】また、上記ターゲット側コンピュータ２の
通信処理部９が有する上記の第２タイムスタンプ手段お
よび操作タイムラグ返信手段は、該通信処理部９を構成
するＣＰＵがメモリに格納された所定のプログラムを実
行することによって実現される機能モジュールである。In the second time stamp means and the operation time lag reply means included in the communication processing unit 9 of the target computer 2, the CPU constituting the communication processing unit 9 executes a predetermined program stored in the memory. It is a functional module realized by executing.
【００２７】上記の構成において、遠隔操作システムの
動作を以下に説明する。The operation of the remote control system having the above structure will be described below.
【００２８】ホスト側コンピュータ５は、操作対象物Ａ
の予測表示を行うため、予め、ディスプレイ３に表示す
る表示対象物、すなわち操作対象物Ａの形状を認識して
いる必要がある。このため、遠隔操作を開始する準備操
作として、例えばマウス等を用いてディスプレイ３に表
示されている操作対象物Ａを指定して、操作対象物Ａの
形状（画像）をホスト側コンピュータ５に設定する。操
作対象物Ａが、例えば車体部とフォークとが独立した運
動を行うフォークリフトのように、複数の可動ユニット
の結合物である場合、可動ユニット毎の形状（画像）を
設定登録する。また、このとき、操作対象物Ａの移動方
向、速度、加速度を演算するために、操作対象物Ａの画
像内の１点（または数点）を基準点として設定する。ま
た、操作対象物Ａが複数の可動ユニットから構成されて
いる場合には、可動ユニット毎に基準点を設定する。こ
の基準点は、画像処理が簡単となるように、操作対象物
Ａ（可動ユニット）の特徴的な部分、例えばエッジ部分
を指定することが望ましい。The host computer 5 operates the operation target A.
In order to perform the predictive display of, the shape of the display target displayed on the display 3, that is, the shape of the operation target A needs to be recognized in advance. Therefore, as a preparatory operation for starting the remote operation, the operation target A displayed on the display 3 is designated by using, for example, a mouse, and the shape (image) of the operation target A is set in the host computer 5. To do. When the operation target A is a combination of a plurality of movable units, such as a forklift in which the vehicle body and the fork independently move, the shape (image) of each movable unit is set and registered. At this time, in order to calculate the moving direction, speed, and acceleration of the operation target A, one point (or several points) in the image of the operation target A is set as a reference point. If the operation target A is composed of a plurality of movable units, a reference point is set for each movable unit. It is desirable that this reference point designates a characteristic portion of the operation target A (movable unit), for example, an edge portion, so that image processing can be simplified.
【００２９】また、例えばフォークリフトで荷物を持ち
上げる仕事を行う場合等、操作対象物Ａの動作によって
移動が考えられる物体がある場合には、その物体も操作
対象物Ａと同様にマウス等を用いて画面上で形状および
基準点を設定しておく。ここでは、上記のような準備操
作が既に行われているものとする。When there is an object that can be moved by the operation of the operation target A, such as when carrying out the work of lifting a load with a forklift, the same object as that of the operation target A is used by using a mouse or the like. Set the shape and reference point on the screen. Here, it is assumed that the above-described preparation operation has already been performed.
【００３０】そして、オペレータは、ディスプレイ３に
表示されている操作対象物Ａを確認しながら、マンマシ
ンインターフェース４より操作データを入力して、操作
対象物Ａを遠隔操作することになる。Then, the operator inputs the operation data from the man-machine interface 4 while confirming the operation object A displayed on the display 3, and remotely operates the operation object A.
【００３１】オペレータの操作によってマンマシンイン
ターフェース４より入力された操作データは、マンマシ
ンインターフェース入力部１２を介してホスト側コンピ
ュータ５の通信処理部１３へ取り込まれる。このとき、
上記通信処理部１３は、上記操作データと送信時刻デー
タを含む所定フォーマットの伝送データフレームを形成
し、これを送受信部１４を介してターゲット側コンピュ
ータ２へ送信する。The operation data input from the man-machine interface 4 by the operator's operation is taken into the communication processing unit 13 of the host computer 5 via the man-machine interface input unit 12. At this time,
The communication processing unit 13 forms a transmission data frame of a predetermined format including the operation data and the transmission time data, and transmits this to the target side computer 2 via the transmission / reception unit 14.
【００３２】上記のデータフレームが伝送媒体を通って
ターゲット側コンピュータ２へ到達するまでの時間（操
作タイムラグ）は、一定ではない。映像受信タイムラグ
も同様である。特に、伝送媒体としてＩＳＤＮ等の公衆
通信網を用いた場合は、そのときのトラフィックに影響
され易い。The time (operation time lag) until the above data frame reaches the target computer 2 through the transmission medium is not constant. The same applies to the video reception time lag. In particular, when a public communication network such as ISDN is used as the transmission medium, it is easily affected by the traffic at that time.
【００３３】ターゲット側コンピュータ２が上記のデー
タフレームを受信した場合、通信処理部９がデータフレ
ームから操作データを取り出して動力コントロール部７
へ渡し、動力コントロール部７がこの操作データに基づ
いて操作対象物Ａの動作を制御する。また、このとき、
通信処理部９は、データフレーム内に付加された発信時
刻と内蔵タイマの現在時刻とを比較して操作タイムラグ
を計算し、計算した操作タイムラグの情報を直ちにホス
ト側コンピュータ５へ返信する。これにより、ホスト側
コンピュータ５は、現在の操作タイムラグを認識する。When the target computer 2 receives the above data frame, the communication processing unit 9 extracts the operation data from the data frame and outputs the power control unit 7.
Then, the power control unit 7 controls the operation of the operation target object A based on the operation data. At this time,
The communication processing unit 9 calculates the operation time lag by comparing the transmission time added in the data frame with the current time of the built-in timer, and immediately returns the calculated operation time lag information to the host computer 5. As a result, the host computer 5 recognizes the current operation time lag.
【００３４】尚、ホスト側コンピュータ５は、マンマシ
ンインターフェース４からの入力がなくても、予め定め
られた一定期間内に必ず１回は送信時刻データを付加し
たフレームをターゲット側コンピュータ２へ送信してお
り、その度にターゲット側コンピュータ２が操作タイム
ラグを計算してそれをホスト側コンピュータ５側へ通知
するようになっている。ホスト側コンピュータ５は、タ
ーゲット側コンピュータ２から最新の操作タイムラグを
受信する毎に、操作タイムラグ用レジスタ内の情報を更
新する。これにより、ホスト側コンピュータ５は、周期
的に最新の操作タイムラグを認識することができる。It should be noted that the host-side computer 5 always transmits the frame with the transmission time data once to the target-side computer 2 within a predetermined fixed period even if there is no input from the man-machine interface 4. Each time, the target computer 2 calculates the operation time lag and notifies the host computer 5 of it. The host computer 5 updates the information in the operation time lag register every time the latest operation time lag is received from the target computer 2. As a result, the host computer 5 can periodically recognize the latest operation time lag.
【００３５】一方、ＣＣＤカメラ１によって撮像された
操作対象物Ａの映像は、カメラ入力部６を介して通信処
理部９へ取り込まれ、所定の伝送フォーマットに変換さ
れてターゲット側コンピュータ２へと送信されるが、こ
のとき、１画面毎に撮像時刻データが付加されて映像信
号と一緒に送られるので、これを受信したホスト側コン
ピュータ５は、各画面の実際の撮像時刻を認識できる。
ホスト側コンピュータ５は、上記撮像時刻と内蔵タイマ
の現在時刻とを比較して映像受信タイムラグを計算し、
この映像受信タイムラグＴV と上記の最新の操作タイム
ラグＴO とを加算して全体タイムラグＴ（＝ＴV ＋
ＴO ）を求める。On the other hand, the image of the operation object A picked up by the CCD camera 1 is taken into the communication processing section 9 through the camera input section 6, converted into a predetermined transmission format, and transmitted to the target side computer 2. However, at this time, since the image pickup time data is added to each screen and sent together with the video signal, the host computer 5 receiving this can recognize the actual image pickup time of each screen.
The host-side computer 5 calculates the video reception time lag by comparing the image pickup time with the current time of the built-in timer,
This video reception time lag T V and the above-mentioned latest operation time lag T O are added to obtain the total time lag T (= T V +
Determine the T O).
【００３６】また、上記ホスト側コンピュータ５は、１
画面毎に撮像時刻データが付加された映像信号を画像処
理して操作対象物Ａの移動方向、速度、加速度を演算す
る。具体的には、撮像時刻がｔ1 、ｔ2 、ｔ3 の３つの
画面において、操作対象物Ａに対して設定された基準点
の各画面上の位置をｐ1 、ｐ2 、ｐ3 とすると、操作対
象物Ａの移動方向は、位置（座標）の変化から認識され
る。また、下式（１）および（２）によってｐ1 からｐ
2 への移動速度ｖ1 およびｐ2 からｐ3 への移動速度ｖ
2 を計算し、さらに下式（３）によって加速度ａを計算
する。Further, the host computer 5 is
The moving direction, speed, and acceleration of the operation target A are calculated by performing image processing on the video signal to which the imaging time data is added for each screen. Specifically, on three screens at imaging times t 1 , t 2 , and t 3 , the positions of the reference points set for the operation target A on the respective screens are p 1 , p 2 , and p 3 . Then, the moving direction of the operation target A is recognized from the change in the position (coordinates). In addition, according to the following equations (1) and (2), p 1 to p
Moving speed v 1 to 2 and moving speed v 1 from p 2 to p 3
2 is calculated, and further the acceleration a is calculated by the following formula (3).
【００３７】 ｖ1 ＝（ｐ2 −ｐ1 ）／（ｔ2 −ｔ1 ） ・・・（１） ｖ2 ＝（ｐ3 −ｐ2 ）／（ｔ3 −ｔ2 ） ・・・（２） ａ ＝（ｖ2 −ｖ1 ）／［｛（ｔ3 −ｔ2 ）＋（ｔ2 −ｔ1 ）｝／２］ ・・・（３） そして、前記の全体タイムラグＴを考慮して、実際にデ
ィスプレイ３に表示する画面上における基準点の未来位
置Ｐを、下式（４）によって求める。V 1 = (p 2 −p 1 ) / (t 2 −t 1 ) ... (1) v 2 = (p 3 −p 2 ) / (t 3 −t 2 ) ... (2) ) a = (v 2 -v 1 ) / [{(t 3 -t 2) + (t 2 -t 1)} / 2] ··· (3) then, taking into account the overall time lag T of the, The future position P of the reference point on the screen actually displayed on the display 3 is obtained by the following equation (4).
【００３８】 Ｐ ＝ｐ3 ＋ｖ2 ×Ｔ＋（ａ×Ｔ2 ）／２ ・・・（４） ホスト側コンピュータ５は、ｔ3 の画面から上記で算出
された未来位置Ｐに基準点が存在するように操作対象物
Ａを移動させた映像信号を生成し、その映像をディスプ
レイコントロール部１１を介してディスプレイ３に表示
させる。P = p 3 + v 2 × T + (a × T 2 ) / 2 (4) The host computer 5 has a reference point at the future position P calculated above from the screen of t 3. A video signal is generated by moving the operation target A in this way, and the video is displayed on the display 3 via the display control unit 11.
【００３９】その後、ホスト側コンピュータ５は、撮像
時刻がｔ4 の画面の映像信号を受信した場合は、ｔ2 、
ｔ3 、ｔ4 に撮像された画面を用いて上記と同様にして
操作対象物Ａの基準点の未来位置Ｐを演算し、以降も同
様に逐次画像処理を行って操作対象物Ａの予想位置を映
像化してディスプレイ３に表示させる。After that, when the host side computer 5 receives the video signal of the screen of which the image capturing time is t 4 , t 2 ,
The future position P of the reference point of the operation target A is calculated in the same manner as above using the screens imaged at t 3 and t 4 , and thereafter, the expected position of the operation target A is similarly subjected to successive image processing. Is visualized and displayed on the display 3.
【００４０】上記ディスプレイ３に表示される映像は、
受信映像よりも（操作タイムラグ＋映像受信タイムラ
グ）の時間だけ後の映像と予想されるものであるが、本
当の映像は受信映像より映像受信タイムラグの時間だけ
後の映像と予想される。したがって、ディスプレイ３に
表示される映像は、本当の映像よりも操作タイムラグの
時間だけ後と予想される未来の映像である。The image displayed on the display 3 is
Although it is expected that the video will be (operation time lag + video reception time lag) later than the received video, the real video is expected to be video delayed by the video reception time lag from the received video. Therefore, the video displayed on the display 3 is a future video expected to be behind the real video by the operation time lag.
【００４１】そして、オペレータは、タイムラグに応じ
た操作対象物Ａの未来位置をディスプレイ３で確認しな
がら、操作対象物Ａを遠隔操作することになる。この場
合、オペレータは、従来のように映像受信タイムラグや
操作タイムラグによって生じる操作遅れを意識すること
なく、あたかも操作対象物Ａを直接見ているかのように
操作できるのである。Then, the operator remotely operates the operation object A while confirming the future position of the operation object A according to the time lag on the display 3. In this case, the operator can operate as if he or she is directly looking at the operation target A, without being aware of the operation delay caused by the video reception time lag or the operation time lag as in the conventional case.
【００４２】すなわち、オペレータがディスプレイ３に
表示された映像に基づいて操作した場合、その操作が実
際に操作対象物Ａの動作として反映されるのは操作タイ
ムラグ時間後であり、この間に現場にある操作対象物Ａ
がディスプレイ３に表示されている予想位置に移動する
ので、操作遅れのない所望の操作結果が得られるのであ
る。That is, when the operator operates based on the image displayed on the display 3, the operation is actually reflected as the operation of the operation target object A after the operation time lag time, and at the site during this time. Operation object A
Moves to the expected position displayed on the display 3, so that a desired operation result with no operation delay can be obtained.
【００４３】尚、操作対象物Ａが複数の可動ユニットか
ら構成されている場合、または画面上に複数の操作対象
物Ａが表示される場合では、各可動ユニット、各操作対
象物Ａに対して上記と同様に未来位置が演算されてディ
スプレイ３に表示される。When the operation object A is composed of a plurality of movable units or when a plurality of operation objects A are displayed on the screen, for each movable unit and each operation object A. Similar to the above, the future position is calculated and displayed on the display 3.
【００４４】現場に設置されるＣＣＤカメラ１は、操作
対象物Ａの移動状態を的確にとらえることができる位置
に設置され、必要であれば複数台のＣＣＤカメラ１を用
いて多方向からの映像を複数台のディスプレイ３に表示
してもよい。The CCD camera 1 installed at the site is installed at a position where the movement state of the operation object A can be accurately grasped, and if necessary, a plurality of CCD cameras 1 are used to obtain images from multiple directions. May be displayed on a plurality of displays 3.
【００４５】以上のように、本実施例の遠隔操作システ
ムは、ＣＣＤカメラ１にて撮像された操作対象物Ａの映
像を通信媒体を介して遠隔地に設置されたホスト側コン
ピュータ５へ伝送すると共に、ホスト側コンピュータ５
から送られてくる操作データを受信してその操作データ
に基づいて操作対象物Ａの動作を制御するターゲット側
コンピュータ２と、上記ターゲット側コンピュータ２か
らの映像を受信してディスプレイ３に表示させると共
に、ディスプレイ３の近傍に設けられたマンマシンイン
ターフェース４にて入力された操作データを通信媒体を
介してターゲット側コンピュータ２へ伝送するホスト側
コンピュータ５とを備え、ディスプレイ３の表示画面を
見ながら操作対象物Ａを遠隔操作できるシステムであ
り、上記ホスト側コンピュータ５およびターゲット側コ
ンピュータ２は時刻が同期しているタイマを各々備える
と共に、上記ホスト側コンピュータ５はターゲット側コ
ンピュータ２へ伝送する信号に送信時刻データを付加す
る第１タイムスタンプ手段、上記ターゲット側コンピュ
ータ２は伝送する映像に撮像時刻データを付加する第２
タイムスタンプ手段を備えている。また、上記ターゲッ
ト側コンピュータ２は、送信時刻データが付加された信
号を受信したとき、その送信時刻と受信時刻とを比較し
て操作タイムラグを演算し、操作タイムラグの情報をホ
スト側コンピュータ５へ返信する操作タイムラグ返信手
段を備えている。また、上記ホスト側コンピュータ５
は、撮像時刻データが付加された映像を受信したとき、
その撮像時刻と受信時刻とを比較して映像受信タイムラ
グを演算する映像受信タイムラグ演算手段と、得られた
映像受信タイムラグと受信した操作タイムラグとを加算
して全体タイムラグを求め、該全体タイムラグに応じた
操作対象物Ａの画面上の未来の位置を画像処理によって
予想する画像処理部１５と、得られた操作対象物Ａの予
想位置を映像化してディスプレイ３に表示させるディス
プレイコントロール部１１とを備えている構成である。
この構成によって得られるタイムラグ補正機能により、
あたかも操作対象物を直接見て操作しているかのような
遠隔操作が可能となり、オペレータによる遠隔地での操
作が容易となる。As described above, in the remote control system of this embodiment, the image of the operation target A captured by the CCD camera 1 is transmitted to the host computer 5 installed in a remote place via the communication medium. Together with the host computer 5
The target side computer 2 that receives the operation data sent from the target side computer 2 and controls the operation of the operation target A based on the operation data, and receives the video from the target side computer 2 and displays it on the display 3. , A host-side computer 5 that transmits operation data input by a man-machine interface 4 provided in the vicinity of the display 3 to the target-side computer 2 via a communication medium, and operates while viewing the display screen of the display 3. It is a system capable of remotely controlling the object A, and the host side computer 5 and the target side computer 2 each have a timer whose time is synchronized, and the host side computer 5 sends a signal to be transmitted to the target side computer 2. First time stamp to add time data Stage, the second said target-side computer 2 for adding the imaging time data to the video to be transmitted
Equipped with time stamp means. Further, when the target side computer 2 receives the signal to which the transmission time data is added, the target side computer 2 compares the transmission time and the reception time to calculate the operation time lag, and returns the operation time lag information to the host side computer 5. The operation time lag replying means is provided. In addition, the host side computer 5
When receiving a video with image capture time data,
A video reception time lag calculation means for calculating the video reception time lag by comparing the image pickup time and the reception time, and the obtained video reception time lag and the received operation time lag are added to obtain the total time lag, and the total time lag is determined according to the total time lag. The image processing unit 15 that predicts a future position of the operation target A on the screen by image processing, and the display control unit 11 that visualizes the obtained expected position of the operation target A and displays it on the display 3. It has a structure.
With the time lag correction function obtained by this configuration,
It is possible to perform remote operation as if the user were operating by directly looking at the operation target, and the operator can easily operate in a remote place.
【００４６】本遠隔操作システムを用いれば、オペレー
タが直接的に操作対象物を目視できる位置にいなければ
できなかった様な作業が、通信媒体を使用して遠隔操作
することができるようになる。これにより、安全性、経
済性等の理由で作業現場の無人化を希望する様々な分野
（例えば無人倉庫でのフォークリフトの遠隔操作による
作業、月面でのブルドーザ等の遠隔操作による土木工
事、宇宙空間での宇宙ステーション組み立て作業、マニ
ュピュレータの遠隔操作等）への遠隔操作システムの適
用範囲が広がる。By using this remote control system, it becomes possible to perform remote control using a communication medium, even if the operator cannot directly see the operation target, which would otherwise be impossible. . As a result, various fields where unmanned work sites are desired due to reasons such as safety and economic efficiency (for example, work by remote control of forklifts in unmanned warehouses, civil engineering work by remote control of bulldozers on the moon, space, etc. The range of applications of remote control systems to space station assembly work in space, remote control of manipulators, etc. is expanded.
【００４７】上記実施例は、あくまでも、本発明の技術
内容を明らかにするものであって、そのような具体例に
のみ限定して狭義に解釈されるべきものではなく、本発
明の精神と特許請求の範囲内で、いろいろと変更して実
施することができるものである。The above-mentioned embodiments are intended to clarify the technical contents of the present invention, and should not be construed in a narrow sense by limiting only to such specific examples. Various modifications can be made within the scope of the claims.
【００４８】[0048]
【発明の効果】本発明の遠隔操作システムは、以上のよ
うに、操作局およびターゲット局が時刻同期しているタ
イマを各々備えると共に、上記操作局はターゲット局側
へ伝送する信号に送信時刻データを付加する第１タイム
スタンプ手段、上記ターゲット局は操作局側へ伝送する
映像に撮像時刻データを付加する第２タイムスタンプ手
段を備え、さらに、上記ターゲット局は、送信時刻デー
タが付加された信号を受信したとき、その送信時刻と受
信時刻とを比較して操作タイムラグを演算し、操作タイ
ムラグの情報を操作局へ返信する操作タイムラグ返信手
段を備える一方、上記操作局は、撮像時刻データが付加
された映像を受信したとき、その撮像時刻と受信時刻と
を比較して映像受信タイムラグを演算する映像受信タイ
ムラグ演算手段と、映像受信タイムラグ演算手段にて演
算された映像受信タイムラグと操作局から受信した操作
タイムラグとを加算して全体タイムラグを求め、該全体
タイムラグに応じた操作対象物の画面上の未来の位置を
画像処理によって予想する位置予想手段と、上記位置予
想手段の操作対象物に対する予想位置を映像化して表示
手段に表示させる表示制御手段とを備えている構成であ
る。As described above, the remote control system of the present invention is provided with the timers in which the operating station and the target station are synchronized in time, and the operating station transmits the transmission time data to the signal transmitted to the target station side. And a second time stamp means for adding the imaging time data to the video transmitted to the operation station side, and the target station further includes a signal to which the transmission time data is added. When the operation time lag is received, the operation time lag is calculated by comparing the transmission time and the reception time, and the operation time lag reply means for returning the operation time lag information to the operation station is provided, while the operation station adds the imaging time data. And a video reception time lag calculating means for calculating a video reception time lag by comparing the image pickup time and the reception time when the received video is received. The video reception time lag calculated by the video reception time lag calculating means and the operation time lag received from the operation station are added to obtain the total time lag, and the future position on the screen of the operation target object according to the total time lag is subjected to image processing. And a display control unit for displaying the predicted position of the position predicting unit with respect to the operation target on the display unit.
【００４９】それゆえ、現在の通信媒体の状態に応じた
タイムラグ補正表示がなされ、表示手段に表示された映
像を見ながらでも、あたかも操作対象物を直接見て操作
しているかのような遠隔操作が可能となり、オペレータ
による遠隔地での操作を容易にすることができるという
効果を奏する。Therefore, the time lag correction display is performed according to the current state of the communication medium, and the remote operation as if the user directly operates the operation target object while watching the image displayed on the display means. This enables the operator to easily operate the remote place.
【図１】本発明の一実施例を示すものであり、遠隔操作
システムの要部の構成を示すブロック図である。FIG. 1 shows an embodiment of the present invention and is a block diagram showing a configuration of a main part of a remote control system.
【図２】上記遠隔操作システムの概略構成を説明するた
めの説明図である。FIG. 2 is an explanatory diagram for explaining a schematic configuration of the remote control system.
【図３】従来において、ディスプレイを見ながら遠隔操
作を行う場合の操作タイミングを説明するための説明図
である。FIG. 3 is an explanatory diagram for explaining an operation timing when a remote operation is performed while looking at a display in the related art.
１ ＣＣＤカメラ（撮像手段） ２ ターゲット側コンピュータ（ターゲット局） ３ ディスプレイ（表示手段） ４ マンマシンインターフェース（操作入力手段） ５ ホスト側コンピュータ（操作局） ６ カメラ入力部 ７ 動力コントロール部 ９ 通信処理部（第２タイムスタンプ手段、操作タイ
ムラグ返信手段） １０ 送受信部 １１ ディスプレイコントロール部（表示制御手段） １２ マンマシンインターフェース入力部 １３ 通信処理部（第１タイムスタンプ手段、映像受
信タイムラグ演算手段） １４ 送受信部 １５ 画像処理部（位置予想手段）1 CCD camera (imaging means) 2 target side computer (target station) 3 display (display means) 4 man-machine interface (operation input means) 5 host side computer (operation station) 6 camera input section 7 power control section 9 communication processing section (Second time stamp means, operation time lag reply means) 10 Transmitter / receiver section 11 Display control section (display control means) 12 Man-machine interface input section 13 Communication processing section (first time stamp means, video reception time lag calculating means) 14 Transmitter / receiver section 15 Image processing unit (position prediction means)
Claims (1)
を通信媒体を介して遠隔地に設置された操作局側へ伝送
すると共に、操作局から送られてくる操作データを受信
してその操作データに基づいて操作対象物の動作を制御
するターゲット局と、 上記ターゲット局からの映像を受信して表示手段に表示
させると共に、表示手段の近傍に設けられた操作入力手
段にて入力された操作データを通信媒体を介してターゲ
ット局側へ伝送する操作局とを備え、 表示手段の表示画面を見ながら操作対象物を遠隔操作で
きる遠隔操作システムにおいて、 上記操作局およびターゲット局は時刻が同期しているタ
イマを各々備えると共に、上記操作局はターゲット局側
へ伝送する信号に送信時刻データを付加する第１タイム
スタンプ手段、上記ターゲット局は操作局側へ伝送する
映像に撮像時刻データを付加する第２タイムスタンプ手
段を備え、 上記ターゲット局は、送信時刻データが付加された信号
を受信したとき、その送信時刻と受信時刻とを比較して
操作タイムラグを演算し、操作タイムラグの情報を操作
局へ返信する操作タイムラグ返信手段を備え、 上記操作局は、 撮像時刻データが付加された映像を受信したとき、その
撮像時刻と受信時刻とを比較して映像受信タイムラグを
演算する映像受信タイムラグ演算手段と、 映像受信タイムラグ演算手段にて演算された映像受信タ
イムラグと操作局から受信した操作タイムラグとを加算
して全体タイムラグを求め、該全体タイムラグに応じた
操作対象物の画面上の未来の位置を画像処理によって予
想する位置予想手段と、 上記位置予想手段の操作対象物に対する予想位置を映像
化して表示手段に表示させる表示制御手段とを備えてい
ることを特徴とする遠隔操作システム。1. An image of an operation target imaged by an image pickup means is transmitted to an operation station side installed at a remote place via a communication medium, and operation data sent from the operation station is received. The target station that controls the operation of the operation target object based on the operation data, and the image from the target station is received and displayed on the display means, and input by the operation input means provided near the display means. In the remote operation system that includes an operation station that transmits the operation data to the target station side via the communication medium, and that can remotely operate the operation target object while observing the display screen of the display unit, the operation station and the target station are The operation station includes first and second time stamp means for adding transmission time data to the signal to be transmitted to the target station side, each of which is provided with a synchronized timer. The target station is provided with a second time stamp means for adding the imaging time data to the video transmitted to the operation station side, and when the target station receives the signal with the transmission time data, compares the transmission time with the reception time. The operation time lag is returned to the operation station by calculating the operation time lag based on the operation time lag, and the operation station, when receiving the video with the imaging time data, displays the imaging time and the reception time. The video reception time lag calculating means for comparing and calculating the video reception time lag, the video reception time lag calculated by the video reception time lag calculating means and the operation time lag received from the operation station are added to obtain the total time lag, and the total time lag is calculated. Position prediction means for predicting the future position of the operation target on the screen according to A remote control system, comprising: a display control unit for displaying an expected position of an operation target on a display unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP198995A JPH08191487A (en) | 1995-01-10 | 1995-01-10 | Remote control system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP198995A JPH08191487A (en) | 1995-01-10 | 1995-01-10 | Remote control system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08191487A true JPH08191487A (en) | 1996-07-23 |
Family
ID=11516898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP198995A Pending JPH08191487A (en) | 1995-01-10 | 1995-01-10 | Remote control system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH08191487A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998021631A1 (en) * | 1996-11-11 | 1998-05-22 | Komatsu Ltd. | Remote controller for mobile station |
| JP2010061346A (en) * | 2008-09-03 | 2010-03-18 | Ihi Aerospace Co Ltd | Remote control system |
| JP2010262477A (en) * | 2009-05-07 | 2010-11-18 | Ihi Corp | Remote control system |
| US8421797B2 (en) | 2008-11-28 | 2013-04-16 | Yamaha Hatsudoki Kabushiki Kaisha | Remote control system and remote control apparatus |
| JP2019049888A (en) * | 2017-09-11 | 2019-03-28 | 株式会社Ｉｈｉエアロスペース | Remote control display apparatus and remote control display method |
| CN113148889A (en) * | 2021-04-14 | 2021-07-23 | 铁岭长天机电有限责任公司 | Mechanical lifting rod for single screw |
| JPWO2022244329A1 (en) * | 2021-05-20 | 2022-11-24 | ||
| CN116909269A (en) * | 2023-07-04 | 2023-10-20 | 合肥瓦力觉启机器人科技有限公司 | AGV remote control method and system |
-
1995
- 1995-01-10 JP JP198995A patent/JPH08191487A/en active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998021631A1 (en) * | 1996-11-11 | 1998-05-22 | Komatsu Ltd. | Remote controller for mobile station |
| JP2010061346A (en) * | 2008-09-03 | 2010-03-18 | Ihi Aerospace Co Ltd | Remote control system |
| US8421797B2 (en) | 2008-11-28 | 2013-04-16 | Yamaha Hatsudoki Kabushiki Kaisha | Remote control system and remote control apparatus |
| JP2010262477A (en) * | 2009-05-07 | 2010-11-18 | Ihi Corp | Remote control system |
| JP2019049888A (en) * | 2017-09-11 | 2019-03-28 | 株式会社Ｉｈｉエアロスペース | Remote control display apparatus and remote control display method |
| CN113148889A (en) * | 2021-04-14 | 2021-07-23 | 铁岭长天机电有限责任公司 | Mechanical lifting rod for single screw |
| JPWO2022244329A1 (en) * | 2021-05-20 | 2022-11-24 | ||
| WO2022244329A1 (en) * | 2021-05-20 | 2022-11-24 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
| CN116909269A (en) * | 2023-07-04 | 2023-10-20 | 合肥瓦力觉启机器人科技有限公司 | AGV remote control method and system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4424031B2 (en) | Image generating apparatus, system, or image composition method. | |
| KR100768616B1 (en) | Mobile camera system, mobile camera, server and terminal apparatus | |
| CN113074714B (en) | Multi-state potential sensing sensor based on multi-data fusion and processing method thereof | |
| CA2407537C (en) | Passive coherent location system and method | |
| EP1444668B1 (en) | System and method for informing a critical situation by using network | |
| US11557206B2 (en) | Information provision system, server, and mobile terminal | |
| EP1117256A1 (en) | All-around video output method and device | |
| JP2019016188A (en) | Mobile object remote control system and mobile object remote control method | |
| KR100720595B1 (en) | Intelligent video surveillance system and method for interworking with an automatic tracking radar system | |
| JP4643860B2 (en) | VISUAL SUPPORT DEVICE AND SUPPORT METHOD FOR VEHICLE | |
| JP7246829B2 (en) | Mobile position measurement system | |
| CN114268787B (en) | Delay compensation method, device, equipment and storage medium based on AR-HUD | |
| JP2018526849A (en) | Surveillance system having a fixed camera and a temporary camera | |
| US20040189816A1 (en) | Image delivery camera system, image delivery camera, and image delivery server | |
| JPH04319992A (en) | Long-distance monitor control device for mobile body | |
| EP4220580B1 (en) | Method for vehicle driving assistance within delimited area | |
| JPH08191487A (en) | Remote control system | |
| JP2010278848A (en) | Movable information collection device | |
| JPH10275015A (en) | Mobile remote control device | |
| JP3686333B2 (en) | Moving image processing camera and image processing system using the same | |
| KR100957605B1 (en) | Road image providing system | |
| KR102680837B1 (en) | Object Integrated Tracking Device | |
| CN114241041B (en) | AR-HUD-based motion compensation method, device, equipment and storage medium | |
| CN111901894B (en) | Method and apparatus for operating a wireless communication network | |
| JP4975003B2 (en) | Target position specifying apparatus and target position specifying method |