JPH09327044A - マニピュレータの立体視装置 - Google Patents

Abstract

(57)【要約】 【課題】立体視を行う際に容易に合焦点を移動させるこ
とができ、また作業に不要な視覚情報を削除することに
ある。 【解決手段】遠隔操作にて作業を行うマニピュレータに
搭載され、且つ２台のカメラ１ａ，１ｂにて撮像された
映像を画像データに変換した後、モニタ４にその画像を
写出すようにしたマニピュレータの立体視装置におい
て、２台のカメラ１ａ，１ｂを移動させる雲台７と、２
台のカメラ１ａ，１ｂにて撮像された映像を左右の画像
に分割するスキャンコンバータ３と、このスキャンコン
バータ３の同期信号にてモニタ４の画像をカメラ毎に作
業者の両眼に交互に入力する画像切換手段と、モニタ４
に写し出される特定画像を指示し、その指示信号により
カメラの合焦点位置を変更させる入力手段１０とを備え
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、遠隔操作にて作業
を行うマニピュレータに用いる視覚装置において、特に
立体視における合焦方式により撮像中の作業対象を捉ら
えるようにしたマニピュレータの立体視装置に関する。

【０００２】

【従来の技術】例えば高圧配電線の碍子、変圧器等の交
換作業を行う活線工事設備に用いられる遠隔操作形マニ
ピュレータにおいては、マスタ・スレーブ・マニピュレ
ータにて作業を行う場合、複数台のＩＴＶカメラにより
作業範囲を撮影し、画像処理装置にて立体画像として立
体モニタに映し出すことにより遠隔操作を可能としてい
る。

【０００３】従来、かかるマニピュレータに用いられる
立体視装置としては、図９に示すような構成のものが採
用されている。図９に示すように２台のＩＴＶカメラ１
ａ，１ｂを左右に適宜の間隔を存して雲台７に設置し、
これら両ＩＴＶカメラ１ａ，１ｂを挟む角度（輻輳角）
を雲台コントローラ８により調整することにより、両眼
に視差を作り、立体感を得るものである。

【０００４】更に、これら左右のＩＴＶカメラ１ａ，１
ｂにて撮像された映像はカメラコントローラ２ａ，２ｂ
により映像信号に変換された後、スキャンコンバータ３
により左右の映像が交互（１／１２０sec 毎）に立体モ
ニタ４に写し出される。

【０００５】この場合、スキャンコンバータ３は映像信
号に同期して立体モニタ４の前面に設置したＬＣＤ５
（液晶シャッタ）の駆動を行い、その結果左右の映像は
各画面毎に偏向方向が切替わることになる。この偏向さ
れたモニタ画像を左右に９０°の位相角を有する偏向メ
ガネ６にて観察することにより、両眼に視差が生じて立
体感を得ることができる。

【０００６】従って、このように構成された立体視装置
を遠隔操作型マスタ・スレーブ・マニピュレータの視覚
装置として搭載することにより、立体モニタ４を観測し
ながらマスタ・スレーブ・マニピュレータを臨場感を持
って操作できるシステムを実現することができる。

【０００７】

【発明が解決しようとする課題】しかし、このような構
成の視覚装置を搭載したマスタ・スレーブ・マニピュレ
ータにおいて、遠隔操作により作業を行う場合、次のよ
うな問題を生じることがある。

【０００８】即ち、作業場所が変わって視覚の観察箇所
を変更した場合、左右のＩＴＶカメラの合焦点を頻繁に
調整する必要が生じ、新しい合焦点を設定するために作
業者は一時的にマニピュレータ操作からカメラ操作に移
行する必要があり、作業生産性の阻害要因となってい
た。

【０００９】また、作業対象の周囲に様々な障害物があ
る場合、前述した立体視装置を使用すると合焦点の前後
にある融合範囲を超えることが生じ、作業者にはその障
害物が二重に見えることになり、作業に支承をきたすこ
とがあった。

【００１０】さらに、前述の立体視装置ではカメラの輻
輳角、仰角を雲台の移動機構により調整しているため、
視覚装置の大型化、重量増加を招いていた。本発明の目
的は、上記従来技術の問題点を解消し、立体視を行う際
に容易に合焦点を移動させることができ、また作業に不
要な視覚情報を削除することができるマニピュレータの
立体視装置を提供することにある。

【００１１】

【課題を解決するための手段】本発明は上記の目的を達
成するため、次のような手段によりマニピュレータの立
体視装置を構成する。請求項１に対応する発明は、遠隔
操作にて作業を行うマニピュレータに搭載され、且つ２
台のカメラにて撮像された映像を画像データに変換した
後、モニタにその画像を写出すようにしたマニピュレー
タの立体視装置において、前記２台のカメラを移動させ
る移動機構と、前記２台のカメラにて撮像された映像を
左右の画像に分割するスキャンコンバータと、このスキ
ャンコンバータの同期信号にて前記モニタの画像をカメ
ラ毎に作業者の両眼に交互に入力する画像切換手段と、
前記モニタに写し出される特定画像を指示し、その指示
信号により前記カメラの合焦点位置を変更させる入力手
段とを備える。

【００１２】従って、上記のような構成のマニピュレー
タの立体視装置にあっては、作業者の視線によりモニタ
上の任意の対象物に合焦位置を設定することが可能とな
るので、遠隔作業中の作業者は作業に専念することがで
きる。

【００１３】請求項２に対応する発明は、請求項１に対
応する発明において、入力手段からの指示によりスキャ
ンコンバータに作業対象物を撮像する前記２台のカメラ
の光軸の交点までの距離を画像メモリの呼出し番地の変
更により変化させて画像を移動させる機能を有する。

【００１４】従って、上記のような構成のマニピュレー
タの立体視装置にあっては、作業対象の立体奥行き感を
作業者に適合させることができ、遠隔操作性を向上させ
ることができる。

【００１５】請求項３に対応する発明は、請求項１に対
応する発明において、入力手段からの指示によりスキャ
ンコンバータに画像メモリ間の演算により左右の画像の
形状を一致させる機能を有する。

【００１６】従って、上記のような構成のマニピュレー
タの立体視装置にあっては、スキャンコンタ内の画像メ
モリの呼出し方法を変更することにより、左右画像のず
れを補正することができるので、立体システムを軽量化
することができる。

【００１７】請求項４に対応する発明は、請求項１に対
応する発明において、入力手段からの指示により前記モ
ニタ上の画像領域をマスキングしてカメラ画像から削除
する機能を有する。

【００１８】従って、上記のような構成のマニピュレー
タの立体視装置にあっては、融合範囲を逸脱した対象物
が写し出された場合、そのエリアを削除、例えばブルー
バック処理等を行うことにより、眼精疲労を低減させる
ことができる。

【００１９】

【発明の実施の形態】以下本発明の実施の形態を図面を
参照して説明する。図１は本発明によるマニピュレータ
の立体視装置の実施の形態を示すブロック図で、図９と
同一部分には同一符号を付して示す。

【００２０】１ａ，１ｂは雲台７に適宜の間隔を存して
移動可能に設置された２台のＩＴＶカメラ、２ａ，２ｂ
はＩＴＶカメラ１ａ，１ｂで撮像された映像を映像信号
に変換するカメラコントローラである。

【００２１】また、３はスキャンコンバータで、このス
キャンコンバータ３はカメラコントローラ２ａ，２ｂで
変換された映像信号をモニタ４に左右の映像として交互
（１／１２０sec)に表示すると共に、映像信号に同期し
てモニタ４の前面に設けられたＬＣＤ（液晶シャッタ）
５の駆動を行って左右の映像に対する偏光方向を各画面
毎に切替えるものである。６はこの偏光されたモニタ画
像を左右に９０°の位相角を有する偏光メガネである。

【００２２】さらに、８は雲台８を移動してＩＴＶカメ
ラ１ａ，１ｂを挟む角度（輻輳角）を調整する雲台コン
トローラである。一方、１０はモニタ４の前面に設置さ
れた位置入力手段で、この位置入力手段１０は合焦させ
たい位置の指示信号を選択スイッチＳＷ１を介してスキ
ャンコンバータ３に与えるか、または選択スイッチＳＷ
２を介してフォーカスコントローラ２０に与え、また雲
台コントローラ８にその指示信号が与えるものである。

【００２３】また、２０はカメラコントローラ２ａ，２
ｂより映像信号及び位置入力手段１０の指示信号を入力
してフォーカス評価値を生成するフォーカスコントロー
ラで、このフォーカスコントローラ２０は画像の特定エ
リアの空間周波数の積分値が最大になるように左右のＩ
ＴＶカメラ１ａ，１ｂの焦点を移動させるものである。

【００２４】図２は上記スキャンコンバータ３の構成例
を示すブロック図である。図２において、３０ａ，３０
ｂはＩＴＶカメラ１ａ，１ｂで撮像された映像を画像デ
ータに変換するメモリ入力コントローラ、３１ａ，３１
ｂはメモリ入力コントローラ３０ａ，３０ｂより入力さ
れる画像データを記憶する画像メモリである。

【００２５】この画像メモリ３１ａ，３１ｂは、水平方
向のメモリ番地と垂直方向のメモリ番地を有し、位置入
力手段１０によりこれら各番地を変更したり、画像メモ
リの水平・垂直成分を回転させることが可能になっい
る。

【００２６】また、３２は位置入力手段１０からの指示
により画像メモリ３１ａ，３１ｂより、色信号（ＲＧＢ
信号）の何ずれかを出力制御するメモリ出力コントロー
ラ、３３は画像メモリ３１ａ，３１ｂより出力される画
像データをアナログ信号に変換して出力するＤ／Ａコン
バータである。

【００２７】なお、図中３４はカメラ１ａから映像信号
に同期するクロック信号を取込んで図１に示すＬＣＤ５
を駆動するＬＣＤドライバである。次に上記のように構
成されたマニピュレータの立体視装置の作用について述
べる。

【００２８】いま、選択スイッチＳＷ２によりフォーカ
スコントローラ２０側を選択している状態にあるものと
する。このような状態でマスタ・スレーブ・マニピュレ
ータにて遠隔操作により作業場所を変える場合、作業者
はモニタ４に表示されている図３に示すような画像に対
して位置入力手段１０により合焦させたい位置を指示す
ると、カメラコントローラ２ａ，２ｂよりフォーカスコ
ントローラ２０にフォーカス画像の評価値を生成するた
めに映像信号が入力される。また、位置入力手段１０よ
り雲台コントローラ８に動作指示がなされると、雲台７
は雲台コントローラ８により駆動され、左右のＩＴＶカ
メラ１ａ，１ｂが作業者の意図した位置に移動する。

【００２９】すると、フォーカスコントローラ２０は画
像の特定エリアの空間周波数の積分値が最大になるよう
に左右のＩＴＶカメラ１ａ，１ｂの焦点を移動させる。
図３は位置入力手段１０により合焦位置が変更される例
を示したもので、測距範囲がエリア３０からエリア３１
に変更する状態を示している。

【００３０】ここで、位置入力手段１０により合焦位置
を変更するときの入力点の検出手段の具体例について述
べる。その一つの例としては、図４に示すようにモニタ
４上の点Ａから点Ｂに移動させる場合、作業者の視線の
動き、例えば瞳孔の動きを検出し、その検出信号を入力
する。

【００３１】また、他の例としては、図５に示すように
モニタ４上の画像から入力装置４０に設置した偏光フィ
ルタ４１に入光し、ハーフミラー４２を介して観察され
る作業者の瞳孔の動きをハーフミラー４２を介して撮像
素子４３により検出し、その検出信号を画像処理等して
入力する。

【００３２】このように合焦位置を変更した後、遠隔操
作により作業を行う場合には、左右のＩＴＶカメラ１
ａ，１ｂにて撮像された映像をカメラコントローラ２
ａ，２ｂにより画像信号に変換した後、スキャンコンバ
ータ３により左右の画像が交互（１／１２０sec 毎）に
立体モニタ４に写し出される。

【００３３】この場合、スキャンコンバータ３は画像信
号に同期して立体モニタ４の前面に設置したＬＣＤ５
（液晶シャッタ）の駆動を行い、その結果左右の画像は
各画面毎に偏向方向が切替わることになる。この偏向さ
れたモニタ画像を左右に９０°の位相角を有する偏向メ
ガネ６にて観察することにより、両眼に視差が生じて立
体感を得ることができる。

【００３４】上記した実施の形態によれば、作業者の視
線を検知してモニタ上の任意の対象物に合焦位置を決定
することができ、また観測したい対象をモニタ画面の中
心に移動させることができるので、遠隔作業中の作業者
は作業に専念することができる。

【００３５】次に選択スイッチＳＷ１によりスキャンコ
ンバータ３側を選択して合焦位置を補正する場合につい
て述べる。いま、図６に示すようにモニタ４上にある対
象物、図では多角形の物体を観察している場合、正常な
立体視の場合は左右画像としてＡ及びＢがモニタ４上に
表示される筈であるが、実際にはカメラ固定方法のガ
タ、カメラ内に設置された撮像素子ＣＣＤの取付け誤
差、ズーム比の左右アンバランス等の原因により対象物
がＢ１乃至Ｂ３のように写し出されることがある。

【００３６】第１の実施の形態では、スキャンコンバー
タ３の内部処理によりこれら対象物の誤差を補正するも
のである。以下図２に示すスキャンコンバータ３の構成
と入力手段１０の指示による処理を図７に示すフローチ
ャートとにより説明する。

【００３７】図７に示すフローチャートにおいて、まず
左右映像を位置入力手段１０にて例えばモニタ上に設定
したメニューアイコンを選択する等の動作により左右画
像Ａ，Ｂを重合せる（Ｆ１）。この重合せの具体的方法
は図２に示す画像メモリ３１ａ，３１ｂで水平方向のメ
モリ呼出し番地を変更することにより画像の位置を移動
させる。

【００３８】次に左右画像の重なり度合いを作業者によ
り判断し、上下方向の位置ずれと判断した場合（Ｆ２）
には位置入力手段１０を用いてモニタ４に表示される上
下方向の移動アイコンを選択し、画像を上下方向に移動
させて左右の画像を合せる（Ｆ３）。

【００３９】この上下方向への画像の移動方法をより具
体的に述べると、図２の画像メモリ３１ａ，３１ｂの垂
直方向のメモリ呼出し番地を変更することで実施する。
また、対象物が回転しているための位置ずれならば、対
象物の重心に沿って回転させるか、あるいは位置入力手
段１０により回転中心を設定してその周りに画像を回転
させる（Ｆ４）。この回転の具体的手法は画像メモリの
水平・垂直成分を座標回転させることで可能である。

【００４０】さらに、作業者の判断が左右の対象物の大
きさの不一致ならば、カメラ光軸を中心に同心状に拡大
・縮小する（Ｆ５）。なお、Ｆ３，Ｆ４，Ｆ５はそれそ
れ組合せて行うことも考えられる。

【００４１】その後、初期の合焦点まで左画像を戻す
（Ｆ６）。この時、合焦点は画像メモリ３１ａ，３１ｂ
の水平方向の読出し番地を任意に設定することことによ
り可能である。

【００４２】このように左右のＩＴＶカメラ１ａ，１ｂ
の光軸の交点までの距離をスキャンコンバータ３の左右
の画像メモリ３１ａ，３１ｂの呼出し番地を変更するこ
とにより、作業対象の立体奥行き間を作業者に適合させ
ることが可能となり、遠隔操作性を向上させることがで
きる。

【００４３】また、左右のＩＴＶカメラ１ａ，１ｂの取
付けに起因する映像の上下左右方向、回転方向の誤差を
スキャンコンバータ内のメモリ呼出し方式を変更して左
右画像の離隔距離を任意に設定することができるので、
左右の画像のずれを補正することにより、カメラ雲台の
輻輳角・仰角の調整軸を省略でき、立体システムの軽量
化を図ることができる。

【００４４】ところで、作業対象に左右のＩＴＶカメラ
１ａ，１ｂの光軸を合せた場合、立体視が可能な範囲
（融合範囲）外に障害部がある場合、立体視を行う上で
左右画像が２重に見えることがある。

【００４５】本実施の形態では、このような場合に備え
てスキャンコンバータ３に指定エリアに対するマスキン
グ機能を持たせてある。ここで、その詳細について図８
により説明する。図８（ａ）に示すように左右のＩＴＶ
カメラ１ａ，１ｂの光軸を作業対象Ａに合せた場合、立
体視が可能な範囲外に障害物Ｂが存在すると、モニタ４
上には図８（ｂ）に示すように障害物Ｂの画像が視差過
大として表れ、作業者には明らかに２物体として知覚さ
れることになる。そこで、位置入力手段１０により２重
化として認知された部位に対してマスキングをかけるエ
リアを指定する。即ち、図８（ｂ）に示すようにＰ１〜
Ｐ４点によりエリア５２を指定すると、メモリ出力コン
トローラ３２より画像メモリ３１ａ，３１ｂより出力さ
れる画像データに対して前記エリア５２に相当する部分
が例えばブルーバック処理（モニタの該当エリアを青地
で塗りつぶす）等によりマスキングされる。従って、モ
ニタ４上から融合範囲を逸脱した対象物のエリアが削除
されるので、作業者の眼精疲労を低減させることができ
る。

【００４６】

【発明の効果】以上述べたように本発明によれば、遠隔
操作時の作業者に生じる装置操作に伴う判断に対する負
担を軽減し、作業性の向上をもたらすと共に装置の軽量
化を図ることができるマニピュレータの立体視装置を提
供できる。

【図面の簡単な説明】

【図１】本発明によるマニピュレータの立体視装置の実
施の形態を示すブロック図。

【図２】同実施の形態におけるスキャンコンバータのブ
ロック構成図。

【図３】同実施の形態において、合焦位置の変更方法を
説明するための図。

【図４】同実施の形態において、位置入力手段に合焦位
置を変更するときの視線検出方法の説明図。

【図５】同じく位置入力手段に合焦位置を変更するため
の視線検出装置の構成図。

【図６】同実施の形態において、カメラ輻輳角・仰角の
補正方法の説明図。

【図７】同実施の形態において、スキャンコンバータ内
部を示すフローチャート。

【図８】同実施の形態において、カメラ輻輳角・仰角の
補正方法の説明図。

【図９】従来のマニピュレータの立体視装置を示すブロ
ック図。

【符号の説明】

１ａ，１ｂ……ＩＴＶカメラ ２ａ，２ｂ……カメラコントローラ ３……スキャンコンバータ ４……モニタ ５……ＬＣＤ ６……偏光メガネ ７……雲台 ８……雲台コントローラ １０……位置入力手段 ３０ａ，３０ｂ……メモリ入力コントローラ ３１ａ，３１ｂ……画像メモリ ３２……メモリ出力コントローラ ３３……Ｄ／Ａコンバータ ３４……ＬＣＤドライバ ４０……入力装置 ４１……偏光フィルタ ４２……ハーフミラー ４３……撮像素子

Claims (4)

【特許請求の範囲】
1. 【請求項１】 遠隔操作にて作業を行うマニピュレータ
   に搭載され、且つ２台のカメラにて撮像された映像を画
   像データに変換した後、モニタにその画像を写出すよう
   にしたマニピュレータの立体視装置において、 前記２台のカメラを移動させる移動機構と、前記２台の
   カメラにて撮像された映像を左右の画像に分割するスキ
   ャンコンバータと、このスキャンコンバータの同期信号
   にて前記モニタの画像をカメラ毎に作業者の両眼に交互
   に入力する画像切換手段と、前記モニタに写し出される
   特定画像を指示し、その指示信号により前記カメラの合
   焦点位置を変更させる入力手段とを備えたことを特徴と
   するマニピュレータの立体視装置。
2. 【請求項２】 請求項１記載のマニピュレータの立体視
   装置において、入力手段からの指示によりスキャンコン
   バータに作業対象物を撮像する前記２台のカメラの光軸
   の交点までの距離を画像メモリの呼出し番地の変更によ
   り変化させて画像を移動させる機能を有することを特徴
   とするマニピュレータの立体視装置。
3. 【請求項３】 請求項１記載のマニピュレータの立体視
   装置において、入力手段からの指示によりスキャンコン
   バータに画像メモリ間の演算により左右の画像の形状を
   一致させる機能を有することを特徴とするマニピュレー
   タの立体視装置。
4. 【請求項４】 請求項１記載のマニピュレータの立体視
   装置において、入力手段からの指示により前記モニタ上
   の画像領域をマスキングしてカメラ画像から削除する機
   能を有することを特徴とするマニピュレータの立体視装
   置。