JPH07139909A

JPH07139909A - 視点位置計測制御方法

Info

Publication number: JPH07139909A
Application number: JP28631493A
Authority: JP
Inventors: Hiroshi Naruse; 央成瀬; Atsushi Nobiki; 敦野引; Hiroshi Nakanishi; 寛中西; Minoru Shirogata; 実白潟
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 1993-11-16
Filing date: 1993-11-16
Publication date: 1995-06-02

Abstract

(57)【要約】【目的】ステレオ画像の演算処理で電柱等の円筒中心
位置、半径、特徴点位置を計測し、マニピュレータ等の
位置計測、移動制御を行なう方法を提供する。【構成】第１工程において、ステレオ画像を演算処理
して、円筒の左右位置を計測し、それらの中心位置とし
て円筒中心位置を、また両者の間隔から半径を算出す
る。次に、第２工程において、ステレオ画像を演算処理
して、円筒面上の特徴点の位置を計測する。次に、第３
工程において、これらの円筒中心位置、半径、特徴点位
置から円筒中心点と特徴点とを結ぶ直線の方向を求め、
正対化させるのに必要な視点の移動方向とその量を求め
て、視点を移動する。以上を目標位置となるまで繰り返
す。【効果】パソコン程度の簡単な装置で、熟練を要せず、
マニピュレータ等を配した視点を正確に計測、正対化
し、任意位置まで容易に移動できるようになる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、電柱などの円筒形状を
有する物体に対し、円筒物体の左右境界位置情報と円筒
面上の特徴点の位置情報に基づいて、マニピュレータ先
端部に取り付けられた工具と円筒物体との相対位置関係
を計測したり、この工具を円筒物体に対して所望の位置
に移動制御したりする方法に関するものである。

【０００２】

【従来の技術】通信や電力を支える上で電柱は重要な屋
外施設であり、近年需要増加に伴って電柱上のケーブル
張り替え作業などが増えている。これらの作業はいわゆ
る３Ｋ作業であり、作業環境の改善、人件費の高騰など
の理由により、現在マニピュレータ先端部に工具を取り
付け、遠隔操作による作業方法などが検討されている。
ここで問題となることは、マニピュレータ先端部を効率
的かつ高精度に、作業すべき適当な場所に移動すること
である。従来は、マニピュレータ先端部にカメラを取り
付け、オペレータがその画像をモニタで目視しながら移
動作業を行なっていた。しかし、１枚の画像からは距離
情報が得られないことから、熟練者であっても適切に移
動することが困難であった。この問題を回避するため
に、カメラを２台用いてステレオ画像を撮影し、左右そ
れぞれの目に左右別々のステレオ画像を見せることでオ
ペレータに遠近感を与える方法も検討されている（廣瀬
通孝、“人工現実感はどこまで実現するか”、日本機械
学会誌、Ｖｏｌ．９３、Ｎｏ．８６３、ｐｐ．８７４−
８８０，１９９０）。

【０００３】一方、従来より、ステレオ画像から３次元
空間位置を計測するステレオ画像計測方法が知られてい
る。以下、このステレオ画像計測方法について簡単に説
明する。

【０００４】ステレオ画像計測原理を図５に示す。３次
元空間を表す座標としてｘ、ｙ、ｚを用い、画像面上の
位置を表す座標としてｕ、ｖを用いる。ｘ軸とｕ軸、ｚ
軸とｖ軸はそれぞれ平行であり、ｙ軸はカメラの光軸に
平行であるとする。空間座標系の原点であるＯを、左右
のカメラの投影中心Ｆ_l、Ｆ_rの中点にとる。カメラ間の
距離を２ａとすると、Ｆ_l、Ｆ_rの３次元空間内での座標
はそれぞれ（−ａ，０，０）、（ａ，０，０）で表され
る。現実のカメラの画像面はカメラの投影中心に関して
計測対象と反対側にあるが、以下に述べる幾何学的定量
関係を見易くするために、図５ではカメラ画像面を計測
対象と同じ側の、投影中心に関して対称の位置に描いて
いる。このとき、投影中心と画像面との距離をｆとする
と、左右のカメラ画像面における画像原点Ｏ_l、Ｏ_rの３
次元空間座標はそれぞれ（−ａ，ｆ，０）、（ａ，ｆ，
０）で表される。以下、左、右の画像を示す添字として
ｌ、ｒを用い、原点Ｏを視点と呼ぶ。

【０００５】今、３次元空間内の点Ｐが、左右画像面上
の点Ｉ_l（ｕ_l，ｖ_l）、Ｉ_r（ｕ_r，ｖ_r）に投影されたと
する。ステレオ画像計測では、画像上においてＩ_l、Ｉ_r
を決定し、三角測量の原理に基づいて点Ｐの３次元空間
座標（ｘ，ｙ，ｚ）を求める。ここで、２台のカメラの
光軸が同一平面上にありｘ軸とｕ軸とを平行にとってい
ることから、ｖ_lとｖ_rとは同じ値をとる。そこで、以下
では両者を区別せずｖで表す。図５に示すように、直線
Ｆ_lＩ_lとＦ_rＩ_rとが点Ｐで交わるという幾何学的条件よ
り、画像面上の座標ｕ_l，ｕ_r，ｖと３次元空間内の座標
ｘ、ｙ、ｚとの関係は、ｘ＝ａ（ｕ_l＋ｕ_r）／（ｕ_l−ｕ_r）（１）ｙ＝２ａｆ／（ｕ_l−ｕ_r）（２）ｚ＝２ａｖ／（ｕ_l−ｕ_r）（３）と求められる。

【０００６】次に、ディジタル画像処理を例にとって、
このようなステレオ画像計測を行なうための装置構成の
ブロック図を図６に示す。テレビカメラ１−１、１−２
で撮像された画像は、走査線毎に走査されながら時間的
に連続した映像信号に変換される。この映像信号は、デ
ジタイザ２のサンプラによって、碁盤の目のように１画
面あたり縦横数百個の画素に標本化される。また、同時
にＡ／Ｄ変換器によって、各画素に入射した光量に対応
した濃度として数百階調に量子化される。このように画
像は、画素の位置を示す座標とそこにおける濃度からな
る情報として、画像メモリ３に記憶される。画像面に投
影された物体境界は通常明るさが大きく変化しているの
で、計算機（ＣＰＵ）４は画像メモリ３に記憶された画
像に対して微分処理などを施し、明るさが変化する場所
として物体境界の投影位置を検出する。このような処理
を左右の画像に対して行なうことにより、それぞれの画
像面上の対応点Ｉ_l（ｕ_l，ｖ_l）、Ｉ_r（ｕ_r，ｖ_r）が得
られる。なお、内挿計算などを行うことによって、投影
位置の決定に際しディジタル化による影響を無視できる
程小さくできる。このようにステレオ画像処理では、物
体投影点の画像面座標ｕ_l、ｕ_r、ｖを計測し、３次元空
間座標ｘ、ｙ、ｚを間接測定する。

【０００７】

【発明が解決しようとする課題】上記したように、従来
の電柱上のケーブル張り替え作業等において、オペレー
タがステレオ画像を見ながら遠隔操作でマニピュレータ
を移動作業する場合では、高度な画像制御が行える特殊
な装置が必要になる他、眼球疲労などオペレータに負担
を強いるなどの問題点があった。

【０００８】本発明は、このような問題点を解決するた
めになされたもので、その目的は、ステレオ画像を演算
処理して円筒中心位置、半径、特徴点位置を高精度に計
測し、マニピュレータの位置計測、移動制御を行なう方
法を提供することにある。具体的には、ステレオ画像を
計算機で演算処理することにより、電柱の中心位置と半
径、および電柱上の特徴点の位置を直接計測し、この情
報に基づいてマニピュレータと電柱との相対位置関係を
求め、マニピュレータを移動、制御する方法を提案す
る。

【０００９】

【発明が解決しようとする課題】上記の目的を達成する
ため、本発明の視点位置計測制御方法は、ステレオ画像
処理を用いて円筒物体に対して視点の位置を計測、制御
する際に、円筒面上の特徴点に対して視点を正対化させ
る方法において、ステレオ画像を演算処理して、円筒の
左右境界位置を計測し、その間隔から円筒中心位置、半
径を算出する第１工程と、同じくステレオ画像を演算処
理して、円筒面上の特徴点の位置を算出する第２工程
と、前記第１、第２工程で算出された円筒中心位置、半
径、特徴点位置から前記円筒中心位置と特徴点とを結ぶ
直線の方向を求め、正対化させるのに必要な視点の移動
方向とその量を求める第３工程と、を有することを特徴
とする。

【００１０】

【作用】本発明の視点位置計測制御方法では、ステレオ
画像を演算処理して円筒の左右位置を計測し、それらの
中心位置として円筒中心位置を、また両者の間隔から半
径を算出するとともに、円筒面上の特徴点の位置を算出
し、これらの円筒中心位置、半径、特徴点位置から円筒
中心位置と特徴点とを結ぶ直線の方向を求め、正対化さ
せるのに必要な視点の移動方向とその量を求める。この
ようにして、パソコン程度の簡単な装置で、熟練を必要
とせず、正確に視点を計測して正対化できるようにし、
所望の位置までの視点の移動制御を容易にする。

【００１１】

【実施例】以下、本発明の一実施例を図面を参照して詳
細に説明する。

【００１２】まず、図１を用いて円筒面に対するステレ
オ画像計測方法を説明する。図１は図５にｚ軸方向に中
心軸を有する円筒Ａを加え、ｖ＝０で切った断面図を示
したものである。通常ｘｙ平面は地表面と平行で水平で
あり、ｚ軸は円筒Ａの中心軸に平行で鉛直であるので、
説明を簡単にできることもあり、以下ではｘｙ平面上の
２次元計測を考える。また、以下ではこの図１のよう
に、円筒の左右に関わる量をそれぞれ添字Ｌ、Ｒで表
す。従来技術で説明したステレオ画像計測方法を用い、
円筒の左右境界点Ｌ、Ｒの座標（ｘ_L，ｙ_L）、（ｘ_R，
ｙ_R）を求める。そして、円筒の中心位置Ｃの座標
（ｘ_C，ｙ_C）をそれらの２点の中心位置として、すなわ
ち、ｘ_C＝（ｘ_L＋ｘ_R）／２、ｙ_C＝（ｙ_L＋ｙ_R）／２と
して求める。また、半径ｐについては、２点間の距離の
半分すなわちｐ＝（（ｘ_L−ｘ_R）²＋（ｙ_L−ｙ_R）²）
^0・5／２として求める。これらの計算によって得られる
（ｘ_C，ｙ_C）、ｐは厳密解ではないが、ｙ_C≒０（ある
いはｙ_C≒ｐ）すなわち円筒中心位置が視点の近傍にあ
るといった極端な場所以外は近似的に成り立つ。

【００１３】次に図２を用いて、本実施例における視点
位置計測制御方法を説明する。図２に示すように、円筒
Ａ面上の特徴点Ｍが円筒中心点Ｃを中心にθ回転した円
周上の位置にあり、この点の座標を（ｘ_M，ｙ_M）とす
る。この特徴点Ｍの座標は、従来技術に述べたステレオ
画像計測方法で求めることができる。図２の場合、幾何
学的関係より次式が得られる。

【００１４】ｘ_M＝ｘ_C＋ｐｓｉｎθ （４）ｙ_M＝ｙ_C−ｐｃｏｓθ （５）なお、特徴点Ｍが左右カメラから見える位置に視点を移
動すること、すなわち図１の円弧⌒ＬＲ上に視点位置を
移動することは正確な移動制御を必要とせず、オペレー
タの操作によって容易に行える。式（４）、（５）よ
り、円筒中心点Ｃの計測座標（ｘ_C，ｙ_C）と特徴点Ｍの
計測座標（ｘ_M，ｙ_M）とから角度θは θ＝−ｔａｎ^-1（（ｘ_M−ｘ_C）／（ｙ_M−ｙ_C））（６）と求められる。ただし、上述の特徴点Ｍの計測条件すな
わち特徴点Ｍが左右カメラから見えることにより、θの
範囲は−９０゜＜θ＜９０゜である。

【００１５】今、図２のように正対化する前の視点Ｏ₁
の座標をｘ₁ｙ₁で、また正対化後の視点Ｏ₂の座標をｘ₂
ｙ₂で表すこととし、まず視点Ｏ₁を角度θだけ回転し、
次に回転後のｘ軸であるｘ₂軸に沿ってｔ_x平行移動して
正対化することを考える。この場合、幾何学的関係か
ら、ｔ_xはｔ_x＝ｘ_Cｃｏｓθ＋ｙ_Cｓｉｎθ （７）となるので、式（６）より求められた正対化するために
必要な回転角度θを式（６）に代入することで平行移動
量ｔ_xが得られる。正対化後の視点と円筒中心との距離
はｙ_Cｃｏｓθ−ｘ_Cｓｉｎθであるので、この情報に基
づいて正対化した状態で視点Ｏ₂からｙ₂軸に沿ってマニ
ピュレータを所望の位置まで移動できる。ただし、画像
面投影点に含まれる計測誤差がこれらのθ、ｔ_xに伝播
するため、上述の計測、正対化を繰り返しながらマニピ
ュレータを円筒面に接近させていけばよい。

【００１６】以下、具体的例をあげて本実施例を説明す
る。

【００１７】今、左右カメラの間隔２ａを２０ｃｍ、カ
メラレンズの焦点距離を５ｍｍ、１画素の寸法である画
像面上での標本化の間隔を１０μｍとする。また、円筒
の直径は３０ｃｍ、その中心位置は（０．３ｍ，１ｍ）
にあるものとする。このような条件の下でのシミュレー
ションを通し、本実施例を図３のフローチャートを用い
て具体的に説明する。以下では長さの単位はすべてｍと
し、以下ではこのｍは省略する。

【００１８】（ア）第１工程第１工程は、ステレオ画像処理によって円筒の左右境界
位置を計測し、それらの計測値の中心として円筒の中心
位置を、またそれらの左右境界位置の距離から半径を算
出する工程である。上述のシミュレーション条件の下で
実際に円筒面境界の画像面投影点の位置を求める。ここ
ではディジタル化の影響を低減するために、画像に投影
された境界位置決定計算に内挿法を用いることを前提と
して、ディジタル化しない値を用いて計算を進めること
とする。この内挿計算方法の例としては、野村由司彦
他、“エッジ位置計測のサブピクセル化と誤差解析”、
電子通信学会論文誌（Ｄ−II）、Ｊ７３−Ｄ−II、ｐ
ｐ．１４５８−１４６７（１９９０）などがある。

【００１９】ここでは上述のシミュレーション条件にお
いて、カメラの投影中心から円筒面へ接線を引き、この
接線と画像面との交点の位置すなわち投影点の画素位置
を幾何学的に算出する。この結果本例では、図１に示し
た左カメラの左、右側円筒境界、右カメラの左、右の円
筒境界の投影点ｕ_l,_L、ｕ_l,_R、ｕ_r,_L、ｕ_r,_Rの値は、そ
れぞれ１２２．７７２、２８６．４３５、２４．９０
７、１７９．６９７画素と求められた。これらの座標を
もとに式（１）、（２）により円筒の左右位置の座標
（ｘ_L，ｙ_L）、（ｘ_R，ｙ_R）を算出すると、それぞれ
（０．１５１、１．０２２）、（０．４３７、０．９３
８）となり、これより円筒の中心座標（ｘ_C，ｙ_C）、半
径ｐはそれぞれ（０．２９４、０．９７９）、０．１４
９と求められた。前述したようにこれらの値には厳密解
ではないので、近似による誤差が含まれている。

【００２０】（イ）第２工程第２工程は、第１工程と同様にしてステレオ画像処理に
よって円筒面上の特徴点の位置を計測する工程である。
第１工程と同様にして円筒面上の特徴点の座標（ｘ_M，
ｙ_M）を計算すると、（０．３７５、０．８７０）が得
られた。

【００２１】（ウ）第３工程第３工程は、上述の第１、第２工程で算出された円筒の
中心位置Ｃ（ｘ_C，ｙ_C）、半径ｐ、特徴点Ｍ（ｘ_M，
ｙ_M）位置から円筒中心位置Ｃと特徴点Ｍとを結ぶ直線
ＣＭの方向を求め、正対化させるのに必要な視点の移動
方向とその量を算出して、視点を移動させる工程であ
る。第１工程で算出された円筒の中心座標（０．２９
４、０．９７９）（＝（ｘ_C，ｙ_C））と、第２工程で円
筒面上の特徴点の座標（０．３７５、０．８７０）（＝
（ｘ_M，ｙ_M））を式（６）に代入すると、θは３６．６
°と算出された。また、式（７）にこの（ｘ_C，ｙ_C）の
値とθの値とを代入して平行移動量ｔ_xを求めると、こ
の値は０．８２であった。

【００２２】図４は上記の結果を図示したものである。
図４において、Ｏ₁は正対化する前の視点の初期位置、
Ｏ₂は正対化した視点位置であり、Ｃ、ｔ_x、θは真の値
を示している。それに対してＯ₂′、Ｃ′、ｔ_x′、θ′
は算出された位置、あるいは値を示している。円筒中心
位置の計測値に含まれる誤差が正対化位置１回の計測で
かなり正対化されていることがわかる。上記により正対
化した視点位置が目標位置であればそこで終了し、目標
位置でなければ視点を電柱へ接近させて、その接近させ
た位置で再度計測を繰り返すことによって、任意の所望
する距離での正対化が行える。

【００２３】なお、上記の実施例においては説明を簡単
にするために２次元計測の場合を例に説明したが、本発
明は３次元計測の場合にも同様に適用できることは言う
までもない。

【００２４】

【発明の効果】以上、説明したように本発明では、ステ
レオ画像を演算処理して円筒の左右位置を計測し、それ
らの中心位置として円筒中心位置を、また両者の間隔と
して直径を算出するとともに、円筒面上の特徴点の位置
を算出し、これらの円筒中心位置、半径、特徴点位置か
ら円筒中心位置と特徴点とを結ぶ直線の方向を求め、正
対化させるのに必要な視点の移動方向とその量を求める
ため、パソコン程度の簡単な装置で、熟練を必要とせ
ず、正確に視点を計測、正対化し、所望する任意の位置
まで容易に移動できる利点が得られる。

【図面の簡単な説明】

【図１】本発明の一実施例におけるステレオ画像計測方
法による円筒中心位置、半径計算モデルを説明するため
の図

【図２】上記実施例における視点位置計測制御方法を説
明するための図

【図３】上記実施例を説明するためのフローチャート

【図４】上記実施例の具体的例を説明するための図

【図５】ステレオ画像計測原理を説明するための図

【図６】ステレオ画像計測を行なうための装置構成を示
すブロック図

───────────────────────────────────────────────────── フロントページの続き (72)発明者白潟実東京都千代田区内幸町１丁目１番６号日本電信電話株式会社内

Claims

【特許請求の範囲】

【請求項１】ステレオ画像処理を用いて円筒物体に対
して視点の位置を計測、制御する際に、円筒面上の特徴
点に対して視点を正対化させる方法において、ステレオ画像を演算処理して、円筒の左右境界位置を計
測し、その間隔から円筒中心位置、半径を算出する第１
工程と、同じくステレオ画像を演算処理して、円筒面上の特徴点
の位置を算出する第２工程と、前記第１、第２工程で算出された円筒中心位置、半径、
特徴点位置から前記円筒中心位置と特徴点とを結ぶ直線
の方向を求め、正対化させるのに必要な視点の移動方向
とその量を求める第３工程と、を有することを特徴とする視点位置計測制御方法。