JPH1040385A - 物体形状復元装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 各視点座標系に対する物体形状と、各点の視
点間の対応を表す計測テーブルを作成し、そのテーブル
の中に含まれる対応付けの誤りを訂正しつつ、安定に物
体形状と視点間の相対的な位置関係を高速かつ高精度に
復元する物体形状復元装置を提供する。 【解決手段】 各視点座標系に対する物体形状と、各点
の視点間の対応を表す計測行列を作成する計測テーブル
作成部１と、計測行列に含まれる誤りを訂正する誤り訂
正部２と、物体形状とカメラ運動を求める形状・運動復
元部３から構成される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自律移動ロボット
の視覚や、コンピュータグラフィクス映像作成に利用で
きる物体形状装置及びその方法であって、特に、カメラ
から得られる画像情報から物体の３次元形状と、カメラ
の相対的な運動（視点間の位置関係）を求めるものに関
する。

【０００２】

【従来の技術】近年、ＴＶカメラ等の視覚センサから得
られる情報を用いて、環境や物体の３次元形状、位置を
計測する研究が盛んに行われている。この技術により、
例えばロボットが視覚機能を備え、周囲の環境変化に柔
軟に対応して行動することができる。また、３次元情報
を用いた、より高度な画像監視、画像検査等を行うこと
が可能となる。さらに、画像から物体や環境の形状を復
元することにより、例えば、コンピュータグラフィクス
映像作成の際に必要な、映像化する対象の３次元形状デ
ータ等の入力（モデリング）を省力化することもでき
る。

【０００３】画像から形状復元は、観測視点の相対的な
位置関係を未知とするか既知とするかで大きく２つに分
けることができる。

【０００４】既知とする場合には、ターンテーブルを用
いたり、マニピュレータの先端にカメラを取り付ける
等、視覚センサ以外の装置を用いて観測視点の相対的な
位置関係を計測する。しかし、ターンテーブルの大き
さ、マニピュレータの可動範囲の制約により、対象物の
大きさが制限されたり、視覚センサ以外の装置の分、コ
ストが大きくなるという問題がある。

【０００５】未知とする場合には、多視点で得られた画
像情報から物体形状と観測視点間の相対的な位置関係
（カメラの運動）を同時に復元する。この場合、さらに
２台のカメラ、すなわち、ステレオカメラから得られる
画像系列を用いるか、１台のカメラから得られる画像系
列を用いるかで大きく２つの方法に分けることができ
る。

【０００６】２台のカメラを用いる方法は、各観測視点
で３次元形状を復元し、それらを統合していく。ある観
測視点でステレオカメラから得られた２枚の画像から３
次元形状を復元する方法は、一般にステレオ法と呼ばれ
る（参考文献：谷内田正彦著「コンピュータビジョ
ン」，丸善，１９９０）。２台以上のカメラを用いても
良いが、基本的には２台のカメラを用いる場合と同じで
あるので、以下では２台のカメラを用いる場合について
説明する。ステレオ法は、基本的には相対的な位置と方
向が既知である左右２台のカメラから得られる２枚のス
テレオ画像から、３次元空間中で同一点に対応する点同
士を対応づけ、三角測量の原理を用いて、その点の３次
元座標を算出する方法である。以下、ステレオ法により
得られる３次元形状をステレオデータと呼ぶ。

【０００７】

【数１】 物体上のｎ個の特徴点を第１、第２視点から計測し、そ
の２視点間の相対的な位置関係を求め、各視点のステレ
オデータを統合する方法の概略を以下に示す。図１のよ
うに、第１視点から見た対象物上の特徴点の位置をベク
トルＰ_i （ｉ＝１〜ｎ）、第２視点から見た対象物上の
特徴点の位置をベクトルＰ′_i （ｉ＝１〜ｎ）とする。
ここで、各ベクトルＰ_i 、ベクトルＰ′_i は、３次元空
間中で同一点に対応する。第１視点を中心とする回転を
表す回転行列をＲ、平行移動量を表す並進ベクトルをベ
クトルＴとすれば、これらのパラメータ間に以下の関係
式が成り立つ。

【０００８】

【数２】 行列の特異値分解を用いれば、運動パラメータＲ、ベク
トルＴは解析的に求めることができ（参考文献：「画像
理解」，森北出版，１９９０）、その運動パラメータを
用いれば各視点のステレオデータを基準座標系に変換
し、統合することができる。

【０００９】１台のカメラによって得られる画像系列か
ら特徴点を追跡し、その特徴点の画像中の動きから特徴
点同士の相対的な位置関係を求める方法はStructure fr
om Motion(ＳＦＭ）法と呼ばれる。ＳＦＭ法はステレオ
法のように複数のカメラを用いる必要がないため、簡便
である反面、一般に非線形連立方程式を解くことにな
り、解を安定に求めることは極めて困難である。しか
し、カメラモデルとして弱中心投影モデルを仮定する
と、線型計算でカメラの相対運動と物体形状を求めるこ
とができる。通常、カメラの投影モデルとしては中心投
影モデルが用いられる。中心投影モデルでは、３次元空
間中に設定されたある点を原点とするワールド座標系に
対する３次元座標が（ｘ，ｙ，ｚ）である点Ｐ_i （ｉ＝
１〜ｎ）が、画像上で（ｕ，ｖ）に投影されるとき、
（ｘ，ｙ，ｚ）と（ｕ．ｖ）の間には、

【数３】 という非線型の関係式が成り立つ。ｈ₁₁〜ｈ₃₄はカメラ
のワールド座標系に対する位置や方向、カメラレンズの
焦点距離等によって決まるパラメータである。両式の分
母は、カメラの視点と点Ｐ_i の光軸方向の距離である。
これは一般に奥行きと呼ばれる。中心投影では、奥行き
ｄを（ｘ，ｙ，ｚ）の関数として表す。

【００１０】

【数４】 弱中心投影モデルでは、まず（Ｐ_i （ｉ＝１〜ｎ）の奥
行きをＰ_i （ｉ＝１〜ｎ）の重心Ｃの奥行きｄ_c と、重
心からの変位Δｄ（ｘ，ｙ，ｚ）に分離して考える。

【００１１】

【数５】 ｄ_c は物体とカメラとの平均距離、Δｄは物体形状を表
している。ここで、Δｄが、ｄ_c に比べて小さい場合
（Δｄ＜＜ｄ_c ）、

【数６】 となる。ｄ_c は点Ｐ_i （ｉ＝１〜ｎ）によらず一定であ
るから、点Ｐ_i （ｉ＝１〜ｎ）の奥行きｄは一定と近似
することができる。この場合、式（３）で両式の分母を
ｈ（一定）とおいて、（ｘ，ｙ，ｚ）と（ｕ，ｖ）の関
係が、

【数７】 となる。つまり、ある点の３次元位置と画像上の投影位
置の関係が線型となり、従来よりも安定に物体形状とカ
メラ運動を復元することができる。しかし、この方法
は、投影モデルとして中心投影の近似である弱中心投影
モデルを仮定しているので、

【数８】 という関係が成り立たない場合には、著しく精度が悪く
なるという問題がある。具体的に言えば、物体がカメラ
から遠く、かつ、形状の光軸方向の広がりが小さい場合
にしか適用できないという問題がある。

【００１２】また、１台のカメラを用いる方法、ステレ
オカメラを用いる方法に共通する以下の問題がある。い
ずれの方法においても、異なる視点で得られた画像間
で、３次元空間中で同一点に対応する点同士を対応づけ
る必要があり、さらに、ステレオカメラを用いる方法で
は、１視点で得られる左右の画像間で３次元空間中で同
一点に対応する点同士を対応づける必要がある。しか
し、実画像でこれらの対応づけを正確に行うことは極め
て困難であり、誤りを訂正する手段が必要であるが、従
来の方法では誤りを訂正する手段がないため、形状の誤
差が著しく大きくなるという問題がある。

【００１３】

【発明が解決しようとする課題】本発明は、上記事情を
鑑みてなされたもので、物体−カメラ間の距離、物体の
大きさ、カメラの運動の制約がなく、さらに、誤対応に
よる精度の低下を防ぎ、物体形状とカメラ運動を高速か
つ高精度に復元する物体形状装置及びその方法を提供す
る。

【００１４】

【課題を解決するための手段】請求項１の発明は、基準
座標系における物体の３次元形状を復元する物体形状復
元装置であって、前記物体を異なる視点から撮影した画
像データをそれぞれ記憶した画像記憶手段と、前記画像
記憶手段によって記憶された各視点毎の画像データに基
づいて、各視点毎の視点座標系における前記物体の３次
元形状データを求める視点形状復元手段と、前記視点形
状復元手段によって求めた各視点毎の前記物体の３次元
形状データと、これら３次元形状データの各データの視
点間での対応関係を表すテーブルを作成する計測テーブ
ル作成手段と、前記計測テーブル作成手段によって作成
された計測テーブルに格納されたデータに含まれる誤り
を訂正する誤り訂正手段と、前記誤り訂正手段によって
訂正された計測テーブルに基づいて、基準座標系におけ
る前記各視点の位置関係を求め、この各視点の位置関係
及び前記計測テーブルに格納されている前記各視点毎の
前記物体の３次元形状データに基づいて前記基準座標系
における前記物体の３次元形状を復元する形状復元手段
からなる物体形状復元装置である。

【００１５】請求項１の発明について説明する。

【００１６】画像記憶手段は、前記物体を異なる視点か
ら撮影した画像データをそれぞれ記憶している。

【００１７】視点形状復元手段は、前記画像記憶手段に
よって記憶された各視点毎の画像データに基づいて、各
視点毎の視点座標系における前記物体の３次元形状デー
タを求める。

【００１８】計測テーブル作成手段は、前記視点形状復
元手段によって求めた各視点毎の前記物体の３次元形状
データと、これら３次元形状データの各データの視点間
での対応関係を表すテーブルを作成する。

【００１９】誤り訂正手段は、前記計測テーブル作成手
段によって作成された計測テーブルに格納されたデータ
に含まれる誤りを訂正する。

【００２０】形状復元手段は、前記誤り訂正手段によっ
て訂正された計測テーブルに基づいて、基準座標系にお
ける前記各視点の位置関係を求め、この各視点の位置関
係及び前記計測テーブルに格納されている前記各視点毎
の前記物体の３次元形状データに基づいて前記基準座標
系における前記物体の３次元形状を復元する。

【００２１】請求項２の発明は、前記誤り訂正手段は、
前記計測テーブル作成手段によって作成された計測テー
ブルに格納された前記物体の３次元形状データのうち誤
差が大きいデータを訂正または除去することを特徴とす
る請求項１に記載の物体形状復元装置である。

【００２２】請求項３の発明は、前記形状復元手段が、
前記誤り訂正手段によって訂正された計測テーブルに格
納された前記物体の３次元形状データのうち誤差が大き
いデータを訂正または除去することを特徴とする請求項
１または請求項２に記載の物体形状復元装置である。

【００２３】請求項４の発明は、前記視点形状復元手段
が、ステレオ画像計測を用いて撮影された画像データか
ら各視点毎の視点座標系における前記物体の３次元形状
データを求めることを特徴とする請求項１に記載の物体
形状復元装置である。

【００２４】請求項５の発明は、前記計測テーブル作成
手段が、前記各視点毎の前記物体の３次元形状データに
対し、それぞれのデータの信頼度を表す信頼度情報を付
加し、前記誤り訂正手段が、前記信頼度情報を考慮して
誤り訂正を行い、前記形状復元手段が、前記信頼度情報
を考慮して形状復元を行うことを特徴とする請求項１に
記載の物体形状復元装置である。

【００２５】請求項６の発明は、基準座標系における物
体の３次元形状を復元する物体形状復元方法であって、
前記物体を異なる視点から撮影した画像データをそれぞ
れ記憶する画像記憶ステップと、前記画像記憶ステップ
によって記憶された各視点毎の画像データに基づいて、
各視点毎の視点座標系における前記物体の３次元形状デ
ータを求める視点形状復元ステップと、前記視点形状復
元ステップによって求めた各視点毎の前記物体の３次元
形状データと、これら３次元形状データの各データの視
点間での対応関係を表すテーブルを作成する計測テーブ
ル作成ステップと、前記計測テーブル作成ステップによ
って作成された計測テーブルに格納されたデータに含ま
れる誤りを訂正する誤り訂正ステップと、前記誤り訂正
ステップによって訂正された計測テーブルの前記対応関
係データに基づいて、基準座標系における前記各視点の
位置関係を求め、この各視点の位置関係及び前記計測テ
ーブルに格納されている前記各視点毎の前記物体の３次
元形状データに基づいて前記基準座標系における前記物
体の３次元形状を復元する形状復元ステップからなるこ
とを特徴とする物体形状復元方法である。

【００２６】また、請求項１に記載の誤り訂正手段また
は請求項６に記載の誤り訂正ステップにおいて、対話的
に計測テーブルに含まれる誤りのうちの一部を訂正し、
その後、自動的に計測テーブルに含まれる誤りを訂正す
るようにしてもよい。

【００２７】

【発明の実施の形態】以下に、図面を参照して、本発明
の一実施例について説明する。

【００２８】まず、本実施例で使用する座標系を図２に
示す。また、

【数９】 と定義する。本実施例では、ワールド座標系を第１視点
におけるカメラ座標系にとる。

【００２９】図３に本実施例に概略構成を示す。

【００３０】ここでは、計測テーブル作成部１、誤り訂
正部２、形状・運動復元部３から構成している。

【００３１】以下に各構成部を詳細に説明する。

【００３２】（計測テーブル作成部１）計測テーブル作
成部１は、図４のように画像入力部１−１、画像蓄積部
１−２、画像処理部１−３から構成される。

【００３３】画像入力部１−１では、ステレオカメラを
用いて、多視点におけるステレオ画像を入力する。

【００３４】画像情報蓄積部１−２では、画像メモリを
用いて、画像情報入力部１により入力された画像情報を
蓄積する。

【００３５】画像処理部１−３は、さらに図５のように
特徴点抽出部１−３−１、ステレオ対応付け部１−３−
２、特徴点追跡部１−３−３から構成され、各特徴点の
カメラ座標系に対する３次元軌跡を求める。

【００３６】特徴点抽出部１−３−１は、画像蓄積部１
−２から送られた各視点のステレオ画像のうちのどちら
か一方の画像に対し、物体の角のような複数方向に濃度
変化が存在する特徴点を抽出する。本実施例では左画像
に対し、特徴点抽出を行うとする。

【００３７】ステレオ対応付け部１−３−２は抽出され
た左画像中の各特徴点の右画像中での位置を求める。こ
の算出方式を以下に述べる。左画像中の位置が（ｘ，
ｙ）の特徴点ｐの右画像中の位置を求める場合を考え
る。まず、以下の相関係数Ｃ_o を求める。

【００３８】

【数１０】 ここで、Ｉ_l （ｘ，ｙ）、Ｉ_r （ｘ，ｙ）は各々左画像
と右画像の点（ｘ，ｙ）での画像濃度を表している。ま
た、ａ_l 、ａ_r とｖ_l 、ｖ_r はウインドウ領域内の平均
と分散を表す。Ｃ_o は、左右画像の２ｄ×２ｄのウイン
ドウ領域内のパターンの類似度を表している。

【００３９】従って、右画像上の探索範囲内で、Ｃ_o が
最大となる位置が、特徴点ｐの右画像上での位置であ
る。

【００４０】探索範囲は、左右カメラの幾何学的な関係
によって決定される。例えば、両カメラを光軸を平行に
して配置した場合、各特徴点の左右画像上における垂直
方向の位置は一致する。この場合、探索範囲は同一走査
線上となる。

【００４１】特徴点追跡部１−３−３は、各特徴点を時
系列画像上で追跡する。この対応付けは、例えば、ステ
レオ対応付けと同様に相関係数Ｃ_o を用いる。ここで、
ステレオ対応付けの場合は、左右カメラの位置関係が既
知であるので、探索範囲はある直線上に限定されたが、
視点間の対応付けでは、２次元探索となり、予め設定し
た探索ウインドウ領域内で対応付けを行うことになる。

【００４２】以上の特徴点抽出、ステレオ対応付け、視
点間対応付け（特徴点追跡）を行い、第ｆ視点のカメラ
座標系に対する特徴点ｐの３次元座標ベクトルＰ_fp（ｆ
＝１，２，……ｍ、ｐ＝１，２，……ｎ）により、各視
点座標系に対する物体形状と各特徴点の視点間の対応関
係を表すテーブルである以下のような３ｍ×ｎの行列Ｐ
を算出する。

【００４３】

【数１１】 以下の説明においては、３ｍ×ｎの行列Ｐを、便宜上、
３次元ベクトルＰ_fp＝（ｘ_fp，ｙ_fp，ｚ_fp）^t を要素と
するｍ×ｎの行列と考える。行列Ｐの各列は、１個の特
徴点の各視点におけるカメラ座標系に対する３次元座
標、つまり、カメラ座標系に対する１個の特徴点の３次
元的な軌跡、各行は、ある視点のカメラ座標系に対する
特徴点の３次元座標を表している。以下の説明では行列
Ｐをステレオ計測行列と呼ぶ。

【００４４】ところで、ステレオカメラの視野や物体相
互の隠れにより、ステレオカメラが運動するにつれて、
追跡不能となる特徴点や、今まで見えていなかった新し
い特徴点が出現することがある。また、画像上の特徴が
大きく変わることにより、特徴点の追跡ができなくなっ
たり、あるいは、ステレオ対応付けができなくなること
もある。従って、行列Ｐは全要素が定義される訳ではな
い。定義できない行列Ｐの要素に対しては、任意のベク
トル、例えば零ベクトルを定義しておく。行列Ｐの各要
素が定義されているかどうかを表現するｍ×ｎの行列Ｗ
を以下のように定義する。

【００４５】

【数１２】 ｗ_fpをベクトルＰ_fpの信頼度と呼び、ｍ×ｎの行列Ｗを
ステレオ計測行列Ｐの信頼度行列と呼ぶことにする。特
徴点ｐの第ｆ視点のカメラ座標系に対する３次元座標ベ
クトルＰ_fpを求めることができれば、その信頼度ｗ_fpを
１とし、定義されなければ０とする。つまり、

【数１３】 計測テーブル作成部１では以上のようにしてステレオ計
測行列Ｐと信頼度行列Ｗを求め、誤り訂正部２に送信す
る。

【００４６】（誤り訂正部２）誤り訂正部２では、計測
テーブル作成部１によって作成されたステレオ計測行列
に含まれる、ステレオの誤対応、あるいは、特徴点の誤
追跡による誤りを訂正する。

【００４７】誤り訂正部２は、図６のようにカメラ運動
復元部２−１と、形状誤差算出部２−２から構成され
る。

【００４８】図７にフローチャートを示し、以下に各ス
テップの詳細について説明する。

【００４９】(1) ｆ＝１に設定する。

【００５０】(2) 行列Ｐ、Ｗのｆ〜ｆ＋Δｆ行から、ｆ
〜ｆ＋Δｆ視点までの第ｆ視点座標系に対するカメラ運
動

【数１４】 を後述のカメラ運動復元部２−１を用いて算出する。

【００５１】(3) Ｍ^(f+Δf)と行列Ｐ、Ｗのｆ〜ｆ＋Δ
ｆ行から、第ｆ視点座標系に対する物体形状

【数１５】 (4) 誤差ｅ_p が予め設定した閾値thr より大きい特徴点
の信頼度ｗ_fpを０とする。

【００５２】(5) ｆをインクリメント（＋１）する。

【００５３】(6) ｆ≦ｍ−Δｆならば(2) に戻り、ｆ＞
ｍ−Δｆならば終了する。

【００５４】閾値thr は、例えば以下のようにして設定
する。ある特徴点の視差をｄ、左右のカメラ間の間隔を
ａ、焦点距離をｆ_lengthとすれば、その特徴点の奥行き
方向の距離ｙは、

【数１６】 により求めることができる。ｙの計測誤差Δｙは、主と
して視差の計測誤差Δｄにより発生する。ΔｙとΔｄに
は以下の関係式が成り立つ。

【００５５】

【数１７】 右辺をテーラー展開し、

【数１８】 上式と式（１５）により、

【数１９】 式（２０）を用いれば、

【数２０】 としてthr を求めることができる（Ｋ：定数）。

【００５６】（形状・運動復元部３）形状・運動復元部
３は、図５のように加算部３−１、カメラ運動復元部３
−２、物体形状復元部３−３、終了判定部３−４から構
成され、ステレオ計測行列Ｐと信頼度行列Ｗから、物体
形状とカメラ運動を復元する。全体の処理の流れを図９
に示し、その概略を以下に示す。

【００５７】(1) ｋ＝２とおく。

【００５８】(2) 行列Ｐ、Ｗの１〜ｋ行から、１〜ｋ視
点までのカメラ運動Ｍ^(k) を求める。

【００５９】(3) １〜ｋ視点までのカメラ運動Ｍ^(k) と
行列Ｐ、Ｗの１〜ｋ行から、物体形状Ｓ^(k) を求め、Ｓ
＝Ｓ^(k) とする。

【００６０】(4) 終了条件（後述）を持たさなければ、
ｋ＝ｋ＋１とし、(2) に戻る。

【００６１】但し、

【数２１】 であり、各々、物体形状とカメラ運動を表している。

【００６２】加算部３−１は、ｋ＝２を初期値とし、終
了判定部３−４から命令が送られると、ｋを１増やし
て、カメラ運動復元部３−２にその値を送る。

【００６３】カメラ運動復元部３−２では、行列Ｐ、Ｗ
の１〜ｋ行から、１〜ｋ視点までのカメラ運動Ｍ^(k) を
復元する。

【００６４】

【数２２】 式（２２）からＲ₂ ベクトルＴ₂ を求める方法の概略を
以下に示す。

【００６５】(1) 行列Ｐ、Ｗの第１行と、第２行から行
列Ｃを求める。

【００６６】(2) Ｃ＝ＵＷＶ^t と特異値分解する。

【００６７】(3) Ｒ₂ ＝ＵＶ^t により回転行列を求め
る。

【００６８】(4) 並進ベクトルＴ₂ を求める。

【００６９】詳細を以下に示す。まず、第１視点と第２
視点の両方で３次元計測された特徴点のワールド座標系
に対する重心位置は、

【数２３】 これより、

【数２４】 式（２６）を式（２２）に代入して整理すると、

【数２５】 この評価関数を最小にするＲ₂ を求める。これは次のよ
うにして求めることができる（参考文献）。上式を以下
のように展開する。

【００７０】

【数２６】 式（３１）の第１項は明らかにＲ₂ によらず一定とな
る。

【００７１】

【数２７】 とおくと、

【数２８】 を最大に回転行列Ｒ₂ を求めればよいことになる。

【００７２】回転行列Ｒ₂ は行列の特異値分解を用いれ
ば求めることができる。ＣをＣ＝ＵＷＶ^t （Ｕ，Ｖ：直
交行列、Ｗ：対角要素が非負の対角行列）と特異値分解
し、Ｔ_r ［ＡＢ］＝Ｔ_r ［ＢＡ］の関係を用いると、

【数２９】 等号は、Ｖ^t Ｒ^t ₂ Ｕ＝Ｉ（Ｉ：単位行列）、つまり、
Ｒ₂ ＝ＵＶ^t のとき成り立つ。これが求める回転行列Ｒ
₂ である。このＲ₂ を式（２６）に代入すれば、並進ベ
クトルＴ₂ を求めることができる。

【００７３】同様にして、式（２３）、……、（２４）
より、Ｒ₃ 、ベクトルＴ₃ 、……Ｒ_k 、ベクトルＴ_k 、
つまり、ｋ視点までのステレオカメラの運動Ｍ^(k) を復
元することができる。

【００７４】物体形状復元部３−３では、ｋ視点までの
ステレオカメラの運動Ｍ^(k) を用いて、ｋ視点までのス
テレオデータを統合した物体形状Ｓ^(k) と、各形状デー
タｓ_ｐの誤差ｅ_ｐを求める。これは、以下のように算出
する。

【００７５】

【数３０】 ベクトルｓ_ｐが求められ、かつ、ｅ_ｐが予め設定した閾
値thr よりも小さい場合は、その形状データに対応する
信頼度を１にする。

【００７６】

【数３１】 求められた物体形状をＳ（行列Ｐの第１行）に代入す
る。

【００７７】

【数３２】 終了判定部３−４では、計算を終了するかどうかを判定
する。

【００７８】判定方法としては、以下のような方法があ
る。

【００７９】まず、１〜ｍ視点までのカメラ運動Ｍ^(m)
と、１〜ｍ視点のステレオデータから得られた物体形状
Ｓ^(m) が算出された時点で計算を終了する。また、Ｍ
^(m) 、Ｓ^(m) が算出された後、視点選択部が全視点を選
択し、カメラ運動復元部３−２と物体形状復元部３−３
により、Ｍ^(m) 、Ｓ^(m) を修正することもできる。

【００８０】図９には、この場合のフローチャートを示
している。

【００８１】この場合は、計算回数、Ｍ^(m) 、あるいは
Ｓ^(m) の前段階の値との差から終了判定を行う。終了判
定を行った結果、終了すれば、得られた物体形状とカメ
ラ運動を出力部に送る。終了しなければ、加算部３−１
に戻る。

【００８２】以上のようにして、ステレオカメラにより
多視点で得られた画像情報から、物体形状と物体に対す
るカメラの相対運動を同時に復元することができる。

【００８３】すなわち、計測テーブル作成部１が視点座
標系に対する物体形状を入力し、カメラ−物体間、物体
の大きさ等の制約がない。

【００８４】誤り訂正部２が誤対応を訂正し、その後、
形状・運動復元部が視点数を増やしながら計算を行うた
め、特徴点の見え隠れに対応することができ、誤対応に
よる精度の低下を防いでカメラ運動を高精度に復元する
ことができ、高精度に復元されたカメラ運動を用いるた
め、高精度に物体形状を復元することができる。また、
繰り返し計算の各段階で行われるのは、単なる行列計算
や重心の計算であるため、全体として非常に高速な計算
が可能である。また、誤り訂正部２が計測行列に含まれ
る誤りを訂正することができるから、特徴点のステレオ
対応づけ、あるいは、視点間の対応づけに誤りが含まれ
る場合にも物体形状とカメラ運動を復元することが可能
である。

【００８５】（変更例） 本実施例では、各視点における物体形状の計測を２
台のカメラによるステレオ法を用いているが、３台以上
のカメラを用いたり、１つのカメラを動かして３次元位
置情報を求めてもよい。あるいは、カメラ以外のレンジ
ファインダ等の視覚センサにより多視点における物体形
状を入力してもよい。

【００８６】 カメラを動かして静止した物体の形状
と、カメラの運動を復元する場合について説明したが、
物体の方を動かしてもよい。静止した環境で対象物体の
み動かせば、任意の背景から対象物体を切出して、その
形状を求めることができる。

【００８７】 特徴点抽出部１−３−１における処理
で、各視点で得られた画像に対し、特徴抽出を行う場合
について説明したが、ある視点間隔で特徴抽出を行って
もよい。

【００８８】 ステレオデータの信頼度ｗの取り得る
値が０または１であったが、以下のように設定してもよ
い。

【００８９】図１０に視差に対する相関係数Ｃ_o の変化
を示す。

【００９０】（ａ）のように明確なピークが存在する場
合、ほぼ一意に対応付けられたことを示すから、このよ
うな場合のステレオデータの信頼性は高い。

【００９１】しかし、（ｂ）のようにピークはあるが、
その高さが低い場合、局所パターンが最も似ている対応
候補でもかなり違うこととなり、右画像上に対応する点
がない可能性が高い。従って、このような場合のステレ
オデータの信頼性は低い。

【００９２】また、（ｃ）のように複数のピークを持つ
場合、他にも局所パターンが非常に良く似た対応候補が
存在することを示すから、例えば２番目に高い候補が真
の対応点がある可能性も高い。従って、このような場合
のステレオデータの信頼性も低い。

【００９３】このような類似度を評価する評価関数の、
視差に対する変化を考慮して、以下のような信頼度を定
義する。

【００９４】

【数３３】 このように定義すると、（ａ）のように明確な高いピー
クが存在する場合、Ｃ_omaxが大きくなるから、信頼度ｗ
は大きくなる。また、（ｂ）、（ｃ）の場合は、各々、
Ｃ_omax→小、ΣＣ_o →大となるから、信頼度ｗは小さく
なる。

【００９５】形状・運動復元部３における計算は、実施
例で説明した方法で行うことができる。信頼度が大きい
ステレオデータは、形状・運動復元に大きく影響し、逆
に、信頼度が小さいステレオデータの形状・運動復元に
対する影響は小さく押えることができる。

【００９６】 ステレオ対応付け、特徴点追跡に相関
係数による方法を用いたが、特徴抽出を行ってから対応
付けを行う方法、周囲の対応結果と矛盾しないように対
応付けを行う方法、これらを組み合わせた方法等があ
る。

【００９７】 誤り訂正は対話的に行うことも可能で
ある。

【００９８】図１１に対話型誤り訂正部４の第１の実施
例を示す。

【００９９】対話型誤り訂正部４は、ステレオ対応付け
と特徴点追跡結果を表示する画像処理結果表示部４−１
と、その内、誤っている点を抽出し、除去、あるいは、
訂正するポインティング部４−２からなる。

【０１００】図１２に対話型誤り訂正部４における処理
の流れを示す。

【０１０１】例えば、ステレオ対応付けデータを対話的
に訂正する場合を考える。まず、ｉ番目（１≦ｉ≦ｎ）
の特徴点の対応結果（その特徴点の左右画像上の位置）
を表示する。次に、その対応結果が正しいかどうかを目
視により評価する。正しくない場合は、ポインティング
部によりその特徴点を削除、あるいは、正しい位置を入
力する。この一連の処理を全特徴点に対して行う。特徴
点追跡データを訂正する場合には、ある特徴点軌跡を原
画像とともに表示し同様の処理を行う。

【０１０２】 図１３に対話型誤り訂正の第２の実施
例を示す。

【０１０３】この例では、で説明した対話型誤り訂正
部４と自動誤り訂正部５とよりなる。自動誤り訂正部５
は、誤り訂正部２と同様の構成である。

【０１０４】そして、誤り訂正は全特徴点の内の幾つか
の特徴点を対話的に訂正後、自動的に訂正したり、逆に
自動的に訂正後、対話的に訂正する。

【０１０５】 計測テーブル作成部１、誤り訂正部
２、形状・運動復元部３の内容を処理動作させるための
プログラムをＦＤやＣＤ，ＲＯＭ等の記録媒体に記憶さ
せておき、この記録媒体内部のデータを既存のコンピュ
ータに記憶させて、本装置として動作させてもよい。

【０１０６】例えば、ステレオデジタルカメラで複数の
視点から人間が撮影した画像データをコンピュータに記
憶させる。また、上記した計測テーブル作成部１、誤り
訂正部２、形状・運動復元部３の内容を処理動作させる
ためのプログラムを記憶したＦＤをコンピュータにＦＤ
読取り装置に挿入して、このプログラムをコンピュータ
に記憶させる。そして、このコンピュータを本装置とし
て動作させる。

【０１０７】その他、本発明の要旨を逸脱しない範囲で
変形を実施できる。

【０１０８】

【発明の効果】本発明の物体液状復元装置及びその方法
によれば、ＴＶカメラから得られた画像情報から、物体
形状と、物体に対するカメラの相対的な運動を同時に求
めることができ、その実用的効果は多大である。すなわ
ち、各視点座標系に対する物体形状と、各視点間の対応
を表す計測テーブルを作成し、そのテーブルの中に含ま
れる対応付けの誤りを訂正しつつ、安定に物体形状と視
点間の相対的な位置関係を高速かつ高精度に復元でき
る。

【図面の簡単な説明】

【図１】従来法を説明するための図。

【図２】座標系の定義を示す図。

【図３】本発明の全体構成を示すブロック図。

【図４】ステレオ計測行列作成部１の構成を示すブロッ
ク図。

【図５】画像処理部１−３の構成を示すブロック図。

【図６】誤り訂正部２の構成を示すブロック図。

【図７】誤り訂正部２における処理のフローチャート。

【図８】形状・運動復元部３の構成を示すブロック図。

【図９】形状・運動復元部３におけるフローチャート。

【図１０】視差に対する相関係数Ｃ_o の変化を示すグラ
フの図。

【図１１】対話型誤り訂正部の構成を示すブロック図。

【図１２】対話型誤り訂正部におけるフローチャート。

【図１３】対話＋自動誤り訂正部の構成を示すブロック
図。

【符号の説明】

１ 計測テーブル作成部 １−１ 画像情報入力部 １−２ 画像情報蓄積部 １−３ 画像処理部 １−３−１ 特徴点抽出部 １−３−２ 特徴点追跡部 １−３−３ ステレオ対応付け部 ２ 誤り訂正部 ２−１ カメラ運動復元部 ２−２ 形状誤差算出部 ３ 形状・運動復元部 ３−１ 加算部 ３−２ カメラ運動復元部 ３−３ 物体形状復元部 ３−４ 終了判定部

Claims (6)

【特許請求の範囲】
1. 【請求項１】基準座標系における物体の３次元形状を復
   元する物体形状復元装置であって、 前記物体を異なる視点から撮影した画像データをそれぞ
   れ記憶した画像記憶手段と、 前記画像記憶手段によって記憶された各視点毎の画像デ
   ータに基づいて、各視点毎の視点座標系における前記物
   体の３次元形状データを求める視点形状復元手段と、 前記視点形状復元手段によって求めた各視点毎の前記物
   体の３次元形状データと、これら３次元形状データの各
   データの視点間のデータとの対応関係を表すテーブルを
   作成する計測テーブル作成手段と、 前記計測テーブル作成手段によって作成された計測テー
   ブルに格納されたデータに含まれる誤りを訂正する誤り
   訂正手段と、 前記誤り訂正手段によって訂正された計測テーブルに基
   づいて、基準座標系における前記各視点の位置関係を求
   め、この各視点の位置関係及び前記計測テーブルに格納
   されている前記各視点毎の前記物体の３次元形状データ
   に基づいて前記基準座標系における前記物体の３次元形
   状を復元する形状復元手段からなることを特徴とする物
   体形状復元装置。
2. 【請求項２】前記誤り訂正手段は、 前記計測テーブル作成手段によって作成された計測テー
   ブルに格納された前記物体の３次元形状データのうち誤
   差が大きいデータを訂正または除去することを特徴とす
   る請求項１に記載の物体形状復元装置。
3. 【請求項３】前記形状復元手段が、 前記誤り訂正手段によって訂正された計測テーブルに格
   納された前記物体の３次元形状データのうち誤差が大き
   いデータを訂正または除去することを特徴とする請求項
   １または請求項２に記載の物体形状復元装置。
4. 【請求項４】前記視点形状復元手段は、 ステレオ画像計測を用いて撮影された画像データから各
   視点毎の視点座標系における前記物体の３次元形状デー
   タを求めることを特徴とする請求項１に記載の物体形状
   復元装置。
5. 【請求項５】前記計測テーブル作成手段は、 前記各視点毎の前記物体の３次元形状データに対し、そ
   れぞれのデータの信頼度を表す信頼度情報を付加し、 前記誤り訂正手段は、 前記信頼度情報を考慮して誤り訂正を行い、 前記形状復元手段は、 前記信頼度情報を考慮して形状復元を行うことを特徴と
   する請求項１に記載の物体形状復元装置。
6. 【請求項６】基準座標系における物体の３次元形状を復
   元する物体形状復元方法であって、 前記物体を異なる視点から撮影した画像データをそれぞ
   れ記憶する画像記憶ステップと、 前記画像記憶ステップによって記憶された各視点毎の画
   像データに基づいて、各視点毎の視点座標系における前
   記物体の３次元形状データを求める視点形状復元ステッ
   プと、 前記視点形状復元ステップによって求めた各視点毎の前
   記物体の３次元形状データと、これら３次元形状データ
   の各データの視点間のデータとの対応関係を表すテーブ
   ルを作成する計測テーブル作成ステップと、 前記計測テーブル作成ステップによって作成された計測
   テーブルに格納されたデータに含まれる誤りを訂正する
   誤り訂正ステップと、 前記誤り訂正ステップによって訂正された計測テーブル
   の前記対応関係データに基づいて、基準座標系における
   前記各視点の位置関係を求め、この各視点の位置関係及
   び前記計測テーブルに格納されている前記各視点毎の前
   記物体の３次元形状データに基づいて前記基準座標系に
   おける前記物体の３次元形状を復元する形状復元ステッ
   プからなることを特徴とする物体形状復元方法。