JPH0949714A

JPH0949714A - ３次元形状抽出装置

Info

Publication number: JPH0949714A
Application number: JP7199893A
Authority: JP
Inventors: Kotaro Yano; 光太郎矢野; Katsumi Iijima; 克己飯島; Toshiaki Kondo; 俊明近藤; Masakazu Matsugi; 優和真継; Sunao Kurahashi; 直倉橋; Motohiro Ishikawa; 基博石川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-08-04
Filing date: 1995-08-04
Publication date: 1997-02-18

Abstract

(57)【要約】【課題】物体の３次元形状を容易に高い精度で求め
る。【解決手段】異る視点で撮像した画像データ＃₁、＃
₂は画像前処理部６１で被計測体画像と特徴点群とを抽
出される。パラメータ推定部６２は各画像データの変位
を示すパラメータＰ（１，２）と特徴点群とからパラメ
ータの推定、修正を行い、距離分布抽出部６３は、２組
の各計測体画像と上記推定されたパラメータとから各画
像の重複部分での２組の距離分布を求める。距離情報統
合部２１は、一方のパラメータに合わせて２組の距離分
布を統合し、３次元形状抽出部６５は、統合された距離
分布と統合時のパラメータとから被計測体の３次元形状
を抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＣＧやＣＡＤのた
めの立体形状モデルの作成に必要な物体や環境の３次元
の情報を２次元画像から求める３次元形状抽出装置に関
するものである。

【０００２】

【従来の技術】従来より、物体の３次元形状を求める技
術として、例えばテレビジョン学会誌、Ｖｏ１．４５、
Ｎｏ．４（１９９１）、ｐｐ．４５３−４６０に記載さ
れているものがある。上記文献に記載されているよう
に、物体の３次元形状を求める方法は大別して受動的手
法と能動的手法とがある。受動的手法の代表的なものが
ステレオ画像法であり、２台のカメラを用いて三角測量
を行うものである。この方法では左右の画像から同じも
のが写っている場所を探索し、その位置ずれ量から被写
体の３次元位置を計測する。また、能動的手法の代表的
なものとしては光を投影し反射して帰ってくるまでの時
間を計測して距離を求める光レーザ型のレンジファイン
ダや、スリット状の光パターンを投影して被写体に写る
パターン形状の変位から３次元形状を測定するスリット
光投影法等がある。

【０００３】

【発明が解決しようとする課題】しかしながら、上記ス
テレオ画像法では装置が大がかりになり、２台のカメラ
の位置決めの精度が厳しいため設定が困難であるという
問題があった。しかも例えば物体の背面のような画像中
に写っていない領域については３次元形状を求められな
いので、わずらわしい設定を再度行う必要があった。ま
た、能動的手法では光等なんらかのエネルギーを物体に
照射するので、物体までの距離が遠い場合にはエネルギ
ーの強度を強くする必要があり、危険であるという問題
があった。

【０００４】そこで本発明の第１の目的は、わずらわし
い設定を行なわずに受動的手法によって物体の３次元形
状を精度良く求めることのできる３次元形状抽出装置を
提供することである。

【０００５】また、本発明の第２の目的は、カメラの位
置決めの精度が悪い場合にも物体の３次元形状を精度良
く求めることのできる３次元形状抽出装置を提供するこ
とである。本発明の第３の目的は、カメラで撮った画像
の対応付け情報を用いて物体の３次元形状をさらに精度
良く求めることのできる３次元形状抽出装置を提供する
ことである。

【０００６】

【課題を解決するための手段】本発明においては、被計
測物体を撮像する撮像手段と、上記撮像手段の位置およ
び姿勢の変化を検知する検知手段と、上記撮像手段から
得られる少なくとも撮像位置が異りかつ画像の一部が重
複した複数の画像と上記検知手段の出力とから撮像パラ
メータを推定するパラメータ推定手段と、上記複数の画
像と上記パラメータ推定手段の出力とから上記撮像手段
と被計測物体との距離を算出する距離算出手段とを設け
ている。

【０００７】

【作用】撮像手段の位置、姿勢の変化を検知手段で検知
すると共に、異る位置で撮像した複数の被計測体の画像
と上記検知手段の出力とからパラメータ推定手段により
撮像パラメータを推定し、推定されたパラメータと上記
の各画像とに基づいて距離算出手段は撮像手段と被計測
体との距離を算出する。

【０００８】

【発明の実施の形態】図１は本発明の第１の実施の形態
による３次元形状抽出装置における３次元形状抽出の概
念および基本構成を示す。図１のように、使用者はグラ
フィックスやＣＡＤ等を行うコンピュータ１に接続され
たカメラ２で被計測物体３の周りをスキャンしながら画
像入力を行う。図２にその基本構成を示す。コンピュー
タ１は、演算およびグラフィックス処理を行う処理装置
１１とＣＲＴ等の表示を行う表示装置１２、キーボー
ド、マウス等のコマンド入力を行う入力装置１３、ＩＣ
メモリやハードディスク等の記憶装置１４よりなり、さ
らにコンピュータ１内にカメラ２に直結した処理を行う
カメラ専用処理装置５が設置されている。尚、カメラ専
用処理装置５はカメラ２内に設けてもよい。また、処理
装置１１の内部プログラムによりカメラ専用処理装置５
の処理を行うようにしてもよい。

【０００９】３次元形状の入力はコンピュータ１の画像
入力プログラムを起動することによって行われる。この
時、使用者はまず被計測物体３を補正パッド４の上に置
く。そして、コンピュータ１の画像入力プログラムを入
力装置１３からコマンド入力により起動すると、コンピ
ュータ１の表示装置１２にカメラのファインダに相当す
るウインドウ（以下、ファインダウインドウと称する）
が生成される。そしてカメラ２のスイッチを入れると、
ウインドウ内にカメラ２で撮像した画像が表示される。
使用者はこの表示された画像を見ながら被計測物体３が
画面のほぼ中央にくるようにフレーミングを行った後、
シャッタを押す。そして、そのまま被計測物体３のスキ
ャンニングを行い、被計測物体３の画像データを取得す
る。この画像データがカメラ専用処理装置５と処理装置
１１によって処理されることにより、被計測物体３の３
次元データが得られる。

【００１０】図３はカメラ２の構成を示すブロック図で
ある。２１は被計測物体３を撮像する撮像レンズ、２２
は画像を電気信号として取り込むＣＣＤ等のイメージセ
ンサ、２３はイメージセンサ２２からの電気信号を保持
し、画像信号ｓ１として出力するサンプルホールド回路
である。イメージセンサ２２は検出画像領域の中心がほ
ぼ撮像レンズ２１の光軸と交わり、イメージセンサ２２
の検出面は撮像レンズ２１の光軸とほぼ直交するよう調
整されている。２４はカメラのオートフォーカス等に用
いられる焦点検出装置で、図示しないＬＥＤから赤外光
を被計測物体３に投射し、カメラに戻ってくる反射光を
図示しないラインセンサで受光し、その受光位置により
焦点位置を検出する。２５はパルスモータ等のレンズ駆
動部であり、撮像レンズ２１を光軸と平行な方向に駆動
してピントを合わせる。２６はレンズ駆動回路であり、
焦点検出装置２４からの焦点位置検出信号に応じてレン
ズ駆動部２５の制御を行うと共に、レンズ位置信号ｓ２
を出力する。

【００１１】２７は図示しない加速度センサ、振動ジャ
イロ等の角速度センサ及び積分器より構成されるカメラ
変位検出装置であり、カメラ２の３次元位置および姿勢
の変位を検出し、カメラ変位信号ｓ３として出力する。
このカメラ変位検出装置２７の検出回転角の軸は、ほぼ
撮像レンズ２１の光軸、イメージセンサ２２の水平、垂
直方向の軸に合うように調整されている。また、この３
つの座標軸の原点はほぼカメラ変位検出装置２７の中心
位置である。２８はシャッタであり、シャッタ信号（オ
ン・オフ信号）ｓ４を出力する。２９はカメラ２からの
出力信号ｓ１〜ｓ４をパラレルにカメラ専用処理装置５
に送るためのインタフェース部である。

【００１２】図４はカメラ専用処理装置５の構成を示す
ブロック図である。５１は入力インタフェース部でカメ
ラ２から送られてきた画像信号ｓ１、レンズ位置信号ｓ
２、カメラ変位信号ｓ３、シャッタ信号ｓ４を受け、装
置内の各部に送る。５２はオートゲインコントロール回
路で、自動的に画像信号ｓ１の利得を制御する。５３は
ガンマ補正回路であり、オートゲインコントロール回路
５２の出力信号の階調補正を行う。５４はＡ／Ｄ変換器
でガンマ補正回路５３の出力信号をアナログ−デジタル
変換し、デジタル画像データを出力する。５５はレンズ
情報記憶部であり、撮像レンズ２１固有の情報を記憶し
ている。

【００１３】５６は視点位置算出回路であり、レンズ位
置信号ｓ２とレンズ情報記憶部５５に記憶されているデ
ータとにより、視点位置（レンズ位置に応じた撮像レン
ズ２１の像側主点（以後、視点と称する）のイメージセ
ンサ２２で得られるデジタル画像の中心からの位置で、
撮像レンズ２１とイメージセンサ２２を含む撮像系の光
学的配置を表す）を算出して出力する。５７は視点変位
算出回路でありカメラ変位信号ｓ３とレンズ情報記憶部
５５に記憶されているデータとにより、撮像レンズ２１
の視点の移動量と光軸の回転変位量とを算出して出力す
る。５８は撮像データ書き込み制御部で、シャッタ信号
ｓ４がオンの状態でＡ／Ｄ変換器５４の出力信号である
デジタル画像データと視点位置算出回路５６の出力であ
る視点位置データ、視点および視点変位算出回路５７の
出力である視点移動量、光軸回転量のデータを記憶装置
１４に書き込む制御を行う。

【００１４】次にカメラ２で被計測物体３の周りをスキ
ャンしながら画像入力を行う際のカメラ２およびカメラ
専用処理装置５の動作を説明する。まず、コンピュータ
１の画像入力プログラムを起動すると、コンピュータ１
内の処理装置１１はファインダウインドウを生成して表
示装置１２に表示する。そして、カメラ２の図示しない
電源スイッチがオンになった状態で、撮像レンズ２１で
取り込んだ画像はイメージセンサ２２、サンプルホール
ド回路２３、インタフェース部２９を介して画像信号ｓ
１としてカメラ専用処理装置５に送られる。この画像信
号ｓ１は入力インタフェース部５１で受け取られ、オー
トゲインコントロール回路５２、ガンマ補正回路５３、
Ａ／Ｄ変換器５４を介してデジタル画像データとして出
力される。このデジタル画像データはコンピュータ１内
の処理装置１１の図示しないグラフィックメモリに書き
込まれ、また、処理装置１１は表示装置１２のファイン
ダウインドウにこの画像を表示する。

【００１５】この間、焦点検出装置２４はイメージセン
サ２２の画面ほぼ中央に相当する領域でのピントずれ量
を常時検出し、レンズ駆動回路２６は焦点検出装置２４
で検出される信号に応じてレンズ駆動部２５を制御し、
レンズ駆動部２５は撮像レンズ２１を駆動してピントを
合わせる。この時、レンズ駆動回路２６はレンズ駆動部
２５を制御する信号をレンズ位置信号ｓ２としてインタ
フェース部２９を介してカメラ専用処理装置５に送る。
この時送られるレンズ位置信号ｓ２は撮像レンズ２１の
基準位置からの繰出量を表している。以上の動作により
撮像レンズ２１で取り込んだ画像がファインダウインド
ウにそのまま表示される。

【００１６】次に、使用者はこの画像を見てフレーミン
グ等を行い、構図が決定したところでシャッタ２８を押
す。シャッタ２８が押されるとレンズ駆動回路２６はレ
ンズ駆動部２５が撮像レンズ２１を駆動しないように制
御を行い、撮像レンズ２１のピント位置が固定される。
またシャッタ２８からのシャッタ信号ｓ４がインタフェ
ース部２９を介してカメラ専用処理装置５に送られる。
一方、カメラ変位検出装置２７はカメラ２の図示しない
電源スイッチがオンになった状態で、常時カメラの位置
および姿勢の変位を検出し、そのカメラ変位信号ｓ３が
インタフェース部２９を介してカメラ専用処理装置５に
送られる。またカメラ専用処理装置５に送られたレンズ
位置信号ｓ２は入力インタフェース部５１を介して視点
位置算出回路５６に送られる。

【００１７】視点位置算出回路５６はレンズ情報記憶部
５５に記憶されている視点位置補正テーブルをレンズ位
置信号ｓ２の値に応じて読み出し、視点位置を求める。
すなわち、レンズ情報記憶部５５に記憶されている視点
位置補正テーブルには、レンズ位置信号ｓ２の値に応じ
た撮像レンズ２１の繰り出し位置でのイメージセンサ２
２で得られるデジタル画像の中心からの視点位置データ
が記憶されている。この視点位置データは撮像レンズ２
１の光軸方向成分ｆとそれに直交するイメージセンサ２
２の水平、垂直方向成分（Δｘ，Δｙ）の３つの成分を
持つ。理想的にはｆは撮像レンズ２１の焦点距離にほぼ
等しく、（Δｘ，Δｙ）はほぼ０に等しい。

【００１８】一方、カメラ専用処理装置５に送られたカ
メラ変位信号ｓ３は入力インタフェース部５１を介して
視点変位算出回路５７へ送られる。カメラ２から送られ
てくるカメラ変位信号ｓ３はカメラ変位検出装置２７の
中心を原点とする３つの直交した座標軸で決定できる座
標系での位置変位、角度変位の情報を表すものである。
視点変位算出回路５７はレンズ情報記憶部５５に記憶さ
れている視点変換データを用いてマトリックス演算を行
い、イメージセンサ２２の検出面の撮像レンズ２１の光
軸との交点を原点とした撮像レンズ２１の光軸、イメー
ジセンサ２２の水平、垂直方向の軸で決定できる座標系
での位置変位（以下、視点移動量と称する）および角度
変位（以下、光軸回転量と称する）を求める。すなわ
ち、この視点変位算出回路５７の処理により、カメラ変
位検出装置２７と撮像レンズ２１の原点、座標軸のずれ
が補正される。従って、レンズ情報記憶部５５にはカメ
ラ変位検出装置２７で検出されるカメラ変位信号ｓ３を
視点移動量および光軸回転量に変換する変換マトリック
スが視点変換データとして記憶されている。

【００１９】次に撮像データ書き込み制御部５８は、カ
メラ専用処理装置５に入力インタフェース部５１を介し
て送られたシャッタ信号ｓ４がオンの状態の時に、Ａ／
Ｄ変換器５４から出力されるデジタル画像データ、視点
位置算出回路５６から出力される視点位置データ、視点
変位算出回路５７から出力される視点移動量および光軸
回転量データを受け取り、これらのデータをコンピュー
タ１の記憶装置１４に書き込むように制御する。このデ
ータ書き込みはシャッタ信号ｓ４がオフになるまで行わ
れ、シャッタ信号ｓ４がオフになるとデジタル画像デー
タおよび入力時の視点位置データ、視点移動量および光
軸回転量データの入力処理は完了する。

【００２０】本実施例においては撮像レンズ２１が理想
結像系である場合を想定して入力処理について説明した
が、例えば撮像レンズ２１の光学特性として歪曲が大き
い場合には、Ａ／Ｄ変換器５４から出力されるデジタル
画像データに対して歪曲補正を行う処理部を設け、その
出力画像データを記憶装置１４に書き込むように構成す
るほうがより好ましい。その場合、以後の３次元形状抽
出処理において撮像レンズ２１の歪曲の影響における精
度の劣化が補正できる。

【００２１】また、撮像レンズ２１の光学特性として光
量分布特性が画像中心部と周辺部とで大きく異なる場合
には、Ａ／Ｄ変換器５４から出力されるデジタル画像デ
ータに対して光量補正を行う処理部を設け、その出力画
像データを記憶装置１４に書き込むよう構成するほうが
より好ましい。さらにＡ／Ｄ変換器５４から出力される
デジタル画像データに対して例えばＪＰＥＧ、ＭＰＥＧ
等の圧縮を行う処理部を設け、画像データを圧縮した
後、記憶装置１４に書き込むよう構成し、以降の３次元
形状抽出処理で画像データを伸長して処理を行うように
すれば、記憶装置１４の容量が節約できる。

【００２２】次に、以上述べた入力処理により記憶装置
１４に記憶されたデータから被計測物体３の３次元形状
を抽出する処理について述べる。３次元形状の抽出はコ
ンピュータ１の３次元形状抽出プログラムを入力装置１
３からのコマンド入力により起動することによって行わ
れる。図５に３次元形状抽出処理のブロック図を示す。
処理に用いるデータはＮ組のデジタル画像データ、視点
位置データ、視点移動量および光軸回転量データであ
る。尚、図５では視点位置データ、視点移動量および光
軸回転量データをまとめてパラメータとして示してい
る。また、画像データ＃₁と画像データ＃₂の変位を表
すパラメータはＰ（１，２）のように示す。

【００２３】６１は画像前処理部で、画像データから被
計測体と特徴点群とを抽出する。６２はパラメータ推定
部で、画像前処理部６１の出力である２組の特徴点群と
パラメータとからパラメータの推定、修正を行う。６３
は距離分布抽出部で、画像前処理部６１の出力である２
組の被計測体画像とパラメータ推定部６２の出力である
パラメータとから２組の被計測体画像で重複している部
分の距離分布を求める。６４は距離情報統合部で、パラ
メータ推定部６２の出力である２組のパラメータのうち
どちらか一方のパラメータに合わせて距離分布抽出部６
３の出力である２組の距離分布を統合する。６５は３次
元形状抽出部で、統合された距離分布と統合時のパラメ
ータとから３次元形状を抽出し、記憶装置１４に記憶す
る。

【００２４】次に、以上の構成による処理の詳細な動作
について説明する。まず、図６の３次元形状入力の概念
図を用いて入力時の画像、パラメータの意味について説
明する。図６には時刻ｔ₁とｔ₂の２つの時刻でのカメ
ラ２の様子を示してある。時刻ｔ₁、ｔ₂での視点をそ
れぞれＯ₁、Ｏ₂、座標系をＸ₁Ｙ₁Ｚ₁、Ｘ₂Ｙ₂Ｚ
₂とする。画像データ＃₁は時刻ｔ₁で撮像され、画像
データ＃₂は時刻ｔ₂で撮像される。また、パラメータ
のうち、視点位置データは図６のｆ（光軸方向成分）と
（Δｘ，Δｙ）（イメージセンサ２２の水平・垂直方向
成分）であり、撮像中は変化しない。（図６のＯ_iは画
像中心を示す）また、パラメータ＃₂の視点移動量は図
６のＴで示されるベクトルであり、Ｏ₁からＯ₂への移
動を表し、光軸回転量は図６ではＲで示しており、座標
系Ｘ₁Ｙ₁Ｚ₁からＸ₂Ｙ₂Ｚ ₂への回転を表す。処理
の動作については、図６に示すような格子パターンのあ
る補正パッド４の上にボールが被計測物体３として置か
れている場合について説明する。

【００２５】図７に画像前処理部６１のブロック図を示
す。６１１は被計測体領域分割部であり、入力画像デー
タのエッジを検出して小領域に分割した後、輝度レベ
ル、テクスチャ等の特徴を利用して領域統合を行い、被
計測体領域と背景パターン領域とに分割する。そして、
被計測体領域のみの被計測体画像と背景領域のみの背景
画像とを生成する。被計測体画像と背景画像の例を図８
（ｂ）（ｃ）に示す。図８（ａ）は入力画像である。６
１２は特徴点抽出部であり、被計測体領域分割部６１１
の出力である背景画像を微分し、ピーク位置を特徴点座
標として抽出する。イメージセンサ２２上の点の空間座
標は視点を原点とした座標系ではＺ座標は一定なので、
特徴点群としてイメージセンサ２２の画像中心を原点と
した水平、垂直方向をＸ、Ｙ座標としてその複数のＸ、
Ｙ座標の組を出力する。

【００２６】図９にパラメータ推定部６２のブロック図
を示す。６２１は対応点探索部であり、２組の画像デー
タから画像前処理部６１で抽出された特徴点群間の対応
付けをカメラ専用処理装置５から記憶装置１４に記憶さ
れた視点位置、視点移動量、光軸回転量のパラメータを
利用して行う。この動作について図１０を用いて説明す
る。図１０（ａ）（ｂ）にそれぞれ画像領域内に特徴点
を表示した画像を示す。例えば、（ａ）の特徴点ｐに対
する特徴点を探索する場合、まず点ｐに対する（ｂ）で
の対応可能領域（図でＡを示す領域）を算出する。一般
に特定のカメラで撮った２組の画像の特徴点の対応付け
は、視点位置、視点移動量、光軸回転量と物体距離によ
って１対１に対応付けられる。

【００２７】この関係を図１１に示す。点ｐに対応する
物点Ｐは視点位置ｆと（Δｘ，Δｙ）、物体Ｚｐによっ
て求められ、物点Ｐは視点移動量Ｔ、光軸回転量Ｒで座
標変換されて、視点位置ｆと（Δｘ，Δｙ）、物体Ｚ
ｐ′によって再び別の像点である点ｐ′が求められる。
対応点探索部６２１では物体距離、視点移動量、光軸回
転量としておおよその下限値、上限値を与えてそれぞれ
対応点を計算し、その範囲によって対応可能領域Ａを決
定する。そしてその中の特徴点を対応とするのである。
この時、対応可能領域Ａ内に特徴点がなければ、対応点
はないとする。ほとんどの特徴点に対応点がない場合は
上記の下限値、上限値の範囲を広げる。また、特徴点が
複数存在する場合は、複数記憶しておく、以上の処理を
すべての特徴点に対して行った後、１対１に対応付けが
行えるよう対応付けの照合を行い、特徴点間の対応関係
の矛盾のない対応点対を出力する。

【００２８】６２２はパラメータ最適化部である。この
パラメータ最適化部６２２では記憶装置１４に記憶され
た視点移動量Ｔ、光軸回転量Ｒを初期値として、視点位
置ｆと（Δｘ，Δｙ）、対応点探索部６２１の出力であ
る２組の画像の特徴点の対応点対から視点移動量Ｔ、光
軸回転量Ｒと平面である背景パターン部の平面の式を推
定する。以下、この推定方法について簡単に述べる。画
像＃₁の像面座標系、空間座標系をそれぞれｘ₁ｙ₁、
Ｘ₁Ｙ₁Ｚ₁、画像＃₂の像面座標系、空間座標系をそ
れぞれｘ₂ｙ₂、Ｘ₂Ｙ₂Ｚ₂とし、初期値として与え
られる視点移動量Ｔ、光軸回転量Ｒをそれぞれ（Δ
Ｘ₀，ΔＹ₀，ΔＺ₀）、（Δα₀，Δβ₀，Δγ₀）
とする。但し、視点移動量の各成分ΔＸ₀、 ΔＹ₀、Δ
Ｚ₀はそれぞれＸ₁Ｙ₁Ｚ₁方向の移動量、光軸回転量
の各成分Δα₀、 Δβ₀、Δγ₀はそれぞれＸ₁Ｙ₁Ｚ
₁軸中心の回転角を表している。また、ｎ組の対応点対
データが（ｘ_1i，ｙ_1i）：（ｘ_2i，ｙ_2i）、ｉ＝１、
２、…、ｎのように求められているものとする。ここ
で、座標系Ｘ₁Ｙ₁Ｚ₁での背景パターン部の平面の式
を

【００２９】

【数１】

【００３０】と仮定する。この時、画像＃₁の像面座標
系と空間座標系の関係は

【００３１】

【数２】

【００３２】画像＃₂の像面座標系と空間座標系の関係
は

【００３３】

【数３】

【００３４】であり、空間座標系Ｘ₁Ｙ₁Ｚ₁とＸ₂Ｙ
₂Ｚ₂の関係は

【００３５】

【数４】

【００３６】となる。ここで初期推定値として（ΔＸ，
ΔＹ，ΔＺ）＝（ΔＸ₀，ΔＹ₀，ΔＺ₀）、（Δα，
Δβ，Δγ）＝（Δα₀，Δβ₀，Δγ₀）を式（４）
に代入し、これらの式（１）〜式（４）より、画像＃₁
の点（ｘ_1i，ｙ_1i）に対応する画像＃₂の点の推定値
（ｘ_2i′，ｙ_2i′）を導き、推定値（ｘ_2i′，ｙ_2i′）
と対応する点（ｘ_2i，ｙ_2i）との距離の自乗のｎ組の総
和が最小になるように平面の式、式（１）のパラメータ
ａ、ｂ、ｃを求める。次に、ここで求まった平面の式、
式（１）のパラメータａ、ｂ、ｃを式（１）に代入し、
これらの式（１）〜式（２）より、画像＃₁の点
（ｘ_1i，ｙ_1i）に対応する画像＃₂の点の推定値
（ｘ_2i′，ｙ_2i′）を導き、推定値（ｘ_2i′，ｙ_2i′）
と対応する点（ｘ_2i，ｙ_2i）との距離の自乗のｎ組の総
和が最小になるように式（４）のパラメータ（ΔＸ，Δ
Ｙ，ΔＺ）、（Δα，Δβ，Δγ）を求める。

【００３７】これらの処理を数回繰り返し、視点移動量
Ｔ、光軸回転量Ｒと平面である背景パターン部の平面の
式の推定値を得る。パラメータ推定部６２ではこの視点
移動量、光軸回転量と入力された視点位置データを出力
する。本実施例ではこのパラメータ推定部６２を設ける
ことにより、カメラ変位検出装置２７の出力であるカメ
ラ変位信号の精度が悪い場合でも背景パターン部が平面
であるという被計測物体３の一部の３次元形状の既知情
報を利用してパラメータ推定部６２で視点移動量、光軸
回転量の修正を行うので、以降の３次元形状抽出処理で
高精度の出力データが得られる。

【００３８】また、本実施例では推定するパラメータと
して視点移動量、光軸回転量の場合について説明した
が、例えば視点位置データであるｆや（Δｘ，Δｙ）の
精度が悪い場合には、上述した推定方法と同様の方法で
視点位置データも推定することが可能である。これらの
光学的配置を表すパラメータを推定することにより、撮
像レンズ２１の繰り出し位置がレンズ位置信号ｓ２とし
て正確に検出できない場合や撮像レンズ２１とイメージ
センサ２２との位置合わせが精度よくできない場合にお
いても、以降の３次元形状抽出処理で高精度の出力デー
タが得られる。また、本実施例では背景パターン部が平
面であるという既知情報を用いてパラメータを推定した
が、球面等の別形状であっても同様にパラメータの推定
が行えることは言うまでもない。

【００３９】図１２に距離分布抽出部６３のブロック図
を示す。６３１はマッチング処理部あり、２組の画像デ
ータから画像前処理部６１で抽出された被計測体画像間
の対応付けを視点位置、視点移動量、光軸回転量のパラ
メータを利用して行う。この時、視点移動量、光軸回転
量のパラメータはパラメータ推定部６２の出力を用い
る。そして、パラメータ推定部６２の対応点探索部６２
１と同様に物体距離、視点移動量、光軸回転量としてお
およその下限値、上限値を与えてそれぞれ対応点を計算
し、その範囲によって対応可能領域を決定し、対応点を
求める。この時、視点移動量、光軸回転量のパラメータ
の下限値、上限値は対応点探索部６２１のパラメータの
下限値、上限値に比べると範囲が狭く設定されている。
これは、マッチング処理部６３１で用いるパラメータは
特徴点の対応付けより推定されたものなので対応点探索
部６２１で用いるパラメータより精度がよいからであ
る。

【００４０】また、物体距離のパラメータの下限値、上
限値は対応点探索部６２１のパラメータの下限値、上限
値に比べると範囲が十分広く設定されている。これは対
応点探索部６２１対応点を求める被計測体３は平面であ
るのに対し、マッチング処理部６３１で対応点を求める
被計測体の形状は未知であるからである。この時、まず
画像＃₁の被写体領域の小領域がテンプレートとして抽
出され、テンプレートに位置オフセットをかけて平行移
動させて、画像＃₂の対応可能領域の範囲で画像データ
とのテンプレートマッチングが行われ、画像＃₁の座標
（ｘ₁，ｙ₁）に対応する画像＃₂の座標（ｘ₂，
ｙ₂）が検出される。このテンプレートマッチングの処
理を画像＃₁の被写体領域の画像データ分だけ行い、被
計測体領域での対応点対として出力する。

【００４１】６３２は距離算出部であり、視点位置、視
点移動量、光軸回転量のパラメータと対応点探索部６３
１の出力である対応点対により距離を算出する。すなわ
ち、画像＃₁の被写体領域の各点での距離Ｚ₁を式
（２）〜式（３）により求める。この時、式（２）、式
（３）のｘ、ｙそれぞれの関係式から距離を求めて、ｘ
の関係式で求めた距離とｙの関係で求めた距離を平均す
る。そして、このＺ₁と式（２）によりＸ₁、Ｙ₁を求
めて、座標（Ｘ₁，Ｙ₁，Ｚ₁）を対応点対の数だけ出
力する。

【００４２】図１３に距離情報統合部６４のブロック図
を示す。６４１は距離情報メモリである。ここで、画像
＃₁と画像＃₂からパラメータ推定部６２で求めたパラ
メータをＰ（１，２）、距離分布算出部６３で求めた距
離分布をＺ（１，２）のように表すと、距離分布Ｚ
（１，２）と距離分布Ｚ（２，３）を統合する場合、距
離分布Ｚ（１，２）はそのまま距離情報メモリ６４１に
記憶される。

【００４３】６４２は座標変換部であり、距離分布Ｚ
（２，３）をパラメータＰ（１，２）を用いて、パラメ
ータＰ（１，２）の座標系に変換する。すなわち、距離
分布Ｚ（２，３）のデータである座標（Ｘ₂，Ｙ₂，Ｚ
₂）から式（４）の逆変換により座標（Ｘ₁，Ｙ₁，Ｚ
₁）を得る。そして、変換された距離分布Ｚ（２，３）
が距離情報メモリ６４１に記憶される。６４３はパラメ
ータ統合部であり、パラメータＰ（１，２）とＰ（２，
３）を統合して、パラメータＰ（１，３）を出力する。
式より、空間座標系、Ｘ₁Ｙ₁Ｚ₁とＸ₃Ｙ₃Ｚ₃の関
係は式（５）となる。但し、パラメータＰ（１，２）、
Ｐ（２，３）それぞれの視点移動量を（ΔＸ₁，Δ
Ｙ₁，ΔＺ₁）、（ΔＸ₂，ΔＹ₂，ΔＺ₂）、、光軸
回転量を（Δα ₁，Δβ₁，Δγ₁）、（Δα₂，Δβ
₂，Δγ₂）、とする。

【００４４】

【数５】

【００４５】従って、パラメータ統合部６４３は式
（５）の［］でくくった第２、第３項の和を視点移動
量、（Δα₁＋Δα₂，Δβ₁＋Δβ₂，Δγ₁＋Δγ
₂）を光軸回転量として出力する。他の距離情報の統合
においても同等の処理が行われ、Ｎ組の画像データが入
力された場合、Ｎ−２回の処理で入力画像から求められ
た全ての距離分布が統合される。

【００４６】図１４に３次元形状抽出部６５のブロック
図を示す。６５１は中心点抽出部であり、最終段の距離
情報統合部６４の出力である統合された距離分布から被
計測物体３の表面が分布する範囲を求め、その範囲の中
心点を出力する。６５２は物体モデル形成部であり、統
合された距離分布を距離情報統合部６４の出力である統
合時のパラメータのうち視点位置データを用いて、中心
点抽出部６５１の出力である中心点を原点とした極座標
に変換する。

【００４７】例えば、ボールを被計測物体３として入力
した場合の座標変換の様子を図１５に示す。すなわち、
図１５（ａ）に示すような距離情報を表すＯ₁を原点と
したＸ₁Ｙ₁Ｚ₁座標系の空間座標（Ｘ₁，Ｙ₁，
Ｚ₁）を、図１５（ｂ）に示すような原点移動のみ行っ
て中心点Ｏを原点としたＸＹＺ座標系の空間座標に変換
し、さらに極座標系の空間座標（γ，θ，φ）に変換す
る。そして、入力装置１３から指定する３次元形状の解
像度に従いメッシュ状の領域ごとに極座標に変換された
データを平均して被計測物体３の３次元形状データとし
て記憶装置１４に記憶する。このように本実施例では３
次元形状抽出部６５によって距離情報を極座標に変換し
て３次元形状データとして出力するので被計測物体３の
表面形状を効率よく記憶しておける。

【００４８】図１６に、本発明の第２の実施の形態によ
る３次元形状抽出装置における３次元形状抽出の概念お
よび基本構成を示す。

【００４９】図１６（ａ）に示すように使用者は壁面の
ような平面の背景をバックにカメラ７で被計測物体３を
スキャンしながら画像入力を行う。すなわち、屋外で画
像入力を行う際には平面の背景パターンを第１の実施の
形態における補正パッド４の代わりに用いている。撮像
された画像はカメラ２で処理され、距離データとして着
脱可能なＩＣカード等の記憶媒体８に記憶される。そし
て、図１６（ｂ）に示すように、カメラ７から記憶媒体
８を脱着し、コンピュータ１に装着する。コンピュータ
１は内部の３次元形状抽出プログラムによって距離デー
タから被計測物体３の３次元形状データを得る。カメラ
７はおおよそ第１の実施の形態におけるカメラ２、カメ
ラ専用処理装置５、コンピュータ１の処理装置１１の処
理のうち、画像前処理部６１、パラメータ推定部６２、
距離分布抽出部６３、距離情報統合部６４の機能と同等
の機能を持ち、コンピュータ１は内部の３次元形状抽出
プログラムはコンピュータ１の処理装置１１の処理のう
ち３次元形状抽出部６５と同等の機能を持つ。

【００５０】図１７はカメラ７の構成を示すブロック図
である。７１は撮像レンズ、７２はイメージセンサ、７
３はサンプルホールド回路、７４はオートゲインコント
ロール回路、７５はガンマ補正回路、７６はＡ／Ｄ変換
器、であり、上記の各部７１〜７６によりデジタル画像
データを形成する。７７は焦点検出装置、７８はレンズ
駆動部、７９はレンズ駆動回路であり、上記各部７７〜
７９により画像のピント合わせを行う。８０はカメラ変
位検出装置であり、カメラの位置および姿勢の変位を検
出する。８１はシャッタである。８２はレンズ情報記憶
部で、撮像レンズ７１固有の情報を記憶している。８３
は視点位置算出回路、８４は視点変位算出回路であり、
パラメータ（視点位置、視点移動量、光軸回転角）を出
力する。

【００５１】９０は制御部であり、画像データ、パラメ
ータ等のデータの制御を行う。８５はパラメータととも
にデジタル画像データを記憶しておく画像メモリであ
る。８６は画像前処理部で、画像データから被計測体画
像と特徴点群とを抽出する。８７はパラメータ推定部
で、画像前処理部８６の出力である２組の特徴点群とパ
ラメータとからパラメータの推定、修正を行う。８８は
距離分布抽出部で、画像前処理部８６の出力である２組
の被計測体画像とパラメータ推定部８７の出力であるパ
ラメータとから２組の被計測体画像で被計測物体３が重
複している部分での距離分布を求める。８９は距離情報
統合部で、パラメータ推定部６２の出力である２組のパ
ラメータのうちどちらか一方のパラメータに合わせて距
離分布抽出部６３の出力である２組の距離分布を統合す
る。この統合された距離分布と統合時のパラメータが記
憶媒体８に記憶される。

【００５２】なお、本実施の形態におけるブロックで第
１の実施の形態と同名のものは同一の機能を持つ。例え
ば画像間処理部８６、パラメータ推定部８７、距離分布
抽出部８８、距離情報統合部８９はそれぞれ図７の画像
前処理部６１、図９のパラメータ推定部６２、図１２の
距離分布抽出部６３、図１３の距離情報統合部６４に示
した機能を持つ。

【００５３】

【発明の効果】以上説明したように、請求項１の発明に
よれば、検知手段により撮像手段の位置および姿勢の変
化を検知すると共に、上記撮像手段で撮像した複数の被
計測物体の画像と上記検知手段の出力とからパラメータ
推定手段により撮像パラメータを推定し、上記複数の被
計測物体の画像と上記パラメータ推定手段の出力とから
上記撮像手段と被計測物体との距離を算出するように構
成したので、わずらわしい設定を行わずに簡単に被計測
物体の３次元形状を抽出することができる。特にパラメ
ータ推定手段を設けたことにより、高精度に被計測物体
の３次元形状を求めることができる。

【００５４】また、請求項２の発明によれば、上記撮像
パラメータが上記検知手段の出力である上記撮像手段の
位置および姿勢の変化と上記撮像手段の光学的配置との
少なくとも１つを含むようにしたので、カメラの位置決
めの精度が悪い場合でも、高精度に被計測物体の３次元
形状を求めることができる。

【００５５】また、請求項３の発明によれば、上記パラ
メータ推定手段が、上記撮像手段によって得た複数の画
像のうち、被計測物体の３次元形状が既知の領域での対
応付けをもとに撮像パラメータを推定するようにしたの
で、物体の３次元形状をさらに精度良く求めることがで
きる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態による３次元形状抽
出装置の概念を示す構成図である。

【図２】第１の実施の形態による３次元形状抽出装置の
基本的な構成図である。

【図３】第１の実施の形態によるカメラの構成を示すブ
ロック図である。

【図４】第１の実施の形態によるカメラ専用処理装置の
構成を示すブロック図である。

【図５】本発明の第１の実施の形態による３次元形状抽
出処理を示すブロック図である。

【図６】３次元形状入力の概念を示す構成図である。

【図７】第１の実施の形態による画像前処理部のブロッ
ク図である。

【図８】被写体領域分割処理を説明する構成図である。

【図９】第１の実施の形態によるパラメータ推定部のブ
ロック図である。

【図１０】対応点探索処理を説明する構成図である。

【図１１】像点と物点との関係を示す構成図である。

【図１２】第１の実施の形態による距離分布抽出部のブ
ロック図である。

【図１３】第１の実施の形態による距離情報統合部のブ
ロック図である。

【図１４】第１の実施の形態による３次元形状抽出部の
ブロック図である。

【図１５】３次元形状抽出処理における座標変換を説明
する構成図である。

【図１６】本発明の第２の実施の形態による３次元形状
抽出装置の概念と構成を示す構成図である。

【図１７】第２の実施の形態によるカメラの構成を示す
ブロック図である。

【符号の説明】

１コンピュータ２カメラ３被計測物体４補正パッド５カメラ専用処理装置１１処理装置２４、７７焦点検出装置２７、８０カメラ変位検出装置５６、８３視点位置算出回路５７、８４視点変位算出回路６３、８７パラメータ推定部６５３次元形状抽出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者真継優和東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者倉橋直東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者石川基博東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】被計測物体を撮像する撮像手段と、上記撮像手段の位置および姿勢の変化を検知する検知手
段と、上記撮像手段から得られる少なくとも撮像位置が異りか
つ画像の一部が重複した複数の画像と上記検知手段の出
力とから撮像パラメータを推定するパラメータ推定手段
と、上記複数の画像と上記パラメータ推定手段の出力とから
上記撮像手段と被計測物体との距離を算出する距離算出
手段とを備えた３次元形状抽出装置。
【請求項２】上記撮像パラメータは、上記検知手段の
出力である上記撮像手段の位置および姿勢の変化と上記
撮像手段の光学的配置との少なくとも１つを含むことを
特徴とする請求項１記載の３次元形状抽出装置。
【請求項３】上記パラメータ推定手段は、上記撮像手
段から得られる複数の画像のうち、上記被計測物体の３
次元形状が既知の領域での対応付けに基づいて上記撮像
パラメータを推定することを特徴とする請求項１記載の
３次元形状抽出装置。