JPH0946730A

JPH0946730A - 立体形状抽出装置

Info

Publication number: JPH0946730A
Application number: JP7193596A
Authority: JP
Inventors: Tatsushi Katayama; 達嗣片山; Masayoshi Sekine; 正慶関根; Motohiro Ishikawa; 基博石川; Sunao Kurahashi; 直倉橋; Shigeki Okauchi; 茂樹岡内
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-07-28
Filing date: 1995-07-28
Publication date: 1997-02-14

Abstract

(57)【要約】【課題】物体の立体形状情報を高い精度で抽出する。【解決手段】ズームレンズを有する撮影レンズ１００
Ｒ、１００Ｌを通じてイメージセンサ１０２Ｒ、１０２
Ｌで撮像した画像を映像信号処理部１０４Ｒ、１０４Ｌ
で処理した信号から被写体分離部１０５Ｒ、１０５Ｌに
より主被写体とその背面とを分離する。これを画像処理
部２２０に送り、ここで撮像時の各パラメータに基づい
て主被写体の立体形状を抽出する。上記各パラメータ
は、各イメージセンサ１０２Ｒ、１０２Ｌが撮像する主
被写体が重複する撮像領域に収まるように、かつ主被写
体が焦点深度内に収まるように自動的に調整される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＣＧやＣＡＤ等に
おいて利用される立体形状モデルの生成に必要な物体や
環境の３次元情報を抽出する立体形状抽出装置に関する
ものである。

【０００２】

【従来の技術】従来より、物体の３次元形状を求める技
術として例えばテレビジョン学会誌、Ｖｏ１．４５、Ｎ
ｏ．４（１９９１）、ｐｐ．４５３−４６０に記載され
ているものがある。上記文献に記載されているように物
体の３次元形状を求める方法としては、大別して受動的
手法と能動的手法とがある。受動的手法の代表的なもの
がステレオ画像法であり、２台のカメラを用いて三角測
量を行うものである。この方法では左右の画像から同じ
ものが写っている場所を探索し、その位置のずれ量から
被写体の３次元位置を計測する。また、能動的手法の代
表的なものとして、光を投影して反射して帰ってくるま
での時間を計測して距離を求める光レーダ型のレンジフ
ァインダや、スリット状の光パターンを投影して被写体
に写るパターン形状の変位から３次元形状を測定するス
リット光投影法などがある。

【０００３】

【発明が解決しようとする課題】しかしながら、上記ス
テレオ画像法においては、カメラが設置されているある
特定の位置から被写体までの距離情報算出が主目的であ
り、ある被写体の立体形状そのものを計測するものでは
なく、精度の高い３次元形状を得ることはできない。ま
た、能動的手法ではレーザ光等を物体に照射するために
装置が大型となり、コストが高くなるという問題があっ
た。さらに、いずれの方式においても、ある物体の周囲
を移動しながら撮像するような動的な撮像方式において
も柔軟に対応できるようなカメラ制御は行われていな
い。

【０００４】本発明は上記の実情に鑑みてなされたもの
であり、その第１の発明の目的は、複数の撮像系により
被写体を撮像し、立体形状及び画素情報を得る立体形状
抽出装置において、焦点距離及び焦点合わせを自動的に
実行し、精度のよい立体形状抽出を実現すると共に撮影
者の負荷を低減することである。また、第２の発明の目
的は、焦点合わせ位置の調整を円滑に実行することであ
る。第３の発明の目的は、撮像を行う際に撮像パラメー
タを常に適切な状態に制御することである。第４の発明
の目的は、撮影者に撮像可能な状態であることを報知
し、円滑に撮像作業を実行できる状態にすることであ
る。

【０００５】第５の発明の目的は、撮影者が映像を入力
した時点における姿勢情報を得ることである。第６の発
明の目的は、撮影者の作業を円滑に進めるための手助け
をすることである。第７の発明の目的は、撮像作業の失
敗を防止することである。第８の発明の目的は、単眼の
撮像系により立体形状及び画素情報を得る立体形状抽出
装置により、焦点距離及び焦点合わせを自動的に実行
し、精度のよい形状抽出を実現すると共に撮影者の負荷
を低減することである。

【０００６】第９の発明の目的は、立体形状抽出装置の
姿勢を常に検出できる状態を保持することである。第１
０の発明の目的は、既知の被写体が複数ある場合でも対
応可能とすることである。第１１の発明の目的は、撮像
の撮り直し作業を円滑に行うことである。第１２の発明
の目的は、主被写体を撮像する際に姿勢検出のための既
知の被写体の特徴部も同時に入力されるように自動的に
焦点距離を調整することにより、撮影の失敗が防止され
ると共に撮影者の負荷を低減できるようにすることであ
る。

【０００７】

【課題を解決するための手段】第１の発明においては、
被写体を撮像するためのズームレンズを有する複数の撮
像手段と、立体形状を抽出すべき主被写体が上記各撮像
手段の重複する撮像領域に収まると共に上記主被写体が
焦点深度内に収まるように撮像パラメータを自動的に調
整する調整手段とを設けている。

【０００８】第８の発明においては、ズームレンズを有
し移動可能に成された撮像手段と、上記撮像手段が移動
しながら立体形状を抽出すべき主被写体と既知の被写体
とを複数回撮像する際に、上記主被写体と既知の被写体
とが上記撮像手段の視野に収まると共に、上記主被写体
が焦点深度内に収まるように撮像パラメータを自動的に
調整する調整手段と、上記撮像した複数の画像を上記撮
像パラメータを基に補正処理して立体形状を得る補正手
段とを設けている。

【０００９】第１２の発明においては、ズームレンズを
有し移動可能に成された撮像手段と、上記撮像手段が移
動しながら立体形状を抽出すべき主被写体と既知の被写
体と複数回撮像する際に、上記主被写体と既知の被写体
の制御部が上記撮像手段の視野に収まるように撮像パラ
メータを自動的に調整する調整手段とを設けている。

【００１０】

【作用】第１の発明によれば、ズームレンズを有する複
数の撮像手段により被写体を撮像し、被写体の立体形状
及び画素情報を出力する場合に、焦点距離を変えながら
重複領域における被写体の面積を求め、そのピークを検
出すると共に撮像系の焦点深度を算出し、各々の値を基
に撮像パラメータを自動的に調整することができる。

【００１１】第８の発明によれば、ズームレンズを有す
る撮像手段により主被写体及び姿勢検出のための既知の
被写体とを撮像し、被写体の立体形状及び画素情報を出
力する場合に、主被写体及び既知の被写体が撮像手段の
視野に収まるように焦点距離を設定し制御すると共に、
主被写体が焦点深度内に収まるように撮像パラメータを
自動的に調整してその撮像パラメータを保持し、各撮像
位置における画像と姿勢情報、さらには撮像パラメータ
を基に立体形状抽出を行うことができる。

【００１２】第１２の発明によれば、ズームレンズを有
する撮像手段により主被写体及び姿勢検出のための既知
の被写体を撮像し、被写体の立体形状及び画素情報を得
る場合に、画像入力の際に主被写体及び既知の被写体の
特徴部が撮像系の視野に収まるように撮像パラメータを
自動的に調整することができる。

【００１３】

【発明の実施の形態】

（第１の実施例）図１は本発明の第１の実施例による立
体形状抽出装置の概略図である。図１において、１は本
発明による立体形状抽出装置であり、２は被写体におけ
る立体形状を求めようとする主被写体、３は被写体にお
ける主被写体の背面である。立体形状抽出装置１におい
て、１００Ｒは装置からみて右側の撮像レンズであり、
１００Ｌは左側の撮像レンズである。２００は照明部で
あり、撮像環境に応じて照明光を照射する。１０Ｌは右
側の撮像レンズ１００Ｒの撮像範囲を表わし、１０Ｒは
左側の撮像レンズ１００Ｌの撮像範囲を表わす。さら
に、立体形状抽出装置１は不図示の振動ジャイロ等のカ
メラ姿勢検出部を装着しており、装置１の位置を検出す
るようにしている。

【００１４】この立体形状抽出装置１は、撮像開始位置
Ａ０より撮像終了位置Ａｎまで移動しながら主被写体２
を撮像する。また、このときＡ０−Ａｎ間の各撮像地点
における立体形状抽出装置１の位置情報は上記カメラ姿
勢検出部より得られる信号から算出する。

【００１５】図２は立体形状抽出装置１のブロック図を
示す。図２において、１００Ｒ、１００Ｌは撮像レンズ
であり、ズームレンズからなる。１０１Ｒ、１０１Ｌは
絞り、１０２Ｒ、１０２ＬはイメージセンサでありＣＣ
Ｄ等を用いることができる。１０３Ｒ、１０３ＬはＡ／
Ｄ変換部、１０４Ｒ、１０４Ｌはイメージセンサ１０２
Ｒ、１０２Ｌからの信号を映像信号に変換する。映像信
号処理部、１０５Ｒ、１０５Ｌは被写体分離部であり、
立体情報を抽出したい主被写体２と背面３とを分離す
る。１０６Ｒ、１０６Ｌはズーム制御部であり、ズーム
レンズの焦点距離の調整を行う。１０７Ｒ、１０７Ｌは
フォーカス制御部であり、焦点位置の調整を行う。１０
８Ｒ、１０８Ｌは絞り制御部であり絞り量の調整を行
う。

【００１６】２０１はカメラ姿勢検出部であり、振動ジ
ャイロ等により構成され、カメラの撮像位置に応じた信
号を出力する。２１０はコントローラであり、立体形状
抽出装置の全体の制御を行うものであり、図３に示すよ
うに、マイクロコンピュータ９００、メモリ９１０及び
画像演算処理部９２０から構成されている。２２０は画
像処理部であり、イメージセンサ１０２Ｒ、１０２Ｌよ
り得られる映像信号から被写体の立体情報を抽出すると
共に、抽出した各撮像地点における被写体の立体情報を
カメラ姿勢検出部２０１により得られる各撮像地点の姿
勢に関する情報に基づき統合し出力する。２５０は画像
を記録する記録部である。

【００１７】２７０は分離された主被写体２と背面３と
により合焦状態を検出する合焦検出部である。２６０は
左右のパラメータの差を検出する左右差検出部、２３０
はシャッタ、２８０は外部入力のための外部インターフ
ェイス、２４０はＬＥＤ等による表示部である。

【００１８】次に上記構成による動作について説明す
る。被写体像は撮像レンズ１００Ｒ、１００Ｌを通して
入力される。入力された被写体像はイメージセンサ１０
２Ｒ、１０２Ｌにおいて電気的な映像信号に変換され
る。変換された映像信号は、Ａ／Ｄ変換部１０３Ｒ、１
０３Ｌにおいてアナログ信号からディジタル信号に変換
されて映像信号処理部１０４Ｒ、１０４Ｌに供給され
る。

【００１９】映像信号処理部１０４Ｒ、１０４Ｌにおい
ては、ディジタル化された被写体の映像信号を、適切な
形態の輝度信号及び色信号に変換処理する。次に被写体
分離部１０５Ｒ、１０５Ｌにおいて、映像信号処理部１
０４Ｒ、１０４Ｌより得られる信号をもとに、撮像され
る被写体における、立体形状を計測したい主被写体２と
背面３とを分離する。分離の方法としては、例えば予め
背面３の映像を撮像しておき、その画像をメモリに保持
しその後測定したい主被写体２を置いて撮像を行う。撮
像した映像と予めメモリに保持している背面の映像との
マッチング及び差分処理を施し背面領域を分離する等の
方法を用いる。分離の方法としては、これに限るもので
はなく色あるいはテクスチャの情報を基に分離してもよ
い。分離された主被写体２の映像は画像処理部２２０に
与えられ、この画像処理部２２０において撮像時の各パ
ラメータを基に立体形状の抽出処理が施される。

【００２０】次に、図４のフローチャートにより立体形
状抽出装置の処理シーケンスについて説明する。ステッ
プＳ１で電源がＯＮとなり映像信号が入力されると、コ
ントローラ２１０は、ステップＳ２で露光調整を行い、
被写体分離部１０５Ｒ、１０５Ｌにより得られる映像信
号を図３の画像演算処理部９２０により積分処理して主
被写体２の輝度レベルを算出する。ステップＳ３で輝度
レベルが立体形状抽出には不十分であると判断した場合
はステップＳ４で照明２００を点灯する。その場合、照
明強度レベルを算出された輝度レベルに応じて可変とし
てもよい。

【００２１】適切な輝度レベルに設定された左右各々の
映像信号を用いて次にステップＳ５で焦点位置の調整を
行う。焦点位置は図５に示すようにまず主被写体２上に
合わせ、その後背面３に合わせる。合焦状態の検出は、
合焦検出部２７０により行う。検出の方式としては、映
像信号中よりエッジの鮮鋭度あるいはボケ量を検知する
などの公知の方式が利用できる。左右各々において焦点
合わせを行った距離を図５のＸ₁及びＸ₂とすると、合
焦検出部２７０はこの値をコントローラ２１０に出力す
る。コントローラ２１０は、この値をもとに計測時に焦
点合わせを行う距離Ｘを決定し、フォーカス制御部１０
７Ｒ、１０７Ｌに制御信号を出力する。距離Ｘは例えば
Ｘ₁及びＸ₂の中間の位置Ｘ＝（Ｘ₁＋Ｘ₂）／２とし
てもよいし、適当な重み付けを行いＸ＝（ｍＸ₁＋ｎＸ
₂）として求めてもよい。

【００２２】距離Ｘに焦点位置を合わせた場合に焦点深
度内に収まる範囲は、距離Ｘ₁′からＸ₂′の範囲で以
下のように表わすことができる。Ｘ₁′＝Ｘｆ²／｛ｆ²＋δＦ（Ｘ−ｆ）｝Ｘ₂′＝Ｘｆ²／｛ｆ²−δＦ（Ｘ−ｆ）｝ ………（１）ここで、δは最小錯乱円形を表わし、例えばイメージセ
ンサ１０２Ｒ、１０２Ｌの画素サイズとしてもよい。

【００２３】コントローラ２１０は、Ｘ₁及びＸ₂とＸ
₁′及びＸ₂′とがほぼ一致するように絞りのＦナンバ
ーを設定するために、絞り制御部１０８Ｒ、１０８Ｌに
制御信号を与える。この操作により輝度レベルがある程
度以上に変化した場合は、照明２００の強度を変化させ
て対応する。あるいは、ＡＧＣ（オートゲインコントロ
ール）回路を組み込み電気的にレベル補正を行ってもよ
い。

【００２４】上記のように焦点位置合わせを実行した
後、次にステップＳ６でズームの調整を行う。図６は、
ズーム調整の概略を示したものである。主被写体２がほ
ぼ焦点深度内に収まった状態で、イメージセンサ１０２
Ｒ、１０２Ｌから得られる映像をコントローラ２１０内
のメモリ９１０に保持すると共に、画像演算処理部９２
０においてオーバーラップ領域の検出を行う。検出の方
式は２画像を比較して相関をとる相関演算処理や画像中
よりテンプレートに設定した画像をサーチするテンプレ
ートマッチング処理等を利用する。図６（ａ）に示すよ
うに、最初の状態で主被写体２のオーバーラップ領域５
００を検出し、次にこの領域の面積が（ｂ）のように画
面内で大きくなる方向にコントローラ２１０はズーム値
を設定し、ズーム制御部１０６Ｒ、１０６Ｌに制御信号
を出力する。

【００２５】図７は一連のズーム調整による画面内の主
被写体２のオーバーラップ領域５００の変化を示す。図
７において、オーバーラップ領域５００の面積Ｐがピー
クとなる焦点距離ｆをコントローラ２１０の画像演算処
理部９２０が算出し、ズーム制御部１０６Ｒ、１０６Ｌ
に制御信号を与える。

【００２６】なお、この操作により焦点距離ｆが変化
し、その結果焦点深度の範囲がある程度以上に変化した
場合には（１）式によりＸ₁及びＸ₂とＸ₁′及び
Ｘ₂′とがほぼ一致するようにＦナンバーを設定するた
めに、パラメータ再調整のステップＳ６に従い、絞り制
御部１０８Ｒ、１０８Ｌに制御信号を与える。すなわち
Ｓ１〜Ｓ７の一連の調整後に、パラメータ再調整及び左
右差補正のステップＳ８を施す。左右差補正は左右差検
出部２６０において露光量、焦点位置及びズーム値の差
を左右の映像信号より検出する。検出された差信号に基
づきコントローラ２１０はズーム制御部１０６Ｒ、１０
６Ｌ、フォーカス制御部１０７Ｒ、１０７Ｌ、絞り制御
部１０８Ｒ、１０８Ｌに制御信号を与えて左右差を補正
する。

【００２７】さらに、距離情報は以下の式により表わす
ことができる。Ｚ＝ｆｂ／ｄ ………（２）ここで、Ｚ：距離、ｆ：焦点距離、ｂ：基線長、ｄ：視
差を示す。従って、焦点距離ｆは視差により決まる距離
分離能をパラメータとして以下のようになる。 ∂ｚ／∂ｄ＝−（ｆｂ／ｄ²）→ｆ＝−（ｄ²／ｂ）・（∂ｚ／∂ｄ） ………（３）従って、ステップＳ５の焦点距離調整の際、ステップＳ
９により外部Ｉ／Ｆ２８０を通して外部のコンピュータ
等から分離能を設定し、この値を基に焦点距離を設定す
ることも可能である。

【００２８】ステップＳ２〜Ｓ９により撮像パラメータ
が調整されると、コントローラ２１０はステップＳ１０
で表示部２４０に信号を与え、パラメータ設定の終了を
撮影者に知らせる。この表示部２４０はＣＲＴ、ＬＣＤ
等のディスプレイでもよいし、ＬＥＤ等による簡易表示
でもよい。また表示と合わせて音を発生してもよい。

【００２９】次に撮影者は、ＬＥＤ等の表示を確認し、
立体形状の抽出作業を開始する。ステップＳ９で撮影者
が不図示の入力開始ボタンを押すと、ステップＳ１２で
カメラ姿勢検出部２０１の検出信号が初期化される。次
に、本装置を図１に示すようにＡ０からＡｎ方向に移動
させながら被写体を撮像する。この場合、入力開始ボタ
ンが押されてから終了ボタンが押されるまでは、撮像パ
ラメータの変更はコントローラ２１０により禁止され
る。装置の移動中は、ステップＳ１３で、カメラ姿勢検
出部２０１により装置の姿勢、速度が検出されており、
検出された装置を移動させる速度が、ステップＳ１４で
適切なレベルからはずれた場合は、ステップＳ１５で表
示部２４０のＬＥＤにより撮影者に知らせるようになっ
ている。

【００３０】ステップＳ１６において、撮影者は適当な
間隔で、シャッタ２３０を押して映像を入力する。ここ
で、シャッタ２３０をきるタイミングを、カメラ姿勢検
出部２０１の信号を基にコントローラ２１０が算出し
て、表示部２４０のＬＥＤ等により撮影者に知らせるよ
うにしてもよい。シャッタ２３０が押されたことをコン
トローラ２１０が検知すると、それに同期してステップ
Ｓ１７でそのときの姿勢をカメラ姿勢検出部２０１の検
出信号より算出すると共に、画像処理部２２０に姿勢情
報を与える。そしてステップＳ１８で、画像処理部２２
０は、姿勢情報と左右各々の映像信号より被写体の３次
元座標を求め、画素値と共に記録部２５０に出力する。
ステップＳ１９で、記録部２５０は与えられた信号を基
に適切なフォーマットに変換し、記録媒体に書き込んだ
後、ステップＳ２０で入力終了するまで、ステップＳ１
７〜Ｓ２０の処理を繰り返し、全入力を終了した場合
に、ステップＳ２１で処理を終了する。

【００３１】（第２の実施例）図８は、本発明による立
体形状抽出装置の第２の実施例の概略を示したものであ
る。図８において、７０５は主被写体、７００は立体形
状抽出装置である。１００は撮像レンズ、２００は照明
部である。また７０３は主被写体７０５が置かれたキャ
リプレーションパッドであり、立体形状抽出装置７００
はこのパッド７０３の映像を基に姿勢の検出を行う。
尚、パッド７０３上に記された文字Ａ、Ｂ、Ｃ、Ｄは装
置７００の姿勢検出のためのマーカであり、これらマー
カの方向や歪み等から姿勢の算出を行う。

【００３２】図９は本実施例による立体形状抽出装置７
００のブロック図である。尚、図９においては、図２に
おける各部のＬ及びＲの記号部を除いて同一の番号を付
するものは、機能及び動作が同じである。図９におい
て、１００は撮像レンズであり、ズームレンズ等が用い
られる。１０１は絞り、１０２はＣＣＤ等のイメージセ
ンサである。１０３はＡ／Ｄ変換部、１０４は映像信号
処理部、１０５は被写体分離部である。

【００３３】７４０は姿勢検出部であり、パッド７０３
のマーカの方向、歪み等から装置７００の姿勢を検出す
るものである。７２０は画像処理部であり、映像信号と
姿勢情報とから主被写体７０５の立体形状を抽出する。
７７０は合焦検出部であり、単眼であることを除いて機
能及び動作は第１の実施例と同様である。７５０は画像
メモリ、７１０はコントローラであり、装置全体の制御
を行う。７３０はコントローラ７１０に設けたメモリで
ある。

【００３４】次に、動作について図１０のフローチャー
トと共に説明する。ステップＳ１〜Ｓ５は図４の場合と
同様に１つの映像信号について行われる。本実施例が第
１の実施例と異なる点は、ステップＳ２２におけるズー
ムの調整法である。本実施例の装置７００は、パッド７
０３との組み合わせにより姿勢検出を行うため、撮像の
際にパッド７０３が適切な範囲で得られることが必要と
なる。そこで、まず被写体分離部１０５は、予め保持し
ているパッド７０３の特徴部（図８の四隅のＡ、Ｂ、
Ｃ、Ｄ）のパターンと現在得られている映像との間で相
関演算あるいはテンプレートマッチング処理を施し、そ
の検出信号をコントローラ７１０に出力する。コントロ
ーラ７１０は、パッド７０３の特徴部が視野内に適切な
範囲で収まるように焦点距離を設定する。同時に焦点距
離の情報をコントローラ７１０内のメモリ７３０に保持
する。これにより、パッド全体を常に視野に収めること
ができるので、特徴部の形状より常に姿勢の検出が可能
な状態となる。

【００３５】次に、光学系のパラメータが設定される
と、ステップＳ２３で表示部２４０のＬＥＤを点灯し、
撮影者に入力可能な状態であることを知らせる。撮影者
は、この表示を受けてステップＳ２４で入力を開始し、
装置７００を移動させながらステップＳ２５により適当
な間隔でシャッタ２３０を切り、映像を入力する。この
とき、被写体分離部１０５の情報を基にコントローラ７
１０は主被写体を含むパッド７０３の特徴部が常に適切
な範囲で視野に収まるように焦点距離を設定する。同時
に各撮像位置における焦点距離を含む撮像パラメータ情
報をメモリ７３０に保持する。これによりステップＳ２
６で特徴部の状態から姿勢検出部７４０が姿勢を検出す
る。

【００３６】続いてステップＳ２７で画像処理部７２０
は、画像メモリ７５０に保持されている複数の映像信号
を読み出し、コントローラ７１０内のメモリ７３０に保
持されている撮像パラメータ情報を基に画像を変換し、
同一焦点距離の画像に補正する。さらに、画像処理部７
２０は、補正された映像信号と姿勢検出部７４０により
得られる姿勢信号とから被写体の立体形状を抽出し、記
録部２５０に与える。記録部２５０は得られる信号を適
切なフォーマットに変換し、記録媒体に記録する。そし
てステップＳ２８で全入力終了まで画像の取り込みを行
い、全入力を終了した場合に、ステップＳ２９で処理を
終了とする。（第３の実施例）図１１は本発明による立体形状抽出装
置の第３の実施例を示すブロック図である。図１０にお
いては、図１、図９と同一の番号を付するものは機能及
び動作が同じであるものとし説明は省略する。図１１に
おいて、８２０はメモリであり、パッドに関する情報を
保持するものである。７８０は選択手段であり、パッド
７０３の種類等を選択するものである。７９０は記録部
で、この記録部７９０は立体形状と共に撮像パラメータ
も同時に記録する。また必要に応じて記録した情報を読
み出だす機能も有するものである。８００はコントロー
ラであり全体の制御を行う。８１０はマッチング処理部
であり、記録部７９０により読みだされる予め記録され
た立体形状及び画素情報を基に現在撮像されている映像
との間でマッチング処理を施すものである。

【００３７】次に、動作について図１２のフローチャー
トと共に説明する。ステップＳ１で電源ＯＮ後、ステッ
プＳ３０で撮影者が入力開始時に選択手段７８０により
パッド７０３の種類を選択する。次にコントローラ８０
０はステップＳ３１で、選択された情報に基づいてメモ
リ８２０から情報を読み出し、焦点距離やフォーカス等
パラメータの制御及び姿勢検出等に利用する。

【００３８】以下、ステップＳ３２〜Ｓ４１に示すよう
に図１０と同様の制御を行って入力を開始し、立体形状
を抽出する。また、ステップＳ４２で入力中に取り直し
を行いたい場合、選択手段７８０により取り直しモード
を選択する。その場合はステップＳ４３で、記録部７９
０はこれまでに記録した信号を読み出し、ステップＳ４
４により現在撮像されている映像との間でマッチング演
算処理を実施する。マッチング演算処理により現在撮像
されている領域と読み出された信号との間の対応が取れ
るとステップＳ３７で表示部２４０のＬＥＤ等が点灯
し、撮影者に入力準備が整ったことを知らせる。

【００３９】尚、上記ステップＳ４２で取り直しを行う
場合、パッド７０３上の主被写体７０５の配置を変える
ことも可能であり、この場合も以前に記録された信号と
の間でマッチング処理を施し、対応が取れた領域を基点
に入力を開始する。また、一旦入力作業を終了し再度や
り直す場合は、記録部７９０は以前に記録さた立体形状
及び画素信号に加えて撮像パラメータを読み出し、以前
に撮像したときと同じ撮像パラメータに設定して入力を
行う。さらに、予めメモリ８２０に登録されていないパ
ッド７０３を用いたい場合などは外部Ｉ／Ｆ２８０を通
じてコンピュータ等から設定を行う。撮り直ししない場
合は、ステップＳ４５で入力終了までステップＳ３９〜
Ｓ４２を行った後、ステップＳ４６で終了する。

【００４０】

【発明の効果】以上説明したように、第１の発明によれ
ば、主被写体が各々の撮像系の重複部に収まると共にフ
ォーカスが合った鮮明な映像を得ることができるので、
立体形状の精度が向上し、さらに自動化されているため
に使い勝手が著しく向上する。また、第２の発明によれ
ば、焦点合わせを行う位置が被写体の底面からの中間位
置となるので、ほぼ被写体全体を深度内に収める際の調
整が円滑に実行できる。また、第３の発明によれば、パ
ラメータの一部を変更しても、再調整を行うために得ら
れる映像は、常に一定レベルの品質を得ることができ
る。

【００４１】また、第４の発明によれば、撮影者が撮像
を開始可能か否かを簡単に判断することができる。ま
た、第５の発明によれば、映像を入力したのと同じ時点
でカメラの姿勢情報を得ることができるので、形状抽出
の精度及び信頼度を向上することができる。また、第６
の発明によれば、撮影者がいつシャッタを押すべきかを
知ることができるため操作性が著しく向上する。また、
第７の発明によれば、映像入力の際のカメラの移動速度
を直感的に知ることができるため、操作性が向上し、入
力される映像の質が向上する。

【００４２】また、第８の発明によれば、単眼の撮像装
置により品質の良い映像を入力でき、精度及び信頼度の
高い立体形状を得ることができる。また、第９の発明に
よれば、姿勢検出のための特徴点を常に視野内に収める
ことができ、撮像の失敗を防止することができる。ま
た、第１０の発明によれば、既知の被写体が複数ある場
合でも対応可能であり、形状を抽出する被写体に応じて
使い分けることができる。また、第１１の発明によれ
ば、撮り直し操作を円滑に進めることができ、被写体の
底面を含めた全域の撮像が容易に実行できる。

【００４３】また、第１２の発明によれば、画像入力の
際に自動的に焦点距離が調整されるので、撮影の失敗が
無くなると共に、撮影者が画像を入力する毎に毎回視野
を設定する必要がないために撮影者の負荷が著しく低減
される。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す概略的な構成図で
ある。

【図２】第１の実施例を示すブロック図である。

【図３】図２のコントローラの構成を示すブロック図で
ある。

【図４】第１の実施例の動作を示すフローチャートであ
る。

【図５】焦点合わせを説明する構成図である。

【図６】ズーム調整を説明する構成図である。

【図７】ズーム制御を説明するグラフである。

【図８】本発明の第２の実施例の概略的な構成図であ
る。

【図９】第２の実施例を示すブロック図である。

【図１０】第２の実施例の動作を示すフローチャートで
ある。

【図１１】本発明の第３の実施例を示すブロック図であ
る。

【図１２】第３の実施例の動作を示すフローチャートで
ある。

【符号の説明】

１立体形状抽出装置２主被写体１０Ｒ、１０Ｌ撮像光学系１００Ｒ、１００Ｌ撮影レンズ１０１Ｒ、１０１Ｌ絞り１０２Ｒ、１０２Ｌイメージセンサ１０４Ｒ、１０４Ｌ映像信号処理部１０５Ｒ、１０５Ｌ被写体分離部１０６Ｒ、１０６Ｌズーム制御部１０７Ｒ、１０７Ｌフォーカス制御部１０８Ｒ、１０８Ｌ絞り制御部２０１カメラ姿勢検出部２１０コントローラ２２０画像処理部２３０シャッタ２４０表示部２７０合焦検出部７６０外部Ｉ／Ｆ

───────────────────────────────────────────────────── フロントページの続き (72)発明者倉橋直東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者岡内茂樹東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】被写体を撮像するためのズームレンズを
有する複数の撮像手段と、立体形状を抽出すべき主被写体が上記各撮像手段の重複
する撮像領域に収まると共に上記主被写体が焦点深度内
に収まるように撮像パラメータを自動的に調整する調整
手段とを備えた立体形状抽出装置。
【請求項２】焦点合わせを行う位置を上記主被写体の
置かれている面と主被写体における各撮像手段に最も近
い位置との中間位置とすることを特徴とする請求項１記
載の立体形状抽出装置。
【請求項３】上記撮像パラメータの一部が変更された
場合、他のパラメータを再調整することを特徴とする請
求項１記載の立体形状抽出装置。
【請求項４】上記撮像パラメータの調整が完了したこ
とを撮影者に報知することを特徴とする請求項１記載の
立体形状抽出装置。
【請求項５】上記複数の撮像手段は一体的に移動可能
に成されており、撮影者がシャッタを切るのに同期して
上記各撮像手段の位置を検出する位置検出手段を設けた
ことを特徴とする請求項１記載の立体形状抽出装置。
【請求項６】上記位置検出手段の検出に基づいて上記
撮影者にシャッタを切るタイミングを報知することを特
徴とする請求項５記載の立体形状抽出装置。
【請求項７】上記位置検出手段の検出に基づいて上記
各撮像手段の移動速度が不適切な場合に撮影者に報告す
ることを特徴とする請求項５記載の立体形状抽出装置。
【請求項８】ズームレンズを有し移動可能に成された
撮像手段と、上記撮像手段が移動しながら立体形状を抽出すべき主被
写体と既知の被写体とを複数回撮像する際に、上記主被
写体と既知の被写体とが上記撮像手段の視野に収まると
共に、上記主被写体が焦点深度内に収まるように撮像パ
ラメータを自動的に調整する調整手段と、上記撮像した複数の画像を上記撮像パラメータを基に補
正処理して立体形状を得る補正手段とを備えた立体形状
抽出装置。
【請求項９】上記既知の被写体の特徴点が常に上記撮
像手段の視野に収まるうに焦点距離を制御するようにし
たことを特徴とする請求項８記載の立体形状抽出装置。
【請求項１０】複数の既知の被写体の情報を保持する
保持手段と選択手段とを有し、上記選択手段からの信号
に応じて上記保持手段から既知の被写体の情報を選択的
に読み出すことを特徴とする請求項８記載の立体形状抽
出装置。
【請求項１１】上記主被写体の立体形状及び画素情報
を記録する記録手段を有し、上記撮像手段により撮り直
しを実行する場合に上記記録手段に既に記録されている
情報を読み出し、読み出した情報と現映像情報との間で
対応する領域を検出した後、入力を再開するようにした
請求項８記載の立体形状抽出装置。
【請求項１２】ズームレンズを有し移動可能に成され
た撮像手段と、上記撮像手段が移動しながら立体形状を抽出すべき主被
写体と既知の被写体とを複数回撮像する際に、上記主被
写体と既知の被写体の特徴部が上記撮像手段の視野に収
まるように撮像パラメータを自動的に調整する調整手段
とを備えた撮像装置。