JP2000304508A

JP2000304508A - ３次元入力装置

Info

Publication number: JP2000304508A
Application number: JP11108814A
Authority: JP
Inventors: Hidekazu Ide; 英一井手; Hiroshi Uchino; 浩志内野
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 1999-04-16
Filing date: 1999-04-16
Publication date: 2000-11-02
Anticipated expiration: 2019-04-16
Also published as: JP3991501B2

Abstract

(57)【要約】【課題】参照光の投射角度情報によらない３次元入力を
実現し、投射角度制御の精度に係わらず高精度の３次元
入力データを得るとともに、データの信頼性を高める。【解決手段】参照光Ｕを投射する３次元入力装置１にお
いて、互いに離れた位置で物体を撮影する一対の撮影系
２０Ａ，２０Ｂと、参照光を投射したときの撮影データ
に基づいて第１及び第２のの撮影面の画素位置どうしを
対応づける第１マッチング手段３１１と、参照光を投射
しないときの撮影データに基づいて第１及び第２のの撮
影面の画素位置どうしを対応づける第２マッチング手段
３１２と、得られた２通りの対応づけの一方を選択する
選択手段３１３とを設け、選択された対応関係で決まる
受光角度に応じたデータＤを出力するように構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物体に参照光を投
射して物体を走査し、物体形状を特定するためのデータ
を出力する３次元入力装置に関する。

【０００２】

【従来の技術】レンジファインダと呼称される非接触型
の３次元入力装置は、接触型に比べて高速の計測が可能
であることから、ＣＧシステムやＣＡＤシステムへのデ
ータ入力、身体計測、ロボットの視覚認識などに利用さ
れている。

【０００３】レンジファインダに好適な計測方法として
スリット光投影法（光切断法ともいう）が知られてい
る。この方法は、物体を光学的に走査して距離画像（３
次元画像）を得る方法であり、特定の参照光を投射して
物体を撮影する能動的計測方法の一種である。距離画像
は、物体上の複数の部位の３次元位置を示す画素の集合
である。スリット光投影法では、参照光として投射ビー
ムの断面が直線帯状であるスリット光が用いられる。走
査中のある時点では物体の一部が照射され、撮像面には
照射部分の起伏に応じて曲がった輝線が現れる。したが
って、走査中に周期的に撮像面の各画素の輝度をサンプ
リングすることにより、物体形状を特定する一群のデー
タ（３次元入力データ）を得ることができる。

【０００４】従来においては、撮像面内の輝線の位置に
基づいて、物体で反射して撮像面に入射したスリット光
の入射角度を求め、その入射角度と当該スリット光の投
射角度と基線長（投射の起点と受光基準点との距離）と
から三角測量の手法で物体の位置を算出していた。つま
り、参照光の投射方向と受光方向とに基づく位置演算が
行われていた。なお、特開平１０−２７２２号の装置の
ように参照光としてスポット光（ビーム断面が点状）を
用いる場合にも、投射方向と受光方向とに基づいて物体
の位置が算出されていた。

【０００５】

【発明が解決しようとする課題】従来においては、３次
元入力データの精度が参照光の投射角度制御の精度に依
存し、このために十分に高い精度の３次元入力データが
得られなかったり、精度を確保するために高価な部品を
用いなければならなかったり、投光系の取付け姿勢の調
整に手間がかかったりするという問題があった。精度の
確保が難しい理由としては、投光系は参照光を偏向する
可動機構を有しており、その動作は温度、湿度などの使
用環境の変化の影響を受け易いことが挙げられる。

【０００６】本発明は、参照光の投射角度情報によらな
い３次元入力を実現し、投射角度制御の精度に係わらず
高精度の３次元入力データを得るとともに、データの信
頼性を高めることを目的としている。他の目的は、動作
モードの多様化による実用性の向上を図ることにある。

【０００７】

【課題を解決するための手段】本発明においては、参照
光で照らされた状態の物体と環境光で照らされた状態の
物体とを互いに離れた２点のそれぞれを視点として順に
撮影し、視点間の距離と各視点からみた物体上の注目点
の方位（視点どうしを結ぶ直線に対する傾き）とから三
角測量の手法で物体の位置を算出する。その際、注目点
の方位を特定するために、参照光を投射したときの視点
の異なる２個の撮影像についての画素の対応検索（マッ
チング）に加えて、参照光を投射しないときの撮影像に
ついても対応検索を行う。物体の形状や配色によって
は、参照光を投射しない場合の対応検索の方が信頼性が
高くなる。２種の対応検索の結果を適切に選択すること
により、データの信頼性を高めることができる。

【０００８】請求項１の発明の装置は、入力対象の物体
を走査するように起点から前記物体に向かって参照光を
投射する投光系と、第１の位置で前記物体を撮影するた
めの第１の撮影系と、前記第１の位置から離れた第２の
位置で前記物体を撮影するための第２の撮影系と、前記
参照光を投射して前記物体を前記第１及び第２の撮影系
によって同時に撮影したときの撮影データに基づいて、
前記第１の撮影系の撮影面と前記第２の撮影系の撮影面
との間での前記物体上の同一点からの光が入射する画素
位置どうしを対応づける第１マッチング手段と、前記参
照光を投射せずに前記物体を前記第１及び第２の撮影系
によって撮影したときの撮影データに基づいて、前記第
１の撮影系の撮影面と前記第２の撮影系の撮影面との間
での前記物体上の同一点からの光が入射する画素位置ど
うしを対応づける第２マッチング手段と、前記第１の撮
影系の撮影面における各画素について、前記第１マッチ
ング手段によって得られた対応関係及び前記第２マッチ
ング手段によって得られた対応関係の一方を選択する選
択手段とを有し、前記選択手段によって選択された対応
関係で決まる前記第１及び第２の位置のそれぞれでの受
光角度に応じたデータを前記物体の位置情報として出力
する３次元入力装置である。

【０００９】請求項２の発明の３次元入力装置におい
て、前記選択手段は、前記第１マッチング手段によって
得られた対応関係及び前記第２マッチング手段によって
得られた対応関係のうち、信頼度の大きい方を選択す
る。

【００１０】請求項３の発明の３次元入力装置におい
て、前記選択手段は、前記第１マッチング手段によって
得られた対応関係の信頼度が第１基準値より小さく、且
つ前記第２マッチング手段によって得られた対応関係の
信頼度が第２基準値より大きい場合のみにおいて、前記
第２マッチング手段によって得られた対応関係を選択す
る。

【００１１】請求項４の発明の３次元入力装置は、前記
選択手段によって選択された対応関係が、前記第１マッ
チング手段及び前記第２マッチング手段のどちらによっ
て得られたかを示す識別データを、前記データと対応づ
けて出力する。

【００１２】請求項５の発明の３次元入力装置は、前記
第１マッチング手段によって得られた対応関係で決まる
前記第１及び第２の位置のそれぞれでの受光角度に応じ
たデータを出力する第１モードと、前記選択手段によっ
て選択された対応関係で決まる前記第１及び第２の位置
のそれぞれでの受光角度に応じたデータを出力する第２
モードと、前記第２マッチング手段によって得られた対
応関係で決まる前記第１及び第２の位置のそれぞれでの
受光角度に応じたデータを出力する第３モードとが設け
られ、これらのうちの任意の１つを動作モードとして選
択するものである。

【００１３】

【発明の実施の形態】図１は本発明に係る３次元入力装
置１の機能ブロック図である。３次元入力装置１は、ス
リット光Ｕを投射する投光系１０と、同一構成の２個の
撮影系２０Ａ，２０Ｂと、同一構成の２個の受光信号処
理部３０Ａ，３０Ｂとを有している。

【００１４】投光系１０は、光源としての半導体レーザ
１２、ビーム整形のためのレンズ群１３、及び投射角度
を変更するビーム偏向手段としてのガルバノミラー１４
からなり、撮影系２０Ａ，２０Ｂの中間に配置されてい
る。レンズ群１３は、コリメータレンズとシリンドリカ
ルレンズとで構成される。ガルバノミラー１４には、投
光制御回路３２からＤ／Ａ変換器３３を介して偏向制御
信号が与えられる。

【００１５】撮影系２０Ａは、受光レンズ２１、ビーム
スプリッタ２２、スリット光Ｕで照射された物体Ｑを撮
影して距離画像を得るためのイメージセンサ２４Ａ、物
体Ｑのカラー撮影のためのカラーイメージセンサ２５
Ａ、及びズーミングとフォーカシングとを可能にするレ
ンズ駆動機構２６からなる。ビームスプリッタ２２は、
半導体レーザ１２の発光波長域（例えば中心波長６８５
ｎｍ）の光と可視光とを分離する。同様に撮影系２０Ｂ
も受光レンズ２１、ビームスプリッタ２２、イメージセ
ンサ２４Ｂ、カラーイメージセンサ２５Ｂ、及びレンズ
駆動機構２６からなる。イメージセンサ２４Ａ，２４Ｂ
及びカラーイメージセンサ２５Ａ，２５Ｂは２次元撮像
デバイス（エリアセンサ）である。これらセンサとし
て、ＣＣＤセンサ、ＣＭＯＳセンサを使用することがで
きる。

【００１６】各イメージセンサ２４Ａ，２４Ｂの出力は
Ａ／Ｄ変換器３５で所定ビット数の受光データに変換さ
れ、逐次にメモリ回路３７に転送される。メモリ回路３
７では受光データの値に応じて後述の受光角度θＡ，θ
Ｂを特定する時間重心ＴＡ，ＴＢが記憶される。カラー
イメージセンサ２５の出力はＡ／Ｄ変換器３６で受光デ
ータに変換され、カラー画像メモリ３８によって逐次に
記憶される。記憶されたカラー画像はステレオ視法によ
る３次元入力に用いられる。メモリ回路３７及びカラー
画像メモリ３８のアドレス指定はメモリ制御回路３９が
担う。

【００１７】３次元入力装置１を制御するＣＰＵ３１は
制御対象に適時に指示を与える。また、ＣＰＵ３１は、
受光信号処理部３０Ａ，３０Ｂのそれぞれのメモリ回路
３７から時間重心ＴＡ，ＴＢを取り込むとともに、２個
の画像メモリ３８のそれぞれからカラー画像を読み出
し、２種のマッチング処理を行って距離データを生成す
る。距離データは適時に３次元入力データとして図示し
ない外部装置に出力される。その際、受光信号処理部３
０Ａ，３０Ｂの少なくとも一方のカラー画像メモリ３８
によって記憶されているカラー画像も参考情報として出
力される。外部装置としては、コンピュータ、ディスプ
レイ、記憶装置などがある。ＣＰＵ３１には、後述の時
間重心画像どうしのマッチングを行うブロック３１１、
カラー画像どうしのマッチングを行うブロック３１２、
及び２種のマッチングの結果の一方を選択するブロック
３１３の各機能を実現するデータ処理プログラムが組み
込まれている。

【００１８】３次元入力装置１においては、距離データ
の生成に関して３つのモードが設けられている。第１モ
ードでは、時間重心画像のマッチングの結果のみに基づ
いて距離データを得る。第２モードでは、時間重心画像
のマッチングの結果及びカラー画像のマッチングの結果
の一方を所定条件に則して選択して距離データを得る。
第３モードでは、カラー画像のマッチングの結果のみに
基づいて距離データを得る。これらモードは物体の形状
や配色などに応じて適宜選択される。例えば、物体の色
が一様な場合は、カラー画像のマッチングの信頼性は低
いので、第１モードが適している。逆に参照光の反射率
が低い物体の場合は、時間重心画像のマッチングの信頼
性は低いので、第３モードが適している。また、反射率
の異なる部分が混在する物体の場合は、第２モードが適
している。

【００１９】ＣＰＵ３１はモード指定部５１の状態判別
によって指定モードを検知する。モード指定部５１とし
ては、操作パネル、操作パネルとは別に設けられたディ
ップスイッチ、遠隔操作のためのインタフェースなどが
ある。

【００２０】図２は投射の模式図である。３次元入力装
置１は、ガルバノミラー１４の反射面上の点を起点Ｃと
して仮想面ＶＳを走査するようにスリット光Ｕを投射す
る。仮想面ＶＳは、イメージセンサ２４で撮影可能な空
間（画角内の範囲）の奥行き方向と直交する断面に相当
する。そして、仮想面ＶＳのうちのイメージセンサ２４
Ａ，２４Ｂにおける各画素に対応した範囲ａｇが、３次
元入力のサンプリング区画となる。図２においては、投
光の起点Ｃ、及び視点（受光の主点）Ａ，Ｂが一直線上
に配置されており、起点Ｃの位置は視点Ａ，Ｂの中間で
ある。ここで、視点Ａ，Ｂは垂直方向に沿って並び、ス
リット光Ｕのスリット長さ方向は水平方向であるものと
する。

【００２１】図３は時間重心の説明図である。３次元入
力装置１は、撮像面Ｓ２上でのスリット幅がピッチｐｖ
で並ぶ画素ｇの複数個分となる比較的に幅の広いスリッ
ト光Ｕを物体Ｑに投射する。具体的にはスリット光Ｕの
幅を５画素分程度とする。スリット光Ｕは起点Ｃを中心
に図の上下方向に等角速度で偏向される。物体Ｑで反射
したスリット光Ｕは結像の主点Ａ（ズームレンズの後側
主点）を通って撮像面Ｓ２に入射する。スリット光Ｕの
投射中に撮像面Ｓ２の各画素ｇの受光量を周期的にサン
プリングすることにより、物体Ｑ（厳密には物体像）が
走査される。サンプリング周期（撮像周期）毎にイメー
ジセンサ２４Ａ，２４Ｂから１フレーム分の光電変換信
号が出力される。

【００２２】物体Ｑの表面が平面であって光学系の特性
によるノイズがないものとすると、撮像面Ｓ２の各画素
ｇの受光量は、当該画素ｇがにらむ範囲（厳密にはその
中心）の物体表面ａｇをスリット光Ｕの光軸が通過する
時点で最大となり、その時間的な分布は正規分布に近く
なる。図３では撮像面Ｓ２における垂直方向のｊ番目の
画素ｇ_jが注目され、その受光量の推移が図３（ｂ）に
示されている。図３（ｂ）の例ではｎ回目のサンプリン
グ時点Ｔ_nとその１つ前の（ｎ−１）回目のサンプリン
グ時点Ｔ_n-1との間で受光量が最大になっている。この
ように注目した１つの画素ｇにおける受光量が最大にな
る時点、すなわち輝度分布曲線の頂上付近の変曲点を
“時間重心”と定義する。ただし、離散的なサンプリン
グデータの大小判別による時間重心の検出では、検出結
果（図３の例では時点Ｔ_n）と実際の時間重心との間に
最大でサンプリング周期の１／２のずれが生じる。

【００２３】ここで、主点Ａと撮像面Ｓ２の各画素ｇと
の位置関係から、各画素ｇに対するスリット光Ｕの入射
角度が一義的に決まる。したがって、時間重心は、「特
定の角度（これを受光角度θＡという）でスリット光Ｕ
が主点Ａに入射する時刻」ということもできる。

【００２４】図４は投射角度情報によらない距離画像の
生成要領を説明するための図、図５は時間重心画像どう
しのマッチングの模式図である。投射角度情報によらな
い物体Ｑの３次元入力の概要は次のとおりである。

【００２５】第１モード及び第２モードではスリット光
Ｕを投射し、２個のイメージセンサ２４によるフレーム
周期の撮影に同期させてガルバノミラー１４の偏向角を
制御する。このとき、２個のイメージセンサ２４Ａ，２
４Ｂを同一タイミングで駆動する。つまり、物体Ｑを視
点Ａ，Ｂから同時に撮影する。そして、各イメージセン
サ２４Ａ，２４Ｂの各画素が、刻々と偏向されていくス
リット光Ｕのどの時点の投射により照らされたかを検知
する。

【００２６】一方のイメージセンサ２４Ａの出力に基づ
いて、撮影面Ｓ２の各画素ｇについて時間重心ＴＡを検
出し、検出結果の集合である時間重心画像ＧＡをメモリ
に記録する。このとき、撮像面Ｓ２の水平方向（主走査
方向）の画素位置を示す水平アドレスｉと、垂直方向の
画素位置を示す垂直アドレスｊとによって個々の時間重
心ＴＡを記録するメモリ空間を指定する。同様に、他方
のイメージセンサ２４Ｂの出力に基づいて、撮影面Ｓ２
の各画素ｇについて時間重心ＴＢを検出し、検出結果の
集合である時間重心画像ＧＢをメモリに記録する。

【００２７】一方のイメージセンサ２４Ａにおける水平
方向ｉＡ番目で垂直方向ｊＡ番目の画素ｇ_iAjAに注目す
ると、画素ｇ_iAjAに対応した視線上の点Ｐをスリット光
Ｕが通過する際にその出力が最大となる。このとき、他
方のイメージセンサ２４Ｂの出力に注目すると、点Ｐを
通る視線に対応した画素ｇ_iBjBの出力が最大となる。こ
こで、時間重心画像ＧＡと時間重心画像ＧＢとについ
て、垂直方向にエピポラー拘束が成り立っているとする
と、画素ｇ_iAjAの水平方向位置ｉＡに対して、画素ｇ
_iBjBの水平方向位置ｉＢは一意に決まる。また、画素ｇ
_iAjAの垂直方向位置ｊＡに対する画素ｇ_iBjBの垂直方向
位置ｊＢは、時間重心画像ＧＢ中の水平方向位置ｉＢの
画素列のうち、画素ｇ_iAjAの出力が最大となった時刻と
同時刻に出力が最大となった画素を見つければ判る。し
たがって、イメージセンサ２４Ａ，２４Ｂの各画素の出
力が最大となる時刻である時間重心ＴＡ_iAjA，ＴＢ_iBjB
を把握すれば、時間重心画像ＧＡの各画素に対応する時
間重心画像ＧＢの画素を見つけ出すことができる。

【００２８】点Ｐが時間重心画像ＧＡの画素ｇ_iAjAに対
応するとき、画素ｇ_iAjAの位置で決まる受光角度θＡ
_iAjAと視点Ａの空間座標とによって特定される直線上に
点Ｐが存在することになる。同様に点Ｐが時間重心画像
ＧＢの画素ｇ_iBjBに対応するとき、画素ｇ_iBjBの位置で
決まる受光角度θＢ_iBjBと視点Ｂの空間座標とによって
特定される直線上に点Ｐが存在することになる。つま
り、これら２つの直線の交点が点Ｐである。したがっ
て、受光角度θＡ_iBjB，θＢ_iBjB及び基線長Ｌに基づい
て、三角測量の原理を適用して、視点Ａ，Ｂを通る基線
と点Ｐとの奥行き方向の距離Ｄ_iAjAを算出することがで
き、視点Ａ，Ｂと点Ｐとの相対位置を特定することがで
きる。そして、以上の処理を時間重心画像ＧＡの各画素
ｇについて行えば、物体Ｑについて画素数分のサンプリ
ング点の３次元位置情報（距離画像）が得られる。

【００２９】次に、時間重心ＴＡ，ＴＢを検出するため
の回路の具体的な構成を説明する。なお、以下では画素
位置の区別が必要な場合を除いて、画素位置を表す添字
_iAjA，_iBjBの記述を省略する。

【００３０】図６はメモリ回路の第１例のブロック図で
ある。例示のメモリ回路３７は、２個のメモリ３７１，
３７６、比較器３７７、及びインデックスジェネレータ
３７８から構成されている。

【００３１】メモリ３７１にはＡ／Ｄ変換器３５から受
光データＤ３５が入力され、メモリ３７６にはインデッ
クスジェネレータ３７８からフレーム番号Ｔが入力され
る。。比較器３７７は、イメージセンサ２４の画素毎に
最新の入力データであるｔ番目のフレームの受光データ
Ｄ３５と以前にメモリ３７１に書き込まれた受光データ
Ｄ３５とを比較し、最新の受光データＤ３５が以前の受
光データＤ３５より大きい場合にメモリ３７１，３７６
に対して書込みを許可する。これを受けて各メモリ３７
１，３７６は上書き形式で最新の入力データを記憶す
る。比較結果が逆の場合は各メモリ３７１，３７６にお
いて以前の記憶内容が保持される。したがって、走査が
終了した時点において、メモリ３７１は各画素ｇ毎に受
光データＤ３５の最大値を記憶し、メモリ３７６は各画
素毎に受光データＤ３５が最大となったフレームの番号
Ｔを記憶することになる。各フレームの撮影は一定周期
で行われるので、フレーム番号Ｔは走査期間中の時刻
（走査開始からの経過時間）を表す。つまり、メモリ３
７６が記憶するフレーム番号Ｔは上述の時間重心ＴＡ_iA
_jA，ＴＢ_iBjBに相当し、受光角度θＡ_iAjA，θＢ_iBjBの
対応を特定する情報である。

【００３２】この例によれば、比較的に簡単な回路構成
によって時間重心ＴＡ_iAjA，ＴＢ_iB _jBを検知することが
できる。ただし、検知の分解能はイメージセンサ２４の
撮影周期に依存する。分解能の向上を図ったものが次の
第２例である。

【００３３】図７はメモリ回路の第２例のブロック図、
図８は撮影面における輝度分布と受光データとの関係を
示す図である。図７において図６に対応した要素には図
６と同一の符号を付してある。

【００３４】第２例のメモリ回路３７ｂは、メモリ３７
１に加えてそれと同サイズの４個のメモリ３７２，３７
３，３７４，３７５を設け、計４個の１フレームディレ
イメモリ３７９ａ〜ｄを介在させて各メモリ３７２〜３
７５のデータ入力をメモリ３７１に対して順に１フレー
ムずつ遅らせるように構成したものである。すなわち、
メモリ回路３７ｂでは、各画素ｇについて連続した５フ
レームの受光データＤ３５が同時に記憶される。比較器
３７７は、入力が２フレーム遅れの第３番目のメモリ３
７３の入力と出力とを比較する。メモリ３７３の入力デ
ータ値が出力データ値（以前に書き込まれたデータ値）
より大きい場合に、メモリ３７１〜３７５及びメモリ３
７６の書込みが許可される。

【００３５】各走査が終了した時点において、メモリ３
７３は各画素ｇ毎に受光データＤ３５の最大値を記憶す
ることになる。また、メモリ３７１，３７２，３７４，
３７５によって、受光データＤ３５が最大となったフレ
ームの２つ前、１つ前、１つ後、２つ後の計４フレーム
の受光データＤ３５が記憶されることになる。そして、
メモリ３７６は、各画素ｇ毎に受光データＤ３５が最大
となったフレームの番号Ｔを記憶することになる。

【００３６】ここで、図８（ａ）のように、撮影面に結
像したスリット光像の幅が５画素分であり、輝度分布が
単一峰の山状であるものとする。このとき、１つの画素
ｇに注目すると、図８（ｂ）のように輝度分布に応じた
変化の受光データが得られる。したがって、メモリ３７
１〜３７５に記憶されている５フレーム分の受光データ
Ｄ３５に基づいて重心演算を行うことにより、フレーム
周期（つまり画素ピッチ）よりも細かな刻みで時間重心
ＴＡ，ＴＢを算出することができる。図８（ｂ）の例で
は、時間重心ＴＡ（ＴＢ）はｔ回目と（ｔ＋１）回目の
サンプリング時刻間にある。

【００３７】この第２例によれば分解能が向上するが、
輝度分布によっては所望の精度が得られないという問題
がある。すなわち、実際の撮影では、光学系の特性など
に起因して結像に何らかのノイズが加わる。このため、
輝度分布に複数のピークが生じたり、平坦でピークの不
明瞭な輝度分布となったりする。輝度分布が理想形状か
ら大きく外れると、重心演算の信頼性が低下する。

【００３８】このようなノイズの影響は、輝度の最大値
が得られたフレームとその前後の各数フレームを合わせ
た程度の短い期間ではなく、十分に長い期間の輝度分布
に基づいて重心演算を行うことによって低減することが
できる。それを実現するのが次の第３例である。

【００３９】図９はメモリ回路の第３例のブロック図、
図１０は図９に係る重心の概念図である。第３例のメモ
リ回路３７ｃは、メモリ３７１０、定常光データ記憶部
３７２０、減算部３７３０、第１加算部３７４０、第２
加算部３７５０、及び除算部３７６０から構成され、各
画素ｇ毎にフレーム数分の受光データＤ３５に基づいて
時間重心を算出する。

【００４０】メモリ３７１０は、物体Ｑに対する走査で
得られた所定数ｑのフレームの受光データＤ３５を記憶
する。各画素ｇのＴ番目（Ｔ＝１〜ｑ）のフレームの受
光データ値をｘ_Tと表す。定常光データ記憶部３７２０
は、スリット光Ｕ以外の不要入射光量を表す定常光デー
タを記憶する。定常光データはスリット光Ｕが入射して
いないときの受光データＤ３５に基づいて算出される。
その値ｓは、予め定めた固定値でもよいし、受光データ
Ｄ３５を用いてリアルタイムで求めてもよい。固定値と
する場合には、受光データＤ３５が８ビット（２５６階
調）である場合に、例えば「５」「６」又は「１０」な
どとする。減算部３７３０は、メモリ３７１０から読み
出された受光データＤ３５の値ｘ_Tから定常光データの
値ｓを差し引く。ここで、減算部３７３０からの出力デ
ータの値をあらためてＸ_Tとする。第１加算部３７４０
は、画素ｇ毎にｑ個の受光データＤ３５について、それ
ぞれの値Ｘ_Tとそれに対応したフレーム番号Ｔとの乗算
を行い、得られた積の合計値を出力する。第２加算部３
７５０は、画素ｇ毎にｑ個の受光データＤ３５の値Ｘ_T
の総和を出力する。除算部３７６０は、第１加算部３７
４０の出力値を第２加算部３７５０の出力値で除し、得
られた時間重心ＴＡ，ＴＢを出力する。

【００４１】以上の３次元入力はスリット光投影法を用
いるものであったが、ステレオ視法を用いて投射角度情
報によらない３次元入力を行うこともできる。図１１は
カラー画像どうしのマッチングの説明図である。

【００４２】第２モード及び第３モードでは、スリット
光Ｕを投射せずにせずに視点Ａ，Ｂから物体Ｑのカラー
撮影を行う。一方のカラーイメージセンサ２５Ａで撮影
したカラー画像ＣＡと、他方のカラーイメージセンサ２
５Ｂで撮影したカラー画像ＣＢとの間で垂直方向にエピ
ポラー拘束が成り立っているとすると、カラー画像ＣＡ
中の画素ＰＡ（ｉＡ，ｊＡ）の対応点であるカラー画像
ＣＢ中の画素ＰＢ’（ｉＢ，ｊＢ’）の探索方向は、画
素ＰＡの水平方向位置ｉＡに対して水平方向位置ｉＢと
一意に決まる。なお、イメージセンサ２４Ａ，２４Ｂと
カラーイメージセンサ２５Ａ，２５Ｂとで画像サイズと
各画素が一致しているものとする。カラー画像間の対応
点探索には、周知の相関法を用いる。ここで、その内容
を簡単に説明する。

【００４３】図１２は相関の一般例を示す図、図１３は
信頼度値の一例を示す図である。相関法では、画像の局
所的パターンを比較することにより、画素の対応づけを
行う。カラー画像ＣＡの注目画素ＰＡについて、それを
中心とするウインドウＷを設定し、カラー画像ＣＢの探
索方向に沿った画素列（水平方向位置ｉＢの画素列上）
における各画素を中心とするウインドウＷとの類似度を
調べる。ウインドウＷについては、例えば３×３，５×
５，３×５というように奇数×奇数の構成の適切なサイ
ズを選定する。カラー画像ＣＢのウインドウＷのうち、
類似度が最も高く、且つ相関曲線のピーク形状が十分に
急峻なウインドウＷの中心画素ＰＢ’（ｉＢ，ｊＢ’）
を注目画素ＰＡの対応点とする。

【００４４】ここでは、類似度の評価に、いわゆる相関
値を用いる。相関値Ｓは次式によって計算される。

【００４５】

【数１】相関値Ｓは、「−１〜＋１」の範囲内にあり、「１」に
近いほど、両ウィンドウＷの類似度が高い。対応点は、
図１２のような曲線のピークを探すことにより決定す
る。相関値Ｓが広い範囲にわたって一定であれば、それ
は画像パターンが変化しないことを意味し、たとえ相関
値が大きくても、対応点は特定できない。また、ピーク
が存在しても、ピークの相関値が十分に大きくない場合
は、ピーク位置の画素を対応点に決定するのは不適切で
ある。ピークが存在し、ピークの相関値Ｓが十分に大き
い場合に、注目画素ＰＡ（ｉＡ，ｊＡ）の対応点として
画素ＰＢ’（ｉＢ，ｊＢ’）を決定する。ここで、信頼
度値Ｒ_Cを次のようにして決定する。ピークが存在して
いないときには定数「０」を、ピークが存在していると
きには定数「１」を相関値に乗じて信頼度値とする。こ
のとき負の値を示すものは強制的に「０」にする。

【００４６】上述したＣＰＵ３１の機能要素であって本
発明の選択手段に相当するブロック３１３（図１参照）
は、ブロック３１１が時間重心画像どうしのマッチング
で求めた対応点についての相関値Ｓ_Tから算出される信
頼度値Ｒ_Tと、ブロック３１２がカラー画像どうしのマ
ッチングで求めた対応点についての相関値Ｓ_Cとから算
出される信頼度値Ｒ_Cとを比較し、より「１」に近い値
を示した方を対応点として選択する。本実施形態では、
時間重心画像どうしのマッチングには、相関法を用いて
いないので、相関値Ｓ_Tに定数「１」を乗じて信頼度値
Ｒ_Tとし、ここで負の値を示すものは強制的に「０」に
する。また、対応点が見つからなかったときも信頼度値
Ｒ_Tを強制的に「０」にする。又は、信頼度値Ｒ_Tがあ
らかじめ設定された基準値Ｒａより小さく且つ信頼度値
Ｒ_Cがあらかじめ設定された基準値Ｒｂより大きいとき
のみ、カラー画像どうしのマッチングで求めた対応点を
選択するように構成する。

【００４７】このような対応点の選択を、イメージセン
サ２４Ａの撮影面Ｓ２（画素配列はカラーイメージセン
サ２５Ａと同一）の画素毎に行うことにより、スリット
光投影法とステレオ視法とを併用することになり、両者
の長所を生かして距離データＤの信頼度を高めることが
できる。

【００４８】図１４は３次元入力装置１の概略の動作を
示すフローチャートである。上述の第３モードであるカ
ラーモードが指定されている場合は、投射を行わずに撮
影系２０Ａ，２０Ｂによる物体Ｑのカラー撮影を行い
（＃１、＃２）、カラー画像ＣＡの各画素に対応するカ
ラー画像ＣＢの画素を探索する（＃３）。そして、この
カラー画像どうしのマッチングの結果に基づいて距離デ
ータＤを算出して出力する（＃４）。ここでの出力は、
外部装置へのデータ伝送、又は装置内のメモリへの記録
（データ蓄積）を意味する。

【００４９】ステップ＃１のモード判別でカラーモード
でない場合は、半導体レーザ１２及びガルバノミラー１
４をオンして走査を開始する（＃５）。視点Ａ，Ｂでの
撮影で得られた受光データＤ３５を記録する（＃６）。
走査が終わって半導体レーザ１２をオフにした後、投射
を行わずに撮影系２０Ａ，２０Ｂにより物体Ｑのカラー
撮影を行う（＃７、＃８）。そして、再びモード判別を
行う（＃９）。

【００５０】第２モードである対応点選択モードが指定
されている場合は、時間重心画像ＧＡ，ＧＢどうしのマ
ッチングを行って対応の信頼度値Ｒ_Tを算出するととも
に、カラー画像ＣＡ，ＣＢどうしのマッチングを行って
対応の信頼度値Ｒ_Cを算出する（＃１０、＃１１）。そ
して、信頼度値Ｒ_T，Ｒ_Cを比較し、上述の要領で画素
毎に一方の対応づけを選択する（＃１２）。その後、カ
ラーモードの場合と同様に距離データＤを算出して出力
する（＃４）。ただし、対応点選択モードでは、どちら
のマッチングの結果に基づく距離データＤであるかを示
す識別データＤｓを距離データＤに付加して出力する。

【００５１】ステップ＃９で対応点選択モードでない場
合、すなわち第１モードが指定されている場合は、時間
重心画像ＧＡ，ＧＢどうしのマッチングの結果に基づい
て距離データＤを算出して出力する（＃１３、＃４）。

【００５２】なお、カラー画像を参考情報として出力し
ない構成とする場合は、ステップ＃９のモード判別とス
テップ＃８のカラー撮影との順序を入れ替え、第１モー
ドのときにはカラー撮影を行わないようにしてもよい。

【００５３】図１５は投光と受光との位置関係の設定例
を示す図である。投光系１０及び受光系２０の配置にお
いては、必ずしも投光の起点Ｃ及び受光の主点（視点）
Ａ，Ｂが一直線上に並ぶ図１５（ａ）又は（ｂ）のよう
な構成にする必要はない。例えば、物体側からみて３個
の点Ａ，Ｂ，ＣがＬ字状に並ぶ図１５（ｃ）の構成、Ｔ
字状に並ぶ図１５（ｄ）の構成を採用してもよい。特
に、図１５（ｂ）又は（ｄ）のように視点Ａと視点Ｂと
の間に起点Ｃを配置すれば、視点Ａ，Ｂと起点Ｃとが異
なることにより発生するオクルージョンを軽減すること
ができる。その際には投光の起点Ｃと各視点Ａ，Ｂとの
距離ｄを等しくするのが好ましい。

【００５４】

【発明の効果】請求項１乃至請求項５の発明によれば、
参照光の投射角度情報によらない３次元入力が実現され
て、投射角度制御の精度に係わらず高精度の３次元入力
データを得ることが可能になるとともに、データの信頼
性を高めることができる。

【００５５】請求項５の発明によれば、動作モードの多
様化による実用性の向上を図ることができる。

【図面の簡単な説明】

【図１】本発明に係る３次元入力装置の機能ブロック図
である。

【図２】投射の模式図である。

【図３】時間重心の説明図である。

【図４】投射角度情報によらない距離画像の生成要領を
説明するための図である。

【図５】時間重心画像どうしのマッチングの模式図であ
る。

【図６】メモリ回路の第１例のブロック図である。

【図７】メモリ回路の第２例のブロック図である。

【図８】撮影面における輝度分布と受光データとの関係
を示す図である。

【図９】メモリ回路の第３例のブロック図である。

【図１０】図９に係る重心の概念図である。

【図１１】カラー画像どうしのマッチングの説明図であ
る。

【図１２】相関の一般例を示す図である。

【図１３】信頼度値の一例を示す図である。

【図１４】３次元入力装置１の概略の動作を示すフロー
チャートである。

【図１５】投光と受光との位置関係の設定例を示す図で
ある。

【符号の説明】

Ｑ物体１３次元入力装置Ｃ起点Ｕスリット光（参照光）１０投光系Ａ視点（第１の位置）Ｂ視点（第２の位置）２０Ａ，２０Ｂ撮影系Ｄ３５受光データ（撮影データ）ＣＡ，ＣＢカラー画像（撮影データ）３１１ブロック（第１マッチング手段）３１２ブロック（第２マッチング手段）３１３ブロック（選択手段）ＴＡ，ＴＢ時間重心 θＡ，θＢ受光角度Ｄ距離データ（位置情報）Ｒａ基準値Ｒｂ基準値５１モード指定部Ｄｓ識別データ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｆ 15/62 ４１５Ｆターム(参考） 2F065 AA04 AA53 BB05 DD06 FF01 FF02 FF05 FF09 GG06 HH05 JJ03 JJ05 JJ26 LL06 LL08 LL13 LL62 MM16 QQ01 QQ03 QQ24 QQ25 QQ26 QQ27 QQ29 QQ31 QQ36 QQ38 QQ41 2H059 AA07 AA18 5B057 BA02 BA11 BA21 CA13 CB13 CC01

Claims

【特許請求の範囲】

【請求項１】入力対象の物体を走査するように起点から
前記物体に向かって参照光を投射する投光系と、第１の位置で前記物体を撮影するための第１の撮影系
と、前記第１の位置から離れた第２の位置で前記物体を撮影
するための第２の撮影系と、前記参照光を投射して前記物体を前記第１及び第２の撮
影系によって同時に撮影したときの撮影データに基づい
て、前記第１の撮影系の撮影面と前記第２の撮影系の撮
影面との間での前記物体上の同一点からの光が入射する
画素位置どうしを対応づける第１マッチング手段と、前記参照光を投射せずに前記物体を前記第１及び第２の
撮影系によって撮影したときの撮影データに基づいて、
前記第１の撮影系の撮影面と前記第２の撮影系の撮影面
との間での前記物体上の同一点からの光が入射する画素
位置どうしを対応づける第２マッチング手段と、前記第１の撮影系の撮影面における各画素について、前
記第１マッチング手段によって得られた対応関係及び前
記第２マッチング手段によって得られた対応関係の一方
を選択する選択手段とを有し、前記選択手段によって選択された対応関係で決まる前記
第１及び第２の位置のそれぞれでの受光角度に応じたデ
ータを前記物体の位置情報として出力することを特徴と
する３次元入力装置。
【請求項２】前記選択手段は、前記第１マッチング手段
によって得られた対応関係及び前記第２マッチング手段
によって得られた対応関係のうち、信頼度の大きい方を
選択する請求項１記載の３次元入力装置。
【請求項３】前記選択手段は、前記第１マッチング手段
によって得られた対応関係の信頼度が第１基準値より小
さく、且つ前記第２マッチング手段によって得られた対
応関係の信頼度が第２基準値より大きい場合のみにおい
て、前記第２マッチング手段によって得られた対応関係
を選択する請求項１記載の３次元入力装置。
【請求項４】前記選択手段によって選択された対応関係
が、前記第１マッチング手段及び前記第２マッチング手
段のどちらによって得られたかを示す識別データを、前
記データと対応づけて出力する請求項１乃至請求項３の
いずれかに記載の３次元入力装置。
【請求項５】前記第１マッチング手段によって得られた
対応関係で決まる前記第１及び第２の位置のそれぞれで
の受光角度に応じたデータを出力する第１モードと、前
記選択手段によって選択された対応関係で決まる前記第
１及び第２の位置のそれぞれでの受光角度に応じたデー
タを出力する第２モードと、前記第２マッチング手段に
よって得られた対応関係で決まる前記第１及び第２の位
置のそれぞれでの受光角度に応じたデータを出力する第
３モードとが設けられ、これらのうちの任意の１つを動
作モードとして選択する請求項１乃至請求項４のいずれ
かに記載の３次元入力装置。