JP2017191082A - 輝点画像取得装置および輝点画像取得方法 - Google Patents

Abstract

【課題】被写体である被測定物の表面に、反射率が異なる部分があったり、被測定物の表面の一部にのみ強い光が入射するような場合であっても、被測定物全体の輝点画像を容易に取得できる撮像装置をつくること。【解決手段】輝点投光器とは異なるタイミングで一様光を被測定物に投光する背景光投光器、および、輝点投光器と背景光投光器の投光タイミングを制御する制御器を設け、カメラが取得・出力する輝点画像と背景画像を合成して、前記被測定物の表面の反射率の違いによる輝点画像の明るさの違いを補正する輝点画像取得装置。【選択図】図１

Description

本発明は，対象物体の３次元計測を行う技術に関する。

本発明は、赤外線等の光線を複数に分割して被測定物に投光し、該被測定物から反射される輝点群を撮影した画像から被測定物の形状に関する３次元距離情報を取得する装置における、輝点画像取得装置および輝点画像取得方法に関する。このような装置としては日本特許第３７６４９４９号に示される状態解析装置がある。（特許文献１）

この装置では光源として赤外線レーザー光が使用され、ファイバーグレーティングを使用して、輝点投光器から被測定物に複数の輝点アレイであるパターン光が投影される。このような輝点投光器からの光線は被測定物で反射され、その画像がカメラで撮像される。カメラで撮像された画像の輝点の情報を使って被測定物の３次元距離情報が取得される。

しかしながら、被写体や被測定物の表面が、投光する光線に対する反射率が一様ではなく、部分的に異なる場合には、輝点画像が上手く抽出できなかったり、輝点群を抽出するための処理が複雑になったりすることがある。これは反射率が極端に異なる生地が分布しているような洋服を着用している人物を撮像したような場合に生じる。

又、表面の一部分にのみ自然光や外部光が当たっているような被測定物を測定する場合にも同様な問題が生じる。

このような場合に、従来は、より正確に測定する為に、画像をブロックに分けて各ブロック毎の閾値を計算する方法が使われていた。（特許文献２）。しかし、この場合には、輝点画像の演算処理が重くなり、信号処理に時間がかかる為、結果として被対象物を監視するような用途では、実時間で演算処理することが難しくなっていた。

日本特許第３７６４９４９号 日本特許第３４６５２２６号

本発明の課題は、被写体である被測定物の表面に、反射率が異なる部分があっても、輝点撮像装置が被測定物全体の画像を容易に取得可能とするものである。反射率の異なる被測定物であっても容易に個々の輝点を抽出することができる輝点画像取得装置および輝点画像取得方法を提供するものである。又、被測定物の表面の一部分にのみ強い光が入射するような場合であっても、被測定物全体の輝点画像を取得可能にするものである。

本発明は、被測定物に輝点パターンを投光する輝点投光器と、該輝点投光器から離れた位置に配置され、前記被測定物からの輝点投光の反射光から輝点画像を取得・出力するカメラと、該カメラの出力信号を演算処理して３次元距離情報を取得する装置において、更に、前記輝点投光器とは異なるタイミングで一様光を前記被測定物に投光する背景光投光器、および、前記２個の投光器の投光タイミングを制御する制御器を設け、前記カメラが取得・出力する輝点画像と背景画像を合成して、前記被測定物の表面の反射率の違いによる輝点画像の明るさの違いを補正する画像処理部を有する輝点画像取得装置である。

本発明は、一様光を被測定物に投光する背景光投光時に被測定物を撮影するカメラから取得した背景画像と、前記被測定物に輝点パターンを投光した時にカメラから取得した輝点画像を用い、前記背景画像の輝度の逆数を用いた補正係数マップ画像を作成し、補正係数マップ画像の補正係数を前期輝点画像に掛け算することにより輝点画像の輝度を補正する輝点画像取得方法を採用する。

本発明は被測定物全体を一様に照明する投光器を増設することで、反射率の異なる被測定物であっても容易に輝点群全体を抽出することができる輝点画像取得装置および輝点画像取得方法である。

本発明の他の変形では、背景光投光時にカメラから取得した前記背景画像信号と、輝点を投光した時にカメラから取得した前記輝点画像信号を用い、これら２種類の画像信号を相互に減算する２個の減算器と、一方の減算器の出力をローパスフィルタを通した低域成分と、他方の減算器の出力を合成してにより輝点画像の明るさの違いを補正する輝点画像取得装置である。

本発明は前記輝点投光器と前記背景光投光器を、異なるタイミングで投光する投光器制御部を有し、輝点を投光した前記輝点画像と、前記背景光を投光した背景画像をカメラから取得する輝点画像取得装置である。

本発明によれば、被測定物の表面が、部分的に反射率の異なるものであっても、輝点の画像を正確に抽出し、この輝点画像を演算処理して得られる３次元形状をより短い演算時間で取得することができる。

は本発明の第１の実施例の構成を示すブロック図である。 は被測定物の配置を示す平面図である。 は第１の実施例の制御信号の例を示す、タイミング波形図である。 は第１の実施例の輝点画像輝度補正手段１０の内部を更に詳細に図示したブロック図である。 は第２の実施例の追加部分の構成を示すブロック図である。 は第２の実施例の構成の各部の信号波形を示す説明図である。

以下、本発明に係る一実施例の実施形態について、図面を参照して説明する。実施例は動作の説明が容易なようにハードウェアを並べたもので説明するが、制御部等はコンピュータのソフトウェア処理でも同様に実施できる。

図１は本発明の一実施例の構成を示すブロック図である。
本発明の輝点画像取得装置では、図１に示すように、被測定物１３に赤外線の輝点３１を投光する輝点投光器２および輝点投光器２を駆動する輝点投光器駆動回路１に加え、同じ被測定物１３に別に、パターン光とは異なる一様な赤外線３２を投光する背景光投光器４および背景光投光器４を駆動する背景光投光器駆動回路３を有する。光源は赤外線レーザーでも赤外線ＬＥＤでも良い。

輝点投光器駆動回路１および背景光投光器駆動回路３は画像処理部７内の投光器制御部６に接続され、投光器制御部６の出力信号である輝点投光器制御信号１４および背景投光器制御信号１５により制御される。本実施例では輝点投光器駆動回路１、背景光投光器駆動回路３および投光器制御部６を独立した構成としたが、これらは全体又は一部を合体してより個数の少ない制御部とすることも可能であり、それぞれの制御信号を出力できるものであれば良い。投光器制御部は後述のカメラ５、輝点画像受信部８や背景画像受信部９の動作タイミングを制御する制御信号も供給する。

被測定物１３で反射された赤外線３１および赤外線３２はカメラ５で撮像される。カメラ５の出力である映像信号１６は輝点画像受信部８および背景画像受信部９に導入される。

輝点画像受信部８および背景画像受信部９の出力信号は輝点画像輝度補正手段１０に取り込まれ本発明による輝度補正処理が実行される。輝点補正手段１０の出力は従来例と同じく、距離計測手段１１に導出され、距離画像処理部１２で演算処理され、３次元距離情報が得られる。

まず、本発明の特徴である、輝度の補正について説明する。被測定物１３として、図２ａ〜図２ｃに示すような、布製の生地Ａ１０１の上に、生地Ａとは反射率が異なる生地Ｂ１０２および生地Ａおよび生地Ｂとも反射率が異なる生地Ｃ１０３が置かれているものとする。図２は被測定物の配置を示す平面図である。

図２ａは可視光が投光された場合の反射光による画像２０を示し、図２ｂは赤外線が投光された場合の反射光による画像２２を示す。図２ｃはカメラ５の出力である輝点画像２１を示す。

ここで被測定物の例として、１０１で示す生地Ａと１０２で示す生地Ｂおよび１０３で示す生地Ｃが比較の為に配置されている。投光される光線に依存する反射率の違いにより、画像２０と画像２２に示されるような被測定物をカメラで撮像した場合には異なる画像が得られる。この反射率の相違による影響は、同じ被測定物に輝点赤外線を投光した場合のカメラの輝点画像でも同様に影響を受ける。このように生地の反射率の違いによる画像の違いは、人体そのものの姿勢や位置情報を得ようとする場合や、人体を着衣のまま測定して呼吸波形を測定する場合に現れて問題となる。

被写体・被測定物によって反射率が異なるので、画面全体の輝点画像を得ようとすると、部分的に明るくなって輝点間の区別がつかない場合や、部分的に暗く沈んでしまって、やはり輝点の区別がつかなくなったり、輝点情報の取得に時間がかかってしまうという不都合が生じる。輝点を抽出するための閾値が異なる、輝点情報の演算時間が増えたり、輝点が上手く抽出できないことがある。

図３は投光器制御部６が出力する制御信号の例を示す、タイミング波形図である。図３ａで２７が輝点投光制御信号であり、図３ｂで２６が背景投光制御信号である。図３ｃで、波形信号２６、２７の下部に、各タイミングにおけるカメラ５からの出力である、背景画像２２、輝度画像２１の概略を示す。

輝点投光器２と背景光投光器４は、相互に異なるタイミング（図３ａ、ｂ）で被測定物１３を投光し、カメラ５にはそれぞれ、輝点画像２１、背景光画像２２が取り込まれる。

輝点投光器２が投光する赤外線３１の波長と、背景光投光器４が投光する赤外線３２の波長は同じ波長であるのが望ましいが、これらの波長が多少異なり、例えば、輝点投光器２の波長が８０８ｎｍで背景光投光器４の波長が８１０ｎｍまたは８５０ｎｍであっても、ほぼ問題なく実施可能である。

図４は第１図に示した輝点画像輝度補正手段１０の内部を更に詳細に図示したブロック図である。

輝度画像受信部８の出力信号である輝度画像２１は正規化手段１９に導入される。背景画像受信部９の出力信号である背景画像２２は補正係数演算手段１７に導入される。

背景画像２２から被写体である被測定物表面についてカメラ５の出力画像１画素毎の位置の輝度を求める。１００％の反射率の被写体が存在した時の輝度は未知だが、それぞれの位置の輝度はその位置の反射率に比例した輝度が求まる。

生地Ａ１０１の部分の反射率が８０％、生地Ｂ１０２の部分の反射率が２０％、生地Ｃ１０３の部分の反射率が４０％とした場合、８ビットの出力が得られるカメラ５で、反射率１００％の被写体の映像出力を２５５とした場合、生地Ａ１０１の部分では２０４、生地Ｂ１０２の部分では６１、生地Ｃ１０３の部分では１０２の出力値が得られる。

カメラ５のシャッター速度、背景光の照射強度が変わって、反射率１００％の被写体での出力が１００であるときには、生地Ａ１０１の部分は８０、生地Ｂ１０２の部分は２０、生地Ｃ１０３の部分は４０の出力となる。

いずれの場合も、生地Ｃ１０３の部分の出力は生地Ａ１０１の部分の半分であり、生地Ｂ１０２の部分の出力は生地Ａ１０１の部分の出力の１／４である。

補正係数演算手段１７では、例えばカメラの最大出力２５５に各生地の部分が正規化されるように、「２５５／各生地の部分の出力」を補正係数として求めることが出来る。

最初の例では、生地Ａ１０１の補正係数は２５５／２０４、生地Ｂ１０２の補正係数は２５５／６１、生地Ｃ１０３の補正係数は２５５／１０２となる。
２番目の例では、生地Ａ１０１の補正係数は２５５／８０、生地Ｂ１０２の補正係数は２５５／２０、生地Ｃ１０３の補正係数は２５５／４０となる。
このようにして、カメラ５の出力画像１画素毎に補正係数を求めたものが、補正係数マップ画像２３となる。このカメラ５では１画面が６４０×４８０の画素で構成されている。

更に一番小さい補正係数が１になるように、補正係数の最小値で各画素の補正係数を割った値を各画素の正規化補正係数とし求めたものが、正規化補正係数マップ画像２４として補正係数正規化手段１８から導出される。

カメラ５で得られた輝点投光器２からの信号は輝度画像受信部８で輝点画像信号２１として出力される。当然、各輝点の輝度は、被測定物１３のどの生地の部分に当たっているかで、異なる。

正規化手段１９内で、輝点画像の各画素に、補正係数正規化手段１８が導出する正規化補正係数マップ画像の各画素の正規化補正係数を掛けることにより、各生地の部分の輝点の輝度の最大値が一様となるように補正され、正規化輝点画像２５として導出される。

以上の補正により、被写体の一部が反射率の異なるものであっても、輝点の最大値が一様となり、輝点を抽出する二値化閾値が画面全体で求められるので、演算処理が高速化できる。また、輝点の白飛びや輝点が暗く沈みことによる輝点の未抽出が減り、結果として画面全体に精度の高い３次元計測が出来こととなる。

輝点画像補正手段１０の出力は従来例と同様に処理され、被測定物の３次元距離情報が計測される。

次に、被測定物の一部にのみ太陽光や室内光等の外光が入射して、被測定物の表面の明るさが極端に異なる場合の補正の例を第２の実施例として図５、図６に示す。図５は第２の実施例の構成を示すブロック図である。図６は第２の実施例の構成の各部の信号波形を示す説明図である。

図５は図１で示した実施例のうち、輝点画像受信部８および背景画像受信部９と、輝点画像輝度補正手段１０の間に、減算器Ａ２６および減算器Ｂ２８とローパスフィルタ２７を増設したものである。その他の構成は図１に示す実施例と同様であるので、同じ参照符号を付して説明を省略する。

図５、図６における輝点画像２１および背景画像２２では被測定物の表面の一部に強い外光を受けている為、画像下部に外光の影響が表れている。このような状況では取得した画像の処理が難しくなるため、本実施例による補正を行う。

図６で３０は背景光による明るさに対応する部分を示し、３１は外光による明るさに対応する部分を示す。３２は輝点による明るさに対応する部分である。ここでは図示を容易にする為、生地Ａ１０１の反射率を７５％、生地Ｂ１０２の反射率を２５％、生地Ｃ１０３の反射率を５０％として図示した。

輝度画像受信部８の出力信号である外光有り輝点画像図６Ｂおよび背景画像受信部９の出力信号である外光有り背景画像図６Ａはそれぞれ減算器Ａ２６および減算器Ｂ２８に導入される。減算器Ａ２６では外光有り背景画像Ａから外光有り輝点画像Ｂを減算し、正の値のみを計算すると、輝点の部分が黒く沈んだ画像信号が得られる。図６Ｃ。

この信号を２次元のＬＰＦ２７を通過させて、低域成分のみを通すことにより、仮想背景画像が得られる。図６Ｄ。 同様に、減算器Ｂ２８で外光あり輝点画像Ｂから外光有り背景画像Ａを減算し、正の値のみを計算すると、輝点のみの仮想輝点画像図６Ｅが得られる。この仮想背景画像Ｄと仮想輝点画像Ｅを輝点画像輝度補正手段１０に導入し、演算（補正係数の掛算）することで、外光の影響を無くした、正規化輝点画像図６Ｆを得る。
ここで得られる輝点の位置情報より、距離計測手段１１で被測定物の形状に関する３次元距離情報が得られる。

以上の説明では３次元距離情報の取得にドット状のパターン光を使って説明したが、本発明はドット状に限定されるものでは無く、他のパターンを使用した場合にも適用が可能である。

以上説明したとおり、本発明によれば、被測定物の表面が、部分的に反射率の異なるものであっても、輝点の画像を正確に抽出し、この輝点画像を演算処理して得られる３次元形状をより短い演算時間で取得することができる。

本発明によれば，従来装置では計測困難だった，撮影光について極端に異なる反射率を有する被測定物の反射輝点画像を画面全体に亘って比例的に取得可能となり、距離画像測定の範囲の増大や、測定処理の時間短縮に有用であるため、従来はできなかった新たな分野での利用も促進するものである。

１ 輝点投光器駆動回路
２ 輝点投光器
３ 背景光投光器駆動回路
４ 背景光投光器
５ カメラ
６ 投光器制御部
７ 画像処理部
８ 輝点画像受信部
９ 背景画像受信部
１０ 輝点画像補正手段
１１ 距離計測手段
１２ 距離画像処理部
１３ 被測定物
１４ 輝点投光器制御信号
１５ 背景投光器制御信号
１６ 映像信号
２０ 可視光が投光された場合の反射光による画像
２１ 赤外線が投光された場合の反射光による画像
２２ 輝点画像
２３ 補正係数マップ画像
２４ 正規化補正係数マップ画像
２５ 正規化輝点画像
２６、２８ 減算器
２７ ＬＰＦ
３１ 赤外線の輝点投光
３２ 一様な赤外線
１０１ 生地Ａ
１０２ 生地Ｂ
１０３ 生地Ｃ

Claims (4)

1. 被測定物に輝点パターンを投光する輝点投光器と、該輝点投光器から離れた位置に配置され、前記被測定物からの輝点投光の反射光から輝点画像を取得・出力するカメラと該カメラの出力信号を演算処理して３次元距離情報を取得する装置において、更に、前記輝点投光器とは異なるタイミングで一様光を前記被測定物に投光する背景光投光器、および、前記２個の投光器の投光タイミングを制御する制御器設け、前記カメラが取得・出力する輝点画像と背景画像を合成して、前記被測定物の反射率の違いによる輝点画像の明るさの違いを補正する画像処理部を有することを特徴とする輝点画像取得装置。
2. 一様光を被測定物に投光する背景光投光時に被測定物を撮影するカメラから取得した背景画像と、前記被測定物に輝点パターンを投光した時にカメラから取得した輝点画像を用い、前記背景画像の輝度の逆数を用いた補正係数マップ画像を作成し、補正係数マップ画像の補正係数を前期輝点画像に掛け算することにより輝点画像の輝度を補正することを特徴とする輝点画像取得方法。
3. 背景光投光時にカメラから取得した前記背景画像と、輝点を投光した時にカメラから取得した前記輝点画像を用い、これら２種類の画像信号を相互に減算する２個の減算器と、一方の減算器の出力はローパスフィルタを通した低域成分と、他方の減算器の出力により輝点画像の明るさの違いを補正する特許請求の範囲第１項記載の輝点画像取得装置。
4. 前記画像処理部は前記背景画像を導入し、前記カメラが出力する画像の各部の輝度をカメラの最大出力に合わせる補正係数の演算手段と、前記補正係数が最小値１となるように補正係数を合わせる補正係数正規化手段と、前記輝度画像を前記補正係数正規化手段が生成する補正係数を使って正規化する正規化手段よりなる特許請求の範囲第１項記載の輝点画像取得装置。

Images