JP2020008434A - 3次元測定装置及び方法 - Google Patents

3次元測定装置及び方法 Download PDF

Info

Publication number
JP2020008434A
JP2020008434A JP2018130077A JP2018130077A JP2020008434A JP 2020008434 A JP2020008434 A JP 2020008434A JP 2018130077 A JP2018130077 A JP 2018130077A JP 2018130077 A JP2018130077 A JP 2018130077A JP 2020008434 A JP2020008434 A JP 2020008434A
Authority
JP
Japan
Prior art keywords
unit
light
pattern
imaging
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018130077A
Other languages
English (en)
Inventor
星斗 付
Xingdou Fu
星斗 付
林 苗
Lin Miao
林 苗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2018130077A priority Critical patent/JP2020008434A/ja
Priority to US17/252,855 priority patent/US20210156677A1/en
Priority to EP19833682.8A priority patent/EP3822579A4/en
Priority to CN201980038668.6A priority patent/CN112292577B/zh
Priority to PCT/JP2019/009289 priority patent/WO2020012707A1/ja
Publication of JP2020008434A publication Critical patent/JP2020008434A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】測定対象物の3次元形状の測定精度を向上させつつ、操作性及び処理効率の低下を防止する。【解決手段】3次元測定装置は、第1パターン光を測定対象物に投影する第1投光部、及び、測定対象物を第1撮像方向から撮像する第1撮像部を有する第1ユニットと、第2パターン光を測定対象物に投影する第2投光部、及び、測定対象物を第2撮像方向から撮像する第2撮像部を有する第2ユニットとを、少なくとも備える投光撮像部と、測定対象物の撮像画像における所定のパターンと、記憶された所定のパターンとに基づいて、対象画素の3次元位置を算出する算出部とを備える。そして、投光撮像部は、測定対象物に対し、第1パターン光及び第2パターン光をそれぞれ個別に投影し、各パターン光がそれぞれ投影された測定対象物を、第1撮像部及び第2撮像部で撮像する。【選択図】図1

Description

本発明は、測定対象物の3次元形状を測定する3次元測定装置及びその方法に関する。
従来、測定対象物(ワーク等)の3次元形状を測定するための種々の手法が知られており、それらは、光の性質に着目して、光の直進性を用いる手法と光の速度を用いる手法に大別される。これらのうち、光の直進性を用いる手法には、アクティブ計測(能動型計測)及びパッシブ計測(受動型計測)の何れかに分類される方式が含まれ、光の速度を用いる手法には、アクティブ計測に分類される方式が含まれる。
これらのうち、アクティブ計測方式の一例として、例えば空間的な符号化(コード化)がなされたパターン(構造化光パターン)を含むパターン光を測定対象物に投影した状態で撮像を行い、撮像画像上でのパターンの位置から測定対象物の3次元形状を特定するいわゆるアクティブワンショット方式を用いた方法が知られている。かかるアクティブワンショット方式による方法は、特に近距離において高い測定精度を有し、また、広い視野及びコストが安価であるという利点を有する。
また、アクティブワンショット方式を用いた別の方法として、特許文献1には、パターン光を測定対象物に投影するための1台の投光手段、及び、パターン光が投影された測定対象物を異なる方向から撮像する3台以上の撮像手段を備えた3次元測定装置が記載されている。この3次元測定装置は、複数の撮像画像から得られる複数の3次元点群データを統合することにより、鏡面反射成分の強い測定対象物の3次元形状の測定をより適切に行うことを企図している。
特許第5633058号公報
ところで、アクティブワンショット方式による測定対象物の3次元形状の測定精度を高めるには、パターン光を異なる複数の位置から測定対象物へ投影し、撮像画像数を増やすことが有効であり、これにより、取得する情報量の増大と信頼度の向上を図ることが可能である。このためには、例えば、1台の投光手段と複数の撮像手段を備える上記従来の3次元測定装置(特許文献1)において、投光手段を複数となるように増設することが想起される。
しかし、そのように複数の投光手段を有する装置構成において、測定対象物に対して複数の投光手段からのパターン光の投影を同時に実施すると、パターン光が互いに重畳又は干渉してしまい、所定のパターンを正確に判別することができないおそれがある。また、例えば上記従来の3次元測定装置(特許文献1)の既存構成に投光手段を増設する場合、各投光手段と各撮像手段の配置の調整が必要となり得るため、それに伴い、各投光手段と各撮像手段との校正を新たに行う必要があるので、装置の操作性の低下と処理時間の増大を招いてしまう。
そこで、本発明は、一側面では、かかる事情を鑑みてなされたものであり、測定対象物の3次元形状の測定精度を向上させつつ、操作性及び処理効率の低下を防止することが可能な3次元測定装置及び方法を提供することを目的とする。
本発明は、上述した課題を解決するために、以下の構成を採用する。
〔1〕本開示に係る3次元測定装置の一例は、測定対象物の3次元形状を測定する3次元測定装置であって、所定のパターンを含む第1パターン光を第1投影方向から前記測定対象物に投影する第1投光部、及び、前記測定対象物を第1撮像方向から撮像する第1撮像部を有する第1ユニットと、所定のパターンを含む第2パターン光を第2投影方向から前記測定対象物に投影する第2投光部、及び、前記測定対象物を第2撮像方向から撮像する第2撮像部を有する第2ユニットとを、少なくとも備える投光撮像部と、前記所定のパターンを記憶するパターン記憶部と、前記測定対象物の撮像画像から対象画素を選別し、前記撮像画像における所定のパターンと、前記パターン記憶部に記憶された前記所定のパターンとに基づいて、前記対象画素の3次元位置を算出する算出部とを備える。そして、前記投光撮像部は、前記測定対象物に対し、前記第1パターン光及び前記第2パターン光をそれぞれ個別に投影し、前記第1パターン光及び前記第2パターン光がそれぞれ投影された前記測定対象物を、前記第1撮像部及び前記第2撮像部で撮像する。
ここで、「所定のパターン」としては、特に制限されず、公知のアクティブ計測方式(例えばアクティブワンショット方式)で用いられる種々のパターンを用いることができる。より具体的には、例えば、複数のラインが所定の間隔で2次元に配置されたいわゆるラインベースのパターン、互いに区別可能な複数種類の単位画像、単位図形、幾何学形状等が2次元に配置(規則的でもランダムでもよく、規則的な部分とランダムな部分が混合又は重畳されていてもよい。)されたいわゆるエリアベースのパターン、縦横ラインのグリッドにグラフシンボル等が配置されたいわゆるグリッドグラフベースのパターン等が挙げられる。なお、各所定のパターンは、エンコード用に、例えばラインや単位図形を区別するためのID情報を含んでいてもよい。
また、何れの所定のパターンを用いた場合でも、エピポーラ拘束により、撮像画像における対応点を特定することができる。但し、エリアベースのパターンを用いる場合、パターンによっては、エピポーラ拘束によらず、2次元マッチングによって対応点を特定可能な場合もある。さらに、第1パターン光に含まれる所定のパターンと第2パターン光に含まれる所定のパターンは、同一でもよいし異なっていてもよい。
また、以下、第1及び第2投光部をまとめて「投光部」と、第1及び第2投光方向をまとめて「投影方向」と、第1及び第2撮像部をまとめて「撮像部」と、第1及び第2撮像方向をまとめて「撮像方向」と、第1及び第2ユニットをまとめて「ユニット」ということがある。これらにおいて、序詞の「第1」及び「第2」は、互いに異なる投光部、投影方向、撮像部、撮像方向、及びユニットを区別するための便宜上の表現である。さらに、各ユニットに備わる各投光部及び各撮像部は、単数でも複数でもよい。また、投光撮像部は、第1及び第2ユニットとは異なる他の「ユニット」を更に備えていてももちろんよい。この場合、異なる他の「ユニット」は、単数でも複数でもよく、例えば、「第3ユニット」、「第4ユニット」等と便宜的に表現し得る。
当該構成では、測定対象物に対して、投光撮像部から所定のパターンを含む第1パターン光及び第2パターン光を互いに異なる投影方向から投影し、取得された撮像画像における対象画素の3次元位置を求めることにより、アクティブ計測方式による3次元測定を行う。その際、第1投影方向から第1パターン光が投影された測定対象物を、それぞれ異なる第1撮像方向及び第2投影方向から第1撮像部及び第2撮像部で撮像して、複数の撮像画像を得る。同様に、第2投影方向から第2パターン光が投影された測定対象物を、第1撮像部及び第2撮像部で撮像して、複数の撮像画像を得る。
このとおり、当該構成によれば、投光部の台数×撮像部の台数分(ユニットの台数の二乗分)の撮像画像を得ることができる。よって、それらの複数の撮像画像を適宜用いることにより、測定対象物の3次元形状に関する情報量を増大させることができる。これにより、対象画素について特定された3次元位置の信頼度を高め、また、測定対象物の表面形状や相互反射に対するロバスト性も高めることができる。また、第1パターン光及び第2パターン光のそれぞれが個別に投影された測定対象物を、第1撮像部及び第2撮像部で撮像するので、複数のパターン光が互いに重畳又は干渉するおそれがなく、撮像画像における所定のパターンを正確に判別することができる。さらに、投光部と撮像部をユニット化して用いるので、投光部を追設する度に投光部と撮像部の幾何学的位置関係(座標系)の校正を行う必要がない。
〔2〕上記構成において、より具体的には、前記投光撮像部は、前記第1パターン光が投影された前記測定対象物を、前記第1撮像部及び前記第2撮像部で同時に撮像し、且つ、前記第2パターン光が投影された前記測定対象物を、前記第1撮像部及び前記第2撮像部で同時に撮像するようにしてもよい。当該構成では、パターン光が投影された想定対象物の撮像をより迅速に行うことができる。
〔3〕上記構成において、前記算出部は、前記第1撮像部及び前記第2撮像部による複数の撮像画像のそれぞれにおける前記対象画素の3次元位置を表す複数の3次元点群データを生成し、生成された該複数の3次元点群データを組み合わせて(統合して)精緻化してもよい。ここで、精緻化の方法としては、特に制限されず、例えば、対象画素毎に、複数の3次元点群データを用いて通常の平均化演算又は適宜の加重平均化演算を行ったり、適宜の数値フィルタリング処理を行って、使用する3次元点群データを選択したりしてもよい。当該構成では、対象画素の3次元位置の信頼度を更に高めることができる。
〔4〕上記構成において、前記第1投光部と前記第1撮像部の幾何学的位置関係、及び、前記第2投光部と前記第2撮像部の幾何学的位置関係が、予め校正されていてもよい。当該構成では、ユニット毎の投光部と撮像部の幾何学的位置関係(座標系)の校正を、3次元測定の都度行う必要がない。
〔5〕上記構成において、前記第1投光部と前記第2撮像部の幾何学的位置関係、及び、前記第2投光部と前記第1撮像部の幾何学的位置関係を校正する校正部を更に備えてもよい。当該構成では、異なるユニットの投光部と撮像部について、相互の幾何学的位置関係の校正を行うので、ユニットの相対的な配置を適宜変更した場合でも、適切な3次元測定を行うことができ、装置構成ひいては3次元測定の汎用性を高めることができる。
〔6〕上記構成において、異なるユニット間の投光部と撮像部の幾何学的位置関係の校正方法として、例えば以下の方法を挙げることができる。すなわち、前記第1撮像部及び前記第2撮像部は、所定の校正儀を撮像し、前記校正部は、前記参照パターンの撮像画像に基づいて、前記第1撮像部及び前記第2撮像部の幾何学的位置関係を校正し、該校正された第1撮像部及び第2撮像部の幾何学的位置関係、並びに、前記予め校正された前記第1投光部と前記第1撮像部の幾何学的位置関係、及び、前記第2投光部と前記第2撮像部の幾何学的位置関係に基づいて、前記第1投光部と前記第2撮像部の幾何学的位置関係、及び、前記第2投光部と前記第1撮像部の幾何学的位置関係を校正してもよい。
ここで、「所定の校正儀」としては、特に制限されず、3次元測定装置の投光部又は撮像部の校正に通常用いられるものを用いることができ、例えば、所定のコードやチェッカー(モノクロでもグレースケールでもカラーでもよい)や適宜のパターンが印刷又は投影された立体校正儀又は平面校正儀が挙げられる。
当該構成では、所定の校正儀を異なる撮像部で撮像した結果に基づいて、異なるユニットにおける撮像部間の幾何学的位置関係が校正され、各ユニットの投光部と撮像部の幾何学的位置関係が既知であれば、異なるユニット間における投光部と撮像部の幾何学的位置関係を簡易に校正することができる。
〔7〕上記構成において、前記第1パターン光及び前記第2パターン光とは異なる通常照明光を、前記測定対象物に投射する投射部を備えてもよい。当該構成では、3次元測定のためのパターン光(計測光)とは異なる通常照明光を例えば検査用途の一般照明として使用することができるので、例えば測定対象物が暗い周辺環境下にある場合においても、3次元測定を好適に実施することができる。また、通常照明光が投射された測定対象物を撮像した画像と、予め設定又は記憶された測定対象物の形状設計データ(CADモデルデータ)とを対比し、例えばいわゆるCADマッチングを行うことにより、測定対象物の3次元形状をより正確に特定することが可能となる。
〔8〕上記構成において、前記第1パターン光及び前記第2パターン光とは異なる通常照明光を、前記所定の校正儀に投射する投射部を備えてもよい。当該構成では、例えば校正儀が暗い周辺環境下にある場合においても、校正儀の撮像を好適に実施することができる。
〔9〕本開示に係る3次元測定方法の一例は、第1投光部及び第1撮像部を有する第1ユニットと、第2投光部及び第2撮像部を有する第2ユニットとを少なくとも備える投光撮像部、パターン記憶部、並びに算出部を備える3次元測定装置の一例を用いて有効に実施し得る方法であり、以下の各ステップを含む。
すなわち、当該方法は、前記第1投光部が、所定のパターンを含む第1パターン光を第1投影方向から前記測定対象物に投影するステップ、前記第2投光部が、所定のパターンを含む第2パターン光を第2投影方向から前記測定対象物に投影するステップ、前記第1撮像部が、前記測定対象物を第1撮像方向から撮像するステップ、及び、前記第2撮像部が、前記測定対象物を第2撮像方向から撮像するステップと、を少なくとも含む投光撮像ステップと、前記パターン記憶部が、前記所定のパターンを記憶する記憶ステップと、前記算出部が、前記測定対象物の撮像画像から対象画素を選別し、前記撮像画像における所定のパターンと、前記パターン記憶部に記憶された前記所定のパターンとに基づいて、前記対象画素の3次元位置を算出する算出ステップとを含む。そして、前記投光撮像ステップにおいては、前記第1パターン光及び前記第2パターン光のそれぞれが投影された前記測定対象物を、前記第1撮像部及び前記第2撮像部で撮像する。
なお、本開示において、「部」及び「装置」とは、単に物理的手段を意味するものではなく、その「部」及び「装置」が有する機能をソフトウェアによって実現する構成も含む。また、1つの「部」及び「装置」が有する機能が2つ以上の物理的手段や装置によって実現されてもよく、或いは、2つ以上の「部」及び「装置」の機能が1つの物理的手段や装置によって実現されてもよい。さらに、「部」及び「装置」とは、例えば「手段」及び「システム」と言い換えることも可能な概念である。
本発明によれば、測定対象物の3次元測定において、異なる複数の撮像画像を効率よく且つ好適に得ることができ、測定対象物の3次元形状に関する情報量を増大して対象画素の3次元位置の信頼度を高めることができるとともに、装置の校正を簡易に実施することができる。これらにより、測定対象物の3次元形状の測定精度を向上させつつ、操作性及び処理効率の低下を防止することが可能となる。
実施形態に係る3次元測定装置の適用場面の一例を模式的に示す平面図である。 実施形態に係る3次元測定装置のハードウェアの構成の一例を模式的に示す平面図である。 実施形態に係る3次元測定装置の機能構成の一例を模式的に示す平面図である。 実施形態に係る3次元測定装置における処理手順の一例を示すフローチャートである。 実施形態に係る3次元測定装置において前処理としての校正を行っている状態の一例を模式的に示す平面図である。 実施形態に係る3次元測定装置により測定対象物へのパターン光の投影及び撮像を行っている状態の一例を模式的に示す平面図である。 実施形態に係る3次元測定装置により測定対象物へのパターン光の投影及び撮像を行っている状態の一例を模式的に示す平面図である。 実施形態に係る3次元測定装置により測定対象物へのパターン光の投影及び撮像を行っている状態の一例を模式的に示す平面図である。 (A)及び(B)は、それぞれ第1変形例に係るユニットUiの第1構成例及び第2構成例を模式的に示す斜視図である。
以下、本開示の一例に係る実施の形態(以下「実施形態」と表記する。)について、図面を参照して説明する。但し、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図ではない。すなわち、本開示の一例は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付しており、図面は模式的なものであって、必ずしも実際の寸法や比率等とは一致しない。さらに、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
§1 適用例
まず、図1を用いて、本開示の一例が適用される場面の一例について説明する。図1は、本実施形態に係る3次元測定装置100の適用場面の一例を模式的に示す平面図である。本実施形態に係る3次元測定装置100は、ユニットU1〜U3を有する投光撮像装置1、及び、投光撮像装置1に接続された制御装置2を備える。投光撮像装置1におけるユニットU1〜U3は、測定対象物Wに対向配置されており、それぞれ、互いに併設されたプロジェクタP1及びカメラC1、プロジェクタP2及びカメラC2、並びに、プロジェクタP3及びカメラC3を有している。なお、図1においては、各プロジェクタP1〜P3と各カメラC1〜C3が一体に構成された例を示したが、それぞれが一体化されておらず、別体に設けられていてもよい。
ユニットU1〜U3におけるプロジェクタP1〜P3は、それぞれ、測定対象物Wの3次元測定を行うための所定のパターンを含むパターン光(計測光)を、投影エリアα1〜α3で測定対象物Wへ投影する3D用照明である。これらのプロジェクタP1〜P3の構成は、特に制限されず、例えば、レーザ光源、パターンマスク、及びレンズを備える構成を例示することができる。レーザ光源から出射された光は、所定のパターンが形成されたパターンマスクによって所定のパターンを有するパターン光に変換され、レンズを介して測定対象物Wへ投影される。
また、ユニットU1〜U3におけるカメラC1〜C3は、それぞれ、例えば一般的な光学センサが搭載されたカメラ装置を含んで構成されており、パターン光が投影された測定対象物Wをそれぞれ撮像エリアβ1〜β3(視野角)で撮像する。このとおり、3次元測定装置100は、アクティブワンショット方式により、測定対象物Wの3次元測定を行う。
なお、本実施形態では、ユニットU1におけるプロジェクタP1とカメラC1との幾何学的位置関係(投影座標系と撮像座標系)は、3次元測定装置100の稼働に先立って予め校正されている。同様に、ユニットU2におけるプロジェクタP2とカメラC2との幾何学的位置関係、及び、ユニットU3におけるプロジェクタP3とカメラC3との幾何学的位置関係も、それぞれ予め校正されている。
制御装置2は、プロジェクタP1〜P3による測定対象物Wへのパターン光の投影処理、及び、カメラC1〜C3による撮像処理を制御するとともに、測定対象物Wの撮像画像の画像処理を含む種々の処理を行う。画像処理としては、各撮像画像について、投影されたパターン光に含まれる所定のパターンに応じた複数の対象画素の3次元位置を示す3次元点群を復元し、必要に応じて、得られた複数の3次元点群データを組み合わせて精緻化を行い、最終的に得られた3次元点群データから、測定対象物Wの3次元形状を特定する。
ここで、アクティブワンショット方式による測定対象物Wの3次元測定における所定のパターンの作成、及び3次元点群データの算出処理は、公知の又は所定の手法を適宜採用することができ、例えば、本出願人による特願2017−211840号に記載された3次元測定方法(当該方法の説明に記載されている「パターン」は前述したエリアベースのパターンの一例である。)を好ましい一例として挙げることができる。
以上のとおり、投光撮像装置1は、本発明における「投光撮像部」の一例に相当する。また、プロジェクタP1〜P3は、本発明における「投光部」の一例(プロジェクタP1〜P3の一部が「第1投光部」であり、残部が「第2投光部」である。)に相当する。さらに、カメラC1〜C3が、本発明における「撮像部」の一例(カメラC1〜C3の一部が「第1撮像部」であり、残部が「第2撮像部」である。)に相当する。また、ユニットU1〜U3が、本発明における「ユニット」の一例(ユニットU1〜U3の一部が「第1ユニット」であり、残部が「第2ユニット」である。)に相当する。さらに、プロジェクタP1〜P3から投影されるパターン光が、本発明における「パターン光」の一例(プロジェクタP1〜P3から投影されるパターン光の一部が「第1パターン光」であり、残部が「第2パターン光」である。)に相当する。
また、プロジェクタP1〜P3から投影エリアα1〜α3へ向かう方向が、本発明における「投影方向」の一例(投影エリアα1〜α3の方向の一部が「第1投影方向」であり、残部が「第2投影方向」である。)に相当する。さらに、カメラC1〜C3から撮像エリアβ1〜β3へ向かう方向が、本発明における「撮像方向」の一例(撮像エリアβ1〜β3の方向の一部が「第1撮像方向」であり、残部が「第2撮像方向」である。)に相当する。
以上のとおり、本実施形態は、複数のユニットU1〜U3を用いたアクティブワンショット方式により、測定対象物Wの3次元測定を行うことができ、後述のとおり、測定対象物Wに対して、ユニットU1のプロジェクタP1からパターン光を投影した状態で、全ユニットU1〜U3の全カメラC1〜C3による測定対象物Wの撮像を行う。そして、同様にして、各プロジェクタP2,P3によるパターン光の投影と、全カメラC1〜C3による撮像を行う。
これにより、本実施形態では、プロジェクタP1〜P3の台数(3つ)×カメラC1〜C3の台数(3つ)の合計9つ(ユニットU1〜U3の台数の二乗分)の撮像画像を得ることができる。また、各プロジェクタP1〜P3の投影時に得られたカメラC1〜C3による3つの撮像画像は、測定対象物Wを異なる撮像方向から撮像したものであり、各プロジェクタP1〜P3の投影時に得られた同一の各カメラC1〜C3による3つの撮像画像は、測定対象物Wへのパターン光の投影方向が異なる。
よって、それらの複数の撮像画像を用いることにより、測定対象物Wの3次元形状に関する情報量を増大することができる。その結果、対象画素について算出された3次元位置の信頼度を高め、且つ、測定対象物Wの表面形状や相互反射に対するロバスト性(ハレーションの防止等)をも高めることができるので、測定対象物Wの3次元形状の測定精度を向上させることができる。なお、「ハレーション」とは、撮像画像において明る過ぎる部分の階調が失われて白一色になった状態を示し、「白飛び」又は「光暈(こううん))と呼ばれることもある。
また、プロジェクタP1〜P3からのパターン光が個別に投影された測定対象物Wを、カメラC1〜C3で撮像するので、複数のパターン光が互いに重畳又は干渉するおそれがなく、撮像画像における所定のパターンを正確に判別することができる。従って、測定対象物Wの3次元形状の測定精度を更に向上させることができる。
さらに、各プロジェクタP1〜P3と各カメラC1〜C3をそれぞれユニット化(ユニットU1〜U3)して用いるので、例えば本来1台のプロジェクタに別のプロジェクタを追設する度に、プロジェクタとカメラの幾何学的位置関係(座標系)の校正を行う必要がない。よって、3次元測定装置100における校正処理を簡略化することができるので、操作性及び処理効率の低下を防止することができる。
§2 構成例
[ハードウェア構成]
次に、図2を用いて、本実施形態に係る3次元測定装置100のハードウェア構成の一例について説明する。図2は、3次元測定装置100のハードウェアの構成の一例を模式的に示す平面図である。
図2の例でも、3次元測定装置100は、図1に例示したユニットU1〜U3を有する投光撮像装置1、及び制御装置2を備える。ここで、制御装置2は、制御演算部21、通信インタフェース(I/F)部22、記憶部23、入力部24、及び出力部25を含み、各部はバスライン26を介して相互に通信可能に接続され得る。
制御演算部21は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を含み、情報処理に応じて各構成要素の制御及び各種演算を行う。
通信I/F部22は、例えば、有線又は無線により他の構成要素である「部」及び「装置」と通信するための通信モジュールである。通信I/F部22が通信に用いる通信方式は任意であり、例えば、LAN(Local Area Network)やUSB(Universal Serial Bus)等が挙げられ、バスライン26と同等の適宜の通信線を適用することもできる。投光撮像装置1は、通信I/F部22を介して、制御演算部21等と通信可能に設けることが可能である。
記憶部23は、例えばハード・ディスク・ドライブ(HDD)、ソリッド・ステート・ドライブ(SSD)等の補助記憶装置であり、制御演算部21で実行される各種プログラム(各種処理を実行するための演算プログラム、並びに、ユニットU1〜U3に備わるプロジェクタP1〜P3及びカメラC1〜C3のそれぞれの動作の制御処理を行うための制御プログラム等)、校正条件、測定条件、画像処理条件(測定対象物Wの認識パラメータ等)を含むデータベース、投光撮像装置1から出力される撮像画像(測定データ)、画像処理結果のデータ、測定対象物Wの3次元モデルデータ等を記憶する。このとおり、記憶部23に記憶された演算プログラム及び制御プログラムが制御演算部21で実行されることにより、後述する機能構成例における各種処理機能が実現される。
入力部24は、3次元測定装置100を利用するユーザからの各種入力操作を受け付けるためのインタフェースデバイスであり、例えば、マウス、キーボード、タッチパネル、音声マイク等で実現し得る。出力部25は、3次元測定装置100を利用するユーザ等へ、各種情報を、その表示、音声出力、印刷出力等により報知するためのインタフェースデバイスであり、例えば、ディスプレイ、スピーカ、プリンタ等で実現し得る。
[機能構成]
次に、図3を用いて、3次元測定装置100の機能構成の一例を説明する。図3は、本実施形態に係る3次元測定装置100の機能構成の一例を模式的に示す平面図である。
図2に示す3次元測定装置100の制御演算部21は、記憶部23に記憶された各種プログラム(制御プログラム及び演算プログラム等)をRAMに展開する。そして、制御演算部21は、RAMに展開された各種プログラムをCPUにより解釈及び実行して、各構成要素を制御する。これにより、図3に例示の如く、本実施形態に係る3次元測定装置100は、制御部210、画像取得部220、画像記録部230、画像出力部240、画像処理部250、パターン記憶部260、及び校正部270を備える構成を実現し得る。
なお、本実施形態では、3次元測定装置100の制御装置2で実現される各機能が汎用のCPUによって実現される例について説明したが、以上の機能の一部又は全部が、1又は複数の専用のプロセッサによって実現されてもよい。また、3次元測定装置100の制御装置2の機能構成は、実施形態や構成例に応じて、適宜、機能の省略、置換、及び追加が行われてももちろんよい。また、「制御装置」とは、一般的な情報処理装置(例えば、コンピュータ、ワークステーション等)と解することができる。
§3 動作例
次いで、図4を用いて、3次元測定装置100の動作の一例について説明する。図4は、本実施形態に係る3次元測定装置100における処理手順の一例を示すフローチャートであり、3次元測定装置100を用いた3次元測定方法における処理手順の一例を示すフローチャートでもある。なお、以下で説明する処理手順は一例に過ぎず、各処理は、本開示の技術思想の範囲内において可能な限り変更されてよい。また、以下で説明する処理手順は、実施形態や各構成例に応じて、適宜、ステップの省略、置換、及び追加が可能である。
(起動)
まず、3次元測定装置100のユーザは、3次元測定装置100を起動し、各種プログラム(演算プログラム及び制御プログラム等)を実行させる。それから、制御装置2における制御演算部21は、以下の処理手順に従って、投光撮像装置1の各ユニットU1〜U3におけるプロジェクタP1〜P3及びカメラC1〜C3のそれぞれの動作を制御し、且つ、制御装置2における各機能部による演算処理、及び、測定対象物Wの撮像画像の画像処理を行う。
また、本実施形態では、以下の各ステップにおける処理に先立って、個々のステップで必要となる校正条件、測定条件、及び画像処理条件を、記憶部23から読み出し、制御部210、画像処理部250、及び校正部270に適宜保持しておく。但し、かかる測定条件や種々のパラメータの読み出しは、各ステップの処理前であれば適宜のタイミングで行うことができる。
(ステップS1)
先に述べたとおり、各ユニットU1〜U3におけるプロジェクタP1〜P3及びカメラC1〜C3の幾何学的位置関係は、3次元測定装置100の稼働に先立って予め校正されている。一方、ユニットU1のプロジェクタP1と、各ユニットU2,U3のカメラC2,C3の幾何学的位置関係、ユニットU2のプロジェクタP2と、各ユニットU1,U3のカメラC1,C3の幾何学的位置関係、及び、ユニットU3のプロジェクタP3と、各ユニットU1,U2のカメラC1,C2の幾何学的位置関係の校正は、3次元測定装置100の稼働前に未実施である。そこで、ステップS1では、前処理として、それらの未実施であった校正を行う。
ここで、図5は、3次元測定装置100において前処理としての校正(における一処理)を行っている状態の一例を模式的に示す平面図である。ステップS1では、まず、カメラC1〜C3の撮像エリアβ1〜β3の範囲内に、所定の校正儀Kを配置する。その状態で、制御部210が、全ユニットU1〜U3のカメラC1〜C3を同時に又は順番に作動させ、設定された測定条件における撮像条件で校正儀Kの撮像を行う。
カメラC1〜C3は、校正儀Kの撮像画像を制御装置2へ出力し、画像取得部220がそれらの撮像画像データを取得して、画像記録部230へ記録する。校正部270は、画像記録部230に記録された校正儀Kの撮像画像のそれぞれに写っている校正儀Kのパターンにおける複数の特徴点の3次元位置を算出し、それぞれの撮像画像間で対応する特徴点の座標に基づいて、カメラC1〜C3間の幾何学的位置関係(撮像座標系)の校正を行う。
さらに、校正部270は、予め校正済みのユニットUi(i=1〜3。以下同様。)におけるプロジェクタPiとカメラCiの既知の幾何学的位置関係と、校正儀Kの撮像画像から校正されたカメラC1〜C3間の幾何学的位置関係を用いて、ユニットUiにおけるプロジェクタPiと、別のユニットUj(j=1〜3、但しj≠i。以下同様。)におけるカメラCjの幾何学的位置関係の校正を行う。これにより、全プロジェクタP1〜P3と全カメラC1〜C3との幾何学的位置関係が校正されて既知となる。なお、校正部270は、校正結果として、例えば、各プロジェクタP1〜P3と各カメラC1〜C3の相対的な3次元座標(x,y,z)及び3次元軸まわりの回転角度(rx,ry,rz)の関係を算出し、保持する。
(ステップS2)
ステップS2に先立って、プロジェクタP1〜P3の投影エリアα1〜α2の範囲内且つカメラC1〜C3の撮像エリアβ1〜β3の範囲内に、測定対象物Wを配置する。ステップS2では、その状態で、制御部210が、ユニットUi(iは1〜3の何れか。以下同様。)のプロジェクタPiを作動させ、設定された測定条件における投影条件で、測定対象物Wに対して所定のパターン光を投影する。
(ステップS3)
ステップS3では、プロジェクタPiから測定対象物Wに対して所定のパターン光を投影した状態で、制御部210が、全ユニットU1〜U3の全カメラC1〜C3を同時に又は順に作動させ、設定された測定条件における撮像条件で測定対象物Wの撮像を行う。カメラC1〜C3は、測定対象物Wの撮像画像を制御装置2へ出力し、画像取得部220がそれらの撮像画像データを取得して、画像記録部230へ記録する。
(ステップS4)
ステップS4では、制御部210が、プロジェクタP1〜P3からのパターン光の投影が全て終了したか否かを判定する。プロジェクタP1〜P3からのパターン光の投影が全て終了していない場合(ステップS4においてNo)には、ステップS2,S3を繰り返し、パターン光の投影が未了のプロジェクタPiからのパターン光の投影、及び、個々の投影が行われている状態での全ユニットU1〜U3の全カメラC1〜C3による撮像を行う。プロジェクタP1〜P3からのパターン光の投影が全て終了した場合(ステップS4においてYes)には、処理をステップS5へ移行する。このとおり、ステップS2,S3は、本発明における「投光撮像ステップ」の一例に相当する。
ここで、図6〜図8は、3次元測定装置100により測定対象物Wへのパターン光の投影及び撮像を行っている状態(ステップS2,S3)の一例を模式的に示す平面図であり、それぞれ、プロジェクタP1〜P3を個別に作動させて測定対象物Wへパターン光を投影した状態で、カメラC1〜C3による撮像を行っている状態を示す。図6〜図8においては、ハッチングを付して表示したプロジェクタPiとカメラC1〜C3が作動していることを示し、ハッチングを付して表示していないプロジェクタPiが作動していないことを示す。
(ステップS5)
ステップS5では、画像処理部250は、画像記録部230に記録された測定対象物Wの撮像画像における複数の対象画素を選別する。そして、画像処理部250は、各撮像画像に写っている所定のパターンと、パターン記憶部260に記憶されたパターン光における所定のパターンとの対比(マッチング)を行い、校正部270に保持されている各プロジェクタP1〜P3と各カメラC1〜C3の幾何学的位置関係の校正結果を用いて、各対象画素の3次元位置を算出する。画像処理部250は、各撮像画像における全ての対象画素の3次元位置を算出した後、その撮像画像における3次元点群データを生成する。さらに、画像処理部250は、複数の撮像画像について得られた複数の3次元点群データを、適宜組み合わせて(統合して)精緻化処理を行い、最終的に得られた3次元点群データから測定対象物Wの3次元形状を特定する。
このとおり、画像処理部250は、本発明における「算出部」の一例に相当し、ステップS5は、本発明における「算出ステップ」の一例に相当する。なお、パターン記憶部260に所定のパターンを記憶することは、本発明における「記憶ステップ」の一例に相当する。
なお、各撮像画像から生成された3次元点群データ、及び、最終的に精緻化して得られた3次元点群データは、撮像画像とともに画像記録部230に記録され、画像出力部240は、必要に応じて、測定対象物Wの3次元形状を示す3次元点群画像等を、3次元測定装置100のユーザが視認可能なようにディスプレイやプリンタ等に出力する。
§4 作用・効果
以上のとおり、本実施形態に係る3次元測定装置100、及び、それを用いた3次元測定方法の一例によれば、各ユニットU1〜U3におけるプロジェクタP1〜P3から測定対象物Wに対して個別にパターン光を投影し、各パターン光の投影状態で、全ユニットU1〜U3の全カメラC1〜C3による測定対象物Wの撮像を行う。これにより、プロジェクタP1〜P3の台数(3つ)×カメラC1〜C3の台数(3つ)の合計9つ(ユニットU1〜U3の台数の二乗分)の撮像画像を得ることができ、それらの撮像画像は、異なる投影方向から投影されたパターン光と、異なる撮像方向から撮像されたものである。
そして、得られた複数の撮像画像のそれぞれにおいて、対象画素の3次元位置を算出することにより、複数の撮像画像に対応した複数の3次元点群データを生成することができるので、測定対象物Wの3次元形状に関する情報量を増大することができる。その結果、各対象画素の3次元位置の信頼度が向上し、また、測定対象物Wの表面形状や相互反射に対するロバスト性(ハレーションの防止等)をも高めることができる。従って、測定対象物Wの3次元形状の測定精度を向上させることが可能となる。さらに、得られた複数の3次元点群データを組み合わせて精緻化し、最終的に最適化された3次元点群データに基づいて、測定対象物Wの3次元形状を特定することにより、測定対象物Wの3次元形状の測定精度を更に向上させることができる。
また、測定対象物Wに対してプロジェクタP1〜P3からのパターン光を同時に(一時に)投影するのではなく、各パターン光を個別に投影した状態の測定対象物Wを複数のカメラC1〜C3で撮像するので、複数のパターン光が互いに重畳又は干渉するおそれがない。従って、撮像画像における所定のパターンを正確に判別することができ、測定対象物Wの3次元形状の測定精度を更に一層向上させることができる。
さらに、各プロジェクタP1〜P3と各カメラC1〜C3をユニットU1〜U3として用いるので、1台のプロジェクタに別のプロジェクタを追設する度に、プロジェクタとカメラの幾何学的位置関係(座標系)の校正を行う必要がない。よって、校正処理を簡略化して工数の増大を抑止することができるので、操作性及び処理効率の低下を防止することが可能となる。
また、各プロジェクタP1〜P3からパターン光が投影された状態の測定対象物Wを、カメラC1〜C3で同時に撮像する場合には、カメラC1〜C3で順に撮像する場合に比して投影及び撮像時間を短縮することができ、処理効率を高めることができる。
さらに、測定対象物Wの3次元測定に際し、各ユニットU1〜U3のプロジェクタP1〜P3とカメラC1〜C3について、相互の幾何学的位置関係の校正を行うので、予めプロジェクタPiとカメラCiの幾何学的位置関係が既知のユニットU1〜U3を組み合わせて用い、さらに、各ユニットU1〜U3の相対的な配置を適宜変更した場合でも、適切な3次元測定を行うことができる。これにより、装置構成ひいては3次元測定の汎用性を高めることができる。
またさらに、各ユニットU1〜U3のプロジェクタP1〜P3とカメラC1〜C3の相互の幾何学的位置関係の校正を、校正儀Kを用いて校正したカメラC1〜C3間の幾何学的位置関係と、各ユニットUiのプロジェクタPi及びカメラCiの既知の幾何学的位置関係に基づいて行うので、校正処理を簡易に且つ確実に行うことができる。
§5 変形例
以上、本開示の一例としての実施形態について詳細に説明してきたが、前述した説明はあらゆる点において本開示の一例を示すに過ぎず、本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもなく、例えば、以下に示すような変更が可能である。なお、以下の説明においては、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、説明を適宜省略した。また、上記実施形態及び以下の各変形例は、適宜組み合わせて構成することが可能である。
<5.1:第1変形例>
図9(A)及び(B)は、それぞれ第1変形例に係るユニットUiの第1構成例及び第2構成例を模式的に示す斜視図である。これらの第1構成例及び第2構成例は、3次元測定装置100に備わるユニットU1〜U3の何れかのユニットUi(例えばユニットU1)に、プロジェクタQiを加えて配置した例である。プロジェクタQiは、通常照明光を測定対象物Wに投射するための2D用照明である。このとおり、プロジェクタQiは、本発明における「投射部」の一例に相当する。
当該第1構成例及び第2構成例の何れによっても、プロジェクタQiを例えば検査用途の一般照明として使用することができるので、測定対象物Wが暗い周辺環境下にある場合においても、その3次元測定を好適に実施することができる。また、測定対象物Wのみではなく、校正儀Kの撮像の際にも通常照明光を投射することにより、同様に、例えば校正儀Kが暗い周辺環境下にある場合においても、その撮像を好適に実施することができる。
また、プロジェクタQiから通常照明が投射された測定対象物Wの撮像画像と、例えば制御装置2の記憶部23に予め記憶された測定対象物Wの形状設計データ(CADモデルデータ)とを対比し、例えばいわゆるCADマッチングを行うことにより、測定対象物Wの3次元形状をより正確に把握することが可能となる。
さらに、第1構成例は、ユニットUiの外形状を正方形又は正三角形に近い形状とし得るので、プロジェクタQiを追設した場合でも、ユニットUiのフットプリントを比較的小さくすることができ、3次元測定装置の設置面積を低減することができる。一方、第2構成例では、プロジェクタPiとカメラCiの距離を、プロジェクタQiがない場合(図1等)に比して大きくすることができるので、そのユニットUiでのアクティブワンショット方式による3次元測定の精度を向上させることができる。
<5.2:第2変形例>
各ユニットUiに含まれるカメラCiは複数であってもよい。また、ユニットUiの台数は3台に限定されず、2台又は4台以上設けてもよく、その場合、ステップS2,S3の投影及び撮像処理をプロジェクタPiの台数分実施することができる。
<5.3:第3変形例>
上記実施形態では、全てのパターン光の投影及び撮像が終了してから、画像処理を実施したが、各パターン光の投影及び撮像の終了の都度、各撮像画像の画像処理を行って3次元点群データを生成してもよく、全てのパターン光の投影及び撮像が終了した後に、その時点で得られている複数の3次元点群データを組み合わせて精緻化処理を行ってもよい。
<5.4:第4変形例>
上記実施形態では、設置された校正儀Kを撮像してカメラU1〜U3間の校正処理を行ったが、校正儀Kと同等のパターンをプロジェクタPiから投影したものを校正儀Kとして用い、投影されたそのパターンの撮像画像を用いてカメラU1〜U3間の校正処理を行ってもよい。
§6 付記
以上説明した実施形態及び変形例は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態及び変形例が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態及び変形例で示した構成同士を部分的に置換し又は組み合わせることも可能である。
(付記1)
測定対象物(W)の3次元形状を測定する3次元測定装置(100)であって、
所定のパターンを含む第1パターン光を第1投影方向から前記測定対象物(W)に投影する第1投光部(P1)、及び、前記測定対象物(W)を第1撮像方向から撮像する第1撮像部(C1)を有する第1ユニット(U1)と、所定のパターンを含む第2パターン光を第2投影方向から前記測定対象物(W)に投影する第2投光部(P2)、及び、前記測定対象物(W)を第2撮像方向から撮像する第2撮像部(C2)を有する第2ユニット(U2)とを、少なくとも備える投光撮像部(1)と、
前記所定のパターンを記憶するパターン記憶部(260)と、
前記測定対象物(W)の撮像画像から対象画素を選別し、前記撮像画像における所定のパターンと、前記パターン記憶部(260)に記憶された前記所定のパターンとに基づいて、前記対象画素の3次元位置を算出する算出部(250)と、
を備え、
前記投光撮像部(1)は、前記測定対象物(W)に対し、前記第1パターン光及び前記第2パターン光をそれぞれ個別に投影し、前記第1パターン光及び前記第2パターン光がそれぞれ投影された前記測定対象物(W)を、前記第1撮像部(C1)及び前記第2撮像部(C2)で撮像する、
3次元測定装置(100)。
(付記2)
前記投光撮像部(1)は、前記第1パターン光が投影された前記測定対象物(W)を、前記第1撮像部(C1)及び前記第2撮像部(C2)で同時に撮像し、且つ、前記第2パターン光が投影された前記測定対象物(W)を、前記第1撮像部(C1)及び前記第2撮像部(C2)で同時に撮像する、
付記1の3次元測定装置(100)。
(付記3)
前記算出部(250)は、前記第1撮像部(C1)及び前記第2撮像部(C2)による複数の撮像画像のそれぞれにおける前記対象画素の3次元位置を表す複数の3次元点群データを生成し、生成された該複数の3次元点群データを組み合わせて精緻化する、
付記1又は2の3次元測定装置(100)。
(付記4)
前記第1投光部(P1)と前記第1撮像部(C1)の幾何学的位置関係、及び、前記第2投光部(P2)と前記第2撮像部(C2)の幾何学的位置関係が、予め校正されている、
付記1乃至3の何れかの3次元測定装置(100)。
(付記5)
前記第1投光部(P1)と前記第2撮像部(C2)の幾何学的位置関係、及び、前記第2投光部(P2)と前記第1撮像部(C1)の幾何学的位置関係を校正する校正部(270)を備える、
付記1乃至4の何れかの3次元測定装置(100)。
(付記6)
前記第1撮像部(C1)及び前記第2撮像部(C2)は、所定の校正儀(K)を撮像し、
前記校正部(270)は、前記所定の校正儀(K)の撮像画像に基づいて、前記第1撮像部(C1)及び前記第2撮像部(C2)の幾何学的位置関係を校正し、該校正された第1撮像部(C1)及び第2撮像部(C2)の幾何学的位置関係、並びに、前記予め校正された前記第1投光部(P1)と前記第1撮像部(C1)の幾何学的位置関係、及び、前記第2投光部(P2)と前記第2撮像部(C2)の幾何学的位置関係に基づいて、前記第1投光部(P1)と前記第2撮像部(C2)の幾何学的位置関係、及び、前記第2投光部(P2)と前記第1撮像部(C1)の幾何学的位置関係を校正する、
付記5の3次元測定装置(100)。
(付記7)
前記第1パターン光及び前記第2パターン光とは異なる通常照明光を、前記測定対象物に投射する投射部(Qi)を備える、
付記1乃至6の何れかの3次元測定装置(100)。
(付記8)
前記第1パターン光及び前記第2パターン光とは異なる通常照明光を、前記所定の校正儀に投射する投射部(Qi)を備える、
付記6又は7の3次元測定装置(100)。
(付記9)
第1投光部(P1)及び第1撮像部(C1)を有する第1ユニット(U1)と、第2投光部(P2)及び第2撮像部(C2)を有する第2ユニット(U2)とを少なくとも備える投光撮像部(1)、パターン記憶部(260)、並びに算出部(250)を備える3次元測定装置(100)を用い、測定対象物(W)の3次元形状を測定する3次元測定方法であって、
前記第1投光部(P1)が、所定のパターンを含む第1パターン光を第1投影方向から前記測定対象物(W)に投影するステップ、前記第2投光部(P2)が、所定のパターンを含む第2パターン光を第2投影方向から前記測定対象物(W)に投影するステップ、前記第1撮像部(C1)が、前記測定対象物(W)を第1撮像方向から撮像するステップ、及び、前記第2撮像部(C2)が、前記測定対象物(W)を第2撮像方向から撮像するステップと、を少なくとも含む投光撮像ステップと
前記パターン記憶部(260)が、前記所定のパターンを記憶する記憶ステップと、
前記算出部(250)が、前記測定対象物(W)の撮像画像から対象画素を選別し、前記撮像画像における所定のパターンと、前記パターン記憶部(260)に記憶された前記所定のパターンとに基づいて、前記対象画素の3次元位置を算出する算出ステップと、
を含み、
前記投光撮像ステップにおいては、前記測定対象物(W)に対し、前記第1パターン光及び前記第2パターン光をそれぞれ個別に投影し、前記第1パターン光及び前記第2パターン光がそれぞれ投影された前記測定対象物(W)を、前記第1撮像部(C1)及び前記第2撮像部(C2)で撮像する、
3次元測定方法。
なお、前記付記1の構成は、例えば以下のとおり換言することもできる。
(付記10)
測定対象物(W)の3次元形状を測定する3次元測定装置(100)であって、
所定のパターンを含むパターン光を互いに異なる投影方向から前記測定対象物(W)に投影する複数の投光部(Pi)のそれぞれ、及び、前記測定対象物(W)を互いに異なる撮像方向から撮像する複数の撮像部(Ci)のそれぞれを有する複数のユニット(Ui)を備える投光撮像部(1)と、
前記所定のパターンを記憶するパターン記憶部(260)と、
前記測定対象物(W)の撮像画像から対象画素を選別し、前記撮像画像における所定のパターンと、前記パターン記憶部(260)に記憶された前記所定のパターンとに基づいて、前記対象画素の3次元位置を算出する算出部(250)と、
を備え、
前記投光撮像部(1)は、前記測定対象物(W)に対し、複数の前記パターン光をそれぞれ個別に投影し、前記各パターン光が投影された前記測定対象物(W)を、前記複数の撮像部(Ci)で撮像する、
3次元測定装置(100)。
1…投光撮像装置、2…制御装置、21…制御演算部、22…通信インタフェース(I/F)部、23…記憶部、24…入力部、25…出力部、26…バスライン、100…3次元測定装置、210…制御部、220…画像取得部、230…画像記録部、240…画像出力部、250…画像処理部、260…パターン記憶部、270…校正部、C1〜C3…カメラ、K…校正儀、P1〜P3…プロジェクタ、Pi…プロジェクタ、Qi…プロジェクタ、S1〜S5…ステップ、U1〜U3…ユニット、W…測定対象物、α1〜α3…投影エリア、β1〜β3…撮像エリア。

Claims (9)

  1. 測定対象物の3次元形状を測定する3次元測定装置であって、
    所定のパターンを含む第1パターン光を第1投影方向から前記測定対象物に投影する第1投光部、及び、前記測定対象物を第1撮像方向から撮像する第1撮像部を有する第1ユニットと、所定のパターンを含む第2パターン光を第2投影方向から前記測定対象物に投影する第2投光部、及び、前記測定対象物を第2撮像方向から撮像する第2撮像部を有する第2ユニットとを、少なくとも備える投光撮像部と、
    前記所定のパターンを記憶するパターン記憶部と、
    前記測定対象物の撮像画像から対象画素を選別し、前記撮像画像における所定のパターンと、前記パターン記憶部に記憶された前記所定のパターンとに基づいて、前記対象画素の3次元位置を算出する算出部と、
    を備え、
    前記投光撮像部は、前記測定対象物に対し、前記第1パターン光及び前記第2パターン光をそれぞれ個別に投影し、前記第1パターン光及び前記第2パターン光がそれぞれ投影された前記測定対象物を、前記第1撮像部及び前記第2撮像部で撮像する、
    3次元測定装置。
  2. 前記投光撮像部は、前記第1パターン光が投影された前記測定対象物を、前記第1撮像部及び前記第2撮像部で同時に撮像し、且つ、前記第2パターン光が投影された前記測定対象物を、前記第1撮像部及び前記第2撮像部で同時に撮像する、
    請求項1記載の3次元測定装置。
  3. 前記算出部は、前記第1撮像部及び前記第2撮像部による複数の撮像画像のそれぞれにおける前記対象画素の3次元位置を表す複数の3次元点群データを生成し、生成された該複数の3次元点群データを組み合わせて精緻化する、
    請求項1又は2記載の3次元測定装置。
  4. 前記第1投光部と前記第1撮像部の幾何学的位置関係、及び、前記第2投光部と前記第2撮像部の幾何学的位置関係が、予め校正されている、
    請求項1乃至3の何れか記載の3次元測定装置。
  5. 前記第1投光部と前記第2撮像部の幾何学的位置関係、及び、前記第2投光部と前記第1撮像部の幾何学的位置関係を校正する校正部を備える、
    請求項1乃至4の何れか記載の3次元測定装置。
  6. 前記第1撮像部及び前記第2撮像部は、所定の校正儀を撮像し、
    前記校正部は、前記所定の校正儀の撮像画像に基づいて、前記第1撮像部及び前記第2撮像部の幾何学的位置関係を校正し、該校正された第1撮像部及び第2撮像部の幾何学的位置関係、並びに、前記予め校正された前記第1投光部と前記第1撮像部の幾何学的位置関係、及び、前記第2投光部と前記第2撮像部の幾何学的位置関係に基づいて、前記第1投光部と前記第2撮像部の幾何学的位置関係、及び、前記第2投光部と前記第1撮像部の幾何学的位置関係を校正する、
    請求項5記載の3次元測定装置。
  7. 前記第1パターン光及び前記第2パターン光とは異なる通常照明光を、前記測定対象物に投射する投射部を備える、
    請求項1乃至6の何れか記載の3次元測定装置。
  8. 前記第1パターン光及び前記第2パターン光とは異なる通常照明光を、前記所定の校正儀に投射する投射部を備える、
    請求項6又は7記載の3次元測定装置。
  9. 第1投光部及び第1撮像部を有する第1ユニットと、第2投光部及び第2撮像部を有する第2ユニットとを少なくとも備える投光撮像部、パターン記憶部、並びに算出部を備える3次元測定装置を用い、測定対象物の3次元形状を測定する3次元測定方法であって、
    前記第1投光部が、所定のパターンを含む第1パターン光を第1投影方向から前記測定対象物に投影するステップ、前記第2投光部が、所定のパターンを含む第2パターン光を第2投影方向から前記測定対象物に投影するステップ、前記第1撮像部が、前記測定対象物を第1撮像方向から撮像するステップ、及び、前記第2撮像部が、前記測定対象物を第2撮像方向から撮像するステップと、を少なくとも含む投光撮像ステップと
    前記パターン記憶部が、前記所定のパターンを記憶する記憶ステップと、
    前記算出部が、前記測定対象物の撮像画像から対象画素を選別し、前記撮像画像における所定のパターンと、前記パターン記憶部に記憶された前記所定のパターンとに基づいて、前記対象画素の3次元位置を算出する算出ステップと、
    を含み、
    前記投光撮像ステップにおいては、前記測定対象物に対し、前記第1パターン光及び前記第2パターン光をそれぞれ個別に投影し、前記第1パターン光及び前記第2パターン光がそれぞれ投影された前記測定対象物を、前記第1撮像部及び前記第2撮像部で撮像する、
    3次元測定方法。
JP2018130077A 2018-07-09 2018-07-09 3次元測定装置及び方法 Pending JP2020008434A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018130077A JP2020008434A (ja) 2018-07-09 2018-07-09 3次元測定装置及び方法
US17/252,855 US20210156677A1 (en) 2018-07-09 2019-03-08 Three-dimensional measurement apparatus and method
EP19833682.8A EP3822579A4 (en) 2018-07-09 2019-03-08 DEVICE AND PROCESS FOR THREE-DIMENSIONAL MEASUREMENT
CN201980038668.6A CN112292577B (zh) 2018-07-09 2019-03-08 三维测量装置以及方法
PCT/JP2019/009289 WO2020012707A1 (ja) 2018-07-09 2019-03-08 3次元測定装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018130077A JP2020008434A (ja) 2018-07-09 2018-07-09 3次元測定装置及び方法

Publications (1)

Publication Number Publication Date
JP2020008434A true JP2020008434A (ja) 2020-01-16

Family

ID=69141362

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018130077A Pending JP2020008434A (ja) 2018-07-09 2018-07-09 3次元測定装置及び方法

Country Status (5)

Country Link
US (1) US20210156677A1 (ja)
EP (1) EP3822579A4 (ja)
JP (1) JP2020008434A (ja)
CN (1) CN112292577B (ja)
WO (1) WO2020012707A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022157993A1 (ja) * 2021-01-20 2022-07-28 オムロン株式会社 計測システム、検査システム、計測装置、計測方法、検査方法、及びプログラム
CN114867985A (zh) * 2020-01-28 2022-08-05 欧姆龙株式会社 三维形状计测装置、三维形状计测方法及程序

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114080535B (zh) * 2019-06-28 2025-02-25 佳能株式会社 测量设备、摄像设备、测量系统、控制方法以及存储介质
JP2021188997A (ja) * 2020-05-28 2021-12-13 コニカミノルタ株式会社 3次元計測装置、および3次元計測方法
NL2025856B1 (en) * 2020-06-18 2022-02-17 Singa Ip B V Device and method for determining the three-dimensional geometry of an individual object
JP7741875B2 (ja) * 2021-05-31 2025-09-18 興和株式会社 3次元計測装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6454208A (en) * 1987-08-25 1989-03-01 O G Joho Syst Kk Shape detecting method
JP2002366931A (ja) * 2001-06-08 2002-12-20 Nec Corp 形状計測装置およびその方法
JP2003294433A (ja) * 2002-03-29 2003-10-15 Nec Engineering Ltd 複数の三次元形状計測装置の座標系を一致させる方法
WO2013187203A1 (ja) * 2012-06-12 2013-12-19 株式会社島精機製作所 3次元計測装置と3次元計測方法
JP2017110975A (ja) * 2015-12-15 2017-06-22 キヤノン株式会社 計測装置、システム、計測方法、決定方法及びプログラム
US20180156606A1 (en) * 2015-06-08 2018-06-07 Koh Young Technology Inc. Three-dimensional shape measurement apparatus

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5550852A (en) 1978-10-06 1980-04-14 Hiroshi Okada Method of evolving white smoke from wedding cake
JPS6454908A (en) * 1987-08-26 1989-03-02 Matsushita Electric Industrial Co Ltd Fm demodulation circuit
CN100520285C (zh) * 2006-07-13 2009-07-29 黑龙江科技学院 投射多频光栅的物体表面三维轮廓的视觉测量方法
CN101303257B (zh) * 2008-06-26 2010-06-02 中国电力科学研究院 一种测量长间隙空气电弧等离子体温度的方法
CN101813462A (zh) * 2010-04-16 2010-08-25 天津理工大学 单处理器控制的三维形貌光学测量系统及测量方法
CN101900875B (zh) * 2010-06-04 2011-12-14 南开大学 基于双光源离轴照明的高倍率三维成像显微镜及成像方法
US9322643B2 (en) * 2011-10-18 2016-04-26 Nanyang Technological University Apparatus and method for 3D surface measurement
CA2819956C (en) * 2013-07-02 2022-07-12 Guy Martin High accuracy camera modelling and calibration method
JP2017110991A (ja) * 2015-12-16 2017-06-22 セイコーエプソン株式会社 計測システム、計測方法、ロボット制御方法、ロボット、ロボットシステムおよびピッキング装置
JP2017211840A (ja) 2016-05-25 2017-11-30 株式会社デンソー 車両用非常通報装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6454208A (en) * 1987-08-25 1989-03-01 O G Joho Syst Kk Shape detecting method
JP2002366931A (ja) * 2001-06-08 2002-12-20 Nec Corp 形状計測装置およびその方法
JP2003294433A (ja) * 2002-03-29 2003-10-15 Nec Engineering Ltd 複数の三次元形状計測装置の座標系を一致させる方法
WO2013187203A1 (ja) * 2012-06-12 2013-12-19 株式会社島精機製作所 3次元計測装置と3次元計測方法
US20180156606A1 (en) * 2015-06-08 2018-06-07 Koh Young Technology Inc. Three-dimensional shape measurement apparatus
JP2017110975A (ja) * 2015-12-15 2017-06-22 キヤノン株式会社 計測装置、システム、計測方法、決定方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114867985A (zh) * 2020-01-28 2022-08-05 欧姆龙株式会社 三维形状计测装置、三维形状计测方法及程序
WO2022157993A1 (ja) * 2021-01-20 2022-07-28 オムロン株式会社 計測システム、検査システム、計測装置、計測方法、検査方法、及びプログラム
JP2022111795A (ja) * 2021-01-20 2022-08-01 オムロン株式会社 計測システム、検査システム、計測装置、計測方法、検査方法、及びプログラム
JP7753638B2 (ja) 2021-01-20 2025-10-15 オムロン株式会社 計測システム、検査システム、計測装置、計測方法、検査方法、及びプログラム

Also Published As

Publication number Publication date
CN112292577A (zh) 2021-01-29
EP3822579A4 (en) 2021-11-03
EP3822579A1 (en) 2021-05-19
US20210156677A1 (en) 2021-05-27
CN112292577B (zh) 2022-08-09
WO2020012707A1 (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
JP2020008434A (ja) 3次元測定装置及び方法
JP6238521B2 (ja) 3次元計測装置およびその制御方法
JP5689681B2 (ja) 非接触プローブ
KR101601331B1 (ko) 물체의 모양을 삼차원 측정하기 위한 시스템 및 방법
JP5132832B1 (ja) 計測装置および情報処理装置
US20070176927A1 (en) Image Processing method and image processor
JP4885584B2 (ja) レンジファインダ校正方法及び装置
JP2012215394A (ja) 三次元計測装置および三次元計測方法
JP7119584B2 (ja) 三次元計測装置、三次元計測装置の位置表示方法およびプログラム
JP5051493B2 (ja) 三次元計測用マーカとこれを用いた三次元計測方法
CN111971525A (zh) 用立体镜测量物体的方法和系统
JP7741875B2 (ja) 3次元計測装置
JP2012237613A (ja) 形状計測装置及び形状計測方法
JP2016102755A (ja) 情報処理装置、情報処理方法及びプログラム
JP2005140547A (ja) 3次元計測方法、3次元計測装置、及びコンピュータプログラム
WO2019230171A1 (ja) レーザ較正装置、その較正方法、及びレーザ較正装置を含む画像入力装置
JP2018009927A (ja) 画像処理装置、画像処理方法及びプログラム
JP2005106491A (ja) 頭部の三次元形状計測システム
JP2018077168A (ja) シミュレーション装置、シミュレーション方法およびシミュレーションプログラム
KR100808536B1 (ko) 패턴 영상을 이용한 캘리브레이션 방법
JP5786999B2 (ja) 三次元形状計測装置、三次元形状計測装置のキャリブレーション方法
JP6061631B2 (ja) 計測装置、情報処理装置、計測方法、情報処理方法、および、プログラム
JP2008170282A (ja) 形状測定装置
WO2022269300A1 (ja) 塗装評価装置及び塗装評価方法
JP2018160145A (ja) 3次元計測装置、3次元計測プログラム、および3次元計測システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220624