JPH0410564B2 - - Google Patents
Info
- Publication number
- JPH0410564B2 JPH0410564B2 JP58118335A JP11833583A JPH0410564B2 JP H0410564 B2 JPH0410564 B2 JP H0410564B2 JP 58118335 A JP58118335 A JP 58118335A JP 11833583 A JP11833583 A JP 11833583A JP H0410564 B2 JPH0410564 B2 JP H0410564B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- distance image
- differential
- image signal
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000605 extraction Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000004069 differentiation Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】
〔発明の利用分野〕
本発明は立体対象物認識装置に係り、特に折り
重なつた部品など高さ位置の異なつた部品を一つ
一つ分離検知する機能を有した、ロボツトなどの
自動組立機に好適な立体対象物認識装置に関す
る。[Detailed Description of the Invention] [Field of Application of the Invention] The present invention relates to a three-dimensional object recognition device, and in particular has a function of separately detecting parts having different height positions such as folded parts one by one. , relates to a three-dimensional object recognition device suitable for automatic assembly machines such as robots.
従来、対象物の位置、形状を非接触に検知する
方法としては、対象物を全体的に照明し、これを
TVカメラで撮像し、このようにして得られた画
像を解析する方法が用いられてきた。画像を解析
する手法のうち、特に、画像を２値化して得られ
る２値画像を解析する手法は、取扱うデータ量が
少ないこと、解析装置のハードウエア化が比較的
容易なことなどの理由により、高速な対象物の検
知が可能であり、広く実用化されている。しか
し、以上に示した方法では、対象物の光学像、す
なわち対象物表面よりの反射光強度を検出してい
るので、対象物と背景の色、明るさの差異が小さ
な場合や、対象物が一様の明るさに見えない場合
には、検知が困難となりまた、高さ位置の異なつ
た複数の対象物の分離検知は一般に全く不可能で
ある。また、対象物や背景の色、明るさの影響を
受けにくい方法として、GM社Wardらが開発し
たCONSIGHT（“CONSIGHT.A Practical
Vision−Based Robot Guidance System”9th
Int.Symp.on Industrial Robots，pp213〜230，
1979）がある。しかし、この方法でも、コンベア
という既知の平面上にあり、かつ折り重なつてい
ない部品を対象としているため、高さ位置の異な
つた複数の対象物の分離検知は不可能である。
Conventionally, the method of non-contact detection of the position and shape of an object is to illuminate the entire object and
A method of capturing images with a TV camera and analyzing the images thus obtained has been used. Among the methods of analyzing images, the method of analyzing binary images obtained by binarizing images is particularly popular because it handles a small amount of data and is relatively easy to implement in hardware for analysis equipment. , it is possible to detect objects at high speed and has been widely put into practical use. However, the method described above detects the optical image of the object, that is, the intensity of reflected light from the surface of the object, so it may be difficult to detect objects when the difference in color or brightness between the object and the background is small, or If the brightness does not appear uniform, detection becomes difficult, and separate detection of multiple objects at different height positions is generally impossible. In addition, as a method that is less affected by the color and brightness of the object and background, CONSIGHT (“CONSIGHT.A Practical
Vision−Based Robot Guidance System”9th
Int.Symp.on Industrial Robots, pp213-230,
1979). However, even with this method, since the target is parts that are on a known flat surface such as a conveyor and are not folded over each other, it is impossible to separately detect a plurality of objects at different height positions.
本発明の目的は、上記した従来技術の欠点をな
くし、表面状態、色、明暗に影響されることな
く、高さ位置の異なつた複数の立体対象物の
各々、又はその各々の位置、又はその各々の形状
を分離して認識できるようにした立体対象物認識
装置を提供することにある。
An object of the present invention is to eliminate the above-mentioned drawbacks of the prior art, and to control each of a plurality of three-dimensional objects at different height positions, or the position of each of them, without being affected by surface conditions, colors, and brightness. An object of the present invention is to provide a three-dimensional object recognition device that can recognize each shape separately.
本発明は、上記目的を達成するために、立体対
象物（３次元対象物）を２次元的に撮像して該立
体対象物の表面各点までの距離に対応した出力値
を示す２次元距離画像信号を検出する距離画像検
出手段と、該距離画像検出手段で得られる２次元
距離画像上の各点について、隣接した複数方向に
ついての出力値の微分処理を施すことによつて上
記２次元距離画像信号から２次元微分距離画像信
号に変換する微分処理手段と、該微分処理手段に
よつて得られた２次元微分距離画像上の各点につ
いて、微分値を予め定められた闘値により２値化
することによつて上記２次元微分距離画像から２
次元２値化画像信号に変換する２値化手段と、該
２値化手段によつて得られる２次元２値化画像信
号から一方のレベルで連結して得られる境界（輪
郭）に囲まれた閉領域を分離抽出する閉領域分離
抽出手段と、該閉領域分離抽出手段で分離抽出さ
れた閉領域について上記距離画像検出手段から検
出される距離画像信号に基いて立体対象物、又は
その位置、又はその形状を認識する判定処理手段
とを備えたことを特徴とする立体対象物認識装置
である。
In order to achieve the above object, the present invention captures a two-dimensional image of a three-dimensional object (three-dimensional object) and provides a two-dimensional distance that indicates an output value corresponding to the distance to each point on the surface of the three-dimensional object. The two-dimensional distance is determined by a distance image detection means for detecting an image signal, and for each point on the two-dimensional distance image obtained by the distance image detection means, by performing differential processing on output values in a plurality of adjacent directions. A differential processing means for converting an image signal into a two-dimensional differential distance image signal, and a differential value for each point on the two-dimensional differential distance image obtained by the differential processing means is converted into a binary value using a predetermined threshold value. 2 from the above two-dimensional differential distance image by
Surrounded by a binarization means for converting into a dimensional binarized image signal and a boundary (contour) obtained by connecting at one level from the two-dimensional binarized image signal obtained by the binarization means A closed region separation and extraction means for separating and extracting a closed region, and a three-dimensional object or its position based on a distance image signal detected by the distance image detection means for the closed region separated and extracted by the closed region separation and extraction means; or a determination processing means for recognizing the shape of the three-dimensional object recognition device.
以下、本発明を図面により詳細に説明する。ま
ず、本発明の装置に於る処理内容は以下の通りで
ある。従来用いられてきたTV画像は、対象物表
面各点よりの反射光強度を表わした画像を用いる
が、これは前述のような欠点があるので、本発明
では対象物表面各点より検出器までの距離を表わ
した距離画像と呼ばれる画像を用いる。これは第
１図に示すように、その画像５０の各点の値Vij
が、対象物表面１上の対応する点Pijと検出器１
との距離lijに対して
Vij＝klij＋Ｃ ……(1)
ｋ：非零の定数，Ｃ：定数
なる線形の関係を持つた画像である。したがつ
て、特にｋが負数の場合、Vijは対象物表面５１
の各点の高さを表わしたものと見なすことができ
る。さて、第２図のように、いくつかの物体が折
り重なつている状態を、真上より距離画像の検出
器１でとらえた場合を想定すると、これに対応し
て第３図のような距離画像５０が検出される。こ
の第３図よりも明らかなように、物体と物体、も
しくは物体と背景の境界線では、一般に検出器１
までの距離が急激に変化するため距離画像５０の
値も急激に変化する。この変化を画像の２次元的
な微分を用いて検出すると第４図のようになる。
画像の２次元的な微分には、何種類かの方式が知
られているが、ここでは、第５図に示す画像上の
点（ｉ，ｊ）の微分値dijを
dij＝max（｜Vij−Vi-1，j-1｜
｜Vi-1，ｊ−Vi，j-1｜），
ｉ，ｊ＝１，２，３ ……(2)
とする様な演算である。但し（ｉ，ｊ）は検出器
１と対象物との距離方向に垂直な面の直交座標と
する。得られた微分画像をある固定闘値で２値化
すると、第６図に示すような画像が得られ同図に
おいて、黒線は物体の輪郭線に対応する。したが
つて、黒線で囲まれた領域は、物体一つ一つに対
応し、それぞれの領域を分離抽出して行けば、そ
の形状より対象物の形が検知でき、更にその２次
元的な位置および距離画像の値より対象物の３次
元的な位置が検知できる。
Hereinafter, the present invention will be explained in detail with reference to the drawings. First, the processing contents in the apparatus of the present invention are as follows. Conventionally used TV images use images that represent the intensity of reflected light from each point on the object surface, but this has the drawbacks mentioned above. An image called a distance image that represents the distance of is used. As shown in FIG. 1, this is the value V ij of each point in the image 50.
is the corresponding point P ij on the object surface 1 and the detector 1
V ij =kl ij +C (1) The image has a linear relationship where k: a non-zero constant and C: a constant. Therefore, especially when k is a negative number, V ij is the object surface 51
It can be regarded as representing the height of each point in . Now, if we assume that the distance image detector 1 captures a state in which several objects are stacked on top of each other from directly above, as shown in Figure 2, correspondingly, as shown in Figure 3. A distance image 50 is detected. As is clear from Fig. 3, at the boundary line between objects or between objects and background, the detector 1 is generally
Since the distance to the object changes rapidly, the value of the distance image 50 also changes rapidly. If this change is detected using two-dimensional differentiation of the image, the result will be as shown in FIG. 4.
Several types of methods are known for two-dimensional differentiation of images, but here, the differential value d ij of the point (i, j) on the image shown in Fig. 5 is expressed as d ij =max( |V ij −V i-1 , j -1 | |V i-1 , j−V i , j -1 |), i, j=1, 2, 3 ...(2) be. However, (i, j) are orthogonal coordinates of a plane perpendicular to the distance direction between the detector 1 and the object. When the obtained differential image is binarized using a certain fixed threshold value, an image as shown in FIG. 6 is obtained, and in the same figure, the black line corresponds to the outline of the object. Therefore, the area surrounded by the black line corresponds to each object, and if each area is separated and extracted, the shape of the object can be detected from its shape, and its two-dimensional The three-dimensional position of the object can be detected from the position and distance image values.
以上のような処理を実現するための、本発明の
一実施例を第７図に示す。同図に於て、本装置
は、距離画像の検出器１，画像を２次元的に微分
する微分装置２、画像の２値化装置３、２値画像
を解析し閉領域を分離抽出する装置４、および分
離抽出された領域および原画像である距離画像よ
り対象物の形状とその３次元的な位置を検出する
判定処理装置５より成る。 FIG. 7 shows an embodiment of the present invention for realizing the above-described processing. In the figure, this device includes a distance image detector 1, a differentiator 2 that differentiates the image two-dimensionally, an image binarizer 3, and a device that analyzes the binary image and separates and extracts closed regions. 4, and a determination processing device 5 that detects the shape of the object and its three-dimensional position from the separated and extracted regions and the distance image that is the original image.
このうちまず、距離画像検出器１の一実施例を
第８図に示す。同図に示すように検出器１は対象
物９の真上から垂直にスリツト光８を投光するス
リツト光源６と、スリツト光８と対象物９の交
線、すなわちスリツト輝線の光学像をななめ方向
より検出する撮像器７と、これらの位置関係を保
つたまま、水平方向に定速で駆動する送り装置１
０、および撮像器７で検出されたスリツト輝線を
画像上から分離抽出し、その形状を波形信号とし
て出力する光切断線抽出装置１１より成る。この
動作を第９図〜第１３図を用いて説明すると、ス
リツト光８が対象物９に対して第９図に示す位置
に当たつているとする。そうすると撮像器７にて
検出される画像は、例えば第１０図のようにな
る。この画像上において縦方向の線、例えば線
ABに沿つた明るさの変化は第１１図のようにな
る。この線ABに沿つた明るさで最も明るい点の
位置（第１１図ではＣ）を、順次線ABをｉ方向
に動かして抽出して行くと第１２図のように、ス
リツト輝線の形状を波形信号として取り出すこと
ができる。この形状は、対象物の断面の形状を示
している。以上の波形信号の分離抽出は、第８図
の光切断線抽出装置１１により行われる。この光
切断線抽出装置１１の具体例は、例えば特開昭56
−70407号に開示されている。さらに、送り装置
１０により定速で少しずつスリツト光８の位置お
よび撮像位置を移動させながら、逐次、スリツト
輝線の形状の波形信号１３を抽出して行くと、全
体として第１３図に示すように、距離画像１２が
得られる。本実施例による撮像器７は、TVカメ
ラあるいはリニアセンサとガルバノミラーの組合
せ等、２次元画像検出器であれば何でもよく、本
実施例によれば、距離画像を比較的簡単な構成
で、高精度に検出できる。 First, one embodiment of the distance image detector 1 is shown in FIG. As shown in the figure, the detector 1 uses a slit light source 6 that emits slit light 8 perpendicularly from directly above the object 9, and an optical image of the intersection line between the slit light 8 and the object 9, that is, the slit emission line. An image pickup device 7 that detects the direction, and a feed device 1 that drives horizontally at a constant speed while maintaining their positional relationship.
0, and a light cutting line extraction device 11 that separates and extracts the slit bright line detected by the imager 7 from the image and outputs the shape as a waveform signal. To explain this operation using FIGS. 9 to 13, it is assumed that the slit light 8 hits the object 9 at the position shown in FIG. Then, the image detected by the imager 7 will be as shown in FIG. 10, for example. Vertical lines on this image, e.g.
The change in brightness along AB is shown in Figure 11. By sequentially moving line AB in the i direction and extracting the position of the brightest point (C in Figure 11) along this line AB, the shape of the slit bright line can be changed into a waveform as shown in Figure 12. It can be taken out as a signal. This shape indicates the cross-sectional shape of the object. The separation and extraction of the waveform signals described above is performed by the optical cutting line extraction device 11 shown in FIG. A specific example of this optical cutting line extraction device 11 is, for example, published in Japanese Unexamined Patent Publication No. 56
-Disclosed in No. 70407. Furthermore, while moving the position of the slit light 8 and the imaging position little by little at a constant speed using the feeding device 10, the waveform signal 13 in the shape of the slit bright line is successively extracted, resulting in the overall result as shown in FIG. , a distance image 12 is obtained. The imager 7 according to this embodiment may be any two-dimensional image detector such as a TV camera or a combination of a linear sensor and a galvano mirror. Can be detected accurately.
なお、距離画像の検出器として、パルスレーザ
を対応する点に照射して、反射光の飛行時間を計
測することにより距離画像を生成する方式レーザ
光に高周波振幅変調をかけて対応する点に照射
し、反射光の高周波振幅の位相遅れを計測するこ
とにより距離画像を生成する方式が知られている
が、これらを用いてもよい。これらの方式では、
対象物各点各点の距離を、レーザスポツトを用い
て計測しているので、スポツトを２次元的に走査
する機構、例えば２組のガルバノミラーが必要で
あるが、一方これらは、真上より光を当てて、真
上より反射光を検出できるので見えない部分の無
い、つまり死角、影の無い距離画像を生成できる
という利点がある。 In addition, as a distance image detector, a method is used that generates a distance image by irradiating a pulsed laser beam onto corresponding points and measuring the flight time of the reflected light.The laser beam is subjected to high-frequency amplitude modulation and then irradiated onto the corresponding points. However, there are known methods of generating a distance image by measuring the phase delay of the high-frequency amplitude of reflected light, and these may also be used. In these methods,
Since the distance between each point on the object is measured using a laser spot, a mechanism that scans the spot two-dimensionally, such as two sets of galvano mirrors, is required. Since it is possible to shine light and detect reflected light from directly above, it has the advantage of generating a distance image without any invisible parts, that is, without blind spots or shadows.
つぎに、得られた距離画像を２次元的に微分す
る装置２の一実施例について、第１４図を用いて
説明する。距離画像の出力信号形態は、デイジタ
ル信号出力であり、かつTV画像信号と同様左上
から右下へ順次出力されるものであると仮定して
以下説明する。勿論、アナログ信号出力である場
合には、Ａ／Ｄ変換器を挿入すればよい。距離画
像信号１２は、距離画像の横方向（ｉ方向）サイ
ズに一致した段数を持つシフトレジスタ１４と１
段のフリツプフロツプ１５ｂに同時に入力され
る。また、シフトレジスタ１４の最終段よりの出
力は、もう１段のフリツプフロツプ１５ａに入力
される。これらシフトレジスタ１４及びフリツプ
フロツプ１５ａ，１５ｂへのクロツクは距離画像
信号１２のそれに合つているものを使用する。そ
うすると、今入力１２をVijとすると、シフトレ
ジスタ１４の出力はVi,j-1，フリツプフロツプ１
５ｂの出力はVi-1,j，フリツプフロツプ１５ａの
出力はVi-1,j-1となる。従つて差回路１６ａ，１
６ｂの出力はそれぞれVi,j−Vi-1,j-1，Vi,j-1−
Vi-1,jとなり、それらの絶対値を絶対値回路１７
ａ，１７ｂで算出し、その結果のうちの大きい方
を比較回路１８でとり出せばこれは式(2)に示した
微分の演算となつている。しかもこの２次元的微
分はハードウエアによりリアルタイムに瞬時に行
えるから、処理を著しく高速に行うことができ
る。 Next, an embodiment of the device 2 for two-dimensionally differentiating the obtained distance image will be described using FIG. 14. The following description will be made on the assumption that the output signal form of the distance image is a digital signal output, and is sequentially output from the upper left to the lower right like the TV image signal. Of course, in the case of analog signal output, an A/D converter may be inserted. The distance image signal 12 is sent to shift registers 14 and 1 whose number of stages matches the horizontal (i-direction) size of the distance image.
They are simultaneously input to the flip-flop 15b of the stage. Further, the output from the final stage of the shift register 14 is input to another stage of flip-flop 15a. The clocks for these shift registers 14 and flip-flops 15a and 15b are those that match those of the range image signal 12. Then, if the input 12 is now V ij , the output of the shift register 14 is V i,j-1 , and the flip-flop 1 is
The output of flip-flop 5b is V i-1,j and the output of flip-flop 15a is V i-1,j-1 . Therefore, the difference circuit 16a,1
The outputs of 6b are V i,j −V i-1,j-1 and V i,j-1 −
V i-1,j , and their absolute values are calculated by the absolute value circuit 17
a and 17b, and if the larger of the results is taken out by the comparator circuit 18, this becomes the differential calculation shown in equation (2). Moreover, since this two-dimensional differentiation can be performed instantaneously in real time using hardware, processing can be performed at extremely high speed.
第１５図は２値化装置３の一実施例を示すもの
で、微分装置２よりの出力１９と、設定された固
定闘値２１とをコンパレータ２０により比較し、
微分出力１９が大きい場合１を、等しいか小さい
場合０を出力する。本実施例によれば、この場合
も２値化をハードウエアで行つているため、リア
ルタイムかつ高速に処理を実行できる。 FIG. 15 shows an embodiment of the binarization device 3, in which the output 19 from the differentiator 2 and the set fixed threshold value 21 are compared by a comparator 20.
If the differential output 19 is large, it outputs 1, and if it is equal or smaller, it outputs 0. According to this embodiment, since the binarization is performed by hardware in this case as well, processing can be executed in real time and at high speed.
第１６図は、２値画像の閉領域を分離抽出する
装置４の一実施例を示すもので、入力された２値
信号２２は、一旦、２値画像メモリ２３の中に蓄
えられる。そして、処理装置２４によつて４連結
または８連結で連結した０の領域を分離抽出す
る。４連結、８連結とは、第１７図ａ，ｂにそれ
ぞれ示すように、着目点が０でかつ周囲４または
８点の中に０の点があれば連結していると見なす
ものである。この閉領域の分離抽出処理は一般
に、２値画像の（０の領域の）ラベリングまたは
カラーリング処理と呼ばれているものであり、処
理装置２４として専用ハードウエアまたは処理ソ
フトウエアを実装した計算機によつて実現でき
る。 FIG. 16 shows an embodiment of the apparatus 4 for separating and extracting closed regions of a binary image, and the input binary signal 22 is temporarily stored in the binary image memory 23. Then, the processing device 24 separates and extracts the 4- or 8-connected 0 region. 4-connection and 8-connection are, as shown in FIGS. 17a and 17b, respectively, in which if the point of interest is 0 and there is a 0 point among the surrounding 4 or 8 points, it is considered that the points are connected. This closed region separation/extraction processing is generally called labeling or coloring processing of binary images (0 region), and is performed by a computer equipped with dedicated hardware or processing software as the processing device 24. It can be realized.
さらに、第７図に示した対象物の形状、位置を
検出する判定処理装置５は、具体的にはマイクロ
コンピユータ、またはミニコンピユータであり、
分離抽出された閉領域の形状、およびその部分に
対応する距離画像の値、すなわち物体の高さより
総合的に判断して、対象物の識別、その３次元的
位置の検出を行う。また、距離画像の値をより積
極的に利用して、対象物の３次元的な姿勢、立体
的な構造の推定も可能である。 Furthermore, the determination processing device 5 that detects the shape and position of the object shown in FIG. 7 is specifically a microcomputer or a minicomputer,
The object is identified and its three-dimensional position is detected by comprehensively determining the shape of the separated and extracted closed region and the value of the distance image corresponding to that portion, that is, the height of the object. Furthermore, it is also possible to estimate the three-dimensional posture and three-dimensional structure of the object by more actively using the values of the distance image.
以上に述べた、本発明の実施例によれば、信号
処理装置のうち、可能な部分をすべてハードウエ
ア化したので、高速に対象物を分離識別しその形
状、位置を検知することができるという効果があ
る。 According to the embodiments of the present invention described above, all possible parts of the signal processing device are implemented in hardware, so it is possible to quickly separate and identify objects and detect their shapes and positions. effective.
また、他の実施例としては、微分処理以降、２
値化処理以降，あるいは閉領域の分離抽出処理以
降をミニコンピユータ，マイクロコンピユータ，
あるいは画像処理専用コンピユータなどのソフト
ウエア処理で行ういくつかの変形が考えられる。
この場合、処理速度は、使用したコンピユータの
速度に依存するが、ハードウエア装置が不要にな
るため、実現が容易で、かつ、ソフトウエアの追
加により、よりきめの細かい処理も可能となる。 In addition, as another example, after the differential processing, 2
A minicomputer, microcomputer, or
Alternatively, several modifications can be considered that are performed using software processing such as a computer dedicated to image processing.
In this case, the processing speed depends on the speed of the computer used, but since no hardware is required, it is easy to implement, and more detailed processing is also possible by adding software.
以上の説明から明らかなように、本発明によれ
ば、検出画像として距離画像を用いるため、対象
物表面の状態、色、明暗に影響を受けない物体の
位置、形の検知が可能であるという効果がある。
また、距離画像を微分することによつて、物体と
物体の境界線を検出しているので、やはり対象物
表面の状態、色、明暗に影響されずに、物体を一
つ一つ分離検出することができる。さらに、以上
の効果を総合して、複雑に折り重なつた部品よ
り、目的の部品を識別してその３次元的な位置の
検出ができるため、本発明装置を用いてロボツト
などによる自動組立をよりフレキシブルに行うこ
とができるという効果がある。
As is clear from the above explanation, according to the present invention, since a distance image is used as a detection image, it is possible to detect the position and shape of an object without being affected by the condition, color, or brightness of the object surface. effective.
In addition, since the boundaries between objects are detected by differentiating the distance image, each object can be separated and detected one by one without being affected by the surface condition, color, or brightness of the object. be able to. Furthermore, by combining the above effects, it is possible to identify a target part from complexly folded parts and detect its three-dimensional position. This has the effect of being more flexible.
第１図は距離画像の説明図、第２図〜第６図は
本発明装置の処理過程の説明図、第７図は本発明
装置の一実施例の全体構成を示した図、第８図は
距離画像検出器の一実施例を示した図、第９図〜
第１３図は第８図に示した距離画像検出器による
検出過程の説明図、第１４図は画像の微分装置の
一実施例を示した図、第１５図は２値化装置の一
実施例を示した図、第１６図は閉領域抽出装置の
一実施例を示した図、第１７図ａ，ｂは閉領域抽
出の際の画素の連結関係を説明した図である。
１……距離画像検出器、２……微分装置、３…
…２値化装置、４……閉領域分離抽出装置、５…
…判定処理装置、１２……距離画像信号、１９…
…微分出力信号、２１……設定闘値、２２……２
値化信号、２４……処理装置、２５……閉領域抽
出結果。
Fig. 1 is an explanatory diagram of a distance image, Figs. 2 to 6 are explanatory diagrams of the processing process of the device of the present invention, Fig. 7 is a diagram showing the overall configuration of an embodiment of the device of the present invention, and Fig. 8 Figures 9 to 9 are diagrams showing an example of a distance image detector.
Fig. 13 is an explanatory diagram of the detection process by the distance image detector shown in Fig. 8, Fig. 14 is a diagram showing an embodiment of the image differentiation device, and Fig. 15 is an embodiment of the binarization device. FIG. 16 is a diagram showing an embodiment of the closed region extraction device, and FIGS. 17a and 17b are diagrams explaining the connection relationship of pixels when extracting a closed region. 1...Distance image detector, 2...Differentiator, 3...
...Binarization device, 4...Closed region separation and extraction device, 5...
...Determination processing device, 12...Distance image signal, 19...
... Differential output signal, 21 ... Setting threshold, 22 ... 2
Valued signal, 24... Processing device, 25... Closed region extraction result.
Claims (1)
物の表面各点までの距離に対応した出力値を示す
２次元距離画像信号を検出する距離画像検出手段
と、該距離画像検出手段で得られる２次元距離画
像上の各点について、隣接した複数方向について
の出力値の微分処理を施すことによつて上記２次
元距離画像信号から２次元微分距離画像信号に変
換する微分処理手段と、該微分処理手段によつて
得られた２次元微分距離画像上の各点について、
微分値を予め定められた闘値により２値化するこ
とによつて上記２次元微分距離画像信号から２次
元２値化画像信号に変換する２値化手段と、該２
値化手段によつて得られる２次元２値化画像信号
から一方のレベルで連結して得られる境界に囲ま
れた閉領域を分離抽出する閉領域分離抽出手段
と、該閉領域分離抽出手段で分離抽出された閉領
域について上記距離画像検出手段から検出される
距離画像信号に基いて立体対象物、又はその位
置、又はその形状を認識する判定処理手段とを備
えたことを特徴とする立体対象物認識装置。1 distance image detection means for two-dimensionally imaging a three-dimensional object and detecting a two-dimensional distance image signal indicating an output value corresponding to the distance to each point on the surface of the three-dimensional object; Differential processing means for converting the two-dimensional distance image signal into a two-dimensional differential distance image signal by performing differential processing on output values in a plurality of adjacent directions for each point on the obtained two-dimensional distance image; For each point on the two-dimensional differential distance image obtained by the differential processing means,
a binarization means for converting the two-dimensional differential distance image signal into a two-dimensional binary image signal by binarizing the differential value using a predetermined threshold;
a closed region separation and extraction means for separating and extracting a closed region surrounded by a boundary obtained by concatenating at one level from a two-dimensional binarized image signal obtained by the value conversion means; A three-dimensional object characterized by comprising: a determination processing means for recognizing a three-dimensional object, its position, or its shape based on a distance image signal detected by the distance image detection means for the separated and extracted closed region. Object recognition device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP58118335A JPS6011105A (en) | 1983-07-01 | 1983-07-01 | Pattern detecting device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP58118335A JPS6011105A (en) | 1983-07-01 | 1983-07-01 | Pattern detecting device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS6011105A JPS6011105A (en) | 1985-01-21 |
| JPH0410564B2 true JPH0410564B2 (en) | 1992-02-25 |
Family
ID=14734116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP58118335A Granted JPS6011105A (en) | 1983-07-01 | 1983-07-01 | Pattern detecting device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS6011105A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9753323B2 (en) | 2013-01-25 | 2017-09-05 | Toppan Printing Co., Ltd. | Color filter substrate, liquid crystal display device, and method for manufacturing color filter substrate |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07104935B2 (en) * | 1985-05-31 | 1995-11-13 | オムロン株式会社 | 3D object recognition device |
| JP4645177B2 (en) * | 2004-11-30 | 2011-03-09 | パナソニック電工株式会社 | Measuring device |
| US7834305B2 (en) | 2004-07-30 | 2010-11-16 | Panasonic Electric Works Co., Ltd. | Image processing device |
| JP4543904B2 (en) * | 2004-11-30 | 2010-09-15 | パナソニック電工株式会社 | Distance image sensor |
-
1983
- 1983-07-01 JP JP58118335A patent/JPS6011105A/en active Granted
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9753323B2 (en) | 2013-01-25 | 2017-09-05 | Toppan Printing Co., Ltd. | Color filter substrate, liquid crystal display device, and method for manufacturing color filter substrate |
Also Published As
| Publication number | Publication date |
|---|---|
| JPS6011105A (en) | 1985-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5081689A (en) | Apparatus and method for extracting edges and lines | |
| KR890002287B1 (en) | Pattern matching method and apparatus | |
| JPS61110008A (en) | Real-time three-dimensional active vision sensor device | |
| WO1998036238A1 (en) | Outdoor range finder | |
| JP7347398B2 (en) | object detection device | |
| JP2012198136A (en) | Surface defect inspection apparatus and method | |
| JPS6011105A (en) | Pattern detecting device | |
| JP2693586B2 (en) | Image identification / tracking device | |
| JPH05173644A (en) | Three-dimensional body recording device | |
| JPS62289701A (en) | Visual system for three dimensionally recognizing positional relationship of dispersedly loaded bodies | |
| EP4400870A2 (en) | Image processing apparatus and image processing system | |
| JP2959017B2 (en) | Circular image discrimination method | |
| JPH067171B2 (en) | Moving object detection method | |
| JPS59188509A (en) | Recognition system of position and shape of body | |
| KR102351152B1 (en) | Method and apparatus for correcting depth information error due to multiple reflective path of three dimensional camera using time of flight sensor | |
| JPH05164702A (en) | Surface inspecting device | |
| WO2023140266A1 (en) | Picking device and image generation program | |
| JPH05113315A (en) | Center position detection method for circular image data | |
| JP3271889B2 (en) | Edge detection method for recognition target | |
| JPH0926313A (en) | Object recognition method in electronic component mounting board appearance inspection device | |
| JPH1019517A (en) | Article position detection method by slit light irradiation | |
| JPH0310110A (en) | Method and apparatus for measuring height | |
| JPS6224995A (en) | Device for recognizing three-dimensional body | |
| JPH06273505A (en) | Target detecting/tracking system | |
| JPH10141919A (en) | Method and equipment for detecting position |