WO2016208622A1 - 表面欠陥検出装置および表面欠陥検出方法 - Google Patents

表面欠陥検出装置および表面欠陥検出方法 Download PDF

Info

Publication number
WO2016208622A1
WO2016208622A1 PCT/JP2016/068516 JP2016068516W WO2016208622A1 WO 2016208622 A1 WO2016208622 A1 WO 2016208622A1 JP 2016068516 W JP2016068516 W JP 2016068516W WO 2016208622 A1 WO2016208622 A1 WO 2016208622A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
bright
dark
surface defect
difference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/068516
Other languages
English (en)
French (fr)
Inventor
真沙美 楯
紘明 大野
貴彦 大重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Steel Corp
Original Assignee
JFE Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JFE Steel Corp filed Critical JFE Steel Corp
Priority to CN201680036476.8A priority Critical patent/CN107709977B/zh
Priority to JP2016560602A priority patent/JP6079948B1/ja
Priority to KR1020187002109A priority patent/KR102073229B1/ko
Priority to EP16814392.3A priority patent/EP3315951B1/en
Publication of WO2016208622A1 publication Critical patent/WO2016208622A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/952Inspecting the exterior surface of cylindrical bodies or wires
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8809Adjustment for highlighting flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8812Diffuse illumination, e.g. "sky"
    • G01N2021/8816Diffuse illumination, e.g. "sky" by using multiple sources, e.g. LEDs
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • G01N2021/8918Metal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N2021/8924Dents; Relief flaws

Definitions

  • the present invention relates to a surface defect detection apparatus and a surface defect detection method for optically detecting a surface defect of a steel material.
  • Steel materials mentioned here are steel products such as seamless steel pipes, welded steel pipes, hot-rolled steel sheets, cold-rolled steel sheets, and thick steel plates, and steel products such as shaped steel, and are produced in the process of manufacturing these steel products.
  • Means semi-finished products such as slabs.
  • a method for detecting surface defects in steel materials a method has been proposed in which a billet in the manufacturing process of a seamless steel pipe is irradiated with light to receive reflected light, and the presence or absence of surface defects is determined by the amount of reflected light. (See Patent Document 1).
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a surface defect detection device and a surface defect detection method capable of accurately discriminating between scales and harmless patterns and surface defects. .
  • the surface defect detection device irradiates the inspection target portion with illumination light from a direction inclined with respect to the inspection target portion of the surface of the steel material. It can be distinguished from the first irradiation unit, the first imaging unit that captures the first image of the examination target site illuminated by the illumination light of the first irradiation unit, and the first irradiation unit.
  • the second irradiation unit irradiates the inspection target region with illumination light at a substantially same incident angle as the first irradiation unit from a direction inclined to the opposite side of the first irradiation unit with respect to the inspection target region.
  • Irradiation means second imaging means for capturing a second image of the examination target site illuminated by illumination light from the second irradiation means, and the difference between the first image and the second image An image is generated, and the difference image is bright and dark. Then, based on the arrangement of the bright part and the dark part along the predetermined direction of the difference image corresponding to the irradiation direction of the illumination light of the first or second irradiation means, the bright part of the convex part in the examination target site And the dark portion combination are removed, and the presence / absence of the concave shape portion in the inspection target part is determined based on the shape feature amount or the alignment along the predetermined direction as an index of the remaining thin portions of the bright portion and the dark portion. And an image processing means for detecting the concave portion as a surface defect of the steel material.
  • the image processing unit may be configured based on a distance between a bright part and a dark part of the difference image, a shape similarity, and an area similarity. It is determined whether the bright part and dark part array along the predetermined direction of the difference image is a specific array of the bright part and dark part of the convex shape part, and the bright part of the difference image determined to be the specific array And the combination of the dark part is removed as a combination of the bright part and the dark part of the convex part.
  • the surface defect detection device is characterized in that, in the above invention, the image processing means removes a combination of a bright part and a dark part of the convex part in order of a predetermined direction of the difference image.
  • the surface defect detection method irradiates the inspection target portion with illumination light by a first irradiation means from a direction inclined with respect to the inspection target portion of the surface of the steel material, and the first irradiation.
  • the illumination light is irradiated onto the inspection target site from the direction inclined to the side opposite to the first irradiation means at substantially the same incident angle as the first irradiation means, and the illumination light of the second irradiation means
  • the removal step is based on a distance between a bright part and a dark part of the difference image, a shape similarity, and an area similarity. It is determined whether or not the arrangement of the bright and dark portions along a predetermined direction of the image is a specific arrangement of the bright and dark portions of the convex shape portion, and the bright portion of the difference image determined to be the specific arrangement and A combination of dark portions is removed as a combination of a bright portion and a dark portion of the convex portion.
  • the surface defect detection method according to the present invention is characterized in that, in the above invention, the removing step removes a combination of a bright part and a dark part of the convex part in order of a predetermined direction of the difference image.
  • the surface defect detection apparatus and the surface defect detection method according to the present invention there is an effect that it is possible to accurately discriminate between scales, harmless patterns, and surface defects.
  • FIG. 1 is a diagram illustrating a configuration example of a surface defect detection apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a difference image of an examination target part generated by a difference process between two two-dimensional images obtained by imaging the examination target part.
  • FIG. 3 is a diagram for explaining a light / dark pattern of the concave portion image included in the difference image according to the embodiment of the present invention.
  • FIG. 4 is a diagram for explaining the light / dark pattern of the convex-shaped portion image included in the difference image according to the embodiment of the present invention.
  • FIG. 5 is a flowchart showing an example of the surface defect detection method according to the embodiment of the present invention.
  • FIG. 6 is a diagram for specifically explaining the convex-shaped image removal processing in the embodiment of the present invention.
  • FIG. 7 is a diagram for explaining an example of the shape feature amount of the surface defect in the embodiment of the present invention.
  • FIG. 8 is a diagram for explaining another example of the shape feature amount of the surface defect in the embodiment of the present invention.
  • FIG. 9 is a diagram for explaining circularity as still another example of the shape feature amount of the surface defect in the embodiment of the present invention.
  • FIG. 10 is a diagram for explaining a convex polygon filling rate as still another example of the shape feature amount of the surface defect in the embodiment of the present invention.
  • FIG. 1 is a diagram illustrating a configuration example of a surface defect detection apparatus according to an embodiment of the present invention.
  • a surface defect detection device 1 according to an embodiment of the present invention is a device that detects surface defects existing on the surface of a cylindrical steel pipe 10, and includes irradiation units 2a and 2b, and an imaging unit. 3a, 3b, a function generator 4, an image processing device 5, and a monitor 6 are provided as main components.
  • the steel pipe 10 is an example of a steel material that is inspected for the presence or absence of surface defects by the surface defect detection device 1, and is conveyed in the conveyance direction indicated by the arrows in FIG.
  • the irradiation unit 2a is configured using a light source or the like that emits illumination light 12a having a predetermined wavelength band, and the irradiation direction of the illumination light 12a with respect to the normal vector of the surface of the steel pipe 10 (specifically, the inspection target portion 11).
  • the vectors are arranged to be inclined.
  • the irradiation unit 2 a irradiates the inspection target part 11 with the illumination light 12 a from the direction inclined with respect to the inspection target part 11 on the surface of the steel pipe 10 at the timing indicated by the trigger signal from the function generator 4. Thereby, the irradiation part 2a illuminates the inspection object part 11 from the above-mentioned inclination direction for a predetermined period from this timing.
  • the irradiation unit 2b is configured using a light source that emits illumination light 12b having a wavelength band that can be distinguished from the illumination light 12a of the irradiation unit 2a described above. It arrange
  • the irradiation unit 2b has substantially the same incidence as that of the irradiation unit 2a from the direction inclined to the side opposite to the irradiation unit 2a with respect to the inspection target portion 11 of the steel pipe 10 at the timing indicated by the trigger signal from the function generator 4.
  • Illumination light 12b is irradiated to the inspection object part 11 at an angle. Thereby, the irradiation part 2b illuminates the inspection object part 11 same as the irradiation part 2a from the above-mentioned inclination direction for a predetermined period from this timing.
  • the irradiation units 2a and 2b described above are arranged symmetrically with respect to the inspection target portion 11 of the steel pipe 10. At this time, the irradiation units 2a and 2b are shifted by the same incident angle with respect to the normal vector of the inspection target part 11, and the irradiation direction vectors of the illumination lights 12a and 12b and the normal vector of the inspection target part 11 are the same. It arrange
  • the purpose of making the incident angles of the illumination lights 12a and 12b to the inspection target part 11 the same is to make the optical conditions as equal as possible when discriminating light sources in different incident directions, and include harmless patterns or the like in the inspection target part 11.
  • An object of the present invention is to make it possible to greatly reduce the signal of the healthy part by differential processing described later.
  • the signal of the healthy part greatly depends on the surface properties of the inspection target part 11, and it is generally difficult to guarantee the identity of the signal of the healthy part at the same incident angle. Accordingly, within the range of 25 to 55 °, even if the incident angles are slightly different, the same incident angle is expressed as long as the signal of the healthy portion can be reduced by the differential processing described later.
  • the irradiation part 2a and the irradiation part 2b can be distinguished. That is, each light source of these irradiation parts 2a and 2b can be distinguished from each other.
  • the discriminable light source described here means a light source capable of obtaining the amount of reflected light for each light source with respect to the reflected light obtained from the examination target region 11.
  • the imaging units 3a and 3b are each configured using an area sensor, an optical system, and the like, and on the normal vector of the inspection target part 11 as much as possible in a state where an imaging visual field including the inspection target part 11 of the steel pipe 10 is secured. Be placed.
  • the imaging unit 3a receives the reflected light from the examination target region 11 of the illumination light 12a at the timing indicated by the trigger signal from the function generator 4.
  • the imaging unit 3a captures a two-dimensional image of the examination target region 11 illuminated by the illumination light 12a of the irradiation unit 2a.
  • the imaging unit 3b receives the reflected light from the inspection target part 11 of the illumination light 12b at the timing indicated by the trigger signal from the function generator 4.
  • the imaging unit 3b captures a two-dimensional image of the examination target region 11 illuminated by the illumination light 12b of the irradiation unit 2b.
  • Each of the imaging units 3a and 3b sequentially inputs the captured two-dimensional image data to the image processing device 5 each time the two-dimensional image of the inspection target region 11 is captured.
  • the function generator 4 controls each operation timing of the irradiation units 2a and 2b and the imaging units 3a and 3b. Specifically, in the present embodiment, the function generator 4 controls the respective irradiation timings of the illumination lights 12a and 12b of the irradiation units 2a and 2b by inputting a trigger signal to the irradiation units 2a and 2b. On the other hand, the function generator 4 controls the timing at which the imaging unit 3a receives the reflected light from the examination target region 11 of the illumination light 12a by inputting a trigger signal to the imaging unit 3a. Thereby, the function generator 4 controls the timing at which the imaging unit 3a captures a two-dimensional image of the examination target region 11 illuminated by the illumination light 12a.
  • the function generator 4 controls the timing at which the imaging unit 3b receives the reflected light from the examination target part 11 of the illumination light 12b by inputting a trigger signal to the imaging unit 3b. Thereby, the function generator 4 controls the timing at which the imaging unit 3b captures a two-dimensional image of the examination target region 11 illuminated by the illumination light 12b.
  • the image processing device 5 is a device that detects a surface defect in the inspection target portion 11 of the steel pipe 10 by performing difference processing described later between two two-dimensional images input from the imaging units 3a and 3b.
  • the image processing device 5 performs calibration and shading correction using the camera parameters derived in advance for the two two-dimensional images input from the imaging units 3a and 3b. And image processing such as noise removal. Further, the image processing apparatus 5 includes a differentiator 5a as shown in FIG. The image processing apparatus 5 performs difference processing between the two two-dimensional images after performing the above-described image processing by the differentiator 5a. Thereby, the image processing device 5 generates a difference image between the two-dimensional image by the imaging unit 3a and the two-dimensional image by the imaging unit 3b, that is, a difference image of the examination target region 11. The image processing apparatus 5 removes the harmless pattern image as a healthy part in the inspection target part 11 by this difference processing. Furthermore, the image processing apparatus 5 removes the scale image as the healthy part in the examination target region 11 from the generated difference image. The image processing device 5 detects a surface defect present in the inspection target region 11 from the difference image after removing the harmless pattern and scale images.
  • the monitor 6 functions as a display means for displaying the detection result of the surface defect for the steel pipe 10. Specifically, the monitor 6 receives the detection result of the surface defect with respect to the inspection target part 11 from the image processing device 5 and displays the input detection result each time. As the detection result of the surface defect displayed on the monitor 6, for example, information indicating the determination result of the presence or absence of the surface defect with respect to the inspection target part 11, a difference image representing the detected surface defect of the inspection target part 11, imaging The information regarding the detection of the surface defect of the steel pipe 10, such as each two-dimensional image of the site
  • the scale and the harmless pattern mean a surface film having a different optical characteristic from the ground iron portion and a portion having a thickness of several to several tens of ⁇ m.
  • Such a scale or harmless pattern is a part that becomes a noise factor in the surface defect detection processing for the inspection object part 11.
  • FIG. 2 is a diagram illustrating an example of a difference image of an examination target part generated by a difference process between two two-dimensional images obtained by imaging the examination target part.
  • a two-dimensional image Ia is a two-dimensional image of the inspection target region 11 captured by the imaging unit 3 a when the irradiation unit 2 a illuminates the inspection target region 11 from a direction inclined with respect to the surface of the steel pipe 10. .
  • the two-dimensional image Ib is an image of the inspection target part 11 captured by the imaging part 3b when the irradiation part 2b illuminates the inspection target part 11 from the direction inclined to the opposite side of the irradiation part 2a with respect to the surface of the steel pipe 10. It is a dimensional image.
  • the same concave shape part 15 of the inspection object part 11 is drawn as a surface defect such as a deep wrinkle, and a harmless pattern that is not a surface defect has a healthy part. It is drawn as a part.
  • the differentiator 5a performs difference processing between the two two-dimensional images Ia and Ib by the imaging units 3a and 3b, and thereby generates a difference image Id of the examination target region 11.
  • the luminance value of each pixel constituting the two-dimensional image Ia by the imaging unit 3a is Ia (x, y), and each pixel constituting the two-dimensional image Ib by the imaging unit 3b is set.
  • the luminance value is assumed to be Ib (x, y).
  • each of the two-dimensional images Ia and Ib is an image having the number of pixels X ⁇ Y.
  • the x coordinate is 1 ⁇ x ⁇ X and the y coordinate is 1 ⁇ y ⁇ Y.
  • the differentiator 5a performs a difference process of subtracting the subtraction image from the addition image using the two-dimensional image Ia from the imaging unit 3a as an addition image and the two-dimensional image Ib from the imaging unit 3b as a subtraction image.
  • a difference image Id of the examination target part 11 is generated.
  • the luminance value Id (x, y) of each pixel of the difference image Id obtained by such difference processing is the luminance value Ia (x, y) of each pixel of the two-dimensional image Ia as the addition image and the subtraction image.
  • the differentiator 5a can remove a sound harmless pattern image that is not a surface defect by generating a difference image Id of these two two-dimensional images Ia and Ib.
  • the surface defect portion in the inspection object part 11 has a shape or undulation that is recessed with a depth from the surface of the steel pipe 10 as exemplified by the recessed portion 15 shown in FIG. Therefore, in such a surface defect portion, the angle formed between the normal vector of the steel material surface and the irradiation direction vector of one irradiation part 2a, the normal vector of the steel material surface, and the irradiation direction vector of the other irradiation part 2b There are always places where the angle formed by is not equal. Therefore, the luminance value Ia (x, y) ⁇ the luminance value Ib (x, y) between the images of the surface defect portions in the two-dimensional images Ia and Ib.
  • the luminance value Id (x, y) 0 as described above. Remain in the difference image Id.
  • FIG. 3 is a diagram for explaining a light / dark pattern of the concave portion image included in the difference image according to the embodiment of the present invention.
  • the concave shape portion 15 is added to the difference image Id of the inspection target portion 11.
  • a concave portion image 16 that is a difference image to be represented is included.
  • An image signal S1 of the shape portion image 16 is generated.
  • the concave-shaped portion image 16 is an image representing the concave-shaped portion 15 in the difference image Id, and includes a combination of a bright portion 16a and a dark portion 16b as shown in FIG.
  • the arrangement of the bright part 16a and the dark part 16b in the concave part image 16 corresponds to the positive and negative peaks of the image signal S1.
  • the bright part 16 a and the dark part 16 b that constitute the concave-shaped part image 16 are arranged along the predetermined detection direction F in the order of light and dark.
  • the detection direction F is a predetermined direction of the difference image Id corresponding to one of the irradiation directions of the irradiation units 2a and 2b shown in FIG. Specifically, in the present embodiment, the detection direction F is the same as the direction of a vector obtained by orthogonally projecting the irradiation direction vector of the irradiation unit 2b used for capturing the two-dimensional image Ib as a subtraction image onto the examination target region 11. is there.
  • the concave shape part 15 is a part which makes a concave shape in the inspection target part 11 of the steel pipe 10.
  • the concave shaped portion 15 is a surface defect in the inspection target region 11 such as a surface flaw.
  • Such a concave portion 15 has a concave shape having an acute cross section or a curved cross section (not shown) shown in FIG. 3, and a concave shape having undulations (unevenness) in the concave as shown in FIG. Is included.
  • the concave portion 15 has various outer shapes such as a linear shape, a circular shape, or a polygonal shape.
  • FIG. 4 is a diagram for explaining the light / dark pattern of the convex-shaped portion image included in the difference image according to the embodiment of the present invention.
  • the convex shape portion 17 is added to the difference image Id of the inspection target portion 11.
  • a convex portion image 18 that is a difference image to be represented is included.
  • An image signal S2 of the shape portion image 18 is generated.
  • the convex shape portion image 18 is an image representing the convex shape portion 17 in the difference image Id, and is composed of a combination of a bright portion 18a and a dark portion 18b as shown in FIG.
  • the arrangement of the bright portion 18a and the dark portion 18b in the convex shape portion image 18 corresponds to the positive and negative peaks of the image signal S2.
  • the bright part 18 a and the dark part 18 b constituting the convex part image 18 are arranged along the predetermined detection direction F in the dark order.
  • the convex-shaped part 17 is a part which makes a convex shape in the inspection target part 11 of the steel pipe 10.
  • the convex-shaped part 17 is a healthy scale which is not a surface defect.
  • the external shape of such a convex-shaped part 17 is not limited to the thing shown in FIG. That is, the convex portion 17 has various outer shapes such as a linear shape, a circular shape, or a polygonal shape.
  • FIG. 5 is a flowchart showing an example of the surface defect detection method according to the embodiment of the present invention.
  • each process of steps S101 to S106 shown in FIG. 5 is performed using the surface defect detection apparatus 1 (see FIG. 1) described above.
  • the surface defect detection device 1 first captures an added image of the inspection target portion of the steel material (step S101).
  • step S ⁇ b> 101 one of the irradiation units 2 a and 2 b, the irradiation unit 2 a inspects the illumination light 12 a from the direction inclined with respect to the inspection target portion 11 on the surface of the steel pipe 10 according to the trigger signal from the function generator 4.
  • the target part 11 is irradiated.
  • the irradiation unit 2a illuminates the inspection target part 11 with the illumination light 12a.
  • one of the imaging units 3a and 3b according to the trigger signal from the function generator 4, captures the two-dimensional image Ia of the examination target site 11 illuminated by the illumination light 12a of the irradiation unit 2a.
  • This two-dimensional image Ia is an addition image in the difference processing in step S103 described later.
  • the imaging unit 3a transmits the imaged data of the two-dimensional image Ia of the inspection target part 11 (image signal based on the reflected light of the illumination light 12a from the inspection target part 11) to the image processing device 5.
  • the surface defect detection apparatus 1 captures a subtracted image of the inspection target portion of the steel material by using the irradiation unit 2b that can be distinguished from the irradiation unit 2a and the imaging unit 3b (step S102). .
  • step S102 the other irradiation unit 2b of the irradiation units 2a and 2b irradiates the same examination target region 11 as in step S101 described above with the illumination light 12b in accordance with the trigger signal from the function generator 4.
  • the irradiation unit 2b irradiates the inspection target site 11 with the illumination light 12b at a substantially same incident angle as that of the irradiation unit 2a from a direction inclined to the side opposite to the irradiation unit 2a with respect to the inspection target site 11.
  • the irradiation unit 2b illuminates the inspection target part 11 with the illumination light 12b.
  • the other imaging unit 3b captures a two-dimensional image Ib of the examination target region 11 illuminated by the illumination light 12b of the irradiation unit 2b in accordance with a trigger signal from the function generator 4.
  • This two-dimensional image Ib is a subtraction image in the difference processing in step S103 described later.
  • the imaging unit 3b transmits the imaged data of the two-dimensional image Ib of the examination target part 11 (image signal based on the reflected light of the illumination light 12b from the examination target part 11) to the image processing device 5.
  • the surface defect detection apparatus 1 After performing step S102 described above, the surface defect detection apparatus 1 obtains a difference image Id between the two-dimensional image Ia of the inspection target part 11 imaged in step S101 and the two-dimensional image Ib of the inspection target part 11 imaged in step S102. Generate (step S103).
  • step S103 the image processing apparatus 5 performs the processing between the two-dimensional image Ia of the examination target part 11 acquired from one imaging unit 3a and the two-dimensional image Ib of the examination target part 11 acquired from the other imaging unit 3b. Perform differential processing.
  • the subtractor 5a generates a difference image Id between the two two-dimensional images Ia and Ib by subtracting the two-dimensional image Ib as the subtraction image from the two-dimensional image Ia as the addition image.
  • the differentiator 5a calculates the luminance value Id (x, y) of each pixel of the difference image Id based on the above-described equation (1).
  • the surface defect detection device 1 After executing step S103 described above, the surface defect detection device 1 removes the image of the convex portion 17 of the inspection target region 11 from the difference image Id generated in step S103 described above (step S104).
  • the image processing apparatus 5 extracts the bright part and the dark part of the difference image Id, and recognizes the arrangement of the extracted bright part and the dark part along a predetermined detection direction F set in the difference image Id.
  • the detection direction F is a predetermined direction of the difference image Id corresponding to the irradiation direction of the illumination light of the irradiation unit 2a or the irradiation unit 2b.
  • the detection direction F is the same as the direction of a vector obtained by orthogonally projecting the irradiation direction vector of the irradiation unit 2b used for capturing the two-dimensional image Ib as a subtraction image onto the examination target region 11. is there.
  • the image processing device 5 combines the bright and dark portions of the convex portion 17 in the examination target region 11 based on the arrangement of the bright and dark portions along the detection direction F from the bright and dark portions of the difference image Id. Remove. Thereby, the image processing apparatus 5 removes the image of the convex-shaped part 17 comprised by the combination of these bright parts and dark parts from the difference image Id.
  • step S104 the image processing apparatus 5 binarizes the difference image Id of the examination target region 11 with a predetermined luminance threshold, and after performing connection / isolation point removal as necessary, the difference image Id
  • the labeling process is applied to the bright and dark areas.
  • the image processing device 5 extracts a bright part and a dark part having an area equal to or larger than a predetermined threshold among the bright part and the dark part of the differential image Id subjected to the labeling process.
  • the image processing device 5 calculates, for the extracted bright part and dark part, the separation distance between the bright part and the dark part, the similarity of the shape between the bright part and the dark part, and the similarity of the area between the bright part and the dark part. To do.
  • the image processing device 5 calculates a shape feature amount that is an index of the shape of the bright portion and the dark portion of the convex shape portion 17, and based on the shape feature amount, the shape of the bright portion and the dark portion The similarity is calculated.
  • Examples of the shape feature amount related to the convex shape portion 17 include those similar to the shape feature amount in the processing for detecting a surface defect (concave shape portion 15) described later.
  • the image processing device 5 arranges the bright and dark portions along the detection direction F of the difference image Id based on the separation distance between the bright and dark portions of the difference image Id, the similarity in shape, and the similarity in area. Is a specific arrangement of the bright part and the dark part of the convex part 17.
  • the specific arrangement described here is an image arrangement of bright parts and dark parts arranged in order of darkness along the detection direction F, as exemplified by the bright part 18a and dark part 18b of the convex-shaped part image 18 shown in FIG. Means.
  • the image processing apparatus 5 uses the combination of the bright part and the dark part of the difference image Id determined to be the specific arrangement among the bright part and the dark part extracted from the difference image Id, Remove as a combination of dark areas.
  • the difference image Id of the inspection target region 11 may include a combination of the bright portion and the dark portion of the convex portion 17 in a line along the detection direction F, not limited to one set.
  • the image processing apparatus 5 sequentially and repeatedly executes the above-described specific array determination process along the detection direction F of the difference image Id with respect to a combination of a plurality of bright and dark portions extracted from the difference image Id.
  • the image processing apparatus 5 determines the combination of the bright part and the dark part of the difference image Id determined to be the specific array in the detection direction F of the difference image Id, that is, the combination of the bright part and the dark part of the convex part 17. Remove sequentially.
  • the image processing apparatus 5 uses the difference image Id (including the binarized difference image Id) used for the surface defect detection process, so that the image of the convex portion 17, that is, the sound that is not a surface defect. Remove images of different scales.
  • the surface defect detection device 1 After executing Step S104 described above, the surface defect detection device 1 detects the concave shape portion 15 present in the inspection target part 11 as a surface defect from the difference image Id after the convex shape portion removal in Step S104 (Step S105). .
  • step S ⁇ b> 105 the image processing apparatus 5 determines the inspection target region 11 based on the remaining bright and dark portions included as an image in the difference image Id after step S ⁇ b> 104 (image removal step of the convex portion 17) described above. The presence / absence of the concave portion 15 is determined. At this time, the image processing device 5 performs the binarization processing and labeling processing of the difference image Id in step S104 described above, and among the bright and dark portions extracted from the difference image Id, the bright and dark portions of the convex-shaped portion 17 are extracted. The shape feature amounts of the remaining bright and dark portions after removing the are calculated.
  • the shape feature amount described here is a feature amount serving as an index of the length of the bright and dark portions remaining in the difference image Id, and is determined according to the outer shape of the concave portion 15 as a surface defect. That is, the shape feature amount in step S105 serves as an index of the length of the surface defect.
  • the image processing device 5 determines the presence / absence of the concave shape portion 15 based on the calculated shape feature amount or the arrangement along the detection direction F of the remaining bright and dark portions described above.
  • the image processing device 5 determines that there is a concave portion 15
  • the image processing device 5 detects the concave portion 15 determined to be present as a surface defect of the steel pipe 10. At this time, the image processing apparatus 5 detects a combination of a bright part and a dark part constituting an image of the concave shaped part 15 as a surface defect among the remaining bright parts and dark parts described above. On the other hand, if the image processing apparatus 5 determines that there is no concave shaped portion 15, the image processing apparatus 5 obtains a detection result that the current inspection target portion 11 has no surface defect of the steel pipe 10.
  • step S106 the surface defect detection device 1 displays the detection result of the surface defect in step S105 (step S106), and ends this process.
  • step S ⁇ b> 106 the monitor 6 acquires the detection result of the surface defect of the current inspection target region 11 in the steel pipe 10 from the image processing device 5 and displays the acquired detection result of the surface defect. At this time, the monitor 6 displays information on whether or not the surface defect exists in the steel pipe 10 such as the determination result of the presence or absence of the surface defect and the difference image Id representing the detected surface defect. Thereafter, the surface defect detection apparatus 1 repeatedly performs the processes of steps S101 to S106 shown in FIG. 5 every time the inspection target part 11 is changed.
  • FIG. 6 is a diagram for specifically explaining the convex-shaped image removal processing in the embodiment of the present invention.
  • the convex-shaped portion image is removed in step S104 for each of the light and dark images extracted from the difference image Id of the examination target region 11, that is, the bright portions 31 to 37 and the dark portions 21 to 27. A case where processing is performed will be described.
  • the image processing apparatus 5 selects the bright and dark portions arranged in order of light and dark along the detection direction F among the bright portions 31 to 37 and the dark portions 21 to 27. Detect sequentially. That is, the image processing apparatus 5 first pays attention to the dark portion 21 on the front side in the detection direction F (the left side in FIG. 6) and the bright portion 31 adjacent thereto. Then, the image processing apparatus 5 determines whether or not the noticed dark part 21 and bright part 31 constitute an image of the convex part 17 as a scale.
  • the image processing device 5 calculates the separation distance, the shape feature amount, and the area of the dark portion 21 and the bright portion 31 in the difference image Id, respectively.
  • the image processing device 5 calculates the similarity of the shapes of the dark portion 21 and the bright portion 31 based on the obtained shape feature amounts, and the dark portion 21 and the bright portion based on the obtained areas. The similarity of 31 areas is calculated.
  • the image processing apparatus 5 compares the calculated separation distance, shape similarity, and area similarity with preset threshold values.
  • the image processing device 5 has a distance between the dark part 21 and the bright part 31 that is less than or equal to a threshold value, and both the shape similarity and area similarity of the dark part 21 and bright part 31 are greater than or equal to each threshold value. Therefore, it is determined that the arrangement of the dark part 21 and the bright part 31 along the detection direction F is a specific arrangement (see FIG. 4) corresponding to the convex part 17. The image processing device 5 determines that the combination of the dark part 21 and the bright part 31 determined to have the specific arrangement as described above constitutes the image of the convex part 17.
  • the image processing apparatus 5 configures the image of the convex part 17 by combining the dark part 21 and the bright part 31 arranged in a specific array along the detection direction F. To be removed from the difference image Id.
  • the image processing apparatus 5 pays attention to the bright part 31 before removal, the dark part 22 adjacent in the detection direction F, and the adjacent bright part 32. Then, the image processing apparatus 5 performs the same determination process on the dark part 22 and the bright part 32 of interest as in the case of the dark part 21 and the bright part 31 described above. As a result, the image processing apparatus 5 determines that the arrangement of the dark portion 22 and the bright portion 32 along the detection direction F is a specific arrangement corresponding to the convex portion 17, and the dark portion 22 and the bright portion 32 arranged in the specific arrangement. Are removed from the difference image Id as constituting the image of the convex portion 17.
  • the image processing apparatus 5 performs the above-described case of the dark part 21 and the bright part 31 with respect to the bright part 32 before removal, the dark part 23 adjacent to the detection direction F, and the adjacent bright part 33. Similar determination processing is performed. As a result, the image processing apparatus 5 determines that the arrangement of the dark portion 23 and the bright portion 33 is a specific arrangement corresponding to the convex shape portion 17, and determines that the combination of the dark portion 23 and the bright portion 33 arranged in the specific arrangement is a convex shape. It removes from the difference image Id as what comprises the image of the shape part 17.
  • the image processing apparatus 5 pays attention to the bright portion 33 before being removed, the dark portion 24 adjacent to the detection direction F, and the adjacent bright portion 34. Then, the image processing apparatus 5 performs the same determination process on the noted dark part 24 and bright part 34 as in the case of the dark part 21 and bright part 31 described above.
  • the dark part 24 and the bright part 34 are arranged in the dark order along the detection direction F, they are separated by a separation distance d1.
  • the separation distance d1 is a distance that exceeds a set threshold value. Therefore, the image processing apparatus 5 determines that the arrangement along the detection direction F of the dark portion 24 and the bright portion 34 that does not satisfy the condition that the separation distance is equal to or smaller than the threshold is not a specific arrangement corresponding to the convex portion 17. . Based on the determination result, the image processing apparatus 5 determines that the combination of the dark part 24 and the bright part 34 does not constitute an image of the convex part 17, and therefore, the dark part 24 and the bright part are obtained from the difference image Id. 34 is left without removal.
  • the image processing apparatus 5 pays attention to the bright part 34 left without being removed as described above, the dark part 25 adjacent in the detection direction F, and the adjacent bright part 35. Then, the image processing device 5 performs the same determination process on the dark part 25 and the bright part 35 of interest as in the case of the dark part 21 and the bright part 31 described above.
  • the dark part 25 and the bright part 35 are arranged in the dark order along the detection direction F, they have shapes (outer shapes) and areas that are remarkably different from each other. That is, the similarities of the shapes and areas of the dark part 25 and the bright part 35 are both less than the set threshold value. Therefore, the image processing apparatus 5 corresponds to the convex shape portion 17 in the arrangement along the detection direction F of the dark portion 25 and the bright portion 35 that do not satisfy the condition that the similarity in shape and area is both equal to or greater than the threshold value. It is determined that it is not a specific sequence.
  • the image processing apparatus 5 determines that the combination of the dark portion 25 and the bright portion 35 does not constitute an image of the convex portion 17, and therefore, the dark portion 25 and the bright portion are determined from the difference image Id. 35 is left unremoved.
  • the image processing apparatus 5 pays attention to the bright part 35 left without being removed as described above, the dark part 26 adjacent in the detection direction F, and the adjacent bright part 36. Then, the image processing apparatus 5 performs the same determination process on the dark part 26 and the bright part 36 of interest as in the case of the dark part 21 and the bright part 31 described above.
  • the dark part 26 and the bright part 36 are arranged in the dark order along the detection direction F, they are separated by a separation distance d2 and have shapes that are significantly different from each other. . That is, in the dark portion 26 and the bright portion 36, the separation distance d2 is a distance that exceeds the set threshold value, and the shape similarity is less than the set threshold value. Therefore, the image processing apparatus 5 arranges the arrangement along the detection direction F of the dark part 26 and the bright part 36 that does not satisfy both the condition that the separation distance is equal to or smaller than the threshold and the condition that the similarity of the shape is equal to or larger than the threshold. It is determined that the specific arrangement does not correspond to the convex shape portion 17.
  • the image processing apparatus 5 determines that the combination of the dark part 26 and the bright part 36 does not constitute the image of the convex part 17, and therefore, the dark part 26 and the bright part are obtained from the difference image Id. Leave 36 unremoved.
  • the image processing apparatus 5 pays attention to the bright part 36 left without being removed as described above, the dark part 27 adjacent to the detection direction F, and the adjacent bright part 37. Then, the image processing device 5 performs the same determination process on the dark part 27 and the bright part 37 as noted in the case of the dark part 21 and the bright part 31 described above.
  • the dark part 27 and the bright part 37 shown in FIG. 6 satisfy the condition that the separation distance is equal to or smaller than the threshold value and the condition that both the similarity in shape and area are equal to or larger than the threshold value. Therefore, the image processing apparatus 5 determines that the arrangement along the detection direction F of the dark portion 27 and the bright portion 37 is a specific arrangement corresponding to the convex portion 17. Based on the determination result, the image processing apparatus 5 removes the combination of the dark part 27 and the bright part 37 arranged in the specific arrangement from the difference image Id as constituting the image of the convex part 17.
  • the image processing apparatus 5 performs the combination of the dark portion 21 and the bright portion 31 and the combination of the dark portion 22 and the bright portion 32 in the order of the detection direction F. Then, the combination of the dark part 23 and the bright part 33 is sequentially removed by one pair. Therefore, the image processing apparatus 5 does not erroneously determine that the adjacent bright part 31 and dark part 22 among the dark parts 21 to 23 and bright parts 31 to 33 arranged along the detection direction F are one combination. In addition, each combination of the dark portions 21 to 23 and the bright portions 31 to 33 corresponding to the convex portion 17 can be correctly determined without erroneously determining that the adjacent bright portion 32 and dark portion 23 are one combination. .
  • the image processing apparatus 5 selects bright and dark parts that constitute the image of the bright part and dark part other than the combination of the bright part and dark part of the convex part image, that is, the concave part 15 as a surface defect. It is possible to leave the difference image Id correctly.
  • FIG. 7 is a diagram for explaining an example of the shape feature amount of the surface defect in the embodiment of the present invention.
  • FIG. 8 is a diagram for explaining another example of the shape feature amount of the surface defect in the embodiment of the present invention.
  • FIG. 9 is a diagram for explaining circularity as still another example of the shape feature amount of the surface defect in the embodiment of the present invention.
  • FIG. 10 is a diagram for explaining a convex polygon filling rate as still another example of the shape feature amount of the surface defect in the embodiment of the present invention.
  • the surface defect of the steel pipe 10 is a concave portion such as a surface flaw.
  • the bright and dark pattern of the concave portion 15 as such a surface defect is a pattern opposite to the convex portion 17 as a healthy scale, as can be seen with reference to FIGS. That is, in the difference image Id, the image of the concave shape portion 15 is configured by a combination of a bright portion and a dark portion arranged in order of light and dark along the detection direction F. Accordingly, the image processing device 5 arranges the bright and dark portions arranged in the order of light and dark along the detection direction F with respect to the bright and dark portions remaining in the difference image Id after removal of the convex-shaped portion image in step S105 shown in FIG. By determining the presence / absence of a combination of a dark part and a dark part, a combination of a bright part and a dark part corresponding to the concave shaped part 15, that is, a surface defect can be detected.
  • the light and dark pattern corresponding to the concave portion 15 described above may not be possible.
  • the normal vector direction is significantly different from the optical axis direction of the imaging units 3a and 3b on the surface of the steel material (particularly, the steel pipe 10)
  • the shape of the surface defect is elongated.
  • either the bright part or the dark part may be hidden from the imaging field of view of the imaging units 3a and 3b.
  • the light and dark pattern of the image of the concave part 15 may not be formed in the difference image Id.
  • the image processing apparatus 5 recognizes the shape of the surface defect separately from the logic for detecting the surface defect by determining and recognizing the arrangement of the bright part and the dark part of the concave shape part 15 in step S105 described above.
  • a logic for detecting the elongated defect (the elongated concave portion 15) is provided.
  • the elongated defect described here means a surface defect having a linearly elongated shape feature.
  • the image processing device 5 calculates the shape feature amount of the surface defect serving as an index of the length of the bright and dark portions of the concave shape portion 15 as the surface defect remaining in the differential image Id after removing the convex shape portion image. Then, the elongated defect is detected based on the calculated shape feature quantity of the surface defect.
  • the shape feature amount of the surface defect serving as an index of the length the major axis / minor axis ratio of the ellipse, the maximum ferret diameter, the circularity, and the convex polygon filling rate can be exemplified.
  • the image processing apparatus 5 first sets an ellipse R to the remaining bright or dark part in the difference image Id as shown in FIG. Fit.
  • a method of fitting the ellipse R to the image of the bright part or the dark part there are a least square method, a second moment derivation method, and the like, but the second moment derivation method is more useful in consideration of calculation time.
  • the image processing apparatus 5 calculates the lengths of the major axis L1 and the minor axis L2 of the fitted ellipse R, and uses the ratio of the calculated major axis L1 and minor axis L2 as the shape feature amount.
  • the ferret diameter is a length L3 of a mapping when a bright part or dark part image is orthogonally projected in one dimension.
  • the image processing device 5 first calculates the maximum value of the orthogonal projection length as the maximum ferret diameter while rotating the remaining bright or dark portion in the difference image Id by 180 degrees. To do. Then, the image processing apparatus 5 uses the ratio of the ferret diameter and the maximum ferret diameter in the direction orthogonal to the location where the maximum ferret diameter is calculated as the shape feature amount.
  • the circularity is a value obtained by dividing the area of the bright part or the dark part by the square of the circumference of the bright part and the dark part as the shape of the bright part or the dark part is closer to a circle. It means a value normalized so as to be close to “1”.
  • the convex polygon filling rate means the area ratio of the bright part or the dark part to the area of the polygon circumscribing the bright part or the dark part, and the bright part or the dark part is linear. The closer the value is to “1”. Therefore, the image processing apparatus 5 can determine that the shape of the bright part or dark part is an elongated shape if the circularity of the bright part or dark part is low and the convex polygon filling rate is high.
  • the image processing apparatus 5 considers not only the shape feature amount of the surface defect but also the direction of the surface defect such as the vertical direction, the horizontal direction, or the oblique direction when detecting the elongated defect.
  • the detection accuracy of the elongated defect can be improved.
  • the image processing device 5 calculates the major axis / minor axis ratio as the shape feature amount of the surface defect, the image processing device 5 obtains the direction in which the major axis is directed, thereby obtaining a bright or dark portion of the concave portion 15 as the surface defect. Can be confirmed.
  • the image processing device 5 obtains the rotation angle of the image of the bright part or the dark part when the maximum ferret diameter is obtained, thereby obtaining the surface defect as the surface defect.
  • the direction of the bright part or the dark part of the concave shaped part 15 can be confirmed.
  • the image processing apparatus 5 can also confirm the orientation of the bright part or the dark part of the concave part 15 as a surface defect by applying an image to a linear filter that emphasizes a specific direction.
  • the first and second illumination lights that can be discriminated from the surface to be inspected on the surface of the steel material are substantially the same from the directions inclined to the opposite sides.
  • the first image of the inspection target site illuminated with the first illumination light and the second image of the inspection target site illuminated with the second illumination light are respectively captured.
  • a difference image between the first image and the second image is generated, and the light along the predetermined direction corresponding to the irradiation direction of the first or second illumination light is selected from the bright part and the dark part of the difference image.
  • the combination of the bright part and the dark part of the convex part in the inspection target part is removed, and the shape feature amount of the remaining bright part and dark part after the removal processing or the arrangement along the predetermined direction
  • the concave part at the site to be inspected Determine the presence or absence, and detects the depressed portions is determined that there is a surface defect of the steel material.
  • the harmless pattern image from the surface defect detection target by removing the sound harmless pattern image of the inspection target part by the difference processing that generates the difference image described above, and further, harmless From the difference image from which the pattern has been removed, the image of the convex portion as a healthy scale that is not a surface defect can be removed, and the bright and dark portions of the image of the scale can be excluded from the detection target of the surface defect.
  • the remaining bright and dark portions of the difference image from which the image of the harmless pattern and the convex shape portion has been removed in advance the presence / absence of the concave shape portion having various outer shapes is determined regardless of the shape of the surface defect. be able to.
  • the addition image in the difference processing is first captured and then the subtraction image is captured.
  • the present invention is not limited to this.
  • the subtraction image is captured, and then the addition image is captured. May be. That is, the imaging unit 3a may capture the two-dimensional image Ia of the examination target site 11 as a subtraction image, and the imaging unit 3b may capture the two-dimensional image Ib of the examination target site 11 as an addition image.
  • the luminance value Id (x, y) of each pixel in the difference image Id is the same as the luminance value Ib (x, y) of each pixel in the two-dimensional image Ib as the addition image in the two-dimensional image Ia as the subtraction image. It may be calculated by subtracting the luminance value Ia (x, y) of each pixel.
  • the direction of the vector (that is, the orthogonal projection vector) obtained by orthogonally projecting the irradiation direction vector of the irradiation unit 2b onto the inspection target region 11 is set as the detection direction F.
  • the detection direction F may be the same as the direction of the orthogonal projection vector corresponding to the irradiation direction vector of the irradiation unit 2b as long as it is a fixed direction with respect to the difference image Id, or the irradiation direction of the irradiation unit 2a.
  • the direction of the orthogonal projection vector corresponding to the vector may be the same.
  • the specific arrangement of the bright part and the dark part of the convex-shaped part image is arranged in the order of darkness along the detection direction F.
  • the present invention is not limited to this. Absent.
  • the specific arrangement of the bright part and the dark part of the convex shape part image is a reverse pattern to the arrangement of the bright part and the dark part of the concave shape part image, the order is either bright or dark or dark along the detection direction F. It may be an array.
  • the cylindrical steel pipe 10 is exemplified as the steel material to be inspected, but the present invention is not limited to this.
  • the steel material to be inspected may be a steel pipe (seamless steel pipe, welded steel pipe, etc.), a steel plate (hot rolled steel plate, cold rolled steel plate, thick plate, etc.), or a steel product such as a shape steel, It may be a semi-finished product such as a slab generated in the manufacturing process of steel products.
  • the present invention is not limited by the above-described embodiment, and the present invention includes a configuration in which the above-described constituent elements are appropriately combined.
  • other embodiments, examples, operational techniques, and the like made by those skilled in the art based on the above-described embodiments are all included in the scope of the present invention.
  • the surface defect detection apparatus and the surface defect detection method according to the present invention are useful for optical detection of surface defects of steel materials, and in particular, accurately discriminate between scales and harmless patterns of steel materials and surface defects. It is suitable for a surface defect detection apparatus and a surface defect detection method that can be performed.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Textile Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

鋼材の表面のうち検査対象部位に対して、弁別可能な第1および第2の照明光を、互いに反対側に傾斜する方向から略同一の入射角度で各々照射し、第1の照明光によって照明された検査対象部位の第1の画像と、第2の照明光によって照明された検査対象部位の第2の画像とを各々撮像する。これら第1の画像と第2の画像との差分画像を生成し、差分画像の明部および暗部の中から、第1または第2の照明光の照射方向に対応する所定方向に沿った明部および暗部の配列に基づいて、検査対象部位における凸形状部の明部および暗部の組み合わせを除去し、この除去処理後の残りの明部および暗部の形状特徴量または所定方向に沿った配列に基づいて、検査対象部位における凹形状部の有無を判定し、有りと判定した凹形状部を鋼材の表面欠陥として検出する。

Description

表面欠陥検出装置および表面欠陥検出方法
 本発明は、鋼材の表面欠陥を光学的に検出する表面欠陥検出装置および表面欠陥検出方法に関する。
 近年、鉄鋼製品の製造工程では、大量不適合防止による歩留まり向上の観点から、熱間または冷間で鋼材の表面欠陥を検出することが求められている。ここで述べる鋼材とは、継目無鋼管、溶接鋼管、熱延鋼板、冷延鋼板、厚板等の鋼板や形鋼をはじめとする鉄鋼製品、および、これらの鉄鋼製品が製造される過程で生成されるスラブ等の半製品のことを意味する。このため、鋼材の表面欠陥を検出する方法として、継目無鋼管の製造工程におけるビレットに光を照射して反射光を受光し、反射光の光量によって表面欠陥の有無を判別する方法が提案されている(特許文献1参照)。また、熱間鋼材から放射される自発光と相互に影響を及ぼさず、互いに影響を及ぼしあうことのない複数の波長域の可視光を、熱間鋼材表面の法線に対し互いに対称な斜め方向から照射し、合成反射光による像及び個々の反射光による像を熱間鋼材表面の法線方向で得て、これらの像の組み合わせから熱間鋼材の表面欠陥を検出する方法も提案されている(特許文献2参照)。
特開平11-37949号公報 特開昭59-52735号公報
 特許文献1記載の方法によれば、スケールや無害模様の反射率が地鉄部分の反射率とは異なることから、表面欠陥ではない健全なスケールや無害模様を表面欠陥と誤検出してしまう可能性がある。このため、特許文献1記載の方法では、ビレットの表面欠陥(表面疵)の形状が直線状であることを利用して、表面欠陥とスケールとを弁別している。しかしながら、鋼材の表面欠陥には、直線状のものに限らず、円形状等の様々な形状のものがある。このため、特許文献1記載の方法を鋼材の表面欠陥の検出処理に適用することは難しい。一方、特許文献2記載の方法では、表面欠陥、スケール、無害模様等の種類が膨大にあることから、単純に像を組み合わせるだけではスケールや無害模様と表面欠陥とを弁別することは困難である。また、膨大な像の組み合わせに対応した検出ロジックを構築することは現実的には困難である。
 本発明は、上記の事情に鑑みてなされたものであって、スケールや無害模様と表面欠陥とを精度よく弁別することができる表面欠陥検出装置および表面欠陥検出方法を提供することを目的とする。
 上述した課題を解決し、目的を達成するために、本発明に係る表面欠陥検出装置は、鋼材の表面のうち検査対象部位に対して傾斜する方向から、照明光を前記検査対象部位に照射する第1の照射手段と、前記第1の照射手段の照明光によって照明された前記検査対象部位の第1の画像を撮像する第1の撮像手段と、前記第1の照射手段と弁別可能であり、前記検査対象部位に対して前記第1の照射手段とは反対側に傾斜する方向から、前記第1の照射手段と略同一の入射角度で照明光を前記検査対象部位に照射する第2の照射手段と、前記第2の照射手段の照明光によって照明された前記検査対象部位の第2の画像を撮像する第2の撮像手段と、前記第1の画像と前記第2の画像との差分画像を生成し、前記差分画像の明部および暗部の中から、前記第1または第2の照射手段の照明光の照射方向に対応する前記差分画像の所定方向に沿った明部および暗部の配列に基づいて、前記検査対象部位における凸形状部の明部および暗部の組み合わせを除去し、残りの前記明部および前記暗部の細長さの指標となる形状特徴量または前記所定方向に沿った配列に基づいて、前記検査対象部位における凹形状部の有無を判定し、前記凹形状部を前記鋼材の表面欠陥として検出する画像処理手段と、を備えたことを特徴とする。
 また、本発明に係る表面欠陥検出装置は、上記の発明において、前記画像処理手段は、前記差分画像の明部および暗部の離間距離と形状の類似度と面積の類似度とに基づいて、前記差分画像の所定方向に沿った明部および暗部の配列が前記凸形状部の明部および暗部の特定配列であるか否かを判定し、前記特定配列であると判定した前記差分画像の明部および暗部の組み合わせを、前記凸形状部の明部および暗部の組み合わせとして除去することを特徴とする。
 また、本発明に係る表面欠陥検出装置は、上記の発明において、前記画像処理手段は、前記差分画像の所定方向順に前記凸形状部の明部および暗部の組み合わせを除去することを特徴とする。
 また、本発明に係る表面欠陥検出方法は、鋼材の表面のうち検査対象部位に対して傾斜する方向から、第1の照射手段によって照明光を前記検査対象部位に照射し、前記第1の照射手段の照明光によって照明された前記検査対象部位の第1の画像を撮像する第1の撮像ステップと、前記第1の照射手段と弁別可能な第2の照射手段により、前記検査対象部位に対して前記第1の照射手段とは反対側に傾斜する方向から、前記第1の照射手段と略同一の入射角度で照明光を前記検査対象部位に照射し、前記第2の照射手段の照明光によって照明された前記検査対象部位の第2の画像を撮像する第2の撮像ステップと、前記第1の画像と前記第2の画像との差分画像を生成する差分画像生成ステップと、前記差分画像の明部および暗部の中から、前記第1または第2の照射手段の照明光の照射方向に対応する前記差分画像の所定方向に沿った明部および暗部の配列に基づいて、前記検査対象部位における凸形状部の明部および暗部の組み合わせを除去する除去ステップと、前記除去ステップ後の残りの前記明部および前記暗部の細長さの指標となる形状特徴量または前記所定方向に沿った配列に基づいて、前記検査対象部位における凹形状部の有無を判定し、前記凹形状部を前記鋼材の表面欠陥として検出する表面欠陥検出ステップと、を含むことを特徴とする。
 また、本発明に係る表面欠陥検出方法は、上記の発明において、前記除去ステップは、前記差分画像の明部および暗部の離間距離と形状の類似度と面積の類似度とに基づいて、前記差分画像の所定方向に沿った明部および暗部の配列が前記凸形状部の明部および暗部の特定配列であるか否かを判定し、前記特定配列であると判定した前記差分画像の明部および暗部の組み合わせを、前記凸形状部の明部および暗部の組み合わせとして除去することを特徴とする。
 また、本発明に係る表面欠陥検出方法は、上記の発明において、前記除去ステップは、前記差分画像の所定方向順に前記凸形状部の明部および暗部の組み合わせを除去することを特徴とする。
 本発明に係る表面欠陥検出装置および表面欠陥検出方法によれば、スケールや無害模様と表面欠陥とを精度よく弁別することができるという効果を奏する。
図1は、本発明の実施の形態に係る表面欠陥検出装置の一構成例を示す図である。 図2は、検査対象部位を撮像した2つの2次元画像間での差分処理によって生成される検査対象部位の差分画像の一例を示す図である。 図3は、本発明の実施の形態における差分画像に含まれる凹形状部画像の明暗パターンを説明するための図である。 図4は、本発明の実施の形態における差分画像に含まれる凸形状部画像の明暗パターンを説明するための図である。 図5は、本発明の実施の形態に係る表面欠陥検出方法の一例を示すフローチャートである。 図6は、本発明の実施の形態における凸形状画像の除去処理を具体的に説明するための図である。 図7は、本発明の実施の形態における表面欠陥の形状特徴量の一例を説明するための図である。 図8は、本発明の実施の形態における表面欠陥の形状特徴量の別例を説明するための図である。 図9は、本発明の実施の形態における表面欠陥の形状特徴量の更なる別例としての円形度を説明するための図である。 図10は、本発明の実施の形態における表面欠陥の形状特徴量の更なる別例としての凸多角形充填率を説明するための図である。
 以下に、添付図面を参照して、本発明に係る表面欠陥検出装置および表面欠陥検出方法の好適な実施の形態について詳細に説明する。なお、本実施の形態により、本発明が限定されるものではない。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率等は、現実のものとは異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。また、各図面において、同一構成部分には同一符号が付されている。
(表面欠陥検出装置)
 まず、本発明の実施の形態に係る表面欠陥検出装置の構成について説明する。図1は、本発明の実施の形態に係る表面欠陥検出装置の一構成例を示す図である。図1に示すように、本発明の実施の形態に係る表面欠陥検出装置1は、円筒形状の鋼管10の表面に存在する表面欠陥を検出する装置であり、照射部2a,2bと、撮像部3a,3bと、ファンクションジェネレータ4と、画像処理装置5と、モニター6とを主な構成要素として備えている。なお、鋼管10は、表面欠陥検出装置1によって表面欠陥の有無を検査される鋼材の一例であり、図1中の矢印によって示される搬送方向に搬送される。
 照射部2aは、所定の波長帯域の照明光12aを発光する光源等を用いて構成され、鋼管10の表面(詳細には検査対象部位11)の法線ベクトルに対して照明光12aの照射方向ベクトルが傾斜するように配置される。照射部2aは、ファンクションジェネレータ4からのトリガー信号によって指示されるタイミングに、鋼管10の表面のうち検査対象部位11に対して傾斜する方向から、照明光12aを検査対象部位11に照射する。これにより、照射部2aは、このタイミングから所定の期間、上述の傾斜する方向から検査対象部位11を照明する。
 照射部2bは、上述した照射部2aの照明光12aと弁別可能な波長帯域の照明光12bを発光する光源等を用いて構成される。照明光12bの照射方向ベクトルが鋼管10の検査対象部位11の法線ベクトルに対して照射部2aとは反対側に傾斜するように配置される。照射部2bは、ファンクションジェネレータ4からのトリガー信号によって指示されるタイミングに、鋼管10の検査対象部位11に対して照射部2aとは反対側に傾斜する方向から、照射部2aと略同一の入射角度で照明光12bを検査対象部位11に照射する。これにより、照射部2bは、このタイミングから所定の期間、上述の傾斜する方向から、照射部2aと同一の検査対象部位11を照明する。
 本実施の形態において、上述した照射部2a,2bは、鋼管10の検査対象部位11に対して対称に配置されることが望ましい。この際、照射部2a,2bは、検査対象部位11の法線ベクトルに対して同一の入射角だけずらし、照明光12a,12bの各照射方向ベクトルと検査対象部位11の法線ベクトルとが同一平面上となるように配置される。
 ここで、検査対象部位11に対する照明光12a,12bの入射角を同一にする目的は、異なる入射方向の光源を弁別した時に光学条件をできるだけ等しくし、検査対象部位11のうち無害模様等を含む健全部の信号を後述する差分処理によって大きく低減できるようにすることにある。しかしながら、健全部の信号は検査対象部位11の表面性状に大きく依存し、一概に健全部の信号の同一性を同一の入射角で保証することは困難である。従って、25~55°の範囲内であれば、多少入射角が異なっていても健全部の信号を後述する差分処理によって低減できている限り同一の入射角と表現する。
 また、本実施の形態において、照射部2aと照射部2bとは弁別可能である。すなわち、これら照射部2a,2bの各光源は、互いに弁別可能である。ここで述べる弁別可能な光源とは、検査対象部位11から得られる反射光について各々の光源別に反射光量を求めることが可能な光源を意味する。
 撮像部3a,3bは、各々、エリアセンサおよび光学系等を用いて構成され、鋼管10の検査対象部位11を含む撮像視野を確保した状態で可能な限り検査対象部位11の法線ベクトル上に配置される。本実施の形態において、撮像部3aは、ファンクションジェネレータ4からのトリガー信号によって指示されるタイミングに、照明光12aの検査対象部位11からの反射光を受光する。この結果、撮像部3aは、照射部2aの照明光12aによって照明された検査対象部位11の2次元画像を撮像する。一方、撮像部3bは、ファンクションジェネレータ4からのトリガー信号によって指示されるタイミングに、照明光12bの検査対象部位11からの反射光を受光する。この結果、撮像部3bは、照射部2bの照明光12bによって照明された検査対象部位11の2次元画像を撮像する。撮像部3a,3bの各々は、上述した検査対象部位11の2次元画像を撮像する都度、撮像した2次元画像のデータを画像処理装置5に順次入力する。
 ファンクションジェネレータ4は、照射部2a,2bおよび撮像部3a,3bの各動作タイミングを制御するものである。具体的には、本実施の形態において、ファンクションジェネレータ4は、照射部2a,2bに対するトリガー信号の入力により、照射部2a,2bの照明光12a,12bの各照射タイミングを各々制御する。一方、ファンクションジェネレータ4は、撮像部3aに対するトリガー信号の入力により、照明光12aの検査対象部位11からの反射光を撮像部3aが受光するタイミングを制御する。これにより、ファンクションジェネレータ4は、照明光12aによって照明された検査対象部位11の2次元画像を撮像部3aが撮像するタイミングを制御する。また、ファンクションジェネレータ4は、撮像部3bに対するトリガー信号の入力により、照明光12bの検査対象部位11からの反射光を撮像部3bが受光するタイミングを制御する。これにより、ファンクションジェネレータ4は、照明光12bによって照明された検査対象部位11の2次元画像を撮像部3bが撮像するタイミングを制御する。
 画像処理装置5は、撮像部3a,3bから入力された2つの2次元画像間で後述する差分処理等を行うことにより、鋼管10の検査対象部位11における表面欠陥を検出する装置である。
 具体的には、本実施の形態において、画像処理装置5は、撮像部3a,3bから入力された2つの2次元画像に対し、予め導出しておいたカメラパラメータを用いてキャリブレーション、シェーディング補正、およびノイズ除去等の画像処理を施す。また、画像処理装置5は、図1に示すように、差分器5aを有する。画像処理装置5は、上述の画像処理を施した後の2つの2次元画像間で差分器5aにより差分処理を行う。これにより、画像処理装置5は、撮像部3aによる2次元画像と撮像部3bによる2次元画像との差分画像、すなわち、検査対象部位11の差分画像を生成する。画像処理装置5は、この差分処理により、検査対象部位11における健全部としての無害模様の画像を除去する。さらに、画像処理装置5は、生成した差分画像から、検査対象部位11における健全部としてのスケールの画像を除去する。画像処理装置5は、このように無害模様およびスケールの各画像を除去した後の差分画像から、検査対象部位11に存在する表面欠陥を検出する。
 モニター6は、鋼管10に対する表面欠陥の検出結果を表示する表示手段として機能する。具体的には、モニター6は、検査対象部位11に対する表面欠陥の検出結果を画像処理装置5から入力され、その都度、入力された検出結果を表示する。このようなモニター6に表示される表面欠陥の検出結果として、例えば、検査対象部位11に対する表面欠陥の有無の判定結果を示す情報、検出された検査対象部位11の表面欠陥を表す差分画像、撮像部3a,3bによって撮像された検査対象部位11の各2次元画像等、鋼管10の表面欠陥の検出に関する情報が挙げられる。
 なお、本実施の形態において、スケールや無害模様は、地鉄部分とは光学特性の異なる表面皮膜や表面性状を有する厚さ数~数十μm程度の部分のことを意味する。このようなスケールや無害模様は、検査対象部位11に対する表面欠陥の検出処理においてノイズ要因となる部分である。
(検査対象部位の差分画像)
 つぎに、本発明の実施の形態において表面欠陥の検査対象である鋼管10の検査対象部位11の差分画像について説明する。図2は、検査対象部位を撮像した2つの2次元画像間での差分処理によって生成される検査対象部位の差分画像の一例を示す図である。図2において、2次元画像Iaは、照射部2aが鋼管10の表面に対して傾斜する方向から検査対象部位11を照明した際に撮像部3aが撮像した検査対象部位11の2次元画像である。2次元画像Ibは、照射部2bが鋼管10の表面に対して照射部2aとは反対側に傾斜する方向から検査対象部位11を照明した際に撮像部3bが撮像した検査対象部位11の2次元画像である。これら2つの2次元画像Ia,Ibには、検査対象部位11の同じ凹形状部15が、深さのある疵等の表面欠陥として描画され、且つ、表面欠陥ではない無害模様が、健全部の一部分として描画されている。
 図2に示すように、差分器5aは、撮像部3a,3bによる2つの2次元画像Ia,Ib間で差分処理を行い、これにより、検査対象部位11の差分画像Idを生成する。具体的には、本実施の形態において、撮像部3aによる2次元画像Iaを構成する各画素の輝度値はIa(x,y)とし、撮像部3bによる2次元画像Ibを構成する各画素の輝度値はIb(x,y)とする。ただし、2次元画像Ia,Ibは、各々、画素数X×Yの画像とする。また、2次元画像Ia,Ibの各々に設定した直交2軸のxy座標系において、x座標は1≦x≦Xとし、y座標は1≦y≦Yとする。このような定義のもと、差分器5aは、撮像部3aによる2次元画像Iaを加算画像とし、撮像部3bによる2次元画像Ibを減算画像として、加算画像から減算画像を減じる差分処理を行い、これにより、検査対象部位11の差分画像Idを生成する。
 このような差分処理によって得られる差分画像Idの各画素の輝度値Id(x,y)は、加算画像としての2次元画像Iaの各画素の輝度値Ia(x,y)と、減算画像としての2次元画像Ibの各画素の輝度値Ib(x,y)とを用い、次式(1)によって表される。
Id(x,y)=Ia(x,y)-Ib(x,y)   ・・・(1)
 ここで、検査対象部位11のうちの健全部では、無害模様の有無に関わらず、鋼材表面の法線ベクトルと一方の照射部2aの照射方向ベクトルとのなす角度と、鋼材表面の法線ベクトルと他方の照射部2bの照射方向ベクトルとのなす角度とが等しい。このため、2次元画像Ia,Ibのうちの健全部の画像間では、無害模様の有無に関わらず、輝度値Ia(x,y)=輝度値Ib(x,y)となる。すなわち、差分画像Idのうちの健全部の画像において、輝度値Id(x,y)=0となる。この結果、差分画像Idは、図2に示すように、2次元画像Ia,Ibに描画されていた無害模様が除去された状態の画像となる。従って、差分器5aは、これら2つの2次元画像Ia,Ibの差分画像Idを生成することにより、表面欠陥ではない健全な無害模様の画像を除去することができる。
 一方、検査対象部位11のうちの表面欠陥部分は、図2に示す凹形状部15に例示されるように、鋼管10の表面から深さをもって凹む形状や起伏を有する。それ故、このような表面欠陥部分では、鋼材表面の法線ベクトルと一方の照射部2aの照射方向ベクトルとのなす角度と、鋼材表面の法線ベクトルと他方の照射部2bの照射方向ベクトルとのなす角度とが等しくない箇所が必ず存在する。このため、2次元画像Ia,Ibのうちの表面欠陥部分の画像間では、輝度値Ia(x,y)≠輝度値Ib(x,y)となる。すなわち、差分画像Idのうちの表面欠陥部分の画像において、輝度値Id(x,y)≠0となる。この結果、表面欠陥部分の画像は、上述したように輝度値Id(x,y)=0となって除去される無害模様の画像とは異なり、図2に示すように、光学的に検出可能な状態で差分画像Idに残る。
(凹形状部画像の明暗パターン)
 つぎに、鋼管10の検査対象部位11の差分画像Idに含まれる凹形状部画像の明暗パターンについて説明する。図3は、本発明の実施の形態における差分画像に含まれる凹形状部画像の明暗パターンを説明するための図である。本発明の実施の形態では、図3に示すように、鋼管10の検査対象部位11に凹形状部15が存在する場合、この検査対象部位11の差分画像Idには、この凹形状部15を表す差分画像である凹形状部画像16が含まれる。
 詳細には、図3に示すように、鋼管10の検査対象部位11に存在する凹形状部15に対し、照射部2a(図1参照)からの照明光12aが照射された場合、凹形状部15のうち照射部2aの手前側は、単位面積当たりの照明光12aの光量低下によって暗くなる。また、この凹形状部15のうち照射部2aの奥側は、照明光12aの正反射方向に近づくため、明るくなる。
 一方、照射部2aの反対側に傾斜する照射部2b(図1参照)からの照明光12bが凹形状部15に照射された場合、図3に示すように、凹形状部15のうち照射部2bの手前側は、単位面積当たりの照明光12bの光量低下によって暗くなる。また、この凹形状部15のうち照射部2bの奥側は、照明光12bの正反射方向に近づくため、明るくなる。
 すなわち、検査対象部位11に対して斜め上方(図3の紙面右斜め上方)から凹形状部15に照明光12aが照射された場合と、照明光12aとは反対側の斜め上方(図3の紙面左斜め上方)から凹形状部15に照明光12bが照射された場合とでは、凹形状部15の明暗の部分が逆になる。このため、図3に示すように、照明光12aが照射された場合の凹形状部15からの反射光に基づく画像信号Saのピークと、照明光12bが照射された場合の凹形状部15からの反射光に基づく画像信号Sbのピークとは、明暗の部分が逆になる分、互いにずれる。このような画像信号Sa(撮像部3aによる凹形状部15の画像信号)から画像信号Sb(撮像部3bによる凹形状部15の画像信号)を減算することにより、図3に示すように、凹形状部画像16の画像信号S1が生成される。
 凹形状部画像16は、差分画像Idのうち凹形状部15を表す画像であり、図3に示すように、明部16aと暗部16bとの組み合わせによって構成される。この凹形状部画像16における明部16aおよび暗部16bの配列は、画像信号S1の正負のピークに対応する。具体的には、図3に示すように、凹形状部画像16を構成する明部16aおよび暗部16bは、所定の検出方向Fに沿って明暗の順に配列される。
 ここで、検出方向Fは、図1に示した照射部2a,2bのいずれかの照射方向に対応する差分画像Idの所定方向である。具体的には、本実施の形態において、検出方向Fは、減算画像としての2次元画像Ibの撮像に用いる照射部2bの照射方向ベクトルを検査対象部位11に正射影したベクトルの方向と同じである。
 なお、凹形状部15は、鋼管10の検査対象部位11において凹む形状をなす部分である。本実施の形態において、凹形状部15は、表面疵等の検査対象部位11における表面欠陥とする。このような凹形状部15には、図3に示す鋭角断面や湾曲断面(図示せず)をなす凹形状の部分は勿論、図2に示すように凹み内に起伏(凹凸)を有する凹形状の部分が含まれる。また、凹形状部15には、直線状や円形状あるいは多角形状等の様々な外形のものがある。
(凸形状部画像の明暗パターン)
 つぎに、鋼管10の検査対象部位11の差分画像Idに含まれる凸形状部画像の明暗パターンについて説明する。図4は、本発明の実施の形態における差分画像に含まれる凸形状部画像の明暗パターンを説明するための図である。本発明の実施の形態では、図4に示すように、鋼管10の検査対象部位11に凸形状部17が存在する場合、この検査対象部位11の差分画像Idには、この凸形状部17を表す差分画像である凸形状部画像18が含まれる。
 詳細には、図4に示すように、鋼管10の検査対象部位11に存在する凸形状部17に対し、照射部2a(図1参照)からの照明光12aが照射された場合、凸形状部17のうち照射部2aの手前側は、照明光12aの正反射方向に近づくため、明るくなる。また、この凸形状部17のうち照射部2aの奥側は、凸形状部17の影となるため、暗くなる。
 一方、照射部2aの反対側に傾斜する照射部2b(図1参照)からの照明光12bが凸形状部17に照射された場合、図4に示すように、凸形状部17のうち照射部2bの手前側は、照明光12bの正反射方向に近づくため、明るくなる。また、この凸形状部17のうち照射部2bの奥側は、凸形状部17の影となるため、暗くなる。
 すなわち、検査対象部位11に対して斜め上方(図4の紙面右斜め上方)から凸形状部17に照明光12aが照射された場合と、照明光12aとは反対側の斜め上方(図4の紙面左斜め上方)から凸形状部17に照明光12bが照射された場合とでは、凸形状部17の明暗の部分が逆になる。このため、図4に示すように、照明光12aが照射された場合の凸形状部17からの反射光に基づく画像信号Saのピークと、照明光12bが照射された場合の凸形状部17からの反射光に基づく画像信号Sbのピークとは、明暗の部分が逆になる分、互いにずれる。このような画像信号Sa(撮像部3aによる凸形状部17の画像信号)から画像信号Sb(撮像部3bによる凸形状部17の画像信号)を減算することにより、図4に示すように、凸形状部画像18の画像信号S2が生成される。
 凸形状部画像18は、差分画像Idのうち凸形状部17を表す画像であり、図4に示すように、明部18aと暗部18bとの組み合わせによって構成される。この凸形状部画像18における明部18aおよび暗部18bの配列は、画像信号S2の正負のピークに対応する。具体的には、図4に示すように、凸形状部画像18を構成する明部18aおよび暗部18bは、所定の検出方向Fに沿って暗明の順に配列される。
 なお、凸形状部17は、鋼管10の検査対象部位11において凸の形状をなす部分である。具体的には、本実施の形態において、凸形状部17は、表面欠陥ではない健全なスケールである。このような凸形状部17の外形は、図4に示す態様のものに限定されない。すなわち、凸形状部17には、直線状や円形状あるいは多角形状等の様々な外形のものがある。
(表面欠陥検出方法)
 つぎに、本発明の実施の形態に係る表面欠陥検出方法について説明する。図5は、本発明の実施の形態に係る表面欠陥検出方法の一例を示すフローチャートである。本発明の実施の形態に係る表面欠陥検出方法では、上述した表面欠陥検出装置1(図1参照)を用いて、図5に示すステップS101~S106の各処理が行われる。
 詳細には、本発明の実施の形態に係る表面欠陥検出方法において、表面欠陥検出装置1は、図5に示すように、まず、鋼材の検査対象部位の加算画像を撮像する(ステップS101)。
 ステップS101において、照射部2a,2bのうち一方の照射部2aは、ファンクションジェネレータ4からのトリガー信号に従い、鋼管10の表面のうち検査対象部位11に対して傾斜する方向から、照明光12aを検査対象部位11に照射する。照射部2aは、この照明光12aによって検査対象部位11を照明する。ついで、撮像部3a,3bのうち一方の撮像部3aは、ファンクションジェネレータ4からのトリガー信号に従い、上述の照射部2aの照明光12aによって照明された検査対象部位11の2次元画像Iaを撮像する。この2次元画像Iaは、後述するステップS103の差分処理における加算画像である。撮像部3aは、撮像した検査対象部位11の2次元画像Iaのデータ(検査対象部位11からの照明光12aの反射光に基づく画像信号)を画像処理装置5に送信する。
 上述したステップS101を実行後、表面欠陥検出装置1は、上述した照射部2aと弁別可能な照射部2bと、撮像部3bとによって、鋼材の検査対象部位の減算画像を撮像する(ステップS102)。
 ステップS102において、照射部2a,2bのうち他方の照射部2bは、ファンクションジェネレータ4からのトリガー信号に従い、上述したステップS101と同じ検査対象部位11に照明光12bを照射する。この際、照射部2bは、検査対象部位11に対して照射部2aとは反対側に傾斜する方向から、照射部2aと略同一の入射角度で照明光12bを検査対象部位11に照射する。照射部2bは、この照明光12bによって検査対象部位11を照明する。ついで、撮像部3a,3bのうち他方の撮像部3bは、ファンクションジェネレータ4からのトリガー信号に従い、照射部2bの照明光12bによって照明された検査対象部位11の2次元画像Ibを撮像する。この2次元画像Ibは、後述するステップS103の差分処理における減算画像である。撮像部3bは、撮像した検査対象部位11の2次元画像Ibのデータ(検査対象部位11からの照明光12bの反射光に基づく画像信号)を画像処理装置5に送信する。
 上述したステップS102を実行後、表面欠陥検出装置1は、ステップS101によって撮像した検査対象部位11の2次元画像IaとステップS102によって撮像した検査対象部位11の2次元画像Ibとの差分画像Idを生成する(ステップS103)。
 ステップS103において、画像処理装置5は、一方の撮像部3aから取得した検査対象部位11の2次元画像Iaと他方の撮像部3bから取得した検査対象部位11の2次元画像Ibとの間での差分処理を行う。この差分処理において、差分器5aは、加算画像としての2次元画像Iaから減算画像としての2次元画像Ibを減じることにより、これら2つの2次元画像Ia,Ibの差分画像Idを生成する。この際、差分器5aは、上述した式(1)に基づいて、差分画像Idの各画素の輝度値Id(x,y)を算出する。
 ここで、差分器5aは、2次元画像Ia,Ibの各々に含まれる検査対象部位11の無害模様の画像を構成する各画素の輝度値を、上述した差分処理によって零値(すなわちId(x,y)=0)とする。これにより、差分器5aは、検査対象部位11のスケールや表面欠陥を検出する際に用いる画像データから、無害模様の画像を除去する。
 上述したステップS103を実行後、表面欠陥検出装置1は、上述したステップS103によって生成した差分画像Idから検査対象部位11の凸形状部17の画像を除去する(ステップS104)。
 ステップS104において、画像処理装置5は、差分画像Idの明部および暗部を抽出し、差分画像Idに設定される所定の検出方向Fに沿って、これらの抽出した明部および暗部の配列を認識する。ここで、検出方向Fは、上述したように、照射部2aまたは照射部2bの照明光の照射方向に対応する差分画像Idの所定方向である。具体的には、本実施の形態において、検出方向Fは、減算画像としての2次元画像Ibの撮像に用いる照射部2bの照射方向ベクトルを検査対象部位11に正射影したベクトルの方向と同じである。画像処理装置5は、差分画像Idの明部および暗部の中から、検出方向Fに沿った明部および暗部の配列に基づいて、検査対象部位11における凸形状部17の明部および暗部の組み合わせを除去する。これにより、画像処理装置5は、これら明部および暗部の組み合わせによって構成される凸形状部17の画像を差分画像Idから除去する。
 詳細には、ステップS104において、画像処理装置5は、検査対象部位11の差分画像Idを所定の輝度閾値で二値化し、必要に応じて連結・孤立点除去を行った後、この差分画像Idの明部および暗部にラベリング処理を施す。つぎに、画像処理装置5は、ラベリング処理した差分画像Idの明部および暗部のうち、所定の閾値以上の面積を有する明部および暗部を抽出する。そして、画像処理装置5は、抽出した明部および暗部について、明部と暗部との離間距離、明部と暗部との形状の類似度、および明部と暗部との面積の類似度とを算出する。特に、形状の類似度について、画像処理装置5は、凸形状部17の明部および暗部の形状の指標となる形状特徴量を算出し、この形状特徴量に基づいて、明部および暗部の形状の類似度を算出する。このような凸形状部17に関する形状特徴量として、例えば、後述する表面欠陥(凹形状部15)の検出処理における形状特徴量と同様のもの等が挙げられる。
 その後、画像処理装置5は、差分画像Idの明部および暗部の離間距離と形状の類似度と面積の類似度とに基づいて、差分画像Idの検出方向Fに沿った明部および暗部の配列が凸形状部17の明部および暗部の特定配列であるか否かを判定する。ここで述べる特定配列とは、図4に示した凸形状部画像18の明部18aおよび暗部18bに例示されるように、検出方向Fに沿って暗明の順に並ぶ明部および暗部の画像配列を意味する。画像処理装置5は、上述したように差分画像Idから抽出した明部および暗部のうち、特定配列であると判定した差分画像Idの明部および暗部の組み合わせを、凸形状部17の明部および暗部の組み合わせとして除去する。
 ここで、検査対象部位11の差分画像Idには、凸形状部17の明部および暗部の組み合わせが、1組に限らず、検出方向Fに沿って複数組、並んで含まれる場合があり得る。この場合、画像処理装置5は、差分画像Idから抽出した複数組の明部および暗部の組み合わせに対し、上述した特定配列の判定処理を差分画像Idの検出方向Fに沿って順次繰り返し実行する。これにより、画像処理装置5は、差分画像Idの検出方向F順に、特定配列であると判定した差分画像Idの明部および暗部の組み合わせ、すなわち、凸形状部17の明部および暗部の組み合わせを順次除去する。
 以上のようにして、画像処理装置5は、表面欠陥の検出処理に用いる差分画像Id(二値化された差分画像Idを含む)から、凸形状部17の画像、すなわち、表面欠陥ではない健全なスケールの画像を除去する。
 上述したステップS104を実行後、表面欠陥検出装置1は、ステップS104による凸形状部除去後の差分画像Idから、検査対象部位11に存在する凹形状部15を表面欠陥として検出する(ステップS105)。
 ステップS105において、画像処理装置5は、上述したステップS104(凸形状部17の画像の除去ステップ)後の差分画像Idに画像として含まれる残りの明部および暗部をもとに、検査対象部位11における凹形状部15の有無を判定する。この際、画像処理装置5は、上述したステップS104において差分画像Idの二値化処理およびラベリング処理等を行い差分画像Idから抽出した明部および暗部のうち、凸形状部17の明部および暗部を除去した後の残りの明部および暗部の形状特徴量を算出する。ここで述べる形状特徴量は、差分画像Idに残る明部および暗部の細長さの指標となる特徴量であり、表面欠陥としての凹形状部15の外形に応じて決まる。すなわち、このステップS105における形状特徴量は、表面欠陥の細長さの指標となる。画像処理装置5は、算出した形状特徴量または上述した残りの明部および暗部の検出方向Fに沿った配列に基づいて、凹形状部15の有無を判定する。
 この判定処理において、画像処理装置5は、凹形状部15が有ると判定した場合、有ると判定した凹形状部15を鋼管10の表面欠陥として検出する。この際、画像処理装置5は、上述した残りの明部および暗部のうち、凹形状部15の画像を構成する明部および暗部の組み合わせを表面欠陥として検出する。一方、画像処理装置5は、凹形状部15が無いと判定した場合、現在の検査対象部位11に鋼管10の表面欠陥が無いという検出結果を得る。
 上述したステップS105を実行後、表面欠陥検出装置1は、ステップS105による表面欠陥の検出結果を表示し(ステップS106)、本処理を終了する。ステップS106において、モニター6は、鋼管10における現在の検査対象部位11の表面欠陥の検出結果を画像処理装置5から取得し、取得した表面欠陥の検出結果を表示する。この際、モニター6は、表面欠陥の有無の判定結果、検出した表面欠陥を表す差分画像Id等、鋼管10に表面欠陥が存在するか否かを視認可能な情報を表示する。その後、表面欠陥検出装置1は、検査対象部位11が変更される都度、図5に示したステップS101~S106の各処理を繰り返し行う。
(凸形状部画像の除去処理)
 つぎに、上述したステップS104(図5参照)において検査対象部位11の差分画像Idから凸形状部17の画像を除去する処理、すなわち、凸形状部画像の除去処理を具体的に説明する。図6は、本発明の実施の形態における凸形状画像の除去処理を具体的に説明するための図である。図6に示す具体例では、検査対象部位11の差分画像Idから抽出された明暗の各画像、すなわち、明部31~37および暗部21~27に対して、ステップS104による凸形状部画像の除去処理が行われる場合を説明する。
 図6に示すように、明部31~37および暗部21~27は、所定の検出方向Fに沿って暗明の順に交互に配列されている。画像処理装置5(図1参照)は、上述したステップS104において、これらの明部31~37および暗部21~27のうち、検出方向Fに沿って明暗の順に配列されている明部および暗部を順次検出する。すなわち、画像処理装置5は、まず、検出方向Fの最も手前側(図6の紙面左側)の暗部21とその隣りの明部31とに注目する。そして、画像処理装置5は、注目した暗部21および明部31がスケールとしての凸形状部17の画像を構成するものであるか否かを判定する。
 この際、画像処理装置5は、差分画像Idにおける暗部21および明部31の離間距離と形状特徴量と面積とを各々算出する。ついで、画像処理装置5は、得られた各形状特徴量をもとに暗部21および明部31の形状の類似度を算出し、且つ、得られた各面積をもとに暗部21および明部31の面積の類似度を算出する。その後、画像処理装置5は、これらの算出した離間距離、形状の類似度、および面積の類似度と、予め設定された各閾値とを比較する。画像処理装置5は、この比較処理の結果、暗部21および明部31の離間距離が閾値以下であり、暗部21および明部31の形状の類似度と面積の類似度とが双方とも各閾値以上であるため、検出方向Fに沿った暗部21および明部31の配列を、凸形状部17に対応する特定配列(図4参照)であると判定する。画像処理装置5は、このように特定配列であると判定した暗部21および明部31の組み合わせを、凸形状部17の画像を構成するものであると判定する。
 上述した暗部21および明部31に関する判定処理の結果に基づき、画像処理装置5は、検出方向Fに沿って特定配列で並ぶ暗部21および明部31の組み合わせを、凸形状部17の画像を構成するものとして差分画像Idから除去する。
 続いて、画像処理装置5は、除去される前の明部31と検出方向Fに隣り合っていた暗部22と、その隣りの明部32とに注目する。そして、画像処理装置5は、注目した暗部22および明部32に対し、上述した暗部21および明部31の場合と同様の判定処理を行う。この結果、画像処理装置5は、検出方向Fに沿った暗部22および明部32の配列を、凸形状部17に対応する特定配列であると判定し、特定配列で並ぶ暗部22および明部32の組み合わせを、凸形状部17の画像を構成するものとして差分画像Idから除去する。その後、画像処理装置5は、除去される前の明部32と検出方向Fに隣り合っていた暗部23と、その隣りの明部33とに対し、上述した暗部21および明部31の場合と同様の判定処理を行う。この結果、画像処理装置5は、これら暗部23および明部33の配列を、凸形状部17に対応する特定配列であると判定し、特定配列で並ぶ暗部23および明部33の組み合わせを、凸形状部17の画像を構成するものとして差分画像Idから除去する。
 つぎに、画像処理装置5は、除去される前の明部33と検出方向Fに隣り合っていた暗部24と、その隣りの明部34とに注目する。そして、画像処理装置5は、注目した暗部24および明部34に対し、上述した暗部21および明部31の場合と同様の判定処理を行う。
 ここで、図6に示すように、暗部24および明部34は、検出方向Fに沿って暗明の順に配列されているものの、離間距離d1をもって離間している。この離間距離d1は、設定の閾値を超過する距離である。従って、画像処理装置5は、離間距離が閾値以下であるという条件を満たさない暗部24および明部34の検出方向Fに沿った配列を、凸形状部17に対応する特定配列ではないと判定する。この判定結果に基づき、画像処理装置5は、これら暗部24および明部34の組み合わせを、凸形状部17の画像を構成するものではないと判定し、故に、差分画像Idから暗部24および明部34を除去せずに残す。
 続いて、画像処理装置5は、上述したように除去せず残した明部34と検出方向Fに隣り合う暗部25と、その隣りの明部35とに注目する。そして、画像処理装置5は、注目した暗部25および明部35に対し、上述した暗部21および明部31の場合と同様の判定処理を行う。
 ここで、図6に示すように、暗部25および明部35は、検出方向Fに沿って暗明の順に配列されているものの、互いに著しく異なる形状(外形)および面積を有している。すなわち、これら暗部25および明部35の形状および面積の各類似度は、双方とも設定の閾値未満である。従って、画像処理装置5は、形状および面積の各類似度が双方とも閾値以上であるという条件を満たさない暗部25および明部35の検出方向Fに沿った配列を、凸形状部17に対応する特定配列ではないと判定する。この判定結果に基づき、画像処理装置5は、これら暗部25および明部35の組み合わせを、凸形状部17の画像を構成するものではないと判定し、故に、差分画像Idから暗部25および明部35を除去せずに残す。
 ついで、画像処理装置5は、上述したように除去せず残した明部35と検出方向Fに隣り合う暗部26と、その隣りの明部36とに注目する。そして、画像処理装置5は、注目した暗部26および明部36に対し、上述した暗部21および明部31の場合と同様の判定処理を行う。
 ここで、図6に示すように、暗部26および明部36は、検出方向Fに沿って暗明の順に配列されているものの、離間距離d2をもって離間し且つ互いに著しく異なる形状を有している。すなわち、これら暗部26および明部36において、離間距離d2は設定の閾値を超過する距離であり、形状の類似度は設定の閾値未満である。従って、画像処理装置5は、離間距離が閾値以下であるという条件と形状の類似度が閾値以上であるという条件との双方を満たさない暗部26および明部36の検出方向Fに沿った配列を、凸形状部17に対応する特定配列ではないと判定する。この判定結果に基づき、画像処理装置5は、これら暗部26および明部36の組み合わせを、凸形状部17の画像を構成するものではないと判定し、故に、差分画像Idから暗部26および明部36を除去せずに残す。
 その後、画像処理装置5は、上述したように除去せず残した明部36と検出方向Fに隣り合う暗部27と、その隣りの明部37とに注目する。そして、画像処理装置5は、注目した暗部27および明部37に対し、上述した暗部21および明部31の場合と同様の判定処理を行う。
 ここで、図6に示す暗部27および明部37は、離間距離が閾値以下であるという条件と、形状および面積の各類似度が双方とも閾値以上であるという条件とを満足している。従って、画像処理装置5は、これら暗部27および明部37の検出方向Fに沿った配列を、凸形状部17に対応する特定配列であると判定する。この判定結果に基づき、画像処理装置5は、特定配列で並ぶ暗部27および明部37の組み合わせを、凸形状部17の画像を構成するものとして差分画像Idから除去する。
 以上の結果、図6に示すように、暗部21~27および明部31~37のうち、スケールとしての凸形状部17に対応する暗部21~23,27および明部31~33,37が除去され、暗部24~26および明部34~36が残された。これら残りの暗部24~26および明部34~36は、図5に示したステップS105による表面欠陥の検出処理の対象画像になる。
 また、上述したように、ステップS104による凸形状部画像の除去処理において、画像処理装置5は、検出方向Fの順に、暗部21および明部31の組み合わせと、暗部22および明部32の組み合わせと、暗部23および明部33の組み合わせとを、1組ずつ順次判定処理して除去する。このため、画像処理装置5は、検出方向Fに沿って並ぶ暗部21~23および明部31~33のうち、隣り合う明部31および暗部22を1つの組み合わせであると誤判定することなく、且つ、隣り合う明部32および暗部23を1つの組み合わせであると誤判定することなく、凸形状部17に対応する暗部21~23および明部31~33の各組み合わせを正しく判定することができる。これにより、画像処理装置5は、凸形状部画像の明部および暗部の組み合わせ以外の明部および暗部、すなわち、表面欠陥としての凹形状部15の画像を構成する明部および暗部の候補を、差分画像Idに正しく残すことができる。
(表面欠陥の形状特徴量)
 つぎに、本発明の実施の形態における表面欠陥の形状特徴量、すなわち、表面欠陥として検出される凹形状部15の形状特徴量について具体的に説明する。図7は、本発明の実施の形態における表面欠陥の形状特徴量の一例を説明するための図である。図8は、本発明の実施の形態における表面欠陥の形状特徴量の別例を説明するための図である。図9は、本発明の実施の形態における表面欠陥の形状特徴量の更なる別例としての円形度を説明するための図である。図10は、本発明の実施の形態における表面欠陥の形状特徴量の更なる別例としての凸多角形充填率を説明するための図である。
 本発明の実施に形態において、鋼管10の表面欠陥は、表面疵等のように凹形状をなす部分である。このような表面欠陥としての凹形状部15の明暗パターンは、図3,4を参照して分かるように、健全なスケールとしての凸形状部17と逆のパターンになる。すなわち、差分画像Idにおいて、凹形状部15の画像は、検出方向Fに沿って明暗の順に配列される明部および暗部の組み合わせによって構成される。従って、画像処理装置5は、図5に示したステップS105において、凸形状部画像を除去後の差分画像Idに残る明部および暗部に対し、検出方向Fに沿って明暗の順に配列される明部および暗部の組み合わせの有無を判定することにより、凹形状部15に対応する明部および暗部の組み合わせ、すなわち、表面欠陥を検出することができる。
 しかしながら、検査対象部位11における表面欠陥の形状や位置によっては、上述した凹形状部15に対応する明暗パターンができないことがある。具体的には、鋼材(特に鋼管10)の表面において法線ベクトル方向が撮像部3a,3bの光軸方向と大きく異なり、且つ、表面欠陥の形状(凹形状部15の外形)が細長い場合には、明部および暗部のいずれか一方が撮像部3a,3bの撮像視野から隠れる可能性がある。この場合、凹形状部15の明部および暗部のいずれかのみが撮像部3a、3bによって検出(撮像)されるため、差分画像Idに凹形状部15の画像の明暗パターンができないことがある。
 それ故、画像処理装置5は、上述したステップS105において、凹形状部15の明部および暗部の配列を判定し認識することによって表面欠陥を検出するロジックとは別に、表面欠陥の形状を認識することによって細長欠陥(細長い凹形状部15)を検出するロジックを備えている。ここで述べる細長欠陥とは、直線状に細長い形状特徴を持つ表面欠陥のことを意味する。画像処理装置5は、凸形状部画像を除去した後の差分画像Idに残る表面欠陥としての凹形状部15の明部および暗部について、細長さの指標となる表面欠陥の形状特徴量を算出し、算出した表面欠陥の形状特徴量に基づいて細長欠陥を検出する。
 ここで、細長さの指標となる表面欠陥の形状特徴量としては、楕円の長軸短軸比、最大フェレ径、円形度、および凸多角形充填率を例示することができる。具体的には、画像処理装置5は、形状特徴量として長軸短軸比を算出する場合、図7に示すように、まず、差分画像Idにおける残りの明部または暗部に対して楕円Rをフィッティングする。明部または暗部の画像に楕円Rをフィッティングする方法としては最小二乗法や二次モーメント導出法等があるが、計算時間を考慮すると二次モーメント導出法の方が有用である。そして、画像処理装置5は、フィッティングした楕円Rの長軸L1および短軸L2の長さを算出し、算出した長軸L1と短軸L2との比を形状特徴量とする。
 一方、フェレ径とは、図8に示すように、明部または暗部の画像を1次元に正射影した時の写像の長さL3のことである。画像処理装置5は、形状特徴量として最大フェレ径を算出する場合、まず、差分画像Idにおける残りの明部または暗部を180度回転させながら正射影の長さの最大値を最大フェレ径として算出する。そして、画像処理装置5は、最大フェレ径が算出された箇所に直交する方向のフェレ径と最大フェレ径との比を形状特徴量とする。
 他方、円形度とは、図9に示すように、明部または暗部の面積を明部および暗部の周の長さの二乗で割った値を明部または暗部の形状が円に近いほど値が「1」に近くなるように正規化した値のことを意味する。また、凸多角形充填率とは、図10に示すように、明部または暗部に外接する多角形の面積に対する明部または暗部の面積比のことを意味し、明部または暗部が直線状であるほど値は「1」に近くなる。従って、画像処理装置5は、明部または暗部の円形度が低く、逆に凸多角形充填率が高ければ、その明部または暗部の形状は細長形状であると判定できる。
 なお、上述したステップS105において、画像処理装置5は、細長欠陥を検出する際、表面欠陥の形状特徴量だけでなく、縦向き、横向き、または斜め向き等の表面欠陥の向きも考慮することにより、細長欠陥の検出精度を向上させることができる。例えば、画像処理装置5は、表面欠陥の形状特徴量として長軸短軸比を算出した場合、長軸が向いている方向を求めることにより、表面欠陥としての凹形状部15の明部または暗部の向きを確認することができる。また、画像処理装置5は、表面欠陥の形状特徴量として最大フェレ径を算出した場合、最大フェレ径が得られた時の明部または暗部の画像の回転角を求めることにより、表面欠陥としての凹形状部15の明部または暗部の向きを確認することができる。一方、詳細は割愛するが、画像処理装置5は、特定方向を強調する線形フィルターに画像をかけることにより、表面欠陥としての凹形状部15の明部または暗部の向きを確認することもできる。
 以上、説明したように、本発明の実施の形態では、鋼材の表面のうち検査対象部位に対して、弁別可能な第1および第2の照明光を、互いに反対側に傾斜する方向から略同一の入射角度で各々照射し、第1の照明光によって照明された検査対象部位の第1の画像と、第2の照明光によって照明された検査対象部位の第2の画像とを各々撮像して、これら第1の画像と第2の画像との差分画像を生成し、差分画像の明部および暗部の中から、第1または第2の照明光の照射方向に対応する所定方向に沿った明部および暗部の配列に基づいて、検査対象部位における凸形状部の明部および暗部の組み合わせを除去し、この除去処理後の残りの明部および暗部の形状特徴量または所定方向に沿った配列に基づいて、検査対象部位における凹形状部の有無を判定し、有りと判定した凹形状部を鋼材の表面欠陥として検出している。
 このため、上述した差分画像を生成する差分処理により、検査対象部位の健全な無害模様の画像を除去して、表面欠陥の検出対象から無害模様の画像を除外することができ、さらには、無害模様を除去した差分画像から、表面欠陥ではない健全なスケールとしての凸形状部の画像を除去して、表面欠陥の検出対象からスケールの画像の明部および暗部を除外することができる。これに加え、無害模様および凸形状部の画像が予め除去された差分画像の残りの明部および暗部を用いて、表面欠陥の形状によらず、様々な外形の凹形状部の有無を判定することができる。故に、無害模様や凸形状部の明部および暗部に起因するノイズを可能な限り低減しながら、細長形状、円形状あるいは多角形状等の様々な外形の凹形状部を表面欠陥として検出できるとともに、凸形状部である健全なスケールを表面欠陥として誤って検出する過検出の発生を大幅に抑制することができる。この結果、鋼材の表面欠陥をその欠陥形状によらず正しく検出できるとともに、健全なスケールや無害模様と表面欠陥とを精度よく弁別することができる。このことから、不適合鋼材(不適合の鉄鋼製品および半製品)の大量流出を防止して、鋼材の歩留まりを向上することができる。
 なお、上述した実施の形態では、差分処理における加算画像を先ず撮像し、その後、減算画像を撮像していたが、これに限定されず、先ず減算画像を撮像し、その後、加算画像を撮像してもよい。すなわち、撮像部3aは、検査対象部位11の2次元画像Iaを減算画像として撮像し、撮像部3bは、検査対象部位11の2次元画像Ibを加算画像として撮像してもよい。この際、差分画像Idにおける各画素の輝度値Id(x,y)は、加算画像としての2次元画像Ibにおける各画素の輝度値Ib(x,y)から減算画像としての2次元画像Iaにおける各画素の輝度値Ia(x,y)を減じることによって算出すればよい。
 また、上述した実施の形態では、照射部2bの照射方向ベクトルを検査対象部位11に正射影したベクトル(すなわち正射影ベクトル)の方向を検出方向Fとしていたが、本発明は、これに限定されるものではない。本発明において、検出方向Fは、差分画像Idについて一定の方向であれば、照射部2bの照射方向ベクトルに対応する正射影ベクトルの方向と同じであってもよいし、照射部2aの照射方向ベクトルに対応する正射影ベクトルの方向と同じであってもよい。
 さらに、上述した実施の形態では、凸形状部画像の明部および暗部の特定配列を、検出方向Fに沿って暗明の順に並ぶ配列としていたが、本発明は、これに限定されるものではない。本発明において、凸形状部画像の明部および暗部の特定配列は、凹形状部画像の明部および暗部の配列と逆パターンであれば、検出方向Fに沿って明暗または暗明のいずれの順に並ぶ配列であってもよい。
 また、上述した実施の形態では、検査対象の鋼材として円筒形状の鋼管10を例示したが、本発明は、これに限定されるものではない。本発明において、検査対象の鋼材は、鋼管(継目無鋼管、溶接鋼管等)、鋼板(熱延鋼板、冷延鋼板、厚板等)、あるいは形鋼等の鉄鋼製品であってもよいし、鉄鋼製品の製造過程で生成されるスラブ等の半製品であってもよい。
 また、上述した実施の形態により本発明が限定されるものではなく、上述した各構成要素を適宜組み合わせて構成したものも本発明に含まれる。その他、上述した実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例および運用技術等は全て本発明の範疇に含まれる。
 以上のように、本発明に係る表面欠陥検出装置および表面欠陥検出方法は、鋼材の表面欠陥の光学的な検出に有用であり、特に、鋼材のスケールや無害模様と表面欠陥とを精度よく弁別することができる表面欠陥検出装置および表面欠陥検出方法に適している。
 1 表面欠陥検出装置
 2a,2b 照射部
 3a,3b 撮像部
 4 ファンクションジェネレータ
 5 画像処理装置
 5a 差分器
 6 モニター
 10 鋼管
 11 検査対象部位
 12a,12b 照明光
 15 凹形状部
 16 凹形状部画像
 16a,18a,31~37 明部
 16b,18b,21~27 暗部
 17 凸形状部
 18 凸形状部画像
 F 検出方向
 Ia,Ib 2次元画像
 Id 差分画像
 R 楕円
 Sa,Sb,S1,S2 画像信号

Claims (6)

  1.  鋼材の表面のうち検査対象部位に対して傾斜する方向から、照明光を前記検査対象部位に照射する第1の照射手段と、
     前記第1の照射手段の照明光によって照明された前記検査対象部位の第1の画像を撮像する第1の撮像手段と、
     前記第1の照射手段と弁別可能であり、前記検査対象部位に対して前記第1の照射手段とは反対側に傾斜する方向から、前記第1の照射手段と略同一の入射角度で照明光を前記検査対象部位に照射する第2の照射手段と、
     前記第2の照射手段の照明光によって照明された前記検査対象部位の第2の画像を撮像する第2の撮像手段と、
     前記第1の画像と前記第2の画像との差分画像を生成し、前記差分画像の明部および暗部の中から、前記第1または第2の照射手段の照明光の照射方向に対応する前記差分画像の所定方向に沿った明部および暗部の配列に基づいて、前記検査対象部位における凸形状部の明部および暗部の組み合わせを除去し、残りの前記明部および前記暗部の細長さの指標となる形状特徴量または前記所定方向に沿った配列に基づいて、前記検査対象部位における凹形状部の有無を判定し、前記凹形状部を前記鋼材の表面欠陥として検出する画像処理手段と、
     を備えたことを特徴とする表面欠陥検出装置。
  2.  前記画像処理手段は、前記差分画像の明部および暗部の離間距離と形状の類似度と面積の類似度とに基づいて、前記差分画像の所定方向に沿った明部および暗部の配列が前記凸形状部の明部および暗部の特定配列であるか否かを判定し、前記特定配列であると判定した前記差分画像の明部および暗部の組み合わせを、前記凸形状部の明部および暗部の組み合わせとして除去することを特徴とする請求項1に記載の表面欠陥検出装置。
  3.  前記画像処理手段は、前記差分画像の所定方向順に前記凸形状部の明部および暗部の組み合わせを除去することを特徴とする請求項1または2に記載の表面欠陥検出装置。
  4.  鋼材の表面のうち検査対象部位に対して傾斜する方向から、第1の照射手段によって照明光を前記検査対象部位に照射し、前記第1の照射手段の照明光によって照明された前記検査対象部位の第1の画像を撮像する第1の撮像ステップと、
     前記第1の照射手段と弁別可能な第2の照射手段により、前記検査対象部位に対して前記第1の照射手段とは反対側に傾斜する方向から、前記第1の照射手段と略同一の入射角度で照明光を前記検査対象部位に照射し、前記第2の照射手段の照明光によって照明された前記検査対象部位の第2の画像を撮像する第2の撮像ステップと、
     前記第1の画像と前記第2の画像との差分画像を生成する差分画像生成ステップと、
     前記差分画像の明部および暗部の中から、前記第1または第2の照射手段の照明光の照射方向に対応する前記差分画像の所定方向に沿った明部および暗部の配列に基づいて、前記検査対象部位における凸形状部の明部および暗部の組み合わせを除去する除去ステップと、
     前記除去ステップ後の残りの前記明部および前記暗部の細長さの指標となる形状特徴量または前記所定方向に沿った配列に基づいて、前記検査対象部位における凹形状部の有無を判定し、前記凹形状部を前記鋼材の表面欠陥として検出する表面欠陥検出ステップと、
     を含むことを特徴とする表面欠陥検出方法。
  5.  前記除去ステップは、前記差分画像の明部および暗部の離間距離と形状の類似度と面積の類似度とに基づいて、前記差分画像の所定方向に沿った明部および暗部の配列が前記凸形状部の明部および暗部の特定配列であるか否かを判定し、前記特定配列であると判定した前記差分画像の明部および暗部の組み合わせを、前記凸形状部の明部および暗部の組み合わせとして除去することを特徴とする請求項4に記載の表面欠陥検出方法。
  6.  前記除去ステップは、前記差分画像の所定方向順に前記凸形状部の明部および暗部の組み合わせを除去することを特徴とする請求項4または5に記載の表面欠陥検出方法。
PCT/JP2016/068516 2015-06-25 2016-06-22 表面欠陥検出装置および表面欠陥検出方法 Ceased WO2016208622A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680036476.8A CN107709977B (zh) 2015-06-25 2016-06-22 表面缺陷检测装置及表面缺陷检测方法
JP2016560602A JP6079948B1 (ja) 2015-06-25 2016-06-22 表面欠陥検出装置および表面欠陥検出方法
KR1020187002109A KR102073229B1 (ko) 2015-06-25 2016-06-22 표면 결함 검출 장치 및 표면 결함 검출 방법
EP16814392.3A EP3315951B1 (en) 2015-06-25 2016-06-22 Surface defect detection apparatus and surface defect detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015127626 2015-06-25
JP2015-127626 2015-06-25

Publications (1)

Publication Number Publication Date
WO2016208622A1 true WO2016208622A1 (ja) 2016-12-29

Family

ID=57586384

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/068516 Ceased WO2016208622A1 (ja) 2015-06-25 2016-06-22 表面欠陥検出装置および表面欠陥検出方法

Country Status (5)

Country Link
EP (1) EP3315951B1 (ja)
JP (1) JP6079948B1 (ja)
KR (1) KR102073229B1 (ja)
CN (1) CN107709977B (ja)
WO (1) WO2016208622A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022239158A1 (ja) * 2021-05-12 2022-11-17
CN121409984A (zh) * 2025-12-24 2026-01-27 广州深路自动化科技有限公司 一种木板缺陷检测方法及系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6753553B1 (ja) 2018-11-30 2020-09-09 Jfeスチール株式会社 表面欠陥検出方法、表面欠陥検出装置、鋼材の製造方法、鋼材の品質管理方法、鋼材の製造設備、表面欠陥判定モデルの生成方法、及び表面欠陥判定モデル
CN111292290A (zh) * 2018-12-07 2020-06-16 合肥欣奕华智能机器有限公司 被测目标物表面缺陷判别方法及装置、计算机可读取介质
IT201900006925A1 (it) 2019-05-16 2020-11-16 Sica Spa Sistema di controllo della qualità di lavorazione di tubi in materiale termoplastico
CN110813798A (zh) * 2019-12-07 2020-02-21 浙江科技学院 一种基于视觉的棒料缺陷检测装置及方法
CN111462053A (zh) * 2020-03-18 2020-07-28 深圳科瑞技术股份有限公司 一种图像形态学处理方法和系统
KR20240129014A (ko) 2022-03-03 2024-08-27 제이에프이 스틸 가부시키가이샤 금속 재료의 표면 검사 방법, 금속 재료의 표면 검사 장치 및, 금속 재료
KR20240100906A (ko) * 2022-12-23 2024-07-02 엘지이노텍 주식회사 대상체의 불량 검출 장치 및 대상체의 불량 검출 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04294204A (ja) * 1991-03-25 1992-10-19 Hitachi Ltd 物体表面の欠陥抽出装置
JP2000241362A (ja) * 1999-02-18 2000-09-08 Spectra Physics Visiontech Oy 表面品質検査装置及びその方法
JP2001514386A (ja) * 1997-08-22 2001-09-11 スペクトラ−フィジックス・ビジョンテック・オイ 移動表面の自動的な検査のための方法及び装置
JP2006329919A (ja) * 2005-05-30 2006-12-07 Sumitomo Metal Mining Co Ltd 照明装置、該照明装置を用いた画像処理装置および画像処理方法
JP2009281742A (ja) * 2008-05-19 2009-12-03 Nippon Steel Corp 判別方法、判別装置及びプログラム
JP2010223597A (ja) * 2009-03-19 2010-10-07 Nippon Steel Corp 表面欠陥検査装置及び表面欠陥検査方法
JP2010223621A (ja) * 2009-03-19 2010-10-07 Sumitomo Metal Ind Ltd 管状品の内表面検査方法
EP2693403A1 (de) * 2012-08-01 2014-02-05 AIT Austrian Institute of Technology GmbH Verfahren zur Prüfung eines zusammenhängenden Bildbereichs auf Fehler im Oberflächenbereich eines Gegenstands
WO2015098929A1 (ja) * 2013-12-27 2015-07-02 Jfeスチール株式会社 表面欠陥検出方法及び表面欠陥検出装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5952735A (ja) 1982-09-20 1984-03-27 Kawasaki Steel Corp 熱間鋼片の表面欠陥検出方法
JPH1137949A (ja) 1997-07-22 1999-02-12 Sumitomo Metal Ind Ltd 表面疵検知方法及び装置
CN1844901A (zh) * 2005-04-08 2006-10-11 欧姆龙株式会社 缺陷检查方法以及利用该方法的缺陷检查装置
JP2008145226A (ja) * 2006-12-08 2008-06-26 Olympus Corp 欠陥検査装置及び欠陥検査方法
JP5498189B2 (ja) * 2010-02-08 2014-05-21 株式会社日立ハイテクノロジーズ 欠陥検査方法及びその装置
CN202149886U (zh) * 2011-06-23 2012-02-22 云南省印刷技术研究所 印刷质量检测装置
JP5882730B2 (ja) * 2011-12-28 2016-03-09 株式会社ブリヂストン 外観検査装置及び外観検査方法
JP5943722B2 (ja) * 2012-06-08 2016-07-05 三菱重工業株式会社 欠陥判定装置、放射線撮像システム、及び欠陥判定方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04294204A (ja) * 1991-03-25 1992-10-19 Hitachi Ltd 物体表面の欠陥抽出装置
JP2001514386A (ja) * 1997-08-22 2001-09-11 スペクトラ−フィジックス・ビジョンテック・オイ 移動表面の自動的な検査のための方法及び装置
JP2000241362A (ja) * 1999-02-18 2000-09-08 Spectra Physics Visiontech Oy 表面品質検査装置及びその方法
JP2006329919A (ja) * 2005-05-30 2006-12-07 Sumitomo Metal Mining Co Ltd 照明装置、該照明装置を用いた画像処理装置および画像処理方法
JP2009281742A (ja) * 2008-05-19 2009-12-03 Nippon Steel Corp 判別方法、判別装置及びプログラム
JP2010223597A (ja) * 2009-03-19 2010-10-07 Nippon Steel Corp 表面欠陥検査装置及び表面欠陥検査方法
JP2010223621A (ja) * 2009-03-19 2010-10-07 Sumitomo Metal Ind Ltd 管状品の内表面検査方法
EP2693403A1 (de) * 2012-08-01 2014-02-05 AIT Austrian Institute of Technology GmbH Verfahren zur Prüfung eines zusammenhängenden Bildbereichs auf Fehler im Oberflächenbereich eines Gegenstands
WO2015098929A1 (ja) * 2013-12-27 2015-07-02 Jfeスチール株式会社 表面欠陥検出方法及び表面欠陥検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3315951A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022239158A1 (ja) * 2021-05-12 2022-11-17
WO2022239158A1 (ja) * 2021-05-12 2022-11-17 日本電気株式会社 検査装置
US12510490B2 (en) 2021-05-12 2025-12-30 Nec Corporation Inspection apparatus for inspecting a container
JP7798099B2 (ja) 2021-05-12 2026-01-14 日本電気株式会社 検査装置
CN121409984A (zh) * 2025-12-24 2026-01-27 广州深路自动化科技有限公司 一种木板缺陷检测方法及系统

Also Published As

Publication number Publication date
EP3315951B1 (en) 2025-08-06
KR20180019734A (ko) 2018-02-26
CN107709977A (zh) 2018-02-16
CN107709977B (zh) 2020-05-08
EP3315951A4 (en) 2018-12-26
JP6079948B1 (ja) 2017-02-15
EP3315951A1 (en) 2018-05-02
KR102073229B1 (ko) 2020-03-02
JPWO2016208622A1 (ja) 2017-06-29

Similar Documents

Publication Publication Date Title
JP6079948B1 (ja) 表面欠陥検出装置および表面欠陥検出方法
KR101832081B1 (ko) 표면 결함 검출 방법 및 표면 결함 검출 장치
JP6447637B2 (ja) 表面欠陥検出装置、表面欠陥検出方法、及び鋼材の製造方法
CN113196040B (zh) 表面缺陷检测方法、表面缺陷检测装置、钢材的制造方法、钢材的品质管理方法、钢材的制造系统、表面缺陷判定模型的生成方法及表面缺陷判定装置
JP6394514B2 (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
JP6119663B2 (ja) 表面欠陥検出方法及び表面欠陥検出装置
JP6646339B2 (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
JP5888035B2 (ja) 円筒体又は円柱体材料の表面欠陥検査方法及び装置
JP2020008501A (ja) 表面欠陥検出装置及び表面欠陥検出方法
US20220292665A1 (en) Workpiece surface defect detection device and detection method, workpiece surface inspection system, and program
JP6387909B2 (ja) 表面欠陥検出方法、表面欠陥検出装置、及び鋼材の製造方法
JP4739044B2 (ja) 外観検査装置
JP6566903B2 (ja) 表面欠陥検出方法および表面欠陥検出装置
JP6064942B2 (ja) 表面欠陥検出方法及び表面欠陥検出装置
JP5231779B2 (ja) 外観検査装置
JP6185539B2 (ja) 光コネクタのフェルール端面検査装置および検査用のプログラム
JP2021032711A (ja) 表面欠陥検出装置、表面欠陥検出方法、及び鋼材の製造方法
JP2016217877A (ja) 欠損検査装置、及び欠損検査方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016560602

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16814392

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20187002109

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2016814392

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 2016814392

Country of ref document: EP