CN1296148C - 一种水果外观质量在线检测技术的视觉数据处理系统 - Google Patents

一种水果外观质量在线检测技术的视觉数据处理系统 Download PDF

Info

Publication number
CN1296148C
CN1296148C CN 200510038530 CN200510038530A CN1296148C CN 1296148 C CN1296148 C CN 1296148C CN 200510038530 CN200510038530 CN 200510038530 CN 200510038530 A CN200510038530 A CN 200510038530A CN 1296148 C CN1296148 C CN 1296148C
Authority
CN
China
Prior art keywords
image
fruit
image processing
dynamic
visual data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 200510038530
Other languages
English (en)
Other versions
CN1663697A (zh
Inventor
赵杰文
邹小波
黄星奕
蔡健荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN 200510038530 priority Critical patent/CN1296148C/zh
Publication of CN1663697A publication Critical patent/CN1663697A/zh
Application granted granted Critical
Publication of CN1296148C publication Critical patent/CN1296148C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及一种实时在线检测和分级的机器视觉检测系统的软件实现方法,其由高质量动态图像获取、图像在外触发控制下的动态交换和图像处理三个经图像视觉数据信号依次连接而成的模块组成。其中所述的高质量动态图像的获取包括利用摄像头实时拍摄的原始图像采集模块、对采集的彩色编码进行解码Bayer转换模块和对数据进行线形处理的Gamma校正模块;所述的图像在外触发控制下的动态交换通过摄像头拍摄、图像处理模块和缓冲区中删除操作,实现系统对触发接口进行的不间断探测;所述的图像处理模块包括视野内通过背景分割、单体分割实行的图像快速分割、序列图像的有序存储等图像处理模块。其通过对视觉系统的视觉智能识别,综合判断每一水果的等级,并确定每个水果的位置信息,为水果外观质量在线检测提供判断依据。

Description

一种水果外观质量在线检测技术的视觉数据处理系统
所属技术领域
本发明涉及一种实时在线检测和分级的机器视觉检测系统的软件实现方法,特指一种水果外观质量在线检测技术的视觉数据处理系统。
背景技术
近年来,利用机器视觉技术进行水果的分级得到广泛的研究,相关美国专利有,Yang Tao等人的美国专利“Method and apparatus for sorting objects by color(通过颜色对物品进行分级的方法和装置)申请号:5339963”,用一个彩色摄像头对输送链上的物品进行快速检测与分级,主要用HIS颜色系统中的色度(H)进行分类计算。Yang Tao等人的美国专利“Methodand apparatus for sorting objects by color including stable color tansformation(用颜色对物品进行分级的方法和装置包括一种静态图像的转换方法)申请号:5533628”,描述了一种基于单个摄像头的水果分级系统。国内,有应义斌等人在他们所申请的多个相关中国专利(申请号:02136377.3,02266031.3,02160193.302295073.7,02295073.7)中也描述了一种基于单个摄像头的水果分级系统;专利申请号:200410065216.2中通过选用高速的数字信号摄像头解决以往模拟信号摄像头下图像由于运动而产生的模糊与多噪声问题,同时利用三个摄像系统同时在线拍摄,可以检测到水果全表面图像和检测水果缺陷等单个摄像系统无法完成的工作。这些系统由水果输送翻转系统、计算机视觉识别系统、分级系统组成。水果在输送装置上以一定速度向前输送,并使水果绕水平轴自由转动,摄像头摄取水果表面的图像信息。通过计算机视觉系统的视觉智能识别,综合判断每一水果的等级,并确定每个水果的位置信息,由计算机识别系统的控制模块将指令传输给分级系统,完成水果的分级。
但是在计算机视觉系统中通过图像采集卡如何获取高质量图像、如何使图像在外触发控制下动态交换、如何快速有效的进行初步分割以及如何使序列图像进行有序处理与存储等几个必经步骤的软件实现上未见报道。
发明内容
本发明提供一种水果外观质量在线检测技术的视觉数据处理系统系统,其可针对现有的一种基于三个摄像系统在线水果品质检测分级的装置与方法,中国专利申请号:200410065216.2,在高速的水果检测线上,用软件实现外触发控制获取高速数字摄像头中的图像和对序列图像进行快速分割、有序处理与存储。
本发明的技术方案如下:
本发明由高质量动态图像获取、图像在外触发控制下的动态交换和图像处理三个经图像视觉数据信号依次连接而成的模块组成。
所述的高质量动态图像的获取包括原始图像采集、Bayer转换和Gamma校正等功能模块,原始图像是通过Matrox meteorII系列板卡和Uniq-uc610摄像头对待检测的在线水果进行实时拍摄得至的,采集到的原始图像是10位的单色图像。Bayer转换就是根据原始单色图像自身的彩色编码进行解码的一个过程。Gamma校正的方法就是通过一次非线性拉伸从而使帧缓冲区的值与最终的显示亮度成线性关系。取出每个象素的RGB值,选用校正Gamma=0.45(0.45=1/2.2)进行调整,即R′=255(R/255)0.45 G′=255(G/255)0.45B′=255(B/255)0.45然后把R′G′B′分别赋给原来的R、G、B值即可得到较好的效果。
所述的图像在外触发控制下的动态交换是指实现如下功能:
(1)当整个检测线的软件系统开始运行的时候,摄像头拍摄、图像处理模块和缓冲区中删除操作就进入一个无限等待状态,也即系统对触发接口进行的不间断探测。
(2)水果随着生产线的移动,在某一个位置产生一个触发信号A,信号A被系统捕捉到且同时通知摄像头进行拍摄动作。
(3)摄像头拍摄结束马上义处于准备状态,等待系统发过来的下一个拍摄信号。
(4)拍摄到的图像随后进入一个缓冲区,并给图像处理模块发送消息B。
(5)图像处理模块不断的探测缓冲区,判断缓冲区发送消息B是否有效。如果有效,就开始真正意义上的图像处理操作,图像处理完后发送消息C。
(6)缓冲区中删除操作判断消息B和消息C,当两者同时有效时进行删除操作,删除操作完成后重新回到(1)。
所述的图像处理模块包括视野内图像的快速分割、序列图像的有序存储等图像处理模块。
所述的视野内图像的快速分割包括背景分割、单体分割等功能,即除了要把对象物从背景中分离出来外,还需把三个水果各自分开(即单体分割),并且为了减少后续的处理时间还要把它们限定在最小的范围之内。
所述的背景分割采用能适合在线操作,针对水果图像的特殊性,提出一种陷阱法分割背景。所述的陷阱法是通过如下操作实现的:把黑色背景上的水果图像当作陷阱,水果上的果梗果萼或缺陷自然就是陷阱中的小岛。扫描图像的某一行时记录进入陷阱的位置和爬出陷进的位置,把两位置之外作为背景。当遇上小岛也会有相应的进出位置,可以通过设定标记把小岛忽略。
所述的单体分割即实现把视野图像中的多幅水果图像分开,且把单个水果图像限定在它的外接矩形中。单体分割是通过跳格法实现的,跳格法是通过如下方法进行的:
(1)在整个图像区域内从最左端开始进行单步扫描,直到碰到水果象素,从而得到最左边的点。
(2)中途扫描方法是刚碰到水果象素就跳出此次循环,然后进行下一纵行扫描。
(3)直到有一纵行没有扫描到水果象素为止,此时程序判断顺序纵向扫描结束。
(4)最后一列扫描线并不对应水果最右边的点,所以还需进行一轮逆序纵向单步回扫找到水果象素,扫描结束。
(5)得到子图像上下两点的横向扫描原理与此类似。
(6)以这4个点为基础,作苹果外接矩形。
所述的序列图像的有序存储是通过定义一个3*3*4的三维动态数组R[3][3][4],该数组的第一维表示三个子图像(也即单个水果的图像),第二维表示某单个水果的三个不同角度的图像,第三维表示某个角度下大小、形状、颜色、缺陷四个特征值。数组的第一维下标与触发次数的关系
n=(I-1)%3其中I为触发次数。
第二维下标0对应某一苹果第一幅图像,1对应某一苹果第二幅图像,2对应某一苹果第三幅图像。
将该动态数组的元素不断进入清空,但最后运用ADO(自动数字联机测试系统)技术把动态数组清空前一刻的值写进了数据库。
本发明通过以上的技术方案,获得的如下效果:通过应用Bayer转换技术,Gamma校正技术对摄像头输出的质量较差的单色图像进行一系列变换,得到了比较满意的图像,基本解决了图像原始信号获取的问题,为其后对该图像需要进行的一系列处理过程打下了基础。跳格法分割子图像,不但把背景完全去除而且最大限度的保留了水果原有的特征(如果梗、果萼、缺陷等),同时速度非常快,为整个程序处理节省了不少时间。图像的缓冲处理与多线程技术旨在提高系统运行效率。序列图像的算法为在线检测的后续机械操作奠定了基础,所有运算结果还实时的存入了数据库,为对比检验提供了依据。
附图说明
图1各功能模块之间的连接关系示意图;
图2UC-610的色彩编码图
图3图像在外触发控制下的动态交换流程图;
图4跳格法单体分割中的纵向横向扫描示意图;
图5序列图像演示;
具体实施方式
下面结合附图对本发明三个功能模块作进一步描述:
如图1所示,三个功能模块由图像视觉数据信号依次连接而成。
1.高质量动态图像的获取模块:该模块包括原始图像采集、Bayer转换和Gamma校正等功能模块,原始图像是通过Matrox meteorII板卡和Uniq-uc610摄像头对待检测的在线水果进行实时拍摄得到的,采集到的原始图像是10位的单色图像,其编码如图2所示;Bayer转换该象素的其他彩色分量就可以通过周边象素获得。即如果源象素是G值,则目标象素的R、B值由源象素的2邻域的平均值求得;如果源象素是R或者是B,那么目标象素的其余两个颜色值则通过源象素的4邻域的平均值求得。通过该方法转换后的图像颜色真实度很高。Gamma校正的方法就是通过一次非线性拉伸从而使帧缓冲区的值与最终的显示亮度成线性关系。取出每个象素的RGB值,选用校正Gamma=0.45(0.45=1/2.2)进行调整,即R′=255(R/255)0.45 G′=255(G/255)0.45 B′=255(B/255)0.45然后把R′G′B′分别赋给原来的R、G、B值即可得到较好的效果。
2.图像在外触发控制下的动态交换模块:
采用的触发装置是光电耦合传感器,有发射端和接收端。当系统开始运行的时候,触发就进入一个无限等待状态,也即系统对触发接口进行的不间断探测。水果随着生产线的移动,切断了发射端与接收端的光连通,因为系统设置成从高电平到低电平的过程为有效,所以从连通到阻断就产生一个触发信号,这个信号被系统捕捉到且同时通知摄像头进行拍摄动作。摄像头拍摄结束马上又处于准备状态,等待系统发过来的下一个拍摄信号,如此周而复始。拍摄到的图像随后进入一个缓冲区,等待图像处理模块的操作。图像处理模块在系统开始运行的时候也已经启动,也进入了一个无限等待状态,然后不断的探测缓冲区,判断缓冲区是否有有效的信息。如果找到有效信息,就开始真正意义上的图像处理操作。因为缓冲区的容量有限,所以处理结束的图像需要从缓冲区中删除。删除操作也要进入一个无限等待状态,在缓冲区中有信息的时候进入,而等待的是图像处理模块在操作结束后发送过来的完成信号。该过程的程序流程图如图3。
3.所述的图像处理模块包括视野内图像的快速分割、序列图像的有序存储等图像处理模块。
(1)视野内图像的快速分割模块:
用陷阱法把对象物从背景中分离出来外,通过跳格扫描法把三个水果各自分开(即单体分割),且把单个水果图像限定在它的外接矩形中。其中陷阱法为:把黑色背景上的水果图像当作陷阱,水果上的果梗果萼或缺陷自然就是陷阱中的小岛,扫描图像的某一行时记录进入陷阱的位置和爬出陷进的位置,把两位置之外作为背景,当遇上小岛也会有相应的进出位置,可以通过设定标记把小岛忽略。用陷阱法分割出背景后的图像,不但把背景完全去除而且最大限度的保留了水果原有的特征(如果梗、果萼、缺陷等)。跳格扫描法如图4所示,首先在整个图像区域内从最左端开始进行单步扫描,直到碰到水果象素,从而得到最左边的点。为减少扫描时间,在水果象索上进行跳格扫描。中途也并不是像图4所示必须扫描一整个纵行再跳格,而是刚碰到水果象素就跳出此次循环,然后进行下一纵行扫描。如此下去必将有一纵行没有扫描到水果象素,此时程序判断顺序纵向扫描结束。最后一列扫描线并不对应水果最右边的点,所以还需进行一轮逆序纵向扫描。最后一列扫描线与水果最右边的点相距不远,不适宜再做跳格扫描,而是进行单步回扫,找到水果象素,扫描结束。得到子图像上下两点的横向扫描原理与此类似。
(2)序列图像的有序存储模块:
专利(申请号:200410065216.2)为了拍摄到水果整个表面的图像,用了三个摄像头,从不同的角度去拍摄。水果一边做直线运动一边进行自转,目的也是尽量多的暴露自身信息。这样视野中有三个水果在轮换,一个水果有三幅图像,每幅图像都有四个参数,所以必将序列图像的有序存储。为此定义了三个子图像,分别存储分割后的1、2、3号图像(见图5)。定义一个3*3*4的三维动态数组,该数组的第一维表示三个子图像(也即单个水果的图像),第二维表示某单个水果的三个不同角度的图像,第三维表示某个角度下大小、形状、颜色、缺陷四个特征值。
序列图像的规律:(为简化起见,只取数组的前两维,即:R[3][3])
其中“I”表示触发信号量,触发一次累加一次。
I=1 R[0][0](第一个的第一幅)
I=2 R[1][0](第二个的第一幅)R[0][1](第一个的第二幅)
I=3 R[2][0](第三个的第一幅)R[1][1](第二个的第二幅)R[0][2](第一个的第三幅)
I=4 R[0][0](第四个的第一幅)R[2][1](第三个的第二幅)R[1][2](第二个的第三幅)
I=5 R[1][0](第五个的第一幅)R[0][1](第四个的第二幅)R[2][2](第三个的第三幅)
I=6 R[2][0](第六个的第一幅)R[1][1](第五个的第二幅)R[0][2](第四个的第三幅)
I=7 R[0][0](第七个的第一幅)R[2][1](第六个的第二幅)R[1][2](第五个的第三幅)
I=8.........
由上面分析可以得到三个结论:
1)在三幅子图像中,左边一幅永远表示某个水果的第一幅图像,中间一幅永远表示某个水果的第二幅图像,右边一幅永远表示某个水果的第三幅图像,这是一个不变的原则,而变化的是水果在不断的进出。
2)当第三个水果进入视野时(即触发信号I=3),数组元素的安排与第六个水果进入视野时即触发信号I=6)完全一样,所以每经过三次触发,数组元素的安排开始循环,于是取变量X=I%3,从I=1开始,X分别等于1、2、0;1、2、0;1、2、0...
3)I=1与I=2是特例,需要分开考虑。又因为前面的X=1、2、0;1、2、0...,不符合从小到大的顺序,所以重新让X=(I-1)%3,这样,X=0、1、2;0、1、2...
将该动态数组的元素不断进入清空,但最后运用ADO技术把动态数组清空前一刻的值写进了数据库。

Claims (6)

1.一种水果外观质量在线检测技术的视觉数据处理系统,其特征在于由高质量动态图像获取、图像在外触发控制下的动态交换和图像处理三个经图像视觉数据信号依次连接而成的模块组成;其中所述的高质量动态图像的获取包括利用摄像头实时拍摄的原始图像采集模块、对采集的彩色编码进行解码Bayer转换模块和对数据进行线形处理的Gamma校正模块;所述的图像在外触发控制下的动态交换通过摄像头拍摄、图像处理模块和缓冲区中删除操作,实现系统对触发接口进行的不间断探测;所述的图像处理模块包括视野内通过背景分割、单体分割实行的图像快速分割、序列图像的有序存储等图像处理模块。
2.根据权利要求1的一种水果外观质量在线检测技术的视觉数据处理系统,其特征在于高质量动态图像获取模块中原始图像是通过Matrox meteorII系列板卡和Uniq-uc610摄像头对待检测的在线水果进行实时拍摄得到的。
3.根据权利要求1的一种水果外观质量在线检测技术的视觉数据处理系统,其特征在于所述的图像在外触发控制下的动态交换过程如下:
(1)当整个检测线的软件系统开始运行的时候,摄像头拍摄、图像处理模块和缓冲区中删除操作就进入一个无限等待状态,也即系统对触发接口进行的不间断探测;
(2)水果随着生产线的移动,在某一个位置产生一个触发信号A,信号A被系统捕捉到且同时通知摄像头进行拍摄动作;
(3)摄像头拍摄结束马上又处于准备状态,等待系统发过来的下一个拍摄信号;
(4)拍摄到的图像随后进入一个缓冲区,并给图像处理模块发送消息B;
(5)图像处理模块不断的探测缓冲区,判断缓冲区发送消息B是否有效。如果有效,就开始真正意义上的图像处理操作,图像处理完后发送消息C;
(6)缓冲区中删除操作判断消息B和消息C,当两者同时有效时进行删除操作,删除操作完成后重新回到第一步。
4.根据权利要求1的一种水果外观质量在线检测技术的视觉数据处理系统,其特征在于所述的背景分割为陷阱法分割背景,其具体为:把黑色背景上的水果图像当作陷阱,水果上的果梗果萼或缺陷自然就是陷阱中的小岛;扫描图像的某一行时记录进入陷阱的位置和爬出陷进的位置,把两位置之外作为背景;当遇上小岛也会有相应的进出位置,可以通过设定标记把小岛忽略。
5.根据权利要求1的一种水果外观质量在线检测技术的视觉数据处理系统,其特征在于所述的单体分割通过跳格法实现的,具体为:
(1)在整个图像区域内从最左端开始进行单步扫描,直到碰到水果象素,从而得到最左边的点;
(2)中途扫描方法是刚碰到水果象素就跳出此次循环,然后进行下一纵行扫描;
(3)直到有一纵行没有扫描到水果象素为止,此时程序判断顺序纵向扫描结束;
(4)最后一列扫描线并不对应水果最右边的点,所以还需进行一轮逆序纵向单步回扫找到水果象素,扫描结束;
(5)得到子图像上下两点的横向扫描原理与此类似;
(6)以这4个点为基础,作苹果外接矩形。
6.根据权利要求1的一种水果外观质量在线检测技术的视觉数据处理系统,其特征在于所述的序列图像的有序存储是通过定义一个3*3*4的三维动态数组R[3][3][4],该数组的第一维表示三个子图像,第二维表示某单个水果的三个不同角度的图像,第三维表示某个角度下大小、形状、颜色、缺陷四个特征值;将该动态数组的元素不断进入清空,但最后运用ADO(自动数字联机测试系统)技术把动态数组清空前一刻的值写进了数据库。
CN 200510038530 2005-03-23 2005-03-23 一种水果外观质量在线检测技术的视觉数据处理系统 Expired - Fee Related CN1296148C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200510038530 CN1296148C (zh) 2005-03-23 2005-03-23 一种水果外观质量在线检测技术的视觉数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200510038530 CN1296148C (zh) 2005-03-23 2005-03-23 一种水果外观质量在线检测技术的视觉数据处理系统

Publications (2)

Publication Number Publication Date
CN1663697A CN1663697A (zh) 2005-09-07
CN1296148C true CN1296148C (zh) 2007-01-24

Family

ID=35035113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200510038530 Expired - Fee Related CN1296148C (zh) 2005-03-23 2005-03-23 一种水果外观质量在线检测技术的视觉数据处理系统

Country Status (1)

Country Link
CN (1) CN1296148C (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101507962B (zh) * 2009-03-16 2012-11-07 浙江大学 一种水果按通道分级的方法
IT1404310B1 (it) * 2011-02-24 2013-11-22 Gdm Spa Metodo di intervento correttivo sul funzionamento di una linea di produzione di articoli assorbenti igienici, quali pannolini, tamponi e simili.
CN102750547B (zh) * 2012-06-11 2014-07-23 陕西科技大学 一种基于压缩传感的水果大小分级方法
CN105964564A (zh) * 2016-05-04 2016-09-28 成都贝森伟任科技有限责任公司 水果品质分选装置
CN109214372B (zh) * 2018-11-01 2021-04-02 深圳蓝胖子机器智能有限公司 姿态确定方法、装置和计算机可读存储介质
CN109482515A (zh) * 2018-11-22 2019-03-19 珠海格力智能装备有限公司 螺钉的分拣方法及装置、螺钉的分拣系统
CN111510698A (zh) * 2020-04-23 2020-08-07 惠州Tcl移动通信有限公司 图像处理方法、装置、存储介质及移动终端

Also Published As

Publication number Publication date
CN1663697A (zh) 2005-09-07

Similar Documents

Publication Publication Date Title
CN1224262C (zh) 提取对象区域的方法
CN110335233B (zh) 基于图像处理技术的高速公路护栏板缺陷检测系统和方法
CN1711557A (zh) 使用样板预测的图像分段
CN1272631C (zh) 运动图像检测方法
CN105100640A (zh) 一种局部配准并行视频拼接方法及系统
CN1288916C (zh) 图像死点和噪声的消除方法
CN105931246A (zh) 一种基于小波变换和遗传算法的织物瑕疵检测方法
CN1411284A (zh) 取决于图像的面部检测方法
CN1296148C (zh) 一种水果外观质量在线检测技术的视觉数据处理系统
CN116433580B (zh) 一种基于智能无人机的大坝裂缝检测方法
CN109949308A (zh) 一种抗星光干扰的空间相对导航目标快速提取方法
CN1658667A (zh) 基于方向性插值的图像边缘平滑系统与方法
CN101067871A (zh) 一种用于视觉凸壳绘制的高光区域选取方法及其装置
CN101859149B (zh) 一种太阳能电池板角度自动调整的方法和太阳能电池系统
CN101377450A (zh) 一种提取显示屏点阵照片亮度数据的系统及方法
CN117422869A (zh) 一种基于新型轻量卷积技术的夜间暗光环境目标检测方法
CN1265324C (zh) 基于相邻边缘点距离统计的文字图象分割方法
CN1842134A (zh) 噪声降低装置和噪声降低方法
CN104574398B (zh) 一种基于线扫描相机的装箱香烟滤棒计数系统
CN1856028A (zh) 摄影装置以及摄影装置中补偿图像画面的补偿方法
CN118429903B (zh) 基于事件相机和rgb相机的防尾随检测方法
CN1790378A (zh) 一种图像的二值化方法及系统
CN1794032A (zh) 一种自动对焦方法
CN108257090A (zh) 一种面向机载行扫相机的高动态图像拼接方法
CN1758754A (zh) 基于光纤耦合的焦平面阵列图像时空变换的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee