CN121488198A - 通过监视系统监视电子组件生产的方法、计算机程序产品、计算机可读存储介质及监视系统 - Google Patents
通过监视系统监视电子组件生产的方法、计算机程序产品、计算机可读存储介质及监视系统Info
- Publication number
- CN121488198A CN121488198A CN202480026764.XA CN202480026764A CN121488198A CN 121488198 A CN121488198 A CN 121488198A CN 202480026764 A CN202480026764 A CN 202480026764A CN 121488198 A CN121488198 A CN 121488198A
- Authority
- CN
- China
- Prior art keywords
- data
- electronic components
- data vector
- neural network
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Program-control systems
- G05B19/02—Program-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9501—Semiconductor wafers
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32193—Ann, neural base quality management
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45026—Circuit board, pcb
Landscapes
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
Abstract
本发明涉及用于监视电子组件(14,16,18)的生产的方法,包括以下步骤:从自动光学检查设备(10)接收第一数据(24),其中第一数据(24)描述电子组件(14,16,18)的组件(20);从自动光学检查设备(10)接收第二数据(26),其中第二数据(26)描述电子组件(14,16,18)的组件(20)的引脚(22);提供神经网络(32),其中神经网络(32)被配置用于计算具有预设尺寸的数据;确定接收数据的每个尺寸;将第一数据(24)和第二数据(26)的确定尺寸与预设尺寸进行比较;填充所接收的第一数据(24)和第二数据(26),使得以第一尺寸生成第一数据向量并且以第二尺寸生成第二数据向量;生成掩蔽(28,30),其中掩蔽(28,30)描述关于接收的第一数据(24)和第一填充的第一数据向量以及关于接收的第二数据(26)和第二填充的第二数据向量;将第一数据向量、第二数据向量和掩蔽(28,30)发送到神经网络(32);根据第一数据向量和第二数据向量来分析电子组件(14,16,18);以及根据分析来监视电子组件(14,16,18)。此外,本发明涉及计算机程序产品、计算机可读存储介质及监视系统(12)。
Description
独立于语法术语使用,具有男性、女性性别身份的个人包括在术语中。
本发明涉及根据独立权利要求1的通过监视系统监视电子组件生产的方法。此外,本发明涉及计算机程序产品、计算机可读存储介质、以及监视系统。
在现有技术中,所谓的自动光学检查(AOI)是已知的,它是对印刷电路板(PCB)或LCD或晶体管制造商的自动视觉检查,其中针对灾难性故障(例如丢失组件)和质量缺陷(例如圆角尺寸或形状或组件歪斜),相机自动扫描被测设备。其通常用于制造过程中,因为其是一种非接触式测试方法。其在贯穿制造过程的许多阶段处实施,包括裸板检查、单独焊膏检查(SPI)、预回流和后回流以及其他阶段。
历史上,AOI系统的主要位置是在焊接回流或后期生产之后。主要是因为,回流后AOI系统可以检查大多数类型的缺陷(例如组件放置、焊接短路、漏焊),或者此外在生产线的一个位置用一个单个系统检查。通过这种方式,有缺陷的电路板被返工,而其他电路板被送到下一个处理阶段。
对于在其装配线上部署AOI机器的制造商来说,主要关心的是这些AOI机器报告的伪错误率。因此,必须采用手动过程来检查被拒绝的PCB,并最终决定哪些电路板可以进入下一阶段(这可能被视为伪错误)或者哪些被返工(这可能被视为真正的错误)。这种手动过程的自动化是期望的,并且存在许多基于AI的工作,这些工作针对PCB上的缺陷检测问题,但是它们依赖于图像,如AOI机器和人那样。不幸的是,许多AOI机器供应商禁止访问AOI机器所记录的图像,而仅存储并允许访问通过其未公开的算法从图像中提取的交易,这些算法包括关于电路板、其组件和组件引脚的信息。作为替代AOI机器的一种替代方案,一个选项是使用AOI机器产生的数据来寻找从真正的错误区分伪错误(特别是所谓的假阳性)的模式,并以这种方式减少PCB的手动AOI后检查的数量。目前,没有专门的基于AI的方法可用,该方法可以与AOI机器产生的特殊数据结构对接。
本发明的目的是提供一种方法、计算机程序产品、计算机可读存储介质以及监视系统,通过该方法、计算机程序产品、计算机可读存储介质以及监视系统,来自电子组件生产的假阳性错误的量被自动最小化。
该目的通过根据独立权利要求的方法、计算机程序产品、计算机可读存储介质以及监视系统来解决。
从属权利要求中给出了实施例的有利形式。
本发明的一个方面涉及一种用于通过监视系统监视电子组件生产的方法。由监视系统的电子计算设备接收来自自动光学检查设备的第一数据,其中第一数据描述电子组件的组件。由电子计算设备接收来自自动光学检查设备(AOI设备)的第二数据,其中第二数据描述电子组件的组件的引脚。由电子计算设备提供神经网络,其中神经网络被配置用于计算具有针对第一数据的预设第一尺寸和针对第二数据的预设第二尺寸的数据。接收数据的每个尺寸由电子计算设备确定。由电子计算设备将第一数据和第二数据的确定尺寸与针对神经网络预设的第一尺寸和第二尺寸进行比较。所接收的第一数据和第二数据被填充,使得由电子计算设备以第一尺寸生成第一数据向量并且以第二尺寸生成第二数据向量。由电子计算设备生成掩蔽,其中掩蔽描述关于接收的第一数据和第一填充的第一数据向量以及关于接收的第二数据和第二填充的第二数据向量。第一数据向量、第二数据向量和掩蔽被发送到神经网络。神经网络根据第一数据向量和第二数据向量来分析电子组件,然后根据分析来监视电子组件。
因此,提出了一种基于神经网络的建模方法,该方法能够以其自然形式处理所产生的数据,并且整合被检查的印刷电路板的所有测量信息。就其自然形式而言,这意味着对于每个印刷电路板,存在针对一组可变组件的测量,并且对于每个组件,存在一组可变引脚的测量。
因此,处理具有不同形状(特别是组件和对应引脚的数量)的分层组织输入是一种重要的方法。为了使该输入与神经网络兼容,使用了填充和掩蔽的组合。填充被用于以可由神经网络模型批次处理和消化的相同形状阵列来组织每个输入示例,例如单个PCB(印刷电路板)的数据。掩蔽被用于为模型提供处理数据时要忽略的输入的哪些部分的信息,尤其是填充。特别地,每个组件的引脚数据和组件数据被组织在如所示的单独阵列中。
因此,这种方法的目标是自动假阳性减少,这直接减少了被自动光学检查设备分类为错误的PCB的手动复查努力。这种方法优于其他基于数据的方法的优点在于,由自动光学检查设备生成的分层数据被原样建模而没有信息损失。意味着使用更多的信息来判断有问题的PCB是否确实是错误的。特别是,整个电路板的数据可以通过该模型端到端处理,这是现有方法无法实现的,因为它们不能处理动态输入尺寸。
神经网络也可以被视为模型。一般来说,假阳性减少用例数据集的特征在于高分类不平衡,这意味着在AOI机器报告的伪错误(大多数)和真实错误(少数)的电路板检查之间存在不平衡。除了用现有的基于随机梯度的优化方法来训练使用所描述的神经网络架构的伪/真实错误分类模型之外,还使用附加的措施来处理这种分类不平衡。例如,在模型训练期间,通过对少数类(真实错误)进行重新采样来平衡批次,使得批次中的10%到50%之间的示例是具有真实错误的电路板。在训练数据由不同的AOI测试模式组成的情况下,通过重新采样来附加地平衡批次,使得在训练期间,模型以相似的频率暴露于所有的AOI测试模式。其次,使用损失函数,当用不平衡数据集训练时,其进一步改进了训练结果。
根据实施例,分析电子组件,使得电子组件被分类为错误组件或非错误组件。特别地,分析电子组件,使得对真实错误和/或伪错误进行分类。
因此,提供了最小化电子组件生产中的伪错误。
在另一个实施例中,由电子计算设备考虑自动光学检查设备的分类。特别地,由电子计算设备仅分析被自动光学检查设备分类为错误的电子组件。具体而言,如果自动光学检查设备将电子组件提供为非错误的,则不提供监视系统的检查/监视。只有在自动光学检查设备将电子组件分类为错误的情况下,监视系统监视这些电子组件。监视系统然后被配置用于对电子组件进行分类,使得AOI的伪错误或真实错误被监视系统检测到。因此,提供了最小化伪错误。
在另一个实施例中,第一数据向量是三维数据向量和/或第二数据向量是四维数据向量。特别是,组件数据被组织为三维阵列,其中第一维是批次轴,这意味着沿该维度的每个条目描述不同的PCB。第二维是组件轴,其中每个条目描述PCB上组件的测量。请注意,本文没有强制组件的顺序。由于每个PCB的组件数量可能不同,因此该维度具有属于当前批次的PCB上看到的最大组件数量的尺寸。最后,所有组件的特征轴都是相同的,因为对它们进行了相同种类的测量。
引脚数据被组织为四维阵列,其中前两维与组件数据情况相同。第三维度是引脚轴,其中每个条目描述了组件的被检查引脚的测量。请注意,本文没有强制引脚顺序。由于PCB上每个组件的引脚数量可能不同,因此该维度具有属于当前批次的所有PCB上组件所看到的最大引脚数量的尺寸。因此,可以实现对电子组件的改进监视。
在另一个实施例中,掩蔽被提供为布尔掩蔽阵列。因此,除了组件数据和引脚数据之外,关于填充位于组件和引脚数据中何处的信息也被组织为布尔掩蔽阵列。请注意,填充和掩蔽通常仅在模型应同时处理多个电路板的数据时需要。优化过程的典型要求被应用以训练下游神经网络模型。然而,在推理过程中,批次处理多个电路板的数据以改进运行时间也是有意义的。因此,提供了对电子组件的改进监视。
在另一个实施例中,神经网络至少包括用于第一数据向量的第一编码器和用于第二数据向量的第二编码器。特别地,神经网络还包括至少第三编码器,其中在第三编码器中,第一编码器的第一结果和第二编码器的第二结果被融合。因此,提供了神经网络,其改进了对电子组件的监视。
在另一个实施例中,第一编码器和第二编码器被提供有相同的编码器结构。
因此,提供了一种简单的编码方式。
或者,每个编码器的结构可以不同。
根据另一个实施例,零填充用于填充接收数据。特别是,在数据中没相关于特征的信息的情况下,时隙(slot)用零填充。因此,提供了一种生成数据向量的简单方式。
在另一个实施例中,神经网络在分析第一数据向量和第二数据向量期间忽略填充。特别地,神经网络被配置成忽略零填充。因此,神经网络可以分析数据,但是忽略不相关的数据,尤其是填充的数据。因此,提供了电子组件的改进分析。
在另一个实施例中,神经网络至少包括用于分类电子组件的分类器模块。特别地,应用分类器模块,其输出是所摄取的电路板数据表示伪错误的单个置信值。例如,分类器模块是多层感知(MLP),其摄取电路板的所有组件和引脚测量的编码,并产生该测量是否反映了AOI设备的伪错误的单个置信度。例如,该MLP可以由两个连续的完全连接的神经网络层组成,其中第一层使用实激活函数。当然,其他选择也可能是合理的。
特别地,所提出的方法是计算机实现的方法。因此,本发明的另一方面涉及计算机程序产品,包括用于执行根据前述方面的方法的程序代码部件。
本发明的另一方面涉及计算机可读存储介质,至少包括根据前述方面的计算机程序产品。
本发明的又一方面涉及用于监视电子组件生产的监视系统,包括至少一个电子计算设备,其中监视系统被配置用于执行根据前述方面的方法。特别地,该方法由监视系统执行。
电子计算设备可以包括用于执行根据前述方面的方法的电子部件,例如处理器、电路(特别是集成电路)以及另外的电子组件。电子计算设备也可以被视为计算单元。计算单元尤其可以理解为包括处理电路的数据处理设备。计算单元因此可以特别地处理数据以执行计算操作。这也可以包括对数据结构(例如查找表、LUT)执行索引访问的操作。
特别地,计算单元可以包括一个或多个计算机、一个或多个微控制器和/或一个或多个集成电路,例如一个或多个专用集成电路ASIC、一个或多个现场可编程门阵列FPGA和/或一个或多个片上系统SoC。计算单元还可以包括一个或多个处理器,例如一个或多个微处理器、一个或多个中央处理单元CPU、一个或多个图形处理单元GPU和/或一个或多个信号处理器,特别是一个或多个数字信号处理器DSP。计算单元还可以包括计算机或其他所述单元的物理或虚拟集群。
在各种实施例中,计算单元包括一个或多个硬件和/或软件接口和/或一个或多个存储器单元。
存储器单元可以实现为易失性数据存储器,例如动态随机存取存储器DRAM或静态随机存取存储器SRAM,或者实现为非易失性数据存储器,例如只读存储器ROM、可编程只读存储器PROM、可擦除可编程只读存储器EPROM、电可擦除可编程只读存储器EEPROM、闪存或闪速EEPROM、铁电随机存取存储器FRAM、磁阻随机存取存储器MRAM、或相变随机存取存储器PCRAM。
该方法的配置的有利形式被认为是计算机程序产品、计算机可读存储介质以及监视系统的配置的有利形式。因此,监视系统包括用于执行该方法的部件。
对于在该方法中可能出现的并且在此没有明确描述的使用情况或使用情形,可以规定的是,根据该方法,输出错误消息和/或用户反馈提示,和/或设置默认设置和/或预定初始状态。独立于语法术语使用,具有男性、女性性别身份的个人包括在术语中。
本发明的进一步特征来自权利要求、附图和附图说明。以上描述中提到的特征和特征组合以及在下面的附图描述中提到的和/或在附图中单独示出的特征和特征组合不仅可以用于在每种情况下指示的组合中,而且可以用于不脱离本发明范围的其他组合中。
现在将参考实施例的优选示例并参考附图更详细地解释本发明。
图1示出了由自动光学检查设备产生的数据的抽象表示;
图2示出了在执行根据本发明的方法的至少部分之后根据PCB数据的结构的示意框图;
图3示出了根据监视系统的实施例的示意框图;
图4示出了根据本发明实施例的注意力(attention)模块的示意框图。
图1示出了由自动光学检查设备10(AOI设备)从监视系统12产生的数据的抽象表示。特别地,根据所示的实施例,检查了三个不同的印刷电路板,它们也可以被视为电子组件14、16、18,其中每个电路板包括不同组的组件20。第一电子组件14具有三个组件20,例如电容器、电阻器和另一个电阻器,第二电子组件16包括两个组件20,并且第三电子组件18包括四个组件20。每个组件20内部可能具有不同数量的引脚22,因此每个组件20产生的测量数据量是变化的。
图2示出了在应用填充和掩蔽之后的电子组件14、16、18的结构。具体地,图2示出了第一数据24,其中第一数据24描述了电子组件14、16、18的组件20。
此外,示出了第二数据26,其中第二数据26描述了电子组件14、16、18的组件20的引脚22。此外,示出了用于组件数据24的第一掩蔽28以及用于第二数据26的第二掩蔽30。第一掩蔽28和第二掩蔽30可以融合成一个掩蔽28、30。
特别地,图1和2示出了具有不同形状(特别是组件20和相应引脚22的数量)的有组织输入的分层处理。为了使该输入与神经网络32(图3)兼容,使用了填充和掩蔽的组合。填充用于以相同形状的阵列来组织每个输入示例,例如单个PCB(印刷电路板)的数据,该阵列可以被神经网络32批次处理和消化。掩蔽用于为模型提供处理数据时要忽略的输入部分(尤其是填充)的信息。在所示的情况下,每个组件20和引脚22的数据在阵列中被分开。
具体而言,图2示出了第一数据24被组织成三维阵列,其中第一维是批次轴,这意味着沿该维度的每个条目描述了不同的电子组件14、16、18。第二维是组件轴,其中每个条目描述了电子组件14、16、18上的组件20的测量。注意,本文没有强制组件20的顺序。由于每个电子组件14、16、18的组件20的数量可以不同,所以该维度具有在属于当前批次的电子组件14、16、18上看到的组件20的最大数量的尺寸。最后,特征轴对于所有组件20都是相同的,因为对它们进行相同种类的测量。假设图1的电子组件14、16、18数据被批次处理,批次维度将具有尺寸3,其中组件轴将具有尺寸4。第一电子组件14和第二电子组件16的数据将沿组件轴被零填充,因为它们没有四个组件20。最后,特征轴对于所有组件20都是相同的,因为对它们进行相同种类的测量。
第二数据26被组织成四维阵列,其中前两个维度与组件数据情况中相同。第三维是引脚轴,其中每个条目描述了组件20的预期引脚22的测量。注意,本文没有强制引脚22的顺序。因为电子组件14、16、18上的每个组件20的引脚22的数量可以不同,所以该维度具有在属于当前批次的所有电子组件14、16、18上的组件20所看到的引脚22的最大数量的尺寸。
此外,假设组件数据由形状为n×c×f的阵列C存储,并且引脚数据由形状为n×c×p×h的阵列P存储,其中n是批次尺寸,c是在批次中的电子组件14、16、18上观察到的组件20的最大数量,f是在组件20上进行的不同种类的测量,p是在批次中观察到的引脚22的最大数量,并且h是在引脚22上进行的测量。则Cn=0,c=1是第一电子组件14上的第二组件20的组件测量。Cn=1,c=3是第二电子组件16上的第四组件的组件测量,其中第二电子组件16上不存在第四组件20,因此都将是填充值/零。Pn=1,c=1,p=0是第二电子组件16的第二组件20的第一引脚22的测量值。
除了组件数据和引脚数据之外,关于填充在组件20和引脚数据阵列中的位置的信息被组织在布尔掩蔽阵列中。
注意,填充和掩蔽通常仅在神经网络32应同时处理多个电路板的数据时才需要。优化过程的典型要求被应用以训练下游神经网络模型。然而,在干扰期间,批次处理多个电路板的数据以改进运行时间也是有意义的。
图3示出了根据监视系统12特别是神经网络32的实施例的示意性框图。给出如上所述的输入表示,建议能够正确地处理它的神经网络32。特别地,神经网络32由四个模块34、36、38、40组成。用于组件测量的第一编码器34,其摄取批次的组件数据和组件数据掩蔽。用于引脚测量的第二编码器36,其摄取批次的组件数据和组件数据掩蔽。在电路板的每个引脚22和组件20已经相对于它们的测量被编码之后,应用第三编码器38,其将所有先前的、特别是不同数量的编码(还考虑了掩蔽28、30)融合成一个固定尺寸编码,该编码表示相对于组件20和相应引脚22的观察测量的被摄取电路板的状态。最后,应用第四编码器,特别是所谓的分类器模块40,其输出是被摄取电路板数据表示伪错误的单个置信值。在下文中,将更详细地描述四个组件34、36、38、40。
对于引脚或组件的编码,提供了相同的编码器结构,其中引脚和组件的编码器不共享任何模型参数。因此,引脚和组件之间没有区别,并且它们在下文中可以简单地称为实体。
因此,更详细地描述第一编码器34和第二编码器36的结构。
首先,输入测量被分为三类:分类测量(包括二进制)(例如“组件类型”或“引脚类型”);数值测量(例如“组件_高”、“电极_长度”);循环数值测量(如“组件_角度_相对于_电路板”、“电极_角度_相对于_电路板”)。
此外,掩蔽28、30也被传递到编码器模块,因为编码器被一次应用于批次的所有实体,这可以包括零填充。每个C分类测量通过其自己的嵌入层46,嵌入层46将每个分类输入变换成学习嵌入空间中的d维向量。对循环数字特征应用基于正弦和余弦的变换42来替换它们,并将其连接(连接48)到其他数值特征。实体的完整数值特征集然后通过掩蔽批次标准化44,其标准化这些输入。注意,掩蔽批次标准化44使用掩蔽28、30,使得零填充值在标准化期间被忽略。然后,将得到的标准化数值输入与分类嵌入连接起来,并馈入完全连接的神经网络层(密集层50),其导致实体的编码。注意,该模块的任务是融合实体的所有可用信息,这意味着如果例如10个实体的数据进入,则产生表示融合信息的学习潜在空间(编码)中的10个向量。
组件和引脚编码器特别是第一编码器34和第二编码器36的任务是对每个组件20和每个引脚22的可用信息进行编码。电路板编码器特别是第三编码器38的任务是组合PCB的可用的所有组件20和引脚22测量的编码,以产生整个电路板的编码。
在第一步中,使用引脚聚合器52来融合组件20的所有引脚22的编码。在第二步中,组件20的所有引脚22的所得编码被连接(连接54)到相应组件20的编码。最后,通过使它们通过组件聚合器56来融合丰富的组件编码。结果是对整个PCB的编码。
引脚聚合器52融合每个组件20的引脚测量的编码,但忽略填充。本文,可以对聚合函数进行多种合理的选择:max函数,将最大值应用于所有引脚编码;平均函数,将平均应用于所有引脚编码;注意力模块。
在注意力模块的情况下,可以使用如图4所示的注意力机制或者通过应用现成库(如pytorch)中提供的多头注意力来计算加权平均的权重。后者用于实现所谓的交叉注意力,其中对模块的输入(引脚编码)不会也被用作查询,而是应用单个查询,该查询可以作为完整架构的部分被学习,或者使用相应的组件编码。
再次注意,如果输入是一组引脚编码,其中每个引脚编码是尺寸为k的向量,则引脚聚合器52将输出表示融合编码的尺寸为k的单个编码。
图4示出了注意力模块62的实施例,其中通过将组件编码与引脚编码一起馈送到共享注意力网络(密集层64)来计算注意力权重。使用softmax函数将所得权重标准化为相加至1.0。
随后,每个引脚编码乘以其相应的权重(标量)。最后,添加重新加权的引脚编码。因此,图4示出了多个密集层64、多个乘法层66、多个附加层68、引脚编码70、组件编码72以及另外的引脚编码74。
根据图3的组件聚合器56融合每个电路板的组件测量的编码(由引脚的编码测量丰富),但是忽略填充。本文,可以对聚合函数进行多种合理的选择:max函数,将最大值应用于所有组件编码;平均函数,将平均应用于所有组件编码;注意力模块。
对组件编码的注意力可以通过应用多头注意力来计算,如现成库(如pytorch)中所提供的。与引脚聚合器52相反,在这种情况下,查询必须作为完整架构的部分来学习。
注意,如果输入是一组组件编码,其中每个组件编码是尺寸为h的向量,则组件聚合器56将输出表示融合编码的尺寸为h的单个编码。
分类器40是多层感知(MLP),其摄取电路板的所有组件和引脚测量的编码,并且产生测量是否反映AOI设备的伪错误的单个置信。在所示的情况下,该MLP包括两个连续的完全连接的神经网络层(密集层58、60),其中第一密集层58使用ReLU激活函数。当然,其他选择也可能是合理的。
Claims (15)
1.一种用于通过监视系统(12)监视电子组件(14,16,18)的生产的方法,包括以下步骤:
- 由监视系统(12)的电子计算设备从自动光学检查设备(10)接收第一数据(24),其中第一数据(24)描述电子组件(14,16,18)的组件(20);
- 由电子计算设备从自动光学检查设备(10)接收第二数据(26),其中第二数据(26)描述电子组件(14,16,18)的组件(20)的引脚(22);
- 由电子计算设备提供神经网络(32),其中神经网络(32)被配置用于计算具有针对第一数据(24)的预设第一尺寸和针对第二数据(26)的预设第二尺寸的数据;
- 由电子计算设备确定接收数据的每个尺寸;
- 由电子计算设备将第一数据(24)和第二数据(26)的确定尺寸与用于神经网络(32)的预设第一尺寸和第二尺寸进行比较;
- 填充所接收的第一数据(24)和第二数据(26),使得由电子计算设备以第一尺寸生成第一数据向量和以第二尺寸生成第二数据向量;
- 由电子计算设备生成掩蔽(28,30),其中掩蔽(28,30)描述关于接收的第一数据(24)和第一填充的第一数据向量以及关于接收的第二数据(26)和第二填充的第二数据向量;
- 将第一数据向量、第二数据向量和掩蔽(28,30)发送到神经网络(32);
- 由神经网络(32)根据第一数据向量和第二数据向量来分析电子组件(14,16,18);和
- 根据所述分析来监视电子组件(14,16,18)。
2.根据权利要求1所述的方法,其中,电子组件(14,16,18)被分析,使得电子组件(14,16,18)被分类为错误组件或非错误组件。
3.根据权利要求1或2所述的方法,其中,由电子计算设备考虑自动光学检查设备(10)的分类。
4.根据权利要求3所述的方法,其中,由电子计算设备仅分析从自动光学检查设备(10)分类为错误的电子组件(14,16,18)。
5.根据权利要求1至4中任一项所述的方法,其中,第一数据向量是三维数据向量,和/或第二数据向量是四维数据向量。
6.根据权利要求1至5中任一项所述的方法,其中,掩蔽(28,30)被提供为布尔掩蔽阵列。
7.根据权利要求1至6中任一项所述的方法,其中,神经网络(32)至少包括用于第一数据向量的第一编码器(34)和用于第二数据向量的第二编码器(36)。
8.根据权利要求7所述的方法,其中,神经网络(32)还包括至少第三编码器(38),其中在第三编码器(38)中,第一编码器(34)的第一结果和第二编码器(36)的第二结果被融合。
9.根据权利要求7或8所述的方法,其中,第一编码器(34)和第二编码器(36)被提供有相同的编码器结构。
10.根据权利要求1至9中任一项所述的方法,其中,零填充被用于填充所接收的数据。
11.根据权利要求1至10中任一项所述的方法,其中,神经网络(32)在第一数据向量和第二数据向量的分析期间忽略填充。
12.根据权利要求1至11中任一项所述的方法,其中,神经网络(32)至少包括用于对电子组件(14,16,18)进行分类的分类器模块(40)。
13.一种计算机程序产品,包括用于执行根据权利要求1至12中任一项所述的方法的程序代码部件。
14.一种计算机可读存储介质,至少包括根据权利要求13所述的计算机程序产品。
15.一种用于监视电子组件(14,16,18)的生产的监视系统(12),包括至少一个电子计算设备,其中监视系统(12)被配置用于执行根据权利要求1至12中任一项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP23168946.4 | 2023-04-20 | ||
| EP23168946.4A EP4451074A1 (en) | 2023-04-20 | 2023-04-20 | A method or monitoring a production of an electronic component by a monitoring system, computer program product, computer-readable storage medium, as well as monitoring system |
| PCT/EP2024/058573 WO2024217849A1 (en) | 2023-04-20 | 2024-03-28 | A method or monitoring a production of an electronic component by a monitoring system, computer program product, computer-readable storage medium, as well as monitoring system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN121488198A true CN121488198A (zh) | 2026-02-06 |
Family
ID=86095831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202480026764.XA Pending CN121488198A (zh) | 2023-04-20 | 2024-03-28 | 通过监视系统监视电子组件生产的方法、计算机程序产品、计算机可读存储介质及监视系统 |
Country Status (3)
| Country | Link |
|---|---|
| EP (2) | EP4451074A1 (zh) |
| CN (1) | CN121488198A (zh) |
| WO (1) | WO2024217849A1 (zh) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4020314A1 (de) * | 2020-12-23 | 2022-06-29 | Siemens Aktiengesellschaft | Verfahren und vorrichtung zur optischen qualitätskontrolle während der fertigung von leiterplatten |
| EP4138032A1 (en) * | 2021-08-17 | 2023-02-22 | Siemens Aktiengesellschaft | Predicting a quality of a printed circuit board assembly from production data |
-
2023
- 2023-04-20 EP EP23168946.4A patent/EP4451074A1/en not_active Withdrawn
-
2024
- 2024-03-28 WO PCT/EP2024/058573 patent/WO2024217849A1/en not_active Ceased
- 2024-03-28 EP EP24718063.1A patent/EP4677426A1/en active Pending
- 2024-03-28 CN CN202480026764.XA patent/CN121488198A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024217849A1 (en) | 2024-10-24 |
| EP4677426A1 (en) | 2026-01-14 |
| EP4451074A1 (en) | 2024-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12026865B2 (en) | Image analysis system for testing in manufacturing | |
| EP4138032A1 (en) | Predicting a quality of a printed circuit board assembly from production data | |
| CN115438493B (zh) | 基于数字孪生的pcb板制作过程调试系统,方法及加工设备 | |
| EP3690658B1 (en) | Method for detecting repair-necessary motherboards and device using the method | |
| JP7280068B2 (ja) | 検査装置および検査方法 | |
| JP7097587B2 (ja) | 部品記号の極性記号検出方法、システム、コンピュータで読取可能な記憶媒体及びデバイス | |
| EP4460803A1 (en) | Inspection of printed circuit board assemblies | |
| US20070124709A1 (en) | Method and system for design rule checking for an SiP device | |
| Efatmaneshnik et al. | System test architecture evaluation: A probabilistic modeling approach | |
| Lin et al. | Defect contour detection of complex structural chips | |
| Patel | AI-Driven defect detection in PCB manufacturing: A computer vision approach using convolutional neural networks | |
| Ren et al. | Defect detection for printed circuit board assembly using deep learning | |
| CN118588592A (zh) | 用于芯片封装的自动化控制方法及其系统 | |
| CN108073674A (zh) | 集成电路芯片中的系统缺陷的故障标识数据库的早期开发 | |
| CN121488198A (zh) | 通过监视系统监视电子组件生产的方法、计算机程序产品、计算机可读存储介质及监视系统 | |
| US20250307516A1 (en) | Automated pcb design and analysis system | |
| Chang et al. | Prediction of solder joint quality using a data mining methodology for surface mounted technology process | |
| EP4451075A1 (en) | A method for monitoring a production of an electronic component by a monitoring system, a computer program product, a computer-readable storage medium as well as a monitoring system | |
| Wu et al. | Classifying weak, and strong components using ROC analysis with application to burn-in | |
| CN111986186A (zh) | 一种定量化的炉前pcb贴片缺陷在线检测系统和方法 | |
| CN116194953B (zh) | 用于航空部件的自动质量检查的方法 | |
| US12504747B2 (en) | Multicomponent module design and fabrication | |
| CN117853399A (zh) | 用于使用光学检查自动地检测故障的机器学习模型 | |
| US6108887A (en) | Method for analyzing and modifying a sequence of manufacturing operations | |
| Snehith et al. | Convolutional neural network for printed circuit board verification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |