CN115004246B - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN115004246B
CN115004246B CN202180011524.9A CN202180011524A CN115004246B CN 115004246 B CN115004246 B CN 115004246B CN 202180011524 A CN202180011524 A CN 202180011524A CN 115004246 B CN115004246 B CN 115004246B
Authority
CN
China
Prior art keywords
detection
image
rate
value
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180011524.9A
Other languages
English (en)
Other versions
CN115004246A (zh
Inventor
小仓翔太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN115004246A publication Critical patent/CN115004246A/zh
Application granted granted Critical
Publication of CN115004246B publication Critical patent/CN115004246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像处理装置，其能够使适于得到所期望的检测结果的检测参数的设定自动化。图像处理装置(21)具备：对象物检测部(221)，其使用检测参数从输入图像数据检测出对象物的像；检测率计算部(225)，其比较对象物检测部的检测结果和表示所期望的检测结果的信息，从而计算对象物检测部进行的对象物的检测中的未检测率和误检测率中的至少任一个；目标函数值计算部(226)，其计算以未检测率和误检测率中的至少一方为输入变量的目标函数的值；以及检测参数搜索部(227)，其在目标函数的值满足预定的条件或者检测参数的搜索次数达到预定数之前变更检测参数的值来反复进行对象物的检测、未检测率和所述误检测率中的至少任一个的计算、以及目标函数的值的计算，从而进行检测参数的搜索。

Description

图像处理装置
技术领域
本发明涉及图像处理装置。
背景技术
已知有从拍摄装置的视野内的图像中检测特定的对象物的像的图像处理装置。在这样的图像处理装置中，在表示对象物的基准信息(一般称为模型图案、模板等)与由拍摄装置取得的输入图像之间进行特征量的匹配，在一致度超过预定的等级时判定为对象物的检测成功(例如，参照专利文献1)。
另外，在专利文献2中，作为参数控制装置的结构，记载了“在比对第一级比对第一级中，通过高速但低精度的比对处理进行登记数据的锁定。接着，在比对第二级中，通过中速且中精度的比对处理，从比对第一级进一步进行登记数据的锁定。然后，在比对第m级中，对前级的多个比对处理中锁定的少数的登记数据进行低速但高精度的比对处理，进行一个登记数据的确定。根据登记数据自动计算用于调整各比对阶段的登记数据的锁定的精度和速度的参数，以便比对速度和/或比对精度最佳”(说明书摘要)。
现有技术文献
专利文献
专利文献1：日本特开2017-91079号公报
专利文献2：日本特开2010-92119号公报
发明内容
发明所要解决的课题
在特征量的匹配中，例如，模型图案的特征点和与其对应的输入图像中的对应点之间的距离的允许范围被用作检测参数。在使用这样的检测参数来进行对象物的检测的情况下，为了得到不产生想要检测的对象物的未检测或者不出现误检测这样的所期望的检测结果，需要通过操作者的试错来调整检测参数。期望一种能够使适于得到所期望的检测结果的检测参数的设定自动化的图像处理装置。
用于解决课题的手段
本公开的一方式是一种图像处理装置，其基于对象物的模型图案来检测出1个以上的输入图像数据中的所述对象物的像，其中，所述图像处理装置具备：对象物检测部，其使用检测参数进行所述模型图案的特征量与从所述1个以上的输入图像数据中提取出的特征量的匹配，从所述1个以上的输入图像数据中检测所述对象物的像；检测率计算部，其将所述对象物检测部对在设定所述检测参数的值之前预先准备的所述1个以上的输入图像数据的检测结果与表示对所述1个以上的输入图像数据进行了所述对象物的像的检测的情况下的所期望的检测结果的信息进行比较，来计算所述对象物检测部进行的所述对象物的检测中的未检测率和误检测率中的至少任一个；目标函数值计算部，其计算被定义为以所述未检测率和所述误检测率中的至少一方为输入变量的函数的目标函数的值；以及检测参数搜索部，其在所述目标函数的值满足预定条件或者所述检测参数的搜索次数达到预定数量之前，改变所述检测参数的值来反复进行由所述对象物检测部进行的对象物的检测、由所述检测率计算部进行的所述未检测率和所述误检测率中的至少一个的计算以及由所述目标函数值计算部进行的所述目标函数的值的计算，从而进行所述检测参数的搜索。
发明效果
根据上述结构，能够使适于得到所期望的检测结果的检测参数的设定自动化。
根据附图所示的本发明的典型的实施方式的详细说明，本发明的这些目的、特征和优点以及其他目的、特征和优点将变得更加明确。
附图说明
图1是表示一实施方式的图像处理装置的结构的框图。
图2是表示通过具有图像处理装置的视觉传感器控制装置以及视觉传感器来检测对象物的结构例的图。
图3是表示从设置于机器人的臂前端部的视觉传感器的图像检测对象物的结构例的图。
图4是检测参数设定处理的流程图。
图5是表示模型图案的制作步骤的流程图。
图6是表示对象物的模型图案的例子的图。
图7是表示拍摄到的图像中的模型图案指定区域的例子的图。
图8是表示为了制作正解列表而对检测出的各像加标签的状态的图。
具体实施方式
接下来，参照附图对本公开的实施方式进行说明。在参照的附图中，对相同的构成部分或功能部分标注相同的参照符号。为了容易理解，这些附图适当变更了比例尺。另外，附图所示的方式是用于实施本发明的一例，本发明并不限定于图示的方式。
图1是表示一实施方式的图像处理装置21的结构的框图。如图1所示，在图像处理装置21上连接有视觉传感器10、操作盘31以及显示装置32。图像处理装置21具备从视觉传感器10的视野内的图像检测出特定的对象物的像的功能。图像处理装置21也可以具有作为具有CPU、ROM、RAM、存储装置、输入输出接口、网络接口等的一般的计算机的结构。操作盘31以及显示装置32也可以一体地设置于图像处理装置21。
视觉传感器10可以是拍摄浓淡图像、彩色图像的照相机，也可以是能够取得距离图像、3维点群的立体照相机、3维传感器。在本实施方式中，作为视觉传感器10使用照相机，将视觉传感器10作为输出浓淡图像来进行说明。照相机例如是具有CCD(Charge CoupledDevice：电荷耦合器件)等拍摄元件的电子照相机，是具有在拍摄面(CCD阵列面上)检测2维图像的功能的公知的受光器件。以下将拍摄面中的2维坐标系称为图像坐标系。
图2是表示通过具有图像处理装置21的视觉传感器控制装置20和视觉传感器10来检测对象物的结构例的图。如图2所示，将视觉传感器10固定设置在能够拍摄对象物1的位置，将对象物1载置于作业台2。在该结构中，在由视觉传感器10拍摄到的图像内进行对象物1的检测。
图3是表示在通过机器人控制装置13控制的机器人11的手12对作业台2上的对象物1进行操作的情况下，从设置于机器人11的臂前端部的视觉传感器10的图像中检测对象物1的结构例的图。在图3的结构例中，利用搭载于视觉传感器控制装置20的图像处理装置21对由视觉传感器10拍摄到的图像进行处理来检测对象物1，并将检测出的对象物1的位置信息供给至机器人控制装置13。如本结构例那样，视觉传感器10也可以设置于机器人11的臂前端部等可动部。
如图1所示，图像处理装置21具有图像处理部22、模型图案存储部26以及检测结果存储部27。图像处理部22具有对象物检测部221、对应点选择部222、正解列表生成部223、检测结果列表生成部224、检测率计算部225、目标函数值计算部226和检测参数搜索部227。图1所示的图像处理装置21所具有的各功能可以通过图像处理装置21的CPU执行存储于存储装置的各种软件来实现，或者也可以通过以ASIC(Application Specific IntegratedCircuit：专用集成电路)等硬件为主体的结构来实现。
对象物检测部221针对拍摄到对象物的一个或多个输入图像(输入图像数据)的每一个，进行从该输入图像提取出的多个第二特征点与构成模型图案的多个第一特征点的匹配来检测出对象物的一个或多个像。对应点选择部222针对从一个或多个输入图像中检测出的一个或多个对象物的像的每一个，从构成该像的多个第二特征点中选择与构成模型图案的多个第一特征点对应的第二特征点，将该第二特征点作为对应点与该第一特征点关联起来进行存储。
正解列表生成部223针对通过对包含映现有检测对象的图像的一个或多个输入图像进行检测处理而取得的检测结果，接受由操作者进行的输入是正确的检测结果还是错误的检测结果的操作，生成仅由正确的检测结果构成的正解列表(即，表示对操作者而言所希望的检测结果的信息)。检测结果列表生成部224使用所设定的检测参数生成检测结果列表，该检测结果列表记录有通过对包含映现有检测对象的图像的一个或多个输入图像进行检测处理而取得的检测结果和该检测处理所花费的处理时间。
检测率计算部225将检测结果列表生成部224生成的检测结果列表与正解列表进行比较，计算出未检测率和误检测率中的至少任一个。目标函数值计算部226计算出被定义为将未检测率和误检测率中的至少一方作为输入变量的函数的目标函数的值。检测参数搜索部227在目标函数的值满足预定的条件或者检测参数的搜索次数达到预定数之前，变更检测参数的值，反复进行对象物的检测、未检测率以及误检测率的计算以及目标函数的值的计算，由此进行检测参数的搜索。
视觉传感器10通过通信电缆与图像处理装置21连接。视觉传感器10将拍摄到的图像数据提供给图像处理装置21。操作盘31通过通信电缆与图像处理装置21连接。操作盘31用于进行图像处理装置21检测对象物1所需的视觉传感器10的设定。显示装置32通过通信电缆与图像处理装置21连接。在显示装置32上显示由视觉传感器10拍摄到的图像、由操作盘31设定的设定内容。
图像处理装置21采用如下结构：在表示对象物的基准信息(称为模型图案、模板等)与视觉传感器10取得的输入图像之间进行特征量的匹配，在一致度超过预定的等级(阈值)时判断为对象物的检测成功。例如，假设在特征量的匹配中，将模型图案的特征点与对应的输入图像的对应点的距离的范围(以下，记载为“对应点的允许距离”)设定为检测参数的情况。在该情况下，若作为检测参数而设定较小的值，则一致度降低，有时无法找到想要检测的对象物。与此相反，如果作为检测参数而设定较大的值，则作为与模型图案的特征点对应的特征点，有时会与不妥当的输入图像的特征点误对应而成为误检测的原因。本实施方式的图像处理装置21具有如下功能：在不进行操作者的试错的条件下，自动地设定适于得到操作者所期待的检测结果的检测参数。
图像处理装置21通过以下的算法，设定适于得到操作者所期待的检测结果的检测参数。
(步骤A11)生成针对包含映现有检测对象的图像的一个或多个输入图像的、操作者期待的检测结果的列表(正解列表)。
(步骤A12)新设定检测参数，对在上述(步骤A11)中使用的输入图像(即，在检测参数的值的设定前预先准备的一个或多个输入图像)进行检测，由此新取得检测结果。此时，记录检测所花费的处理时间(检测列表的生成)。
(步骤A13)将新取得的检测结果与正解列表进行比较，计算出通过新设定的检测参数对在上述(步骤A11)中使用的输入图像进行了检测时的未检测率、误检测率。
(步骤A14)根据计算出的未检测率、误检测率以及记录的检测所需的处理时间来计算出目标函数的值。目标函数使用操作者以任意的值对未检测率、误检测率以及检测所需的处理时间进行加权而得到的函数。
(步骤A15)在目标函数的值小于所设定的值时、或者搜索到预定数的检测参数时，结束检测参数的搜索。在不满足条件的情况下，进行新的检测参数的搜索(返回到步骤A12)。
(步骤A16)在搜索到的检测参数中，在图像处理装置中设定目标函数的值最小时的检测参数。
在使目标函数最小化的检测参数的搜索中，能够使用本领域中已知的贝叶斯最佳化、栅格搜索、随机搜索等各种搜索法。在贝叶斯最优化中，根据已经研究的参数，概率性地求出得到良好的目标函数的值的可能性高的参数的候补，高效地搜索参数，因此能够以比栅格搜索、随机搜索少的搜索次数使检测参数最优化。贝叶斯最优化是黑箱最优化方法之一，是针对虽然知道针对输入的输出值但难以数学式化的函数(黑箱函数)，搜索输出最小的输入的方法。另外，随机搜索是随机地设定检测参数的值的搜索方法。在本实施方式中，在检测参数的搜索中使用贝叶斯最优化。
目标函数使用对未检测率、误检测率以及检测所需的处理时间进行加权后的函数。操作者通过改变加权的值，能够决定优先使未检测率、误检测率以及检测所需的处理时间的哪个值最小化。例如，当增大误检测率的权重时，即使产生了未检测，也优先搜索进行使误检测为零的故障安全检测的检测参数。另一方面，若增大未检测率的权重，则能够得到特别适合于抑制未检测的发生的检测参数。另外，通过增加处理时间的权重，能够得到特别适合于减少处理时间的检测参数。
正解列表生成部223通过以下的算法，生成针对包含映现有检测对象的图像的一个或多个输入图像的、操作者期待的检测结果的列表(正解列表)。
(步骤A21)对包含映现有检测对象的图像的一个或多个输入图像进行检测，取得检测结果。检测结果中包含检测出的图像、检测位置、姿势、尺寸的信息。在此，优选即使误检测较多也没有未检测或未检测少，因此将检测参数设定为比较宽松的值来进行检测，以便得到比较多的检测结果。
(步骤A22)接受操作者对各检测结果加标签的操作。通常，操作者通过目视进行确认，附加正解/非正解(是否正确地检测出、是否误检测出)的标签。
(步骤A23)从检测结果仅提取附加了正解的标签的检测结果，生成针对输入图像的操作者期待的检测结果的列表(正解列表)。
检测率计算部225通过以下的算法，计算出通过新设定的检测参数对图像数据集进行了检测时的未检测率、误检测率。
(步骤A31)判定对输入图像新取得的检测结果是否与正解列表中包含的检测结果一致。在检测位置、姿势、尺寸之差收敛于所设定的阈值内时，判定为该检测结果一致。
(步骤A32)合计全部的判定结果，计算出未检测率、误检测率。在正解列表中包含的全部检测结果包含在新取得的检测结果的列表中的情况下，将未检测率设为零，在新取得的检测结果的列表中不包含未包含在正解列表中的检测结果的情况下，将误检测率设为零。在适当地检测到操作者所期待的结果情况下，未检测率、误检测率均为零。
这样，生成对包含映现有检测对象的图像的一个或多个输入图像附加了正解标签的检测结果的列表，从而在变更了检测参数时，不需要操作者的确认，能够计算出对输入图像进行了检测时的未检测率以及误检测率。而且，作为一例，以将误检测率设为零、且将未检测率及检测所需的处理时间最小化为目的，进行以检测参数的值为输入的基于贝叶斯最佳化的搜索，从而能够不进行操作者的试错地设定仅检测操作者意图的检测参数的最佳的检测参数。
图4是表示具体实现设定适于得到操作者期待的检测结果的检测参数的上述算法的处理(以下，记作检测参数设定处理)的流程图。检测参数设定处理在图像处理装置21的CPU的控制下执行。作为检测参数，使用上述的“对应点的允许距离”、以及模型图案的特征量与从输入图像提取的特征量之间的“一致度的阈值”。
首先，进行模型图案的示教(步骤S1)。即，在步骤S1中，图像处理部22生成模型图案，将所生成的模型图案存储于模型图案存储部26。
本实施方式的模型图案由多个特征点构成。作为特征点，能够使用各种特征点，但在本实施方式中将边缘点用作特征点。边缘点是图像中亮度梯度较大的点，能够用于取得对象物1的轮廓形状。作为提取边缘点的方法，可以使用本领域已知的各种方法。
作为边缘点的物理量，有该边缘点的位置、亮度梯度方向、亮度梯度的大小等。如果将边缘点的亮度梯度的方向定义为特征点的姿势，则能够与位置一起定义特征点的位置姿势。在本实施方式中，作为特征点的物理量，存储边缘点的物理量、即边缘点的位置、姿势(亮度梯度的方向)、亮度梯度的大小。
图6是表示对象物1的模型图案的例子的图。如图6所示，对象物1的模型图案由多个第一特征点P_i(i＝1～NP)构成。构成模型图案的第一特征点P_i的位置姿势可以以任何形式表示，作为一例，可以举出如下方法：在模型图案中定义坐标系100(以下，称为模型图案坐标系100)，通过从模型图案坐标系100观察到的位置向量、方向向量等来表现构成模型图案的特征点的位置t_Pi(i＝1～NP)、姿势v_Pi(i＝1～NP)。
模型图案坐标系100的原点可以任意定义。例如，可以从构成模型图案的第一特征点中选择任意的1点，将该点定义为原点，也可以将构成模型图案的全部特征点的重心定义为原点。
模型图案坐标系100的姿势(轴的方向)也可以任意定义。例如，既可以定义为在进行了模型图案的生成的图像中图像坐标系与模型图案坐标系100平行，也可以定义为从构成模型图案的特征点中选择任意的2点，从其一方朝向另一方的方向成为X轴方向。
构成模型图案的第一特征点P_i例如以下述表1那样的形式(包含位置、姿势、亮度梯度的大小)存储于模型图案存储部26。
[表1]
图5是表示图4的步骤S1中的图像处理部22进行的模型图案的生成步骤的流程图。在步骤S201中，作为模型图案将想要示教的对象物1配置在视觉传感器10的视野内，拍摄对象物1的图像。此时的视觉传感器10与对象物1的位置关系优选以与检测出对象物1时相同的方式进行。
在步骤S202中，用矩形或圆形将拍摄到的图像中映现有对象物1的区域指定为模型图案指定区域。图7是表示拍摄到的图像中的模型图案指定区域的例子的图。如图7所示，在拍摄到的图像中定义图像坐标系210，在其中以包含对象物1的像1A的方式指定模型图案指定区域(在此为矩形区域)220。模型图案指定区域220也可以是，即使图像处理部22接受使用者一边通过显示装置32观察图像一边通过操作盘31输入的指示而设定，图像处理部22也将图像中的亮度梯度较大的部位作为像1A的轮廓而求出，自动地指定为像1A包含在内部。
接着，在步骤S203中，在模型图案指定区域220的范围内提取边缘点作为特征点，求出边缘点的位置、姿势(亮度梯度的方向)、亮度梯度的大小等物理量。另外，在指定的区域内定义模型图案坐标系100，将边缘点的位置、姿势从由图像坐标系210表现的值变换为由模型图案坐标系100表现的值。
接着，在步骤S204中，将提取出的边缘点的物理量作为构成模型图案的第一特征点P_i存储在模型图案存储部26中。在本实施方式中，作为特征点使用了边缘点，但在本实施方式中能够使用的特征点并不限定于边缘点，例如也可以使用在本领域中已知的SIFT(Scale-Invariant Feature Transform：尺度不变特征变换)那样的特征点。
另外，也可以不是从对象物1的图像中提取边缘点、SIFT特征点等来作为构成模型图案的第一特征点，而是通过以与在图像中映现的对象物的轮廓线相匹配的方式配置线段、矩形、圆等几何图形来生成模型图案。在该情况下，在构成轮廓线的几何图形上以适当的间隔设置特征点即可。此外，还可以基于CAD数据等来生成模型图案。
返回到图4的流程，接着，图像处理部22在步骤S2～S5中生成针对包含映现有检测对象的图像的一个或多个输入图像的、操作者期待的检测结果的列表(正解列表)。步骤S2～S5的处理对应于上述的正解列表生成的算法(步骤A21～A23)。准备包含映现有检测对象的图像的一个或多个输入图像。针对各个输入图像，设定适当的一致度的阈值以及对应点的允许距离来进行对象物的检测，取得检测结果。在此，由于期望即使误检测多也没有未检测或未检测少，所以将一致度的阈值设定得较低，将对应点的允许距离设定得较大(步骤S2)。然后，针对包含映现有检测对象的图像的一个至多个输入图像的每一个，进行对象物1的像1A(以下，有时简称为对象物1)的检测，取得检测结果(步骤S3)。检测结果中包含检测出的图像、检测位置、姿势、尺寸的信息。
对步骤S3中的对象物1的检测进行详细说明。对象物的检测按照以下的步骤进行。
步骤101：对象物的检测
步骤102：对应点的选择
步骤103：基于检测参数的评价
以下，对步骤101～步骤103进行说明。这些步骤在对象物检测部221的控制下执行。在步骤101(对象物的检测)中，对输入图像I_j(j＝1～NI)分别进行对象物1的像1A(以下，有时简称为对象物1)的检测。首先，从输入图像I_j提取第二特征点。第二特征点可以通过与在生成模型图案时提取第一特征点的方法相同的方法来提取。在本实施方式中，从输入图像提取边缘点，作为第二特征点。为了说明，将从输入图像I_j提取出的NQ_j个第二特征点设为Q_jk(k＝1～NQ_j)。第二特征点Q_jk与输入图像I_j关联起来存储在检测结果存储部27中。在该时间点，通过图像坐标系210来表现第二特征点Q_jk的位置、姿势。
接着，进行从输入图像I_j提取出的第二特征点Q_jk与构成模型图案的第一特征点P_i的匹配，进行对象物1的检测。检测对象物的方法有多种，例如可以利用本领域已知的广义霍夫变换、RANSAC(Random Sample Consensus，随机抽样一致)、ICP(IterativeClosest Point，迭代最近点)算法等。
作为进行检测的结果，从输入图像I_j检测出NT_j个对象物的像。另外，将检测出的像设为T_jg(g＝1～NT_j)，将像T_jg的检测位置设为R_Tjg。检测位置R_Tjg是表示从图像坐标系210观察的对象物的像T_jg的位置姿势、即在像T_jg上重叠模型图案时的从图像坐标系210观察的模型图案坐标系100的位置姿势的齐次变换矩阵，由下式表示。
[数式1]
例如，在对象物不相对于照相机的光轴倾斜、仅考虑全等变换作为在图像中映现的对象物的像的移动即可的情况下，a00～a12如下。
a00＝cosθ
a01＝-sinθ
a02＝X
a10＝sinθ
a11＝cosθ
a12＝y
其中，(x，y)是图像上的位置，θ是图像上的旋转移动量。
另外，在对象物相对于照相机的光轴不倾斜，但对象物与照相机的距离不固定的情况下，根据距离而在图像中映现的对象物的像的大小变化，因此作为在图像中映现的对象物的像的移动而成为相似变换。在这种情况下，a00至a12如下。
a00＝s·cosθ
a01＝-s·sinθ
a02＝x
a10＝s·sinθ
a11＝s·cosθ
a12＝y
其中，s是示教的模型图案的大小与对象物的像T_jg的大小之比。
假设对输入图像I_j(j＝1至NI)中的每一个执行相同的处理，并且总共检测到NT个像。另外，总个数NT由下式表示。
[数式2]
将检测位置R_Tjg与输入图像I_j关联起来存储于检测结果存储部27。
接着，对步骤102(对应点的选择)进行说明。步骤102的处理功能由对应点选择部222提供。在步骤102中，根据从各输入图像I_j(j＝1～NI)检测出的对象物的像T_jg(j＝1～NI、g＝1～NT_j)的检测位置R_Tjg，选择从输入图像I_j提取出的第二特征点Q_jk(j＝1～NI、k＝1～NQ_j)中的、与构成模型图案的第一特征点P_i对应的特征点作为对应点。
为了说明，将构成模型图案的第一特征点P_i的位置姿势分别用齐次变换矩阵R_Pi表示。R_Pi可以描述如下。
[数式3]
b00＝vx_Pi
b01＝-vy_Pi
b02＝tx_Pi
b10＝vy_Pi
b11＝vx_Pi
b12＝ty_Pi
其中，t_Pi＝(tx_Pi，ty_Pi)是模型图案坐标系中的P_i的位置，v_Pi＝(vx_Pi，vy_Pi)是模型图案坐标系中的P_i的姿势。
另外，P_i的姿势也可以不是向量而是用角度r_Pi来表现。v_Pi使用r_Pi，能够表现为v_Pi＝(vx_Pi，vy_Pi)＝(cos r_Pi，sin r_Pi)。同样，从输入图像I_j提取的第二特征点_Q_jk的位置和姿态也由齐次变换矩阵R_Qjk表示。
在此，需要注意的是，构成模型图案的第一特征点P_i的位置姿势R_Pi由模型图案坐标系表现，从输入图像I_j提取出的第二特征点Q_jk的位置姿势R_Qjk由图像坐标系表现。因此，使两者的关系明确。
若将在图像I_j中映现的对象物的像T_jg上重叠模型图案时的、从图像坐标系观察到的第一特征点P_i的位置姿势设为R_Pi’，则R_Pi’使用从模型图案坐标系观察到的第一特征点P_i的位置姿势R_Pi和从图像坐标系观察到的像T_jg的检测位置R_Tjg，如下那样表示。
R_Pi’＝R_Tjg·R_Pi ···(1)
同样地，若将在对象物的像T_jg上重叠模型图案时的、从模型图案坐标系观察到的第二特征点Q_jk的位置姿势设为R_Qjk’，则R_Qjk’使用从图像坐标系观察到的Q_jk的位置姿势R_Qjk和从图像坐标系观察到的像T_jg的检测位置R_Tjg，如以下那样表示。
R_Qjk’＝R_Tjg-1·R_Qjk···(2)
另外，为了后面的说明，将从图像坐标系观察的P_i的位置设为t_Pi’，将从图像坐标系观察的P_i的姿势设为v_Pi’，将从图像坐标系观察的Q_jk的位置设为t_Qjk，将从图像坐标系观察的Q_jk的姿势设为v_Qjk，将从模型图案坐标系观察的Q_jk的位置设为t_Qjk’，将从模型图案坐标系观察的Q_jk的姿势设为v_Qjk’。
基于以上，按照以下的步骤进行构成模型图案的第一特征点P_i与从输入图像I_j提取出的第二特征点Q_jk(j＝1～NI，k＝1～NQ_j)的对应。
B1.基于从输入图像I_j检测出的对象物的像T_jg的检测位置R_Tjg，通过式(1)将构成模型图案的第一特征点P_i的位置姿势R_Pi变换为从图像坐标系观察到的位置姿势R_Pi’。
B2.针对第一特征点P_i中的每一个，从第二特征点Q_jk中搜索最近的特征点。搜索能够使用以下那样的方法。
(a)计算第一特征点的位置姿势R_Pi’与所有第二特征点的位置姿势R_Qjk之间的距离，选择距离最近的第二特征点Q_jk。
(b)在与输入图像I_j的像素数相同的要素数的2维排列中，将第二特征点的位置姿势R_Qjk存储到与其位置的像素对应的2维排列的要素中，2维地搜索与2维排列的第一特征点的位置姿势R_Pi对应的像素附近，选择最初发现的第二特征点Q_jk。
B3.评价所选择的第二特征点Q_jk作为该第一特征点P_i的对应点是否妥当。例如，计算第一特征点P_i的位置姿势R_Pi’与第二特征点Q_jk的位置姿势R_Qjk的距离，若距离为阈值以下，则所选择的第二特征点Q_jk作为该第一特征点P_i的对应点是妥当的。
并且，也可以一并评价第一特征点P_i与第二特征点Q_jk的姿势、亮度梯度的大小等物理量之差，在它们也为阈值以下或阈值以上时判断为所选择的第二特征点Q_jk作为该第一特征点P_i的对应点是妥当的。
B4.在判断为所选择的第二特征点Q_jk作为该第一特征点P_i的对应点是妥当的情况下，将所选择的第二特征点Q_jk作为该第一特征点P_i的对应点O_im，与P_i关联起来存储于检测结果存储部27。将对应点O_im的从图像坐标系观察到的位置姿势设为R_Oim时，R_Oim＝R_Qjk，这是从图像坐标系观察到的位置姿势，因此变换为从模型图案坐标系观察到的位置姿势R_Oim’后进行存储。R_Oim’能够通过式(2)如以下那样计算。
[数式4]
对从输入图像I_j(j＝1～NI)检测出的NT个检测位置R_Tjg(j＝1～NI、g＝1～NQ_j)分别进行以上的处理，由此发现了NO_i个判定为与模型图案的第i个特征点P_i对应的对应点。另外，将与模型图案的第i个特征点P_i对应的第m个对应点设为O_im(m＝1～NO_i)。此外，由于从输入图像I_j检测出的对象物的像的总数为NT，因此NO_i≤NT。所得到的对应点以下述表2那样的方式存储于模型图案存储部26。
[表2]
接着，对步骤103(基于检测参数的评价)进行说明。在此，确认通过上述步骤102(对应点的选择)选择的第二特征点作为第一特征点P_i的对应点是否妥当。在此，使用作为检测参数的“对应点的允许距离”。在使模型图案与像T_jg重合时的、第一特征点P_i和与其对应的第二特征点Q_jk的距离为“对应点的允许距离”以下时，该对应点(第二特征点)妥当。妥当的对应点作为P_i的对应点O_i存储在检测结果存储部27中。
通过对全部的第一特征点P_i(i＝1～NP)进行上述步骤102以及步骤103，能够选择NO个对应点。通过使用构成模型图案的第一特征点的总数NP和发现的对应点的数量NO来求出NO/NP，能够以0.0至1.0之间的值来表现模型图案与像T_x的一致度。将一致度小于“一致度的阈值”的像T_x从检测结果中排除。
返回到图4的流程，接着在步骤S4中，对检测结果附加标签。通常，操作者通过目视进行确认，附加正解/非正解(是否正确地检测出、是否误检测)的标签。图8表示通过上述步骤S3中的检测处理(步骤101～103)，作为一例，从输入图像中检测出8个对象物的像A11～A18，并显示于显示装置32的状态。操作者对检测出的像的每一个附加正解(OK)/非正解(NG)的标签。附加标签也可以通过对图像上的标签图像301的部分进行点击操作来切换OK/NG。在图8的例子中，操作者将像A11、A13～A16、A18设为正解，将像A12、A17设为不正解。
接着，在步骤S5中，从检测结果中仅提取附加了正解的标签的检测结果，将提取出的检测结果作为操作者对输入图像期待的检测结果(正解列表)。在图8的例子的情况下，在正解列表中包含像A11、A13～A16、A18。
接着，在步骤S6～S11的循环处理中，通过贝叶斯最优化来搜索检测参数。首先，设定新的检测参数(一致度的阈值以及对应点的允许距离)(步骤S6)，对在正解列表生成中使用的输入图像进行上述的检测处理(步骤101～103)来取得检测结果(步骤S7)。检测结果中包含检测出的图像、检测位置、姿势、尺寸的信息。另外，此时，记录检测所需的处理时间。
接着，在步骤S8中，检测率计算部225将在步骤S7中得到的检测结果与正解列表进行比较，来计算以在步骤S6中新设定的检测参数(一致度的阈值以及对应点的允许距离)对输入图像进行检测时的未检测率、误检测率。此时，检测率计算部225在作为检测对象的图像相同(附加于图像的ID编号相同)且检测位置、姿势、尺寸之差收敛于事先设定的阈值内时，判定为检测结果一致。
检测率计算部225在正解列表中包含的全部检测结果包含于新取得的检测结果的情况下，以使未检测率成为零的方式计算未检测率。另外，检测率计算部225在新取得的检测结果的列表中一个未包含于正解列表的检测结果都不包含的情况下，以误检测率成为零的方式计算误检测率。具体而言，在将正解列表所包含的像的数量设为N个、将通过新的检测参数检测出的像中的正解列表所包含的像的数量设为m0个时，检测率计算部225也可以通过以下的数学式来计算未检测率。
(未检测率)＝(N-m0)/N
另外，在将正解列表中包含的像的数量设为N个，将通过新的检测参数检测出的像中的未包含于正解列表的像的数量设为m1个时，检测率计算部225也可以通过以下的数式来计算误检测率。
(误检测率)＝m1/N
接着，在步骤S9中，目标函数值计算部226针对在步骤S8中计算出的未检测率、误检测率和步骤S7中的检测所需的处理时间，计算利用通过权重值输入操作输入的权重值进行加权后的目标函数的值。在该情况下，目标函数值计算部226接受操作者经由操作盘31进行的操作的权重值的输入。在此，在将x1、x2、x3分别设为未检测率、误检测率、处理时间，将w1、w2、w3分别设为针对x1、x2、x3的权重值时，目标函数f由以下数式表示。
[数式5]
如以上那样计算目标函数，在目标函数的值小于预先设定的设定值时(S10：是)、或者进行了预定数的搜索时(S11：是)，结束搜索。在目标函数为设定值以上且预定数的搜索尚未结束的情况下(S10：否，S11：否)，再次执行设定新的检测参数来进行检测的步骤S6至S11的一系列的处理。
如上所述，在参数搜索处理中，如上所述计算目标函数，在目标函数的值最小化或充分降低时结束检测参数的搜索。如以上说明的那样，根据参数设定处理，无需操作者的试错，就能够自动地设定最适于得到操作者所期待的检测结果的检测参数。
图像处理装置21将通过以上的处理得到的检测参数设定为在对象物的检测中使用的检测参数。
如以上说明的那样，根据本实施方式，能够使适于得到期望的检测结果的检测参数的设定自动化。
以上，使用典型的实施方式说明了本发明，但只要是本领域技术人员，就能够理解在不脱离本发明的范围的情况下，能够对上述的各实施方式进行变更以及各种其他变更、省略、追加。
在上述的实施方式中，作为检测参数使用了“对应点的允许距离”以及“一致度的阈值”，但这只是例示，也可以代替它们或者在它们的基础上使用其他的检测参数。例如，作为检测参数，也可以在边缘点的亮度梯度方向上设定允许范围，或者在边缘点的亮度梯度的大小上设定允许范围。
在图4所示的检测参数设定处理中的步骤S6～S11的循环处理(即，贝叶斯最优化中的检测参数的搜索处理)中，操作者也可以预先提供几个检测参数和目标函数的值的计算值，减少搜索处理的时间(搜索次数)。
在上述的实施方式中，使用具有未检测率、误检测率以及处理时间这3个输入变量的函数作为目标函数f，但也可以使用将这些输入变量中的至少任一个作为输入变量的目标函数。例如，在使用将未检测率作为输入变量的目标变量的情况下，能够搜索适合于降低未检测率的检测参数。检测率计算部225也可以是计算未检测率、误检测率中的任一方的结构。
执行上述实施方式中的检测参数设定处理等各种处理的程序能够记录在计算机可读取的各种记录介质(例如ROM、EEPROM、闪存等半导体存储器、磁记录介质、CD-ROM、DVD-ROM等光盘)中。
符号说明
1 对象物
10 视觉传感器
11 机器人
12 手
20 视觉传感器控制装置
21 图像处理装置
22 图像处理部
31 操作盘
32 显示装置
221 对象物检测部
222 对应点选择部
223 正解列表生成部
224 检测结果列表生成部
225 检测率计算部
226 目标函数值计算部
227 检测参数搜索部。

Claims (6)

1.一种图像处理装置，其基于对象物的模型图案来检测出1个以上的输入图像数据中的所述对象物的像，其特征在于，所述图像处理装置具备：
对象物检测部，其使用检测参数进行所述模型图案的特征量与从所述1个以上的输入图像数据中提取出的特征量的匹配，根据所述1个以上的输入图像数据来检测所述对象物的像；
检测率计算部，其将所述对象物检测部对在设定所述检测参数的值之前预先准备的所述1个以上的输入图像数据的检测结果与表示对所述1个以上的输入图像数据进行了所述对象物的像的检测的情况下的所期望的检测结果的信息进行比较，由此计算所述对象物检测部进行的所述对象物的检测中的未检测率和误检测率中的至少任一个；
目标函数值计算部，其计算被定义为以所述未检测率和所述误检测率中的至少一方为输入变量的函数的目标函数的值；以及
检测参数搜索部，其在所述目标函数的值满足预定条件或者检测参数的搜索次数达到预定数量之前，改变检测参数的值来反复进行由所述对象物检测部进行的对象物的检测、由所述检测率计算部进行的所述未检测率和所述误检测率中的至少一个的计算以及由所述目标函数值计算部进行的目标函数的值的计算，从而进行所述检测参数的搜索。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述目标函数被定义为将所述未检测率、所述误检测率和所述对象物检测部检测所述对象物的像所需的处理时间分别乘以权重值并相加而得的值。
3.根据权利要求1或2所述的图像处理装置，其特征在于，
所述对象物检测部在所述模型图案的第一特征点与从所述1个以上的输入图像数据提取的第二特征点之间进行匹配，
所述检测参数包括所述第一特征点与对应于该第一特征点的所述1个以上的输入图像数据中的所述第二特征点之间的允许距离。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述检测参数还包括一致度的阈值，所述一致度被定义为作为与所述第一特征点对应的所述第二特征点而处于所述允许距离内的特征点的数量相对于所述模型图案的所述第一特征点的总数的比率。
5.根据权利要求1至4中的任一项所述的图像处理装置，其特征在于，
所述预定的条件是所述目标函数的值比预先设定的设定值低。
6.根据权利要求1至5中的任一项所述的图像处理装置，其特征在于，
所述检测参数搜索部在所述检测参数的搜索中使用贝叶斯最优化、随机搜索中的任意一个。
CN202180011524.9A 2020-02-04 2021-02-01 图像处理装置 Active CN115004246B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-017190 2020-02-04
JP2020017190 2020-02-04
PCT/JP2021/003552 WO2021157528A1 (ja) 2020-02-04 2021-02-01 画像処理装置

Publications (2)

Publication Number Publication Date
CN115004246A CN115004246A (zh) 2022-09-02
CN115004246B true CN115004246B (zh) 2025-06-03

Family

ID=77199280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180011524.9A Active CN115004246B (zh) 2020-02-04 2021-02-01 图像处理装置

Country Status (5)

Country Link
US (1) US12205347B2 (zh)
JP (2) JP7324317B2 (zh)
CN (1) CN115004246B (zh)
DE (1) DE112021000890T5 (zh)
WO (1) WO2021157528A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7648460B2 (ja) * 2021-07-12 2025-03-18 株式会社日立製作所 調整支援システムおよび調整支援方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104103069A (zh) * 2013-04-05 2014-10-15 欧姆龙株式会社 图像处理装置、图像处理方法及程序
CN105723180A (zh) * 2013-11-13 2016-06-29 日产自动车株式会社 移动体位置估计装置以及移动体位置估计方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5999639A (en) 1997-09-04 1999-12-07 Qualia Computing, Inc. Method and system for automated detection of clustered microcalcifications from digital mammograms
US7167583B1 (en) * 2000-06-28 2007-01-23 Landrex Technologies Co., Ltd. Image processing system for use with inspection systems
JP3906197B2 (ja) * 2003-10-21 2007-04-18 株式会社東芝 パターン識別方法及びパターン識別装置及びプログラム
JP5391631B2 (ja) 2008-10-03 2014-01-15 富士通株式会社 パラメタ制御装置、パラメタ制御プログラム及び多段照合装置
JP2010097436A (ja) * 2008-10-16 2010-04-30 Keyence Corp 画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
JP5759133B2 (ja) 2010-09-24 2015-08-05 Juki株式会社 形状ベースマッチングパラメータの調整装置および部品実装装置
JP5447641B2 (ja) 2012-12-27 2014-03-19 オムロン株式会社 モデル画像取得支援装置、モデル画像取得支援方法およびモデル画像取得支援プログラム
JP6348093B2 (ja) * 2015-11-06 2018-06-27 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法
JP6333871B2 (ja) 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP2018126798A (ja) * 2017-02-06 2018-08-16 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
WO2020008995A1 (ja) 2018-07-02 2020-01-09 コニカミノルタ株式会社 画像認識プログラム、画像認識装置、学習プログラム、および学習装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104103069A (zh) * 2013-04-05 2014-10-15 欧姆龙株式会社 图像处理装置、图像处理方法及程序
CN105723180A (zh) * 2013-11-13 2016-06-29 日产自动车株式会社 移动体位置估计装置以及移动体位置估计方法

Also Published As

Publication number Publication date
DE112021000890T5 (de) 2022-12-01
JPWO2021157528A1 (zh) 2021-08-12
WO2021157528A1 (ja) 2021-08-12
JP7502528B2 (ja) 2024-06-18
US20230068692A1 (en) 2023-03-02
JP7324317B2 (ja) 2023-08-09
CN115004246A (zh) 2022-09-02
US12205347B2 (en) 2025-01-21
JP2023119037A (ja) 2023-08-25

Similar Documents

Publication Publication Date Title
US11227144B2 (en) Image processing device and method for detecting image of object to be detected from input data
CN113409391B (zh) 视觉定位方法及相关装置、设备和存储介质
JP4825253B2 (ja) 可変形オブジェクト認識のためのシステムおよび方法
US11625842B2 (en) Image processing apparatus and image processing method
US11094082B2 (en) Information processing apparatus, information processing method, robot system, and non-transitory computer-readable storage medium
US10430650B2 (en) Image processing system
EP2579210A1 (en) Face feature-point position correction device, face feature-point position correction method, and face feature-point position correction program
US11989928B2 (en) Image processing system
JP2012042396A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP5262705B2 (ja) 運動推定装置及びプログラム
JP2019046095A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
CN113407030B (zh) 视觉定位方法及相关装置、设备和存储介质
Gao et al. A novel camera calibration pattern robust to incomplete pattern projection
JP5976089B2 (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
JP2009216503A (ja) 三次元位置姿勢計測方法および装置
CN115004246B (zh) 图像处理装置
CN111199533B (zh) 图像处理装置
JPH07103715A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
CN109978829B (zh) 一种待检测对象的检测方法及其系统
EP4292777A1 (en) Assistance system, image processing device, assistance method and program
CN114004878B (zh) 对位装置、对位方法、对位系统以及存储介质和计算机装置
CN111209834B (zh) 一种orb机器人图像配准方法
CN108827300A (zh) 一种基于视觉的装备姿态位置测量方法及系统
US12318950B2 (en) Adjustment support system and adjustment support method
CN117011383A (zh) Usb类连接器的自动插接方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant