CN117372425A - 一种头颅侧位片的关键点检测方法 - Google Patents

Abstract

本发明公开了一种头颅侧位片的关键点检测方法，涉及牙齿矫治技术领域，构建方法包括：输入头颅侧位片到检测模型，得到初始关键点位置；将模板关键点坐标映射到待检测图像；对待检测图像进行超像素分割；判断初始关键点是否处于对应模板点所在超像素区域内；对不符合标准的初始关键点，在对应的超像素内进行局部回归投票，得到最终关键点位置。本发明通过利用映射后的模板点位置约束模型检测关键点的位置，对不符合距离阈值的初始关键点重新进行局部区域回归投票的方式得到的位置优化后的关键点，可以有效的提高模型检出关键点的准确率。

Description

一种头颅侧位片的关键点检测方法

技术领域

本发明涉及牙齿矫治技术领域，具体涉及一种头颅侧位片的关键点检测方法。

背景技术

牙医在正畸治疗过程中常用头颅侧位片来判断患者是牙性凸还是骨性凸，并且医生会在头颅侧位片上标注一些关键点计算所需要的医学指标信息，通过利用这些指标信息进行诊断以及制定正畸治疗方案。

X光线投影测量分析的自动化使得牙颌面畸形的诊断、治疗设计更加准确，并大大减少了操作者的负担。现有的关键点定位需要医生直接判断，在要求医生经验比较高的同时还增加了医生的工作量。关键点定位的准确性直接影响后续测量结果的可靠性，人工标注关键点不仅需要大量时间，而且不可避免地会产生人为误差，影响测量结果的准确性和矫治效果。

发明内容

本发明的目的在于针对现有技术中的上述不足，提供一种头颅侧位片关键点检测方法，以解决现有头颅侧位片关键点定位不准确的问题。

本发明提供的技术方案如下：

一种头颅侧位片的关键点检测方法，包括：

步骤1：输入头颅侧位片到检测模型，得到关键点的初始位置信息；

步骤2：通过统计验证集中处于不同象限的最准确的检测关键点，以及计算检测点与所在头颅的宽度比值和高度比值、模板点与所在头颅的宽度比值和高度比值，再计算上述宽度比值和高度比值的差值，若小于差异阈值，则选取变换顶点，然后通过计算仿射变换矩阵将模板关键点坐标映射到待检测图像，即可获得模板关键点在检测图像中的位置信息；

步骤3：使用基于DBSCAN的方法对待检测图像进行超像素分割，分别统计处于和不处于在对应模板点所在超像素内的检测点，对不在超像素内的点做下一步判断；

步骤4：利用三大极感兴趣点结合超像素选取局部回归投票区域，对不符合标准的初始关键点，从符合步骤3的检测点内选取处于不相邻象限且距离最近的两个检测点对应的模板点作为邻域变换顶点，根据不符合标准的关键点对应的模板点与相邻两个变换顶点的坐标比值，求得该点的邻域映射点rm，将领域映射点rm、模板点m和检测点d所在的超像素区域作为局部投票区域，将该局部投票区域内的热力图和与其对应的偏移图计算局部回归投票，选择最大值作为关键点，得到最终关键点位置。

在一种典型实施方式中，步骤1中，关键点的初始位置信息获取方式为：将待检测的头颅侧位片转成设定的尺寸后输入至模型当中，获得当前图像的热力图信息和偏移图信息；利用基于注意力特征金字塔融合和回归投票的关键点检测方法，通过遍历每层关键点的热力图，将热力图前πR²大的点与其对应的偏移图计算回归投票，其中R默认为40，选择最大值作为关键点，得到关键点的初始位置信息，公式如下：

,

其中，是第k个关键点的热力图中前πR²大的值的集合，是指示符函数，，为每个像素值独自对应关键点的坐标，具有最高值的像素被视为最可能的关键点的坐标。

在一种典型实施方式中，步骤2中，选取三个变换顶点。

进一步，差异阈值为0.05。

进一步，若大于差异阈值，则将不符合标准的点换掉，选取下一个准确率高的点，直到选到符合条件的变换顶点。

更进一步，所述将模板关键点坐标映射到待检测图像，包括：

将预置头颅侧位片关键点模板映射在当前头颅侧位片的坐标系中，提取模板关键点的位置信息；

统计与校验验证集中最合适的三个检测关键点，利用仿射变换矩阵算法求与对应的模板关键点的位置变换关系；

将其余模板关键点的位置信息输入到位置变换关系中，得到模板关键点仿射变换的坐标。

在一种典型实施方式中，步骤3中，由于存在变换顶点，可以保证最少有三个检测点处于对应模板点所在的超像素内。

在一种典型实施方式中，步骤3中，所述对待检测图像进行超像素分割，包括使用基于密度的聚类算法对图像进行聚类。

在一种典型实施方式中，步骤3中，判断检测点是否处于对应模板点所在超像素区域内，具体方式为：判断模型检测出的关键点是否处于对应模板关键点所在的聚类区域内。

在一种典型实施方式中，步骤3中，对不在超像素内的点做下一步判断，其方式为：在对应的超像素内进行局部回归投票，得到关键点位置，若有不在对应聚类区域内的关键点，对模板点所在的聚类区域使用局部热力图和偏移图信息进行回归投票，重新更新检测关键点的位置信息。

在一种典型实施方式中，步骤4中，得到最终关键点位置的公式表示如下：

，

其中，是第k个关键点的局部热力图中前πQ²大的值的集合，，H和W分别为图像的高和宽，局部区域LA公式表示如下：

，

其中，DR为超像素分割区域，表示为检测点所在的超像素区域，表示为模板点所在的超像素区域，表示为邻域点所在的超像素区域，表示点z、m、r三点之间不处于三超像素区域内的点所在的超像素区域。

与现有技术相比，本发明的有益效果是：

1、本发明先通过关键点检测模型得到初始关键点，然后利用模板关键点的位置和通过基于密度的超像素分割距离阈值限制，可以将不符合距离要求的关键点限制在真实位置附近，降低了关键点位置的误检率；

2、对不符合距离要求的关键点，利用相邻模板点位置信息映射的邻域映射点以及模板信息匹配的模板点三大极感兴趣点所在的超像素区域作为局部信息提取区域，通过利用多种位置信息进行感兴趣区域的提取，减少了模板与人脸的关键点位置差异较大的问题；

3、本发明对不符合距离要求的关键点，通过利用局部信息进行回归投票定位出检测点，利用关键点最可能出现的区域进行投票定位。由此可见，该方法能够减少误识别为关键点的情况，从而提高识别关键点的准确度，提高关键点检测的鲁棒性，可以适合更多厂家的头颅侧位片。同时相对于传统的人工定点，本发明的效率更高。

附图说明

构成本发明的一部分说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例中一种头颅侧位片的关键点检测方法流程图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

X光线投影测量分析的自动化使得牙颌面畸形的诊断、治疗设计更加准确，并大大减少了操作者的负担。现有的关键点定位需要医生直接判断，在要求医生经验比较高的同时还增加了医生的工作量。关键点定位的准确性直接影响后续测量结果的可靠性，人工标注关键点不仅需要大量时间，而且不可避免地会产生人为误差，影响测量结果的准确性和矫治效果。

基于以上，本申请的具体实施方式包括以下：

参见图1所示，本申请提供了一种头颅侧位片的关键点检测方法的实施例，具体包括：

步骤1：输入头颅侧位片到检测模型，该模型利用基于注意力特征金字塔融合和回归投票的关键点检测方法，通过结合特征金字塔融合模块和回归投票，可以较准确的得到图像中关键点的初始位置；

（1）本发明实施例中输入的头颅侧位片允许多种骨性类型、不同性别、不同年龄阶段、不同机器厂家拍摄的头颅侧位片，即本方法可以适用多种不同类型的头颅侧位片；

（2）本发明实施例中对初始关键点检测模型不做限制，可以利用基于注意力特征金字塔融合和回归投票的关键点检测方法，通过结合特征金字塔融合模块和回归投票，可以较准确的实现图像中关键点信息的提取，还可以利用其他关键点检测算法进行检测得到初始关键点位置；

（3）将待检测的头颅侧位片转成设定的尺寸后输入至模型当中，获得当前图像的热力图信息和偏移图信息；

（4）遍历每层关键点的热力图，将热力图前πR²大的点与其对应的偏移图计算回归投票，其中R默认为40，选择最大值作为关键点，得到关键点的初始位置信息，公式如下：

，

其中，是第k个关键点的热力图中前πR²大的值的集合，是指示符函数，，为每个像素值独自对应关键点的坐标，最后，具有最高值的像素被视为最可能的关键点的坐标；

（5）需要说明的是，本发明实施例中对32个关键点的数量不做限制，可以根据需求自己进行设置。具体的，本发明实施例中用到蝶鞍点、鼻根点、眶点、耳点、上齿槽坐点、下齿槽坐点、颏前点、颏下点、颏顶点、下颌角点、下颌中切牙切缘点、上颌中切牙切缘点、上唇突点、下唇突点、鼻下点、软组织之颏前点、后鼻棘、前鼻棘、关节点、颅顶点、髁突中心点、翼点、鼻顶点、颞下颌关节最低点、内下颌角点、上中切牙根尖点、上第一恒磨牙近中颊尖点、下第一恒磨牙近中颊尖点、下第一恒磨牙园中边缘点、下中切牙根尖点、下颌升支后缘和下颌角后下缘共32个点。

步骤2：通过统计验证集中处于不同象限的最准确的检测关键点，以及计算检测点与对应模板点和头颅宽高比值的差值满足小于差异阈值的方法，选取三个变换顶点，然后通过计算仿射变换矩阵将模板关键点坐标映射到待检测图像；

（1）统计与校验验证集中最合适的三个检测关键点。为了保证变换顶点是检测准确的点，首先需要统计验证集中关键点的准确率及对应的象限，以验证集头颅的中点为原点，将关键点划分为四个象限，按准确率由高到低进行排序；其次判断准确率最高的三个点是否处于不同象限，若不处于选取次准确率高的点，直到选取的三个点处于不同象限；为了再次确保模型检测出的点可用作变换顶点，分别计算三个模板变换顶点与所在头颅的宽度比值和高度比值，计算对应检测点与所在头颅的宽度比值和高度比值；最后分别计算上述两个宽度比值和高度比值的差值，若存在大于0.05的值，则将不符合标准的点换掉，选取下一个准确率高的点，直到选到三个符合条件的变换顶点。

（2）利用仿射变换矩阵算法求与对应的模板关键点的位置变换关系。三个变换顶点坐标分别记为、、，其次，需要在一张头颅侧位片上做好对应32个关键点的位置标注，该片记为模板片，对应的三个点的坐标分别记为、、，根据同一标准点对应建立方程组，包括以下：

，

将方程组(2)进行矩阵表示为：

，，，；

上述中，K即为仿射变换矩阵，通过最小二乘法使得误差项的平方和最小，经过数学推导，就可以得到。

（3）将模板关键点映射到待检测图像中，即将其余关键点位置信息代入仿射变换矩阵中，即可获得模板关键点在检测图像中的位置信息。

步骤3：使用基于DBSCAN的方法对待检测图像进行超像素分割，具体方式包括使用基于密度的聚类算法对图像进行聚类，分别统计处于和不处于在对应模板点所在超像素内的检测点。判断检测点是否处于对应模板点所在超像素区域内，具体方式为：判断模型检测出的关键点是否处于对应模板关键点所在的聚类区域内。若有不在对应聚类区域内的关键点，对模板点所在的聚类区域使用局部热力图和偏移图信息进行回归投票，重新更新检测关键点的位置信息。由于存在变换顶点，可以保证最少有三个检测点处于对应模板点所在的超像素内，对不在超像素内的点做下一步判断。

（1）本发明实施例中对图像进行超像素分割的方式不做限制，可以使用基于密度的聚类算法DBSCAN。首先将图像进行色彩空间转换，由RGB色彩空间转换到Lab色彩空间，其次利用像素的L、a、b值和对应的X、Y坐标与其它像素逐一计算在Lab色彩空间上的颜色距离和空间距离，然后通过DBSCAN算法，利用每个像素的颜色距离和空间距离对像素进行聚类，将相似的像素合并成超像素。需要说明的是，Lab色彩空间是颜色-对立空间，其中维度L表示亮度，a和b表示颜色对立维度。RGB色彩空间为任何基于RGB颜色模型的色彩空间，其中RGB颜色模型以红、绿、蓝三种基本色为基础，进行不同程度的叠加，产生丰富而广泛的颜色，所以俗称三基色模式。需要说明的是，DBSCAN算法为一个比较有代表性的基于密度的聚类算法，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。

（2）本发明实施例中判断关键点是否处于对应模板点所在的超像素区域内。需要说明的是，超像素是在一定区域内，色彩和纹理上会有一定相似性的像素集合。因此以关键点对应的模板点所在的超像素区间作为该点是否处于该区域内的判断标准，若关键点处于超像素区间内，则该点位置确定为该关键点位置，否则进行下一步判断。

步骤4：利用三大极感兴趣点结合超像素选取局部回归投票区域，对不符合标准的初始关键点，从符合步骤3的检测点内选取处于不相邻象限且距离最近的两个检测点对应的模板点作为邻域变换顶点，根据不符合标准的关键点对应的模板点与相邻两个变换顶点的坐标比值，求得该点的邻域映射点rm，将领域映射点rm、模板点m和检测点d所在的超像素区域作为局部投票区域，将该局部区域内的热力图和与其对应的偏移图计算局部回归投票，选择最大值作为关键点，得到最终关键点位置，公式表示如下：

，

其中，是第k个关键点的局部热力图中前πQ²大的值的集合，

，H和W分别为图像的高和宽，局部区域LA公式表示如下：

，

其中，DR为超像素分割区域，表示为检测点所在的超像素区域，表示为模板点所在的超像素区域，表示为邻域点所在的超像素区域，表示点z、m、r三点之间不处于三超像素区域内的点所在的超像素区域。

本发明实施例中对不符合标准的关键点，在对应的超像素内进行局部回归投票，得到最终关键点位置。需要说明的是，与步骤1-4在全图范围内选取热力图中前πR²的集合进行回归投票的过程不同的是，此次步骤不再使用全局信息，只使用对应该点的超像素区域内的局部信息进行关键定位，即选取该点对应超像素内所有点的热力图信息重复步骤1-4。

本发明先通过结合热力图和偏移图来计算逐像素回归投票，利用全局信息得到关键点，提高了关键点定位的准确率，利用模板关键点的位置和通过基于密度的超像素分割距离阈值限制，可以将不符合距离要求的关键点限制在真实位置附近，再利用局部信息进行回归投票定位出检测点，提高了关键点检测的鲁棒性，可以适合更多厂家的头颅侧位片。相对于传统的人工定点，本发明速度更快，效率更高，相较于现有关键点检测方法，本发明准确度更高，鲁棒性更强。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种头颅侧位片的关键点检测方法，其特征在于，包括：

步骤1：输入头颅侧位片到检测模型，得到关键点的初始位置信息；

步骤2：通过统计验证集中处于不同象限的最准确的检测关键点，以及计算检测点与所在头颅的宽度比值和高度比值、模板点与所在头颅的宽度比值和高度比值，再计算上述宽度比值和高度比值的差值，若小于差异阈值，则选取变换顶点，然后通过计算仿射变换矩阵将模板关键点坐标映射到待检测图像，即可获得模板关键点在检测图像中的位置信息；

步骤3：使用基于DBSCAN的方法对待检测图像进行超像素分割，分别统计处于和不处于在对应模板点所在超像素内的检测点，对不在超像素内的点做下一步判断；

步骤4：利用三大极感兴趣点结合超像素选取局部回归投票区域，对不符合标准的初始关键点，从符合步骤3的检测点内选取处于不相邻象限且距离最近的两个检测点对应的模板点作为邻域变换顶点，根据不符合标准的关键点对应的模板点与相邻两个变换顶点的坐标比值，求得该点的邻域映射点rm，将领域映射点rm、模板点m和检测点d所在的超像素区域作为局部投票区域，将该局部投票区域内的热力图和与其对应的偏移图计算局部回归投票，选择最大值作为关键点，得到最终关键点位置。

2.根据权利要求1所述的一种头颅侧位片的关键点检测方法，其特征在于，步骤1中，关键点的初始位置信息获取方式为：将待检测的头颅侧位片转成设定的尺寸后输入至模型当中，获得当前图像的热力图信息和偏移图信息；利用基于注意力特征金字塔融合和回归投票的关键点检测方法，通过遍历每层关键点的热力图，将热力图前πR²大的点与其对应的偏移图计算回归投票，其中R默认为40，选择最大值作为关键点，得到关键点的初始位置信息，公式如下：

，

其中，是第k个关键点的热力图中前πR²大的值的集合，是指示符函数，，为每个像素值独自对应关键点的坐标，具有最高值的像素被视为最可能的关键点的坐标。

3.根据权利要求1所述的一种头颅侧位片的关键点检测方法，其特征在于，

步骤2中，所述将模板关键点坐标映射到待检测图像，包括：

将预置头颅侧位片关键点模板映射在当前头颅侧位片的坐标系中，提取模板关键点的位置信息；统计与校验验证集中最合适的三个检测关键点，利用仿射变换矩阵算法求与对应的模板关键点的位置变换关系；将其余模板关键点的位置信息输入到位置变换关系中，得到模板关键点仿射变换的坐标。

4.根据权利要求1所述的一种头颅侧位片的关键点检测方法，其特征在于，步骤3中，由于存在变换顶点，可以保证最少有三个检测点处于对应模板点所在的超像素内。

5.根据权利要求1所述的一种头颅侧位片的关键点检测方法，其特征在于，步骤3中，所述对待检测图像进行超像素分割，包括使用基于密度的聚类算法对图像进行聚类。

6.根据权利要求1所述的一种头颅侧位片的关键点检测方法，其特征在于，步骤3中，判断检测点是否处于对应模板点所在超像素区域内，具体方式为：判断模型检测出的关键点是否处于对应模板关键点所在的聚类区域内。

7.根据权利要求1所述的一种头颅侧位片的关键点检测方法，其特征在于，步骤3中，对不在超像素内的点做下一步判断，其方式为：在对应的超像素内进行局部回归投票，得到关键点位置，若有不在对应聚类区域内的关键点，对模板点所在的聚类区域使用局部热力图和偏移图信息进行回归投票，重新更新检测关键点的位置信息。

8.根据权利要求1所述的一种头颅侧位片的关键点检测方法，其特征在于，步骤4中，得到最终关键点位置的公式表示如下：

，

其中，是第k个关键点的局部热力图中前πQ²大的值的集合，，H和W分别为图像的高和宽，LA表示为局部区域。

9.根据权利要求8所述的一种头颅侧位片的关键点检测方法，其特征在于，局部区域LA公式表示如下：

，

其中，DR为超像素分割区域，表示为检测点所在的超像素区域，表示为模板点所在的超像素区域，表示为邻域点所在的超像素区域，表示点z、m、r三点之间不处于三超像素区域内的点所在的超像素区域。