CN117242528A - 处理图像以进行皮肤分析和可视化皮肤分析的系统和方法 - Google Patents

Abstract

系统和方法处理图像以确定皮肤状况严重程度分析并可视化皮肤分析，例如使用深度神经网络(例如，卷积神经网络)，其中问题被表述为具有仅整数标签的回归任务。引入了辅助分类任务(例如，包括性别和种族预测)以提高性能。可以使用评分和其他图像处理技术(例如，与模型相关)来可视化结果，例如突出显示分析的图像。结果表明，突出皮肤状况影响区域的结果可视化也可以为模型提供清晰的解释。可以对源图像进行多个(k)数据增强，以产生k个增强图像以供处理。从处理k个增强图像产生的激活掩模(例如热图)用于定义最终图以可视化皮肤分析。

Description

处理图像以进行皮肤分析和可视化皮肤分析的系统和方法

交叉引用

对于美国，本申请要求其国内利益，对于所有其他司法管辖区，本申请要求以下在先申请的优先权：1)2019年7月10日提交的美国临时申请no.62/872,347和2)2019年7月25日提交的美国临时申请no.62/878,464。在适用的情况下，每个在先申请的全部内容通过引用并入本文。

技术领域

本申请涉及使用神经网络的图像处理和皮肤病学。更具体地，本申请涉及处理图像以确定皮肤状况严重程度分析和可视化皮肤分析的系统和方法。

背景技术

准确的皮肤分析在医学和化妆品领域都是重要的领域。寻常痤疮是一种常见的皮肤科疾病，85％的人在一生中的某个阶段受到影响[15]。已经努力通过对患者图像进行评分来系统地评估痤疮的严重程度。已经建立了标准系统，如全球痤疮严重程度表，以基于病变大小、密度、类型和分布通过整数评估每个患者或图像的痤疮分数。

诸如面部图像的图像以由图像的像素表示的编码方式呈现寻常痤疮(皮肤状况)。希望提供一种计算机实施的方法、计算设备和其他方面，其使用深度学习来执行或能够执行基于图像的自动诊断以从图像解码寻常痤疮的存在和/或严重程度。还希望处理这种图像以可视化(例如，通过修改源图像)皮肤分析。

发明内容

提供了处理与皮肤分析相关的图像的系统和方法。根据一个实施例，基于学习的模型通过使用深度神经网络(例如，卷积神经网络(CNN))执行皮肤病学评估。根据一个实施例，训练和评估CNN模型，其中问题被表述为具有仅整数标签的回归任务。在一个实施例中，引入了辅助分类任务(例如，包括性别和种族预测)以提高性能。在一个实施例中，与训练的深度神经网络模型相关联地使用其他图像处理技术，以可视化原始图像上的结果。结果表明，突出皮肤状况(例如，痤疮)影响区域的结果可视化也可以为模型提供清晰的解释。在一个实施例中，对源图像进行多个(k)数据增强，以产生k个增强图像以供处理。从处理k个增强图像产生的激活掩模(例如热图)用于定义最终图以可视化皮肤分析。

根据一个实施例，提供了一种皮肤诊断设备，包括提供耦合到存储单元的处理单元的电路，以配置皮肤诊断设备，以提供：皮肤分析单元，用于使用包括用于图像分类的回归器和分类器的深度神经网络对图像的像素进行分类，以生成针对皮肤状况的皮肤诊断。

在一个实施例中，处理单元和存储单元进一步配置皮肤诊断设备以提供可视化单元来注释图像以可视化皮肤诊断。

在一个实施例中，处理单元和存储单元进一步配置皮肤诊断设备以响应于皮肤诊断提供推荐单元，以推荐针对皮肤状况的产品。

在一个实施例中，处理单元和存储单元进一步配置皮肤诊断设备以提供用于购买针对皮肤状况的产品的电子商务界面。

在一个实施例中，皮肤诊断包括在对图像上的皮肤状况的严重程度进行分类的尺度上的整数值。在一个实施例中，深度神经网络被配置为接收归一化的面部图像作为输入，并输出表示在尺度上所有可能的整数值的概率分布的向量，并应用激活函数以确定皮肤诊断的整数值。

在一个实施例中，深度神经网络进一步配置有辅助任务，以确定种族预测和性别预测中的一个或两者。

在一个实施例中，深度神经网络包括用于图像分类的适配网络，适配网络适于生成皮肤诊断。

在一个实施例中，深度神经网络包括用于图像处理的卷积神经网络(CNN)。在一个实施例中，CNN包括作为编码器的残差网络，该残差网络在最终完全连接层之前具有全局池化操作，该最终完全连接层被配置为生成回归器和分类器输出。

在一个实施例中，深度神经网络是用组合损失函数训练的，该组合损失函数组合了回归器损失函数和分类器损失函数。在一个实施例中，组合损失函数符合等式：

其中：

和分别是均方误差(MSE)、交叉熵误差(CE)、性别预测和种族预测函数；以及

λ_mse,λ_ce,λ_性别和λ_种族是权重因子。

在一个实施例中，使用包括来自用户移动设备的自拍图像的面部图像数据的数据集来训练深度神经网络。

在一个实施例中，深度神经网络被配置为生成热图，以可视化与图像相关联的皮肤诊断。在一个实施例中，深度神经网络被配置为应用类激活图(CAM)技术来生成热图。

在一个实施例中，图像包括来自用户移动设备的自拍图像。

在一个实施例中，诊断设备包括个人使用的计算设备和经由通信网络提供皮肤诊断服务的服务器中的一个。在一个实施例中，个人使用的计算设备包括智能手机、平板电脑、膝上型计算机、个人计算机或具有或耦合到相机的其他计算设备中的一个。

在一个实施例中，推荐单元提供响应于皮肤诊断的治疗产品选择器，以获得产品推荐和治疗计划推荐中的至少一个。

在一个实施例中，处理单元和存储单元配置皮肤诊断设备以提供图像获取功能以接收图像。

在一个实施例中，皮肤状况是寻常痤疮。

在一个实施例中，提供了一种计算机实施的皮肤诊断方法，包括：接收图像并使用深度神经网络处理图像，深度神经网络被配置为对图像像素进行分类以确定针对皮肤状况的皮肤诊断，其中，深度神经被配置为回归器和分类器以确定皮肤诊断；以及可视化与图像相关联的皮肤诊断。

在一个实施例中，提供了一种计算机实施的方法，包括：接收皮肤的图像；使用被配置为产生皮肤分析结果和激活掩模的深度神经网络处理图像，以可视化与图像相关联的皮肤分析结果；以及提供激活掩模和显示的图像。在一个实施例中，处理图像包括：对图像执行多个(k)数据增强，以产生k个增强图像，以供深度神经网络进行处理；以及通过深度神经网络处理k个增强图像以产生k个激活掩模，并由此定义最终激活掩模。在一个实施例中，k个激活掩模和最终激活掩模包括热图。在一个实施例中，深度神经网络使用Grad-CAM技术产生相应的k个激活掩模。在一个实施例中，使用求平均值由k个激活掩模定义最终激活掩模。在一个实施例中，将阈值应用于来自求平均值的k个激活掩模的消除值。在一个实施例中，2<＝k<＝20。在一个实施例中，该方法包括在执行k个数据增强之前对皮肤的图像进行归一化。在一个实施例中，k个数据增强每个包括从仿射变换和水平翻转操作中随机选择的一个增强。在一个实施例中，该方法包括响应于皮肤分析结果提供产品推荐。在一个实施例中，该方法包括提供用于购买一个或多个产品的电子商务界面，该界面响应于产品推荐。在一个实施例中，产品推荐与用于使用推荐产品的治疗计划相关联。在一个实施例中，深度神经网络被配置为分析针对皮肤状况的图像。在一个实施例中，皮肤状况是寻常痤疮。在一个实施例中，深度神经网络包括卷积神经网络(CNN)。在一个实施例中，提供了一种包括电路的计算设备，该电路配置计算设备以执行前述任何实施例中的方法。

在一个实施例中，提供了一种方法，包括：训练卷积神经网络(CNN)，该卷积神经网络被配置为对图像的像素进行分类以确定皮肤诊断，其中：CNN包括用于图像分类的深度神经网络，该深度神经网络被配置为生成皮肤诊断；CNN被配置为回归器和分类器以确定皮肤诊断；以及使用包括来自用户移动设备的自拍图像的面部图像数据的数据集来训练CNN。

这些和其他方面对于本领域的普通技术人员将是显而易见的。对于任何计算设备相关方面，提供了相应的方法方面和相应的计算机程序产品方面，其中(非暂时性)存储设备存储指令，当由计算设备的处理单元执行时，该指令配置计算设备以执行方法方面。

附图说明

图1是根据本文示例的包括CNN和输出的部件的计算设备的存储设备的示意图。

图2是带有面部块的图像。

图3是根据示例通过寻常痤疮诊断评分显示CNN模型的精度的图表。

图4示出了根据示例使用热图的寻常痤疮诊断的可视化。

图5A和5B是示出根据示例的每个图像的激活值与预测分数之间的关系的图表500和502。

图6是根据本文实施例的为各个方面提供环境的计算机网络的图示。

图7是根据图6的计算机网络的示例的计算设备的框图。

图8A-8B和9是根据本文实施例的计算设备的操作的流程图。

图10A和10B示出了根据示例的皮肤分析的相应源图像和可视化。

在附图中所示的面部示例中，仅出于本文的说明目的，用黑色矩形遮住眼睛区域。

本发明的概念通过其某些实施例来最好地描述，这些实施例在本文中参考附图进行描述，其中相似的附图标记始终指代相似的特征。应当理解，当在本文中使用术语发明时，其旨在暗示下面描述的实施例的基础上的发明概念而不仅仅是实施例本身。应进一步理解，整体发明概念不限于下面描述的说明性实施例，并且应根据这样的观点阅读下面的描述。

具体实施方式

寻常痤疮是一种常见的皮肤病(皮肤状况)，85％的人群，尤其是青少年，不时经历痤疮。为了评估痤疮的严重程度，个人需要拜访皮肤科医生和临床医生，并依赖他们在这一领域的专业知识。医生必须亲自手动检查患者，并根据病变计数、受影响面积和其他相关因素给出大致的分级。这种方法往往费时费力，还可能由于人为的合理失误而导致结果不可靠、不准确。当需要在一段时间内不断地重复检查时，也需要医生付出过多的努力。

为了最大限度地减少这项任务所需的人力，许多研究一直在探索计算机辅助技术来评估痤疮的严重程度。该领域中的许多工作成果，如[1,7]，需要通过算法对高标准的医学图像进行处理，而这些算法很难在移动系统中部署。包括[8,2]在内的后来的工作成果介绍了通过许多不同步骤处理移动电话拍摄的图像的方法。然而，所有这些工作成果都集中在痤疮定位和病变计数[8,1,2,7]。这涉及长流程的传统图像处理技术，例如斑点检测和特征提取，以输出掩模或病变的区域定位。然后，根据定位结果和检测到的病变数量，通过公式计算痤疮的严重程度(即，痤疮分数)。这类方法的一个主要限制是痤疮分数的精度与痤疮定位和病变计数的表现相结合。在某些情况下，光照条件和肤色会增加流程各个阶段的错误率，从而显著影响最终结果。

在最近的一项关于痤疮评估的工作成果[9]中，作者通过使用神经网络在没有病变计数的情况下取得了显著的结果。他们已经表明，只要给出图像数据，神经网络就可以非常准确地执行。

然而，他们的方法需要一种特殊类型的医学图像，这迫使用户坐在相机设备前，并在训练和测试期间做出5个特定的姿势。这种类型的评估也限制了移动设备的使用。另一项工作成果[16]，适应于移动电话拍摄的图像，需要多次迭代的人为校正。

根据示例，对卷积神经网络(CNN)的训练技术进行了扩展。根据示例，导出了一种方法来适应这种分级问题的性质：具有仅整数标签的回归任务。因此，根据示例，系统被设计为在训练期间具有一个回归目标和另一个辅助分类目标。根据示例，增加了性别预测和种族预测作为两个额外的辅助任务。对这些任务的实验表明，引入这些任务后，提高了性能。此外，根据示例，与许多其他医学成像工作成果不同，该模型是在由移动设备拍摄的面部图像组成的自拍数据集上训练和测试的，并且该模型证明该端到端模型在野外自拍准确地工作。根据示例，该模型通过仅上传一个单个图像而在移动设备上使用。根据示例，该模型在痤疮分级精度方面优于类似工作成果[16]3％。最后，根据示例，使用Grad-CAM[13]作为可视化工具，以显示CNN模型的可解释性。

数据集

根据一个实施例，原始数据集由从五个不同种族的1051个受试者收集的5971个图像组成，其中移动电话为每个受试者拍摄了三个图像：来自正面和两个侧面视图。三位皮肤科医生根据他们对相应图像的专家评估，使用GEA标准[3]给每个受试者分配0到5的整数分数。对于该分数模型，使用了1877个正面图像的数据集。基础真值被定义为三位皮肤科医生分数的多数分数。数据集被随机分为训练(80％)、测试(10％)和验证子集(10％)。

模型结构

在之前的工作成果[5,11]中，现代深度学习架构，如ResNet[4]和MobileNetV2[12]，在学习细节皮肤特征方面表现出了出色的能力。典型的方法将是基于预先训练的特征网络(如ResNet)的迁移学习，通过添加几个完全连接层来对适当的目标函数进行分类或回归。然而，由于痤疮分数是由连续整数表示的，我们引入了辅助分类损失和回归损失。这个想法的灵感来源于[11,10]关于年龄回归任务的工作成果，类似的情况也适用。根据一个实施例，图1是提供深度学习系统的计算设备的存储设备100的示意图。存储设备包括存储器(RAM/ROM)等，例如用于向处理单元提供指令，该处理单元在示例中是图形处理单元或诸如移动设备或服务器的处理单元。

提供面部和标志检测器102，以接收包括面部的像素(未示出)的图像以进行处理。还提供了面部归一化部件104，以输出归一化的面部图像。部件102和104预处理图像以向CNN106提供归一化的面部图像。CNN106包括编码器部件108(根据该示例，其包括残差网络(例如ResNet)编码器)、全局池化操作部件110和解码器或预测器部件112、114和116。完全连接层112提供相应的回归器和分类器输出118。性别预测部件114产生性别输出120，并且种族预测部件116产生种族输出122。虚线124和126分别示意性地示出回归运算的损失函数(线124表示均方误差回归器损失函数)和分类器运算的损失函数(线122表示交叉熵分类器损失函数)到编码器108的CNN输入层的反向传播，如进一步描述的。

因此，在测试时，CNN模型(有时被称为“模型”)将归一化的面部图像作为输入，并输出向量y＝f_θ(x)，该向量表示寻常痤疮诊断尺度在所有可能的整数分数上的概率分布。然后将最终分数计算为softmax期望值(后来取整为输出整数)：

其中a和b是分数范围(例如，尺度)的下界和上界。

为了构造和训练网络，根据示例，通过调整已有的训练图像处理网络构造特征提取器。更具体地，采用了使用残差网络技术定义的通用CNN。通过在定义CNN编码器108的平均池化层裁剪ResNet50来定义特征提取器。定义CNN全局池化部件110的全局最大池化层被添加到CNN编码器108的最后一个卷积块之后。在使用这些部件提取特征之后，使用定义完全连接层112的另外两个完全连接层(在其间添加Leaky ReLU)进一步处理特征。除此之外，添加了两个附加分支以帮助网络在这个跨种族和跨性别数据集中更好地学习，即具有输出120的性别预测块114和具有输出122的种族预测块116。进一步讨论的是通过添加两个分支的实验结果。将理解，根据未示出的示例，采用了除ResNet50之外的基本CNN模型(例如，用于图像处理)。例如，适配MobileNet变体等。根据示例，希望采用为移动设备配置的CNN模型，以适合商业需要。应当理解，这里的示例，包括度量，涉及适配的ResNet50'网。

学习

根据示例，用四个任务训练CNN106：痤疮分数回归、痤疮分数分类、性别预测和种族预测。CNN106(其框架)通过优化以下目标(由组合损失函数定义)来训练：

更具体地，

其中N是训练批量大小，并且是基础真值标签。

根据示例，分数分类损失通过最小化分数分类概率输出上的交叉熵误差来帮助网络学习更好的概率分布。具体地，这种损失鼓励模型在计算期望值之前输出正确的分数类别。如图1所示，回归损失从最终输出反向传播(显示为线124)到CNN编码器108的输入层(未具体显示)，而分类损失从概率分布反向传播(显示为线126)到输入层。

根据示例，采用交叉熵误差作为正则化项，计算了跨性别、跨种族数据集的性别预测损失和种族预测损失。两个损失也以类似于线126的方式分别从预测层反向传播(未显示)到输入层。

实验

实施细节

根据示例，对于每个图像，例如通过使用60点面部跟踪器(无轮廓点)来检测标志，并且在训练时间以一定的随机性从输入图像中裁剪面部区域的矩形。对于每个面部框(面部裁剪)，在唯一图像的训练数据集中，应用随机性来生成进一步的图像，例如通过将最左、最上、最右、最下的每个点移动到每个对应的方向，随机值为[0.08，0.1)*高度，[0.2，0.3)*宽度，[0.08，0.1)*高度，[0.07，0.08)*底部。因此，在扩展之后将裁剪面部框(图2所示的示例示出了输入图像和面部框202)。出于本公开的目的，提供隐私掩模204以模糊用户身份。

为了进一步扩充源数据，根据示例，在[0.8，1.0]范围内执行随机重新缩放，以0.5的概率进行随机水平翻转。每个裁剪图像的大小调整为334x448，并且增强图像在RGB通道上分别以[0.485,0.456,0.406]为中心，标准偏差为[0.229,0.224,0.225]。根据示例，使用Adam[6]对CNN进行了优化，其学习率为0：0001。根据示例，使用Eq.2的损失函数实现了最佳性能，其中λ_mse＝1:0,λ_ce＝1:0,λ_性别＝0:001,λ_种族＝0:001和ResNet50作为主干特征网络(即，定义CNN编码器108的部件)。

评估

如前所述，临床上，痤疮评估是具有仅整数标签的回归任务。因此，报告了在一定误差阈值内测试样品的平均绝对误差和百分比。例如，0：5以内的误差也是分类精度。结果，根据示例，该模型的平均绝对误差为0:35，分类误差为71％。在表1中，显示了与先前在相同痤疮评估数据集上的工作成果进行比较的结果。报告平均绝对误差以概括回归结果，并报告0：5和1：0范围内的误差百分比以显示分类精度水平。结果，根据示例，提出的CNN在总体分类精度上优于先前工作成果的方法。在[16]中，据报告，就专家同意建立基线而言，专家的表现为67％。

表1只使用正面图像和所有三张照片的总体结果

其中一个共同面临的挑战是在不同类别之间取得正确的平衡。总体精度通常与多数类别的表现有很强的相关性。在痤疮评估中，使用通用尺度，整数分数1和分数2通常是这类问题的多数类别。另一方面，给定数据的大小和原始分数定义，分数0(无痤疮)也很难与分数1(几乎无痤疮)区分开来。图3是根据示例显示按分数(例如，标签vs预测)的精度的图表300。在图表300中，显示了本方法对于分数1到4实现良好平衡的精度分布，而类别0有时被错误分类。

消融研究

如所描述的，根据示例，采用将回归与分类学习相结合的学习方法，以期提高痤疮评估中具有整数标签的回归任务的精度。本节包括对以下方法的讨论和比较：1)使用直接输出分数的回归分支，用MSE损失训练(记为REG)；2)使用分类分支，用交叉熵损失训练(记为CLS)；3)根据分类结果的概率输出计算输出，用MSE损失训练(记为REG经由CLS)；4)在第2节中讨论的建议方法(记为REG+CLS)。

在表2中，根据示例，显示了4个不同训练目标的平均绝对误差(MAE)和分类精度。可以看出，将皮肤分析问题作为纯回归任务处理，其在分数分类上实现了68％的结果，高于将问题表述为纯分类任务时的结果。根据示例，所提出的训练技术以最小的MAE和最高的分类精度优于所有其他训练方法。表2中的所有结果都经过了性别和种族分支的训练。

表2四种不同方法的结果

添加帮助分支

根据示例，在跨种族和跨性别的数据集中，皮肤特征因每个性别和种族而异。根据示例显示，通过添加性别预测和种族预测作为辅助任务，整体性能得到了提高。在表3中，基线方法是指有分类任务和回归任务但没有添加性别和种族预测分支的训练。其他三列是根据示例添加相应分支的结果。引入这些辅助任务显着提升了模型的性能，分类精度提高了7.2％，平均绝对误差降低了0.03。

表3添加帮助分支时的结果

可视化

尽管在众多视觉任务中CNN取得了重大进展，但在许多情况下，这种网络并不能对预测给出直接的视觉解释。最近的工作成果，例如类激活图(CAM)[14，通过引用并入本文]和梯度加权类激活图(Grad-CAM)[13，通过引用并入本文]，已经提出了可视化每个预测结果的这种解释的方法。可解释性，尤其是针对工业领域的研究工作成果，是建立系统与用户之间信任的关键因素之一。

图4显示了根据示例通过可视化操作的结果400，用于定义相应单元的两个相应列和四个行中的八个用户图像，每个用户一个单元。响应于寻常痤疮诊断修改相应的输入图像。图4显示了使用来自CNN106(模型)的Grad-CAM[13]生成的激活图(热图)。图4显示了不同的类激活图，从第一行或顶行的类1(轻度)到底行或第四行的类4(重度)。此外，每个单元显示原始面部图像(左图像)、使用Grad-CAM生成的第一修改面部图像(中间图像)和使用Grad-CAM生成的第二修改面部图像(右图像)。第一修改面部图像和第二修改面部图像中的每一个包括用相应的Grad-CAM生成的热图覆盖(例如，铺盖)的原始面部图像，其中第一修改面部图像显示在图像中归一化的局部归一化类激活图(CAM)，并且第二修改面部图像显示在数据集中归一化的全局归一化CAM。应当理解，使用热图修改CNN分析的原始图像的像素(例如，调整RGB信道值)，以响应于检测到的痤疮的严重程度来可视化或突出原始图像的区域。在一个示例中，在原始图像中局部归一化严重程度。在一个示例中，跨数据集中的图像归一化严重程度。例如，可视化被配置为基于在训练的网络的最后一个卷积层中定义/确定的梯度来生成热图权重。然后在图像或数据集中对最终的热图进行归一化。虽然图4示出了用于多个不同面部的图像阵列，但在一个实施例中，可视化呈现单个(用户)面部的一个或多个图像。

Grad-CAM只是可视化方法的一个示例。在各个实施例中，诸如引导反向传播的其他可视化方法也应用于该模型。

为了适应该回归任务，在一个实施例中，否定关于特征图A的类0(无痤疮)的梯度，以获得反事实解释[13](如Eq.4所示)。表示为相对于类别0的对应像素的热图值，W为宽度，H为高度，并且y⁰为类别0的输出值。基于这个等式，降低激活图中较高的值将导致类别0概率的增加，并有较高的几率。

如图4所示，与健康(未受影响)皮肤相比，痤疮影响区域有更高的激活值。此外，在全局范围内比较时，重度(例如，类别4)的激活值往往比轻度(例如，类别1)的激活值高得多。在一个示例中，CNN因此产生寻常痤疮诊断，该诊断包括分数和与该分数相关的区域(例如面部)。

图5A和5B是示出根据实施例的每个图像的激活值与预测分数之间的关系的图表500和502。有趣的是，“受影响区域”与最终产出之间存在正相关关系。这一结果图像为痤疮评估模型提供了清晰和可解释的可视化。

根据示例，使用平均技术对每个相应的源图像执行使用Grad-CAM的结果的可视化。例如由计算设备执行一种方法，以接收源图像以进行分析，分别对源图像执行多个k个随机数据增强以产生用于分析的k个增强图像，使用与描述的Grad-CAM技术相适应的CNN分析相应的k个增强图像以产生k个激活掩模/图，然后平均k个激活图以产生最终掩模(例如，通过求和和除法)。在一个实施例中，最终掩模受制于阈值。例如，从热图中移除/消除值小于阈值(例如0.4)的区域。

根据示例，增强包括仿射变换(例如旋转、缩放、平移)和随机水平翻转。根据示例，增强包括颜色增强。根据实验，改进开始于k＝2，并且在k＝20稳定。根据示例，在没有增强的情况下分析源图像作为k个增强图像中的一个(例如，空增强)。

显而易见，虽然CNN模型还被配置为输出所处理的k个增强图像中的每一个的分数以及性别和种族向量，但根据示例，从处理k个增强图像中的一个获得并使用这种(分数、性别和种族向量)输出。数据增强和平均有助于细化掩模，但分数、输出(作为示例)的变化不是预期的。省略来自处理k个增强图像中的每一个(或例如其他类输出)的分数进行平均，并使用其中的单个值。

根据示例，通过与使用痤疮病变的基础真值坐标计算的掩模进行比较，来测试掩模的精度。例如，通过聚合以痤疮病变坐标为中心的所有圆圈来输出掩模。

图6是示例计算机网络600的框图，其中由用户604操作的个人使用的计算设备602经由通信网络604与位于远程的服务器计算设备(即服务器606和服务器608)通信。根据示例，用户604是消费者和/或皮肤科医生的患者。还示出了第二用户610和被配置用于经由通信网络604进行通信的第二计算设备612。根据示例，第二用户610是皮肤科医生。计算设备602供用户个人使用，并且对公众不可用。但是，来自服务器的服务可供公众使用。这里，公众包括注册用户和/或客户等。

根据示例，计算设备602被配置为执行如本文所述的皮肤诊断，即评估痤疮严重程度，例如提供寻常痤疮诊断。根据示例，在计算设备602上存储和利用CNN106。根据示例，从服务器606例如经由云服务、web服务等从从计算设备602接收的图像提供CNN106。

根据示例，计算设备602被配置为与服务器608通信，以例如响应于皮肤诊断和/或关于用户的其他信息(例如年龄、性别等)来提供痤疮诊断信息并接收产品/治疗推荐。根据示例，计算设备602被配置为将皮肤诊断信息(其可以包括图像数据)传送到服务器606和608中的任一个或两者，以例如存储在数据存储器(未示出)中。根据示例，服务器608(或未示出的另一服务)提供电子商务服务以销售推荐的产品。

在图6的示例中，计算设备602被示为手持移动设备(例如智能手机或平板电脑)。然而，根据示例，计算设备602是另一种形式或类型的计算设备，例如笔记本电脑、台式机、工作站等(例如具有更大的处理资源)。根据示例，在其他计算设备类型上实施如本文所述的皮肤诊断。根据示例，例如，使用一个或多个本机应用程序或基于浏览器的应用程序来配置计算设备602。

根据示例，计算设备602包括用户设备，例如，以获取一个或多个图像(例如皮肤的图片，特别是面部)，并处理这些图像以提供皮肤诊断。根据示例，皮肤诊断与皮肤治疗计划(的执行活动)相关联地执行，其中周期性地获取图像并分析图像以确定皮肤分数，例如如所描述的痤疮。分数被存储(本地、远程或两者)并在会话之间进行比较，例如以显示趋势、改进等。根据示例，计算设备602的用户604可以访问皮肤分数和/或皮肤图像。根据示例，皮肤分数分和/或皮肤图像可供(例如，经由服务器606或经由通信网络604以另一方式(电子)通信)计算机系统600的另一用户(例如，第二用户610，如皮肤科医生)使用。根据示例，第二计算设备612被配置为执行所描述的皮肤诊断。第二计算设备612从远程源(例如，计算设备602、服务器606、服务器608等)接收图像和/或经由耦合到其上的光学传感器(例如，相机)或以任何其他方式捕获图像。如所描述的，从第二计算设备612或从服务器606存储和使用CNN106。

根据示例，提供了一种应用程序，以执行皮肤诊断、建议一个或多个产品、以及在一段时间内监测在一个或多个产品应用(其定义了治疗计划中的一个或多个治疗阶段)之后的皮肤变化。根据示例，计算机应用程序提供诸如一系列指导性图形用户界面(GUI)和/或其他用户界面的工作流，这些用户界面通常是交互式的并接收用户输入，以执行以下任何活动：

·皮肤诊断，例如痤疮；

·产品推荐，例如治疗计划；

·产品采购或其他获取；

·提醒、指导和/或记录(例如记录日志)相应治疗阶段的产品应用；

·后续(例如一次或多次跟进)皮肤诊断；以及

·呈现结果(例如比较结果)；

例如根据治疗计划时间表监测皮肤治疗计划的进展。根据示例，这些活动中的任何一个都生成远程存储的数据，例如供用户610查看、供另一个人查看、用于与其他用户的数据聚合以测量治疗计划疗效等。

根据示例，无论是在治疗计划期间和/或在治疗计划的完成时等，都经由计算设备602呈现比较结果(例如，之前和之后的结果)。如所指出的，根据示例，在计算设备600上或由远程耦合设备(例如，云中的服务器或另一布置)执行皮肤诊断的各个方面。

图7是根据本公开的一个或多个方面的计算设备602的框图。计算设备602包括一个或多个处理器702、一个或多个输入设备704、基于手势的I/O设备706、一个或多个通信单元708和一个或多个输出设备710。计算设备602还包括存储一个或多个模块和/或数据的一个或多个存储设备712。根据示例，模块包括深度神经网络模型714(例如来自CNN 106)、具有用于图形用户界面(GUI 718)和/或用于治疗监测(例如治疗监测器720)的工作流的部件的应用程序716、图像采集722(例如界面)和治疗/产品选择器730(例如界面)。根据示例，数据包括用于处理的一个或多个图像(例如图像724)、皮肤诊断数据(例如相应的分数、种族、性别或其他用户数据)、治疗数据728(例如与特定治疗相关的日志数据)、具有时间表的治疗计划(例如用于提醒)等。

根据示例，应用程序716提供了获取一个或多个图像(例如视频)并处理该图像以确定由神经网络模型714提供的深度神经网络的皮肤诊断的功能。根据示例，神经网络模型714被配置为如上所述的图1所示的模型。在另一示例中，神经网络模型714位于远程，并且计算设备602经由应用程序716传送图像以用于皮肤诊断数据的处理和返回。根据示例，应用程序716被配置为执行这些先前描述的活动。

根据示例，存储设备712存储附加模块，例如操作系统732和包括通信模块的其他模块(未示出)；图形处理模块(例如用于处理器702的GPU)；地图模块；接触模块；日历模块；照片/图库模块；照片(图像/媒体)编辑；媒体播放器和/或流媒体模块；社交媒体应用程序；浏览器模块等等。本文中，存储设备有时被称为存储单元。

根据示例，通信信道738将部件702、704、706、708、710、712中的每一个与用于部件间通信的任何模块714、716和732耦合，无论是通信地、物理地和/或操作地。在一些示例中，通信信道738包括系统总线、网络连接、进程间通信数据结构或用于通信数据的任何其他方法。

根据示例，一个或多个处理器702在计算设备602内实现功能和/或执行指令。例如，处理器702被配置为从存储设备712接收指令和/或数据以执行图5中所示的模块的功能等等(例如操作系统、应用程序等)。计算设备602将数据/信息存储到存储设备712。下面进一步描述一些功能。根据示例，应当理解，操作并不完全落在图5的模块714、716和732内，使得一个模块辅助另一个模块的功能。

根据示例，用于执行操作的计算机程序代码是用一种或多种编程语言的任意组合编写的，例如，面向对象的编程语言，如Java、Smalltalk、C++等，或传统的过程编程语言，如“C”编程语言或类似的编程语言。

根据示例，计算设备602生成输出，用于在基于手势的I/O设备706的屏幕上显示，或者在一些示例中，用于由投影仪、监测器或其他显示设备显示。根据示例，将理解，基于手势的I/O设备706是使用各种技术(例如关于输入能力：电阻式触摸屏、声表面波触摸屏、电容式触摸屏、投射电容式触摸屏、压敏屏幕、声脉冲识别触摸屏或另一在场敏感屏幕技术；以及关于输出能力：液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、点阵显示器、e-ink或类似的单色或彩色显示器)来配置的。

在本文描述的至少一些示例中，基于手势的I/O设备706包括能够从与触摸屏交互的用户接收触觉交互或手势作为输入的触摸屏设备。根据示例，这样的手势包括点击手势、拖动或划动手势、轻弹手势、暂停手势(例如，用户触摸屏幕的相同位置至少一个阈值时间段)，其中用户触摸或指向基于手势的I/O设备706的一个或多个位置。根据示例，基于手势的I/O设备706还接收非点击手势。根据示例，基于手势的I/O设备706向用户输出或显示信息，例如图形用户界面。基于手势的I/O设备706呈现计算设备602的各种应用程序、功能和能力，包括例如用于获取图像、查看图像、处理图像和显示新图像的应用程序716、消息传递应用程序、电话通信、联系人和日历应用程序、Web浏览应用程序、游戏应用程序、电子书应用程序以及金融、支付和其他应用程序或功能等等。

尽管本公开主要以具有I/O能力的显示屏幕设备(例如触摸屏)的形式示出并讨论了基于手势的I/O设备706，但基于手势的I/O设备的其他示例被预期用于检测移动。根据示例，这不包括屏幕本身。在这种情况下，计算设备602包括显示屏或耦合到显示装置以呈现新图像和应用程序716的GUI。根据示例，计算设备602从跟踪板/触摸板、一个或多个相机或另一个在场或手势敏感输入设备接收基于手势的输入，其中在场意味着用户的在场方面，包括例如用户的全部或部分的动作。

根据示例，一个或多个通信单元708通过在一个或多个网络上发送和/或接收网络信号诸如经由通信网络604来与外部设备(例如服务器606、服务器608、第二计算设备612)通信，例如用于如所描述的目的和/或用于其他目的(例如打印)。根据示例，通信单元包括用于无线和/或有线通信的各种天线和/或网络接口卡、芯片(例如全球定位卫星(GPS))等。

根据示例，输入设备704和输出设备710包括一个或多个按钮、开关、指向设备、相机、键盘、麦克风、一个或多个传感器(例如生物测定等)、扬声器、铃、一个或多个灯、触觉(振动)设备等中的任何一个。它们中的一个或多个经由通用串行总线(USB)或其他通信信道(例如738)耦合。根据示例，相机(输入设备804)是面向前方的(即在与其相同的一侧)，以允许用户在观看基于手势的I/O设备706的同时使用相机捕获图像以进行“自拍”。

根据示例，一个或多个存储设备712采取不同的形式和/或配置，例如作为短期存储器或长期存储器。根据示例，存储设备712被配置用于将信息短期存储为易失性存储器，当断电时，易失性存储器不保留存储的内容。易失性存储器示例包括随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等。在一些示例中，存储设备712还包括一个或多个计算机可读存储介质，例如，用于存储比易失性存储器更大量的信息和/或长期存储这种信息，当断电时保留信息。非易失性存储器示例包括磁硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除和可编程(EEPROM)存储器的形式。

尽管未示出，但根据示例，计算设备被配置为训练环境，以例如使用如图4所示的网络连同适当的训练和/或测试数据来训练神经网络模型714。

根据示例，CNN 106/神经网络模型714适用于计算设备的轻型架构，该计算设备是移动设备(例如，智能手机或平板电脑)，其具有比“较大”设备(例如，膝上型计算机、台式机、工作站、服务器或其他可比代计算设备)更少的处理资源。

根据示例，第二计算设备612被类似地配置为计算设备602。第二计算设备612呈现GUI，例如从存储在服务器606的数据请求和显示针对不同用户的图像和痤疮诊断等。

根据示例，图8A-8B分别是诸如根据示例的用于计算设备602(或610)的操作800和810的流程图。操作800涉及计算设备602的用户使用诸如应用程序716的应用来拍摄包括用户面部图像的自拍，以执行针对痤疮严重程度的皮肤诊断。在801，在处理器处接收图像，例如经由相机或其他方式(例如从消息附件)。

在802，对图像进行预处理以定义要呈现给CNN的归一化图像。图像以各种方式居中并裁剪到特定的大小(分辨率)，以根据其训练向CNN呈现类似大小的图像。在803，使用CNN 106(神经网络模型714)处理归一化图像以生成寻常痤疮诊断(例如，整数分数)。还生成了性别和种族输出。在804，例如经由GUI呈现痤疮诊断、性别和种族向量(或其单个值)。根据示例，GUI使用所描述的热图呈现图像和/或归一化图像以及可视化痤疮的适配图像。根据示例，GUI呈现图像，然后转变到呈现可视化痤疮的适配图像(一旦可用)。

图8B显示了操作810。在811，呈现GUI(根据示例，呈现用于操作800、810中的任何操作的GUI)以发起产品和/或治疗推荐。接收输入以调用性能。在812，获得推荐。为了获得推荐，根据示例，设备602的操作包括将痤疮诊断信息(例如分数、种族向量、性别向量、图像、用户信息等)传送到诸如服务器608的远程服务器以接收推荐。根据示例，该推荐包括一种或多种产品和应用于皮肤区域的方案，并与具有时间表的治疗计划相关联。在813，例如经由GUI呈现推荐。根据示例，接收并呈现一个以上的推荐。在814，做出指示接受推荐的选择。根据示例，存储(记录)该选择，并且例如启动计算设备602的治疗监测特征或功能(未示出)。根据示例，在815，例如经由服务器608或另一服务器促进产品购买。

尽管未示出，但根据示例，监测响应于由计算设备602接收或可由其例如经由浏览器访问的治疗计划(例如，在数据中描述的)。根据示例，治疗计划具有时间表(例如产品的早上和晚上应用)、第二产品的每周一次应用等。根据示例，例如经由基于本地应用程序的通知或经由诸如日历应用的另一方式提醒用户该时间表。根据示例，提供GUI以促进治疗活动，例如，记录其发生和/或提供执行该活动的指令。接收输入，例如执行了该活动的确认。根据示例，包括图像以记录该活动。根据示例，记录相应的数据(本地和/或远程)。根据示例，监测测量治疗计划被遵循的程度。根据示例，促进了产品回购。例如，根据示例，响应于处理监测，确定手头上的产品数量即将用完。

尽管未示出，但根据示例，执行比较活动(例如，作为监测活动执行)。提供用于比较的GUI以指示用户等。接收和(可选地)存储新图像(例如，与在601接收的初始图像相比较)。使用CNN106对新图像执行后续寻常痤疮诊断(例如，归一化等，类似于操作600)。使用初始和随后的痤疮诊断，可选地与第一图像和新图像一起，可选地与使用热图修改的这一个或多个图像一起，GUI呈现治疗结果的比较。

尽管未示出，但根据示例，为操作800、810以及监测和/或比较活动接收或生成的数据被传送用于远程存储(例如到服务器606)。

根据示例，痤疮诊断和随后的诊断(可选地与其他监测一起)以及提供用于聚合的数据使得能够研究产品和治疗的产品功效和/或欺诈性声明。根据示例，收集、分析数据并将其呈现给皮肤科医生和/或其他专业人员和/或用户。因此，本文中各种示例的技术和/或方法有助于分布式研究模型，例如用于痤疮皮肤治疗。

图9是诸如根据示例的用于计算设备602(或610)的操作900的流程图。操作900类似于操作800，并且涉及计算设备602的用户使用诸如应用程序716的应用来拍摄包括用户面部图像的自拍，以执行针对痤疮严重程度的皮肤诊断。在本操作900中，执行k个数据增强并分析k个图像以产生可视化。

由于示例中的操作900相似，因此在图9中重复来自操作800的引用。在801，在处理器处接收图像，例如经由相机或其他方式(例如从消息附件)。

在802，对图像进行预处理以定义要呈现给CNN的归一化图像。图像以各种方式居中并裁剪到特定的大小(分辨率)，以根据其训练向CNN呈现类似大小的图像。在902，对归一化图像执行数据增强，从而分别应用k个随机数据增强来定义k个增强图像以供分析。在示例中，操作802和902按顺序颠倒。源图像被增强，然后归一化，尽管这可能重复某些操作。

在904，使用CNN 106(神经网络模型714)处理k个增强图像中的每一个，以生成寻常痤疮诊断(例如整数分数)和k个激活掩模(例如热图，如使用Grad-CAM描述的)。还生成了性别和种族输出。在906，从k个激活掩模定义最终掩模。在该示例中，对k个激活掩模进行平均，并应用所描述的阈值以生成最终的掩模/热图作为皮肤分析的可视化。在908，例如经由具有相对于原始图像的可视化的GUI来呈现痤疮诊断。在示例中，热图被覆盖在原始图像上，以可视化分析/诊断。可选地，性别和种族向量(或其单个值)与可视化一起呈现。

图10A和10B示出了根据示例的皮肤分析的相应源图像1000、1002和可视化1004、1006、1008和1010。第一修改面部图像1004和1006中的每一个以及第二修改面部图像1008和1010中的每一个包括用使用平均技术产生的相应Grad-CAM生成热图覆盖(例如，铺盖)的相应原始面部图像1000、1002。第一修改面部图像1004和1006显示在图像内被归一化的局部归一化的类激活图(CAM)，并且第二修改面部图像1008和1010显示在相同扩充数量的所有图像内的全局归一化的CAM。参考图10B，原始图像1002中的皮肤状况在前额中央区域呈现得最严重，在嘴和上下巴周围不太严重，在鼻子上方再次不太严重。可视化1006和1010模糊原始图像1002的皮肤细节以使用热图突出皮肤区域。在一个实施例中，使用颜色覆盖。颜色和/或渐变等与严重程度结果(例如，皮肤分析整数值)对齐。可视化1006和1010的热图各自突出显示呈现皮肤状况的区域，并且最小化原始图像1002中不呈现皮肤状况的皮肤的其他区域(例如脸颊、下巴)。例如，脸颊区域变暗，并且呈现皮肤状况的区域相对于使用局部或全局数据归一化的分数突出显示。图10A显示了额头区域最严重的皮肤状况的类似的可视化。在显示皮肤状况的部分中，突出显示可以是不同的颗粒。例如，在额头区域1004和1008或1006和1010中，检测到皮肤状况的区域的部分相对于其严重程度被突出显示。

在本公开中，在一个或多个示例中描述了一种在仅使用整数标签的痤疮严重程度评估回归任务上训练CNN的方法。虽然以前的工作成果通常有复杂的流程和特定的图像要求，但所描述的痤疮评估的端到端模型可以用于移动设备捕获的图像，并可以经由移动或Web应用程序实时使用。与类似的工作成果相比，采用合适的损失函数和训练技术，获得了3％的更好的结果。

除了在一个或多个示例中所示的计算设备方面之外，普通技术人员将理解，公开了计算机程序产品方面，其中指令存储在非暂时性存储设备(例如存储器、CD-ROM、DVD-ROM、光盘等)中，以配置计算设备以执行本文描述的任何方法方面。

将理解，计算设备包括电路，例如耦合到存储单元的处理单元。这样的电路将计算设备配置为提供各种特征和功能和/或执行适用的方法。电路可以(至少在逻辑上)被认为定义相应的功能单元。功能单元的示例是具有如本文所描述的特征的皮肤分析单元和/或可视化单元等。其他的将是显而易见的。在一个实施例中，提供了皮肤分析单元，用于使用包括用于图像分类的回归器和分类器的深度神经网络对图像的像素进行分类，以生成针对皮肤状况的所述皮肤诊断。

实际实施方式可以包括本文所描述的任何或全部特征。这些和其他方面、特征和各种组合可以表示为用于执行功能的方法、装置、系统、构件，程序产品，以及以其他方式组合本文描述的特征。已经描述了许多实施例。然而，将理解，在不脱离本文所描述的处理和技术的精神和范围的情况下，可以进行各种修改。此外，可以从所描述的处理中提供其他步骤，或者可以取消步骤，并且可以将其他部件添加到所描述的系统中，或者从所描述的系统中移除。因此，其他实施例在所附权利要求的范围内。

在本说明书的整个描述和权利要求中，词语“包括”和“包含”以及它们的变体意味着“包括但不限于”，并且不旨在(也不)排除其他部件、整体或步骤。在整个说明书中，单数涵盖复数，除非上下文另有要求。具体地，在使用不定冠词的情况下，除非上下文另有要求，本说明应被理解为考虑复数和单数。

结合本发明的特定方面、实施例或示例描述的特征、整数特征、化合物、化学部分或组应理解为适用于任何其他方面、实施例或示例，除非与其不兼容。本文公开的所有特征(包括任何附带的权利要求、摘要和附图)和/或如此公开的任何方法或处理的所有步骤可以以任何组合进行组合，除了其中至少一些这样的特征和/或步骤是相互排斥的组合。本发明不限于任何前述示例或实施例的细节。本发明延伸到本说明书(包括任何附带的权利要求、摘要和附图)中所公开的特征的任何新颖的一个或任何新颖的组合，或者延伸到所公开的任何方法或处理的步骤的任何新颖的一个或任何新颖的组合。

参考文献

1.Abas,F.S.,Kaffenberger,B.,Bikowski,J.,Gurcan,M.N.:Acne imageanalysis:lesion localization and classification.In:Medical Imaging 2016:Computer-Aided Diagnosis.vol.9785,p.97850B.International Society for Opticsand Photonics(2016)

2.Alamdari,N.,Tavakolian,K.,Alhashim,M.,Fazel-Rezai,R.:Detection andclassification of acne lesions in acne patients:A mobile application.In:2016IEEE International Conference on Electro Information Technology(EIT).pp.0739-0743.IEEE(2016)

3.Drno,B.,Poli,F.,Pawin,H.,Beylot,C.,Faure,M.,Chivot,M.,Auffret,N.,Moyse,D.,Ballanger,F.,Revuz,J.:Development and evaluation of a global acneseverity scale(gea scale)suitable for France and Europe:Global acneassessment scale.Journal of the European Academy of Dermatology andVenereology:JEADV 25,43-8(04 2010).URL doi.org/10.1111/j.1468-3083.2010.03685.x

4.He,K.,Zhang,X.,Ren,S.,Sun,J.:Deep residual learning for imagerecognition.In:Proceedings of the IEEE conference on computer vision andpattern recognition.pp.770-778(2016)

5.Jiang,R.,Kezele,I.,Levinshtein,A.,Flament,F.,Zhang,J.,Elmoznino,E.,Ma,J.,Ma,H.,Coquide,J.,Arcin,V.,Omoyuri,E.,Aarabi,P.:A new procedure,freefrom human assessment,that automatically grades some facial skin structuralsigns.Comparison with assessments by experts,using referential atlases ofskin aging.International Journal of Cosmetic Science 41(01 2019).URL doi.org/10.1111/ics.12512.

6.Kingma,D.P.,Ba,J.:Adam:A method for stochastic optimization.CoRRabs/1412.6980(2014),URL arxiv.org/abs/1412.6980

7.Malik,A.S.,Ramli,R.,Hani,A.F.M.,Salih,Y.,Yap,F.B.B.,Nisar,H.:Digital assessment of facial acne vulgaris.In:2014IEEE InternationalInstrumentation and Measurement Technology Conference(I2MTC)Proceedings.pp.546-550.IEEE(2014)

8.Maroni,G.,Ermidoro,M.,Previdi,F.,Bigini,G.:Automated detection,extraction and counting of acne lesions for automatic evaluation and trackingof acne severity.In:2017IEEE Symposium Series on Computational Intelligence(SSCI).pp.1-6.IEEE(2017)

9.Melina,A.,Dinh,N.N.,Tafuri,B.,Schipani,G.,Nistic_o,S.,Cosentino,C.,Amato,F.,Thiboutot,D.,Cherubini,A.:Arti_cial intelligence for the objectiveevaluation of acne investigator global assessment.Journal of drugs indermatology:JDD 17(9),1006-1009(2018)

10.Pan,H.,Han,H.,Shan,S.,Chen,X.:Mean-variance loss for deep ageestimation from a face.In:Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition.pp.5285-5294(2018)

11.Rothe,R.,Timofte,R.,Van Gool,L.:Dex:Deep expectation of apparentage from a single image.In:Proceedings of the IEEE International Conferenceon Computer Vision Workshops.pp.10-15(2015)

12.Sandler,M.,Howard,A.,Zhu,M.,Zhmoginov,A.,Chen,L.C.:Mobilenetv2:Inverted residuals and linear bottlenecks.In:The IEEE Conference on ComputerVision and Pattern Recognition(CVPR)(June 2018)

13.Selvaraju,R.R.,Cogswell,M.,Das,A.,Vedantam,R.,Parikh,D.,Batra,D.:Grad-cam:Visual explanations from deep networks via gradient-basedlocalization.In:Proceedings of the IEEE International Conference on ComputerVision.pp.618-626(2017)

14.Zhou,B.,Khosla,A.,Lapedriza,A.,Oliva,A.,Torralba,A.:Learning deepfeatures for discriminative localization.In:Proceedings of the IEEEconference on computer vision and pattern recognition.pp.2921-2929(2016)

15.J.P.-O.N.V.-A.A.R.-A.J.D.-C.J.Alfredo Padilla-Medina,FranciscoLen-Ordoez,Assessment technique for acne treatments based on statisticalparameters of skin thermal images,Journal of Biomedical Optics 19(4)(2014)1–8–8.doi:10.1117/1.JBO.19.4.046019.URL doi.org/10.1117/1.JBO.19.4.046019

16.La Roche Posay:What is effaclar spotscan？(2019),URL www.laroche-posay.co.uk/what-is-effaclar-spotscan,last accessed＝2019-06-25

Claims (39)

1.一种皮肤诊断设备，包括提供耦合到存储单元的处理单元的电路以配置所述皮肤诊断设备，以提供：

皮肤分析单元，用于使用包括用于图像分类的回归器和分类器的深度神经网络对图像的像素进行分类，以生成针对皮肤状况的皮肤诊断。

2.根据权利要求1所述的诊断设备，其中，所述处理单元和存储单元进一步配置所述皮肤诊断设备以提供可视化单元来注释所述图像以可视化所述皮肤诊断。

3.根据权利要求1或权利要求2所述的诊断设备，其中，所述处理单元和存储单元进一步配置所述皮肤诊断设备以响应于所述皮肤诊断提供推荐单元，以推荐针对所述皮肤状况的产品。

4.根据权利要求1至3中任一项所述的诊断设备，其中，所述处理单元和存储单元进一步配置所述皮肤诊断设备以提供用于购买针对所述皮肤状况的产品的电子商务界面。

5.根据权利要求1至4中任一项所述的诊断设备，其中，所述皮肤诊断包括在对所述图像上的所述皮肤状况的严重程度进行分类的尺度上的整数值。

6.根据权利要求5所述的诊断设备，其中，所述深度神经网络被配置为接收归一化的面部图像作为输入，并输出表示在所述尺度上所有可能的整数值的概率分布的向量，并应用激活函数以确定所述皮肤诊断的所述整数值。

7.根据权利要求1至6中任一项所述的诊断设备，所述深度神经网络进一步配置有辅助任务，以确定种族预测和性别预测中的一者或两者。

8.根据权利要求1至7中任一项所述的诊断设备，其中，所述深度神经网络包括用于图像分类的适配网络，所述适配网络适于生成所述皮肤诊断。

9.根据权利要求1至8中任一项所述的诊断设备，其中，所述深度神经网络包括用于图像处理的卷积神经网络(CNN)。

10.根据权利要求9所述的诊断设备，其中，所述CNN包括作为编码器的残差网络，所述残差网络在最终完全连接层之前具有全局池化操作，所述最终完全连接层被配置为生成回归器和分类器输出。

11.根据权利要求1至10中任一项所述的诊断设备，其中，所述深度神经网络是用组合损失函数训练的，所述组合损失函数组合了回归器损失函数和分类器损失函数。

12.根据权利要求11所述的诊断设备，其中，所述组合损失函数符合等式：

其中：

和分别是均方误差(MSE)、交叉熵误差(CE)、性别预测和种族预测函数；并且

λ_mse、λ_ce、λ_性别和λ_种族是权重因子。

13.根据权利要求1至12中任一项所述的诊断设备，其中，使用包括来自用户移动设备的自拍图像的面部图像数据的数据集来训练所述深度神经网络。

14.根据权利要求2至13中任一项所述的诊断设备，其中权利要求3至13从属于权利要求2，其中，所述深度神经网络被配置为生成热图，以可视化与所述图像相关联的皮肤诊断。

15.根据权利要求14所述的诊断设备，其中，所述深度神经网络被配置为应用类激活图(CAM)技术来生成所述热图。

16.根据权利要求1至15中任一项所述的诊断设备，其中，所述图像包括来自用户移动设备的自拍图像。

17.根据权利要求1至16中任一项所述的诊断设备，其中，所述诊断设备包括个人使用的计算设备和经由通信网络提供皮肤诊断服务的服务器中的一者。

18.根据权利要求17所述的诊断设备，其中，所述个人使用的计算设备包括智能手机、平板电脑、膝上型计算机、个人计算机或具有或耦合到相机的其他计算设备中的一者。

19.根据权利要求3至18中任一项所述的诊断设备，其中权利要求4至18从属于权利要求3，其中，所述推荐单元提供响应于所述皮肤诊断的治疗产品选择器，以获得产品推荐和治疗计划推荐中的至少一者。

20.根据权利要求1至19中任一项所述的诊断设备，其中，所述处理单元和存储单元配置所述皮肤诊断设备以提供图像获取功能以接收所述图像。

21.根据权利要求1至20中任一项所述的诊断设备，其中，所述皮肤状况为寻常痤疮。

22.一种计算机实施的皮肤诊断方法，包括：

接收图像并使用深度神经网络处理所述图像，所述深度神经网络被配置为对图像像素进行分类以确定针对皮肤状况的皮肤诊断，其中，所述深度神经被配置作为回归器和分类器以确定所述皮肤诊断；以及

可视化与所述图像相关联的所述皮肤诊断。

23.一种计算机实施的方法，包括：

接收皮肤图像；

使用被配置为产生皮肤分析结果和激活掩模的深度神经网络处理所述图像，以可视化与所述图像相关联的所述皮肤分析结果；以及

提供所述激活掩模和显示的图像。

24.根据权利要求23所述的方法，其中，处理所述图像包括：

对所述图像执行多个(k)数据增强，以产生k个增强图像，以供所述深度神经网络进行处理；

通过所述深度神经网络处理所述k个增强图像以产生k个激活掩模，并由此定义最终激活掩模。

25.根据权利要求24所述的方法，其中，所述k个激活掩模和最终激活掩模包括热图。

26.根据权利要求25所述的方法，其中，所述深度神经网络使用Grad-CAM技术产生相应的k个激活掩模。

27.根据权利要求24至26中任一项所述的方法，其中，使用求平均值由所述k个激活掩模定义所述最终激活掩模。

28.根据权利要求27所述的方法，其中，将阈值应用于来自求平均值的k个激活掩模的消除值。

29.根据权利要求24至28中任一项所述的方法，其中，2<＝k<＝20。

30.根据权利要求24至29中任一项所述的方法，包括在执行所述k个数据增强之前对所述皮肤的所述图像进行归一化。

31.根据权利要求24至30中任一项所述的方法，其中，所述k个数据增强中的每个数据增强包括从仿射变换和水平翻转操作中随机选择的一个增强。

32.根据权利要求23至30中任一项所述的方法，包括响应于所述皮肤分析结果提供产品推荐。

33.根据权利要求32所述的方法，包括提供用于购买一个或多个产品的电子商务界面，所述界面响应于所述产品推荐。

34.根据权利要求33所述的方法，其中，所述产品推荐与用于使用推荐产品的治疗计划相关联。

35.根据权利要求23至34中任一项所述的方法，其中，所述深度神经网络被配置为分析针对皮肤状况的所述图像。

36.根据权利要求35所述的方法，其中，所述皮肤状况为寻常痤疮。

37.根据权利要求23至36中任一项所述的方法，其中，所述深度神经网络包括卷积神经网络(CNN)。

38.一种包括电路的计算设备，所述电路配置所述计算设备以执行权利要求23至37中任一项的方法。

39.一种方法，包括：

训练卷积神经网络(CNN)，所述卷积神经网络被配置为对图像像素进行分类以确定皮肤诊断，其中：

所述CNN包括用于图像分类的深度神经网络，所述深度神经网络被配置为生成所述皮肤诊断；

所述CNN被配置作为回归器和分类器以确定所述皮肤诊断；并且

使用包括来自用户移动设备的自拍图像的面部图像数据的数据集来训练所述CNN。