ES3055486T3

ES3055486T3 - Method, apparatus, and computer program product for utilizing machine learning to process an image of a mobile device to determine a mobile device integrity status

Info

Publication number: ES3055486T3
Application number: ES20789303T
Authority: ES
Inventors: Stuart Saunders; Anthony Coble; Nathan Breitsch; Mircea Ionescu
Original assignee: Assurant Inc
Current assignee: Assurant Inc
Priority date: 2019-09-16
Filing date: 2020-09-16
Publication date: 2026-02-12
Anticipated expiration: 2040-09-16
Also published as: JP7877541B2; EP4032017A1; US20210081712A1; CA3151157A1; US11704887B2; JP7665601B2; US12125254B2; US20250086921A1; EP4032017B1; US20230360353A1; JP2022548595A; WO2021055457A1; JP2025106457A

Abstract

Se proporciona un sistema, aparato, método y programa informático para determinar el estado de integridad de un dispositivo móvil. Las imágenes de un dispositivo móvil capturadas por este utilizando una superficie reflectante se procesan con diversos modelos entrenados, como redes neuronales, para verificar su autenticidad, detectar daños y oclusiones. Se puede generar una máscara para identificar oclusiones cóncavas o esquinas bloqueadas de un objeto, como un dispositivo móvil, en una imagen. Se pueden procesar imágenes de la parte frontal o trasera de un dispositivo móvil para determinar su estado de integridad, como verificado, no verificado o inconcluso. Se puede solicitar al usuario que retire las cubiertas, elimine las oclusiones o acerque el dispositivo móvil a la superficie reflectante. Se puede proporcionar una respuesta en tiempo real sobre el estado de integridad del dispositivo móvil. Los modelos entrenados pueden entrenarse para mejorar la precisión del estado de integridad del dispositivo móvil. (Traducción automática con Google Translate, sin valor legal)

Description

[0001] DESCRIPCIÓN

[0002] Método, aparato y producto de programa informático para utilizar el aprendizaje automático para procesar una imagen de un dispositivo móvil y determinar el estado de integridad del dispositivo móvil

[0003] REFERENCIA CRUZADA A SOLICITUD RELACIONADA

[0004] Esta solicitud reivindica el beneficio de prioridad de la Solicitud Provisional de Estados Unidos Nº 62/900,775, presentada el 16 de septiembre de 2019, y titulada "System, Method, Apparatus, and Computer Program Product for Determining a Mobile Device Integrity Status and for Detecting Occlusions in an Image (Sistema, método, aparato y producto de programa informático para determinar el estado de integridad de un dispositivo móvil y para detectar oclusiones en una imagen)".

[0005] CAMPO TECNOLÓGICO

[0006] Las realizaciones de la presente invención se refieren de manera general a la tecnología informática y, más particularmente, se refieren a un método, aparato y producto de programa informático que utilizan aprendizaje automático para entrenar y utilizar un modelo matemático o varios modelos matemáticos, tales como un modelo o modelos predictivos, red o redes neuronales y/o similares, para determinar el estado de integridad de un dispositivo móvil basándose en el procesamiento electrónico de imágenes.

[0007] ANTECEDENTES

[0008] La visión por ordenador permite a los ordenadores ver y comprender una imagen. En algunos casos, la visión por ordenador puede usarse para detectar y analizar el contenido de una imagen, como por ejemplo reconocer un objeto dentro de una imagen. Sin embargo, la tecnología existente es insuficiente para satisfacer los requisitos de velocidad y precisión de muchas industrias, y hay una necesidad de mejorar las técnicas y la tecnología de visión por ordenador para permitir un procesamiento de imágenes sofisticado. Además, el análisis humano es incapaz de alcanzar la velocidad y precisión requeridas para las tareas de visión por ordenador. Gracias al esfuerzo, el ingenio y la innovación aplicados, muchos de estos problemas identificados se han resuelto mediante el desarrollo de soluciones que se incluyen en las realizaciones de la presente invención, muchos ejemplos de las cuales se describen con detalle en la presente.

[0009] El documento US 20190266720 A1 describe un método de detección de daños en la pantalla de dispositivos. BREVE RESUMEN DE LAS REALIZACIONES DE EJEMPLO

[0010] Por lo tanto, se proporcionan métodos, aparatos y productos de programas informáticos para utilizar aprendizaje automático para entrenar y utilizar un modelo para determinar el estado de integridad de un dispositivo móvil sobre la base del procesamiento electrónico de imágenes.

[0011] En algunos casos de uso, un sistema debe revisar las imágenes de un objeto para verificar la integridad del mismo (por ejemplo, para determinar información sobre el objeto, para verificar la operatividad o funcionalidad del objeto, para verificar la identidad del objeto, o similares). La visión por ordenador y el procesamiento de imágenes deben producirse rápidamente y con un alto grado de precisión, algo de lo que carecen muchas técnicas convencionales de procesamiento de imágenes. Otro desafío adicional puede surgir cuando el sistema no puede seleccionar el dispositivo de imagen que captura la imagen y no puede controlar directamente el proceso de captura de imágenes, por lo que la visión por ordenador debe ser lo suficientemente robusta como para tener en cuenta y/o detectar problemas con el proceso de captura. En un entorno de trabajo de ejemplo, un sistema puede tratar de verificar la identidad y la integridad de un objeto usando únicamente una imagen del objeto (por ejemplo, un dispositivo móvil) o usando una imagen en combinación con uno o más objetos de datos transmitidos desde el objeto o desde otro dispositivo. Un ejemplo de dicho entorno puede ser cuando un usuario se registra en un servicio, un plan de protección o similar, que requiere un sistema remoto para verificar el objeto (por ejemplo, un dispositivo móvil) sin tener el dispositivo físicamente presente. De acuerdo con algunos procesos de adquisición de cobertura posventa, el consumidor debe acudir a un minorista, una aseguradora o un proveedor de servicios de dispositivos móviles para que inspeccionen el dispositivo y verifiquen su integridad antes de que la aseguradora emita la póliza e inscriba el dispositivo en la cobertura. Otros procesos para la adquisición y/o venta de cobertura permiten al consumidor utilizar una aplicación web o móvil de autoservicio para tomar fotografías de su dispositivo móvil y enviar las imágenes para su revisión manual antes de la inscripción. Sin embargo, tales procesos requieren tiempo de revisión y pueden retrasar la confirmación de la cobertura al consumidor. Además, tales procesos pueden exponer al proveedor a fraudes, como cuando el consumidor envía una foto de un dispositivo móvil diferente y sin daños e intenta obtener cobertura para un dispositivo que ya estaba dañado.

[0012] [0007] Una implementación adicional proporciona un código de barras sensible al tiempo, un código de respuesta rápida (QR) u otro código generado por ordenador que se muestra en el dispositivo y se captura en una foto usando un espejo, vinculando de este modo el envío de la foto al dispositivo que mostró el código. Sin embargo, estas implementaciones pueden ser susceptibles de fraude, por ejemplo, al permitir que un usuario recree el código en otro dispositivo no dañado y capture una foto del dispositivo no dañado. Además, la implementación del código solo puede proporcionar la validación de la parte frontal (por ejemplo, el lado de la pantalla) del dispositivo sin verificar de manera fiable la condición o el estado de la parte posterior del dispositivo y/o el bisel del dispositivo. Otro inconveniente de tales implementaciones es que, cuando se muestra un código en la pantalla de un dispositivo, puede ocultar grietas u otros daños presentes en la pantalla.

[0014] Las realizaciones de ejemplo de la presente divulgación proporcionan una determinación mejorada del estado de integridad del dispositivo móvil. Las realizaciones de ejemplo pueden solicitar al usuario que capture imágenes de su dispositivo en un espejo u otra superficie reflectante usando un sensor o una cámara del propio dispositivo. La información de identificación del dispositivo móvil puede procesarse junto con las imágenes para confirmar que las imágenes se tomaron efectivamente del dispositivo en cuestión desde el que se capturaron las imágenes, y para confirmar que el dispositivo no tenga daños preexistentes que lo descalifiquen de la cobertura.

[0016] Las realizaciones de ejemplo pueden utilizar algoritmos de aprendizaje automático y un modelo o modelos matemáticos asociados, tales como, pero no limitados a, una red o redes neuronales, como una red neuronal convolucional y/o similares, un modelo o modelos predictivos y/u otro tipo de "modelo o modelos", tal como puede consultarse en la presente, que pueden entrenarse para analizar e identificar información pertinente a partir de las imágenes usando imágenes de entrenamiento que son revisadas y etiquetadas manualmente y/o caracterizadas por un usuario. Se apreciará que cualquier referencia en la presente al término "modelo" puede incluir cualquier tipo de modelo que pueda usarse con un algoritmo de aprendizaje automático para entrenarlo con imágenes de entrenamiento y realizar predicciones referentes a ciertas características de otras imágenes. Las realizaciones de ejemplo pueden utilizar un modelo o modelos entrenados para utilizar la información detectada en imágenes recibidas posteriormente para predecir características en las imágenes, tales como, pero no limitadas a, el estado de integridad de un dispositivo móvil.

[0018] Para realizar diferentes tipos de predicciones pueden usarse diferentes modelos, cada uno de los cuales puede entrenarse con diferentes conjuntos de entrenamiento,. La utilización del modelo o modelos entrenados (por ejemplo, una red neuronal) puede permitir que ciertas realizaciones de ejemplo determinen el estado de integridad del dispositivo móvil en tiempo real o casi en tiempo real desde el momento en que se envían las imágenes (de acuerdo con algunas realizaciones, sin revisión humana adicional) y/o para reenviar en tiempo real o casi en tiempo real predicciones inconclusas o de alto riesgo para su revisión adicional antes de finalizar el estado de integridad del dispositivo móvil y/o inscribir el dispositivo móvil en un plan de protección. En algunas realizaciones, la salida de uno o más modelos puede tomarse como entrada en un modelo posterior para un análisis más sofisticado de la imagen y la determinación del estado de integridad del dispositivo móvil.

[0020] En algunos entornos de ejemplo, los consumidores pueden adquirir planes de seguro, garantías, garantías ampliadas y/u otros planes de protección de dispositivos para proteger sus dispositivos móviles y teléfonos inteligentes contra daños, robos, pérdidas y/o similares. En algunos casos, un consumidor puede adquirir dicho plan en el punto de venta, de tal manera que se sabe que el estado del dispositivo es nuevo y cumple los requisitos para estar cubierto. Sin embargo, en algunos casos, es posible que un consumidor desee adquirir la protección una vez que ya posee el dispositivo, ya sea directamente de una compañía aseguradora o a través de su proveedor de servicios de dispositivos móviles. El proveedor debe poder verificar rápidamente la integridad del dispositivo sin tener acceso físico al dispositivo ni poder manejarlo directamente. En tales casos, la inspección manual no es capaz de cumplir con la precisión y la rapidez necesarias para verificar la integridad del dispositivo en un tiempo razonable, por lo que puede ser necesario recurrir a los sistemas, métodos y aparatos descritos en la presente. De manera similar, los consumidores que adquieren dispositivos usados o reacondicionados pueden desear adquirir un seguro posventa, cuando la compañía aseguradora desconoce el estado del dispositivo. La compañía aseguradora confirma el estado del dispositivo en el momento en el que se adquiere la protección, con el fin de minimizar las pérdidas y evitar adquisiciones fraudulentas de protección para dispositivos con daños preexistentes.

[0022] Se apreciará que no se pretende que las referencias que se hacen en la presente a la garantía, la garantía ampliada, el seguro, la póliza de seguro, la cobertura, el plan de protección del dispositivo, el plan de protección y/o similares limiten el alcance de la divulgación, y que las realizaciones de ejemplos pueden referirse a la inscripción de dispositivos móviles en cualquiera de los planes mencionados anteriormente o en planes similares para proteger un dispositivo móvil contra pérdidas, o pueden referirse a otros entornos que usen los sistemas, métodos y aparatos de visión por ordenador y procesamiento de imágenes descritos en la presente. De manera similar, cualquier referencia a la verificación de la integridad del dispositivo puede referirse a la cualificación del dispositivo móvil para su inscripción en cualquiera de los planes o entornos mencionados anteriormente. Además, la determinación del estado de integridad del dispositivo móvil puede usarse para otros propósitos.

[0024] [0013] Una condición de ejemplo implementada de acuerdo con las realizaciones de ejemplo descritas en la presente incluye determinar si hay oclusiones en una imagen de un dispositivo móvil. Se apreciará que el proceso de detección de oclusiones descrito en la presente puede utilizarse para otros propósitos, como determinar oclusiones de cualquier tipo de objeto en una imagen.

[0025] Se proporciona un método de acuerdo con la reivindicación 1.

[0026] Las características opcionales del método se enumeran en la reivindicación dependiente 2.

[0027] Se proporciona además un aparato de acuerdo con la reivindicación 3.

[0028] Se proporciona además un producto de programa informático de acuerdo con la reivindicación 4.

[0029] Los modelos y algoritmos analizados en la presente pueden usarse independientemente, para su propio propósito previsto, o pueden usarse en uno o más procesos más amplios, como los analizados en la presente. Por ejemplo, en algunas realizaciones, pueden tomarse imágenes tanto con la cámara trasera como frontal de la parte posterior y frontal de un dispositivo, y para cada imagen pueden ejecutarse los varios modelos entrenados analizados en la presente, ya sea por separado o como parte de un proceso más amplio, para garantizar que el dispositivo esté intacto y no esté dañado. En algunas realizaciones, uno o más de los modelos y algoritmos pueden ejecutarse como parte de un proceso de incorporación para un producto de protección y/o contrato de servicio u otro programa de protección de dispositivos para el que se requiera la verificación de la integridad del dispositivo.

[0030] El resumen anterior se proporciona únicamente con el propósito de resumir algunas realizaciones ejemplares de la invención para proporcionar una comprensión básica de algunos aspectos de la misma. Se apreciará que el alcance de la divulgación abarca muchas realizaciones potenciales, algunas de las cuales se describirán adicionalmente más adelante, además de las aquí resumidas.

[0031] BREVE DESCRIPCIÓN DE LAS VARIAS VISTAS DE LOS DIBUJOS

[0032] Habiendo descrito por tanto las realizaciones de la invención en términos generales, ahora se hará referencia a los dibujos acompañantes, que no están necesariamente dibujados a escala, y en los que:

[0033] La Figura 1 ilustra un sistema para determinar el estado de integridad de un dispositivo móvil de acuerdo con algunas realizaciones de ejemplo;

[0034] La Figura 2 ilustra un diagrama de bloques de un aparato de acuerdo con algunas realizaciones de ejemplo; Las Figuras 3 y 4A son diagramas de flujo que ilustran operaciones para determinar el estado de integridad de un dispositivo móvil de acuerdo con algunas realizaciones de ejemplo;

[0035] La Figura 4B ilustra un flujo de datos entre modelos y/o circuitería de los mismos de acuerdo con algunas realizaciones ejemplares;

[0036] Las Figuras 5A-5Y ilustran interfaces de usuario de ejemplo proporcionadas de acuerdo con algunas realizaciones ejemplares;

[0037] La Figura 6 es un diagrama de flujo que ilustra la operación para detectar oclusiones en imágenes de acuerdo con algunas realizaciones de ejemplo;

[0038] Las Figuras 7A y 8A ilustran ejemplos de imágenes capturadas de un dispositivo móvil de acuerdo con algunas realizaciones de ejemplo; y

[0039] Las Figuras 7B y 8B ilustran máscaras de dispositivos móviles que pueden generarse respectivamente a partir de las imágenes de las Figuras 7A y 8A de acuerdo con algunas realizaciones de ejemplo.

[0040] DESCRIPCIÓN DETALLADA

[0041] En lo sucesivo se describirán más detalladamente algunas realizaciones de la presente invención con referencia a los dibujos acompañantes, en los que se muestran algunas, pero no todas, las realizaciones de la invención. De hecho, varias realizaciones de la invención pueden materializarse de muchas formas diferentes y no deben interpretarse como limitadas a las realizaciones expuestas en la presente; más bien, estas realizaciones se proporcionan para que la presente divulgación satisfaga los requisitos legales aplicables. En todo el documento, números de referencia similares se refieren a elementos similares.

[0042] Tal como se usan en la presente, los términos "datos", "contenido", "información" y términos similares pueden usarse indistintamente para referirse a datos que pueden capturarse, transmitirse, recibirse, mostrarse y/o almacenarse de acuerdo con varias realizaciones ejemplares. Además, cuando en la presente se describe que un dispositivo informático recibe datos de otro dispositivo informático, se entenderá que los datos pueden recibirse directamente del otro dispositivo informático o pueden recibirse indirectamente a través de uno o más dispositivos informáticos intermedios como, por ejemplo, uno o más servidores, repetidores, enrutadores, puntos de acceso a redes, estaciones base y/o similares. De manera similar, cuando en la presente se describe que un dispositivo informático envía datos a otro dispositivo informático, se entenderá que los datos pueden enviarse directamente al otro dispositivo informático o pueden enviarse indirectamente a través de uno o más dispositivos informáticos intermedios, como, por ejemplo, uno o más servidores, repetidores, enrutadores, puntos de acceso a redes, estaciones base y/o similares.

[0043] DESCRIPCIÓN GENERAL DEL SISTEMA

[0045] La Figura 1 ilustra un sistema 100 para determinar el estado de integridad de un dispositivo móvil, basado en el procesamiento de imágenes del dispositivo, de acuerdo con realizaciones ejemplares. El sistema de la Figura 1 puede utilizare además para detectar oclusiones en una imagen, como una imagen de un dispositivo móvil, de acuerdo con realizaciones ejemplares. A este respecto, el alcance de la divulgación abarca muchas realizaciones potenciales además de las ilustradas y descritas en la presente. Como tal, aunque la Figura 1 ilustra una configuración ejemplar, para implementar realizaciones de la presente invención también pueden usarse numerosas otras configuraciones.

[0047] El sistema 100 puede incluir cualquier número de dispositivos móviles 104, o simplemente "dispositivos", como se pueden denominar en la presente. Un dispositivo móvil 104 puede materializarse como cualquier dispositivo informático móvil como, a modo de ejemplo no limitativo, un teléfono celular, un teléfono inteligente, un dispositivo de comunicaciones móvil, un dispositivo informático tipo tableta, cualquier combinación de los mismos o similares. Aunque se describe como un dispositivo móvil, en algunas realizaciones, el dispositivo móvil 104 puede sustituirse por cualquier dispositivo informático fijo u otro dispositivo, sin apartarse del alcance de la presente divulgación. El dispositivo móvil 104 puede ser usado por un usuario para descargar, instalar y acceder a una aplicación de autoservicio, como la proporcionada por un proveedor, para obtener cobertura para el dispositivo móvil 104. Adicional o alternativamente, el dispositivo móvil 104 puede utilizar un navegador instalado en el mismo para acceder a una aplicación web de autoservicio, como la alojada y/o proporcionada por el proveedor. Además, el dispositivo móvil 104 puede usarse para capturar imágenes para su procesamiento de acuerdo con realizaciones ejemplares.

[0049] El aparato de verificación de la integridad del dispositivo 108 puede estar asociado con un proveedor, o con cualquier otra entidad, y puede ser cualquier dispositivo controlado por un procesador que facilite el procesamiento de solicitudes de verificación de la integridad del dispositivo, como las generadas a partir de una solicitud para inscribir un dispositivo en un programa de protección de dispositivos. Por ejemplo, el aparato de verificación de la integridad del dispositivo 108 puede comprender uno o más ordenadores, servidores, un clúster de servidores, uno o más nodos de red o una infraestructura de computación en la nube configurada para facilitar la verificación de la integridad del dispositivo, la inscripción en un plan de protección de dispositivos y/u otros servicios relacionados con el proveedor. En ciertas realizaciones, parte o la totalidad del aparato de verificación de la integridad del dispositivo 108 puede implementarse en el dispositivo móvil 104.

[0051] En ciertas realizaciones ejemplares, el aparato de verificación de la integridad del dispositivo 108 aloja o proporciona un servicio que permite el acceso por el dispositivo móvil 104 a la solicitud de cobertura, y además solicita al usuario del dispositivo móvil 104, como se describe con más detalle en la presente, que capture imágenes a través de una cámara del dispositivo móvil 104 usando un espejo. El aparato de verificación de la integridad del dispositivo 108 puede procesar las imágenes usando una o más de las realizaciones de visión por ordenador y procesamiento de imágenes descritas en la presente para determinar si el dispositivo reúne los requisitos para la cobertura, tal como se describe con más detalle en la presente. El aparato de verificación de la integridad del dispositivo 108 puede comprender o acceder a uno o más modelos entrenados para analizar imágenes y extraer información pertinente, tal como se describe con más detalle en la presente, y para determinar el estado de integridad del dispositivo. De acuerdo con algunas realizaciones, la recopilación de imágenes de entrenamiento y el entrenamiento del modelo pueden realizarse con el aparato de verificación de la integridad del dispositivo 108. El aparato de verificación de la integridad del dispositivo 108 puede estar además configurado para mantener información relativa a los planes de protección de dispositivos solicitados y emitidos, y/o para facilitar la comunicación entre el dispositivo móvil 104 y/o un aparato de usuario interno opcional 110.

[0053] El aparato de detección de oclusiones 109 puede ser cualquier dispositivo controlado por un procesador que facilite el procesamiento de imágenes para determinar si en la imagen se ha ocluido un objeto. Por ejemplo, el aparato de detección de oclusiones 109 puede comprender uno o más ordenadores, servidores, un clúster de servidores, uno o más nodos de red o una infraestructura de computación en la nube configurados para facilitar el procesamiento de imágenes y la identificación de oclusiones. De acuerdo con ciertas realizaciones, el aparato de verificación de la integridad del dispositivo 108 puede integrarse con el aparato de detección de oclusiones 109 para determinar si un dispositivo móvil en una imagen está ocluido por dedos y/o similares.

[0055] [0028] El aparato de usuario interno opcional 110 puede comprender cualquier dispositivo informático o pluralidad de dispositivos informáticos que puedan ser usados por un proveedor y/u otra entidad para facilitar la verificación de la integridad del dispositivo. A modo de ejemplo, el aparato de usuario interno 110 puede implementarse en un centro de soporte o en una instalación central alejada del dispositivo móvil, que puede contar con uno o más representantes de atención al cliente que pueden usar una aplicación proporcionada por el aparato de verificación de la integridad del dispositivo 108 para recibir el resultado del servidor de verificación de la integridad del dispositivo, lo que puede permitir un procesamiento o análisis adicional o facilitar una revisión adicional de las imágenes antes de la verificación. Por ejemplo, en los casos en que el aparato de verificación de la integridad del dispositivo 108 indique que es necesaria una revisión interna adicional de ciertas imágenes para la verificación, como por ejemplo debido a un estado de integridad del dispositivo móvil no concluyente, el aparato de usuario interno 110 puede ser usado por el personal de soporte para revisar las imágenes y confirmar o rechazar la integridad del dispositivo móvil 104, confirmando o denegando de este modo, respectivamente, la cobertura del dispositivo móvil 104 en un plan de protección de dispositivos. El aparato de usuario interno 110 puede ser utilizado además por los usuarios internos para capturar imágenes de entrenamiento y/o etiquetar imágenes de entrenamiento con las que entrenar el modelo o modelos. Se apreciará que el aparato de usuario interno 110 puede considerarse opcional. En algunas realizaciones, el aparato de verificación de la integridad del dispositivo 108 puede facilitar un procesamiento más rápido verificando o rechazando automáticamente la integridad del dispositivo móvil.

[0057] De acuerdo con algunas realizaciones, los varios componentes del sistema 100 pueden estar configurados para comunicarse a través de una red, como por ejemplo a través de la red 106. Por ejemplo, un dispositivo móvil 104 puede estar configurado para acceder a la red 106 a través de una conexión celular, una conexión de red de área local inalámbrica, una conexión Ethernet y/o similares. Como tal, la red 106 puede comprender una red cableada, una red inalámbrica (por ejemplo, una red celular, una red de área local inalámbrica, una red de área amplia inalámbrica, alguna combinación de las mismas o similares) o una combinación de las mismas, y en algunas realizaciones ejemplares comprende por lo menos una parte de Internet.

[0059] Como se ha descrito anteriormente, ciertos componentes del sistema 100 pueden ser opcionales. Por ejemplo, el aparato de verificación de la integridad del dispositivo 108 puede ser opcional, y la verificación de la integridad del dispositivo puede realizarse en el dispositivo móvil 104, por ejemplo, mediante una aplicación de autoservicio instalada en el dispositivo móvil 104.

[0061] En referencia ahora a la Figura 2, de acuerdo con realizaciones ejemplares, el aparato o aparatos 200 es un dispositivo informático configurado para implementar el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el servidor de detección de oclusión de imágenes 109 y/o el aparato de usuario interno 110. El aparato 200 puede incorporar, por lo menos parcial o totalmente, cualquiera del dispositivo móvil 104, aparato de verificación de la integridad del dispositivo 108, servidor de detección de oclusión de imágenes 109 y/o aparato de usuario internos 110. El aparato 200 puede implementarse como un sistema distribuido que incluye cualquiera del dispositivo móvil 104, aparato de verificación de la integridad de dispositivos 108, servidor de detección de oclusión de imágenes 109 y/o aparato de usuario internos 110, y/o red o redes asociadas.

[0063] Hay que señalar que los componentes, dispositivos y elementos ilustrados y descritos con respecto a la Figura 2 pueden no ser obligatorios y, por tanto, en ciertas realizaciones algunos pueden omitirse. Por ejemplo, la Figura 2 ilustra una interfaz de usuario 216, como se describe con más detalle a continuación, que puede ser opcional en el aparato de verificación de la integridad del dispositivo 108. Además, algunas realizaciones pueden incluir componentes, dispositivos o elementos adicionales o diferentes a los ilustrados y descritos con respecto a la Figura 2.

[0065] El aparato 200 puede incluir circuitería de procesamiento 210, que puede estar configurada para realizar acciones de acuerdo con una o más realizaciones ejemplares divulgadas en la presente. A este respecto, la circuitería de procesamiento 210 puede estar configurada para realizar y/o controlar el rendimiento de una o más funcionalidades del aparato 200 de acuerdo con varias realizaciones ejemplares. La circuitería de procesamiento 210 puede estar configurada para realizar el procesamiento de datos, la ejecución de aplicaciones y/u otros servicios de procesamiento y gestión de acuerdo con una o más realizaciones ejemplares. En algunas realizaciones, el aparato 200, o una o más partes o componentes del mismo, como la circuitería de procesamiento 210, pueden estar incorporados en, o comprender, un chip de circuito. El chip de circuito puede constituir un medio para realizar una o más operaciones para proporcionar las funcionalidades descritas en la presente.

[0067] En algunas realizaciones ejemplares, la circuitería de procesamiento 210 puede incluir un procesador 212 y, en algunas realizaciones, como la ilustrada en la Figura 2, puede incluir además una memoria 214. La circuitería de procesamiento 210 puede estar en comunicación con, o controlar de otro modo, una interfaz de usuario 216 y/o una interfaz de comunicaciones 218. Como tal, la circuitería de procesamiento 210, como la incluida en cualquiera de los dispositivos móviles 104, el aparato de verificación de la integridad del dispositivo 108, el servidor de detección de oclusión de imágenes 109 y/o el aparato interno del usuario 110, y/o el aparato 200, puede materializarse como un chip de circuito (por ejemplo, un chip de circuito integrado) configurado (por ejemplo, con hardware, software o una combinación de hardware y software) para realizar las operaciones descritas en la presente.

[0069] [0035] El procesador 212 puede materializarse de diferentes maneras. Por ejemplo, el procesador 212 puede materializarse como varios medios de procesamiento, tales como uno o más microprocesadores u otros elementos de procesamiento, un coprocesador, un controlador o varios otros dispositivos informáticos o de procesamiento, que incluyen circuitos integrados tales como, por ejemplo, un ASIC (circuito integrado de aplicación específica), un FPGA (matriz de puertas programables en campo) o similares. Aunque se ilustra como un único procesador, se apreciará que el procesador 212 puede comprender una pluralidad de procesadores. La pluralidad de procesadores puede estar en comunicación operativa entre sí y puede estar configurada colectivamente para realizar una o más funcionalidades del aparato 200 tal como se describe en la presente. La pluralidad de procesadores puede estar incorporada en un único dispositivo informático o distribuida entre una pluralidad de dispositivos informáticos configurados colectivamente para funcionar como el dispositivo móvil 104, aparato de verificación de la integridad del dispositivo 108, servidor de detección de oclusión de imágenes 109, aparato de usuario interno 110 y/o aparato 200. En algunas realizaciones ejemplares, el procesador 212 puede estar configurado para ejecutar instrucciones almacenadas en la memoria 214 o a las que pueda acceder de otro modo el procesador 212. Como tal, ya sea configurado por hardware o por una combinación de hardware y software, el procesador 212 puede representar una entidad (por ejemplo, incorporada físicamente en circuitería, en forma de circuitería de procesamiento 210) capaz de realizar operaciones de acuerdo con las realizaciones de la presente invención mientras está configurado de esta manera. Así, por ejemplo, cuando el procesador 212 está materializado como un ASIC, FPGA o similar, el procesador 212 puede ser hardware configurado específicamente para llevar a cabo las operaciones descritas en la presente. Como otro ejemplo, cuando el procesador 212 está materializado como un ejecutor de instrucciones de software, las instrucciones pueden configurar específicamente el procesador 212 para que realice una o más operaciones descritas en la presente.

[0071] En algunas realizaciones ejemplares, la memoria 214 puede incluir uno o más dispositivos de memoria no transitorios como, por ejemplo, memoria volátil y/o no volátil que puede ser fija o extraíble. A este respecto, la memoria 214 puede comprender un medio de almacenamiento legible por ordenador no transitorio. Se apreciará que, aunque la memoria 214 se ilustra como una única memoria, la memoria 214 puede comprender una pluralidad de memorias. La pluralidad de memorias puede estar incorporada en un único dispositivo informático o puede estar distribuida entre una pluralidad de dispositivos informáticos. La memoria 214 puede estar configurada para almacenar información, datos, aplicaciones, código de programa informático, instrucciones y/o similares para permitir que el aparato 200 lleve a cabo varias funciones de acuerdo con una o más realizaciones ejemplares. Por ejemplo, cuando el aparato 200 se implementa como dispositivo móvil 104, aparato de verificación de la integridad del dispositivo 108, servidor de detección de oclusión de imágenes 109 y/o aparato de usuario interno 110, la memoria 214 puede estar configurada para almacenar código de programa informático para realizar las funciones correspondientes del mismo, tal como se describe en la presente de acuerdo con realizaciones ejemplares.

[0073] Además, la memoria 214 puede estar configurada para almacenar el modelo o modelos y/o las imágenes de entrenamiento usadas para entrenar el modelo o modelos para predecir cierta información pertinente en imágenes recibidas posteriormente. La memoria 214 puede estar configurada además para almacenar en búfer datos de entrada para su procesamiento por el procesador 212. Adicional o alternativamente, la memoria 214 puede estar configurada para almacenar instrucciones para su ejecución por el procesador 212. En algunas realizaciones, la memoria 214 puede incluir una o más bases de datos que pueden almacenar una variedad de archivos, contenidos o conjuntos de datos. Entre los contenidos de la memoria 214, pueden almacenarse aplicaciones para su ejecución por el procesador 212 con el fin de llevar a cabo la funcionalidad asociada a cada aplicación respectiva. En algunos casos, la memoria 214 puede estar en comunicación con uno o más del procesador 212, la interfaz de usuario 216 y/o la interfaz de comunicaciones 218, para pasar información entre los componentes del aparato 200.

[0075] La interfaz de usuario opcional 216 puede estar en comunicación con la circuitería de procesamiento 210 para recibir entradas del usuario en la interfaz de usuario 216 y/o para proporcionar una salida audible, visual, mecánica o de otro tipo al usuario. Como tal, la interfaz de usuario 216 puede incluir, por ejemplo, un teclado, un ratón, una pantalla, una pantalla táctil, un micrófono, un altavoz y/u otros mecanismos de entrada/salida. Por ejemplo, en realizaciones en las que el aparato 200 está implementado como el dispositivo móvil 104, la interfaz de usuario 216 puede, en algunas realizaciones ejemplares, proporcionar medios para mostrar instrucciones para capturar imágenes. En realizaciones en las que el aparato está implementado como el aparato de usuario interno 110, la interfaz de usuario 216 puede proporcionar medios para que un usuario interno o asociado revise imágenes y verifique o rechace la integridad del dispositivo móvil 104. La interfaz de usuario 216 puede usarse además para etiquetar imágenes de entrenamiento con el fin de entrenar el modelo o modelos. En algunas realizaciones ejemplares, los aspectos de la interfaz de usuario 216 pueden estar limitados o la interfaz de usuario 216 puede no estar presente.

[0077] La interfaz de comunicaciones 218 puede incluir uno o más mecanismos de interfaz para permitir la comunicación con otros dispositivos y/o redes. En algunos casos, la interfaz de comunicaciones 218 puede ser cualquier medio, como un dispositivo o circuitería incorporado en hardware, o una combinación de hardware y software, que esté configurado para recibir y/o transmitir datos desde/hacia una red y/o cualquier otro dispositivo o módulo en comunicación con la circuitería de procesamiento 210. A modo de ejemplo, la interfaz de comunicaciones 218 puede estar configurada para permitir la comunicación entre cualquiera del dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el aparato interno del usuario 110 y/o el aparato 200 a través de una red, como la red 106. Por consiguiente, la interfaz de comunicaciones 218 puede, por ejemplo, incluir hardware y/o software de apoyo para permitir comunicaciones inalámbricas y/o por cable a través de cable, línea de abonado digital (DSL), bus de serie universal (USB), Ethernet u otros métodos.

[0079] [0040] El aparato 200 puede incluir uno o más sensores de captura de imágenes 220, como cuando el aparato 200 está incorporado en el dispositivo móvil 104. Un sensor de captura de imágenes 220 puede ser cualquier sensor, como una cámara u otro dispositivo de captura de imágenes, configurado para capturar imágenes y/o grabar vídeo desde el dispositivo móvil 104, y puede incluir un sensor de captura de imágenes de cámara frontal (por ejemplo, una cámara) configurado en el mismo lado del dispositivo que una pantalla de visualización, y/o un sensor de captura de imágenes de cámara trasera (por ejemplo, una cámara) en la superficie posterior del dispositivo (por ejemplo, en un lado del dispositivo que carece de pantalla de visualización). En algunas realizaciones, el dispositivo móvil 104 puede incluir sensores de captura de imágenes tanto orientados hacia adelante como hacia atrás, y en algunas realizaciones, el dispositivo móvil 104 puede incluir solo uno de un sensor de captura de imágenes de cámara frontal o un sensor de captura de imágenes de cámara trasera. En algunas realizaciones, en el aparato 200 (por ejemplo, el dispositivo móvil 104) puede haber cualquier número de sensores de captura de imágenes 220.

[0081] DETERMINACIÓN DEL ESTADO DE INTEGRIDAD DE UN DISPOSITIVO MÓVIL

[0083] Habiendo descrito de manera general las realizaciones ejemplares del sistema 100 y los aparatos para implementar las realizaciones ejemplares, las Figuras 3 y 4A son diagramas de flujo que ilustran operaciones ejemplares de un aparato 200, de acuerdo con algunas realizaciones ejemplares. Las operaciones pueden ser realizadas por el aparato 200, como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el aparato de detección de oclusiones 109 y/o el aparato interno del usuario 110.

[0085] La Figura 3 ilustra operaciones ejemplares para determinar el estado de integridad de un dispositivo móvil, como para la inscripción del dispositivo móvil 104 en un plan de protección de dispositivos, de acuerdo con una realización de ejemplo. Como se muestra en la operación 302, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214, la interfaz de usuario 216, la interfaz de comunicaciones 218 y/o similares, para recibir una solicitud de verificación de la integridad del dispositivo asociada con un dispositivo móvil. A este respecto, un usuario puede acceder a una aplicación (o "app") instalada en el dispositivo móvil 104, o a un sitio web alojado por el aparato de verificación de la integridad del dispositivo 108 para solicitar la inscripción en un plan de protección del dispositivo. En algunas realizaciones, la solicitud de inscripción en la integridad del dispositivo puede ser generada por el aparato de verificación de la integridad del dispositivo 108 o el aparato interno del usuario 110 durante la incorporación del dispositivo y/o del usuario. A este respecto, de acuerdo con ciertas realizaciones, la solicitud de verificación de la integridad del dispositivo puede comprender o acompañar detalles referentes a una póliza y/o cobertura solicitada (por ejemplo, un pedido), y/u otra información de la cuenta relacionada con el usuario, la información de contacto del usuario y/o similares. Se apreciará que la solicitud de verificación de la integridad del dispositivo puede generarse para propósitos distintos de la incorporación del dispositivo a un plan de protección.

[0087] Las realizaciones ejemplares pueden solicitar a los usuarios que proporcionen, por ejemplo a través de la interfaz de usuario 216, cierta información personal, información del proveedor de servicios del dispositivo móvil y/o información del dispositivo proporcionada por el usuario referente a su dispositivo. De acuerdo con algunas realizaciones, puede indicarse al usuario que use el dispositivo móvil 104 para continuar el proceso de inscripción usando el dispositivo que desea inscribir. Por ejemplo, las Figuras 5A, 5B, 5C y 5D son ejemplos de interfaces de usuario que pueden proporcionar información introductoria a un usuario y pueden usarse para recopilar por lo menos algunos datos del usuario, como su proveedor de servicios de dispositivos móviles y/o información sobre el dispositivo móvil (por ejemplo, marca, modelo y/o similares). Por ejemplo, como se ilustra en la Figura 5A, se proporciona el mensaje introductorio 500. Como se ilustra en la Figura 5B, se proporciona una solicitud 502 para que se seleccione un proveedor de servicios de dispositivos móviles, así como opciones seleccionables 504 o proveedores de servicios de dispositivos móviles elegibles. Una vez que el usuario ha seleccionado el proveedor de servicios de dispositivos móviles, como se ilustra en la Figura 5C, se proporciona una confirmación 510 del proveedor de servicios de dispositivos móviles seleccionado, así como contenido y enlaces a información adicional 512.

[0089] Como se muestra en la operación 304, el aparato 200 puede incluir medios, como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214, la interfaz de usuario 216, la interfaz de comunicaciones 218 y/o similares, para recibir un objeto de datos de identificación del dispositivo móvil que comprende información que describe el dispositivo móvil, tal como el dispositivo móvil 104. Como se ha descrito anteriormente, puede solicitarse al usuario que proporcione, a través de la interfaz de usuario 216, información que describa el dispositivo que desea registrar para su protección. En algunas realizaciones, el usuario puede proporcionar dicha información a través de una interfaz y/o red separada, como un ordenador personal u otro dispositivo informático móvil o fijo. En el objeto de datos de identificación del dispositivo móvil puede almacenarse cualquier dato que describa el dispositivo y/o su hardware, como el tipo de dispositivo (por ejemplo, marca, identificador de modelo), la Identidad Internacional de Equipo Móvil (IMEI) y/o similares.

[0091] [0045] De acuerdo con algunas realizaciones, es posible que no sea necesario que un usuario proporcione la información de identificación del dispositivo móvil, y que el objeto de datos del dispositivo móvil almacene el IMEI y/u otra información de identificación del dispositivo móvil obtenida sistemáticamente por el sitio web y/o una aplicación cuando el usuario accede al sitio web y/o a la aplicación usando el dispositivo móvil 104. Por lo tanto, el objeto de datos de identificación del dispositivo móvil puede incluir otra información usada para identificar o identificar de forma única un dispositivo, como el tipo de dispositivo, el identificador del modelo del dispositivo, el número de serie y/o similares. Aunque la Figura 5N (descrita con más detalle a continuación) ilustra una interfaz de usuario que permite al usuario introducir el IMEI del dispositivo, se apreciará que, de acuerdo con algunas realizaciones ejemplares, el IMEI puede obtenerse sistemáticamente como se ha expuesto anteriormente. La obtención sistemática de la información de identificación del dispositivo móvil puede, por lo tanto, limitar o reducir el fraude, por ejemplo, impidiendo que un usuario introduzca el IMEI de un dispositivo robado, perdido o dañado.

[0093] El objeto de datos de identificación del dispositivo móvil puede usarse para inscribir el dispositivo en un plan de detección de dispositivos de tal manera que, al presentar posteriormente una reclamación, un consumidor pueda presentar el dispositivo reflejando los datos que coinciden con los datos almacenados en el objeto de datos de identificación del dispositivo móvil (por ejemplo, el IMEI). Para reclamaciones relacionadas con un dispositivo perdido o robado, un proveedor de servicios de dispositivos móviles puede impedir el acceso futuro a la red y/o el uso del dispositivo usando los datos almacenados en el objeto de datos de identificación del dispositivo móvil (por ejemplo, el IMEI).

[0095] En la operación 306, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214, la interfaz de usuario 216, la interfaz de comunicaciones 218 y/o similares, para provocar la visualización en el dispositivo móvil 104 de una opción para capturar por lo menos una imagen del dispositivo móvil usando uno o más sensores del dispositivo móvil y una superficie reflectante, como un espejo. Las Figuras 5D, 5E, 5F, 5G, 5H, 5I, 5J, 5K, 5L, 5M, 5U, 5V y 5W son interfaces de usuario ejemplares para guiar al usuario a través de la captura de imágenes de su dispositivo móvil, usando una cámara frontal, una cámara trasera o ambas. Como se ilustra en la Figura 5D, puede proporcionarse al usuario información instructiva 514 para ofrecer una visión general de ciertos pasos relacionados con la fotografía del dispositivo móvil. Como se ilustra en la Figura 5E, se proporcionan instrucciones de captura de imágenes 516, así como opciones seleccionables 518 y 518, que indican que se capturen imágenes de la parte frontal y trasera (parte posterior) del dispositivo, respectivamente. En respuesta a la selección de una opción seleccionable 518 y/o 518, el procesador 212 de las realizaciones ejemplares invoca un sensor de captura de imágenes 220 asociado con la opción seleccionada respectiva 518 o 520. Por ejemplo, en un caso en el que se selecciona la opción 518 para capturar una imagen de la parte frontal del dispositivo móvil 104, el procesador 212 del dispositivo móvil 104 puede invocar un sensor de captura de imágenes de cámara frontal 220. En un caso en el que se selecciona la opción 520 para fotografiar la parte posterior del dispositivo móvil 104, el procesador 212 del dispositivo móvil 104 puede invocar un sensor de captura de imágenes de cámara trasera 220. De acuerdo con algunas realizaciones, para capturar las imágenes puede utilizarse cualquier sensor de captura de imágenes 220 con capacidades de captura de imágenes. Como se ilustra en la Figura 5F, las realizaciones ejemplares pueden proporcionar una instrucción de captura de imagen 526, que puede ser específica para un tipo de dispositivo del dispositivo móvil 104. Por ejemplo, la instrucción de captura de imagen 526 de la Figura 5F indica instrucciones para utilizar una tecla física de "subir volumen" del dispositivo móvil 104 para capturar una imagen. Se apreciará que pueden contemplarse varias implementaciones, como la utilización de una tecla física o una tecla virtual (no mostrada en la Figura 5F) para capturar una imagen. En ciertas realizaciones, la implementación puede variar dependiendo del tipo de dispositivo móvil 104.

[0097] Como se muestra en la Figura 5G, ciertos dispositivos móviles 104 pueden proporcionar una alerta de seguridad 528 para solicitar al usuario que permita que una aplicación móvil proporcionada por las realizaciones ejemplares proporcionadas en la presente acceda o invoque un sensor de captura de imágenes 220, como una cámara. Si un usuario ha permitido o confirmado previamente la solicitud para permitir el acceso de la aplicación móvil, es posible que no se muestre el mensaje. En cualquier caso, si el usuario concede el acceso para permitir que la aplicación móvil acceda a la cámara de imágenes proporcionada 220, como se muestra en la Figura 5H, la pantalla puede reflejar un visor 532 para mostrar la imagen que puede capturarse.

[0099] Además de proporcionar una opción para capturar la imagen, las realizaciones ejemplares pueden hacer que la interfaz de usuario 216 realice una transición para mostrar un patrón de prueba, que puede proporcionar una mayor precisión en el procesamiento posterior de las imágenes capturadas, incluyendo la pantalla del dispositivo. Por ejemplo, el patrón de prueba mostrado puede comprender una pantalla de visualización totalmente blanca, como se representa en la Figura 5H, u otro patrón de prueba, que se ha identificado que permite la identificación eficiente de daños como grietas y daños por agua, y/o que permite la identificación eficiente de una parte de la pantalla del dispositivo móvil con respecto a un bisel, por ejemplo.

[0101] Por consiguiente, el sistema puede indicar y hacer que el usuario sostenga el dispositivo móvil 104 frente a un espejo u otra superficie reflectante y use el dispositivo móvil 104 para capturar las imágenes, por ejemplo, con uno o más sensores (por ejemplo, el sensor de captura de imágenes 220) del dispositivo. Una vez que se ha capturado la imagen según las instrucciones del usuario, la imagen capturada puede mostrarse como una imagen capturada confirmada 528, en la Figura 5I. Por consiguiente, como se muestra en la Figura 5J, la imagen capturada 532 puede mostrarse en el área de la opción seleccionable 518, tal como se ilustra en la Figura 5E, que puede ser seleccionable para permitir al usuario volver a capturar la imagen. En la Figura 5J, la opción seleccionable 520 se muestra de manera similar a la pantalla de la Figura 5E, para indicar que todavía no se ha capturado la foto trasera.

[0103] [0051] Tras seleccionar la opción seleccionable 520, el procesador 212 puede invocar un sensor de captura de imágenes de cámara trasera 220 del dispositivo móvil 104 y mostrar un visor 538 de una imagen que se va a capturar, tal como se ilustra en la Figura 5K. El usuario puede seguir la opción o proporcionar una entrada para capturar la imagen, y la imagen capturada 542 puede mostrarse tal como se proporciona en la Figura 5L. Por consiguiente, la pantalla que se muestra en la Figura 5M puede actualizarse para que refleje las imágenes capturadas 532 y 542 en el área de las opciones seleccionables 518 y 518 respectivas. Las opciones seleccionables 518 y 518 pueden seleccionarse para cambiar, editar o confirmar las imágenes capturadas.

[0105] Volviendo a la descripción de la Figura 3, en la operación 308, y en respuesta a las operaciones de captura de imágenes descritas anteriormente, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214, el sensor de captura de imágenes 220, la interfaz de comunicaciones 218 y/o similares, para recibir la por lo menos una imagen capturada por el dispositivo móvil. Por lo tanto, las imágenes pueden ser capturadas por el dispositivo móvil 104 y transmitidas al aparato de verificación de la integridad del dispositivo 108 (por ejemplo, a través de la aplicación instalada en el dispositivo móvil y/o el sitio web del aparato de verificación de la integridad del dispositivo 108). Adicional o alternativamente, las imágenes pueden ser recibidas localmente por el dispositivo móvil 104 y ser procesadas posteriormente en el dispositivo móvil 104 como se describe a continuación.

[0107] Los identificadores generados por la aplicación o el sitio web pueden asociarse con imágenes que indiquen si una imagen concreta se envió como imagen de la parte frontal del dispositivo o de la parte trasera del dispositivo. Los identificadores pueden recibirse en el dispositivo móvil 104 y/o en el aparato de verificación de la integridad del dispositivo 108 en asociación con las imágenes recibidas.

[0109] De acuerdo con las realizaciones ejemplares, como se muestra en la operación 310, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para preprocesar la imagen. De acuerdo con las realizaciones ejemplares, una imagen recibida puede recortarse, como se describe con más detalle en la presente. De acuerdo con realizaciones ejemplares, una imagen recibida puede convertirse o reducirse a un tamaño predeterminado, por ejemplo, 300 píxeles por 300 píxeles. De acuerdo con ciertas realizaciones ejemplares, algunas operaciones descritas en la presente pueden realizarse usando un algoritmo de detección de disparo único, lo que significa que la imagen completa (que puede recortarse y redimensionarse) se procesa como se describe en la presente. Sin embargo, en algunas realizaciones, una imagen puede dividirse en secciones para su procesamiento individual de acuerdo con cualquiera de las operaciones descritas en la presente, y volver a ensamblarse de tal manera que las realizaciones ejemplares utilicen los datos y/o predicciones respectivos relacionados con las secciones separadas.

[0111] Como se muestra en la operación 314, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, y con un modelo o modelos entrenados, para procesar por lo menos una imagen con el fin de determinar el estado de integridad del dispositivo móvil. A continuación se describen, con respecto a la Figura 4A, que abarca dos páginas, operaciones ejemplares para determinar el estado de integridad de un dispositivo móvil, de acuerdo con realizaciones ejemplares.

[0113] La determinación del estado de integridad de un dispositivo móvil puede comprender el procesamiento de las imágenes a través de una serie de condiciones implementadas por algoritmos y/o modelos respectivos. Las predicciones o resultados relativos a las condiciones pueden indicar el estado de integridad del dispositivo móvil. Por ejemplo, el estado de integridad de un dispositivo móvil puede incluir "verificado", lo que indica que se ha confirmado la identidad del dispositivo móvil y que este se encuentra en condiciones aceptables para inscribirlo en un plan de protección. Un estado de integridad del dispositivo móvil de "no verificado" puede indicar que el dispositivo aún no ha sido verificado y/o que puede que no se haya cumplido alguna o más de las condiciones necesarias para la verificación.

[0115] De acuerdo con algunas realizaciones, un estado de integridad del dispositivo móvil opcional de "no concluyente" puede indicar que es probable que se cumplan las condiciones determinadas por las realizaciones ejemplares necesarias para la verificación, pero que debe realizarse una revisión adicional antes de la verificación final. Por consiguiente, en ciertas realizaciones, las determinaciones del estado de integridad del dispositivo móvil pueden basarse en las predicciones realizadas por los varios modelos y/o algoritmos, y en los niveles de confianza devueltos por cualquiera de los modelos y/o algoritmos que indican el nivel de confianza de una cierta predicción. En algunas realizaciones, tal como se describe en la presente, las condiciones de verificación pueden incluir detectar la presencia y la ubicación del dispositivo móvil, detectar oclusiones en la imagen del dispositivo móvil y otras evaluaciones pertinentes. Algunas realizaciones pueden evaluar además si un dispositivo es asegurable y/o no asegurable.

[0117] [0058] Para simplificar, las operaciones de la Figura 4A se describen con respecto al procesamiento de una sola imagen, pero se apreciará que el procesamiento de una imagen de cámara frontal y una imagen de cámara trasera puede producirse simultáneamente o en tándem, de tal manera que se tengan en cuenta tanto la cara frontal como la cara trasera del dispositivo al verificar la integridad del dispositivo. De acuerdo con algunas realizaciones, es posible que solo sea necesario procesar una imagen para verificar la integridad del dispositivo. En cualquier caso, un "estado de la imagen" puede referirse, por lo tanto, a predicciones relacionadas con una imagen (por ejemplo, la imagen de cámara frontal o la imagen de cámara trasera). Es posible que se requiera un estado de imagen "verificado" para una o más imágenes (por ejemplo, frontal y/o trasera), a fin de que, por ejemplo, las realizaciones determinen el estado de integridad del dispositivo móvil como "verificado". Tales determinaciones se describen con más detalle a continuación con respecto a las operaciones 440, 442, 446, 448 y 450.

[0119] De acuerdo con algunas realizaciones, las determinaciones de si se cumple o no una condición específica pueden implementarse con un modelo o modelos entrenados para hacer predicciones referentes a las imágenes y/u otros algoritmos configurados para determinar las cualidades de las imágenes. La Figura 4B proporciona una jerarquía ejemplar de modelos que pueden usarse para implementar las operaciones de la Figura 4A, de acuerdo con realizaciones ejemplares. La Figura 4B muestra el flujo de datos de un modelo entrenado a otro, de acuerdo con realizaciones ejemplares. Los modelos ejemplares, configurados en la memoria 214 y usados y/o entrenados por realizaciones ejemplares, como con el procesador 212, pueden incluir, entre otros:

[0121] • Un modelo de presencia de dispositivos móviles 486 entrenado para detectar si hay un dispositivo móvil en una imagen;

[0122] • Un modelo de detección de ubicación y recorte 488 entrenado para detectar la ubicación de un dispositivo móvil y, opcionalmente, recortar la imagen;

[0123] • Un modelo de detección de fundas 490 entrenado para detectar una funda en un dispositivo móvil presente en la imagen;

[0124] • Un modelo de identificación frontal/trasera de dispositivos móviles 492 entrenado para determinar si una imagen refleja la parte frontal o trasera del dispositivo;

[0125] • Un modelo de autenticidad de dispositivos móviles 494 entrenado para determinar si la imagen incluye el dispositivo móvil desde el que se capturó la imagen.

[0126] • Un modelo de detección de oclusiones 496 entrenado para generar una máscara usada para determinar si un objeto de una imagen está ocluido.

[0127] • Un modelo de detección de daños 498 entrenado para detectar daños en el dispositivo móvil de la imagen.

[0129] La Figura 4B refleja los niveles de los modelos, a través de los cuales se alimentan las imágenes de acuerdo con realizaciones ejemplares. Si un modelo particular predice que la imagen no satisface una condición particular, los realizaciones ejemplares pueden impedir el procesamiento posterior por modelos adicionales. Sin embargo, si un modelo particular predice que la imagen satisface su condición o condiciones respectivas, la imagen puede seguir siendo procesada por modelos adicionales, como se ilustra en la arquitectura por niveles de la Figura 4B. De esta manera, la eficiencia del sistema puede mejorarse, aumentarse y/o maximizarse con respecto a un sistema que realiza el procesamiento de todas las condiciones independientemente de otros resultados. Se apreciará que el orden de los modelos a través de los cuales fluyen o se procesan las imágenes puede configurarse en un orden diferente o modificado con respecto al ilustrado en la Figura 4B. En algunas realizaciones, uno o más modelos pueden ejecutarse por separado para su propósito previsto sin necesidad de seguir cada uno de los pasos mostrados en la Figura 4B. A este respecto, cualquiera de los modelos descritos en la presente, y sus respectivas predicciones, pueden aprovecharse y/o utilizarse para otros propósitos, además de o en lugar de determinar el estado de una imagen y/o el estado de integridad de un dispositivo móvil.

[0131] De manera similar, puede modificarse el orden de las operaciones y/o condiciones descritas con respecto a la Figura 4A. Por ejemplo, las operaciones que se han identificado que consumen menos recursos que otras pueden procesarse antes que aquellas que se ha identificado que consumen más recursos. Adicional o alternativamente, si no se verifica una condición particular que se sabe que normalmente da como resultado una baja confianza o a una baja tasa de precisión de otras predicciones, dicha condición particular puede configurarse intencionadamente para que se procese antes que otra condición. Por ejemplo, si las realizaciones ejemplares no verifican que una imagen incluye un dispositivo móvil (operación 400, descrita a continuación), entonces puede que no determine con precisión si la imagen es de la parte frontal o la parte posterior de un dispositivo (operación 406, descrita a continuación).

[0133] Continuando con la descripción de la Figura 4A, tal como se muestra en la operación 400, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214, el modelo de presencia del dispositivo móvil 486 y/o similares, para determinar si la por lo menos una imagen incluye un dispositivo móvil. La determinación puede realizarse con un modelo de presencia de dispositivo móvil 486 implementado en el dispositivo móvil 104 y/o el aparato de verificación de la integridad del dispositivo 108, por ejemplo. Aunque la interfaz de usuario 216 solicita al usuario que capture imágenes del dispositivo del usuario usando un espejo, los usuarios pueden enviar imágenes que no incluyan un dispositivo móvil. Por ejemplo, algunos usuarios pueden intentar cometer fraude tomando una foto de un trozo de papel simulado para que parezca un dispositivo móvil. Otros pueden capturar intencionadamente o inadvertidamente imágenes que no incluyen el dispositivo móvil.

[0135] El procesador 212 puede procesar una imagen en cuestión con por lo menos un modelo entrenado (por ejemplo, una red neuronal), entrenado con una pluralidad de imágenes de entrenamiento, cada una de las cuales está etiquetada como que incluye un dispositivo móvil o que excluye un dispositivo móvil, para determinar si la imagen en cuestión incluye un dispositivo móvil.

[0137] [0064] En cualquier caso, si las realizaciones ejemplares, como con el modelo de presencia de dispositivo móvil 486, predicen que la por lo menos una imagen no incluye un dispositivo móvil, como se muestra en la operación 430, el aparato 200 puede incluir medios, como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214, la interfaz de usuario 216, la interfaz de comunicaciones 218 y/o similares, para proporcionar retroalimentación al usuario indicándole que capture una imagen de su dispositivo y/o determinando un estado de la imagen como "no verificada". La retroalimentación puede incluir la transmisión y/o visualización de una o más instrucciones en el dispositivo móvil.

[0139] A este respecto, al usuario se le puede dar la oportunidad de volver a capturar la imagen para su reprocesamiento y verificación. Al usuario se le puede proporcionar un mensaje como el que se muestra en la interfaz de usuario de la Figura 5R. La operación 430 indica opcionalmente proporcionar retroalimentación al usuario, pero se apreciará que, de acuerdo con algunas realizaciones, como resultado de ciertas o todas las operaciones condicionales 400, 403, 405, 406, 410, 416, 420, 426 y/o 442, al usuario se le pueden proporcionar instrucciones más específicas relacionadas con una condición particular procesada, pero que no conducen a la verificación de la integridad del dispositivo (por ejemplo, un problema con la imagen capturada). Si el usuario proporciona una o más imágenes nuevas, el procesamiento puede volver a la operación 400 para procesar la imagen recién capturada.

[0141] Se apreciará que, en ciertas realizaciones ejemplares, la operación 400 puede realizarse en una sola toma por imagen, o la imagen puede subdividirse en secciones de tal manera que cada sección separada se procese como se describe en la presente.

[0143] Si las realizaciones ejemplares determinan que por lo menos una imagen incluye un dispositivo móvil, el procesamiento posterior puede continuar en la operación 403. Por lo menos algunas de las operaciones restantes de la Figura 4A se describen con referencia al dispositivo móvil de la imagen o al dispositivo móvil capturado. Se apreciará que tales referencias se refieren a la predicción impulsada por el procesador de que es probable que haya un dispositivo móvil en la imagen, de tal manera que el dispositivo móvil capturado es un dispositivo móvil sospechoso.

[0145] En la operación 403, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214, el modelo de detección de ubicación y recorte 488 y/o similares, para determinar una ubicación del dispositivo móvil en la imagen. A este respecto, las realizaciones ejemplares, como con el modelo de detección de ubicación y recorte 488 y/o el modelo respectivo del mismo, pueden predecir un cuadro delimitador, o una subparte de la imagen, en el que se encuentra el dispositivo móvil. Si el cuadro delimitador tiene una relación predefinida (por ejemplo, menor que, o menor o igual que) en comparación con una relación mínima umbral (por ejemplo, 25%) de la imagen, las realizaciones ejemplares pueden determinar que el dispositivo móvil 104 estaba demasiado lejos del espejo u otra superficie reflectante cuando se capturó la imagen (por ejemplo, demasiado lejos para proporcionar un procesamiento y predicciones adicionales con respecto al dispositivo móvil, con un nivel de confianza umbral). Como tal, el aparato 200, por ejemplo mediante la operación 430, puede determinar el estado de la imagen como "no verificado" y, opcionalmente, proporcionar retroalimentación al usuario, como indicar que mantenga el dispositivo móvil 104 más cerca del espejo al volver a capturar la imagen.

[0147] Si se determina que el cuadro delimitador tiene una relación predefinida diferente (por ejemplo, mayor que o igual a, o mayor que) en comparación con la relación mínima umbral de la imagen, las realizaciones ejemplares pueden determinar que el dispositivo móvil 104 estaba lo suficientemente cerca del espejo cuando se capturó la imagen (por ejemplo, lo suficientemente cerca como para proporcionar un procesamiento y predicciones adicionales con respecto al dispositivo móvil, con un nivel de confianza umbral), de tal manera que el procesamiento pueda continuar.

[0149] En la operación 404, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214, el modelo de detección de ubicación y recorte 488 y/o similares, para recortar la imagen de tal manera que se eliminen las áreas fuera del cuadro delimitador. A continuación, la imagen recortada puede reducirse y redimensionarse a un tamaño predeterminado, como 300 píxeles x 300 píxeles. La imagen recortada puede procesarse como se describe adicionalmente más adelante, haciendo referencia a una imagen recortada como "la imagen" o "imagen capturada" para evitar complicar en exceso la descripción aunque, en algunos casos, la imagen sea diferente de la imagen capturada originalmente que puede recortarse de acuerdo con las realizaciones ejemplares.

[0151] Como se muestra en la operación 405, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214, el modelo de detección de fundas 490 y/o similares, para determinar si el dispositivo móvil capturado en la imagen está libre de funda a fundas o incluye una funda, como una funda que impide evaluar con precisión el estado del dispositivo móvil 104. La determinación puede realizarse con un modelo de detección de fundas 490 entrenado para detectar fundas en dispositivos móviles capturados en imágenes. Las realizaciones ejemplares pueden procesar las imágenes con un modelo entrenado (por ejemplo, el modelo de detección de fundas 490) para predecir o detectar si el usuario ha capturado una imagen con una funda en el dispositivo móvil. Por consiguiente, en la operación 430, las realizaciones ejemplares pueden proporcionar información al usuario, como indicarle que vuelva a capturar la imagen sin la funda. Las realizaciones ejemplares pueden determinar además el estado de la imagen como "no verificado". A este respecto, se puede dar al usuario la oportunidad de volver a capturar imágenes para su reprocesamiento.

[0152] Si las realizaciones ejemplares determinan que por lo menos una imagen no tiene una funda, el procesamiento posterior puede continuar en la operación 406. Como se muestra en la operación 406, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para determinar si por lo menos una imagen incluye el lado indicado del dispositivo móvil. El "lado indicado" no tiene por qué significar necesariamente un lado indicado por el usuario, sino el lado indicado sistemáticamente en asociación con una imagen capturada, que puede ser generada por una aplicación debido a que se solicita al usuario por separado que capture el lado delantero y trasero del dispositivo.

[0154] La determinación puede realizarse con un modelo de identificación frontal/trasera del dispositivo móvil 492 implementado en el dispositivo móvil 104 y/o el aparato de verificación de la integridad del dispositivo 108, por ejemplo. Las realizaciones ejemplares pueden ejecutar las imágenes a través de un modelo (por ejemplo, el modelo de identificación frontal/trasera del dispositivo móvil 492) para confirmar que la imagen captura el lado (por ejemplo, delantero o trasero) indicado. Si se determina que el usuario ha capturado el lado incorrecto del dispositivo, en la operación 430, las realizaciones ejemplares pueden proporcionar retroalimentación al usuario, como indicar que capture el lado indicado (por ejemplo, delantero o trasero) del dispositivo. Las realizaciones ejemplares pueden determinar además el estado de la imagen como "no verificado". A este respecto, se le puede dar al usuario la oportunidad de volver a capturar las imágenes para su reprocesamiento.

[0156] Si se determina que las imágenes reflejan el lado del dispositivo indicado (por ejemplo, delantero o trasero), el procesamiento puede continuar en la operación 410. Como se muestra en la operación 410, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214, el modelo de autenticidad del dispositivo móvil 494 y/o similares, para determinar si la por lo menos una imagen incluye el dispositivo móvil asociado con el objeto de datos de identificación del dispositivo móvil. Dicho de otro modo, las realizaciones ejemplares determinan si la por lo menos una imagen incluye el dispositivo móvil desde el que se capturó el dispositivo móvil. En algunos casos, los usuarios podrían intentar cometer fraude utilizando su dispositivo móvil y un espejo para capturar una imagen de un teléfono diferente y sin daños. Las realizaciones ejemplares pueden utilizar el modelo de autenticidad del dispositivo móvil 494 para estimar los ángulos del dispositivo móvil con respecto a la superficie reflectante, usando la imagen, y predecir si el dispositivo presente en la imagen es realmente el dispositivo móvil desde el que se capturó la imagen, o si el dispositivo capturado en la imagen es otro dispositivo.

[0158] Como otro ejemplo, las realizaciones ejemplares, como con el modelo de autenticidad de dispositivos móviles 494, pueden generar una predicción de la identidad de un dispositivo móvil sospechoso en una imagen basándose en la imagen. Por ejemplo, el modelo de autenticidad de dispositivos móviles 494 puede predecir la marca y/o el modelo del dispositivo móvil, y las realizaciones ejemplares pueden comparar la identidad del dispositivo móvil predicha con la identidad indicada por el objeto de datos de identificación del dispositivo móvil (por ejemplo, el IMEI) para determinar si las imágenes reflejan las características del dispositivo esperadas basándose en el objeto de datos de identificación del dispositivo móvil.

[0160] Si se determina que un dispositivo móvil en una imagen es un dispositivo diferente al que se usó para capturar las imágenes, en la operación 430, al usuario se le puede proporcionar opcionalmente retroalimentación para que capture imágenes de su dispositivo móvil usando el mismo dispositivo móvil 104 desde el que se originó la solicitud de verificación de la integridad del dispositivo (por ejemplo, el dispositivo móvil para el que se desea el plan de protección). Las realizaciones ejemplares pueden determinar además el estado de la imagen como "no verificado".

[0162] Si las realizaciones ejemplares determinan que un dispositivo móvil en una imagen es efectivamente el dispositivo móvil 104 desde el que se capturó la imagen, el procesamiento puede continuar en la operación 416. Como se muestra en la operación 416, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para determinar si la calidad de por lo menos una imagen es suficiente para su procesamiento adicional. De acuerdo con ciertas realizaciones, la borrosidad de la imagen puede determinarse mediante la implementación de una métrica de varianza del Laplaciano.

[0164] Debido a varios factores externos del entorno, y/o al posicionamiento del dispositivo móvil 104 con respecto al espejo, y/o similares, algunas imágenes pueden estar demasiado borrosas para procesarlas posteriormente con el fin de detectar oclusiones o daños (lo que se analiza con más detalle a continuación). Adicional o alternativamente, la imagen puede ser demasiado borrosa para realizar otras predicciones, incluyendo las descritas anteriormente, de tal manera que puede ser ventajoso, por ejemplo, que las realizaciones evalúen la calidad y la borrosidad de la imagen antes de realizar cualquiera de las operaciones descritas en la presente. En algunos ejemplos, la calidad de la imagen puede ser suficiente para realizar una tarea, pero no otra, de tal manera que a lo largo del proceso ilustrado en la Figura 4A pueden realizarse varias verificaciones de la calidad de la imagen.

[0166] [0079] En cualquier caso, en la operación 430, al usuario se la puede proporcionar retroalimentación para que vuelva a capturar la imagen y se le puede proporcionar orientación adicional sobre cómo colocar el dispositivo móvil 104 con respecto al espejo para capturar una imagen que tenga calidad suficiente para su posterior procesamiento. La Figura 5S proporciona una interfaz ejemplar para solicitar al usuario que vuelva a tomar la foto debido a que está demasiado borrosa. Pueden proporcionarse más indicaciones para acercar o alejar el dispositivo móvil 104 del espejo, y sobre cómo ajustar el ángulo o la orientación del dispositivo móvil 104 con respecto al espejo. Las realizaciones ejemplares pueden determinar además el estado de la imagen como "no verificado", y al usuario se le puede dar la oportunidad de volver a capturar las imágenes para su reprocesamiento.

[0168] Si las realizaciones ejemplares determinan que la calidad de la imagen es suficiente para su procesamiento, el procesamiento puede continuar en la operación 420. Como se muestra en la operación 420, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el servidor de detección de oclusiones 109, el procesador 212, la memoria 214, el modelo de detección de oclusiones 496 y/o similares, para determinar si la por lo menos una imagen está libre de oclusiones o incluye algún objeto que ocluya el dispositivo móvil 104 en la por lo menos una imagen. Para evitar complicar en exceso el diagrama de flujo, la operación 420 ilustra que la imagen o está libre de oclusiones o no está libre de oclusiones. Sin embargo, tal y como se describe en la presente, se apreciará que a la hora de determinar si el estado de una imagen se establece como "no verificado" o "verificado" se determina y se tiene en cuenta el grado o la cantidad de oclusión.

[0170] Por ejemplo, un usuario puede cubrir de manera inadvertida o intencionada una parte del dispositivo móvil 104, como una grieta u otro daño en la pantalla de visualización, u otra parte del dispositivo móvil 104. Las realizaciones usan el modelo de detección de oclusiones 496 para generar una máscara, como se describe con más detalle a continuación, que se utilizará para detectar oclusiones tales como esquinas bloqueadas (por ejemplo, dedos que cubren las esquinas del dispositivo móvil) y oclusiones cóncavas (por ejemplo, dedos que sobresalen en partes del dispositivo móvil capturado).

[0172] Las oclusiones pequeñas que cubren el bisel o la parte exterior de una superficie del dispositivo móvil 104 pueden ser admisibles, pero las oclusiones más grandes que ocultan partes significativas de una pantalla de visualización u otras partes significativas del dispositivo pueden no ser admisibles. Si se determina que el dispositivo móvil 104 está oculto por un objeto, de tal manera que no se puede verificar la integridad del dispositivo, el proceso continúa con la operación 430, para solicitar al usuario que vuelva a tomar la imagen sin oclusiones (por ejemplo, manteniendo los dedos alrededor del borde del dispositivo y sin cubrir la parte frontal o trasera del dispositivo), y determinar el estado de la imagen del móvil como "no verificado". A continuación se proporcionan detalles adicionales sobre la detección de oclusiones con respecto a la Figura 6 y en la sección titulada "DETECCIÓN DE OCLUSIONES".

[0174] Si no se detectan oclusiones, o si estas oclusiones son menores, de tal manera que las oclusiones no impidan el procesamiento y análisis posteriores para detectar daños u otras condiciones, el proceso puede continuar a la operación 426. Como se muestra en la operación 426, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214, el modelo de detección de daños 498 y/o similares, para determinar si la por lo menos una imagen indica que el dispositivo está libre de daños o incluye daños. Adicional o alternativamente, el modelo de detección de daños 498 puede determinar o predecir un tipo específico de daño presente, como grietas, daños por agua, abolladuras y/o cualquier otro daño que impida que el dispositivo móvil esté asegurado o protegido. En ciertas realizaciones, si el modelo determina que es probable que haya daños, entonces un modelo separado puede predecir el tipo de daño. En cualquier caso, las realizaciones ejemplares determinan si hay daños preexistentes en el dispositivo móvil 104, de tal manera que se debe denegar la cobertura en un plan de protección. Para evitar complicar en exceso el diagrama de flujo, la operación 426 ilustra que la imagen está libre de daños o no está libre de daños. Sin embargo, tal y como se describe en la presente, se apreciará, que a la hora de determinar si el estado de una imagen se establece como "no verificado", "verificado" o "no concluyente" se tiene en cuenta el grado o la cantidad de daños.

[0176] A continuación se proporcionan detalles adicionales sobre el modelo de detección de daños 498 que utiliza imágenes de entrenamiento y uno o más modelos para detectar daños en un dispositivo móvil.

[0178] Si se detectan daños, en la operación 430, las realizaciones ejemplares pueden proporcionar una respuesta al usuario indicando que se han detectado daños y/o que no se puede emitir un plan de protección del dispositivo. Las realizaciones ejemplares pueden determinar además que el estado de la imagen es "no verificado".

[0180] [0086] En los casos en los que se determine que no hay daños en el dispositivo móvil 104 y/o que el estado físico y/o los parámetros de funcionamiento del dispositivo móvil 104 son suficientes a efectos de asegurabilidad, el procesamiento puede continuar con la operación 440. Como se muestra en la operación 440, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para determinar el estado de la imagen como "verificado". Se apreciará que ciertas operaciones ilustradas en la Figura 4A pueden no estar presentes en ciertas realizaciones. Por consiguiente, el aparato 200 puede estar configurado para requerir cualquier número de las validaciones y/o condiciones descritas con respecto a la Figura 4A, de tal manera que pueda determinarse un estado de imagen "verificado" si se realizan todas las verificaciones o condiciones deseadas (por ejemplo, deseadas, como por un proveedor).

[0182] En algunas realizaciones, pueden ejecutarse uno o más modelos en paralelo, como el modelo de detección de oclusiones 496 y el modelo de detección de fundas 490. En algunas realizaciones, la salida del modelo de recorte de imágenes 488 puede introducirse en uno o más del modelo de detección de fundas 490, el modelo de identificación frontal/trasera de dispositivos móviles 492, el modelo de autenticidad de dispositivos móviles 494, el modelo de detección de oclusiones 496 y/o el modelo de detección de daños 498, simultáneamente o en cualquier orden.

[0184] De acuerdo con las realizaciones ejemplares, puede ser necesario un estado de imagen "verificado" para múltiples imágenes, por ejemplo, una imagen de cámara frontal y una imagen de cámara trasera.

[0186] Por lo tanto, en los ejemplos en los que para confirmar el estado de integridad del dispositivo móvil se deben verificar tanto la cara frontal como la cara trasera (y/o cualquier otra imagen), aunque no se muestra en la Figura 4A para evitar complicar en exceso el diagrama de flujo, las operaciones 400, 403, 404, 405, 406, 410, 416, 420, 426, 430 y/o 440 de la Figura 4A pueden repetirse por separado para cada imagen requerida por la aseguradora. Por ejemplo, una imagen indicada como captura de la parte frontal del dispositivo puede procesarse de acuerdo con las operaciones 400, 403, 404, 405, 406, 410, 416, 420, 426, 430 y/o 440, y una imagen indicada como captura de la parte trasera del dispositivo puede procesarse de acuerdo con las operaciones 400, 403, 404, 405, 406, 410, 416, 420, 426, 430 y/o 440.

[0188] Como tal, tal como se muestra en la operación 442, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para determinar si todas las imágenes requeridas (por ejemplo, requeridas con el propósito de determinar el estado de integridad del dispositivo móvil, por ejemplo) tienen un estado de imagen "verificado". Las imágenes concretas (por ejemplo, la parte frontal y trasera) pueden estar preconfiguradas o establecidas por el aparato de verificación de la integridad del dispositivo 108 y pueden estar relacionadas con el requisito de un proveedor de inscribir el dispositivo en un plan de protección.

[0190] Por ejemplo, si se requieren imágenes de la parte frontal y trasera del dispositivo, y ambas imágenes tienen un estado de imagen "verificado", el estado de integridad del dispositivo puede establecerse en "verificado". Sin embargo, si se requieren imágenes tanto de la parte frontal como de la trasera del dispositivo, y solo una o ninguna de las imágenes tiene un estado de imagen "verificado", el estado de integridad del dispositivo móvil debe permanecer como nulo o establecerse como "no verificado", por lo menos hasta que ambas imágenes tengan un estado de imagen de "verificado". Por ejemplo, como se muestra en la operación 446, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para determinar el estado de integridad del dispositivo como "no verificado". La Figura 5T proporciona una interfaz de usuario ejemplar que indica que la foto de la cámara frontal está aprobada, pero que la foto de la cámara trasera (por ejemplo, la foto de la parte posterior) aún puede necesitar ser capturada y procesada. Si una o ambas imágenes están "sin verificar", las realizaciones ejemplares pueden solicitar al usuario que capture o vuelva a capturar las imágenes respectivas.

[0192] Como se muestra en la operación 448, se apreciará que las realizaciones ejemplares pueden estar configuradas para determinar un estado de integridad del dispositivo móvil como "verificado" basándose en un primer nivel de confianza umbral (que puede ser configurable) o primer nivel de confianza umbral. Por ejemplo, la determinación del estado de integridad del dispositivo móvil como "verificado" puede requerir no solo un estado de "verificado" para todas las imágenes requeridas, sino también un nivel de confianza mínimo global o medio para todas las condiciones evaluadas. Por lo tanto, opcionalmente puede configurarse una primera prueba de nivel de confianza umbral, y puede configurarse de varias maneras. Por ejemplo, aunque no se ilustra en la Figura 4A, en ciertas realizaciones, puede establecerse un nivel de confianza umbral de una predicción particular (por ejemplo, una condición) en asociación con cualquiera de las predicciones realizadas en las operaciones 400, 403, 405, 406, 410, 416, 420 y/o 426. Por ejemplo, algunos modelos pueden configurarse para proporcionar no solo la predicción, sino también un nivel de confianza que refleje la confianza en que la predicción sea precisa. Como tal, puede ser necesario un nivel de confianza umbral para cada condición que debe cumplirse antes de pasar a la siguiente condición. De acuerdo con ciertas realizaciones ejemplares, es posible que para establecer el estado de integridad de un dispositivo móvil como "verificado" el nivel de confianza medio para todas las condiciones sea del 95% o mayor. Como otro ejemplo, es posible que para establecer el estado de integridad de un dispositivo móvil como "verificado" todas las condiciones deban tener un nivel de confianza del 98% o mayor.

[0194] En cualquier caso, si todas las imágenes requeridas tienen un estado de imagen "verificado", como se indica en la operación 442, y se cumple el primer nivel de confianza umbral, como se indica en la operación 448, el estado de integridad del dispositivo móvil puede determinarse como "verificado", como se indica en la operación 450.

[0196] [0094] A este respecto, el aparato 200 puede incluir medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para determinar el estado de integridad del dispositivo como "verificado". Si no se implementa el primer nivel de confianza umbral, en ciertas realizaciones, puede omitirse o pasarse por alto la operación 448, y una verificación de que todas las imágenes tienen un estado de imagen "verificado" en la operación 442 puede conducir a la operación 450 y a determinar el estado de integridad del dispositivo móvil como "verificado".

[0198] De acuerdo con algunas realizaciones, si el estado de integridad del dispositivo móvil se establece como "verificado", el dispositivo móvil 104 puede inscribirse automáticamente en un plan de protección y al usuario se le puede proporcionar una confirmación a través de la interfaz de usuario 216. Por ejemplo, la Figura 5Y proporciona la confirmación de que el dispositivo está cubierto. De acuerdo con algunos ejemplos, la inscripción automática y la confirmación pueden proporcionarse en tiempo real o casi en tiempo real durante la sesión en la que se solicitó la cobertura y el usuario capturó las imágenes.

[0200] Adicional o alternativamente, en respuesta a la determinación del estado de integridad del dispositivo móvil como "verificado", el dispositivo no tiene por qué inscribirse automáticamente en el plan de protección, sino que puede ser reenviado, por ejemplo, por el dispositivo móvil 104 y/o el aparato de verificación de la integridad del dispositivo 108, al aparato interno del usuario 110 para su revisión interna. En tales ejemplos, las realizaciones pueden proporcionar un mensaje, como el de las Figuras 5O, 5P, 5Q y/o 5X, indicando que las imágenes se han enviado para su revisión. Por consiguiente, si un proveedor desea revisar adicionalmente internamente las imágenes antes de inscribir cualquier dispositivo móvil en un plan de protección (por ejemplo, y no proporcionar la inscripción automática), no obstante, las realizaciones ejemplares pueden filtrar ventajosamente las imágenes que se prevé que no sean aceptables o verificables y, opcionalmente, proporcionar información al usuario para promover la inscripción eficiente del dispositivo.

[0202] Como otro ejemplo, tal como se muestra en las operaciones 468 y 470, incluso si no se cumple el primer umbral de nivel de confianza en 448, pero se cumple un segundo umbral de nivel de confianza (por ejemplo, el 90%), las realizaciones ejemplares pueden determinar el estado de integridad del dispositivo móvil como "no concluyente", lo que indica que debe realizarse una revisión adicional, por ejemplo, con el aparato interno del usuario 110. Por consiguiente, las realizaciones ejemplares pueden configurarse para "inscribir automáticamente" los dispositivos que se ha determinado que son de bajo riesgo, de acuerdo con los procesos de la Figura 4A, pero pueden reservar la oportunidad para que el proveedor revise adicionalmente internamente las imágenes antes de inscribir cualquier dispositivo móvil que tenga imágenes asociadas que se ha determinado que son de alto riesgo. Además, si el nivel de confianza no satisface ni el primer ni el segundo umbral de confianza, el estado de integridad del dispositivo móvil puede determinarse como "no verificado" (446) y una solicitud relacionada de seguro y/o similar puede rechazarse sin una revisión manual adicional. Por lo tanto, las realizaciones ejemplares pueden filtrar ventajosamente las imágenes que se prevé que no sean aceptables o verificables y, opcionalmente, proporcionar retroalimentación al usuario para promover el registro eficiente de dispositivos.

[0204] En cualquier caso, se apreciará que las realizaciones ejemplares pueden configurarse para realizar cualquier cantidad, o todo de un conjunto requerido de validaciones y/o verificaciones sistemáticamente, mientras que en algunas realizaciones, un nivel de validación y/o verificación sistemática puede equilibrarse con una revisión interna (por ejemplo, humana) según lo desee un proveedor, por ejemplo. Pueden contemplarse varias configuraciones y umbrales de niveles de confianza para varias etapas del procesamiento.

[0206] Independientemente de la variación o variaciones implementadas descritas anteriormente, ciertas realizaciones ejemplares pueden proporcionar pantallas de interfaz de usuario adicionales, ejemplos de las cuales se describen a continuación.

[0208] En ciertas realizaciones, la pantalla de interfaz de usuario de la Figura 5N puede considerarse opcional y puede permitir la introducción, confirmación o modificación de información de identificación del dispositivo, como el IMEI del dispositivo 550. Como se ha descrito anteriormente, el IMEI puede detectarse y/o rellenarse sin que el usuario lo introduzca explícitamente, de tal manera que la pantalla de interfaz de usuario de la Figura 5N es opcional. Sin embargo, en ciertas realizaciones, el procesador 212 puede recibir el identificador del dispositivo a través de una interfaz de usuario como la de la Figura 5N.

[0210] Se apreciará además que ciertas actualizaciones y/o estados pueden proporcionarse al usuario antes, durante o después de las operaciones relacionadas con la determinación del estado de integridad de un dispositivo móvil. Por ejemplo, como se ilustra en la Figura 50, puede mostrarse un mensaje de estado de revisión pendiente 556. Como se ilustra en la Figura 5P, el procesador 212 puede invocar un mensaje de permiso de notificación 560, como el que puede generar el dispositivo móvil 104 en respuesta a una aplicación móvil de las realizaciones ejemplares que habilita o intenta habilitar las notificaciones en el dispositivo móvil 104. A este respecto, un usuario puede permitir o rechazar que una aplicación móvil de las realizaciones ejemplares envíe o impulse notificaciones. Si las notificaciones están habilitadas para la aplicación móvil de las realizaciones ejemplares, pueden proporcionarse notificaciones al usuario durante varios puntos de los procesos y operaciones descritos en la presente.

[0212] [0102] En ciertas realizaciones, un usuario puede acceder a la aplicación móvil de las realizaciones ejemplares y ver un estado relacionado con una solicitud. Por ejemplo, el mensaje de estado de revisión 564 puede proporcionar un estado que indique que las fotos se han enviado y actualmente se están revisando. En ciertas realizaciones, y si las notificaciones para la aplicación móvil de las realizaciones ejemplares están habilitadas en un dispositivo móvil 104, pueden mostrarse notificaciones como la notificación 570 de la Figura 5R. La notificación 570 indica al usuario que es necesario volver a tomar una imagen de la parte trasera del dispositivo móvil. Un usuario puede seleccionar la notificación y acceder a la aplicación móvil para volver a tomar una imagen.

[0213] Por consiguiente, ciertas realizaciones pueden proporcionar retroalimentación al usuario cuando accede a la aplicación móvil de las realizaciones ejemplares, como la retroalimentación general 574 y el motivo 576 de la Figura 5S. Por ejemplo, la retroalimentación general 574 indica que es necesario volver a tomar la imagen de la parte trasera, y el motivo 576 indica que es necesario volver a tomar la imagen porque la fotografía está demasiado borrosa.

[0214] En ciertas realizaciones, como se ilustra en la Figura 5T, puede mostrarse un mensaje como el mensaje de imagen aprobada 580, por ejemplo, en el área de opciones seleccionables 518 de la Figura 5J. Como se ilustra en la Figura 5T, la opción seleccionable 520 puede no estar poblado sin ningún mensaje, ya que aún no se ha capturado la imagen de cámara trasera. Por consiguiente, el usuario puede seleccionar capturar la imagen y las pantallas de la interfaz de usuario de la Figura 5U y la Figura 5V pueden actualizarse para proporcionar, respectivamente, el visor 538 y la imagen capturada 542.

[0215] Por consiguiente, como se muestra en la Figura 5W, puede mostrarse un mensaje de imagen aprobada 580 para una imagen, como la imagen de la parte frontal del dispositivo, mientras que la imagen capturada 542 se muestra para otra imagen, como la imagen de la parte trasera del dispositivo. A este respecto, se muestra el mensaje seleccionable 520, que permite volver a capturar o editar la imagen capturada 142, ya que la imagen respectiva aún no ha sido aprobada. En ciertas realizaciones, al seleccionar el mensaje seleccionable 520, puede mostrarse un mensaje de estado de revisión 564, como el de la Figura 5X.

[0216] Se apreciará que cualquiera de las pantallas de interfaz de usuario proporcionadas en la presente puede actualizarse a medida que se actualizan y/o rellenan los estados, como los estados de las imágenes y/o los estados de integridad de los dispositivos móviles, tal como se describe con respecto a la Figura 4A. En ciertas realizaciones, un estado de integridad del dispositivo móvil, como "no verificado" o "no concluyente", puede indicarse al usuario como un estado "pendiente", y un estado como "verificado" puede indicarse al usuario como "verificado". Por consiguiente, mientras el estado de integridad del dispositivo móvil esté establecido en "no concluyente", las imágenes relacionadas pueden ponerse en cola para su revisión manual, y/o similar.

[0217] Además, de acuerdo con ciertas realizaciones, si en un dispositivo móvil 104 están habilitadas las notificaciones, la aplicación móvil de las realizaciones ejemplares puede iniciar una notificación 590 si el estado de integridad del dispositivo móvil se determina como "verificado". Como tal, puede informarse al usuario que las imágenes están aprobadas y que puede inscribirse, o se ha inscrito, en un plan de protección para su dispositivo móvil. DETECCIÓN DE OCLUSIONES

[0218] La Figura 6 es un diagrama de flujo de operaciones para detectar oclusiones, por ejemplo mediante el aparato de detección de oclusiones 109, de acuerdo con realizaciones ejemplares. Las operaciones de la Figura 6 pueden activarse mediante la operación 420 o, en otros ejemplos, pueden realizarse como un proceso independiente no relacionado necesariamente con las imágenes de los dispositivos móviles. Las operaciones de la Figura 6 pueden utilizar o proporcionar un enfoque de segmentación de imágenes para detectar oclusiones.

[0219] En la operación 600, el aparato 200 incluye medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214, el modelo de detección de oclusiones 496 y/o similares, para generar una máscara que comprenda un número reducido de colores con respecto al número de colores de una imagen de origen. Tal como se describe en la presente de acuerdo con realizaciones ejemplares, la máscara puede describirse con referencia a un dispositivo móvil en una imagen, pero se apreciará que la generación de la máscara puede realizarse sobre cualquier objeto detectado o presente en una imagen de origen. Al hacer referencia al ejemplo de generación de una máscara para un dispositivo móvil (por ejemplo, con el propósito de determinar el estado de integridad de un dispositivo móvil), la imagen de origen puede considerarse la imagen capturada por el dispositivo móvil, y la máscara generada puede considerarse una máscara de dispositivo móvil.

[0220] [0110] Una máscara puede considerarse una imagen adicional generada a partir del procesamiento de una imagen de origen (por ejemplo, una imagen de un dispositivo móvil capturada por el dispositivo móvil, que puede haber sido recortada previamente de acuerdo con el modelo de detección de ubicación y recorte 488). La máscara puede ser una imagen en la que se reduce el número de colores, con respecto a la imagen de origen. Por ejemplo, las Figuras 7A y 8A son ejemplos de imágenes de un dispositivo móvil capturadas por un usuario y que comprenden un amplio espectro de colores, y las Figuras 7B y 8B son máscaras respectivas generadas de acuerdo con realizaciones ejemplares y que comprenden valores binarios (representados en las Figuras 7B y 8B como píxeles blancos y negros). Sin embargo, se apreciará que para generar la máscara pueden seleccionarse otras configuraciones de colores. A continuación se describe con más detalle un proceso ejemplar para generar una máscara con respecto a la configuración, el entrenamiento y la implementación del modelo de detección de oclusiones 496. Se apreciará que para la parte frontal y la parte trasera del dispositivo pueden usarse modelos de detección de oclusión 496 y/o modelos de los mismos separados.

[0222] De acuerdo con una realización ejemplar, un modelo puede devolver una matriz de valores que indican si un píxel particular debe pertenecer a la máscara o no. Las realizaciones ejemplares pueden entonces determinar, basándose en un umbral, si el píxel debe hacerse blanco (por ejemplo, incluido en la máscara) o negro (por ejemplo, no incluido en la máscara).

[0224] Como se muestra en la operación 602, el aparato 200 incluye medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para extraer una subregión poligonalPde la máscara. Por consiguiente, las realizaciones ejemplares pueden aplicar un algoritmo, tal como el algoritmo Marching Squares, para extraer un e la subregión poligonal más grande de la máscara. En algunas realizaciones, puede suponerse que la subregión poligonal más grandePes la pantalla del dispositivo móvil cuando el modelo de recorte de imágenes 488 y otros modelos y pasos de preprocesamiento relevantes han generado la imagen de origen para el modelo de detección de oclusiones 496 en el que se detecta el dispositivo móvil y la imagen se recorta sustancialmente antes de generar la máscara mencionada anteriormente. Por consiguiente, pueden eliminarse las pequeñas islas (por ejemplo, polígonos atípicos más pequeños, incluyendo los píxeles negros que aparecen en partes que por lo demás son en gran parte blancas, como los que pueden estar provocados por imperfecciones de la cámara, polvo/suciedad y/u otros factores ambientales menores presentes en el dispositivo o el espejo, y/o similares).

[0226] Como se muestra en la operación 604, el aparato 200 incluye medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para determinar la envolvente convexa deP.

La envolvente convexa puede calcularse de acuerdo con algoritmos de geometría computacional comúnmente conocidos.

[0228] El uso de la subregión poligonalP,

junto con la envolvente convexa deP, permite a las realizaciones identificar oclusiones cóncavas, como la oclusión cóncava 700 de las Figuras 7A y 7B. Las operaciones 608, 612, 616 y 620 proporcionan un subproceso para identificar oclusiones cóncavas. Adicional o alternativamente, las realizaciones usan la subregión poligonalP,junto con la envolvente convexa deP, para identificar esquinas bloqueadas, como la esquina bloqueada 800 de las Figuras 8A y 8B. Las operaciones 630, 634, 638 y 642 proporcionan un subproceso para identificar esquinas bloqueadas. De acuerdo con realizaciones ejemplares, pueden implementarse y ejecutarse ambos subprocesos o uno de los subprocesos.

[0230] Como se muestra en la operación 608, el aparato 200 incluye medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para calcular una diferencia entrePy la envolvente convexa. En la operación 612, el aparato 200 incluye medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para reducir o eliminar pequeñas discrepancias en un borde dePy la envolvente convexa. Las realizaciones ejemplares pueden reducir o eliminar las discrepancias realizando técnicas de erosión y expansión de píxeles, como las que pueden ser proporcionadas por Shapely y/u otras bibliotecas. En la operación 616, el aparato 200 incluye medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para recalcularPcomo el área más grande de las regiones restantes. A este respecto,Ppuede identificarse como el área más grande de las regiones conectadas restantes deP.Por lo tanto,Ppuede considerarse la región estimada de la pantalla visible (por ejemplo, la parte de la pantalla no ocluida).

[0232] En la operación 620, el aparato 200 incluye medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para determinar las concavidades como la diferencia entrePy la envolvente convexa. Tales concavidades se comparan con un umbral para un filtrado adicional, de tal manera que las concavidades muy pequeñas no se marquen necesariamente como tales, pero las concavidades más grandes que podrían obstaculizar otras tareas posteriores (como determinar si hay daños en el dispositivo) puedan marcarse para que se solicite al usuario que vuelva a capturar una imagen. Por ejemplo, si una concavidad detectada en particular es mayor que, o mayor o igual que un tamaño umbral predeterminado, entonces el área puede seguir siendo prevista como una concavidad. Si un área identificada inicialmente como una concavidad es menor o igual que, o menor que el tamaño umbral predeterminado, el área puede descartarse como concavidad. A este respecto, si las realizaciones ejemplares predicen que hay concavidades (y/o concavidades lo suficientemente grandes como para ser molestas para obstaculizar tareas posteriores, como se indica mediante el uso del umbral), la operación 420 puede determinar que la imagen incluye una oclusión, lo que hace que las realizaciones ejemplares determinen el estado de la imagen como "no verificado" y, opcionalmente, soliciten al usuario que vuelva a capturar la imagen.

[0234] [0117] En la operación 630, el aparato 200 incluye medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para determinar un número predeterminado de bordes dominantes de la envolvente convexa. En el ejemplo de la máscara del dispositivo móvil, las realizaciones determinan cuatro bordes dominantes y, de acuerdo con algunas realizaciones, pueden identificar los cuatro bordes más dominantes. A este respecto, el número de bordes dominantes identificados puede basarse en el tipo de objeto para el que se crea la máscara.

[0236] Puede implementarse la técnica de extracción de características de la transformada de Hough para identificar los bordes dominantes o el número predefinido de bordes más dominantes y, por lo tanto, predecir dónde debería ser visible el borde del dispositivo móvil en la imagen (por ejemplo, suponiendo que los bordes no estén ocluidos, incluso si lo están). Como se muestra en la operación 634, el aparato 200 incluye medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para identificar intersecciones de bordes adyacentes (identificados sobre la base de sus ángulos respectivos) con el fin de identificar puntos de esquina proyectados del dispositivo móvil en la imagen (que pueden estar ocluidos o no). En la operación 638, el aparato 200 incluye medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para determinar la distancia de cada esquina proyectada aP.Por ejemplo, la determinación de la distancia puede incluir la medición de la distancia más corta desde la esquina estimada hasta el borde o punto más cercano deP.

[0238] En la operación 642, el aparato 200 incluye medios, tales como el dispositivo móvil 104, el aparato de verificación de la integridad del dispositivo 108, el procesador 212, la memoria 214 y/o similares, para comparar cada distancia con un umbral para determinar si alguna esquina está bloqueada. Por ejemplo, si una distancia es mayor o igual a una distancia umbral predeterminada, las realizaciones ejemplares pueden determinar que la esquina respectiva está bloqueada. A este respecto, cuando se utiliza para determinar el estado de integridad de un dispositivo móvil, la operación 420 puede determinar que la imagen incluye una oclusión, lo que hace que las realizaciones ejemplares determinen el estado de la imagen como "no verificado" y, opcionalmente, soliciten al usuario que vuelva a capturar la imagen. Si no hay distancias calculadas que sean mayores o iguales a la distancia umbral predeterminada, las realizaciones ejemplares pueden determinar que ninguna esquina del objeto está bloqueada en la imagen de origen.

[0240] Aunque no se ilustra en la Figura 6, en ciertas realizaciones ejemplares en las que se procesa una imagen tanto para oclusiones cóncavas como para esquinas bloqueadas, pero no se detecta ninguna, de acuerdo con las operaciones descritas anteriormente, la operación 420 puede determinar que el dispositivo móvil de la imagen está libre de oclusiones, o libre de oclusiones que puedan afectar al procesamiento posterior de la imagen. Por lo tanto, pueden ser admisibles oclusiones menores que no afecten al procesamiento posterior.

[0242] CONFIGURACIÓN, ENTRENAMIENTO Y DESPLIEGUE DE MODELOS

[0244] El entrenamiento de un modelo o modelos (por ejemplo, red o redes neuronales) utilizados por las realizaciones ejemplares puede producirse antes de la implementación del modelo (por ejemplo, antes de su uso por el dispositivo móvil 104 y/o el aparato de verificación de la integridad del dispositivo 108 para determinar si un dispositivo cumple los requisitos para la cobertura en un plan, y/o el aparato de detección de oclusiones 109 para determinar si un objeto en una imagen está ocluido). De acuerdo con algunas realizaciones ejemplares, el entrenamiento puede realizarse de manera continua mediante la recepción de imágenes y clasificaciones y/o etiquetas asociadas que hayan sido confirmadas por realizaciones ejemplares y/o revisores humanos. Puede usarse aprendizaje automático para desarrollar un algoritmo de reconocimiento de patrones particular (es decir, un algoritmo que represente un problema de reconocimiento de patrones particular) que puede basarse en la inferencia estadística, y entrenar el modelo o modelos en consecuencia.

[0246] Las realizaciones ejemplares, como con la interfaz de comunicaciones 218, la memoria 214 y/o similares, reciben y almacenan múltiples tipos de datos, incluyendo conjuntos de datos, y usan los datos de múltiples maneras, como con el procesador 212. Un aparato de verificación de la integridad de dispositivos 108 puede recibir conjuntos de datos de dispositivos informáticos. Los conjuntos de datos pueden almacenarse en la memoria 214 y utilizarse para varios propósitos. Por lo tanto, los conjuntos de datos pueden usarse en modelización, aprendizaje automático e inteligencia artificial (IA). El aprendizaje automático y la inteligencia artificial asociada pueden ser realizados por un aparato de verificación de la integridad de dispositivos 108, basándose en varias técnicas de modelización.

[0248] Por ejemplo, puede desarrollarse un conjunto de clústeres usando el aprendizaje no supervisado, en el que el número y los tamaños respectivos de los clústeres se basan en cálculos de similitud de características de los patrones dentro de un conjunto de patrones de entrenamiento recopilado previamente. En otro ejemplo, puede desarrollarse un clasificador que represente un problema o cuestión de categorización particular usando el aprendizaje supervisado basado en el uso de un conjunto de entrenamiento de patrones y sus respectivas categorizaciones conocidas. Cada patrón de entrenamiento se introduce en el clasificador, y la diferencia entre la categorización de salida generada por el clasificador y la categorización conocida se usa para ajustar los coeficientes del clasificador con el fin de representar el problema con mayor precisión. Un clasificador que se ha desarrollado usando aprendizaje supervisado también se conoce como clasificador entrenable.

[0250] [0124] En algunas realizaciones, el análisis del conjunto de datos incluye un clasificador específico de la fuente que toma como entrada una representación específica de la fuente del conjunto de datos recibido de una fuente particular y produce una salida que categoriza esa entrada como probable que incluya una referencia de datos relevante o como improbable que incluya una referencia de datos relevante (por ejemplo, probable o improbable que cumpla los criterios requeridos). En algunas realizaciones, el clasificador específico de la fuente es un clasificador entrenable que puede optimizarse a medida que se reciben de una fuente particular más instancias de conjuntos de datos para su análisis.

[0252] Alternativa o adicionalmente, el modelo entrenado puede entrenarse para extraer una o más características de los datos históricos usando el reconocimiento de patrones, basándose en aprendizaje no supervisado, aprendizaje supervisado, aprendizaje semisupervisado, aprendizaje por refuerzo, aprendizaje de reglas de asociación, aprendizaje bayesiano, resolución de modelos gráficos probabilísticos, entre otros algoritmos de inteligencia computacional que puede usar un proceso interactivo para extraer patrones de los datos. En algunos ejemplos, los datos históricos pueden comprender datos que se han generado usando entradas de usuarios, entradas basadas en multitudes o similares (por ejemplo, confirmaciones de usuarios).

[0254] El modelo o modelos pueden inicializarse con una pluralidad de nodos. En algunas realizaciones, para inicializar el modelo o modelos pueden usarse marcos de aprendizaje profundo existentes. El modelo o modelos pueden implementarse como redes neuronales convolucionales (CNN), redes neuronales recurrentes (RNN), redes de memoria a corto y largo plazo (LSTM) y/o similares. De acuerdo con ciertas realizaciones ejemplares, cualquiera de los modelos analizados en la presente puede utilizar modelos existentes o preentrenados y puede entrenar aún más tales modelos con datos de entrenamiento específicos para su tarea y/o condición respectiva descrita en al presente. Por ejemplo, el aparato de verificación de la integridad del dispositivo 108 puede desarrollar plantillas, como con cualquier técnica de plantillas de aprendizaje automático conocida o modificada. A este respecto, las realizaciones ejemplares pueden utilizar un modelo de plantillas para cada tarea y/o condición respectiva descrita en la presente para entrenar adicionalmente el modelo respectivo. A este respecto, las realizaciones ejemplares pueden utilizar plantillas con un esquema y modelo de datos específicos del dominio. Por ejemplo, las plantillas diseñadas para identificar ciertas texturas en imágenes pueden utilizarse para la detección de fundas y/o la predicción de daños. Ciertas plantillas para identificar si un objeto particular está presente en una imagen pueden aprovecharse para la detección de la presencia de dispositivos móviles.

[0256] De acuerdo con ciertas realizaciones, una CNN y los algoritmos de aprendizaje profundo asociados pueden ser particularmente útiles para aplicar el aprendizaje automático al procesamiento de imágenes, mediante la generación de múltiples capas conectadas de perceptrones. Cada capa puede estar conectada a su capa adyacente, lo que proporciona una base eficiente para medir las ponderaciones de una función de pérdida e identificar patrones en los datos. Por consiguiente, el algoritmo de aprendizaje automático de las realizaciones ejemplares puede entrenar un modelo asociado, como una CNN, para aprender qué características son significativas en una imagen para producir de manera eficiente predicciones precisas sobre la imagen.

[0258] Usando las técnicas descritas en la presente, a continuación el modelo puede entrenarse para determinar una o más características de una imagen, con el fin de generar una o más predicciones asociadas con los métodos y ejemplos descritos en la presente. Los datos de entrenamiento también pueden seleccionarse de un período de tiempo predeterminado, como un número de días, semanas o meses anteriores al presente.

[0260] En una realización ejemplar, en el aparato de verificación de la integridad del dispositivo 108 pueden introducirse los conjuntos de datos etiquetados, como los asociados a una tarea particular o a las predicciones descritas en la presente, para entrenar el modelo o modelos. A continuación, el modelo o modelos pueden entrenarse para que identifiquen y clasifiquen las imágenes recibidas posteriormente de un dispositivo informático, según correspondan a uno o más de los criterios etiquetados.

[0262] En algunas realizaciones, la IA y los modelos descritos en la presente usan un módulo de aprendizaje profundo. El aprendizaje profundo es un subconjunto del aprendizaje automático que genera modelos basados en conjuntos de datos de entrenamiento que se le han proporcionado. Las redes de aprendizaje profundo pueden usarse para introducir grandes cantidades de datos y permitir que el algoritmo aprenda qué datos son relevantes. En algunas realizaciones, el modelo de entrenamiento puede usar técnicas de aprendizaje no supervisado, incluyendo agrupamiento, detección de anomalías, aprendizaje hebbiano, así como modelos de variables latentes como el algoritmo de maximización de la expectativa, el método de los momentos (media, covarianza) y técnicas de separación de señales ciegas, que incluyen el análisis de componentes principales, el análisis de componentes independientes, la factorización de matrices no negativas y la descomposición en valores singulares.

[0264] Por consiguiente, las realizaciones ejemplares pueden introducir una pluralidad de imágenes de entrenamiento y las etiquetas correspondientes en los modelos inicializados con los que entrenar o seguir entrenando el modelo o modelos, con el procesador 212, para aprender características mediante aprendizaje profundo supervisado o no supervisado.

[0266] [0132] A este respecto, en el modelo respectivo se introducen las imágenes de entrenamiento, algunas de las cuales comprenden dispositivos móviles fotografiados mientras que otras no, junto con las etiquetas asociadas que indican varias características, dependiendo del modelo concreto que se esté entrenando. Un conjunto de entrenamiento puede incluir cientos o miles de imágenes, revisadas y etiquetadas por usuarios o científicos de datos (por ejemplo, con el aparato de usuario interno 110).

[0268] El modelo puede convertir una imagen en una representación matricial de la imagen y procesarla junto con su etiqueta confirmada (por ejemplo, "incluye un dispositivo móvil", "no incluye un dispositivo móvil") para aprender las características de las imágenes que tienen correlaciones con sus etiquetas. En ciertos ejemplos, una imagen puede tener múltiples etiquetas para condiciones respectivas, de tal manera que una imagen puede usarse para entrenar múltiples modelos y/o redes neuronales diferentes. Por ejemplo, una imagen puede etiquetarse como "incluye un dispositivo móvil", "incluye una funda" e "incluye daños", de tal manera que una imagen sea usada por el procesador 212 de las realizaciones ejemplares para entrenar tres modelos separados, como el modelo de presencia de dispositivos móviles, el modelo de detección de fundas y el modelo de detección de daños, respectivamente. En ciertos ejemplos, una imagen puede usarse para entrenar un modelo. A este respecto, los datos de entrenamiento pueden recopilarse y usarse de varias maneras.

[0270] El procesador 212 puede entrenar el modelo o modelos con las imágenes de entrenamiento y ajustar sus parámetros respectivos para reconfigurar una representación matricial de la imagen a través de una serie de iteraciones de aprendizaje profundo para capturar esas características o dar mayor peso a aquellas características que sean indicadores fuertes de una etiqueta o clasificación particular. Durante el entrenamiento del modelo pueden utilizarse varias técnicas como, pero no limitadas a, la dimensión fractal, que es un análisis estadístico que pueden emplear los algoritmos de aprendizaje automático para detectar qué características, y a qué escala, son indicadores más fuertes de ciertas predicciones y/o condiciones, como las descritas en la presente. La escala de las imágenes de entrenamiento puede ajustarse de acuerdo con técnicas de dimensión fractal, que pueden diferir dependiendo de la tarea particular o la predicción que se vaya a realizar. Por ejemplo, la detección de daños como daños por agua y/o grietas con un algoritmo de aprendizaje automático puede requerir una imagen de mayor resolución que la que se desea para detectar si un dispositivo tiene la funda puesta. A este respecto, pueden utilizarse algoritmos de dimensión fractal para ajustar la resolución de la imagen con el fin de equilibrar la precisión y la eficiencia de un modelo o de cada modelo.

[0272] A continuación se describen detalles adicionales referentes a la configuración, el entrenamiento y la implementación del modelo o modelos respectivos para sus tareas, condiciones y/o métodos respectivos asociados con las realizaciones ejemplares. Se apreciará además que algunos modelos pueden emplear otras técnicas de clasificación, en lugar de o además de una red neuronal, tales como, pero no limitadas a, máquinas de vectores de soporte, árboles de decisión, bosques aleatorios, clasificador bayesiano ingenuo y regresiones logísticas.

[0274] Se apreciará además que, aunque el procesador 212 de ciertas realizaciones puede usar ventajosamente modelos separados para realizar predicciones separadas con respecto a las varias condiciones descritas en la presente, ciertas realizaciones pueden evaluar el estado de integridad del dispositivo móvil como "verificado", "no verificado" y/o "no concluyente", utilizando un modelo (por ejemplo, una red neuronal). A este respecto, el modelo (por ejemplo, una red neuronal) puede entrenarse con imágenes etiquetadas como "verificadas", "no verificadas" y/o "no concluyentes", y el modelo puede evaluar inherentemente qué imágenes incluyen un dispositivo móvil, cuáles son de la parte frontal o de la parte trasera, cuáles incluyen daños o están libres de daños, para determinar qué imágenes deben predecirse como "verificadas", "no verificadas" y/o "no concluyentes". Sin embargo, la utilización de un único modelo puede requerir más datos de entrenamiento para producir resultados precisos o significativos en comparación con la utilización de modelos separados para, por lo menos, algunas de las condiciones descritas en la presente. Por lo menos una ventaja adicional de usar modelos separados y, opcionalmente, generar los niveles de confianza respectivos, incluye permitir proporcionar comentarios específicos al usuario que captura la imagen, tales como "por favor, acerque el dispositivo al espejo", "por favor, retire la funda del dispositivo", "por favor, vuelva a tomar la foto manteniendo los dedos en el borde del dispositivo" y/o similares. Dicha información puede dar como resultado una mejora o un aumento de las tasas de verificación automatizada, a la vez que se reduce la necesidad de estados no concluyentes o revisiones manuales.

[0276] Modelo de presencia de dispositivos móviles

[0278] El modelo de presencia de dispositivos móviles 486 permite que las realizaciones ejemplares predigan automáticamente (por ejemplo, sin revisión humana) si una imagen recién recibida incluye un dispositivo móvil o no. El procesador 212 de las realizaciones ejemplares, como el aparato 200, puede utilizar un modelo existente, como la implementación de Squeezenet de Torchvision, y utilizar ponderaciones establecidas por una base de datos visual, como ImageNet, para preentrenar el modelo. Las realizaciones ejemplares pueden entrenar aún más el modelo para la tarea de detección de presencia de dispositivos móviles introduciendo en el modelo imágenes de entrenamiento y etiquetas correspondientes, como "incluye dispositivo" y "no incluye dispositivo". A este respecto, el modelo (por ejemplo, una red neuronal) puede entrenarse con por lo menos dos conjuntos de imágenes, como un primer conjunto de imágenes de entrenamiento que incluyen dispositivos móviles y un segundo conjunto de imágenes de entrenamiento que no incluyen dispositivos móviles.

[0279] A continuación, pueden usarse varias metodologías de aprendizaje profundo de acuerdo con realizaciones ejemplares para procesar las imágenes de entrenamiento y las etiquetas correspondientes a través del modelo y entrenar el modelo para generar predicciones sobre imágenes recibidas posteriormente. De acuerdo con las realizaciones ejemplares, una vez implementado, el modelo de presencia de dispositivos móviles entrenado 486 puede generar un indicador de la probabilidad de que una imagen incluya un dispositivo móvil. Por ejemplo, el indicador puede ser un número del 0 al 1, donde un número más cercano al 1 indica que es probable que haya un dispositivo móvil. Como tal, el indicador puede reflejar un nivel de confianza de la predicción.

[0280] Por consiguiente, el procesador 212 de las realizaciones ejemplares puede procesar una imagen en cuestión con por lo menos un modelo, entrenado con una pluralidad de imágenes de entrenamiento que están cada una etiquetada como que incluye un dispositivo móvil o que excluye un dispositivo móvil, para determinar si la imagen en cuestión incluye un dispositivo móvil.

[0281] En el contexto de la determinación del estado de integridad de un dispositivo móvil, o del estado de la imagen, las realizaciones ejemplares pueden utilizar el modelo de presencia de dispositivos móviles entrenado 486 para realizar la operación 400. Las realizaciones ejemplares pueden implementar adicionalmente un requisito cuantificable configurable o predefinido que indique un nivel de confianza que debe satisfacerse para que se acepte la predicción (por ejemplo, y sin necesidad de una revisión interna adicional).

[0282] Modelo de detección de ubicación y recorte

[0283] El modelo de detección de ubicación y recorte 488 permite a las realizaciones ejemplares predecir en qué parte de una imagen se encuentra un objeto particular, como un dispositivo móvil, y determinar además si el objeto estaba demasiado lejos del sensor de captura de imágenes (220) o, en el caso del ejemplo de la superficie reflectante, demasiado lejos del espejo cuando se capturó la imagen. El modelo de detección de ubicación y recorte 488 permite además recortar una imagen en consecuencia. Las realizaciones ejemplares pueden utilizar marcos existentes para entrenar aún más un modelo preentrenado. Por ejemplo, de acuerdo con las realizaciones ejemplares, puede utilizarse el marco de detección de objetos de Tensorflow para entrenar una red con un backend Mobilenet preentrenado en el conjunto de datos COCO (Computación Colaborativa).

[0284] Las imágenes de entrenamiento en las que los revisores han trazado los contornos de un dispositivo móvil presente en la imagen pueden introducirse, junto con sus etiquetas respectivas que son los contornos trazados, en el modelo para su entrenamiento adicional. Como tal, el modelo puede entrenarse para predecir un cuadro delimitador definido como (xmin, xmax, ymin, ymax), con respecto a la imagen, en el que es probable que se encuentre el objeto, como un dispositivo móvil. El modelo puede entrenarse adicionalmente para generar un indicador, como un número entre 0 y 1, que indique que el cuadro delimitador probablemente contiene un dispositivo móvil. Por ejemplo, un número más cercano a 1 puede indicar que el cuadro delimitador probablemente contenga un dispositivo móvil, con respecto a un número más cercano a 0. Como tal, la salida del modelo de detección de ubicación y recorte 488 puede indicar un nivel de confianza de que el cuadro delimitador captura con precisión la ubicación del objeto, como el dispositivo móvil, en la imagen.

[0285] Por consiguiente, tal y como se ha descrito con respecto a la operación 403, el modelo de detección de ubicación y recorte 488, una vez implementado, puede realizar predicciones sobre la proximidad del dispositivo móvil al espejo en el momento en el que se capturó la imagen, lo que permite proporcionar opcionalmente retroalimentación al usuario.

[0286] De acuerdo con ciertas realizaciones, para estimar un cuadro delimitador de un dispositivo móvil en una imagen también pueden usarse algoritmos de detección de bordes Canny. Por ejemplo, la detección de bordes Canny puede utilizar un filtro gaussiano para suavizar una imagen, determinar gradientes de intensidad y predecir los bordes más fuertes de la imagen. A continuación, puede estimarse el cuadro delimitador en consecuencia.

[0287] El procesador 212 de las realizaciones ejemplares puede procesar una imagen en cuestión con por lo menos un modelo, entrenado con una pluralidad de imágenes de entrenamiento, cada una de las cuales está asociada con un cuadro delimitador que indica una ubicación de un dispositivo móvil en la imagen, para determinar una ubicación de un dispositivo móvil en la imagen en cuestión. Las realizaciones ejemplares pueden determinar además un nivel de confianza de indicar con precisión la ubicación de un dispositivo móvil en la imagen.

[0288] A este respecto, si un nivel de confianza no satisface un umbral determinado, una imagen puede permanecer como "no verificada" y, por lo tanto, puede ser objeto de una revisión manual adicional. Adicional o alternativamente, tal como se describe con respecto a la operación 404, y si se alcanza un cierto nivel de confianza umbral, la imagen puede recortarse de acuerdo con el cuadro delimitador previsto. Hay que señalar que, en ciertas realizaciones ejemplares, el cumplimiento del nivel de confianza umbral puede ser opcional. En las realizaciones que no utilizan un nivel de confianza umbral, cualquiera o todas las imágenes para las que puede calcularse un cuadro delimitador pueden recortarse en consecuencia.

[0289] Modelo de detección de fundas

[0290] El modelo de detección de fundas 490 permite a las realizaciones ejemplares predecir si un usuario ha capturado una imagen de un dispositivo móvil con la funda puesta. Puede utilizarse un modelo existente y entrenarlo aún más, por ejemplo, con imágenes y etiquetas respectivas que indiquen si la imagen contiene o no un dispositivo móvil con una funda puesta (por ejemplo, un dispositivo móvil con una funda). Las realizaciones ejemplares pueden utilizar un marco de procesamiento de imágenes existente y entrenar aún más el modelo con las imágenes y etiquetas de entrenamiento. Como tal, las realizaciones ejemplares pueden entrenar el modelo con el procesador 212 para dar mayor peso a ciertas características, como las relacionadas con la textura, que son indicadores fuertes de si un dispositivo móvil en la imagen capturada tiene o no una funda. A este respecto, puede determinarse que la textura es un indicador fuerte, aprendido por el modelo, de si un dispositivo móvil en una imagen incluye o no una funda. Por lo tanto, el procesador 212 de las realizaciones ejemplares puede procesar la imagen en cuestión de un dispositivo móvil con por lo menos un modelo, entrenado con una pluralidad de imágenes de entrenamiento de dispositivos móviles etiquetadas como que incluyen una funda en el dispositivo móvil respectivo o que excluyen una funda en el dispositivo móvil respectivo, para determinar si la imagen en cuestión incluye una funda en el dispositivo móvil objeto. Por consiguiente, un modelo de detección de fundas implementado 490 puede permitir al procesador 212 del aparato 200 proporcionar predicciones relacionadas con imágenes recién capturadas y, opcionalmente, proporcionar información al usuario para que retire la funda y vuelva a capturar una imagen, tal como se proporciona en la operación 405.Modelo de identificación frontal/trasera del dispositivo móvil

[0291] El modelo de identificación frontal/trasera del dispositivo móvil 492 permite a las realizaciones ejemplares predecir si un usuario ha capturado una imagen de la parte frontal o trasera de su dispositivo. Puede utilizarse un modelo existente y entrenarlo aún más, por ejemplo, con imágenes y etiquetas respectivas que indiquen si la imagen proporciona una vista de la parte frontal del dispositivo o de la parte trasera del dispositivo. Las realizaciones ejemplares pueden utilizar un marco de procesamiento de imágenes existente y entrenar aún más el modelo con las imágenes y etiquetas de entrenamiento. Como tal, las realizaciones ejemplares pueden entrenar el modelo para identificar características clave que pueden ser exclusivas de un lado del dispositivo. Por ejemplo, la variación en los píxeles asociados con una pantalla de visualización rodeada por un bisel puede indicar la parte frontal del dispositivo.

[0292] A este respecto, el procesador 212 del aparato 200 puede procesar una imagen en cuestión de un dispositivo móvil con por lo menos un modelo entrenado, entrenado con una pluralidad de imágenes de entrenamiento de dispositivos móviles, cada imagen de entrenamiento etiquetada como que incluye una parte frontal del dispositivo móvil respectivo o como que incluye una parte trasera del dispositivo móvil respectivo, para determinar si la imagen en cuestión incluye una parte frontal o una parte trasera del dispositivo móvil en cuestión.

[0293] Por consiguiente, un modelo de identificación de la parte frontal/trasera de un dispositivo móvil 490 puede proporcionar predicciones relacionadas con imágenes recién capturadas y si el usuario ha capturado con precisión la parte frontal y/o trasera de un dispositivo móvil, y opcionalmente proporcionar información al usuario para capturar el lado indicado del dispositivo, tal como se proporciona en la operación 406. Adicional o alternativamente, las realizaciones ejemplares pueden determinar si una imagen particular es una imagen de la parte frontal o trasera del dispositivo basándose en datos que identifican cuál de las cámaras frontal o trasera ha capturado la imagen (por ejemplo, cuál de las capturas de imagen de la cámara frontal o trasera 220 se usa para capturar una imagen).

[0294] De acuerdo con algunas realizaciones ejemplares, el modelo de detección de fundas 490 y el modelo de identificación de parte frontal/trasera del dispositivo móvil 492 pueden implementarse como un único modelo. Por ejemplo, como puede ser ventajoso rechazar o filtrar cualquier imagen que incluya una funda, las imágenes de entrenamiento introducidas en el modelo pueden incluir etiquetas de "funda", "parte frontal" o "parte trasera", de tal manera que la etiqueta "funda" debe usarse en cualquier imagen de entrenamiento que incluya una funda. Por lo tanto, las realizaciones ejemplares pueden rechazar o establecer el estado de la imagen como "no verificado" en cualquier escenario en el que se prevea que una imagen incluya una funda.

[0295] Modelo de autenticidad de dispositivos móviles

[0296] El modelo de autenticidad de dispositivos móviles 494 permite a las realizaciones ejemplares predecir si una imagen incluye el mismo dispositivo móvil con el que se capturó la imagen. Puede utilizarse un modelo existente y entrenarlo aún más, por ejemplo, mediante el procesador 212 y con imágenes y etiquetas respectivas que indiquen si la imagen incluye el dispositivo móvil desde el que se capturó la imagen (por ejemplo, "mismo dispositivo") u otro dispositivo (por ejemplo, "dispositivo diferente"). Por ejemplo, un usuario interno o un científico de datos puede usar un dispositivo móvil para capturar imágenes tanto del dispositivo móvil que captura la imagen como de otros dispositivos, y etiquetar las imágenes en consecuencia. Por lo tanto, las realizaciones ejemplares pueden entrenar el modelo con las imágenes y etiquetas de entrenamiento, de tal manera que las realizaciones ejemplares aprendan a detectar los bordes del dispositivo móvil en la imagen y midan los bordes para predecir o estimar el ángulo en el que se sostuvo el dispositivo móvil con respecto a un espejo.

[0297] Como tal, el procesador 212 de las realizaciones ejemplares puede procesar una imagen en cuestión de un dispositivo móvil con por lo menos un modelo, entrenado con una pluralidad de imágenes de entrenamiento de dispositivos móviles, cada imagen de entrenamiento etiquetada como capturada por el dispositivo móvil respectivo incluido en la imagen, o capturada por un dispositivo diferente al dispositivo móvil respectivo incluido en la imagen, para determinar si el dispositivo móvil en cuestión incluido en la imagen fue capturado por el dispositivo móvil en cuestión o por un dispositivo diferente.

[0299] En ciertas realizaciones, este proceso para determinar la autenticidad del dispositivo móvil puede utilizar además un cuadro delimitador dibujado por un usuario durante el etiquetado de las imágenes de entrenamiento. En cualquier caso, basándose en el ángulo, pueden realizarse predicciones adicionales que indiquen si el dispositivo móvil de una imagen es el mismo dispositivo con el que se capturó la imagen.

[0301] Modelo de detección de oclusiones

[0303] Como se ha mencionado anteriormente, mediante un modelo entrenado puede generarse una máscara, como la utilizada para detectar oclusiones. A este respecto, las realizaciones ejemplares pueden utilizar un modelo existente, como la arquitectura UNet, y entrenar el modelo desde cero con máscaras creadas manualmente. A este respecto, los científicos de datos u otros usuarios internos pueden revisar las imágenes y trazar o introducir manualmente una forma en forma de una máscara (por ejemplo, una forma que refleje las máscaras ejemplares de las Figuras 7B y 8B), que incluya las áreas expuestas del objeto de interés (por ejemplo, un dispositivo móvil), pero sin ocluir objetos (por ejemplo, dedos) y/u objetos visibles en el fondo. A este respecto, cada píxel de la imagen de entrenamiento (que puede reducirse a un tamaño predeterminado, como 300 píxeles por 300 píxeles, y/o recortarse) puede etiquetarse de tal manera que cada píxel tenga un indicador asociado que indique si pertenece o no a la máscara. A continuación, el modelo puede entrenarse con las imágenes y las etiquetas.

[0305] Por consiguiente, el modelo desplegado y entrenado puede tomar una imagen introducida (por ejemplo, una imagen reducida y recortada) y procesar la imagen con el procesador 212 para proporcionar una predicción de la máscara, en forma de una matriz dimensionada predeterminada (por ejemplo, 300 x 300) de indicadores que indican si un píxel respectivo pertenece a la máscara o no. Por ejemplo, la matriz puede comprender valores numéricos que van de 0 a 1, donde los valores cercanos a 1 corresponden a píxeles que probablemente pertenecen al dispositivo móvil (y, por lo tanto, se consideran incluidos en la máscara), con respecto a los valores más cercanos a 0. Por consiguiente, la máscara predicha por el modelo puede ser utilizada por realizaciones ejemplares, tales como las descritas con respecto a la Figura 6, para determinar si en una imagen hay oclusiones del dispositivo móvil 104. De acuerdo con ciertas realizaciones ejemplares, puede utilizarse un modelo y un conjunto de entrenamiento para las máscaras de las imágenes de la parte frontal del dispositivo, y para la máscara de las imágenes de la parte trasera del dispositivo puede utilizarse un modelo y un conjunto de entrenamiento separados.

[0307] El uso de un modelo (por ejemplo, una red neuronal) para determinar las máscaras proporciona ventajas que otras técnicas de procesamiento de imágenes no pueden ofrecer. Un modelo es útil para realizar predicciones contextuales que hacen a menudo los seres humanos y que no pueden hacer los algoritmos informáticos tradicionales. Por ejemplo, los colores de la pantalla no son uniformes y en la imagen pueden aparecer algunos de los mismos colores en píxeles fuera del dispositivo. Un modelo como una red neuronal puede hacer tales distinciones, pero un algoritmo tradicional de detección de color u otro algoritmo de procesamiento de imágenes puede no distinguir con precisión los píxeles que forman parte de la imagen y los que no, pero que tienen un color igual o similar.

[0309] Modelo de detección de daños

[0311] El modelo de detección de daños 498 permite a las realizaciones ejemplares predecir si un dispositivo móvil capturado en una imagen está dañado (por ejemplo, dañado hasta el punto de que el estado de integridad del dispositivo móvil debe establecerse en "no verificado", por ejemplo, porque el dispositivo dañado no cumpliría los requisitos para la cobertura de un plan de protección de dispositivos). El procesador 212 puede utilizar y entrenar aún más un modelo existente, por ejemplo, con imágenes y etiquetas respectivas que indiquen si la imagen contiene o no un dispositivo móvil con daño, tales como, pero no limitados a, grietas, daños por agua, abolladuras, arañazos y/o cualquier otro daño que impida que el dispositivo móvil se asegure o proteja. De acuerdo con las realizaciones ejemplares, los revisores o científicos de datos pueden utilizar una herramienta especial de interfaz de usuario para ampliar las imágenes de los dispositivos móviles con el fin de determinar si hay grietas u otros daños, y etiquetar la imagen de entrenamiento en consecuencia. En ciertas realizaciones, a una imagen de entrenamiento se le puede aplicar una etiqueta binaria como "dañado" o "no dañado". Como otro ejemplo, un revisor puede puntuar el nivel de daño, de manera que las grietas menores o aparentemente insignificantes reciban una puntuación relativamente más baja en comparación con una imagen que indique una grieta más significativa que pueda afectar a la funcionalidad. Puede contemplarse cualquier variación o puntuación del etiquetado de daños. Como otro ejemplo más, ciertos daños pueden etiquetarse específicamente como "grieta", "daño por agua" o cualquier otro tipo de daño que pueda afectar a la asegurabilidad de un dispositivo móvil.

[0313] [0159] En ciertas realizaciones, una primera etiqueta de una imagen de entrenamiento de un dispositivo móvil puede indicar "dañado", y una segunda etiqueta indica el tipo de daño. A este respecto, puede entrenarse un modelo para que prediga si hay daño o no. Un modelo o modelos independientes pueden predecir, si se prevé que hay daños, el tipo específico de daño identificado, como una grieta, daños por agua o abolladuras. Por ejemplo, puede entrenarse un modelo únicamente para que detecte daños por agua basándose en imágenes de entrenamiento de daños por agua, y puede aplicarse la misma lógica a otros tipos de daños y a cualquier otra condición visiblemente detectable del dispositivo.

[0314] Las realizaciones ejemplares pueden utilizar un marco de procesamiento de imágenes existente y entrenar además el modelo con las imágenes y etiquetas de entrenamiento. Como tal, las realizaciones ejemplares pueden entrenar el modelo para que dé mayor importancia a ciertas características, como las relacionadas con la textura y/o la variación de color, que son fuertes indicadores de daños y/o tipos particulares de daños.

[0315] A este respecto, el aparato 200 puede incluir medios, como el procesador 212, para procesar la imagen del dispositivo móvil en cuestión con por lo menos un modelo, entrenado con una pluralidad de imágenes de entrenamiento de dispositivos móviles, cada imagen de entrenamiento etiquetada con una clasificación de daños, para calcular una clasificación de daños del dispositivo móvil en cuestión en la imagen en cuestión. A este respecto, una clasificación de daños puede incluir "sin daños", "daños menores", "daños extensos" y/o similares. En ciertas realizaciones, la clasificación de daños puede incluir una clasificación cuantificable, como una escala del 1 al 10, en la que 1 indica que no se han detectado daños y 10 indica daños extensos o significativos. Por lo tanto, un modelo o modelos de detección de daños 498 desplegados pueden proporcionar predicciones sobre si un dispositivo está dañado o no, el alcance de los daños y/o el tipo de daños.

[0316] En los escenarios en que se detectan daños y, opcionalmente, dependiendo del tipo y/o el alcance de los daños, el estado de la imagen puede ser "no verificado", lo que da como resultado un estado de integridad del dispositivo móvil "no verificado" o "no concluyente". Como otro ejemplo, puede generarse una puntuación cuantitativa de daños.

[0317] Adicional o alternativamente, se apreciará que pueden configurarse, entrenarse e implementarse modelos de detección de daños separados para cada uno de los paneles frontal, trasero y/o bisel de un dispositivo móvil. El bisel puede reconocerse como una parte del dispositivo, de tal manera que también puedan detectarse los daños en el bisel.

[0318] CONCLUSIÓN

[0319] Tal como se expone en la presente, las realizaciones ejemplares de la divulgación proporcionan ventajas técnicas sobre otras implementaciones alternativas. Las realizaciones ejemplares pueden implementarse para gastar menos recursos de procesamiento que, de otro modo, se gastarían para enviar cada imagen capturada por un usuario a un servidor para su almacenamiento, posible revisión y procesamiento posterior.

[0320] A este respecto, ciertas operaciones, como cualquiera de las operaciones de las Figuras 3, 4A y/o 6, pueden ejecutarse en el dispositivo móvil 104, mientras que otras operaciones pueden realizarse en el aparato de integridad del dispositivo 108 y/o en el aparato de detección de oclusiones 109. Como tal, las realizaciones ejemplares pueden proporcionar eficiencia de recursos equilibrando estratégicamente dichas operaciones. Por ejemplo, algunas operaciones iniciales de procesamiento de imágenes pueden realizarse en el dispositivo móvil 104 antes de que la imagen se transmita al aparato de integridad del dispositivo 108 y/o al aparato de detección de oclusiones 109. Como tal, ciertas imágenes pueden filtrarse en el dispositivo móvil 104 antes de ser procesadas por otros procesos que pueden requerir más recursos.

[0321] Por ejemplo, algunas realizaciones pueden emplear modelos como redes neuronales configuradas para funcionar en un dispositivo móvil, como el dispositivo móvil 104. Por ejemplo, de acuerdo con las realizaciones ejemplares pueden utilizarse TensorFlow Lite y/u otros marcos diseñados para ser implementados en un dispositivo móvil.

[0322] Como tal, por ejemplo, en ciertos escenarios las realizaciones ejemplares pueden proporcionar una validación en tiempo real en el dispositivo, como cuando se determina un alto nivel de confianza del estado de una imagen o del estado de integridad de un dispositivo móvil. De lo contrario, al aparato de integridad del dispositivo 108 se le puede transmitir una solicitud de verificación de la integridad de la imagen y/o del dispositivo para que la revise un agente. En el lado del servidor, para agilizar la revisión de imágenes y/o tratar la información obtenida de las revisiones pueden utilizarse algoritmos similares a los implementados en el lado del dispositivo como un medio para calibrar aún más los algoritmos y/o entrenar los modelos.

[0323] [0168] Las Figuras 3, 4A y 6 ilustran cada una un diagrama de flujo de un sistema, un método y un producto de programa informático de acuerdo con algunas realizaciones ejemplares. Se entenderá que cada bloque de los diagramas de flujo, y las combinaciones de bloques en los diagramas de flujo, pueden implementarse mediante varios medios, tales como hardware y/o un producto de programa informático que comprende uno o más medios legibles por ordenador que tienen instrucciones de programa legibles por ordenador almacenadas en los mismos. Por ejemplo, uno o más de los procedimientos descritos en la presente pueden incorporarse mediante instrucciones de programa informático de un producto de programa informático. A este respecto, el producto o productos de programa informático que incorporan los procedimientos descritos en la presente pueden comprender uno o más dispositivos de memoria de un dispositivo informático (por ejemplo, la memoria 214) que almacenan instrucciones ejecutables por un procesador en el dispositivo informático (por ejemplo, por el procesador 212). En algunas realizaciones ejemplares, las instrucciones de programa informático del producto o productos informáticos que incorporan los procedimientos descritos anteriormente pueden almacenarse en dispositivos de memoria de una pluralidad de dispositivos informáticos. Como se apreciará, cualquier producto de programa informático de este tipo puede cargarse en un ordenador u otro aparato programable (por ejemplo, un aparato de soporte de dispositivos móviles 102, un dispositivo móvil 104 y/u otro aparato) para producir una máquina, de tal manera que el producto de programa informático que incluye las instrucciones que se ejecutan en el ordenador u otro aparato programable cree medios para implementar las funciones especificadas en el bloque o bloques del diagrama de flujo. Además, el producto de programa informático puede comprender una o más memorias legibles por ordenador en las que pueden almacenarse las instrucciones del programa informático, de tal manera que una o más memorias legibles por ordenador puedan dirigir un ordenador u otro aparato programable para que funcione de una manera particular, de manera que el producto de programa informático pueda comprender un artículo de fabricación que implemente la función especificada en el bloque o bloques del diagrama de flujo. Las instrucciones del programa informático de uno o más productos de programa informático también pueden cargarse en un ordenador u otro aparato programable (por ejemplo, un dispositivo móvil 104 y/u otro aparato) para hacer que se realicen una serie de operaciones en el ordenador u otro aparato programable con el fin de producir un proceso implementado por ordenador, de tal manera que las instrucciones que se ejecutan en el ordenador u otro aparato programable implementen las funciones especificadas en los bloques del diagrama de flujo.

[0325] Por consiguiente, los bloques de los diagramas de flujo admiten combinaciones de medios para realizar las funciones especificadas y combinaciones de operaciones para realizar las funciones especificadas. También se entenderá que uno o más bloques de los diagramas de flujo, y combinaciones de bloques en los diagramas de flujo, pueden implementarse mediante sistemas informáticos basados en hardware de propósito especial que realizan las funciones especificadas, o combinaciones de hardware de propósito especial e instrucciones informáticas.

Claims

1. REIVINDICACIONES

1. Un método que comprende:

recibir (302) una solicitud de verificación de la integridad del dispositivo asociada con un dispositivo móvil; recibir (304) objetos de datos de identificación del dispositivo móvil que comprenden información que describe el dispositivo móvil;

provocar (306) la visualización en el dispositivo móvil de un opción para capturar por lo menos una imagen del dispositivo móvil usando uno o más sensores de imagen del dispositivo móvil y una superficie reflectante; recibir (308) la por lo menos una imagen capturada por los uno o más sensores de imagen del dispositivo móvil; con por lo menos un modelo entrenado, procesar (314) la por lo menos una imagen para determinar un estado de integridad del dispositivo móvil;

caracterizado porqueel procesamiento de la por lo menos una imagen para determinar el estado de integridad del dispositivo móvil comprende determinar si hay por lo menos uno de: una o más oclusiones cóncavas del dispositivo móvil en la por lo menos una imagen, o una o más esquinas bloqueadas del dispositivo móvil en la por lo menos una imagen;

en el que determinar si hay una o más oclusiones cóncavas del dispositivo móvil en la por lo menos una imagen comprende:

- con la por lo menos una red neuronal, generar una máscara del dispositivo móvil que comprenda un número reducido de colores con respecto a la por lo menos una imagen;

- extraer una subregión poligonal P de la máscara del dispositivo móvil;

- determinar una envolvente convexa de P;

- calcular una diferencia entre P y la envolvente convexa;

- eliminar o reducir las discrepancias finas en por lo menos un borde de P y la envolvente convexa;

- identificar el área más grande de las regiones restantes de P; y

- comparar el área más grande con un umbral para determinar si la por lo menos una imagen incluye oclusiones cóncavas;

en el que determinar si hay una o más esquinas bloqueadas del dispositivo móvil en por lo menos una imagen comprende:

- con la por lo menos una red neuronal, generar una máscara de dispositivo móvil que comprenda un número reducido de colores con respecto a la por lo menos una imagen;

- extraer una subregión poligonal P de la máscara del dispositivo móvil;

- determinar una envolvente convexa de P;

- identificar cuatro bordes dominantes de la envolvente convexa;

- determinar las intersecciones de los bordes dominantes adyacentes para identificar las esquinas;

- determinar las distancias respectivas de cada esquina a P; y

- comparar cada distancia con un umbral de distancia para determinar si alguna esquina está bloqueada en por lo menos una imagen;

yporque, en el caso de que se determine que en la por lo menos una imagen hay por lo menos una de una o más oclusiones cóncavas del dispositivo móvil, o una o más esquinas bloqueadas del dispositivo móvil en la por lo menos una imagen, provocar la visualización en el dispositivo móvil de una opción para capturar imágenes sin oclusiones.

2. El método de acuerdo con la reivindicación 1, que comprende además:

en el caso de que se determine que en la por lo menos una imagen hay por lo menos una de una o más oclusiones cóncavas, determinar un estado de integridad del dispositivo móvil como no verificado; y

en caso de que se determine que en la por lo menos una imagen no hay oclusiones cóncavas en la por lo menos una imagen y que no hay esquinas del dispositivo móvil capturado bloqueadas, determinar si el por lo menos un dispositivo móvil capturado en la por lo menos una imagen incluye el dispositivo móvil asociado con el objeto de datos de identificación del dispositivo móvil; y

en un caso en el que se determine que el por lo menos un dispositivo móvil capturado en la por lo menos una imagen incluye el dispositivo móvil asociado con el objeto de datos de identificación del dispositivo móvil, determinar el estado de integridad del dispositivo móvil como verificado.

3. Un aparato que comprende por lo menos un procesador y por lo menos una memoria que incluye código de programa informático, la por lo menos una memoria y el código de programa informático estando configurados, con el procesador, para hacer que el aparato por lo menos:

reciba (302) una solicitud de verificación de la integridad del dispositivo asociada con un dispositivo móvil; reciba (304) objetos de datos de identificación de dispositivos móviles que comprenden información que describe

el dispositivo móvil;

provoque (306) la visualización en el dispositivo móvil de una opción para capturar por lo menos una imagen del dispositivo móvil usando uno o más sensores de imagen del dispositivo móvil y una superficie reflectante; reciba (308) la por lo menos una imagen capturada por los uno o más sensores de imagen del dispositivo móvil; con por lo menos un modelo entrenado, procese (314) la por lo menos una imagen para determinar un estado de integridad del dispositivo móvil;

- con la por lo menos una red neuronal, generar una máscara de dispositivo móvil que comprenda un número reducido de colores con respecto a por lo menos una imagen;

- extraer una subregión poligonal P de la máscara del dispositivo móvil;

- determinar una envolvente convexa de P;

- calcular una diferencia entre P y la envolvente convexa;

- identificar el área más grande de las regiones restantes de P; y

- extraer una subregión poligonal P de la máscara del dispositivo móvil;

- determinar una envolvente convexa de P;

- identificar cuatro bordes dominantes de la envolvente convexa;

- determinar las distancias respectivas de cada esquina a P; y

yporque, en el caso de que se determine que hay por lo menos una de una o más oclusiones cóncavas del dispositivo móvil en la por lo menos una imagen, o una o más esquinas bloqueadas del dispositivo móvil en la por lo menos una imagen, provocar la visualización en el dispositivo móvil de una opción para capturar imágenes sin oclusiones.

4. Un producto de programa informático que comprende por lo menos un medio de almacenamiento no transitorio legible por ordenador que tiene almacenadas instrucciones de código de programa ejecutables por ordenador, instrucciones de código de programa ejecutables por ordenador que comprenden instrucciones de código de programa para:

provocar (306) la visualización en el dispositivo móvil de una opción para capturar por lo menos una imagen del dispositivo móvil usando uno o más sensores de imagen del dispositivo móvil y una superficie reflectante; recibir (308) la por lo menos una imagen capturada por los uno o más sensores de imagen del dispositivo móvil; con por lo menos un modelo entrenado, procesar (314) la por lo menos una imagen para determinar un estado de integridad del dispositivo móvil;

- extraer una subregión poligonal P de la máscara del dispositivo móvil;

- determinar una envolvente convexa de P;

- calcular una diferencia entre P y la envolvente convexa;

- identificar el área más grande de las regiones restantes de P; y

- con por lo menos una red neuronal, generar una máscara de dispositivo móvil que comprenda un número reducido de colores con respecto a por lo menos una imagen;

- extraer una subregión poligonal P de la máscara del dispositivo móvil;

- determinar una envolvente convexa de P;

- identificar cuatro bordes dominantes de la envolvente convexa;

- determinar las distancias respectivas de cada esquina a P; y

yporque, en un caso en el que se determina que hay por lo menos una de una o más oclusiones cóncavas del dispositivo móvil en por lo menos una imagen, o una o más esquinas bloqueadas del dispositivo móvil en por lo menos una imagen, se provoca la visualización de una opción en el dispositivo móvil para capturar imágenes sin oclusiones.