ES3015006T3 - Information processing apparatus and method for obtaining the number of target objects in an area - Google Patents

Information processing apparatus and method for obtaining the number of target objects in an area Download PDF

Info

Publication number
ES3015006T3
ES3015006T3 ES20774207T ES20774207T ES3015006T3 ES 3015006 T3 ES3015006 T3 ES 3015006T3 ES 20774207 T ES20774207 T ES 20774207T ES 20774207 T ES20774207 T ES 20774207T ES 3015006 T3 ES3015006 T3 ES 3015006T3
Authority
ES
Spain
Prior art keywords
image
target object
observation information
observation
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES20774207T
Other languages
English (en)
Inventor
Naoki Miyashita
Yoshihiro Ota
Taiki Oyama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axelspace Corp
Original Assignee
Axelspace Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axelspace Corp filed Critical Axelspace Corp
Application granted granted Critical
Publication of ES3015006T3 publication Critical patent/ES3015006T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • G06T11/65—Creating or editing images; Combining images with text on geographic maps
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Processing (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

Un dispositivo de procesamiento de información (1) comprende: una unidad de adquisición que adquiere información observada de un área temática observada desde un objeto volador que vuela en el espacio exterior; una unidad de clasificación que introduce la información observada adquirida por la unidad de adquisición en un clasificador que ha aprendido a, cuando se introduce la información observada, emitir resultados de clasificación de los sujetos existentes en el área temática para clasificar los sujetos; una unidad de recepción que recibe una entrada de especificación que especifica los sujetos; y una unidad de salida que emite la información observada incluyendo el resultado de la clasificación del objeto especificado. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Aparato de procesamiento de información y procedimiento para obtener la cantidad de objetos objetivo en un área
Campo
La presente invención se refiere a un aparato de procesamiento de información, a un procedimiento de procesamiento de información y a un programa de procesamiento de información para obtener un resultado de clasificación de objetos objetivo.
Antecedentes
Existen varios servicios para proporcionar imágenes satelitales captadas por satélites artificiales.
La Solicitud de Patente Japonesa Abierta al Público No. 2009-146262, por ejemplo, divulga un procedimiento de soporte de selección de imágenes satelitales, etc. que genera, si se acepta una orden de compra de una imagen satelital, una imagen enmascarada sujeta a un procesamiento de enmascaramiento para enmascarar una parte que no cubre un área de compra deseada y transmite la imagen satelital enmascarada al terminal de un ordenante.
El documento de patente US 2018/157911 A1 (LO CHENG-FANG [TW] ET AL) 7 de junio de 2018 (2018-06-07) divulga la clasificación de imágenes aéreas por un clasificador entrenado y el reconocimiento de objetos objetivo en función de los resultados clasificados.
Sumario
Sin embargo, los datos de una imagen tal como una imagen satelital observada desde el espacio tienen un tamaño de datos enorme en comparación con el de una fotografía general o similar, lo que dificulta su manejo por parte del usuario que adquiere dichos datos de observación.
En un aspecto, un objeto es proporcionar un aparato de procesamiento de información, etc. capaz de adquirir inmediatamente datos de observación fáciles de manejar.
Se proporciona un aparato de procesamiento de información de acuerdo con la reivindicación 1.
En un aspecto, es posible adquirir inmediatamente datos de observación fáciles de manejar.
Los objetos y características anteriores y otros se harán más evidentes a partir de la siguiente descripción detallada con los dibujos que la acompañan.
Breve descripción de los dibujos
La Figura 1 es una vista esquemática que ilustra un ejemplo de la configuración de un sistema de provisión de imágenes satelitales.
La Figura 2 es un diagrama de bloques que ilustra un ejemplo de la configuración de un servidor.
La Figura 3 ilustra un ejemplo del diseño de registros de una base de datos de usuarios y una base de datos de imágenes.
La Figura 4 ilustra el procesamiento de clasificación de cubierta terrestre.
La Figura 5 ilustra el procesamiento de clasificación de objetos.
La Figura 6 ilustra un ejemplo de una pantalla de visualización de un terminal.
La Figura 7 ilustra un ejemplo de una pantalla de visualización del terminal.
La Figura 8 ilustra un ejemplo de una pantalla de visualización del terminal.
La Figura 9 ilustra un ejemplo de una pantalla de visualización del terminal.
La Figura 10 ilustra un ejemplo de una pantalla de visualización del terminal.
La Figura 11A ilustra un ejemplo de una pantalla de visualización del terminal.
La Figura 11B ilustra un ejemplo de una pantalla de visualización del terminal.
La Figura 12 ilustra un ejemplo de una pantalla de visualización del terminal.
La Figura 13 es un diagrama de flujo de un ejemplo del procedimiento de procesamiento del procesamiento de generación de clasificador.
La Figura 14 es un diagrama de flujo de un ejemplo del procedimiento de procesamiento del procesamiento de clasificación de objetos objetivo.
La Figura 15 es un diagrama de flujo de un ejemplo del procedimiento de procesamiento del proceso de compra de imágenes.
La Figura 16 es un diagrama de flujo de un ejemplo del procedimiento de procesamiento del procesamiento de exploración de imágenes.
La Figura 17 ilustra un ejemplo de una pantalla de visualización de acuerdo con la Realización 2.
La Figura 18 ilustra un ejemplo de una pantalla de visualización de acuerdo con la Realización 2.
La Figura 19 es un diagrama de flujo de un ejemplo del procedimiento de procesamiento del proceso de compra de imágenes de acuerdo con la Realización 2.
La Figura 20 es un diagrama de flujo de un ejemplo del procedimiento de procesamiento del procesamiento de exploración de imágenes de acuerdo con la Realización 2.
La Figura 21 ilustra el esquema de la Realización 3.
La Figura 22 es un diagrama de flujo de un ejemplo del procedimiento de procesamiento ejecutado por un servidor de acuerdo con la Realización 3.
La Figura 23 ilustra el esquema de la Realización 4.
La Figura 24 es un diagrama de flujo de un ejemplo del procedimiento de procesamiento ejecutado por un servidor de acuerdo con la Realización 4.
Descripción detallada
La presente invención se describe a continuación con referencia a los dibujos que representan realizaciones.
Realización 1
La Figura 1 es una vista esquemática que ilustra un ejemplo de la configuración de un sistema de provisión de imágenes satelitales. En la presente realización, se describe un sistema de provisión de imágenes satelitales que permite al usuario comprar (utilizar) una imagen satelital deseada. El sistema de provisión de imágenes satelitales incluye un aparato de procesamiento de información 1, un terminal 2 y un satélite 3. El aparato de procesamiento de información 1 y el terminal 2 están conectados entre sí de manera comunicativa a través de la red N, tal como el Internet o similar.
El aparato de procesamiento de información 1 es un aparato de procesamiento de información capaz de realizar diversos procesamientos de información, así como transmitir y recibir información, y es, por ejemplo, un dispositivo servidor, un ordenador personal o similar. En la presente realización, el aparato de procesamiento de información 1 se supone como un dispositivo servidor y se denomina servidor 1 por motivos de simplicidad. El servidor 1 es un dispositivo de gestión para adquirir continuamente imágenes satelitales obtenidas al fotografiar la superficie de la tierra desde el satélite 3 como un satélite artificial para gestionar la imagen satelital adquirida en una base de datos y proporciona una plataforma que permite que el usuario pueda comprar una imagen satelital. Se hace notar que la imagen satelital son datos de imagen de cada valor de píxel dentro de la imagen asociados con la información de posición (información sobre latitud y longitud) de la ubicación correspondiente en la superficie de la tierra. En la presente realización, varias decenas de satélites compactos 3, cada uno teniendo un peso de varias decenas de kilogramos, están presentes en una órbita predeterminada sobre la tierra. El servidor 1 adquiere imágenes satelitales de los satélites 3 y las gestiona en la base de datos. El servidor 1 acepta una entrada de designación para designar un intervalo geográfico (región) y una fecha y hora de captura (punto de tiempo de captura) de una imagen satelital que el usuario desea comprar en un navegador web, extrae una imagen correspondiente al intervalo designado, la fecha y hora de las imágenes satelitales en la base de datos y proporciona la imagen al usuario.
Aunque la siguiente descripción se realiza suponiendo que en la presente realización se proporciona al usuario una imagen satelital (fotografía) tomada por el satélite 3 que detecta un rayo visible, rayos infrarrojos cercanos o similares, el modo de la presente realización no se limita a ello. Por ejemplo, el satélite 3 puede estar provisto de un sensor ópti
rayos infrarrojos emitidos por radiación (emisión) desde la superficie de la tierra. Además, el satélite 3 puede estar provisto de un sensor de microondas (radar de apertura sintética, por ejemplo), no el sensor óptico, para radiar microondas (ondas de radio) y detectar las microondas reflejadas desde la superficie de la tierra, y puede proporcionar datos observados por el sensor de microondas. Como tal, el servidor 1 puede estar configurado esencialmente para proporcionar al usuario información de observación obtenida observando la superficie de la tierra desde el satélite 3, y la información de observación que se va a proporcionar no se limita a una imagen basada en un rayo visible.
Aunque la superficie de la Tierra es observada por el satélite artificial (satélite 3) en la siguiente descripción, el servidor 1 puede estar configurado esencialmente para proporcionar al usuario datos observados por cualquier objeto volador que se mueva en el espacio, y el objeto volador no está limitado al satélite artificial.
En la presente realización, al proporcionar al usuario una imagen satelital, el servidor 1 proporciona al usuario datos de una imagen satelital que incluyen un resultado de clasificación obtenido al clasificar un objeto objetivo (objeto) dentro de la imagen satelital utilizando un clasificador generado por aprendizaje automático. Específicamente, como se describirá más adelante, el servidor 1 proporciona una imagen satelital a la que se agregan metadatos que indican una cubierta terrestre dentro de una imagen satelital y la cantidad de objetos móviles presentes en cada área de la imagen satelital utilizando un clasificador de cubierta terrestre para clasificar una cubierta terrestre (por ejemplo, nubes que cubren la superficie de la tierra, agua, árboles, suelo desnudo, etc.) que cubre la superficie de la tierra y un clasificador de objetos para clasificar un objeto específico (por ejemplo, un objeto móvil tal como un vehículo, un barco, etc.) presente en la superficie de la tierra.
El terminal 2 es un dispositivo terminal operado por el usuario y es, por ejemplo, un ordenador personal. Se hace notar que el terminal 2 puede ser un teléfono inteligente, una tableta electrónica u otros dispositivos. El terminal 2 accede al servidor 1 en respuesta a una operación introducida por el usuario y realiza una solicitud de compra de una imagen satelital (imagen dividida que se describirá más adelante) para descargar la imagen satelital del servidor 1 y mostrar la imagen descargada.
Aunque la descripción se realiza asumiendo que se vende una imagen satelital al usuario para que sea descargada al terminal 2 en la presente realización, una imagen satelital puede estar disponible durante un cierto período de tiempo de acuerdo con un contrato con el usuario en forma de suscripción, por ejemplo. El servidor 1 puede estar configurado esencialmente para generar una imagen satelital desde el terminal 2 de acuerdo con una solicitud de uso de modo que la imagen esté disponible para el usuario, no necesariamente vendiendo cada imagen satelital para que el usuario descargue la imagen en el terminal 2.
La Figura 2 es un diagrama de bloques que ilustra un ejemplo de la configuración del servidor 1. El servidor 1 está provisto de una unidad de control 11, una unidad de almacenamiento principal 12, una unidad de comunicación 13 y una unidad de almacenamiento auxiliar 14.
La unidad de control 11 incluye uno o más dispositivos de procesamiento aritmético, tales como una unidad central de procesamiento (CPU), una unidad de microprocesamiento (MPU), una unidad de procesamiento gráfico (GPU) o similar, y realiza diversos procesamientos de información, procesamientos de control, etc. mediante la lectura y ejecución de un programa P almacenado en la unidad de almacenamiento auxiliar 14. La unidad de almacenamiento principal 12 es un área de almacenamiento temporal, tal como una memoria de acceso aleatorio estática (SRAM), una memoria de acceso aleatorio dinámica (DRAM), una memoria flash o similar, y almacena temporalmente los datos necesarios para que la unidad de control 11 ejecute el procesamiento aritmético. La unidad de comunicación 13 es un módulo de comunicación para realizar el procesamiento de comunicación, así como para transmitir y recibir información con el exterior.
La unidad de almacenamiento auxiliar 14 es un área de almacenamiento no volátil, tal como una memoria de gran capacidad, un disco duro o similar, y almacena un programa P necesario para que la unidad de control 11 ejecute el procesamiento y otros datos. Además, la unidad de almacenamiento auxiliar 14 almacena una base de datos de usuarios 141, una base de datos de imágenes 142, un clasificador de cubierta terrestre 143 y un clasificador de objetos 144. La base de datos de usuarios 141 es una base de datos que almacena información sobre cada uno de los usuarios. La base de datos de imágenes 142 es una base de datos que almacena imágenes satelitales adquiridas desde el satélite 3. El clasificador de cubierta terrestre 143 es un modelo aprendido generado por aprendizaje automático y es un clasificador para clasificar una cubierta terrestre que cubre la superficie de la tierra. Asimismo, el clasificador de objetos 144 es un modelo aprendido generado por aprendizaje automático y es un clasificador para clasificar un objeto (objeto móvil) presente en la superficie de la tierra.
Se hace notar que la unidad de almacenamiento auxiliar 14 puede ser un dispositivo de almacenamiento externo conectado al servidor 1. Además, el servidor 1 puede ser un multiordenador formado por múltiples ordenadores o puede ser una máquina virtual construida virtualmente por software.
En la presente realización, el servidor 1 no se limita a los descritos anteriormente y puede incluir, por ejemplo, una unidad de entrada para aceptar una entrada de operación, una unidad de visualización para visualizar una imagen, etc. Además, el servidor 1 puede incluir una unidad de lectura para leer un medio de almacenamiento portátil P1, tal como un disco compacto (CD)-ROM, un disco versátil digital (DVD)-ROM o similar, y leer un programa P desde el medio de almacenamiento portátil P1 para ejecutar el programa P. Alternativamente, el servidor 1 puede leer un programa P desde una memoria semiconductora P2.
La Figura 3 ilustra un ejemplo del diseño de registros de la base de datos de usuarios 141 y la base de datos de imágenes 142.
La base de datos de usuarios 141 incluye una columna de ID de usuario, una columna de nombre, una columna de información de usuario y una columna de imagen comprada. La columna de ID de usuario almacena la ID de usuario para identificar a cada usuario. La columna de nombre, la columna de información de usuario y la columna de imagen comprada almacenan respectivamente un nombre de usuario, otra información sobre el usuario e información sobre la imagen comprada por el usuario en asociación con la ID de usuario. La columna de información de usuario almacena información de cuenta, información requerida para realizar un pago al comprar una imagen y otra información del usuario en la plataforma. La columna de imagen comprada almacena, por ejemplo, una ID para identificar una imagen dividida, que se describirá más adelante.
La base de datos de imágenes 142 incluye una columna de ID de imagen, una columna de fecha y hora, una columna de ID de satélite, una columna de imagen, una columna de ID de celda, una columna de región de celda y una columna de objeto. La columna de ID de imagen almacena un ID de imagen para identificar una imagen satelital adquirida desde el satélite 3. La columna de fecha y hora, la columna de ID de satélite, la columna de imagen, la columna de ID de celda, la columna de región de celda y la columna de objeto almacenan respectivamente una fecha y hora en la que se captura una imagen satelital, la ID de un satélite 3 que captura la imagen satelital, una imagen satelital tomada, un ID de celda para identificar una imagen de celda (imagen dividida), que se describirá más adelante, obtenida dividiendo la imagen satelital por una unidad predeterminada, información de coordenadas de un área dentro de la imagen satelital correspondiente a la imagen de celda y un resultado de clasificación de cada objeto (objeto objetivo) contenido en la imagen de celda en asociación con la ID de imagen.
La Figura 4 ilustra el procesamiento de clasificación de cubierta terrestre. En la presente realización, como se describió anteriormente, el servidor 1 realiza el procesamiento de clasificación de un objeto objetivo dentro de una imagen satelital, específicamente, una cubierta terrestre y un objeto móvil mediante el uso de clasificadores generados por aprendizaje automático. La Figura 4 ilustra conceptualmente los detalles del procesamiento relacionado con una cubierta terrestre a partir de la cubierta terrestre y el objeto móvil. Los detalles de procesamiento del procesamiento de clasificación de cubierta terrestre se describen con referencia a la Figura 4. Por ejemplo, el servidor 1 realiza aprendizaje automático para aprender las características de una cubierta terrestre por medio de aprendizaje profundo para, de este modo, generar el clasificador de cubierta terrestre 143. El clasificador de cubierta terrestre 143 es una red neuronal relacionada con una red neuronal convolucional (CNN), por ejemplo, e incluye una capa de entrada para aceptar la entrada de una imagen satelital (información de observación), una capa de salida para generar un resultado de clasificación de una cubierta terrestre contenida en la imagen satelital y una capa intermedia para extraer valores de características de la imagen satelital.
La capa de entrada incluye múltiples neuronas que aceptan valores de píxeles de los respectivos píxeles contenidos en una imagen satelital y pasan los valores de píxeles de entrada a la capa intermedia. La capa intermedia incluye múltiples neuronas que extraen valores de características de imagen de la imagen satelital y pasan los valores de características extraídos a la capa de salida. Si el clasificador de cubierta terrestre 143 es una CNN, la capa intermedia incluye capas de convolución para convolucionar los valores de píxeles de los respectivos valores de píxeles ingresados desde la capa de entrada y capas de agrupamiento para mapear los valores de píxeles convolucionados en la capa de convolución, estando conectadas de manera alternada las capas de convolución y las capas de agrupamiento, y finalmente extrae los valores de características de la imagen satelital mientras comprime la información de píxeles de la imagen satelital. La capa de salida incluye una o más neuronas que generan los resultados de clasificación de la cubierta terrestre y clasifica la cubierta terrestre que cubre la superficie de la tierra en función de los valores de características de imagen generados desde la capa intermedia.
Aunque lo siguiente se describe asumiendo que el clasificador de cubierta terrestre 143 es, pero no se limita a, una CNN en la presente realización, el clasificador de cubierta terrestre 143 es un modelo aprendido que se construye por medio de otro algoritmo de aprendizaje, tal como una red neuronal distinta de la CNN, una máquina de vectores de soporte (SVM), una red bayesiana, un árbol de regresión o similar.
El servidor 1 realiza el aprendizaje utilizando datos de entrenamiento que incluyen múltiples imágenes satelitales obtenidas al fotografiar la superficie de la Tierra desde el satélite 3 que están asociadas con valores de respuesta correcta como resultados de clasificación obtenidos cuando se clasifican las cubiertas terrestres de las imágenes satelitales. El servidor 1 introduce una imagen satelital incluida en los datos de entrenamiento en la capa de entrada, seguido de un procesamiento aritmético en la capa intermedia y adquiere un valor de salida que indica el resultado de clasificación de la cubierta terrestre de la capa de salida. Se hace notar que el valor de salida es un valor discreto (valor de “0” o “1”, por ejemplo) o un valor de probabilidad continuo (valor en el intervalo de “0” a “1”, por ejemplo).
En este caso, como la imagen satelital tomada por el satélite 3 tiene un tamaño de datos enorme, el servidor 1 introduce, como datos de imagen que se van a introducir en el clasificador de cubierta terrestre 143, imágenes divididas (por ejemplo, imágenes de celda que se describirán más adelante) obtenidas dividiendo una imagen satelital por una unidad predeterminada, no la imagen satelital tal como es (datos brutos), y las clasifica. Esto permite reducir la carga aritmética necesaria para realizar el procesamiento de imágenes individuales y realizar adecuadamente el procesamiento de clasificación.
El servidor 1 compara el valor de salida de la capa de salida con la información etiquetada en la imagen satelital en los datos de entrenamiento, es decir, el valor de respuesta correcta para optimizar así los parámetros utilizados para el procesamiento aritmético en la capa intermedia de modo que el valor de salida se aproxime a la respuesta correcta.
Los parámetros incluyen un peso entre las neuronas (coeficiente de acoplamiento) y un coeficiente de una función de activación utilizada en cada una de las neuronas, por ejemplo. Aunque el procedimiento de optimización de parámetros no está limitado a un procedimiento en particular, el servidor 1 optimiza varios parámetros utilizando retropropagación, por ejemplo. El servidor 1 realiza el procesamiento descrito anteriormente en cada una de las imágenes satelitales incluidas en los datos de entrenamiento para generar el clasificador de cubierta terrestre 143.
El servidor 1 genera el clasificador de cubierta terrestre 143 relacionado con la segmentación semántica, que es un tipo de CNN, por ejemplo. La segmentación semántica es un procedimiento para realizar la determinación de clase por píxel que indica qué objeto (objeto objetivo) representa cada píxel dentro de la imagen. Los datos utilizados aquí incluyen información (valor de respuesta correcta) que indica el tipo de cubierta terrestre que se adjunta como una etiqueta al área de la imagen correspondiente a cada tipo de cubierta terrestre en la imagen satelital. El servidor 1 ingresa la imagen satelital incluida en los datos de entrenamiento al clasificador de cubierta terrestre 143, adquiere el valor de salida que indica el resultado de clasificación de cada cubierta terrestre por píxel y optimiza los parámetros comparando el valor de salida con el valor de respuesta correcta para generar de ese modo el clasificador de cubierta terrestre 143 que permite la clasificación por píxel que indica qué objeto terrestre representa cada píxel.
Si se obtiene una imagen satelital del satélite 3, el servidor 1 realiza la clasificación de una cubierta terrestre utilizando el clasificador de cubierta terrestre 143. La cubierta terrestre es un objeto predeterminado que cubre la superficie de la tierra y se clasifica como nubes, bosques, suelo desnudo, áreas de agua, hielo y nieve, objetos artificiales, etc. Se observa que dicha clasificación es ejemplificativa, y la cubierta terrestre no se limita a las descritas anteriormente. El servidor 1 divide una imagen satelital en imágenes por unidad predeterminada e ingresa las imágenes divididas en la capa de entrada del clasificador de cubierta terrestre 143, realiza un cálculo para extraer valores de características de imagen en la capa intermedia e ingresa los valores de características extraídos en la capa de salida. El servidor 1 obtiene de la capa de salida el resultado de clasificación por píxel que indica qué tipo de cubierta terrestre representa cada píxel como valor de salida.
Aunque lo siguiente se describe asumiendo que el servidor 1 genera el clasificador de cubierta terrestre 143 por medio de aprendizaje supervisado en la presente realización, el clasificador de cubierta terrestre 143 puede ser generado por medio de aprendizaje semisupervisado o aprendizaje no supervisado. Lo mismo se aplica al clasificador de objetos 144, el cual será descrito más adelante.
La Figura 5 ilustra el procesamiento de clasificación de objetos. La Figura 5 ilustra conceptualmente la medición de la cantidad de objetos específicos, específicamente, objetos móviles (por ejemplo, vehículos, barcos, etc.) contenidos en una imagen satelital utilizando el clasificador de objetos 144. Los detalles de procesamiento del procesamiento de clasificación de objetos se describen con referencia a la Figura 5.
El clasificador de objetos 144 es una red neuronal relacionada con la CNN, generada por medio de aprendizaje profundo de manera similar al clasificador de cubierta terrestre 143 mencionado anteriormente. De manera similar al clasificador de cubierta terrestre 143, el clasificador de objetos 144, que incluye una capa de entrada, una capa intermedia y una capa de salida, acepta una entrada de una imagen satelital y genera un resultado de clasificación obtenido al clasificar objetos móviles dentro de la imagen satelital.
El servidor 1 realiza el aprendizaje utilizando datos de entrenamiento que incluyen un valor de respuesta correcta para un resultado de clasificación obtenido cuando se clasifica un objeto móvil, estando asociado el valor de respuesta correcta con cada una de las imágenes satelitales. De manera similar al aprendizaje con el clasificador de cubierta terrestre 143, el servidor 1 divide cada una de las imágenes satelitales incluidas en los datos de entrenamiento por una unidad predeterminada e ingresa las unidades divididas al clasificador de objetos 144 mientras adquiere el resultado de clasificación del objeto móvil como un valor de salida. El servidor 1 compara el valor de salida con el valor de respuesta correcta para optimizar parámetros tales como pesos o similares, para así generar el clasificador de objetos 144.
El servidor 1 realiza el aprendizaje mediante el uso de datos de entrenamiento que incluyen un valor de respuesta correcta que indica el tipo de objeto móvil que está unido como una etiqueta a un punto de coordenadas (gráfico) correspondiente a cada uno de los objetos móviles presentes en una imagen satelital. La resolución de las imágenes satelitales es a menudo demasiado baja para extraer valores de características tales como la forma y el color de cada uno de los objetos móviles y detectar un objeto. Por lo tanto, el servidor 1 aprende valores de características de cada área unitaria predeterminada (véase un marco rectangular en la parte inferior derecha de la Figura 5) dentro de la imagen y la cantidad de objetos móviles (el número de gráficos) presentes en cada área en función del punto de coordenadas trazado del objeto móvil en los datos de entrenamiento para generar de ese modo el clasificador de objetos 144 que estima directamente la cantidad de objetos móviles sin detectar (reconocer) objetos móviles individuales. Esto hace posible estimar con precisión la cantidad de objetos móviles incluso si la resolución es baja.
Se observa que se detectan objetos móviles individuales para medir así la cantidad de objetos móviles mediante el clasificador de objetos 144 en función de la resolución de una imagen satelital. Es decir, el clasificador de objetos 144 está configurado esencialmente para estimar la cantidad de objetos móviles, y el algoritmo para ello no está limitado a uno en particular.
El servidor 1 introduce una imagen satelital tomada por el satélite 3 en el clasificador de objetos 144, al tiempo que adquiere un resultado de clasificación que se obtiene clasificando los objetos móviles contenidos en la imagen satelital y que indica la cantidad de objetos móviles como valor de salida. Como se ilustra en la parte inferior derecha de la Figura 5, por ejemplo, el servidor 1 adquiere un resultado de estimación obtenido estimando la cantidad de objetos móviles para cada área en la imagen.
En este caso, al introducir una imagen satelital en el clasificador de objetos 144, el servidor 1 reduce el área de la imagen dentro de la imagen satelital de acuerdo con el resultado de clasificación de la cubierta terrestre por parte del clasificador de cubierta terrestre 143 e introduce el área reducida. Esto permite que el servidor 1 reduzca la carga en el procesamiento aritmético utilizando el clasificador de objetos 144.
En el caso en que el objeto móvil como objetivo a clasificar sea, por ejemplo, un barco, el área de imagen a tener en cuenta como objetivo de análisis son áreas de agua como el mar, río, etc. En este caso, si se realiza una clasificación de un barco, el servidor 1 especifica el área de imagen correspondiente a las áreas de agua con referencia al resultado de la clasificación de la cubierta terrestre e ingresa el área de imagen especificada al clasificador de objetos 144. Esto permite que el servidor 1 adquiera el resultado de clasificación que indica el número de barcos presentes en las áreas de agua como un valor de salida como se ilustra en la parte inferior derecha de la Figura 5.
Se observa que los objetos móviles, como un barco, un vehículo, etc., son meros ejemplos de objetos que se clasificarán utilizando el clasificador de objetos 144, y el objeto puede ser un objeto estático presente en una ubicación fija.
Como se ha descrito anteriormente, el servidor 1 realiza un procesamiento de clasificación para una cubierta terrestre y un objeto móvil a partir de una imagen satelital utilizando el clasificador de cubierta terrestre 143 y el clasificador de objetos 144, respectivamente. El servidor 1 adquiere secuencialmente imágenes satelitales obtenidas al fotografiar cada región objetivo en puntos de tiempo de captura (puntos de tiempo de observación) desde cada uno de los múltiples satélites 3, 3, ... y clasifica las imágenes satelitales. El servidor 1 almacena cada una de las imágenes satelitales y el resultado de clasificación de la imagen satelital en asociación con el punto de tiempo de captura y la región objetivo en la base de datos de imágenes 142.
Las Figuras 6 a 12 ilustran cada una un ejemplo de una pantalla de visualización del terminal 2. El esquema de la presente realización se describe con referencia a las Figuras 6 a 12.
El servidor 1 de la presente realización proporciona una plataforma para vender una imagen satelital adquirida de cada uno de los satélites 3 al usuario. La Figura 6, que es un ejemplo de una pantalla de visualización mostrada en el terminal 2, ilustra un ejemplo de visualización de una pantalla de navegador web relacionada con la presente plataforma. El servidor 1 proporciona al usuario una imagen satelital etiquetada con los resultados de clasificación obtenidos mediante el uso del clasificador de cubierta terrestre 143 y el clasificador de objetos 144 en respuesta a la entrada de operación en la pantalla.
Por ejemplo, el terminal 2 busca una región objetivo que se va a comprar basándose en la entrada de la operación realizada en la pantalla (no ilustrada) y muestra la pantalla ilustrada en la Figura 6. Más específicamente, como se ilustra en la Figura 6, el terminal 2 muestra una imagen de mapa que representa la región objetivo.
El terminal 2 muestra una cuadrícula 41 (línea divisoria) para dividir la región objetivo en múltiples áreas con un ancho predeterminado en fila y un ancho predeterminado en columna mientras se superpone a la imagen del mapa. Aunque el ancho (distancia) de cada área dividida por la cuadrícula 41 no está limitado a un valor particular, en la presente realización se establece un ancho de 5 km en todas las direcciones.
En la presente realización, aunque la cuadrícula 41 está configurada para extenderse a lo largo de una dirección norte-sur y una dirección este-oeste de acuerdo con la latitud y la longitud con el fin de dividir la imagen del mapa en rectángulos, aunque la forma de trazado (dirección) de la cuadrícula 41 no está particularmente limitada a ello. Además, el usuario puede configurar arbitrariamente una línea divisoria para establecer cualquier área disponible como región objetivo de compra.
Además, la cuadrícula 41 es un conjunto de aproximación aproximada cuando una región objetivo se divide en múltiples áreas, y las imágenes de celda que se describirán más adelante no coinciden necesariamente con precisión con las áreas en la imagen del mapa dividida por la cuadrícula 41. Por ejemplo, las imágenes de celda vecinas pueden superponerse entre sí.
El terminal 2 acepta la entrada de designación para designar múltiples áreas como un objetivo a comprar (objetivo a usar) de las áreas divididas por la cuadrícula 41. El terminal 2 acepta la entrada de designación para designar múltiples áreas mediante una operación de arrastre, una operación de clic o similar realizada en la pantalla, por ejemplo. Si acepta la entrada de designación de las áreas como un objetivo a comprar, el terminal 2 se comunica con el servidor 1 para cambiar a la pantalla ilustrada en la Figura 7.
Si se acepta la entrada de designación para designar las áreas que se van a comprar desde la terminal 2, el servidor 1 busca en la base de datos de imágenes 142 una imagen satelital que incluya las áreas designadas. A continuación, el servidor 1 extrae imágenes de celda (información de observación de áreas) obtenidas al recortar el área de imagen correspondiente a las áreas designadas en la imagen del mapa de la imagen satelital buscada. El servidor 1 envía las imágenes de celda extraídas a la terminal 2 y hace que la terminal 2 muestre las imágenes.
Más específicamente, como se ilustra en la Figura 7, el servidor 1 muestra una imagen de vista previa en la que las imágenes de celda 51 extraídas de la imagen satelital (información de observación) de la región objetivo se superponen en las áreas correspondientes en la imagen del mapa. Se hace notar que. en los dibujos de la presente realización, las áreas en las que se va a mostrar la imagen satelital (fotografía) están sombreadas para facilitar el dibujo. En el momento de mostrar la imagen de vista previa en la Figura 7, el servidor 1 muestra primero imágenes de celda 51 extraídas de la imagen satelital capturada en el último punto de tiempo de captura (punto de tiempo de observación) de las múltiples imágenes satelitales obtenidas cuando se captura la región objetivo en los puntos de tiempo de captura anteriores. Las imágenes de celda 51 como un objetivo a comprar se muestran de manera que se superpongan en la imagen del mapa, por lo que el usuario puede percibir fácilmente la ubicación de las imágenes de celda mientras confirma la imagen de vista previa.
En este caso, el terminal 2 muestra una sección de ajuste de cantidad de nubes 52 y una sección de ajuste de ángulo 53 para reducir respectivamente la cantidad de nubes y un ángulo fuera del nadir (ángulo de captura) en una posición predeterminada de la imagen de vista previa. El terminal 2 acepta la entrada de valores establecidos para la cantidad de nubes y/o el ángulo fuera del nadir en las secciones de ajuste respectivas y cambia el modo de visualización de las imágenes de celda 51 dependiendo de si se cumplen o no los valores establecidos.
La cantidad de nubes es una relación entre el área de las nubes y el intervalo de captura (intervalo de observación) de la imagen satelital. Si el usuario compra una imagen satelital (imágenes de celda 51) y debido a una gran cantidad de nubes dentro de la imagen, el usuario difícilmente puede confirmar la superficie de la tierra, es difícil decir que esta imagen es útil para el usuario. Por lo tanto, en la presente realización, se hace posible limitar las imágenes de celda en función de la cantidad de nubes en el momento de mostrar la imagen de vista previa. Por ejemplo, el terminal 2 acepta una entrada de ajuste para ajustar el valor límite superior de la cantidad de nubes en el área de cada una de las imágenes de celda 51 en el momento de la captura (punto de tiempo de observación) mediante la sección de ajuste de cantidad de nubes 52. Esto hace posible que el terminal 2 limite las imágenes de celda 51.
El ángulo fuera del nadir es un ángulo de captura obtenido cuando el satélite 3 captura una región objetivo (área de cada imagen de celda 51) y es un ángulo formado por una línea normal que conecta el satélite 3 en el momento de la captura (observación) y la superficie de la tierra y una línea recta que conecta el satélite 3 y la región objetivo (área). Aunque el “ángulo fuera del nadir” significa naturalmente un ángulo de iluminación de una microonda en el radar de apertura sintética, se utiliza temporalmente para expresar un ángulo de captura obtenido cuando se captura a una región objetivo desde el satélite 3 por razones de conveniencia en la presente realización.
En el caso de un ángulo fuera del nadir elevado, una imagen satelital (imagen de celda 51) es una imagen obtenida al fotografiar la región objetivo de forma oblicua, no directamente desde arriba. Por consiguiente, independientemente del deseo de una imagen obtenida al fotografiar un edificio directamente desde arriba, el usuario compra como resultado una imagen obtenida al fotografiar un edificio de forma oblicua. Por lo tanto, en la presente realización, se hace posible reducir las imágenes de celda en función del ángulo fuera del nadir en el momento de mostrar una imagen de vista previa.
Por ejemplo, el servidor 1 calcula el ángulo formado por una normal que conecta el satélite 3 y la superficie de la tierra y una línea directa que conecta el satélite 3 y el punto central del área de cada imagen de celda 51 como un ángulo fuera del nadir relacionado con cada imagen de celda 51. El terminal 2 acepta la entrada de ajuste para ajustar el valor límite superior del ángulo fuera del nadir en el momento de la captura (punto de tiempo de observación) por la sección de ajuste de ángulo 53. De acuerdo con los valores límite superiores para la cantidad de nubes y/o el ángulo fuera del nadir establecidos anteriormente, el terminal 2 muestra las imágenes de celda 51 de una manera diferente entre la imagen de celda 51 que tiene un valor igual o menor que el valor límite superior y la imagen de celda 51 que tiene un valor por encima del valor límite superior. Por ejemplo, el terminal 2 muestra la imagen de celda 51 que tiene un valor por encima del valor límite superior de manera que sea más oscura que la imagen de celda 51 que tiene un valor igual o menor que el valor límite superior. En la Figura 7, la visualización en color oscuro se representa mediante matices del color del sombreado para mayor comodidad.
Mediante la visualización conmutada descrita anteriormente, el usuario puede adquirir una imagen satelital (imagen de celda 51) para la cual la cantidad de nubes y/o el ángulo fuera del nadir satisfacen una condición predeterminada.
Además, el terminal 2 acepta la entrada de designación para cambiar las imágenes de celda 51 que se van a comprar de las imágenes capturadas en el último punto de tiempo a las imágenes capturadas en otro punto de tiempo en el pasado. Por ejemplo, el terminal 2 muestra en forma de lista los puntos de tiempo de captura de las imágenes satelitales que están almacenadas en la base de datos de imágenes 142 y que se obtienen al capturar una región objetivo en un menú de operación a la derecha de la pantalla. El terminal 2 acepta la entrada de designación para designar cualquier punto de tiempo de captura en el pasado mediante el menú de operación. Si se designa otro punto de tiempo, el terminal 2 accede al servidor 1 para adquirir imágenes de celda 51 obtenidas extrayendo las áreas designadas por el usuario de la imagen satelital capturada en el punto de tiempo designado. El terminal 2 conmuta las imágenes de celda 51 superpuestas en la imagen del mapa por las imágenes de celda 51 recién adquiridas y muestra la imagen conmutada. Si se designa además un cambio a otro punto de tiempo, el terminal 2 conmuta la visualización de la pantalla a la imagen en el punto de tiempo designado y muestra la imagen conmutada. Al repetir el procesamiento descrito anteriormente, el usuario puede seleccionar una imagen para comprar mientras simplemente cambia las imágenes capturadas en puntos de tiempo respectivos en el pasado para confirmación.
En el caso de que se vaya a comprar la imagen de celda 51, el terminal 2 registra una imagen de celda 51 en un carrito en respuesta a la entrada de operación del usuario. El carrito es una lista para registrar tentativamente una imagen de celda 51 que se va a comprar. Por ejemplo, el terminal 2 acepta la operación de clic para cualquiera de las imágenes de celda 51 que se están mostrando y registra la imagen de celda 51 operada en el carrito.
La Figura 8 ilustra un ejemplo de una pantalla de visualización después del registro en el carrito. Si una imagen de celda 51 está registrada en el carrito, el terminal 2 muestra cada imagen de celda 51 registrada etiquetada con un icono 54. La visualización del icono 54 permite al usuario comprender fácilmente que la imagen de celda 51 que se está mostrando ya ha sido registrada en el carrito. Además, el terminal 2 muestra en el menú de operación una marca de punto 55 asociada con el punto de tiempo de captura (fecha y hora) de las imágenes de celda 51 que se están mostrando y una barra 56 que tiene una longitud correspondiente a la cantidad (el número) de las imágenes de celda 51 registradas en el carrito si algunas imágenes de celda 51 están registradas en el carrito. Esto permite al usuario comprender fácilmente el punto de tiempo en el que se capturaron las imágenes de celda 51 registradas y el número de imágenes de celda 51 registradas.
Si el usuario procede a solicitar la compra de algunas imágenes de celda 51, el terminal 2 pasa a una pantalla de solicitud de compra. La Figura 9 ilustra un ejemplo de una pantalla de visualización que se muestra en el momento de la solicitud de compra. Como se ilustra en la Figura 9, el terminal 2 muestra las imágenes en miniatura de las imágenes de celda 51 que se están registrando en el carrito en forma de lista y también un importe de compra (no ilustrado).
En este caso, el terminal 2 acepta una entrada de designación para designar un objeto objetivo deseado por el usuario como objetivo a clasificar para las imágenes de celda 51 que se van a comprar. Por ejemplo, el terminal 2 acepta una entrada de designación para designar el tipo de cubierta terrestre y el objeto móvil que se va a seleccionar como objetivo, como se ilustra en la parte inferior derecha de la Figura 9.
El terminal 2 transmite una solicitud de compra (solicitud de uso) de imágenes de celda 51 que incluye los detalles de la designación del objeto objetivo al servidor 1 en respuesta a la operación introducida por el usuario. Si se acepta la solicitud de compra del terminal 2, el servidor 1 realiza el procesamiento de liquidación del precio de compra de acuerdo con la cantidad de imágenes de celda 51 que se van a comprar. Se observa que el servidor 1 puede variar el monto de la compra dependiendo de la cantidad de tipos del objeto objetivo designado anteriormente.
Una vez finalizado el proceso de compra, el servidor 1 envía las imágenes de celda 51 adquiridas al terminal 2 y hace que el terminal 2 las descargue. En este caso, el servidor 1 envía datos de las imágenes de celda 51 que incluyen el resultado de clasificación del objeto objetivo designado por el usuario al terminal 2. Por ejemplo, el servidor 1 envía datos de imagen de las imágenes de celda 51 a los que se añaden metadatos que indican el resultado de clasificación del objeto objetivo al terminal 2. Esto permite al usuario no solo recibir una imagen satelital sino también recibir datos de la imagen satelital analizada.
Se hace notar que, aunque en la presente realización se proporciona una imagen satelital a la que se añade un resultado de clasificación (metadatos) del objeto objetivo, la imagen que se va a proporcionar no se limita a ello. Alternativamente, se pueden proporcionar datos de una imagen en sí misma que se procesan de forma que muestren la posición y el alcance del objeto objetivo dentro de la imagen. Por ejemplo, el servidor 1 puede generar una imagen satelital (imagen de celda 51) en la que el área de la cubierta terrestre que se va a seleccionar se clasifica por color, como una visualización de codificación de colores que se describirá más adelante, y enviar la imagen coloreada al terminal 2. Por lo tanto, el servidor 1 puede estar configurado esencialmente para enviar una imagen satelital que incluya los resultados de clasificación del objeto objetivo, y la forma de salida de los datos de imagen que se van a enviar no se limita a una en particular.
La Figura 10 ilustra un ejemplo de una pantalla de visualización en el momento de navegar por las imágenes de celda compradas 51. En la presente realización, el servidor 1 hace que las imágenes de celda compradas 51, es decir, las imágenes de celda 51 estén disponibles para el usuario navegables en la misma plataforma (pantalla del navegador web) en la que se compran.
El terminal 2 acepta una entrada de selección para seleccionar imágenes de celda 51 como un objetivo que se buscará entre las imágenes de celda 51 que se han descargado desde el servidor 1 en una pantalla (no ilustrada). El terminal 2 muestra las imágenes de celda 51 seleccionadas.
En este caso, el terminal 2 muestra las imágenes de celda seleccionadas 51 superpuestas en las áreas correspondientes de la imagen del mapa.
Más específicamente, el terminal 2 muestra las imágenes de celda 51 superpuestas sobre la imagen del mapa mientras muestra la marca de punto 55 aplicada al tiempo de captura correspondiente a las imágenes de celda 51 que se están mostrando en el menú de operación. Esto permite al usuario comprender fácilmente dónde y cuándo se capturan las imágenes de manera similar al tiempo de compra.
A continuación, se describen los detalles del procesamiento en el momento de la exploración del resultado de clasificación de objetos objetivo contenidos en la imagen de celda comprada 51. Las Figuras 11A y 11B ilustran cada una un ejemplo de una pantalla de visualización del resultado de clasificación. Por ejemplo, si se acepta la entrada de designación para designar cualquiera de las imágenes de celda 51 superpuestas en la imagen de mapa mostrada en las Figuras 11A y 11B, el terminal 2 muestra el resultado de clasificación de los objetos objetivo relacionados con la imagen de celda designada 51.
La Figura 11A ilustra un ejemplo de la pantalla de visualización relacionada con una cubierta terrestre, mientras que la Figura 11B ilustra un ejemplo de la pantalla de visualización relacionada con un objeto móvil. Como se ilustra en la Figura 11A, por ejemplo, en el caso en el que se muestra el resultado de clasificación relacionado con una cubierta terrestre, el terminal 2 muestra el área de imagen correspondiente a la cubierta terrestre designada por el usuario de una manera diferente a las otras áreas de imagen. Por ejemplo, el terminal 2 resalta los píxeles correspondientes a la cubierta terrestre designada por el usuario mediante un código de colores o similar.
Como se ilustra en la Figura 11B, por ejemplo, en el caso en que se muestra el resultado de clasificación relacionado con un objeto móvil, el terminal 2 muestra un área en la que están presentes uno o más objetos móviles mediante un marco rectangular mientras muestra el número de objetos móviles dentro del área en forma de gráfico.
A continuación, se describen los detalles del procesamiento en el momento de aceptar la compra adicional de una imagen de celda 51. El terminal 2 acepta la compra adicional de algunas imágenes de celda 51 capturadas en otro punto de tiempo desde la pantalla de visualización mostrada en la Figura 10. Por ejemplo, el terminal 2 acepta la entrada de designación para designar otro punto de tiempo mediante el menú de operación. Si se designa otro punto de tiempo, el terminal 2 accede al servidor 1 y solicita al servidor 1 que genera las imágenes de celda 51 que están relacionadas con la imagen satelital capturada en el punto de tiempo designado y que están en la misma área que las imágenes de celda 51 que se están mostrando. Si se adquieren las imágenes de celda 51 desde el servidor 1, el terminal 2 cambia la pantalla a una imagen de vista previa de las imágenes de celda 51 adquiridas y muestra la imagen de vista previa cambiada.
La Figura 12 ilustra un ejemplo de la pantalla conmutada. De manera similar a la Realización 1, el terminal 2 muestra las imágenes de celda 51 superpuestas sobre la imagen del mapa. El terminal 2 acepta la entrada de configuración de la cantidad de nubes y el ángulo fuera del nadir por la sección de configuración de cantidad de nubes 52 y la sección de configuración de ángulo 53, respectivamente, acepta la operación de registro en un carrito en esta pantalla y luego procede a la aplicación de compra. El procesamiento de registro del carrito, el proceso de compra para las imágenes de celda 51, etc. son similares a los de la descripción anterior y, por lo tanto, no se repite la descripción detallada.
Como se ha descrito anteriormente, el usuario puede designar el intervalo geográfico (área), el punto de tiempo de captura, etc. de las imágenes de celda 51 que se van a adquirir en la imagen del mapa con una operación sencilla. Además, las imágenes de celda 51 (información de observación de área) de un área arbitraria se recortan y se proporcionan a partir de los datos de imagen en bruto adquiridos del satélite 3, es decir, la imagen satelital (información de observación) que tiene un tamaño de datos enorme. Esto permite al usuario adquirir una imagen fácil de manejar con un tamaño de datos pequeño. De acuerdo con la presente realización, es posible adquirir inmediatamente una imagen satelital que permite una fácil manipulación.
Además, de acuerdo con la presente realización, el usuario puede adquirir imágenes de celda 51 que incluyen el resultado de clasificación de un objeto objetivo deseado. Esto hace posible utilizar imágenes satelitales para diversas aplicaciones como, por ejemplo, para captar la situación de un terreno, el volumen de tráfico o similares. La Figura 13 es un diagrama de flujo de un ejemplo del procedimiento de procesamiento de generación de clasificadores. Los detalles del procesamiento de generación del clasificador de cubierta terrestre 143 y del clasificador de objetos 144 mediante la realización de aprendizaje automático se describen con referencia a la Figura 13.
La unidad de control 11 del servidor 1 adquiere datos de entrenamiento de una imagen satelital asociada a un valor de respuesta correcta como resultado de clasificación obtenido cuando se clasifica cada objeto objetivo contenido en la imagen satelital (etapa S11). Como se describió anteriormente, el objeto objetivo a clasificar incluye una cubierta terrestre que cubre la superficie de la tierra, un objeto (objeto móvil, por ejemplo) presente en la superficie de la tierra, etc. La unidad de control 11 adquiere datos de entrenamiento de la imagen satelital etiquetada con información (valor de respuesta correcta) de varios objetos.
La unidad de control 11 genera el clasificador de cubierta terrestre 143 para generar, cuando se introduce una imagen satelital utilizando los datos de entrenamiento, un resultado de clasificación obtenido al clasificar una cubierta terrestre dentro de la imagen satelital (etapa S12). Es decir, la unidad de control 11 introduce la imagen satelital incluida en los datos de entrenamiento en el clasificador de cubierta terrestre 143 y adquiere el resultado de clasificación obtenido cuando se clasifica una cubierta terrestre como salida. La unidad de control 11 compara el resultado de clasificación adquirido con el valor de respuesta correcto y optimiza parámetros tales como pesos entre las neuronas de modo que el resultado de clasificación de salida se aproxime al valor de respuesta correcto.
Además, la unidad de control 11 genera el clasificador de objetos 144 para generar, cuando se introduce una imagen satelital utilizando los datos de entrenamiento, un resultado de clasificación obtenido clasificando un objeto dentro de la imagen satelital (etapa S13). Más específicamente, la unidad de control 11 introduce la imagen satelital incluida en los datos de entrenamiento en el clasificador de objetos 144 y adquiere un resultado de estimación (resultado de clasificación) obtenido estimando el número de objetos presentes en cada área dentro de la imagen satelital. La unidad de control 11 compara el resultado de clasificación adquirido con el valor de respuesta correcta y optimiza parámetros tales como pesos entre las neuronas de modo que el resultado de estimación de salida se aproxime al valor de respuesta correcta. La unidad de control 11 finaliza la serie de procesamiento.
La Figura 14 es un diagrama de flujo de un ejemplo del procedimiento de procesamiento de clasificación de objetos objetivo. Se describen los detalles del procesamiento de clasificación de diversos objetos contenidos en la imagen satelital utilizando el clasificador de cubierta terrestre 143 y el clasificador de objetos 144.
La unidad de control 11 del servidor 1 adquiere una imagen satelital obtenida por el satélite 3 al fotografiar una región objetivo (etapa S31). La unidad de control 11 divide la imagen satelital adquirida en imágenes de celda 51, 51, 51... correspondientes a las áreas en las que se clasifica la región objetivo (etapa S32).
La unidad de control 11 introduce las imágenes de celda 51 en el clasificador de cubierta terrestre 143 para clasificar la cubierta terrestre dentro de la imagen de celda 51 (etapa S33). Por ejemplo, la unidad de control 11 obtiene un resultado de clasificación que indica el tipo de cubierta terrestre correspondiente a cada uno de los valores de píxel dentro de la imagen de celda 51 a partir del clasificador de cubierta terrestre 143.
La unidad de control 11 extrae áreas de imagen correspondientes a varios tipos de cubierta terrestre de la imagen de celda 51 de acuerdo con el resultado de clasificación obtenido en la etapa S33 (etapa S34). La unidad de control 11 introduce las áreas de imagen extraídas en el clasificador de objetos 144 para obtener un resultado de clasificación que indica la cantidad de objetos específicos contenidos en las áreas de imagen del clasificador de objetos 144 (etapa S35).
La unidad de control 11 almacena la imagen satelital adquirida en la etapa S31 y los resultados de clasificación del objeto relacionado con cada imagen de celda 51 adquiridos en las etapas S33 y S35 en asociación entre sí en la base de datos de imágenes 142 (etapa S36). La unidad de control 11 finaliza la serie de procesamiento. La Figura 15 es un diagrama de flujo de un ejemplo del procedimiento de procesamiento del proceso de compra de imágenes. Los detalles del procesamiento ejecutado por el servidor 1 se describen con referencia a la Figura 15.
La unidad de control 11 del servidor 1 acepta la entrada de designación para designar una región objetivo que representa una imagen de mapa desde el terminal 2 (etapa S51). La unidad de control 11 envía la imagen de mapa de la región designada al terminal 2 y hace que el terminal 2 muestre la imagen de mapa (etapa S52). Más específicamente, como se describió anteriormente, la unidad de control 11 muestra una imagen de mapa en la que se superpone la cuadrícula 41 (línea divisoria) para dividir la región objetivo en múltiples áreas.
La unidad de control 11 acepta la entrada de designación para designar múltiples áreas de las áreas respectivas en la imagen de mapa dividida por la cuadrícula 41 (etapa S53). La unidad de control 11 extrae las imágenes de celda 51 (información de observación de área) correspondientes a las áreas designadas de la imagen satelital (información de observación) de la región objetivo, y genera una imagen de vista previa en la que las imágenes de celda extraídas 51 se superponen en las áreas correspondientes en la imagen de mapa al terminal 2 y hace que el terminal 2 muestre la imagen de vista previa (etapa S54). En la etapa S54, la unidad de control 11 extrae las imágenes de celda 51 de la imagen satelital capturada en el último punto de tiempo de las imágenes satelitales capturadas en la región objetivo y superpone las imágenes de celda extraídas 51 en la imagen de mapa.
La unidad de control 11 determina si se acepta o no la entrada de designación para designar el cambio del punto de tiempo de captura a otro punto de tiempo (etapa S55). Si se determina que se acepta la entrada de designación para designar el punto de tiempo de captura (S55: SÍ), la unidad de control 11 extrae imágenes de celda 51 de la imagen satelital capturada en el punto de tiempo de captura designado, envía las imágenes de celda 51 al terminal 2 y hace que el terminal 2 cambie las imágenes de celda 51 en la imagen del mapa a las imágenes de celda adquiridas (etapa S56).
Después de la ejecución del procesamiento en la etapa S56 o si la respuesta es NO en la etapa S55, la unidad de control 11 determina si se acepta o no la entrada de valores establecidos relacionados con la cantidad de nubes y/o el ángulo fuera del nadir para cada una de las imágenes de celda 51 (etapa S57). Por ejemplo, la unidad de control 11 acepta la entrada de configuración de los valores de límite superior para la cantidad de nubes y/o el ángulo fuera del nadir. Si se determina que se acepta la entrada de valores establecidos de la cantidad de nubes y/o el ángulo fuera del nadir (etapa<s>57: SÍ), la unidad de control 11 cambia la visualización de las imágenes de celda 51 de manera que una imagen de celda 51 que satisface el valor establecido y una imagen de celda 51 que no satisface el valor establecido se muestran de una manera diferente (etapa S58).
Después de la ejecución del procesamiento en la etapa S58 o si la respuesta es NO en la etapa S57, la unidad de control 11 acepta la operación de registro de las imágenes de celda 51 en el carrito (lista de candidatos de compra) desde el terminal 2 (etapa S59). La unidad de control 11 determina si se acepta o no una solicitud de compra (solicitud de uso) para las imágenes de celda 51 registradas en el carrito (etapa S60). Si se determina que no se acepta una solicitud de compra (S60: NO), la unidad de control 11 devuelve el procesamiento a la etapa S55.
Si se determina que se acepta una solicitud de compra (etapa S60 :SÍ), la unidad de control 11 acepta la entrada de designación para designar un objeto objetivo deseado como objetivo a clasificar por el usuario (etapa S61). El objeto objetivo designado en la etapa S61 incluye el tipo de cubierta terrestre, el tipo de objeto (objeto móvil) o similar, como se describió anteriormente. La unidad de control 11 envía al terminal 2 la imagen de celda 51 a la que se añaden datos que indican el resultado de clasificación del objeto objetivo para cada una de las imágenes de celda 51 para las que se acepta una solicitud de compra con referencia a la base de datos de imágenes 42, y hace que el terminal 2 descargue la imagen de celda 51 (etapa S62). La unidad de control 11 finaliza la serie de procesamiento.
La Figura 16 es un diagrama de flujo de un ejemplo del procedimiento de procesamiento del procesamiento de exploración de imágenes. Los detalles del procesamiento realizado en el momento de la exploración de la imagen satelital adquirida se describen con referencia a la Figura 16.
La unidad de control 11 del servidor 1 acepta la entrada de designación para designar imágenes de celda 51 adquiridas, es decir, imágenes de celda 51 disponibles para el usuario desde el terminal 2 (etapa S71). La unidad de control 11 genera una imagen de mapa en la que las imágenes de celda 51 designadas se superponen en las ubicaciones correspondientes en la imagen de mapa y hace que el terminal 2 muestre la imagen superpuesta (etapa S72).
La unidad de control 11 determina si se acepta o no la entrada de designación para designar la imagen de celda 51 para la que se va a mostrar el resultado de clasificación del objeto objetivo desde el terminal 2 (etapa S73). Si se determina que se acepta la entrada de designación (S 73: SÍ), la unidad de control 11 hace que el terminal 2 muestre la imagen de celda 51 que indica el resultado de clasificación del objeto objetivo contenido en la imagen de celda designada 51 y el resultado de clasificación del objeto objetivo designado por el usuario al realizar la compra (etapa S74). Por ejemplo, si se supone que una cubierta terrestre es un objetivo, la unidad de control 11 muestra la imagen de celda 51 en la que el área de imagen (píxeles) correspondiente a cada cubierta terrestre se muestra de una manera diferente mediante codificación de colores o similar. Alternativamente, si se supone que el número de objetos es un objetivo, por ejemplo, la unidad de control 11 muestra la imagen de celda 51 en la que el número de objetos presentes en cada área de imagen se muestra en forma de gráfico o similar.
Después de la ejecución del procesamiento en la etapa S74 o si se determina “NO” en la etapa S73, la unidad de control 11 determina si se acepta o no la entrada de designación para designar el cambio del punto de tiempo de captura de las imágenes de celda 51 a otro punto de tiempo (etapa S75). Si se determina que se acepta la entrada de designación para designar el punto de tiempo de captura (S75: SÍ), la unidad de control 11 cambia la pantalla a las imágenes de celda 51 en el punto de tiempo designado y muestra las imágenes de celda 51 cambiadas (etapa S76). Después de la ejecución del procesamiento en la etapa S76 o si se determina “NO” en la etapa S75, la unidad de control 11 determina si se acepta o no la entrada de valores establecidos de la cantidad de nubes y/o el ángulo fuera del nadir (etapa S77). Si se determina que se aceptan las entradas de valores establecidos de la cantidad de nubes y/o del ángulo fuera del nadir (etapa S77: SÍ), la unidad de control 11 cambia la visualización de las imágenes de celda 51 de manera tal que una imagen de celda 51 que satisface el valor establecido y una imagen de celda 51 que no satisface el valor establecido se muestran de una manera diferente (etapa<s>78).
Después de la ejecución del procesamiento en la etapa S78 o si se determina “NO” en la etapa S77, la unidad de control 11 determina si se acepta o no una solicitud de compra de las imágenes de celda 51 desde el terminal 2 (etapa S79). Si se determina que no se acepta una solicitud de compra (S79: NO), la unidad de control 11 devuelve el procesamiento a la etapa S73. Si se determina que se acepta una solicitud de compra (etapa S79: SÍ), la unidad de control 11 acepta la entrada de designación para designar un objeto objetivo deseado por el usuario como un objeto a clasificar (etapa S80). La unidad de control 11 envía las imágenes de celda 51 que contienen el resultado de clasificación del objeto objetivo designado al terminal 2, hace que el terminal 2 descargue las imágenes de celda 51 (etapa S81) y finaliza la serie de procesamiento.
Por lo tanto, de acuerdo con la Realización 1, es posible adquirir inmediatamente imágenes satelitales fáciles de manejar (información de observación).
Además, de acuerdo con la realización 1, se muestra en la imagen del mapa una vista previa de la imagen de celda en la región designada por el usuario. Esto permite captar fácilmente la ubicación de la imagen de celda 51 como objetivo para comprar (usar).
Además, de acuerdo con la Realización 1, es posible comprar (utilizar) una imagen satelital en un punto de tiempo arbitrario a partir de las respectivas imágenes satelitales capturadas en los puntos de tiempo pasados almacenados en la base de datos de imágenes 142.
Además, de acuerdo con la Realización 1, las imágenes de celda 51 compradas se pueden explorar fácilmente mientras que la compra adicional de una imagen de celda 51 se puede realizar fácilmente.
Además, de acuerdo con la Realización 1, las imágenes de celda 51 se pueden limitar dependiendo de la cantidad de nubes y/o del ángulo fuera del nadir, con lo que se puede adquirir fácilmente una imagen de celda deseada 51.
Además, de acuerdo con la Realización 1, al utilizar los clasificadores construidos por medio de aprendizaje automático, se puede extraer y proporcionar (presentar) un objeto objetivo deseado a partir de la imagen satelital. Además, de acuerdo con la Realización 1, se realiza la clasificación de la cubierta terrestre utilizando el clasificador de cubierta terrestre 143 para proporcionar de este modo al usuario información sobre la cubierta terrestre que cubre la región objetivo.
Además, de acuerdo con la Realización 1, utilizando el clasificador de objetos 144, se puede proporcionar al usuario información sobre la cantidad de objetos específicos (objetos móviles, por ejemplo) contenidos en la imagen satelital. En particular, en la presente realización, el área de imagen que se va a introducir se reduce utilizando el resultado de clasificación de la cubierta terrestre realizada por el clasificador de cubierta terrestre 143, lo que da como resultado una reducción en la carga de procesamiento.
Realización 2
En la presente realización, se describe un modo que permite al usuario comprar en bloque imágenes satelitales capturadas durante el período de tiempo designado por el usuario.
Las Figuras 17 y 18 ilustran cada una un ejemplo de una pantalla de visualización de acuerdo con la Realización 2. El esquema de la presente realización se describirá con referencia a las Figuras 17 y 18.
La Figura 17 muestra un ejemplo de una pantalla de visualización obtenida cuando el usuario designa múltiples áreas a ser compradas a partir de la imagen del mapa. Si se designan múltiples áreas a ser compradas, el terminal 2 muestra un menú de operación a la derecha de la pantalla para aceptar la entrada de operación sobre si las imágenes de celda 51 se deben comprar o no en bloque mientras se designa el período de tiempo de captura, por ejemplo. Si se acepta la entrada de designación para designar el período de tiempo de captura en el menú de operación, el terminal 2 registra en el carrito las imágenes de celda 51 obtenidas extrayendo las áreas de imagen respectivas correspondientes a las áreas múltiples designadas de las imágenes de satélite respectivas capturadas en múltiples puntos de tiempo de captura incluidos en el período designado. Naturalmente, puede ser posible mostrar una imagen de vista previa antes del registro en el carrito.
Si las imágenes de celda 51 relacionadas con los puntos de tiempo de captura respectivos están registradas en el carrito, el terminal 2 cambia a la aplicación de compra en respuesta a la entrada de operación por parte del usuario y accede al servidor 1 para realizar el proceso de compra. En este caso, el terminal 2 acepta la entrada de designación para designar un objeto objetivo a clasificar y transmite una solicitud de compra para las imágenes de celda 51 que incluye los detalles de la designación al servidor 1 de manera similar a la Realización 1. Si se acepta la solicitud de compra del terminal 2, el servidor 1 envía al terminal 2 un grupo de imágenes (grupo de información de observación) que consiste en imágenes de celda 51, 51, 51... en los puntos de tiempo a cada uno de los cuales se agrega un resultado de clasificación del objeto objetivo designado y hace que el terminal 2 descargue el grupo. De acuerdo con el procesamiento descrito anteriormente, el usuario puede comprar las imágenes de celda 51 capturadas en un período de tiempo arbitrario en bloque mediante el procesamiento descrito anteriormente, lo que resulta en una mayor comodidad para el usuario.
La Figura 18 muestra un ejemplo de una pantalla de visualización en el momento de mostrar el resultado de clasificación del objeto objetivo relacionado con las imágenes de celda adquiridas 51. Por ejemplo, si se acepta la entrada de designación de la imagen de celda 51 en la pantalla de visualización en la Figura 10 de manera similar a la Realización 1, el terminal 2 muestra el resultado de clasificación relacionado con el objeto objetivo de la imagen de celda designada 51. En este caso, el terminal 2 muestra en series de tiempo el grupo de imágenes que incluye la imagen de celda designada 51 y consiste en múltiples imágenes de celda 51 obtenidas al fotografiar la misma región que la imagen de celda designada 51 en diferentes puntos de tiempo de captura. Por ejemplo, el terminal 2 reproduce vídeo de las respectivas imágenes de celda 51 capturadas en los múltiples puntos de tiempo de captura en la serie de tiempo cuadro por cuadro.
En este caso, el terminal 2 muestra una cubierta terrestre mediante un código de colores y el número de objetos en movimiento en forma de gráfico para la imagen de celda 51 capturada en cada uno de los puntos de tiempo. De este modo, el terminal 2 puede mostrar cambios en series temporales del objeto objetivo, como una cubierta terrestre, un objeto en movimiento, etc. De este modo, el usuario puede captar el cambio del estado y la situación del objeto objetivo designado, así como también puede comprar las imágenes de celda 51 en bloque.
La Figura 19 es un diagrama de flujo de un ejemplo del procedimiento de procesamiento del proceso de compra de imágenes de acuerdo con la Realización 2.
Después de aceptar la entrada de designación para designar múltiples áreas en la imagen del mapa (etapa S53), la unidad de control 11 del servidor 1 ejecuta el siguiente procesamiento. La unidad de control 11 determina si se acepta o no la entrada de designación para designar un período de tiempo de captura que se va a comprar para las imágenes de celda 51 correspondientes a las áreas designadas (etapa S201). Si se determina que no se acepta la entrada de designación para un período de tiempo (S201: NO), la unidad de control 11 cambia el procesamiento a la etapa S54.
Si se determina que se acepta la entrada de designación para un período de tiempo (S201: SÍ), la unidad de control 11 registra en el carrito de compras del usuario el grupo de imágenes que consiste en imágenes de celda 51 respectivas capturadas en múltiples puntos de tiempo incluidos en el período de tiempo designado y que corresponde a las áreas designadas en la etapa S53 (etapa S202). La unidad de control 11 determina si se acepta o no una solicitud de compra para comprar las imágenes de celda 51 registradas en el carrito de compras (etapa S203). Si se determina que no se acepta una solicitud de compra (S203: NO), la unidad de control 11 devuelve el procesamiento a la etapa S201. Si se determina que se acepta una solicitud de compra (S203: SÍ), la unidad de control 11 cambia el procesamiento a la etapa S60.
La Figura 20 es un diagrama de flujo de un ejemplo del procedimiento de procesamiento del procesamiento de exploración de imágenes de acuerdo con la Realización 2.
Si se acepta desde el terminal 2 la determinación de la entrada de designación para la imagen de celda 51 para la que se va a visualizar el resultado de clasificación relacionado con el objeto objetivo (S73: SÍ), la unidad de control 11 del servidor 1 ejecuta el siguiente procesamiento. La unidad de control 11 muestra en series temporales el grupo de imágenes que incluye la imagen de celda designada 51 y que consiste en múltiples imágenes de celda 51 obtenidas al fotografiar la misma región que la imagen de celda designada 51 en diferentes puntos de tiempo de captura (etapa S221). Por ejemplo, la unidad de control 11 reproduce un vídeo de las imágenes de celda 51 como se ha descrito anteriormente. En este caso, la unidad de control 11 puede mostrar un vídeo que muestra el cambio en series temporales del objeto objetivo mostrando la cubierta terrestre mediante codificación de colores y el número de objetos en movimiento en forma de gráfico para la imagen de celda 51 capturada en cada uno de los puntos de tiempo de captura. La unidad de control 11 desplaza el procesamiento a la etapa S75.
Como tal, de acuerdo con la Realización 2, es posible comprar al por mayor las imágenes de celda 51 capturadas en múltiples puntos de tiempo de captura, lo que resulta en una mayor comodidad para el usuario. Además, de acuerdo con la Realización 2, se hace posible que el usuario capte el cambio de la serie temporal de un objeto objetivo mediante la provisión de imágenes de celda 51 capturadas en múltiples puntos de tiempo de captura a cada uno de los cuales se añade el resultado de clasificación del objeto objetivo.
Realización 3
En la presente realización se describe un modo que permite al usuario buscar una imagen deseada entre las imágenes de satélite almacenadas en la base de datos de imágenes 142.
La Figura 21 ilustra el esquema de la Realización 3. Como se ha descrito anteriormente, el servidor 1 almacena cada una de las imágenes de satélite adquiridas del satélite 3 y los resultados de clasificación obtenidos clasificando un objeto objetivo contenido en cada una de las imágenes de satélite mediante el clasificador de cubierta terrestre 143 y el clasificador de objetos móviles en asociación con la región objetivo y el punto de tiempo de captura de la imagen satelital en la base de datos de imágenes 142. En la presente realización, el usuario puede buscar en la base de datos de imágenes 142 una imagen deseada mientras utiliza un objeto objetivo como consulta de búsqueda. El esquema de la presente realización se describirá con referencia a la Figura 21.
Por ejemplo, el terminal 2 acepta una entrada de designación para designar el tipo de un objeto objetivo (cubierta terrestre u objeto móvil) como una consulta de búsqueda y transmite la solicitud de búsqueda al servidor 1. Se hace notar que la terminal 2 puede emitir una solicitud de búsqueda al tiempo que designa criterios de búsqueda más detallados, tales como el tamaño (área) de una cubierta terrestre, el umbral para la cantidad de objetos móviles, etc. en relación con el objeto objetivo.
Si se acepta la solicitud de búsqueda del terminal 2, el servidor 1 busca en la base de datos de imágenes 142 imágenes de celda 51 que contengan el objeto objetivo designado por el usuario con referencia al resultado de clasificación del objeto objetivo asociado con cada una de las imágenes de satélite (imágenes de celda 51). El servidor 1 envía el resultado de la búsqueda al terminal 2 y hace que el terminal 2 muestre el resultado de la búsqueda. Como se ilustra en la Figura 21, por ejemplo, el servidor 1 muestra las imágenes en miniatura de las imágenes de celda 51 buscadas en forma de lista.
Por ejemplo, el terminal 2 acepta una entrada de selección para seleccionar cualquiera de las imágenes de celda 51 mostradas en forma de lista como resultado de búsqueda y muestra una imagen de vista previa que muestra la imagen de celda seleccionada 51 superpuesta sobre la imagen del mapa. En este caso, el terminal 2 puede mostrar una imagen de vista previa de toda o parte de la información sobre el objeto objetivo como una consulta de búsqueda, tal como una cubierta terrestre, un objeto móvil, etc. El servidor 1 acepta la operación de registro de la imagen de celda 51 en el carrito, luego acepta una solicitud de compra para la imagen de celda 51 y envía la imagen de celda 51 que incluye el resultado de clasificación del objeto objetivo que se va a buscar al terminal 2.
La Figura 22 es un diagrama de flujo de un ejemplo de un procedimiento de procesamiento ejecutado por un servidor 1 de acuerdo con la Realización 3.
La unidad de control 11 del servidor 1 acepta la entrada de designación para designar un objeto objetivo que se va a buscar (etapa S301). La unidad de control 11 busca en la base de datos de imágenes 142 imágenes satelitales (imágenes de celda 51) que incluyan el objetivo designado (etapa S302). La unidad de control 11 envía el resultado de la búsqueda al terminal 2 (etapa S303). Por ejemplo, la unidad de control 11 muestra las imágenes en miniatura de las imágenes de celda buscadas 51. En este caso, la unidad de control 11 puede enviar toda o parte de la información sobre el objeto objetivo como una consulta de búsqueda para las imágenes de celda buscadas 51 al terminal 2 y hace que el terminal 2 la muestre.
La unidad de control 11 acepta la entrada de selección para seleccionar cualquiera de las imágenes de celda 51 mostradas como resultado de búsqueda y hace que el terminal 2 muestre una pantalla de vista previa que muestra que la imagen de celda 51 seleccionada está superpuesta en el mapa (etapa S304). La unidad de control 11 acepta la operación de registro de la imagen de celda 51 previsualizada en el carrito (etapa S305). La unidad de control 11 acepta una solicitud de compra para la imagen de celda 51 registrada en el carrito desde el terminal 2 para realizar el proceso de compra y hace que el terminal 2 descargue la imagen de celda 51 (etapa S306). La unidad de control 11 finaliza la serie de procesamiento.
Como tal, de acuerdo con la Realización 3, es posible buscar en la base de datos de imágenes 142 una imagen satelital que incluya el objeto objetivo designado por el usuario, lo que resulta en una mayor comodidad para el usuario.
Realización 4
En la presente realización, se describe un modo en el que se monitoriza un objeto objetivo basándose en las imágenes satelitales para determinar si ocurre o no un cambio predeterminado en el objeto objetivo.
La Figura 23 ilustra el esquema de la Realización 4. En la presente realización, el servidor 1 detecta un fenómeno predeterminado que ocurre en una región objetivo a partir de las imágenes satelitales captadas continuamente por el satélite 3 basándose en un cambio de serie temporal de un resultado de clasificación del objeto objetivo por el clasificador de cubierta terrestre 143 o similar e informa del fenómeno al usuario. El fenómeno como objetivo a ser monitorizado es un fenómeno relacionado con un desastre tal como un deslizamiento de tierra, una erupción volcánica o similar.
La presente realización se describirá con referencia a la Figura 23.
Por ejemplo, el terminal 2 primero registra previamente una región objetivo que se va a monitorizar y un fenómeno que se va a monitorizar. Por ejemplo, el terminal 2 acepta la entrada de designación para designar una región objetivo por parte del usuario, cuando este designa la región que se va a monitorizar en la imagen del mapa de manera similar a la Figura 6. Además, el terminal 2 acepta la entrada de designación en cuanto al tipo de fenómeno desastroso que se va a monitorizar, como un deslizamiento de tierra, una erupción volcánica, etc. El terminal 2 transmite los diversos tipos de información designados al servidor 1 y los registra previamente. Cada vez que el servidor 1 adquiere una imagen satelital obtenida al fotografiar la región objetivo desde el satélite 3, introduce la imagen satelital en el clasificador de cubierta terrestre 143 y obtiene el resultado de clasificación de la cubierta terrestre. En este caso, el servidor 1 determina si se produce o no un cambio del objeto objetivo correspondiente al fenómeno previamente registrado, comparando el resultado de clasificación de la cubierta terrestre clasificada con base en la imagen satelital adquirida previamente y el resultado de clasificación de la cubierta terrestre clasificada con base en la imagen satelital adquirida actualmente para la imagen satelital de la región objetivo. Por ejemplo, si se designa un deslizamiento de tierra como un fenómeno a monitorizar, el servidor 1 determina si “bosque” cambia o no a “suelo desnudo”.
Si se determina que se produce un cambio en el objeto objetivo, el servidor 1 informa al terminal 2 de un resultado de determinación. Por ejemplo, el servidor 1 informa al terminal 2 de que el fenómeno registrado previamente se produce en la región objetivo y envía al terminal 2 la imagen satelital que representa la región objetivo y etiquetada con el área de imagen en la que se estima que se produce el fenómeno.
Describiendo con referencia al ejemplo descrito anteriormente, el servidor 1 envía al terminal 2 la imagen satelital etiquetada con el área en la que “bosque” cambia a “tierra desnuda”.
En este caso, el servidor 1 puede generar una imagen satelital como una vista previa, por ejemplo, y luego puede aceptar una solicitud de compra de la imagen satelital desde el terminal 2. Alternativamente, el servidor 1 puede realizar automáticamente un pago por la compra de la imagen satelital y hacer que el terminal 2 descargue la imagen satelital. Por lo tanto, si se determina que se produce un cambio en el objeto objetivo, el servidor 1 puede ejecutar de forma manual o automática el proceso de compra de la imagen satelital etiquetada con el área en la que se produce el cambio.
La Figura 24 es un diagrama de flujo de un ejemplo del procedimiento de procesamiento ejecutado por el servidor 1 de acuerdo con la Realización 4.
La unidad de control 11 del servidor 1 acepta la entrada de designación para designar una región objetivo que se va a monitorizar desde el terminal 2 (etapa S401). La unidad de control 11 acepta además la entrada de designación para designar un fenómeno que se va a monitorizar (cambio en el objeto objetivo) (etapa S402). La unidad de control 11 obtiene un resultado de clasificación del objeto objetivo obtenido clasificando la imagen satelital correspondiente a la región objetivo designada en la etapa S401 a partir de la base de datos de imágenes 142 (etapa S403). La unidad de control 11 determina si se produce o no un cambio del objeto objetivo designado en la etapa S402 en comparación con el resultado de clasificación del objeto objetivo captado en el punto de tiempo de captura anterior (etapa S404).
Si se determina que no se produce ningún cambio (S404: NO), la unidad de control 11 devuelve el procesamiento a la etapa S403. Si se determina que se produce un cambio (404: SÍ), la unidad de control 11 informa el resultado de la determinación al terminal 2 (etapa S405) y finaliza la serie de procesamiento.
Como tal, de acuerdo con la Realización 4, es posible informar automáticamente al usuario sobre un fenómeno predeterminado que ocurre en una región objetivo y utilizar el sistema actual para diversas aplicaciones tales como observación de desastres, etc.
Se debe tener en cuenta que, tal como se utiliza en la presente memoria descriptiva y en las reivindicaciones adjuntas, las formas singulares “un”, “uno”, “una”, “el” y “la” incluyen referentes plurales a menos que el contexto indique claramente lo contrario.
Se debe tener en cuenta que la realización divulgada es ilustrativa y no restrictiva en todos los aspectos. El alcance de la presente invención está definido por las reivindicaciones adjuntas.

Claims (6)

REIVINDICACIONES
1.Un aparato de procesamiento de información (1) para obtener un resultado de clasificación de objeto objetivo, que comprende:
uno o más dispositivos de procesamiento (11); y
uno o más dispositivos de almacenamiento (14) que almacenan instrucciones para hacer que el uno o más dispositivos de procesamiento (11) puedan:
adquirir información de observación obtenida a través de la observación de una región objetivo desde un objeto volador que vuela en el espacio exterior;
aceptar una entrada de designación para designar un objeto objetivo como el objetivo a clasificar; clasificar el objeto objetivo introduciendo la información de observación adquirida en un clasificador entrenado de manera que genere un resultado de clasificación obtenido clasificando el objeto objetivo presente en la región objetivo si se introduce la información de observación; y
generar la información de observación, incluido un resultado de clasificación del objeto objetivo designado,
estando el aparato de procesamiento de informacióncaracterizado por:
en el que, para clasificar el objeto objetivo, las instrucciones hacen que el uno o más dispositivos de procesamiento (11) puedan:
clasificar una cubierta terrestre introduciendo la información de observación en un primer clasificador entrenado de modo que genere un resultado de clasificación por píxel que indica qué tipo de cubierta terrestre que cubre la región objetivo representa cada píxel;
limitar la información de observación extrayendo una información de observación de un área dentro de la región objetivo correspondiente a un tipo de cubierta terrestre con base en el resultado de clasificación de la cubierta terrestre generada desde el primer clasificador; y generar un resultado de clasificación que indica la cantidad de objetos objetivo presentes en el área introduciendo la información de observación extraída a un segundo clasificador entrenado de tal manera que genere un resultado de clasificación que indica la cantidad de objetos objetivo obtenidos mediante el uso de datos de entrenamiento que incluyen una etiqueta que clasifica cada objeto objetivo incluido en la información de observación.
2.El aparato de procesamiento de información (1) de acuerdo con la reivindicación 1, en el que las instrucciones hacen además que uno o más dispositivos de procesamiento (11) puedan:
adquirir una pluralidad de piezas de información de observación obtenidas a través de la observación de la región objetivo en una pluralidad de puntos de tiempo de observación,
aceptar una entrada de designación para designar un período de tiempo que incluye la pluralidad de puntos de tiempo de observación, y
generar un grupo de información de observación que incluye la pluralidad de piezas de la información de observación en la pluralidad de puntos de tiempo de observación incluidos en el período de tiempo, indicando el grupo de información de observación en series de tiempo resultados de clasificación del objeto objetivo obtenidos clasificando la pluralidad de piezas de la información de observación en los puntos de tiempo de observación.
3.El aparato de procesamiento de información (1) de acuerdo con una cualquiera de las reivindicaciones 1 o 2, en el que las instrucciones hacen además que uno o más dispositivos de procesamiento (11) puedan: adquirir una pluralidad de piezas de la información de observación obtenida a través de la observación de una pluralidad de regiones objetivo en la pluralidad de puntos de tiempo de observación, respectivamente,
almacenar la pluralidad de piezas de la información de observación y los resultados de clasificación del objeto objetivo para la respectiva información de observación en asociación entre sí en el uno o más dispositivos de almacenamiento (14),
buscar la información de observación que incluye el objeto objetivo designado desde uno o más dispositivos de almacenamiento (14), y
generar la información de observación buscada.
4.El aparato de procesamiento de información (1) de acuerdo con una cualquiera de las reivindicaciones 1 a 3, en el que las instrucciones hacen además que uno o más dispositivos de procesamiento (11) puedan: adquirir una pluralidad de piezas de la información de observación obtenida a través de la observación de una pluralidad de las regiones objetivo en la pluralidad de puntos de tiempo de observación, respectivamente,
determinar si se produce o no un cambio predeterminado en el objeto objetivo con base en los resultados de clasificación del objeto objetivo de una pluralidad de piezas de la información de observación que están relacionadas con la misma región objetivo y son diferentes en los puntos de tiempo de observación, e
informar un resultado de determinación si ocurre un cambio predeterminado en el objeto objetivo.
5.El aparato de procesamiento de información (1) de acuerdo con una cualquiera de las reivindicaciones 1 a 4, en el que:
la cubierta terrestre incluye una nube que cubre la región objetivo,
las instrucciones hacen además que uno o más dispositivos de procesamiento (11) puedan:
aceptar una entrada de un valor establecido relacionado con una cantidad de nubes en la región objetivo en un punto de tiempo de observación, y
generar la información de observación que satisface el valor establecido.
6.Un procedimiento de procesamiento de información para obtener un resultado de clasificación de objeto objetivo que hace que un ordenador (1) ejecute el procesamiento de:
adquirir información de observación obtenida a través de la observación de una región objetivo desde un objeto volador que vuela en el espacio exterior;
aceptar una entrada de designación para designar un objeto objetivo como el objetivo a clasificar; clasificar el objeto objetivo introduciendo la información de observación adquirida en un clasificador entrenado de manera que genere un resultado de clasificación obtenido clasificando el objeto objetivo presente en la región objetivo si se introduce la información de observación; y
generar la información de observación, incluido un resultado de clasificación del objeto objetivo designado,
estando el procedimiento de procesamiento de informacióncaracterizado por:
en el que, para clasificar el objeto objetivo, el procedimiento de procesamiento de información hace que el ordenador (1) ejecute el procesamiento de:
clasificar una cubierta terrestre introduciendo la información de observación en un primer clasificador entrenado de modo que genere un resultado de clasificación por píxel que indica qué tipo de cubierta terrestre que cubre la región objetivo representa cada píxel;
limitar la información de observación extrayendo una información de observación de un área dentro de la región objetivo correspondiente a un tipo de cubierta terrestre con base en el resultado de clasificación de la cubierta terrestre generada desde el primer clasificador; y generar un resultado de clasificación que indique la cantidad de objetos objetivo presentes en el área introduciendo la información de observación extraída a un segundo clasificador entrenado de tal manera que genere un resultado de clasificación que indique la cantidad de objetos objetivo obtenidos mediante el uso de datos de entrenamiento que incluyen una etiqueta que clasifica cada objeto objetivo incluido en la información de observación.
ES20774207T 2019-03-20 2020-03-02 Information processing apparatus and method for obtaining the number of target objects in an area Active ES3015006T3 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019053502A JP7114082B2 (ja) 2019-03-20 2019-03-20 情報処理装置、情報処理方法及びプログラム
PCT/JP2020/008733 WO2020189242A1 (ja) 2019-03-20 2020-03-02 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
ES3015006T3 true ES3015006T3 (en) 2025-04-28

Family

ID=72520902

Family Applications (1)

Application Number Title Priority Date Filing Date
ES20774207T Active ES3015006T3 (en) 2019-03-20 2020-03-02 Information processing apparatus and method for obtaining the number of target objects in an area

Country Status (5)

Country Link
US (1) US11450100B2 (es)
EP (1) EP3944218B1 (es)
JP (1) JP7114082B2 (es)
ES (1) ES3015006T3 (es)
WO (1) WO2020189242A1 (es)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728447B (zh) * 2019-10-10 2021-03-09 合肥工业大学 一种最早完成区域目标覆盖的分区卫星任务规划方法
WO2023210190A1 (ja) * 2022-04-28 2023-11-02 パイオニア株式会社 情報処理装置、情報処理方法、プログラム及び記録媒体
JP7706416B2 (ja) * 2022-05-16 2025-07-11 三菱電機株式会社 利用装置、利用方法および利用プログラム
JP7410339B1 (ja) 2023-01-10 2024-01-09 株式会社パスコ 識別装置、識別方法およびプログラム
JP7400147B1 (ja) * 2023-02-06 2023-12-18 株式会社Ｑｐｓ研究所 宇宙航行体に関連して用いられる処理装置及びコンピュータプログラム
WO2024176400A1 (ja) * 2023-02-22 2024-08-29 日本電気株式会社 衛星観測支援システム、衛星観測支援方法、および記録媒体
JP2025066568A (ja) * 2023-10-11 2025-04-23 トヨタ自動車株式会社 情報処理装置、及びサーバ装置の動作方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7139794B2 (en) * 2000-12-27 2006-11-21 3-D-V-U Israel (2000) Ltd. System and methods for network image delivery with dynamic viewing frustum optimized for limited bandwidth communication channels
JP2009146262A (ja) 2007-12-17 2009-07-02 Hitachi Software Eng Co Ltd 衛星画像の選択操作支援方法及び装置
US8077918B2 (en) * 2008-08-28 2011-12-13 Google, Inc. Architectures and methods for creating and representing time-dependent imagery
US8667054B2 (en) * 2010-07-12 2014-03-04 Opus Medicus, Inc. Systems and methods for networked, in-context, composed, high resolution image viewing
US9129161B2 (en) * 2013-05-31 2015-09-08 Toyota Jidosha Kabushiki Kaisha Computationally efficient scene classification
US9489581B2 (en) * 2014-08-11 2016-11-08 Nokia Technologies Oy Vehicle counting and emission estimation
US9518837B2 (en) * 2014-12-02 2016-12-13 Here Global B.V. Monitoring and visualizing traffic surprises
US10089554B1 (en) * 2016-03-30 2018-10-02 Descartes Labs, Inc. Creating a boundary map
JP6798854B2 (ja) 2016-10-25 2020-12-09 株式会社パスコ 目的物個数推定装置、目的物個数推定方法及びプログラム
US10546195B2 (en) * 2016-12-02 2020-01-28 Geostat Aerospace & Technology Inc. Methods and systems for automatic object detection from aerial imagery
US10248663B1 (en) * 2017-03-03 2019-04-02 Descartes Labs, Inc. Geo-visual search
US11275989B2 (en) * 2017-05-22 2022-03-15 Sap Se Predicting wildfires on the basis of biophysical indicators and spatiotemporal properties using a long short term memory network
US10255526B2 (en) * 2017-06-09 2019-04-09 Uptake Technologies, Inc. Computer system and method for classifying temporal patterns of change in images of an area
US11373314B2 (en) * 2018-04-05 2022-06-28 Nec Corporation Land mask image generation for ocean surface and land surface
US10755146B2 (en) * 2018-07-25 2020-08-25 University Of Kentucky Research Foundation Network architecture for generating a labeled overhead image
US10984532B2 (en) * 2018-08-24 2021-04-20 Ordnance Survey Limited Joint deep learning for land cover and land use classification

Also Published As

Publication number Publication date
WO2020189242A1 (ja) 2020-09-24
EP3944218A4 (en) 2022-11-30
EP3944218B1 (en) 2025-02-12
US11450100B2 (en) 2022-09-20
EP3944218C0 (en) 2025-02-12
JP2020154835A (ja) 2020-09-24
US20210200984A1 (en) 2021-07-01
JP7114082B2 (ja) 2022-08-08
EP3944218A1 (en) 2022-01-26

Similar Documents

Publication Publication Date Title
ES3015006T3 (en) Information processing apparatus and method for obtaining the number of target objects in an area
US11454500B2 (en) Map feature extraction system for computer map visualizations
Maddern et al. 1 year, 1000 km: The oxford robotcar dataset
Workman et al. A unified model for near and remote sensing
Lisein et al. Aerial surveys using an unmanned aerial system (UAS): comparison of different methods for estimating the surface area of sampling strips
US10755146B2 (en) Network architecture for generating a labeled overhead image
CN113837155B (zh) 图像处理、地图数据更新方法、装置和存储介质
Antwi et al. Detecting school zones on florida’s public roadways using aerial images and artificial intelligence (ai2)
CN113052108A (zh) 基于深度神经网络的多尺度级联航拍目标检测方法和系统
Truong et al. Deep learning to detect road distress from unmanned aerial system imagery
CN117083644A (zh) 用于基于图像的农作物识别的系统和方法
US11074446B2 (en) Information processing apparatus, information processing method and non-transitory computer-readable storage medium
Liu et al. A framework of road extraction from airborne lidar data and aerial imagery
CN114238541B (zh) 敏感目标信息获取方法、装置和计算机设备
Vlachopoulos et al. Delineation of bare soil field areas from unmanned aircraft system imagery with the mean shift unsupervised clustering and the random forest supervised classification
Koc-San et al. A model-based approach for automatic building database updating from high-resolution space imagery
CN115544190B (zh) 语义地图更新方法、装置、计算机设备和存储介质
Lieu et al. A novel approach for estimating sidewalk width from street view images and computer vision
Cho 3D organization of 2D urban imagery
Coulter et al. Satellite Image building detection using U-Net convolutional neural network
Ren et al. Loop closure detection based on feature pyramids and NetVLAD
CN120656068B (zh) 基于空天地一体化技术的输变电工程进度识别方法和装置
Woreket et al. Extracting urban built-up areas from optical and radar data fusion using machine learning algorithms
Hu et al. A Data-Driven Framework for Transferring the Ground-View Image into the Aerial-View Scene
Verma et al. Enhanced Building Footprint Extraction from High-Resolution Satellite Imagery Using U-Net++