ES2906990T3 - Dispositivo de procesamiento de información, método de procesamiento de información y programa - Google Patents

Abstract

Un aparato de procesamiento de información (1) que comprende: una primera unidad de entrada (100A) que recibe una entrada de una imagen de plano de piso de una propiedad inmobiliaria; una segunda unidad de entrada (100B) que recibe una entrada de información de propiedad que incluye información de área de la propiedad inmobiliaria; una unidad de identificación de planos de piso (200) que genera información del plano de piso en función de la imagen del plano de piso; una unidad de generación de modelos (300) que genera un modelo tridimensional de la propiedad inmobiliaria utilizando la información del plano de piso; y una unidad de salida (400) que produce el modelo tridimensional generado, en donde la unidad de identificación de planos de piso (200) incluye: una unidad de detección de segmentos de línea (220) que realiza un proceso de erosión y luego un proceso de detección de segmentos de línea en una imagen resultante de un proceso de binarización realizado en la imagen del plano de piso, y realiza la agrupación en segmentos de línea detectados, detectando así un segmento de línea que corresponde a una pared en un plano de piso; una unidad de procesamiento de segmentación (230) que realiza una operación morfológica de apertura, la cual es una combinación de un proceso de dilatación y un proceso de erosión, y luego un proceso de segmentación en la imagen del plano de piso, identificando así una región de habitación que corresponde a una habitación en el plano de piso; una unidad de reconocimiento de caracteres (240) que reconoce una cadena de caracteres incluida en la imagen del plano de piso; una unidad de detección de accesorios (250) que detecta un signo de accesorio incluido en la imagen del plano de piso; y una unidad de integración (260) que identifica un tipo de habitación de la región de habitación en función de la región de habitación identificada, como resultado del reconocimiento de la cadena de caracteres y como resultado de la detección del signo de accesorio, y complementa una estructura de habitación en función de la región de habitación y el resultado de la detección por parte de la unidad de detección de segmentos de línea (220), y la unidad de generación de modelos (300) incluye: una unidad de estimación (320) que estima una escala del plano de piso en función del plano de piso identificado a partir de la información de plano de piso y la información de área incluida en la información de propiedad; y una unidad de generación (360) que genera un modelo tridimensional de la propiedad inmobiliaria en función del plano de piso identificado a partir de la información de plano de piso, la escala y una altura de techo estimada.

Description

DESCRIPCIÓN

Dispositivo de procesamiento de información, método de procesamiento de información y programa

Campo técnico

La presente invención se refiere a un aparato de procesamiento de información, a un método de procesamiento de información y a un programa para generar un modelo tridimensional de una propiedad inmobiliaria.

Técnica antecedente

Los servicios para proporcionar información sobre propiedades, tales como apartamentos, en sitios web de Internet o similares se han vuelto populares en los últimos años. En tales servicios, por ejemplo, se proporcionan un plano de piso, fotos del interior de una propiedad y su entorno circundante, e información sobre la dirección, área, etc. de la propiedad como información de la propiedad.

También es concebible un servicio para proporcionar no sólo un plano de piso bidimensional sino también información tridimensional en el momento de proporcionar información de la propiedad (por ejemplo, véanse documentos de patente 1 y 2). Por ejemplo, el documento de patente 2 divulga una tecnología para convertir los datos del plano de piso adquiridos de un servidor WEB en una forma estereoscópica tridimensional de acuerdo con una instrucción del lado del visor del plano de piso y, como resultado, un plano de piso estereoscópico tridimensional se visualiza en una pantalla. Lista de citas

Documento de patente

Documento de patente 1: Solicitud de patente japonesa abierta al público núm. 2001-195499

Documento de patente 2: Solicitud de patente japonesa abierta al público núm. 2003-006674

Tabia Hedi et al., "Automatic reconstruction of heritage monuments from old architecture documents", Journal Of Electronic Imaging, SPIE - International Society For Optical Engineering, EE.UU., vol. 26, núm. 1, 1 de noviembre de 2016 (2016/11/01), páginas 1-10, revela un conjunto de algoritmos para el modelado 3D de edificios históricos a partir de una colección de planos arquitectónicos antiguos.

Xuetao Yin et al., "Generating 3D Building Models from Architectural Drawings: A Survey", IEEE Computer Graphics And Applications, vol. 29, núm. 1, enero de 2009 (2009-01), páginas 20-30, presenta una revisión de la investigación sobre la generación automática de modelos de construcción en 3D tanto en papel como en dibujos arquitectónicos basados en CAD.

Breve descripción de la invención

Problema técnico

Sin embargo, una técnica específica que pertenece a la generación de un plano de piso estereoscópico tridimensional específico no se describe en los documentos de patente 1 y 2.

Algunos de los aspectos de la presente invención se han hecho en vista del problema descrito anteriormente, y uno de los objetos es proporcionar un aparato de procesamiento de información, un método de procesamiento de información y un programa que hagan posible de forma adecuada proporcionar información sobre propiedades tridimensionales. Solución al problema

La invención está definida en las reivindicaciones adjuntas.

Por cierto, en la presente invención, "unidad", "medio", "aparato" y "sistema" no significan sólo un medio físico e incluyen un caso donde las funciones de la "unidad", "medio", " aparato" o "sistema" se realizan mediante software. Además, las funciones de una "unidad", "medio", "aparato" o "sistema" pueden ser realizadas por dos o más medios o aparatos físicos, o las funciones de dos o más "unidades", "medios", "aparatos" o "sistemas" pueden realizarse por un medio o aparato físico.

Breve descripción de los dibujos

La figura 1 es un diagrama que muestra una configuración funcional de un aparato de procesamiento de información de acuerdo con una realización.

La figura 2 es un diagrama que muestra una configuración funcional de una unidad de identificación de planos de piso del aparato de procesamiento de información mostrado en la figura 1.

La figura 3 es un diagrama para explicar una realización de parte del procesamiento por parte de la unidad de identificación de planos de piso mostrada en la figura 2.

La figura 4 es un diagrama para explicar una realización de parte del procesamiento por parte de la unidad de identificación de planos de piso mostrada en la figura 2.

La figura 5 es un diagrama que muestra un ejemplo específico de una imagen de plano de piso.

La figura 6 es un diagrama para explicar una realización de parte del procesamiento por parte de la unidad de identificación de planos de piso mostrada en la figura 2.

La figura 7 es un diagrama que muestra una realización de una configuración funcional de un aparato de procesamiento de información que genera un clasificador.

La figura 8 es un diagrama que muestra una realización de la entrada de datos de entrenamiento al clasificador mostrado en la figura 7.

La figura 9 es un diagrama para explicar una realización de parte del procesamiento por parte de la unidad de identificación de planos de piso mostrada en la figura 2.

La figura 10 es un diagrama para explicar una realización de parte del procesamiento por parte de la unidad de identificación de planos de piso mostrada en la figura 2.

La figura 11 es un diagrama para explicar una realización de parte del procesamiento por parte de la unidad de identificación de planos de piso mostrada en la figura 2.

La figura 12 es un diagrama que muestra una configuración funcional de una unidad de generación de modelos del aparato de procesamiento de información mostrado en la figura 1.

La figura 13 es un diagrama para explicar una realización de parte del procesamiento por parte de la unidad de generación de modelos mostrada en la figura 12.

La figura 14 es un diagrama para explicar una realización de parte del procesamiento por parte de la unidad de generación de modelos mostrada en la figura 12.

La figura 15 es un diagrama para explicar una realización de parte del procesamiento por parte de la unidad de generación de modelos mostrada en la figura 12.

La figura 16 es un diagrama que muestra un ejemplo específico de una configuración de hardware del aparato de procesamiento de información de acuerdo con la realización.

Descripción de las realizaciones

A continuación, se describe una realización de la presente divulgación con referencia a los dibujos. Sin embargo, la realización descrita a continuación es sólo un ejemplo, lo que no significa que excluya la aplicación de varias modificaciones y tecnologías no especificadas a continuación. Es decir, la presente invención puede ponerse en práctica con varias modificaciones realizadas sin apartarse del alcance de la invención. Además, en la siguiente descripción de los dibujos, al mismo componente o similar se le asigna el mismo número de referencia o similar. Los dibujos son esquemáticos, y no siempre corresponden a las dimensiones o proporciones reales, etc. También entre dibujos, pueden incluir una parte que difiere una de la otra en la relación o proporción dimensional.

[Primera realización]

[1 Descripción general]

Los servicios de provisión de información inmobiliaria se han hecho muy populares en los últimos años. En tales servicios de provisión de información inmobiliaria, utilizando un navegador o una aplicación dedicada que se ejecuta en un teléfono celular (independientemente de si se trata de un teléfono con funciones o un teléfono inteligente) o un ordenador personal, los usuarios pueden verificar información sobre propiedades tales como apartamentos o casas disponibles para alquiler o compra. La información sobre propiedad incluye, por ejemplo, un plano de piso, fotos del interior de una propiedad y su entorno circundante, e información sobre la dirección, área, etc. de la propiedad.

Sin embargo, los usuarios tienen dificultad para obtener una imagen residencial únicamente a partir de dicha información numérica, literal y bidimensional. También es concebible crear manualmente una imagen de espacio virtual tridimensional, es decir, un modelo 3D de uno a uno; sin embargo, es difícil crear modelos 3D de toda una gran cantidad de propiedades inmobiliarias.

Por lo tanto, un aparato de procesamiento de información de acuerdo con la presente realización genera automáticamente un modelo 3D de una propiedad inmobiliaria a partir de la información de la propiedad que incluye una imagen del plano de piso, fotos del interior, etc. Por consiguiente, basándose en el modelo 3D generado, el aparato de procesamiento de información permite la visualización de la habitación y la simulación del interior en realidad virtual (VR) y promueve la conversación comercial en línea a través de la cual un usuario puede verificar el acabado interior real y el entorno circundante desde su hogar sin tener que ir al sitio real. Además, la guía para la visualización o similar también es posible a través de una llamada al personal de ventas de una empresa inmobiliaria en un espacio virtual del modelo 3D. Además, la venta de la propiedad y la venta de muebles también pueden consolidarse al tener una propuesta del coordinador de interiores para el interior en el espacio virtual.

De esta manera, el aparato de procesamiento de información de acuerdo con la presente realización puede permitir que un usuario tenga una imagen residencial de cada una de las propiedades inmobiliarias que existen en gran cantidad y, como resultado, promover la reubicación.

[2 Configuración funcional]

[2.1 Configuración funcional completa]

La figura 1 muestra una configuración funcional de un aparato de procesamiento de información 1 de acuerdo con una primera realización. Como se muestra en la figura 1, el aparato de procesamiento de información 1 incluye unidades de entrada 100A y 100B, una unidad de identificación de planos de piso 200, una unidad de generación de modelos 300 y una unidad de salida 400.

La unidad de entrada 100A lee, por ejemplo, una imagen de plano de piso que se ha almacenado en un medio de almacenamiento tal como una unidad de disco duro (HDD) por adelantado o una imagen de plano de piso, etc. recibida de otro aparato de procesamiento de información mediante una red. En las figuras 3(a), 4(a), 5, etc., que se describirán posteriormente, se muestran ejemplos específicos de una imagen de plano de piso.

La unidad de entrada 100B lee información diversa (información de la propiedad) sobre una propiedad que pertenece a una imagen del plano de piso leída por la unidad de entrada 100A. La información de propiedad leída por la unidad de entrada 100B puede incluir, por ejemplo, fotos tomadas dentro de la propiedad, información de la ubicación (la dirección, latitud/longitud o similares) e información tal como el acimut, el número de pisos, la edad de la propiedad y la zona exclusiva.

La unidad de identificación de planos de piso 200 realiza un análisis de una imagen de plano de piso ingresada desde la unidad de entrada 100A. El resultado de un análisis de plano de piso obtenido como resultado del análisis puede incluir las posiciones de las paredes, regiones de las habitaciones, propósitos de las habitaciones (comedor, baño, etc.), detección de accesorios (una bañera, un inodoro, una puerta, etc.) y así sucesivamente. Las funciones y configuración de la unidad de identificación de planos de piso 200 se describirán posteriormente con referencia a la figura 2, etc.

La unidad de generación de modelos 300 genera un modelo 3D de una propiedad objetivo, utilizando un resultado de un análisis de una imagen de plano de piso realizada por la unidad de identificación de planos de piso 200 y la información de propiedad ingresada desde la unidad de entrada 100B. Las funciones y configuración de la unidad de generación de modelos 300 se describirán posteriormente con referencia a la figura 12, etc.

La unidad de salida 400 envía un modelo 3D generado por la unidad de generación de modelos 300 al exterior. Son concebibles varios métodos para la salida por parte de la unidad de salida 400. Por ejemplo, es concebible que la unidad de salida 400 envíe el modelo 3D como parte del contenido web para que un usuario pueda ver el interior del modelo 3D representado como un espacio virtual a través de una terminal de cliente mientras cambia su punto de vista de forma arbitraria (mientras se mueve en el espacio virtual). Alternativamente, también es concebible que la unidad de salida 400 envíe el modelo 3D generado a varios medios de almacenamiento, tales como una HDD y una memoria flash. Sin embargo, el método de salida por parte de la unidad de salida 400 no se limita a estos.

[2.2 Configuración funcional de la unidad de identificación de planos de piso 200]

Con posterioridad, la configuración funcional de la unidad de identificación de planos de piso 200 se describe con referencia a la figura 2. Como se muestra en la figura 2, la unidad de identificación de planos de piso 200 incluye una unidad de entrada 210, una unidad de detección de segmentos de línea 220, una unidad de segmentación de regiones 230, una unidad de reconocimiento de caracteres 240, una unidad de detección de accesorios 250, una unidad de integración 260 y una unidad de salida 270.

La unidad de entrada 210 es una interfaz que recibe una entrada de una imagen de plano de piso bidimensional de una propiedad ingresada de la unidad de entrada 100A mostrada en la figura 1. La unidad de entrada 210 envía la imagen del plano de piso ingresada en cada una de la unidad de detección de segmentos de línea 220, unidad de segmentación de regiones 230, unidad de reconocimiento de caracteres 240 y unidad de detección de accesorios 250.

La unidad de detección de segmentos de línea 220 analiza la imagen del plano de piso, detectando así un segmento de línea que se estima corresponde a una pared. Los detalles del procesamiento por parte de la unidad de detección de segmentos de línea 220 se describirán posteriormente con referencia a la figura 3.

La unidad de segmentación de regiones 230 analiza la imagen del plano de piso, detectando así una segmentación de regiones que se estima corresponde a cada habitación. Los detalles del procesamiento por parte de la unidad de segmentación de regiones 230 se describirán posteriormente con referencia a la figura 4.

La unidad de reconocimiento de caracteres 240 analiza la imagen del plano de piso, detectando así una cadena de caracteres incluida en la imagen del plano de piso. Por ejemplo, en un ejemplo de una imagen del plano de piso mostrada en las figuras 3(a) y 5, la unidad de reconocimiento de caracteres 240 puede detectar cadenas de caracteres "habitación con tatami 6"', "habitación con piso de madera 6.5", "DK 7", "habitación con piso de madera 4.5"', "entrada", "armario", "almacén", "'balcón", etc. La unidad de reconocimiento de caracteres 240 se refiere a un diccionario de tipos de habitación 1001 con la cadena de caracteres detectada como una clave como se muestra en la figura 10 que se describirá posteriormente y, por lo tanto, puede identificar qué tipo de habitación indica la cadena de caracteres. Por ejemplo, si se ha registrado una descripción en el sentido de que una cadena de caracteres "DK" indica "cocina-comedor" en el diccionario de tipos de habitación, la unidad de reconocimiento de caracteres 240 puede enviar información sobre "cocina-comedor" a la unidad de integración 260 de manera asociada con las coordenadas donde se ha dispuesto la cadena de caracteres "DK 7"'. Además, si se ha detectado un número como "7" o "6.5", ya que se considera que el número es información que corresponde, por ejemplo, al número de esteras tatamis o similares en una habitación, la unidad de reconocimiento de caracteres 240 puede enviar el número a la unidad de integración 260 de una manera asociada con las coordenadas de posición en las que se ha dispuesto la cadena de caracteres.

La unidad de detección de accesorios 250 analiza la imagen del plano de piso, detectando así un accesorio a partir de un signo o similar incluido en la imagen del plano de piso. Por ejemplo, la unidad de detección de accesorios 250 detecta un signo de inodoro (inodoro), un signo de bañera (bañera), un signo de puerta, un signo de cocina-comedor (cocina), etc. Un proceso de detección realizado por la unidad de detección de accesorios 250 se describirá posteriormente con referencia a la figura 6.

La unidad de integración 260 genera un resultado de análisis del plano de piso al integrar los resultados de los análisis realizados por la unidad de detección de segmentos de línea 220, la unidad de segmentación de regiones 230, la unidad de reconocimiento de caracteres 240 y la unidad de detección de accesorios 250. El método de integración se describirá posteriormente con referencia a las figuras 9 a 11.

La unidad de salida 270 es una interfaz que envía el resultado de análisis del plano de piso generado por la unidad de integración 260 a la unidad de generación de modelos 300 para generar un modelo 3D.

[2.2.1 Procesamiento por unidad de detección de segmentos de línea 220]

A continuación se describe una realización de procesamiento por parte de la unidad de detección de segmentos de línea 220 con referencia a un ejemplo específico de imágenes en la figura 3. La figura 3(a) es un ejemplo específico de una imagen de plano de piso ingresada a la unidad de detección de segmentos de línea 220.

La unidad de detección de segmentos de línea 220 primero convierte la imagen del plano de piso ingresada (figura 3(a)) en una escala de grises que tiene píxeles cuyos valores de píxel son cualquiera de 0 a 255. Luego, la unidad de detección de segmentos de línea 220 genera una imagen binarizada en blanco y negro al binarizar cada uno de los valores de píxel a blanco si es igual o mayor que un umbral (por ejemplo, 100) o negro si es menor que el umbral. La figura 3(b) muestra un ejemplo específico de la imagen en blanco y negro en la que se ha binarizado la imagen del plano de piso de la figura 3(a). Por cierto, en el ejemplo de la figura 3(b), los colores blanco y negro se han invertido.

A continuación, la unidad de detección de segmentos de línea 220 realiza un proceso de contracción sobre la imagen binarizada en blanco y negro generada, el cual se conoce en la técnica como operación morfológica de erosión. A continuación se proporciona una breve descripción del proceso de contracción. En el proceso de contracción, de los valores de píxel de los píxeles ubicados en una región cercana de un píxel objetivo de procesamiento, el valor mínimo deberá ser un valor de píxel del píxel objetivo de procesamiento. Por ejemplo, siempre que los 3x3 píxeles alrededor del píxel objetivo de procesamiento estén en una región cercana, si hay incluso un píxel cuyo valor es 0 (negro) en los 3x3 píxeles, el valor de píxel del píxel objetivo de procesamiento será 0. Por otro lado, si los valores de píxel de todos los píxeles ubicados en la región cercana son 1 (blanco), el valor de píxel del píxel objetivo de procesamiento será 1. Por cierto, en un proceso de expansión (también conocido en la técnica como operación morfológica de dilatación) opuesto al proceso de contracción, de los valores de píxel de los píxeles ubicados en una región cercana de un píxel objetivo de procesamiento, el valor máximo deberá ser un valor de píxel del píxel objetivo de procesamiento. Por ejemplo, siempre que los 3x3 píxeles alrededor del píxel objetivo de procesamiento estén en una región cercana, si hay incluso un píxel cuyo valor es 1 (blanco) en los 3x3 píxeles, el valor de píxel del píxel objetivo de procesamiento será 1. Por otro lado, si los valores de píxel de todos los píxeles ubicados en la región cercana son 0 (negro), el valor de píxel del píxel objetivo de procesamiento será 0. Por cierto, en el proceso de contracción o el proceso de expansión, el tamaño de la región cercana es arbitrario; por ejemplo, una región arbitraria, tal como de 4x4 píxeles, puede establecerse como la región cercana.

La figura 3(c) muestra un resultado del proceso de contracción realizado en la imagen binarizada mostrada en la figura 3(b). Como se muestra en la figura 3(c), en una imagen contraída, las porciones de pared dibujadas gruesas en la figura 3(b) se representan en una pequeña línea delgada, y las líneas, cadenas de caracteres, etc. que representan los accesorios, tales como ventanas y la cocina., dibujadas en una línea más delgada que las paredes se vuelven casi invisibles.

Por cierto, en el caso donde se incluye un carácter en negrita en el plano de piso, el carácter en negrita puede permanecer visible incluso después del proceso de contracción y detectarse como una pared. Por consiguiente, también es concebible que se realice un proceso de detección de caracteres en la imagen del plano de piso por adelantado, y el procesamiento previo de pintar una porción determinada como una cadena de caracteres en el color de una región que rodea la cadena de caracteres por adelantado.

Entonces, la unidad de detección de segmentos de línea 220 realiza la detección de segmentos de línea en la imagen que ha sido sometida al proceso de contracción. Son concebibles varias técnicas para el proceso de detección de segmentos de línea; por ejemplo, es concebible utilizar la transformada probabilística de Hough. En transformada probabilística de Hough, con respecto a la imagen que ha sido sometida al proceso de contracción mostrado en la figura 3(c) como ejemplo específico, en primer lugar, la transformada de Hough detecta una línea recta a través de más puntos característicos (en la presente realización, píxeles cuyos valores de píxel son blancos). A continuación, la unidad de detección de segmentos de línea 220 detecta una porción (un segmento de línea) donde existe una línea con una probabilidad particularmente alta en la línea recta detectada.

Por cierto, el método de detección de segmentos de línea no se limita a una técnica que utiliza la transformada probabilística de Hough y, por ejemplo, también es concebible una técnica que utiliza un detector de segmentos de línea (LSD).

La figura 3(d) muestra un ejemplo específico de la imagen que ha sido sometida al proceso de detección de segmentos de línea realizado en la imagen mostrada en la figura 3(c) por la unidad de detección de segmentos de línea 220. Como se muestra en la figura 3(d), las porciones representadas como paredes en la imagen del plano de piso mostrada en la figura 3(a) están representadas cada una como un segmento de línea.

La unidad de detección de segmentos de línea 220 además realiza un proceso de agrupamiento para consolidar segmentos de línea que se consideran generados a partir de una línea con respecto a cada uno de los segmentos de línea detectados a través del proceso de detección de segmentos de línea. En un caso donde una línea responsable de la detección de un segmento de línea es gruesa o dependiendo del estado de la imagen, como resultado del proceso de detección de segmentos de línea, pueden detectarse dos segmentos de línea en una pared. Por lo tanto, se determina si las coordenadas respectivas de los puntos inicial y final de una de las líneas están o no cerca de la línea de la otra línea y, si los puntos inicial y final de una línea ambos están cerca de la otra línea, la unidad de detección de segmentos de línea 220 realiza un proceso de agrupamiento para consolidar una línea en la otra línea. La figura 3(e) muestra un ejemplo de una imagen obtenida después de que se ha realizado el proceso de agrupación sobre el resultado de la detección de segmentos de línea en la figura 3(d). Los segmentos de línea obtenidos como resultado pueden considerarse partes que corresponden a las paredes en la imagen del plano de piso.

[2.2.2 Procesamiento por parte de la unidad de segmentación de regiones 230]

Con posterioridad, se describe una realización de procesamiento por parte de la unidad de segmentación de regiones 230 con referencia a un ejemplo específico de imágenes en la figura 4. La figura 4(a) es un ejemplo específico de una imagen del plano de piso ingresada a la unidad de segmentación de regiones 230.

La unidad de segmentación de regiones 230 primero realiza la detección de cadenas de caracteres en la imagen del plano de piso ingresada. La unidad de segmentación de regiones 230 realiza, como preprocesamiento, un proceso de borrado de caracteres para pintar una porción determinada como una cadena de caracteres como resultado de la detección de cadena de caracteres en el color de una región que rodea la cadena de caracteres. La figura 4(b) muestra un ejemplo de la imagen que se ha sometido al proceso de borrado de caracteres.

La unidad de segmentación de regiones 230 realiza un proceso de binarización en la imagen que se ha sometido al proceso de borrado de caracteres, generando así una imagen binarizada mostrada en la figura 4(c) como un ejemplo específico. El método para generar una imagen binarizada se describe anteriormente con referencia a la figura 3 y, por lo tanto, se omite aquí la descripción de este método.

La unidad de segmentación de regiones 230 realiza la apertura de una operación morfológica en la imagen binarizada generada. Apertura significa realizar un proceso de contracción después de que se ha realizado un proceso de expansión en una imagen objetivo de procesamiento. Por cierto, la combinación del proceso de expansión y el proceso de contracción puede realizarse más de una vez. El proceso de expansión y el proceso de contracción se describen anteriormente con referencia a la figura 3 y, por lo tanto, se omite aquí la descripción de estos procesos. La figura 4(d) muestra un ejemplo específico de la imagen sometida a la apertura. En el ejemplo de la figura 4(d), puede verse que la mayoría de las porciones que representan ventanas, puertas de corredera, etc. en la imagen del plano de piso de la figura 4(a) se han convertido en líneas negras gruesas y se representan de la misma manera que las paredes.

La unidad de segmentación de regiones 230 realiza un proceso de segmentación sobre la imagen generada a través de la abertura. En el proceso de segmentación, la unidad de segmentación de regiones 230 extrae una región en la que hay píxeles continuos que tienen el mismo valor de píxel en la imagen binarizada, dividiendo así la imagen en múltiples regiones. Se supone que las regiones generadas de esta manera son porciones que corresponden a habitaciones en la imagen del plano de piso.

Por cierto, el proceso de segmentación de regiones no se limita a la técnica descrita anteriormente con referencia a la figura 4. Por ejemplo, también es concebible agregar varios procesos distintos de los descritos anteriormente antes del proceso de segmentación para mejorar la precisión. O bien, sin generar la imagen binarizada, la segmentación puede realizarse por medio de la característica de color. En este caso, por medio de la característica de color, la característica de textura o similar, las regiones que tienen una característica similar pueden determinarse como una región que indica la misma segmentación. También son concebibles otras técnicas de segmentación, por ejemplo, cortes de gráfico o crecimiento de región, detección de bordes, aprendizaje profundo (red neuronal convolucional), método divide y vencerás, etc.

[2.2.3 Procesamiento por parte de la unidad de detección de accesorios 250]

Una realización de procesamiento por parte de la unidad de detección de accesorios 250 se describe con referencia a las figuras 5 a 8. Como se describió anteriormente, la unidad de detección de accesorios 250 detecta un accesorio representado como un signo (en lo sucesivo, también denominado signo de accesorio) en una imagen del plano de piso. Como accesorios que han de detectarse, por ejemplo, son concebibles una taza de inodoro (inodoro), una bañera (baño), una puerta, una cocina integrada (cocina), etc. Aquí se describe principalmente un caso de detección de una puerta. En un ejemplo de una imagen del plano de piso mostrada en la figura 5, se incluyen en la imagen del plano de piso un signo de puerta 51 que corresponde a una puerta de entrada y un signo de puerta 52 que indica una puerta de baño. La unidad de detección de accesorios 250 detecta los signos de puerta 51 y 52.

El flujo de procesamiento por parte de la unidad de detección de accesorios 250 se describe a continuación con referencia a la figura 6. En primer lugar, la unidad de detección de accesorios 250 realiza un procesamiento de imágenes variado, tal como binarización, en una imagen del plano de piso mostrada en la figura 6(a) como ejemplo específico. La figura 6(b) muestra un ejemplo de una imagen que se ha sometido al procesamiento de imágenes. A continuación, la unidad de detección de accesorios 250 explora secuencialmente la imagen que se ha sometido al procesamiento de imágenes (figura 6(c)), extrayendo así una región candidata de signo (figura 6(d)). En este momento, al cambiar el tamaño de una región candidata de signo y al escanear la imagen varias veces, pueden extraerse regiones candidatas de signo de varios tamaños.

Por cierto, el método de extracción de una región candidata de signo no se limita a escanear una imagen objetivo. Por ejemplo, también es concebible que una región candidata de signo se seleccione agrupando regiones similares a nivel de píxel mediante búsqueda selectiva.

La unidad de detección de accesorios 250 calcula una cantidad de características de cada región candidata de signo generada de esta manera. Son concebibles varias cantidades de características que la unidad de detección de accesorios 250 calcula de una región candidata de signo; por ejemplo, la cantidad de características HOG (histogramas de gradientes orientados) es concebible. En el caso de utilizar la cantidad de características HOG, primero, la unidad de detección de accesorios 250 divide una imagen ingresada (una región candidata de signo aquí) en bloques de, por ejemplo, 8x8 píxeles. A continuación, la unidad de detección de accesorios 250 calcula el gradiente de intensidad (la dirección de borde) en una región local, desde una porción brillante hacia una porción oscura, con respecto a cada uno de los píxeles respectivos incluidos en los bloques. Al sumar este gradiente de intensidad en cada bloque, se generan tantos histogramas de gradiente de intensidad como número de bloques. Esta agregación de histogramas es una cantidad de características HOG. Por cierto, la cantidad de características calculada por la unidad de detección de accesorios 250 no se limita a la cantidad de características HOG y puede ser, por ejemplo, otras cantidades de características tales como SIFT (transformada de características invariable a escala), SURF (características robustas aceleradas), y LBP (patrón binario local).

La cantidad de características de cada región candidata de signo calculada de esta manera se ingresa a un detector para detectar una signo de accesorio que ha de detectarse (aquí un signo de puerta), por lo que puede detectarse si la región candidata de signo es o no un signo de accesorio que ha de detectarse.

A continuación se describe una realización de un método para generar un detector para detectar un signo de accesorio (un signo de puerta aquí) con referencia a las figuras 7 a 8. La figura 7 es un diagrama que muestra una configuración funcional de un aparato de procesamiento de información 70 que genera el detector para detectar un signo de accesorio. Como se muestra en la figura 7, el aparato de procesamiento de información 70 incluye una unidad de entrada 71, una unidad de cálculo de cantidad de características de imagen 73, una unidad de generación de modelos de aprendizaje por máquina 75 y una unidad de salida 77.

La unidad de entrada 71 recibe entradas de datos correctos y datos incorrectos (en adelante, denominados colectivamente como datos de entrenamiento) necesarios para generar un modelo de aprendizaje por máquina que es un detector. La figura 8 muestra un ejemplo específico de datos correctos y datos incorrectos ingresados a la unidad de entrada 71. Los datos de entrada se componen de una combinación de información (por ejemplo, un indicador) que indica datos correctos o datos incorrectos y una imagen.

La unidad de cálculo de cantidad de características de imagen 73 calcula una cantidad de características de imagen a partir de la imagen de los datos de entrenamiento ingresados. Siempre que la cantidad de características calculada aquí sea la misma que la cantidad de características calculada por la unidad de detección de accesorios 250 descrita anteriormente, puede utilizarse cualquiera de HOG, SIFT, SURF, LBP y similares.

La unidad de generación de modelos de aprendizaje por máquina 75 realiza el aprendizaje por máquina utilizando la cantidad de características de imagen calculada y la información que indica datos correctos o datos incorrectos. Son concebibles varias técnicas de aprendizaje por máquina; por ejemplo, es concebible un aprendizaje profundo utilizando una red neuronal convolucional. En este método de aprendizaje, para cada entrada de datos de entrenamiento, varían los parámetros de los nodos que componen una red neuronal que es un modelo de aprendizaje por máquina. Una gran cantidad de entradas de datos de entrenamiento permiten que el modelo de aprendizaje por máquina determine adecuadamente si es correcto o incorrecto (si es un signo de puerta o no).

La unidad de salida 77 envía el modelo de aprendizaje por máquina generado de esta manera como un detector para detectar un signo de accesorio.

Por cierto, en la realización descrita anteriormente de la unidad de detección de accesorios 250, después de que se selecciona una región candidata de signo de una imagen del plano de piso ingresada, la región candidata de signo se ingresa a un detector que es un modelo de aprendizaje por máquina, por lo que se detecta el accesorio que se va a detectar; sin embargo, la forma de detectar un accesorio no se limita a esto. Por ejemplo, también es concebible que la unidad de detección de accesorios 250 detecte un accesorio utilizando una técnica de aprendizaje profundo para realizar desde la selección de una región candidata de signo hasta la determinación de un signo de accesorio que ha de detectarse, tal como Faster R-CNN.

[2.2.4 Procesamiento por parte de la unidad de Integración 260]

Una realización de procesamiento por parte de la unidad de integración 260 se describe con referencia a las figuras 9 a 11. Como se describió anteriormente, la unidad de integración 260 integra los resultados de la detección por parte de la unidad de detección de segmentos de línea 220, la unidad de segmentación de regiones 230, la unidad de reconocimiento de caracteres 240 y la unidad de detección de accesorios 250, generando así un resultado de análisis del plano de piso.

En primer lugar, se describe un método para integrar un resultado de la detección por parte de la unidad de detección de segmentos de línea 220 y un resultado de la detección por parte de la unidad de segmentación de regiones 230 con referencia a la figura 9. Como se describió anteriormente, la unidad de detección de segmentos de línea 220 detecta un segmento de línea que corresponde a una pared de una propiedad (figura 9(b)) en una imagen del plano de piso (figura 9(a)) ingresada a la unidad de entrada 210. La unidad de segmentación de regiones 230 detecta una región que corresponde a una habitación (figura 9(c)) en la imagen del plano de piso (figura 9(a)).

Aquí, cada habitación está generalmente rodeada por paredes, una ventana, una puerta, una puerta de corredera, etc. Por lo tanto, cada región (en adelante, una región de habitación) detectada como una habitación como resultado de la segmentación de regiones se considera supuestamente rodeada por una ventana, una puerta, etc. además de los segmentos de línea detectados como paredes como resultado de la detección de segmentos de línea. Por consiguiente, la unidad de integración 260 coteja el resultado de la detección por parte de la unidad de detección de segmentos de línea 220 y el resultado de la detección por parte de la unidad de segmentación de regiones 230 para estar en posición (figura 9(d)). Como resultado, si hay una porción abierta de un segmento de línea en la periferia de la región de habitación (una porción de línea de puntos en la figura 9(d)), la unidad de integración 260 establece la porción como una porción que corresponde a una ventana, una puerta, o una puerta de corredera. Específicamente, por ejemplo, una porción abierta hacia el exterior puede configurarse como una ventana o una puerta, y una porción límite entre las regiones de habitación puede configurarse como una puerta de corredera o una puerta. A través de dicho procesamiento, la unidad de integración 260 puede obtener una estructura de habitación. También puede utilizarse el resultado de la detección de un signo de puerta por parte de la unidad de detección de accesorios 250. En este caso, las porciones distintas de la detectada como puerta pueden configurarse como puerta de corredera y ventana.

A continuación, se describe un método para integrar un resultado de la detección por parte de la unidad de segmentación de regiones 230 y los resultados de la detección por parte de la unidad de reconocimiento de caracteres 240 y la unidad de detección de accesorios 250 con referencia a la figura 10.

Como se ha descrito anteriormente, la unidad de segmentación de regiones 230 detecta una región que corresponde a una habitación a partir de una imagen del plano de piso (figura 10(a)). Sin embargo, la característica que tiene cada habitación (por ejemplo, si es una cocina, un comedor, una habitación con piso de madera o un baño) no se encuentra sólo a partir de la división en regiones de habitación. Por consiguiente, la unidad de integración 260 identifica el tipo de habitación o similar a partir de los resultados de la detección por parte de la unidad de reconocimiento de caracteres 240 y la unidad de detección de accesorios 250.

Como se describió anteriormente, la unidad de reconocimiento de caracteres 240 detecta una cadena de caracteres incluida en la imagen del plano de piso (figura 10(a)). En un ejemplo de la figura 10, se detectan las cadenas de caracteres "DK 7", "habitación con piso de madera 4.5", "habitación con tatami 6", "armario", "entrada", etc. encerradas en líneas de puntos en la figura 10(c). La unidad de reconocimiento de caracteres 240 se refiere al diccionario de tipos de habitación 1001 con las cadenas de caracteres detectadas como clave y, por lo tanto, puede identificar "cocinacomedor", "habitación con piso de madera", "habitación con tatami", "armario", etc. que son los tipos de habitaciones. La unidad de integración 260 coteja la posición de una cadena de caracteres (en este ejemplo, "DK 7") mediante la cual se identifica el tipo de habitación como "cocina-comedor" y una región detectada por la unidad de segmentación de regiones 230, y así poder identificar qué región corresponde a "cocina-comedor". Por cierto, la unidad de reconocimiento de caracteres 240 puede identificar información del área (el número de esteras de tatami) de cada habitación también a partir de la cadena de caracteres en la imagen del plano de piso y asociar la información con la habitación.

Como se describió anteriormente, la unidad de detección de accesorios 250 detecta un signo de accesorio incluido en la imagen del plano de piso (figura 10(a)). En un ejemplo de la figura 10, se detectan signos de accesorios tales como una taza de inodoro (inodoro), una bañera (baño), una cocina integrada (cocina), etc. encerrados con líneas discontinuas en la figura 10(c). Por lo tanto, la unidad de integración 260 coteja la posición de dicho signo de accesorio y una región detectada por la unidad de segmentación de regiones 230 y, de este modo, puede identificar qué región corresponde a un "inodoro" o una "bañera".

Con posterioridad, un proceso de integración de una estructura de habitación complementada (figura 11 (a)) obtenida a través del procesamiento descrito con referencia a la figura 9 e información del tipo de habitación (figura 11 (b)) obtenida a través del procesamiento descrito con referencia a la figura 10 se describe con referencia a la figura 11. Por cierto, en la estructura de habitación complementada mostrada en la figura 11 (a), una porción que se estima que es una pared, una porción que se estima que es una puerta, una porción que se estima que es una puerta de corredera y una porción que se estima que es una ventana se manejan por separado. Como se describió anteriormente, por ejemplo, una porción identificada por un signo de puerta puede gestionarse como una puerta; una porción complementada entre habitaciones puede ser manejada como puerta de corredera; una porción complementada entre el exterior y una habitación puede manejarse como una ventana.

La unidad de integración 260 coteja la estructura de habitación complementada mostrada en la figura 11 (a) y la habitación cuyo tipo de habitación se ha identificado mostrada en la figura 11 (b) (figura 11 (c)). Entonces, la unidad de integración 260 representa la estructura de habitación de este plano de piso en forma gráfica (figura 11 (d)). En esta estructura gráfica, cada habitación se representa como un nodo. En un ejemplo de la figura 11 (d), "cocina-comedor" se representa de forma simplista como "DK", y "entrada" se representa de forma simplista como "EN". Una relación de conexión entre habitaciones (una ventana, una puerta, una puerta de corredera, etc.) se representa como un enlace. Por ejemplo, en un caso donde se estima que la cocina-comedor y una habitación con piso de madera están conectadas por una puerta de corredera, se establece un enlace entre un nodo de la cocina-comedor y un nodo de la habitación con piso de madera.

En el gráfico de la estructura de habitación generado de esta manera, si hay una habitación que no está conectada con ninguna otra habitación, es concebible que haya un error en la estructura de habitación estimada. Por lo tanto, en este caso, la unidad de identificación de planos de piso 200 vuelve a realizar el proceso de detección de segmentos de línea, el proceso de complementación de estructura de habitación, etc., cambiando los parámetros. Si la estructura gráfica generada no tiene un gran problema, se pasa un ejemplo específico mostrado en la figura 11 (c) como resultado del análisis del plano de piso a la unidad de salida 270.

[2.3 Configuración funcional de la unidad de generación de modelos 300]

Con posterioridad, la configuración funcional de la unidad de generación de modelos 300 se describe con referencia a la figura 12. Como se muestra en la figura 12, la unidad de generación de modelos 300 incluye unidades de entrada 310A y 310B, una unidad de estimación de escala 320, una unidad de extracción de información de interior 330, una unidad de generación de paisaje circundante 340, una unidad de generación de disposición de muebles 350 y una unidad de generación de modelos 3D 360.

La unidad de entrada 310A recibe una entrada de un resultado de análisis de plano de piso de la unidad de identificación de planos de piso 200 mostrada en la figura 1. Luego, la unidad de entrada 310B recibe una entrada de cada entrada de información de la propiedad desde la unidad de entrada 100B mostrada en la figura 1. La información de propiedad ingresada desde la unidad de entrada 100B incluye, por ejemplo, fotos tomadas dentro de una propiedad, información de ubicación (la dirección, latitud/longitud o similar) e información como el acimut, el número de pisos, la edad de la propiedad, y la zona exclusiva.

La unidad de estimación de escala 320 estima la escala de un plano de piso que pertenece al resultado del análisis del plano de piso. La información de la propiedad incluye información del área exclusiva; sin embargo, se considera que el área dentro del borde exterior del plano de piso que corresponde al resultado del análisis del plano de piso corresponde al área exclusiva de la propiedad y, por lo tanto, la unidad de estimación de escala 320 calcula la escala de acuerdo con la proporción entre las dos.

La unidad de extracción de información de interior 330 analiza una imagen de interior de la propiedad ingresada desde la unidad de entrada 310B. Específicamente, la unidad de extracción de información de interior 330 realiza un proceso de extracción de textura, un análisis de estructura de habitación (por ejemplo, una estimación de la altura de una habitación), etc. Los detalles del procesamiento por parte de la unidad de extracción de información de interior 330 se describirán posteriormente con referencia a las figuras 13 y 14.

La unidad de generación de paisaje circundante 340 genera información de paisaje del paisaje diurno y nocturno visto desde una ventana o similar de la información de la propiedad y de la luz solar. Específicamente, cuando la información de ubicación (por ejemplo, información de latitud/longitud o información de dirección) de la propiedad, la información del aspecto de la propiedad y la información del número de pisos (información de altura) se han ingresado desde la unidad de entrada 310B, la unidad de generación de paisaje circundante 340 adquiere información de paisaje a partir de un servicio de generación de paisaje en Internet (por ejemplo, Google® Earth), información astronómica, datos de duración de luz del sol, etc.

La unidad de generación de disposición de muebles 350 genera información de muebles en 3D para que un usuario pueda imaginar qué tipo de muebles pueden disponerse en un modelo en 3D de la propiedad. La información de muebles en 3D generada en este momento puede prepararse con anticipación, por ejemplo, para cada tipo de habitación en la que se disponga el mobiliario. Puede prepararse una combinación de un sofá y una mesa en una sala, una combinación de una mesa de comedor y sillas de comedor en un comedor, etc. como un modelo de mueble en 3D preparado. La escala de los muebles dispuestos en el modelo 3D de la propiedad puede ajustarse de acuerdo con la escala estimada por la unidad de estimación de escala 320. Por cierto, si un modelo de mueble en 3D no está dispuesto en el modelo 3D de la propiedad, la unidad de generación de disposición de muebles 350 es innecesaria.

La unidad de generación de modelos 3D 360 genera un modelo 3D de la propiedad al integrar el resultado de análisis del plano de piso ingresado y las piezas de información respectivas generadas por la unidad de estimación de escala 320, la unidad de extracción de información de interior 330, la unidad de generación de paisaje circundante 340, y la unidad de generación de disposición de muebles 350. Específicamente, por ejemplo, al brindar un plano de piso bidimensional obtenido como resultado de análisis del plano de piso con la altura detectada por la unidad de extracción de información de interior 330, la propiedad puede representarse en tres dimensiones. Además, se genera un modelo tridimensional que incluye la textura aplicando la información de textura del piso, paredes, etc. extraída por la unidad de extracción de información de interior 330 a la propiedad tridimensional. Al combinar esto con la información de paisaje generada por la unidad de generación de paisaje circundante 340 y el modelo de mueble en 3D generado por la unidad de generación de disposición de muebles 350, la vista desde una ventana, los muebles dispuestos en el interior de la propiedad, etc., puede reproducirse en el modelo 3D. Parte del procesamiento por parte de la unidad de generación de modelos 3D 360 se describirá posteriormente con referencia a la figura 15.

[2.3.1 Proceso de extracción de texturas]

Un proceso de extracción de texturas de una imagen de interior realizado por la unidad de extracción de información de interior 330 se describe a continuación con referencia a la figura 13. Como se describió anteriormente, la unidad de extracción de información de interior 330 realiza un proceso de extracción de texturas de las paredes, el piso y el techo dentro de la propiedad a partir de la imagen de interior ingresada como parte de la información de propiedad. La textura extraída se aplica a las paredes y al piso cuando la unidad de generación de modelos 3D 360 genera un modelo 3D. Para ello, es necesario identificar de qué habitación (la cocina, la sala u otra habitación) es la imagen de interior que ha de procesarse. Además, hay que identificar de qué porción de la imagen se va a extraer la textura que ha de aplicarse al piso, las paredes, etc.

A qué tipo de habitación corresponde la imagen de interior puede determinarse, por ejemplo, mediante un clasificador generado por aprendizaje profundo. El clasificador para determinar la habitación puede generarse mediante el mismo método que, por ejemplo, el detector para detectar un signo de accesorio descrito con referencia a las figuras 7 y 8. Específicamente, por ejemplo, muchas imágenes de la cocina que son datos correctos e imágenes de habitaciones distintas de la cocina, tal como muchas imágenes del baño y la sala, que son datos incorrectos, se ingresan como datos de entrenamiento y pueden generarse por aprendizaje profundo. Se preparan tantos clasificadores como el número de tipos de habitaciones y, por ejemplo, el tipo de habitación más probable puede establecerse como una habitación que corresponde a la imagen de interior ingresada.

A continuación, se describe la extracción de textura. En la extracción de textura, es decir, el color, el patrón, la materia prima asumida, etc., primero, se identifica lo que se muestra en una foto de interior y en qué porción de la foto de interior se encuentra, y luego se analiza la característica de, por ejemplo, una porción donde se muestra una pared o una porción donde se muestra un piso. Por lo tanto, primero, debe realizarse una segmentación para identificar qué se muestra en una foto y en qué posición de la foto se encuentra.

Puede realizarse un proceso de segmentación, por ejemplo, mediante un modelo de aprendizaje profundo. En primer lugar, se preparan datos de entrenamiento en los que se marca con la mano a qué región corresponde una foto de interior, tal como una pared, un sofá, una cama o una mesa. Y se deja que un modelo de aprendizaje profundo diseñado para la segmentación aprenda los datos de entrenamiento. La foto de interior que se va a procesar se ingresa al modelo de aprendizaje profundo aprendido generado de esta manera, por lo que se genera una imagen segmentada mostrada en la figura 13(c) como ejemplo. Como resultado, las regiones detectadas como una pared, un piso, una cocina, etc. (por ejemplo, las regiones punteadas en la figura 13(c) que indican porciones características de la habitación) pueden extraerse como textura.

[2.3.2 Análisis estructural de la imagen de habitación]

El análisis estructural de una imagen de habitación se describe a continuación con referencia a la figura 14. Combinando el análisis estructural de la imagen de habitación con un resultado de análisis del plano de piso o similar, puede estimarse la altura o similar del techo de la habitación.

Se introduce una imagen de interior mostrada en la figura 14(a), y se realiza un proceso de detección de segmentos de línea en la imagen de interior, y luego se genera una imagen mostrada en la figura 14(b). En la figura 14(b), los segmentos de línea detectados se representan en una línea gruesa. Observando la figura 14(b), además de los límites de las paredes, los límites entre un piso y las paredes, los límites entre una puerta y las paredes, etc., porciones de los límites de las chapas de madera del piso, etc. también se detectan como un segmento de línea.

Se aplica un resultado de detección de segmentos de línea a una función de energía. La función de energía se define teniendo en cuenta las longitudes e intersecciones de los segmentos de línea, la configuración de las esquinas, etc. Por ejemplo, los segmentos de línea que son largos, y se cruzan al final de la imagen, y componen una esquina con tres puntos probablemente son segmentos de línea límite que componen la habitación, y por lo tanto pueden definir una función de energía. Por consiguiente, si dicha función de energía se aplica a la detección de segmentos de línea mostrada en la figura 14(b), los límites de las superficies de las paredes, los límites entre el piso y las paredes, los límites entre las paredes y el techo, etc. se detectan como segmentos de línea como se muestra en la figura 14(b).

Cuando los segmentos de línea de los límites de las superficies de las paredes, los límites entre el piso y las paredes, y los límites entre las paredes y el techo que componen la estructura de la habitación se han identificado de esta manera, puede identificarse la relación entre el ancho del plano de piso y la altura del techo. Por consiguiente, en la unidad de generación de modelos 3D 360, al combinar la escala de la propiedad estimada a partir del resultado de análisis del plano de piso y el área de la propiedad con el resultado de análisis de la estructura en la unidad de extracción de información de interior 330, la altura del techo puede ser estimada.

Por cierto, el método de estimación de altura de techo en la unidad de generación de modelos 3D 360 no se limita a esto. Por ejemplo, también es concebible una técnica que utiliza el hecho de que el código de construcción difiere de acuerdo con el año de construcción. En este caso, es concebible que se prepare de antemano una tabla de la altura promedio del techo en cada año de construcción y se aplique la altura del techo de acuerdo con el año de construcción obtenida a partir de la información de la propiedad. Además, en caso de que la estandarización de especificaciones se vea en propiedades de un tipo de cliente, tal como una corporación pública, se prepara una tabla de esta norma.

[2.3.3 Proceso de aplicación de texturas]

A continuación se describe una realización de parte del procesamiento que pertenece a la unidad de generación de modelos 3D 360. Como se describió anteriormente, en la unidad de extracción de información de interior 330, se identifica en qué tipo de habitación y qué tipo de textura se va a aplicar al piso, las paredes, el techo, etc. Por lo tanto, la unidad de generación de modelos 3D 360 puede aplicar la textura extraída en la unidad de extracción de información de interior 330 al piso, las paredes, el techo, etc. de una habitación que corresponde al tipo en el resultado de análisis del plano de piso.

Alternativamente, en un caso donde puede adquirirse una imagen panorámica tomada circunferencialmente de una habitación, es concebible establecer la posición de la imagen panorámica y luego pegarla directamente como textura. La figura 15(a) muestra un ejemplo específico de la imagen panorámica. La unidad de extracción de información de interior 330 realiza la compensación de curvas en la imagen. Además, la unidad de extracción de información de interior 330 identifica estructuras mostradas en la imagen por segmentación y también identifica su relación posicional (ángulo relativo) (figura 15(b)).

La unidad de generación de modelos 3D 360 que ha recibido la información busca una habitación que corresponde a la relación de posición relativa de las estructuras en estructuras de habitaciones incluidas en el resultado del análisis de plano de piso. Por ejemplo, si hay una habitación donde el ángulo relativo de una puerta, una ventana y una puerta de almacenamiento corresponde aproximadamente al ángulo relativo identificado en la imagen panorámica, resulta que la habitación corresponde a la imagen panorámica. Por lo tanto, la unidad de generación de modelos 3D 360 puede colocar las estructuras en posición y luego aplicar la imagen panorámica como textura de la habitación.

[3 Configuración de hardware]

Una configuración de hardware del aparato de procesamiento de información 1 se describe con referencia a la figura 16. Como se muestra en la figura 16, el aparato de procesamiento de información 1 incluye una unidad de control 1601, una unidad de interfaz de comunicación (I/F) 1605, una unidad de almacenamiento 1607, una unidad de visualización 1611 y una unidad de entrada 1613; estas unidades están conectadas mediante una línea de bus 1615.

La unidad de control 1601 incluye una unidad central de procesamiento (CPU) (no mostrada), una memoria de sólo lectura (ROM) (no mostrada), una memoria de acceso aleatorio (RAM) 1603, etc. La unidad de control 1601 ejecuta un programa de control 1609 almacenado en la unidad de almacenamiento 1607, por lo que se configura para tener funciones de un ordenador general y es capaz de ejecutar el proceso descrito anteriormente para generar un modelo 3D a partir de una imagen de plano de piso e información de propiedad. Por ejemplo, las unidades de entrada 100A y 100B, la unidad de identificación de plano de piso 200, la unidad de generación de modelos 300 y la unidad de salida 400 descritas anteriormente con referencia a la figura 1 pueden realizarse como el programa de control 1609 que se almacena temporalmente en la RAM 1603 y luego se ejecuta en la CPU.

Además, a parte de los códigos incluidos en el programa de control 1609, la RAM 1603 contiene temporalmente parte o la totalidad de la imagen de plano de piso ingresada y otra información de propiedad, etc. Por otra parte, la RAM 1603 también se utiliza como un área de trabajo cuando la CPU realiza varios procesos.

La unidad de I/F de comunicación 1605 es un dispositivo para la comunicación alámbrica o inalámbrica de datos con un dispositivo externo cuando es necesario. Por ejemplo, la imagen de plano de piso y la otra información de propiedad pueden ser las recibidas desde la unidad de I/F de comunicación 1605. Además, el modelo 3D creado puede transmitirse, por ejemplo, a una terminal de cliente mediante una red a través de la unidad de I/F de comunicación 1605.

La unidad de almacenamiento 1607 es un medio de almacenamiento no volátil tal como una unidad de disco duro (HDD) o una memoria flash. La unidad de almacenamiento 1607 almacena en la misma un sistema operativo (OS) y aplicaciones para realizar funciones de un ordenador general y datos (no mostrados). Además, la unidad de almacenamiento 1607 almacena en la misma el programa de control 1609. Como se describió anteriormente, las unidades de entrada 100A y 100B, la unidad de identificación de plano de piso 200, la unidad de generación de modelos 300 y la unidad de salida 400 mostradas en la figura 1 pueden incluirse en el programa de control 1609.

La unidad de visualización 1611 es un dispositivo de visualización para presentar una variedad de información a un usuario. Ejemplos específicos de la unidad de visualización 1611 incluyen, por ejemplo, una pantalla de cristal líquido, una pantalla de electroluminiscencia orgánica y similares. El modelo 3D enviado desde la unidad de salida 400 puede visualizarse en la unidad de visualización 1611.

La unidad de entrada 1613 es un dispositivo para aceptar una entrada de un administrador. Ejemplos específicos de la unidad de entrada 1613 incluyen un teclado y un ratón, un panel táctil, etc.

Por cierto, el aparato de procesamiento de información 1 no siempre tiene que incluir la unidad de visualización 1611 y la unidad de entrada 1613. Además, la unidad de visualización 1611 y la unidad de entrada 1613 pueden conectarse externamente al aparato de procesamiento de información 1 mediante varias interfaces, tales como un bus de serie universal (USB) y un tablero de visualización.

[4 Efectos de la presente realización]

Como se describió anteriormente, el aparato de procesamiento de información 1 de acuerdo con la presente realización genera automáticamente un modelo 3D de una propiedad inmobiliaria a partir de la información de propiedad que incluye una imagen del plano de piso, fotos del interior, etc. Por consiguiente, basándose en el modelo 3D generado, el aparato de procesamiento de información permite la visualización de habitaciones y la simulación del interior en realidad virtual. Además, la guía para la visualización o similar también es posible a través de una llamada al personal de ventas de una empresa inmobiliaria en un espacio virtual del modelo 3D. Además, la venta de la propiedad y la venta de muebles también pueden consolidarse al tener una propuesta del coordinador de interiores para el interior en el espacio virtual.

[5 Nota]

La realización descrita anteriormente es para facilitar la comprensión de la presente invención y no para interpretar la presente invención de manera limitada. Los componentes y su disposición, el material, las condiciones, la forma, el tamaño, etc. incluidos en la realización no se limitan a los proporcionados como ejemplo y pueden cambiarse arbitrariamente, y las configuraciones mostradas en diferentes realizaciones pueden reemplazarse parcialmente o combinarse, siempre que no se aparten del alcance de la invención tal como se define en las reivindicaciones adjuntas.

Lista de signos de referencia

1 aparato de procesamiento de información

70 aparato de procesamiento de información

71 unidad de entrada

73 unidad de cálculo de cantidad de características de imagen

75 unidad de generación de modelos de aprendizaje por máquina

77 unidad de salida

100A, 100B unidad de entrada

200 unidad de identificación de plano de piso

210 unidad de entrada

220 unidad de detección de segmentos de línea

230 unidad de segmentación de regiones

240 unidad de reconocimiento de caracteres

250 unidad de detección de accesorios

260 unidad de integración

270 unidad de salida

300 unidad de generación de modelos

310A, 310B unidad de entrada

320 unidad de estimación de escala

330 unidad de extracción de información de interior

340 unidad de generación de paisaje circundante

15 350 unidad de generación de disposición de muebles

360 unidad de generación de modelos 3D

400 unidad de salida

1601 unidad de control

1603 RAM

1605 unidad de I/F (interfaz) de comunicación

1607 unidad de almacenamiento

1609 programa de control

1611 unidad de visualización

1613 unidad de entrada

1615 línea de bus

Claims (7)

REIVINDICACIONES

1. Un aparato de procesamiento de información (1) que comprende:

una primera unidad de entrada (100A) que recibe una entrada de una imagen de plano de piso de una propiedad inmobiliaria;

una segunda unidad de entrada (100B) que recibe una entrada de información de propiedad que incluye información de área de la propiedad inmobiliaria;

una unidad de identificación de planos de piso (200) que genera información del plano de piso en función de la imagen del plano de piso;

una unidad de generación de modelos (300) que genera un modelo tridimensional de la propiedad inmobiliaria utilizando la información del plano de piso; y una unidad de salida (400) que produce el modelo tridimensional generado, en donde la unidad de identificación de planos de piso (200) incluye:

una unidad de detección de segmentos de línea (220) que realiza un proceso de erosión y luego un proceso de detección de segmentos de línea en una imagen resultante de un proceso de binarización realizado en la imagen del plano de piso, y realiza la agrupación en segmentos de línea detectados, detectando así un segmento de línea que corresponde a una pared en un plano de piso;

una unidad de procesamiento de segmentación (230) que realiza una operación morfológica de apertura, la cual es una combinación de un proceso de dilatación y un proceso de erosión, y luego un proceso de segmentación en la imagen del plano de piso, identificando así una región de habitación que corresponde a una habitación en el plano de piso; una unidad de reconocimiento de caracteres (240) que reconoce una cadena de caracteres incluida en la imagen del plano de piso;

una unidad de detección de accesorios (250) que detecta un signo de accesorio incluido en la imagen del plano de piso; y

una unidad de integración (260) que identifica un tipo de habitación de la región de habitación en función de la región de habitación identificada, como resultado del reconocimiento de la cadena de caracteres y como resultado de la detección del signo de accesorio, y complementa una estructura de habitación en función de la región de habitación y el resultado de la detección por parte de la unidad de detección de segmentos de línea (220), y

la unidad de generación de modelos (300) incluye:

una unidad de estimación (320) que estima una escala del plano de piso en función del plano de piso identificado a partir de la información de plano de piso y la información de área incluida en la información de propiedad; y

una unidad de generación (360) que genera un modelo tridimensional de la propiedad inmobiliaria en función del plano de piso identificado a partir de la información de plano de piso, la escala y una altura de techo estimada.

2. El aparato de procesamiento de información (1) de acuerdo con la reivindicación 1, en donde

la información de propiedad ingresada desde la segunda unidad de entrada (100B) incluye una foto de interior tomada en la propiedad inmobiliaria,

la unidad de generación de modelos (300) además incluye una unidad de extracción de información de interior (330) que identifica uno o más objetos mostrados en la foto de interior mediante un proceso de segmentación en la foto de interior y extrae porciones de los objetos que corresponden al menos a una pared y un piso como textura, y

la unidad de generación (360) aplica la textura a, de las habitaciones incluidas en el modelo tridimensional, una habitación que se estima corresponde a la foto de interior.

3. El aparato de procesamiento de información (1) de acuerdo con la reivindicación 2, en donde

la unidad de extracción de información de interior (330) identifica una relación de una línea en un plano de cuatro lados y una línea en una dirección de altura a partir de la detección de segmentos de línea en la foto de interior y una estimación de un segmento de línea límite basado en una función de energía, y

la unidad de generación de modelos (330) estima la altura del techo de acuerdo con el plano de piso, la escala y la relación.

4. El aparato de procesamiento de información (1) de acuerdo con la reivindicación 1 o 2, en donde la unidad de generación (360) estima la altura del techo de acuerdo con el año de construcción de la propiedad inmobiliaria.

5. El aparato de procesamiento de información (1) de acuerdo con cualquiera de las reivindicaciones 1 a 4, en donde

la información de propiedad ingresada desde la segunda unidad de entrada (100B) incluye información de ubicación de la propiedad inmobiliaria,

la unidad de generación de modelos (300) además incluye una unidad de generación de información de paisaje (340) que adquiere información del paisaje de la propiedad inmobiliaria a partir de la información de ubicación, y la unidad de generación (360) aplica la información de paisaje al modelo tridimensional .

6. Un método de procesamiento de información para un aparato de procesamiento de información (1) para realizar:

un primer paso de recibir una entrada de una imagen del plano de piso de una propiedad inmobiliaria;

un segundo paso de recibir una entrada de información de propiedad que incluye información de área de la propiedad inmobiliaria;

un tercer paso de generar información del plano de piso en función de la imagen del plano de piso;

un cuarto paso de generar un modelo tridimensional de la propiedad inmobiliaria utilizando la información del plano de piso; y

un quinto paso de producir el modelo tridimensional generado, en donde el tercer paso incluye:

un paso de realizar un proceso de erosión y luego un proceso de detección de segmentos de línea en una imagen resultante de un proceso de binarización realizado en la imagen del plano de piso, y realizar agrupamiento en segmentos de línea detectados, detectando así un segmento de línea que corresponde a una pared en un plano de piso;

un paso de realizar una operación morfológica de apertura, la cual es una combinación de un proceso de dilatación y un proceso de erosión,

y luego un proceso de segmentación en la imagen del plano de piso, identificando así una región de habitación que corresponde a una habitación en el plano de piso;

un paso de reconocer una cadena de caracteres incluida en la imagen del plano de piso;

una etapa de detectar un signo de accesorio incluido en la imagen del plano de piso; y

un paso de identificar un tipo de habitación de la región de habitación en función de la región de habitación identificada, un resultado del reconocimiento de la cadena de caracteres y un resultado de la detección del signo de accesorio, y complementar una estructura de habitación en función de la región de habitación y un resultado de la detección de segmentos de línea, y

el cuarto paso incluye:

un paso de estimar una escala del plano de piso en función del plano de piso identificado a partir de la información del plano de piso y la información del área incluida en la información de propiedad; y

un paso de generar un modelo tridimensional de la propiedad inmobiliaria en función del plano de piso identificado a partir de la información del plano de piso, la escala y una altura de techo estimada.

7. Un programa (1609) que hace que un aparato de procesamiento de información (1) ejecute:

un primer proceso de recibir una entrada de una imagen de plano de piso de una propiedad inmobiliaria;

un segundo proceso de recibir una entrada de información de propiedad que incluye información de área de la propiedad inmobiliaria;

un tercer proceso de generar información del plano de piso en función de la imagen del plano de piso;

un cuarto proceso de generar un modelo tridimensional de la propiedad inmobiliaria utilizando la información del plano de piso; y

un quinto proceso de producir el modelo tridimensional generado, en donde

el tercer proceso incluye:

un proceso de realizar un proceso de erosión y luego un proceso de detección de segmentos de línea en una imagen resultante de un proceso de binarización realizado en la imagen del plano de piso, y realizar agrupamiento en segmentos de línea detectados, detectando así un segmento de línea que corresponde a una pared en un plano de piso;

un proceso de realizar una operación morfológica de apertura, la cual es una combinación de un proceso de dilatación y un proceso de erosión, y luego un proceso de segmentación en la imagen del plano de piso, identificando así una región de habitación que corresponde a una habitación en el plano de piso;

un proceso de reconocer una cadena de caracteres incluida en la imagen del plano de piso;

un proceso de detectar un signo de accesorio incluido en la imagen del plano de piso; y

un proceso de identificar un tipo de habitación de la región de habitación en función de la región de habitación identificada, un resultado del reconocimiento de la cadena de caracteres y un resultado de la detección del signo de accesorio, y complementar una estructura de habitación en función de la región de habitación y un resultado de la detección de segmentos de línea, y

el cuarto proceso incluye:

un proceso de estimar una escala del plano de piso en función del plano de piso identificado a partir de la información del plano de piso y la información del área incluida en la información de propiedad; y

un proceso de generar un modelo tridimensional de la propiedad inmobiliaria en función del plano de piso identificado a partir de la información del plano de piso, la escala y una altura de techo estimada.