WO2021132829A1 - 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법 - Google Patents

머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법 Download PDF

Info

Publication number
WO2021132829A1
WO2021132829A1 PCT/KR2020/010178 KR2020010178W WO2021132829A1 WO 2021132829 A1 WO2021132829 A1 WO 2021132829A1 KR 2020010178 W KR2020010178 W KR 2020010178W WO 2021132829 A1 WO2021132829 A1 WO 2021132829A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
roof
edge
machine learning
roof edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2020/010178
Other languages
English (en)
French (fr)
Inventor
변영철
양지혁
하즈라데바프리야
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanoomenergy Co Ltd
Original Assignee
Nanoomenergy Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanoomenergy Co Ltd filed Critical Nanoomenergy Co Ltd
Priority to EP20907906.0A priority Critical patent/EP4083915A4/en
Priority to US17/789,034 priority patent/US12141987B2/en
Priority to AU2020413491A priority patent/AU2020413491B2/en
Publication of WO2021132829A1 publication Critical patent/WO2021132829A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Definitions

  • the present invention relates to a method for extracting a roof edge image for solar panel installation using machine learning, and more particularly, to extract an edge image of a building roof on which a solar panel is installed using a machine learning model, and the edge of the roof image It is about a roof edge image extraction method for solar panel installation using machine learning that automatically produces parts and automatically connects the roof edge parts to generate and extract the roof edge image even when the roof edge is covered by obstacles.
  • GANs generative adversarial networks
  • VAEs variable autoencoders
  • GANs generative adversarial neural networks
  • CycleGAN and StarGAN are generative models that move the image of one domain to another when there is image data of two or more domains.
  • a conventional generative model can change a horse like a zebra, and also change a zebra into a horse when, for example, there are horse photograph data and zebra photograph data.
  • the present invention has been devised to solve the conventional problems as described above, and its purpose is to extract an edge image of the roof of a building where a solar panel is installed using a machine learning model, and automatically remove the edge of the roof image. This is to provide a method for extracting the roof edge image for solar panel installation using machine learning that automatically connects the edge of the roof to generate and extract the edge of the roof even when the edge of the roof is covered by obstacles.
  • the roof edge image extraction method for solar panel installation using machine learning is a method of extracting a roof edge image for solar panel installation using machine learning for a generative adversarial neural network (GAN)-based image conversion model.
  • GAN generative adversarial neural network
  • the roof edge image extraction system comprises the step of automatically connecting the edge portion and generating a complete roof edge image after extracting the edge by removing the obstacle covering the edge portion of the roof image.
  • the generative adversarial neural network includes two generating units and two identifying units and inputting the original image (A) region as input. After receiving and learning to generate an output image of the target image (T) region, the GAN is characterized by repeating training to extract all the edges of the roof hidden behind obstacles.
  • the generative adversarial neural network (GAN)-based image conversion model is a pixel-to-pixel generative adversarial neural network (Pix2pix GAN), characterized in that will do
  • the first generator receives a Canny edge detected image and repeatedly outputs encryption and decryption. will do it with
  • the second generator comprises an encryption step including a convolution process, a batch normalization process, and a rectification linear process.
  • the second generator comprises a decoding step including a deconvolution process, a batch normalization process, and a rectification linear process.
  • the present invention has the effect of extracting the edge image of the roof of a building where solar panels are installed from various rooftop image data by utilizing machine learning.
  • the present invention has the effect of automatically producing the edge of the roof image through machine learning of a generative adversarial neural network, and automatically connecting the edge of the roof even when the edge of the roof is covered by obstacles to generate and extract the edge of the roof image. .
  • FIG. 1 is a block diagram of a roof edge image extraction system for solar panel installation using machine learning according to the present invention.
  • FIG. 2 is a detailed configuration block diagram of the first generator shown in FIG. 1 .
  • FIG. 3 is a detailed configuration block diagram of the first identification unit shown in FIG.
  • FIG. 4 is a detailed configuration block diagram of the second generator shown in FIG. 1 .
  • FIG. 5 is a detailed configuration block diagram of the second identification unit shown in FIG.
  • Figure 6 shows a flow chart of the roof edge image extraction system for solar panel installation using machine learning according to the present invention.
  • FIG. 7 shows a data set for machine learning of a generative adversarial neural network according to the present invention.
  • Figure 8 is a picture comparing the results of the roof edge image extraction system for solar panel installation using machine learning according to the present invention.
  • the present invention is a system and method using machine learning for a generative adversarial network (GAN)-based image transformation model for the purpose of extracting roof edge images for solar panel installation.
  • GAN generative adversarial network
  • the image conversion model is trained for the purpose of automatically producing the corners of the roof image and learning how to automatically connect the corners of the roof while ignoring the objects around the roof boundary.
  • FIG. 1 is a block diagram of a roof edge image extraction system for solar panel installation using machine learning according to the present invention.
  • the roof edge image extraction system for installing a solar panel using machine learning includes a first generation unit 100 , a first identification unit 150 , and a second generation unit 200 . , and a second identification unit 250 .
  • the configuration of the roof edge image extraction system for solar panel installation using machine learning receives an original image data set as an input and generates target image data as an output. and two identifiers.
  • the first generator 100 receives an image data set identified by an edge boundary detection algorithm from an original image as an input, maps an obstacle covering an edge as a noise sample, and outputs it.
  • the obstacle is such as a tree, a chimney, a disk that covers the corner of the building around the roof of the building, and it is impossible to accurately distinguish the corner of the building roof.
  • the first identification unit 150 receives the result output from the first generation unit 100 as an input, and performs learning to identify each region between the original image and the image input from the first generation unit 100 . do.
  • the second generator 200 receives the original image data set and performs encryption and decryption processes to generate an output image similar to a desired target image.
  • the second identification unit 250 passes through the original image input to the second generation unit 200 and the first identification unit 150, the parameters are changed and corrected according to the hostile training result, and the output of the target image.
  • the first pair and the second pair of the original image input to the second generation unit 200 and the second pair of images to be output similarly to the target image through the second generation unit 200 are received, and the corrected output image is predicted.
  • the second identification unit 250 generates a complete edge image by removing the obstacle blocking the edge of the roof image and connecting the edge covered by the obstacle.
  • the adversarial neural network is composed of the two generators and the two identifiers and receives the detected edge image area as an input. and to generate an output image of the target image domain area.
  • the adversarial neural network (GAN) for image conversion can use Cycle GAN, DiscoGAN and Pix2pix GAN, but in order to derive the best results from the roof edge image extraction system for solar panel installation using the machine learning of the present invention,
  • An image transformation model based on a pixel generative adversarial neural network (Pix2pix GAN) is preferred.
  • the image conversion model (Pix2pix GAN) repeats the training to remove the object covering the corners of the roof image and automatically connects the corners, and after automatically connecting the corners of the roof, a complete edge image of the roof image is created learn to be
  • pixel-to-pixel generative adversarial neural networks (Pix2pix GANs) are desirable is that they are one-to-one image style migration models that accept image data pairs that can be transformed from one image region to another.
  • the model learns to remove obstacles (trees, chimneys, discs, etc.) that block the edge of the roof.
  • a pixel-to-pixel generative adversarial neural network (Pix2pix GAN)
  • a pixel-to-pixel generative neural network (Pix2pix GAN) is used as data set A, and a rooftop edge-confirmed image set as data set B.
  • an adversarial neural network is used as a data set for training a pixel-to-pixel generative adversarial neural network (Pix2pix GAN)
  • a pixel-to-pixel generative neural network Pix2pix GAN
  • a rooftop edge-confirmed image set as data set B.
  • FIG. 7 shows a data set for machine learning of a generative adversarial neural network according to the present invention.
  • data set B is a collection of images identified by (Canny edge detection) with a boundary finding algorithm from original image data A.
  • the adversarial neural network undergoes semi-supervised learning to train to transform an image from one form of an image to another.
  • GAN An adversarial neural network learns to [input] a picture of trees covering the edge of a roof and [output] the edge of a roof without trees.
  • the adversarial neural network can transform both a roof with trees and a roof without trees into the same without obstacles.
  • GAN adversarial neural network
  • the first generating unit 100 receives a Canny edge detected image and repeatedly outputs encryption and decryption, and the output is input to the first identification unit 150 . will be.
  • the first identification unit 150 receives the Kenny image (data B) and the output from the first generation unit 100 as a pair of inputs, and generates a target output T.
  • the second identification unit 250 receives the output (O) through which the original image (data A) has passed through the second generation unit 200 and the target output (T) output from the first identification unit as a pair of inputs. It accepts and predicts a modified output image from each pair of inputs.
  • the weights of the parameters assigned to the second generation unit 200 and the second identification unit 250 are optimized according to the prediction accuracy of the second identification unit 250 , and the second generation unit 200 . and the second identification unit 250 undergoes a training process again.
  • FIG. 2 is a detailed configuration block diagram of the first generator shown in FIG. 1 .
  • the first generating unit 100 shown in FIG. 1 receives a Canny edge detected image including a configuration in which an encoder and a decoder network are connected (intermediate connection configuration is omitted). Encryption and decryption are repeatedly output, and the output is input to the first identification unit 150 .
  • FIG. 3 is a detailed configuration block diagram of the first identification unit shown in FIG.
  • the first identification unit 150 is a deep convolutional neural network, and includes first and second convolutional layers and first and second sub-layers for a feature map. It includes the sampled pooling layer and is configured to output a fully connected layer.
  • FIG. 4 is a detailed configuration block diagram of the second generator shown in FIG. 1 .
  • the second generation unit includes an encryption unit 210 and a decryption unit 220 to perform a decryption process after an encryption process.
  • the encryption unit 210 is connected to a convolution unit 211 , a batch normalization unit 212 , and a rectified linear unit 213 .
  • FIG. 5 is a detailed configuration block diagram of the second identification unit shown in FIG.
  • the second identification unit 250 is configured to output through a plurality of decoders after a concatenation process.
  • Figure 6 shows a flow chart of the roof edge image extraction system for solar panel installation using machine learning according to the present invention.
  • the process of extracting the roof edge image for solar panel installation using machine learning in the generative adversarial neural network is as follows.
  • the original rooftop photo collection is used as data set A, and the image collection for which the roof edge is confirmed as data set B is input to the roof edge image extraction system for solar panel installation using machine learning (S10).
  • the data set A is input to the second generation unit 200 and passes through the second generation unit 200, and the second generation unit 200 outputs an image similar to a target image (S12, S14). ).
  • the second generator 200 goes through an encryption step and a decryption step.
  • the encryption step of the second generator 200 includes a convolution process, a batch normalization process, and a rectification linear process
  • the decryption step of the second generator 200 includes a deconvolution process, a batch normalization process, and a rectified linear process.
  • the data set B is input to the first generation unit 100 as an image collection confirmed by (Canny edge detection) and passes through the first generation unit 100 (S20).
  • the first generator 100 maps the noise sample to the input image and inserts an obstacle (S30).
  • the obstacles are trees, chimneys, and disks that cover the corners of the building around the roof of the building, and it is impossible to accurately distinguish the corners of the building roof.
  • the first identification unit 150 has access to the original input image data set, receives the output from the first generation unit 100 as an input, and learns to identify each region between the original image and the received input. (S40, S50).
  • the parameters for segmentation are changed and corrected (S60).
  • the generation unit which is an artificial intelligence that creates an image by itself
  • the identification unit which is a discriminator that distinguishes the original image
  • the obstacle covering the edge of the roof is divided, and the image T in which the edge of the roof is detected is received by the second identification unit 250 ( S70 ).
  • the second identification unit 250 includes the original image data and the output image pair (A, T) from the first identification unit 250 and the original image data and the image pair (A, O) output from the second generation unit 200 . ) is received and predicted, and the weights of the parameters given to the second generator 200 and the second identifier 250 are optimized according to the prediction accuracy, and the second generator 200 and the second identification The unit 250 goes through a process of being trained again (S80).
  • the adversarial neural network which consists of two generators and two identifiers, receives the image A region as input and is trained to generate an output image of the target image T region, so that the GAN can extract all the edges of the roof hidden behind the obstacle. After repeating the training to remove obstacles covering the corners of the roof image, automatically connecting the corners, and automatically connecting the corners of the roof, a complete edge image of the roof image can be created (S90) .
  • Figure 8 is a picture comparing the results of the roof edge image extraction system for solar panel installation using machine learning according to the present invention.
  • the roof edge image extraction system according to the present invention is different from the conventional generative adversarial neural network, and not only edge extraction but also target detection and background recovery, on the other hand, images such as cycle GAN or other GANs. It cannot be done in a transform GAN.
  • the present invention automatically produces the edge of the roof image through machine learning of a generative adversarial neural network from image data, and automatically connects the edge of the roof even when the edge of the roof is obscured by obstacles to generate and extract the edge of the roof image. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법으로, 루프탑 원본 이미지 데이터는 이미지 추출 시스템의 제2생성부로 통과하여 목표 이미지와 유사한 이미지를 출력하고, 루프탑 가장자리가 검출된 이미지 데이터는 시스템의 제1생성부로 통과하여, 원본 이미지와 식별하는 학습 단계; 지붕 가장자리를 가리는 장애물이 분할되고, 지붕 가장자리가 검출된 이미지가 제2식별부에 수신되는 단계; 파라미터의 가중치는 최적화되며, 제2생성부와 제2식별부는 다시 훈련되는 단계; 및 가장자리를 추출한 후 자동적으로 모서리 부분을 연결하고 완전한 지붕 가장자리 이미지를 생성하는 단계를 포함한다.

Description

머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법
본 발명은 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법에 관한 것으로, 더욱 상세하게는 머신 러닝 모델을 이용하여 태양광 패널이 설치되는 건물 지붕의 가장자리 이미지를 추출하도록 한 것으로서 지붕 이미지의 모서리 부분을 자동으로 생산하고 장애물에 의하여 지붕 가장자리가 가려져도 지붕 모서리 부분을 자동으로 연결하여 지붕 가장자리 이미지를 생성하여 추출하는 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법에 대한 것이다.
최근에 건축물에서 태양광 발전 설치가 가능한 유휴 부지는 건물의 지붕층이 대부분을 차지하고 있으며 많은 수의 태양광 설비가 설치되고 있지만 건축물의 미관과 방수층 훼손, 보호층 크랙 등에 대한 안정성을 확보하지 못하고 설치되는 게 대부분이다. 이를 해소하기 위해서 건축물 설계 초기단계에서부터 건축물과 조화를 이루고 건축물의 안전성을 확보할 수 있는 태양광 설계가 필요하다.
이를 위하여 먼저 건물 지붕의 평면도를 바탕으로 하여 태양광 패널 설치를 고려해야 하는데, 건물의 평면도를 대체해서 루프탑 원본 사진을 가지고 태양광 패널 설치를 고려할 수 있다.
그런데, 루프탑 사진에는 건물 주변의 물체가 건물 위에 위치하는 경우에는 건물 전체 이미지를 확보할 수 없게 된다.
한편, 최근 인공지능(AI)과 딥러닝(Deep Learning)의 발전으로 생성 모델 (Generative Model)이 새롭게 발전하고 있다.
생성 모델에는 생성적 적대 신경망(Generative Adversarial Network, GAN), VAE(Variational Autoencoder) 등의 종류가 있으며, 이러한 생성 모델은 이미지, 오디오와 같은 수학적으로 확률 분포를 정의하기 어려운 데이터에 대해서 데이터 내의 규칙을 학습하고 생성할 수 있는 능력을 가진 모델을 의미한다.
특히, 생성적 적대 신경망(GAN)은 산업 및 학계에서 주목을 받으며 급성장하고 있는 모델이다. 최근 발표된 CycleGAN 및 StarGAN의 경우 두 가지 이상의 도메인의 이미지 데이터가 있을 때, 하나의 도메인의 이미지를 다른 도메인으로 옮기는 생성 모델이다.
종래의 생성 모델은 예를 들어 말 사진 데이터와 얼룩말 사진 데이터가 있을 경우 말을 얼룩말처럼 바꿀 수 있으며, 또한 얼룩말을 말로 바꿀 수 있다.
이러한 종래의 생성 모델의 기술을 응용할 경우 이미지에서 원하는 정보만 변형하고, 그 외의 데이터는 보존할 수 있다.
최근에 항공촬영 사진, 위성사진 또는 드론에 의한 촬영 이미지에 이르기까지 다양한 경로를 통하여 루프탑 이미지를 얻을 수 있게 되었다.
이에 따라 이용 가능한 루프탑 이미지들로부터 태양광 패널의 배치 설계를 위해서 머신러닝을 이용한 지붕 이미지와 가장자리 이미지를 장애물 뒤에 숨겨져 있는 지붕의 가장자리까지 모두 생성하여 추출하여 제공하는 시스템과 방법이 요구되고 있는 것이다.
본 발명은 전술한 바와 같은 종래의 문제점을 해결하고자 안출된 것으로서, 그의 목적은 머신 러닝 모델을 이용하여 태양광 패널이 설치되는 건물 지붕의 가장자리 이미지를 추출하도록 한 것으로서 지붕 이미지의 모서리 부분을 자동으로 생산하고 장애물에 의하여 지붕 가장자리가 가려져도 지붕 모서리 부분을 자동으로 연결하여 지붕 가장자리 이미지를 생성하여 추출하는 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법을 제공하기 위한 것이다.
본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법은, 생성적 적대 신경망(GAN) 기반의 이미지 변환 모델에 대한 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 방법에 있어서, 루프탑 원본 이미지 데이터(A)와, 루프탑 가장자리가 검출된 이미지 데이터 세트(B)를 지붕 가장자리 이미지 추출 시스템에 입력하는 단계; 루프탑 원본 이미지 데이터(A)는 시스템의 제2생성부로 입력되어 통과하여 목표 이미지(T)와 유사한 이미지(O)를 출력하는 단계; 루프탑 가장자리가 검출된 이미지 데이터(B)는 시스템의 제1생성부로 입력되어 통과하는 단계; 상기 제1생성부는 입력된 이미지 데이터(B)에 노이즈 샘플을 맵핑하여 장애물을 삽입하는 단계; 시스템의 제1식별부는 원본 입력 이미지 데이터 세트에 액세스 가능하며 제1생성부에서 나온 출력을 입력으로 받아들이고, 원본 이미지와 상기 수신된 입력 간의 각각의 영역을 식별하는 학습을 하는 단계; 제1생성부와 제1식별부 간의 적대 훈련결과에 따라서 분할에 대한 파라미터가 변경, 교정되어 지붕 가장자리를 가리는 장애물이 분할되고, 바람직한 지붕 가장자리가 검출된 이미지가 제2식별부에 수신되는 단계; 제2식별부는 원본 이미지와 제1식별부에서 나온 출력 이미지 쌍(A, T)과 원본 이미지와 제2생성부로부터 출력된 이미지 쌍(A, O)을 각각 수신하여 예측하고 예측 정확도에 따라서 제2생성부와 제2식별부에 부여된 파라미터의 가중치는 최적화되며, 제2생성부와 제2식별부는 다시 훈련되는 단계; 및 지붕 가장자리 이미지 추출 시스템은 지붕 이미지의 모서리부분을 가리는 장애물을 제거하여 가장자리를 추출한 후 자동적으로 모서리 부분을 연결하고 완전한 지붕 가장자리 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 것이다.
또한, 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법에 있어서, 생성적 적대 신경망(GAN)은 2개의 생성부와 2개의 식별부를 포함하여 원본 이미지(A) 영역을 입력으로 받고 목표 이미지(T) 영역의 출력 이미지를 생성하도록 학습되어 GAN은 장애물 뒤에 숨겨져 있는 지붕의 가장자리까지 모두 추출해 낼 수 있게 훈련을 반복하는 것을 특징으로 하는 것이다.
또한, 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법에 있어서, 생성적 적대 신경망(GAN) 기반의 이미지 변환 모델은 픽셀대픽셀 생성적 적대 신경망(Pix2pix GAN)인 것을 특징으로 하는 것이다.
또한, 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법에 있어서, 상기 제1생성부는 캐니 가장자리 검출 이미지(Canny edge detected image)를 입력받아 암호화와 복호화를 반복하여 출력하는 것을 특징으로 하는 것이다.
또한, 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법에 있어서, 상기 제2생성부는 컨볼루션 과정, 배치정규화 과정 및 정류선형 과정을 포함하는 암호화 단계를 포함하는 것을 특징으로 하는 것이다.
또한, 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법에 있어서, 상기 제2생성부는 디컨볼루션 과정, 배치정규화 과정 및 정류선형 과정을 포함하는 복호화 단계를 포함하는 것을 특징으로 하는 것이다.
본 발명은 머신러닝을 활용하여 다양한 루프탑 이미지 데이터로부터 태양광 패널이 설치되는 건물 지붕의 가장자리 이미지를 추출할 수 있는 효과가 있다.
본 발명은 생성적 적대 신경망의 머신러닝을 통하여 루프탑 이미지의 모서리 부분을 자동으로 생산하고 장애물에 의하여 지붕 가장자리가 가려져도 지붕 모서리 부분을 자동으로 연결하여 지붕 가장자리 이미지를 생성하여 추출하는 효과가 있다.
도1은 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템의 구성도이다.
도2는 도1에 도시된 제1생성부의 상세 구성 블록도이다.
도3은 도1에 도시된 제1식별부의 상세 구성 블록도이다.
도4는 도1에 도시된 제2생성부의 상세 구성 블록도이다.
도5는 도1에 도시된 제2식별부의 상세 구성 블록도이다.
도6은 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템의 플로우 챠트를 나타낸다.
도7은 본 발명에 따른 생성적 적대 신경망의 머신러닝을 위한 데이터 세트를 나타낸다.
도8은 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템의 결과 비교 사진이다.
이하, 첨부된 도면을 참조하면서 본 발명의 실시예에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템 및 방법에 대해 상세히 설명하기로 한다.
본 발명은 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출을 목적으로 생성적 적대 신경망(Generative Adversarial Network, GAN) 기반의 이미지 변환 모델에 대한 머신러닝을 이용한 시스템 및 방법이다.
상기 이미지 변환 모델은 지붕이미지의 모서리부분을 자동으로 생산하고, 지붕 경계 주변의 물체를 무시한 채로 지붕 모서리 부분을 자동으로 연결할 수 있는 것을 배우기 위한 목적으로 훈련시킨다.
도1은 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템의 구성도이다.
도1을 참조하면, 본 발명의 실시예에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템은 제1생성부(100), 제1식별부(150), 제2생성부(200), 제2식별부(250)를 포함한다.
도1에 도시된 바와 같이, 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템의 구성은 원본 이미지 데이터 세트를 입력으로 받고 목표 이미지 데이터를 출력으로 생성하기 위하여 각각 2개의 생성부와 2개의 식별부를 포함한다.
상기 제1생성부(100)는 원본 이미지로부터 가장자리 경계 검출 알고리즘으로 확인된 이미지 데이터 세트를 입력으로 받아서 가장자리를 가리는 장애물을 노이즈 샘플로서 맵핑하여 출력한다.
상기 장애물은 건물 지붕 주변에서 건물의 모서리를 가리게 되는 나무, 굴뚝, 원반 같은 것으로서 건물 지붕 모서리를 정확하게 구분할 수 없게 하는 것이다.
제1식별부(150)는 상기 제1생성부(100)에서 출력된 결과를 입력으로 받아들여서 원본 이미지와 제1생성부(100)로부터 입력된 이미지 사이에서 각각의 영역을 식별하는 학습을 수행한다.
제2생성부(200)는 원본 이미지 데이터 세트를 입력받아 원하는 목적 이미지와 유사한 출력 이미지를 생성하기 위하여 암호화와 복호화 과정을 수행한다.
그리고, 제2식별부(250)는 제2생성부(200)로 입력된 원본 이미지와 제1식별부(150)를 통과하며 적대적 훈련 결과에 따라 파라미터가 변경, 교정되어 출력된 목표 이미지의 제1쌍 및 제2생성부(200)로 입력된 원본 이미지와 제2생성부(200)를 통과하여 목표이미지와 유사하게 출력을 원하는 이미지의 제2쌍을 수신하여 수정되는 출력 이미지를 예측한다.
결과적으로, 상기 제2식별부(250)는 지붕 이미지의 가장자리를 가리는 장애물을 제거하고 장애물에 의해 가려졌던 가장자리를 연결하여 완전한 가장자리 이미지를 생성하게 된다.
따라서, 본원발명의 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 시스템에서, 상기 적대 신경망(GAN)은 상기 2개의 생성부와 상기 2개의 식별부로 구성되어 검출된 가장자리 이미지 영역을 입력으로 받고 목표 이미지 도메인 영역의 출력 이미지를 생성하는 것이다.
이미지 변환을 위한 적대 신경망(GAN)은 Cycle GAN, DiscoGAN and Pix2pix GAN를 사용할 수 있으나, 본원발명의 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 시스템에서 가장 최상의 결과를 도출하기 위하여 픽셀대픽셀 생성적 적대 신경망(Pix2pix GAN)기반의 이미지 변환 모델이 바람직하다.
상기 이미지 변환모델(Pix2pix GAN)은 훈련을 반복하여 지붕 이미지의 모서리부분을 가리는 물체를 제거하고 자동적으로 모서리 부분을 연결하고, 지붕 모서리 부분을 자동으로 연결한 후에는 지붕 이미지의 완전한 가장자리 이미지가 생성되도록 학습된다.
또한, 픽셀대픽셀 생성적 적대 신경망(Pix2pix GAN)이 바람직한 이유는 1대 1 이미지 스타일 마이그레이션 모델로서, 하나의 이미지 영역에서 다른 이미지 영역으로 변환할 수 있는 이미지 데이터 쌍을 받아들인다.
적대 훈련을 통하여 상기 모델은 지붕 가장자리를 가리는 장애물(나무, 굴뚝, 원판 등)을 제거하도록 학습한다.
그 결과로서 장애물의 제거후 가장자리를 연결한 후 지붕 이미지의 완전한 가장자리를 자동적으로 추출할 수 있다.
픽셀대픽셀 생성적 적대 신경망(Pix2pix GAN)을 훈련시키기 위한 데이타 세트로는 루프탑 원본 사진 모음을 데이터 세트 A로 하고, 루프탑 가장자리가 확인된 이미지 모음을 데이터 세트 B로 하여 픽셀대픽셀 생성적 적대 신경망을 학습시킨다.
도7에서 본 발명에 따른 생성적 적대 신경망의 머신러닝을 위한 데이터 세트를 나타내고 있다.
또한, 데이터 세트 B는 원본 이미지 데이터 A로부터 경계 찾기 알고리즘으로 (Canny edge detection: 케니엣지검출)로 확인된 이미지 모음이다.
이와 같이, 적대 신경망(GAN)은 이미지의 한 형태에서 다른 형태로 이미지를 변환하는 것을 훈련하는 반 감독 학습 (Semi-supervised learning)을 거치게 된다.
예시로, 원본 이미지에 나무 사진을 삽입하여 모서리를 가려서 이미지 세트 A를 얻고, 데이터 세트 B의 경우 나무 없는 원본을 사용하도록 한다.
적대 신경망(GAN)은 나무가 지붕의 가장자리를 가리는 사진을 [입력]하여 나무가 없는 지붕의 가장자리를 [출력]하도록 학습한다.
이러한 방법으로, 적대 신경망(GAN)은 나무가 있는 지붕과 나무가 없는 지붕 모두를 장애물 없이 동일하게 변환 시킬 수 있다.
훈련과정에 있어서, 매개변수를 사용하여 적대 신경망(GAN)에게 지붕 사진의 가장자리 추출 훈련을 시키도록 한다.
도1을 참조하면, 상기 제1생성부(100)는 캐니 가장자리 검출 이미지(Canny edge detected image)를 입력받아 암호화와 복호화를 반복하여 출력하고, 상기 출력은 제1식별부(150)로 입력되는 것이다.
제1식별부(150)는 케니 이미지(데이터 B)와 상기 제1생성부(100)로부터 출력을 한 쌍의 입력으로 받아들이고, 목적 출력(T)을 생성한다.
한편, 제2식별부(250)는 원본 이미지(데이터 A)가 제2생성부(200)를 통과한 출력(O)과 상기 제1식별부에서 출력된 목적 출력(T)을 한쌍의 입력으로 받아들이고 각 쌍의 입력으로부터 수정된 출력 이미지를 예측한다.
예측 결과 상기 제2식별부(250)의 예측 정확도에 따라서 제2생성부(200)와 제2식별부(250)에 부여된 파라미터의 가중치(weights)는 최적화되며, 제2생성부(200)와 제2식별부(250)는 다시 훈련되는 과정을 거치게 된다.
도2는 도1에 도시된 제1생성부의 상세 구성 블록도이다.
도2를 참조하면, 도1에서 도시된 제1생성부(100)는 엔코더와 디코더 네트워크가 연결(중간 연결 구성은 생략)되는 구성을 포함하여 캐니 가장자리 검출 이미지(Canny edge detected image)를 입력받아 암호화와 복호화를 반복하여 출력하고, 상기 출력은 제1식별부(150)에 입력된다.
도3은 도1에 도시된 제1식별부의 상세 구성 블록도이다.
도3을 참조하면, 상기 제1식별부(150)는 딥 컨볼루션 신경망(Deep Convolutional Neural Network)으로서, 특징맵에 대한 제1, 제2 콘볼루션 계층(convolutional layer)과 제1, 제2 서브샘플링된 통합 계층(pooling layer)을 포함하고 이들을 완전하게 연결시킨 계층(fully connected layer)을 출력하도록 구성된 것이다.
도4는 도1에 도시된 제2생성부의 상세 구성 블록도이다.
도4를 참조하면, 상기 제2생성부는 암호화부(210)와 복호화부(220)를 포함하여 암호화 과정후 복호화 과정을 거친다.
상기 암호화부(210)는 컨볼루션부(Convolution, 211), 배치정규화부(Batch Normalization, 212), 정류선형유닛(Rectified Linear Unit, 213)으로 연결되어 있다.
도5는 도1에 도시된 제2식별부의 상세 구성 블록도이다.
도5를 참조하면, 상기 제2식별부(250)는 접합 연산(concatenation)과정후 다수의 복호화부들을 거쳐서 출력하도록 구성된다.
도6은 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템의 플로우 챠트를 나타낸다.
도6을 참조하면, 생성적 적대 신경망(GNA)에서 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지를 추출하는 과정은 다음과 같다.
먼저 데이타 세트로 루프탑 원본 사진 모음을 데이터 세트 A로 하고, 루프탑 가장자리가 확인된 이미지 모음을 데이터 세트 B로 하여 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템에 입력한다(S10).
상기 데이터 세트 A는 제2생성부(200)로 입력되어 제2생성부(200)를 통과하고, 제2생성부(200)는 목표 이미지(Target image)와 유사한 이미지를 출력한다(S12, S14).
여기에서, 도4를 참조하면 제2생성부(200)는 암호화 단계, 복호화단계를 거치게 된다.
상기 제2생성부(200)의 암호화 단계에는 컨볼루션 과정, 배치정규화 과정 및 정류선형 과정을 포함하고, 제2생성부(200)의 복호화 단계에는 디컨볼루션 과정, 배치정규화 과정 및 정류선형 과정을 포함한다.
한편, 상기 데이터 세트 B는 (Canny edge detection: 케니엣지검출)로 확인된 이미지 모음으로 제1생성부(100)로 입력되어 제1생성부(100)를 통과한다(S20).
상기 제1생성부(100)는 노이즈 샘플을 입력 이미지에 맵핑하여 장애물을 삽입한다(S30).
상기 장애물은 건물 지붕 주변에서 건물의 모서리를 가리게 되는 나무, 굴뚝, 원반 같은 것으로서 건물 지붕 모서리를 정확하게 구분할 수 없게 된다.
다음으로, 상기 제1식별부(150)는 원본 입력 이미지 데이터 세트에 액세스 가능하며 제1생성부(100)에서 나온 출력을 입력으로 받아들이고, 원본 이미지와 수신된 입력 간 각각의 영역을 식별하는 학습을 한다(S40, S50).
제1생성부(100)와 제1식별부(150) 간의 적대 훈련(Adversarial training)결과에 근거하여 분할(segmentation)에 대한 파라미터가 변경, 교정된다(S60).
스스로 이미지를 만드는 인공지능인 생성부와 원본 이미지를 감별하는 구분자 인공지능인 식별부는 매개변수를 다양하게 사용하여 지붕 가장자리를 추출하도록 훈련을 반복할수록 그 차이가 줄어드는 것을 확인할 수 있고 파라미터를 최적화할 수 있게 된다.
이에 따라, 지붕 가장자리를 가리는 장애물이 분할되고, 바람직한 지붕 가장자리가 검출된 이미지(T)가 제2식별부(250)에 수신된다(S70).
제2식별부(250)는 원본 이미지 데이터와 제1식별부(250)에서 나온 출력 이미지 쌍(A, T)과 원본 이미지 데이터와 제2생성부(200)로부터 출력된 이미지 쌍(A, O)을 각각 수신하여 예측하고 예측 정확도에 따라서 제2생성부(200)와 제2식별부(250)에 부여된 파라미터의 가중치(weights)는 최적화되며, 제2생성부(200)와 제2식별부(250)는 다시 훈련되는 과정을 거치게 된다(S80).
따라서, 2개의 생성부와 2개의 식별부로 구성되는 적대 신경망은 이미지 A 영역을 입력으로 받고 목표 이미지(T) 영역의 출력 이미지를 생성하도록 학습되어 GAN은 장애물 뒤에 숨겨져 있는 지붕의 가장자리까지 모두 추출해 낼 수 있게 되고 훈련을 반복하여 지붕 이미지의 모서리부분을 가리는 장애물을 제거하고 자동적으로 모서리 부분을 연결하고, 지붕 모서리 부분을 자동으로 연결한 후에는 지붕 이미지의 완전한 가장자리 이미지가 생성될 수 있다(S90).
도8은 본 발명에 따른 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템의 결과 비교 사진이다.
도8에 도시된 바와 같이, 본 발명에 따른 지붕 가장자리 이미지 추출 시스템은 종래의 생성적 적대 신경망과는 다른 것으로서 가장자리 추출뿐만 아니라 목적물 검출이나 배경 회복도 가능한 것이지만, 반면 cycle GAN이나 다른 GAN과 같은 이미지 변환 GAN에서 수행될 수 없는 것이다.
이상에서 본 발명은 기재된 구체적인 실시예에 대해서만 상세히 설명되었지만 본 발명의 기술사상 범위 내에서 다양한 변형 및 수정이 가능함은 당업자에게 있어서 명백한 것이며, 이러한 변형 및 수정이 첨부된 특허청구범위에 속함은 당연한 것이다.
본 발명은 이미지 데이터로부터 생성적 적대 신경망의 머신러닝을 통하여 루프탑 이미지의 모서리 부분을 자동으로 생산하고 장애물에 의하여 지붕 가장자리가 가려져도 지붕 모서리 부분을 자동으로 연결하여 지붕 가장자리 이미지를 생성하여 추출한다.

Claims (6)

  1. 생성적 적대 신경망(GAN) 기반의 이미지 변환 모델에 대한 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 방법에 있어서,
    루프탑 원본 이미지 데이터(A)와, 루프탑 가장자리가 검출된 이미지 데이터 세트(B)를 지붕 가장자리 이미지 추출 시스템에 입력하는 단계;
    루프탑 원본 이미지 데이터(A)는 시스템의 제2생성부로 입력되어 통과하여 목표 이미지(T)와 유사한 이미지(O)를 출력하는 단계;
    루프탑 가장자리가 검출된 이미지 데이터(B)는 시스템의 제1생성부로 입력되어 통과하는 단계;
    상기 제1생성부는 입력된 이미지 데이터(B)에 노이즈 샘플을 맵핑하여 장애물을 삽입하는 단계;
    시스템의 제1식별부는 원본 입력 이미지 데이터 세트에 액세스 가능하며 제1생성부에서 나온 출력을 입력으로 받아들이고, 원본 이미지와 상기 수신된 입력 간의 각각의 영역을 식별하는 학습을 하는 단계;
    제1생성부와 제1식별부 간의 적대 훈련결과에 따라서 분할에 대한 파라미터가 변경, 교정되어 지붕 가장자리를 가리는 장애물이 분할되고, 바람직한 지붕 가장자리가 검출된 이미지가 제2식별부에 수신되는 단계;
    제2식별부는 원본 이미지와 제1식별부에서 나온 출력 이미지 쌍(A, T)과 원본 이미지와 제2생성부로부터 출력된 이미지 쌍(A, O)을 각각 수신하여 예측하고 예측 정확도에 따라서 제2생성부와 제2식별부에 부여된 파라미터의 가중치(weights)는 최적화되며, 제2생성부와 제2식별부는 다시 훈련되는 단계; 및
    지붕 가장자리 이미지 추출 시스템은 지붕 이미지의 모서리부분을 가리는 장애물을 제거하여 가장자리를 추출한 후 자동적으로 모서리 부분을 연결하고 완전한 지붕 가장자리 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 방법.
  2. 제 1 항에 있어서,
    생성적 적대 신경망(GAN)은 2개의 생성부와 2개의 식별부를 포함하여 원본 이미지(A) 영역을 입력으로 받고 목표 이미지(T) 영역의 출력 이미지를 생성하도록 학습되어 GAN은 장애물 뒤에 숨겨져 있는 지붕의 가장자리까지 모두 추출해 낼 수 있게 훈련을 반복하는 것을 특징으로 하는 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 방법.
  3. 제 1 항에 있어서,
    생성적 적대 신경망(GAN) 기반의 이미지 변환 모델은 픽셀대픽셀 생성적 적대 신경망(Pix2pix GAN)인 것을 특징으로 하는 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 방법.
  4. 제 1 항에 있어서,
    상기 제1생성부는 캐니 가장자리 검출 이미지(Canny edge detected image)를 입력받아 암호화와 복호화를 반복하여 출력하는 것을 특징으로 하는 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 방법.
  5. 제 1 항에 있어서,
    상기 제2생성부는 컨볼루션 과정, 배치정규화 과정 및 정류선형 과정을 포함하는 암호화 단계를 포함하는 것을 특징으로 하는 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 방법.
  6. 제 1 항에 있어서,
    상기 제2생성부는 디컨볼루션 과정, 배치정규화 과정 및 정류선형 과정을 포함하는 복호화 단계를 포함하는 것을 특징으로 하는 머신러닝을 이용한 태양광 패널 설치를 위한 지붕 가장자리 이미지 추출 방법.
PCT/KR2020/010178 2019-12-26 2020-07-31 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법 Ceased WO2021132829A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20907906.0A EP4083915A4 (en) 2019-12-26 2020-07-31 Method for extracting roof edge image for installing solar panel by using machine learning
US17/789,034 US12141987B2 (en) 2019-12-26 2020-07-31 Method for extracting roof edge image for installing solar panel by using machine learning
AU2020413491A AU2020413491B2 (en) 2019-12-26 2020-07-31 Method for extracting roof edge image for installing solar panel by using machine learning

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0175767 2019-12-26
KR1020190175767A KR102343410B1 (ko) 2019-12-26 2019-12-26 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법

Publications (1)

Publication Number Publication Date
WO2021132829A1 true WO2021132829A1 (ko) 2021-07-01

Family

ID=76575565

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/010178 Ceased WO2021132829A1 (ko) 2019-12-26 2020-07-31 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법

Country Status (5)

Country Link
US (1) US12141987B2 (ko)
EP (1) EP4083915A4 (ko)
KR (1) KR102343410B1 (ko)
AU (1) AU2020413491B2 (ko)
WO (1) WO2021132829A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240051145A1 (en) * 2022-08-11 2024-02-15 The Aes Corporation Autonomous solar installation using artificial intelligence
US12567242B2 (en) 2023-01-10 2026-03-03 Ecopia Tech Corporation Data augmentation for occlusion handling in feature extraction

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7453136B2 (ja) * 2020-12-25 2024-03-19 株式会社日立製作所 異常検出装置、異常検出方法及び異常検出システム
KR102467907B1 (ko) * 2021-10-29 2022-11-16 주식회사 딥노이드 학습 데이터 일반화를 위한 색상 이미지의 도면 이미지화 변환 장치 및 방법
KR20230097540A (ko) * 2021-12-24 2023-07-03 포항공과대학교 산학협력단 물체 경계 예측 불확실성 및 강조 신경망을 이용한 물체 검출 장치 및 방법
CN119437177B (zh) * 2024-12-11 2025-11-04 武汉大学 广域网协同模式大规模影像空中三角测量方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170352100A1 (en) * 2016-06-03 2017-12-07 Conduent Business Services, Llc Image segmentation system for verification of property roof damage
US20190286950A1 (en) * 2018-03-16 2019-09-19 Ebay Inc. Generating a digital image using a generative adversarial network
KR20190119548A (ko) * 2019-10-02 2019-10-22 엘지전자 주식회사 이미지 노이즈 처리방법 및 처리장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102085427B1 (ko) 2018-05-23 2020-03-05 한국과학기술원 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
WO2021055028A1 (en) * 2019-09-20 2021-03-25 Pictometry International Corp. Roof condition assessment using machine learning
US11625812B2 (en) * 2019-11-01 2023-04-11 Microsoft Technology Licensing, Llc Recovering occluded image data using machine learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170352100A1 (en) * 2016-06-03 2017-12-07 Conduent Business Services, Llc Image segmentation system for verification of property roof damage
US20190286950A1 (en) * 2018-03-16 2019-09-19 Ebay Inc. Generating a digital image using a generative adversarial network
KR20190119548A (ko) * 2019-10-02 2019-10-22 엘지전자 주식회사 이미지 노이즈 처리방법 및 처리장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
See also references of EP4083915A4 *
YUN KYONGSIK; LU THOMAS; CHOW EDWARD: "Occluded object reconstruction for first responders with augmented reality glasses using conditional generative adversarial networks", PROCEEDINGS OF SPIE, SPIE, US, vol. 10649, 30 April 2018 (2018-04-30), US, pages 106490T - 106490T-7, XP060105258, ISBN: 978-1-5106-1533-5, DOI: 10.1117/12.2305151 *
ZENG ZHILIANG; YU YING KIN; HONG WONG KIN: "Adversarial Network for edge detection", 2018 JOINT 7TH INTERNATIONAL CONFERENCE ON INFORMATICS, ELECTRONICS & VISION (ICIEV) AND 2018 2ND INTERNATIONAL CONFERENCE ON IMAGING, VISION & PATTERN RECOGNITION (ICIVPR), IEEE, 25 June 2018 (2018-06-25), pages 19 - 23, XP033518348, DOI: 10.1109/ICIEV.2018.8641005 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240051145A1 (en) * 2022-08-11 2024-02-15 The Aes Corporation Autonomous solar installation using artificial intelligence
US12567242B2 (en) 2023-01-10 2026-03-03 Ecopia Tech Corporation Data augmentation for occlusion handling in feature extraction

Also Published As

Publication number Publication date
US20230057612A1 (en) 2023-02-23
EP4083915A4 (en) 2024-01-10
KR20210083488A (ko) 2021-07-07
EP4083915A1 (en) 2022-11-02
US12141987B2 (en) 2024-11-12
AU2020413491A1 (en) 2022-07-21
AU2020413491B2 (en) 2023-05-04
KR102343410B1 (ko) 2021-12-27

Similar Documents

Publication Publication Date Title
WO2021132829A1 (ko) 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 방법
WO2021133001A1 (ko) 시멘틱 이미지 추론 방법 및 장치
WO2019054593A1 (ko) 기계학습과 이미지 프로세싱을 이용한 지도 제작 장치
WO2020032348A1 (ko) 데이터를 식별 처리하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
WO2010041836A2 (en) Method of detecting skin-colored area using variable skin color model
WO2020231226A1 (en) Method of performing, by electronic device, convolution operation at certain layer in neural network, and electronic device therefor
WO2024029669A1 (ko) 적대적 이미지 복원 시스템 및 적대적 이미지 복원 방법
WO2020017829A1 (ko) 노이즈 패턴을 이용한 차량 번호판 이미지 생성 방법 및 그 장치
WO2021145502A1 (ko) 얼굴 및 스트레스 인식 장치 및 방법
WO2020256517A2 (ko) 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
WO2019103221A1 (ko) 관심 영역 기반 온라인 만화 식별 시스템 및 방법
WO2019231162A1 (ko) 이미지 분할 방법 및 장치
WO2018143486A1 (ko) 딥러닝 분석을 위한 모듈화시스템을 이용한 컨텐츠 제공 방법
WO2011034305A2 (ko) 건축물 이미지의 계층적 매칭 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20210083487A (ko) 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템
WO2019035544A1 (ko) 학습을 이용한 얼굴 인식 장치 및 방법
WO2012134238A2 (ko) 디지털 고도모델 생성방법 및 장치
WO2026049425A1 (ko) 단일 소실점 인식 기반의 카메라 칼리브레이션 방법
CN114283442A (zh) 一种二次接线图智能识别方法、装置及存储介质
WO2020209487A1 (ko) 인공 신경망 기반의 장소 인식 장치 및 이의 학습 장치
CN119399164A (zh) 基于改进YOLOv8n的输电线路绝缘子的缺陷检测方法和系统
WO2023249184A1 (ko) 적대적 학습 시스템 및 적대적 학습 방법
WO2019107624A1 (ko) 시퀀스-대-시퀀스 번역 방법 및 이를 위한 장치
WO2021167257A1 (ko) Ppt 추천방법 및 그 장치
WO2026063738A1 (ko) 예측 모델을 활용한 자율 조절 환기 시스템을 구동하기 위한 전자 장치 및 그 구동 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20907906

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020413491

Country of ref document: AU

Date of ref document: 20200731

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020907906

Country of ref document: EP

Effective date: 20220726