WO2020256517A2 - 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템 - Google Patents

전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템 Download PDF

Info

Publication number
WO2020256517A2
WO2020256517A2 PCT/KR2020/008072 KR2020008072W WO2020256517A2 WO 2020256517 A2 WO2020256517 A2 WO 2020256517A2 KR 2020008072 W KR2020008072 W KR 2020008072W WO 2020256517 A2 WO2020256517 A2 WO 2020256517A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
feature
automatic phase
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2020/008072
Other languages
English (en)
French (fr)
Other versions
WO2020256517A3 (ko
Inventor
김규현
쿠다이베르가노브파르호드
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3I Inc
Original Assignee
3I Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190174554A external-priority patent/KR102384177B1/ko
Application filed by 3I Inc filed Critical 3I Inc
Priority to JP2021540146A priority Critical patent/JP7393809B2/ja
Priority to US17/429,616 priority patent/US12002260B2/en
Publication of WO2020256517A2 publication Critical patent/WO2020256517A2/ko
Publication of WO2020256517A3 publication Critical patent/WO2020256517A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes

Definitions

  • the present invention relates to a method and a system capable of effectively mapping or linking (or matching) a positional relationship between a plurality of images captured at different locations.
  • phase mapping may be a technique for grasping the relative positional relationship between different images or for connecting (or matching) images.
  • transformation function transformation matrix
  • an image for example, a 360-degree image
  • various services such as navigation of an indoor space can be smoothly performed by specifying the location relationship of each image.
  • the location where each image was photographed is unknown, it is impossible to know which images are images that can be mapped to each other.
  • mapping is performed may be a case of matching two images when two images can be connected (registered), but there is no need to be connected (registered) like images taken from two different locations. In this case, it can be defined as a meaning including grasping the relative positional relationship between two images.
  • a technical problem to be achieved by the present invention is to provide a method and system capable of quickly and effectively determining the mapping between a plurality of images.
  • the automatic phase mapping processing method for achieving the technical problem is the step of obtaining, by an automatic phase mapping processing system, a plurality of images-at least two of the plurality of images have a common area in which a common space is captured, The automatic phase mapping processing system extracting features of each of the images through a feature extractor using a neural network from each of the images, the automatic phase mapping processing system based on the features extracted from each of the images And determining a mapping image of each of the images.
  • the step of vector searching the constructed DB for a vector set that is at least a part of first vectors corresponding to first features extracted from a predetermined first image among the images, and extracted based on the vector search result It may include determining the second image as a mapping image of the first image.
  • the automatic phase mapping processing method may further include performing mapping of the first image and the second image determined as a mapping image of the first image.
  • the mapping of the first image and the second image determined as a mapping image of the first image may include: a first image on the first image corresponding to each of the first features extracted from the first image. Determining feature correspondence positions and second feature correspondence positions on the second image corresponding to each of the second features extracted from the second image, the determined first feature correspondence positions and the second feature correspondence It may include determining a relative positional relationship between the first image and the second image based on positions.
  • the neural network is learned to output a transformation relationship in which points corresponding to each other extracted from the overlapping common areas of each of the divided images are optimally matched after dividing a predetermined image so that an overlapping area exists.
  • Each of the images may be a 360-degree image captured from different locations indoors.
  • the automatic phase mapping processing method is the step of obtaining, by an automatic phase mapping processing system, a plurality of images-at least two of the plurality of images have a common area in which a common space is photographed, and the automatic phase mapping processing system
  • a phase mapping processing system extracting a feature from each of the images, constructing a DB of vectors corresponding to the features extracted from each of the images, a first extracted from a predetermined first image among the images
  • the above method is installed in a data processing apparatus and can be implemented by a computer program stored in a recording medium.
  • the automatic phase mapping processing system includes a processor and a memory in which a program implemented by the processor is stored, and the program includes a plurality of images-at least two of the plurality of images are captured in a common space. A common area exists-is obtained, and features of each of the images are extracted from each of the images through a feature extractor using a neural network, and each of the images is obtained based on the features extracted from each of the images. Determine the mapping image.
  • the processor constructs a DB of vectors corresponding to features extracted from each of the images, and a vector set that is at least a part of first vectors corresponding to first features extracted from a predetermined first image among the images
  • a vector search is performed on the constructed DB, and a second image extracted based on the vector search result may be determined as a mapping image of the first image.
  • the processor includes first feature-corresponding positions on the first image corresponding to the first features extracted from the first image and the second feature corresponding to each of the second features extracted from the second image.
  • the second feature-corresponding positions on the image may be determined, and a relative positional relationship between the first image and the second image may be determined based on the determined first feature-corresponding positions and the second feature-corresponding positions.
  • the automatic phase mapping processing system includes a processor and a memory in which a program implemented by the processor is stored, and the program includes a plurality of images-at least two of the plurality of images are captured in a common space.
  • a vector set that is at least a part of the first vectors corresponding to the extracted first features is vector searched in the constructed DB, and a second image extracted based on the vector search result is a mapping image corresponding to the first image It can be judged as.
  • the present invention it is possible to extract features in a short time using image features using a neural network, and by using this, it is possible to effectively identify images that can be mapped to each other when there are multiple images using a vector search method. It can have an effect.
  • FIG. 1 is a view for explaining a schematic configuration for implementing an automatic phase mapping processing method according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a schematic configuration of an automatic phase mapping processing system according to an embodiment of the present invention.
  • FIG. 3 is a diagram schematically illustrating a logical configuration of an automatic phase mapping processing system according to an embodiment of the present invention.
  • FIG. 4 is a diagram for explaining a concept of using a feature of a neural network for an automatic phase mapping processing method according to an embodiment of the present invention.
  • FIG. 5 is a diagram for explaining an advantage of using a neural network feature according to an embodiment of the present invention.
  • FIG. 6 is a diagram for explaining a feature location corresponding to a neural network feature according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method of searching for a mapping image between images in an automatic phase mapping processing method according to an exemplary embodiment of the present invention.
  • FIG. 8 is a flow chart illustrating a method for mapping images in an automatic phase mapping processing method according to an embodiment of the present invention.
  • the component when one component'transmits' data to another component, the component may directly transmit the data to the other component, or through at least one other component. This means that the data may be transmitted to the other component.
  • FIG. 1 is a view for explaining a schematic configuration for implementing an automatic phase mapping processing method according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing a schematic configuration of an automatic phase mapping processing system according to an embodiment of the present invention.
  • the automatic phase mapping processing system 100 is provided.
  • the automatic phase mapping processing system 100 may include a memory 2 in which a program for implementing the technical idea of the present invention is stored, and a processor 1 for executing a program stored in the memory 2. .
  • processor 1 may be named by various names such as CPU and mobile processor according to the implementation example of the automatic phase mapping processing system 100. .
  • the memory 2 stores the program, and may be implemented as any type of storage device accessible to the processor to drive the program.
  • the memory 2 may be implemented as a plurality of storage devices instead of a single storage device.
  • the memory 2 may include not only a main memory device but also a temporary memory device. Also, it may be implemented as a volatile memory or a non-volatile memory, and may be defined as including all types of information storage means implemented so that the program is stored and driven by the processor.
  • the automatic phase mapping processing system 100 may be implemented in various ways such as a web server, a computer, a mobile phone, a tablet, a TV, a set-top box, etc., depending on the embodiment, and any form capable of performing the functions defined in the present specification. It may be defined as including a data processing device of.
  • peripheral devices 3 may be further provided according to an embodiment of the automatic phase mapping processing system 100.
  • an average expert in the technical field of the present invention can easily infer that a keyboard, a monitor, a graphic card, a communication device, etc. may be further included in the automatic phase mapping processing system 100 as peripheral devices.
  • the automatic phase mapping processing system 100 may identify images that can be mapped to each other among a plurality of images, that is, mapped images. In addition, according to an embodiment, the automatic phase mapping processing system 100 may perform mapping between identified mapping images.
  • the mapping images may mean images having a phase relationship closest to each other.
  • the closest phase relationship may be a case in which a distance is close, as well as a case in which it is necessary to directly move each other spatially, and such an example may be images in which the most common space is included.
  • performing mapping may mean matching between two images, as described above, but in the present invention, a case of grasping a phase, that is, a relative positional relationship between two images will be mainly described.
  • the automatic phase mapping processing system 100 may receive a plurality of (eg, 5) images. Then, the automatic phase mapping processing system 100 may determine which of the plurality of images can be mapped to each other, that is, which mapping images are, and perform mapping of the identified mapping images.
  • the images may be omnidirectional images (360 images) taken from different locations.
  • the mapping images may be pairs of images that share the most common space with each other.
  • each of the images captured at positions a, b, c, d, and e may be image 1, image 2, image 3, image 4, and image 5.
  • mapping image of image 1 may be image 2.
  • mapping image needs to be searched for image 2, and at this time, image 1 for which a mapping image has already been determined may be excluded. Then, the mapping image of image 2 may be image 3.
  • the mapped image of image 3 may be image 4
  • the mapped image of image 4 may be image 5.
  • the automatic phase mapping processing system 100 may perform mapping on image 2, which is a mapping image, based on image 1. That is, the relative position of the phase image 2 of the image 1 with respect to the image 1 of the image 2 can be determined.
  • a phase relationship between all images may be specified by sequentially grasping the phase of image 2 of image 3, phase of image 3 of image 4, and phase of image 4 of image 5.
  • mapping images an image pair having the most common feature points may be identified as mapping images, and mapping, that is, a relative positional relationship, may be determined according to positions of the common feature points. If matching is required, a transformation matrix for overlapping common feature points with a minimum error is determined, and two images can be connected (aligned) through transformation of any one image through the transformation matrix.
  • the feature points used in this conventional method take considerable time and computational amount to extract the feature points.
  • an operation for comparing feature points for each image pair must be performed.
  • such an operation takes a considerable amount of time.
  • the automatic phase mapping processing system 100 may use a neural network feature.
  • a neural network feature defined in the present specification may mean all or some features selected from a feature map of a predetermined layer of a neural network learned to achieve a predetermined purpose.
  • a learned neural network eg, a convolutional neural network
  • a neural network 20 as shown in FIG. 4 may exist, and the neural network may be a convolutional neural network (CNN).
  • CNN convolutional neural network
  • a plurality of layers may be included in the neural network 20, and the input layer 21, the output layer 24, and the plurality of hidden layers 22, 23 Can exist.
  • the output layer 24 may be a layer fully connected to a previous layer, and the automatic phase mapping processing system 100 according to the technical idea of the present invention is before the output layer 24 or a fully connected layer.
  • the neural network features f1, f2, and f3 may be selected from a layer (eg, 23) including an arbitrary feature map of.
  • the neural network features f1, f2, and f3 used by the automatic phase mapping processing system 100 may be all the features included in the feature map of the corresponding layer, or some of the features selected from them.
  • the automatic phase mapping processing system 100 uses these features instead of conventional handcraft feature points such as SIFT (Scale-Invariant Feature Transform)], SURF (Speeded Up Robust Features), or ORB (Oriented FAST and Rotated BRIEF). As a result, it can be used to identify a mapping image or to perform mapping between mapping images. That is, features used in a convolutional neural network may be used instead of conventional handcraft features.
  • SIFT Scale-Invariant Feature Transform
  • SURF Speeded Up Robust Features
  • ORB Oriented FAST and Rotated BRIEF
  • the features of the image have the same characteristics regardless of scale or orientation.
  • the layer before the output radar 23 is a plurality of nonlinear convolution functions and/or This feature is obtained through a pooling function or the like.
  • conventional handcraft features are extracted only from characteristic positions defined by a person, such as edges in an image, and are usually extracted only from places where an edge exists (eg, a position where an edge is bent).
  • the neural network feature has an advantage that the neural network 20 can be trained so that it can be found in a flat area of the image instead of at such a location.
  • handcraft features are often not detected even though feature points must be detected depending on image distortion or image quality, whereas neural network features are much more robust against such image distortions, so the accuracy of feature extraction There may be improvements.
  • the neural network 20 may itself be a feature extracter.
  • the output layer 24 is designed to output the selected features (f1, f2, f3) of the immediately preceding layer 23 itself.
  • the neural network 20 itself may act as a feature extractor.
  • the neural network 20 may be learned to achieve a separate unique purpose (eg, classification, object detection, etc.). Even in this case, it is possible to always select a consistent feature in a predetermined layer and use it as a neural network feature.
  • a combination of layers other than the output layer 24 may operate as a feature extractor.
  • the neural network 20 divides any one image so that an overlapping area exists, and then the corresponding points extracted from the overlapping common areas of each of the divided images are matched. It may be a learned neural network to derive an optimal transformation relationship (for example, an error is minimized).
  • all or part of the predetermined image 6 may be divided so that the overlapping common area 6-3 exists.
  • a predetermined number of points corresponding to each other eg, P11 to P14 and P21 to P24
  • P11 to P14 and P21 to P24 may be extracted from each of the divided images 6-1 and 6-2.
  • the points P11 to P14 extracted from the first segmented image 6-1 can convert the points P21 to P24 extracted from the second segmented image 6-2 into a minimum error (for example, , Determining a parameter of the transformation matrix) a learned neural network may be implemented as the neural network 20.
  • the points may be randomly selected points or feature points extracted from a common area of each image in a predetermined manner.
  • all or part of the well-learned neural network 20 can be used as a feature extractor to select and extract features from an image to achieve a predetermined purpose.
  • the same feature may be extracted from a common area included in each of different images received by the automatic phase mapping processing system 100 using such a feature extractor. Therefore, an image in which the most identical features (features corresponding to each other) exist in one image may be determined as a mapping image.
  • neural network features are expressed as vectors, so that features are not compared for each image pair as in the prior art to search for a mapping image of a specific image, but a vector search engine capable of high-speed operation is used. It may be possible to determine the positional relationship faster.
  • the vector search engine may be an engine built to find the vectors (or set of vectors) and the closest (near distance) vectors at high speed. All vectors are indexed and stored on a DB, and the vector search engine may be designed to output a vector (or vector set) that is closest to an input vector (or vector set).
  • Such a vector search engine may be built using known vector search techniques such as juices. When such a vector search engine is performed based on a GPU, it is possible to perform large-scale high-speed computation.
  • the vector search engine may receive a set of features extracted from a target image (eg, image 1) and output the most similar (near distance) vector or a set of vectors in response thereto.
  • a mapping image of the target image can be determined at high speed.
  • all of the features extracted from the first image may be input to the vector search engine.
  • the vector search engine may output the distance between each of the features input from the vector DB and the shortest vector or the shortest vector. This task can be performed for each image.
  • vectors may be indexed and stored in a vector DB. And information about each source image can be stored together.
  • the vector search engine may receive 10 vectors extracted from the first image.
  • the vector search engine may output each of the 10 vectors and 10 vectors having the shortest distances among vectors extracted from the second image, or a sum of their distances. In this way, when performing the vectors extracted from the third image, the vectors extracted from the fourth image, and the vectors extracted from the fifth image, an image including the input vector set and the closest feature set is searched at high speed. Can be.
  • the searched image may be determined as a mapping image of the first image.
  • the vector search engine has the shortest distance for each of the 10 vectors output from the first image, except for the 10 vectors extracted from the first image. You can output in vector order. For example, when 10 vector lists are output, the automatic phase mapping processing system 100 may analyze the vector list and output a mapped image.
  • the results or methods output by the vector search engine may vary.
  • features can be extracted from each of the input images, and these features can be input into a DB built to enable vector search, and the vector search engine can select the input vector or vector set.
  • the function of outputting the most similar (short distance) vector or vector set can be performed. Through this function, the mapped image can be searched at high speed.
  • all the features of the target image that is, the image (eg, the first image) for which the mapping image is to be searched may not be input, and some features may be input to the vector search engine.
  • some features may be input to the vector search engine.
  • only features corresponding to a predefined area of the image may be input to the vector search engine to determine the positional relationship. Since the predefined area can be an area adjacent to the upper and lower corners of the image instead of the center of the image, the outer area of the image is arbitrarily set, and a feature at a location corresponding to the set area is selectively used as an input for vector search. It could be.
  • the vector DB only features corresponding to these outer regions may be input, or all features may be input.
  • the position in the extracted image is not specified by itself. Therefore, mapping can be performed only when a location (point) in the original image corresponding to the neural network feature is specified. Therefore, a technical idea of specifying a location on an original image corresponding to a neural network feature is required, which will be described later with reference to FIG. 6.
  • the automatic phase mapping processing system 100 for implementing the technical idea as described above may be defined as a functional or logical configuration as shown in FIG. 3.
  • FIG. 3 is a diagram schematically illustrating a logical configuration of an automatic phase mapping processing system according to an embodiment of the present invention.
  • the automatic phase mapping processing system 100 includes a control module 110, an interface module 120, and a feature extractor 130.
  • the automatic phase mapping processing system 100 may further include a mapping module 140 and/or a vector search engine 150.
  • the automatic phase mapping processing system 100 may mean a logical configuration including hardware resources and/or software necessary for implementing the technical idea of the present invention, and necessarily means one physical component. It does not mean that it is a single device. That is, the automatic phase mapping processing system 100 may mean a logical combination of hardware and/or software provided to implement the technical idea of the present invention, and if necessary, the automatic phase mapping processing system 100 By performing a function, it may be implemented as a set of logical configurations for implementing the technical idea of the present invention. In addition, the automatic phase mapping processing system 100 may refer to a set of components implemented separately for each function or role for implementing the technical idea of the present invention.
  • control module 110 the interface module 120, the feature extractor 130, the mapping module 140, and/or the vector search engine 150 may each be located in a different physical device, or the same physical device. It can also be located on the device.
  • a module may mean a functional and structural combination of hardware for performing the technical idea of the present invention and software for driving the hardware.
  • the module may mean a predetermined code and a logical unit of a hardware resource for executing the predetermined code, and does not necessarily mean a physically connected code or a single type of hardware. Can be easily inferred by an average expert in the technical field of the present invention.
  • the control module 110 includes other components included in the automatic phase mapping processing system 100 in order to implement the technical idea of the present invention (for example, the interface module 120, the feature extractor 130, the mapping module 140), And/or the vector search engine 150, etc.).
  • the interface module 120 may receive a plurality of images from the outside.
  • the plurality of images may be images captured at different locations.
  • the plurality of images may be 360 images taken indoors, but are not limited thereto.
  • an image including the most common area may be defined as a mapping image, which may be defined as an image with the largest number of corresponding features.
  • the feature extractor 130 may extract a feature defined according to the technical idea of the present invention, that is, a neural network feature.
  • the neural network features may be features of an image specified before the output layer in a predetermined neural network (eg, CNN).
  • the feature extractor 130 may be the neural network 20 itself as shown in FIG. 4, or from the input layer 21 to a predetermined layer (eg, 23) before the output layer 24 in the neural network. It can also mean the composition of. All or part of the features included in the feature map defined by the layer 23 may be neural network features.
  • the neural network 20 may be learned for a separate purpose (eg, classification, detection, etc.) other than the purpose of extracting a neural network feature, but as described above, matching two images with a minimum error It may be a neural network designed for the purpose, or it may be learned for the purpose of extracting a neural network feature.
  • a separate purpose eg, classification, detection, etc.
  • It may be a neural network designed for the purpose, or it may be learned for the purpose of extracting a neural network feature.
  • the neural network 20 itself is a feature extractor.
  • the location arbitrarily set by the user may be set to a location set by the user (eg, a center location of the object) in a predetermined object (eg, wall, door, etc.).
  • the user-set position may be set in a flat area, that is, a flat image area in which no edge or edge exists, unlike the conventional handcraft feature point.
  • a feature may be defined even within a flat image area that is not extracted as a feature point, and if this is used, a more accurate mapping image may be determined and mapped.
  • FIG. 5 is a diagram for explaining an advantage of using a neural network feature according to an embodiment of the present invention.
  • the feature extractor 130 may be learned so that an arbitrary position within a predetermined object (eg, wall, door, table) can be specified as a feature point (fp1, fp2, fp3). .
  • a predetermined object eg, wall, door, table
  • the arbitrary position may be set within a generally flat image area such as a predetermined position for each object (eg, a center of a wall, a center of a table, a center of a door, etc.).
  • a predetermined position for each object eg, a center of a wall, a center of a table, a center of a door, etc.
  • the feature extractor 130 may be trained to extract a feature corresponding to a handcraft feature point, such as a conventional edge or bent corner.
  • the user may annotate a handcraft feature point for each object and set positions of a flat area set by the user on a plurality of images, and use this as learning data to train the neural network 20.
  • features corresponding to each of the feature points fp1, p2, fp3 may be extracted, and the feature point itself may be output.
  • a position that is not extracted as a conventional handcraft feature can be used as a feature, so there is an advantageous effect in defining image characteristics or mapping an image. I can.
  • the neural network feature is characteristic information of an image determined through a plurality of convolutions and/or pooling to output a desired purpose by the neural network 20, but the neural network feature itself is a specific position in the corresponding original image. May not represent
  • a location on the original image corresponding to the neural network feature that is, a feature location needs to be specified. This is because the mapping of the image can be performed only when such a feature location is specified.
  • FIG. 6 is a diagram for explaining a feature location corresponding to a neural network feature according to an embodiment of the present invention.
  • a neural network feature f may be extracted from a predetermined layer.
  • the neural network feature (f) corresponds to a predetermined corresponding region (Sl) in the previous predetermined layer (l), and pixel information included in this corresponding region (Sl) is determined by a predefined convolution and pooling function. It may be mapped to the neural network feature (f).
  • a predetermined position (e.g., a center or a specific vertex, etc.) in the corresponding region Sl of the neural network feature f in the l layer is the corresponding position PSl in the l layer of the neural network feature f Can be defined as
  • the corresponding region So on the original image corresponding to the corresponding position PSl in the l layer can be specified by the convolution and pooling relationship between the original image and the l layer, and the corresponding region So ) May be specified as a corresponding position on the original image of the neural network feature f, that is, a feature position.
  • each feature location may become a feature point for image mapping.
  • the mapping module 140 may perform image mapping using feature positions corresponding to each other between the mapping images.
  • mapping between two images may be performed using points corresponding to each other in each of the two images.
  • points corresponding to each other may be feature points of a neural network feature extracted from each of the two images, and feature points corresponding to each other may be easily searched through a vector search engine.
  • the relative positional relationship can be determined using Epipolar Geometry can be easily inferred by an average expert in the technical field of the present invention.
  • various methods may be possible.
  • mapping between two images that is, mapping between the mapped images matches two images
  • specifying a transformation matrix for matching the two images may be performing the mapping.
  • a transformation matrix can be defined so that three pairs of features corresponding to each other are extracted and the extracted three pairs can be transformed. Thus, these three pairs of features can be searched so that all features can be converted to the smallest error, and of course, an algorithm such as LANSAC can be used.
  • the vector search engine 150 inputs a vector corresponding to the features of each image extracted by the feature extractor 130 into a DB, and features extracted from a target image (eg, a first image).
  • a vector set corresponding to the set may be input. Then, as described above, the results of the Becker search can be output.
  • control module 110 may determine an image that exists in a positional relationship adjacent to the target image based on the vector search result.
  • FIG. 7 is a flowchart illustrating a method of searching for a mapping image between images in an automatic phase mapping processing method according to an exemplary embodiment of the present invention.
  • the automatic phase mapping processing system 100 may extract a neural network feature from each of a plurality of images (S100). Then, the features are constructed as a vector DB, and a vector search for a vector set (feature set) extracted from the target image may be performed (S110, S120).
  • mapping image of the target image may be determined based on the vector search result (S130), and the mapping image of each image may be determined by performing the same task for all images (S140).
  • FIG. 8 is a flowchart illustrating a method of mapping images in an automatic phase mapping processing method according to an embodiment of the present invention.
  • the automatic phase mapping processing system 100 corresponds to features extracted from the first image in order to map the first image and the second image determined as mapping images to each other.
  • Feature positions can be specified (S200). To this end, a method as shown in FIG. 6 may be used.
  • feature locations corresponding to features extracted from the second image may be specified (S210).
  • the automatic phase mapping processing system 100 determines a relative positional relationship through an Epipolar Geometry algorithm based on the feature positions of each image or uses a predetermined method (e.g., RANSAC algorithm) to convert a transformation matrix for image connection. It can be determined through (S220).
  • a predetermined method e.g., RANSAC algorithm
  • the automatic phase mapping processing method can be implemented as computer-readable code on a computer-readable recording medium.
  • the computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, hard disk, floppy disk, and optical data storage device.
  • the computer-readable recording medium is distributed over a computer system connected through a network, so that computer-readable codes can be stored and executed in a distributed manner.
  • functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the technical field to which the present invention belongs.
  • the present invention can be used in a method and a system for automatic phase mapping processing based on omnidirectional image information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

자동 위상 매핑 처리방법 및 시스템이 개시된다. 상기 자동 위상 매핑 처리방법은 자동 위상 매핑 처리시스템이 복수의 이미지들-상기 복수의 이미지들 중 적어도 두 개는 공통된 공간이 촬영된 공통영역이 존재함-을 획득하는 단계, 상기 자동 위상 매핑 처리시스템이 상기 이미지들 각각으로부터 뉴럴 네트워크를 이용한 피쳐 추출기를 통해 상기 이미지들 각각의 피쳐들을 추출하는 단계, 상기 자동 위상 매핑 처리시스템이 상기 이미지들 각각으로부터 추출된 피쳐들에 기초하여 상기 이미지들 각각의 매핑 이미지를 판단하는 단계를 포함한다.

Description

전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
본 발명은 서로 다른 위치에서 촬영된 복수의 이미지들간에 효과적인 위치관계의 매핑 또는 연결(또는 정합)할 수 있는 방법 및 그 시스템에 관한 것이다.
서로 다른 이미지들 간의 위상 매핑을 위한 기술이 널리 알려져 있다. 위상 매핑은 서로 다른 이미지들간의 상대적 위치관계를 파악하거나 또는 이미지들을 연결(또는 정합)하기 위한 기술일 수 있다.
일반적으로 서로 다른 이미지를 연결하기 위해서는 서로 공통된 공간을 포함하고 있는 두 이미지들 각각으로부터 피쳐 포인트를 검출하고, 검출된 피쳐 포인트들이 가장 에러가 적을 수 있도록 겹쳐지게 하는 변환함수(변환행렬, transformation matrix)를 통해 이미지를 변환하여 연결하는 방식이 이용된다.
또한 서로 다른 이미지들을 연결(정합)하지 않더라도 두 이미지간의 위치관계를 파악하기 위해 두 이미지에 각각 존재하는 서로 매칭되는 포인트들(예컨대, 공간에서 동일한 포인트에 해당하는 서로 다른 두 이미지에서의 포인트들)을 이용하는 기술적 사상들(예컨대, 에피폴라 지오메트리(epipolar geometry) 등)이 공지된 바 있다.
하지만 복수의 이미지들이 존재하고 이러한 이미지들 중에서 어떤 이미지들이 서로 연결되어야 할지 또는 어떤 이미지들이 서로 매핑될 수 있는 이미지들인지(예컨대, 동일한 공간을 포함하고 있는 이미지들)를 알 수 없는 경우가 존재할 수 있다. 즉 이미지들 각각의 위치 및/또는 방향을 알지 못하는 경우가 그러한 경우일 수 있다.
예컨대, 실내 공간의 서로 다른 복수의 위치들에서 각각 이미지((예컨대, 360도 이미지)을 촬영한 경우, 각각의 이미지들의 위치관계를 특정함으로써 실내 공간의 내비게이션 등과 같은 다양한 서비스가 원활히 이루어질 수 있다. 하지만 각각의 이미지가 촬영된 위치가 알려져 있지 않는 상태에서는 어떠한 이미지가 서로 매핑될 수 있는 이미지들인지 알 수 없다.
이러한 경우 이미지들 각각의 조합별로 서로 매핑될 수 있는지 여부를 판단하여야 한다. 하지만 이러한 태스크는 매우 많은 자원과 시간이 소요될 수 있다. 예컨대, 5개의 서로 다른 이미지가 존재하는 경우 서로 매핑될 수 있는 이미지 페어를 찾기 위해서는 제1이미지를 제2이미지 내지 제5이미지와 각각 페어로 설정하여 서로 매핑될 수 있는 이미지인지를 판단할 수 있다. 예컨대, 제1이미지와 공통된 피쳐 포인트들이 가장 많이 발견되는 이미지가 제1이미지와 매핑되는 이미지가 될 수 있다. 왜냐하면 서로 매핑되는 이미지는 공통된 공간을 촬영한 영역이 존재하는 경우이고, 이렇게 공통된 공간이 촬영된 영역에서는 서로 동일한 피쳐 포인트가 발견될 수 있기 때문이다.
이러한 태스크를 모든 이미지 페어별로 수행하여야만이 이미지들 간의 위상관계가 결정될 수 있고, 그 후 서로 인접한 이미지들간에 매핑이 수행될 수 있다. 본 명세서에서 매핑이 수행된다고 함은 두 이미지들이 연결(정합)될 수 있는 경우에는 두 이미지들을 정합하는 경우일 수도 있지만, 서로 다른 두 위치에서 촬영된 이미지들과 같이 연결(정합)될 필요가 없는 경우에는 두 이미지들간의 상대적인 위치관계를 파악하는 것을 포함하는 의미로 정의할 수 있다.
이처럼 이미지들의 개수가 많아질수록 매핑될 수 있는 이미지들의 파악 및 파악된 이미지들 간의 위치관계를 특정하는데 소요되는 비용은 기하급수적으로 증가하는 문제점이 있다.
따라서 본 발명이 이루고자 하는 기술적인 과제는 복수의 이미지들간의 매핑을를 빠르고 효과적으로 판단할 수 있는 방법 및 시스템을 제공하는 것이다.
상기 기술적 과제를 달성하기 위한 자동 위상 매핑 처리방법은 자동 위상 매핑 처리시스템이 복수의 이미지들-상기 복수의 이미지들 중 적어도 두 개는 공통된 공간이 촬영된 공통영역이 존재함-을 획득하는 단계, 상기 자동 위상 매핑 처리시스템이 상기 이미지들 각각으로부터 뉴럴 네트워크를 이용한 피쳐 추출기를 통해 상기 이미지들 각각의 피쳐들을 추출하는 단계, 상기 자동 위상 매핑 처리시스템이 상기 이미지들 각각으로부터 추출된 피쳐들에 기초하여 상기 이미지들 각각의 매핑 이미지를 판단하는 단계를 포함한다.
상기 자동 위상 매핑 처리시스템이 상기 이미지들 각각으로부터 추출된 피쳐들에 기초하여 상기 이미지들 각각의 매핑 이미지를 판단하는 단계는, 상기 이미지들 각각으로부터 추출된 피쳐들에 상응하는 벡터들을 DB로 구축하는 단계, 상기 이미지들 중 소정의 제1이미지로부터 추출된 제1피쳐들에 상응하는 제1벡터들 중 적어도 일부인 벡터 세트를 상기 구축된 DB에 벡터 서치하는 단계, 상기 벡터 서치 결과에 기초하여 추출된 제2이미지를 상기 제1이미지의 매핑 이미지로 판단하는 단계를 포함할 수 있다.
상기 자동 위상 매핑 처리방법은 상기 제1이미지와 상기 제1이미지의 매핑 이미지로 판단된 상기 제2이미지의 매핑을 수행하는 단계를 더 포함할 수 있다.
상기 제1이미지와 상기 제1이미지의 매핑 이미지로 판단된 상기 제2이미지의 매핑을 수행하는 단계는, 상기 제1이미지로부터 추출된 제1피쳐들에 각각에 대응되는 상기 제1이미지상의 제1피쳐대응위치들 및 상기 제2이미지로부터 추출된 제2피쳐들에 각각에 대응되는 상기 제2이미지상의 제2피쳐대응위치들을 판단하는 단계, 판단된 제1피쳐대응위치들 및 상기 제2피쳐대응위치들에 기초하여 상기 제1이미지 및 상기 제2이미지의 상대적 위치관계를 판단하는 단계를 포함할 수 있다.
상기 뉴럴 네트워크는 소정의 이미지를 겹치는 영역이 존재하도록 분할한 후, 분할한 이미지들 각각의 겹치는 공통영역에서 각각 추출되는 서로 대응되는 포인트들이 최적으로 매칭될 수 있는 변환관계를 출력하도록 학습된 뉴럴 네트워크일 수 있다.
상기 이미지들 각각은 실내의 서로 다른 위치에서 촬영된 360도 영상인 것을 특징으로 할 수 있다.
다른 실시 예에 따른 자동 위상 매핑 처리방법은 자동 위상 매핑 처리시스템이 복수의 이미지들-상기 복수의 이미지들 중 적어도 두 개는 공통된 공간이 촬영된 공통영역이 존재함-을 획득하는 단계, 상기 자동 위상 매핑 처리시스템이 상기 이미지들 각각으로부터 피쳐를 추출하는 단계, 상기 이미지들 각각으로부터 추출된 피쳐들에 상응하는 벡터들을 DB로 구축하는 단계, 상기 이미지들 중 소정의 제1이미지로부터 추출된 제1피쳐들에 상응하는 제1벡터들 중 적어도 일부인 벡터 세트를 상기 구축된 DB에 벡터 서치하는 단계, 상기 벡터 서치 결과에 기초하여 추출된 제2이미지를 상기 제1이미지에 상응하는 매핑 이미지로 판단하는 단계를 포함할 수 있다.
상기의 방법은 데이터 처리장치에 설치되며 기록매체에 저장된 컴퓨터프로그램에 의해 구현될 수 있다.
일 실시 예에 따른 자동 위상 매핑 처리시스템은 프로세서, 상기 프로세서에 의해 구현되는 프로그램이 저장된 메모리를 포함하며, 상기 프로그램은 복수의 이미지들-상기 복수의 이미지들 중 적어도 두 개는 공통된 공간이 촬영된 공통영역이 존재함-을 획득하고, 상기 이미지들 각각으로부터 뉴럴 네트워크를 이용한 피쳐 추출기를 통해 상기 이미지들 각각의 피쳐들을 추출하며, 상기 이미지들 각각으로부터 추출된 피쳐들에 기초하여 상기 이미지들 각각의 매핑 이미지를 판단한다.
상기 프로세서는 상기 이미지들 각각으로부터 추출된 피쳐들에 상응하는 벡터들을 DB로 구축하고, 상기 이미지들 중 소정의 제1이미지로부터 추출된 제1피쳐들에 상응하는 제1벡터들 중 적어도 일부인 벡터 세트를 상기 구축된 DB에 벡터 서치하며, 상기 벡터 서치 결과에 기초하여 추출된 제2이미지를 상기 제1이미지의 매핑 이미지로 판단할 수 있다.
상기 프로세서는 상기 제1이미지로부터 추출된 제1피쳐들에 각각에 대응되는 상기 제1이미지상의 제1피쳐대응위치들 및 상기 제2이미지로부터 추출된 제2피쳐들에 각각에 대응되는 상기 제2이미지상의 제2피쳐대응위치들을 판단하고, 판단된 제1피쳐대응위치들 및 상기 제2피쳐대응위치들에 기초하여 상기 제1이미지 및 상기 제2이미지의 상대적 위치관계를 판단할 수 있다.
다른 일 실시 예에 따른 자동 위상 매핑 처리시스템은 프로세서, 상기 프로세서에 의해 구현되는 프로그램이 저장된 메모리를 포함하며, 상기 프로그램은 복수의 이미지들-상기 복수의 이미지들 중 적어도 두 개는 공통된 공간이 촬영된 공통영역이 존재함-을 획득하고, 상기 이미지들 각각으로부터 피쳐를 추출하며, 상기 이미지들 각각으로부터 추출된 피쳐들에 상응하는 벡터들을 DB로 구축하고, 상기 이미지들 중 소정의 제1이미지로부터 추출된 제1피쳐들에 상응하는 제1벡터들 중 적어도 일부인 벡터 세트를 상기 구축된 DB에 벡터 서치하고, 상기 벡터 서치 결과에 기초하여 추출된 제2이미지를 상기 제1이미지에 상응하는 매핑 이미지로 판단할 수 있다.
본 발명에 의하면 뉴럴 네트워크를 이용한 이미지 피쳐들을 이용하여 빠른 시간 내에 피쳐를 추출할 수 있고, 이를 활용하여 벡터 서치 방식으로 복수의 이미지들이 존재하는 경우에 서로 매핑될 수 있는 이미지들의 파악을 효과적으로 수행할 수 있는 효과가 있다.
또한 매핑될 수 있는 이미지들을 파악한 후에도 뉴럴 네트워크에서 이용하여 되는 피쳐를 이용함으로써 효과적인 매핑이 수행될 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 자동 위상 매핑 처리방법을 구현하기 위한 개략적인 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 실시 예에 따른 자동 위상 매핑 처리시스템의 개략적인 구성을 나타내는 도면이다.
도 3은 본 발명의 실시 예에 따른 자동 위상 매핑 처리시스템의 논리적 구성을 개략적으로 설명하기 위한 도면이다.
도 4는 본 발명의 실시 예에 따른 자동 위상 매핑 처리방법을 위해 뉴럴 네트워크의 피쳐를 이용하는 개념을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 뉴럴 네트워크 피쳐를 이용할 경우의 장점을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 뉴럴 네트워크 피쳐에 대응되는 피쳐위치를 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따른 자동 위상 매핑 처리방법에서 이미지들 간의 매핑 이미지를 탐색하는 방법을 설명하기 위한 플로우 차트이다.
도 8은 본 발명의 실시 예에 따른 자동 위상 매핑 처리방법에서 이미지들을 매핑하기 위한 방법을 설명하기 위한 플로우 차트이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다.
반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시 예에 따른 자동 위상 매핑 처리방법을 구현하기 위한 개략적인 구성을 설명하기 위한 도면이다. 또한, 도 2는 본 발명의 실시 예에 따른 자동 위상 매핑 처리시스템의 개략적인 구성을 나타내는 도면이다.
본 발명의 기술적 사상에 따른 자동 위상 매핑 처리방법을 구현하기 위해서는 자동 위상 매핑 처리시스템(100)이 구비된다.
상기 자동 위상 매핑 처리시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 프로그램이 저장되는 메모리(2), 및 상기 메모리(2)에 저장된 프로그램을 실행하기 위한 프로세서(1)가 구비될 수 있다.
상기 프로세서(1)는 상기 자동 위상 매핑 처리시스템(100)의 구현 예에 따라, CPU, 모바일 프로세서 등 다양한 명칭으로 명명될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 메모리(2)는 상기 프로그램이 저장되며, 상기 프로그램을 구동시키기 위해 상기 프로세서가 접근할 수 있는 어떠한 형태의 저장장치로 구현되어도 무방하다. 또한 하드웨어적 구현 예에 따라 상기 메모리(2)는 어느 하나의 저장장치가 아니라 복수의 저장장치로 구현될 수도 있다. 또한 상기 메모리(2)는 주기억장치 뿐만 아니라, 임시기억장치를 포함할 수도 있다. 또한 휘발성 메모리 또는 비휘발성 메모리로 구현될 수도 있으며, 상기 프로그램이 저장되고 상기 프로세서에 의해 구동될 수 있도록 구현되는 모든 형태의 정보저장 수단을 포함하는 의미로 정의될 수 있다.
상기 자동 위상 매핑 처리시스템(100)은 실시 예에 따라 웹 서버, 컴퓨터, 모바일 폰, 태블릿, TV, 셋탑박스 등 다양한 방식으로 구현될 수 있으며, 본 명세서에서 정의되는 기능을 수행할 수 있는 어떠한 형태의 데이터 프로세싱 장치도 포함하는 의미로 정의될 수 있다.
또한 상기 자동 위상 매핑 처리시스템(100)의 실시 예에 따라 다양한 주변장치들(3)이 더 구비될 수 있다. 예컨대, 키보드, 모니터, 그래픽 카드, 통신장치 등이 주변장치로써 상기 자동 위상 매핑 처리시스템(100)에 더 포함될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
본 발명의 기술적 사상에 따른 자동 위상 매핑 처리시스템(100)은 복수의 이미지들 중 서로 매핑될 수 있는 이미지들 즉 매핑 이미지들을 파악할 수 있다. 또한 실시 예에 따라서는 상기 자동 위상 매핑 처리시스템(100)은 파악한 매핑 이미지들간의 매핑을 수행할 수도 있다.
매핑 이미지들은 서로 가장 근접한 위상관계를 가지는 이미지들을 의미할 수 있다. 가장 근접한 위상관계는 거리가 가까운 것뿐 아니라 공간적으로도 직접 서로 이동이 가능하여야 하는 경우일 수 있고, 이러한 예는 공통된 공간이 가장 많이 포함되어 있는 이미지들일 수 있다.
또한 매핑을 수행한다고 함은, 전술한 바와 같이 두 이미지들간에 정합을 의미할 수도 있지만, 본 발명에서는 두 이미지들의 위상 즉, 상대적인 위치관계를 파악하는 경우를 위주로 설명하도록 한다.
예컨대, 도 1에 도시된 바와 같이 상기 자동 위상 매핑 처리시스템(100)은 복수 개(예컨대, 5개)의 이미지들을 입력받을 수 있다. 그러면 상기 자동 위상 매핑 처리시스템(100)은 복수 개의 이미지들 중 서로 매핑될 수 있는 이미지 즉 매핑 이미지들이 어떤 것인지를 파악하고, 파악한 매핑 이미지들의 매핑을 수행할 수 있다.
예컨대 본 발명의 실시 예에서 이미지들은 서로 다른 위치에서 촬영된 전방위 이미지(360 이미지)일 수 있다. 그리고 매핑 이미지들은 서로 공통된 공간을 가장 많이 공유하고 있는 이미지들 페어일 수 있다.
예컨대, 도 1b에 도시된 바와 같이 위치 a, b, c, d, e 에서 촬영된 이미지들 각각이 이미지 1, 이미지 2, 이미지 3, 이미지 4, 및 이미지 5일 수 있다.
이러한 경우 이미지 1과 이미지 2 및 이미지 3은 공통된 촬영된 영상 내에 공통된 공간이 상당히 많이 포함되어 있지만, 상대적으로 이미지 1과 이미지 2에 더 많은 공통된 공간이 포함되어 있을 수 있다. 따라서 이미지 1의 매핑 이미지는 이미지 2일 수 있다.
그러면 이미지 2에 대해서 매핑 이미지를 탐색해야하고 이때 이미 매핑 이미지가 확정된 이미지 1은 제외될 수 있다. 그러면 이미지 2의 매핑 이미지는 이미지 3이 될 수 있다.
이와 같은 방식을 이미지 3의 매핑 이미지는 이미지 4가 될 수 있고, 이미지 4의 매핑 이미지는 이미지 5가 될 수 있다.
그러면 자동 위상 매핑 처리시스템(100)은 이미지 1을 기준으로 매핑 이미지인 이미지 2에 대한 매핑을 수행할 수 있다. 즉, 이미지 2의 이미지 1에 대한 위상 이미지 2의 이미지 1에 대한 상대적 위치를 파악할 수 있다. 그리고 이미지 3의 이미지 2에 대한 위상, 이미지 4의 이미지 3에 대한 위상, 및 이미지 5의 이미지 4에 대한 위상을 순차적으로 파악함으로써 전체 이미지들간의 위상관계가 특정될 수 있다.
결국 종래는 전방위 이미지들이 복수 존재하고 각각의 전방위 이미지들의 정확한 위치를 알 수 없는 경우에는, 복수의 이미지들의 위치관계를 파악하기 위해서는 상당한 시간과 자원이 필요할 수 있다.
예컨대, 종래의 방식에 의하면 모든 이미지들별로 소정의 피쳐 포인트를 추출하고, 추출된 피쳐 포인트들을 이용하여 모든 이미지 쌍(페어)별로 공통된 피쳐 포인트가 얼마나 존재하는지를 파악하여야 한다. 그리고 공통된 피쳐 포인트가 가장 많은 이미지 쌍이 서로 매핑 이미지로 파악될 수 있고, 공통된 피쳐 포인트들의 위치에 따라 매핑 즉, 상대적 위치관계가 결정될 수 있다. 만약 정합이 필요한 경우에는 공통된 피쳐 포인트들을 최소한의 에러로 겹쳐지게 하기 위한 변환행렬이 결정되고 이러한 변환행렬을 통한 어느 하나의 이미지의 변환을 통해 두 이미지는 연결(정합)될 수 있다.
하지만 이러한 종래의 방식에서 사용되는 피쳐 포인트는 피쳐 포인트의 추출에도 상당한 시간과 연산량이 소요된다. 또한 매핑 이미지를 파악하기 위해 위해 모든 이미지 페어별로 피쳐 포인트를 비교하는 연산을 수행하여야 하는데 이미지들의 피쳐 포인트의 개수가 많을수록 이러한 연산은 상당한 시간이 걸리는 문제점이 있다.
하지만 전술한 바와 같이 본 발명의 기술적 사상에 의하면 빠르고 정확하게 자동으로 이러한 복수의 이미지들 중에서 매핑 이미지를 탐색하고 탐색된 매핑 이미지들에 대한 매핑을 수행할 수 있다.
이러한 문제점을 해결하기 위해 본 발명의 기술적 사상에 따른 자동 위상 매핑 처리시스템(100)은 뉴럴 네트워크 피쳐를 이용할 수 있다.
본 명세서에서 정의되는 뉴럴 네트워크 피쳐는 소정의 목적을 달성하기 위해 학습된 뉴럴 네트워크의 소정의 레이어의 피쳐 맵(feature map)에서 선택된 전부 또는 일부의 피쳐들을 의미할 수 있다.
이러한 피쳐들은 특정 목적을 달성하기 위해 학습된 뉴럴 네트워크(예컨대, 컨벌루셔널 뉴럴 네트워크)에서 이용되며 상기 특정 목적을 달성하도록 뉴럴 네트워크가 학습되면 학습된 뉴럴 네트워크에 의해 도출되는 정보일 수 있다.
예컨대, 도 4에 도시된 바와 같은 뉴럴 네트워크(20)가 존재할 수 있고, 상기 뉴럴 네트워크는 컨벌루션 뉴럴 네트워크(CNN)일 수 있다.
이러한 경우 복수의 레이어들(21 ,22, 23, 24)이 상기 뉴럴 네트워크(20)에 포함될 수 있고, 입력 레이어(21)와 출력 레이어(24) 및 복수의 히든 레이어들(22, 23)이 존재할 수 있다. 상기 출력 레이어(24)는 이전 레이어와 완전 연결(fully connected)된 레이어일 수 있고, 본 발명의 기술적 사상에 따른 자동 위상 매핑 처리시스템(100)은 상기 출력 레이어(24) 또는 풀리 커넥티드 레이어 이전의 임의의 피쳐 맵이 포함되는 레이어(예컨대, 23)에서 상기 뉴럴 네트워크 피쳐(f1, f2, f3)를 선택할 수 있다.
상기 자동 위상 매핑 처리시스템(100)이 이용하는 뉴럴 네트워크 피쳐(f1, f2, f3)는 해당 레이어의 피쳐 맵에 포함된 모든 피쳐일 수도 있고, 이중에서 일부 선택된 피쳐일 수도 있다.
상기 자동 위상 매핑 처리시스템(100)은 이러한 피쳐를 종래의 핸드 크래프트 피쳐 포인트 예컨대, SIFT(Scale-Invariant Feature Transform)], SURF (Speeded Up Robust Features), 또는 ORB(Oriented FAST and Rotated BRIEF) 대신 이용하여 매핑 이미지를 파악하거나 매핑 이미지들간의 매핑을 수행하는데 이용할 수 있다. 즉, 종래의 핸드 크래프트 피쳐들 대신에 컨벌루셔널 뉴럴 네트워크에서 이용되는 피쳐들이 이용될 수 있다.
이는 이미지의 피쳐는 스케일(scale) 또는 오리엔테이션(orientation)에 무관하게 동일한 특성을 가져야 하는 것이 바람직한데, 컨벌루셔널 뉴럴 네트워크에서 출력 레이더(23) 이전의 레이어는 복수의 비선형적 컨벌루션 함수 및/또는 풀링 함수 등을 통해 이러한 특징을 가지게 된다. 더욱이 종래의 핸드 크래프트 피쳐들은 이미지에서의 모서리 등과 같이 사람이 정의한 특징적인 위치에서만 추출되며 대개는 에지가 존재하는 곳(예컨대, 에지가 꺾이는 위치 등)에서만 추출되는 특징이 있다.
하지만 뉴럴 네트워크 피쳐는 이러한 위치가 아니라 이미지의 플랫(flat)한 영역에서도 발견될 수 있도록 뉴럴 네트워크(20)가 학습될 수 있는 장점이 있다. 또한, 핸드 크래프트 피쳐는 이미지의 왜곡이나 이미지 품질에 따라 피쳐 포인트가 검출되어야 함에도 불구하고 검출되지 않는 경우가 종종 발생하는데 비해 뉴럴 네트워크 피쳐는 이러한 이미지 왜곡에 훨씬 강인한 특성이 있어서 피쳐 추출에 있어서도 정확도의 향상이 존재할 수 있다.
상기 뉴럴 네트워크(20)는 그 자체가 피쳐 추출기(feature extracter)일 수도 있다. 예컨대, 출력 레이어(24) 또는 풀리 커넥티드 직전 레이어(23)에서 피쳐가 선택되는 경우, 상기 출력 레이어(24)는 직전 레이어(23)의 선택된 피쳐(f1, f2, f3) 자체를 출력하도록 설계될 수도 있고, 이러한 경우는 상기 뉴럴 네트워크(20) 자체가 피쳐 추출기로 작동할 수 있다.
또는 상기 뉴럴 네트워크(20)는 별개의 고유 목적(예컨대, 클래시피케이션, 오브젝트 디텍팅 등)을 달성하기 위해 학습된 것일 수도 있다. 이러한 경우에도 소정의 레이어에서 항상 일관된 피쳐를 선택하여 뉴럴 네트워크 피쳐로 이용할 수 있다. 예컨대, 도 4의 경우에는 출력 레이어(24)를 제외한 나머지 레이어들의 결합이 피쳐 추출기로 동작할 수 있다.
본 발명의 일 실시 예에 의하면, 상기 뉴럴 네트워크(20)는 어느 하나의 이미지를 겹치는 영역이 존재하도록 분할한 후, 분할한 이미지들 각각의 겹치는 공통영역에서 각각 추출되는 서로 대응되는 포인트들이 매칭될 수 있도록 최적의 변환관계(예컨대 에러가 최소가 되는)를 도출할 수 있도록 학습된 뉴럴 네트워크일 수 있다.
예컨대, 도 4b에 도시된 바와 같이 소정의 이미지(6)의 전부 또는 일부는 겹치는 공통영역(6-3)이 존재하도록 분할될 수 있다. 그리고 분할된 이미지들(6-1 및 6-2) 각각으로부터 서로 대응되는 포인트들(예컨대, P11 내지 P14, P21 내지 P24)이 소정의 개수 추출될 수 있다.
그러면 제1분할 이미지(6-1)에서 추출된 포인트들(P11 내지 P14)이 제2분할 이미지(6-2)에서 추출된 포인트들(P21 내지 P24)을 최소에러로 변환될 수 있도록(예컨대, 변환행렬의 파라미터를 결정) 학습되는 뉴럴 네트워크를 상기 뉴럴 네트워크(20)로 구현할 수 있다.
이때 상기 포인트들(예컨대, P11 내지 P14, P21 내지 P24)은 임의로 선택되는 포인트일 수도 있고, 각각의 이미지들의 공통영역에서 소정의 방식으로 추출된 피쳐 포인트일 수도 있다.
어떠한 경우든 소정의 목적을 달성하기 위해 잘 학습된 뉴럴 네트워크(20)의 전부 또는 일부가 이미지에서 피쳐를 선택하고 추출하는 피쳐 추출기로 이용될 수 있다.
그리고 이러한 피쳐 추출기를 이용해 상기 자동 위상 매핑 처리시스템(100)이 입력받은 서로 다른 이미지들 각각에 포함된 공통영역에서는 동일한 피쳐가 추출될 수 있다. 따라서 어떤 하나의 이미지에서 동일한 피쳐(서로 대응되는 피쳐)가 가장 많이 존재하는 이미지가 매핑 이미지로 판단될 수 있다.
한편 본 발명의 기술적 사상에 따르면, 뉴럴 네트워크 피쳐들은 벡터로 표현되므로 특정 이미지의 매핑 이미지를 탐색하기 위해 종래와 같이 이미지 페어들 마다 피쳐들을 비교하는 것이 아니라, 고속 연산이 가능한 벡터 서치 엔진을 이용함으로써 보다 빠른 위치관계의 판단이 가능할 수 있다.
대용량의 벡터들을 고속으로 서치하는 기술들이 최근에 널리 공개된 바 있다.
벡터 서치 엔진은 입력되는 벡터(또는 벡터 세트)와 가장 근사한(근거리의) 벡터들을 고속으로 찾기 위해 구축되는 엔진일 수 있다. 모든 벡터들은 DB 상에서 인덱스화되어 저장되며, 상기 벡터 서치 엔진은 입력되는 벡터(또는 벡터 세트)와 가장 근사한 벡터(또는 벡터 세트)를 출력할 수 있도록 설계될 수 있다.
이러한 벡터 서치 엔진은 예컨대, faiss 등과 같은 알려진 벡터 서치 기법들을 이용해 구축될 수 있다. 이러한 벡터 서치 엔진은 GPU 기반으로 수행되는 경우 대용량의 고속연산이 가능한 효과가 있다.
본 발명의 기술적 사상에 따른 벡터 서치 엔진은 대상 이미지(예컨대, 이미지 1)에서 추출된 피쳐들의 세트를 입력받고 그에 대한 응답으로 가장 유사한(근거리)의 벡터 또는 벡터들의 집합을 출력할 수 있다. 그리고 이러한 벡터 또는 벡터들의 집합의 출처가 어떤 이미지인지를 판단함으로써 고속으로 대상 이미지의 매핑 이미지가 결정될 수 있다.
예컨대, 제1이미지에서 추출된 피쳐들 전부가 벡터 서치 엔진에 입력될 수 있다. 벡터 서치 엔진은 벡터 DB에서 입력된 피쳐들 각각과 가장 거리가 짧은 벡터 또는 가장 거리가 짧은 벡터와의 거리를 출력할 수 있다. 이러한 태스크는 이미지들별로 수행될 수 있다.
예컨대, 다섯 개의 이미지가 존재하고 각각의 이미지들별로 10개의 피쳐가 추출된 경우를 가정하면, 벡터 DB에는 50개의 벡터가 인덱스화되어 저장될 수 있다. 그리고 각각의 출처 이미지에 대한 정보가 같이 저장될 수 있다.
그러면 상기 벡터 서치 엔진은 제1이미지로부터 추출된 10개의 벡터를 입력받을 수 있다. 그리고 벡터 서치 엔진은 10개의 벡터들 각각과 제2이미지에서 추출된 벡터들 중 거리가 가장 짧은 벡터들 10개 또는 이들의 거리의 합을 출력할 수 있다. 이러한 방식으로 제3이미지에서 추출된 벡터들, 제4이미지에서 추출된 벡터들, 제5이미지에서 추출된 벡터들에 대해 수행하면 입력된 벡터 세트와 가장 근사한 피쳐 세트들을 포함하는 이미지가 고속으로 탐색될 수 있다. 그리고 탐색된 이미지가 제1이미지의 매핑 이미지로 결정될 수 있다.
실시 예에 따라서는 상기 벡터 서치 엔진은 제1이미지로부터 출력된 10개의 벡터들 각각에 대해서 상기 제1이미지로부터 추출된 10개의 벡터를 제외한 나머지 벡터들(40개)에 전체에 대해 거리가 가장 짧은 벡터 순서대로 출력할 수 있다. 예컨대, 10개의 벡터 리스트가 출력되면 상기 자동 위상 매핑 처리시스템(100)은 이러한 벡터 리스트를 분석하여 매핑 이미지를 출력할 수 있다.
벡터 서치 엔진이 출력하는 결과 또는 방식은 다양할 수 있다. 하지만 어떠한 경우든 본 발명의 기술적 사상에 의하면 입력된 이미지들 각각으로부터 피쳐들을 추출하고, 이러한 피쳐들을 벡터 서치가 가능하도록 구축된 DB에 입력할 수 있으며, 벡터 서치 엔진은 입력되는 벡터 또는 벡터 세트를 입력받으면 가장 유사한(거리가 짧은) 벡터 또는 벡터 세트를 출력하는 기능을 수행할 수 있다. 이러한 기능을 통해 매핑 이미지를 고속으로 탐색할 수 있다.
실시 예에 따라서는 대상 이미지 즉, 매핑 이미지를 찾고자 하는 이미지(예컨대, 제1이미지)의 모든 피쳐들이 입력되지 않고, 일부의 피쳐들이 벡터 서치 엔진에 입력될 수도 있다. 예컨대, 이미지 중 미리 정의된 영역에 대응되는 피쳐들만이 위치 관계를 파악하기 위해 벡터 서치 엔진에 입력될 수도 있다. 미리 정의된 영역은 통상 이미지의 중앙부분이 아니라 좌우상하의 모서리에 인접한 영역이 될 수 있으므로 이미지의 외곽쪽 영역을 임의로 설정하고, 설정된 영역에 대응되는 위치의 피쳐가 선택적으로 벡터 서치를 위한 입력으로 이용될 수도 있다. 물론 벡터 DB 역시 이러한 외곽 영역에 대응되는 피쳐만이 입력될 수도 있고, 전체 피쳐들이 입력될 수도 있다.
또한 본 발명의 기술적 사상에 따른 뉴럴 네트워크 피쳐는 그 자체로는 추출된 이미지에서의 위치가 특정되지 않는다. 따라서 뉴럴 네트워크 피쳐에 대응되는 원본 이미지에서의 위치(포인트)가 특정되어야 매핑이 수행될 수 있다. 따러서 뉴럴 네트워크 피쳐에 대응되는 원본 이미지 상의 위치를 특정하는 기술적 사상이 요구되는데, 이에 대해서는 도 6을 참조하여 후술하도록 한다.
상술한 바와 같은 기술적 사상을 구현하기 위한 자동 위상 매핑 처리시스템(100)은 도 3에 도시된 바와 같은 기능적 또는 논리적 구성으로 정의될 수 있다.
도 3은 본 발명의 실시 예에 따른 자동 위상 매핑 처리시스템의 논리적 구성을 개략적으로 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 기술적 사상에 따른 자동 위상 매핑 처리시스템(100)은 제어모듈(110), 인터페이스 모듈(120), 피쳐 추출기(130)를 포함한다. 상기 자동 위상 매핑 처리시스템(100)은 매핑모듈(140) 및/또는 벡터 서치 엔진(150)을 더 포함할 수도 있다.
상기 자동 위상 매핑 처리시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 자동 위상 매핑 처리시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 자동 위상 매핑 처리시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예컨대, 상기 제어모듈(110), 인터페이스 모듈(120), 피쳐 추출기(130), 매핑모듈(140), 및/또는 벡터 서치 엔진(150) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 제어모듈(110), 인터페이스 모듈(120), 피쳐 추출기(130), 매핑모듈(140), 및/또는 벡터 서치 엔진(150) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 제어모듈(110)은 본 발명의 기술적 사상을 구현하기 위해 자동 위상 매핑 처리시스템(100)에 포함된 다른 구성(예컨대, 인터페이스 모듈(120), 피쳐 추출기(130), 매핑모듈(140), 및/또는 벡터 서치 엔진(150) 등)을 제어할 수 있다.
상기 인터페이스 모듈(120)은 외부로부터 복수의 이미지들을 입력받을 수 있다. 상기 복수의 이미들은 서로 다른 위치에서 촬영된 영상일 수 있다. 일 예에 의하면 상기 복수의 이미지들은 실내에서 촬영된 360 영상일 수 있지만 이에 국한되지는 않는다.
상기 복수의 이미지들 중에는 공통된 공간을 다른 위치에서 촬영한 것들이 존재할 수 있으며, 공통된 공간 즉 공통영역을 포함하는 두 이미지들은 매핑 가능한 관계에 있다고 정의될 수 있다. 그 중에서 가장 많은 공통영역을 포함하는 이미지를 매핑 이미지로 정의할 수 있으며, 이는 대응되는 피쳐가 가장 많은 이미지들로 정의될 수도 있다.
상기 인터페이스 모듈(120)을 통해 입력받은 복수의 이미지들 각각으로부터 상기 피쳐 추출기(130)는 본 발명의 기술적 사상에 따라 정의되는 피쳐 즉, 뉴럴 네트워크 피쳐를 추출할 수 있다.
뉴럴 네트워크 피쳐는 소정의 뉴럴 네트워크(예컨대, CNN)에서 출력 레이어 이전에 특정되는 이미지의 피쳐들일 수 있음은 전술한 바와 같다. 상기 피쳐 추출기(130)는 도 4에 도시된 바와 같은 뉴럴 네트워크(20) 그 자체일 수도 있고, 입력 레이어(21)부터 뉴렬 네트워크에서 출력 레이어(24) 이전의 소정의 레이어(예컨대, 23)까지의 구성을 의미할 수도 있다. 상기 레이어(23)에 의해 정의되는 피쳐 맵에 포함된 피쳐 전부 또는 일부가 뉴럴 네트워크 피쳐일 수 있다.
상기 뉴럴 네트워크(20)는 뉴럴 네트워크 피쳐를 추출하기 위한 목적 이외의 별개의 목적(예컨대, 분류, 디텍팅 등)을 위해 학습된 것일 수도 있지만, 전술한 바와 같이 두 이미지를 최소의 에러로 정합하기 위해 설계된 뉴럴 네트워크이거나 뉴럴 네트워크 피쳐를 추출하는 목적으로 학습되는 것일 수도 있다.
예컨대, 후자의 경우는 사용자가 임의로 설정한 위치 및/또는 이미지의 특징을 잘 표현할 수 있는 핸드 크래프트 피쳐 포인트를 출력할 수 있도록 학습될 수 있고, 이러한 경우는 상기 뉴럴 네트워크(20) 자체가 피쳐 추출기(130)가 될 수 있다.
사용자가 임의로 설정한 위치는 소정의 오브젝트(예컨대, 벽, 문 등)에서 사용자가 설정한 위치(예컨대, 해당 오브젝트의 중앙위치)로 설정할 수 있다. 또한 이러한 사용자 설정 위치는 종래의 핸드 크래프트 피쳐 포인트와 달리 플랫한 영역 즉, 에지 또는 모서리가 존재하지 않는 플랫(flat)한 이미지 영역에 설정할 수 있다. 이러한 경우 종래의 핸드 크래프트 피쳐 포인트에서는 피쳐 포인트로 추출되지 않는 플랫한 이미지 영역 내에서도 피쳐가 정의될 수 있고 이를 활용하는 경우 보다 정확도 있는 매핑 이미지의 판단 및 매핑이 수행될 수도 있다.
도 5는 본 발명의 실시 예에 따른 뉴럴 네트워크 피쳐를 이용할 경우의 장점을 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 상기 피쳐 추출기(130)는 미리 정해진 오브젝트(예컨대, 벽, 문, 테이블) 내의 임의의 위치가 피쳐 포인트(fp1, fp2, fp3)로 특정될 수 있도록 학습될 수 있다.
또한 도 5에 도시된 바와 같이 상기 임의의 위치는 오브젝트별로 미리 정해진 위치(예컨대, 벽의 중심, 테이블의 중심, 문의 중심 등)과 같이 통상적으로 플랫한 이미지 영역 내로 설정될 수 있다.
물론 상기 피쳐 추출기(130)는 종래의 에지 또는 모서리가 꺽인 부분 등과 같이 핸드 크래프트 피쳐 포인트에 대응되는 피쳐를 추출할 수 있도록 학습될 수도 있다.
예컨대, 사용자는 다수의 이미지에 오브젝트별로 핸드 크래프트 피쳐 포인트, 사용자가 설정한 플랫한 영역의 설정위치 들을 어노테이션하고, 이를 학습 데이터로 이용하여 뉴럴 네트워크(20)를 학습시킬 수도 있다. 이러한 경우 각각의 피쳐 포인트(fp1, p2, fp3)에 대응되는 피쳐들이 추출될 수 있으며, 피쳐 포인트 자체가 출력될 수도 있다.
어떠한 경우든 뉴럴 네트워크 피쳐를 이용하는 경우에는 도 5에 도시된 바와 같이 종래의 핸드 크래프트 피쳐로는 추출되지 않는 위치가 피쳐로 활용될 수 있으므로, 보다 이미지 특성을 정의하거나 이미지를 매핑하는데 유리한 효과가 있을 수 있다.
한편 뉴럴 네트워크 피쳐는 뉴럴 네트워크(20)가 원하는 목적을 출력하기 위해 복수의 컨벌루션 및/또는 풀링을 통해 결정되는 이미지의 특징적인 정보이긴 하지만, 이러한 뉴럴 네트워크 피쳐 자체가 해당하는 원본 이미지에서의 특정 위치를 나타내는 것은 아닐 수 있다.
따라서 뉴럴 네트워크 피쳐가 추출된 경우라도, 뉴럴 네트워크 피쳐에 대응되는 원본 이미지상의 위치 즉, 피쳐 위치가 특정될 필요가 있다. 이러한 피쳐 위치가 특정되어야 이미지의 매핑이 수행될 수 있기 때문이다.
이처럼 뉴럴 네트워크 피쳐의 피쳐 위치를 특정하기 위한 기술적 사상은 도 6을 참조하여 설명하도록 한다.
도 6은 본 발명의 실시 예에 따른 뉴럴 네트워크 피쳐에 대응되는 피쳐위치를 설명하기 위한 도면이다.
도 6에 도시된 바와 같이 소정의 레이어에서 뉴럴 네트워크 피쳐(f)가 추출될 수 있다. 이러한 경우 상기 뉴럴 네트워크 피쳐(f)는 이전 소정의 레이어(l)에서는 소정의 대응영역(Sl)과 대응되며, 이러한 대응영역(Sl)에 포함된 픽셀 정보들이 미리 정의된 컨벌루션 및 풀링 함수에 의해 상기 뉴럴 네트워크 피쳐(f)로 매핑될 수 있다.
이때 상기 l 레이어에서의 상기 뉴럴 네트워크 피쳐(f)의 대응영역(Sl) 내의 소정의 위치(예컨대, 중앙 또는 특정 꼭지점 등)가 상기 뉴럴 네트워크 피쳐(f)의 l 레이어에서의 대응위치(PSl)로 정의될 수 있다.
그러면 마찬가지 방식으로 상기 l 레이어에서의 대응위치(PSl)에 대응되는 원본 이미지 상에서의 대응영역(So)가 원본 이미지와 l 레이어사이의 컨벌루션 및 풀링 관계에 의해 특정될 수 있고, 상기 대응영역(So) 내의 소정의 위치(예컨대, 중앙)가 상기 뉴럴 네트워크 피쳐(f)의 원본 이미지상에서의 대응위치 즉, 피쳐 위치로 특정될 수 있다.
이러한 방식으로 뉴럴 네트워크 피쳐들 별로 피쳐 위치가 결정되면, 각각의 피쳐 위치가 이미지 매핑을 위한 피쳐 포인트가 될 수 있다.
그러면 매핑모듈(140)은 매핑 이미지들 간의 서로 대응되는 피쳐위치들을 이용하여 이미지 매핑을 수행할 수 있다.
두 이미지들간의 이미지 매핑은, 두 이미지들간의 상대적인 위치관계를 특정하는 매핑의 경우에는 두 이미지 각각에서 서로 대응되는 포인트들을 이용하여 수행될 수 있다. 이때 서로 대응되는 포인트들은 두 이미지 각각에서 추출된 뉴럴 네트워크 피쳐의 피쳐 포인트일 수 있으며, 서로 대응되는 피쳐 포인트들은 벡터 서치 엔진을 통해 용이하게 탐색될 수 있다.
서로 대응되는 포인트(공간상에서 동일한 위치를 나타내는)들이 각각 서로 다른 이미지에 존재하는 경우 이들 두 이미지의 상대적인 위치관계를 특정하기 위한 기술적 사상은 공지된 바 있다.
예컨대, 에피폴라 지오메트리(Epipolar Geometry)를 이용하여 상대적인 위치관계를 판단할 수 있음은 본 발명의 기술분야의 평균적 전문가에게 용이하게 추론될 수 있다. 이외에도 다양한 방식이 가능할 수도 있다.
다른 실시 예에 의하면, 두 이미지들 즉, 매핑 이미지들 간의 매핑이 두 이미지를 정합하는 경우에는, 두 이미지를 정합하기 위한 변환행렬을 특정하는 것이 매핑을 수행하는 것일 수도 있다.
이러한 변환행렬을 특정하기 위해서는 서로 대응되는 피쳐 3개 쌍을 추출하고 추출된 3개 쌍이 변환될 수 있도록 변환 행렬이 정의될 수 있음은 널리 알려진 바와 같다. 그리로 이러한 피쳐 3개 쌍은 모든 피쳐들이 가장 작은 에러로 변환될 수 있도록 탐색될 수 있으며, 랜색(RANSAC) 등의 알고리즘이 이용될 수 있음은 물론이다.
상기 벡터 서치 엔진(150)은 전술한 바와 같이 피쳐 추출기(130)에 의해 추출된 각각의 이미지들의 피쳐들에 상응하는 벡터를 DB에 입력하고, 대상 이미지(예컨대, 제1이미지)로부터 추출된 피쳐 세트에 대응되는 벡터 세트를 입력받을 수 있다. 그러면 전술한 바와 같이 벡서 서치 결과를 출력할 수 있다.
그러면 제어모듈(110)은 상기 벡터 서치 결과에 기초하여 대상 이미지와 인접한 위치관계에 존재하는 이미지를 결정할 수 있다.
도 7은 본 발명의 실시 예에 따른 자동 위상 매핑 처리방법에서 이미지들 간의 매핑 이미지를 탐색하는 방법을 설명하기 위한 플로우 차트이다.
도 7을 참조하면, 본 발명의 기술적 사상에 따른 자동 위상 매핑 처리시스템(100)은 복수의 이미지들 각각으로부터 뉴럴 네트워크 피쳐를 추출할 수 있다(S100). 그러면 피쳐들을 벡터 DB로 구축하고 대상 이미지로부터 추출된 벡터 세트(피쳐 세트)에 대한 벡터 서치를 수행할 수 있다(S110, S120).
그러면 벡터 서치 결과에 기초하여 대상 이미지의 매핑 이미지를 판단할 수 있으며(S130), 모든 이미지에 대해 동일한 태스크를 수행함으로써 각각의 이미지들의 매핑 이미지를 판단할 수 있다(S140).
도 8은 본 발명의 실시 예에 따른 자동 위상 매핑 처리방법에서 이미지들을 매핑하는 방법을 설명하기 위한 플로우 차트이다.
도 8을 참조하면, 본 발명의 기술적 사상에 따른 자동 위상 매핑 처리시스템(100)은 서로 매핑 이미지로 판단된 제1이미지와 제2이미지를 매핑하기 위해 제1이미지로부터 추출된 피쳐들에 대응되는 피쳐위치들을 특정할 수 있다(S200). 이를 위해 도 6에 도시된 바와 같은 방식을 이용할 수 있다.
또한 제2이미지로부터 추출된 피쳐들에 대응되는 피쳐위치들을 특정할 수 있다(S210).
그러면 상기 자동 위상 매핑 처리시스템(100)은 각각의 이미지들의 피쳐위치들에 기초하여 Epipolar Geometry 알고리즘을 통한 상대적인 위치관계를 판단하거나 또는 이미지 연결을 위한 변환행렬을 소정의 방식(예컨대, RANSAC 알고리즘)을 통해 결정할 수 있다(S220).
본 발명의 실시 예에 따른 자동 위상 매핑 처리방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명은 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템에 이용될 수 있다.

Claims (12)

  1. 자동 위상 매핑 처리시스템이 복수의 이미지들-상기 복수의 이미지들 중 적어도 두 개는 공통된 공간이 촬영된 공통영역이 존재함-을 획득하는 단계;
    상기 자동 위상 매핑 처리시스템이 상기 이미지들 각각으로부터 뉴럴 네트워크를 이용한 피쳐 추출기를 통해 상기 이미지들 각각의 피쳐들을 추출하는 단계;
    상기 자동 위상 매핑 처리시스템이 상기 이미지들 각각으로부터 추출된 피쳐들에 기초하여 상기 이미지들 각각의 매핑 이미지를 판단하는 단계를 포함하는 자동 위상 매핑 처리방법.
  2. 제1항에 있어서, 상기 자동 위상 매핑 처리시스템이 상기 이미지들 각각으로부터 추출된 피쳐들에 기초하여 상기 이미지들 각각의 매핑 이미지를 판단하는 단계는,
    상기 이미지들 각각으로부터 추출된 피쳐들에 상응하는 벡터들을 DB로 구축하는 단계;
    상기 이미지들 중 소정의 제1이미지로부터 추출된 제1피쳐들에 상응하는 제1벡터들 중 적어도 일부인 벡터 세트를 상기 구축된 DB에 벡터 서치하는 단계;
    상기 벡터 서치 결과에 기초하여 추출된 제2이미지를 상기 제1이미지의 매핑 이미지로 판단하는 단계를 포함하는 자동 위상 매핑 처리방법.
  3. 제1항에 있어서, 상기 자동 위상 매핑 처리방법은,
    상기 제1이미지와 상기 제1이미지의 매핑 이미지로 판단된 상기 제2이미지의 매핑을 수행하는 단계를 더 포함하는 자동 위상 매핑 처리방법.
  4. 제3항에 있어서, 상기 제1이미지와 상기 제1이미지의 매핑 이미지로 판단된 상기 제2이미지의 매핑을 수행하는 단계는,
    상기 제1이미지로부터 추출된 제1피쳐들에 각각에 대응되는 상기 제1이미지상의 제1피쳐대응위치들 및 상기 제2이미지로부터 추출된 제2피쳐들에 각각에 대응되는 상기 제2이미지상의 제2피쳐대응위치들을 판단하는 단계;
    판단된 제1피쳐대응위치들 및 상기 제2피쳐대응위치들에 기초하여 상기 제1이미지 및 상기 제2이미지의 상대적 위치관계를 판단하는 단계를 포함하는 자동 위상 매핑 처리방법.
  5. 제1항에 있어서, 상기 뉴럴 네트워크는,
    소정의 이미지를 겹치는 영역이 존재하도록 분할한 후, 분할한 이미지들 각각의 겹치는 공통영역에서 각각 추출되는 서로 대응되는 포인트들이 최적으로 매칭될 수 있는 변환관계를 출력하도록 학습된 뉴럴 네트워크인 자동 위상 매핑 처리방법.
  6. 제1항에 있어서, 상기 이미지들 각각은,
    실내의 서로 다른 위치에서 촬영된 360도 영상인 것을 특징으로 하는 자동 위상 매핑 처리방법.
  7. 자동 위상 매핑 처리시스템이 복수의 이미지들-상기 복수의 이미지들 중 적어도 두 개는 공통된 공간이 촬영된 공통영역이 존재함-을 획득하는 단계;
    상기 자동 위상 매핑 처리시스템이 상기 이미지들 각각으로부터 피쳐를 추출하는 단계;
    상기 이미지들 각각으로부터 추출된 피쳐들에 상응하는 벡터들을 DB로 구축하는 단계;
    상기 이미지들 중 소정의 제1이미지로부터 추출된 제1피쳐들에 상응하는 제1벡터들 중 적어도 일부인 벡터 세트를 상기 구축된 DB에 벡터 서치하는 단계;
    상기 벡터 서치 결과에 기초하여 추출된 제2이미지를 상기 제1이미지에 상응하는 매핑 이미지로 판단하는 단계를 포함하는 자동 위상 매핑 처리방법.
  8. 데이터 처리장치에 설치되며 청구항 제1항 내지 제7항 중 어느 한 항에 기재된 방법을 수행하기 위한 기록매체에 저장된 컴퓨터프로그램.
  9. 프로세서;
    상기 프로세서에 의해 구현되는 프로그램이 저장된 메모리를 포함하며,
    상기 프로그램은,
    복수의 이미지들-상기 복수의 이미지들 중 적어도 두 개는 공통된 공간이 촬영된 공통영역이 존재함-을 획득하고, 상기 이미지들 각각으로부터 뉴럴 네트워크를 이용한 피쳐 추출기를 통해 상기 이미지들 각각의 피쳐들을 추출하며, 상기 이미지들 각각으로부터 추출된 피쳐들에 기초하여 상기 이미지들 각각의 매핑 이미지를 판단하는 자동 위상 매핑 처리시스템.
  10. 제9항에 있어서, 상기 프로세서는,
    상기 이미지들 각각으로부터 추출된 피쳐들에 상응하는 벡터들을 DB로 구축하고, 상기 이미지들 중 소정의 제1이미지로부터 추출된 제1피쳐들에 상응하는 제1벡터들 중 적어도 일부인 벡터 세트를 상기 구축된 DB에 벡터 서치하며, 상기 벡터 서치 결과에 기초하여 추출된 제2이미지를 상기 제1이미지의 매핑 이미지로 판단하는 자동 위상 매핑 처리시스템.
  11. 제10항에 있어서, 상기 프로세서는,
    상기 제1이미지로부터 추출된 제1피쳐들에 각각에 대응되는 상기 제1이미지상의 제1피쳐대응위치들 및 상기 제2이미지로부터 추출된 제2피쳐들에 각각에 대응되는 상기 제2이미지상의 제2피쳐대응위치들을 판단하고, 판단된 제1피쳐대응위치들 및 상기 제2피쳐대응위치들에 기초하여 상기 제1이미지 및 상기 제2이미지의 상대적 위치관계를 판단하는 자동 위상 매핑 처리시스템.
  12. 프로세서;
    상기 프로세서에 의해 구현되는 프로그램이 저장된 메모리를 포함하며,
    상기 프로그램은,
    복수의 이미지들-상기 복수의 이미지들 중 적어도 두 개는 공통된 공간이 촬영된 공통영역이 존재함-을 획득하고, 상기 이미지들 각각으로부터 피쳐를 추출하며, 상기 이미지들 각각으로부터 추출된 피쳐들에 상응하는 벡터들을 DB로 구축하고, 상기 이미지들 중 소정의 제1이미지로부터 추출된 제1피쳐들에 상응하는 제1벡터들 중 적어도 일부인 벡터 세트를 상기 구축된 DB에 벡터 서치하고, 상기 벡터 서치 결과에 기초하여 추출된 제2이미지를 상기 제1이미지에 상응하는 매핑 이미지로 판단하는 자동 위상 매핑 처리시스템.
PCT/KR2020/008072 2019-06-21 2020-06-22 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템 Ceased WO2020256517A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021540146A JP7393809B2 (ja) 2019-06-21 2020-06-22 全方位画像情報に基づく自動位相マッピング処理方法及びそのシステムとコンピュータープログラム
US17/429,616 US12002260B2 (en) 2019-06-21 2020-06-22 Automatic topology mapping processing method and system based on omnidirectional image information

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20190074387 2019-06-21
KR10-2019-0074387 2019-06-21
KR10-2019-0174554 2019-12-24
KR1020190174554A KR102384177B1 (ko) 2019-06-21 2019-12-24 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템

Publications (2)

Publication Number Publication Date
WO2020256517A2 true WO2020256517A2 (ko) 2020-12-24
WO2020256517A3 WO2020256517A3 (ko) 2021-05-20

Family

ID=74040599

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/008072 Ceased WO2020256517A2 (ko) 2019-06-21 2020-06-22 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템

Country Status (3)

Country Link
US (1) US12002260B2 (ko)
JP (1) JP7393809B2 (ko)
WO (1) WO2020256517A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114048819A (zh) * 2021-11-17 2022-02-15 国网上海市电力公司 基于注意力机制和卷积神经网络的配电网拓扑辨识方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220029212A (ko) * 2020-09-01 2022-03-08 삼성전자주식회사 전자 장치 및 그 제어 방법
US12430710B2 (en) * 2021-01-11 2025-09-30 Electronics And Telecommunications Research Institute Apparatus and method for 360-degree video stitching
US12119989B2 (en) * 2021-10-29 2024-10-15 Keysight Technologies, Inc. System and method for configuring network elements in a design network topology
US20240062501A1 (en) * 2022-08-17 2024-02-22 Electronics And Telecommunications Research Institute Image stitching method using image masking
US12315220B2 (en) * 2023-06-27 2025-05-27 Clearview Ai, Inc. Methods and systems for indexing embedding vectors representing disjoint classes at above-billion scale for fast high-recall retrieval

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10559062B2 (en) * 2015-10-22 2020-02-11 Korea Institute Of Science And Technology Method for automatic facial impression transformation, recording medium and device for performing the method
KR20180111798A (ko) 2016-01-03 2018-10-11 휴먼아이즈 테크놀로지즈 리미티드 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭
US10249047B2 (en) * 2016-09-13 2019-04-02 Intelligent Fusion Technology, Inc. System and method for detecting and tracking multiple moving targets based on wide-area motion imagery
US10679075B2 (en) * 2017-08-31 2020-06-09 Nec Corporation Dense correspondence estimation with multi-level metric learning and hierarchical matching
US10579785B2 (en) * 2017-09-29 2020-03-03 General Electric Company Automatic authentification for MES system using facial recognition
KR102459853B1 (ko) * 2017-11-23 2022-10-27 삼성전자주식회사 디스패리티 추정 장치 및 방법
KR101915540B1 (ko) 2018-05-24 2019-01-07 주식회사 다누시스 이미지유사도 분석에 대한 합성시스템 및 이미지유사도 분석에 대한 합성방법
KR101939349B1 (ko) * 2018-07-09 2019-04-11 장현민 기계학습모델을 이용하여 자동차용 어라운드 뷰 영상을 제공하는 방법
US10809066B2 (en) * 2018-10-11 2020-10-20 Zillow Group, Inc. Automated mapping information generation from inter-connected images
US10769784B2 (en) * 2018-12-21 2020-09-08 Metal Industries Research & Development Centre Image analyzing method and electrical device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114048819A (zh) * 2021-11-17 2022-02-15 国网上海市电力公司 基于注意力机制和卷积神经网络的配电网拓扑辨识方法

Also Published As

Publication number Publication date
US12002260B2 (en) 2024-06-04
JP2022542627A (ja) 2022-10-06
US20220139073A1 (en) 2022-05-05
JP7393809B2 (ja) 2023-12-07
WO2020256517A3 (ko) 2021-05-20

Similar Documents

Publication Publication Date Title
WO2020256517A2 (ko) 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
WO2017150878A1 (en) Leveraging multi cues for fine-grained object classification
WO2020027607A1 (ko) 객체 탐지 장치 및 제어 방법
WO2012115332A1 (ko) 이미지와 이미지 또는 이미지와 동영상 사이의 상호 관계 분석 장치 및 방법
WO2015034269A1 (ko) 영상 처리 방법 및 장치
WO2020045714A1 (ko) 콘텐츠 인식 방법 및 시스템
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
WO2019132566A1 (ko) 멀티 심도 이미지의 자동 생성 방법
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2022025441A1 (ko) 전방위 이미지 촬영 어셈블리 및 이에 의해 수행되는 방법
WO2022092451A1 (ko) 딥러닝을 이용한 실내 위치 측위 방법
WO2014133251A1 (ko) 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
WO2023191374A1 (ko) 구조식 이미지를 인식하는 인공 지능 장치 및 그 방법
WO2018038300A1 (ko) 이미지 제공 장치, 방법 및 컴퓨터 프로그램
WO2026049425A1 (ko) 단일 소실점 인식 기반의 카메라 칼리브레이션 방법
WO2022231316A1 (ko) 카메라 각도 변경을 자동 보정하는 무인 주차 관리 시스템 및 그 방법
WO2023132428A1 (ko) 재순위화를 통한 객체 검색
WO2023149603A1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
WO2017099292A1 (ko) 물체-행동 관계 모델에 기반한 행동 인식 방법 및 그 장치
WO2017007047A1 (ko) 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치
WO2022092511A1 (ko) 3차원 맵을 생성하는 방법 및 생성된 3차원 맵을 이용하여 사용자 단말의 포즈를 결정하는 방법
WO2020251151A1 (ko) 3차원 가상 공간 모델을 이용한 사용자 포즈 추정 방법 및 장치
WO2019194561A1 (ko) 이동형 단말기에서의 증강 현실을 제공하기 위한 위치 인식 방법 및 시스템
WO2022211163A1 (ko) 사용자의 특정 입력 데이터로부터 추출되는 적어도 하나의 특정 식별어구 및 이에 대응되는 적어도 하나의 도킹결과데이터에 접근할 수 있는 적어도 하나의 위치지정자를 포함한 복합웹페이지를 발행하는 방법 및 이를 이용한 복합웹페이지발행서버
WO2021182793A1 (ko) 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20827357

Country of ref document: EP

Kind code of ref document: A2

ENP Entry into the national phase

Ref document number: 2021540146

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20827357

Country of ref document: EP

Kind code of ref document: A2

122 Ep: pct application non-entry in european phase

Ref document number: 20827357

Country of ref document: EP

Kind code of ref document: A2

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 30.06.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 20827357

Country of ref document: EP

Kind code of ref document: A2