WO2018174623A1 - 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법 - Google Patents

가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법 Download PDF

Info

Publication number
WO2018174623A1
WO2018174623A1 PCT/KR2018/003404 KR2018003404W WO2018174623A1 WO 2018174623 A1 WO2018174623 A1 WO 2018174623A1 KR 2018003404 W KR2018003404 W KR 2018003404W WO 2018174623 A1 WO2018174623 A1 WO 2018174623A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
image
neural network
data
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/003404
Other languages
English (en)
French (fr)
Inventor
김동민
백종환
이명재
손지수
강신욱
김태원
김동억
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jlk Inspection
Original Assignee
Jlk Inspection
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jlk Inspection filed Critical Jlk Inspection
Priority to CN201880027104.8A priority Critical patent/CN110574077B/zh
Priority to JP2019552542A priority patent/JP6979664B2/ja
Priority to US16/496,960 priority patent/US10970520B1/en
Priority to EP18771852.3A priority patent/EP3605472A4/en
Publication of WO2018174623A1 publication Critical patent/WO2018174623A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding three-dimensional [3D] tree structures onto two-dimensional [2D] planes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • An embodiment of the present invention relates to an image analysis technique using image reconstruction, and more particularly, to an image analysis apparatus and method using a virtual three-dimensional deep neural network.
  • ANNs Artificial neural networks
  • an artificial neural network is composed of an input layer, a hidden layer, and an output layer.
  • Each layer is composed of neurons, and each layer of neurons is connected to the output of neurons of the previous layer.
  • Each output of the neurons in the previous layer and the corresponding product of the corresponding link weights, plus a bias, are typically added to a non-linear activation function. And pass the output to the next level of neurons.
  • the convolutional neural network has gained much attention in the field of image recognition, overwhelming the performance of existing machine learning techniques.
  • the structure of a convolutional neural network is almost the same as that of a general artificial neural network, and additional components include a convolutional layer and a pooling layer.
  • the structure of a general convolutional neural network consists of alternating convolutional and consolidation layers, followed by two or three fully-connected layers, followed by an output layer. Neurons of the convolutional layer are local connectivity only to a small area of the previous layer, unlike artificial neural networks that are fully-connected with all neurons of the previous layer.
  • neurons belonging to a slice such as a feature map
  • This operation is a composite product, and the set of weights applied is called a filter or kernel.
  • the multiplicative neural network can effectively extract features from the image and reduce the number of parameters to prevent overfitting and to improve generalization performance.
  • the integration layer is located between the convolutional layers and serves to reduce the spatial size of the feature map. This process also serves to prevent overfitting by reducing the number of parameters.
  • the most common form is the max-pooling method, in which 2x2 filters are applied at intervals of two. This process reduces the size of the feature map by half for the width and height directions.
  • An object of the present invention for solving the problems of the prior art as described above, reconstructs the two-dimensional image to three-dimensional data in three-dimensional space and rotates the reconstructed three-dimensional data to generate another three-dimensional data, the plurality of generated
  • the present invention provides an image analysis apparatus and method for easily analyzing three-dimensional image data in a deep neural network by applying a two-dimensional composite product neural network to each of three-dimensional data.
  • an image analyzing apparatus using a virtual three-dimensional deep neural network including: an image obtaining unit stacking a plurality of two-dimensional image data in a preset order; A three-dimensional image generation unit generating a plurality of three-dimensional data based on a plurality of pieces of information of different forms of the plurality of two-dimensional image data of the stacked form from the image acquisition unit; And a deep learning algorithm analyzer configured to apply a 2D convolutional neural network to the plurality of 3D data from the 3D image generator and to combine the results of applying the 2D convolutional neural network to the plurality of 3D data.
  • the three-dimensional image generator a zero-mean or unit-variance calculation for each of the plurality of two-dimensional image data before generating the plurality of three-dimensional data Can be performed.
  • the plurality of pieces of information of different types may include recognizing a pattern corresponding to a change in movement or shape according to time or position of the stacked 2D image data.
  • the deep learning algorithm analysis unit outputs the results of applying the two-dimensional convolutional neural network to the plurality of three-dimensional data convolutional layer, fully-connected layer, output layer ( output layer and decision level fusion, which averages the final results.
  • an image analysis method using a virtual three-dimensional deep neural network comprising: stacking a plurality of two-dimensional image data in a predetermined order; Generating, by the 3D image generating unit, a plurality of 3D data based on a plurality of pieces of information of different forms of the plurality of 2D image data in a stacked form; And in the deep learning algorithm analysis unit, applying a 2D convolutional neural network to each of the plurality of 3D data and combining the results of applying the 2D convolutional neural network to the plurality of 3D data.
  • the generating may include performing a zero-mean or unit-variance operation on each of the plurality of two-dimensional image data before generating the plurality of three-dimensional data. Can be done.
  • the merging may include applying a result of applying the two-dimensional convolutional neural network to the plurality of three-dimensional data to a convolutional layer, a fully-connected layer, and an output layer. output layer and decision level fusion, which averages the final results.
  • an image analyzing apparatus using a virtual three-dimensional deep neural network an image acquisition unit for stacking two-dimensional images in the order of shooting position or time;
  • the first 3D image data is generated from the 2D images received from the image acquisition unit, and the axis representing the photographing position or time in the first 3D image data corresponds to any one of the other two axes.
  • a three-dimensional image generator which generates rotated second three-dimensional image data;
  • a deep learning algorithm analysis unit configured to apply a 2D composite product neural network to each of the plurality of 3D data received from the 3D image generator and to combine the application results of the 3D data.
  • the 3D image generating unit generates additional 3D data based on differences between frames of the 2D images or other 2D images obtained by rotating the 2D images obtained through optical flow. can do.
  • An image analysis method using a virtual three-dimensional deep neural network for solving the technical problem, the step of stacking the two-dimensional images in the image pickup position or time sequence;
  • the 3D image generating unit generates first 3D image data from the 2D images received from the image obtaining unit, and an axis indicating the shooting position or time in the first 3D image data is one of the remaining two axes.
  • Generating second 3D image data rotated to match any one;
  • the generating may include generating additional three-dimensional data based on differences between frames of the two-dimensional images or other two-dimensional images obtained by rotating the two-dimensional images obtained through optical flow. Can be.
  • the 3D data can be more efficiently learned and image analyzed using the 2D convolutional neural network having fewer parameters than the conventional 3D convolutional neural network method.
  • the present invention since the number of parameters is very large, it takes up a lot of memory, takes a long time to learn, and solves the problem of the 3D convolutional neural network model, which requires a long computation time when using the trained model. It is possible to provide a new image analysis model that can perform efficient learning and image analysis on the data.
  • FIG. 1 is a block diagram of an image analyzing apparatus using a virtual three-dimensional deep neural network according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram illustrating an operating principle of the image analyzing apparatus of FIG. 1.
  • FIG. 3 is an exemplary diagram for explaining a conventional operating principle of a 2D convolutional neural network that may be employed in the image analyzing apparatus of FIG. 1.
  • FIG. 4 is an exemplary view for explaining a principle of operation of the three-dimensional composite product neural network according to a comparative example.
  • FIG. 5 is a flowchart of an image analysis method using a virtual three-dimensional deep neural network according to another embodiment of the present invention.
  • FIG. 6 is a block diagram of an image analyzing apparatus using a virtual three-dimensional deep neural network according to another embodiment of the present invention.
  • FIG. 1 is a block diagram of an image analysis apparatus using a virtual three-dimensional deep neural network according to an embodiment of the present invention.
  • the image analyzing apparatus 100 includes an image acquirer 110, a 3D image generator 120, and a deep learning algorithm analyzer 130.
  • the image acquisition unit 110 prepares 2D images stacked in order according to a photographing angle or time of the 2D images.
  • the image acquisition unit 110 may be connected to a camera, a controller, a communication unit, and the like.
  • the 3D image generator 120 generates a plurality of 3D data from the 2D images received from the image acquirer 110.
  • the 3D image generating unit 120 stacks 2D images and converts the 2D images into first 3D data, and converts the converted first 3D data at an arbitrary angle in a 3D space.
  • a plurality of three-dimensional data may be reconstructed such that any one of the three axes (x, y, z) in the three-dimensional space rotates to the position of the other axis to generate the second three-dimensional data.
  • a plurality of two-dimensional image data stacked along a time axis according to a predetermined criterion can obtain a plurality of three-dimensional data having different forms in accordance with a change in relative time or position with respect to the plurality of two-dimensional image data.
  • the 3D data may include 3D image data.
  • two-dimensional image data including information about a moving video such as a cell image may have a shape in which a morphology may change and a location may change in each of the two-dimensional image data.
  • the image recognition apparatus extracts differences in which the outline is changed or the position is slightly changed from the 2D image data according to the position or time, and converts the 2D image data into 3D data.
  • a pattern corresponding to a change in motion or a change in shape may be recognized based on the extracted information.
  • the image recognition device may perform pattern recognition by using volumetric or the like.
  • the stacked two-dimensional image data has a three-dimensional data form, where the stacked two-dimensional image data are viewed from above and from the side.
  • the difference can be recognized as the main difference of morphology, and when viewing 2D image data from the side, the difference depends on the temporal difference It can be recognized as a change in its position.
  • a plurality of data that is, a plurality of virtual three-dimensional data recognized as different forms of the stacked two-dimensional image data are obtained and used.
  • the deep learning algorithm analysis unit 130 applies a 2D convolutional neural network (CNN) to each of the plurality of reconstructed 3D data and analyzes the 3D image by combining the application results of each 3D data. do.
  • CNN 2D convolutional neural network
  • the main technical feature of the present embodiment is to perform a three-dimensional image analysis by learning different types of information on the two-dimensional image data accumulated after the two-dimensional image data is accumulated by the two-dimensional composite product neural network.
  • components 110 to 130 may be configured in hardware, but are not limited thereto.
  • Components of the image analyzing apparatus 100 are stored in a storage device such as a memory in the form of a software module, and a processor connected to the storage device executes the software module to effectively learn 3D image data based on a virtual 3D deep neural network. And analysis.
  • FIG. 2 is a schematic diagram illustrating an operating principle of the image analyzing apparatus of FIG. 1.
  • the image acquisition unit may accumulate two-dimensional images received or acquired from the outside or stored in an external or internal memory of the image analysis apparatus according to a photographing position or a photographing time.
  • the 3D image generating unit generates a plurality of 3D data using the 2D images received from the image obtaining unit.
  • the 3D data may include 3D image data.
  • the 3D image generating unit may generate 3D image data by stacking a plurality of 2D images in a photographing position or a time sequence.
  • the 3D image generator may generate additional 3D image data by rotating the generated 3D image data at a predetermined angle.
  • a plurality of three-dimensional image data can be generated by the following process. That is, if two axes of the 2D image are called x and y and the axis indicating the shooting position or time of the 2D images is z, the 3D data Dxyz (first 3D data) formed by stacking 2D images in the z-axis order ) And 3D data Dyzx and 3D data Dzxy created by rotating Dxyz in two different axial directions, respectively.
  • the 3D image generating unit may generate and use another 3D data in addition to the plurality of 3D data described above. That is, the 3D image generating unit may generate a plurality of 3D images by applying the above-described method to other images obtained through a pre-prepared calculation from the original 2D images. For example, a plurality of three-dimensional data may be generated through the above-described method after normalization to have zero-mean and unit-variance for each two-dimensional image.
  • the 3D image generator may generate additional 3D images by rotating the images and the images obtained through calculation of a difference between frames or an optical flow.
  • the deep learning algorithm analyzer may generate a plurality of two-dimensional data sets by dividing and projecting the plurality of three-dimensional data received from the three-dimensional image generator at arbitrary intervals as needed. A plurality of two-dimensional data sets may be included in the three-dimensional data.
  • the deep learning algorithm analyzer may apply a 2D composite product neural network to each of the plurality of 3D data received from the 3D image generator, and obtain the image analysis result by combining them.
  • each 2D convolutional neural network is combined into a convolutional layer or a fully-connected layer or an output layer or an average of the final results. There may be decision level fusion.
  • FIG. 3 is an exemplary view for explaining a principle of operation of a two-dimensional composite product neural network that may be employed in the image analyzing apparatus of FIG. 1.
  • 4 is an exemplary view for explaining a principle of operation of the three-dimensional composite product neural network according to a comparative example.
  • Equation 1 The composite product calculation structure of the two-dimensional composite product neural network may be expressed by Equation 1 below.
  • Equation 1 Denotes the value of the position (x, y) in the j th feature map of the i th layer
  • m represents the index of the feature map of the (i-1) th layer
  • the two-dimensional convolutional neural network described above shows excellent performance in image recognition. However, since the convolution performed only calculates two-dimensional spatial features, when only two-dimensional convolutional neural networks are used, information about depth or time in a three-dimensional image including several two-dimensional images is collected. Can't learn
  • the general three-dimensional convolutional neural network learns three-dimensional filters to analyze three-dimensional images. It takes a long time (see Equation 2).
  • a composite product calculation structure using a 2D composite product neural network and a composite product calculation structure using a 3D composite product neural network are combined and used in a new manner.
  • the composite product calculation structure of the three-dimensional composite product neural network coupled to the composite product calculation structure of the two-dimensional composite product neural network may be illustrated as shown in FIG. 4, and may be expressed as in Equation 2 below.
  • Equation 2 Denotes the value of position (x, y, z) in the j th feature map of the i th layer
  • m represents the index of the feature map of the (i-1) th layer
  • , Denotes the size of the kernel in the vertical, horizontal, and depth (or time) directions, respectively.
  • the conventional technique using only the above-described three-dimensional convolutional neural network model occupies a lot of memory because it has a large number of parameters, and it takes a long time to train, and furthermore, a calculation time is long when using the trained model. Therefore, in the present exemplary embodiment, the 2D convolutional neural network having fewer parameters than the 3D convolutional neural network can be used to efficiently learn and analyze the 3D image data.
  • the deep learning algorithm analyzer includes applying a 2D composite product neural network to each of a plurality of 2D data sets (a plurality of 3D data) received from the 3D image generator, and combining the application results.
  • Image analysis results by 'virtual 3D deep neural network' can be derived.
  • FIG. 5 is a flowchart of an image analysis method using a virtual three-dimensional deep neural network according to another embodiment of the present invention.
  • a step of stacking two-dimensional images of a specific group by a photographing position or time is performed by an image acquisition unit in an image analysis apparatus (S51).
  • Generating a three-dimensional image (first three-dimensional data) by using the two-dimensional images generating second three-dimensional data obtained by rotating the first three-dimensional data (S52), and a plurality of three-dimensional images.
  • the image analysis method using the virtual three-dimensional deep neural network uses the two-dimensional convolutional neural network with fewer parameters than the conventional three-dimensional convolutional neural network method to learn three-dimensional data more efficiently and to analyze the image. Applicable This method may be called a method by a virtual 3D deep neural network.
  • FIG. 6 is a block diagram of an image analyzing apparatus using a virtual three-dimensional deep neural network according to another embodiment of the present invention.
  • the image analyzing apparatus 100 may include a communication unit 160, a controller 170, and a memory 180.
  • the image analyzing apparatus 100 may include a controller or a computing device.
  • the image analyzing apparatus 100 may be connected to an input / output device 190 for processing data or a signal according to an input from a user, an administrator, a control terminal, or the like and outputting the result.
  • the image analysis apparatus 100 may be connected to a database system 200 having a database.
  • the database may include at least one of identification information, access information, and authentication information of a device that provides an image to be analyzed.
  • the input / output device 190 and the database system 200 are illustrated in a form not included in the image analysis device 100 in the present embodiment, the present invention is not limited to such a configuration, and the input / output device 190 may be implemented according to an implementation. And it may be implemented to further include at least one or more of the database system 200.
  • the communication unit 160 connects the image analyzing apparatus 100 to a communication network.
  • the communication unit 160 may receive information or a signal related to an image or an image analysis from a user terminal, a server, an administrator terminal, and the like, which are accessed through a network.
  • the communicator 160 may include one or more wired and / or wireless communication subsystems that support one or more communication protocols.
  • Wired communication subsystems include public switched telephone networks (PSTN), Asymmetric Digital Subscriber Line (ADSL) or Very High-data Rate Digital Subscriber Line (VDSL) networks, subsystems for PSTN Emulation Service (PES), and Internet Protocol (IP).
  • PSTN public switched telephone networks
  • ADSL Asymmetric Digital Subscriber Line
  • VDSL Very High-data Rate Digital Subscriber Line
  • PES PSTN Emulation Service
  • IP Internet Protocol
  • Multimedia subsystem IMS and the like.
  • the wireless communication subsystem may include a radio frequency (RF) receiver, an RF transmitter, an RF transceiver, an optical (eg, infrared) receiver, an optical transmitter, an optical transceiver, or a combination thereof.
  • RF radio frequency
  • a wireless network basically refers to Wi-Fi, but is not limited thereto.
  • the communication unit 160 may use various wireless networks, for example, Global System for Mobile Communication (GSM), Enhanced Data GSM Environment (EDGE), Code Division Multiple Access (CDMA), and W-Code Division Multiple (W-CDMA). It may be implemented to support at least one selected from Access, Long Term Evolution (LTE), LET-A (LET-Advanced), Orthogonal Frequency Division Multiple Access (OFDMA), WiMax, Wireless Fidelity (Wi-Fi), Bluetooth, and the like. Can be.
  • GSM Global System for Mobile Communication
  • EDGE Enhanced Data GSM Environment
  • CDMA Code Division Multiple Access
  • W-CDMA Wideband Code Division Multiple Access
  • W-CDMA Wideband Code Division Multiple Access
  • LTE Long Term Evolution
  • LET-A LET-Advanced
  • OFDMA Orthogonal Frequency Division Multiple Access
  • WiMax Wireless Fidelity
  • Wi-Fi Wireless Fidelity
  • the controller 170 may implement an image analysis method by performing a software module or program stored in the internal memory or the memory 180.
  • the controller 170 may be referred to as a processor, for example, and may perform a series of procedures illustrated in FIG. 5.
  • the controller 170 may be implemented as a processor or a microprocessor including at least one central processing unit (CPU) or a core.
  • the central processing unit or core is a register that stores the instructions to be processed, an arithmetic logical unit (ALU) that is responsible for comparison, determination, and operation, and the CPU internally to interpret and execute the instructions. It may be provided with a control unit (control unit) for controlling, and an internal bus connecting them.
  • the CPU or core may be implemented as a system on chip (SOC) in which a micro control unit (MCU) and a peripheral device (an integrated circuit for an external expansion device) are arranged together, but is not limited thereto.
  • SOC system on chip
  • the controller 170 may include one or more data processors, an image processor, or a codec, but is not limited thereto.
  • the controller 170 may include a peripheral device interface and a memory interface.
  • the peripheral interface may connect an input / output system such as the controller 170 and the input / output device 190 or another peripheral device, and the memory interface may connect the controller 170 and the memory 180.
  • the memory 180 may store a software module for analyzing an image using a virtual 3D deep neural network.
  • the software module may include first to third modules that perform steps S51 to S53 of FIG. 5, respectively.
  • the above-described memory 180 is a non-volatile random access memory (NVRAM), semiconductor memory, such as dynamic random access memory (DRAM), which is a typical volatile memory, hard disk drive (HDD), optical storage It may be implemented as a device, flash memory, or the like.
  • NVRAM non-volatile random access memory
  • DRAM dynamic random access memory
  • HDD hard disk drive
  • the memory 180 may store an operating system, a program, a command set, etc. in addition to software modules for analyzing an image using a virtual 3D deep neural network.
  • the image analysis method according to the present embodiment may be implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium.
  • Computer-readable media may include, alone or in combination with the program instructions, data files, data structures, and the like.
  • the program instructions recorded on the computer readable medium may be those specially designed and constructed for the present invention, or may be known and available to those skilled in computer software.
  • Examples of computer readable media include hardware devices that are specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include machine language code, such as produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device described above may be configured to operate with at least one software module to perform the operations of the present invention, and vice versa.
  • the present embodiment provides a method for constructing a deep neural network structure for analyzing 3D image data.
  • the virtual three-dimensional deep neural network structure according to the present embodiment may be utilized for analyzing three-dimensional image data such as diagnosing a disease in an input medical image, finding a location of a lesion, or recognizing human behavior in a video. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법이 개시된다. 영상 분석 장치는, 복수의 2차원 영상 데이터를 미리 설정된 순서대로 쌓는 영상 획득부, 영상 획득부로부터의 쌓은 형태의 복수의 2차원 영상 데이터에 대한 서로 다른 형태들의 복수의 정보에 기초하여 복수의 3차원 데이터를 생성하는 3차원 영상 생성부, 및 3차원 영상 생성부로부터의 복수의 3차원 데이터 각각에 대해 2차원 합성곱 신경망을 적용하고 복수의 3차원 데이터에 대한 2차원 합성곱 신경망의 적용 결과들을 합치는 딥러닝 알고리즘 분석부를 포함한다.

Description

가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법
본 발명의 실시예는 영상 재구성을 이용한 영상 분석 기술에 관한 것으로, 보다 상세하게는, 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법에 관한 것이다.
인공 신경망(artificial neural network, ANN)은 기계 학습(machine learning)을 구현하는 기법들 중 하나이다.
일반적으로 인공 신경망은 입력 계층(input layer), 은닉 계층(hidden layer) 및 출력 계층(output layer)으로 이뤄져 있다. 각 계층들은 뉴런(neuron)으로 구성되어 있으며, 각 계층의 뉴런들은 이전 계층의 뉴런들의 출력과 연결되어 있다. 이전 계층의 뉴런들의 각 출력 값과 그에 상응하는 연결 가중치(weight)를 내적(inner product)한 값에 바이어스(bias)를 더한 값을 일반적으로 비선형(non-linear)인 활성화 함수(activation function)에 넣고 그 출력값을 다음 단계 계층의 뉴런들에게 전달한다.
기존의 기계 학습 기법들은 입력 데이터에서 사람이 설계한 특징 추출(feature extraction) 과정을 통해 얻은 정보에서 분류기(classifier)를 학습하는 반면, 인공 신경망은 특징 추출과 분류기를 처음부터 끝까지 학습(end-to-end learning)하는 것이 특징이다.
합성곱 신경망(convolutional neural network, CNN)은 영상 인식 분야에서 기존의 기계 학습 기법들의 성능을 압도하며 크게 주목받고 있다. 합성곱 신경망의 구조는 일반적인 인공 신경망의 구조와 거의 동일한데, 추가적인 구성요소로는 합성곱 계층(convolutional layer)와 통합 계층(pooling layer)이 있다.
일반적인 합성곱 신경망의 구조는 합성곱 계층과 통합 계층이 번갈아가면서 진행되고, 두세 개 정도의 완전 연결 계층(fully-connected layer)을 거쳐 마지막에 출력 계층이 오는 것이다. 합성곱 계층의 뉴런들은, 이전 계층의 모든 뉴런들과 완전 연결(fully-connected)되는 인공 신경망과 달리, 이전 계층의 작은 지역에만 연결(local connectivity)되어 있다.
또한, 특징 지도(feature map)와 같은 슬라이스(slice)에 속하는 뉴런들은 동일한 값(parameter sharing)의 가중치와 바이어스를 갖는다. 이렇게 진행되는 연산이 합성곱이며, 적용되는 가중치들의 집합을 필터(filter) 또는 커널(kernel)이라고 부른다. 합성곱 신경망은 영상에서의 특징을 효과적으로 추출할 수 있고, 파라미터 수를 줄여서 과적합(overfitting)을 방지하고 일반화(generalization) 성능을 향상시킬 수 있다.
통합 계층은 합성곱 계층들 사이에 위치하며, 특징 지도(feature map)의 공간적(spatial) 크기를 줄여주는 역할을 한다. 이러한 과정도 파라미터 수를 줄여서 과적합을 방지하는 역할을 한다. 가장 많이 쓰이는 형태는 2×2 필터들을 2의 간격으로 적용시키는 맥스 풀링(max-pooling) 방법이다. 이 과정은 특징 지도의 크기를 너비, 높이 방향에 대해 각각 절반씩 줄이게 된다.
한편, 종래기술로는 비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법에 관한 대한민국 공개특허공보 제10-2016-0122452호(2016.10.24 공개)가 있다. 그러나 상기 기술은 기본적인 딥러닝 모델을 적용하는 프레임워크를 제공하는 것으로, 특정한 구조의 모델을 구성하는 것과는 다소 거리가 있다.
상기와 같은 종래 기술의 문제점을 해결하기 위한 본 발명의 목적은, 2차원 영상을 3차원 공간에서 3차원 데이터로 재구성하고 재구성한 3차원 데이터를 회전시켜 다른 3차원 데이터를 생성하고, 생성된 복수의 3차원 데이터 각각에 2차원 합성곱 신경망을 적용하여 합침으로써 심층 신경망에서 용이하게 3차원 영상 데이터를 분석할 수 있는 영상 분석 장치 및 방법을 제공하는 데 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 장치는, 복수의 2차원 영상 데이터를 미리 설정된 순서대로 쌓는 영상 획득부; 상기 영상 획득부로부터의 쌓은 형태의 복수의 2차원 영상 데이터에 대한 서로 다른 형태들의 복수의 정보에 기초하여 복수의 3차원 데이터를 생성하는 3차원 영상 생성부; 및 상기 3차원 영상 생성부로부터의 복수의 3차원 데이터에 대해 2차원 합성곱 신경망을 적용하고 상기 복수의 3차원 데이터에 대한 2차원 합성곱 신경망의 적용 결과들을 합치는 딥러닝 알고리즘 분석부를 포함한다.
일실시예에서, 상기 3차원 영상 생성부는, 상기 복수의 3차원 데이터를 생성하기 전에 상기 복수의 2차원 영상 데이터 각각에 대해 제로-평균(zero-mean) 또는 단위-변화(unit-variance) 연산을 수행할 수 있다.
일실시예에서, 상기 서로 다른 형태들의 복수의 정보는 상기 쌓은 2차원 영상 데이터의 시간 또는 위치에 따른 움직임이나 모양의 변화에 대응하는 패턴을 인식한 것을 포함할 수 있다.
일실시예에서, 상기 딥러닝 알고리즘 분석부는 상기 복수의 3차원 데이터에 대한 상기 2차원 합성곱 신경망의 적용 결과들을 합성곱 레이어(convolutional layer), 전결합 레이어(fully-connected layer), 출력 레이어(output layer) 및 최종 결과들의 평균을 내는 결정 수준 융합(decision level fusion) 중 어느 하나에서 합칠 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 방법은, 영상 획득부에서, 복수의 2차원 영상 데이터를 미리 설정된 순서대로 쌓는 단계; 3차원 영상 생성부에서, 쌓은 형태의 상기 복수의 2차원 영상 데이터에 대한 서로 다른 형태들의 복수의 정보에 기초하여 복수의 3차원 데이터를 생성하는 단계; 및 딥러닝 알고리즘 분석부에서, 상기 복수의 3차원 데이터 각각에 대해 2차원 합성곱 신경망을 적용하고 상기 복수의 3차원 데이터에 대한 2차원 합성곱 신경망의 적용 결과들을 합치는 단계를 포함한다.
일실시예에서, 상기 생성하는 단계는, 상기 복수의 3차원 데이터를 생성하기 전에 상기 복수의 2차원 영상 데이터 각각에 대해 제로-평균(zero-mean) 또는 단위-변화(unit-variance) 연산을 수행할 수 있다.
일실시예에서, 상기 합치는 단계는, 상기 복수의 3차원 데이터에 대한 상기 2차원 합성곱 신경망의 적용 결과들을 합성곱 레이어(convolutional layer), 전결합 레이어(fully-connected layer), 출력 레이어(output layer) 및 최종 결과들의 평균을 내는 결정 수준 융합(decision level fusion) 중 어느 하나에서 합칠 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 장치는, 2차원 영상들을 촬영 위치 또는 시간 순서대로 쌓는 영상 획득부; 상기 영상 획득부에서 전달받은 2차원 영상들로 제1의 3차원 영상 데이터를 생성하고, 상기 제1의 3차원 영상 데이터에서 상기 촬영 위치 또는 시간을 나타내는 축이 나머지 두 축들 중 어느 하나에 일치하도록 회전시킨 제2의 3차원 영상 데이터를 생성하는 3차원 영상 생성부; 및 상기 3차원 영상 생성부에서 전달받은 복수개의 3차원 데이터 각각에 대해 2차원 합성곱 신경망을 적용하고 각 3차원 데이터에 대한 적용 결과를 합치는 딥러닝 알고리즘 분석부를 포함한다.
일실시예에서, 상기 3차원 영상 생성부는, 상기 2차원 영상들의 프레임들 사이의 차이 또는 광학 흐름을 통해 얻은 상기 2차원 영상들을 회전시켜 얻은 다른 2차원 영상들에 기초하여 추가적인 3차원 데이터를 생성할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면의 가상 3차원 심층 신경망을 이용하는 영상 분석 방법, 영상 획득부에서 2차원 영상들을 촬영 위치 또는 시간 순서대로 쌓는 단계; 3차원 영상 생성부에서 상기 영상 획득부로부터 받은 2차원 영상들로 제1의 3차원 영상 데이터를 생성하고, 상기 제1의 3차원 영상 데이터에서 상기 촬영 위치 또는 시간을 나타내는 축이 나머지 두 축들 중 어느 하나에 일치하도록 회전시킨 제2의 3차원 영상 데이터를 생성하는 단계; 및 딥러닝 알고리즘 분석부에서 상기 3차원 영상 생성부로부터 받는 복수개의 3차원 데이터 각각에 대해 2차원 합성곱 신경망을 적용하고 각 3차원 데이터에 대한 적용 결과를 합치는 단계를 포함한다.
일실시예에서, 상기 생성하는 단계는, 상기 2차원 영상들의 프레임들 사이의 차이 또는 광학 흐름을 통해 얻은 상기 2차원 영상들을 회전시켜 얻은 다른 2차원 영상들에 기초하여 추가적인 3차원 데이터를 생성할 수 있다.
본 발명에 의하면, 일반적인 3차원 합성곱 신경망 방법에 비해 더 적은 파라미터를 가지는 2차원 합성곱 신경망을 이용하여 3차원 데이터를 더욱 효율적으로 학습하고 영상 분석할 수 있는 장점이 있다.
또한, 본 발명에 의하면, 파라미터 수가 매우 많기 때문에 메모리를 많이 차지하며 학습할 때 오랜 시간이 걸리고 학습된 모델을 사용할 때 계산 시간이 긴 3차원 합성곱 신경망 모델의 문제점을 해결할 수 있으면서, 3차원 영상 데이터에 대하여 효율적인 학습과 영상 분석을 수행할 수 있는 새로운 영상 분석 모델을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 장치의 블록도이다.
도 2는 도 1의 영상 분석 장치의 작동 원리를 도식적으로 나타낸 예시도이다.
도 3은 도 1의 영상 분석 장치에 채용할 수 있는 2차원 합성곱 신경망의 기존적인 작동 원리를 설명하기 위한 예시도이다.
도 4는 비교예에 따른 3차원 합성곱 신경망의 작동 원리를 설명하기 위한 예시도이다.
도 5는 본 발명의 다른 실시예에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 방법의 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 장치의 블록도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일실시예에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 장치의 블록도이다.
도 1을 참조하면, 본 실시예에 따른 영상 분석 장치(100)는 영상 획득부(110), 3차원 영상 생성부(120) 및 딥러닝 알고리즘 분석부(130)를 포함한다.
영상 획득부(110)는 2차원 영상들의 촬영 각도나 시간에 따라 순서대로 쌓은 2차원 영상들을 준비한다. 영상 획득부(110)는 카메라, 제어부, 통신부 등에 연결될 수 있다.
3차원 영상 생성부(120)는 영상 획득부(110)로부터 받은 2차원 영상들로 복수의 3차원 데이터를 생성한다. 간단한 예로써, 3차원 영상 생성부(120)는 2차원 영상들을 적층하여 제1의 3차원 데이터로 변환하고, 변환된 제1의 3차원 데이터를 3차원 공간에서 임의의 각도로, 바람직하게는 3차원 공간상에서의 3축들(x, y, z) 중 어느 하나의 축이 다른 하나의 축의 위치로 회전하여 제2의 3차원 데이터를 생성하도록 3차원 데이터를 복수개로 재구성할 수 있다.
이것은 미리 설정된 기준에 따라 예컨대, 시간 축을 따라 적층되는 복수의 2차원 영상 데이터를 상기 복수의 2차원 영상 데이터에 대한 상대적인 시간이나 위치 변화에 따라 서로 다른 형태의 복수의 3차원 데이터를 얻을 수 있음을 나타낸다. 즉, 본 실시예에서는 2차원 영상 데이터들을 쌓고, 쌓은 2차원 영상 데이터들에 대한 시간이나 위치 변화에 기초하여 복수의 연산을 각각 수행하여 복수의 3차원 데이터를 획득할 수 있다. 3차원 데이터는 3차원 영상 데이터를 포함할 수 있다.
또한, 일례로, 세포 영상과 같이 움직이는 동영상에 대한 정보를 포함하는 2차원 영상 데이터들은 2차원 영상 데이터들 각각에서 모폴로지가 변할 수 있고 위치가 변할 수 있는 형태 즉, 트래킹을 할 수 있는 상태를 가진다. 여기서, 영상 인식 장치는, 외곽선을 고려하는 경우, 위치 또는 시간에 따른 2차원 영상 데이터들에서 외곽선이 변해 있거나 위치가 좀 바뀌어 있거나 하는 차이들을 추출하고, 2차원 영상 데이터들을 3차원 데이터화하는 경우에 있어서, 추출된 정보에 기초하여 움직임의 변화 또는 모양의 변화에 대응하는 패턴을 인식할 수 있다. 영상 인식 장치는 볼륨메트리 등을 이용하여 패턴 인식을 수행할 수 있다.
다시 말하면, 2차원 영상 데이터들을 X-Y 평면 상에 시간 축(Z) 방향으로 쌓는다고 할 때, 쌓은 2차원 영상 데이터들은 3차원 데이터 형태를 가지며, 여기서 쌓은 2차원 영상 데이터들을 위에서 볼 때와 옆에서 볼 때 차이가 발생하며, 예컨대 2차원 영상 데이터들을 위에서 보는 경우, 그 차이는 모폴로지의 차이가 주된 차이로 인식될 수 있고, 2차원 영상 데이터들을 옆에서 보는 경우, 그 차이는 시간적인 차이에 따라서 그 위치에 대한 변화로 인식될 수 있다. 이와 같이, 본 실시예에서는 쌓은 2차원 영상 데이터들에 대한 다른 형태로 인식되는 복수의 데이터 즉 복수의 가상 3차원 데이터를 획득하여 이용한다.
딥러닝 알고리즘 분석부(130)는 재구성된 복수의 3차원 데이터 각각에 대해 2차원 합성곱 신경망(2D Convolutional Neural Network, CNN)을 적용하고 각 3차원 데이터에 대한 적용 결과를 합쳐 3차원 영상을 분석한다.
이와 같이, 본 실시예에서는 2차원 영상 데이터를 쌓은 후 쌓은 2차원 영상 데이터에 대한 다른 형태의 정보를 2차원 합성곱 신경망으로 학습하여 3차원 영상 분석을 수행하는 것을 주된 기술적 특징으로 한다.
전술한 구성요소들(110 내지 130)은 하드웨어적으로 구성될 수 있으나, 이에 한정되지 않는다. 영상 분석 장치(100)의 구성요소들은 소프트웨어 모듈 형태로 메모리 등의 저장장치에 저장되고, 저장장치에 연결되는 프로세서가 소프트웨어 모듈을 실행하여 가상 3차원 심층 신경망을 기반으로 3차원 영상 데이터를 효과적으로 학습하고 분석하도록 구현될 수 있다.
이하, 가상 3차원 심층 신경망을 이용하는 영상 분석 장치에 대해 자세히 설명하기로 한다.
도 2는 도 1의 영상 분석 장치의 작동 원리를 도식적으로 나타낸 예시도이다.
도 2를 참조하면, 영상 획득부는 외부로부터 수신되거나 획득한 2차원 영상들 혹은 영상 분석 장치 외부나 내부의 메모리 등에 저장되어 있는 것을 독출한 2차원 영상들을 촬영 위치나 촬영 시간에 따라 쌓을 수 있다.
3차원 영상 생성부는 영상 획득부로부터 전달받은 2차원 영상들을 이용하여 복수 개의 3차원 데이터를 생성한다. 3차원 데이터는 3차원 영상 데이터를 포함할 수 있다.
3차원 영상 생성부는 복수 개의 2차원 영상들을 촬영 위치 또는 시간 순서대로 적층시켜 3차원 영상 데이터를 생성할 수 있다. 3차원 영상 생성부는 생성된 3차원 영상 데이터를 미리 설정된 각도로 회전시켜 추가적인 3차원 영상 데이터를 생성할 수 있다.
예를 들어, 3차원 영상 데이터에 대해 서로 직교하는 3가지 방향에 대해서 분석을 진행하는 경우에는, 다음의 과정에 의해 복수 개의 3차원 영상 데이터를 생성할 수 있다. 즉, 2차원 영상의 두 축을 x, y라 하고 2차원 영상들의 촬영 위치 또는 시간을 나타내는 축을 z라고 한다면, z축 순서 그대로 2차원 영상들을 적층시켜 만든 3차원 데이터 Dxyz(제1의 3차원 데이터)와, Dxyz를 다른 두 개의 축 방향으로 각각 회전시켜 만든 3차원 데이터 Dyzx와 3차원 데이터 Dzxy를 사용할 수 있다.
물론, 최종 모델의 메모리 크기나 계산 속도 또는 목표하는 성능에 따라 세 방향 중 두 방향에 대해서만 진행할 수 있다.
또한, 3차원 영상 생성부는 위에서 기술한 복수 개의 3차원 데이터에 더하여 또 다른 3차원 데이터를 추가로 생성하여 사용할 수 있다. 즉, 3차원 영상 생성부는 본래의 2차원 영상들에서 미리 준비된 계산을 통해 얻은 또 다른 영상들에 대해 위에 기술한 방법을 적용하여 복수개의 3차원 영상을 생성할 수 있다. 예컨대, 각 2차원 영상들에 대해 제로 평균(zero-mean)과 단위 변화(unit-variance)를 갖게끔 정규화(normalization)를 거친 후에 위에서 말한 방법을 통해 복수개의 3차원 데이터를 생성할 수 있다.
또 다른 구현에서, 3차원 영상 생성부는, 비디오의 경우, 프레임들 간의 차이 또는 광학 흐름(optical flow) 등의 계산을 통해 얻은 영상들과 그 영상들을 회전시켜 추가적인 3차원 영상을 생성할 수 있다.
딥러닝 알고리즘 분석부는 필요에 따라 3차원 영상 생성부에서 받은 복수 개의 3차원 데이터들에 대해 각각 임의의 간격으로 분할하고 투영함으로써 복수의 2차원 데이터 셋을 생성할 수 있다. 복수의 2차원 데이터 셋을 3차원 데이터에 포함될 수 있다.
딥러닝 알고리즘 분석부는 3차원 영상 생성부로부터 받은 복수 개의 3차원 데이터 각각에 대해 2차원 합성곱 신경망을 적용하고, 이들을 합치는 과정을 통해 영상 분석 결과를 얻어낼 수 있다.
딥러닝 알고리즘 분석부에서, 각 2차원 합성곱 신경망이 합쳐지는 곳은 합성곱 레이어(convolutional layer)이거나 전결합 레이어(fully-connected layer) 또는 출력 레이어(output layer) 또는 마지막 결과들의 평균을 내는 결정 수준 융합(decision level fusion)이 될 수 있다.
도 3은 도 1의 영상 분석 장치에 채용할 수 있는 2차원 합성곱 신경망의 작동 원리를 설명하기 위한 예시도이다. 도 4는 비교예에 따른 3차원 합성곱 신경망의 작동 원리를 설명하기 위한 예시도이다.
먼저, 도 3을 참조하면, 2차원 합성곱 신경망의 합성곱(convolution) 계산 구조가 나타나 있다. 2차원 합성곱 신경망의 합성곱 계산 구조는 다음의 수학식 1과 같이 표현될 수 있다.
Figure PCTKR2018003404-appb-M000001
수학식 1에서,
Figure PCTKR2018003404-appb-I000001
는 i번째 레이어(layer)의 j번째 특징 맵(feature map)에서 (x,y) 위치의 값을 나타내고,
Figure PCTKR2018003404-appb-I000002
는 활성 함수(activation function)를 나타내며,
Figure PCTKR2018003404-appb-I000003
는 해당되는 특징 맵에 대한 바이어스(bias)를 나타내며,
m은 (i-1)번째 레이어의 특징 맵의 인덱스를 나타내며,
Figure PCTKR2018003404-appb-I000004
는 m번째 특징 맵에 적용된 커널(kernel) 또는 필터(filter)의 (p,q) 위치의 값을 나타내고,
Figure PCTKR2018003404-appb-I000005
와
Figure PCTKR2018003404-appb-I000006
는 각각 커널의 세로와 가로 크기를 나타낸다.
전술한 2차원 합성곱 신경망은 영상 인식에서 뛰어난 성능을 보이고 있다. 하지만, 수행되는 합성곱(convolution)이 2차원 공간(spatial) 특징만을 계산하기 때문에 2차원 합성곱 신경망만을 이용하는 경우에는 여러 개의 2차원 영상들이 모인 3차원 영상에서의 깊이 또는 시간 방향으로의 정보를 학습할 수 없다.
위에서 기술된 문제를 극복하기 위해 3차원 합성곱 신경망 모델을 대체하여 사용할지라도, 일반적인 3차원 합성곱 신경망은 3차원 영상을 분석하기 위해 3차원 필터들을 학습하므로, 파라미터 수가 많아 메모리를 많이 차지하고 학습에 오랜 시간이 걸린다(수학식 2 참조). 이에 본 실시예에서는 2차원 합성곱 신경망을 이용하는 합성곱 계산 구조와 3차원 합성곱 신경망을 이용하는 합성곱 계산 구조를 새로운 방식으로 조합하여 사용한다.
2차원 합성곱 신경망의 합성곱 계산 구조에 결합하는 3차원 합성곱 신경망의 합성곱 계산 구조는 도 4에 도시한 바와 같이 도시될 수 있고, 다음의 수학식 2와 같이 표현될 수 있다.
Figure PCTKR2018003404-appb-M000002
수학식 2에서,
Figure PCTKR2018003404-appb-I000007
는 i번째 레이어의 j번째 특징 맵에서 (x,y,z) 위치의 값을 나타내고,
Figure PCTKR2018003404-appb-I000008
는 활성 함수를 나타내고,
Figure PCTKR2018003404-appb-I000009
는 해당되는 특징 맵에 대한 바이어스를 나타내고,
m은 (i-1)번째 레이어의 특징 맵의 인덱스를 나타내고,
Figure PCTKR2018003404-appb-I000010
는 m번째 특징 맵에 적용된 커널(kernel) 또는 필터(filter)의 (p,q,r) 위치의 값을 나타내며,
Figure PCTKR2018003404-appb-I000011
, ,
Figure PCTKR2018003404-appb-I000013
는 각각 커널의 세로와 가로, 그리고 깊이(또는 시간) 방향으로의 크기를 나타낸다.
이와 같이, 전술한 3차원 합성곱 신경망 모델만을 이용하는 기존 기술은 기본적으로 파라미터 수가 매우 많기 때문에 메모리를 많이 차지하며, 학습시킬 때 오랜 시간이 걸리고, 더욱이 학습된 모델을 사용할 때도 계산 시간이 길다. 따라서 본 실시예에서는 3차원 합성곱 신경망보다 더 적은 수의 파라미터를 가지는 2차원 합성곱 신경망을 이용하여 3차원 영상 데이터에 대해서 효율적인 학습을 하고 영상을 분석할 수 있다.
즉, 딥러닝 알고리즘 분석부는 3원 영상 생성부로부터 전달받은 복수 개의 2차원 데이터 셋(복수의 3차원 데이터) 각각에 대해 2차원 합성곱 신경망을 적용하고, 그 적용 결과를 합치는 과정을 포함하는 ‘가상 3차원 심층 신경망’에 의한 영상 분석 결과를 도출할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 방법의 흐름도이다.
도 5를 참조하면, 본 실시예에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 방법은, 먼저 영상 분석 장치 내 영상 획득부에서 특정 그룹의 2차원 영상들을 촬영 위치 또는 시간에 따라 쌓는 단계(S51), 2차원 영상들을 이용하여 3차원 영상(제1의 3차원 데이터)를 생성하고, 제1의 3차원 데이터를 회전한 제2의 3차원 데이터를 생성하는 단계(S52), 그리고 복수의 3차원 영상들(제1 및 제2의 3차원 데이터) 각각에 대해 2차원 합성곱 신경망을 적용하고 각 3차원 영상에 대한 적용 결과를 합치는 단계(S53)를 포함한다.
본 실시예에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 방법은 일반적인 3차원 합성곱 신경망 방법에 비해 더 적은 파라미터를 가지는 2차원 합성곱 신경망을 이용하여 3차원 데이터를 더욱 효율적으로 학습하고 영상 분석에 적용할 수 있다. 이러한 방법은 ‘가상 3차원 심층 신경망’에 의한 방법이라고 명명될 수 있다.
도 6은 본 발명의 또 다른 실시예에 따른 가상 3차원 심층 신경망을 이용하는 영상 분석 장치에 대한 블록도이다.
도 6은 참조하면, 본 실시예에 따른 영상 분석 장치(100)는 통신부(160), 제어부(170) 및 메모리(180)를 포함할 수 있다. 영상 분석 장치(100)는 컨트롤러 또는 컴퓨팅 장치를 포함하여 구현될 수 있다. 영상 분석 장치(100)는 사용자, 관리자, 제어단말 등으로부터 입력에 따라 데이터 또는 신호를 처리한 후 그 결과를 출력하기 위한 입출력장치(190)에 연결될 수 있다. 또한, 영상 분석 장치(100)는 데이터베이스를 구비하는 데이터베이스 시스템(200)과 연결될 수 있다. 데이터베이스는 분석하고자 하는 영상을 제공하는 장치의 식별정보, 접속정보, 인증정보 중 적어도 어느 하나를 포함할 수 있다.
본 실시예에서 입출력장치(190) 및 데이터베이스 시스템(200)은 영상 분석 장치(100)에 포함되지 않는 형태로 도시되어 있으나, 본 발명은 그러한 구성으로 한정되지 않고, 구현에 따라서 입출력장치(190) 및 데이터베이스 시스템(200) 중 적어도 어느 하나 이상을 더 포함하도록 구현될 수 있다.
통신부(160)는 영상 분석 장치(100)를 통신 네트워크에 연결한다. 통신부(160)는 네트워크를 통해 접근하는 사용자 단말, 서버, 관리자 단말 등으로부터 영상이나 영상 분석에 관련된 정보 혹은 신호를 수신할 수 있다.
통신부(160)는 하나 이상의 통신 프로토콜을 지원하는 하나 이상의 유선 및/또는 무선 통신 서브시스템을 포함할 수 있다. 유선 통신 서브시스템은 PSTN(public switched telephone network), ADSL(Asymmetric Digital Subscriber Line) 또는 VDSL(Very high-data rate Digital Subscriber Line) 네트워크, PES(PSTN Emulation Service)를 위한 서브시스템, IP(internet protocol) 멀티미디어 서브시스템(IMS) 등을 포함할 수 있다. 무선 통신 서브시스템은 무선 주파수(radio frequency, RF) 수신기, RF 송신기, RF 송수신기, 광(예컨대, 적외선) 수신기, 광 송신기, 광 송수신기 또는 이들의 조합을 포함할 수 있다.
무선 네트워크는 기본적으로 Wi-Fi를 지칭하나, 이에 한정되지 않는다. 본 실시예에서 통신부(160)는 다양한 무선 네트워크 예를 들어, GSM(Global System for Mobile Communication), EDGE(Enhanced Data GSM Environment), CDMA(Code Division Multiple Access), W-CDMA(W-Code Division Multiple Access), LTE(Long Term Evolution), LET-A(LET-Advanced), OFDMA(Orthogonal Frequency Division Multiple Access), WiMax, Wi-Fi(Wireless Fidelity), Bluetooth 등에서 선택되는 적어도 하나 이상을 지원하도록 구현될 수 있다.
제어부(170)는 내장 메모리 혹은 메모리(180)에 저장되는 소프트웨어 모듈이나 프로그램을 수행하여 영상 분석 방법을 구현할 수 있다. 제어부(170)는 예를 들어 프로세서로 지칭될 수 있고, 도 5에 도시한 일련의 절차들을 수행할 수 있다.
제어부(170)는 적어도 하나 이상의 중앙 처리 장치(CPU) 또는 코어를 포함하는 프로세서나 마이크로프로세서로 구현될 수 있다. 중앙처리장치 또는 코어는 처리할 명령어를 저장하는 레지스터(register)와, 비교, 판단, 연산을 담당하는 산술논리연산장치(arithmetic logical unit, ALU)와, 명령어의 해석과 실행을 위해 CPU를 내부적으로 제어하는 제어유닛(control unit)과, 이들을 연결하는 내부 버스 등을 구비할 수 있다. 중앙처리장치 혹은 코어는 MCU(micro control unit)와 주변 장치(외부 확장 장치를 위한 집적회로)가 함께 배치되는 SOC(system on chip)로 구현될 수 있으나, 이에 한정되지는 않는다.
또한, 제어부(170)는 하나 이상의 데이터 프로세서, 이미지 프로세서 또는 코덱(CODEC)을 포함할 수 있으나, 이에 한정되지는 않는다. 제어부(170)는 주변장치 인터페이스와 메모리 인터페이스를 구비할 수 있다. 주변장치 인터페이스는 제어부(170)와 입출력장치(190) 등의 입출력 시스템이나 다른 주변 장치를 연결하고, 메모리 인터페이스는 제어부(170)와 메모리(180)를 연결할 수 있다.
메모리(180)는 가상 3차원 심층 신경망을 이용하여 영상을 분석하기 위한 소프트웨어 모듈을 저장할 수 있다. 소프트웨어 모듈은, 도 5의 단계들(S51 내지 S53)을 각각 수행하는 제1 모듈 내지 제3 모듈을 포함할 수 있다.
전술한 메모리(180)는 비휘발성 랜덤 액세스 메모리(non-volatile RAM, NVRAM), 대표적 휘발성 메모리인 DRAM(dynamic random access memory) 등의 반도체 메모리, 하드디스크 드라이브(hard disk drive, HDD), 광 저장 장치, 플래시 메모리 등으로 구현될 수 있다. 그리고 메모리(180)는 가상 3차원 심층 신경망을 이용하여 영상을 분석하기 위한 소프트웨어 모듈들 외에 운영체제, 프로그램, 명령어 집합 등을 저장할 수 있다.
한편, 본 실시예에 따른 영상 분석 방법은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이, 본 실시예에서는 3차원 영상 데이터를 분석하기 위한 심층 신경망의 구조를 구성하는 방법을 제공한다. 본 실시예에 따른 가상 3차원 심층 신경망 구조는 입력된 의료 영상에서 질병 진단을 내리거나 또는 병변의 위치를 찾아내거나 또는 비디오에서 사람의 행동을 인식하는 등의 3차원 영상 데이터 분석에 활용될 수 있다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (7)

  1. 복수의 2차원 영상 데이터를 미리 설정된 순서대로 쌓는 영상 획득부;
    상기 영상 획득부로부터의 쌓은 형태의 복수의 2차원 영상 데이터에 대한 서로 다른 형태들의 복수의 정보에 기초하여 복수의 3차원 데이터를 생성하는 3차원 영상 생성부; 및
    상기 3차원 영상 생성부로부터의 복수의 3차원 데이터 각각에 대해 2차원 합성곱 신경망을 적용하고 상기 복수의 3차원 데이터에 대한 2차원 합성곱 신경망의 적용 결과들을 합치는 딥러닝 알고리즘 분석부를 포함하는,
    가상 3차원 심층 신경망을 이용하는 영상 분석 장치.
  2. 청구항 1에 있어서,
    상기 3차원 영상 생성부는, 상기 복수의 3차원 데이터를 생성하기 전에 상기 복수의 2차원 영상 데이터 각각에 대해 제로-평균(zero-mean) 또는 단위-변화(unit-variance) 연산을 수행하는, 가상 3차원 심층 신경망을 이용하는 영상 분석 장치.
  3. 청구항 1에 있어서,
    상기 서로 다른 형태들의 복수의 정보는 상기 쌓은 2차원 영상 데이터의 시간 또는 위치에 따른 움직임이나 모양의 변화에 대응하는 패턴을 인식한 것을 포함하는, 가상 3차원 심층 신경망을 이용하는 영상 분석 장치.
  4. 청구항 1에 있어서,
    상기 딥러닝 알고리즘 분석부는 상기 복수의 3차원 데이터에 대한 상기 2차원 합성곱 신경망의 적용 결과들을 합성곱 레이어(convolutional layer), 전결합 레이어(fully-connected layer), 출력 레이어(output layer) 및 최종 결과들의 평균을 내는 결정 수준 융합(decision level fusion) 중 어느 하나에서 합치는, 가상 3차원 심층 신경망을 이용하는 영상 분석 장치.
  5. 영상 획득부에서, 복수의 2차원 영상 데이터를 미리 설정된 순서대로 쌓는 단계;
    3차원 영상 생성부에서, 쌓은 형태의 상기 복수의 2차원 영상 데이터에 대한 서로 다른 형태들의 복수의 정보에 기초하여 복수의 3차원 데이터를 생성하는 단계; 및
    딥러닝 알고리즘 분석부에서, 상기 복수의 3차원 데이터 각각에 대해 2차원 합성곱 신경망을 적용하고 상기 복수의 3차원 데이터에 대한 2차원 합성곱 신경망의 적용 결과들을 합치는 단계;
    를 포함하는 가상 3차원 심층 신경망을 이용하는 영상 분석 방법.
  6. 청구항 5에 있어서,
    상기 생성하는 단계는, 상기 복수의 3차원 데이터를 생성하기 전에 상기 복수의 2차원 영상 데이터 각각에 대해 제로-평균(zero-mean) 또는 단위-변화(unit-variance) 연산을 수행하는, 가상 3차원 심층 신경망을 이용하는 영상 분석 방법.
  7. 청구항 5에 있어서,
    상기 합치는 단계는, 상기 복수의 3차원 데이터에 대한 상기 2차원 합성곱 신경망의 적용 결과들을 합성곱 레이어(convolutional layer), 전결합 레이어(fully-connected layer), 출력 레이어(output layer) 및 최종 결과들의 평균을 내는 결정 수준 융합(decision level fusion) 중 어느 하나에서 합치는, 가상 3차원 심층 신경망을 이용하는 영상 분석 방법.
PCT/KR2018/003404 2017-03-24 2018-03-23 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법 Ceased WO2018174623A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880027104.8A CN110574077B (zh) 2017-03-24 2018-03-23 利用虚拟三维深层神经网络的影像分析装置及方法
JP2019552542A JP6979664B2 (ja) 2017-03-24 2018-03-23 仮想３次元深層ニューラルネットワークを利用する画像解析装置及び方法
US16/496,960 US10970520B1 (en) 2017-03-24 2018-03-23 Apparatus and method for image analysis using virtual three-dimensional deep neural network
EP18771852.3A EP3605472A4 (en) 2017-03-24 2018-03-23 IMAGE ANALYSIS APPARATUS AND METHOD USING A VIRTUAL THREE-DIMENSIONAL DEEP NEURONAL NETWORK

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0037958 2017-03-24
KR20170037958 2017-03-24

Publications (1)

Publication Number Publication Date
WO2018174623A1 true WO2018174623A1 (ko) 2018-09-27

Family

ID=63585872

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/003404 Ceased WO2018174623A1 (ko) 2017-03-24 2018-03-23 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법

Country Status (6)

Country Link
US (1) US10970520B1 (ko)
EP (1) EP3605472A4 (ko)
JP (1) JP6979664B2 (ko)
KR (1) KR102061408B1 (ko)
CN (1) CN110574077B (ko)
WO (1) WO2018174623A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11276249B2 (en) 2020-05-14 2022-03-15 International Business Machines Corporation Method and system for video action classification by mixing 2D and 3D features

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11190944B2 (en) 2017-05-05 2021-11-30 Ball Aerospace & Technologies Corp. Spectral sensing and allocation using deep machine learning
US11386900B2 (en) * 2018-05-18 2022-07-12 Deepmind Technologies Limited Visual speech recognition by phoneme prediction
KR102107182B1 (ko) * 2018-10-23 2020-05-06 전남대학교 산학협력단 손 제스처 인식 시스템 및 방법
KR102250163B1 (ko) * 2018-11-23 2021-05-10 네이버웹툰 유한회사 딥러닝 기술을 이용하여 비디오 영상을 3d 비디오 영상으로 변환하는 방법 및 장치
RU2703327C1 (ru) * 2018-12-10 2019-10-16 Самсунг Электроникс Ко., Лтд. Способ обработки двухмерного изображения и реализующее его вычислительное устройство пользователя
US11893681B2 (en) 2018-12-10 2024-02-06 Samsung Electronics Co., Ltd. Method for processing two-dimensional image and device for executing method
KR102263005B1 (ko) * 2019-01-15 2021-06-08 포항공과대학교 산학협력단 동적으로 3d cnn을 이용하는 고속 영상 인식 방법 및 장치
KR102263017B1 (ko) * 2019-01-15 2021-06-08 포항공과대학교 산학협력단 3d cnn을 이용한 고속 영상 인식 방법 및 장치
US11851217B1 (en) * 2019-01-23 2023-12-26 Ball Aerospace & Technologies Corp. Star tracker using vector-based deep learning for enhanced performance
US11412124B1 (en) 2019-03-01 2022-08-09 Ball Aerospace & Technologies Corp. Microsequencer for reconfigurable focal plane control
CN111988666B (zh) * 2019-05-23 2022-04-26 阿里巴巴集团控股有限公司 视频检测、3d卷积与映射方法、设备及存储介质
US11488024B1 (en) 2019-05-29 2022-11-01 Ball Aerospace & Technologies Corp. Methods and systems for implementing deep reinforcement module networks for autonomous systems control
US11303348B1 (en) 2019-05-29 2022-04-12 Ball Aerospace & Technologies Corp. Systems and methods for enhancing communication network performance using vector based deep learning
KR102081854B1 (ko) * 2019-08-01 2020-02-26 전자부품연구원 3d edm을 이용한 수어 또는 제스처 인식 방법 및 장치
US11828598B1 (en) 2019-08-28 2023-11-28 Ball Aerospace & Technologies Corp. Systems and methods for the efficient detection and tracking of objects from a moving platform
KR102219364B1 (ko) * 2019-09-19 2021-02-25 주식회사 싸인텔레콤 영상감지장치 기반의 버스정류장 조명제어 시스템
TWI730452B (zh) * 2019-10-16 2021-06-11 逢甲大學 立體類神經網路系統
KR102166835B1 (ko) 2019-10-28 2020-10-16 주식회사 루닛 신경망 학습 방법 및 그 장치
KR102581941B1 (ko) * 2019-12-27 2023-09-22 권세기 딥러닝을 이용한 반려견의 입마개 착용 여부 감시 시스템 및 방법
US11830227B2 (en) 2020-05-12 2023-11-28 Lunit Inc. Learning apparatus and learning method for three-dimensional image
CN111612689B (zh) * 2020-05-28 2024-04-05 上海联影医疗科技股份有限公司 医学图像处理方法、装置、计算机设备和可读存储介质
US20210398338A1 (en) * 2020-06-22 2021-12-23 Nvidia Corporation Image generation using one or more neural networks
KR102453834B1 (ko) * 2020-07-15 2022-10-11 한국로봇융합연구원 다수의 열화상 및 영상 카메라의 출력 정보를 심층신경망 모델의 입력데이터로 구조화하기 위한 방법
CN111985618B (zh) * 2020-08-14 2024-03-05 杭州海康威视数字技术股份有限公司 3d卷积神经网络在神经网络处理器上的处理方法和装置
KR102505994B1 (ko) * 2020-09-28 2023-03-07 (주)제이엘케이 경량 3차원 볼륨 데이터 획득 시스템 및 방법
KR102575224B1 (ko) * 2021-01-07 2023-09-08 충북대학교 산학협력단 가변 합성곱 신경망을 이용한 객체 검출 시스템 및 그 방법
US20220391752A1 (en) * 2021-06-08 2022-12-08 X Development Llc Generating labeled synthetic images to train machine learning models
KR20230027948A (ko) 2021-08-20 2023-02-28 선문대학교 산학협력단 이미지 초고해상도를 위한 컨볼루션 신경망 시스템
KR102769440B1 (ko) 2021-08-20 2025-02-17 선문대학교 산학협력단 초고해상도 컨볼루션 신경망 시스템의 연산량 감소 장치 및 방법
JP7745813B1 (ja) * 2024-04-30 2025-09-29 三菱電機株式会社 物体認識装置、物体認識方法、および、物体認識システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000105838A (ja) * 1998-09-29 2000-04-11 Toshiba Corp 画像表示方法及び画像処理装置
KR20160061856A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
KR20160101973A (ko) * 2013-12-19 2016-08-26 아비질론 포트리스 코퍼레이션 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법
KR20160122452A (ko) 2015-04-14 2016-10-24 (주)한국플랫폼서비스기술 비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293704A (ja) 1999-04-02 2000-10-20 Kazuo Yamada ３次元データ表示装置及び３次元データ表示方法並びに情報記録媒体
JP2010051691A (ja) 2008-08-29 2010-03-11 Shimadzu Corp 超音波診断装置
JP2010072910A (ja) * 2008-09-18 2010-04-02 Nippon Telegr & Teleph Corp <Ntt> 顔の３次元モデル生成装置、顔の３次元モデル生成方法および顔の３次元モデル生成プログラム
US8866845B2 (en) * 2010-03-10 2014-10-21 Empire Technology Development Llc Robust object recognition by dynamic modeling in augmented reality
US11282287B2 (en) * 2012-02-24 2022-03-22 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US10095917B2 (en) * 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
US9898804B2 (en) * 2014-07-16 2018-02-20 Samsung Electronics Co., Ltd. Display driver apparatus and method of driving display
CN110110843B (zh) * 2014-08-29 2020-09-25 谷歌有限责任公司 用于处理图像的方法和系统
US9928410B2 (en) 2014-11-24 2018-03-27 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognizer
KR102276339B1 (ko) 2014-12-09 2021-07-12 삼성전자주식회사 Ｃｎｎ의 근사화를 위한 학습 장치 및 방법
GB2543893A (en) 2015-08-14 2017-05-03 Metail Ltd Methods of generating personalized 3D head models or 3D body models
US11425866B2 (en) * 2015-11-03 2022-08-30 Keith Charles Burden Automated pruning or harvesting system for complex morphology foliage
CN105787439B (zh) * 2016-02-04 2019-04-05 广州新节奏智能科技股份有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
US9836820B2 (en) * 2016-03-03 2017-12-05 Mitsubishi Electric Research Laboratories, Inc. Image upsampling using global and local constraints
US11055063B2 (en) * 2016-05-02 2021-07-06 Marvell Asia Pte, Ltd. Systems and methods for deep learning processor
CN106407903A (zh) * 2016-08-31 2017-02-15 四川瞳知科技有限公司 基于多尺度卷积神经网络的实时人体异常行为识别方法
US10282918B2 (en) * 2016-09-20 2019-05-07 Siemens Healthcare Gmbh Two-dimensional cinematic medical imaging in color based on deep learning
US10460511B2 (en) * 2016-09-23 2019-10-29 Blue Vision Labs UK Limited Method and system for creating a virtual 3D model
HK1224513A2 (zh) * 2016-10-14 2017-08-18 智能3D有限公司 通过机器学习技术改进2d至3d的自动转换质量的方法
JP2018067154A (ja) * 2016-10-19 2018-04-26 ソニーセミコンダクタソリューションズ株式会社 演算処理回路および認識システム
US10176551B2 (en) * 2017-04-27 2019-01-08 Apple Inc. Configurable convolution engine for interleaved channel data
WO2018227105A1 (en) * 2017-06-08 2018-12-13 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Progressive and multi-path holistically nested networks for segmentation
CN107730503B (zh) * 2017-09-12 2020-05-26 北京航空航天大学 三维特征嵌入的图像对象部件级语义分割方法与装置
EP3462373A1 (en) * 2017-10-02 2019-04-03 Promaton Holding B.V. Automated classification and taxonomy of 3d teeth data using deep learning methods
EP3474192A1 (en) * 2017-10-19 2019-04-24 Koninklijke Philips N.V. Classifying data
US10762637B2 (en) * 2017-10-27 2020-09-01 Siemens Healthcare Gmbh Vascular segmentation using fully convolutional and recurrent neural networks
US11636668B2 (en) * 2017-11-10 2023-04-25 Nvidia Corp. Bilateral convolution layer network for processing point clouds
US10824862B2 (en) * 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
US10552664B2 (en) * 2017-11-24 2020-02-04 International Business Machines Corporation Image feature classification and localization using discriminative representations for robotic surgical control
US11132797B2 (en) * 2017-12-28 2021-09-28 Topcon Corporation Automatically identifying regions of interest of an object from horizontal images using a machine learning guided imaging system
CN108198145B (zh) * 2017-12-29 2020-08-28 百度在线网络技术（北京）有限公司 用于点云数据修复的方法和装置
KR102106694B1 (ko) * 2018-05-17 2020-05-04 한국과학기술원 뉴럴 네트워크를 이용하는 영상 처리 장치 및 상기 장치가 수행하는 방법
US11234666B2 (en) * 2018-05-31 2022-02-01 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning to improve image quality in position emission tomography (PET)
CN110163048B (zh) * 2018-07-10 2023-06-02 腾讯科技（深圳）有限公司 手部关键点的识别模型训练方法、识别方法及设备
US10297070B1 (en) * 2018-10-16 2019-05-21 Inception Institute of Artificial Intelligence, Ltd 3D scene synthesis techniques using neural network architectures
US11436743B2 (en) * 2019-07-06 2022-09-06 Toyota Research Institute, Inc. Systems and methods for semi-supervised depth estimation according to an arbitrary camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000105838A (ja) * 1998-09-29 2000-04-11 Toshiba Corp 画像表示方法及び画像処理装置
KR20160101973A (ko) * 2013-12-19 2016-08-26 아비질론 포트리스 코퍼레이션 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법
KR20160061856A (ko) * 2014-11-24 2016-06-01 삼성전자주식회사 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치
KR20160122452A (ko) 2015-04-14 2016-10-24 (주)한국플랫폼서비스기술 비주얼 콘텐츠기반 영상 인식을 위한 딥러닝 프레임워크 및 영상 인식 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LEE, BEOM-JIN ET AL.: "RGB-D-T Face Recognition Using Convolutional-recursive Deep Learning", 2014 KOREAN INSTITUTE OF INFORMATION SCIENTISTS AND ENGINEERS THE 41 ST ANNUAL MEETING AND WINTER CONFERENCE, December 2014 (2014-12-01), pages 616 - 618, XP009516851 *
See also references of EP3605472A4
TTH, BLINT PI ET AL.: "Deep Learning and SVM Classification for Plant Recognition in Content-Based Large Scale Image Retrieval", WORKING NOTES OF CLEF 2016-CONFERENCE AND LABS OF THE EVALUATION FORUM, 5 September 2016 (2016-09-05), pages 569 - 578, XP055559756 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11276249B2 (en) 2020-05-14 2022-03-15 International Business Machines Corporation Method and system for video action classification by mixing 2D and 3D features

Also Published As

Publication number Publication date
KR20180108501A (ko) 2018-10-04
CN110574077B (zh) 2023-08-01
EP3605472A4 (en) 2020-12-23
US20210103716A1 (en) 2021-04-08
JP2020513124A (ja) 2020-04-30
JP6979664B2 (ja) 2021-12-15
US10970520B1 (en) 2021-04-06
KR102061408B1 (ko) 2019-12-31
CN110574077A (zh) 2019-12-13
EP3605472A1 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
WO2018174623A1 (ko) 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법
CN112236779B (zh) 基于卷积神经网络的图像处理方法和图像处理装置
CN111291809B (zh) 一种处理装置、方法及存储介质
EP3779800B1 (en) Image recognition method, apparatus, electronic device and storage medium
CN109543549B (zh) 用于多人姿态估计的图像数据处理方法及装置、移动端设备、服务器
US11151361B2 (en) Dynamic emotion recognition in unconstrained scenarios
WO2020071701A1 (ko) 딥러닝 네트워크 모델에 의한 실시간 객체 검출 방법 및 장치
WO2021103731A1 (zh) 一种语义分割方法、模型训练方法及装置
WO2018217019A1 (ko) 신경망 학습 기반의 변종 악성 코드를 탐지하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
EP3500979A1 (en) Computer device for training a deep neural network
CN110163111A (zh) 基于人脸识别的叫号方法、装置、电子设备及存储介质
WO2022165675A1 (zh) 一种手势识别方法、装置、终端设备及可读存储介质
CN114663593A (zh) 三维人体姿态估计方法、装置、设备及存储介质
JP7104546B2 (ja) 情報処理装置、情報処理方法
CN114463840B (zh) 基于骨架的移位图卷积网络人体行为识别方法
WO2019132588A1 (ko) 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법
WO2021049784A2 (ko) Gan을 이용한 의료 영상의 광강도 분포 일반화 기법
CN120708092A (zh) 一种轻量级遥感目标检测方法及系统
CN116888605B (zh) 神经网络模型的运算方法、训练方法及装置
WO2025161249A1 (zh) 一种人脸图像转换方法、装置及终端设备
CN115169537B (zh) 一种神经网络的模型固件生成方法和图像识别方法
CN110889438A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN114373205B (zh) 一种基于卷积宽度网络的人脸检测和识别方法
CN110021036A (zh) 红外目标检测方法、装置、计算机设备和存储介质
WO2023096133A1 (ko) 경량화된 자세 추정 모델 제공 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18771852

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019552542

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018771852

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018771852

Country of ref document: EP

Effective date: 20191024