KR102215899B1 - 매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치 - Google Patents

매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치 Download PDF

Info

Publication number
KR102215899B1
KR102215899B1 KR1020200103193A KR20200103193A KR102215899B1 KR 102215899 B1 KR102215899 B1 KR 102215899B1 KR 1020200103193 A KR1020200103193 A KR 1020200103193A KR 20200103193 A KR20200103193 A KR 20200103193A KR 102215899 B1 KR102215899 B1 KR 102215899B1
Authority
KR
South Korea
Prior art keywords
image
product
area
electronic device
shelf
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200103193A
Other languages
English (en)
Inventor
김지수
Original Assignee
그린캣소프트(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 그린캣소프트(주) filed Critical 그린캣소프트(주)
Priority to KR1020200103193A priority Critical patent/KR102215899B1/ko
Application granted granted Critical
Publication of KR102215899B1 publication Critical patent/KR102215899B1/ko
Assigned to 주식회사 클러쉬 reassignment 주식회사 클러쉬 권리의 전부이전등록 Assignors: 그린캣소프트(주)
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06K9/6202—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Finance (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Accounting & Taxation (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 개시는 매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치에 관한 것이다. 전자 장치가 매대에 진열된 상품을 식별하는 방법은 상기 매대 및 상기 매대 상에 진열된 상품을 촬영함으로써 획득되는 상품 진열 이미지를 획득하는 단계; 및 상기 획득된 상품 진열 이미지를, 상기 상품이 진열될 영역을 포함하는 적어도 하나의 매대 이미지 및 상기 적어도 하나의 매대 이미지에 조합 가능한 적어도 하나의 상품 이미지를 합성함으로써 생성된 증강 학습 이미지에 기초하여 학습되는 인공 지능 모델에 입력함으로써, 상기 상품 진열 이미지에 포함된 상품을 식별하는 단계; 를 포함할 수 있다.

Description

매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치 {APPRATUS FOR IDENTIFYING GOODS DISPLAYED ON DISPLAY STAND AND METHOD THEREOF}
본 개시는 이미지 또는 영상에 포함된 상품을 식별하는 방법 및 장치에 관한 것이다. 보다 상세하게는 인공지능 모델을 이용하여 이미지 또는 영상에 포함된 상품을 식별하는 방법 및 장치에 관한 것이다.
최근 인공 지능 및 딥러닝 기술이 발달함에 따라 이미지 또는 영상에 포함된 객체를 식별하기 위한 기술들이 활발하게 연구되고 있다. 인공 지능(Artificial Intelligence) 기술은 기계가 스스로 학습하고 판단하면서 똑똑해지는 시스템으로, 인공 지능 기술은 기계학습 내지 기계학습 알고리즘을 활용하는 기술을 포함할 수 있다. 한편 인공 신경망(Artificial Neural Network)은 인공 뉴런들의 상호 연결된 집합들을 구현하기 위하여 컴퓨팅 기기 또는 컴퓨팅 기기에 의해서 수행되는 방법을 지칭할 수 있다. 인공 신경망의 일 실시 예로, 심층 신경망(Deep Neural Network) 또는 딥 러닝(Deep Learning)은 멀티 레이어 구조를 가질 수 있고, 레이어들 각각이 다수의 데이터에 따라 학습될 수 있다.
이러한 인공 지능 모델들의 정확도 및 신뢰도를 실제 환경에서 유효한 수준으로 향상시키기 위해서는 대량의 훈련 데이터가 필요하다. 그러나, 비용 및 많은 자원의 소모로 인하여 실제 인공 지능 모델을 훈련 시키기 위한 대량의 훈련 데이터를 확보에는 한계가 있으며, 이를 해결하기 위한 기술로써 데이터 증강(Data Augmentation) 기술들이 개시되고 있다.
따라서, 대량의 훈련 데이터를 확보하기 어려운 환경에서, 데이터 증강 기법에 기초하여 증강 학습 데이터를 생성하고, 생성된 증강 학습 데이터에 기초하여 인공 지능 모델을 학습시킴으로써 인공 지능 모델의 성능을 향상 시키기 위한 기술 개발이 요구되고 있다.
한국등록특허 제1217115호
일 실시 예에 따르면, 매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치가 제공될 수 있다.
또한, 일 실시 예에 따르면, 매대 이미지 및 상품 이미지를 합성함으로써 생성되는 증강 학습 이미지에 기초하여 학습되는 인공 지능 모델을 이용하여, 이미지 또는 영상에 포함된 상품을 식별하는 방법 및 전자 장치가 제공될 수 있다.
상술한 기술적 과제를 달성하기 위한 본 개시의 일 실시 예에 따라, 매대에 진열된 상품을 식별하는 방법은 상기 매대 및 상기 매대 상에 진열된 상품을 촬영함으로써 획득되는 상품 진열 이미지를 획득하는 단계; 및 상기 획득된 상품 진열 이미지를, 상기 상품이 진열될 영역을 포함하는 적어도 하나의 매대 이미지 및 상기 적어도 하나의 매대 이미지에 조합 가능한 적어도 하나의 상품 이미지를 합성함으로써 생성된 증강 학습 이미지에 기초하여 학습되는 인공 지능 모델에 입력함으로써, 상기 상품 진열 이미지에 포함된 상품을 식별하는 단계; 를 포함할 수 있다.
또한, 상기 기술적 과제를 해결하기 위한 본 개시의 또 다른 실시 예에 따라, 매대에 진열된 상품을 식별하는 전자 장치는 하나 이상의 인스트럭션을 저장하는 메모리; 및 적어도 하나의 프로세서; 를 포함하고, 상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 매대 및 상기 매대 상에 진열된 상품을 촬영함으로써 획득되는 상품 진열 이미지를 획득하고, 상기 획득된 상품 진열 이미지를, 상기 상품이 진열될 영역을 포함하는 적어도 하나의 매대 이미지 및 상기 적어도 하나의 매대 이미지에 조합 가능한 적어도 하나의 상품 이미지를 합성함으로써 생성된 증강 학습 이미지에 기초하여 학습되는 인공 지능 모델에 입력함으로써, 상기 상품 진열 이미지에 포함된 상품을 식별할 수 있다.
또한, 상기 기술적 과제를 해결하기 위한 본 개시의 또 다른 실시 예에 따라, 인공 지능 모델 학습 장치가 적어도 하나의 매대 이미지 및 적어도 하나의 상품 이미지를 획득하는 단계; 상품 이미지의 크기를 조정하고, 소정의 이미지 필터에 따른 노이즈를 추가하는 단계; 상기 노이즈가 추가된 적어도 하나의 상품 이미지 및 적어도 하나의 매대 이미지를 합성함으로써 합성 이미지를 생성하는 단계; 상기 합성 이미지들을 가상 이미지 영역에 배치 후, 무작위로 크로핑함으로써 증강 학습 이미지를 생성하는 단계; 및 상기 생성된 증강 학습 이미지에 기초하여 인공 지능 모델을 학습시키는 단계; 를 포함하는 매대에 진열된 상품을 식별하는 인공 지능 모델을 학습시키는 방법이 제공될 수 있다.
또한, 상기 기술적 과제를 해결하기 위한 본 개시의 또 다른 실시 예에 따라, 매대 및 상기 매대 상에 진열된 상품을 촬영함으로써 획득되는 상품 진열 이미지를 획득하는 단계; 및 상기 획득된 상품 진열 이미지를, 상기 상품이 진열될 영역을 포함하는 적어도 하나의 매대 이미지 및 상기 적어도 하나의 매대 이미지에 조합 가능한 적어도 하나의 상품 이미지를 합성함으로써 생성된 증강 학습 이미지에 기초하여 학습되는 인공 지능 모델에 입력함으로써, 상기 상품 진열 이미지에 포함된 상품을 식별하는 단계; 를 포함하는, 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다.
도 1은 일 실시 예에 따라 증강 학습 이미지에 기초하여 학습된 인공 지능 모델을 이용하여 매대에 진열된 상품을 식별하는 과정을 개략적으로 설명하기 위한 도면이다.
도 2는 일 실시 예에 따른 매대에 진열된 상품을 식별하는 방법의 흐름도이다.
도 3은 일 실시 예에 따른 인공 지능 모델을 학습시키기 위한 증강 학습 이미지를 생성하는 방법의 흐름도이다.
도 4는 일 실시 예에 따라, 인공 지능 모델을 학습시키기 위한 증강 학습 이미지를 생성하는 과정을 설명하기 위한 도면이다.
도 5는 일 실시 예에 따라 생성된 증강 학습 이미지를 설명하기 위한 도면이다.
도 6은 또 다른 실시 예에 따라 생성된 증강 학습 이미지를 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른 증강 학습 이미지를 레이블링함으로써 생성되는 라벨링 이미지를 설명하기 위한 도면이다.
도 8은 또 다른 실시 예에 따라 증강 학습 이미지를 레이블링함으로써 생성되는 라벨링 이미지를 설명하기 위한 도면이다.
도 9는 일 실시 예에 따라 증강 학습 이미지 및 라벨링 이미지에 기초하여 인공 지능 모델을 학습시키는 과정을 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른 전자 장치의 블록도이다.
도 11은 또 다른 실시 예에 따른 전자 장치의 블록도이다.
도 12는 일 실시 예에 따른 전자 장치와 연동되는 서버의 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시 예에 따라 증강 학습 이미지에 기초하여 학습된 인공 지능 모델을 이용하여 매대에 진열된 상품을 식별하는 과정을 개략적으로 설명하기 위한 도면이다.
일 실시 예에 의하면, 전자 장치(1000)는 매대 또는 상품 중 적어도 하나가 나타나는 상품 진열 이미지(102)를 획득하고, 획득된 상품 진열 이미지(102)를 인공 지능 모델(104)에 입력함으로써, 상품 진열 이미지에 포함된 상품(108)을 식별할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 상품 진열 이미지를, 미리 학습된 인공 지능 모델(104)에 입력함으로써, 상품 진열 이미지 내 상품의 위치 정보 또는 상품의 종류 중 적어도 하나를 식별함으로써, 상품을 식별할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)가 상품 진열 이미지(102)내 상품을 식별하기 위해 이용하는 인공 지능 모델은, 상품이 진열될 영역을 포함하는 적어도 하나의 매대 이미지 및 상기 적어도 하나의 매대 이미지에 조합 가능한 적어도 하나의 상품 이미지를 합성함으로써 생성되는 증강 학습 이미지에 기초하여 학습될 수 있다.
또한, 일 실시 예에 의하면, 전자 장치(1000)는 매대 이미지 외에 기타 상품들이 놓일 수 있는 적어도 하나의 배경 이미지 및 상기 배경 이미지에 조합 가능한 적어도 하나의 상품 이미지를 합성함으로써 생성되는 증강 학습 이미지에 기초하여, 인공 지능 모델을 학습 시키고, 학습된 인공 지능 모델을 이용하여 이미지 또는 영상에 포함된 배경과 구분되는, 전경 이미지 내 상품을 식별할 수도 있다. 일 실시 예에 의하면, 적어도 하나의 매대 이미지는 상품이 진열될 영역을 정의하는 픽셀의 위치 정보를 포함하고, 상품 이미지는 상품 이미지가 나타내는 상품의 종류에 관한 레이블 정보를 포함할 수 있다. 또한, 매대 이미지는 상품 진열 이미지 상에서 상품 이미지를 제외한 매대 및 배경 영역을 더 포함할 수도 있다.
일 실시 예에 의하면, 전자 장치(1000)는 AI 프로그램이 탑재될 수 있는 스마트폰, 태블릿, PC, 스마트 TV, 휴대폰, 랩톱, 서버 기타 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 일 실시 예에 의하면, 전자 장치(1000)는 전자 장치와 네트워크를 통하여 연결되는 서버(2000)와 연동함으로써, 상품 진열 이미지를 획득하고, 획득된 상품 진열 이미지 내 상품을 식별할 수도 있다. 또한, 전자 장치(1000)는 서버(2000)외에, 외부 디바이스(3000)와 연동함으로써, 상품 진열 이미지에 포함된 상품을 식별할 수도 있다.
일 실시 예에 의하면, 서버(2000)는 네트워크를 통하여 연결됨으로써 전자 장치(1000)와 통신 가능한 적어도 하나의 다른 전자 장치를 포함할 수 있다. 또한, 외부 디바이스(3000)는 전자 장치(1000)와 연동됨으로써 전자 장치(1000)가 식별하고자 하는 상품들이 놓이는 공간에 대한 이미지 또는 영상을 획득하고, 획득된 이미지 또는 영상을 전자 장치(1000)로 전송할 수 있는 컴퓨팅 장치일 수 있다. 외부 디바이스(3000)는 상기 공간을 촬영하기 위한 카메라(122) 또는 기타 모니터링 디바이스(128)를 포함할 수 있고, 상기 카메라(122) 또는 기타 모니터링 디바이스(128)를 제어하기 위한 인스트럭션들이 저장되는 메모리(126) 및 상기 인스트럭션을 실행하기 위한 프로세서(미도시)를 더 포함할 수 있다.
일 실시 예에 의하면, 전자 장치(1000)는 서버(2000) 또는 외부 디바이스(3000)와 서로 다른 네트워크로 연결될 수도 있으나, 동일한 네트워크를 통하여 외부 디바이스(3000) 및 서버(2000)와 연결될 수도 있다. 일 실시 예에 의하면, 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 부가가치 통신망(Value Added Network; VAN), 이동 통신망(mobile radio communication network), 위성 통신망 및 이들의 상호 조합을 포함할 수 있다.
일 실시 예에 의하면, 전자 장치(1000)는 서버(2000) 또는 외부 디바이스(3000)와 연동함으로써 인공 지능 모델(104)을 학습(training) 시키기 위한 증강 학습 데이터를 생성할 수 있다. 일반적으로, 인공 지능 모델을 학습시키기 위한 대량의 학습 데이터를 생성하기 위해, 적어도 하나의 데이터 증강 기법에 따라 데이터를 증강하는 기술이 이용될 수 있다. 예를 들어, 전자 장치(1000)는 매대 이미지 및 상품 이미지(132)를 획득하고, 획득된 매대 이미지 및 상품 이미지를 합성함으로써 합성 이미지(134)를 생성할 수 있다. 전자 장치(1000)는 생성된 합성 이미지 중 적어도 일부를 포함하도록 크로핑함으로써 크로핑 이미지(136)를 생성하고, 생성된 크로핑 이미지에 대한 포맷을 지정함으로써 증강 학습 이미지(138)를 생성할 수 있다. 전자 장치(1000)는 증강 학습 이미지(138)에 기초하여 인공 지능 모델(104)을 학습 시킬 수 있고, 학습된 인공 지능 모델(104)을 이용하여 상품 진열 이미지에 포함된 상품을 식별할 수 있다.
상술한 실시 예에서는 전자 장치(1000)가 증강 학습 이미지를 생성하고, 생성된 증강 학습 이미지에 따라 인공 지능 모델을 학습시키는 것으로 서술되었으나, 증강 학습 이미지를 생성 또는 생성된 증강 학습 이미지에 기초하여 인공 지능 모델을 학습 시키는 동작은, 외부 디바이스, 서버 또는 전자 장치(1000)와 연결 가능한 인공 지능 모델 학습 장치 중 적어도 하나에 의해 수행될 수도 있다.
본 개시에 따른 전자 장치(1000)는 매우 많은 시간적, 인력적 비용이 소모되는 종래 대량의 훈련 데이터 생성 방법과는 달리, 매대 및 상품에 관한 적은 양의 이미지 데이터에 기초하여서도, 다량의 훈련 데이터인, 증강 학습 이미지들을 생성하고, 생성된 증강 학습 이미지들에 기초하여 인공 지능 모델을 학습시킴으로써, 효과적으로 상품 진열 이미지 내 상품을 식별할 수 있다. 일 실시 예에 따른 전자 장치(1000)는 대량의 학습 데이터가 필요한 인공 지능 모델 훈련의 한계점을 극복하고, 대량의 훈련 이미지 데이터를 쉽게 생성함으로써, 실제 매대에 진열되지 않았던 상품이라 하더라도, 매대 진열 시, 진열된 상품을 식별할 수 있다.
일 실시 예에 따른 전자 장치(1000)가 이용하는 인공 지능 모델은, 인공 지능 학습 알고리즘에 따라 학습되는 기계 학습 모델, 인고 신경망 모델을 포함할 수 있다. 일 실시 예에 의하면, 인공 신경망 모델은 인공 신경망(Artificial Neural Network)으로써, 생물학적 신경망에 착안된 컴퓨팅 시스템을 지칭할 수 있다. 인공 신경망 모델은 미리 정의된 조건에 따라 작업을 수행하는 고전적인 알고리즘과 달리, 다수의 샘플들을 고려함으로써 작업을 수행하는 것을 학습할 수 있다. 인공 신경망 모델은 인공 뉴런(neuron)들이 연결된 구조를 가질 수 있고, 뉴런들 간의 연결은 시냅스(synapse)로 지칭될 수 있다. 뉴런은 수신된 신호를 처리할 수 있고, 처리된 신호를 시냅스를 통해서 다른 뉴런에 전송할 수 있다. 뉴런의 출력은 액티베이션(activation)으로 지칭될 수 있고, 뉴런 및/또는 시냅스는 변동될 수 있는 가중치(weight)를 가질 수 있고, 가중치에 따라 뉴런에 의해 처리된 신호의 영향력이 증가하거나 감소할 수 있다.
일 실시 예에 의하면, 전자 장치(1000)가 이용하는 인공 지능 모델(예컨대 신경망 모델)에서 획득한 손실(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 수정 및 갱신될 수 있다. 본 개시에 따른 인공 신경망 모델은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
도 2는 일 실시 예에 따른 매대에 진열된 상품을 식별하는 방법의 흐름도이다.
S210에서, 전자 장치(1000)는 매대 및 매대 상에 진열된 상품을 촬영함으로써 획득되는 상품 진열 이미지를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 카메라 모듈을 이용하여 스스로 상품 진열 이미지를 획득할 수도 있지만, 전자 장치(1000)와 연결된 외부 디바이스 또는 서버를 통하여 상품 진열 이미지를 수신할 수도 있다.
S220에서, 전자 장치(1000)는 상품 진열 이미지를, 상품이 진열될 영역을 포함하는 적어도 하나의 매대 이미지 및 상기 적어도 하나의 매대 이미지에 조합 가능한 적어도 하나의 상품 이미지를 합성함으로써, 생성되는 증강 학습 이미지에 기초하여 학습되는 인공 지능 모델에 입력함으로써, 상품 진열 이미지에 포함된 상품을 식별할 수 있다.
일 실시 예에 의하면 상품 이미지와 조합 또는 혼합되는 적어도 하나의 매대 이미지들은 상품 이미지가 배치될 영역을 포함할 수 있다. 일 실시 예에 의하면, 매대 이미지는 상품 이미지가 제거된 이미지로써, 매대 상에 상품이 놓일 수 있는 공간에 대응되는 이미지 영역이 일부 제거된 이미지일 수 있다. 매대 이미지는 상품이 실제 매대 상에 놓일 수 있는 공간에 대응되는 이미지 영역의 경계에 대한 정보를 포함할 수 있고, 상기 경계에 대한 정보는, 상품이 진열될 영역을 정의하는 픽셀의 위치 정보에 대응될 수 있다. 또한, 일 실시 예에 의하면, 상품 이미지는 상품의 종류에 관한 레이블 정보를 포함할 수도 있다.
도 3은 일 실시 예에 따른 인공 지능 모델을 학습시키기 위한 증강 학습 이미지를 생성하는 방법의 흐름도이다.
도 3을 참조하여 인공 지능 모델을 학습 시키기 위해 증강 학습 이미지를 생성하는 과정을 설명한다. 일 실시 예에 의하면, 증강 학습 이미지를 생성하는 방법은 전자 장치(1000)에 의해 수행될 수 있다. 그러나 또 다른 실시 예에 의하면, 도 3에 따른 증강 학습 이미지를 생성하는 방법은 전자 장치(1000), 인공 지능 모델 학습 장치, 서버 중 하나 또는 전자 장치(1000), 인공 지능 모델 학습 장치, 서버 중 적어도 2이상의 장치들이 연동함으로써 수행될 수도 있다.
S310에서, 전자 장치(1000)는 적어도 하나의 매대 이미지 및 적어도 하나의 상품 이미지를 획득한다. 일 실시 예에 의하면, 전자 장치(1000)는 모니터링 디바이스를 포함하는 외부 디바이스로부터 적어도 하나의 매대 이미지 및 적어도 하나의 상품 이미지를 획득할 수 있다.
S320에서, 전자 장치(1000)는 상품 이미지의 크기를 조정하고, 소정의 이미지 필터에 따른 노이즈를 상품 이미지에 추가할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 적어도 하나의 매대 이미지에 포함된 상품이 진열될 영역의 형태 정보에 기초하여, 적어도 하나의 상품 이미지의 크기를 조정할 수 있다. 전자 장치(1000)는 크기가 조정된 적어도 하나의 상품 이미지 및 적어도 하나의 매대 이미지를 합성할 수 있다.
일 실시 예에 의하면, 전자 장치(1000)는 가우시안 필터, 블로 필터 등 미리 설정된 이미지 필터를 상품 이미지에 적용함으로써 각 이미지 필터에 따른 노이즈를 상품 이미지에 추가할 수 있다. 전자 장치(1000)가 소정의 이미지 필터에 따른 노이즈를 상품 이미지에 추가하는 과정은, 전자 장치(1000)가 인공 지능 모델을 학습시키기 위해 대량의 훈련 데이터를 생성하는 과정에 포함될 수 있다. 전자 장치(1000)는 소정의 이미지 필터를 상품 이미지에 적용함으로써 증강 처리된 상품 이미지와 매대 이미지를 합성함으로써 생성된 증강 학습 이미지에 기초하여 인공 지능 모델을 학습시키기 때문에, 인공 지능 모델의 성능을 향상 시킬 수 있다.
S330에서, 전자 장치(1000)는 노이즈가 추가된 적어도 하나의 상품 이미지 및 적어도 하나의 매대 이미지를 합성할 수 있다. 예를 들어, 적어도 하나의 매대 이미지는 상품이 진열될 영역의 형태 정보를 포함할 수 있다. 보다 상세하게는, 적어도 하나의 매대 이미지에 포함된 상품이 진열될 영역의 형태 정보는, 적어도 하나의 매대 이미지에 포함된 상기 상품이 진열될 영역의 크기 또는 상기 상품이 진열될 영역을 구성하는 변의 길이 비 중 적어도 하나를 포함할 수 있다.
일 실시 예에 의하면, 전자 장치(1000)는 적어도 하나의 매대 이미지에 포함된 상품이 진열될 영역의 형태 정보에 기초하여, 적어도 하나의 상품 이미지를 적어도 하나의 매대 이미지에 무작위로 합성할 수 있다. 예를 들어, 전자 장치(1000)는 상품 이미지를 구성하는 변의 길이 비(예컨대 가로 세로 길이 비율)를 식별하고, 식별된 상품 이미지를 구성하는 변의 길이 비에 대응되는 매대 이미지 내 상품 이미지가 합성될 영역을 식별할 수 있다. 그러나, 이에 한정되는 것은 아니며, 전자 장치(1000)는 상품 이미지의 크기, 면적, 이미지 변의 길이 비 중 적어도 하나에 기초하여, 매대 이미지 상에서 해당 상품 이미지가 합성될 영역을 결정할 수 있다.
또한 일 실시 예에 의하면, 전자 장치(1000)는 상품 이미지의 형태 정보에 기초하여 매대 이미지 상 상품 이미지가 합성될 영역을 검색한 결과, 상품 이미지가 합성될 영역이 복수인 경우, 복수로 검색된 상품 이미지가 합성될 영역 중 적어도 하나에 무작위로 상품 이미지를 합성할 수 있다. 그러나, 이에 한정되는 것은 아니며, 전자 장치(1000)는 상품 이미지의 형태 정보 및 상기 상품 이미지의 형태 정보와 상기 매대 이미지 상 상품 진열 영역의 형태 정보의 매칭 정도를 나타내는 매칭 점수를 결정하고, 결정된 매칭 점수가 기 설정된 임계치 이상인 상품 진열 영역들에 대해서만, 상품 이미지를 무작위로 합성할 수도 있다.
또한, 일 실시 예에 의하면, 전자 장치(1000)는 적어도 하나의 매대 이미지에 포함된 픽셀의 색상 값 및 적어도 하나의 상품 이미지에 포함된 픽셀의 색상 값 사이의 색상 비율이, 미리 설정된 색상 비를 가지도록 합성할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 적어도 하나의 상품 이미지 및 적어도 하나의 매대 이미지 각각에 포함된 픽셀의 색상 비가 70%:30% 내지 90%:10% 가 되도록, 적어도 하나의 상품 이미지 및 적어도 하나의 매대 이미지를 합성할 수 있다. 그러나, 이에 한정되는 것은 아니고, 전자 장치(1000)는 매대 이미지 및 상품 이미지 각각에 대한 비율을 임의로 설정하여 매대 이미지 및 상품 이미지를 합성할 수 있다.
S340에서, 전자 장치(1000)는 합성 이미지를 가상 이미지 영역에 배치 후, 가상 이미지 영역 중 적어도 일부를 크로핑함으로써 증강 학습 이미지를 생성할 수 있다. 예를 들어, 전자 장치(1000)는 적어도 하나의 매대 이미지 및 적어도 하나의 상품 이미지를 합성함으로써 복수의 합성 이미지들을 생성하고, 생성된 복수의 합성 이미지들의 크기를 균일화 할 수 있다.
전자 장치(1000)는 한 축상에 들어갈 수 있는 매대 이미지의 크기에 기초하여 N*N크기의 가상 이미지 영역을 미리 설정할 수 있다. 일 실시 예에 의하면 전자 장치(1000)는 합성된 이미지들 중 최대 크기의 합성 이미지들의 크기에 기초하여 가상 이미지 영역의 크기를 설정할 수도 있다. 전자 장치(1000)는 균일화된 복수의 합성 이미지들을 상기 미리 설정된 가상 이미지 영역에 배치하고, 가상 이미지 영역에 배치된 복수의 합성 이미지들 중 적어도 일부가 포함되도록 가상 이미지 영역을 무작위로 크로핑(cropping)함으로써 증강 학습 이미지를 생성할 수 있다.
일 실시 예에 의하면, 전자 장치(1000)는 균일화된 크기의 합성 이미지들을 가상 이미지 영역 상에 배치하고, 가상 이미지 영역에 배치된 복수의 합성 이미지들 중 적어도 일부가 포함되도록, 가상 이미지 영역을 무작위로 크로핑한 후, 크로핑 영역이 나타내는 위치의 이미지 데이터들을 필터링하며, 필터링된 이미지 데이터에 기초하여 증강 학습 이미지를 생성할 수도 있다. 일 실시 예에 의하면, 전자 장치(1000)는 미리 설정된 크기의 가상 이미지 영역 상에, 균일화된 합성 이미지들을 무작위로 배치할 수 도 있다. 전자 장치(1000)가 가상 이미지 영역을 이용하여 합성 이미지들을 배치하고, 배치된 합성 이미지들 중 적어도 일부를 포함하도록 가상 이미지 영역을 크로핑하는 방법은 후술하는 도 4를 참조하여 더 구체적으로 설명하기로 한다.
S350에서, 전자 장치(1000)는 가상 이미지 영역을 무작위로 크로핑함으로써 생성된 증강 학습 이미지들의 데이터 포맷을 기 설정된 포맷으로 변환하고, 변환된 포맷의 증강 학습 이미지들을 저장할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 생성된 증강 학습 이미지를 PASCAL VOC Format(X1, Y1, X2, Y2/X1, Y1, Width, Height) 형식으로 저장할 수 있다. 또한, 전자 장치(1000)는 생성된 증강 학습 이미지에 포함된 상품 이미지에 대응되는 상품의 레이블링 정보, 상품 이미지가 매대 이미지 상에서 위치하는 위치 정보 등을 함께 저장할 수도 있다.
또 다른 실시 예에 의하면, 전자 장치(1000)는 S330단계에서, 소정의 마스크 이미지 데이터를 상품 이미지에 적용하고, 마스크 이미지 데이터가 적용된 상품 이미지 및 적어도 하나의 매대 이미지를 합성함으로써 복수의 합성 이미지들을 생성할 수도 있다.
도 4는 일 실시 예에 따라, 인공 지능 모델을 학습시키기 위한 증강 학습 이미지를 생성하는 과정을 설명하기 위한 도면이다.
도 4를 참조하여 전자 장치(1000)가 가상 이미지 영역을 설정하고, 설정된 가상 이미지 영역에 합성 이미지들을 배치함으로써 증강 학습 이미지를 생성하는 구체적인 과정을 설명하기로 한다. 전자 장치(1000)는 적어도 하나의 매대 이미지 및 적어도 하나의 상품 이미지를 합성함으로써 생성된 합성 이미지의 크기에 기초하여 결정되는 크기의 가상 이미지 영역(401)을 설정할 수 있다. 전자 장치(1000)는 적어도 하나의 매대 이미지(402, 404, 406, 408, 410) 및 적어도 하나의 상품 이미지(412, 414, 416, 418, 422, 424)들을 합성함으로써, 합성 이미지들을 생성할 수 있다.
일 실시 예에 의하면, 합성 이미지는 매대 이미지(404) 및 상품 이미지(412, 414)를 합성함으로써 생성된 합성 이미지(442), 매대 이미지(408) 및 상품 이미지(422, 424)를 합성함으로써 생성된 합성 이미지(408) 또는 매대 이미지(410) 및 상품 이미지(426, 428)를 합성함으로써 생성된 합성 이미지(446)를 포함할 수 있다. 그러나 또 다른 실시 예에 의하면, 합성 이미지는 상품 이미지가 포함되지 않은 합성 이미지(402, 406)를 포함할 수도 있다.
일 실시 예에 의하면, 전자 장치(1000)는, 매대 이미지에 포함된 상품이 진열될 영역의 형태 정보에 기초하여, 적어도 하나의 매대 이미지 및 적어도 하나의 상품 이미지를 적어도 하나의 매대 이미지에 무작위로 합성함으로써 합성 이미지를 생성하고, 생성된 합성 이미지를 가상 이미지 영역(401)에 무작위로 배치할 수 있다. 전자 장치(1000)는 가상 이미지 영역에 배치된 복수의 합성 이미지들 중 적어도 일부를 포함하도록 가상 이미지 영역을 무작위로 크로핑함으로써 크로핑 이미지들(432, 434, 436)을 생성할 수 있다.
따라서, 전자 장치(1000)가 생성한 크로핑 이미지들(432, 434, 436)은 매대 이미지의 일 부분, 상품 이미지의 일부분, 매대 이미지 및 상품 이미지가 포함되지 않은 가상 이미지 영역의 일부분을 포함할 수 있다. 전자 장치(1000)는 생성된 크로핑 이미지들을 이용하여 증강 학습 이미지들을 생성할 수 있다. 일 실시 예에 의하면, 전자 장치(1000)는 크로핑 이미지들(432, 434, 436)이 위치하는 영역의 경계를 식별하고, 식별된 경계 내 이미지 데이터를 추출함으로써 증강 학습 이미지를 생성할 수 있다.
도 5는 일 실시 예에 따라 생성된 증강 학습 이미지를 설명하기 위한 도면이다.
도 5를 참조하면, 가상 이미지 영역 내 합성 이미지들의 적어도 일부를 포함하도록 무작위로 가상 이미지 영역의 일부를 크로핑함으로써 생성된 증강 학습 이미지(501)가 도시된다. 증강 학습 이미지(501)는 가상 이미지 영역 내 배치된 합성 이미지들의 적어도 일부분을 포함하는 합성 이미지들(502, 506) 및 합성 이미지들이 배치되지 않은 가상 이미지의 빈 공간 영역 중 일부 영역(504)이 도시된다. 전체 가상 이미지 영역 내 배치된 합성 이미지들의 일부분을 포함하는 합성 이미지들(502, 506)을 참조하면, 상품 이미지들(506, 508)등이 합성됨으로써 조합된 것을 관측할 수 있다.
도 6은 또 다른 실시 예에 따라 생성된 증강 학습 이미지를 설명하기 위한 도면이다.
도 6을 참조하면, 가상 이미지 영역 내 합성 이미지들의 적어도 일부를 포함하도록 무작위로 가상 이미지 영역의 일부를 크로핑함으로써 생성된 증강 학습 이미지(511)가 도시된다. 도 6의 증강 학습 이미지 내 합성 이미지들의 배치가 도 5의 증강 학습 이미지와 다르게 배치된 것을 관측할 수 있다.
증강 학습 이미지(511)는 가상 이미지 영역 내 배치된 합성 이미지들의 적어도 일부를 포함하는 합성 이미지들(512, 514) 및 합성 이미지들이 배치되지 않은 전체 가상 이미지 영역 내 빈 공간 영역 중 일부 영역(513)이 도시된다. 전체 가상 이미지 영역 내 배치된 합성 이미지들의 일부분을 포함하는 합성 이미지들(512, 514)은, 초코 우유, 딸기 우유와 같은 상품 이미지들(516, 518)을 포함할 수 있다.
도 7은 일 실시 예에 따른 증강 학습 이미지를 레이블링함으로써 생성되는 라벨링 이미지를 설명하기 위한 도면이다.
일 실시 예에 의하면, 전자 장치(1000)가 이용하는 인공 지능 모델은 도 5 내지 6에 도시된 증강 학습 이미지 및 도 7에 도시된 라벨링 이미지에 기초하여 학습될 수 있다. 일 실시 예에 의하면, 라벨링 이미지(701)는 도 5 내지 6에서 생성된 학습 이미지에 더하여, 각 상품에 대한 레이블 정보에 대응되는 라벨 이미지를 포함할 수 있다. 예를 들어, 라벨링 이미지(701)는 라벨 이미지(702, 704, 706, 708)을 포함할 수 있다. 일 실시 예에 의하면, 라벨 이미지 각각은 상품의 종류 또는 위치 중 적어도 하나에 대한 레이블 정보를 포함할 수 있다.
일 실시 예에 의하면, 전자 장치(1000)는 사용자 입력에 기초하여, 상품에 대한 레이블 정보를 획득하고, 획득된 레이블 정보를 이용하여 라벨링 이미지를 생성할 수 있다. 그러나, 또 다른 실시 예에 의하면, 전자 장치(1000)는 상품 식별을 위한 인공 지능 모델과 다른 인공 지능 모델을 이용하여, 생성된 증강 학습 이미지 상에 라벨링 이미지를 추가할 수도 있다. 또 다른 실시 예에 의하면, 전자 장치(1000)는 전자 장치와 연결된 다른 디바이스 또는 서버로부터 라벨링 이미지를 획득할 수도 있다.
도 8은 또 다른 실시 예에 따라 증강 학습 이미지를 레이블링함으로써 생성되는 라벨링 이미지를 설명하기 위한 도면이다.
도 8을 참조하면, 전자 장치(1000)가 이용하는 다른 라벨링 이미지가 도시된다. 일 실시 예에 의하면, 라벨링 이미지(721)는 도 7에서 상술한 바와 같이, 매대 이미지, 상기 매대 이미지에 합성된 상품 이미지, 가상 이미지 영역 내 빈 공간 영역에 대한 이미지 들 중 일부를 포함할 수 있고, 여기에 더하여, 상품 이미지 내 상품에 관한 레이블 정보가 저장되는 라벨링 이미지를 더 포함할 수 있다. 전자 장치(1000)는 도 7 내지 도 8에 도시된 라벨링 이미지에 기초하여, 증강 학습 이미지에 기초하여 학습된 인공 지능 모델의 출력 값으로부터 획득된 손실 또는 코스트가 최소화되도록, 인공 지능 모델을 학습 시킬 수 있다.
도 9는 일 실시 예에 따라 증강 학습 이미지 및 라벨링 이미지에 기초하여 인공 지능 모델을 학습시키는 과정을 설명하기 위한 도면이다.
일 실시 예에 의하면, 전자 장치(1000)는 증강 학습 이미지(902) 및 라벨링 이미지가 나타내는 라벨링 데이터에 기초하여 인공 지능 모델(912)을 학습 시킬 수 있다. 라벨링 데이터는 라벨링 이미지 상 인식될 수 있는 상품의 종류에 관한 정보를 포함할 수 있다. 보다 상세하게는, 전자 장치(1000)는 증강 학습 이미지에 기초하여 인공 지능 모델을 학습 시키고, 학습된 인공 지능 모델로부터 출력된 출력 값 및 라벨링 이미지에 대응되는 라벨링 데이터를 인공 지능 모델에 입력함으로써 출력되는 출력 값과의 손실(loss) 또는 코스트(cost) 값을 획득하며, 획득된 손실 또는 코스트가 감소 또는 최소화되도록, 인공 지능 모델(912)을 학습시킬 수 있다. 일 실시 예에 의하면, 전자 장치(1000)가 인공 지능 모델을 학습 시키는 과정은, 인공 지능 모델 내 복수의 노드, 복수의 노드를 포함하는 레이어들 및 상기 레이어들의 연결 강도에 관한 가중치들(914)을 수정 및 갱신하는 과정에 대응될 수 있다.
도 10은 일 실시 예에 따른 전자 장치의 블록도이다.
도 11은 또 다른 실시 예에 따른 전자 장치의 블록도이다.
일 실시 예에 의하면, 전자 장치(1000)는 프로세서(1300) 및 메모리(1700)를 포함할 수 있다. 그러나 도시된 구성 요소가 모두 필수 구성요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있고, 그 보다 적은 구성 요소에 의해서도 전자 장치(1000)가 구현될 수도 있다. 예를 들어, 도 11에서 도시된 바와 같이, 일 실시 예에 따른 전자 장치(1000)는 프로세서(1300) 및 메모리(1700)외에, 사용자 입력 인터페이스(1100), 출력부(1200), 센싱부(1400), 네트워크 인터페이스(1500)및 A/V 입력부(1600)를 더 포함할 수도 있다.
일 실시 예에 의하면, 사용자 입력 인터페이스(1100)는, 사용자가 전자 장치(1000)를 제어하기 위한 시퀀스를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력 인터페이스(1100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다. 사용자 입력 인터페이스(1100)는 전자 장치(1000)가 디스플레이 상에 출력한 화면에 대한 사용자의 입력 시퀀스를 수신할 수 있다. 또한, 사용자 입력 인터페이스(1100)는 디스플레이를 터치하는 사용자의 터치 입력 또는 디스플레이상 그래픽 사용자 인터페이스를 통한 키 입력을 수신할 수도 있다.
출력부(1200)는, 오디오 신호 또는 비디오 신호의 출력을 위한 것으로, 이에는 디스플레이부(1210), 음향 출력부(1220) 등이 포함될 수 있다. 예를 들어, 디스플레이부(1210)는 전자 장치(1000)가 획득한 상품 진열 이미지 상에서 인식되는 상품에 대한 인식 결과를 출력할 수도 있다. 또 다른 실시 예에 의하면, 디스플레이부(1210)는 전자 장치(1000)가 생성한 증강 학습 이미지 또는 라벨링 이미지를 표시할 수도 있다.
음향 출력부(1220)는 통신부(1500)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1220)는 전자 장치(1000)에서 수행되는 기능과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(1220)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
센싱부(1400)는, 지자기 센서(Magnetic sensor)(1410), 가속도 센서(Acceleration sensor)(1420), 온/습도 센서(1430), 적외선 센서(1440), 자이로스코프 센서(1450), 위치 센서(예컨대, GPS)(1460), 기압 센서(1470), 근접 센서(1480), 및 RGB 센서(illuminance sensor)(1490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
프로세서(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 사용자 입력 인터페이스(1100), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1600), 및 메모리(1700) 등을 전반적으로 제어할 수 있다. 또한, 프로세서(1300)는 하나 또는 복수의 프로세서로 구성될 수 있고, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서일 수 있다. 일 실시 예에 의하면, 프로세서(1300)가 복수의 프로세서 또는 그래픽 전용 프로세서로 구현될 때, 복수의 프로세서 또는 그래픽 전용 프로세서 중 적어도 일부는 전자 장치(1000) 및 전자 장치(1000)와 연결된 다른 전자 장치 또는 서버에 탑재될 수도 있다.
일 실시 예에 의하면, 프로세서(1300)는 상기 하나 이상의 인스트럭션을 실행함으로써, 상기 매대 및 상기 매대 상에 진열된 상품을 촬영함으로써 획득되는 상품 진열 이미지를 획득하고, 상기 획득된 상품 진열 이미지를, 상기 상품이 진열될 영역을 포함하는 적어도 하나의 매대 이미지 및 상기 적어도 하나의 매대 이미지에 조합 가능한 적어도 하나의 상품 이미지를 합성함으로써 생성된 증강 학습 이미지에 기초하여 학습되는 인공 지능 모델에 입력함으로써, 상기 상품 진열 이미지에 포함된 상품을 식별할 수 있다.
일 실시 예에 의하면, 프로세서(1300)는 상품 진열 이미지에 포함된 상품의 종류를 식별하고, 상기 상품 진열 이미지에 포함된 상품의 위치 정보를 식별함으로써, 상기 상품 진열 이미지에 포함된 상품을 식별할 수 있다.
일 실시 예에 의하면, 프로세서(1300)는 상기 적어도 하나의 매대 이미지에 포함된 상기 상품이 진열될 영역의 형태 정보에 기초하여, 상기 적어도 하나의 상품 이미지의 크기를 조정하고, 상기 크기가 조정된 상품 이미지 및 상기 적어도 하나의 매대 이미지를 합성함으로써 증강 학습 이미지를 생성하며, 생성된 증강 학습 이미지에 기초하여 인공 지능 모델을 학습시킬 수 있다.
일 실시 예에 의하면, 프로세서(1300)는 상기 크기가 조정된 적어도 하나의 상품 이미지에 소정의 이미지 필터를 적용함으로써 노이즈를 추가하고, 상기 노이즈가 추가된 적어도 하나의 상품 이미지 및 상기 적어도 하나의 매대 이미지를 합성함으로써 증강 학습 이미지를 생성하며, 생성된 증강 학습 이미지에 기초하여 인공 지능 모델을 학습 시킬 수도 있다.
일 실시 예에 의하면, 프로세서(1300)는 상기 적어도 하나의 매대 이미지에 포함된 상기 상품이 진열될 영역의 형태 정보에 기초하여, 상기 적어도 하나의 상품 이미지를 상기 적어도 하나의 매대 이미지 상에 무작위로 합성할 수 있다.
일 실시 예에 의하면, 프로세서(1300)는 상기 적어도 하나의 매대 이미지에 포함된 픽셀의 색상 값 및 상기 적어도 하나의 상품 이미지에 포함된 픽셀의 색상 값 사이의 색상 비율이, 기 설정된 색상 비를 가지도록 합성할 수 있다.
일 실시 예에 의하면, 프로세서(1300)는 상기 적어도 하나의 매대 이미지 및 상기 적어도 하나의 상품 이미지를 합성함으로써 생성된 복수의 합성 이미지들의 크기를 균일화하고, 상기 크기가 균일화된 복수의 합성 이미지들을 상기 매대 이미지의 크기에 기초하여 미리 정의되는 크기의 가상 이미지 영역에 배치하며, 상기 가상 이미지 영역에 배치된 복수의 합성 이미지들 중 적어도 일부를 포함하도록 상기 가상 이미지 영역을 무작위로 크로핑(cropping)함으로써 증강 학습 이미지를 생성할 수 있다.
일 실시 예에 의하면, 전자 장치(1000)는 전자 장치(1000)가 다른 장치(미도시) 및 서버(2000)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 장치(미도시)는 전자 장치(1000)와 같은 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 제한되지 않는다. 예를 들어, 네트워크 인터페이스(1500)는 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(1510)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. 방송 수신부(1530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(1000)가 방송 수신부(1530)를 포함하지 않을 수도 있다.
일 실시 예에 의하면, 네트워크 인터페이스(1500)는 전자 장치(1000)와 연결된 외부 디바이스로부터 상품 진열 이미지를 획득할 수 있다. 또 다른 실시 예에 의하면, 네트워크 인터페이스(1500)는 기타 디바이스 또는 서버에 의해 학습된 인공 지능 모델에 대한 정보를 수신할 수도 있다. 또한, 일 실시 예에 의하면, 네트워크 인터페이스(1500)는 전자 장치(1000)에서 식별된 상품 진열 이미지상 상품 인식 결과에 대한 정보를, 서버 또는 전자 장치와 연결된 기타 디바이스로 송신할 수도 있다. 또 다른 실시 예에 의하면, 네트워크 인터페이스(15000)는 전자 장치(1000)가 증강 학습 이미지 및 라벨링 이미지에 기초하여 학습 시킨 인공 지능 모델에 대한 정보를, 서버 또는 전자 장치와 연결된 기타 디바이스로 전송할 수도 있다.
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. 카메라(1610)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해, 매대 또는 상품이 진열된 가게 내부를 촬영함으로써 상품 진열 이미지 또는 상품 진열 영상을 획득할 수 있다. 일 실시 예에 의하면, 카메라 모듈(1610)은 상품 또는 매대에 관한 정지 영상 또는 동영상 등의 화상 프레임을 얻을 수도 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
마이크로폰(1620)은, 외부 디바이스 또는 사용자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1620)은 사용자의 음성 입력을 수신할 수 있다. 마이크로폰(1620)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(1700)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되거나 전자 장치(1000)로부터 출력되는 데이터를 저장할 수도 있다. 또한, 메모리(1700)는 전자 장치(1000)가 상품 인식을 위해 획득하는 상품 진열 이미지, 상품 진열 이미지에 대한 이미지 분석을 위해 이용하는 인공 지능 모델, 상기 인공 지능 모델을 학습 시키기 위한 증강 학습 이미지 또는 라벨링 이미지에 대한 정보를 저장 할 수 있다. 또한, 일 실시 예예 의하면, 메모리(1700)는 상기 인공 지능 모델을 학습 시키기 위한 각종 인공 지능 학습 알고리즘에 대한 인스트럭션을 더 저장할 수도 있다.
또한, 메모리(1700)는 전자 장치가 이용하는 인공 지능 모델이 인공 신경망 모델인 경우, 인공 신경망 모델을 구성하는 레이어들 및 레이어들 간의 가중치에 관한 정보를 더 저장할 수 있다. 또한, 메모리(1700)는 학습된 신경망뿐만 아니라, 획득된 입력값에 기초하여 이미 생성된 신경망에 기초한 모델들이 수정되는 경우, 수정된 모델들의 레이어들, 레이어들 간의 가중치에 관한 정보를 더 저장할 수 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1710), 터치 스크린 모듈(1720), 알림 모듈(1730) 등으로 분류될 수 있다.
UI 모듈(1710)은, 애플리케이션 별로 전자 장치(1000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(1720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(1300)로 전달할 수 있다. 일부 실시 예에 따른 터치 스크린 모듈(1720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(1720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
알림 모듈(1730)은 전자 장치(1000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 전자 장치(1000)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(1730)은 디스플레이부(1210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(1220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(1230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
도 12는 일 실시 예에 따른 전자 장치와 연동되는 서버의 블록도이다.
서버(2000)는 네트워크 인터페이스(2100), 데이터 베이스(2200) 및 프로세서(2300)를 포함할 수 있다. 네트워크 인터페이스(2100)는 도 10 내지 도 11에 도시된 전자 장치(1000)의 네트워크 인터페이스(1500)에 대응될 수 있다. 예를 들어, 네트워크 인터페이스(2100)는 전자 장치(1000)로부터 전자 장치(1000)가 획득한 상품 진열 이미지, 전자 장치가 인공 지능 모델을 이용하여 상품 진열 이미지에 대하여 수행한 결과로써, 상품 인식 결과에 대한 정보를 수신할 수도 있다. 또 다른 실시 예에 의하면, 네트워크 인터페이스(2100)는 전자 장치(1000)로부터, 전자 장치가 학습 시킨 인공 지능 모델에 대한 정보를 더 수신할 수도 있다. 또 다른 실시 예에 의하면, 네트워크 인터페이스(2100)는 상품 진열 이미지 또는 서버 자체에서 학습 시킨 인공 지능 모델에 대한 정보를 전자 장치(1000)로 전송할 수도 있다.
데이터 베이스(2200)는 도 10 내지 도 11에 도시된 전자 장치(1000)의 메모리(1700)에 대응될 수 있다. 예를 들어, 데이터 베이스(2200)는 전자 장치(1000)로부터 수신된 학습 데이터, 상기 학습 데이터에 기초하여 학습되는 학습 모델에 대한 정보(예컨대 신경망 모델 레이어들 및 상기 레이어들의 연결 강도에 관한 가중치 값들)들을 저장할 수도 있다.
프로세서(2300)는 통상적으로 서버(2000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(2300)는, 서버(2000)의 DB(2200)에 저장된 프로그램들을 실행함으로써, DB(2200) 및 네트워크 인터페이스(2100) 등을 전반적으로 제어할 수 있다. 또한, 프로세서(2300)는 DB(2100)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도11에서의 전자 장치(1000)의 동작의 일부를 수행할 수 있다. 예를 들어, 프로세서(2300)는 전자 장치 (1000)로부터 수신된 증강 학습 이미지 또는 라벨링 이미지에 기초하여, 인공 지능 모델을 학습 시키고, 학습된 인공 지능 모델을 이용하여 전자 장치로부터 수신된 상품 진열 이미지를 분석함으로써, 상품 진열 이미지상 상품을 식별할 수 있다. 또 다른 실시 예에 의하면, 프로세서(2300)는 상품 이미지 및 매대 이미지를 획득하고, 획득된 상품 이미지 및 매대 이미지에 대한 도 1 내지 도 11의 전자 장치의 기능을 대신 수행함으로써, 증강 학습 이미지들을 생성할 수도 있다.
일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 개시를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
또한, 상기 일 실시 예에 다른 방법을 수행하도록 하는 프로그램이 저장된 기록매체를 포함하는 컴퓨터 프로그램 장치가 제공될 수 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 개시의 실시예에 대하여 상세하게 설명하였지만 본 개시의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 개시의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 개시의 권리범위에 속한다.

Claims (20)

  1. 카메라, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하는 전자 장치가 매대에 진열된 상품을 식별하는 방법에 있어서,
    상기 하나 이상의 인스트럭션을 수행하는 프로세서가 상기 카메라를 통하여 매대 및 상기 매대 상에 진열된 상품을 촬영함으로써 획득되는 상품 진열 이미지를 획득하는 단계; 및
    상기 프로세서가 획득된 상품 진열 이미지를, 상품이 진열될 영역을 포함하는 적어도 하나의 매대 이미지 및 상기 적어도 하나의 매대 이미지에 조합 가능한 적어도 하나의 상품 이미지를 합성함으로써 생성된 증강 학습 이미지에 기초하여 학습되는 인공 지능 모델에 입력함으로써, 상기 상품 진열 이미지에 포함된 상품을 식별하는 단계; 를 포함하고,
    상기 증강 학습 이미지는 상기 적어도 하나의 매대 이미지 및 상기 조합 가능한 적어도 하나의 상품 이미지를 합성함으로써 생성된 합성 이미지를 가상 이미지 영역에 배치 후, 상기 가상 이미지 영역 중 적어도 일부를 크로핑함으로써 생성되고,
    상기 증강 학습 이미지는 상기 적어도 하나의 매대 이미지에 포함된 픽셀의 색상 값 및 상기 조합 가능한 적어도 하나의 상품 이미지에 포함된 픽셀의 색상 값 사이의 색상 비율이 기 설정된 색상 비를 가지는 것을 특징으로 하는, 방법.
  2. 제1항에 있어서, 상기 상품 진열 이미지에 포함된 상품을 식별하는 단계는
    상기 상품 진열 이미지에 포함된 상품의 종류를 식별하는 단계; 및
    상기 상품 진열 이미지에 포함된 상품의 위치 정보를 식별하는 단계; 를 포함하는, 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 매대 이미지는 상기 상품이 진열될 영역을 정의하는 픽셀의 위치 정보를 포함하고, 상기 상품 이미지는 상기 상품 이미지가 나타내는 상품의 종류에 관한 레이블 정보를 포함하는 것을 특징으로 하는, 방법.
  4. 제1항에 있어서, 상기 인공 지능 모델은
    상기 적어도 하나의 매대 이미지에 포함된 상기 상품이 진열될 영역의 형태 정보에 기초하여, 상기 적어도 하나의 상품 이미지의 크기를 조정하고, 상기 크기가 조정된 상품 이미지 및 상기 적어도 하나의 매대 이미지를 합성함으로써 생성되는 증강 학습 이미지에 기초하여 학습되는 것인, 방법.
  5. 제4항에 있어서, 상기 인공 지능 모델은
    상기 크기가 조정된 적어도 하나의 상품 이미지에 소정의 이미지 필터를 적용함으로써 노이즈를 추가하고, 상기 노이즈가 추가된 적어도 하나의 상품 이미지 및 상기 적어도 하나의 매대 이미지를 합성함으로써 생성되는 증강 학습 이미지에 기초하여 학습되는 것인, 방법.
  6. 제1항에 있어서, 상기 적어도 하나의 매대 이미지 및 상기 적어도 하나의 상품 이미지를 합성하는 것은,
    상기 적어도 하나의 매대 이미지에 포함된 상기 상품이 진열될 영역의 형태 정보에 기초하여, 상기 적어도 하나의 상품 이미지를 상기 적어도 하나의 매대 이미지 상에 무작위로 합성하는 것을 특징으로 하는, 방법.
  7. 삭제
  8. 제1항에 있어서, 상기 증강 학습 이미지는
    상기 적어도 하나의 매대 이미지 및 상기 적어도 하나의 상품 이미지를 합성함으로써 생성된 복수의 합성 이미지들의 크기를 균일화하고, 상기 크기가 균일화된 복수의 합성 이미지들을 상기 매대 이미지의 크기에 기초하여 미리 정의되는 크기의 가상 이미지 영역에 배치하며, 상기 가상 이미지 영역에 배치된 복수의 합성 이미지들 중 적어도 일부를 포함하도록 상기 가상 이미지 영역을 무작위로 크로핑(cropping)함으로써 생성되는 것을 특징으로 하는, 방법.
  9. 제8항에 있어서, 상기 인공 지능 모델은
    상기 가상 이미지 영역을 무작위로 크로핑함으로써 생성된 증강 학습 이미지들의 데이터 포맷을 기 설정된 포맷으로 변환하고, 상기 포맷이 변환된 증강 학습 이미지들에 기초하여, 학습되는 것을 특징으로 하는, 방법.
  10. 제8항에 있어서, 상기 복수의 합성 이미지들은,
    소정의 마스크 이미지 데이터를 상기 상품 이미지에 적용하고, 상기 마스크 이미지 데이터가 적용된 상품 이미지 및 상기 매대 이미지를 합성함으로써 생성되는 것을 특징으로 하는, 방법.
  11. 제4항에 있어서, 상기 상품이 진열될 영역의 형태 정보는,
    상기 적어도 하나의 매대 이미지에 포함된 상기 상품이 진열될 영역의 크기 또는 상기 상품이 진열될 영역을 구성하는 변의 길이 비 중 적어도 하나를 포함하는 것을 특징으로 하는, 방법.
  12. 매대에 진열된 상품을 식별하는 전자 장치에 있어서,
    하나 이상의 인스트럭션을 저장하는 메모리; 및
    적어도 하나의 프로세서; 를 포함하고,
    상기 적어도 하나의 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
    상기 매대 및 상기 매대 상에 진열된 상품을 촬영함으로써 획득되는 상품 진열 이미지를 획득하고,
    상기 획득된 상품 진열 이미지를, 상품이 진열될 영역을 포함하는 적어도 하나의 매대 이미지 및 상기 적어도 하나의 매대 이미지에 조합 가능한 적어도 하나의 상품 이미지를 합성함으로써 생성된 증강 학습 이미지에 기초하여 학습되는 인공 지능 모델에 입력함으로써, 상기 상품 진열 이미지에 포함된 상품을 식별하고,
    상기 증강 학습 이미지는 상기 적어도 하나의 매대 이미지 및 상기 조합 가능한 적어도 하나의 상품 이미지를 합성함으로써 생성된 합성 이미지를 가상 이미지 영역에 배치 후, 상기 가상 이미지 영역 중 적어도 일부를 크로핑함으로써 생성되고,
    상기 증강 학습 이미지는 상기 적어도 하나의 매대 이미지에 포함된 픽셀의 색상 값 및 상기 조합 가능한 적어도 하나의 상품 이미지에 포함된 픽셀의 색상 값 사이의 색상 비율이 기 설정된 색상 비를 가지는 것을 특징으로 하는, 전자 장치.
  13. 제12항에 있어서, 상기 적어도 하나의 프로세서는
    상기 상품 진열 이미지에 포함된 상품의 종류를 식별하고, 상기 상품 진열 이미지에 포함된 상품의 위치 정보를 식별함으로써, 상기 상품 진열 이미지에 포함된 상품을 식별하는 것을 특징으로 하는, 전자 장치.
  14. 제12항에 있어서, 상기 적어도 하나의 매대 이미지는 상기 상품이 진열될 영역을 정의하는 픽셀의 위치 정보를 포함하고, 상기 상품 이미지는 상기 상품 이미지가 나타내는 상품의 종류에 관한 레이블 정보를 포함하는 것을 특징으로 하는, 전자 장치.
  15. 제12항에 있어서, 상기 인공 지능 모델은
    상기 적어도 하나의 매대 이미지에 포함된 상기 상품이 진열될 영역의 형태 정보에 기초하여, 상기 적어도 하나의 상품 이미지의 크기를 조정하고, 상기 크기가 조정된 상품 이미지 및 상기 적어도 하나의 매대 이미지를 합성함으로써 생성되는 증강 학습 이미지에 기초하여 학습되는 것인, 전자 장치.
  16. 제15항에 있어서, 상기 인공 지능 모델은
    상기 크기가 조정된 적어도 하나의 상품 이미지에 소정의 이미지 필터를 적용함으로써 노이즈를 추가하고, 상기 노이즈가 추가된 적어도 하나의 상품 이미지 및 상기 적어도 하나의 매대 이미지를 합성함으로써 생성되는 증강 학습 이미지에 기초하여 학습되는 것인, 전자 장치.
  17. 제12항에 있어서, 상기 적어도 하나의 매대 이미지 및 상기 적어도 하나의 상품 이미지를 합성하는 것은,
    상기 적어도 하나의 매대 이미지에 포함된 상기 상품이 진열될 영역의 형태 정보에 기초하여, 상기 적어도 하나의 상품 이미지를 상기 적어도 하나의 매대 이미지 상에 무작위로 합성하는 것인, 전자 장치.
  18. 삭제
  19. 제12항에 있어서, 상기 증강 학습 이미지는
    상기 적어도 하나의 매대 이미지 및 상기 적어도 하나의 상품 이미지를 합성함으로써 생성된 복수의 합성 이미지들의 크기를 균일화하고, 상기 크기가 균일화된 복수의 합성 이미지들을 상기 매대 이미지의 크기에 기초하여 미리 정의되는 크기의 가상 이미지 영역에 배치하며, 상기 가상 이미지 영역에 배치된 복수의 합성 이미지들 중 적어도 일부를 포함하도록 상기 가상 이미지 영역을 무작위로 크로핑(cropping)함으로써 생성되는 것을 특징으로 하는, 전자 장치.
  20. 매대 및 상기 매대 상에 진열된 상품을 촬영함으로써 획득되는 상품 진열 이미지를 획득하는 단계; 및
    상기 획득된 상품 진열 이미지를, 상품이 진열될 영역을 포함하는 적어도 하나의 매대 이미지 및 상기 적어도 하나의 매대 이미지에 조합 가능한 적어도 하나의 상품 이미지를 합성함으로써 생성된 증강 학습 이미지에 기초하여 학습되는 인공 지능 모델에 입력함으로써, 상기 상품 진열 이미지에 포함된 상품을 식별하는 단계; 를 포함하고,
    상기 증강 학습 이미지는 상기 적어도 하나의 매대 이미지 및 상기 조합 가능한 적어도 하나의 상품 이미지를 합성함으로써 생성된 합성 이미지를 가상 이미지 영역에 배치 후, 상기 가상 이미지 영역 중 적어도 일부를 크로핑함으로써 생성되고,
    상기 증강 학습 이미지는 상기 적어도 하나의 매대 이미지에 포함된 픽셀의 색상 값 및 상기 조합 가능한 적어도 하나의 상품 이미지에 포함된 픽셀의 색상 값 사이의 색상 비율이 기 설정된 색상 비를 가지는 것을 특징으로 하는, 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020200103193A 2020-08-18 2020-08-18 매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치 Active KR102215899B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200103193A KR102215899B1 (ko) 2020-08-18 2020-08-18 매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200103193A KR102215899B1 (ko) 2020-08-18 2020-08-18 매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치

Publications (1)

Publication Number Publication Date
KR102215899B1 true KR102215899B1 (ko) 2021-02-16

Family

ID=74687043

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200103193A Active KR102215899B1 (ko) 2020-08-18 2020-08-18 매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치

Country Status (1)

Country Link
KR (1) KR102215899B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230079802A (ko) * 2021-11-29 2023-06-07 주식회사 데이터스튜디오 타임 시리즈 데이터 예측을 위한 학습 이미지를 생성하는 방법 및 장치
EP4290430A4 (en) * 2021-05-10 2025-01-15 Hyundai Motor Company METHOD AND DEVICE FOR DATA EXTENSION IN AN M2M SYSTEM

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101217115B1 (ko) 2010-12-30 2013-01-22 경북대학교 산학협력단 상품재고관리 가능한 진열대 및 이를 이용한 상품 재고 관리 시스템
JP2015210651A (ja) * 2014-04-25 2015-11-24 サントリーシステムテクノロジー株式会社 商品識別システム
KR20200022739A (ko) * 2018-08-23 2020-03-04 삼성전자주식회사 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
KR20200087332A (ko) * 2018-12-28 2020-07-21 주식회사 딥엑스 상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기
KR20200087310A (ko) * 2018-12-28 2020-07-21 소프트온넷(주) 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101217115B1 (ko) 2010-12-30 2013-01-22 경북대학교 산학협력단 상품재고관리 가능한 진열대 및 이를 이용한 상품 재고 관리 시스템
JP2015210651A (ja) * 2014-04-25 2015-11-24 サントリーシステムテクノロジー株式会社 商品識別システム
KR20200022739A (ko) * 2018-08-23 2020-03-04 삼성전자주식회사 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치
KR20200087332A (ko) * 2018-12-28 2020-07-21 주식회사 딥엑스 상품 별 쇼핑 정보 제공 방법 및 이를 수행하는 전자기기
KR20200087310A (ko) * 2018-12-28 2020-07-21 소프트온넷(주) 인공지능 영상판독 딥러닝 학습을 위한 애노테이션 학습데이터 생성과 증강 시스템 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4290430A4 (en) * 2021-05-10 2025-01-15 Hyundai Motor Company METHOD AND DEVICE FOR DATA EXTENSION IN AN M2M SYSTEM
US12598450B2 (en) 2021-05-10 2026-04-07 Hyundai Motor Company Method and device for augmenting data in M2M system
KR20230079802A (ko) * 2021-11-29 2023-06-07 주식회사 데이터스튜디오 타임 시리즈 데이터 예측을 위한 학습 이미지를 생성하는 방법 및 장치
KR102594173B1 (ko) 2021-11-29 2023-11-16 주식회사 데이터스튜디오 타임 시리즈 데이터 예측을 위한 학습 이미지를 생성하는 방법 및 장치

Similar Documents

Publication Publication Date Title
US12217390B2 (en) Method for correcting image by device and device therefor
US11670068B2 (en) Apparatus and method for processing image
US12219208B2 (en) Video playback device and control method thereof
CN114766016B (zh) 用于通过迭代生成增强输出内容的设备、方法和程序
US11042728B2 (en) Electronic apparatus for recognition of a user and operation method thereof
US12406335B2 (en) Image acquisition device and method of controlling the same
US11699213B2 (en) Image-capturing device and method for controlling same
KR102491546B1 (ko) 객체를 인식하는 방법 및 장치
KR20220140673A (ko) 디바이스가 이미지를 보정하는 방법 및 그 디바이스
US20190066158A1 (en) Method and electronic device for providing advertisement
KR102464130B1 (ko) 대상 객체의 크기를 식별하는 방법 및 장치
EP4315325B1 (en) Neural networks for changing characteristics of vocals
KR20200125502A (ko) 이미지 내 객체를 식별하는 신경망 모델을 학습하는 방법 및 장치
KR102215899B1 (ko) 매대에 진열된 상품을 식별하는 방법 및 이를 수행하는 전자 장치
US10997947B2 (en) Electronic device and control method thereof
US20240394837A1 (en) Method for correcting image by device and device therefor
WO2018211602A1 (ja) 学習装置、推定装置、学習方法及びプログラム
KR20230071633A (ko) 영상에서 인지적 노이즈를 제거하는 영상 처리 방법 및 장치
US20250285235A1 (en) Electronic device and operating method of the same
EP4485328A1 (en) Artificial intelligence device for recommending product on basis of product stock within refrigerator and method therefor
HK40028107B (zh) 物品信息显示方法、装置、终端、服务器及可读存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PA0302 Request for accelerated examination

St.27 status event code: A-1-2-D10-D17-exm-PA0302

St.27 status event code: A-1-2-D10-D16-exm-PA0302

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R11 Change to the name of applicant or owner or transfer of ownership requested

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R11-ASN-PN2301 (AS PROVIDED BY THE NATIONAL OFFICE)

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

R14 Transfer of ownership recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R14-ASN-PN2301 (AS PROVIDED BY THE NATIONAL OFFICE)

P14 Amendment of ip right document requested

Free format text: ST27 STATUS EVENT CODE: A-5-5-P10-P14-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P16 Ip right document amended

Free format text: ST27 STATUS EVENT CODE: A-5-5-P10-P16-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P16-X000 Ip right document amended

St.27 status event code: A-5-5-P10-P16-nap-X000

Q16 A copy of ip right certificate issued

Free format text: ST27 STATUS EVENT CODE: A-4-4-Q10-Q16-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

Q16-X000 A copy of ip right certificate issued

St.27 status event code: A-4-4-Q10-Q16-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 6

P14 Amendment of ip right document requested

Free format text: ST27 STATUS EVENT CODE: A-5-5-P10-P14-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000