KR20200037657A - 냉장고, 서버 및 냉장고의 객체 인식 방법 - Google Patents

냉장고, 서버 및 냉장고의 객체 인식 방법 Download PDF

Info

Publication number
KR20200037657A
KR20200037657A KR1020180117133A KR20180117133A KR20200037657A KR 20200037657 A KR20200037657 A KR 20200037657A KR 1020180117133 A KR1020180117133 A KR 1020180117133A KR 20180117133 A KR20180117133 A KR 20180117133A KR 20200037657 A KR20200037657 A KR 20200037657A
Authority
KR
South Korea
Prior art keywords
change
imaging direction
feature points
refrigerator
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180117133A
Other languages
English (en)
Other versions
KR102766407B1 (ko
Inventor
한성주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180117133A priority Critical patent/KR102766407B1/ko
Priority to CN201980064087.XA priority patent/CN112789652B/zh
Priority to US17/268,009 priority patent/US11594019B2/en
Priority to EP19869916.7A priority patent/EP3806033B1/en
Priority to PCT/KR2019/012645 priority patent/WO2020071692A1/ko
Publication of KR20200037657A publication Critical patent/KR20200037657A/ko
Application granted granted Critical
Publication of KR102766407B1 publication Critical patent/KR102766407B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D29/00—Arrangement or mounting of control or safety devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2500/00—Problems to be solved
    • F25D2500/06—Stock management
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
    • F25D—REFRIGERATORS; COLD ROOMS; ICE-BOXES; COOLING OR FREEZING APPARATUS NOT OTHERWISE PROVIDED FOR
    • F25D2700/00—Means for sensing or measuring; Sensors therefor
    • F25D2700/06—Sensors detecting the presence of a product
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Thermal Sciences (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Geometry (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)

Abstract

냉장고의 객체 인식 방법이 개시된다. 개시된 냉장고의 객체 인식 방법은, 냉장고의 저장실을 촬영한 촬영 이미지를 획득하는 단계, 기 저장된 기존 이미지에 비해 상기 촬영 이미지의 변화가 확인되면, 상기 저장실을 촬영한 촬상 장치의 촬상 방향의 변화를 확인하는 단계 및 상기 촬상 방향이 유지된 상태이면 상기 촬영 이미지에 대한 객체 인식 동작을 수행하는 단계를 포함한다.

Description

냉장고, 서버 및 냉장고의 객체 인식 방법{REFRIGERATOR, SERVER AND METHOD FOR RECOGNIZING OBJECT THEREOF}
본 개시는 냉장고, 서버 및 이의 객체 인식 방법에 관한 것으로, 보다 상세하게는 냉장고의 기존 이미지와 현재 촬영된 이미지를 비교하여 촬상 방향의 변화 여부를 확인하는 냉장고, 서버 및 냉장고의 객체 인식 방법에 관한 것이다.
냉장고는 냉매를 이용하는 냉동 사이클(refrigeration cycle)을 통해 먹고 마실 수 있는 음식(또는, 식품, food)을 냉장 보관 또는 냉동 보관 가능한 전자 장치(또는, 가전 장치)이다. 냉장고는 음식뿐만 아니라 약품(medicine), 주류(alcoholic liquor) 또는 화장품(cosmetics)을 보관할 수도 있다.
최근에는 냉장고에 보관된 음식을 관리하기 위해 냉장고의 저장실을 촬영하고 촬영된 이미지를 이용하여 보관된 음식에 대한 객체 인식을 수행하는 방법이 적용되고 있다. 이를 위해 냉장고는 도어의 전면에 부착된 카메라를 이용하여 저장실을 촬영할 수 있다.
그러나 사용자가 냉장고의 도어를 복수 회 여닫음에 따라 도어에 충격이 가해질 수 있고, 이로 인해 도어의 전면에 부착된 카메라의 촬상 방향에 변화가 발생할 수 있다. 촬상 방향이 변화된 상태에서 카메라가 저장실을 촬영하는 경우, 실제 저장실 내 보관된 음식에 변동이 없음에도 불구하고, 기존 이미지와 현재 촬영된 이미지 간에 큰 변화가 발생한 것으로 인식하여 추가적인 객체 인식을 수행할 수 있다. 이 경우, 객체 인식을 수행 시 리소스 사용으로 인한 비용이 발생한다는 점에서, 상술한 추가적인 객체 인식을 수행하는 것은 불필요한 비용이 증가하는 문제점이 있었다.
본 개시의 목적은 냉장고의 기존 이미지와 현재 촬영된 이미지를 비교하여 촬상 방향의 변화 여부를 확인하는 냉장고, 서버 및 냉장고의 객체 인식 방법을 제공하는데 있다.
본 개시의 일 실시 예에 따른 냉장고의 객체 인식 방법은, 상기 냉장고의 저장실을 촬영한 촬영 이미지를 획득하는 단계, 기 저장된 기존 이미지에 비해 상기 촬영 이미지의 변화가 확인되면, 상기 저장실을 촬영한 촬상 장치의 촬상 방향의 변화를 확인하는 단계 및 상기 촬상 방향이 유지된 상태이면 상기 촬영 이미지에 대한 객체 인식 동작을 수행하는 단계를 포함할 수 있다.
한편, 본 개시의 일 실시 예에 따른 냉장고는, 식품을 저장하기 위한 저장실, 상기 저장실을 촬상하기 위한 촬상 장치, 상기 촬상 장치에서 기 촬상한 기존 이미지를 저장하는 메모리 및 상기 촬상 장치를 제어하여 상기 저장실을 촬상하여 촬영 이미지를 획득하고, 상기 기존 이미지에 비해 상기 촬영 이미지의 변화가 확인되면 상기 촬상 장치의 촬상 방향의 변화 여부를 확인하고, 상기 촬상 방향이 유지된 상태이면 상기 촬영 이미지에 대한 객체 인식 동작을 수행하는 프로세서를 포함할 수 있다,
한편, 본 개시의 일 실시 예에 따른 서버는 상기 냉장고로부터 기 수신한 기존 이미지를 저장하는 메모리, 상기 냉장고로부터 상기 냉장고의 저장실을 촬상한 촬영 이미지를 수신하는 통신 장치 및 상기 기존 이미지에 비해 상기 촬영 이미지의 변화가 확인되면 상기 촬영 이미지의 촬상 방향의 변화 여부를 확인하고, 상기 촬상 방향이 유지된 상태이면 상기 촬영 이미지에 대한 객체 인식 동작을 수행하는 프로세서를 포함할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 냉장고의 간단한 구성을 설명하기 위한 블록도,
도 2는 본 개시의 일 실시 예에 따른 냉장고의 구체적인 구성을 도시한 블록도,
도 3은 본 개시의 일 실시 예에 따른 서버의 간단한 구성을 설명하기 위한 블록도,
도 4는 본 개시의 일 실시 예에 따른 서버의 구체적인 구성을 도시한 블록도,
도 5는 본 개시의 일 실시 예에 따른 촬상 방향의 변화가 발생한 예를 도시한 도면,
도 6 내지 도 9는 본 개시의 일 실시 예에 따른 이미지 내 복수의 특징점을 이용한 촬상 방향의 변화 확인 방법의 예를 도시한 도면,
도 10은 본 개시의 일 실시 예에 따른 인공 지능 모델을 이용한 촬상 방향의 변화 확인 방법의 예를 도시한 도면,
도 11은 본 개시의 일 실시 예에 따른 객체 인식 방법을 설명하기 위한 흐름도,
도 12는 본 개시의 일 실시 예에 따른 객체 인식 방법을 구체적으로 설명하기 위한 흐름도,
도 13은 제1 실시 예에 따른 냉장고 및 서버를 이용한 객체 인식 방법을 설명하기 위한 시퀀스도, 그리고,
도 14는 제2 실시 예에 따른 냉장고 및 서버를 이용한 객체 인식 방법을 설명하기 위한 시퀀스도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.
이하에서는 도면을 참조하여 본 개시에 대해 더욱 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따른 냉장고의 간단한 구성을 설명하기 위한 블록도이다.
도 1을 참조하면, 냉장고(100)는 저장실(110), 촬상 장치(120), 메모리(130) 및 프로세서(140)를 포함한다.
저장실(110)은 냉장고(100) 내부에 배치되어 식품을 보관하는 장소이다. 저장실(110)은 대략 섭씨 0 ~ 5도로 유지되어 식품을 냉장 보관하는 냉장실 또는 대략 섭씨 영하 30 ~ 0도로 유지되어 식품을 냉동 보관하는 냉동실로 사용될 수 있다.
저장실(110)은 식품을 출납하도록 전면이 개방되게 마련되고, 개방된 전면은 도어(미도시)에 의해 개폐될 수 있다. 저장실(110)에는 식품을 올려놓을 수 있는 선반 등이 배치될 수 있다.
촬상 장치(120)는 촬상 방향에 대응되는 기설정된 영역에 대한 촬영 이미지를 취득한다. 구체적으로, 촬상 장치(120)는 저장실(110)을 마주보는 도어의 일 측면에 배치되어 저장실(110)을 향하는 촬상 방향을 가질 수 있다. 그리고 촬상 장치(120)는 촬상 방향에 대응되는 저장실(110) 내 기설정된 영역에 대한 촬영 이미지를 취득할 수 있다.
여기서 촬상 방향은 촬상 장치(120)의 렌즈가 향하는 방향이다. 촬상 방향이 변화함에 따라 렌즈를 통해 맺히는 상이 변화할 수 있다. 따라서, 촬상 방향이 변화하면 이에 대응되는 기설정된 영역 또한 변화할 수 있다. 여기서 기설정된 영역이란 촬상 장치(120)가 렌즈를 통해 감지할 수 있는 고유의 감지 영역을 의미한다.
그리고 촬상 장치(120)는 복수 개 구비되어 복수의 촬상 방향 각각에 대응되는 복수의 기설정된 영역 각각의 촬영 이미지를 취득할 수 있다. 구체적으로, 촬상 장치(120)는 저장실(110)을 마주보는 도어의 일측면에 기설정된 간격으로 배치되어 저장실(110) 내 복수의 촬상 방향 각각에 대응되는 복수의 기설정된 영역에 대한 촬영 이미지를 취득할 수 있다.
그리고 촬상 장치(120)는 기설정된 이벤트가 발생 시 기설정된 영역 내의 촬영 이미지를 취득할 수 있다. 여기서 기설정된 이벤트란, 냉장고(100)의 턴-온 이벤트, 기설정된 주기 도달 이벤트 또는 냉장고(100)의 도어의 닫힘 이벤트 등에 해당될 수 있으며, 상술한 예에 한하지 않는다.
메모리(130)는 프로세서(140)의 처리 또는 제어를 위한 프로그램 등 냉장고(100) 전반의 동작을 위한 다양한 데이터를 저장한다. 구체적으로, 메모리(130)는 냉장고(100)에서 구동되는 다수의 응용 프로그램, 냉장고(100)의 동작을 위한 데이터 및 명령어들을 저장할 수 있다.
그리고 메모리(130)는 프로세서(140)에 의해 액세스 되며, 프로세서(140)에 의한 데이터 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 이러한 메모리(130)는 냉장고(100) 내의 저장매체뿐만 아니라, 외부 저장 매체, USB 메모리를 포함한 Removable Disk, 네트워크를 통한 웹서버(Web server) 등으로 구현될 수 있다.
그리고 메모리(130)는 촬상 장치(120)가 촬영한 이미지를 저장할 수 있다. 구체적으로, 메모리(130)는 촬상 장치(120)가 저장실(110)의 내부를 촬영한 이미지를 저장할 수 있다.
프로세서(140)는 냉장고(100) 내의 각 구성에 대해서 제어를 수행한다. 구체적으로, 프로세서(140)는 특정 기능에 대한 명령을 수신하면 해당 기능의 수행과 관련된 구성의 동작을 제어할 수 있다.
그리고 프로세서(140)는 냉장고의 저장실(110) 내에 수용된 식품에 대한 객체 인식을 수행할 수 있다. 구체적으로, 프로세서(140)는 촬상 장치(120)가 촬영한 저장실(110)의 촬영 이미지를 이용하여 객체 인식을 수행할 수 있다. 예를 들어, 프로세서(140)는 촬영 이미지를 분석하여 저장실(110) 내에 수용된 음식의 종류, 음식의 개수, 수용 시점, 유통 기한 정보 등의 확인을 수행할 수 있다.
그러나 프로세서(140)가 촬상 장치(120)에서 촬영된 촬영 이미지 모두에 대하여 객체 인식을 수행하는 경우 상당히 많은 연산량이 요구된다. 따라서 프로세서(140)는 현재 촬영된 촬영 이미지에 대하여 객체 인식을 수행하기에 앞서 각 촬영 이미지에 대하여 객체 인식의 수행의 필요 여부를 결정할 수 있다.
종래에는, 프로세서(140)가 순차적으로 촬영된 촬영 이미지를 비교하고, 촬영 이미지에 변화 영역이 발생한 것을 확인하면 객체의 변화가 발생한 것으로 판단하고 객체 인식을 수행하는 것으로 결정하였다. 또한, 프로세서(140)는 변화 영역이 발생하지 않은 것을 확인하면 객체의 변화가 없는 것으로 판단하여 객체 인식을 수행하지 않는 것으로 결정하였다.
그러나 사용자가 냉장고의 도어를 복수 회 여닫음에 따라 촬상 장치(120)에 충격을 가할 수 있고, 그에 따라 촬상 장치(120)의 촬상 방향이 미세하게 변할 수 있다. 이 경우, 촬상 방향의 변화로 인해 실제 저장실(110) 내 수용된 식품의 변화가 없음에도 불구하고, 촬영된 이미지에 변화 영역이 발생할 수 있다.
즉, 순차적으로 촬영된 이미지 각각에 대한 객체 인식의 결과가 동일하게 산출될 경우에도 불구하고 프로세서(140)는 객체 인식을 수행할 필요성이 있는 것으로 결정하는 문제점이 있었다.
예를 들어, 도 5를 참조하면, 촬상 방향의 변화가 발생한 예를 확인할 수 있다. 구체적으로, 도 5a 및 도 5b의 이미지를 참조하면, 저장실(110) 내에 파인애플, 통조림, 포도 및 사과가 수용되어 있으며, 실제 각 객체의 개수 또는 위치 등이 변화하지 않음을 확인할 수 있다. 따라서, 도 5a에 대한 객체 인식 결과와 도 5b의 객체 인식 결과는 동일할 수 있다.
그러나 도 5b의 촬상 방향은 도 5a의 촬상 방향과 미세하게 상이함을 확인할 수 있다. 예를 들어, 사과를 담는 그릇의 오른쪽 끝부분이 도 5b에서는 촬영되지 않음을 확인할 수 있다. 이와 같이 촬상 방향이 변화한 경우, 도 5a의 각 픽셀과 이에 대응되는 도 5b의 이미지의 각 픽셀을 비교하면 그 값에 차이가 발생하므로, 도 5a 및 도 5b는 서로 상이한 이미지로 판단하여 불필요한 객체 인식을 수행할 수 있다.
이와 같은 문제점을 해결하기 위해, 프로세서(140)는 촬상 방향의 변화 여부를 추가적으로 확인하여 객체 인식의 수행 여부를 결정할 수 있다. 구체적으로, 프로세서(140)는 촬영된 이미지의 객체 움직임 여부 및 촬상 방향의 변화 여부를 모두 확인하여 객체 인식 수행 여부를 결정할 수 있다.
보다 구체적으로, 프로세서(140)는 객체 움직임이 발생하고 촬상 방향 변화도 발생한 경우(①), 객체 움직임은 발생했으나 촬상 방향은 변화하지 않은 경우(②), 객체 움직임은 발생하지 않았으나 촬상 방향은 변화한 경우(③), 그리고 객체 움직임 및 촬상 방향의 변화 모두 발생하지 않은 경우(④) 중에서 각 촬영 이미지가 해당하는 경우를 분석할 수 있다.
그리고 프로세서(140)는 촬영 이미지가 상술한 복수의 경우 중에서 ①, ②에 해당하면 객체 움직임이 발생했으므로 객체 인식을 수행하고, ④에 해당하면 촬영 이미지에 변화가 발생하지 않은 것이므로 객체 인식을 수행하지 않는 것으로 결정할 수 있다. 또한, 프로세서(140)는 ③에 해당하면 실질적으로 객체의 움직임은 발생하지 않은 경우이므로 객체 인식을 수행하지 않는 것으로 결정할 수 있다.
종래에는, 촬영 이미지가 ③의 경우에 해당되더라도 프로세서(140)가 객체 인식을 수행하였으나, 본 개시에서는 ③의 경우에 해당되는 경우 객체 인식을 수행하지 않도록 결정할 수 있는바, 추가적인 객체 인식 수행으로 인한 연산량을 줄일 수 있는 효과를 갖는다. 프로세서(140)의 객체 인식 수행의 필요 여부 결정의 구체적인 동작은 이하에서 설명한다.
먼저, 프로세서(140)는 촬상 장치(120)를 제어하여 촬영 이미지를 획득할 수 있다. 구체적으로, 프로세서(140)는 저장실(110) 내부를 촬영하도록 촬상 장치(120)를 제어하여 촬영 이미지를 획득할 수 있다. 프로세서(140)는 획득한 촬영 이미지를 메모리(130)에 저장할 수 있다.
그리고 프로세서(140)는 획득한 촬영 이미지와 기존 이미지를 비교하여 촬영 이미지의 변화 영역의 발생 유무를 확인할 수 있다. 여기서 기존 이미지란, 촬상 장치(120)가 과거에 저장실(110) 내부를 촬영하여 획득한 촬영 이미지를 의미한다. 또한, 기존 이미지는 과거에 획득된 복수의 촬영 이미지 중 가장 최근에 획득된 것일 수 있다.
구체적으로, 프로세서(140)는 기존 이미지의 각 픽셀 값과 이에 대응되는 촬영 이미지의 각 픽셀 값을 비교하여 픽셀 값 변화 영역을 검출함으로써 촬영 이미지의 변화 영역의 발생 유무를 확인할 수 있다.
만약, 픽셀 값 변화 영역이 검출되지 않은 경우, 기존 이미지 및 촬영 이미지가 동일한 이미지임을 의미한다. 즉, 상술한 4종류의 경우 중 객체 움직임 및 촬상 방향의 변화 모두 발생하지 않은 경우(④)에 해당하는 것을 의미하므로, 프로세서(140)는 촬영 이미지에 대한 객체 인식을 수행하지 않는 것으로 결정할 수 있다.
반면, 픽셀 값 변화 영역이 검출된 경우, 프로세서(140)는 검출된 영역의 크기를 확인하고, 그 크기가 기설정된 크기를 초과하는지 여부에 따라 객체 인식 수행 여부를 결정하거나 추가적으로 촬상 방향의 변화 여부를 확인할 수 있다.
구체적으로, 만약 변화 영역의 크기가 기설정된 크기를 초과하지 않는 경우, 촬영 이미지 중 국소적인 영역에 한해 변화 영역이 발생한 것을 의미한다. 촬상 방향의 변화가 발생한 경우에는 촬영 이미지의 변화 영역의 크기가 국소적인 영역이 아닌 전체적인 영역에서 발생한다는 점에서, 프로세서(140)는 변화 영역의 크기가 기설정된 크기를 초과하지 않는 경우에는 촬상 방향의 변화가 없는 것으로 판단할 수 있고, 발생한 변화 영역은 객체의 움직임에 기한 것으로 판단할 수 있다.
즉, 변화 영역의 크기가 기설정된 크기를 초과하지 않는 경우, 촬영 이미지의 픽셀 값 변화 영역이 실제 객체의 움직임으로부터 기인한 것인바, 촬영 이미지는 상술한 4종류의 경우 중 객체 움직임은 발생했으나 촬상 방향은 변화하지 않은 경우(②)에 해당할 수 있다. 따라서, 프로세서(140)는 촬영 이미지에 대한 객체 인식을 수행하는 것으로 결정할 수 있다.
이와 같이 변화 영역의 크기가 기설정된 크기를 초과하지 않는 경우에는 촬상 방향의 변화 여부의 확인 없이도 객체 인식을 수행하는 것으로 결정할 수 있는바, 연산량을 줄일 수 있는 효과를 갖는다.
반면, 변화 영역의 크기가 기설정된 크기를 초과하는 경우, 실제 객체의 변화가 발생했을 가능성뿐만 아니라, 촬상 방향의 변화가 발생했을 가능성이 존재하는바, 프로세서(140)는 촬상 방향의 변화 여부 확인을 추가적으로 수행할 수 있다.
만약, 촬상 방향이 변화하지 않은 것으로 확인된 경우, 촬영 이미지의 픽셀 값 변화 영역이 실제 객체의 움직임으로부터 기인한 것인바, 실제로 저장실(110) 내 수용된 식품에 대한 변화가 발생한 경우에 해당할 수 있다. 즉, 프로세서(140)는 촬영 이미지가 상술한 4종류의 경우 중 객체 움직임은 발생했으나 촬상 방향은 변화하지 않은 경우(②)에 해당하므로, 촬영 이미지에 대한 객체 인식을 수행하는 것으로 결정할 수 있다.
반면, 촬상 방향이 변화된 것으로 확인된 경우, 프로세서(140)는 객체의 움직임의 발생 여부에 따라 객체 인식의 수행 여부를 결정할 수 있다. 구체적으로, 프로세서(140)는 객체 움직임이 발생하고 촬상 방향 변화도 발생한 경우(①)에는 객체 인식을 수행하는 것으로 결정할 수 있다.
반면, 프로세서(140)는 객체 움직임은 발생하지 않았으나 촬상 방향은 변화한 경우(③)에는 촬영 이미지의 픽셀 값 변화 영역이 실제 저장실(110) 내 수용된 식품에 대한 변화로 인한 것이 아닌 촬상 방향의 변화로 인한 것을 의미하므로 객체 인식을 수행하지 않는 것으로 결정할 수 있다.
한편, 촬상 방향의 변화 및 객체 움직임의 발생 여부를 확인하는 구체적인 설명은 도 6 내지 도 10과 관련하여 후술한다.
이때, 프로세서(140)는 촬영 이미지를 메모리(130)에 저장된 기존 이미지를 대체하여 메모리(130)에 저장하고, 이후 촬영된 촬영 이미지에 대한 객체 인식 수행 여부의 판단 시 비교 대상으로서 활용할 수 있다.
그리고 프로세서(140)는 객체 인식을 수행하기로 결정한 경우, 촬영 이미지를 이용하여 객체 인식을 수행할 수 있다. 프로세서(140)는 객체 인식 결과를 디스플레이를 통해 사용자에게 표시할 수 있다.
반면, 객체 인식을 수행하지 않기로 결정한 경우, 프로세서(140)는 기존 이미지를 이용하여 기 수행된 객체 인식 결과를 다시 사용할 수 있다. 즉, 촬영 이미지와 기존 이미지 간의 변화가 발생하지 않은 것으로 판단하거나 촬상 방향의 변화가 발생한 것으로 판단한 경우에는, 프로세서(140)는 기존 이미지에 대한 객체 인식 결과를 사용할 수 있다.
한편, 도 1을 도시하고 설명함에 있어서, 촬상 장치가 냉장고 내에 구비되는 것으로 도시하고 설명하였지만, 구현시에는 냉장고와 별개의 장치로서 촬상 장치가 구비될 수 있다. 이 경우 촬상 장치가 냉장고에 부착되는 방식 등을 통해 냉장고의 저장실을 촬영하고, 촬영 이미지를 유선 또는 무선 통신을 통해 냉장고로 전송하고, 냉장고가 수신한 촬영 이미지를 이용하여 객체 인식을 수행하는 방식으로 구현할 수 있다. 또는, 촬상 장치가 냉장고의 저장실을 촬영한 기존 이미지와 촬영 이미지를 모두 저장하고, 직접 촬영 이미지에 대한 촬상 방향 변화 여부를 확인할 수 있다. 또는, 촬상 장치가 촬상 방향 변화 결과에 따른 객체 인식 동작을 수행할 수 있다. 또한, 상술한 동작은 촬상 장치 외에도 기타 외부 장치에서 수행될 수 있다.
또한, 이상에서는 냉장고를 구성하는 간단한 구성에 대해서만 도시하고 설명하였지만, 구현시에는 다양한 구성이 추가로 구비될 수 있다. 이에 대해서는 도 2를 참조하여 이하에서 설명한다.
도 2는 본 개시의 일 실시 예에 따른 냉장고의 구체적인 구성을 도시한 블록도이다.
도 2를 참조하면, 본 개시의 일 실시 예에 따른 냉장고(100)는 저장실(110), 촬상 장치(120), 메모리(130), 프로세서(140), 통신 장치(150), 입력 장치(160) 및 디스플레이(170)로 구성될 수 있다.
저장실(110), 촬상 장치(120), 메모리(130) 및 프로세서(140)는 도 1의 구성과 동일한 기능을 수행하는바 중복 설명은 생략한다.
통신 장치(150)는 외부 장치(미도시)와 연결되며, 외부 장치로부터 각종 데이터를 송수신할 수 있다. 구체적으로 통신 장치(150)는 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 외부 장치에 접속되는 형태뿐만 아니라, USB(Universal Serial Bus) 포트 또는 무선 통신(예를 들어, WiFi 802.11a/b/g/n, NFC, Bluetooth) 포트를 통하여 접속되는 형태도 가능하다. 여기서 외부 장치는 PC, 노트북, 스마트폰, 서버 등일 수 있다.
그리고 통신 장치(150)는 외부 장치로 촬상 장치(120)가 촬영한 촬영 이미지를 전송할 수 있다. 구체적으로, 통신 장치(150)는 외부 장치로 저장실(110) 내 기설정된 영역에 대한 촬영 이미지를 전송할 수 있다. 외부 장치는 수신한 촬영 이미지를 이용하여 객체 인식을 수행하고, 객체 인식 결과를 다시 통신 장치(150)로 전송할 수 있다.
이 경우, 프로세서(140)는 직접 촬영 이미지에 대한 객체 인식을 수행하지 않고도 외부 장치로부터 수신한 객체 인식 결과를 디스플레이(170)를 통해 사용자에게 표시할 수 있다. 한편, 외부 장치와의 통신을 통해 객체 인식 수행 결과를 획득하는 동작에 대한 구체적인 설명은 도 13 및 도 14와 관련하여 후술한다.
입력 장치(160)는 냉장고(100)에서 지원하는 각종 기능을 사용자가 설정 또는 선택할 수 있는 다수의 기능키를 구비할 수 있다. 이를 통하여 사용자는 냉장고(100)에 대한 각종 구동 명령을 입력할 수 있다. 예를 들어, 사용자는 입력 장치(160)를 통해 냉장고의 냉방 세기에 대한 명령을 입력할 수 있다.
그리고 입력 장치(160)는 객체 인식 결과에 대한 사용자의 피드백으로서, 저장실(110) 내 수용된 식품에 대한 정보를 입력받을 수 있다. 예를 들어, 사용자가 저장실(110)에 새로 구입한 포도를 넣은 경우, 객체 인식 결과로서 포도가 새롭게 인식될 수 있고, 사용자는 새로 인식된 포도에 대하여 유통기한 정보 등 식품과 관련된 정보를 입력할 수 있다.
디스플레이(170)는 냉장고(100)에서 제공되는 각종 정보를 표시할 수 있다. 구체적으로, 디스플레이(170)는 냉장고(100)의 동작 상태를 표시하거나, 사용자가 선택한 기능 및 옵션 선택을 위한 사용자 인터페이스 창을 표시할 수 있다. 그리고 디스플레이(170)는 입력 장치(160)의 기능을 동시에 수행할 수 있는 터치 스크린의 형태로 구현될 수 있다.
그리고 디스플레이(170)는 프로세서(140)가 수행한 객체 인식 결과 또는 통신 장치(150)를 통해 수신한 외부 장치의 객체 인식 결과를 표시할 수 있다. 예를 들어, 저장실(110) 내 수용된 포도의 식품 이름, 식품의 카테고리, 최초 수용 시점, 수용 위치 등에 대한 정보를 표시할 수 있다.
종래에는 촬상 장치의 촬상 방향이 변화된 경우에도 냉장고가 촬영 이미지에 대한 객체 인식을 수행하였다. 이 경우, 실제 저장실에 수용된 식품에 대한 변화가 발생하지 않았음에도 불구하고 촬영 이미지에 변화가 발생했음을 이유로 냉장고가 추가적인 객체 인식을 수행하여 많은 연산량을 요하게 되는 문제점이 있었다.
반면, 상술한 바와 같이 본 실시 예에 따른 냉장고는 촬영 이미지와 기존 이미지를 비교하여 촬상 방향의 변화 유무를 확인하고, 단순히 촬상 방향의 변화가 발생한 것으로 확인된 경우에는 추가적인 객체 인식을 수행하지 않는 것으로 결정함으로써 연산량을 줄이는 효과를 갖는다.
도 3은 본 개시의 일 실시 예에 따른 서버의 간단한 구성을 설명하기 위한 블록도이다.
도 3을 참조하면, 서버(200)는 메모리(210), 통신 장치(220) 및 프로세서(230)를 포함한다.
메모리(210)는 프로세서(230)의 처리 또는 제어를 위한 프로그램 등 서버(200) 전반의 동작을 위한 다양한 데이터를 저장한다. 구체적으로, 메모리(210)는 서버(200)에서 구동되는 다수의 응용 프로그램, 서버(200)의 동작을 위한 데이터 및 명령어들을 저장할 수 있다.
그리고 메모리(210)는 프로세서(230)에 의해 액세스 되며, 프로세서(230)에 의한 데이터 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 이러한 메모리(210)는 서버(200) 내의 저장매체뿐만 아니라, 외부 저장 매체, USB 메모리를 포함한 Removable Disk, 네트워크를 통한 웹서버(Web server) 등으로 구현될 수 있다.
그리고 메모리(210)는 통신 장치(220)를 통해 수신한 촬영 이미지를 저장할 수 있다. 구체적으로, 메모리(210)는 통신 장치(220)를 통해 냉장고(100)로부터 수신한 저장실 내 기설정된 영역에 대한 촬영 이미지를 저장할 수 있다.
통신 장치(220)는 외부 장치(미도시)와 연결되며, 외부 장치로부터 각종 데이터를 송수신할 수 있다. 구체적으로 통신 장치(220)는 근거리 통신망(LAN: Local Area Network) 및 인터넷망을 통해 외부 장치에 접속되는 형태뿐만 아니라, USB(Universal Serial Bus) 포트 또는 무선 통신(예를 들어, WiFi 802.11a/b/g/n, NFC, Bluetooth) 포트를 통하여 접속되는 형태도 가능하다. 여기서 외부 장치는 냉장고, PC, 노트북, 스마트폰, 서버 등일 수 있다.
그리고 통신 장치(220)는 냉장고(100)로부터 저장실 내 기설정된 영역에 대한 촬영 이미지를 수신할 수 있다.
프로세서(230)는 서버(200) 내의 각 구성에 대해서 제어를 수행한다. 구체적으로, 프로세서(230)는 특정 기능에 대한 명령을 수신하면 해당 기능의 수행과 관련된 구성의 동작을 제어할 수 있다.
그리고 프로세서(230)는 수신한 촬영 이미지를 이용하여 냉장고(100)에 수용된 식품에 대한 객체 인식을 수행할 수 있다. 그러나 프로세서(230)가 수신한 촬영 이미지 모두에 대하여 객체 인식을 수행하는 경우 상당히 많은 연산량이 요구된다. 따라서 프로세서(230)는 현재 수신한 촬영 이미지에 대하여 객체 인식을 수행하기에 앞서 객체 인식 수행의 필요 여부를 결정할 수 있다.
구체적으로, 프로세서(230)는 촬영된 이미지의 객체 움직임 여부 및 촬상 방향의 변화 여부를 모두 확인하여 객체 인식 수행 여부를 결정할 수 있다.
보다 구체적으로, 프로세서(230)는 객체 움직임이 발생하고 촬상 방향 변화도 발생한 경우(①), 객체 움직임은 발생했으나 촬상 방향은 변화하지 않은 경우(②), 객체 움직임은 발생하지 않았으나 촬상 방향은 변화한 경우(③), 그리고 객체 움직임 및 촬상 방향의 변화 모두 발생하지 않은 경우(④) 중에서 각 촬영 이미지가 해당하는 경우를 분석할 수 있다.
그리고 프로세서(230)는 촬영 이미지가 상술한 복수의 경우 중에서 ①, ②에 해당하면 객체 움직임이 발생했으므로 객체 인식을 수행하고, ④에 해당하면 촬영 이미지에 변화가 발생하지 않은 것이므로 객체 인식을 수행하지 않는 것으로 결정할 수 있다. 또한, 프로세서(230)는 ③에 해당하면 실질적으로 객체의 움직임은 발생하지 않은 경우이므로 객체 인식을 수행하지 않는 것으로 결정할 수 있다. 프로세서(140)의 객체 인식 수행의 필요 여부 결정의 구체적인 동작은 이하에서 설명한다.
먼저, 프로세서(230)는 통신 장치(220)를 통해 냉장고(100)의 촬영 이미지를 획득할 수 있다. 프로세서(230)는 획득한 촬영 이미지를 메모리(210)에 저장할 수 있다.
그리고 프로세서(230)는 획득한 촬영 이미지와 기존 이미지를 비교하여 촬영 이미지의 변화 유무를 확인할 수 있다. 여기서 기존 이미지란, 통신 장치(220)가 과거에 수신한 냉장고(100) 내부의 촬영 이미지를 의미한다. 또한, 기존 이미지는 과거에 수신한 복수의 촬영 이미지 중 가장 최근에 수신한 것일 수 있다.
구체적으로, 프로세서(230)는 기존 이미지의 각 픽셀 값과 이에 대응되는 촬영 이미지의 각 픽셀을 비교하여 픽셀 값 변화 영역을 검출함으로써 촬영 이미지의 변화 유무를 확인할 수 있다.
만약, 픽셀 값 변화 영역이 검출되지 않은 경우, 즉, 상술한 4종류의 경우 중 객체 움직임 및 촬상 방향의 변화 모두 발생하지 않은 경우(④)에 해당하는 것을 의미하므로, 프로세서(230)는 촬영 이미지에 대한 객체 인식을 수행하지 않는 것으로 판단할 수 있다.
반면, 픽셀 값 변화 영역이 검출된 경우, 프로세서(230)는 검출된 영역의 크기를 확인하고, 그 크기가 기설정된 크기를 초과하는지 여부에 따라 객체 인식 수행 여부를 결정하거나 추가적으로 촬상 방향의 변화 여부를 확인할 수 있다.
구체적으로, 만약 변화 영역의 크기가 기설정된 크기를 초과하지 않는 경우, 촬영 이미지 중 국소적인 영역에 한해 변화 영역이 발생한 것을 의미한다. 촬상 방향의 변화가 발생한 경우에는 촬영 이미지의 변화 영역의 크기가 국소적인 영역이 아닌 전체적인 영역에서 발생한다는 점에서, 프로세서(230)는 변화 영역의 크기가 기설정된 크기를 초과하지 않는 경우에는 촬상 방향의 변화가 없는 것으로 판단할 수 있고, 발생한 변화 영역은 객체의 움직임에 기한 것으로 판단할 수 있다.
즉, 변화 영역의 크기가 기설정된 크기를 초과하지 않는 경우, 촬영 이미지의 픽셀 값 변화 영역이 실제 객체의 움직임으로부터 기인한 것인바, 촬영 이미지는 상술한 4종류의 경우 중 객체 움직임은 발생했으나 촬상 방향은 변화하지 않은 경우(②)에 해당할 수 있다. 따라서, 프로세서(230)는 촬영 이미지에 대한 객체 인식을 수행하는 것으로 결정할 수 있다.
이와 같이 변화 영역의 크기가 기설정된 크기를 초과하지 않는 경우에는 촬상 방향의 변화 여부의 확인 없이도 객체 인식을 수행하는 것으로 결정할 수 있는바, 연산량을 줄일 수 있는 효과를 갖는다.
반면, 변화 영역의 크기가 기설정된 크기를 초과하는 경우, 실제 객체의 변화가 발생했을 가능성뿐만 아니라, 촬상 방향의 변화가 발생했을 가능성이 존재하는바, 프로세서(230)는 촬상 방향의 변화 여부 확인을 추가적으로 수행할 수 있다.
만약, 촬상 방향이 변화하지 않은 것으로 확인된 경우, 촬영 이미지의 픽셀 값 변화 영역이 실제 객체의 움직임으로부터 기인한 것인바, 실제로 냉장고(100) 내 수용된 식품에 대한 변화가 발생한 경우에 해당할 수 있다. 즉, 프로세서(230)는 촬영 이미지가 상술한 4종류의 경우 중 객체 움직임은 발생했으나 촬상 방향은 변화하지 않은 경우(②)에 해당하므로, 촬영 이미지에 대한 객체 인식을 수행하는 것으로 결정할 수 있다.
반면, 촬상 방향이 변화된 것으로 확인된 경우, 프로세서(230)는 객체의 움직임의 발생 여부에 따라 객체 인식의 수행 여부를 결정할 수 있다. 구체적으로, 프로세서(230)는 객체 움직임이 발생하고 촬상 방향 변화도 발생한 경우(①)에는 객체 인식을 수행하는 것으로 결정할 수 있다.
반면, 프로세서(230)는 객체 움직임은 발생하지 않았으나 촬상 방향은 변화한 경우(③)에는 촬영 이미지의 픽셀 값 변화 영역이 실제 냉장고(100) 내 수용된 식품에 대한 변화로 인한 것이 아닌 촬상 방향의 변화로 인한 것을 의미하므로 객체 인식을 수행하지 않는 것으로 결정할 수 있다.
한편, 촬상 방향의 변화 및 객체 움직임의 발생 여부를 확인하는 구체적인 설명은 도 6 내지 도 10과 관련하여 후술한다.
이 경우, 프로세서(230)는 촬영 이미지를 메모리(210)에 저장된 기존 이미지를 대체하여 메모리(210)에 저장하고, 이후 수신한 촬영 이미지에 대한 객체 인식 수행 여부의 판단 시 비교 대상으로서 활용할 수 있다.
그리고 프로세서(230)는 객체 인식을 수행하기로 결정한 경우, 촬영 이미지를 이용하여 객체 인식을 수행할 수 있다. 프로세서(230)는 객체 인식 결과를 통신 장치(220)를 통해 냉장고(100)로 전송할 수 있다.
반면, 객체 인식을 수행하지 않기로 결정한 경우, 프로세서(230)는 기존 이미지를 이용하여 기 수행된 객체 인식 결과를 다시 사용할 수 있다. 즉, 촬영 이미지와 기존 이미지 간의 변화가 발생하지 않은 것으로 판단하거나 촬상 방향의 변화가 발생한 것으로 판단한 경우에는, 프로세서(230)는 기존 이미지에 대한 객체 인식 결과를 통신 장치(220)를 통해 냉장고(100)로 전송할 수 있다.
한편, 도 3을 도시하고 설명함에 있어서, 냉장고로부터 촬영 이미지를 수신하는 것으로 도시하고 설명하였지만, 구현시에는 냉장고를 촬영한 별도의 촬상 장치로부터 촬영 이미지를 수신하는 방식으로 구현할 수 있다.
또한, 이상에서는 서버를 구성하는 간단한 구성에 대해서만 도시하고 설명하였지만, 구현시에는 다양한 구성이 추가로 구비될 수 있다. 이에 대해서는 도 4를 참조하여 이하에서 설명한다.
도 4는 본 개시의 일 실시 예에 따른 서버의 구체적인 구성을 도시한 블록도이다.
도 4를 참조하면, 서버(200)는 메모리(210), 통신 장치(220), 프로세서(230), 입력 장치(240) 및 디스플레이(250)로 구성될 수 있다.
메모리(210), 통신 장치(220) 및 프로세서(230)는 도 3의 구성과 동일한 기능을 수행하는바 중복 설명은 생략한다.
입력 장치(240)는 서버(200)에서 지원하는 각종 기능을 사용자가 설정 또는 선택할 수 있는 다수의 기능키를 구비할 수 있다. 이를 통하여 사용자는 서버(200)에 대한 각종 구동 명령을 입력할 수 있다.
그리고 입력 장치(240)는 디스플레이(250)에 표시되는 메뉴를 통해 입력 받을 수 있다. 또한, 입력 장치(240)는 복수의 버튼, 키보드, 마우스 등으로 구현될 수 있으며, 후술할 디스플레이(250)의 기능을 동시에 수행할 수 있는 터치 스크린으로도 구현될 수도 있다.
디스플레이(250)는 서버(200)에서 제공하는 각종 메시지를 표시할 수 있다. 예를 들어, 디스플레이(250)는 서버(200)가 제공하는 각종 기능을 선택 받기 위한 사용자 인터페이스 창을 표시할 수 있다. 이러한 디스플레이(250)는 LCD, CRT, OLED 등과 같은 모니터일 수 있으며, 상술한 입력 장치(240)의 기능을 동시에 수행할 수 있는 터치 스크린으로 구현될 수도 있다.
종래에는 수신한 촬영 이미지의 촬상 방향이 변화된 경우에도 서버가 촬영 이미지에 대한 객체 인식을 수행하였다. 이 경우, 실제 냉장고에 수용된 식품에 대한 변화가 발생하지 않았음에도 불구하고 촬영 이미지에 변화가 발생했음을 이유로 서버가 추가적인 객체 인식을 수행하여 많은 연산량을 요하게 되는 문제점이 있었다.
반면, 상술한 바와 같이 본 실시 예에 따른 서버는 촬영 이미지와 기존 이미지를 비교하여 촬상 방향의 변화 유무를 확인하고, 단순히 촬상 방향의 변화가 발생한 것으로 확인된 경우에는 추가적인 객체 인식을 수행하지 않는 것으로 결정함으로써 연산량을 줄이는 효과를 갖는다.
도 6 내지 도 9는 본 개시의 일 실시 예에 따른 복수의 특징점을 이용한 촬상 방향의 변화 확인 방법의 예를 도시한 도면이다.
냉장고 또는 서버의 프로세서(140, 230)는 옵티컬 플로우(Optical Flow) 방식에 따라 기존 이미지 및 촬영 이미지 내 복수의 특징점의 위치 변화를 기초로 촬상 방향의 변화 유무를 확인할 수 있다. 이에 대한 구체적인 동작은 이하에서 설명한다.
도 6은 본 개시의 일 실시 예에 따른 이미지 내 복수의 특징점의 위치 변화의 예를 도시한 도면이다. 도 6a는 기존 이미지에 대응되고, 도 6b는 촬영 이미지에 대응된다.
먼저 프로세서(140, 230)는 기존 이미지 내 복수의 특징점을 확인하고, 이에 대응되는 복수의 특징점을 촬영 이미지로부터 검출할 수 있다.
구체적으로, 도 6a를 참조하면, 기존 이미지 내에 부채꼴 형태의 피자 한 조각의 이미지가 위치하고, 부채꼴 형태의 모서리 부분에 3개의 검은 점이 표시된 것을 확인할 수 있다.
그리고 도 6b를 참조하면, 촬영 이미지 내에 부채꼴 형태의 피자 한 조각의 위치가 우측 상단으로 이동하였고, 부채꼴 형태의 모서리 부분의 3개의 검은 점 또한 우측 상단으로 함께 이동한 것을 확인할 수 있다.
여기서 표시된 검은 점은 이미지 내 객체의 특징점으로, 코너(Corner) 또는 선분의 끝점 등 배경 또는 다른 객체와 구분할 수 있는 특징을 갖는 점을 의미한다. 특징점은 2차원의 좌표로 구성될 수 있으며, 촬영 이미지가 3차원 이미지인 경우 특징점은 3차원의 좌표로 구성될 수 있다.
즉, 프로세서(140, 230)는 도 6a의 기존 이미지로부터 복수의 특징점을 확인할 수 있고, 도 6b의 촬영 이미지로부터 기존 이미지의 복수의 특징점에 대응되는 복수의 특징점을 검출할 수 있다.
한편, 프로세서(140, 230)는 기존 이미지로부터 복수의 특징점을 확인하였으나, 촬영 이미지로부터 기존 이미지의 복수의 특징점에 대응되는 복수의 특징점을 발견하지 못할 수 있다. 이 경우, 기존 이미지에서 확인할 수 있는 객체가 이동함에 따라 촬영 이미지에서 기존 이미지의 복수의 특징점에 대응되는 복수의 특징점을 발견이 어려운 경우에 해당된다.
따라서 프로세서(140, 230)는 촬영 이미지로부터 기존의 이미지의 복수의 특징점에 대응되는 복수의 특징점을 확인하지 못하는 경우, 객체에 변화가 발생한 것으로 보아, 촬상 방향은 변화하지 않은 것으로 결정할 수 있다.
구체적으로, 프로세서(140, 230)는 기존 이미지의 복수의 특징점의 개수 및 촬영 이미지의 복수의 특징점의 개수를 확인하고, 특징점들의 개수 변화 비율이 기설정된 임계 비율을 초과하면 촬상 방향이 변화하지 않은 것으로 결정할 수 있다.
예를 들어, 기존 이미지에서는 10개의 특징점이 확인되었으나, 촬영 이미지에서는 5개의 특징점만이 확인되는 경우, 확인되지 않는 5개의 특징점에 대응되는 객체가 이동한 것으로 보아, 촬상 방향은 변화하지 않은 것으로 결정할 수 있다.
만약, 촬영 이미지로부터 기존 이미지의 복수의 특징점에 대응되는 복수의 특징점이 검출된 경우, 프로세서(140, 230)는 기존 이미지의 복수의 특징점 및 촬영 이미지의 복수의 특징점 각각의 이동 거리 및 이동 방향을 비교하여 이미지 내 객체가 이동한 것인지 아니면 촬상 방향이 변화된 것인지를 구분할 수 있다. 이에 대해서는 도 7 내지 도 9를 참조하여 이하에서 설명한다.
도 7 내지 도 9는 본 개시의 일 실시 예에 따른 촬영 이미지 내 복수의 특징점의 이동 거리 및 이동 방향의 예를 도시한 도면이다. 여기서, 화살표의 방향은 각 특징점의 이동 방향에 대응되고, 화살표의 길이는 각 특징점의 이동 거리에 대응될 수 있다.
도 7을 참조하면, 촬영 이미지의 복수의 특징점의 화살표가 모두 동일한 방향 및 동일한 길이를 갖는 것을 확인할 수 있다. 즉, 촬영 이미지의 복수의 특징점이 동일한 이동 방향 및 동일한 이동 거리에 따라 이동한 것을 확인할 수 있다.
이 경우, 프로세서(140, 230)는 촬영 이미지가 객체 움직임은 발생하지 않았으나 촬상 방향은 변화한 경우(③)에 해당하는 것으로 판단할 수 있다. 따라서, 프로세서(140, 230)는 객체 인식을 수행하지 않은 것으로 결정할 수 있다.
도 8을 참조하면, 촬영 이미지 중 점선의 사각형으로 표시된 영역의 화살표는 우하향하는 방향을 갖는 반면, 나머지 영역의 화살표는 우상향하는 방향을 갖는 것을 확인할 수 있다. 이 경우, 프로세서(140, 230)는 점선의 사각형으로 표시된 영역의 특징점에 대응되는 객체가 이동하였고, 촬상 방향은 유지된 것으로 판단할 수 있다.
즉, 프로세서(140, 230)는 촬영 이미지가 객체 움직임이 발생하고 촬상 방향 변화도 발생한 경우(①)에 해당하는 것으로 판단할 수 있다. 따라서, 프로세서(140, 230)는 객체 인식을 수행하는 것으로 결정할 수 있다.
도 9를 참조하면, 촬영 이미지의 복수의 특징점의 이동 방향 및 이동 거리가 각각 상이한 것을 확인할 수 있다. 이 경우에 프로세서(140, 230)는 객체가 이동하였고, 촬상 방향은 유지된 것으로 판단할 수 있다.
즉, 프로세서(140, 230)는 촬영 이미지가 객체 움직임은 발생했으나 촬상 방향은 변화하지 않은 경우(②)에 해당하는 것으로 판단할 수 있다. 따라서, 프로세서(140, 230)는 객체 인식을 수행하는 것으로 결정할 수 있다.
이와 같이 프로세서(140, 230)는 상술한 바와 같이 특징점 각각의 이동 거리 및 이동 방향을 비교하여 객체의 움직임 발생 여부 및 촬상 방향의 변화 여부를 확인할 수 있다. 한편, 이동 거리 및 이동 방향을 비교하기 위해, 프로세서(140, 230)는 기존 이미지의 복수의 특징점 및 촬영 이미지의 복수의 특징점 각각의 픽셀 좌표 값을 비교하여, 촬영 이미지의 복수의 특징점 각각의 좌표 변화량을 산출할 수 있다.
그리고 프로세서(140, 230)는 산출한 좌표 변화량을 이용하여 촬영 이미지의 복수의 특징점 각각의 이동 거리 및 이동 방향을 산출하여, 산출한 이동 거리 및 이동 방향을 기초로 촬상 방향의 변화 여부를 확인할 수 있다.
여기서 산출한 좌표 변화량이 (x,y)인 경우, 이동 거리는
Figure pat00001
이고, 이동 방향은 기울기 형태로 계산된
Figure pat00002
으로 산출할 수 있다. 또는 이동 방향은 각도 형태로 계산된
Figure pat00003
으로 산출할 수 있다.
구체적으로, 프로세서(140, 230)는 산출한 촬영 이미지의 복수의 특징점 각각의 이동 거리 및 이동 방향이 기설정된 오차 범위에서 일치하면 촬상 방향이 변화된 것으로 판단할 수 있다.
반면, 프로세서(140, 230)는 촬영 이미지의 복수의 특징점 중 적어도 하나의 특징점의 이동 거리 또는 이동 방향이 기설정된 오차 범위 이상의 차이를 갖는 경우 촬상 방향이 유지된 것으로 판단할 수 있다.
또한, 여기서 기설정된 오차 범위는, 복수의 특징점 각각의 이동 거리 및 이동 방향에 일정 차이가 존재하더라도 촬상 장치의 이미지 촬영 시 오차 범위에 포함될 수 있는 범위를 의미한다.
이와 같이 프로세서(140, 230)는 기존 이미지 및 촬영 이미지 내 복수의 특징점의 위치 변화를 기초로 촬상 방향의 변화 유무를 확인할 수 있다.
도 10은 본 개시의 일 실시 예에 따른 인공 지능 모델을 이용한 촬상 방향의 변화 확인 방법의 예를 도시한 도면이다.
냉장고 또는 서버의 프로세서(140, 230)는 복수의 특징점을 이용하는 방법 외에도 인공 지능 모델을 이용하여 촬상 방향의 변화 유무를 확인할 수 있다. 이에 대한 구체적인 동작은 이하에서 설명한다.
도 10을 참조하면, 프로세서(1000)는 학습부(1010) 및 획득부(1020) 중 적어도 하나를 포함할 수 있다. 도 10의 프로세서(1000)는 냉장고(100)의 프로세서(140), 서버(200)의 프로세서(230) 또는 데이터 학습 서버(미도시)의 프로세서에 대응될 수 있다.
학습부(1010)는 촬상 방향의 변화 여부를 식별하기 위한 모델을 생성 또는 학습할 수 있다. 구체적으로, 학습부(1010)는 수집된 학습 데이터를 이용하여 촬상 방향의 변화 여부를 식별하기 위한 인공 지능 모델을 생성할 수 있다.
여기서 인공 지능 모델은 기계 학습 및 기계 학습을 활용한 요소 기술들로 구성될 수 있다. 기계 학습은 입력 데이터들의 특징을 스스로 분류 또는 학습하는 알고리즘 기술이며, 요소 기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성될 수 있다.
또한, 인공 지능 모델에는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), CRNN(Convolutional Recurrent Neural Network) 등에 해당될 있으며, 상술한 예에 한하지 않는다.
여기서 학습 데이터는 동일한 객체에 대하여 위, 아래, 왼쪽 또는 오른쪽 방향으로 조금씩 이동하여 촬영된 이미지들의 그룹 또는 동일한 이미지에 대하여 위, 아래, 왼쪽 또는 오른쪽 방향으로 조금씩 잘라낸 이미지들의 그룹 등에 해당할 수 있다. 한편, 학습 데이터는 상술한 예에 한하지 않는다.
즉, 학습부(1010)는 학습 데이터로서 촬상 방향이 변화된 이미지들의 그룹을 입력 데이터로 사용하여 촬상 방향의 변화 여부를 식별하는 모델을 생성 또는 학습할 수 있다.
그리고 획득부(1020)는 기존 이미지와 촬영 이미지를 학습된 모델의 입력 데이터로 사용하여 촬상 장치의 변화 여부를 식별할 수 있다.
이와 같이, 프로세서(1000)는 학습부(1010)를 통해 촬상 방향 변화를 식별하는 인공 지능 모델을 생성하고, 획득부(1020)를 통해 인공 지능 모델을 이용하여 현재 촬영된 촬영 이미지의 촬상 방향의 변화 여부를 식별할 수 있다.
한편, 학습부(1010) 및 획득부(1020)는 서버와 같은 하나의 전자 장치에 탑재될 수 있으며, 또는 별개의 전자 장치에 각각 탑재될 수 있다. 예를 들어, 학습부(1010)는 데이터 학습 서버에 탑재되고, 획득부(1020)는 서버(200) 또는 냉장고(100)에 탑재될 수 있다. 이 경우, 유선 또는 무선 통신을 이용하여 학습부(1010)가 구축한 모델 정보가 획득부(1020)로 제공될 수 있다.
도 11은 본 개시의 일 실시 예에 따른 객체 인식 방법을 설명하기 위한 흐름도이다.
도 11을 참조하면, 본 개시의 일 실시 예에 따른 객체 인식 방법은 냉장고(100)의 프로세서(140) 또는 서버(200)의 프로세서(230)를 통해 수행될 수 있다.
먼저, 저장실 내부를 촬영한 촬영 이미지를 획득한다(S1110). 구체적으로, 냉장고의 프로세서는 촬상 장치를 이용하여 촬영 이미지를 획득할 수 있고, 서버의 프로세서는 통신 장치를 통해 냉장고로부터 촬영 이미지를 수신하여 촬영 이미지를 획득할 수 있다.
그리고 기존 이미지 대비 촬영 이미지의 변화가 확인되면 촬상 방향의 변화를 확인한다(S1120). 여기서 기존 이미지란, 냉장고가 과거에 촬상 장치를 이용하여 저장실을 촬영함으로써 획득한 촬영 이미지 또는 서버가 냉장고로부터 과거에 수신함으로써 획득한 촬영 이미지이다. 또한, 기존 이미지는 과거에 획득한 복수의 촬영 이미지 중 가장 최근에 획득한 이미지일 수 있다.
구체적으로, 기존 이미지의 각 픽셀 값과 이에 대응되는 촬영 이미지의 각 픽셀을 비교하여 픽셀 값 변화 영역을 검출함으로써 촬영 이미지의 변화 유무를 확인할 수 있다.
촬상 방향의 변화 여부는 기존 이미지 내의 복수의 특징점과 이에 대응되는 촬영 이미지의 복수의 특징점을 이용하여 확인할 수 있다.
구체적으로, 기존 이미지로부터 복수의 특징점을 확인하고, 이에 대응되는 복수의 특징점을 촬영 이미지로부터 확인할 수 있다. 이때, 기존 이미지에서 확인되는 객체가 이동함에 따라 촬영 이미지에서 복수의 특징점의 일부가 발견되지 않는 경우, 촬상 방향이 유지된 것으로 판단할 수 있다.
보다 구체적으로, 기존 이미지의 복수의 특징점의 개수 및 촬영 이미지의 복수의 특징점의 개수 간의 변화 비율이 기 설정된 임계 비율을 초과하면 촬상 방향이 유지된 것으로 판단할 수 있다.
또는, 복수의 특징점 각각의 이동 거리 및 이동 방향을 비교하여 촬상 방향의 변화 여부를 확인할 수 있다. 구체적으로, 기존 이미지 내의 복수의 특징점과 이에 대응되는 촬영 이미지 내의 복수의 특징점을 검출하고, 각각의 특징점들의 픽셀 좌표 값을 비교하여, 촬영 이미지의 복수의 특징점 각각의 좌표 변화량을 산출할 수 있다.
그리고 산출한 좌표 변화량을 이용하여 촬영 이미지의 복수의 특징점 각각의 이동 거리 및 이동 방향을 산출하여, 산출한 이동 거리 및 이동 방향을 기초로 촬상 방향의 변화 여부를 확인할 수 있다.
보다 구체적으로, 산출한 촬영 이미지의 복수의 특징점 각각의 이동 거리 및 이동 방향이 기설정된 오차 범위에서 일치하면 촬상 방향이 변화된 것으로 판단할 수 있다. 반면, 촬영 이미지의 복수의 특징점 중 적어도 하나의 특징점의 이동 거리 또는 이동 방향이 기설정된 오차 범위 이상의 차이를 갖는 경우 촬상 방향이 유지된 것으로 판단할 수 있다.
그리고 인공 지능 모델을 이용하여 촬상 방향의 변화를 확인할 수 있다. 구체적으로, 인공 지능 모델에 기존 이미지와 촬영 이미지를 입력하여 촬상 장치의 변화 여부를 식별할 수 있다.
여기서 인공 지능 모델은, 동일한 객체에 대하여 위, 아래, 왼쪽 또는 오른쪽 방향으로 조금씩 이동하여 촬영된 이미지들의 그룹 또는 동일한 이미지에 대하여 위, 아래, 왼쪽 또는 오른쪽 방향으로 조금씩 잘라낸 이미지들의 그룹 등을 학습 데이터로 삼아 촬상 방향 변화 여부를 식별하도록 학습된 모델이다.
또한, 인공 지능 모델의 종류는 CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), CRNN(Convolutional Recurrent Neural Network) 등에 해당할 수 있으며, 이에 한하지 않는다.
그리고 촬상 방향이 유지된 경우 촬영 이미지에 대한 객체 인식을 수행한다(S1130). 반면, 촬상 방향이 변화된 상태인 경우, 촬영 이미지에 대한 객체 인식을 수행하지 않고, 기존 이미지를 대체하여 촬영 이미지를 저장할 수 있다. 또한, 기존 이미지에 대해 수행된 객체 인식 결과를 다시 사용할 수 있다.
따라서, 본 개시의 객체 인식 방법은 촬영 이미지와 기존 이미지를 비교하여 촬상 방향의 변화 유무를 확인하고, 단순히 촬상 방향의 변화가 발생한 것으로 확인된 경우에는 추가적인 객체 인식을 수행하지 않는 것으로 결정함으로써 연산량을 줄이는 효과를 갖는다. 도 11과 같은 객체 인식 방법은, 도 1 또는 도 2의 구성을 가지는 냉장고 및 도 3 또는 도 4의 구성을 가지는 서버 상에서도 실행될 수 있으며, 그 밖의 다른 구성을 가지는 냉장고 또는 서버 상에서도 실행될 수 있다.
또한, 상술한 바와 같은 제어 방법은, 상술한 바와 같은 제어 방법을 실행하기 위한 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적인 판독 가능 매체에 저장될 수 있다.
비 일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 애플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
도 12는 본 개시의 일 실시 예에 따른 객체 인식 방법을 구체적으로 설명하기 위한 흐름도이다.
도 12를 참조하면, 먼저 냉장고의 저장실 촬영 이미지를 획득할 수 있다(S1210). 구체적으로, 냉장고의 경우 촬상 장치를 통해 저장실을 촬영한 촬영 이미지를 획득할 수 있고, 서버의 경우 통신 장치를 통해 냉장고로부터 저장실의 촬영 이미지를 수신할 수 있다.
그리고 기존 이미지 대비 촬영 이미지의 변화 발생 여부를 확인할 수 있다(S1220). 구체적으로, 기존 이미지의 각 픽셀 값과 이에 대응되는 촬영 이미지의 각 픽셀 값을 비교하여 픽셀 값 변화 영역을 검출함으로써 촬영 이미지의 변화 유무를 확인할 수 있다.
만약, 촬영 이미지의 변화 발생 영역이 검출되지 않는 경우(S1220-N), 촬영 이미지에 대한 객체 인식을 수행하지 않는 것으로 결정할 수 있다. 반면, 촬영 이미지의 변화 발생 영역이 검출되는 경우(S1220-Y), 변화 발생 영역의 크기가 기 설정된 크기를 초과하는지 여부를 확인할 수 있다(S1230).
만약 변화 발생 영역의 크기가 기 설정된 크기를 초과하지 않는 경우(S1230-N), 촬영 이미지에 대한 객체 인식을 수행할 수 있다(S1250).
반면, 변화 발생 영역의 크기가 기 설정된 크기를 초과하는 경우(S1230-Y), 촬영 이미지의 촬상 방향의 변화 여부를 확인할 수 있다(S1240). 촬상 방향의 변화 여부를 확인하는 동작은 냉장고 또는 서버의 프로세서의 동작과 관련하여 상술한 부분에서 구체적으로 설명한 바 있으므로, 중복 설명은 생략한다.
만약, 촬상 방향의 변화가 발생한 경우(S1240-Y), 촬영 이미지에 대한 객체 인식을 수행하지 않는 것으로 결정할 수 있다. 반면, 촬상 방향의 변화가 발생하지 않은 경우(S1240-N), 촬영 이미지에 대한 객체 인식을 수행할 수 있다(S1250).
따라서, 본 개시의 객체 인식 방법은 촬영 이미지의 변화 영역의 크기에 따라 촬상 방향의 변화를 확인하는 동작의 수행 여부가 결정되는바, 명확히 촬상 방향이 유지된 상태임에도 불구하고 촬상 방향 변화를 확인하는 동작을 수행하는 것을 방지하는 효과를 갖는다. 도 12와 같은 객체 인식 방법은, 도 1 또는 도 2의 구성을 가지는 냉장고 및 도 3 또는 도 4의 구성을 가지는 서버 상에서도 실행될 수 있으며, 그 밖의 다른 구성을 가지는 냉장고 또는 서버 상에서도 실행될 수 있다.
또한, 상술한 바와 같은 제어 방법은, 상술한 바와 같은 제어 방법을 실행하기 위한 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적인 판독 가능 매체에 저장될 수 있다.
도 13은 제1 실시 예에 따른 냉장고 및 서버를 이용한 객체 인식 방법을 설명하기 위한 시퀀스도이다.
먼저, 서버(200)는 냉장고(100)의 저장실을 촬영한 기존 이미지를 저장할 수 있다(S1310). 구체적으로, 서버(200)는 냉장고(100)와의 통신을 통해 냉장고(100)에서 기 촬영한 저장실 내 촬영 이미지를 수신하여 저장할 수 있다.
그리고 냉장고(100)는 촬상 장치를 이용하여 저장실을 촬영하고, 촬영 이미지를 획득할 수 있다(S1320). 그리고 냉장고(100)는 촬영한 저장실 이미지를 서버(200)에 전송할 수 있다(S1330).
그리고 서버(200)는 기존 이미지에 비해 수신한 촬영 이미지에 변화 발생 여부를 확인할 수 있다(S1340).
만약 변화 발생 영역이 검출되지 않는 경우, 서버(200)는 추가적인 객체 인식을 수행하지 않고 기존 이미지에 대해 수행된 객체 인식 결과를 냉장고(100)에 전송할 수 있다.
반면, 변화 발생 영역이 검출된 경우, 서버(200)는 변화 발생 영역의 크기가 기 설정된 크기를 초과하는지 여부를 확인할 수 있다(S1350). 만약, 변화 발생 영역의 크기가 기 설정된 크기를 초과하지 않는 경우, 촬영 이미지에 대한 객체 인식을 수행할 수 있다. 반면, 변화 발생 영역의 크기가 기 설정된 크기를 초과하는 경우, 촬상 방향의 변화 여부를 확인할 수 있다(S1360).
만약 촬상 방향이 유지된 경우, 촬영 이미지에 대하여 객체 인식을 수행할 수 있다(S1370). 반면, 촬상 방향이 유지되지 않은 경우, 기존 이미지에 대해 수행된 객체 인식 결과를 냉장고(100)에 전송할 수 있다.
그리고 서버(200)는 촬영 이미지에 대해 객체 인식을 수행한 경우, 촬영 이미지에 대한 객체 인식 결과를 냉장고(100)에 전송하고, 촬영 이미지에 대해 객체 인식을 수행하지 않은 경우, 기존 이미지에 대한 객체 인식 결과를 냉장고(100)에 전송할 수 있다(S1380).
그리고 냉장고(100)는 수신한 객체 인식 결과를 이용하여 사용자에게 객체 정보를 표시할 수 있다(S1390). 구체적으로, 냉장고(100)는 디스플레이를 통해 사용자에게 객체 정보를 표시할 수 있다.
따라서, 본 개시의 객체 인식 방법은 냉장고가 직접 객체 인식을 수행하지 않고도 객체 인식 정보를 획득하여 사용자에게 제공할 수 있는 효과를 갖는다. 도 13과 같은 객체 인식 방법은, 도 1 또는 도 2의 구성을 가지는 냉장고 및 도 3 또는 도 4의 구성을 가지는 서버 상에서도 실행될 수 있으며, 그 밖의 다른 구성을 가지는 냉장고 또는 서버 상에서도 실행될 수 있다.
또한, 상술한 바와 같은 제어 방법은, 상술한 바와 같은 제어 방법을 실행하기 위한 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적인 판독 가능 매체에 저장될 수 있다.
도 14는 제2 실시 예에 따른 냉장고 및 서버를 이용한 객체 인식 방법을 설명하기 위한 시퀀스도이다.
먼저, 냉장고(100)는 저장실을 촬영한 기존 이미지를 저장할 수 있다(S1410). 그리고 냉장고(100)는 촬상 장치를 이용하여 저장실을 촬영하고, 촬영 이미지를 획득할 수 있다(S1420).
그리고 냉장고(100)는 기존 이미지에 비해 촬영 이미지에 변화의 발생 여부를 확인할 수 있다(S1430).
만약 변화 발생 영역이 검출되지 않는 경우, 냉장고(100)는 촬영 이미지에 대한 촬상 방향 변화 여부를 확인하지 않고 기존 이미지를 객체 인식 대상 정보로서 서버(200)에 전송할 수 있다.
반면, 변화 발생 영역이 검출된 경우, 냉장고(100)는 변화 발생 영역의 크기가 기 설정된 크기를 초과하는지 여부를 확인할 수 있다(S1440). 만약, 변화 발생 영역의 크기가 기 설정된 크기를 초과하지 않는 경우, 촬영 이미지를 객체 인식 대상정보로서 서버(200)에 전송할 수 있다. 반면, 변화 발생 영역의 크기가 기 설정된 크기를 초과하는 경우, 촬상 방향의 변화 여부를 확인할 수 있다(S1450).
만약 촬상 방향이 유지된 경우, 촬영 이미지를 객체 인식 대상 정보로서 서버(200)에 전송할 수 있다. 반면, 촬상 방향이 유지되지 않은 경우, 기존 이미지를 객체 인식 대상 정보로서 서버(200)에 전송할 수 있다(S1460).
그리고 서버(200)는 수신한 객체 인식 대상에 따라 객체 인식을 수행할 수 있다(S1470). 예를 들어, 수신한 객체 인식 대상이 촬영 이미지인 경우, 촬영 이미지에 대해 객체 인식을 수행할 수 있고, 수신한 객체 인식 대상이 기존 이미지인 경우, 추가적인 객체 인식을 수행하지 않고 기 수행된 기존 이미지에 대한 객체 인식 결과를 확인할 수 있다.
그리고 서버(200)는 객체 인식 대상에 대응되는 객체 인식 결과를 냉장고(100)에 전송할 수 있다(S1480).
그리고 냉장고(100)는 수신한 객체 인식 결과를 이용하여 사용자에게 객체 정보를 표시할 수 있다(S1490). 구체적으로, 냉장고(100)는 디스플레이를 통해 사용자에게 객체 정보를 표시할 수 있다.
따라서, 본 개시의 객체 인식 방법은 냉장고가 촬상 방향의 변화 여부를 확인하여 객체 인식 대상을 결정하고, 결정된 객체 인식 대상을 서버에 전송하는바, 서버가 촬상 방향의 변화 여부를 확인할 필요 없어 서버의 연산량을 줄여주는 효과를 갖는다. 도 14와 같은 객체 인식 방법은, 도 1 또는 도 2의 구성을 가지는 냉장고 및 도 3 또는 도 4의 구성을 가지는 서버 상에서도 실행될 수 있으며, 그 밖의 다른 구성을 가지는 냉장고 또는 서버 상에서도 실행될 수 있다.
또한, 상술한 바와 같은 제어 방법은, 상술한 바와 같은 제어 방법을 실행하기 위한 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 비일시적인 판독 가능 매체에 저장될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대해서 도시하고, 설명하였으나, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100: 냉장고 110: 저장실
120: 촬상 장치 130: 메모리
140: 프로세서 200: 서버
210: 메모리 220: 통신 장치
230: 프로세서

Claims (20)

  1. 냉장고의 객체 인식 방법에 있어서,
    상기 냉장고의 저장실을 촬영한 촬영 이미지를 획득하는 단계;
    기 저장된 기존 이미지에 비해 상기 촬영 이미지의 변화가 확인되면, 상기 저장실을 촬영한 촬상 장치의 촬상 방향의 변화를 확인하는 단계; 및
    상기 촬상 방향이 유지된 상태이면 상기 촬영 이미지에 대한 객체 인식 동작을 수행하는 단계;를 포함하는 냉장고의 객체 인식 방법.
  2. 제1항에 있어서,
    상기 촬상 방향이 변화된 상태이면 상기 기존 이미지를 대체하여 상기 촬영 이미지를 저장하는 단계;를 더 포함하는 냉장고의 객체 인식 방법.
  3. 제1항에 있어서,
    상기 촬상 방향의 변화를 확인하는 단계는,
    상기 기존 이미지와 상기 촬영 이미지 내의 각 픽셀들을 비교하여, 픽셀 값 변화 영역을 검출하는 단계; 및
    상기 픽셀 값 변화 영역의 면적이 기 설정된 크기보다 크면, 상기 촬상 방향의 변화를 확인하는 단계;를 포함하는 냉장고의 객체 인식 방법.
  4. 제3항에 있어서,
    상기 촬상 방향의 변화를 확인하는 단계는,
    상기 기존 이미지 내의 복수의 제1 특징점에 대응되는 복수의 제2 특징점을 상기 촬영 이미지로부터 검출하는 단계; 및
    상기 복수의 제1 특징점 및 상기 복수의 제2 특징점 각각의 픽셀 좌표 값을 비교하여, 상기 복수의 제2 특징점의 이동 거리 및 이동 방향을 산출하고, 상기 산출한 이동 거리 및 이동 방향을 기초로 상기 촬상 방향의 변화를 확인하는 단계;를 포함하는 냉장고의 객체 인식 방법.
  5. 제4항에 있어서,
    상기 이동 거리 및 이동 방향을 기초로 상기 촬상 방향의 변화를 확인하는 단계는,
    상기 복수의 제2 특징점의 이동 거리 및 이동 방향이 기 설정된 오차 범위 내에서 일치하면 상기 촬상 방향이 변화된 것으로 판단하고, 상기 복수의 제2 특징점 중 적어도 하나의 제2 특징점의 이동 거리 또는 이동 방향이 나머지 제2 특징점의 이동 거리 또는 이동 방향과 상기 기 설정된 오차 범위보다 상이하면 상기 촬상 방향이 유지된 것으로 판단하는, 냉장고의 객체 인식 방법.
  6. 제4항에 있어서,
    상기 촬상 방향의 변화를 확인하는 단계는,
    상기 복수의 제2 특징점의 개수 및 상기 복수의 제1 특징점의 개수 간의 변화 비율이 기 설정된 임계 비율을 초과하면, 상기 촬상 방향이 유지된 것으로 판단하는, 냉장고의 객체 인식 방법.
  7. 제1항에 있어서,
    상기 촬상 방향의 변화를 확인하는 단계는,
    상기 촬상 방향의 변화를 식별하도록 설정된 인공 지능 모델을 이용하여, 상기 촬상 방향의 변화를 확인하고,
    상기 인공 지능 모델은,
    CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), CRNN(Convolutional Recurrent Neural Network) 중 적어도 하나인, 냉장고의 객체 인식 방법.
  8. 냉장고에 있어서,
    식품을 저장하기 위한 저장실;
    상기 저장실을 촬상하기 위한 촬상 장치;
    상기 촬상 장치에서 기 촬상한 기존 이미지를 저장하는 메모리; 및
    상기 촬상 장치를 제어하여 상기 저장실을 촬상하여 촬영 이미지를 획득하고, 상기 기존 이미지에 비해 상기 촬영 이미지의 변화가 확인되면 상기 촬상 장치의 촬상 방향의 변화 여부를 확인하고, 상기 촬상 방향이 유지된 상태이면 상기 촬영 이미지에 대한 객체 인식 동작을 수행하는 프로세서;를 포함하는 냉장고.
  9. 제8항에 있어서,
    상기 프로세서는,
    상기 촬상 방향이 변화된 상태이면 상기 기존 이미지를 대체하여 상기 촬영 이미지를 상기 메모리에 저장하는 냉장고.
  10. 제8항에 있어서,
    상기 프로세서는,
    상기 기존 이미지와 상기 촬영 이미지 내의 각 픽셀들을 비교하여 픽셀 값 변화 영역을 검출하고, 상기 픽셀 값 변화 영역의 면적이 기 설정된 크기보다 크면 상기 촬상 방향의 변화를 확인하는 냉장고.
  11. 제10항에 있어서,
    상기 프로세서는,
    상기 기존 이미지 내의 복수의 제1 특징점에 대응되는 복수의 제2 특징점을 상기 촬영 이미지로부터 검출하고, 상기 복수의 제1 특징점 및 상기 복수의 제2 특징점 각각의 픽셀의 좌표 값을 비교하여, 상기 복수의 제2 특징점의 이동 거리 및 이동 방향을 산출하고, 상기 산출한 이동 거리 및 이동 방향을 기초로 상기 촬상 방향의 변화를 확인하는 냉장고.
  12. 제11항에 있어서,
    상기 복수의 제2 특징점의 이동 거리 및 이동 방향이 기 설정된 오차 범위 내에서 일치하면 상기 촬상 방향이 변화된 것으로 판단하고, 상기 복수의 제2 특징점 중 적어도 하나의 제2 특징점의 이동 거리 또는 이동 방향이 나머지 제2 특징점의 이동 거리 또는 이동 방향과 상기 기설정된 오차 범위보다 상이하면 상기 촬상 방향이 유지된 것으로 판단하는 냉장고.
  13. 제11항에 있어서,
    상기 프로세서는,
    상기 복수의 제2 특징점의 개수 및 상기 복수의 제1 특징점의 개수 간의 변화 비율이 기 설정된 임계 비율을 초과하면, 상기 촬상 방향이 유지된 것으로 판단하는 냉장고.
  14. 제8항에 있어서,
    상기 프로세서는,
    상기 촬상 방향의 변화를 식별하도록 설정된 인공 지능 모델을 이용하여 촬상 방향의 변화를 확인하고,
    상기 인공 지능 모델은,
    CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), CRNN(Convolutional Recurrent Neural Network) 중 적어도 하나인 냉장고.
  15. 서버에 있어서,
    냉장고의 저장실을 촬상한 기존 이미지를 저장하는 메모리;
    상기 냉장고로부터 상기 냉장고의 저장실을 촬상한 촬영 이미지를 수신하는 통신 장치; 및
    상기 기존 이미지에 비해 상기 촬영 이미지의 변화가 확인되면 상기 촬영 이미지의 촬상 방향의 변화 여부를 확인하고, 상기 촬상 방향이 유지된 상태이면 상기 촬영 이미지에 대한 객체 인식 동작을 수행하는 프로세서;를 포함하는 서버.
  16. 제15항에 있어서,
    상기 프로세서는,
    상기 기존 이미지와 상기 촬영 이미지 내의 각 픽셀들을 비교하여 픽셀 값 변화 영역을 검출하고, 상기 픽셀 값 변화 영역의 면적이 기 설정된 크기보다 크면 상기 촬상 방향의 변화를 확인하는 서버.
  17. 제16항에 있어서,
    상기 프로세서는,
    상기 기존 이미지 내의 복수의 제1 특징점에 대응되는 복수의 제2 특징점을 상기 촬영 이미지로부터 검출하고, 상기 복수의 제1 특징점 및 상기 복수의 제2 특징점 각각의 픽셀의 좌표 값을 비교하여, 상기 복수의 제2 특징점의 이동 거리 및 이동 방향을 산출하고, 상기 산출한 이동 거리 및 이동 방향을 기초로 상기 촬상 방향의 변화를 확인하는 서버.
  18. 제17항에 있어서,
    상기 프로세서는,
    상기 복수의 제2 특징점의 이동 거리 및 이동 방향이 기 설정된 오차 범위 내에서 일치하면 상기 촬상 방향이 변화된 것으로 판단하고, 상기 복수의 제2 특징점 중 적어도 하나의 제2 특징점의 이동 거리 또는 이동 방향이 나머지 제2 특징점의 이동 거리 또는 이동 방향과 상기 기설정된 오차 범위보다 상이하면 상기 촬상 방향이 유지된 것으로 판단하는 서버.
  19. 제17항에 있어서,
    상기 프로세서는,
    상기 복수의 제2 특징점의 개수 및 상기 복수의 제1 특징점의 개수 간의 변화 비율이 기 설정된 임계 비율을 초과하면, 상기 촬상 방향이 유지된 것으로 판단하는 서버.
  20. 제15항에 있어서,
    상기 프로세서는,
    상기 촬상 방향의 변화를 식별하도록 설정된 인공 지능 모델을 이용하여 촬상 방향의 변화를 확인하고,
    상기 인공 지능 모델은,
    CNN(Convolutional Neural Network), RNN(Recurrent Neural Network), CRNN(Convolutional Recurrent Neural Network) 중 적어도 하나인 서버.
KR1020180117133A 2018-10-01 2018-10-01 냉장고, 서버 및 냉장고의 객체 인식 방법 Active KR102766407B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180117133A KR102766407B1 (ko) 2018-10-01 2018-10-01 냉장고, 서버 및 냉장고의 객체 인식 방법
CN201980064087.XA CN112789652B (zh) 2018-10-01 2019-09-27 冰箱、服务器和冰箱的对象识别方法
US17/268,009 US11594019B2 (en) 2018-10-01 2019-09-27 Refrigerator, server, and object recognition method of refrigerator
EP19869916.7A EP3806033B1 (en) 2018-10-01 2019-09-27 Refrigerator, server, and object recognition method of refrigerator
PCT/KR2019/012645 WO2020071692A1 (ko) 2018-10-01 2019-09-27 냉장고, 서버 및 냉장고의 객체 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180117133A KR102766407B1 (ko) 2018-10-01 2018-10-01 냉장고, 서버 및 냉장고의 객체 인식 방법

Publications (2)

Publication Number Publication Date
KR20200037657A true KR20200037657A (ko) 2020-04-09
KR102766407B1 KR102766407B1 (ko) 2025-02-13

Family

ID=70055570

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180117133A Active KR102766407B1 (ko) 2018-10-01 2018-10-01 냉장고, 서버 및 냉장고의 객체 인식 방법

Country Status (5)

Country Link
US (1) US11594019B2 (ko)
EP (1) EP3806033B1 (ko)
KR (1) KR102766407B1 (ko)
CN (1) CN112789652B (ko)
WO (1) WO2020071692A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230058462A (ko) 2020-08-31 2023-05-03 닛토덴코 가부시키가이샤 점착 시트

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12392548B2 (en) 2023-09-29 2025-08-19 Springhouse Technologies Inc. System and method for tracking refrigerator inventory

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060070969A (ko) * 2004-12-21 2006-06-26 삼성전자주식회사 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체추출 장치 및 그 방법
JP2017097770A (ja) * 2015-11-27 2017-06-01 富士通株式会社 カメラ位置姿勢推定装置、カメラ位置姿勢推定方法およびカメラ位置姿勢推定プログラム
US20180172343A1 (en) * 2015-06-15 2018-06-21 Bsh Hausgeraete Gmbh Method for operating a household appliance, corresponding household appliance and system with a household appliance

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100415313B1 (ko) * 2001-12-24 2004-01-16 한국전자통신연구원 동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치
KR100479616B1 (ko) 2002-03-09 2005-03-30 엘지전자 주식회사 냉장고내 정보 취득 장치 및 방법
CN103109522B (zh) * 2010-11-16 2016-05-11 本田技研工业株式会社 车载摄像头位置变化量检测装置
KR101318652B1 (ko) * 2011-12-14 2013-10-16 현대자동차주식회사 차량의 움직임 감지방법
WO2014168265A1 (ko) 2013-04-10 2014-10-16 엘지전자 주식회사 영상 인식을 이용한 냉장고의 보관 품목 관리 방법 및 그 냉장고
JP6296908B2 (ja) 2014-06-09 2018-03-20 三菱電機株式会社 冷蔵庫及びネットワークシステム
KR20170027246A (ko) * 2015-09-01 2017-03-09 삼성전자주식회사 냉장고
KR101697520B1 (ko) * 2015-11-05 2017-02-02 경북대학교 산학협력단 촬영영상에서의 움직임 객체 검출 방법 및 이를 이용한 차량 승하차 사고 예방 시스템
KR20170086165A (ko) * 2016-01-15 2017-07-26 에스케이텔레콤 주식회사 영상 내 특징점의 움직임 검출 장치 및 방법
US9784497B2 (en) 2016-02-03 2017-10-10 Multimedia Image Solution Limited Smart refrigerator
CN105823778A (zh) * 2016-03-10 2016-08-03 北京京东尚科信息技术有限公司 物品识别方法、装置及系统
CN107527060B (zh) * 2016-06-20 2022-01-25 青岛海尔智能技术研发有限公司 一种冷藏装置存储物管理系统和冷藏装置
KR101756620B1 (ko) * 2017-02-03 2017-07-12 구영모 냉장고의 문자판독 인공지능에 의한 보관식품 유통기한 알림장치와 그 방법
KR102217024B1 (ko) 2018-03-13 2021-02-19 삼성전자주식회사 냉장고, 그 제어 방법 및 시스템
US11009941B2 (en) * 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060070969A (ko) * 2004-12-21 2006-06-26 삼성전자주식회사 비디오 감시 시스템에서 카메라/물체 움직임 구분 및 객체추출 장치 및 그 방법
US20180172343A1 (en) * 2015-06-15 2018-06-21 Bsh Hausgeraete Gmbh Method for operating a household appliance, corresponding household appliance and system with a household appliance
JP2017097770A (ja) * 2015-11-27 2017-06-01 富士通株式会社 カメラ位置姿勢推定装置、カメラ位置姿勢推定方法およびカメラ位置姿勢推定プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230058462A (ko) 2020-08-31 2023-05-03 닛토덴코 가부시키가이샤 점착 시트

Also Published As

Publication number Publication date
WO2020071692A1 (ko) 2020-04-09
EP3806033C0 (en) 2024-05-01
CN112789652B (zh) 2025-02-28
CN112789652A (zh) 2021-05-11
US20210209363A1 (en) 2021-07-08
EP3806033A1 (en) 2021-04-14
US11594019B2 (en) 2023-02-28
EP3806033B1 (en) 2024-05-01
KR102766407B1 (ko) 2025-02-13
EP3806033A4 (en) 2021-08-11

Similar Documents

Publication Publication Date Title
US20240419256A1 (en) Determining a primary control mode of controlling an electronic device using 3d gestures or using control manipulations from a user manipulable input device
US9373087B2 (en) Decision tree training in machine learning
RU2648573C2 (ru) Выделение ресурсов для машинного обучения
US11308348B2 (en) Methods and systems for processing image data
US20180211104A1 (en) Method and device for target tracking
US12298879B2 (en) Electronic device and method for controlling same
CN105051755A (zh) 用于姿势识别的部位和状态检测
WO2018112496A1 (en) Tree structured crf with unary potential function using action unit features of other segments as context feature
US12267482B2 (en) Controlling and editing presentation of volumetric content
WO2022159200A1 (en) Action recognition using pose data and machine learning
KR20200037657A (ko) 냉장고, 서버 및 냉장고의 객체 인식 방법
WO2026030474A1 (en) Hand touch detection using images
JP6744536B1 (ja) 目線撮像方法及び目線撮像システム
US20260073643A1 (en) Rendering-based ipd adaptation
KR102369151B1 (ko) 동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법
Giusti An approach based on Siamese networks for the recognition of human operations in collaborative robotic tasks
Ballester Ripoll Gesture recognition using a depth sensor and machine learning techniques
Ripoll Gesture recognition using a depth sensor and machine learning techniques
CN114792441A (zh) 动作识别方法、装置、电子设备及计算机可读存储介质
Pannase et al. To Analyze Hand Gesture Recognition For Wirelessly Electronic Device Control

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181001

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210924

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20181001

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240416

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20241216

PG1601 Publication of registration