KR20200021555A - 자동 가이드식 이미지 캡쳐 및 프레젠테이션 - Google Patents

자동 가이드식 이미지 캡쳐 및 프레젠테이션 Download PDF

Info

Publication number
KR20200021555A
KR20200021555A KR1020207005017A KR20207005017A KR20200021555A KR 20200021555 A KR20200021555 A KR 20200021555A KR 1020207005017 A KR1020207005017 A KR 1020207005017A KR 20207005017 A KR20207005017 A KR 20207005017A KR 20200021555 A KR20200021555 A KR 20200021555A
Authority
KR
South Korea
Prior art keywords
image
item
pixel
user
scribble
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020207005017A
Other languages
English (en)
Other versions
KR102123780B1 (ko
Inventor
로빈슨 피라무스
웬 젱
Original Assignee
이베이 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이베이 인크. filed Critical 이베이 인크.
Publication of KR20200021555A publication Critical patent/KR20200021555A/ko
Application granted granted Critical
Publication of KR102123780B1 publication Critical patent/KR102123780B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H04N5/23222—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Electronic shopping [e-shopping] utilising user interfaces specially adapted for shopping
    • G06Q30/0643—Electronic shopping [e-shopping] utilising user interfaces specially adapted for shopping graphically representing goods, e.g. 3D product representation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/60—Creating or editing images; Combining images with text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H04N5/2257—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

자동 가이드식 이미지 캡쳐 및 프레젠테이션을 용이하게 하는, 적어도 하나의 프로그램을 전달하는 컴퓨터 판독 가능 매체 및 컴퓨터-구현식 방법이 제공된다. 일부 실시예에서, 이 방법은 아이템의 이미지를 캡쳐하는 단계, 이미지 프레임의 배경을 자동으로 제거하는 단계, 수동 마스크 편집을 수행하는 단계, 아이템 리스팅을 생성하는 단계, 이미지 프레임으로부터 아이템 정보를 추론하는 단계, 추론된 아이템 정보를 아이템 리스팅 폼에 자동으로 적용하는 단계 및 아이템 리스팅을 증강 현실 환경에 프레젠테이션하는 단계를 포함한다.

Description

자동 가이드식 이미지 캡쳐 및 프레젠테이션{AUTOMATIC-GUIDED IMAGE CAPTURING AND PRESENTATION}
우선권
본 특허 출원은 2015년 12월 4일에 출원된 미국 가특허 출원 제 62/263,433 호 및 2016년 11월 28일에 출원된 미국 특허출원 제 15/361,973 호의 우선권을 주장하며, 이들 전체는 참조로써 본원에 포함된다.
일부 실시예가 참조 도면에 비한정의 예시로서 도시되어 있다.
도 1은 일부 예시적인 실시예에 따른, 프레젠테이션 시스템에 있어서의 가이드식 이미지 캡쳐의 기능 컴포넌트를 나타내는 블록도,
도 2는 일부 예시적인 실시예에 따른, 자동 가이드식 이미지 캡쳐 및 프레젠테이션 방법을 수행할 때의 장치의 동작을 나타내는 흐름도,
도 3은 일부 예시적인 실시예에 따른, 자동 가이드식 이미지 캡쳐 및 프레젠테이션 방법을 수행할 때의 장치의 동작을 나타내는 흐름도,
도 4는 일부 예시적인 실시예에 따른, 자동 가이드식 이미지 캡쳐 및 프레젠테이션 방법을 수행할 때의 장치의 동작을 나타내는 흐름도,
도 5는 일부 예시적인 실시예에 따른, 이미지의 자동 가이드식 캡쳐 및 프레젠테이션 방법을 나타내는 도면,
도 6은 일부 예시적인 실시예에 따른, 자동 가이드식 이미지 캡쳐 및 프레젠테이션을 용이하게 하기에 적합한 네트워크 환경을 나타내는 네트워크 도면,
도 7은 일부 예시적인 실시예에 따른, 머신 판독 가능 매체로부터 명령어를 판독하고 본 명세서에서 설명되는 방법 중 임의의 하나 이상의 방법을 수행할 수 있는 머신의 컴포넌트를 나타내는 블록도이다.
이하, 신규한 청구 대상을 실시하고 있는 특정한 예시적인 실시예를 상세하게 참조한다. 이들 특정 실시예의 예시가 첨부 도면에 도시되어 있다. 이들 예시가 청구항의 범주를 도시된 실시예로 한정하는 것은 아니라는 점을 이해할 것이다. 이들은 본 개시의 범주 내에 포함되는 대안, 변형 및 등가를 커버하도록 했다. 이하 설명에서, 청구 대상을 완전하게 이해할 수 있도록 세부 사항이 언급될 것이다. 그러나, 이러한 세부 사항 중 일부 혹은 전부가 없어도 실시예는 실시될 수 있을 것이다.
본 명세서에 개시된 예시적인 실시예는 아이템 리스팅(예컨대, 아이템 데이터 기록)의 자동 가이드식 이미지 캡쳐 및 프레젠테이션을 용이하게 하는 것이다. 이 자동 가이드식 이미지 캡쳐 및 프레젠테이션은 모바일 장치 로직이 네트워크 접속 없이도 실행할 수 있어서, 아이템 리스팅의 생성을 개선하고 네트워크 리소스의 효율을 증가시킬 수 있다. 실시예는 이미지 가이드, 자동 배경 제거, 아이템 리스팅 폼의 자동 완성 및 온라인 매장 관리를 용이하게 한다.
예시적인 실시예에서, 모바일 장치의 사용자는 모바일 장치를 사용해서 아이템 리스팅을 자동을 생성할 수 있다. 모바일 장치의 가이드식 이미지 캡쳐 및 프레젠테이션 시스템은, 사용자가 모바일 장치의 카메라를 이용해서 아이템의 이미지를 캡쳐하고, 이미지의 배경 부분을 검출해서 자동으로 제거하며, 이미지 중 관심 아이템을 포함하고 있는 부분만을 유지하는 것을 가이드해 주며, 이미지의 배경 부분을 수동으로 변경함으로써 사용자가 이미지를 추가 수정하는 것을 가능하게 한다.
추가 예시적인 실시예에서, 가이드식 이미지 캡쳐 및 프레젠테이션 시스템은 캡쳐된 이미지로부터 정보(예컨대, 카테고리 인식, 색상, 패턴 및 스타일과 같은 특징 인식)를 추론함으로써 아이템 리스팅 폼의 자동 완성을 용이하게 한다. 아이템 리스팅 폼의 자동 완성은 또한 아이템의 캡쳐된 이미지로부터, 아이템 및 타이틀 예측과 관련된 특정 키워드를 추론하는 것을 포함할 수 있다. 아이템 리스팅의 자동 완성에는 많은 이미지가 시스템에 의해 사용될 수도 있다. 아이템 리스팅의 자동 완성은 또한 유사한 타이틀 및/또는 가격을 잠재적으로 갖는 아이템의 리스팅을 사용자에게 표시해서 사용자가 아이템 리스팅의 타이틀 및 아이템의 가격을 구성하는 것을 돕는 것을 포함할 수 있다. 가이드식 이미지 캡쳐 및 프레젠테이션 시스템은 또한, 사용자가 아이템 리스팅로부터의 아이템을 증강 현실 환경에서 쇼케이스하는 것도 가능하게 할 수 있으며, 이는 아이템을 가상 선반이나 옷걸이에 프레젠테이션해서 사용자의 온라인 매장에 방문하는 잠재적인 구매자가 볼 수 있게 하는 프레젠테이션 레이어를 포함한다. 가이드식 이미지 캡쳐 및 프레젠테이션 시스템은 캡쳐된 이미지로부터 추론되는 정보에 기초해서, 아이템의 카테고리 및/또는 특징에 따라서 프레젠테이션 레이어를 자동으로 선택할 수 있다(예컨대, 신발을 표시하는 가상 선반, 옷을 표시하는 옷걸이). 모바일 장치의 사용자는 또한 아이템에 대한 프레젠테이션 레이어를 수동으로 선택할 수도 있다. 나아가, 증강 현실 환경은 사용자가 프레젠테이션 레이어를 커스텀화하는 것을 가능하게 할 수 있다(예컨대, 사용자는 자신의 기호나 혹은 광고 대상자에 기초해서 가상 선반, 옷걸이 혹은 벽지의 스타일을 선택할 수 있다).
도 1은 일부 예시적인 실시예에 따른, GIPS(가이드식 이미지 캡쳐 및 프레젠테이션 시스템)(124)의 기능 컴포넌트를 나타내는 블록도이다. GIPS(124)는 상술한 바와 같이 아이템 리스팅의 자동 가이드식 이미지 캡쳐 및 프레젠테이션을 용이하게 한다. GIPS(124)에는 다양한 기능 모듈이 도시되어 있으며, GIPS(124)는 네트워크 시스템의 일부로서 제공되는데 이에 대해서는 도 6을 참조로 상세하게 설명한다. 관련 컴퓨터 및 인터넷 관련 분야에 종사하는 당업자라면, 도 1에 도시된 각각의 컴포넌트(예컨대, 모듈 혹은 엔진)가 하드웨어(예컨대, 머신의 프로세서)나 혹은 로직(예컨대, 실행 가능 소프트웨어 명령어)과 이 로직을 실행시키기 위한 하드웨어(예컨대, 머신의 메모리 및 프로세서)의 조합을 사용해서 구현될 수 있다는 것을 이해할 것이다.
GIPS(124)는 이미지 가이드 모듈(104), 배경 제거 모듈(106), 프레젠테이션 모듈(108), 리스팅 모듈(210) 및 데이터베이스(112)를 포함하는 것으로 도시되어 있으며, 이들은 모두 서로 통신하도록 구성된다(예컨대, 버스, 공유 메모리, 스위치 혹은 API(application programming interfaces)를 통해서). 나아가, GIPS(124)의 다양한 모듈은 데이터베이스 서버를 통해서 데이터베이스(112)에 액세스하고, GIPS(124)의 다양한 모듈 각각은 예컨대, 소셜 네트워크 플랫폼과 같은 하나 이상의 제3자 애플리케이션과 통신할 수 있다. 도 1의 모듈이 하나인 것으로 설명되더라도, 다른 실시예에서 복수의 모듈이 사용될 수도 있다는 것을 이해할 것이다.
이미지 가이드 모듈(104)은 모바일 장치의 사용자가 아이템 리스팅에서 아이템의 이미지를 캡쳐하는데 도움을 준다. 예컨대, 이미지 가이드 모듈(104)은 사용자가 아이템으로부터의 최적의 방향으로 모바일 장치를 위치시키고, 모바일 장치의 카메라를 통해서 아이템을 검출하며, 아이템의 하나 이상의 이미지 프레임을 캡쳐하도록 가이드한다. 이미지 가이드 모듈(104)은 각각의 캡쳐된 이미지 프레임에서 이미지의 배경 부분 및 이미지의 전경 부분을 산출한다. 예컨대, 이미지의 배경 부분 및 전경 부분의 산출은, 제 1 영역 및 제 2 영역을 식별하고, 제 1 영역 내의 적어도 하나의 에어리어가 제 2 영역의 픽셀 그룹과는 상이한(예컨대, 색상이 상이한) 픽셀 그룹을 포함하고 있다고 혹은 그 반대로 포함하고 있다고 판정함으로써, 수행될 수 있다. 상이한 픽셀 그룹의 에어리어를 식별할 때 이미지 가이드 모듈(104)은 제 1 영역과 제 2 영역 중 어느 것이 관심의 아이템을 포함하는지 산출한다. 관심 아이템의 위치를 산출하는 것에 더해서(예컨대, 제 1 영역 혹은 제 2 영역 내의 위치), 이미지 가이드 모듈(104)은 모바일 장치의 사용자에게 명령어를 통신해서 아이템의 이미지를 캡쳐하게 한다. 일부 실시예에서, 모바일 장치의 사용자 인터페이스는 이미지를 캡쳐하기 위해 이미지의 위치를 결정하는 것을 가이드하도록 뷰파인더(예컨대, 모바일 장치의 사용자 인터페이스에 중첩되는 형상)를 표시한다.
사용자가 물체로부터 일정 거리를 두고 모바일 장치를 쥐고 이동시킴에 따라서, 이미지 가이드 모듈(104)은 사람이 읽을 수 있는 명령어(예컨대, 글자 명령어)를 사용자 인터페이스 내에 표시해서, 아이템이 뷰파인더의 경계 내에 완전히 포함되도록 모바일 장치를 이동시킬 것을 사용자에게 명령할 수 있다. 예컨대, 뷰파인더의 내측 경계는 상술한 제 1 영역(예컨대, 전경)에 대응할 수 있고, 외측 경계는 상술한 제 2 영역(예컨대, 배경)에 대응할 수 있다. 다른 실시예에서는, 모바일 장치를 이동시키도록 사용자에게 명령하는 대신에, 이미지 가이드 모듈(104)은 조명을 증가 혹은 감소시키거나, 또는 예컨대, 이미지의 배경 부분에서 물체를 제거하거나 혹은 이미지의 전경 부분에서 2개의 물체를 분리하는(예컨대, 관심 아이템이 서로 인접해 있음) 등의 물체를 이동시키도록 사용자에게 명령하는 명령어를 표시한다. 일부 실시예에서, 가이드식 이미지 캡쳐에서는 각각의 캡쳐된 이미지 프레임을 처리하고 모바일 장치의 사용자에게 실시간으로 명령한다. 캡쳐된 이미지는 모바일 장치에서 예컨대, 데이터베이스(예컨대, 데이터베이스(112))나 메모리 내의 일정 위치에 저장될 수도 있고, 데이터베이스나 메모리 내에서 원격 네트워크-기반 시스템(예컨대, 도 6을 참조로 설명하는 것과 유사한 네트워크-기반 시스템)에 저장될 수도 있다.
배경 제거 모듈(106)은 이미지 중 관심 아이템을 포함하고 있는 부분만을 남기고 이미지의 배경 부분을 자동으로 제거한다. 상술한 가이드식 이미지 캡쳐와 유사하게, 배경 제거는 모바일 장치에서 실시간으로 수행될 수 있다. 나아가, 배경 제거 모듈(106)은 이미지 프레임의 배경 부분이나 혹은 이미지 프레임의 그룹을 자동으로 제거할 수도 있다. 일부 실시예에서, 배경 제거 모듈(106)은 아이템의 캡쳐된 이미지 프레임에 액세스해서 이미지 내에서 아이템의 경계를 검출하고, 이미지 배경으로부터 아이템을 분리한다. 아이템의 경계를 검출할 때, 배경 제거 모듈(106)은, 예컨대, 이미지 가이드 모듈(104)과 관련해서 상술한 제 1 영역 및 제 2 영역과 같은 이미지의 제 1 영역 및 제 2 영역을 포함하는 바이너리 마스크(Binary Mask)를 산출한다. 제 1 영역 및 제 2 영역 모두에 대해서, 배경 제거 모듈(106)은 컬러 히스토그램을 계산하고, 이 컬러 히스토그램을 사용해서 픽셀당 확률을 계산한다. 픽셀당 확률을 계산할 때, 배경 제거 모듈(106)은 확률 맵을 생성한다. 배경 제거 모듈(106)은, 도메인 변환 지오데식 필터링(domain transform geodesic filtering)을 사용하고, 임계값 선택 방법을 사용해서 바이너리 마스크를 필터링해서 획득함으로써, 확률 맵을 평활화할 수 있다. 임계값 선택 방법은 소정의 임계값 이상의 값(예컨대, RGB 값)을 가진 픽셀에 어떤 바이너리 값을 할당하고, 소정의 임계값 미만의 값을 가진 픽셀에 다른 바이너리 값을 할당한다.
배경 제거 모듈(106)은 또한 모바일 장치에서 사용자 입력을 수신함으로써 이미지의 수동 편집을 수행할 수도 있다. 일부 실시예에서, 이미지의 바이너리 마스크가 생성되고, 모바일 장치의 사용자는 스크리블(scribble)을 생성하고, 또한 관심 아이템의 윤곽을 지정하며, 관심 아이템으로부터 이미지의 배경 부분을 분리함으로써 바이너리 마스크를 수동으로 편집한다. 스크리블은 사용자가 소정의 인접 거리 내에 있는 물체를 모바일 장치의 사용자 인터페이스로 옮기고(예컨대, 모바일 장치의 스크린을 손가락으로 터치), 사용자 인터페이스 중 일부(예컨대, 이미지를 나타내는)를 이미지의 나머지 부분에 대해서 강조하거나 혹은 구별함으로써 생성되는, 특정 타입의 사용자 입력으로서 정의된다. 사용자 입력 스크리블을 수신한 이후에 배경 제거 모듈(106)은 도메인 변환 지오데식 필터링을 사용해서 스크리블을 평활화한다. 배경 제거 모듈(106)은 평활화된 스크리블의 크기를 임계값 이상 혹은 미만의 값으로 조정한다. 예컨대, 평활화된 스크리블은, 자동 배경 제거와 관련해서 설명한 임계값 선택 방법을 사용해서 바이너리 마스크를 생성할 때 사용된 임계값에 대응하는 소정의 임계값 이상 혹은 미만의 값으로 조정될 수 있다. 크기 조정된 스크리블은, 스크리블의 값이 소정의 임계값 이상인지 미만인지에 따라서, 자동 배경 제거 동안에 생성된 확률 맵에 추가되거나 삭제되어서, 확률 맵으로부터 바이너리 마스크를 획득한다. 배경 제거 모듈(106)은 배경 중 제거되는 부분을 커버하는 스크리블의 크기가 축소 혹은 증가되게 한다. 나아가, 배경 제거 모듈(106)은 스크리블을 이미지 내에서 관심의 아이템의 검출된 경계로 스냅(snap)시킬 수도 있다. 일부 실시예에서, 스크리블의 크기 조정 이후에 획득된 바이너리 마스크는, 자동 배경 제거 동안 생성된 바이너리 마스크로부터 고유한 것이다.
리스팅 모듈(110)은 아이템 리스팅 폼을 자동으로 작성해서 아이템 리스팅을 생성한다. 예컨대, 자동 아이템 폼 리스팅 작성은 아이템의 이미지로부터 정보(예컨대, 색상, 스타일, 카테고리, 브랜드 명을 포함한 아이템의 특징)를 추론함으로써 수행된다. 일부 실시예에서, 아이템과 관련된 정보는, 이미지 가이드 모듈(104)과 관련해서 상기 설명한 가이드식 이미지 캡쳐 동안에 캡쳐된 이미지 혹은 이미지 프레임으로부터 추론된다. 아이템 리스팅 폼을 자동으로 완성할 때, 리스팅 모듈(110)은 잠재적으로 유사한 타이틀 및/또는 가격을 가진 아이템의 리스트를 사용자에게 표시하는 것과, 사용자가 아이템 리스팅의 타이틀 및 아이템의 가격을 구성하는 것을 돕는 것을 포함한다. 아이템 리스팅 폼이 완성되면, 아이템의 이미지, 아이템과 관련된 이미지로부터 추론된 정보, 및 모바일 장치의 사용자로부터 수신한 임의의 추가 입력 정보를 포함한 아이템 리스팅이 생성된다. 가이드식 이미지 캡쳐 및 프레젠테이션 시스템(124)은 완성된 아이템 리스팅을 사용해서 판매자의 온라인 매장의 증강 현실 환경 내에 아이템을 표시한다.
프레젠테이션 모듈(108)은 프레젠테이션 레이어를 포함한 증강 현실 환경에 아이템(예컨대, 상술한 아이템의 캡쳐된 이미지)이 프레젠테이션되게 한다. 예컨대, 프레젠테이션 모듈(108)은 아이템을 가상 선반이나 옷걸이에 프레젠테이션해서 사용자의 온라인 매장에 방문하는 잠재적인 구매자가 볼 수 있게 한다. 일부 실시예에서, 리스팅 모듈(110)은 아이템의 이미지로부터 추론되는 정보에 기초해서, 아이템의 카테고리 및/또는 특징에 따라서 프레젠테이션 레이어(예컨대, 신발을 표시할 가상 신발장, 옷을 표시할 가상 옷걸이 혹은 가상 선반)를 자동으로 선택한다. 모바일 장치의 사용자는 그 아이템에 대한 프레젠테이션 레이어를 수동으로 선택할 수도 있다. 나아가, 증강 현실 환경은 사용자가 프레젠테이션 레이어를 커스텀화하는 것을 가능하게 할 수 있다(예컨대, 사용자는 자신의 기호나 혹은 광고 대상자에 기초해서 가상 선반, 옷걸이 혹은 벽지의 스타일을 선택할 수 있다). 온라인 매장을 보는 뷰어(예컨대, 방문한 구매자나 판매자)의 증강 현실 경험을 강화하면, 프레젠테이션 모듈(108)은 가상 세일 표시자, 예컨대, '레드 세일 태그'의 추가도 가능하게 할 수 있다. 가상 세일 표시자를 통해서 판매자는 온라인 매장을 보는 뷰어의 주의를, 예컨대, 판매자의 온라인 매장 내의 아이템이 특별 가격으로 제공되고 있다는 것을 나타내는 특정 아이템으로 이끌 수 있다. 일부 실시예에서, 판매자의 온라인 매장의 프레젠테이션 레이어를 보는 뷰어는 프레젠테이션 레이어를 보는 중에 표시되는 아이템을 선택할 수 있고(예컨대, 모바일 장치의 사용자 인터페이스에 표시되는 가상 선반이나 옷걸이 상의 아이템을 터치함으로써), 아이템을 선택하면, 프레젠테이션 모듈(108)은 뷰어를 아이템에 관한 상세 정보를 표시하는 페이지로 링크시킨다.
도 2는 일부 예시적인 실시예에 따른, 자동 가이드식 이미지 캡쳐 및 프레젠테이션 방법(200)을 수행할 때의 장치의 동작을 나타내는 흐름도이다. 방법(200)은 아이템 이미지를 캡쳐하는 단계(202)와, 이미지 배경을 자동으로 제거하는 단계(204)와, 수동 마스크 편집을 수행하는 단계(206)와, 추론된 이미지 정보를 사용해서 아이템 리스팅을 생성하는 단계(208)와, 증강 현실 환경에 아이템 리스팅을 프레젠테이션하는 단계(210)를 포함한다. 방법(200)은 하나 이상의 프로세서에 의해 실행되는 컴퓨터-판독 가능 명령어로 실시되어서, 방법(200)의 단계들 중 일부 혹은 전체는 GIPS(124)의 기능 컴포넌트(예컨대, 모듈)에 의해 수행될 수 있으며, 따라서, 방법(200)은 이하에서는 이를 예로서 참조하면서 설명한다. 그러나, 방법(200)은 다양한 다른 하드웨어 구성으로 사용될 수도 있으며, GIPS(124)의 기능 컴포넌트로 한정되는 것은 아니라는 것을 이해할 것이다.
동작(202)에서, GIPS(124)는, 모바일 장치의 사용자가 아이템 리스팅의 아이템의 이미지를 캡쳐하는 것을 지원한다. 예컨대, GIPS(124)는 사용자가 아이템으로부터의 최적의 방향으로 모바일 장치를 위치시키고, 모바일 장치의 카메라를 통해서 아이템을 검출하며, 아이템의 하나 이상의 이미지 프레임을 캡쳐하도록 가이드한다. GIPS(124)는, 예컨대, 제 1 영역 및 제 2 영역을 식별하고, 제 1 영역 내의 적어도 하나의 에어리어가 제 2 영역의 픽셀 그룹과는 상이한(예컨대, 색상이 상이한) 픽셀 그룹을 포함하고 있다고 혹은 그 반대로 포함하고 있다고 판정함으로써, 각각의 캡쳐된 이미지 프레임에서 이미지의 배경 부분 및 이미지의 전경 부분을 산출한다. GIPS(124)는 제 1 영역과 제 2 영역 중 어느 것이 관심의 아이템을 포함하는지 산출한다. 나아가, GIPS(124)는 모바일 장치의 사용자에게 명령어를 통신해서 아이템의 이미지를 캡쳐하게 한다. 사용자가 모바일 장치를 쥠에 따라서, GIPS(124)는 사람이 읽을 수 있는 명령어(예컨대, 글자 명령어)를 사용자 인터페이스 내에 표시해서, 아이템이 뷰파인더의 경계 내에 완전히 포함되도록 모바일 장치를 이동시키거나, 조명을 증가 혹은 감소시키거나, 또는 예컨대, 이미지의 배경 부분에서 물체를 제거하거나 혹은 이미지의 전경 부분에서 2개의 물체를 분리하는(예컨대, 관심 아이템이 서로 인접해 있음) 등의 물체를 이전시키도록 사용자에게 명령할 수 있다. GIPS(124)가 아이템이 뷰파인더의 경계 내에 완전히 포함되는 것을 검출하면, 이미지가 캡쳐된다.
동작(204)에서, GIPS(124)는 이미지의 배경 부분을 자동으로 제거한다. 이미지의 배경 부분을 자동으로 제거할 때, GIPS(124)는 이미지 중 관심 아이템을 포함하고 있는 부분만을 남긴다. 동작(204)에 포함되는 하위 동작의 예로서, 도 3은 일부 예시적인 실시예에 따른, 자동 가이드식 이미지 캡쳐 및 프레젠테이션 방법을 수행할 때의 장치의 동작을 나타내는 흐름도이다. 도시된 바와 같이, 이미지 배경을 자동으로 제거하는 동작은 바이너리 마스크를 추측하는 동작(302)과, 컬러 히스토그램을 계산하는 동작(304)과, 확률 맵을 계산하는 동작(306)과, 확률 맵을 평활화하는 동작(308)과, 바이너리 마스크를 획득하는 동작(310)을 포함한다. 동작(302)에서 GIPS(124)는 바이너리 마스크의 초기 추측을 행한다. GIPS(124)는 아이템의 캡쳐된 이미지에 액세스해서 이미지 내에서 아이템의 경계를 검출하고, 이미지의 배경으로부터 아이템을 분리한다. 아이템의 경계를 검출할 때, GIPS(124)는 바이너리 마스크의 초기 산출을 행하고, 바이너리 마스크는 이미지의 제 1 영역 및 제 2 영역을 포함한다. 동작(304)에서, GIPS(124)는 이미지의 제 1 영역 및 제 2 영역 모두에 대한 컬러 히스토그램을 계산한다. 동작(306)에서, GIPS(124)는 확률 맵을 계산한다. GIPS(124)는 컬러 히스토그램을 사용해서 픽셀당 확률을 계산한다. 픽셀당 확률을 계산할 때, GIPS(124)는 확률 맵을 생성한다. 동작(308)에서, GIPS(124)는 도메인 변환 지오데식 필터링을 사용해서 확률 맵을 평활화한다. 도메인 변환 지오데식 필터링을 수행할 때, GIPS(124)는 소정의 임계값 이상의 값(예컨대, RGB 값)을 가진 픽셀에 어떤 바이너리 값을 할당하고, 소정의 임계값 미만의 값을 가진 픽셀에 다른 바이너리 값을 할당한다. 소정의 임계값 이상 혹은 이하의 값을 가진 픽셀에 할당할 때, 동작(310)에서 GIPS(124)는 바이너리 마스크를 획득한다.
도 2를 다시 참조하면, 동작(206)에서, GIPS(124)는 수동 마스크 편집을 수행한다. 동작(205)에 포함되는 하위 동작의 예로서, 도 4는 일부 예시적인 실시예에 따른, 자동 가이드식 이미지 캡쳐 및 프레젠테이션 방법을 수행할 때의 장치의 동작을 나타내는 흐름도이다.
동작(402)에서, GIPS(124)는 확률 맵(예컨대, 자동 이미지 배경 제거 동안 생성된 확률 맵)에 액세스한다. 동작(404)에서, GIPS(124)는 모바일 장치에서 사용자 입력을 스크리블의 형태로 수신한다. 스크리블을 사용할 때 GIPS(124)는 관심 아이템의 윤곽을 더 정의하고, 관심 아이템으로부터 이미지의 배경 부분을 분리한다. 동작(406)에서, 사용자 입력 스크리블을 수신한 이후에, GIPS(124)는 도메인 변환 지오데식 필터링을 사용해서 스크리블을 평활화한다. 동작(408)에서, GIPS(124)는 평활화된 스크리블의 크기를 임계값 이상 혹은 미만의 값으로 조정한다. 예컨대, 평활화된 스크리블은, 임계값 선택 방법을 사용해서 바이너리 마스크를 생성할 때 사용된 임계값에 대응하는 소정의 임계값 이상 혹은 미만의 값으로 조정될 수 있다. 동작(410)에서, GIPS(124)는 스크리블의 값이 소정의 임계값 이상인지 미만인지에 따라서, 자동 배경 제거 동안에 생성된 확률 맵에 크기 조정된 스크리블 값을 추가하거나 삭제해서, 확률 맵으로부터 크기 조정된 스크리블을 구별한다. 확률 맵으로부터 크기 조정된 스크리블을 구별할 때, 동작(412)에서 GIPS(124)는 확률 맵으로부터 바이너리 마스크를 획득한다. GIPS(124)는 배경 중 제거되는 부분을 커버하는 스크리블의 크기가 축소 혹은 증가되게 한다. 나아가, GIPS(124)는 스크리블을 이미지 내에서 관심의 아이템의 검출된 경계로 스냅시킬 수도 있다.
도 2를 다시 참조하면, 동작(208)에서, GIPS(124)는 추론된 이미지 정보를 사용해서 아이템 리스팅을 생성한다. GIPS(124)는, 아이템의 이미지로부터 정보(예컨대, 색상, 스타일, 카테고리, 브랜드 명을 포함한 아이템의 특징)를 추론함으로써, 아이템 리스팅 폼을 자동으로 작성해서 아이템 리스팅을 생성한다. GIPS(124)는, 동작(202)와 관련해서 상기 설명한 가이드식 이미지 캡쳐 동안에 캡쳐된 이미지 혹은 이미지 프레임으로부터 아이템과 관련된 정보를 추론한다. 아이템 리스팅 폼을 자동으로 완성할 때, GIPS(124)는 잠재적으로 유사한 타이틀 및/또는 가격을 가진 아이템의 리스트를 사용자에게 표시하는 것과, 사용자가 아이템 리스팅의 타이틀 및 아이템의 가격을 구성하는 것을 돕는 것을 포함한다. GIPS(124)는 아이템 리스팅 폼을 완성하면, 아이템의 이미지, 아이템과 관련된 이미지로부터 추론된 정보, 및 모바일 장치의 사용자로부터 수신한 임의의 추가 입력 정보를 포함한 아이템 리스팅을 생성한다. GIPS(124)는 완성된 아이템 리스팅을 사용해서 판매자의 온라인 매장의 증강 현실 환경 내에 아이템을 표시한다.
동작(210)에서, GIPS(124)는 아이템 리스팅을 증강 현실 환경에 프레젠테이션한다. GIPS(124)는 아이템 리스팅로부터의 아이템(예컨대, 상술한 아이템의 캡쳐된 이미지)을, 프레젠테이션 레이어를 포함한 증강 현실 환경에 프레젠테이션하며, 예컨대 아이템을 가상 선반이나 옷걸이에 프레젠테이션해서 사용자의 온라인 매장에 방문하는 잠재적인 구매자가 볼 수 있게 한다. 일부 실시예에서, GIPS(124)는 아이템의 이미지로부터 추론되는 정보에 기초해서, 아이템의 카테고리 및/또는 특징에 따라서 프레젠테이션 레이어(예컨대, 신발을 표시할 가상 신발장, 옷을 표시할 가상 옷걸이 혹은 가상 선반)를 자동으로 선택한다. 온라인 매장을 보는 뷰어(예컨대, 가상 구매자나 판매자)의 증강 현실 경험을 강화하면, GIPS(124)는 가상 세일 표시자의 추가를 가능하게 할 수 있으며, 판매자는 온라인 매장을 보는 뷰어의 주의를 특정 아이템으로 이끌 수 있다. GIPS(124)는 뷰어가 표시되는 아이템을 선택할 수 있게 하고(예컨대, 모바일 장치의 사용자 인터페이스에 표시되는 가상 선반이나 옷걸이 상의 아이템을 터치함으로써), 아이템을 선택하면, GIPS(124)는 뷰어를 아이템에 관한 상세 정보를 표시하는 페이지로 링크시킨다.
도 5는 일부 예시적인 실시예에 따른, 이미지의 자동 가이드식 캡쳐 및 프레젠테이션 방법을 나타내는 도면이다. 502에서, GIPS(124)는 모바일 장치의 사용자가 아이템 리스팅의 아이템의 이미지를 캡쳐하는 것을 지원한다. 도 5에 도시된 바와 같이, GIPS(124)는 사용자가 아이템으로부터의 최적의 방향으로 모바일 장치를 위치시키도록 가이드한다. GIPS(124)는 예컨대, 제 1 영역 및 제 2 영역을 식별하고, 제 1 영역 내의 적어도 하나의 에어리어가 제 2 영역의 픽셀 그룹과는 상이한(예컨대, 색상이 상이한) 픽셀 그룹을 포함하고 있다고 혹은 그 반대로 포함하고 있다고 판정함으로써, 각각의 캡쳐된 이미지 프레임에서 이미지의 배경 부분 및 이미지의 전경 부분을 산출한다. GIPS(124)는 제 1 영역과 제 2 영역 중 어느 것이 관심의 아이템을 포함하는지 산출한다. 도 5에 도시된 바와 같이, 예컨대, GIPS(124)는 관심의 아이템의 윤곽을 표시함으로써 사용자에게 이미지의 산출된 제 1 영역 및 제 2 영역을 나타낸다. 나아가, GIPS(124)는 모바일 장치의 사용자에게 명령어를 통신해서 아이템의 이미지를 캡쳐하게 한다. 사용자가 모바일 장치를 쥠에 따라서, GIPS(124)는 명령어를 사용자 인터페이스에 표시해서, 아이템이 뷰파인더의 경계 내에 완전히 포함되도록 모바일 장치를 이동시키거나, 조명을 증가 혹은 감소시키거나, 또는 물체를 이전시키도록 사용자에게 명령할 수 있다. GIPS(124)가 아이템이 뷰파인더의 경계 내에 완전히 포함되는 것을 검출하면, 이미지가 캡쳐된다.
504에서, GIPS(124)는 이미지 배경을 자동으로 제거한다. 도 5에 도시된 바와 같이 GIPS(124)는 이미지 중 관심 아이템을 포함하고 있는 부분만을 남기고, 가이드식 이미지 캡쳐 동안 사용될 수 있었던 관심 아이템의 경계를 나타내도록 뷰파인더에 표시한다. GIPS(124)는 바이너리 마스크의 초기 추측을 행하고, 이미지 내에서 아이템의 경계를 검출하며, 이미지 배경으로부터 아이템을 분리한다. GIPS(124)는 컬러 히스토그램 및 확률 맵을 계산하고, 컬러 히스토그램을 사용해서 픽셀 당 확률을 계산한다. GIPS(124)는 도메인 변환 지오데식 필터링을 사용해서 확률 맵을 평활화한다. 504에서 이미지를 생성할 때, GIPS(124)는 또한 수동 마스크 편집을 수행하고, 사용자 입력을 스크리블의 형태로 수신하며, 나아가 관심 아이템의 윤곽을 더 정의하고, 관심 아이템으로부터 이미지의 배경 부분을 분리한다.
506에서, GIPS(124)는 추론된 이미지 정보를 사용해서 아이템 리스팅을 생성한다. GIPS(124)는 아이템의 이미지로부터 정보(예컨대, 색상, 스타일, 카테고리, 브랜드 명을 포함한 아이템의 특징)를 추론함으로써 아이템 리스팅 폼을 자동으로 작성해서 아이템 리스팅을 생성한다. GIPS(124)는 동작 202와 관련해서 상기 설명한 가이드식 이미지 캡쳐 동안에 캡쳐된 이미지 혹은 이미지 프레임으로부터 아이템에 관한 정보를 추론한다. 도 5의 510에 나타난 바와 같이, GIPS(124)는 또한 사용자에게 제안되는 타이틀이나 카테고리, 혹은 잠재적으로 유사한 타이틀 및/또는 가격을 가진 아이템의 리스트를 표시하는 것 및 사용자가 아이템 리스팅의 타이틀 및 아이템의 가격을 구성하는 것을 돕는 것을 포함한다. GIPS(124)는 아이템 리스팅 폼을 완성하면, 아이템의 이미지, 아이템과 관련된 이미지로부터 추론된 정보, 및 모바일 장치의 사용자로부터 수신한 임의의 추가 입력 정보를 포함한 아이템 리스팅을 생성한다. GIPS(124)는 완성된 아이템 리스팅을 사용해서 판매자의 온라인 매장의 증강 현실 환경 내에 아이템을 표시한다. 508에서, GIPS(124)는 아이템을 증강 현실 환경에 프레젠테이션한다. 도 5에 도시된 바와 같이, GIPS(124)는 아이템을 프레젠테이션 레이어를 포함하는 증강 현실 환경에 쇼케이스하고, 예컨대 아이템을 가상 선반에 프레젠테이션해서 사용자의 온라인 매장에 방문하는 잠재적인 구매자가 볼 수 있게 한다.
도 6은 일부 예시적인 실시예에 따른, 자동 가이드식 이미지 캡쳐 및 프레젠테이션을 용이하게 하기에 적합한 네트워크 시스템(600)을 나타내는 네트워크 도면으로, 네트워크(602)를 통해서 데이터를 교환하도록 구성된 클라이언트-서버 아키텍쳐를 구비한다. 네트워크 시스템(600)이 클라이언트-서버 아키텍쳐를 갖는 것으로 도시되어 있지만, 본 신규한 청구 대상은 이러한 아키텍쳐로 한정되는 것은 아니며, 예컨대 이벤트-구동형, 분산형 혹은 피어-투-피어 아키텍쳐 시스템에서도 동일하게 적용될 수 있다. 나아가, 본 신규한 청구 대상을 불필요하게 상세하게 하지 않기 위해서, 본 신규한 청구 대상을 이해하는 것과 밀접한 관련은 없는 다양한 기능 컴포넌트는 도 6에서 생략했다. 또한, 네트워크 시스템(600)의 다양한 기능 컴포넌트를 한가지 개념으로 설명했지만, 다양한 기능 컴포넌트 중 임의의 것의 많은 예가 사용될 수 있다는 것을 이해할 것이다.
네트워크 시스템(600)은 클라이언트 장치(606) 및 제3자 서버(608)와 통신하는 네트워크-기반 컨텐츠 퍼블리셔(604)를 포함한다. 일부 예시적인 실시예에서, 네트워크-기반 컨텐츠 퍼블리셔(604)는 네트워크 기반 시장(예컨대, eBay.com)이 될 수 있다. 네트워크-기반 컨텐츠 퍼블리셔(604)는 네트워크 시스템(600) 및 그 사용자와 관련된 다양한 기능 및 양태에 관한 데이터를 네트워크 시스템(600)과 통신하고 교환한다. 네트워크-기반 컨텐츠 퍼블리셔(604)는 네트워크(602)(예컨대, 인터넷)를 통해서 서버측 기능을 클라이언트 장치(606)와 같은 네트워크 장치에 제공할 수 있다.
클라이언트 장치(606)는 네트워크 시스템(600)을 사용하는 사용자에 의해 동작되어서 네트워크(602)를 통해서 데이터를 교환한다. 이들 데이터 교환은 네트워크 시스템(600)의 사용자와 컨텐츠와 관련된 데이터를 송신, 수신(통신) 및 통신하는 것을 포함한다. 데이터는, 이미지; 비디오 혹은 오디오 컨텐츠; 사용자 기호; 제품 및 서비스 피드백, 어드바이스 및 리뷰; 제품, 서비스, 제조업자 및 벤더의 추천 및 식별자; 구매자와 판매자에 관한 제품 및 서비스 리스팅; 제품 및 서비스 광고; 경매 입찰; 거래 데이터; 사용자 프로파일 데이터; 및 소셜 데이터 등을 포함하지만, 이것으로 한정되는 것은 아니다.
클라이언트 장치(606)는 네트워크(602)와의 접속을 통해서 네트워크-기반 컨텐츠 퍼블리셔(604)와 인터페이스할 수 있다. 클라이언트 장치(606)의 형태에 따라서, 다양한 타입의 접속 및 네트워크(602)가 사용될 수 있다. 예컨대, 접속은 CDMA(Code Division Multiple Access) 접속, GSM(Global System for Mobile communications) 접속 혹은 다른 타입의 셀룰러 접속이 될 수 있다. 이러한 접속은, 1xRTT(Single Carrier Radio Transmission Technology), EVDO(Evolution-Data Optimized) 기술, GPRS(General Packet Radio Service) 기술, EDGE(Enhanced Data rates for GSM Evolution) 기술 혹은 다른 데이터 전송 기술(예컨대, 4세대 무선 4G 네트워크)와 같은, 다양한 타입의 데이터 전송 기술을 구현할 수 있다. 이러한 기술이 사용될 때, 네트워크(602)는, 셀룰러 전화 교환에 의해 상호 접속된 중첩되는 지리 범위의 복수의 셀 사이트를 가진 셀룰러 네트워크를 포함할 수 있다. 이들 셀룰러 전화 교환은 네트워크 백본(예컨대, PSTN(public switched telephone network), 패킷-교환 데이터 네트워크 혹은 다른 타입의 네트워크)에 연결될 수 있다.
다른 예에서, 네트워크(602)로의 접속은 Wi-Fi(IEEE 802.11x 타입) 접속, WiMAX(Worldwide Interoperability for Microwave Access) 접속 혹은 다른 타입의 무선 데이터 접속이 될 수 있다. 이러한 실시예에서, 네트워크(602)는 LAN, WAN, 인터넷 혹은 다른 패킷-교환 데이터 네트워크에 연결된 하나 이상의 무선 액세스 포인트를 포함할 수 있다. 또 다른 예에서, 네트워크(602)로의 접속은 유선 접속(예컨대, 이더넷 링크)이 될 수 있고, 네트워크(602)는 LAN, WAN, 인터넷 혹은 다른 패킷-교환 데이터 네트워크가 될 수 있다. 따라서, 다양한 상이한 구성이 명백하게 상정된다.
다양한 실시예에서, 네트워크 시스템(600) 내에서 교환되는 데이터는 사용자가 하나 이상의 클라이언트 혹은 UI(사용자 인터페이스)를 통해서 이용할 수 있는 선택하는 기능에 따라 달라질 수 있다. UI는 웹 클라이언트(610)(예컨대, 인터넷 브라우저)를 실행하는 클라이언트 장치(606)와 같은, 클라이언트 장치와 연관될 수 있으며, 이는 네트워크-기반 컨텐츠 퍼블리셔(604)와 통신할 수 있다. UI는 또한, 네트워크-기반 컨텐츠 퍼블리셔(604) 혹은 제3자 서버(608)에 의해 호스팅되는 소셜 네트워크 플랫폼과 인터렉트하도록 설계된 모바일 애플리케이션과 같은, 클라이언트 장치(606)에서 실행되는 하나 이상의 애플리케이션(612)과 연관될 수도 있다.
네트워크-기반 컨텐츠 퍼블리셔(604)를 특히 참조하면, API 서버(614) 및 웹 서버(616)는 애플리케이션 서버(618)에 연결되어서 프로그램 및 웹 인터페이스를 각각 제공한다. 도 6에 도시된 바와 같이, 애플리케이션 서버(618)는 API 서버(614) 및 웹 서버(616)를 통해서, 예컨대, 유선 혹은 무선 인터페이스를 통해서 네트워크(602)에 연결될 수 있다. 애플리케이션 서버(618)는 데이터베이스(622)로의 액세스를 용이하게 하는 데이터베이스 서버(620)에 연결되는 것으로 도시되어 있다. 일례로, 애플리케이션 서버(618)는 데이터베이스 서버(620) 없이도 데이터베이스(622)에 직접 액세스할 수도 있다. 데이터베이스(622)는, 네트워크-기반 컨텐츠 퍼블리셔(604)의 내부에 있을 수도 있고 혹은 외부에 있을 수도 있는 다수의 데이터베이스를 포함할 수 있다.
애플리케이션 서버(618)는 예컨대, 네트워크-기반 컨텐츠 퍼블리셔(604)에 액세스하는 사용자에게 다수의 컨텐츠 퍼블리싱 및 뷰잉 기능을 제공하는 하나 이상의 애플리케이션을 호스트할 수 있다. 예컨대, 네트워크-기반 컨텐츠 퍼블리셔(604)는, 퍼블리싱, 리스팅 및 가격 설정 매커니즘과 같은, 다수의 시장 기능 및 서비스를 사용자에게 제공하는 시장 애플리케이션을 호스팅할 수 있고, 이를 이용해서, 판매자는 판매할 상품 혹은 서비스(또는 합쳐서 '제품'이라고 한다)를 리스팅(혹은 관련 정보를 퍼블리싱)할 수 있고, 구매자는 이러한 제품 혹은 서비스에 관심을 표시하거나 구매 의사를 나타낼 수 있으며, 제품 혹은 서비스와 관련된 거래를 위한 가격이 설정될 수 있다. 클라이언트 장치(606)(예컨대, 모바일 장치)는 이미지의 자동 가이드식 캡쳐 및 프레젠테이션을 수행하는 GIPS(124)를 호스팅한다.
GIPS(124)에 의해 생성되어서 퍼블리싱되는 메시지는 컨텐츠에 대한 참조(예컨대, 링크)를 포함할 수도 있다. 본 명세서에서 사용되는 용어 '컨텐츠' 혹은 '컨텐츠 아이템'은 뷰어(예컨대, 사용자)가 디스플레이, 클라이언트 장치, 혹은 페이지/디스플레이 기반 매체(예컨대, 브라우저에 실싱되어서 인터넷을 통해서 액세스 가능한 WWW(World-Wide Web))에서 소비하는 전자 데이터를 가리킨다. 이와 같이, 용어 '컨텐츠' 혹은 '컨텐츠 아이템'은 판도 가능한 텍스트와 관련된 데이터, 이미지와 관련된 데이터, 그래픽 혹은 비디오와 관련된 데이터, 프로그램 컨텐츠, 스크립트, 혹은 이들의 다양한 조합에 대응하는 데이터를 가리킬 수 있다. 또한, GIPS(124)는 도 6에서 클라이언트 장치(606)의 일부를 형성하는 것으로 도시되어 있지만, 대안의 실시예에서, GIPS(124)는 클라이언트 장치(606)와 분리된 별도의 서비스의 일부를 형성할 수도 있다는 것을 이해할 것이다. 예컨대, 일부 실시예에서, GIPS(124)는 애플리케이션 서버(618)에 의해서 전체적으로 호스팅될 수도 있고, 부분적으로 호스팅될 수도 있다.
데이터베이스(622)는 네트워크 시스템(600) 및 그 사용자와 관련된 다양한 기능 및 양태에 관한 데이터를 저장하고 있다. 예컨대, 데이터베이스(622)는 네트워크-기반 컨텐츠 퍼블리셔(604)의 사용자에 대한 사용자 프로파일을 저장하고 유지한다. 각각의 사용자 프로파일은 특정 사용자의 양태를 나타내는 사용자 프로파일 데이터를 포함한다. 사용자 프로파일은 예컨대, 인구 통계학적 데이터, 사용자 기호, 소셜 데이터 및 재정 정보를 포함할 수 있다. 인구 통계학적 데이터는 예컨대, 성별, 나이, 위치 정보(예컨대:고향 또는 현재 위치), 고용 기록, 학력, 연락처 정보, 가족 관계 또는 사용자 관심 분야와 같은 사용자의 하나 이상의 특성을 나타내는 정보를 포함할 수 있다. 금융 정보는 예컨대, 계좌 번호, 신용, 비밀번호, 장치 식별자, 사용자 이름, 전화 번호, 신용 카드 정보, 은행 정보, 거래 내역 또는 사용자에 의한 온라인 거래를 용이하게 하는데 사용될 수 있는 기타 금융 정보와 같은 사용자의 개인 금융 정보를 포함할 수 있다.
데이터베이스(622)는 또한 사용자 활동의 기록을 저장한다. 따라서, 네트워크-기반 컨텐츠 퍼블리셔(604)는 사용자 세션 동안 네트워크 시스템(600)의 다양한 컴포넌트와 인터렉트하기 위해 하나 이상의 장치(예컨대, 클라이언트 디바이스 (606))를 이용하는 사용자의 활동을 모니터링, 추적 및 기록할 수 있다. 각각의 사용자 세션은 데이터베이스(622)에 저장된 저장소에 유지될 수 있다. 따라서, 사용자 활동 데이터는 사용자가 수행한 과거 키워드 검색, 각 사용자가 본 웹 페이지, 사용자 위시리스트 또는 시청 목록에 추가된 제품, 전자 쇼핑 카트에 추가된 제품 및 사용자가 소유한 제품을 포함할 수 있다. 일부 실시예에 따라서, 사용자 활동 기록은 사용자 프로파일 데이터와 링크되어, 사용자 프로파일과 대응하는 사용자가 수행한 활동과의 연관성을 유지한다.
네트워크-기반 컨텐츠 퍼블리셔(604)가 네트워크 기반 시장인 경우에, 데이터베이스(622)는 제품 정보를 저장한다. 이러한 제품 정보는 예컨대, 제품 식별자(예컨대, 타이틀 또는 모델 번호), 가격, 메이커, 제조사, 모델, 브랜드 명, 텍스트 설명, 크기, 스타일, 제품 치수, 호환성 정보 또는 제품을 설명하는 데 사용될 수 있는 기타 정보를 포함할 수 있다. 이러한 경우에, 데이터베이스(622)는 또한 네트워크-기반 컨텐츠 퍼블리셔(604)의 사용자의 거래 이력을 저장할 수 있는데, 이는 네트워크-기반 컨텐츠 퍼블리셔(604)가 제공하는 시장 서비스를 이용하는 상인이 판매를 위해 제공할 수 있는 제품의 거래에 관한 정보를 포함한다. 거래 이력 정보는 예컨대, 사용자가 세일, 판매 또는 구매한 제품의 설명, 제품의 식별자, 제품이 속하는 카테고리, 구매 가격, 구매 날짜, 구매 수량, 제품의 입찰수 또는 이들의 다양한 조합을 포함할 수 있다.
도 6은 또한 정보 또는 서비스를 애플리케이션 서버(618) 또는 클라이언트 장치(606)의 사용자에게 제공할 수 있는 제3자 서버(608) 상에서 실행되는 제3자 애플리케이션(626)을 나타낸다. 제3자 애플리케이션(626)은 API 서버(614)에 의해 제공되는 프로그래밍 인터페이스를 통해서 네트워크-기반 컨텐츠 퍼블리셔(604)에 프로그램 액세스된다. 제3자 애플리케이션(626)은 애플리케이션 서버(618) 또는 클라이언트 장치(606)의 사용자와 트랜잭션을 수행하거나 서비스를 제공할 수 있는 임의의 조직과 연관된다. 예컨대, 제3자 애플리케이션(626)은 회원들이 소셜 네트워크를 제작하고 회원 사이의 관계를 유지하는 플랫폼을 제공할 수 있는 네트워크 기반 소셜 네트워크 플랫폼(예컨대, Facebook®, Twitter®, Google+®, Pinterest®, LinkedIn® 등)과 연관될 수 있다.
도 7은 머신 판독 가능 매체(722)(예컨대, 비일시적 머신 판독 가능 매체, 머신 판독 가능 저장 매체, 컴퓨터 판독 가능 저장 매체, 또는 이들의 임의의 적절한 조합)로부터 명령어(724)를 판독할 수 있고 본 명세서에서 설명되는 방법들 중 하나 이상을 전체적으로 또는 부분적으로 수행할 수 있는, 일부 예시적인 실시예에 따른, 머신(700)의 컴포넌트를 나타내는 블록도이다. 구체적으로, 도 7은 컴퓨터 시스템(예컨대, 컴퓨터)의 예시적인 형태의 머신(700)을 도시하고 있으며, 여기서는, 머신(700)으로 하여금 본 명세서에 설명되는 방법들 중 하나 이상을 수행하게 하기 위한 명령어(724)(예컨대, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱, 또는 다른 실행 가능 코드)가 전체적으로 또는 부분적으로 실행될 수 있다.
대안의 실시예에서, 머신(700)은 독립형 장치로 동작할 수도 있고, 다른 머신에 접속(예컨대, 네트워크화)될 수도 있다. 네트워크화된 배치에서, 머신(700)은 서버-클라이언트 네트워크 환경 내의 서버 머신이나 클라이언트 머신의 역할로 동작할 수도 있고, 혹은 분산형(예컨대, 피어-투-피어) 네트워크 환경에서 피어 머신으로 동작할 수도 있다. 머신(700)은 서버 컴퓨터, 클라이언트 컴퓨터, 퍼스널 컴퓨터(PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 넷북, 셀룰러 전화, 스마트폰, 셋톱 박스(STB), PDA, 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 또는 해당 머신에 의해 취해질 작업을 명시하는 명령어(724)를 순차적으로 아니면 다르게 실행할 수 있는 임의의 머신이 될 수 있다. 또한, 단 하나의 머신이 도시되어 있지만, "머신"이라는 용어는 또한 본 명세서에 설명된 방법들 중 하나 이상을 전부 또는 일부 수행하기 위해 개별적으로 또는 공동으로 명령어(724)를 실행하는 임의의 머신들의 집합을 포함하는 것으로 간주되어야 한다.
머신(700)은 프로세서(702)(예컨대, 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 무선 주파수 직접 회로(RFIC), 또는 이들의 임의의 적합한 조합), 주 메모리(704), 및 정적 메모리(706)를 포함할 수 있고, 이들은 버스(708)를 통해 서로 통신하도록 구성된다. 프로세서(702)는 명령어(724)의 일부 또는 전부에 의해 일시적으로 또는 영구적으로 구성 가능한 솔리드 스테이트 디지털 마이크로회로를 포함함으로써 프로세서(702)는 본 명세서에 설명된 방법들 중 임의의 하나 이상을 전체적으로 또는 부분적으로 수행하도록 구성될 수 있다. 예컨대, 프로세서(702)의 하나 이상의 마이크로회로의 세트는 본 명세서에 설명된 하나 이상의 모듈(예컨대, 소프트웨어 모듈)을 실행하도록 구성될 수 있다. 일부 예시적인 실시예에서, 프로세서(702)는 멀티코어 CPU(예컨대, 듀얼코어 CPU, 쿼드 코어 CPU 혹은 128 코어 CPU)로, 그 안에서 다수의 코어는 각각, 본 명세서에 설명된 방법 중 하나 이상을 전체적으로 혹은 부분적으로 수행할 수 있는 개별 프로세서로서 거동한다. 본 명세서에 설명된 유익한 효과가 적어도 프로세서(702)를 구비한 머신(700)에 의해 제공될 수 있지만, 이와 동일한 유익한 효과가, 프로세서를 포함하지 않는 다른 종류의 머신(예컨대, 순수 기계적인 시스템, 순수 유압 시스템 혹은 기계-유압 하이브리드 시스템)이 본 명세서에 설명된 방법 중 하나 이상을 수행하도록 구성되어 있다면, 이에 의해서 제공될 수도 있다.
머신(700)은 그래픽 디스플레이(710)(예컨대, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 음극선관(CRT) 또는 그래픽 또는 비디오를 디스플레이할 수 있는 임의의 다른 디스플레이)를 포함할 수 있다. 머신(700)은 또한 영숫자 입력 장치(712)(예를 들어, 키보드 또는 키패드), 커서 제어 장치(714)(예컨대, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서, 눈 추적 장치, 또는 다른 포인팅 기기), 데이터 저장부(716), 오디오 생성 장치(717)(예컨대, 사운드 카드, 증폭기, 스피커, 헤드폰 잭, 또는 이들의 임의의 적절한 조합), 및 네트워크 인터페이스 장치(720)를 포함할 수 있다.
저장 유닛(716)은 본 명세서에서 설명된 임의의 하나 이상의 방법 또는 기능을 구현하는 명령어(724)가 저장된 머신 판독 가능 매체(722)(예컨대, 유형의 및 비일시적 머신 판독 가능 저장 매체)를 포함한다. 명령어(724)는 또한 머신(700)에 의해 실행되기 전 또는 실행되는 동안 주 메모리(704) 내에, 프로세서(702)(예컨대, 프로세서의 캐시 메모리) 내에, 또는 둘 모두 내에 완전히 또는 적어도 부분적으로 상주할 수 있다. 따라서, 메모리(704) 및 프로세서(702)는 머신 판독 가능 매체(예컨대, 유형의 및 비 일시적 머신 판독 가능 매체)로 고려될 수 있다. 명령어(724)는 네트워크 인터페이스 장치(720)를 거쳐 네트워크(726)를 통해 전송되거나 수신될 수 있다. 예컨대, 네트워크 인터페이스 장치(720)는 임의의 하나 이상의 전송 프로토콜(예컨대, 하이퍼텍스트 전송 프로토콜(HTTP))을 사용하여 명령어(724)를 통신할 수 있다.
예시적인 실시예들에서, 머신(700)은 휴대용 컴퓨팅 장치(스마트폰, 태블릿 컴퓨터 혹은 웨어러블 장치)일 수 있고, 하나 이상의 추가 입력 컴포넌트(730)(예를 들어, 센서 또는 게이지(gauge))를 갖는다. 이러한 입력 컴포넌트(730)의 예는 이미지 입력 컴포넌트(예컨대, 하나 이상의 카메라), 오디오 입력 컴포넌트(예컨대, 마이크), 방향 입력 컴포넌트(예컨대, 나침반), 위치 입력 컴포넌트(예컨대, 범지구 위치결정 시스템(GPS) 수신기), 배향 컴포넌트(예컨대, 자이로스코프), 동작 검출 컴포넌트(예컨대, 하나 이상의 가속도계), 모션 검출 컴포넌트(예컨대, 하나 이상의 가속도계), 고도 검출 컴포넌트(예컨대, 고도계), 생체 입력 컴포넌트(예컨대, 심박 검출기 혹은 혈압 검출기), 및 가스 검출기(예컨대, 가스 센서)를 포함한다. 이러한 입력 컴포넌트(730) 중 하나 이상에 의해 수집된 입력 데이터는 본 명세서에 설명된 모듈들 중 임의의 모듈에 의한 사용을 위해 액세스되거나 이용될 수 있다.
본 명세서에 사용되는 "메모리"라는 용어는 데이터를 일시적으로 또는 영구적으로 저장할 수 있는 머신 판독 가능 매체를 지칭하고, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리 및 캐시 메모리를 포함한다. 머신 판독 가능 매체(722)는 단일 매체인 예시적인 실시예로 도시되어 있지만, "머신 판독 가능 매체"라는 용어는 명령어를 저장할 수 있는 단일 매체 또는 복수의 매체(예를 들어, 중앙 집중형 또는 분산형 데이터베이스, 또는 연관된 캐시 및 서버)를 포함하는 것으로 간주되어야 한다. 용어 "머신 판독 가능 매체"는 또한 머신(700)에 의한 실행을 위해 명령어(724)를 저장할 수 있는 임의의 매체 또는 복수의 매체의 조합을 포함하는 것으로 간주되어야 하고, 이로써 명령어(724)는 머신(700)의 하나 이상의 프로세서(예컨대, 프로세서(702))에 의해 실행될 때, 머신(700)으로 하여금 본 명세서에 설명된 방법들 중 임의의 하나 이상의 방법을 전체적으로 또는 부분적으로 수행하게 한다. 따라서, "머신 판독 가능 매체"는 복수의 저장 장치 또는 디바이스들을 포함하는 클라우드 기반 저장 시스템 또는 저장 네트워크뿐만 아니라 단일 저장 장치 또는 디바이스를 지칭한다. 따라서 "머신 판독 가능 매체"라는 용어는 솔리드 스테이트 메모리, 광학 매체, 자기 매체, 또는 이들의 임의의 적합한 조합의 형태의 하나 이상의 유형의 비일시적 데이터 저장소(예컨대, 데이터 볼륨)를 포함하는 것으로 간주되어야 하지만 이것으로 한정되는 것은 아니다. 본 명세서에서 사용되는 "비일시적" 머신 판독 가능 매체는 분명히 전파 신호 자체는 포함하지 않는다. 일부 예시적인 실시예에서, 머신(700)에 의해 실행되는 명령어(724)는 반송 매체에 의해 통신될 수 있다. 이러한 반송 매체의 예로는 저장 매체(예컨대, 한 장소에서 다른 장소로 물리적으로 이동되는 솔리드 스테이트 메모리와 같은 비일시적 머신-판독 가능 저장 매체) 및 일시적 매체(예컨대, 명령어(724)를 통신하는 전파 신호)를 들 수 있다.
특정 예시적인 실시예는 본 명세서에서 모듈을 포함하는 것으로 설명된다. 모듈은 소프트웨어 모듈(예컨대, 머신 판독 가능 매체 또는 전송 매체 상에 저장되거나 달리 실시된 코드), 하드웨어 모듈, 또는 이들의 임의의 적절한 조합을 구성할 수 있다. "하드웨어 모듈"은 특정 동작을 수행할 수 있는 유형의(예컨대, 비일시적) 물리적인 컴포넌트(예컨대, 하나 이상의 프로세서의 세트)이고, 특정 물리적 방식으로 구성되거나 배열될 수 있다. 다양한 예시적인 실시예에서, 하나 이상의 컴퓨터 시스템 또는 그 하나 이상의 하드웨어 모듈은, 그 모듈에 대해서 본 명세서에 설명된 동작을 수행하도록 동작하는 하드웨어 모듈로서 소프트웨어(예컨대, 애플리케이션 또는 그 일부)에 의해 구성될 수 있다.
일부 예시적인 실시예에서, 하드웨어 모듈은 기계적으로, 전자적으로, 유압적으로 또는 이들의 임의의 적절한 조합으로 구현될 수 있다. 예컨대, 하드웨어 모듈은 특정 동작을 수행하도록 영구적으로 구성된 전용 회로 또는 로직을 포함할 수 있다. 하드웨어 모듈은 FPGA(Field Programmable Gate Array) 또는 ASIC와 같은 특수용 프로세서일 수도 있고 이를 포함할 수도 있다. 하드웨어 모듈은 또한 특정 동작을 수행하기 위해 소프트웨어에 의해 일시적으로 구성되는 프로그램 가능한 로직 또는 회로를 포함할 수 있다. 예컨대, 하드웨어 모듈은 CPU 또는 다른 프로그램 가능한 프로세서 내에 포함된 소프트웨어를 포함할 수 있다. 전용이고 영구적으로 구성된 회로에서, 또는 일시적으로 구성된 회로(예를 들어, 소프트웨어에 의해 구성됨)에서 하드웨어 모듈을 기계적으로, 유압적으로 구현하기 위한 결정은 비용 및 시간 고려사항에 의해 결정될 수 있다는 점을 이해할 것이다.
따라서, "하드웨어 모듈"이라는 문구는 유형의 엔티티를 포함하는 것으로 이해되어야 하고, 이는 특정 방식으로 동작하거나 본 명세서에 설명된 특정 작업을 수행하도록 물리적으로 구성되거나, 영구적으로 구성되거나(예를 들어, 하드웨어에 내장됨), 또는 일시적으로 구성될(예를 들어, 프로그래밍될) 수 있다. 또한 본 명세서에서 사용되는 구문 "하드웨어로 구현된 모듈"은 하드웨어 모듈을 지칭한다. 하드웨어 모듈들이 일시적으로 구성된(예를 들어, 프로그래밍된) 예시적인 실시예들을 고려하면, 하드웨어 모듈들 각각은 어느 한 시점에서 구성되거나 인스턴스화될 필요가 없다. 예컨대, 하드웨어 모듈이 소프트웨어에 의해 특수 프로세서가 되도록 구성된 CPU를 포함하는 경우, CPU는 상이한 시간에 (예컨대, 상이한 하드웨어 모듈에 각각 포함되는) 상이한 특수 프로세서 각각으로 구성될 수 있다. 소프트웨어(예컨대, 소프트웨어 모듈)는, 예컨대, 어떤 시점에는 특정 하드웨어 모듈이 되거나 이를 구성하고 다른 시점에는 상이한 하드웨어 모듈이 되거나 이를 구성하도록 하나 이상의 프로세서를 구성할 수 있다.
하드웨어 모듈은 다른 하드웨어 모듈에 정보를 제공하고 다른 하드웨어 모듈로부터 정보를 수신할 수 있다. 따라서, 설명된 하드웨어 모듈들은 통신 가능하게 연결된 것으로 간주될 수 있다. 복수의 하드웨어 모듈이 동시에 존재하는 경우, 통신은 2개 이상의 하드웨어 모듈 사이에서 신호 전송을 통해(예컨대, 회로 및 버스를 통해) 달성될 수 있다. 복수의 하드웨어 모듈들이 상이한 시간에 구성되거나 인스턴스화되는 실시예들에서, 그러한 하드웨어 모듈들 사이의 통신은, 예컨대, 복수의 하드웨어 모듈들이 액세스하는 메모리 구조 내의 정보의 저장 및 검색을 통해 달성될 수 있다. 예컨대, 하나의 하드웨어 모듈은 동작을 수행하고 그 동작의 출력을 통신 가능하게 연결된 메모리(예컨대, 메모리 장치)에 저장할 수 있다. 이후, 추가 하드웨어 모듈은 저장된 출력을 검색하고 처리하기 위해 메모리에 액세스할 수 있다. 하드웨어 모듈은 입력 또는 출력 장치와의 통신을 개시할 수도 있고, 리소스(예를 들어, 컴퓨팅 리소스로부터의 정보의 모음)에 대해 동작할 수 있다.
본 명세서에 설명된 예시적인 방법의 다양한 동작은 관련 동작을 수행하도록(예컨대, 소프트웨어에 의해) 일시적으로 구성되거나 영구적으로 구성된 하나 이상의 프로세서에 의해 적어도 부분적으로 수행될 수 있다. 일시적으로 구성되든 영구적으로 구성되든, 그러한 프로세서는 본원에 설명된 하나 이상의 동작 또는 기능을 수행하도록 동작하는 프로세서로 구현된 모듈을 구성할 수 있다. 본 명세서에서 사용되는 "프로세서 구현 모듈"은 하드웨어가 하나 이상의 프로세서를 포함하고 있는 하드웨어 모듈을 지칭한다. 따라서, 프로세서는 하드웨어의 일례이기 때문에 본 명세서에서 설명되는 동작은 적어도 부분적으로 프로세서-구현되거나, 하드웨어-구현되거나 이들 모두로 구현되고, 본 명세서에 개시된 방법 중 하나 이상의 적어도 일부 동작은 하나 이상의 프로세서-구현된 모듈, 하드웨어-구현된 모듈 혹은 이들의 임의의 조합에 의해서 수행될 수 있다.
나아가, 이러한 하나 이상의 프로세서는 "클라우드 컴퓨팅" 환경에서 또는 서비스(예컨대, "서비스로서의 소프트웨어(SaaS)" 구현)로서 동작을 수행할 수 있다. 예컨대, 본 명세서에 개시된 방법 중 하나 이상의 적어도 일부 동작은 컴퓨터의 그룹(프로세서를 포함하는 머신에 관한 예들)에 의해 수행될 수 있고, 이러한 동작들은 네트워크(예컨대, 인터넷) 및 하나 이상의 적절한 인터페이스(예컨대, 애플리케이션 프로그램 인터페이스(API))를 통해 액세스 가능하다. 특정 동작들의 성능은 단일 머신 내에 상주하던 다수의 머신에 배치되던 하나 이상의 프로세서들 사이에 분산될 수 있다. 일부 예시적인 실시예에서, 하나 이상의 프로세서 또는 하드웨어 모듈(예컨대, 프로세서로 구현된 모듈)은 단일의 지리적 위치(예컨대, 가정환경, 사무실 환경 또는 서버 팜 내)에 위치될 수 있다. 다른 예시적인 실시예들에서, 하나 이상의 프로세서 또는 프로세서로 구현된 모듈은 다수의 지리적 위치에 걸쳐 분산될 수 있다.
본 명세서에서 하나의 예로서 설명되는 컴포넌트, 동작 혹은 구조를 복수의 예가 구현할 수도 있다. 하나 이상의 방법의 개개의 동작이 개별 동작으로서 도시되고 설명되었지만, 개별 동작 중 하나 이상은 동시에 수행될 수도 있고, 개개의 동작이 도시된 순서로 반드시 수행되어야 하는 것은 아니다. 예시적인 구성예에서 개별 컴포넌트 및 구성으로 나타난 구조 및 그 기능은 결합된 기능을 가진 결합된 구조 혹은 컴포넌트로서 구현될 수도 있다. 유사하게, 하나의 컴포넌트로서 나타난 구조 및 기능은 개별 컴포넌트 기능으로서 구현될 수도 있다. 이러한 그리고 다른 변형, 수정, 추가 및 개선은 청구 대상의 범주에 들어간다.
본 명세서에서 설명되는 청구 대상의 일부는 메모리(예컨대, 컴퓨터 메모리 혹은 다른 머신 메모리) 내의 비트 또는 2진 디지털 신호로서 저장된 데이터에 대한 연산의 알고리즘 또는 기호 표현과 관련하여 제공될 수 있다. 이러한 알고리즘 또는 기호 표현은 데이터 처리 기술 분야의 당업자에게 이들의 작업의 내용을 전달하기 위한 본 기술 분야의 당업자에 의해 사용되는 기술들에 관한 예들이다. 본 명세서에서 사용되는 "알고리즘"은 원하는 결과를 야기하는 동작 또는 유사한 처리의 일관성 있는 시퀀스이다. 이러한 맥락에서, 알고리즘 및 연산은 물리량의 물리적 조작을 수반한다. 통상적으로, 그 양은 머신에 의해 저장, 액세스, 전달, 조합, 비교 또는 다르게 조작될 수 있는 전기, 자기 또는 광학 신호의 형태를 취할 수 있지만 이것으로 한정되는 것은 아니다. 주로 공통된 사용을 위해, "데이터", "컨텐츠", "비트", "값", "요소", "기호", "문자", "용어", "번호", "숫자" 등의 단어를 사용하여 이러한 신호를 지칭하는 것이 편리하다. 그러나, 이러한 단어들은 단지 편리한 부호일 뿐이며 적절한 물리적인 양과 연관된다.
별도로 구체적으로 언급되지 않는 한, "액세싱", "프로세싱", "검출", "컴퓨팅", "계산", "판정", "생성", "프레젠테이션", "표시" 등과 같은 단어를 사용하는 본 명세서의 설명은, 하나 이상의 메모리(예컨대, 휘발성 메모리, 비휘발성 메모리, 또는 이들의 임의의 적절한 조합), 레지스터, 또는 정보를 수신, 저장, 전송, 또는 디스플레이하는 다른 머신 컴포넌트들 내에서 물리적(예컨대, 전자적, 자기적 또는 광학) 양으로 제시되는 데이터를 조작하거나 변환하는 머신(예컨대, 컴퓨터)에 의해 수행 가능한 작업 또는 프로세스를 지칭할 수 있다. 또한, 달리 명시되지 않는 한, 단수 용어("a" 또는 "an")는 하나 이상의 인스턴스를 포함하는 것으로 특허 문서에서 공통으로 사용된다. 마지막으로, 본원에서 사용된 바와 같이, 접속사 "또는"은 달리 명시되지 않는 한 배타적이지 않은 "또는"을 지칭한다.
이하에서는 본 명세서에 개시된 방법, 머신-판독 가능 매체 및 시스템(예컨대, 머신, 디바이스 혹은 다른 장치)의 다양한 예시를 나타낸다.
예
1. 방법으로서, 아이템의 이미지를 캡쳐하는 단계를 포함하고, 이 이미지를 캡쳐하는 단계는, 사용자로 하여금, 모바일 장치의 사용자 인터페이스의 에어리어의 경계 내에 아이템이 포함되도록, 아이템으로부터의 방향으로 모바일 장치를 위치시키도록 가이드하는 단계와, 모바일 장치의 카메라를 통해서 아이템을 검출하고, 아이템의 적어도 하나의 이미지 프레임을 캡쳐하는 단계와, 적어도 하나의 이미지 프레임의 제 1 영역의 경계 및 제 2 영역의 경계를 산출하는 단계와, 제 1 영역이 제 2 영역보다 아이템의 더 큰 부분을 포함한다고 판정하는 단계와, 모바일 장치의 사용자 인터페이스에, 아이템이 제 1 영역의 경계 내에 완전히 포함되어서 볼 수 있게 하는 액션을 취하도록 사용자에게 명령하는 명령어를 표시하는 단계와, 아이템이 제 1 영역의 경계 내에 완전히 포함되어서 볼 수 있는지 검출하는 단계를 포함한다.
2. 예 1에 따른 방법으로서, 이미지 프레임의 배경을 자동으로 제거하는 단계를 더 포함하고, 배경을 자동으로 제거하는 단계는, 아이템의 이미지 프레임에 액세스하는 단계와, 제 1 영역 내에서 아이템의 경계를 검출하는 단계 - 아이템의 경계는 사용자 인터페이스 상에서의 아이템의 윤곽을 따라가는 것으로, 경계의 내측 부분은 아이템만을 포함하고 경계의 외측 부분은 이미지 프레임의 배경을 포함함 - 와, 경계의 내측 부분을 경계의 외측 부분과 구별하는 단계와, 제 1 바이너리 마스크를 산출하는 단계 - 제 1 바이너리 마스크는 이미지 프레임에 있어서 경계의 내측 부분 및 경계의 외측 부분을 포함함 - 와, 경계의 내측 부분 및 경계의 외측 부분을 포함하는, 이미지 프레임의 컬러 히스토그램을 계산하는 단계와, 경계의 내측 부분 및 경계의 외측 부분을 포함하는, 이미지 프레임의 확률 맵을 계산하는 단계와, 경계의 내측 부분 및 경계의 외측 부분을 포함하는, 확률 맵을 평활화하는 단계를 포함한다.
3. 예 2에 따른 방법으로서, 이미지 프레임 내에서 소정의 임계값 이상의 RGB 값을 가진 제 1 복수의 픽셀의 각각의 픽셀에는 제 1 바이너리 값을 할당하고, 이미지 프레임 내에서 소정의 임계값 미만의 RGB 값을 가진 제 2 복수의 픽셀의 각각의 픽셀에는 제 2 바이너리 값을 할당함으로써, 제 2 바이너리 마스크를 획득하는 단계와, 제 2 바이너리 마스크를 이미지 프레임에 적용함으로써, 제 1 무배경 아이템 이미지를 획득하는 단계를 더 포함한다.
4. 예 1 내지 3 중 하나에 따른 방법으로서, 수동 마스크 편집을 수행하는 단계를 더 포함하고, 수동 마스크 편집을 수행하는 단계는, 확률 맵에 액세스하는 단계와, 모바일 장치로부터, 스크리블을 포함하는 사용자 입력을 수신하는 단계와, 스크리블을 평활화하는 단계와, 소정의 임계값 이상의 RGB 값을 가진 스크리블을 포함하는 제 3 복수의 픽셀의 각각의 픽셀에는 제 1 바이너리 값을 할당하고, 소정의 임계값 미만의 RGB 값을 가진 각각의 픽셀에는 제 2 바이너리 값을 할당하는 단계를 포함하는, 스크리블의 크기를 조정하는 단계를 포함한다.
5. 예 1 내지 4 중 하나에 따른 방법으로서, 크기가 조정된 스크리블을 확률 맵으로부터 구별하는 단계와, 크기가 조정된 스크리블을 포함하는 픽셀의 바이너리 값을 확률 맵에 가산하거나 혹은 확률 맵으로부터 감산하는 단계를 포함하는, 제 3 바이너리 마스크를 획득하는 단계와, 제 3 바이너리 마스크를 제 1 무배경 아이템 이미지에 적용함으로써, 제 2 무배경 아이템 이미지를 획득하는 단계를 더 포함한다.
6. 예 1 내지 5 중 하나에 따른 방법으로서, 아이템 리스팅을 생성하고, 이미지 프레임으로부터 아이템 정보를 추론하며, 추론된 아이템 정보를 아이템 리스팅 폼에 자동으로 적용하는 단계를 더 포함한다.
7. 예 1 내지 6 중 하나에 따른 방법으로서, 이미지 프레임으로부터의 아이템을 모바일 장치의 사용자 인터페이스 상의 프레젠테이션 레이어에 표시하는 단계를 포함하는, 아이템 리스팅을 증강 현실 환경에 프레젠테이션하는 단계를 더 포함한다.
8. 하나 이상의 프로세서 및 컴퓨터-판독 가능 매체에서 액세스 가능한 실행 가능 명령어를 포함하는 시스템으로서, 명령어는 실행될 때 하나 이상의 프로세서로 하여금 동작을 수행하게 하고, 동작은 아이템의 이미지를 캡쳐하는 동작을 포함하고, 이미지를 캡쳐하는 동작은, 사용자로 하여금, 모바일 장치의 사용자 인터페이스의 에어리어의 경계 내에 아이템이 포함되도록, 아이템으로부터의 방향으로 모바일 장치를 위치시키도록 가이드하는 동작과, 모바일 장치의 카메라를 통해서 아이템을 검출하고, 아이템의 적어도 하나의 이미지 프레임을 캡쳐하는 동작과, 적어도 하나의 이미지 프레임의 제 1 영역의 경계 및 제 2 영역의 경계를 산출하는 동작과, 제 1 영역이 제 2 영역보다 아이템의 더 큰 부분을 포함한다고 판정하는 동작과, 모바일 장치의 사용자 인터페이스에, 아이템이 제 1 영역의 경계 내에 완전히 포함되어서 볼 수 있게 하는 액션을 취하도록 사용자에게 명령하는 명령어를 표시하는 동작과, 아이템이 제 1 영역의 경계 내에 완전히 포함되어서 볼 수 있는지 검출하는 동작을 포함한다.
9. 예 8에 따른 시스템으로서, 동작은, 이미지 프레임의 배경을 자동으로 제거하는 동작을 더 포함하고, 배경을 자동으로 제거하는 동작은, 아이템의 이미지 프레임에 액세스하는 동작과, 제 1 영역 내에서 아이템의 경계를 검출하는 동작 - 아이템의 경계는 사용자 인터페이스 상에서의 아이템의 윤곽을 따라가는 것으로, 경계의 내측 부분은 아이템만을 포함하고 경계의 외측 부분은 이미지 프레임의 배경을 포함함 - 과, 경계의 내측 부분을 경계의 외측 부분과 구별하는 동작과, 제 1 바이너리 마스크를 산출하는 동작 - 제 1 바이너리 마스크는 이미지 프레임에 있어서 경계의 내측 부분 및 경계의 외측 부분을 포함함 - 과, 경계의 내측 부분 및 경계의 외측 부분을 포함하는, 이미지 프레임의 컬러 히스토그램을 계산하는 동작과, 경계의 내측 부분 및 경계의 외측 부분을 포함하는, 이미지 프레임의 확률 맵을 계산하는 동작과, 경계의 내측 부분 및 경계의 외측 부분을 포함하는, 확률 맵을 평활화하는 동작을 포함한다.
10. 예 9에 따른 시스템으로서, 이 동작은, 이미지 프레임 내에서 소정의 임계값 이상의 RGB 값을 가진 제 1 복수의 픽셀의 각각의 픽셀에는 제 1 바이너리 값을 할당하고, 이미지 프레임 내에서 소정의 임계값 미만의 RGB 값을 가진 제 2 복수의 픽셀의 각각의 픽셀에는 제 2 바이너리 값을 할당함으로써, 제 2 바이너리 마스크를 획득하는 동작과, 제 2 바이너리 마스크를 이미지 프레임에 적용함으로써, 제 1 무배경 아이템 이미지를 획득하는 동작을 더 포함한다.
11. 예 8 내지 10 중 어느 하나에 따른 시스템으로서, 동작은, 수동 마스크 편집을 수행하는 동작을 더 포함하고, 수동 마스크 편집을 수행하는 동작은, 확률 맵에 액세스하는 동작과, 모바일 장치로부터, 스크리블을 포함하는 사용자 입력을 수신하는 동작과, 스크리블을 평활화하는 동작과, 소정의 임계값 이상의 RGB 값을 가진 스크리블을 포함하는 제 3 복수의 픽셀의 각각의 픽셀에는 제 1 바이너리 값을 할당하고, 소정의 임계값 미만의 RGB 값을 가진 각각의 픽셀에는 제 2 바이너리 값을 할당하는 동작을 포함하는, 스크리블의 크기를 조정하는 동작을 포함한다.
12. 예 11에 따른 시스템으로서, 동작은, 크기가 조정된 스크리블을 확률 맵으로부터 구별하는 동작과, 크기가 조정된 스크리블을 포함하는 픽셀의 바이너리 값을 확률 맵에 가산하거나 혹은 확률 맵으로부터 감산하는 동작을 포함하는, 제 3 바이너리 마스크를 획득하는 동작과, 제 3 바이너리 마스크를 제 1 무배경 아이템 이미지에 적용함으로써, 제 2 무배경 아이템 이미지를 획득하는 동작을 더 포함한다.
13. 예 8 내지 12 중 어느 하나에 따른 시스템으로서, 동작은, 아이템 리스팅을 생성하고, 이미지 프레임으로부터 아이템 정보를 추론하며, 추론된 아이템 정보를 아이템 리스팅 폼에 자동으로 적용하는 동작을 더 포함한다.
14. 예 8 내지 13 중 어느 하나에 따른 시스템으로서, 동작은, 이미지 프레임으로부터의 아이템을, 모바일 장치의 사용자 인터페이스 상의 프레젠테이션 레이어에 표시하는 동작을 포함하는, 아이템 리스팅을 증강 현실 환경에 프레젠테이션하는 동작을 더 포함한다.
15. 프로그램 명령어의 세트가 저장된 컴퓨터-판독 가능 하드웨어 저장 장치로서, 프로그램 명령어는 컴퓨터에 의해 실행될 때 컴퓨터로 하여금 동작을 수행하게 하고, 동작은 아이템의 이미지를 캡쳐하는 동작을 포함하고, 이미지를 캡쳐하는 동작은, 사용자로 하여금, 모바일 장치의 사용자 인터페이스의 에어리어의 경계 내에 아이템이 포함되도록, 아이템으로부터의 방향으로 모바일 장치를 위치시키도록 가이드하는 동작과, 모바일 장치의 카메라를 통해서 아이템을 검출하고, 아이템의 적어도 하나의 이미지 프레임을 캡쳐하는 동작과, 적어도 하나의 이미지 프레임의 제 1 영역의 경계 및 제 2 영역의 경계를 산출하는 동작과, 제 1 영역이 제 2 영역보다 아이템의 더 큰 부분을 포함한다고 판정하는 동작과, 모바일 장치의 사용자 인터페이스에, 아이템이 제 1 영역의 경계 내에 완전히 포함되어서 볼 수 있게 하는 액션을 취하도록 사용자에게 명령하는 명령어를 표시하는 동작과, 아이템이 제 1 영역의 경계 내에 완전히 포함되어서 볼 수 있는지 검출하는 동작을 포함한다.
16. 예 15에 따른 컴퓨터-판독 가능 하드웨어 저장 장치로서, 동작은, 이미지 프레임의 배경을 자동으로 제거하는 동작을 더 포함하고, 배경을 자동으로 제거하는 동작은, 아이템의 이미지 프레임에 액세스하는 동작과, 제 1 영역 내에서 아이템의 경계를 검출하는 동작 - 아이템의 경계는 사용자 인터페이스 상에서의 아이템의 윤곽을 따라가는 것으로, 경계의 내측 부분은 아이템만을 포함하고 경계의 외측 부분은 이미지 프레임의 배경을 포함함 - 과, 경계의 내측 부분을 경계의 외측 부분과 구별하는 동작과, 제 1 바이너리 마스크를 산출하는 동작 - 제 1 바이너리 마스크는 이미지 프레임에 있어서 경계의 내측 부분 및 경계의 외측 부분을 포함함 - 과, 경계의 내측 부분 및 경계의 외측 부분을 포함하는, 이미지 프레임의 컬러 히스토그램을 계산하는 동작과, 경계의 내측 부분 및 경계의 외측 부분을 포함하는, 이미지 프레임의 확률 맵을 계산하는 동작과, 경계의 내측 부분 및 경계의 외측 부분을 포함하는, 확률 맵을 평활화하는 동작를 포함한다.
17. 예 16에 따른 컴퓨터-판독 가능 하드웨어 저장 장치로서, 동작은, 이미지 프레임 내에서 소정의 임계값 이상의 RGB 값을 가진 제 1 복수의 픽셀의 각각의 픽셀에는 제 1 바이너리 값을 할당하고, 이미지 프레임 내에서 소정의 임계값 미만의 RGB 값을 가진 제 2 복수의 픽셀의 각각의 픽셀에는 제 2 바이너리 값을 할당함으로써, 제 2 바이너리 마스크를 획득하는 동작과, 제 2 바이너리 마스크를 이미지 프레임에 적용함으로써, 제 1 무배경 아이템 이미지를 획득하는 동작을 더 포함한다.
18. 예 15 내지 예 17 중 어느 하나에 따른 컴퓨터-판독 가능 하드웨어 저장 장치로서, 동작은, 수동 마스크 편집을 수행하는 동작을 더 포함하고, 수동 마스크 편집을 수행하는 동작은, 확률 맵에 액세스하는 동작과, 모바일 장치로부터, 스크리블을 포함하는 사용자 입력을 수신하는 동작과, 스크리블을 평활화하는 동작과, 소정의 임계값 이상의 RGB 값을 가진 스크리블을 포함하는 제 3 복수의 픽셀의 각각의 픽셀에는 제 1 바이너리 값을 할당하고, 소정의 임계값 미만의 RGB 값을 가진 각각의 픽셀에는 제 2 바이너리 값을 할당하는 것을 포함하는, 스크리블의 크기를 조정하는 동작을 포함한다.
19. 예 18에 따른 컴퓨터-판독 가능 하드웨어 저장 장치로서, 동작은, 크기가 조정된 스크리블을 확률 맵으로부터 구별하는 것과, 크기가 조정된 스크리블을 포함하는 픽셀의 바이너리 값을 확률 맵에 가산하거나 혹은 확률 맵으로부터 감산하는 것을 포함하는, 제 3 바이너리 마스크를 획득하는 동작과, 제 3 바이너리 마스크를 제 1 무배경 아이템 이미지에 적용함으로써, 제 2 무배경 아이템 이미지를 획득하는 동작을 더 포함한다.
20. 예 15 내지 예 19 중 어느 하나에 따른 컴퓨터-판독 가능 하드웨어 저장 장치로서, 동작은, 아이템 리스팅을 생성하고, 이미지 프레임으로부터 아이템 정보를 추론하며, 추론된 아이템 정보를 아이템 리스팅 폼에 자동으로 적용하는 동작을 더 포함한다.
21. 컴퓨터에 의해 실행될 때 컴퓨터로 하여금 예 1 내지 예 7 중 어느 하나에 개시된 방법을 실행하게 하는 프로그램 명령어의 세트를 전송하는 반송파 매체이다.

Claims (17)

  1. 적어도 하나의 프로세서에 의해 실행되는 방법으로서,
    아이템의 이미지를 캡쳐하는 단계와,
    사용자의 개입없이, 상기 이미지의 픽셀의 제 1 부분을 배경 픽셀로 분류하는 단계와,
    상기 제 1 부분을 분류하는 것에 기초해서, 상기 이미지를 수정하여 상기 아이템의 제 1 무배경(background-free) 이미지를 생성하는 단계와,
    전자 디스플레이에 상기 제 1 무배경 이미지를 표시하는 단계와,
    상기 사용자로부터, 상기 표시된 상기 제 1 무배경 이미지 상에서 스크리블(scribble)을 정의하는 데이터를 수신하는 단계와,
    상기 스크리블에 기초하여 상기 제 1 무배경 이미지의 픽셀의 제 2 부분을 배경 픽셀로 분류하는 단계와,
    상기 제 2 부분을 분류하는 것에 기초해서, 상기 제 1 무배경 이미지를 수정하여 상기 아이템의 제 2 무배경 이미지를 생성하는 단계
    를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 이미지의 픽셀의 제 1 부분을 배경 픽셀로 분류하는 단계는, 상기 이미지의 픽셀 각각에 대해 확률을 결정하는 단계를 포함하고,
    상기 확률은 상기 이미지의 픽셀 각각이 상기 이미지의 배경 영역의 일부인지 여부를 나타내는
    방법.
  3. 제 2 항에 있어서,
    상기 이미지에 대한 컬러 히스토그램을 결정하는 단계를 더 포함하고,
    상기 확률을 결정하는 단계는 상기 컬러 히스토그램에 기초하는
    방법.
  4. 제 1 항에 있어서,
    모바일 장치의 사용자 인터페이스의 영역의 경계 내에 상기 아이템이 포함되도록, 상기 아이템으로부터의 방향으로 상기 모바일 장치를 위치시키는 가이드를 표시하는 단계
    를 더 포함하는
    방법.
  5. 제 1 항에 있어서,
    상기 제 2 무배경 이미지에 의해 표현되는 상기 아이템을 분류하는 단계와,
    상기 아이템을 분류하는 것에 기초해서 상기 아이템에 대한 아이템 리스팅을 생성하는 단계
    를 더 포함하는
    방법.
  6. 제 1 항에 있어서,
    상기 제 1 무배경 이미지를 표시하는 단계는, 상기 제 1 무배경 이미지의 바이너리 마스크를 표시하는 단계를 포함하고,
    상기 사용자로부터, 상기 스크리블을 정의하는 데이터를 수신하는 단계는, 상기 사용자로부터 상기 이진 마스크에 대한 하나 이상의 변화를 정의하는 입력을 수신하는 단계를 포함하는
    방법.
  7. 제 1 항에 있어서,
    도메인 변환 지오데식 필터링(domain transform geodesic filtering)을 사용하여 상기 스크리블을 평활화(smooth)하는 단계와,
    상기 스크리블의 이진 양자화를 수행함으로써 상기 스크리블을 스케일링하는 단계
    를 더 포함하고,
    상기 제 2 부분을 배경 픽셀로 분류하는 단계는, 상기 평활화되고 스케일링된 스크리블에 기초하는
    방법.
  8. 제 1 항에 있어서,
    상기 이미지의 픽셀의 제 1 부분을 배경 픽셀로 분류하는 단계는, 상기 이미지의 이진 마스크를 생성하는 단계와, 상기 이진 마스크를 평활화하고 스케일링하는 단계를 포함하고,
    상기 이미지를 수정하는 것은 상기 평활화되고 스케일링된 이진 마스크에 기초하는
    방법.
  9. 시스템으로서,
    하드웨어 처리 회로와,
    명령어가 저장된 하나 이상의 하드웨어 메모리
    를 포함하고,
    상기 명령어는 실행될 때 동작을 수행하도록 상기 하드웨어 처리 회로를 구성하며,
    상기 동작은,
    아이템의 이미지를 캡쳐하는 것과,
    사용자의 개입없이, 상기 이미지의 픽셀의 제 1 부분을 배경 픽셀로 분류하는 것과,
    상기 제 1 부분을 분류하는 것에 기초해서, 상기 이미지를 수정하여 상기 아이템의 제 1 무배경 이미지를 생성하는 것과,
    전자 디스플레이에 상기 제 1 무배경 이미지를 표시하는 것과,
    상기 사용자로부터, 상기 표시된 상기 제 1 무배경 이미지 상에서 스크리블을 정의하는 데이터를 수신하는 것과,
    상기 스크리블에 기초하여 상기 제 1 무배경 이미지의 픽셀의 제 2 부분을 배경 픽셀로 분류하는 것과,
    상기 제 2 부분을 분류하는 것에 기초해서, 상기 제 1 무배경 이미지를 수정하여 상기 아이템의 제 2 무배경 이미지를 생성하는 것을 포함하는
    시스템.
  10. 제 9 항에 있어서,
    상기 이미지의 픽셀의 제 1 부분을 배경 픽셀로 분류하는 것은, 상기 이미지의 픽셀 각각에 대해 확률을 결정하는 것을 포함하고,
    상기 확률은 상기 이미지의 픽셀 각각이 상기 이미지의 배경 영역의 일부인지 여부를 나타내는
    시스템.
  11. 제 10 항에 있어서,
    상기 동작은, 상기 이미지에 대한 컬러 히스토그램을 결정하는 것을 더 포함하고,
    상기 확률을 결정하는 것은 상기 컬러 히스토그램에 기초하는
    시스템.
  12. 제 9 항에 있어서,
    상기 동작은, 모바일 장치의 사용자 인터페이스의 영역의 경계 내에 상기 아이템이 포함되도록, 상기 아이템으로부터의 방향으로 상기 모바일 장치를 위치시키는 가이드를 표시하는 것을 더 포함하는
    시스템.
  13. 제 9 항에 있어서,
    상기 동작은,
    상기 제 2 무배경 이미지에 의해 표현되는 상기 아이템을 분류하는 것과,
    상기 아이템을 분류하는 것에 기초하여 상기 아이템에 대한 아이템 리스팅을 생성하는 것
    을 더 포함하는
    시스템.
  14. 제 9 항에 있어서,
    상기 제 1 무배경 이미지를 표시하는 것은, 상기 제 1 무배경 이미지의 바이너리 마스크를 표시하는 것을 포함하고,
    상기 사용자로부터, 상기 스크리블을 정의하는 데이터를 수신하는 것은, 상기 사용자로부터 상기 이진 마스크에 대한 하나 이상의 변화를 정의하는 입력을 수신하는 것을 포함하는
    시스템.
  15. 제 9 항에 있어서,
    상기 동작은,
    도메인 변환 지오데식 필터링을 사용하여 스크리블을 평활화하는 것과,
    상기 스크리블의 이진 양자화를 수행함으로써 상기 스크리블을 스케일링하는 것
    을 더 포함하고,
    상기 제 2 부분을 분류하는 것은, 상기 평활화되고 스케일링된 스크리블에 기초하는
    시스템.
  16. 제 9 항에 있어서,
    상기 이미지의 픽셀의 제 1 부분을 배경 픽셀로 분류하는 것은, 상기 이미지의 이진 마스크를 생성하는 것과, 상기 이진 마스크를 평활화하고 스케일링하는 것을 포함하고,
    상기 이미지를 수정하는 것은 상기 평활화되고 스케일링된 이진 마스크에 기초하는
    시스템.
  17. 실행될 때 제 1 항 내지 제 8 항 중 어느 한 항에 개시된 방법을 수행하도록 하드웨어 처리 회로를 구성하는 명령어를 포함하는 비일시적 컴퓨터 판독 가능 저장 매체.
KR1020207005017A 2015-12-04 2016-11-30 자동 가이드식 이미지 캡쳐 및 프레젠테이션 Active KR102123780B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562263433P 2015-12-04 2015-12-04
US62/263,433 2015-12-04
US15/361,973 2016-11-28
US15/361,973 US10270965B2 (en) 2015-12-04 2016-11-28 Automatic guided capturing and presentation of images
PCT/US2016/064057 WO2017095834A1 (en) 2015-12-04 2016-11-30 Automatic-guided image capturing and presentation

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187019034A Division KR102081842B1 (ko) 2015-12-04 2016-11-30 자동 가이드식 이미지 캡쳐 및 프레젠테이션

Publications (2)

Publication Number Publication Date
KR20200021555A true KR20200021555A (ko) 2020-02-28
KR102123780B1 KR102123780B1 (ko) 2020-06-16

Family

ID=57589196

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020187019034A Active KR102081842B1 (ko) 2015-12-04 2016-11-30 자동 가이드식 이미지 캡쳐 및 프레젠테이션
KR1020207005017A Active KR102123780B1 (ko) 2015-12-04 2016-11-30 자동 가이드식 이미지 캡쳐 및 프레젠테이션

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020187019034A Active KR102081842B1 (ko) 2015-12-04 2016-11-30 자동 가이드식 이미지 캡쳐 및 프레젠테이션

Country Status (5)

Country Link
US (5) US10270965B2 (ko)
EP (1) EP3384458A1 (ko)
KR (2) KR102081842B1 (ko)
CN (2) CN115115499B (ko)
WO (1) WO2017095834A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11966995B2 (en) 2015-12-04 2024-04-23 Ebay Inc. Automatic guided image capturing and presentation of images

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10475113B2 (en) 2014-12-23 2019-11-12 Ebay Inc. Method system and medium for generating virtual contexts from three dimensional models
US10636063B1 (en) * 2016-11-08 2020-04-28 Wells Fargo Bank, N.A. Method for an augmented reality value advisor
US10430987B1 (en) * 2017-06-09 2019-10-01 Snap Inc. Annotating an image with a texture fill
US10949578B1 (en) * 2017-07-18 2021-03-16 Pinar Yaman Software concept to digitally try any object on any environment
EP3496387A1 (en) * 2017-12-05 2019-06-12 Koninklijke Philips N.V. Apparatus and method of image capture
EP3815022A4 (en) * 2018-06-29 2022-03-09 Ghost House Technology, LLC SYSTEM, DEVICE AND METHOD FOR ARTICLE LOCATION, LISTING, ROUTING, IMAGING AND DETECTION
US11803664B2 (en) * 2018-10-09 2023-10-31 Ebay Inc. Distributed application architectures using blockchain and distributed file systems
US10445899B1 (en) 2018-11-26 2019-10-15 Capital One Services, Llc System and method for recalibrating an augmented reality experience using physical markers
US11880877B2 (en) 2018-12-07 2024-01-23 Ghost House Technology, Llc System for imaging and detection
EP4257035A3 (en) * 2018-12-20 2024-01-03 Coloplast A/S Ostomy condition classification with masking, devices and related methods
US10445915B1 (en) * 2019-04-09 2019-10-15 Coupang Corp. Systems and methods for efficient management and modification of images
JP7348754B2 (ja) * 2019-06-03 2023-09-21 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
US11682068B2 (en) * 2019-09-16 2023-06-20 Mercari, Inc. Automating the creation of listings using augmented reality computer technology
US11386473B2 (en) * 2019-10-24 2022-07-12 Shopify Inc. Systems and methods for providing product image recommendations
FR3104296A1 (fr) * 2019-12-06 2021-06-11 Amadeus Système de determination de produit optimisé
US11069043B1 (en) * 2020-03-13 2021-07-20 Konica Minolta Business Solutions U.S.A., Inc. Background noise reduction using a variable range of color values dependent upon the initial background color distribution
JP7360997B2 (ja) * 2020-06-18 2023-10-13 京セラ株式会社 情報処理システム、情報処理装置、および情報処理方法
US12574467B2 (en) * 2020-09-02 2026-03-10 Shopify Inc. Methods and devices for capturing an item image
US12380480B2 (en) * 2022-02-14 2025-08-05 Yahoo Ad Tech Llc Method, non-transitory machine readable medium, and computing device for product similarity detection and recommendation
US20240161162A1 (en) * 2022-11-11 2024-05-16 Ebay Inc. Guided capture methodologies

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090130003A (ko) * 2007-03-02 2009-12-17 오가닉 모션 삼차원 물체를 트래킹하기 위한 시스템 및 방법
KR20150058733A (ko) * 2013-11-21 2015-05-29 오테리 테크놀러지스 인코포레이티드 가상현실 이미지 프레젠테이션 및 3d 공간 내에서의 컨트롤을 위한 3d 기하학 데이터의 이용방법

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7702540B1 (en) * 1995-04-26 2010-04-20 Ebay Inc. Computer-implement method and system for conducting auctions on the internet
US5574511A (en) * 1995-10-18 1996-11-12 Polaroid Corporation Background replacement for an image
US5978519A (en) * 1996-08-06 1999-11-02 Xerox Corporation Automatic image cropping
KR100503039B1 (ko) * 2002-11-25 2005-07-22 삼성테크윈 주식회사 사용자가 쉽게 증명 사진을 촬영할 수 있도록 디지털카메라의동작을 제어하는 방법
US8732025B2 (en) * 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
US7676081B2 (en) * 2005-06-17 2010-03-09 Microsoft Corporation Image segmentation of foreground from background layers
US8086502B2 (en) * 2008-03-31 2011-12-27 Ebay Inc. Method and system for mobile publication
US8437570B2 (en) * 2008-05-23 2013-05-07 Microsoft Corporation Geodesic image and video processing
US9547799B2 (en) * 2008-07-17 2017-01-17 Sharp Laboratories Of America, Inc. Methods and systems for content-boundary detection
US7991646B2 (en) * 2008-10-30 2011-08-02 Ebay Inc. Systems and methods for marketplace listings using a camera enabled mobile device
US9349143B2 (en) * 2008-11-24 2016-05-24 Ebay Inc. System and method for generating an electronic catalog booklet for online computer users
US8320666B2 (en) * 2009-08-14 2012-11-27 Genesis Group Inc. Real-time image and video matting
US8520975B2 (en) * 2009-10-30 2013-08-27 Adobe Systems Incorporated Methods and apparatus for chatter reduction in video object segmentation using optical flow assisted gaussholding
CN102411703A (zh) * 2010-09-21 2012-04-11 索尼公司 检测图像序列中的特定对象的装置、方法和视频摄像设备
US20120075440A1 (en) * 2010-09-28 2012-03-29 Qualcomm Incorporated Entropy based image separation
SG193942A1 (en) * 2011-04-21 2013-11-29 Univ Nanyang Tech A method and system for interactive image segmentation
US8565532B2 (en) * 2011-06-17 2013-10-22 Adobe Systems Incorporated Edge-based approach for interactive image editing
US9153031B2 (en) * 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
KR101832959B1 (ko) 2011-08-10 2018-02-28 엘지전자 주식회사 휴대 전자기기 및 이의 제어방법
US9449342B2 (en) 2011-10-27 2016-09-20 Ebay Inc. System and method for visualization of items in an environment using augmented reality
US8687104B2 (en) * 2012-03-27 2014-04-01 Amazon Technologies, Inc. User-guided object identification
CN102708370B (zh) * 2012-05-17 2015-04-15 北京交通大学 一种多视角图像前景目标提取方法及装置
US9064184B2 (en) 2012-06-18 2015-06-23 Ebay Inc. Normalized images for item listings
KR102026717B1 (ko) 2013-02-08 2019-10-04 삼성전자 주식회사 사진 촬영 가이드 방법 및 이를 구현하는 휴대 단말
US20150058150A1 (en) * 2013-08-21 2015-02-26 Ron Gura Systems and methods for providing selling assistance
WO2015044947A1 (en) 2013-09-30 2015-04-02 Yanai Danielle Image and video processing and optimization
JP5811416B2 (ja) * 2013-10-09 2015-11-11 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9401027B2 (en) * 2013-10-21 2016-07-26 Nokia Technologies Oy Method and apparatus for scene segmentation from focal stack images
US9495755B2 (en) * 2013-10-22 2016-11-15 Nokia Technologies Oy Apparatus, a method and a computer program for image processing
US10026206B2 (en) * 2014-02-19 2018-07-17 Qualcomm Incorporated Image editing techniques for a device
GB2523329A (en) * 2014-02-20 2015-08-26 Nokia Technologies Oy Method, apparatus and computer program product for image segmentation
US10235587B2 (en) 2014-03-04 2019-03-19 Samsung Electronics Co., Ltd. Method and system for optimizing an image capturing boundary in a proposed image
US10089740B2 (en) * 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US20160335681A1 (en) * 2014-05-13 2016-11-17 David Benjamin Swanson Selectively Shared and Custom-Branded/Re-branded Online Subscription Merchandising
US10839441B2 (en) * 2014-06-09 2020-11-17 Ebay Inc. Systems and methods to seed a search
JP6518409B2 (ja) * 2014-06-30 2019-05-22 オリンパス株式会社 撮影装置及び撮影方法
US10609273B2 (en) * 2014-07-31 2020-03-31 Maxell, Ltd. Image pickup device and method of tracking subject thereof
US20160034944A1 (en) * 2014-08-04 2016-02-04 Oren Raab Integrated mobile listing service
US9807316B2 (en) * 2014-09-04 2017-10-31 Htc Corporation Method for image segmentation
WO2016207875A1 (en) * 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
CA3002808A1 (en) * 2015-10-21 2017-04-27 Walmart Apollo, Llc Apparatus and method for providing a virtual shopping space
US10270965B2 (en) 2015-12-04 2019-04-23 Ebay Inc. Automatic guided capturing and presentation of images
US10762636B2 (en) * 2017-06-29 2020-09-01 HealthMyne, Inc. Systems and methods for volumetric segmentation of structures in planar medical images
EP3671484A4 (en) 2017-09-07 2020-06-24 Huawei Technologies Co., Ltd. PRESENTATION IMAGE DISPLAY METHOD AND TERMINAL
US10949907B1 (en) * 2020-06-23 2021-03-16 Price Technologies Inc. Systems and methods for deep learning model based product matching using multi modal data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090130003A (ko) * 2007-03-02 2009-12-17 오가닉 모션 삼차원 물체를 트래킹하기 위한 시스템 및 방법
KR20150058733A (ko) * 2013-11-21 2015-05-29 오테리 테크놀러지스 인코포레이티드 가상현실 이미지 프레젠테이션 및 3d 공간 내에서의 컨트롤을 위한 3d 기하학 데이터의 이용방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11966995B2 (en) 2015-12-04 2024-04-23 Ebay Inc. Automatic guided image capturing and presentation of images
US12307544B2 (en) 2015-12-04 2025-05-20 Ebay Inc. Automatic guided image capturing and presentation of images

Also Published As

Publication number Publication date
US20240221108A1 (en) 2024-07-04
CN108292425A (zh) 2018-07-17
CN115115499B (zh) 2025-03-25
US20190289199A1 (en) 2019-09-19
US10270965B2 (en) 2019-04-23
US11258944B2 (en) 2022-02-22
WO2017095834A1 (en) 2017-06-08
CN115115499A (zh) 2022-09-27
KR20180089494A (ko) 2018-08-08
US20170163882A1 (en) 2017-06-08
KR102123780B1 (ko) 2020-06-16
EP3384458A1 (en) 2018-10-10
CN108292425B (zh) 2022-08-09
US20200366834A1 (en) 2020-11-19
US10771685B2 (en) 2020-09-08
US12307544B2 (en) 2025-05-20
US11966995B2 (en) 2024-04-23
US20220239829A1 (en) 2022-07-28
KR102081842B1 (ko) 2020-02-26

Similar Documents

Publication Publication Date Title
US12307544B2 (en) Automatic guided image capturing and presentation of images
US9607010B1 (en) Techniques for shape-based search of content
US20190179405A1 (en) Providing a digital model of a corresponding product in a camera feed
US9535945B2 (en) Intent based search results associated with a modular search object framework
US9830388B2 (en) Modular search object framework
US11468675B1 (en) Techniques for identifying objects from video content
US11397764B2 (en) Machine learning for digital image selection across object variations
US20150026012A1 (en) Systems and methods for online presentation of storefront images
US20150317319A1 (en) Enhanced search results associated with a modular search object framework
JP2020502662A (ja) 画像のインテリジェント自動クロッピング
US20250348518A1 (en) Systems, devices, and methods for content selection
US20200125240A1 (en) Personalized Curation and Customized Social Interaction
EP3499447A1 (en) Providing a digital model of corresponding product in a camera feed
CN106202089B (zh) 一种确定图片质量和网页展示的方法及设备
US9672436B1 (en) Interfaces for item search
US10776860B2 (en) Retail website user interface, systems, and methods for displaying trending looks
TW202325032A (zh) 區域性增強數位視訊串流中的臉部

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20200220

Application number text: 1020187019034

Filing date: 20180703

PA0201 Request for examination
PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200422

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200610

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200610

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230518

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240514

Start annual number: 5

End annual number: 5