KR20200063777A - 디스플레이 장치 및 그 제어 방법 - Google Patents

디스플레이 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20200063777A
KR20200063777A KR1020180149914A KR20180149914A KR20200063777A KR 20200063777 A KR20200063777 A KR 20200063777A KR 1020180149914 A KR1020180149914 A KR 1020180149914A KR 20180149914 A KR20180149914 A KR 20180149914A KR 20200063777 A KR20200063777 A KR 20200063777A
Authority
KR
South Korea
Prior art keywords
user
content
interest
information
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180149914A
Other languages
English (en)
Other versions
KR102788778B1 (ko
Inventor
서찬원
김예훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180149914A priority Critical patent/KR102788778B1/ko
Priority to US16/570,269 priority patent/US11294457B2/en
Publication of KR20200063777A publication Critical patent/KR20200063777A/ko
Application granted granted Critical
Publication of KR102788778B1 publication Critical patent/KR102788778B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06K9/3233—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

디스플레이 장치 및 그의 제어 방법이 개시된다. 본 디스플레이 장치 및 그의 제어 방법은 카메라, 디스플레이 및 컨텐츠를 디스플레이하도록 디스플레이를 제어하고 카메라를 통해 촬영된 사용자 영상에 기초하여 디스플레이에 표시되는 컨텐츠 내에서 사용자의 관심 오브젝트를 식별하고, 관심 오브젝트의 감정 정보 및 사용자의 감정 정보 간 유사도에 기초하여 컨텐츠와 관련된 선호도를 식별하는 프로세서를 포함한다.

Description

디스플레이 장치 및 그 제어 방법{DISPLAY APPARATUS AND CONTROLLING METHOD THEREOF}
본 개시는 디스플레이 장치 및 그 제어방법에 관한 것으로, 더욱 상세하게는 컨텐츠에 대한 사용자의 선호도를 분석하는 디스플레이 장치 및 그 제어방법에 대한 것이다.
최근 사용자에 적합한 컨텐츠를 제공하는 다양한 기술이 존재하며, 사용자에게 적합한 컨텐츠를 이용하여 추천 서비스를 제공하거나 사용자에게 맞는 광고를 제공할 수 있다.
기존의 사용자 맞춤형 광고 또는 서비스는 사용자의 시청 이력 등을 분석하여 사용자의 선호도를 파악하였다. 하지만, 단순히 시청 이력을 통해서는 사용자가 원하는 컨텐츠의 종류만을 식별 가능하고 컨텐츠에 포함된 다양한 오브젝트 중 어느 분야를 선호하는지 여부를 파악하기 어렵다는 문제점이 있다.
예를 들어, 기존의 방법으로는 사용자가 선호하는 컨텐츠가 스포츠인지 드라마인지를 식별하거나, 좋아하는 스포츠가 축구인지 농구인지 여부만을 알 수 있을 뿐, 스포츠에서 어느 팀을 좋아하고 어느 선수를 좋아하는지 등 구체적인 선호 사항을 알기 어렵다는 문제점이 있다.
또한, 하나의 컨텐츠에서 포함하고 있는 복수의 오브젝트 중 어느 오브젝트에 사용자가 공감하고 몰입하는지 알기 어렵다는 단점이 있었다.
본 개시는 상술한 문제를 개선하기 위해 고안된 것으로, 본 개시의 목적은 사용자 영상을 통해 관심 오브젝트 및 사용자의 감정을 인식하여 비교하는 디스플레이 장치 및 그의 제어방법을 제공함에 있다.
디스플레이 장치에 있어서, 카메라, 디스플레이 및 컨텐츠를 디스플레이하도록 상기 디스플레이를 제어하고 상기 카메라를 통해 촬영된 사용자 영상에 기초하여 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 사용자의 관심 오브젝트를 식별하고, 상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별하는 프로세서를 포함한다.
또한, 상기 프로세서는 상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 관심 오브젝트에 대한 선호도를 식별하고, 복수의 관심 오브젝트 각각에 대한 선호도에 기초하여 상기 컨텐츠에 대한 선호도 또는 상기 컨텐츠에 대응되는 컨텐츠 타입 중 적어도 하나에 대한 선호도를 식별할 수 있다.
여기서, 상기 프로세서는 상기 컨텐츠를 복수의 컨텐츠 구간으로 식별하고 상기 복수의 컨텐츠 구간 각각에서 상기 사용자의 관심 오브젝트를 식별하고, 각 컨텐츠 구간에서 식별된 관심 오브젝트의 감정 정보 및 상기 각 컨텐츠 구간에 대응되는 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별할 수 있다.
또한, 상기 프로세서는 상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보가 동일 또는 유사 감정이라고 식별되면, 제1 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별하고, 상기 사용자의 감정 정보가 상기 관심 오브젝트의 감정 정보에 대한 리액션 감정이라고 식별되면, 제2 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별할 수 있다.
또한, 상기 프로세서는 상기 디스플레이 장치 또는 상기 사용자 중 적어도 하나의 컨텍스트에 기초하여 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 사용자의 관심 오브젝트를 식별할 수 있다.
또한, 상기 프로세서는 상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 컨텐츠 또는 상기 관심 오브젝트 중 적어도 하나에 대한 사용자 공감도를 식별하고, 상기 식별된 사용자 공감도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별할 수 있다.
또한, 상기 프로세서는 상기 사용자의 시선 정보, 상기 사용자의 생체 정보 또는 상기 사용자의 음성 정보 중 적어도 하나에 기초하여 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 사용자의 관심 오브젝트를 식별할 수 있다.
또한, 상기 프로세서는 상기 컨텐츠와 관련된 선호도에 기초하여 광고 컨텐츠, 추천 컨텐츠 또는 요약 컨텐츠 중 적어도 하나를 제공할 수 있다.
또한, 상기 프로세서는 상기 카메라를 통해 촬영된 사용자 영상에서 제1 및 제2 사용자가 식별되면, 상기 제1 및 제2 사용자 각각의 관심 오브젝트를 식별하고, 상기 제1 및 제2 사용자 각각에 대응되는 관심 오브젝트의 감정 정보 및 상기 제1 및 제2 사용자 각각의 감정 정보 간 제1 및 제2 유사도에 기초하여 상기 컨텐츠와 관련된 제1 및 제2 선호도를 식별할 수 있다.
또한, 상기 프로세서는 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 관심 오브젝트가 복수 개 식별되면, 상기 사용자 영상에 기초하여 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 사용자의 시선이 집중되는 부가 정보를 식별하고, 상기 식별된 부가 정보에 기초하여 상기 복수의 관심 오브젝트 중 하나를 식별하고, 상기 부가 정보는 상기 복수의 관심 오브젝트 각각과 관련된 정보일 수 있다.
한편, 디스플레이 장치 제어 방법은 컨텐츠를 디스플레이하도록 디스플레이를 제어하는 단계, 카메라를 통해 촬영된 사용자 영상에 기초하여 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 사용자의 관심 오브젝트를 식별하는 단계 및 상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별하는 단계를 포함한다.
상기 컨텐츠와 관련된 선호도를 식별하는 단계는 상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 관심 오브젝트에 대한 선호도를 식별하고, 복수의 관심 오브젝트 각각에 대한 선호도에 기초하여 상기 컨텐츠에 대한 선호도 또는 상기 컨텐츠에 대응되는 컨텐츠 타입 중 적어도 하나에 대한 선호도를 식별할 수 있다.
여기서, 상기 컨텐츠와 관련된 선호도를 식별하는 단계는 상기 컨텐츠를 복수의 컨텐츠 구간으로 식별하고 상기 복수의 컨텐츠 구간 각각에서 상기 사용자의 관심 오브젝트를 식별하고, 각 컨텐츠 구간에서 식별된 관심 오브젝트의 감정 정보 및 상기 각 컨텐츠 구간에 대응되는 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별할 수 있다.
또한, 상기 컨텐츠와 관련된 선호도를 식별하는 단계는 상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보가 동일 또는 유사 감정이라고 식별되면, 제1 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별하고, 상기 사용자의 감정 정보가 상기 관심 오브젝트의 감정 정보에 대한 리액션 감정이라고 식별되면, 제2 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별할 수 있다.
또한, 상기 사용자의 관심 오브젝트를 식별하는 단계는 상기 디스플레이 장치 또는 상기 사용자 중 적어도 하나의 컨텍스트에 기초하여 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 사용자의 관심 오브젝트를 식별할 수 있다.
또한, 상기 컨텐츠와 관련된 선호도를 식별하는 단계는 상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 컨텐츠 또는 상기 관심 오브젝트 중 적어도 하나에 대한 사용자 공감도를 식별하고, 상기 식별된 사용자 공감도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별할 수 있다.
또한, 상기 사용자의 관심 오브젝트를 식별하는 단계는 상기 사용자의 시선 정보, 상기 사용자의 생체 정보 또는 상기 사용자의 음성 정보 중 적어도 하나에 기초하여 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 사용자의 관심 오브젝트를 식별할 수 있다.
한편, 상기 디스플레이 장치 제어 방법은 상기 컨텐츠와 관련된 선호도에 기초하여 광고 컨텐츠, 추천 컨텐츠 또는 요약 컨텐츠 중 적어도 하나를 제공하는 단계를 더 포함할 수 있다.
또한, 상기 컨텐츠와 관련된 선호도를 식별하는 단계는 상기 카메라를 통해 촬영된 사용자 영상에서 제1 및 제2 사용자가 식별되면, 상기 제1 및 제2 사용자 각각의 관심 오브젝트를 식별하고, 상기 제1 및 제2 사용자 각각에 대응되는 관심 오브젝트의 감정 정보 및 상기 제1 및 제2 사용자 각각의 감정 정보 간 제1 및 제2 유사도에 기초하여 상기 컨텐츠와 관련된 제1 및 제2 선호도를 식별할 수 있다.
한편, 본 개시의 일 실시 예에 따른 디스플레이 장치의 프로세서에 의해 실행되는 경우 상기 디스플레이 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은 컨텐츠를 디스플레이하도록 디스플레이를 제어하는 단계, 카메라를 통해 촬영된 사용자 영상에 기초하여 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 사용자의 관심 오브젝트를 식별하는 단계 및 상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별하는 단계를 포함할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치를 도시한 블록도이다.
도 2는 도 1에서 개시한 디스플레이 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도 3 은 사용자 시선을 분석하는 동작을 설명하기 위한 도면이다.
도 4는 사용자 영상을 분석하여 관심 오브젝트 분석 및 사용자 분석 동작을 설명하기 위한 도면이다.
도 5는 관심 오브젝트 및 사용자에 대한 감정 인식 동작을 설명하기 위한 도면이다.
도 6은 감정의 유사도를 설명하기 위한 도면이다.
도 7은 컨텐츠를 복수의 구간으로 구분하여 관심 오브젝트를 식별하는 동작을 설명하기 위한 도면이다.
도 8은 사용자가 특정 사물에 시선을 고정하는 경우를 설명하기 위한 도면이다.
도 9는 사용자가 특정 사물에 시선을 고정하는 경우, 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 10은 디스플레이 장치가 획득한 모든 오브젝트 정보를 이용하여 선호도를 분석하는 동작을 설명하기 위한 도면이다.
도 11은 디스플레이 장치가 오브젝트의 등장횟수를 고려하여 선호도를 분석하는 동작을 설명하기 위한 도면이다.
도 12는 디스플레이 장치가 오브젝트의 종류에 따라 서로 다른 임계 값을 적용하여 선호도를 분석하는 동작을 설명하기 위한 도면이다.
도 13은 본 개시의 또 다른 실시 예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 14는 디스플레이 장치가 부가 정보를 이용하여 관심 오브젝트를 식별하는 동작을 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 도면이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다." 또는 "구성되다." 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 개시된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치를 도시한 블록도이다.
도 1을 참조하면, 디스플레이 장치(100)는 카메라(105), 디스플레이(110) 및 프로세서(120)를 포함할 수 있다.
디스플레이 장치(100)는 디스플레이를 포함하는 다양한 장치를 포함할 수 있다. 디스플레이 장치(100)는 TV, 데스크탑 PC, 노트북, 스마트폰, 태블릿 PC, 서버 등일 수 있다. 한편, 상술한 예는 전자 장치를 설명하기 위한 예시에 불과하며 반드시 상술한 장치에 한정되는 것은 아니다.
카메라(105)는 디스플레이 장치(100) 전면에 구비된 전면 카메라로 구현될 수 있으며, 디스플레이 장치(100) 전방에 있는 객체를 촬상하여, 촬영 이미지를 획득할 수 있다. 카메라(105)는 전방에 있는 피사체, 예를 들어, 사용자의 얼굴을 촬영하여 사용자 얼굴 이미지를 획득할 수 있다. 카메라(105)를 통해 피사체가 촬영되면, 피사체는 반도체 광학소자(CCD; Charge Coupled Device)를 통해 전기적인 영상 신호로 변환되고, 이와 같이 변환된 영상 신호는 증폭 및 디지털 신호로 변환된다. 이와 같이 변환된 디지털 신호는 디지털 신호 처리되어 촬영 이미지로 변환될 수 있다.
디스플레이(110)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(110) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(110)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등으로 구현될 수 있다.
또한, 본 발명의 일 실시 예에 따른, 디스플레이(110)는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 발명의 일 실시 예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.
또한, 디스플레이 장치(100)는 디스플레이(110)를 통해 컨텐츠를 표시할 수 있다.
프로세서(120)는 전자 장치의 전반적인 제어 동작을 수행할 수 있다. 구체적으로, 프로세서는 전자 장치의 전반적인 동작을 제어하는 기능을 한다.
프로세서(120)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
프로세서(120)는 컨텐츠를 디스플레이하도록 디스플레이(110)를 제어할 수 있다. 또한, 프로세서(120)는 카메라(105)를 통해 촬영된 사용자 영상에 기초하여 디스플레이(110)에 표시되는 컨텐츠 내에서 사용자의 관심 오브젝트를 식별할 수 있다. 이어서, 프로세서(120)는, 관심 오브젝트의 감정 정보 및 사용자의 감정 정보 간 유사도에 기초하여 컨텐츠와 관련된 선호도를 식별하는 프로세서(120)를 포함한다.
프로세서(120)는 입출력 인터페이스 또는 통신 인터페이스를 통해 컨텐츠를 수신할 수 있으며, 수신된 컨텐츠를 디스플레이(110)에 표시하도록 제어할 수 있다. 그리고, 프로세서(120)는 컨텐츠 영상에 포함된 복수의 오브젝트 중 관심 오브젝트를 식별할 수 있다. 여기서, 관심 오브젝트는 사용자가 컨텐츠 영상에 포함된 복수의 오브젝트 중 가장 관심을 갖는 오브젝트를 의미할 수 있다. 그리고, 관심 오브젝트는 특정 오브젝트의 종류, 이름에 해당할 수 있다. 예를 들어, 관심 오브젝트는 등장인물 A, 장소 A, 화장품A, 신발A, 의류 A와 같이 구분될 수 있다. 한편, 컨텐츠 선호도를 식별하는 전체 동작은 도 3, 도4, 도5에서 후술한다.
또한, 관심 오브젝트를 식별하기 위해 프로세서(120)는 사용자의 시선을 추적할 수 있다. 사용자가 특정 오브젝트에 시선을 오래 두는 경우, 프로세서(120)는 해당 오브젝트를 관심 오브젝트로 설정할 수 있다. 여기서, 관심 오브젝트는 몰입 여부를 통해 획득될 수 있다. 구체적으로, 프로세서(120)는 사용자가 오브젝트에 몰입했다고 판단하는 경우, 해당 오브젝트를 관심 오브젝트로 설정할 수 있다.
한편, 프로세서(120)는 사용자의 시선 정보, 생체 정보, 음성 정보 중 적어도 하나를 이용하여 몰입 여부 및 몰입 횟수를 판단할 수 있다.
시선 정보는 사용자가 디스플레이(110)의 특정 영역에 시선을 고정하였는지 여부를 나타내는 정보일 수 있다. 구체적으로, 시선 정보는 사용자가 특정 장면에서 등장인물 A를 바라보고 있었는지에 대한 정보를 의미할 수 있다. 예를 들어, 프로세서(120)는 사용자가 특정 오브젝트에 시선이 고정된 시간이 임계 값 이상인 경우, 사용자가 특정 오브젝트에 몰입했다고 판단할 수 있다.
생체 정보는 사용자의 생물학적 정보를 의미할 수 있으며, 구체적으로 생체 정보는 사용자의 심박수(맥박수), 동공 크기, 눈동자의 이동 여부, 체온 중 적어도 하나를 포함할 수 있다. 예를 들어, 프로세서(120)는 사용자의 특정 오브젝트에 시선이 고정됨과 동시에 심박수가 임계 값 이상인 경우, 사용자가 특정 오브젝트에 몰입했다고 판단할 수 있다.
음성 정보는 사용자가 발화한 음성을 의미할 수 있다. 프로세서(120)는 디스플레이 장치(100)가 포함한 마이크를 통해 사용자의 음성을 획득하고, 사용자 음성 신호를 분석하여 텍스트 정보로 변환할 수 있다. 그리고, 텍스트 정보가 기설정된 정보에 포함되는 경우, 프로세서(120)는 사용자의 음성을 발화한 시점에 사용자가 사용자의 시선이 고정된 오브젝트에 몰입했다고 판단할 수 있다. 예를 들어, 음성 정보는 감탄사 또는 기 설정된 단어를 포함할 수 있다. 기 설정된 단어는 "불쌍해", "멋있어", "아름다워", "저게 뭐지"와 같이 특정 오브젝트에 대한 선호 여부를 알 수 있는 단어일 수 있다. 예를 들어, 프로세서(120)가 마이크를 통해 사용자 음성에 "와우"라는 감탄사를 인식한다면, 프로세서(120)는 사용자가 "와우?"라는 감탄사를 발화한 시점에 시선이 고정된 오브젝트에 사용자가 몰입하였다고 판단할 수 있다.
몰입 여부는 사용자가 복수의 오브젝트 중 특정 오브젝트에 시선을 임계 값 이상으로 고정하였는지 여부로 판단할 수 있다. 예를 들어, 시선 고정의 임계 값이 5초라고 가정한다. 프로세서(120)는 사용자가 특정 오브젝트를 5초 이상 바라보고 있을 때(사용자의 시선을 특정 오브젝트에 고정하고 있을 때), 프로세서(120)는 해당 오브젝트를 관심 오브젝트로 설정할 수 있다.
한편, 몰입도는 몰입횟수/등장횟수로 계산될 수 있다. 또 다른 실시 예에 따라, 몰입도는 등장횟수 또는 몰입 횟수 중 적어도 하나를 이용하여 다양한 계산 방식으로 획득될 수 있다.
여기서, 유사도는 관심 오브젝트의 감정과 사용자의 감정이 어느 정도 유사한지를 수치화한 것일 수 있다. 예를 들어, 유사하지 않은 경우를 0점 동일한 경우를 100으로 가정한다. 여기서, 0-100의 범위는 사용자의 설정에 따라 달라질 수 있다. 유사도에 대한 구체적인 설명은 도 6에서 후술한다.
한편, 유사도는 컨텐츠의 카테고리 또는 장르에 따라 다른 기준을 가질 수 있다. 예를 들어 컨텐츠의 카테고리가 예능인 경우, 컨텐츠에 포함된 등장인물 및 사용자가 모두 기쁨 (또는 웃음)을 느끼는 경우가 많을 수 있다. 이 경우, 기쁨 (또는 웃음)의 감정에 대하여 유사도가 낮을 수 있다. 반대로, 컨텐츠의 카테고리가 다큐멘터리인 경우, 컨텐츠에 포함된 등장인물 및 사용자가 모두 기쁨 (또는 웃음)을 느끼는 경우가 많이 없을 수 있다. 이 경우, 기쁨 (또는 웃음)의 감정에 대하여 유사도가 높을 수 있다.
프로세서(120)는 유사도가 임계 값(예를 들어 70) 이상인 경우, 사용자가 특정 오브젝트에 감정 공감하였다고 판단할 수 있다. 예를 들어, 관심 오브젝트 감정의 감정이 행복이고 사용자 감정이 기쁨에 해당하는 경우, 프로세서(120)는 유사도를 80으로 판단할 수 있다. 그리고, 프로세서(120)는 기 저장된 임계 값이 70으로 되어 있는 경우, 사용자의 관심 오브젝트가 임계 값을 넘었다고 판단할 수 있다. 그리고, 프로세서(120)는 사용자가 관심 오브젝트에 감정적으로 공감했다고 판단할 수 있다. 즉, 프로세서(120)는 유사도를 이용하여 감정 공감 횟수를 판단할 수 있다.
또한, 프로세서(120)는 공감도는 감정 공감 횟수/등장횟수로 계산될 수 있다. 또 다른 실시 예에 따라, 공감도는 등장횟수 또는 감정 공감 횟수 중 적어도 하나를 이용하여 다양한 계산 방식으로 획득될 수 있다.
또한, 프로세서(120)는 관심 오브젝트의 감정 정보 및 사용자의 감정 정보 간 유사도에 기초하여 관심 오브젝트에 대한 선호도를 식별하고, 복수의 관심 오브젝트 각각에 대한 선호도에 기초하여 컨텐츠에 대한 선호도 또는 컨텐츠에 대응되는 컨텐츠 타입 중 적어도 하나에 대한 선호도를 식별할 수 있다.
프로세서(120)는 관심 오브젝트에 대한 선호도에 기초하여, 컨텐츠 자체에 대한 선호도를 판단할 수 있으며, 컨텐츠 타입에 대한 선호도도 판단할 수 있다. 예를 들어, 사용자가 관심 오브젝트에 대해 몰입하고 있고 관심 오브젝트의 감정과 사용자 감정사이에 유사도가 높은 경우, 프로세서(120)는 사용자가 시청하고 있는 컨텐츠를 선호하고 있다고 판단할 수 있다. 또한, 사용자가 시청하고 있는 컨텐츠의 장르 또는 타입(예를 들어, 드라마 또는 연애 드라마)중 적어도 하나를 선호하는 것으로 식별할 수 있다.
한편, 프로세서(120)는 컨텐츠에 포함된 장면마다 선호 여부를 판단할 수 있다. 이 경우, 포함된 장면은 시간 정보, 장소 또는 등장인물 중 적어도 하나를 이용하여 구분될 수 있다. 예를 들어, 프로세서(120)는 드라마 ABC 10회 600초 등장인물 A의 바다장면에 대한 사용자의 선호 여부를 판단할 수 있다. 본 명세서에서 개시하는 컨텐츠에 대한 선호도를 식별하는 표현은 컨텐츠에 포함된 장면에 대한 선호도를 포함할 수 있다.
여기서, 프로세서(120)는 컨텐츠를 복수의 컨텐츠 구간으로 식별하고 복수의 컨텐츠 구간 각각에서 사용자의 관심 오브젝트를 식별하고, 각 컨텐츠 구간에서 식별된 관심 오브젝트의 감정 정보 및 각 컨텐츠 구간에 대응되는 사용자의 감정 정보 간 유사도에 기초하여 컨텐츠와 관련된 선호도를 식별할 수 있다.
프로세서(120)는 선호도 분석의 편의성을 위해, 컨텐츠를 복수의 구간으로 구분할 수 있다. 복수의 구간은 동일한 시간을 가질 수 있고, 스토리에 따라 장면위주로 구분될 수 있다. 프로세서(120)는 하나의 컨텐츠에 대해 구분된 복수의 구간을 대표하는 관심 오브젝트를 설정할 수 있다. 구체적인 설명은 도 7에서 후술한다.
또한, 프로세서(120)는 관심 오브젝트의 감정 정보 및 사용자의 감정 정보가 동일 또는 유사 감정이라고 식별되면, 제1 유사도에 기초하여 컨텐츠와 관련된 선호도를 식별하고, 사용자의 감정 정보가 관심 오브젝트의 감정 정보에 대한 리액션 감정(기 설정된 감정)이라고 식별되면, 제2 유사도에 기초하여 컨텐츠와 관련된 선호도를 식별할 수 있다.
컨텐츠에 포함된 관심 오브젝트가 사람 또는 동물에 해당하는 경우, 얼굴 인식을 통해 관심 오브젝트의 감정을 인식할 수 있다. 여기서, 프로세서(120)는 관심 오브젝트의 감정 인식 동작을 수행하여 관심 오브젝트 감정을 획득할 수 있다. 그리고, 프로세서(120)는 관심 오브젝트 감정 및 사용자 감정을 모두 이용하여 컨텐츠에 대한 선호도를 식별할 수 있다.
한편, 컨텐츠에 포함된 관심 오브젝트가 감정을 인식할 수 없는 사물(물체)에 해당하는 경우, 프로세서(120)는 사용자의 감정만을 인식할 수 있다. 여기서, 프로세서(120)는 사용자의 감정만을 이용하여 컨텐츠에 대한 선호도를 식별할 수 있다. 예를 들어, 관심 오브젝트가 사물에 해당하는 경우 사용자는 해당 사물에 대해 놀라움 또는 호기심에 대한 감정을 가질 수 있다. 여기서, 프로세서(120)는 사용자가 특정 사물 오브젝트에 대해서 기 설정된 감정 (놀라움 또는 호기심 감정)을 갖는 경우, 프로세서(120)는 사용자가 해당 특정 사물 오브젝트를 선호하는 것으로 판단할 수 있다. 구체적인 설명은 도 8 및 도 9에서 후술한다.
또한, 프로세서(120)는 디스플레이 장치(100) 또는 사용자 중 적어도 하나의 컨텍스트에 기초하여 디스플레이(110)에 표시되는 컨텐츠 내에서 사용자의 관심 오브젝트를 식별할 수 있다.
여기서, 디스플레이 장치(100)의 컨텍스트는 장치의 상태 정보 및 제어 정보를 의미할 수 있다. 그리고, 사용자의 컨텍스트는 사용자의 상태, 행동, 프로필 등과 관련된 다양한 정보를 의미할 수 있으며, 사용자의 시선 정보, 사용자의 생체 정보 또는 사용자의 음성 정보 중 적어도 하나를 의미할 수 있다.
디스플레이 장치(100)는 디스플레이 장치(100)의 컨텐스트 정보를 이용하여 관심 오브젝트를 식별할 수 있다, 예를 들어, 사용자가 디스플레이 장치(100)의 음량을 높이도록 제어하는 경우, 디스플레이 장치(100)는 해당 컨텐츠, 해당 장면, 또는 해당 오브젝트에 대해 사용자가 몰입하고 있는 것으로 판단할 수 있다. 예를 들어, 디스플레이 장치(100)의 음량이 상승하면, 디스플레이 장치(100)는 디스플레이 장치(100)의 음량이 상승하는 시간에 사용자의 시선이 고정되어 있는 오브젝트에 몰입하고 있는 것으로 판단할 수 있다. 여기서, 사용자가 음량을 높이는 경우를 설명하였지만, 실제 구현 시 다양한 디스플레이 장치(100)의 상태 정보가 적용될 수 있다. 또는, 디스플레이 장치(100)와 연결된 외부 장치의 컨텍스트 정보를 이용하여 관심 오브젝트를 식별할 수도 있다. 예를 들어, 디스플레이 장치(100)와 외부 사용자 단말 장치가 특정 어플리케이션의 구동을 통해 서로 연결되어 있는 상태를 가정하도록 한다. 이 경우, 외부 사용자 단말 장치에서 현재 다스플레이되는 컨텐츠를 검색하거나, 컨텐츠 내 오브젝트를 검색하는 정보를 수신하는 경우, 해당 정보에 기초하여 관심 오브젝트를 식별할 수도 있다.
또한, 프로세서(120)는 관심 오브젝트의 감정 정보 및 사용자의 감정 정보 간 유사도에 기초하여 컨텐츠 또는 관심 오브젝트 중 적어도 하나에 대한 사용자 공감도를 식별하고, 식별된 사용자 공감도에 기초하여 컨텐츠와 관련된 선호도를 식별할 수 있다. 하나의 장면에 해당하는 공감도는 유사도와 동일할 수 있다. 예를 들어, 사용자가 특정 장면에서 등장인물 A에 동일한 감정으로 느끼는 경우 프로세서(120)는 유사도 및 공감도가 동일한 것으로 판단할 수 있다. 하지만, 만약, 사용자가 하나의 컨텐츠 전체에서 등장인물 A에 대해 동일한 감정을 복수 회 느낀 경우, 프로세서(120)는 등장인물 A가 포함된 복수의 장면(또는 복수의 구간)마다 유사도를 판단할 수 있으며, 복수의 장면(또는 복수의 구간)에 대응되는 유사도를 종합하여 공감도를 판단할 수 있다. 복수의 유사도를 종합하여 공감도를 획득하는 방법에 대해선 도 10 내지 도 12에서 후술한다.
또한, 상술한 바와 같이 프로세서(120)는 사용자의 시선 정보(시선이 머무르는 시간), 사용자의 생체 정보(심박수, 동공 크기) 또는 사용자의 음성 정보(감탄사, 기설정된 단어 언급) 중 적어도 하나에 기초하여 디스플레이(110)에 표시되는 컨텐츠 내에서 사용자의 관심 오브젝트를 식별할 수 있다.
또한, 프로세서(120)는 컨텐츠와 관련된 선호도에 기초하여 광고 컨텐츠, 추천 컨텐츠 또는 요약 컨텐츠 중 적어도 하나를 제공할 수 있다. 프로세서(120)는 사용자가 선호하는 관심 오브젝트 또는 선호하는 관심 컨텐츠를 획득할 수 있다. 그리고, 프로세서(120)는 사용자가 선호하는 오브젝트 또는 컨텐츠에 맞는 광고, 추천, 요약 컨텐츠를 제공할 수 있다. 광고 컨텐츠는 사용자가 선호하는 분야의 광고를 의미하고, 추천 컨텐츠는 사용자가 선호하는 분야의 컨텐츠를 의미할 수 있다. 그리고, 요약 컨텐츠는 사용자가 선호하는 관심 오브젝트가 포함된 영역만을 종합하여 하나의 컨텐츠를 요약하는 것을 의미하며, 재생 시간이 단축될 수 있다. 프로세서(120)는 요약 컨텐츠를 생성하기 위하여, 사용자가 선호하는 복수의 관심 오브젝트를 이용할 수 있으며, 요약 컨텐츠의 목표 시간을 고려하여 복수의 관심 오브젝트 중 일부를 선택할 수 있다. 예를 들어, 1시간 컨텐츠에서 5분 요약 영상을 생성하기 위해서, 프로세서(120)는 5분 내외의 요약 영상을 위해 관심 오브젝트의 임계 유사도 값을 자동으로 계산하여 적용할 수 있다. 유사도에 대한 임계 값이 60 일 경우 영상이 10분이 되었다면, 프로세서(120)는 임계 값을 상승 시켜 관심 오브젝트에 대한 필터링을 높일 수 있다.
또한, 프로세서(120)는 카메라(105)를 통해 촬영된 사용자 영상에서 제1 및 제2 사용자가 식별되면, 제1 및 제2 사용자 각각의 관심 오브젝트를 식별하고, 제1 및 제2 사용자 각각에 대응되는 관심 오브젝트의 감정 정보 및 제1 및 제2 사용자 각각의 감정 정보 간 제1 및 제2 유사도에 기초하여 컨텐츠와 관련된 제1 및 제2 선호도를 식별할 수 있다. 구체적인 설명은 도 13에서 후술한다.
또한, 프로세서(120)는 디스플레이(110)에 표시되는 컨텐츠 내에서 관심 오브젝트가 복수 개 식별되면, 사용자 영상에 기초하여 디스플레이(110)에 표시되는 컨텐츠 내에서 사용자의 시선이 집중되는 부가 정보를 식별하고, 식별된 부가 정보에 기초하여 복수의 관심 오브젝트 중 하나를 식별하고, 부가 정보는 복수의 관심 오브젝트 각각과 관련된 정보일 수 있다.
부가 정보는 오브젝트를 특정하기 위한 정보로서 이용될 수 있다. 예를 들어, 사용자가 좋아하는 야구팀의 경기를 시청하는 것으로 가정한다. 그리고, 야구 A팀에 속한 B선수는 A팀의 유니폼을 입고 경기에 출전하는 것으로 가정한다. 사용자가 B선수를 응시하는 경우, 프로세서(120)는 B선수의 유니폼에서 A라는 텍스트 정보를 인식할 수 있다. 프로세서(120)는 A라는 텍스트 정보를 이용하여 B선수를 관심 오브젝트로 설정할 수 있다. A라는 텍스트 정보가 없었다면 얼굴 인식만을 이용하여 B선수를 찾아야 하므로 프로세서(120)의 처리에 부담이 될 수 있다. 하지만, 부가 정보를 이용하는 경우, A라는 텍스트 정보는 B 선수를 특정할 수 있는 단서가 될 수 있으므로, 검색시간이 단축될 수 있다. 부가 정보에 대한 또 다른 실시 예에 대해서는, 도 14에서 후술한다.
한편, 본원에 따른 디스플레이 장치(100)는 사용자의 구체적인 컨텐츠 또는 장면마다의 선호도를 분석할 수 있다. 그리고, 세부적인 사용자 선호도에 기초하여 디스플레이 장치(100)는 사용자에게 맞춤형 광고 또는 컨텐츠를 제공 또는 추천할 수 있다. 예를 들어, 사용자가 연애 종류의 컨텐츠를 시청하고 사용자가 해당 컨텐츠에 대해 몰입 및 공감했다고 가정한다. 프로세서(120)는 사용자가 관심 오브젝트를 선호하는 것으로 판단할 수 있다. 여기서 관심 오브젝트는 연애 장면, 특정 배우, 연상 연하 커플, 커플 의류와 같이 컨텐츠의 종류를 반영하는 오브젝트가 될 수 있다. 이 경우, 프로세서(120)는 연애와 관련된 컨텐츠, 특정 배우가 나오는 컨텐츠, 연상 연하 커플이 등장하는 컨텐츠, 커플 의류가 나오는 광고 컨텐츠 등을 사용자에게 추천할 수 있다.
본 개시에 따른 디스플레이 장치(100)는 컨텐츠 자체가 아니라 특정 장면 또는 특정 오브젝트에 대해서 선호 여부를 판단할 수 있어, 사용자가 관심 있어 하는 정보를 구체적으로 판단할 수 있다. 사용자가 관심 있어 하는 정보를 자세히 알고 있는 경우, 사용자에게 제공되는 추천 컨텐츠의 만족도가 높아질 수 있다.
도 2는 도 1에서 개시한 디스플레이 장치의 구체적인 구성을 설명하기 위한 블록도이다.
도 2를 참조하면, 본 개시의 일 실시 예의 디스플레이 장치(100)는 카메라(105), 디스플레이(110), 프로세서(120), 통신 인터페이스(130), 사용자 인터페이스(140), 입출력 인터페이스(150)로 구성될 수 있다. 또한, 디스플레이 장치(100)는 RAM(121), ROM(122), 메인 CPU(123), 제1 내지 n 인터페이스(124-1 ~ 124-n), 버스(125), GPU(Graphics Processing Unit, 126) 및 NPU(Neural Processing Unit, 127)을 추가적으로 포함할 수 있다.
카메라(105), 디스플레이(110) 및 프로세서(120)의 동작 중에서 앞서 설명한 것과 동일한 동작에 대해서는 중복 설명은 생략한다.
한편, 카메라(105), 디스플레이(110), 프로세서(120), 통신 인터페이스(130), 사용자 인터페이스(140), 입출력 인터페이스(150)는 버스(125)와 연결될 수 있다.
프로세서(120)는 메모리(110)에 저장된 각종 프로그램을 이용하여 디스플레이 장치(100)의 동작을 전반적으로 제어한다. 한편, 본 개시의 일 실시 예에 따른 프로세서(120)는 메인 CPU(123), GPU(Graphics Processing Unit, 126) 또는 NPU(Neural Processing Unit, 127) 중 적어도 하나로 구현될 수 있다.
한편, RAM(121), ROM(122), 메인 CPU(123), 제1 내지 n 인터페이스(124-1 ~ 124-n), GPU(126) 또는 NPU(127) 등은 버스(125)를 통해 서로 연결될 수 있다.
ROM(122)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(123)는 ROM(122)에 저장된 명령어에 따라 메모리(110)에 저장된 O/S를 RAM(121)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(123)는 메모리(110)에 저장된 각종 어플리케이션 프로그램을 RAM(121)에 복사하고, RAM(121)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
메인 CPU(123)는 메모리(110)에 액세스하여, 메모리(110)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메모리(110)에 저장된 각종 프로그램, 컨텐츠 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(124-1 내지 134-n)는 상술한 각종 구성 요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
GPU(126)는 그래픽처리를 위한 고성능의 처리장치에 해당할 수 있으며, 메모리를 빠르게 처리하고 바꾸어 화면으로 출력할 프레임 버퍼 안의 영상 생성을 가속하도록 설계된, 전문화된 전자 회로일 수 있다. 또한, GPU(126)는 VPU(visual processing unit)를 의미할 수 있다.
NPU(127)는 AI 칩셋(또는 AI 프로세서)에 해당할 수 있으며 AI 가속기(AI accelerator)일 수 있다. NPU(127)는 딥뉴럴네트워크 수행에 최적환 된 프로세서 칩에 해당할 수 있다. 한편, NPU(127)는 GPU(126)를 대신하여 딥러닝 모델을 실행하는 처리 장치에 해당할 수 있으며, NPU(127)는 GPU(126)와 함께 딥러닝 모델을 실행하는 처리 장치에 해당할 수도 있다.
한편, 도 2에서는 메인 CPU(123), GPU(126), NPU(127)를 모두 표시하였지만, 실제 구현 시 프로세서(120)는 메인 CPU(123), GPU(126) 또는 NPU(127) 중 적어도 하나로 구현되어 동작할 수 있다.
한편, 프로세서(120)는 그래픽 처리 기능(비디오 처리 기능)을 수행할 수 있다. 예를 들어, 프로세서(120)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성할 수 있다. 여기서, 연산부(미도시)는 수신된 제어 명령에 기초하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산할 수 있다. 그리고, 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. 또한, 프로세서(120)는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
한편, 프로세서(120)는 오디오 데이터에 대한 처리를 수행할 수 있다. 구체적으로, 프로세서(120)는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
통신 인터페이스(130)는 다양한 유형의 통신 방식에 따라 다양한 유형의 외부 장치와 통신을 수행하는 구성이다. 통신 인터페이스(130)는 와이파이 모듈(131), 블루투스 모듈(132), 적외선 통신 모듈(133), 및 무선 통신 모듈(134) 등을 포함한다. 프로세서(120)는 통신 인터페이스(130)를 이용하여 각종 외부 장치와 통신을 수행할 수 있다. 여기서, 외부 장치는 TV와 같인 디스플레이 장치, set-top box와 같은 영상 처리 장치, 외부 서버, 리모컨과 같은 제어 장치, 블루투스 스피커와 같은 음향 출력 장치, 조명 장치, 스마트 청소기, 스마트 냉장고와 같은 가전 기기, IOT 홈 매니저 등과 같은 서버 등을 포함할 수 있다.
와이파이 모듈(131), 블루투스 모듈(132)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행한다. 와이파이 모듈(131)이나 블루투스 모듈(132)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.
적외선 통신 모듈(133)은 시 광선과 밀리미터파 사이에 있는 적외선을 이용하여 근거리에 무선으로 데이터를 전송하는 적외선 통신(IrDA, infrared Data Association)기술에 따라 통신을 수행한다.
무선 통신 모듈(134)은 상술한 와이파이 모듈(131) 및 블루투스 모듈(132) 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 통신 규격에 따라 통신을 수행하는 모듈을 의미한다.
그 밖에 통신 인터페이스(130)는LAN(Local Area Network) 모듈, 이더넷 모듈, 또는 페어 케이블, 동축 케이블 또는 광섬유 케이블 등을 이용하여 통신을 수행하는 유선 통신 모듈 중 적어도 하나를 포함할 수 있다.
일 예에 따라 통신 인터페이스(130)는 리모컨과 같은 외부 장치 및 외부 서버와 통신하기 위해 동일한 통신 모듈(예를 들어, Wi-Fi 모듈)을 이용할 수 있다.
다른 예에 따라 통신 인터페이스(130)는 리모컨과 같은 외부 장치 및 외부 서버와 통신하기 위해 상이한 통신 모듈(예를 들어, Wi-Fi 모듈)을 이용할 수 있다. 예를 들어, 통신 인터페이스(130)는 외부 서버와 통신하기 위해 이더넷 모듈 또는 WiFi 모듈 중 적어도 하나를 이용할 수 있고, 리모컨과 같은 외부 장치와 통신하기 위해 BT 모듈을 이용할 수도 있다. 다만 이는 일 실시 예에 불과하며 통신 인터페이스(130)는 복수의 외부 장치 또는 외부 서버와 통신하는 경우 다양한 통신 모듈 중 적어도 하나의 통신 모듈을 이용할 수 있다.
한편, 통신 인터페이스(130)는 구현 예에 따라 튜너 및 복조부를 추가적으로 포함할 수 있다.
튜너(미도시)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널을 튜닝하여 RF 방송 신호를 수신할 수 있다.
복조부(미도시)는 튜너에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조하고, 채널 복호화 등을 수행할 수도 있다.
사용자 인터페이스(140)는 버튼, 터치 패드, 마우스 및 키보드와 같은 장치로 구현되거나, 상술한 디스플레이 기능 및 조작 입력 기능도 함께 수행 가능한 터치 스크린으로도 구현될 수 있다. 여기서, 버튼은 디스플레이 장치(100)의 본체 외관의 전면부나 측면부, 배면부 등의 임의의 영역에 형성된 기계적 버튼, 터치 패드, 휠 등과 같은 다양한 유형의 버튼이 될 수 있다.
입출력 인터페이스(150)는 HDMI(High Definition Multimedia Interface), MHL (Mobile High-Definition Link), USB (Universal Serial Bus), DP(Display Port), 썬더볼트(Thunderbolt), VGA(Video Graphics Array)포트, RGB 포트, D-SUB(D-subminiature), DVI(Digital Visual Interface) 중 어느 하나의 인터페이스일 수 있다.
HDMI는 오디오 및 비디오 신호를 입출력하는 AV 기기용 고성능 데이터의 전송이 가능한 인터페이스이다. DP는 1920x1080의 풀HD급은 물론, 2560x1600이나 3840x2160과 같은 초고해상도의 화면, 그리고 3D 입체영상을 구현할 수 있고, 디지털 음성 또한 전달 가능한 인터페이스이다. 썬더볼트는 고속 데이터 전송 및 연결을 위한 입출력 인터페이스이며, PC, 디스플레이, 저장장치 등을 모두 하나의 포트로 병렬 연결할 수 있다.
입출력 인터페이스(150)는 오디오 및 비디오 신호 중 적어도 하나를 입출력 할 수 있다.
구현 예에 따라, 입출력 인터페이스(150)는 오디오 신호만을 입출력하는 포트와 비디오 신호만을 입출력하는 포트를 별개의 포트로 포함하거나, 오디오 신호 및 비디오 신호를 모두 입출력하는 하나의 포트로 구현될 수 있다.
디스플레이 장치(100)는 디스플레이를 포함하지 않는 장치로 구현되어, 별도의 디스플레이 장치로 영상 신호를 전송할 수 있다.
디스플레이 장치(100)는 외부 장치로부터 수신된 음성 신호의 음성 인식을 위해, 외부 서버로 해당 음성 신호를 전송할 수 있다.
이 경우, 외부 장치 및 외부 서버와의 통신을 위한 통신 모듈은 하나로 구현될 수 있다. 예를 들어, 외부 장치 및 외부 서버와의 통신을 위한 통신 모듈은 Wi-Fi모듈로 동일할 수 있다.
외부 장치 및 외부 서버와의 통신을 위한 통신 모듈은 별개로 구현될 수 있다. 예를 들어, 외부 장치와는 Bluetooth 모듈을 이용하여 통신하고, 외부 서버와는 이더넷 모뎀 또는 Wi-Fi모듈을 이용하여 통신할 수 있다.
메모리(160)는 프로세서(120)에 포함된 롬(ROM)(예를 들어, EEPROM(electrically erasable programmable read-only memory)), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(120)와 별도의 메모리로 구현될 수도 있다.
한편, 전자 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나로 구현되고, 전자 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
스피커(미도시)는 입출력 인터페이스(150)에서 처리된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지 등을 출력하는 구성요소일 수 있다.
한편, 전자 장치(100)는 추가적으로, 마이크(미도시)를 포함할 수 있다. 마이크는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환하기 위한 구성이다. 이 경우, 마이크는 수신된 아날로그 사용자 음성 신호를 디지털 음성 신호로 변환하여 전자 장치(100)로 전송할 수 있다.
마이크(미도시)는 활성화 상태에서 사용자의 음성을 수신할 수 있다. 예를 들어, 마이크는 전자 장치(100)의 상측이나 전면 방향, 측면 방향 등에 일체화된 일체형으로 형성될 수 있다. 마이크는 아날로그 형태의 사용자 음성을 수집하는 마이크, 수집된 사용자 음성을 증폭하는 앰프 회로, 증폭된 사용자 음성을 샘플링하여 디지털 신호로 변환하는 A/D 변환회로, 변환된 디지털 신호로부터 노이즈 성분을 제거하는 필터 회로 등과 같은 다양한 구성을 포함할 수 있다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 음성 인식 서버로 수신된 디지털 음성 신호를 전송할 수 있다. 이 경우, 음성 인식 서버는 STT(Speech To Text)를 이용하여 디지털 음성 신호를 텍스트 정보로 변환할 수 있다. 이 경우, 음성 인식 서버는 텍스트 정보에 대응되는 검색을 수행하기 위하여 다른 서버 또는 전자 장치로 텍스트 정보를 전송할 수 있으며, 경우에 따라서는 직접 검색을 수행하는 것도 가능하다.
한편, 본 개시의 다른 실시 예에 따른 디스플레이 장치(100)는 디지털 음성 신호에 직접 STT(Speech To Text) 기능을 적용하여 텍스트 정보로 변환하고 변환된 텍스트 정보를 외부 서버에 전송할 수도 있다.
도 3 은 사용자 시선을 분석하는 동작을 설명하기 위한 도면이다.
도 3을 참고하면, 디스플레이 장치(100)는 카메라(105)를 이용하여 사용자의 얼굴을 인식할 수 있다. 그리고, 디스플레이 장치(100)는 카메라(105)를 이용하여 사용자의 시선을 인식 및 추적할 수 있다. 디스플레이 장치(100)는 사용자의 시선을 추적하여 사용자가 어디를 바라보고 있는지 판단할 수 있다. 구체적으로 디스플레이 장치(100)는 사용자가 디스플레이 장치(100)에서 제공하고 있는 컨텐츠를 바라보고 있는지 아니면, 디스플레이 장치(100)의 디스플레이(110) 이외의 부분을 바라보고 있는지 식별할 수 있다. 또한, 디스플레이 장치(100)는 디스플레이(110)에 제공하고 있는 컨텐츠 중 어느 부분을 바라보고 있는지 식별할 수 있다.
예를 들어, 디스플레이 장치(100)는 드라마 ABC를 디스플레이(110)에 표시하고 있다고 가정한다. 그리고, 드라마 ABC에서는 등장 인물A가 나온다고 가정한다. 디스플레이 장치(100)는 카메라(105)를 이용하여 사용자의 시선을 추적할 수 있으며, 사용자의 시선이 등장 인물A에 있다는 것을 식별할 수 있다. 여기서, 디스플레이 장치(100)는 사용자의 관심 오브젝트가 등장 인물A라고 분석(식별)할 수 있으며, 이에 대한 내용을 메모리(160)에 저장할 수 있다.
도 4는 사용자 영상을 분석하여 관심 오브젝트 분석 및 사용자 분석 동작을 설명하기 위한 도면이다.
도 4를 참고하면, 디스플레이 장치(100)는 카메라(105)를 이용하여 사용자의 얼굴을 인식할 수 있다. 디스플레이 장치(100)는 사용자의 얼굴이 포함된 영상에 기초하여 사용자를 특정할 수 있다. 예를 들어, 디스플레이 장치(100)에 복수의 사용자 정보가 등록되어 있을 수 있고, 디스플레이 장치(100)는 사용자 얼굴을 인식하여 복수의 사용자 정보 중 어느 사용자인지 여부를 특정할 수 있다.
그리고, 디스플레이 장치(100)는 사용자 정보를 분석할 수 있다. 구체적으로 사용자 정보(사용자 컨텍스트 정보)는 시선 정보, 생체 정보, 음성 정보 중 적어도 하나를 포함할 수 있다. 여기서, 디스플레이 장치(100)는 사용자 정보를 이용하여 관심 오브젝트를 식별할 수 있고, 관심 오브젝트에 대한 정보를 획득할 수 있다. 구체적으로, 사용자 정보(사용자 컨텍스트 정보)를 이용하여 사용자가 특정 오브젝트에 몰입하고 있는지 여부를 판단할 수 있다. 사용자가 특정 오브젝트에 몰입하고 있다고 판단되면, 디스플레이 장치(100)는 특정 오브젝트를 관심 오브젝트로 설정할 수 있다. 그리고, 사용자가 특정 오브젝트에 몰입하고 있지 않다고 판단되면, 디스플레이 장치(100)는 관심 오브젝트 식별 동작을 종료할 수 있다. 또한, 디스플레이 장치(100)는 관심 오브젝트의 이름, 종류, 세부 정보 등 관심 오브젝트에 대응되는 다양한 정보를 획득할 수 있다.
한편, 디스플레이 장치(100)는 카메라(105)를 이용하여 사용자 얼굴 영상을 획득할 수 있고, 디스플레이 장치(100)는 사용자 얼굴 영상을 통해 사용자 감정을 분석할 수 있다. 예를 들어, 디스플레이 장치(100)는 사용자의 감정이 어떤지 판단할 수 있다. 사용자의 감정은 기쁨, 슬픔, 놀람, 호기심, 분노, 공포 등 다양한 감정을 포함할 수 있다.
디스플레이 장치(100)의 관심 오브젝트 및 사용자 감정 분석에 대한 구체적인 실시 예는 도 5에서 후술한다.
도 5는 관심 오브젝트 및 사용자에 대한 감정 인식 동작을 설명하기 위한 도면이다.
도 5를 참고하면, 디스플레이 장치(100)는 관심 오브젝트 분석 동작으로서 사용자가 몰입한 특정 배우의 감정을 인식할 수 있다. 사용자가 드라마 ABC의 주인공인 등장 인물A를 주시하고 있다고 가정한다. 디스플레이 장치(100)는 등장 인물A에 사용자 시선이 고정되어 있는 것으로 판단하면, 디스플레이 장치(100)는 등장 인물A를 관심 오브젝트로 지정할 수 있다. 그리고, 디스플레이 장치(100)는 등장 인물A(관심 오브젝트)에 대한 감정을 인식할 수 있다.
여기서, 관심 오브젝트에 대한 감정 인식 동작은 컨텐츠 영상을 분석하여 획득될 수 있다. 디스플레이 장치(100)는 컨텐츠 영상(이미지)에서 등장 인물A를 식별할 수 있고, 식별된 등장 인물A에 대하여 감정을 분석할 수 있다. 디스플레이 장치(100)는 관심 오브젝트의 감정을 분석하기 위하여 관심 오브젝트의 눈, 코, 입, 눈썹, 볼근육, 귀의 움직임, 얼굴 전체의 외곽선 등을 종합적으로 고려할 수 있다. 예를 들어, 디스플레이 장치(100)는 컨텐츠 영상을 분석하여 등장 인물A의 감정이 "행복"이라고 식별할 수 있다. 디스플레이 장치(100)는 등장 인물A와 "행복"을 매칭시켜 저장할 수 있다.
한편, 디스플레이 장치(100)는 카메라(105)를 이용하여 사용자의 감정을 분석할 수 있다. 예를 들어, 디스플레이 장치(100)는 사용자의 감정이 "행복"이라고 식별할 수 있다. 디스플레이 장치(100)는 사용자의 감정과 "행복"을 매칭시켜 저장할 수 있다.
여기서, 디스플레이 장치(100)는 관심 오브젝트(특정 배우)의 감정과 사용자의 감정을 비교 분석할 수 있다. 구체적으로, 디스플레이 장치(100)는 관심 오브젝트의 감정(특정 배우)과 사용자의 감정의 유사도를 판단할 수 있다. 여기서, 유사도란 양 감정이 어느 부분 매칭되느냐를 분석하는 정도를 의미할 수 있다. 유사도를 산출하는 과정에 대해서는 도 6에서 후술한다.
디스플레이 장치(100)는 유사도 판단 동작을 통해 관심 오브젝트(특정 배우) 감정과 사용자 감정이 서로 유사한지 여부를 판단할 수 있으며, 유사한지 여부에 대한 판단은 사용자가 관심 오브젝트(특정 배우)에 감정적으로 공감하고 있는지 여부에 대한 판단일 수 있다. 만약, 사용자가 관심 오브젝트(특정 배우)에 감정적으로 공감하고 있다고 판단되면, 디스플레이 장치(100)는 관심 오브젝트(특정 배우)를 선호하는 것으로 판단하고, 사용자의 선호 오브젝트 목록에 관심 오브젝트(특정 배우)에 대한 정보를 추가 또는 업데이트 할 수 있다. 만약, 사용자가 관심 오브젝트(특정 배우)에 감정적으로 공감하고 있지 않다고 판단되면, 디스플레이 장치(100)는 해당 동작을 종료할 수 있다.
도 6은 감정의 유사도를 설명하기 위한 도면이다.
디스플레이 장치(100)는 관심 오브젝트의 감정과 사용자의 감정을 비교하여 유사도를 획득할 수 있다. 여기서, 유사도는 관심 오브젝트의 감정과 사용자의 감정이 어느 정도 유사한지를 수치화한 것일 수 있다. 유사하지 않은 경우를 0점 동일한 경우를 100으로 가정한다. 여기서, 0-100의 범위는 사용자의 설정에 따라 달라질 수 있다.
예를 들어, 관심 오브젝트 감정이 행복이고 사용자의 감정이 행복이면 유사도가 높다고 판단할 수 있다. 관심 오브젝트의 감정과 사용자의 감정이 동일한 경우 유사도는 100으로 획득될 수 있다. 그리고, 관심 오브젝트 감정이 행복이고 사용자 감정이 기쁨에 해당하는 경우, 디스플레이 장치(100)는 동일한 감정은 아니지만 매우 유사한 감정에 해당하는 것으로 식별할 수 있다. 반면, 관심 오브젝트 감정이 행복이고 사용자 감정이 슬픔에 해당하는 경우, 디스플레이 장치(100)는 유사하지 않은 감정에 해당하여 낮은 유사도로 판단할 수 있다.
한편, 동일하거나 유사하지 않은 감정 사이에서도 유사도가 높게 판단될 수 있다. 예를 들어, 관심 오브젝트 감정이 공포이고 사용자 감정이 놀람에 해당하는 경우, 유사한 감정은 아니나 대응되는 감정에 해당할 수 있다. 디스플레이 장치(100)는 공포-놀람의 감정에 높은 유사도를 갖는 것으로 판단할 수 있다. 본원의 유사도 판단은 사용자가 컨텐츠에 포함된 관심 오브젝트에 공감하고 있는지 여부를 판단하기 위한 것이다. 따라서, 동일 또는 유사한 감정에 해당하지 않더라도 디스플레이 장치(100)는 매칭되는 감정에 높은 유사도를 갖는 것으로 식별할 수 있다.
여기서, 관심 오브젝트 감정 및 사용자 감정에 대한 유사도는 사용자의 설정에 따라 달라질 수 있으며, 기 저장된 정보에 해당할 수 있다.
한편, 또 다른 실시 예에 따라, 디스플레이 장치(100)는 획득되는 관심 오브젝트 감정, 사용자 감정 및 사용자의 정보(시선 정보, 생체 정보, 음성 정보)를 고려하여 유사도를 실시간으로 계산할 수 있다. 그리고, 디스플레이 장치(100)는 실시간으로 계산된 유사도 정보를 기존의 유사도 정보에 업데이트 하는 형식으로 구현될 수 있다.
한편, 유사도의 값이 임계 값 이상인 경우, 디스플레이 장치(100)는 사용자가 오브젝트에 대하여 감정적으로 공감하고 있다고 판단할 수 있다.
도 7은 컨텐츠를 복수의 구간으로 구분하여 관심 오브젝트를 식별하는 동작을 설명하기 위한 도면이다.
한편, 디스플레이 장치(100)는 디스플레이(110)에 표시되는 컨텐츠의 재생 시간을 고려하여 컨텐츠를 복수의 구간으로 구분할 수 있다. 그리고, 디스플레이 장치(100) 복수의 구간마다 사용자가 관심 있어 하는 대표 관심 오브젝트를 획득할 수 있다. 예를 들어, 하나의 컨텐츠가 3600초라고 가정하며, 3600초를 일정한 시간 구간으로 구분하는 것을 가정한다. 디스플레이 장치(100)는 600초씩 6구간으로 컨텐츠를 구분할 수 있다. 그리고, 각 구간에서 가장 많이 사용자가 몰입한 관심 오브젝트를 구간을 대표하는 관심 오브젝트로 설정할 수 있다. 도 7을 참고하면, 제1 구간, 제3 구간, 제4구간 및 제 6구간에서는 사용자가 등장인물 A에 대해 가장 많이 공감(또는 몰입)하였음을 알 수 있다. 또한, 사용자는 제2 구간에서 등장인물 B에 대해 가장 많이 공감(또는 몰입)하고, 제 5구간에서는 등장인물 B가 입고 있는 의류A에 대해 가장 많이 공감(또는 몰입)하였음을 알 수 있다.
그리고, 디스플레이 장치(100)는 각 구간을 대표하는 관심 오브젝트를 종합하여, 전체 컨텐츠(0초에서 3600초)에서 사용자가 가장 많이 몰입한 관심 오브젝트를 하나로 요약할 수 있다. 이 경우, 컨텐츠를 대표하는 관심 오브젝트는 등장인물 A일 수 있다. 디스플레이 장치(100)는 사용자가 가장 많이 관심 있어 하는 오브젝트를 등장인물 A로 판단할 수 있다.
도 8은 사용자가 특정 사물에 시선을 고정하는 경우를 설명하기 위한 도면이다.
사용자는 등장 인물이 아닌 오브젝트에 몰임 또는 공감할 수 있다. 예를 들어, 드라마에 나오는 사물 또는 장소에 사용자는 관심이 있을 수 있다. 또한, 사용자는 드라마 속 등장 인물이 들고 있는 물건 등에 관심이 있을 수 있다. 이 경우, 디스플레이 장치(100)는 사용자는 등장인물이 아닌 물건에 시선을 고정하는 것을 식별할 수 있다.
도 8을 참고하면, 등장인물 A가 우산을 들고 있는 장면이 디스플레이 장치(100)에 표시되며, 사용자는 등장인물 A가 들고 있는 우산에 시선을 고정시킨다. 디스플레이 장치(100)는 사용자의 시선을 추적하여 사용자가 등장인물 A가 들고 있는 우산을 보고 있다는 것으로 식별할 수 있고, 우산을 관심 오브젝트로 설정 및 저장할 수 있다.
도 9는 사용자가 특정 사물에 시선을 고정하는 경우, 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 9를 참고하면, 사용자가 등장인물 A가 들고 있는 우산에 시선을 고정하고, 디스플레이 장치(100)는 등장인물 A가 들고 있는 우산을 관심 오브젝트로 설정할 수 있다. 여기서, 디스플레이 장치(100)는 우산을 바라보고 있는 사용자의 얼굴을 카메라(105)를 이용하여 촬영할 수 있다. 디스플레이 장치(100)는 사용자의 얼굴을 촬영하여, 사용자의 감정을 인식할 수 있다.
여기서, 디스플레이 장치(100)는 사용자가 몰입(또는 공감)한 관심 오브젝트(특정 사물, 우산)에 대한 사용자의 감정을 분석할 수 있다. 구체적으로, 디스플레이 장치(100)는 관심 오브젝트(특정 사물, 우산)를 선호하고 있는지 여부를 판단할 수 있다. 구체적으로, 사용자가 느끼는 감정이 기 설정된 감정에 해당한다면 디스플레이 장치(100)는 사용자가 관심 오브젝트(특정 사물, 우산)에 대해 감정적으로 공감하고 있는 것으로 판단할 수 있고, 사용자가 느끼는 감정이 기 설정된 감정이 아니라면 디스플레이 장치(100)는 어떤 동작도 수행하지 않을 수 있다. 예를 들어, 기 설정된 감정이 호기심에 해당할 수 있으며, 사용자의 얼굴을 통해 인식된 사용자 감정이 호기심에 해당하는 경우 디스플레이 장치(100)는 사용자가 관심 오브젝트(특정 사물, 우산)와 감정적으로 공감하고 있는 것으로 판단할 수 있다. 그리고, 디스플레이 장치(100)는 관심 오브젝트(특정 사물, 우산)을 선호하는 것으로 판단할 수 있고, 사용자가 선호하는 오브젝트 목록에 관심 오브젝트(특정 사물, 우산)에 대한 정보를 추가 또는 업데이트 할 수 있다.
도 10은 디스플레이 장치가 획득한 모든 오브젝트 정보를 이용하여 선호도를 분석하는 동작을 설명하기 위한 도면이다.
도 10을 참고하면, 디스플레이 장치(100)는 하나의 컨텐츠 속에 포함된 복수의 오브젝트에 대하여 다양한 정보를 테이블로 저장할 수 있다. 사용자가 특정 컨텐츠를 시청하였을 때 디스플레이 장치(100)는 사용자가 본 오브젝트에 대한 정보를 저장할 수 있다. 오브젝트에 대한 정보는 등장 횟수, 감정 공감 횟수, 공감도, 몰입 횟수, 몰입도 중 적어도 하나를 의미할 수 있다. 등장 횟수는 해당 오브젝트가 컨텐츠에 총 표시된 횟수를 의미할 수 있다. 감정 공감 횟수는 도 6에서 설명한 유사도 값이 임계 값 이상인 횟수를 의미할 수 있다. 공감도는 감정 공감 횟수/등장횟수로 계산될 수 있다. 또 다른 실시 예에 따라, 공감도는 등장횟수 또는 감정 공감 횟수 중 적어도 하나를 이용하여 다양한 계산 방식으로 획득될 수 있다. 여기서, 디스플레이 장치(100)는 등장인물에 대해서는 관심 오브젝트 감정 및 사용자 감정을 모두 고려하여 유사도를 판단할 수 있고, 유사도를 이용하여 감정 공감 횟수를 계산할 수 있다. 한편, 디스플레이 장치(100)는 감정을 가지지 않는 관심 오브젝트(예를 들어, 장소, 화장품, 신발, 의류 등)에 대해서는 사용자의 감정만을 이용하여 유사도를 판단할 수 있다.
또한, 몰입횟수는 사용자가 얼마나 오브젝트에 시선을 고정했는지 시간 정보를 고려하여 판단할 수 있다. 예를 들어, 사용자가 특정 오브젝트를 임계 값 이상으로 시선을 고정한 경우, 디스플레이 장치(100)는 해당 오브젝트에 사용자가 몰입하였다고 판단할 수 있다. 여기서 몰입 여부는 사용자의 시선 정보, 생체 정보, 음성 정보 중 적어도 하나를 이용하여 몰입 횟수를 판단할 수 있다. 몰입도는 몰입횟수/등장횟수로 계산될 수 있다. 또 다른 실시 예에 따라, 몰입도는 등장횟수 또는 몰입 횟수 중 적어도 하나를 이용하여 다양한 계산 방식으로 획득될 수 있다.
한편, 디스플레이 장치(100)는 컨텐츠에 포함된 모든 오브젝트에 대한 정보를 이용하여 컨텐츠에 대한 선호도를 판단할 수 있다. 하지만, 디스플레이 장치(100)는 모든 오브젝트가 아닌 일부 오브젝트에 대한 정보만을 이용하여 컨텐츠에 대한 선호도를 판단할 수 있다.
컨텐츠에 대한 선호도 판단은 공감도 및 몰입도를 모두 고려하여 판단할 수 있다. 구체적으로, 각 오브젝트에 대한 평균값이 임계 값을 컨텐츠에 대한 선호도로 획득할 수 있다. 하지만, 이에 한정되는 것이 아니며 디스플레이 장치(100)는 다양한 방식을 통해 선호도 판단이 가능하다. 예를 들어, 몰입도를 기준으로 가중치를 설정하고 공감도에 가중치를 적용하는 방식으로 선호도를 획득할 수 있다.
상술한 예시에서는 관심 오브젝트를 설정하는 동작과 관계 없이 모든 오브젝트에 대한 데이터를 저장하는 것으로 설명하였다. 하지만, 데이터 처리의 효용성을 위하여 모든 오브젝트가 아닌 관심 오브젝트에 대한 정보만을 계산할 수 있다. 예를 들어, 관심 오브젝트는 사용자가 한번이라도 몰입한 오브젝트를 의미할 수 있으며, 한번이라도 몰입하지 않은 오브젝트에 대해서는 감정 공감여부를 확인하지 않을 수 있다.
도 4 및 도 5에 따른 실시 예에 따르면, 도 10에서 개시한 오브젝트 중 관심 오브젝트를 먼저 설정할 수 있다. 여기서, 관심 오브젝트는 몰입 여부를 기준으로 할 수 있으며, 사용자가 특정 오브젝트에 대해서 몰입하였다고 판단한 경우에만 감정 공감여부를 판단할 수 있다. 도 10에서 개시하고 있는 등장인물 D 및 등장인물 E에 대해서는 사용자가 한번도 몰입한 적이 없으므로, 해당 오브젝트에 대해서 디스플레이 장치(100)는 감정 공감여부를 판단하지 않을 수 있다. 감정 공감 여부를 판단하기 위해서 얼굴 인식 및 감정 인식 동작을 수행해야 하며, 관심 오브젝트에 대해서만 감정 인식 동작을 수행하는 경우 데이터 처리량을 줄일 수 있다.
도 11은 디스플레이 장치가 오브젝트의 등장횟수를 고려하여 선호도를 분석하는 동작을 설명하기 위한 도면이다.
디스플레이 장치(100)는 등장횟수가 임계 값 이상인 경우의 오브젝트만을 선호도 판단의 대상으로 데이터를 필터링할 수 있다. 예를 들어, 디스플레이 장치(100)는 등장횟수가 5 이상인 오브젝트만을 이용하여 컨텐츠에 대한 선호도를 판단할 수 있다. 여기서, 디스플레이 장치(100)는 등장인물 A, B, C 그리고 장소 A, B 만을 이용하여 컨텐츠 선호도를 판단할 수 있다. 디스플레이 장치(100)가 모든 오브젝트가 아닌 일부 오브젝트만을 필터링하여 선호도를 판단하게 되면, 선호도 판단에 대한 신뢰도 및 정확성이 높아질 수 있다.
도 12는 디스플레이 장치가 오브젝트의 종류에 따라 서로 다른 임계 값을 적용하여 선호도를 분석하는 동작을 설명하기 위한 도면이다.
도 12를 참고하면, 디스플레이 장치(100)는 오브젝트 종류에 따라 임계 값이 다르게 적용하여 선호도를 판단할 수 있다. 예를 들어, 오브젝트의 종류가 등장인물, 장소, 화장품, 신발, 의류가 있다고 가정한다. 디스플레이 장치(100)는 컨텐츠에서 등장인물의 비중이 가장 높다는 점을 반영하여, 등장인물의 등장 횟수 임계 값을 높게 설정할 수 있다. 디스플레이 장치(100)는 등장인물에 대한 등장 횟수 임계 값을 30으로, 장소에 대한 등장 횟수 임계 값을 7로, 사물에 대한 등장 횟수 임계 값을 4로 설정할 수 있다. 이 경우, 디스플레이 장치(100)는 컨텐츠에 포함된 복수의 오브젝트 중 등장인물 A, B, 장소 A, 신발A, 의류 B, C에 대한 정보를 필터링을 통해 획득할 수 있다. 그리고 디스플레이 장치(100)는 등장인물 A, B, 장소 A, 신발A, 의류 B, C에 대한 정보만을 이용하여 컨텐츠에 대한 선호도를 판단할 수 있다. 디스플레이 장치(100)가 모든 오브젝트가 아닌 일부 오브젝트만을 필터링하고 오브젝트 종류별로 등장 횟수 임계 값을 다르게 설정하여 선호도를 판단하게 되면, 선호도 판단에 대한 신뢰도 및 정확성이 높아질 수 있다.
한편, 도 11 및 도 12에서는 임계 값이 등장 횟수에 적용되는 것으로 설명하였지만, 이에 한정되는 것은 아니다. 또 다른 실시 예에 따라, 디스플레이 장치(100)가 감정 공감 횟수 또는 몰입 횟수가 임계 값 이상인 오브젝트만을 필터링 할 수 있다.
도 13은 본 개시의 또 다른 실시 예에 따른 디스플레이 장치의 동작을 설명하기 위한 도면이다.
디스플레이 장치(100)는 복수의 사용자를 구분할 수 있다. 사용자 A와 사용자 B가 디스플레이 장치(100) 주위에 있음을 가정한다. 디스플레이 장치(100)는 카메라(105)를 이용하여 복수의 사용자 A 및 B를 구분할 수 있다. 그리고, 사용자 A는 등장인물 A를 보고 사용자 B는 등장인물 B를 보는 것으로 가정한다. 예를 들어, 여자인 사용자 A는 남자 배우인 등장인물 A를 보고 남자인 사용자 B는 여자 배우인 등장인물 B를 볼 수 있다. 여기서, 디스플레이 장치(100)는 사용자 A및 사용자 B가 보고 있는 관심 오브젝트가 무엇인지 각각 식별할 수 있다.
디스플레이 장치(100)는 사용자 마다 개별적인 관심 오브젝트가 있음을 식별할 수 있으며, 사용자 A의 감정과 사용자 B의 감정을 구분하여 관심 오브젝트의 감정과 비교할 수 있다. 여기서, 등장인물 A 에 대한 사용자 A의 유사도와 사용자 B의 유사도는 상이하게 계산 될 수 있으며, 선호도 또한 마찬가지일 수 있다. 예를 들어, 등장인물 A에 대해선 사용자 A는 높은 선호도를 갖지만, 사용자 B는 낮은 선호도를 가질 수 있다.
디스플레이 장치(100)는 복수의 사용자의 선호도를 각각 분석할 수 있어, 사용자별 맞춤 컨텐츠를 제공할 수 있다.
도 14는 디스플레이 장치가 부가 정보를 이용하여 관심 오브젝트를 식별하는 동작을 설명하기 위한 도면이다.
도 14를 참고하면, 디스플레이 장치(100)는 컨텐츠 영상에 포함된 부가 정보를 이용하여 관심 오브젝트를 식별할 수 있다. 여기서, 부가 정보란 컨텐츠에 포함된 오브젝트이 세부 정보를 의미할 수 있다. 세부 정보는 오브젝트에 대한 정보를 포함하고 있는 다양한 이미지 정보일 수 있다. 예를 들어, 컨텐츠에 사물 오브젝트가 식별된 경우, 부가 정보는 사물에 표시된 상표 이름, 로고, 디자인, 패턴, 무늬, 색상 중 적어도 하나일 수 있다. 그리고, 디스플레이 장치(100)는 부가 정보를 이용하여 식별된 관심 오브젝트를 외부 서버를 통해 검색할 수 있고, 외부 서버의 검색 결과를 수신하여 사용자에게 제공할 수 있다.
도 14에 도시한 바와 같이, 등장인물 B가 "J"라고 표시한 가방을 매고 있다고 가정한다. 디스플레이 장치(100)는 카메라(105)를 이용하여 사용자 A를 인식할 수 있으며, 사용자 A가 등장인물 B의 가방에 시선을 고정하고 있음을 식별할 수 있다. 구체적으로, 디스플레이 장치(100)는 사용자 A가 등장인물 B의 가방에 표시된 "J" 부분을 바라보고 있는 것으로 식별할 수 있다. 여기서, 디스플레이 장치(100)는 “J"가 브랜드에 해당한다는 것을 식별할 수 있으며 “J"를 부가정보로 이용하여 “J" 브랜드의 가방을 관심 오브젝트로 설정할 수 있다. 또한, 디스플레이 장치(100)는“J" 브랜드 및 영상에 표시된 가방의 색상 및 외형을 고려하여 동일(또는 유사한) 상품을 외부 서버를 통해 검색할 수 있다. 그리고, 디스플레이 장치(100)는 검색된 결과를 수신하여 사용자에게 제공할 수 있다. 부가 정보는 오브젝트에 대한 세부 정보를 의미하는 것이며, 디스플레이 장치(100)는 부가 정보를 이용하여 사용자가 관심 있어 하는 오브젝트에 대한 정확한 모델 또는 품명을 획득할 수 있다. 따라서, 디스플레이 장치(100)는 사용자의 선호도를 세부적으로 판단할 수 있어 선호도 판단의 신뢰성 및 정확도를 높일 수 있다.
도 15는 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 도면이다.
한편, 디스플레이 장치(100) 제어 방법은 컨텐츠를 디스플레이(110)하도록 디스플레이(110)를 제어할 수 있다 (S1505).
그리고, 디스플레이 장치(100)는 카메라(105)를 통해 촬영된 사용자 영상에 기초하여 디스플레이(110)에 표시되는 컨텐츠 내에서 사용자의 관심 오브젝트를 식별할 수 있다 (S1510).
그리고, 디스플레이 장치(100)는 관심 오브젝트의 감정 정보 및 사용자의 감정 정보 간 유사도에 기초하여 컨텐츠와 관련된 선호도를 식별할 수 있다 (S1515).
컨텐츠와 관련된 선호도를 식별하는 단계(S1515)는 관심 오브젝트의 감정 정보 및 사용자의 감정 정보 간 유사도에 기초하여 관심 오브젝트에 대한 선호도를 식별하고, 복수의 관심 오브젝트 각각에 대한 선호도에 기초하여 컨텐츠에 대한 선호도 또는 컨텐츠에 대응되는 컨텐츠 타입 중 적어도 하나에 대한 선호도를 식별할 수 있다.
여기서, 컨텐츠와 관련된 선호도를 식별하는 단계(S1515)는 컨텐츠를 복수의 컨텐츠 구간으로 식별하고 복수의 컨텐츠 구간 각각에서 사용자의 관심 오브젝트를 식별하고, 각 컨텐츠 구간에서 식별된 관심 오브젝트의 감정 정보 및 각 컨텐츠 구간에 대응되는 사용자의 감정 정보 간 유사도에 기초하여 컨텐츠와 관련된 선호도를 식별할 수 있다.
또한, 컨텐츠와 관련된 선호도를 식별하는 단계(S1515)는 관심 오브젝트의 감정 정보 및 사용자의 감정 정보가 동일 또는 유사 감정이라고 식별되면, 제1 유사도에 기초하여 컨텐츠와 관련된 선호도를 식별하고, 사용자의 감정 정보가 관심 오브젝트의 감정 정보에 대한 리액션 감정이라고 식별되면, 제2 유사도에 기초하여 컨텐츠와 관련된 선호도를 식별할 수 있다.
또한, 사용자의 관심 오브젝트를 식별하는 단계(S1510)는 디스플레이 장치(100) 또는 사용자 중 적어도 하나의 컨텍스트에 기초하여 디스플레이(110)에 표시되는 컨텐츠 내에서 사용자의 관심 오브젝트를 식별할 수 있다.
또한, 컨텐츠와 관련된 선호도를 식별하는 단계(S1515)는 관심 오브젝트의 감정 정보 및 사용자의 감정 정보 간 유사도에 기초하여 컨텐츠 또는 관심 오브젝트 중 적어도 하나에 대한 사용자 공감도를 식별하고, 식별된 사용자 공감도에 기초하여 컨텐츠와 관련된 선호도를 식별할 수 있다.
또한, 사용자의 관심 오브젝트를 식별하는 단계(S1510)는 사용자의 시선 정보, 사용자의 생체 정보 또는 사용자의 음성 정보 중 적어도 하나에 기초하여 디스플레이(110)에 표시되는 컨텐츠 내에서 사용자의 관심 오브젝트를 식별할 수 있다.
한편, 디스플레이 장치(100) 제어 방법은 컨텐츠와 관련된 선호도에 기초하여 광고 컨텐츠, 추천 컨텐츠 또는 요약 컨텐츠 중 적어도 하나를 제공하는 동작을 더 포함할 수 있다.
또한, 컨텐츠와 관련된 선호도를 식별하는 단계(S1515)는 카메라(105)를 통해 촬영된 사용자 영상에서 제1 및 제2 사용자가 식별되면, 제1 및 제2 사용자 각각의 관심 오브젝트를 식별하고, 제1 및 제2 사용자 각각에 대응되는 관심 오브젝트의 감정 정보 및 제1 및 제2 사용자 각각의 감정 정보 간 제1 및 제2 유사도에 기초하여 컨텐츠와 관련된 제1 및 제2 선호도를 식별할 수 있다.
한편, 도 15와 같은 디스플레이 장치(100)의 제어 방법은 도 1 또는 도 2의 구성을 가지는 디스플레이 장치(100) 상에서 실행될 수 있으며, 그 밖의 구성을 가지는 디스플레이 장치(100) 상에서도 실행될 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 디스플레이 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 디스플레이 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 디스플레이 장치에 구비된 임베디드 서버, 또는 디스플레이 장치의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 상술한 실시 예에 따른 디스플레이 장치의 제어 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다. 특히, 디스플레이 장치의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
한편, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)의 프로세서에 의해 실행되는 경우 디스플레이 장치(100)가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 동작은 컨텐츠를 디스플레이하도록 디스플레이를 제어하는 단계, 카메라를 통해 촬영된 사용자 영상에 기초하여 디스플레이에 표시되는 컨텐츠 내에서 사용자의 관심 오브젝트를 식별하는 단계 및 관심 오브젝트의 감정 정보 및 사용자의 감정 정보 간 유사도에 기초하여 컨텐츠와 관련된 선호도를 식별하는 단계를 포함할 수 있다.
또한, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서(120) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 디스플레이 장치에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 디스플레이 장치에서의 처리 동작을 상기 특정 기기가 수행하도록 한다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 디스플레이 장치 105: 카메라
110: 디스플레이 120: 프로세서

Claims (20)

  1. 디스플레이 장치에 있어서,
    카메라;
    디스플레이; 및
    컨텐츠를 디스플레이하도록 상기 디스플레이를 제어하고,
    상기 카메라를 통해 촬영된 사용자 영상에 기초하여 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 사용자의 관심 오브젝트를 식별하고,
    상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별하는 프로세서;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 관심 오브젝트에 대한 선호도를 식별하고,
    복수의 관심 오브젝트 각각에 대한 선호도에 기초하여 상기 컨텐츠에 대한 선호도 또는 상기 컨텐츠에 대응되는 컨텐츠 타입 중 적어도 하나에 대한 선호도를 식별하는, 디스플레이 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    상기 컨텐츠를 복수의 컨텐츠 구간으로 식별하고 상기 복수의 컨텐츠 구간 각각에서 상기 사용자의 관심 오브젝트를 식별하고, 각 컨텐츠 구간에서 식별된 관심 오브젝트의 감정 정보 및 상기 각 컨텐츠 구간에 대응되는 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별하는, 디스플레이 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보가 동일 또는 유사 감정이라고 식별되면, 제1 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별하고,
    상기 사용자의 감정 정보가 상기 관심 오브젝트의 감정 정보에 대한 리액션 감정이라고 식별되면, 제2 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별하는, 디스플레이 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 디스플레이 장치 또는 상기 사용자 중 적어도 하나의 컨텍스트에 기초하여 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 사용자의 관심 오브젝트를 식별하는, 디스플레이 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 컨텐츠 또는 상기 관심 오브젝트 중 적어도 하나에 대한 사용자 공감도를 식별하고, 상기 식별된 사용자 공감도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별하는, 디스플레이 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 사용자의 시선 정보, 상기 사용자의 생체 정보 또는 상기 사용자의 음성 정보 중 적어도 하나에 기초하여 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 사용자의 관심 오브젝트를 식별하는, 디스플레이 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 컨텐츠와 관련된 선호도에 기초하여 광고 컨텐츠, 추천 컨텐츠 또는 요약 컨텐츠 중 적어도 하나를 제공하는, 디스플레이 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 카메라를 통해 촬영된 사용자 영상에서 제1 및 제2 사용자가 식별되면, 상기 제1 및 제2 사용자 각각의 관심 오브젝트를 식별하고, 상기 제1 및 제2 사용자 각각에 대응되는 관심 오브젝트의 감정 정보 및 상기 제1 및 제2 사용자 각각의 감정 정보 간 제1 및 제2 유사도에 기초하여 상기 컨텐츠와 관련된 제1 및 제2 선호도를 식별하는, 디스플레이 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 디스플레이에 표시되는 컨텐츠 내에서 상기 관심 오브젝트가 복수 개 식별되면, 상기 사용자 영상에 기초하여 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 사용자의 시선이 집중되는 부가 정보를 식별하고, 상기 식별된 부가 정보에 기초하여 상기 복수의 관심 오브젝트 중 하나를 식별하고,
    상기 부가 정보는,
    상기 복수의 관심 오브젝트 각각과 관련된 정보인, 디스플레이 장치.
  11. 디스플레이 장치 제어 방법에 있어서,
    컨텐츠를 디스플레이하도록 디스플레이를 제어하는 단계;
    카메라를 통해 촬영된 사용자 영상에 기초하여 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 사용자의 관심 오브젝트를 식별하는 단계; 및
    상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 컨텐츠와 관련된 선호도를 식별하는 단계는,
    상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 관심 오브젝트에 대한 선호도를 식별하고,
    복수의 관심 오브젝트 각각에 대한 선호도에 기초하여 상기 컨텐츠에 대한 선호도 또는 상기 컨텐츠에 대응되는 컨텐츠 타입 중 적어도 하나에 대한 선호도를 식별하는, 제어 방법.
  13. 제12항에 있어서,
    상기 컨텐츠와 관련된 선호도를 식별하는 단계는,
    상기 컨텐츠를 복수의 컨텐츠 구간으로 식별하고 상기 복수의 컨텐츠 구간 각각에서 상기 사용자의 관심 오브젝트를 식별하고, 각 컨텐츠 구간에서 식별된 관심 오브젝트의 감정 정보 및 상기 각 컨텐츠 구간에 대응되는 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별하는, 제어 방법.
  14. 제11항에 있어서,
    상기 컨텐츠와 관련된 선호도를 식별하는 단계는,
    상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보가 동일 또는 유사 감정이라고 식별되면, 제1 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별하고,
    상기 사용자의 감정 정보가 상기 관심 오브젝트의 감정 정보에 대한 리액션 감정이라고 식별되면, 제2 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별하는, 제어 방법.
  15. 제11항에 있어서,
    상기 사용자의 관심 오브젝트를 식별하는 단계는,
    상기 디스플레이 장치 또는 상기 사용자 중 적어도 하나의 컨텍스트에 기초하여 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 사용자의 관심 오브젝트를 식별하는, 제어 방법.
  16. 제1항에 있어서,
    상기 컨텐츠와 관련된 선호도를 식별하는 단계는,
    상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 컨텐츠 또는 상기 관심 오브젝트 중 적어도 하나에 대한 사용자 공감도를 식별하고, 상기 식별된 사용자 공감도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별하는, 제어 방법.
  17. 제11항에 있어서,
    상기 사용자의 관심 오브젝트를 식별하는 단계는,
    상기 사용자의 시선 정보, 상기 사용자의 생체 정보 또는 상기 사용자의 음성 정보 중 적어도 하나에 기초하여 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 사용자의 관심 오브젝트를 식별하는, 제어 방법.
  18. 제11항에 있어서,
    상기 디스플레이 장치 제어 방법은,
    상기 컨텐츠와 관련된 선호도에 기초하여 광고 컨텐츠, 추천 컨텐츠 또는 요약 컨텐츠 중 적어도 하나를 제공하는 단계;를 더 포함하는, 제어 방법.
  19. 제11항에 있어서,
    상기 컨텐츠와 관련된 선호도를 식별하는 단계는,
    상기 카메라를 통해 촬영된 사용자 영상에서 제1 및 제2 사용자가 식별되면, 상기 제1 및 제2 사용자 각각의 관심 오브젝트를 식별하고, 상기 제1 및 제2 사용자 각각에 대응되는 관심 오브젝트의 감정 정보 및 상기 제1 및 제2 사용자 각각의 감정 정보 간 제1 및 제2 유사도에 기초하여 상기 컨텐츠와 관련된 제1 및 제2 선호도를 식별하는, 제어 방법.
  20. 디스플레이 장치의 프로세서에 의해 실행되는 경우 상기 디스플레이 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은,
    컨텐츠를 디스플레이하도록 디스플레이를 제어하는 단계;
    카메라를 통해 촬영된 사용자 영상에 기초하여 상기 디스플레이에 표시되는 컨텐츠 내에서 상기 사용자의 관심 오브젝트를 식별하는 단계; 및
    상기 관심 오브젝트의 감정 정보 및 상기 사용자의 감정 정보 간 유사도에 기초하여 상기 컨텐츠와 관련된 선호도를 식별하는 단계;를 포함하는 컴퓨터 판독가능 기록매체.
KR1020180149914A 2018-11-28 2018-11-28 디스플레이 장치 및 그 제어 방법 Active KR102788778B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180149914A KR102788778B1 (ko) 2018-11-28 2018-11-28 디스플레이 장치 및 그 제어 방법
US16/570,269 US11294457B2 (en) 2018-11-28 2019-09-13 Display apparatus and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180149914A KR102788778B1 (ko) 2018-11-28 2018-11-28 디스플레이 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20200063777A true KR20200063777A (ko) 2020-06-05
KR102788778B1 KR102788778B1 (ko) 2025-04-01

Family

ID=70770715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180149914A Active KR102788778B1 (ko) 2018-11-28 2018-11-28 디스플레이 장치 및 그 제어 방법

Country Status (2)

Country Link
US (1) US11294457B2 (ko)
KR (1) KR102788778B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220053358A (ko) * 2020-10-22 2022-04-29 숙명여자대학교산학협력단 감정 객체 분석 방법 및 장치
KR20220119812A (ko) * 2021-02-22 2022-08-30 김원강 감정 공유 콘텐츠 시스템
WO2023043094A1 (ko) * 2021-09-14 2023-03-23 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법
US12288555B2 (en) 2021-09-14 2025-04-29 Samsung Electronics Co., Ltd. Electronic device and operation method thereof
JP2025514946A (ja) * 2022-06-21 2025-05-13 北京字跳▲網▼絡技▲術▼有限公司 オーディオビジュアルコンテンツを共有するための方法、装置、デバイス、及び記憶媒体

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102222747B1 (ko) * 2018-11-30 2021-03-04 오당찬 몰입도 운용 방법 및 이를 지원하는 전자 장치
FI20197148A1 (fi) * 2019-11-21 2021-05-22 Doop Oy Menetelmä ja laitteisto asiakasviestin muodostamiseksi ja esittämiseksi
JP2022022871A (ja) * 2020-07-09 2022-02-07 株式会社ソニー・インタラクティブエンタテインメント 処理装置および没入度導出方法
US12413831B2 (en) * 2020-11-13 2025-09-09 Sony Group Corporation Information processing apparatus, information processing method, and information processing program
WO2022131833A1 (en) * 2020-12-17 2022-06-23 Samsung Electronics Co., Ltd. Method and electronic device for producing video summary
CN114935971B (zh) * 2021-02-05 2024-08-20 京东方科技集团股份有限公司 显示装置和显示驱动方法
US20240202986A1 (en) * 2022-12-20 2024-06-20 Rovi Guides, Inc. Systems and methods for conceptualizing a virtual or live object

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007097047A (ja) * 2005-09-30 2007-04-12 Seiko Epson Corp コンテンツの編集装置、コンテンツの編集方法及びコンテンツの編集プログラム
US20120004575A1 (en) * 2010-06-30 2012-01-05 Sony Ericsson Mobile Communications Ab System and method for indexing content viewed on an electronic device
KR20150086770A (ko) * 2014-01-20 2015-07-29 한국전자통신연구원 영상 내에서 감정 정보를 인식하는 방법 및 장치
US20150339539A1 (en) * 2012-12-31 2015-11-26 Xiaodong Gu Method and system for determining concentration level of a viewer of displayed content
KR20170055887A (ko) * 2015-11-12 2017-05-22 엘지전자 주식회사 디지털 사이니지 장치 및 그 동작 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5474062B2 (ja) * 2009-06-12 2014-04-16 パナソニック株式会社 コンテンツ再生装置、コンテンツ再生方法、プログラム、及び集積回路
US10289898B2 (en) 2010-06-07 2019-05-14 Affectiva, Inc. Video recommendation via affect
US8577896B2 (en) 2010-06-08 2013-11-05 Netflix, Inc Interest based row selection
US8903834B2 (en) 2010-10-14 2014-12-02 Netflix, Inc. Recommending groups of items based on item ranks
CA2934284C (en) 2011-01-18 2020-08-25 Hsni, Llc System and method for recognition of items in media data and delivery of information related thereto
US8887095B2 (en) 2011-04-05 2014-11-11 Netflix, Inc. Recommending digital content based on implicit user identification
US9571879B2 (en) * 2012-01-10 2017-02-14 Microsoft Technology Licensing, Llc Consumption of content with reactions of an individual
KR20140075266A (ko) 2012-12-11 2014-06-19 한국전자통신연구원 사용자 시선 방향에 기반한 콘텐츠 분석 및 활용 방법
US20150067724A1 (en) 2013-09-02 2015-03-05 Netflix, Inc. Recommending media items using social networks
JP5909472B2 (ja) 2013-09-26 2016-04-26 日本電信電話株式会社 共感解釈推定装置、方法、プログラム
WO2016040673A2 (en) * 2014-09-10 2016-03-17 Oregon Health & Science University Animation-based autism spectrum disorder assessment
US20160182955A1 (en) * 2014-12-23 2016-06-23 Rovi Guides, Inc. Methods and systems for recommending media assets
KR20160095464A (ko) 2015-02-03 2016-08-11 한국전자통신연구원 얼굴 감정 인식 방법을 적용한 사이니지용 콘텐츠 추천 장치 및 그 동작 방법
US11086907B2 (en) * 2018-10-31 2021-08-10 International Business Machines Corporation Generating stories from segments classified with real-time feedback data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007097047A (ja) * 2005-09-30 2007-04-12 Seiko Epson Corp コンテンツの編集装置、コンテンツの編集方法及びコンテンツの編集プログラム
US20120004575A1 (en) * 2010-06-30 2012-01-05 Sony Ericsson Mobile Communications Ab System and method for indexing content viewed on an electronic device
US20150339539A1 (en) * 2012-12-31 2015-11-26 Xiaodong Gu Method and system for determining concentration level of a viewer of displayed content
KR20150086770A (ko) * 2014-01-20 2015-07-29 한국전자통신연구원 영상 내에서 감정 정보를 인식하는 방법 및 장치
KR20170055887A (ko) * 2015-11-12 2017-05-22 엘지전자 주식회사 디지털 사이니지 장치 및 그 동작 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220053358A (ko) * 2020-10-22 2022-04-29 숙명여자대학교산학협력단 감정 객체 분석 방법 및 장치
KR20220119812A (ko) * 2021-02-22 2022-08-30 김원강 감정 공유 콘텐츠 시스템
WO2023043094A1 (ko) * 2021-09-14 2023-03-23 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법
US12288555B2 (en) 2021-09-14 2025-04-29 Samsung Electronics Co., Ltd. Electronic device and operation method thereof
JP2025514946A (ja) * 2022-06-21 2025-05-13 北京字跳▲網▼絡技▲術▼有限公司 オーディオビジュアルコンテンツを共有するための方法、装置、デバイス、及び記憶媒体

Also Published As

Publication number Publication date
KR102788778B1 (ko) 2025-04-01
US11294457B2 (en) 2022-04-05
US20200166996A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
KR102788778B1 (ko) 디스플레이 장치 및 그 제어 방법
CN114286173A (zh) 一种显示设备及音画参数调节方法
US20250211488A1 (en) Automatic determination of display device functionality
KR102405307B1 (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
KR102669100B1 (ko) 전자 장치 및 그 제어 방법
US20210136467A1 (en) Electronic device and operation method thereof
US11615780B2 (en) Electronic apparatus and controlling method thereof
CN111246264A (zh) 显示设备及其控制方法
CN112866613A (zh) 电子装置及其控制方法
CN112492390A (zh) 一种显示设备及内容推荐方法
KR102790267B1 (ko) 디스플레이 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
KR102659863B1 (ko) 전자 장치 및 그 제어 방법
US11373340B2 (en) Display apparatus and controlling method thereof
US11545158B2 (en) Electronic apparatus, method for controlling mobile apparatus by electronic apparatus and computer readable recording medium
KR20190097687A (ko) 전자 장치 및 전자 장치의 요약 영상 생성 방법
CN114125149A (zh) 视频播放方法、装置、系统、电子设备及存储介质
US11908192B2 (en) Electronic device and control method therefor
US20250080803A1 (en) Electronic apparatus and controlling method thereof
KR102118523B1 (ko) 전자 장치 및 그 제어 방법
KR20260047852A (ko) 전자 장치 및 이의 제어 방법
US20260104787A1 (en) Electronic apparatus and control method thereof
US20250173931A1 (en) Display device and method for operating same
US20250210022A1 (en) Electronic device and control method thereof
KR20210049582A (ko) 전자 장치 및 그 제어 방법
KR102904768B1 (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601