KR20170133048A - 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이 - Google Patents

인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이 Download PDF

Info

Publication number
KR20170133048A
KR20170133048A KR1020160063996A KR20160063996A KR20170133048A KR 20170133048 A KR20170133048 A KR 20170133048A KR 1020160063996 A KR1020160063996 A KR 1020160063996A KR 20160063996 A KR20160063996 A KR 20160063996A KR 20170133048 A KR20170133048 A KR 20170133048A
Authority
KR
South Korea
Prior art keywords
user
information
recognition sensor
facial expression
transparent display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020160063996A
Other languages
English (en)
Other versions
KR101904453B1 (ko
Inventor
김선필
Original Assignee
김선필
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김선필 filed Critical 김선필
Priority to KR1020160063996A priority Critical patent/KR101904453B1/ko
Priority to CN201680086062.6A priority patent/CN109313482A/zh
Priority to US16/303,191 priority patent/US20190187785A1/en
Priority to JP2018562231A priority patent/JP2019522273A/ja
Priority to EP16903242.2A priority patent/EP3467616A4/en
Priority to PCT/KR2016/005807 priority patent/WO2017204394A1/ko
Publication of KR20170133048A publication Critical patent/KR20170133048A/ko
Application granted granted Critical
Publication of KR101904453B1 publication Critical patent/KR101904453B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G06K9/00228—
    • G06K9/00261—
    • G06K9/00342—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이가 개시된다. 인공 지능 투명 디스플레이의 동작 방법은 인공 지능 투명 디스플레이에 구현된 복수의 센서가 사용자 정보를 센싱하는 단계, 인공 지능 투명 디스플레이에 구현된 인공 지능 프로세서가 사용자 정보를 기반으로 반응 동작 정보를 생성하는 단계와 인공 지능 투명 디스플레이에 구현된 투명 디스플레이 상에서 출력되는 인공 지능 객체가 반응 동작 정보에 따른 동작을 수행하는 단계를 포함할 수 있다.

Description

인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이{Method for operating of artificial intelligence transparent display and artificial intelligence transparent display}
본 발명은 디스플레이에 관한 것으로서, 보다 상세하게는 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이에 관한 것이다.
CRT(cathode ray tube)에 이어 디스플레이의 주역이 된 평판 디스플레이가 그동안 비약적으로 발전해 오는 과정에서 대형화와 박형화를 이루었다면, 미래의 핵심 진화 방향으로 플렉시블(flexible)화와 투명(transparent)화가 회자되고 있다. 일반적으로 투명 디스플레이란 영상이 꺼져 있는 상태에서 디스플레이 소자가 인지 가능한 수준의 투과도를 가지며 영상이 켜진 상태에서도 투과도가 일부 유지되는 디스플레이를 통칭한다. 아직 개발 초기 단계라 on/off 상태에서 투과도가 각각 어느 수준 이상이 되어야 한다거나 투명 디스플레이의 고유한 화질 측정 기준이 무엇인지 등이 확립되어 있지 않은 상태이나 적어도 화면의 off 상태에서 화면 뒤의 배경을 인지할 수 있도록 제작된 디스플레이는 모두 투 명디스플레이에 속한다고 말할 수 있다.
현재 디스플레이 시장의 주력이라 할 수 있는 LCD(liquid crystal display)(LED(light emitting diode) LCD 포함) TV의 기술 장벽이 점차 낮아지는 가운데 국가의 전폭적 지원을 받는 중국 제조업체들의 공급 능력 확대에 따라 국내 TV 및 패널업체들의 수익성이 위협받고 있으며 이런 추세가 고착화될 가능성 또한 매우 높은 현실이다. 스마트폰 및 태블릿 PC의 등장과 더불어 그 수요가 늘고 있는 고급 사양의 중소형 디스플레이의 경우 아직까지는 한국 및 일본의 선진업체들이 시장을 장악하고 있지만 머지않아 TV의 전례를 따를 가능성이 크다 하겠다. 이러한 어려움을 극복하기 위해서는 새로운 부가가치를 가진 경쟁력 있는 제품으로 TV, 모바일용 등 기존 디스플레이 시장의 지배력을 강화하면서 동시에 새로운 디스플레이 시장을 창출하여야 하는데 투명 디스플레이가 유력한 돌파구가 될 것으로 기대된다.
KR 10-2007-0133532
본 발명의 일 측면은 인공 지능 투명 디스플레이의 동작 방법을 제공한다.
본 발명의 다른 측면은 및 인공 지능 투명 디스플레이를 제공한다.
본 발명의 일 측면에 따른 인공 지능 투명 디스플레이의 동작 방법은 상기 인공 지능 투명 디스플레이에 구현된 복수의 센서가 사용자 정보를 센싱하는 단계, 상기 인공 지능 투명 디스플레이에 구현된 인공 지능 프로세서가 상기 사용자 정보를 기반으로 반응 동작 정보를 생성하는 단계와 상기 인공 지능 투명 디스플레이에 구현된 투명 디스플레이 상에서 출력되는 인공 지능 객체가 상기 반응 동작 정보에 따른 동작을 수행하는 단계를 포함할 수 있다.
한편, 상기 복수의 센서는 안면 인식 센서, 음성 인식 센서 및 동작 인식 센서를 포함하고, 상기 사용자 정보는 상기 안면 인식 센서에 의해 생성된 표정 정보, 상기 음성 인식 센서에 의해 생성된 음성 정보, 상기 동작 인식 센서에 의해 생성된 동작 정보를 포함할 수 있다.
또한, 상기 안면 인식 센서는 초기에 획득된 사용자의 기본 얼굴 표정 정보를 기준으로 상기 사용자의 얼굴에 포함되는 각 구성부의 움직임 및 상기 얼굴의 근육의 움직임을 분석하여 복수의 표정 카테고리 중 하나의 표정 카테고리를 상기 표정 정보로 결정하고, 상기 안면 인식 센서는 상기 사용자의 표정 변화 정도를 탐지하여 상기 표정 정보를 생성하기 위한 표정 변화 센싱 감도를 결정할 수 있다.
또한, 상기 음성 인식 센서는 초기에 획득된 상기 사용자의 초기 음성 정보를 기반으로 상기 사용자의 음성에 대한 특징 정보를 추출하고, 상기 특징 정보를 기반으로 입력되는 소리 중 상기 사용자의 음성을 추출하고, 상기 인공 지능 투명 디스플레이는 상기 초기 음성 정보를 기반으로 변화된 상기 사용자의 음성의 크기 및 빠르기의 변화를 센싱하여 상기 사용자의 감정을 판단하여 상기 반응 동작 정보를 생성할 수 있다.
또한, 상기 동작 인식 센서는 상기 사용자의 동작의 패턴 및 상기 사용자의 동작의 크기를 센싱하고, 상기 인공 지능 투명 디스플레이는 상기 동작의 패턴 및 상기 동작의 크기를 고려하여 상기 사용자의 감정의 크기를 결정하여 상기 반응 동작 정보를 생성할 수 있다.
본 발명의 또 다른 측면에 따른 인공 지능 투명 디스플레이는 사용자 정보를 센싱하도록 구현된 복수의 센서, 상기 사용자 정보를 기반으로 반응 동작 정보를 생성하도록 구현되는 인공 지능 프로세서와 투명 디스플레이 상에서 출력되는 인공 지능 객체가 상기 반응 동작 정보에 따른 동작을 수행하는 인공 지능 객체를 출력하도록 구현되는 투명 디스플레이를 포함할 수 있다.
한편, 상기 복수의 센서는 안면 인식 센서, 음성 인식 센서 및 동작 인식 센서를 포함하고, 상기 사용자 정보는 상기 안면 인식 센서에 의해 생성된 표정 정보, 상기 음성 인식 센서에 의해 생성된 음성 정보, 상기 동작 인식 센서에 의해 생성된 동작 정보를 포함할 수 있다.
또한, 상기 안면 인식 센서는 초기에 획득된 사용자의 기본 얼굴 표정 정보를 기준으로 상기 사용자의 얼굴에 포함되는 각 구성부의 움직임 및 상기 얼굴의 근육의 움직임을 분석하여 복수의 표정 카테고리 중 하나의 표정 카테고리를 상기 표정 정보로 결정하고, 상기 안면 인식 센서는 상기 사용자의 표정 변화 정도를 탐지하여 상기 표정 정보를 생성하기 위한 표정 변화 센싱 감도를 결정할 수 있다.
또한, 상기 음성 인식 센서는 초기에 획득된 상기 사용자의 초기 음성 정보를 기반으로 상기 사용자의 음성에 대한 특징 정보를 추출하고, 상기 특징 정보를 기반으로 입력되는 소리 중 상기 사용자의 음성을 추출하고, 상기 인공 지능 프로세서는 상기 초기 음성 정보를 기반으로 변화된 상기 사용자의 음성의 크기 및 빠르기의 변화를 센싱하여 상기 사용자의 감정을 판단하여 상기 반응 동작 정보를 생성할 수 있다.
또한, 상기 동작 인식 센서는 상기 사용자의 동작의 패턴 및 상기 사용자의 동작의 크기를 센싱하고, 상기 인공 지능 프로세서는 상기 동작의 패턴 및 상기 동작의 크기를 고려하여 상기 사용자의 감정의 크기를 결정하여 상기 반응 동작 정보를 생성할 수 있다.
본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이에 따르면, 사용자에 의해 생성되는 표정 정보, 음성 정보, 동작 정보를 기반으로 사용자와 상호 작용을 수행함으로써 사용자를 위한 서비스 분야에서 다양하게 활용되어 사용자의 편의를 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 표정 정보 판단 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이를 나타낸 개념도이다.
도 1에서는 사용자와의 실제 대화가 가능한 가상 캐릭터가 제공되는 인공 지능 투명 디스플레이 장치가 개시된다.
도 1을 참조하면, 인공 지능 투명 디스플레이는 사용자의 표정, 움직임, 소리 등을 감지하는 센서(100) 및 센서에 의해 센싱된 정보를 분석하여 사용자와의 대화를 수행할 수 있는 인공 지능 프로세서(120) 및 투명 디스플레이(140)를 포함할 수 있다.
인공 지능 투명 디스플레이에 구현된 센서(100)는 인공 지능 투명 디스플레이의 전면에 위치한 사용자의 표정을 탐지하는 안면 인식 센서, 사용자의 움직임을 센싱하는 동작 인식 센서, 사용자의 음성 정보를 센싱하는 음성 인식 센서 등을 포함할 수 있다. 이러한 센서들(100)은 하나의 예시로서 다른 다양한 센서가 인공 지능 투명 디스플레이와 사용자와의 상호 작용을 위해 활용될 수 있다.
인공 지능 프로세서(120)는 센서(100)로부터 수신한 센싱 정보(표정 정보, 동작 정보, 음성 정보 등)을 기반으로 한 사용자와의 상호 작용을 위해 구현될 수 있다. 인공 지능 투명 디스플레이는 투명 디스플레이(140)를 통해 인공 지능 객체(예를 들어, 사람의 이미지)를 제공할 수 있고, 인공 기능 객체는 인공 지능 프로세서(120)를 기반으로 사용자와의 상호 작용을 수행할 수 있다. 인공 지능 투명 디스플레이의 화면은 투명 디스플레이(transparent display)(140)로 구현되어 인공 지능 객체가 출력되는 부분을 제외한 나머지 부분은 투명하게 표시될 수 있다.
예를 들어, 인공 지능 프로세서(120)는 안면 인식 센서로부터 수신한 사용자의 표정 정보/음성 인식 센서로부터 수신한 음성 정보를 기반으로 사용자의 표정에 따른 대화 내용을 반응 동작 정보로서 생성할 수 있다. 인공 지능 프로세서(120)는 생성된 대화 내용을 반응 동작 정보로서 인공 지능 객체가 발화하도록 제어할 수 있다.
본 발명의 실시예에 따른 인공 지능 투명 디스플레이는 다양한 분야에서 활용될 수 있다.
예를 들어, 인공 지능 투명 디스플레이는 음식점이나 바(bar)와 같은 공간에서 활용될 수 있다. 구체적으로 인공 지능 투명 디스플레이는 밥을 먹거나 술을 먹는 사용자의 표정 정보, 동작 정보, 음성 정보 등과 같은 사용자 정보를 인공 지능 투명 디스플레이에 구현된 다양한 센서를 통해 획득하고, 사용자 정보에 대한 반응 동작 정보를 생성할 수 있다. 인공 지능 투명 디스플레이의 화면 상에서 출력되는 인공 지능 객체는 반응 동작 정보를 기반으로 한 동작을 수행할 수 있다. 예를 들어, 인공 지능 객체는 사용자의 표정 정보 및 사용자에 의해 발화된 목소리 정보를 분석하여 사용자에게 가장 맞는 답변을 제공할 수 있다.
또 다른 예로, 인공 지능 투명 디스플레이는 간병을 위한 장소/병원 등에 설치되어 환자들에게 대화 상대로서의 역할을 수행할 수 있다. 인공 지능 투명 디스플레이는 휠체어를 탄 거동이 불편한 환자의 대화 상대로서의 역할을 수행할 수 있다.
또는 인공 지능 투명 디스플레이는 환자의 상태를 센싱하고, 간병하기 위한 역할을 수행할 수 있다. 구체적으로 인공 지능 투명 디스플레이는 치매 환자, 고령 간병 대상자에 대한 간병, 간호 역할을 수행할 수 있다. 인공 지능 투명 디스플레이는 블루투스로 연결된 '스마트 밴드'와 디스플레이 기기 상단에 위치한 '행동 인식 센서, 음성 인식 센서, 안면 인식 센서' 등과 같은 센서를 통해 환자의 각종 건강 정보(체온, 맥박, 혈압, 표정, 움직임 등)을 계속적으로 측정, 관찰할 수 있다.　인공 지능 투명 디스플레이는 평상시에는 환자의 이야기 상대를 해주면서 인지증(치매, Alzheimer) 환자, 고령 간병 대상자에게 필요한 체조나 두뇌 개발 게임, 퀴즈 등을 통해 무료함을 달래줄 수 있다. 또한, 인공 지능 투명 디스플레이는 사용자가 젊은 시절 즐겨듣던 음악, 영화, 드라마 등을 검색하고 적시에 재생하여 혼자 있는 환자가 외로움을 느끼지 않도록 다양한 엔터테인먼트 서비스를 제공할 수 있다.
또한, 인공 지능 투명 디스플레이는 환자가 약을 먹을 시간, 식사할 시간을 알려주고 화장실에 가고 싶은 지에 대해 물어보고 필요한 시점에 간병인을 호출해줄 수 있다. 수면 시간 이외에 움직임이 없거나 건강에 이상이 발견되면 즉시 위험도에 따라 호출 대상을 인공 지능이 판단해 의사, 간호사, 혹은 가족에게 통지할 수 있다.
또한, 요리 서포트, 사무 어시스턴트, 회사 및/또는 호텔에서의 안내 접수, 가라오케(노래방), 유치원, 보육원, 학교, 복지 시설 등을 위해 인공 지능 투명 디스플레이가 활용될 수 있다. 구체적으로 인공 지능 투명 디스플레이는 사용자가 특정 요리를 수행할 경우, 특정 요리의 레시피에 대한 정보를 인공 지능 객체를 통해 제공할 수 있다. 또한, 인공 지능 객체가 사무적인 비서 역할을 수행하여 간단한 전화 업무 및 스케줄링 업무를 수행할 수도 있다. 또한, 회사 및 호텔의 컨시어지(concierge)에서 사용자에 대한 룸의 예약과 같은 업무가 인공 지능 투명 디스플레이 상의 인공 지능 객체를 통해 수행될 수 있다. 또한, 노래방과 같은 장소에서 인공 지능 투명 디스플레이 상의 인공 지능 객체가 곡에 따른 연주를 수행할 수도 있다. 또한, 학교, 보육원, 유치원에서 인공 지능 투명 디스플레이 상의 인공 지능 객체가 유아, 학생들과의 커뮤니케이션을 통해 학습 커리큘럼을 제공할 수도 있다. 이뿐만 아니라, 복지 시설에서 노인들에게 말동무가 되어 주거나 프로그램을 제공하기 위해 인공 지능 투명 디스플레이 상의 인공 지능 객체가 활용될 수도 있다.
인공 지능 객체는 사용자의 선택에 따라 다운로드될 수 있다. 예를 들어, 앱스토어 서버와 같은 다운로드 가능한 서버를 통해 사용자는 인공 지능 객체를 선택하여 다운로드할 수 있고, 다운로드된 인공 지능 객체는 인공 지능 투명 디스플레이 상에서 출력될 수 있다. 인공 지능 객체로서 다양한 캐릭터가 개발되고 인공 지능 객체의 판매가 하나의 수익 모델로 활용될 수 있다. 예를 들어, 아이돌, 만화 캐릭터, 모델, 탤런트 개그맨 또는 사용자와 관련된 인물(예를 들어, 가족)이 인공 지능 객체로서 활용될 수 있다.
도 2는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 2에서는 인공 지능 투명 디스플레이가 다양한 센서로부터 수집된 정보를 기반으로 반응 동작을 수행하는 방법이 개시된다.
도 2를 참조하면, 안면 인식 센서(200)는 사용자의 표정 정보를 결정할 수 있다. 예를 들어, 안면 인식 센서(200)는 표정 정보를 화남, 즐거움, 슬픔, 우울함, 흥분됨, 무표정 등 다양한 표정 카테고리 중 하나로 결정할 수 있다. 안면 인식 센서(200)는 사용자의 얼굴에서 눈의 움직임, 입술의 움직임, 얼굴 근육의 움직임 등을 분석하여 표정 정보를 다양한 표정 카테고리 중 하나로 결정할 수 있다. 구체적으로 안면 인식 센서(200)는 사용자의 기본 얼굴 표정을 기준으로 변화 정도를 고려하여 표정 정보(250)를 다양한 표정 카테고리 중 하나로 결정할 수 있다. 사용자마다 감정에 따라 변화되는 얼굴 근육의 정도, 눈, 입의 모양이 서로 다르기 때문에 안면 인식 센서(200)는 사용자 별로 인식 감도를 다르게 설정할 수 있다.
예를 들어, 안면 인식 센서(200)는 설정된 시간 동안 사용자와의 초기 상호 작용을 통해 사용자의 표정의 변화 정도를 탐지하고, 사용자의 표정 변화 감도를 결정할 수 있다. 안면 인식 센서(200)는 표정 변화의 폭이 큰 사용자에 대해 표정 변화 감도를 1로 설정하여 표정 변화의 센싱 감도를 상대적으로 낮추고 표정 변화의 폭이 큰 사용자에 대해 표정 변화 감도를 5로 설정하여 표정 변화의 센싱 감도를 상대적으로 높일 수 있다.
이뿐만 아니라 사용자에 적응적으로 분석 알고리즘을 변화시킬 수 있다. 예를 들어, 사용자가 웃는 표정을 짓는 경우, 사용자의 눈과 입의 변화에 대한 정보가 획득될 수 있다. 사용자에 따라 눈의 변화, 입의 변화가 다를 수 있고, 이러한 구체적인 사용자별 표정 변화의 차이에 대한 정보는 사용자와 인공 지능 투명 디스플레이의 상호 작용 동안에 획득될 수 있다.
구체적으로 안면 인식 센서(200)는 사용자의 표정을 웃는 표정으로 판단할 수 있고, 인공 지능 투명 디스플레이는 안면 인식 센서(200)에 의해 인식된 제1 사용자 정보(표정 정보)를 기반으로 제1 반응 동작 정보를 생성할 수 있다. 사용자는 인공 지능 투명 디스플레이의 제1 반응 동작 정보를 기반으로 다시 제2 사용자 정보(표정 정보, 동작 정보, 음성 정보 등)를 생성할 수 있다. 인공 지능 투명 디스플레이는 수신한 제2 사용자 정보를 기반으로 제1 반응 동작 정보가 정확하였는지 여부에 대해 판단하고 결과적으로는 제1 사용자 정보가 안면 인식 센서에 의해 정확하게 센싱된 결과인지 여부를 판단할 수 있다.
만약, 제1 사용자 정보가 안면 인식 센서(200)에 의해 정확하게 센싱된 결과인 경우, 안면 인식 센서는 동일한 분석 알고리즘을 사용하여 사용자의 표정 정보를 생성할 수 있다. 반대로 제1 사용자 정보가 안면 인식 센서(200)에 의해 정확하게 센싱된 결과가 아닌 것으로 판단되는 경우, 안면 인식 센서(200)는 분석 알고리즘을 변화시켜 사용자의 표정 정보(250)를 생성할 수 있다.
구체적으로 반대로 제1 사용자 정보가 안면 인식 센서(200)에 의해 정확하게 센싱된 결과가 아닌 것으로 판단되는 경우, 안면 인식 센서(200)는 분석 알고리즘을 수정할 수 있다. 예를 들어, 사용자에 동일한 표정이 발생하는 경우, 사용자의 표정이 제1 사용자 정보로 판단되지 않도록 분석 알고리즘 상의 눈, 입과 같은 구성부에 대한 변화 및 얼굴 근육의 변화도를 조정될 수 있다.
도 2에서는 안면 인식 센서(200)가 사용자 정보(표정 정보)에 대한 판단까지 수행하는 경우를 가정하였으나, 안면 인식 센서(200)는 사용자의 안면에 일어난 변화에 대해서만 감지하고 인공 지능 프로세서가 사용자의 안면에 일어난 변화를 기반으로 사용자 정보(표정 정보(250))에 대한 판단을 수행할 수도 있다.
도 3은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 표정 정보 판단 방법을 나타낸 개념도이다.
도 3에서는 사용자의 사용자 정보로서 표정 정보를 보다 명확하게 판단하기 위한 방법이 개시된다.
도 3을 참조하면, 복수의 인공 지능 투명 디스플레이는 인공 지능 투명 디스플레이 서버(300)와 연결될 수 있고, 복수의 인공 지능 투명 디스플레이 각각은 입력된 사용자의 이미지와 사용자의 이미지를 기반으로 판단된 사용자의 표정 정보 및 표정 정보의 판단에 대한 정오 여부에 대한 정보(이하, 표정 판단 오류 정보)를 인공 지능 투명 디스플레이 서버(300)로 전송할 수 있다. 표정 판단 오류 정보는 사용자의 이미지를 기반으로 생성된 사용자의 표정 정보가 정확했는지 부정확했는지 여부에 대한 정보일 수 있다. 전술한 바와 같이 표정 판단 오류 정보는 표정 정보를 기반으로 생성된 인공 지능 투명 디스플레이의 반응 동작 정보에 대한 사용자의 반응인 사용자 정보를 고려하여 결정될 수 있다.
인공 지능 투명 디스플레이 서버(300)는 복수의 인공 지능 투명 디스플레이 각각으로부터 수신한 사용자 이미지, 사용자 표정 정보 및 표정 판단 오류 정보를 기반으로 학습을 통해 보다 정확한 표정 정보를 생성하기 위한 판단 알고리즘을 생성할 수 있다. 예를 들어, 인공 지능 투명 디스플레이 서버(300)는 딥 러닝과 같은 기계 학습 알고리즘을 기반으로 보다 정확한 표정 정보를 생성하기 위한 판단 알고리즘을 지속적으로 업데이트할 수 있다.
인공 지능 투명 디스플레이 서버(300)는 업데이트된 표정 정보 판단 알고리즘을 복수의 인공 지능 투명 디스플레이 각각으로 전송할 수 있고, 복수의 인공 지능 투명 디스플레이 각각은 업데이트된 표정 정보 판단 알고리즘을 기반으로 표정 정보에 대한 판단을 수행할 수 있다.
구체적인 예로, 인공 지능 투명 디스플레이 서버(300)는 통일적인 하나의 표정 정보 판단 알고리즘을 인공 지능 투명 디스플레이로 제공하는 것이 아니라, 사용자의 이미지 별로 가장 적절한 표정 정보 판단 알고리즘을 제공할 수 있다. 사용자의 이미지를 기반으로 사용자의 성별, 나이, 두상, 얼굴 근육 등을 분석하고 사용자의 성별, 나이, 두상, 얼굴 근육 등에 가장 적절한 표정 정보 판단 알고리즘이 제공될 수 있다.
도 4는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 4에서는 인공 지능 투명 디스플레이가 다양한 센서로부터 수집된 정보를 기반으로 반응 동작을 수행하는 방법이 개시된다.
도 4를 참조하면, 음성 인식 센서(400)는 사용자의 음성 정보(420)를 수집할 수 있다.
음성 인식 센서(400)는 사용자로부터 초기 음성 정보(420)를 수신하고, 초기 음성 정보(420)를 기반으로 사용자의 음성에 대한 특징 정보를 획득할 수 있다. 예를 들어, 음성 인식 센서(400)는 주변 환경에 의해 발생되는 소음 속에서 사용자 음성을 분리하기 위해 사용자 음성에 대한 특징 정보를 획득하여 입력되는 소리 정보 중에서 사용자의 음성 정보만을 획득할 수 있다.
음성 인식 센서(400)는 수신된 음성 정보(420)를 텍스트 정보(440)로 변환할 수 있다. 예를 들어, 사용자가 "내일은 놀이 공원에 가려고 해."라는 문장을 음성으로 발화한 경우, 음성 인식 센서(400)는 사용자에 의해 발화된 음성을 텍스트로 변환하여 사용자 정보로서 인공 지능 프로세서로 전송할 수 있다.
인공 지능 프로세서는 텍스트화된 사용자의 발화 음성을 사용자 정보로서 수신하고, 텍스트화된 사용자의 발화 음성에 대한 반응 동작 정보를 생성하고, 인공 지능 객체가 반응 동작 정보를 기반으로 한 동작을 수행하도록 구현될 수 있다. 예를 들어, 인공 지능 프로세서는 사용자 정보로서 "내일은 놀이 공원에 가려고 해."라는 텍스트 정보를 수신한 경우, 인공 지능 객체가 텍스트 정보에 대한 반응 동작 정보로서 "어떤 놀이 동산에 가려고 해", "재미있겠다, 놀이 기구는 뭘 타려고 해?"와 같은 음성 정보를 출력하도록 구현될 수 있다.
이러한 인공 지능 프로세서에 의해 생성되는 반응 동작 정보는 다양한 방법을 기반으로 결정될 수 있다.
음성 인식 센서(400)는 초기 음성 정보를 기준으로 사용자의 감정 상태도 추가적으로 판단할 수도 있다. 예를 들어, 음성 인식 센서(400)는 입력되는 사용자 음성의 크기 및 사용자 음성의 빠르기를 고려하여 사용자의 감정을 판단할 수 있다. 예를 들어, 사용자의 음성이 커지거나 사용자의 음성의 발화 속도가 빨라지는 경우, 사용자의 감정이 격해졌다고 판단하고 표정 인식 센서에 의해 판단된 사용자의 표정 카테고리와의 매칭 여부 및 감정의 정도에 대해 판단할 수 있다.
예를 들어, 사용자의 표정 카테고리가 화남으로 판단되는 경우, 음성 인식 센서(400)를 통해 입력되는 사용자 음성의 크기 및 사용자 음성의 빠르기가 추가적으로 고려되어 인공 지능 투명 디스플레이는 사용자의 감정의 정도(예를 들어, 화남의 정도)에 대한 구체적인 판단을 수행할 수 있다.
도 5는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 5에서는 인공 지능 투명 디스플레이가 텍스트화된 사용자의 발화 음성에 대한 반응 동작 정보를 생성하기 위한 방법이 개시된다.
도 5를 참조하면, 인공 지능 투명 디스플레이와 연결된 인공 지능 투명 디스플레이 서버(500)는 기존에 존재하는 다양한 멀티미디어 정보로부터 대화 정보를 수신하고, 대화 정보를 기반으로 기계 학습을 통해 반응 정보를 생성하도록 구현될 수 있다.
예를 들어, 인공 지능 투명 디스플레이 서버(500)는 기존에 존재하는 다양한 멀티미디어 정보로부터 대화 정보를 추출하고 추출된 대화 정보에 대한 기계 학습을 통해 반응 정보를 생성하여 데이터베이스를 형성할 수 있다. 인공 지능 투명 디스플레이 서버(500)는 사용자의 텍스트화된 사용자의 발화 음성을 수신하고, 기계 학습을 기반으로 구현된 데이터베이스를 기반으로 반응 동작 정보를 생성할 수 있다.
도 6은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 6에서는 인공 지능 투명 디스플레이가 다양한 센서로부터 수집된 정보를 기반으로 반응 동작을 수행하는 방법이 개시된다.
도 6을 참조하면, 동작 인식 센서(600)는 사용자의 동작 정보를 수집할 수 있다. 동작 인식 센서(600)는 사용자의 동작을 인식하여 사용자의 동작 정보(650)를 생성하여 인공 지능 프로세서로 전송할 수 있다.
인공 지능 프로세서는 동작 인식 센서에 의해 센싱된 동작 정보(650)를 고려하여 반응 동작 정보를 생성할 수 있다. 예를 들어, 사용자의 팔의 움직임, 몸의 움직임에 대한 정보가 동작 정보(650)로서 생성될 수 있고, 동작 정보(650)는 반응 동작 정보를 생성하기 위해 고려될 수 있다.
예를 들어, 사용자가 어떠한 물건을 집는 동작, 음식을 먹거나 술을 마시는 동작 등이 동작 정보(650)로서 생성될 수 있고, 이러한 동작 정보(650)를 기반으로 인공 지능 투명 디스플레이는 반응 동작 정보를 생성할 수 있다. 또한, 인공 지능 프로세서는 사용자의 표정 정보 및 동작 정보(650)에 포함되는 사용자 동작의 패턴, 사용자 동작의 크기를 고려하여 사용자의 감정 정보를 판단할 수도 있다. 예를 들어, 사용자의 표정 정보를 기반으로 사용자가 화남 상태로 판단되는 경우, 인공 지능 투명 디스플레이는 사용자의 동작 정보(650)를 추가적으로 고려하여 사용자의 화남의 정도를 추가적으로 판단하고 추가적으로 판단된 사용자의 화남의 정도에 따라 반응 동작 정보를 생성할 수 있다.
다른 예를 들어, 사용자의 표정 정보를 기반으로 사용자가 즐거움 상태로 판단되는 경우, 인공 지능 투명 디스플레이는 사용자의 동작 정보(650)를 추가적으로 고려하여 사용자의 즐거움의 정도를 추가적으로 판단하고, 추가적으로 판단된 사용자의 즐거움의 정도에 따라 반응 동작 정보를 생성할 수 있다.
이와 같은 인공 지능 투명 디스플레이의 동작 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들일 수 있고, 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 인공 지능 투명 디스플레이의 동작 방법은,
    상기 인공 지능 투명 디스플레이에 구현된 복수의 센서가 사용자 정보를 센싱하는 단계;
    상기 인공 지능 투명 디스플레이에 구현된 인공 지능 프로세서가 상기 사용자 정보를 기반으로 반응 동작 정보를 생성하는 단계; 및
    상기 인공 지능 투명 디스플레이에 구현된 투명 디스플레이 상에서 출력되는 인공 지능 객체가 상기 반응 동작 정보에 따른 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 복수의 센서는 안면 인식 센서, 음성 인식 센서 및 동작 인식 센서를 포함하고,
    상기 사용자 정보는 상기 안면 인식 센서에 의해 생성된 표정 정보, 상기 음성 인식 센서에 의해 생성된 음성 정보, 상기 동작 인식 센서에 의해 생성된 동작 정보를 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 안면 인식 센서는 초기에 획득된 사용자의 기본 얼굴 표정 정보를 기준으로 상기 사용자의 얼굴에 포함되는 각 구성부의 움직임 및 상기 얼굴의 근육의 움직임을 분석하여 복수의 표정 카테고리 중 하나의 표정 카테고리를 상기 표정 정보로 결정하고,
    상기 안면 인식 센서는 상기 사용자의 표정 변화 정도를 탐지하여 상기 표정 정보를 생성하기 위한 표정 변화 센싱 감도를 결정하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 음성 인식 센서는 초기에 획득된 상기 사용자의 초기 음성 정보를 기반으로 상기 사용자의 음성에 대한 특징 정보를 추출하고, 상기 특징 정보를 기반으로 입력되는 소리 중 상기 사용자의 음성을 추출하고,
    상기 인공 지능 투명 디스플레이는 상기 초기 음성 정보를 기반으로 변화된 상기 사용자의 음성의 크기 및 빠르기의 변화를 센싱하여 상기 사용자의 감정을 판단하여 상기 반응 동작 정보를 생성하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 동작 인식 센서는 상기 사용자의 동작의 패턴 및 상기 사용자의 동작의 크기를 센싱하고,
    상기 인공 지능 투명 디스플레이는 상기 동작의 패턴 및 상기 동작의 크기를 고려하여 상기 사용자의 감정의 크기를 결정하여 상기 반응 동작 정보를 생성하는 것을 특징으로 하는 방법.
  6. 인공 지능 투명 디스플레이는,
    사용자 정보를 센싱하도록 구현된 복수의 센서;
    상기 사용자 정보를 기반으로 반응 동작 정보를 생성하도록 구현되는 인공 지능 프로세서; 및
    투명 디스플레이 상에서 출력되는 인공 지능 객체가 상기 반응 동작 정보에 따른 동작을 수행하는 인공 지능 객체를 출력하도록 구현되는 투명 디스플레이를 포함하는 것을 특징으로 하는 인공 지능 투명 디스플레이.
  7. 제6항에 있어서,
    상기 복수의 센서는 안면 인식 센서, 음성 인식 센서 및 동작 인식 센서를 포함하고,
    상기 사용자 정보는 상기 안면 인식 센서에 의해 생성된 표정 정보, 상기 음성 인식 센서에 의해 생성된 음성 정보, 상기 동작 인식 센서에 의해 생성된 동작 정보를 포함하는 것을 특징으로 하는 인공 지능 투명 디스플레이.
  8. 제7항에 있어서,
    상기 안면 인식 센서는 초기에 획득된 사용자의 기본 얼굴 표정 정보를 기준으로 상기 사용자의 얼굴에 포함되는 각 구성부의 움직임 및 상기 얼굴의 근육의 움직임을 분석하여 복수의 표정 카테고리 중 하나의 표정 카테고리를 상기 표정 정보로 결정하고,
    상기 안면 인식 센서는 상기 사용자의 표정 변화 정도를 탐지하여 상기 표정 정보를 생성하기 위한 표정 변화 센싱 감도를 결정하는 것을 특징으로 하는 인공 지능 투명 디스플레이.
  9. 제8항에 있어서,
    상기 음성 인식 센서는 초기에 획득된 상기 사용자의 초기 음성 정보를 기반으로 상기 사용자의 음성에 대한 특징 정보를 추출하고, 상기 특징 정보를 기반으로 입력되는 소리 중 상기 사용자의 음성을 추출하고,
    상기 인공 지능 프로세서는 상기 초기 음성 정보를 기반으로 변화된 상기 사용자의 음성의 크기 및 빠르기의 변화를 센싱하여 상기 사용자의 감정을 판단하여 상기 반응 동작 정보를 생성하는 것을 특징으로 하는 인공 지능 투명 디스플레이.
  10. 제9항에 있어서,
    상기 동작 인식 센서는 상기 사용자의 동작의 패턴 및 상기 사용자의 동작의 크기를 센싱하고,
    상기 인공 지능 프로세서는 상기 동작의 패턴 및 상기 동작의 크기를 고려하여 상기 사용자의 감정의 크기를 결정하여 상기 반응 동작 정보를 생성하는 것을 특징으로 하는 인공 지능 투명 디스플레이.
KR1020160063996A 2016-05-25 2016-05-25 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이 Expired - Fee Related KR101904453B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020160063996A KR101904453B1 (ko) 2016-05-25 2016-05-25 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이
CN201680086062.6A CN109313482A (zh) 2016-05-25 2016-06-01 人工智能透明显示装置的运转方法及人工智能透明显示装置
US16/303,191 US20190187785A1 (en) 2016-05-25 2016-06-01 Method for operating artificial intelligence transparent display and artificial intelligence transparent display
JP2018562231A JP2019522273A (ja) 2016-05-25 2016-06-01 人工知能透明ディスプレイ及びその動作方法
EP16903242.2A EP3467616A4 (en) 2016-05-25 2016-06-01 METHOD FOR OPERATING A TRANSPARENT ARTIFICIAL INTELLIGENCE DISPLAY UNIT AND TRANSPARENT ARTIFICIAL INTELLIGENCE DISPLAY UNIT
PCT/KR2016/005807 WO2017204394A1 (ko) 2016-05-25 2016-06-01 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160063996A KR101904453B1 (ko) 2016-05-25 2016-05-25 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이

Publications (2)

Publication Number Publication Date
KR20170133048A true KR20170133048A (ko) 2017-12-05
KR101904453B1 KR101904453B1 (ko) 2018-10-04

Family

ID=60411705

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160063996A Expired - Fee Related KR101904453B1 (ko) 2016-05-25 2016-05-25 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이

Country Status (6)

Country Link
US (1) US20190187785A1 (ko)
EP (1) EP3467616A4 (ko)
JP (1) JP2019522273A (ko)
KR (1) KR101904453B1 (ko)
CN (1) CN109313482A (ko)
WO (1) WO2017204394A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021066399A1 (ko) * 2019-09-30 2021-04-08 주식회사 오투오 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템
KR102378885B1 (ko) * 2021-09-29 2022-03-28 주식회사 인피닉 발화자의 얼굴을 이용한 메타데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102480291B1 (ko) * 2022-10-07 2022-12-26 주식회사 토노베이션 안면인식을 통한 고객 맞춤 서비스 제공 시스템

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10910001B2 (en) * 2017-12-25 2021-02-02 Casio Computer Co., Ltd. Voice recognition device, robot, voice recognition method, and storage medium
US12346432B2 (en) * 2018-12-31 2025-07-01 Intel Corporation Securing systems employing artificial intelligence
CN110716641B (zh) * 2019-08-28 2021-07-23 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质
KR102276951B1 (ko) * 2019-09-19 2021-07-13 주식회사 세미콘네트웍스 목소리 및 얼굴 안면 감정값의 산출 방법 및 이를 이용한 인공지능 스피커의 출력 방법
US20230066616A1 (en) * 2020-05-21 2023-03-02 Beijing Baidu Netcom Science And Technology Co., Ltd. User interaction method and apparatus, device and medium
US20230237774A1 (en) * 2020-07-07 2023-07-27 Sony Group Corporation Data collection system, sensor device, data collection device, and data collection method
DK202070795A1 (en) * 2020-11-27 2022-06-03 Gn Audio As System with speaker representation, electronic device and related methods
JP2025001589A (ja) * 2023-06-20 2025-01-08 ソフトバンクグループ株式会社 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP2025001743A (ja) * 2023-06-21 2025-01-09 ソフトバンクグループ株式会社 行動制御システム
JP2025044252A (ja) * 2023-09-19 2025-04-01 ソフトバンクグループ株式会社 システム
JP2025044251A (ja) * 2023-09-19 2025-04-01 ソフトバンクグループ株式会社 システム
JP2025044248A (ja) * 2023-09-19 2025-04-01 ソフトバンクグループ株式会社 システム
JP2025048809A (ja) * 2023-09-20 2025-04-03 ソフトバンクグループ株式会社 システム
JP2025048819A (ja) * 2023-09-20 2025-04-03 ソフトバンクグループ株式会社 システム
JP2025048976A (ja) * 2023-09-21 2025-04-03 ソフトバンクグループ株式会社 システム
JP2025049265A (ja) * 2023-09-21 2025-04-03 ソフトバンクグループ株式会社 システム
JP2025048982A (ja) * 2023-09-21 2025-04-03 ソフトバンクグループ株式会社 システム
JP2025049213A (ja) * 2023-09-21 2025-04-03 ソフトバンクグループ株式会社 システム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
JP2001083984A (ja) * 1999-09-09 2001-03-30 Alpine Electronics Inc インタフェース装置
US20110118870A1 (en) * 2007-09-06 2011-05-19 Olympus Corporation Robot control system, robot, program, and information storage medium
WO2009157733A1 (en) * 2008-06-27 2009-12-30 Yujin Robot Co., Ltd. Interactive learning system using robot and method of operating the same in child education
KR101558553B1 (ko) * 2009-02-18 2015-10-08 삼성전자 주식회사 아바타 얼굴 표정 제어장치
US20120011477A1 (en) * 2010-07-12 2012-01-12 Nokia Corporation User interfaces
US8743244B2 (en) * 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
JP2013086226A (ja) * 2011-10-20 2013-05-13 Kyoto Sangyo Univ コミュニケーションロボット
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
US20140032466A1 (en) * 2012-07-30 2014-01-30 Boris Kaplan Computer system of artificial intelligence of a cyborg or an android, wherein a received signal-reaction of the computer system of artificial intelligence of the cyborg or the android, an association of the computer system of artificial intelligence of the cyborg or the android, a thought of the computer system of artificial intelligence of the cyborg or the android are substantiated, and a working method of this computer system of artificial intelligence of a cyborg or an android
US10139937B2 (en) * 2012-10-12 2018-11-27 Microsoft Technology Licensing, Llc Multi-modal user expressions and user intensity as interactions with an application
KR101978743B1 (ko) * 2012-10-19 2019-08-29 삼성전자주식회사 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법
US9046884B2 (en) * 2012-12-31 2015-06-02 Microsoft Technology Licensing, Llc Mood-actuated device
KR20140132246A (ko) * 2013-05-07 2014-11-17 삼성전자주식회사 오브젝트 선택 방법 및 오브젝트 선택 장치
KR20150009032A (ko) * 2013-07-09 2015-01-26 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR20150057424A (ko) * 2013-11-19 2015-05-28 한국전자통신연구원 증강현실 아바타 상호작용 방법 및 시스템
US9554100B2 (en) * 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
CN104951077A (zh) * 2015-06-24 2015-09-30 百度在线网络技术（北京）有限公司 基于人工智能的人机交互方法、装置和终端设备
CN118605029A (zh) * 2016-01-19 2024-09-06 奇跃公司 利用映像的增强现实系统和方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021066399A1 (ko) * 2019-09-30 2021-04-08 주식회사 오투오 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템
KR102378885B1 (ko) * 2021-09-29 2022-03-28 주식회사 인피닉 발화자의 얼굴을 이용한 메타데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102480291B1 (ko) * 2022-10-07 2022-12-26 주식회사 토노베이션 안면인식을 통한 고객 맞춤 서비스 제공 시스템

Also Published As

Publication number Publication date
EP3467616A4 (en) 2020-01-15
CN109313482A (zh) 2019-02-05
KR101904453B1 (ko) 2018-10-04
EP3467616A1 (en) 2019-04-10
WO2017204394A1 (ko) 2017-11-30
US20190187785A1 (en) 2019-06-20
JP2019522273A (ja) 2019-08-08

Similar Documents

Publication Publication Date Title
KR101904453B1 (ko) 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이
US10957325B2 (en) Method and apparatus for speech interaction with children
US10290222B2 (en) Interactive tutorial with integrated escalating prompts
US12171558B2 (en) System and method for screening conditions of developmental impairments
JP2011519429A (ja) 言語能力開発のための方法およびデバイス
US20090002325A1 (en) System and method for operating an electronic device
US20190013092A1 (en) System and method for facilitating determination of a course of action for an individual
TWI427573B (zh) 肢體互動式學習方法與裝置
US20250349294A1 (en) Voice assistance system and method for holding a conversation with a person
US20190193280A1 (en) Method for personalized social robot interaction
WO2019190817A1 (en) Method and apparatus for speech interaction with children
CN101499216B (zh) 应用于肢体交互式学习装置的肢体控制学习装置的方法
Bornman et al. Background, features, and principles of AAC technology
US20140045158A1 (en) System And Method For Associating Auditory Stimuli With Visual Depictions
WO2009090671A2 (en) System and method to stimulate human genius
Liu The effects of bilingualism on infant language development: the acquisition of sounds and words
CN111097141A (zh) 训练方法、训练系统及非暂态计算机可读取媒体
Campbell et al. Word level stress and lexical processing in 17‐month‐old infants
CN101112322A (zh) 一种婴幼儿语言发育评估系统及方法
ElSayed et al. LexiaQuest: Exploring the Feasibility of a NLP-Based Screening Tool for Dyslexia Using Virtual Reality
EP3576075A1 (en) Operating a toy for speech and language assessment and therapy
US20260079579A1 (en) Multi-sensory human-computer interaction system and multi-sensory human-computer interaction method
EP4481756A1 (en) Clinical preparatory environment
US20250345714A1 (en) Interactive ai toy capable of holding a conversation with a person, and method of interacting with same
Cuadra Inclusive Interaction Design of Voice Assistants for Older Adults

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20210928

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20210928

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000