WO2017204394A1 - 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이 - Google Patents

인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이 Download PDF

Info

Publication number
WO2017204394A1
WO2017204394A1 PCT/KR2016/005807 KR2016005807W WO2017204394A1 WO 2017204394 A1 WO2017204394 A1 WO 2017204394A1 KR 2016005807 W KR2016005807 W KR 2016005807W WO 2017204394 A1 WO2017204394 A1 WO 2017204394A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
artificial intelligence
recognition sensor
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/005807
Other languages
English (en)
French (fr)
Inventor
김선필
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201680086062.6A priority Critical patent/CN109313482A/zh
Priority to US16/303,191 priority patent/US20190187785A1/en
Priority to JP2018562231A priority patent/JP2019522273A/ja
Priority to EP16903242.2A priority patent/EP3467616A4/en
Publication of WO2017204394A1 publication Critical patent/WO2017204394A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Definitions

  • the present invention relates to a display, and more particularly, to a method of operating an artificial intelligence transparent display and an artificial intelligence transparent display.
  • a transparent display refers to a display in which a display element has a perceptible level in a state in which an image is turned off, and a portion of transmittance is maintained even in a state in which the image is turned on. It is still in the early stages of development, and it is not known whether the level of permeability should be higher or higher in the on / off state or what the inherent quality measurement standard of the transparent display is established, or whether the background behind the screen is at least off. All displays made for this purpose can be said to belong to a transparent display.
  • One aspect of the present invention provides a method of operating an artificial intelligence transparent display.
  • Another aspect of the present invention provides an artificial intelligence transparent display.
  • an artificial intelligence transparent display in which a plurality of sensors implemented in the artificial intelligence transparent display sense user information, and an artificial intelligence processor implemented in the artificial intelligence transparent display displays the user information. Generating response motion information based on the response information; and performing an operation according to the response motion information by an artificial intelligence object output on the transparent display implemented in the artificial intelligence transparent display.
  • the plurality of sensors may include a face recognition sensor, a voice recognition sensor, and a motion recognition sensor
  • the user information may include facial expression information generated by the face recognition sensor, voice information generated by the voice recognition sensor, and the motion. It may include operation information generated by the recognition sensor.
  • the face recognition sensor analyzes the movement of each component included in the face of the user and the movement of the muscles of the face based on the basic facial expression information of the user, which is obtained initially, and thus, the facial expression category is one of a plurality of facial expression categories. May be determined as the facial expression information, and the face recognition sensor may detect a facial expression change degree of the user to determine a facial expression change sensing sensitivity for generating the facial expression information.
  • the voice recognition sensor may extract feature information about the voice of the user based on the initial voice information of the user, and extract the voice of the user from among sounds input based on the feature information.
  • the artificial intelligence transparent display may generate the response motion information by determining the emotion of the user by sensing a change in the size and speed of the voice of the user that is changed based on the initial voice information.
  • the motion recognition sensor senses the pattern of the user's motion and the size of the user's motion
  • the artificial intelligence transparent display determines the size of the user's emotion in consideration of the pattern of the motion and the size of the motion. To generate the reaction operation information.
  • an artificial intelligence transparent display includes a plurality of sensors implemented to sense user information, an artificial intelligence processor implemented to generate reaction motion information based on the user information, and an artificial intelligence object output on the transparent display May include a transparent display implemented to output an artificial intelligence object performing an operation according to the reaction motion information.
  • the plurality of sensors may include a face recognition sensor, a voice recognition sensor, and a motion recognition sensor
  • the user information may include facial expression information generated by the face recognition sensor, voice information generated by the voice recognition sensor, and the motion. It may include operation information generated by the recognition sensor.
  • the face recognition sensor analyzes the movement of each component included in the face of the user and the movement of the muscles of the face based on the basic facial expression information of the user, which is obtained initially, and thus, the facial expression category is one of a plurality of facial expression categories. May be determined as the facial expression information, and the face recognition sensor may detect a facial expression change degree of the user to determine a facial expression change sensing sensitivity for generating the facial expression information.
  • the voice recognition sensor may extract feature information about the voice of the user based on the initial voice information of the user, and extract the voice of the user from among sounds input based on the feature information.
  • the artificial intelligence processor may generate the response motion information by determining the emotion of the user by sensing a change in the size and speed of the voice of the user that is changed based on the initial voice information.
  • the motion recognition sensor senses the pattern of the user's motion and the size of the user's motion
  • the artificial intelligence processor determines the size of the user's emotion in consideration of the pattern of the motion and the size of the motion
  • the reaction operation information may be generated.
  • a service field for a user by interacting with the user based on facial expression information, voice information, and motion information generated by the user It can be used in various ways to improve user convenience.
  • FIG. 1 is a conceptual diagram illustrating an artificial intelligence transparent display according to an embodiment of the present invention.
  • FIG. 2 is a conceptual diagram illustrating an operation of an artificial intelligence transparent display according to an embodiment of the present invention.
  • FIG. 3 is a conceptual diagram illustrating a facial expression information determining method of an artificial intelligence transparent display according to an embodiment of the present invention.
  • FIG. 4 is a conceptual diagram illustrating an operation of an artificial intelligence transparent display according to an embodiment of the present invention.
  • FIG. 5 is a conceptual diagram illustrating an operation of an artificial intelligence transparent display according to an embodiment of the present invention.
  • FIG. 6 is a conceptual diagram illustrating an operation of an artificial intelligence transparent display according to an embodiment of the present invention.
  • FIG. 1 is a conceptual diagram illustrating an artificial intelligence transparent display according to an embodiment of the present invention.
  • an artificial intelligence transparent display device provided with a virtual character capable of actual conversation with a user is disclosed.
  • the artificial intelligence transparent display 120 may analyze a sensor 100 that detects a user's expression, movement, sound, etc. and information sensed by the sensor to perform a dialogue with the user. ) And the transparent display 140.
  • the sensor 100 implemented in the artificial intelligence transparent display includes a face recognition sensor for detecting a user's facial expression located on the front of the artificial intelligence transparent display, a motion recognition sensor for sensing a user's movement, and a voice recognition sensor for sensing voice information of the user And the like.
  • These sensors 100 are just one example, and various other sensors may be utilized for interacting with an artificial intelligence transparent display and a user.
  • the artificial intelligence processor 120 may be implemented for interaction with a user based on sensing information (eg, expression information, motion information, voice information, etc.) received from the sensor 100.
  • the artificial intelligence transparent display may provide an artificial intelligence object (eg, an image of a person) through the transparent display 140, and the artificial function object performs interaction with a user based on the artificial intelligence processor 120. can do.
  • the screen of the artificial intelligence transparent display may be implemented as a transparent display 140 so that the remaining portions except for the portion where the artificial intelligence object is output may be displayed transparently.
  • the artificial intelligence processor 120 may generate the dialogue content according to the expression of the user as the response motion information based on the expression information of the user received from the facial recognition sensor / voice information received from the voice recognition sensor.
  • the artificial intelligence processor 120 may control the artificial intelligence object to utter the generated conversation content as reaction motion information.
  • the artificial intelligence transparent display according to the embodiment of the present invention can be utilized in various fields.
  • the artificial intelligence transparent display may be utilized in a space such as a restaurant or bar.
  • the artificial intelligence transparent display obtains user information such as facial expression information, motion information, and voice information of a user who eats or drinks food through various sensors implemented in the artificial intelligence transparent display, and displays reaction motion information on the user information. Can be generated.
  • the artificial intelligence object output on the screen of the artificial intelligence transparent display may perform an operation based on reaction motion information.
  • the artificial intelligence object may analyze the facial expression information of the user and the voice information spoken by the user to provide an answer that is most suitable for the user.
  • the artificial intelligence transparent display may be installed in a place / hospital for nursing and serve as a conversation partner with the patients.
  • the artificial intelligence transparent display can serve as a conversation partner for a wheelchair-impaired patient.
  • the artificial intelligence transparent display may serve to sense and care for a patient's condition.
  • the artificial intelligence transparent display may serve as a caregiver and a nursing care for dementia patients and elderly caregivers.
  • the artificial intelligence transparent display uses various sensors such as 'smart band' connected via Bluetooth and 'action recognition sensor, voice recognition sensor, and facial recognition sensor' located on the top of the display device. Movement, etc.) can be continuously measured and observed.
  • Artificial intelligence transparent displays can be used to tell the story of the patient and free the child through gymnastics, brain development games, and quizzes for dementia (Alzheimer's) patients and elderly carers.
  • the artificial intelligence transparent display may provide a variety of entertainment services so that the patient alone does not feel lonely by searching for and timely playing music, movies, dramas, etc. that the user enjoyed while young.
  • the AI transparent display tells patients when to take medicine, when to eat, asks if they want to go to the bathroom, and calls the caregiver when needed. If there is no movement or abnormality in health other than sleep time, AI can immediately determine the subject of the call based on the risk and notify the doctor, nurse or family.
  • artificial intelligence transparent displays may be utilized for culinary support, office assistants, reception desks at companies and / or hotels, karaokes, kindergartens, nurseries, schools, welfare facilities, and the like.
  • the artificial intelligence transparent display may provide information about a recipe of the specific dish through an artificial intelligence object.
  • Artificial intelligence objects can also act as secretaries to perform simple telephony and scheduling tasks.
  • tasks such as the reservation of a room for a user in a concierge of companies and hotels can be performed via artificial intelligence objects on an artificial intelligence transparent display.
  • an artificial intelligence object on the artificial intelligence transparent display may perform a performance according to a song in a place such as karaoke.
  • artificial intelligence objects on the artificial intelligence transparent display in the school, nursery school, kindergarten may provide a learning curriculum through communication with infants and students.
  • artificial intelligence objects on the AI transparent display may be used to serve as a companion or provide a program to the elderly in welfare facilities.
  • the artificial intelligence object can be downloaded according to the user's choice.
  • a downloadable server such as an App Store server, allows a user to select and download an AI object, and the downloaded AI object may be output on an AI transparent display.
  • Various characters are developed as artificial intelligence objects, and sales of artificial intelligence objects can be utilized as a profit model. For example, an idol, a cartoon character, a model, a talent gagman, or a person (eg, a family) associated with a user may be utilized as an artificial intelligence object.
  • FIG. 2 is a conceptual diagram illustrating an operation of an artificial intelligence transparent display according to an embodiment of the present invention.
  • FIG. 2 illustrates a method in which an artificial intelligence transparent display performs a reaction operation based on information collected from various sensors.
  • the facial recognition sensor 200 may determine facial expression information of a user.
  • the facial recognition sensor 200 may determine facial expression information as one of various facial expression categories such as anger, joy, sadness, depression, excitement, and no expression.
  • the facial recognition sensor 200 may determine facial expression information as one of various facial expression categories by analyzing eye movements, lip movements, and facial muscle movements in the user's face.
  • the facial recognition sensor 200 may determine the facial expression information 250 as one of various facial expression categories in consideration of the degree of change based on the basic facial expression of the user. Since the degree of facial muscles, eyes, and mouths that change according to emotions are different for each user, the facial recognition sensor 200 may set recognition sensitivity differently for each user.
  • the facial recognition sensor 200 may detect a degree of change of the user's facial expression and determine the sensitivity of the user's facial expression change through initial interaction with the user for a predetermined time.
  • the facial recognition sensor 200 sets the facial expression change sensitivity to 1 for a user having a large range of facial expression changes to relatively lower the sensing sensitivity of the facial expression change, and sets the facial expression change sensitivity to 5 for a user having a large facial expression variation. Sensing sensitivity of facial expression changes can be relatively increased.
  • the analysis algorithm it is possible to adapt the analysis algorithm to the user. For example, when the user makes a smile, information about a change in the eyes and the mouth of the user may be obtained.
  • the change of the eyes and the change of the mouth may vary according to the user, and the information about the difference in the expression change of the specific user may be obtained during the interaction between the user and the artificial intelligence transparent display.
  • the facial recognition sensor 200 may determine a user's expression as a smiling expression, and the artificial intelligence transparent display may have a first response based on first user information (expression information) recognized by the facial recognition sensor 200.
  • the operation information can be generated.
  • the user may again generate second user information (eg, expression information, motion information, voice information, etc.) based on the first response motion information of the artificial intelligence transparent display.
  • the artificial intelligence transparent display may determine whether the first response motion information is correct based on the received second user information, and as a result, may determine whether the first user information is a result accurately sensed by the face recognition sensor. have.
  • the face recognition sensor may generate facial expression information of the user using the same analysis algorithm.
  • the face recognition sensor 200 may change the analysis algorithm to generate the facial expression information 250 of the user.
  • the face recognition sensor 200 may modify the analysis algorithm. For example, when the same facial expression occurs in the user, the change of the components such as the eyes and the mouth and the degree of change of the facial muscles may be adjusted so that the facial expression of the user is not determined as the first user information.
  • the face recognition sensor 200 performs the determination of user information (expression information).
  • the face recognition sensor 200 detects only a change in the user's face and the artificial intelligence processor detects the user's face.
  • the determination of the user information (expression information 250) may be performed based on the change occurring on the face.
  • FIG. 3 is a conceptual diagram illustrating a facial expression information determining method of an artificial intelligence transparent display according to an embodiment of the present invention.
  • FIG. 3 illustrates a method for more clearly determining facial expression information as user information of a user.
  • the plurality of artificial intelligence transparent displays may be connected to the artificial intelligence transparent display server 300, and each of the plurality of artificial intelligence transparent displays may be based on the input image of the user and the determined image of the user.
  • Information about whether the facial expression information and the facial expression information is determined at noon (hereinafter, referred to as facial expression error information) may be transmitted to the artificial intelligence transparent display server 300.
  • the facial expression determination error information may be information about whether the facial expression information of the user generated based on the image of the user is correct or incorrect. As described above, the facial expression determination error information may be determined in consideration of the user information which is the user's response to the response motion information of the artificial intelligence transparent display generated based on the facial expression information.
  • the artificial intelligence transparent display server 300 may generate a determination algorithm for generating more accurate facial expression information through learning based on user images, user expression information, and facial expression determination error information received from each of the plurality of artificial intelligence transparent displays. have. For example, the artificial intelligence transparent display server 300 may continuously update a determination algorithm for generating more accurate facial expression information based on a machine learning algorithm such as deep learning.
  • the artificial intelligence transparent display server 300 may transmit the updated facial expression information determination algorithm to each of the plurality of artificial intelligence transparent displays, and each of the plurality of artificial intelligence transparent displays may determine the facial expression information based on the updated facial expression information determination algorithm. Can be performed.
  • the artificial intelligence transparent display server 300 may not provide a uniform facial expression information determination algorithm to the artificial intelligence transparent display, but may provide the most appropriate facial expression information determination algorithm for each user's image. Based on the user's image, the user's gender, age, head, facial muscles, etc. may be analyzed, and the expression information determination algorithm most suitable for the user's gender, age, head, facial muscle, etc. may be provided.
  • FIG. 4 is a conceptual diagram illustrating an operation of an artificial intelligence transparent display according to an embodiment of the present invention.
  • FIG. 4 a method in which an artificial intelligence transparent display performs a reaction operation based on information collected from various sensors is disclosed.
  • the voice recognition sensor 400 may collect voice information 420 of a user.
  • the voice recognition sensor 400 may receive initial voice information 420 from a user and obtain feature information about the voice of the user based on the initial voice information 420. For example, the voice recognition sensor 400 may acquire feature information of the user voice in order to separate the user voice from noise generated by the surrounding environment, and may acquire only the voice information of the user from the input sound information.
  • the voice recognition sensor 400 may convert the received voice information 420 into text information 440. For example, if a user utters the sentence "I'm going to an amusement park tomorrow.”, The speech recognition sensor 400 converts the speech uttered by the user into text and transmits it to the artificial intelligence processor as user information. Can be.
  • the artificial intelligence processor is configured to receive the textual user's speech as user information, generate the response motion information for the textual user's speech voice, and perform the motion based on the response motion information.
  • the rides can be implemented to output voice information such as "What are you going to ride?"
  • the response motion information generated by the artificial intelligence processor may be determined based on various methods.
  • the voice recognition sensor 400 may additionally determine the emotional state of the user based on the initial voice information. For example, the voice recognition sensor 400 may determine the emotion of the user in consideration of the size of the input user voice and the speed of the user voice. For example, when the user's voice is loud or the user's voice is speeded up, the user's emotion is increased and the user's expression is judged by the facial recognition sensor and the degree of the emotion is determined. You can judge.
  • the size of the user's voice input through the voice recognition sensor 400 and the speed of the user's voice are additionally taken into consideration so that the artificial intelligence transparent display displays the degree of the user's emotion (eg, For example, a specific judgment about the degree of anger may be performed.
  • FIG. 5 is a conceptual diagram illustrating an operation of an artificial intelligence transparent display according to an embodiment of the present invention.
  • FIG. 5 a method for generating an artificial intelligence transparent display for generating response motion information for a texted user's spoken voice is disclosed.
  • an artificial intelligence transparent display server 500 connected to an artificial intelligence transparent display is configured to receive conversation information from various multimedia information that exists and generate reaction information through machine learning based on the conversation information. Can be.
  • the artificial intelligence transparent display server 500 may form a database by extracting conversation information from various multimedia information existing and generating reaction information through machine learning on the extracted conversation information.
  • the artificial intelligence transparent display server 500 may receive a textual user's spoken voice and generate response motion information based on a database implemented based on machine learning.
  • FIG. 6 is a conceptual diagram illustrating an operation of an artificial intelligence transparent display according to an embodiment of the present invention.
  • FIG. 6 illustrates a method in which an artificial intelligence transparent display performs a reaction operation based on information collected from various sensors.
  • the motion recognition sensor 600 may collect motion information of a user.
  • the motion recognition sensor 600 may recognize the motion of the user, generate the motion information 650 of the user, and transmit the generated motion information 650 to the artificial intelligence processor.
  • the artificial intelligence processor may generate response motion information in consideration of motion information 650 sensed by the motion recognition sensor. For example, information about a user's arm movement and body movement may be generated as the motion information 650, and the motion information 650 may be considered to generate the response motion information.
  • an action of picking up an object, eating food or drinking alcohol, etc. may be generated as the action information 650.
  • the AI transparent display may display reaction action information. Can be generated.
  • the artificial intelligence processor may determine the emotion information of the user in consideration of the facial expression information of the user, the pattern of the user motion included in the motion information 650, and the size of the user motion. For example, when the user is determined to be angry based on the facial expression information of the user, the artificial intelligence transparent display additionally determines the degree of anger of the user by further considering the user's motion information 650 and further determines the user's anger. Reaction behavior information can be generated according to the degree of anger.
  • the artificial intelligence transparent display when it is determined that the user is in the enjoyment state based on the facial expression information of the user, the artificial intelligence transparent display additionally determines the degree of enjoyment of the user in consideration of the user's motion information 650 and further determines The response motion information may be generated according to the degree of enjoyment of the user.
  • the operation method of the artificial intelligence transparent display may be implemented in the form of program instructions that may be implemented as an application or executed through various computer components, and recorded in a computer-readable recording medium.
  • the computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded on the computer readable recording medium may be those specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical recording media such as CD-ROMs, DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이가 개시된다. 인공 지능 투명 디스플레이의 동작 방법은 인공 지능 투명 디스플레이에 구현된 복수의 센서가 사용자 정보를 센싱하는 단계, 인공 지능 투명 디스플레이에 구현된 인공 지능 프로세서가 사용자 정보를 기반으로 반응 동작 정보를 생성하는 단계와 인공 지능 투명 디스플레이에 구현된 투명 디스플레이 상에서 출력되는 인공 지능 객체가 반응 동작 정보에 따른 동작을 수행하는 단계를 포함할 수 있다.

Description

인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이
본 발명은 디스플레이에 관한 것으로서, 보다 상세하게는 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이에 관한 것이다.
CRT(cathode ray tube)에 이어 디스플레이의 주역이 된 평판 디스플레이가 그동안 비약적으로 발전해 오는 과정에서 대형화와 박형화를 이루었다면, 미래의 핵심 진화 방향으로 플렉시블(flexible)화와 투명(transparent)화가 회자되고 있다. 일반적으로 투명 디스플레이란 영상이 꺼져 있는 상태에서 디스플레이 소자가 인지 가능한 수준의 투과도를 가지며 영상이 켜진 상태에서도 투과도가 일부 유지되는 디스플레이를 통칭한다. 아직 개발 초기 단계라 on/off 상태에서 투과도가 각각 어느 수준 이상이 되어야 한다거나 투명 디스플레이의 고유한 화질 측정 기준이 무엇인지 등이 확립되어 있지 않은 상태이나 적어도 화면의 off 상태에서 화면 뒤의 배경을 인지할 수 있도록 제작된 디스플레이는 모두 투 명디스플레이에 속한다고 말할 수 있다.
현재 디스플레이 시장의 주력이라 할 수 있는 LCD(liquid crystal display)(LED(light emitting diode) LCD 포함) TV의 기술 장벽이 점차 낮아지는 가운데 국가의 전폭적 지원을 받는 중국 제조업체들의 공급 능력 확대에 따라 국내 TV 및 패널업체들의 수익성이 위협받고 있으며 이런 추세가 고착화될 가능성 또한 매우 높은 현실이다. 스마트폰 및 태블릿 PC의 등장과 더불어 그 수요가 늘고 있는 고급 사양의 중소형 디스플레이의 경우 아직까지는 한국 및 일본의 선진업체들이 시장을 장악하고 있지만 머지않아 TV의 전례를 따를 가능성이 크다 하겠다. 이러한 어려움을 극복하기 위해서는 새로운 부가가치를 가진 경쟁력 있는 제품으로 TV, 모바일용 등 기존 디스플레이 시장의 지배력을 강화하면서 동시에 새로운 디스플레이 시장을 창출하여야 하는데 투명 디스플레이가 유력한 돌파구가 될 것으로 기대된다.
본 발명의 일 측면은 인공 지능 투명 디스플레이의 동작 방법을 제공한다.
본 발명의 다른 측면은 및 인공 지능 투명 디스플레이를 제공한다.
본 발명의 일 측면에 따른 인공 지능 투명 디스플레이의 동작 방법은 상기 인공 지능 투명 디스플레이에 구현된 복수의 센서가 사용자 정보를 센싱하는 단계, 상기 인공 지능 투명 디스플레이에 구현된 인공 지능 프로세서가 상기 사용자 정보를 기반으로 반응 동작 정보를 생성하는 단계와 상기 인공 지능 투명 디스플레이에 구현된 투명 디스플레이 상에서 출력되는 인공 지능 객체가 상기 반응 동작 정보에 따른 동작을 수행하는 단계를 포함할 수 있다.
한편, 상기 복수의 센서는 안면 인식 센서, 음성 인식 센서 및 동작 인식 센서를 포함하고, 상기 사용자 정보는 상기 안면 인식 센서에 의해 생성된 표정 정보, 상기 음성 인식 센서에 의해 생성된 음성 정보, 상기 동작 인식 센서에 의해 생성된 동작 정보를 포함할 수 있다.
또한, 상기 안면 인식 센서는 초기에 획득된 사용자의 기본 얼굴 표정 정보를 기준으로 상기 사용자의 얼굴에 포함되는 각 구성부의 움직임 및 상기 얼굴의 근육의 움직임을 분석하여 복수의 표정 카테고리 중 하나의 표정 카테고리를 상기 표정 정보로 결정하고, 상기 안면 인식 센서는 상기 사용자의 표정 변화 정도를 탐지하여 상기 표정 정보를 생성하기 위한 표정 변화 센싱 감도를 결정할 수 있다.
또한, 상기 음성 인식 센서는 초기에 획득된 상기 사용자의 초기 음성 정보를 기반으로 상기 사용자의 음성에 대한 특징 정보를 추출하고, 상기 특징 정보를 기반으로 입력되는 소리 중 상기 사용자의 음성을 추출하고, 상기 인공 지능 투명 디스플레이는 상기 초기 음성 정보를 기반으로 변화된 상기 사용자의 음성의 크기 및 빠르기의 변화를 센싱하여 상기 사용자의 감정을 판단하여 상기 반응 동작 정보를 생성할 수 있다.
또한, 상기 동작 인식 센서는 상기 사용자의 동작의 패턴 및 상기 사용자의 동작의 크기를 센싱하고, 상기 인공 지능 투명 디스플레이는 상기 동작의 패턴 및 상기 동작의 크기를 고려하여 상기 사용자의 감정의 크기를 결정하여 상기 반응 동작 정보를 생성할 수 있다.
본 발명의 또 다른 측면에 따른 인공 지능 투명 디스플레이는 사용자 정보를 센싱하도록 구현된 복수의 센서, 상기 사용자 정보를 기반으로 반응 동작 정보를 생성하도록 구현되는 인공 지능 프로세서와 투명 디스플레이 상에서 출력되는 인공 지능 객체가 상기 반응 동작 정보에 따른 동작을 수행하는 인공 지능 객체를 출력하도록 구현되는 투명 디스플레이를 포함할 수 있다.
한편, 상기 복수의 센서는 안면 인식 센서, 음성 인식 센서 및 동작 인식 센서를 포함하고, 상기 사용자 정보는 상기 안면 인식 센서에 의해 생성된 표정 정보, 상기 음성 인식 센서에 의해 생성된 음성 정보, 상기 동작 인식 센서에 의해 생성된 동작 정보를 포함할 수 있다.
또한, 상기 안면 인식 센서는 초기에 획득된 사용자의 기본 얼굴 표정 정보를 기준으로 상기 사용자의 얼굴에 포함되는 각 구성부의 움직임 및 상기 얼굴의 근육의 움직임을 분석하여 복수의 표정 카테고리 중 하나의 표정 카테고리를 상기 표정 정보로 결정하고, 상기 안면 인식 센서는 상기 사용자의 표정 변화 정도를 탐지하여 상기 표정 정보를 생성하기 위한 표정 변화 센싱 감도를 결정할 수 있다.
또한, 상기 음성 인식 센서는 초기에 획득된 상기 사용자의 초기 음성 정보를 기반으로 상기 사용자의 음성에 대한 특징 정보를 추출하고, 상기 특징 정보를 기반으로 입력되는 소리 중 상기 사용자의 음성을 추출하고, 상기 인공 지능 프로세서는 상기 초기 음성 정보를 기반으로 변화된 상기 사용자의 음성의 크기 및 빠르기의 변화를 센싱하여 상기 사용자의 감정을 판단하여 상기 반응 동작 정보를 생성할 수 있다.
또한, 상기 동작 인식 센서는 상기 사용자의 동작의 패턴 및 상기 사용자의 동작의 크기를 센싱하고, 상기 인공 지능 프로세서는 상기 동작의 패턴 및 상기 동작의 크기를 고려하여 상기 사용자의 감정의 크기를 결정하여 상기 반응 동작 정보를 생성할 수 있다.
본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이에 따르면, 사용자에 의해 생성되는 표정 정보, 음성 정보, 동작 정보를 기반으로 사용자와 상호 작용을 수행함으로써 사용자를 위한 서비스 분야에서 다양하게 활용되어 사용자의 편의를 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 표정 정보 판단 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이를 나타낸 개념도이다.
도 1에서는 사용자와의 실제 대화가 가능한 가상 캐릭터가 제공되는 인공 지능 투명 디스플레이 장치가 개시된다.
도 1을 참조하면, 인공 지능 투명 디스플레이는 사용자의 표정, 움직임, 소리 등을 감지하는 센서(100) 및 센서에 의해 센싱된 정보를 분석하여 사용자와의 대화를 수행할 수 있는 인공 지능 프로세서(120) 및 투명 디스플레이(140)를 포함할 수 있다.
인공 지능 투명 디스플레이에 구현된 센서(100)는 인공 지능 투명 디스플레이의 전면에 위치한 사용자의 표정을 탐지하는 안면 인식 센서, 사용자의 움직임을 센싱하는 동작 인식 센서, 사용자의 음성 정보를 센싱하는 음성 인식 센서 등을 포함할 수 있다. 이러한 센서들(100)은 하나의 예시로서 다른 다양한 센서가 인공 지능 투명 디스플레이와 사용자와의 상호 작용을 위해 활용될 수 있다.
인공 지능 프로세서(120)는 센서(100)로부터 수신한 센싱 정보(표정 정보, 동작 정보, 음성 정보 등)을 기반으로 한 사용자와의 상호 작용을 위해 구현될 수 있다. 인공 지능 투명 디스플레이는 투명 디스플레이(140)를 통해 인공 지능 객체(예를 들어, 사람의 이미지)를 제공할 수 있고, 인공 기능 객체는 인공 지능 프로세서(120)를 기반으로 사용자와의 상호 작용을 수행할 수 있다. 인공 지능 투명 디스플레이의 화면은 투명 디스플레이(transparent display)(140)로 구현되어 인공 지능 객체가 출력되는 부분을 제외한 나머지 부분은 투명하게 표시될 수 있다.
예를 들어, 인공 지능 프로세서(120)는 안면 인식 센서로부터 수신한 사용자의 표정 정보/음성 인식 센서로부터 수신한 음성 정보를 기반으로 사용자의 표정에 따른 대화 내용을 반응 동작 정보로서 생성할 수 있다. 인공 지능 프로세서(120)는 생성된 대화 내용을 반응 동작 정보로서 인공 지능 객체가 발화하도록 제어할 수 있다.
본 발명의 실시예에 따른 인공 지능 투명 디스플레이는 다양한 분야에서 활용될 수 있다.
예를 들어, 인공 지능 투명 디스플레이는 음식점이나 바(bar)와 같은 공간에서 활용될 수 있다. 구체적으로 인공 지능 투명 디스플레이는 밥을 먹거나 술을 먹는 사용자의 표정 정보, 동작 정보, 음성 정보 등과 같은 사용자 정보를 인공 지능 투명 디스플레이에 구현된 다양한 센서를 통해 획득하고, 사용자 정보에 대한 반응 동작 정보를 생성할 수 있다. 인공 지능 투명 디스플레이의 화면 상에서 출력되는 인공 지능 객체는 반응 동작 정보를 기반으로 한 동작을 수행할 수 있다. 예를 들어, 인공 지능 객체는 사용자의 표정 정보 및 사용자에 의해 발화된 목소리 정보를 분석하여 사용자에게 가장 맞는 답변을 제공할 수 있다.
또 다른 예로, 인공 지능 투명 디스플레이는 간병을 위한 장소/병원 등에 설치되어 환자들에게 대화 상대로서의 역할을 수행할 수 있다. 인공 지능 투명 디스플레이는 휠체어를 탄 거동이 불편한 환자의 대화 상대로서의 역할을 수행할 수 있다.
또는 인공 지능 투명 디스플레이는 환자의 상태를 센싱하고, 간병하기 위한 역할을 수행할 수 있다. 구체적으로 인공 지능 투명 디스플레이는 치매 환자, 고령 간병 대상자에 대한 간병, 간호 역할을 수행할 수 있다. 인공 지능 투명 디스플레이는 블루투스로 연결된 '스마트 밴드'와 디스플레이 기기 상단에 위치한 '행동 인식 센서, 음성 인식 센서, 안면 인식 센서' 등과 같은 센서를 통해 환자의 각종 건강 정보(체온, 맥박, 혈압, 표정, 움직임 등)을 계속적으로 측정, 관찰할 수 있다.　인공 지능 투명 디스플레이는 평상시에는 환자의 이야기 상대를 해주면서 인지증(치매, Alzheimer) 환자, 고령 간병 대상자에게 필요한 체조나 두뇌 개발 게임, 퀴즈 등을 통해 무료함을 달래줄 수 있다. 또한, 인공 지능 투명 디스플레이는 사용자가 젊은 시절 즐겨듣던 음악, 영화, 드라마 등을 검색하고 적시에 재생하여 혼자 있는 환자가 외로움을 느끼지 않도록 다양한 엔터테인먼트 서비스를 제공할 수 있다.
또한, 인공 지능 투명 디스플레이는 환자가 약을 먹을 시간, 식사할 시간을 알려주고 화장실에 가고 싶은 지에 대해 물어보고 필요한 시점에 간병인을 호출해줄 수 있다. 수면 시간 이외에 움직임이 없거나 건강에 이상이 발견되면 즉시 위험도에 따라 호출 대상을 인공 지능이 판단해 의사, 간호사, 혹은 가족에게 통지할 수 있다.
또한, 요리 서포트, 사무 어시스턴트, 회사 및/또는 호텔에서의 안내 접수, 가라오케(노래방), 유치원, 보육원, 학교, 복지 시설 등을 위해 인공 지능 투명 디스플레이가 활용될 수 있다. 구체적으로 인공 지능 투명 디스플레이는 사용자가 특정 요리를 수행할 경우, 특정 요리의 레시피에 대한 정보를 인공 지능 객체를 통해 제공할 수 있다. 또한, 인공 지능 객체가 사무적인 비서 역할을 수행하여 간단한 전화 업무 및 스케줄링 업무를 수행할 수도 있다. 또한, 회사 및 호텔의 컨시어지(concierge)에서 사용자에 대한 룸의 예약과 같은 업무가 인공 지능 투명 디스플레이 상의 인공 지능 객체를 통해 수행될 수 있다. 또한, 노래방과 같은 장소에서 인공 지능 투명 디스플레이 상의 인공 지능 객체가 곡에 따른 연주를 수행할 수도 있다. 또한, 학교, 보육원, 유치원에서 인공 지능 투명 디스플레이 상의 인공 지능 객체가 유아, 학생들과의 커뮤니케이션을 통해 학습 커리큘럼을 제공할 수도 있다. 이뿐만 아니라, 복지 시설에서 노인들에게 말동무가 되어 주거나 프로그램을 제공하기 위해 인공 지능 투명 디스플레이 상의 인공 지능 객체가 활용될 수도 있다.
인공 지능 객체는 사용자의 선택에 따라 다운로드될 수 있다. 예를 들어, 앱스토어 서버와 같은 다운로드 가능한 서버를 통해 사용자는 인공 지능 객체를 선택하여 다운로드할 수 있고, 다운로드된 인공 지능 객체는 인공 지능 투명 디스플레이 상에서 출력될 수 있다. 인공 지능 객체로서 다양한 캐릭터가 개발되고 인공 지능 객체의 판매가 하나의 수익 모델로 활용될 수 있다. 예를 들어, 아이돌, 만화 캐릭터, 모델, 탤런트 개그맨 또는 사용자와 관련된 인물(예를 들어, 가족)이 인공 지능 객체로서 활용될 수 있다.
도 2는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 2에서는 인공 지능 투명 디스플레이가 다양한 센서로부터 수집된 정보를 기반으로 반응 동작을 수행하는 방법이 개시된다.
도 2를 참조하면, 안면 인식 센서(200)는 사용자의 표정 정보를 결정할 수 있다. 예를 들어, 안면 인식 센서(200)는 표정 정보를 화남, 즐거움, 슬픔, 우울함, 흥분됨, 무표정 등 다양한 표정 카테고리 중 하나로 결정할 수 있다. 안면 인식 센서(200)는 사용자의 얼굴에서 눈의 움직임, 입술의 움직임, 얼굴 근육의 움직임 등을 분석하여 표정 정보를 다양한 표정 카테고리 중 하나로 결정할 수 있다. 구체적으로 안면 인식 센서(200)는 사용자의 기본 얼굴 표정을 기준으로 변화 정도를 고려하여 표정 정보(250)를 다양한 표정 카테고리 중 하나로 결정할 수 있다. 사용자마다 감정에 따라 변화되는 얼굴 근육의 정도, 눈, 입의 모양이 서로 다르기 때문에 안면 인식 센서(200)는 사용자 별로 인식 감도를 다르게 설정할 수 있다.
예를 들어, 안면 인식 센서(200)는 설정된 시간 동안 사용자와의 초기 상호 작용을 통해 사용자의 표정의 변화 정도를 탐지하고, 사용자의 표정 변화 감도를 결정할 수 있다. 안면 인식 센서(200)는 표정 변화의 폭이 큰 사용자에 대해 표정 변화 감도를 1로 설정하여 표정 변화의 센싱 감도를 상대적으로 낮추고 표정 변화의 폭이 큰 사용자에 대해 표정 변화 감도를 5로 설정하여 표정 변화의 센싱 감도를 상대적으로 높일 수 있다.
이뿐만 아니라 사용자에 적응적으로 분석 알고리즘을 변화시킬 수 있다. 예를 들어, 사용자가 웃는 표정을 짓는 경우, 사용자의 눈과 입의 변화에 대한 정보가 획득될 수 있다. 사용자에 따라 눈의 변화, 입의 변화가 다를 수 있고, 이러한 구체적인 사용자별 표정 변화의 차이에 대한 정보는 사용자와 인공 지능 투명 디스플레이의 상호 작용 동안에 획득될 수 있다.
구체적으로 안면 인식 센서(200)는 사용자의 표정을 웃는 표정으로 판단할 수 있고, 인공 지능 투명 디스플레이는 안면 인식 센서(200)에 의해 인식된 제1 사용자 정보(표정 정보)를 기반으로 제1 반응 동작 정보를 생성할 수 있다. 사용자는 인공 지능 투명 디스플레이의 제1 반응 동작 정보를 기반으로 다시 제2 사용자 정보(표정 정보, 동작 정보, 음성 정보 등)를 생성할 수 있다. 인공 지능 투명 디스플레이는 수신한 제2 사용자 정보를 기반으로 제1 반응 동작 정보가 정확하였는지 여부에 대해 판단하고 결과적으로는 제1 사용자 정보가 안면 인식 센서에 의해 정확하게 센싱된 결과인지 여부를 판단할 수 있다.
만약, 제1 사용자 정보가 안면 인식 센서(200)에 의해 정확하게 센싱된 결과인 경우, 안면 인식 센서는 동일한 분석 알고리즘을 사용하여 사용자의 표정 정보를 생성할 수 있다. 반대로 제1 사용자 정보가 안면 인식 센서(200)에 의해 정확하게 센싱된 결과가 아닌 것으로 판단되는 경우, 안면 인식 센서(200)는 분석 알고리즘을 변화시켜 사용자의 표정 정보(250)를 생성할 수 있다.
구체적으로 반대로 제1 사용자 정보가 안면 인식 센서(200)에 의해 정확하게 센싱된 결과가 아닌 것으로 판단되는 경우, 안면 인식 센서(200)는 분석 알고리즘을 수정할 수 있다. 예를 들어, 사용자에 동일한 표정이 발생하는 경우, 사용자의 표정이 제1 사용자 정보로 판단되지 않도록 분석 알고리즘 상의 눈, 입과 같은 구성부에 대한 변화 및 얼굴 근육의 변화도를 조정될 수 있다.
도 2에서는 안면 인식 센서(200)가 사용자 정보(표정 정보)에 대한 판단까지 수행하는 경우를 가정하였으나, 안면 인식 센서(200)는 사용자의 안면에 일어난 변화에 대해서만 감지하고 인공 지능 프로세서가 사용자의 안면에 일어난 변화를 기반으로 사용자 정보(표정 정보(250))에 대한 판단을 수행할 수도 있다.
도 3은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 표정 정보 판단 방법을 나타낸 개념도이다.
도 3에서는 사용자의 사용자 정보로서 표정 정보를 보다 명확하게 판단하기 위한 방법이 개시된다.
도 3을 참조하면, 복수의 인공 지능 투명 디스플레이는 인공 지능 투명 디스플레이 서버(300)와 연결될 수 있고, 복수의 인공 지능 투명 디스플레이 각각은 입력된 사용자의 이미지와 사용자의 이미지를 기반으로 판단된 사용자의 표정 정보 및 표정 정보의 판단에 대한 정오 여부에 대한 정보(이하, 표정 판단 오류 정보)를 인공 지능 투명 디스플레이 서버(300)로 전송할 수 있다. 표정 판단 오류 정보는 사용자의 이미지를 기반으로 생성된 사용자의 표정 정보가 정확했는지 부정확했는지 여부에 대한 정보일 수 있다. 전술한 바와 같이 표정 판단 오류 정보는 표정 정보를 기반으로 생성된 인공 지능 투명 디스플레이의 반응 동작 정보에 대한 사용자의 반응인 사용자 정보를 고려하여 결정될 수 있다.
인공 지능 투명 디스플레이 서버(300)는 복수의 인공 지능 투명 디스플레이 각각으로부터 수신한 사용자 이미지, 사용자 표정 정보 및 표정 판단 오류 정보를 기반으로 학습을 통해 보다 정확한 표정 정보를 생성하기 위한 판단 알고리즘을 생성할 수 있다. 예를 들어, 인공 지능 투명 디스플레이 서버(300)는 딥 러닝과 같은 기계 학습 알고리즘을 기반으로 보다 정확한 표정 정보를 생성하기 위한 판단 알고리즘을 지속적으로 업데이트할 수 있다.
인공 지능 투명 디스플레이 서버(300)는 업데이트된 표정 정보 판단 알고리즘을 복수의 인공 지능 투명 디스플레이 각각으로 전송할 수 있고, 복수의 인공 지능 투명 디스플레이 각각은 업데이트된 표정 정보 판단 알고리즘을 기반으로 표정 정보에 대한 판단을 수행할 수 있다.
구체적인 예로, 인공 지능 투명 디스플레이 서버(300)는 통일적인 하나의 표정 정보 판단 알고리즘을 인공 지능 투명 디스플레이로 제공하는 것이 아니라, 사용자의 이미지 별로 가장 적절한 표정 정보 판단 알고리즘을 제공할 수 있다. 사용자의 이미지를 기반으로 사용자의 성별, 나이, 두상, 얼굴 근육 등을 분석하고 사용자의 성별, 나이, 두상, 얼굴 근육 등에 가장 적절한 표정 정보 판단 알고리즘이 제공될 수 있다.
도 4는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 4에서는 인공 지능 투명 디스플레이가 다양한 센서로부터 수집된 정보를 기반으로 반응 동작을 수행하는 방법이 개시된다.
도 4를 참조하면, 음성 인식 센서(400)는 사용자의 음성 정보(420)를 수집할 수 있다.
음성 인식 센서(400)는 사용자로부터 초기 음성 정보(420)를 수신하고, 초기 음성 정보(420)를 기반으로 사용자의 음성에 대한 특징 정보를 획득할 수 있다. 예를 들어, 음성 인식 센서(400)는 주변 환경에 의해 발생되는 소음 속에서 사용자 음성을 분리하기 위해 사용자 음성에 대한 특징 정보를 획득하여 입력되는 소리 정보 중에서 사용자의 음성 정보만을 획득할 수 있다.
음성 인식 센서(400)는 수신된 음성 정보(420)를 텍스트 정보(440)로 변환할 수 있다. 예를 들어, 사용자가 "내일은 놀이 공원에 가려고 해."라는 문장을 음성으로 발화한 경우, 음성 인식 센서(400)는 사용자에 의해 발화된 음성을 텍스트로 변환하여 사용자 정보로서 인공 지능 프로세서로 전송할 수 있다.
인공 지능 프로세서는 텍스트화된 사용자의 발화 음성을 사용자 정보로서 수신하고, 텍스트화된 사용자의 발화 음성에 대한 반응 동작 정보를 생성하고, 인공 지능 객체가 반응 동작 정보를 기반으로 한 동작을 수행하도록 구현될 수 있다. 예를 들어, 인공 지능 프로세서는 사용자 정보로서 "내일은 놀이 공원에 가려고 해."라는 텍스트 정보를 수신한 경우, 인공 지능 객체가 텍스트 정보에 대한 반응 동작 정보로서 "어떤 놀이 동산에 가려고 해", "재미있겠다, 놀이 기구는 뭘 타려고 해?"와 같은 음성 정보를 출력하도록 구현될 수 있다.
이러한 인공 지능 프로세서에 의해 생성되는 반응 동작 정보는 다양한 방법을 기반으로 결정될 수 있다.
음성 인식 센서(400)는 초기 음성 정보를 기준으로 사용자의 감정 상태도 추가적으로 판단할 수도 있다. 예를 들어, 음성 인식 센서(400)는 입력되는 사용자 음성의 크기 및 사용자 음성의 빠르기를 고려하여 사용자의 감정을 판단할 수 있다. 예를 들어, 사용자의 음성이 커지거나 사용자의 음성의 발화 속도가 빨라지는 경우, 사용자의 감정이 격해졌다고 판단하고 표정 인식 센서에 의해 판단된 사용자의 표정 카테고리와의 매칭 여부 및 감정의 정도에 대해 판단할 수 있다.
예를 들어, 사용자의 표정 카테고리가 화남으로 판단되는 경우, 음성 인식 센서(400)를 통해 입력되는 사용자 음성의 크기 및 사용자 음성의 빠르기가 추가적으로 고려되어 인공 지능 투명 디스플레이는 사용자의 감정의 정도(예를 들어, 화남의 정도)에 대한 구체적인 판단을 수행할 수 있다.
도 5는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 5에서는 인공 지능 투명 디스플레이가 텍스트화된 사용자의 발화 음성에 대한 반응 동작 정보를 생성하기 위한 방법이 개시된다.
도 5를 참조하면, 인공 지능 투명 디스플레이와 연결된 인공 지능 투명 디스플레이 서버(500)는 기존에 존재하는 다양한 멀티미디어 정보로부터 대화 정보를 수신하고, 대화 정보를 기반으로 기계 학습을 통해 반응 정보를 생성하도록 구현될 수 있다.
예를 들어, 인공 지능 투명 디스플레이 서버(500)는 기존에 존재하는 다양한 멀티미디어 정보로부터 대화 정보를 추출하고 추출된 대화 정보에 대한 기계 학습을 통해 반응 정보를 생성하여 데이터베이스를 형성할 수 있다. 인공 지능 투명 디스플레이 서버(500)는 사용자의 텍스트화된 사용자의 발화 음성을 수신하고, 기계 학습을 기반으로 구현된 데이터베이스를 기반으로 반응 동작 정보를 생성할 수 있다.
도 6은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 6에서는 인공 지능 투명 디스플레이가 다양한 센서로부터 수집된 정보를 기반으로 반응 동작을 수행하는 방법이 개시된다.
도 6을 참조하면, 동작 인식 센서(600)는 사용자의 동작 정보를 수집할 수 있다. 동작 인식 센서(600)는 사용자의 동작을 인식하여 사용자의 동작 정보(650)를 생성하여 인공 지능 프로세서로 전송할 수 있다.
인공 지능 프로세서는 동작 인식 센서에 의해 센싱된 동작 정보(650)를 고려하여 반응 동작 정보를 생성할 수 있다. 예를 들어, 사용자의 팔의 움직임, 몸의 움직임에 대한 정보가 동작 정보(650)로서 생성될 수 있고, 동작 정보(650)는 반응 동작 정보를 생성하기 위해 고려될 수 있다.
예를 들어, 사용자가 어떠한 물건을 집는 동작, 음식을 먹거나 술을 마시는 동작 등이 동작 정보(650)로서 생성될 수 있고, 이러한 동작 정보(650)를 기반으로 인공 지능 투명 디스플레이는 반응 동작 정보를 생성할 수 있다. 또한, 인공 지능 프로세서는 사용자의 표정 정보 및 동작 정보(650)에 포함되는 사용자 동작의 패턴, 사용자 동작의 크기를 고려하여 사용자의 감정 정보를 판단할 수도 있다. 예를 들어, 사용자의 표정 정보를 기반으로 사용자가 화남 상태로 판단되는 경우, 인공 지능 투명 디스플레이는 사용자의 동작 정보(650)를 추가적으로 고려하여 사용자의 화남의 정도를 추가적으로 판단하고 추가적으로 판단된 사용자의 화남의 정도에 따라 반응 동작 정보를 생성할 수 있다.
다른 예를 들어, 사용자의 표정 정보를 기반으로 사용자가 즐거움 상태로 판단되는 경우, 인공 지능 투명 디스플레이는 사용자의 동작 정보(650)를 추가적으로 고려하여 사용자의 즐거움의 정도를 추가적으로 판단하고, 추가적으로 판단된 사용자의 즐거움의 정도에 따라 반응 동작 정보를 생성할 수 있다.
이와 같은 인공 지능 투명 디스플레이의 동작 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들일 수 있고, 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 인공 지능 투명 디스플레이의 동작 방법은,
    상기 인공 지능 투명 디스플레이에 구현된 복수의 센서가 사용자 정보를 센싱하는 단계;
    상기 인공 지능 투명 디스플레이에 구현된 인공 지능 프로세서가 상기 사용자 정보를 기반으로 반응 동작 정보를 생성하는 단계; 및
    상기 인공 지능 투명 디스플레이에 구현된 투명 디스플레이 상에서 출력되는 인공 지능 객체가 상기 반응 동작 정보에 따른 동작을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 복수의 센서는 안면 인식 센서, 음성 인식 센서 및 동작 인식 센서를 포함하고,
    상기 사용자 정보는 상기 안면 인식 센서에 의해 생성된 표정 정보, 상기 음성 인식 센서에 의해 생성된 음성 정보, 상기 동작 인식 센서에 의해 생성된 동작 정보를 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 안면 인식 센서는 초기에 획득된 사용자의 기본 얼굴 표정 정보를 기준으로 상기 사용자의 얼굴에 포함되는 각 구성부의 움직임 및 상기 얼굴의 근육의 움직임을 분석하여 복수의 표정 카테고리 중 하나의 표정 카테고리를 상기 표정 정보로 결정하고,
    상기 안면 인식 센서는 상기 사용자의 표정 변화 정도를 탐지하여 상기 표정 정보를 생성하기 위한 표정 변화 센싱 감도를 결정하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 음성 인식 센서는 초기에 획득된 상기 사용자의 초기 음성 정보를 기반으로 상기 사용자의 음성에 대한 특징 정보를 추출하고, 상기 특징 정보를 기반으로 입력되는 소리 중 상기 사용자의 음성을 추출하고,
    상기 인공 지능 투명 디스플레이는 상기 초기 음성 정보를 기반으로 변화된 상기 사용자의 음성의 크기 및 빠르기의 변화를 센싱하여 상기 사용자의 감정을 판단하여 상기 반응 동작 정보를 생성하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 동작 인식 센서는 상기 사용자의 동작의 패턴 및 상기 사용자의 동작의 크기를 센싱하고,
    상기 인공 지능 투명 디스플레이는 상기 동작의 패턴 및 상기 동작의 크기를 고려하여 상기 사용자의 감정의 크기를 결정하여 상기 반응 동작 정보를 생성하는 것을 특징으로 하는 방법.
  6. 인공 지능 투명 디스플레이는,
    사용자 정보를 센싱하도록 구현된 복수의 센서;
    상기 사용자 정보를 기반으로 반응 동작 정보를 생성하도록 구현되는 인공 지능 프로세서; 및
    투명 디스플레이 상에서 출력되는 인공 지능 객체가 상기 반응 동작 정보에 따른 동작을 수행하는 인공 지능 객체를 출력하도록 구현되는 투명 디스플레이를 포함하는 것을 특징으로 하는 인공 지능 투명 디스플레이.
  7. 제6항에 있어서,
    상기 복수의 센서는 안면 인식 센서, 음성 인식 센서 및 동작 인식 센서를 포함하고,
    상기 사용자 정보는 상기 안면 인식 센서에 의해 생성된 표정 정보, 상기 음성 인식 센서에 의해 생성된 음성 정보, 상기 동작 인식 센서에 의해 생성된 동작 정보를 포함하는 것을 특징으로 하는 인공 지능 투명 디스플레이.
  8. 제7항에 있어서,
    상기 안면 인식 센서는 초기에 획득된 사용자의 기본 얼굴 표정 정보를 기준으로 상기 사용자의 얼굴에 포함되는 각 구성부의 움직임 및 상기 얼굴의 근육의 움직임을 분석하여 복수의 표정 카테고리 중 하나의 표정 카테고리를 상기 표정 정보로 결정하고,
    상기 안면 인식 센서는 상기 사용자의 표정 변화 정도를 탐지하여 상기 표정 정보를 생성하기 위한 표정 변화 센싱 감도를 결정하는 것을 특징으로 하는 인공 지능 투명 디스플레이.
  9. 제8항에 있어서,
    상기 음성 인식 센서는 초기에 획득된 상기 사용자의 초기 음성 정보를 기반으로 상기 사용자의 음성에 대한 특징 정보를 추출하고, 상기 특징 정보를 기반으로 입력되는 소리 중 상기 사용자의 음성을 추출하고,
    상기 인공 지능 프로세서는 상기 초기 음성 정보를 기반으로 변화된 상기 사용자의 음성의 크기 및 빠르기의 변화를 센싱하여 상기 사용자의 감정을 판단하여 상기 반응 동작 정보를 생성하는 것을 특징으로 하는 인공 지능 투명 디스플레이.
  10. 제9항에 있어서,
    상기 동작 인식 센서는 상기 사용자의 동작의 패턴 및 상기 사용자의 동작의 크기를 센싱하고,
    상기 인공 지능 프로세서는 상기 동작의 패턴 및 상기 동작의 크기를 고려하여 상기 사용자의 감정의 크기를 결정하여 상기 반응 동작 정보를 생성하는 것을 특징으로 하는 인공 지능 투명 디스플레이.
PCT/KR2016/005807 2016-05-25 2016-06-01 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이 Ceased WO2017204394A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680086062.6A CN109313482A (zh) 2016-05-25 2016-06-01 人工智能透明显示装置的运转方法及人工智能透明显示装置
US16/303,191 US20190187785A1 (en) 2016-05-25 2016-06-01 Method for operating artificial intelligence transparent display and artificial intelligence transparent display
JP2018562231A JP2019522273A (ja) 2016-05-25 2016-06-01 人工知能透明ディスプレイ及びその動作方法
EP16903242.2A EP3467616A4 (en) 2016-05-25 2016-06-01 METHOD FOR OPERATING A TRANSPARENT ARTIFICIAL INTELLIGENCE DISPLAY UNIT AND TRANSPARENT ARTIFICIAL INTELLIGENCE DISPLAY UNIT

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160063996A KR101904453B1 (ko) 2016-05-25 2016-05-25 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이
KR10-2016-0063996 2016-05-25

Publications (1)

Publication Number Publication Date
WO2017204394A1 true WO2017204394A1 (ko) 2017-11-30

Family

ID=60411705

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/005807 Ceased WO2017204394A1 (ko) 2016-05-25 2016-06-01 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이

Country Status (6)

Country Link
US (1) US20190187785A1 (ko)
EP (1) EP3467616A4 (ko)
JP (1) JP2019522273A (ko)
KR (1) KR101904453B1 (ko)
CN (1) CN109313482A (ko)
WO (1) WO2017204394A1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10910001B2 (en) * 2017-12-25 2021-02-02 Casio Computer Co., Ltd. Voice recognition device, robot, voice recognition method, and storage medium
US12346432B2 (en) * 2018-12-31 2025-07-01 Intel Corporation Securing systems employing artificial intelligence
CN110716641B (zh) * 2019-08-28 2021-07-23 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质
KR102276951B1 (ko) * 2019-09-19 2021-07-13 주식회사 세미콘네트웍스 목소리 및 얼굴 안면 감정값의 산출 방법 및 이를 이용한 인공지능 스피커의 출력 방법
KR102433964B1 (ko) * 2019-09-30 2022-08-22 주식회사 오투오 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템
US20230066616A1 (en) * 2020-05-21 2023-03-02 Beijing Baidu Netcom Science And Technology Co., Ltd. User interaction method and apparatus, device and medium
US20230237774A1 (en) * 2020-07-07 2023-07-27 Sony Group Corporation Data collection system, sensor device, data collection device, and data collection method
DK202070795A1 (en) * 2020-11-27 2022-06-03 Gn Audio As System with speaker representation, electronic device and related methods
KR102378885B1 (ko) * 2021-09-29 2022-03-28 주식회사 인피닉 발화자의 얼굴을 이용한 메타데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102480291B1 (ko) * 2022-10-07 2022-12-26 주식회사 토노베이션 안면인식을 통한 고객 맞춤 서비스 제공 시스템
JP2025001589A (ja) * 2023-06-20 2025-01-08 ソフトバンクグループ株式会社 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP2025001743A (ja) * 2023-06-21 2025-01-09 ソフトバンクグループ株式会社 行動制御システム
JP2025044252A (ja) * 2023-09-19 2025-04-01 ソフトバンクグループ株式会社 システム
JP2025044251A (ja) * 2023-09-19 2025-04-01 ソフトバンクグループ株式会社 システム
JP2025044248A (ja) * 2023-09-19 2025-04-01 ソフトバンクグループ株式会社 システム
JP2025048809A (ja) * 2023-09-20 2025-04-03 ソフトバンクグループ株式会社 システム
JP2025048819A (ja) * 2023-09-20 2025-04-03 ソフトバンクグループ株式会社 システム
JP2025048976A (ja) * 2023-09-21 2025-04-03 ソフトバンクグループ株式会社 システム
JP2025049265A (ja) * 2023-09-21 2025-04-03 ソフトバンクグループ株式会社 システム
JP2025048982A (ja) * 2023-09-21 2025-04-03 ソフトバンクグループ株式会社 システム
JP2025049213A (ja) * 2023-09-21 2025-04-03 ソフトバンクグループ株式会社 システム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120011477A1 (en) * 2010-07-12 2012-01-12 Nokia Corporation User interfaces
US20140188276A1 (en) * 2012-12-31 2014-07-03 Microsoft Corporation Mood-actuated device
US20140247199A1 (en) * 2011-03-21 2014-09-04 HJ Laboratories, LLC Providing augmented reality based on third party information
US20140337740A1 (en) * 2013-05-07 2014-11-13 Samsung Electronics Co., Ltd. Method and apparatus for selecting object
EP2824540A1 (en) * 2013-07-09 2015-01-14 LG Electronics, Inc. Mobile terminal and control method thereof

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
JP2001083984A (ja) * 1999-09-09 2001-03-30 Alpine Electronics Inc インタフェース装置
US20110118870A1 (en) * 2007-09-06 2011-05-19 Olympus Corporation Robot control system, robot, program, and information storage medium
WO2009157733A1 (en) * 2008-06-27 2009-12-30 Yujin Robot Co., Ltd. Interactive learning system using robot and method of operating the same in child education
KR101558553B1 (ko) * 2009-02-18 2015-10-08 삼성전자 주식회사 아바타 얼굴 표정 제어장치
JP2013086226A (ja) * 2011-10-20 2013-05-13 Kyoto Sangyo Univ コミュニケーションロボット
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
US20140032466A1 (en) * 2012-07-30 2014-01-30 Boris Kaplan Computer system of artificial intelligence of a cyborg or an android, wherein a received signal-reaction of the computer system of artificial intelligence of the cyborg or the android, an association of the computer system of artificial intelligence of the cyborg or the android, a thought of the computer system of artificial intelligence of the cyborg or the android are substantiated, and a working method of this computer system of artificial intelligence of a cyborg or an android
US10139937B2 (en) * 2012-10-12 2018-11-27 Microsoft Technology Licensing, Llc Multi-modal user expressions and user intensity as interactions with an application
KR101978743B1 (ko) * 2012-10-19 2019-08-29 삼성전자주식회사 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법
KR20150057424A (ko) * 2013-11-19 2015-05-28 한국전자통신연구원 증강현실 아바타 상호작용 방법 및 시스템
US9554100B2 (en) * 2014-09-30 2017-01-24 Qualcomm Incorporated Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor
CN104951077A (zh) * 2015-06-24 2015-09-30 百度在线网络技术（北京）有限公司 基于人工智能的人机交互方法、装置和终端设备
CN118605029A (zh) * 2016-01-19 2024-09-06 奇跃公司 利用映像的增强现实系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120011477A1 (en) * 2010-07-12 2012-01-12 Nokia Corporation User interfaces
US20140247199A1 (en) * 2011-03-21 2014-09-04 HJ Laboratories, LLC Providing augmented reality based on third party information
US20140188276A1 (en) * 2012-12-31 2014-07-03 Microsoft Corporation Mood-actuated device
US20140337740A1 (en) * 2013-05-07 2014-11-13 Samsung Electronics Co., Ltd. Method and apparatus for selecting object
EP2824540A1 (en) * 2013-07-09 2015-01-14 LG Electronics, Inc. Mobile terminal and control method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3467616A4 *

Also Published As

Publication number Publication date
EP3467616A4 (en) 2020-01-15
CN109313482A (zh) 2019-02-05
KR101904453B1 (ko) 2018-10-04
EP3467616A1 (en) 2019-04-10
KR20170133048A (ko) 2017-12-05
US20190187785A1 (en) 2019-06-20
JP2019522273A (ja) 2019-08-08

Similar Documents

Publication Publication Date Title
WO2017204394A1 (ko) 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이
KR102446962B1 (ko) 다수의 연령 및/또는 어휘 수준을 수용하는 자동화 어시스턴트
US8793118B2 (en) Adaptive multimodal communication assist system
Wong et al. Perception and production of lexical tones by 3-year-old, Mandarin-speaking children
JP5604033B2 (ja) 状況のフィードバックを使用する学習システム及び方法
Cartmill et al. 14 Studying Gesture
JP2011519429A (ja) 言語能力開発のための方法およびデバイス
US20180268821A1 (en) Virtual assistant for generating personal suggestions to a user based on intonation analysis of the user
CN114464180B (zh) 一种智能设备及智能语音交互方法
van Heugten et al. Infants exposed to fluent natural speech succeed at cross-gender word recognition
US20190013092A1 (en) System and method for facilitating determination of a course of action for an individual
JP7701762B2 (ja) 会話ベースの精神障害選別方法及びその装置
CN108937969A (zh) 一种评测认知状态的方法及装置
JP2021026328A (ja) 勉強見守り方法、住宅及びコンピュータプログラム
KR20180012192A (ko) 유아동용 학습 장치 및 그 동작 방법
US11386920B2 (en) Interactive group session computing systems and related methods
CN110047341A (zh) 情景语言学习设备、系统和方法
Bornman et al. Background, features, and principles of AAC technology
CN108877836A (zh) 一种评测言语状态的方法及装置
Lin et al. Design guidelines of social-assisted robots for the elderly: a mixed method systematic literature review
CN101840640B (zh) 语音互动系统与方法
Jung et al. The Impact of Word–Touch Synchrony on Early Language Development: Preliminary Findings From Korean Mother–Child Interactions
WO2024053967A1 (ko) 디스플레이 기반 커뮤니케이션 시스템
Campbell et al. Word level stress and lexical processing in 17‐month‐old infants
WO2011162508A2 (ko) 비교 영상을 이용한 발음 학습 방법 및 장치

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018562231

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16903242

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016903242

Country of ref document: EP

Effective date: 20190102