WO2022154236A1 - 사용자 입력을 추론하는 사용자 맞춤형 전자 장치 및 이를 제어하는 방법 - Google Patents

사용자 입력을 추론하는 사용자 맞춤형 전자 장치 및 이를 제어하는 방법 Download PDF

Info

Publication number
WO2022154236A1
WO2022154236A1 PCT/KR2021/016889 KR2021016889W WO2022154236A1 WO 2022154236 A1 WO2022154236 A1 WO 2022154236A1 KR 2021016889 W KR2021016889 W KR 2021016889W WO 2022154236 A1 WO2022154236 A1 WO 2022154236A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
touch
data
artificial intelligence
intelligence model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2021/016889
Other languages
English (en)
French (fr)
Inventor
황진영
김동찬
변동남
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP21919860.3A priority Critical patent/EP4261663A4/en
Publication of WO2022154236A1 publication Critical patent/WO2022154236A1/ko
Priority to US18/221,288 priority patent/US20230359348A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the disclosed embodiments relate to an electronic device for inferring a user input and a method for controlling the same.
  • the electronic device may provide a satisfactory experience to the user by accurately identifying the user's touch input. Recently, methods for accurately identifying a user's touch input using an artificial intelligence system have been considered for a more satisfactory user experience.
  • An artificial intelligence (AI) system is a computer system that implements human-level intelligence, and unlike the existing rule-based smart system, the machine learns, judges, and becomes smarter by itself. As artificial intelligence systems are used, the recognition rate improves and users can understand user preferences more accurately, and the existing rule-based smart systems are gradually being replaced by deep learning-based artificial intelligence systems.
  • Machine learning Deep learning
  • elemental technologies using machine learning.
  • Machine learning is an algorithm technology that classifies/learns characteristics of input data by itself
  • element technology is a technology that uses machine learning algorithms such as deep learning, such as language understanding, visual understanding, reasoning/prediction, knowledge expression, motion control, etc. It consists of technical fields of
  • Linguistic understanding is a technology for recognizing and applying/processing human language/text, and includes natural language processing, machine translation, dialogue system, question and answer, and speech recognition/synthesis.
  • Visual understanding is a technology for recognizing and processing objects like human vision, and includes object recognition, object tracking, image search, human recognition, scene understanding, spatial understanding, image improvement, and the like.
  • Inferential prediction is a technology for logically reasoning and predicting by judging information, and includes knowledge/probability-based reasoning, optimization prediction, preference-based planning, and recommendation.
  • Knowledge expression is a technology that automatically processes human experience information into knowledge data, and includes knowledge construction (data generation/classification) and knowledge management (data utilization).
  • Motion control is a technology for controlling autonomous driving of a vehicle and movement of a robot, and includes motion control (navigation, collision, driving), manipulation control (action control), and the like.
  • the disclosed embodiments provide an electronic device that accurately infers a user input using artificial intelligence technology and performs an operation corresponding to the user input, and a method of controlling the same.
  • the technical problem to be achieved by the present embodiment is not limited to the technical problem as described above.
  • a method for an electronic device to perform an operation corresponding to a user input using an artificial intelligence model disclosed as a technical means for achieving the above-described technical problem includes: acquiring touch data related to a user's touch input; identifying a first training data set similar to the touch data from among training data sets; learning the artificial intelligence model using the first training data set; the electronic device using the learned artificial intelligence model It may include identifying the type of user input input to the , and performing an operation corresponding to the identified type of user input.
  • An electronic device that performs an operation corresponding to a user input by using an artificial intelligence model disclosed as a technical means for achieving the above-described technical problem includes a memory, a user input unit for obtaining touch data by receiving a user's touch input, and a pre-stored Identifies a first training data set similar to the touch data from among a plurality of training data sets, trains the AI model using the first training data set, and uses the learned AI model to the electronic device and a processor configured to identify a type of a user input input to the , and control the electronic device to perform an operation corresponding to the identified type of user input.
  • a computer-readable recording medium may record a program for executing at least one of the embodiments of the disclosed method in a computer.
  • the application stored in the recording medium may be for executing at least one function among the disclosed method embodiments.
  • a computer program product may include a computer-readable storage medium in which a program to be executed by a computer is recorded.
  • FIG. 1 is a diagram illustrating an example in which an electronic device performs an operation corresponding to a received user input.
  • FIG. 2 is a flowchart of a method of an electronic device performing an operation corresponding to a user input using an artificial intelligence model, according to an exemplary embodiment.
  • FIG. 3 is a diagram for explaining a method of obtaining, by an electronic device, at least one of touch data and barometric pressure data from a user input, according to an exemplary embodiment.
  • FIG. 4 is a diagram for describing a method in which an electronic device applies at least one of touch data and barometric pressure data to an artificial intelligence model, according to an exemplary embodiment.
  • FIG. 5 is a diagram for explaining a method of obtaining, by an electronic device, feature data from touch data applied to an artificial intelligence model, according to an exemplary embodiment.
  • FIG. 6 is a diagram illustrating a method of preprocessing, by an electronic device, touch data applied to an artificial intelligence model, according to an exemplary embodiment.
  • FIG. 7 is a diagram for describing a method of obtaining, by an electronic device, feature data from barometric pressure data applied to an artificial intelligence model, according to an exemplary embodiment.
  • FIG. 8 is a diagram for explaining a method of pre-processing, by an electronic device, barometric pressure data applied to an artificial intelligence model, according to an exemplary embodiment.
  • 9 is a view for explaining a method of pre-processing, by an electronic device, barometric pressure data applied to an artificial intelligence model, according to an embodiment.
  • FIG. 10 is a diagram for describing a method in which one of an electronic device or a server identifies learning data similar to user's touch data and learns an artificial intelligence model by using the identified learning data, according to an embodiment.
  • FIG. 11 is a diagram for describing a method in which an electronic device identifies a type of a user input using an artificial intelligence model and performs an operation corresponding to the identified type, according to an exemplary embodiment.
  • FIG. 12 is a diagram for describing a method in which an electronic device identifies a type of a user input using an artificial intelligence model and performs an operation corresponding to the identified type, according to an exemplary embodiment.
  • FIG. 13 is a block diagram of an electronic device, according to an embodiment.
  • FIG. 14 is a block diagram illustrating a software module of a memory included in an electronic device, according to an exemplary embodiment.
  • 15 is a block diagram of a server, according to an embodiment.
  • 16 is a block diagram illustrating a software module of a memory included in a server, according to an embodiment.
  • 'part' as used herein may be a hardware component such as a processor or circuit, and/or a software component executed by a hardware component such as a processor, According to examples, a plurality of 'units' may be implemented as one element (unit, element), or one 'unit' may include a plurality of elements.
  • Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented in various numbers of hardware and/or software configurations that perform specific functions.
  • the functional blocks of the present disclosure may be implemented by one or more microprocessors, or by circuit configurations for a given function.
  • the functional blocks of the present disclosure may be implemented in various programming or scripting languages.
  • the functional blocks may be implemented as an algorithm running on one or more processors.
  • the present disclosure may employ prior art for electronic configuration, signal processing, and/or data processing, and the like. Terms such as “mechanism”, “element”, “means” and “configuration” may be used broadly and are not limited to mechanical and physical configurations.
  • connecting lines or connecting members between the components shown in the drawings only exemplify functional connections and/or physical or circuit connections.
  • a connection between components may be represented by various functional connections, physical connections, or circuit connections that are replaceable or added.
  • an artificial intelligence model may be used to infer or predict the user input to identify the user input.
  • Inference prediction is a technology for logically reasoning and predicting information by judging information.
  • Knowledge based reasoning, optimization prediction, preference-based planning, recommendation, etc. includes
  • the processor may consist of one or a plurality of processors.
  • the one or more processors may be a general-purpose processor such as a CPU, an AP, a digital signal processor (DSP), or the like, a graphics-only processor such as a GPU, a VPU (Vision Processing Unit), or an artificial intelligence-only processor such as an NPU.
  • One or a plurality of processors control to process input data according to a predefined operation rule or artificial intelligence model stored in the memory.
  • the AI-only processor may be designed with a hardware structure specialized for processing a specific AI model.
  • the processor may perform a preprocessing process of converting data applied to the AI model into a form suitable for application to the AI model.
  • AI models can be created through learning.
  • being made through learning means that a basic artificial intelligence model is learned using a plurality of learning data by a learning algorithm, so that a predefined action rule or artificial intelligence model set to perform a desired characteristic (or purpose) is created means burden.
  • Such learning may be performed in the device itself on which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and/or system.
  • Examples of the learning algorithm include, but are not limited to, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning.
  • the artificial intelligence model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and a neural network operation is performed through an operation between an operation result of a previous layer and a plurality of weights.
  • the plurality of weights of the plurality of neural network layers may be optimized by the learning result of the artificial intelligence model. For example, a plurality of weights may be updated so that a loss value or a cost value obtained from the artificial intelligence model during the learning process is reduced or minimized.
  • the artificial neural network may include a deep neural network (DNN), for example, a Convolutional Neural Network (CNN), a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), a Restricted Boltzmann Machine (RBM), There may be a Deep Belief Network (DBN), a Bidirectional Recurrent Deep Neural Network (BRDNN), or a Deep Q-Networks, but is not limited to the above-described example.
  • DNN Deep Neural Network
  • DNN Deep Belief Network
  • BBDNN Bidirectional Recurrent Deep Neural Network
  • Deep Q-Networks Deep Q-Networks
  • FIG. 1 is a diagram illustrating an example in which an electronic device performs an operation corresponding to a received user input.
  • the electronic device 10 may include a computing device such as a mobile device (eg, a smart phone, a tablet PC, etc.) including an artificial intelligence model and a general-purpose computer (PC, personal computer).
  • a server including an artificial intelligence model and a mobile device (eg, a smart phone, a tablet PC, etc.) capable of transmitting and receiving data through a network, such as a general-purpose computer (PC, Personal Computer). It may include a computing device.
  • the artificial intelligence model used in the disclosed embodiments may be configured in plurality according to purposes and uses.
  • the artificial intelligence model used in the disclosed embodiments includes a first artificial intelligence model that acquires a feature vector from touch data received from a user for initial setting, and atmospheric pressure inside the electronic device generated by the user's touch input.
  • a second artificial intelligence model that obtains a feature vector from atmospheric pressure data related to the change of An intelligent model, a fourth artificial intelligence model that compares the similarity between a feature vector of the barometric data and a feature vector obtained from each of the barometric data included in a plurality of training data sets, and a fifth artificial intelligence model that identifies the type of user input It may be plural, such as
  • the first AI model and the second AI model may be composed of one AI model
  • the third AI model and the fourth AI model are composed of one AI model.
  • the first artificial intelligence model to the fifth artificial intelligence model may also be configured as one artificial intelligence model. That is, the artificial intelligence model used in the disclosed embodiments may be implemented in various embodiments according to the manufacturer of the electronic device or the user of the electronic device, and is not limited by the above examples.
  • the artificial intelligence model used in the disclosed embodiments may exist in the form of at least one processor.
  • at least one of the electronic device 10 and the server 20 may include an artificial intelligence model for obtaining a feature vector for at least one of touch data and atmospheric pressure data in the form of a processor.
  • the electronic device 10 may include an artificial intelligence model for identifying a user input in the form of a processor.
  • the processor may include at least one general-purpose processor (eg, CPU, application processor) and at least one processor manufactured to perform a function of identifying a user input. By executing at least one instruction, the processor may identify a user input and generate a control signal for performing an operation corresponding to the identified user input.
  • the electronic device 10 may receive an input from the user 1 .
  • the electronic device 10 may receive an input from the user 1 through a touch screen.
  • the user input includes an input of touching a partial area of the touch screen for a short time (hereinafter referred to as a general touch), an input of touching a partial area of the touch screen for a long time (hereinafter referred to as a long touch), and a touch screen It may include, but is not limited to, an input for strongly pressing a partial region of the .
  • the electronic device 10 may identify the type of the user's input by using the artificial intelligence model 19 .
  • the electronic device 10 may identify a user input received through the touch screen as a general touch, a long touch, a force touch, and a drag type using the artificial intelligence model 19 .
  • the electronic device 10 may use the artificial intelligence model 19 to identify the user input as a type such as drag after long touch or drag after force touch.
  • the electronic device 10 may identify the type of input received from the user by using the user-customized artificial intelligence model.
  • the electronic device 10 may perform an operation corresponding to the identified type of user input.
  • the electronic device 10 may perform an operation of selecting an object corresponding to an area to which a touch is input in response to a normal touch.
  • the electronic device 10 may perform an operation of displaying a pop-up screen for performing an additional operation on an object located in an area to which a touch is input.
  • the electronic device 10 may provide a user interface that provides a shortcut function in response to a user input identified as a force touch.
  • the electronic device 10 may provide a user interface that provides a function of moving the position of an object in response to a user input identified as a drag.
  • the electronic device 10 may provide a user interface for controlling a predetermined function of the electronic device in response to a user input identified as a drag input after a force touch.
  • the electronic device 10 may provide a user interface for adjusting the brightness of the display in response to a user input identified as a vertical drag input after a force touch.
  • the electronic device 10 may provide a user interface for adjusting the intensity of a sound output in response to a user input identified as a left/right drag input after a force touch.
  • the artificial intelligence model 19 built in the electronic device 10 may be a user-customized artificial intelligence model obtained by learning learning data similar to touch data received from the user.
  • the electronic device 10 may train the artificial intelligence model 19 by identifying a training data set similar to touch data from among a plurality of pre-stored training data sets.
  • the electronic device 10 may use the server 20 to learn the artificial intelligence model 19 .
  • the artificial intelligence model 19 to be learned may be an artificial intelligence model for initial setting.
  • the electronic device 10 may update the artificial intelligence model 19 based on the result of the type of the user's input identified using the artificial intelligence model 19 .
  • the electronic device may accurately perform an operation of the electronic device intended by the user by identifying the type of user input.
  • the electronic device may provide a user interface instead of the physical key by variously identifying types of user input.
  • the electronic device may identify the force touch even if it does not include a conventional force touch sensor (hereinafter, referred to as a force touch sensor). Since the force touch sensor increases the thickness and weight of the electronic device, the electronic device of the disclosed embodiment may be manufactured to be thinner and lighter than the conventional electronic device.
  • FIG. 2 is a flowchart of a method of an electronic device performing an operation corresponding to a user input using an artificial intelligence model, according to an exemplary embodiment.
  • the electronic device 10 may receive a touch input from the user.
  • the electronic device 10 may acquire touch data regarding an area in which a user's touch input is received through the touch screen at predetermined time intervals.
  • the touch data refers to data indicating a time and area at which a user's touch input is received through the touch screen of the electronic device 10 .
  • the electronic device 10 may acquire atmospheric pressure data related to a change in atmospheric pressure inside the electronic device 10 generated by a user's touch input.
  • the electronic device 10 may acquire the user's touch data using the interface.
  • the electronic device 10 may acquire the user's touch data through an interface that receives a user's input on the user's personal information (eg, the user's age, gender, etc.).
  • a user's input on the user's personal information eg, the user's age, gender, etc.
  • the electronic device 10 may acquire the user's touch data through an interface that receives a user input for initial setting.
  • the electronic device 10 may acquire touch data for a normal touch, a long touch, a force touch, and a drag through an interface that requests a touch input such as a normal touch, a long touch, a force touch, and a drag from a user.
  • the electronic device 10 may display an interface for requesting a touch input, such as a normal touch, a long touch, a force touch, and a drag, from the user with respect to a predetermined position on the touch screen.
  • the electronic device 10 may display a normal touch, a long touch, a force touch, and a text requesting to drag a circular indicator displayed at a predetermined position on the touch screen or output a voice.
  • the electronic device 10 may display a guide for a user's touch input (for example, a guide for designating a finger for performing a touch input, a guide for designating a part of a finger for performing a touch input) as text or output a voice. have.
  • the electronic device 10 may output feedback (eg, feedback for outputting voice, feedback for outputting vibration, and feedback for changing the color of an indicator) corresponding to the degree of reception of a touch input from the user.
  • the electronic device 10 may output the color of the indicator in a color corresponding to the type of the received touch input (eg, blue for a normal touch, yellow for a long touch, and red for a force touch).
  • the electronic device 10 may store the acquired touch data in a memory.
  • the electronic device 10 may store the touch data received from the user together with the type of touch input requested by the user.
  • the electronic device 10 may transmit the acquired touch data to the server 20 .
  • the electronic device 10 may transmit the touch data received from the user to the server 20 together with the type of touch input requested from the user.
  • the electronic device 10 may identify learning data similar to the user's input data.
  • the electronic device 10 may identify a first training data set similar to touch data from among a plurality of previously stored training data sets.
  • the training data set refers to a group of touch data and/or weather data classified as similar according to a predetermined criterion in order to obtain a user-customized artificial intelligence model for identifying the type of user input.
  • the plurality of pre-stored learning data may be classified based on at least one of a user's age, gender, finger size, and a feature vector.
  • the electronic device 10 may select learning data similar to the user's input data based on personal information such as the user's age and gender received from the user.
  • the electronic device 10 may identify the first training data set by comparing touch data with touch data included in each of a plurality of pre-stored training data sets using an artificial intelligence model.
  • the artificial intelligence model may be an artificial intelligence model for initial setting.
  • the artificial intelligence model for initial setting may be a general-purpose artificial intelligence model obtained by learning a plurality of pre-stored training data sets to identify a type of user input and a training data set similar to the user's input data.
  • the electronic device 10 identifies learning data similar to the user's input data by comparing the touch region image indicating the region where the user input is received and the touch region image included in the learning data using the artificial intelligence model. can do.
  • the electronic device 10 compares the area of the area where the touch input included in the touch data is received with the area of the area where the touch input included in each of the plurality of learning data sets is received, based on a result of comparison. , may identify the first training data set.
  • the electronic device 10 may perform the first learning based on a result of comparing a time at which a touch input at which touch data is obtained is received and a time at which a touch input included in each of the plurality of learning data sets is received. Data sets can be identified.
  • the electronic device 10 may identify the first training data set based on a result of comparing the feature data obtained by using the touch data in the artificial intelligence model with the feature data of each of the plurality of learning data sets.
  • the feature data may include a feature map of the touch data, a feature vector of the touch data, and a probability value corresponding to the type of the touch data.
  • the electronic device 10 may identify the first identification data set by using the barometric pressure data together with the touch data.
  • the electronic device 10 performs the first learning based on a result of comparing at least one feature data obtained by applying touch data and barometric pressure data to at least one artificial intelligence model with each feature data of the plurality of learning data sets. Data sets can be identified.
  • the feature data may include a feature map of the touch data, a feature vector of the touch data, and a probability value corresponding to the type of the touch data.
  • the electronic device 10 may compare a first feature vector obtained by applying touch data and barometric pressure data to one AI model with a second feature vector of each of the plurality of learning data sets based on a result of comparison Thus, the first training data set may be identified.
  • the electronic device 10 compares the feature vectors obtained by applying each of the touch data and the atmospheric pressure data to a separate artificial intelligence model with the respective feature vectors of the plurality of learning data sets.
  • a first training data set may be identified.
  • the electronic device 10 may identify the first training data set using the server 20 .
  • the electronic device 10 may request the server 20 to select a first training data set from among a plurality of training data sets stored in the server 20 .
  • the server 20 may select the first learning data set from among the plurality of learning data sets according to the request of the electronic device 10 .
  • redundant content is omitted.
  • the electronic device 10 may identify the first training data set by receiving information about the first training data set identified by the server 20 .
  • the information on the first training data set may include identification information indicating the first training data set among the plurality of training data.
  • the information about the first training data set may include data constituting the first training data set.
  • the electronic device 10 may transmit at least one of touch data and a first feature vector of the touch data to the server 20 .
  • the electronic device 10 transmits information about the first training data set identified by the server 20 using at least one of the touch data and the first feature vector (eg, identification information of the first training data set) to the server.
  • the first training data set can be identified.
  • the electronic device 10 may identify the first training data set by receiving data constituting the first training data set from the server 20 .
  • the electronic device 10 may acquire a user-customized AI model by learning at least one AI model using the identified training data set.
  • the electronic device 10 may train the artificial intelligence model by using the training data set readout from the memory of the electronic device 10 .
  • the electronic device 10 may learn the artificial intelligence model using the training data set received from the server 20 .
  • the electronic device 10 may teach the training data set identified in step S220 to the artificial intelligence model that has never learned the training data.
  • the electronic device 10 may teach the training data set identified in step S220 to the artificial intelligence model for initial setting.
  • the artificial intelligence model for initial setting may be a general-purpose artificial intelligence model that has learned at least a part of a plurality of training data sets.
  • the electronic device 10 may acquire one user-customized AI model by learning one AI model using a training data set including training data for touch data and barometric pressure data.
  • the electronic device 10 may acquire two or more user-customized artificial intelligence models by learning a separate artificial intelligence model with each of the learning data for the touch data and the learning data for the atmospheric pressure data. Specifically, the electronic device 10 trains the first artificial intelligence model with the first training data for touch data included in the first training data set, and the electronic device 10 learns the barometric pressure included in the first training data set. By learning the second artificial intelligence model with the second learning data for the data, the first user-customized artificial intelligence model and the second user-customized artificial intelligence model may be obtained.
  • the electronic device 10 receives the artificial intelligence model learned by the server 20 , and replaces the artificial intelligence model built in the electronic device 10 with the received artificial intelligence model. ), it is possible to obtain an artificial intelligence model for user customization.
  • the electronic device 10 receives the parameters of the artificial intelligence model learned by the server 20, and updates the artificial intelligence model built in the electronic device 10 using the received parameters, thereby customizing the user. You can obtain an artificial intelligence model for As the method for the server 20 to learn the artificial intelligence model, the method for the electronic device 10 to learn the artificial intelligence model described above may be applied by analogy, and thus overlapping content will be omitted.
  • the electronic device 10 may identify a first AI model corresponding to the first training data set from among a plurality of AI models corresponding to each of the plurality of training data sets.
  • Each of the plurality of artificial intelligence models may be a training data set corresponding to each of the plurality of artificial intelligence models previously learned.
  • the plurality of artificial intelligence models may be stored in the memory of the electronic device 10 or stored in the DB of the server 20 .
  • the electronic device 10 may acquire a user-customized artificial intelligence model by replacing the artificial intelligence model built in the electronic device 10 with the first artificial intelligence model.
  • the electronic device 10 may replace the artificial intelligence model built in the electronic device 10 by reading out the first artificial intelligence model from the memory.
  • the electronic device 10 may replace the artificial intelligence model built in the electronic device 10 with the first artificial intelligence model received from the server 20 .
  • the electronic device 10 may receive a user input.
  • the electronic device 10 may receive a user input such as a normal touch, a long touch, a force touch, and a drag for performing a predetermined operation through the touch screen.
  • a user input such as a normal touch, a long touch, a force touch, and a drag for performing a predetermined operation through the touch screen.
  • the electronic device 10 may acquire touch data regarding an area in which a user's touch input is received through the touch screen at predetermined time intervals.
  • the electronic device 10 may acquire barometric pressure data related to a change in air pressure inside the electronic device 10 generated by a user's touch input.
  • the electronic device 10 may identify the received user input using the learned artificial intelligence model.
  • the electronic device 10 may identify the type of user input by applying the user input received in step S240 to the artificial intelligence model learned in step S230. For example, the electronic device 10 may identify a user input received through the touch screen as a general touch, a long touch, a force touch, and a drag type using the artificial intelligence model 19 .
  • the electronic device 10 may identify the type of the user input by applying the touch data and the atmospheric pressure data obtained from the user input to the artificial intelligence model. For example, the electronic device 10 obtains a probability value that the user input corresponds to a predetermined type by applying at least one of touch data and atmospheric pressure data to the artificial intelligence model, and based on the obtained probability value, type can be identified. Specifically, the electronic device 10 obtains a probability value corresponding to each of a normal touch, a long touch, a force touch, and a drag, using the artificial intelligence model, and obtains a probability value corresponding to the highest value among the obtained probability values. The type of user input can be identified.
  • the electronic device 10 may identify the type of the user input by using the obtained probability value by applying the touch data and the barometric pressure data from the user input to one AI model.
  • the electronic device 10 may identify the type of the user input by applying a weight value to probability values obtained by applying each of the touch data and the atmospheric pressure data to a separate artificial intelligence model. For example, the electronic device 10 may assign a weight value to each of a first probability value obtained by applying the touch data to the first AI model and a second probability value obtained by applying the atmospheric pressure data to the second AI model. can be applied. The electronic device 10 may identify a user input type corresponding to a higher value among the first probability value and the second probability value to which the weight value is applied.
  • the electronic device 10 may perform an operation corresponding to the type of user input identified in operation S250 .
  • the electronic device 10 may provide a user interface in which an operation corresponding to the type of the user input is executed based on the area where the user's touch input is received in step S240 and the type of the user input identified in step 250 .
  • the electronic device 10 may perform an operation of selecting an object corresponding to an area to which a touch is input through the touch screen in response to a result of identifying the user input as a normal touch.
  • the electronic device 10 may perform an operation of displaying a pop-up screen for performing an additional operation on the object located in the area where the touch is input in response to the result of the user input being identified as the long touch. have.
  • the electronic device 10 may perform an operation of providing a shortcut function in response to a result of the user input being identified as a force touch. Specifically, when a user input input for an application icon displayed on the electronic device 10 is identified as a force touch, the electronic device 10 goes to a page displaying detailed information such as a memory capacity used by the application. action can be performed.
  • the electronic device 10 may provide a user interface for changing content displayed on the touch screen of the electronic device 10 in response to a result of the user input being identified as a force touch.
  • the electronic device 10 may provide a user interface such that the content displayed on the touch screen is moved upward in response to the result that the Internet browser application identifies that a force touch is input at the bottom of the displayed touch screen.
  • the electronic device 10 allows the user to display the photo included in the second folder in response to a result of identifying that a force touch is input on the right side of the touch screen on which the photo included in the first folder is displayed through the gallery application. interface can be provided.
  • the electronic device 10 may perform an operation of controlling a hardware function of the electronic device 10 in response to a result of the user input being identified as a force-touch and drag input.
  • FIG. 3 is a diagram for explaining a method of obtaining, by an electronic device, at least one of touch data and barometric pressure data from a user input, according to an exemplary embodiment.
  • the electronic device 10 may receive a touch input from the user 1 through a touch screen.
  • the electronic device 10 may acquire at least one of the touch data 310 and the barometric pressure data 320 while receiving the touch input from the user 1 .
  • the electronic device 10 may acquire the touch data 310 regarding the area 300 in which the user's touch input is received through the touch screen at predetermined time intervals. For example, the electronic device 10 segments the touch screen into regions of MxN, and scans each of the divided regions at a predetermined time interval (Tms, 1/T Hz), so that X frames of touch Data 310 may be obtained. The electronic device 10 measures the microcurrent flowing through the user's finger or the electric field of the electrode corresponding to the region where the user's input is received, and normalizes the measured microcurrent or electric field value to be a real value between 0 and 1. , touch data 310 may be obtained from each of the divided regions.
  • Tms, 1/T Hz predetermined time interval
  • the electronic device 10 may group a predetermined number of touch data 310 into one set.
  • the electronic device 10 may group the touch data 310 of X frames divided into MxN regions and acquired every Tms into one set.
  • the electronic device 10 while acquiring the touch data 310 , acquires barometric pressure data 320 related to a change in air pressure inside the electronic device 10 generated by a user's touch input. can do.
  • the inside of the electronic device 10 may be sealed to support a waterproof function. Accordingly, the electronic device 10 measures the atmospheric pressure inside the electronic device 10 that is changed by a user's touch input pressing the electronic device 10 at a predetermined time interval using the barometric pressure sensor, thereby providing the barometric pressure data 320 . ) can be obtained.
  • the electronic device 10 may acquire the barometric pressure data 320 every time it acquires the touch data 310 .
  • the electronic device 10 may group the barometric pressure data 320 corresponding to each of the touch data 310 grouped into one set into one set. For example, the electronic device 10 may group the barometric pressure data 320 corresponding to each of the touch data 310 of X frames acquired every Tms into one set.
  • the electronic device 10 may store the acquired touch data and barometric pressure data in the memory of the electronic device 10 . Also, the electronic device 10 may transmit touch data and barometric pressure data to the server 20 .
  • FIG. 4 is a diagram for describing a method in which an electronic device applies at least one of touch data and barometric pressure data to an artificial intelligence model, according to an exemplary embodiment.
  • the electronic device 10 may apply at least one of the touch data 410 and the atmospheric pressure data 420 obtained from the touch screen receiving the user input as the artificial intelligence model 19 .
  • the artificial intelligence model 19 is based on at least one of the touch data 410 and the barometric pressure data 420, an artificial intelligence model for initial setting that is trained to identify a training data set similar to a user input.
  • an artificial intelligence model for initial setting that is trained to identify a training data set similar to a user input.
  • the artificial intelligence model 19 may be a general-purpose artificial intelligence model trained to identify the type of user input by learning at least some of the plurality of training data sets.
  • the artificial intelligence model 19 may include an artificial intelligence model trained to acquire feature data from data input through a convolutional layer.
  • the electronic device 10 may perform preprocessing for converting the input touch data 410 and the barometric pressure data 420 into data of a format applied to the convolution layer.
  • the electronic device 10 may store the preprocessed touch data and barometric pressure data in the memory of the electronic device 10 .
  • the electronic device 10 may transmit the preprocessed touch data and barometric pressure data to the server 20 .
  • the electronic device 10 may input the preprocessed touch data and barometric pressure data to the artificial intelligence model 19 .
  • the electronic device 10 may apply the touch data 410 and the barometric pressure data 420 to one AI model.
  • the electronic device 10 may apply the touch data 410 and the atmospheric pressure data 420 to the first AI model.
  • the electronic device 10 may apply each of the touch data 410 and the atmospheric pressure data 420 to a separate AI model.
  • the electronic device 10 may apply the touch data 410 to the first AI model and apply the barometric pressure data 420 to the second AI model.
  • FIG. 5 is a diagram for explaining a method of obtaining, by an electronic device, feature data from touch data applied to an artificial intelligence model, according to an exemplary embodiment.
  • the electronic device 10 may obtain the feature data 530 of the touch data 510 from the artificial intelligence model 19 by applying the touch data 510 to the artificial intelligence model 19 .
  • the feature map 531 of the touch data 510 output from the artificial intelligence model 19 , the feature vector 532 of the touch data 510 , and the touch data 530 are A probability value 533 corresponding to each of the types of input may be obtained.
  • the artificial intelligence model 19 may include a pre-trained feature extraction model to acquire the feature data 530 of the touch data 510 .
  • the feature extraction model may be an artificial intelligence model generated separately from the artificial intelligence model for identifying the training data of FIG. 10 and the artificial intelligence model for identifying the type of user input of FIG.
  • the feature extraction model can exchange data with the artificial intelligence model for identifying the training data of FIG. 10 in order to identify a training data set similar to the user's input data.
  • the feature extraction model can exchange data with the artificial intelligence model for identifying the type of user input of FIG. 11 in order to perform an operation corresponding to the user input.
  • the artificial intelligence model 19 may configure the touch data 510 as convolutional layers.
  • the artificial intelligence model 19 may obtain a feature map 531 of the touch data 510 from the convolutional layers.
  • the artificial intelligence model 19 may obtain the feature vector 532 from the feature map 531 by vectorizing or pooling the feature map 531 .
  • the artificial intelligence model 19 may obtain a probability value 533 corresponding to each of the types of touch input by the user's touch input by fully connecting the feature vector 532 .
  • the artificial intelligence model 19 may obtain a probability value 533 that the user's touch input corresponds to each of the types of touch input, such as a normal touch, a long touch, a force touch, and a drag.
  • the artificial intelligence model 19 may output the feature data 530 of the touch data 510 to the electronic device 10 .
  • the artificial intelligence model 19 may include a feature map 531 of the touch data 510 as the feature data 530 , a feature vector 532 of the touch data 510 , and the touch data 530 of the touch input. At least one of the probability values 533 corresponding to each of the types may be output to the electronic device 10 .
  • the electronic device 10 may store the feature data 530 output from the artificial intelligence model 19 in a memory.
  • the electronic device 10 may transmit the feature data 530 output from the artificial intelligence model 19 to the server 20 .
  • FIG. 6 is a diagram illustrating a method of preprocessing, by an electronic device, touch data applied to an artificial intelligence model, according to an exemplary embodiment.
  • the electronic device 10 may preprocess the touch data 610 and apply it to the artificial intelligence model 19 .
  • the electronic device 10 may perform preprocessing on the touch data 610 to match a format applied to the convolutional layer of the artificial intelligence model 19 .
  • the pre-processing performed by the electronic device 10 may be performed by the electronic device 10 applying the touch data 610 to the artificial intelligence model 19 .
  • the electronic device 10 may acquire the touch data set by dividing the touch data 610 based on a predetermined time.
  • the acquired touch data set may include touch data for one type of user input.
  • the electronic device 10 may divide the touch data 610 based on a time when a touch input is not received between touch inputs.
  • the electronic device 10 may obtain a touch area image indicating an area in which a user's touch input is received on the touch screen as a result of preprocessing the touch data 610 .
  • the electronic device 10 may obtain a touch area image set 611 corresponding to each of the touch data sets divided by a predetermined time as a result of pre-processing.
  • the electronic device 10 may apply the touch area image set 611 to the artificial intelligence model 19 .
  • the electronic device 10 may obtain a matrix corresponding to the touch data 610 as a result of preprocessing the touch data 610 .
  • the electronic device 10 generates a matrix corresponding to the touch data 610 by applying 1 to the area where the user's touch input is received and 0 to the area where the touch input is not received, to the touch data 610 .
  • the electronic device 10 converts each of the regions having a real value between 0 and 1, in which the measured micro current or electric field value is normalized according to the user's touch input, into an element of a matrix, so that the touch data 610 is stored in the touch data 610 .
  • a corresponding matrix can be obtained.
  • the electronic device 10 may obtain an MxN matrix from the touch data 610 divided into MxN regions.
  • the electronic device may obtain matrices 613 corresponding to each of the touch data sets as a result of preprocessing.
  • the electronic device 10 may apply the matrices 613 to the artificial intelligence model 19 .
  • FIG. 7 is a diagram for describing a method of obtaining, by an electronic device, feature data from barometric pressure data applied to an artificial intelligence model, according to an exemplary embodiment.
  • the electronic device 10 may obtain the characteristic data 730 of the atmospheric pressure data 720 from the artificial intelligence model 19 by applying the atmospheric pressure data 720 to the artificial intelligence model 19 .
  • the feature map 731 of the barometric data 720 output from the artificial intelligence model 19 the feature vector 732 of the barometric data 720, and the barometric pressure data 730 are touched
  • a probability value 733 corresponding to each of the types of input may be obtained.
  • the artificial intelligence model 19 may configure the atmospheric pressure data 720 into convolutional layers.
  • the artificial intelligence model 19 may acquire a feature map 731 of the barometric pressure data 720 from the convolutional layers.
  • the artificial intelligence model 19 may obtain the feature vector 732 from the feature map 731 by vectorizing or pooling the feature map 731 .
  • the artificial intelligence model 19 may obtain a probability value 733 that the user's touch input corresponds to each of the types of the touch input by fully connecting the feature vector 732 .
  • the artificial intelligence model 19 may obtain a probability value 733 that the user's touch input corresponds to each of the types of touch input, such as a normal touch, a long touch, a force touch, and a drag.
  • the artificial intelligence model 19 may output the characteristic data 730 of the atmospheric pressure data 720 to the electronic device 10 .
  • the artificial intelligence model 19 has a feature map 731 of the barometric data 720 as feature data 730, a feature vector 732 of the barometric data 720, and the barometric data 730 of the touch input. At least one of the probability values 733 corresponding to each of the types may be output to the electronic device 10 .
  • the electronic device 10 may store the feature data 730 output from the artificial intelligence model 19 in a memory.
  • the electronic device 10 may transmit the feature data 730 output from the artificial intelligence model 19 to the server 20 .
  • FIGS. 8 and 9 are diagrams for explaining a method of pre-processing, by an electronic device, barometric pressure data applied to an artificial intelligence model, according to an exemplary embodiment.
  • the electronic device 10 may pre-process the barometric pressure data 820 and 920 and apply it to the artificial intelligence model 19 .
  • the electronic device 10 may perform preprocessing on the barometric pressure data 820 and 920 to match a format applied to the convolutional layer of the artificial intelligence model 19 .
  • the pre-processing performed by the electronic device 10 may be performed by the electronic device 10 applying the barometric pressure data 820 and 920 to the artificial intelligence model 19 .
  • the electronic device 10 may obtain matrices 850 corresponding to the atmospheric pressure data 820 by preprocessing the atmospheric pressure data 820 .
  • the electronic device 10 may obtain a change value of the atmospheric pressure value inside the electronic device 10 for a predetermined time from the atmospheric pressure data 820 .
  • the electronic device 10 may obtain a difference value between the barometric pressure value 831 at the first time and the barometric pressure value 832 at the second time.
  • the electronic device 10 may obtain the matrix 850 from the change value of the atmospheric pressure inside the electronic device 10 .
  • the electronic device 10 may obtain a matrix corresponding to the second time having a difference value between the barometric pressure value 832 at the second time and the barometric pressure value 831 at the first time.
  • the electronic device 10 may obtain a matrix corresponding to the first time having a value of 0.
  • the electronic device 10 may obtain matrices 950 by preprocessing the barometric pressure data 920 .
  • the electronic device 10 may obtain a change value of the atmospheric pressure inside the electronic device 10 for a predetermined time from the atmospheric pressure data 920 .
  • the electronic device 10 may obtain a difference value between the barometric pressure value at the time when the touch input is received and the barometric pressure value at the time when the touch input is not received.
  • the electronic device 10 may obtain a difference value between the barometric pressure value 931 at a first time at which the touch input is not received and the barometric pressure value 932 at a second time at which the touch input is received.
  • the electronic device 10 may obtain the matrix 950 from the change value of the atmospheric pressure inside the electronic device 10 .
  • the electronic device 10 may obtain a matrix 950 having a difference value between an air pressure value at a time when a touch input is received and an air pressure value at a time when the touch input is not received.
  • the electronic device 10 may obtain a matrix having a difference value between the barometric pressure value 931 at a first time at which the touch input is not received and the barometric pressure value 932 at a second time at which the touch input is received.
  • the electronic device 10 may apply the obtained matrices 850 and 950 to the artificial intelligence model 190 .
  • FIG. 10 is a diagram for describing a method in which one of an electronic device or a server identifies a training data set similar to user input data and learns an artificial intelligence model using the identified training data, according to an embodiment.
  • the electronic device 10 obtains the user's input data 1010 and compares it with a plurality of training data sets 1020a, 1020b, 1020c, and 1020d stored in advance in the memory 17 to obtain a second similar to the input data 1010 .
  • One training data set may be selected from the plurality of training data sets 1020a, 1020b, 1020c, and 1020d.
  • the electronic device 10 compares the touch data 1011 included in the input data 1010 with the touch data included in each of the plurality of learning data sets 1020a, 1020b, 1020c, and 1020d. , the first training data set including touch data similar to the touch data 1011 may be selected.
  • the electronic device 10 includes touch data 1011 corresponding to each of the types of touch input included in the input data 1010 and each of the plurality of learning data sets 1020a, 1020b, 1020c, and 1020d.
  • touch data corresponding to each of the types of included touch input the first training data set including touch data similar to the touch data 1011 may be selected.
  • the electronic device 10 compares the user's touch data input as a force touch with the touch data for the force touch included in each of the plurality of learning data sets 1020a, 1020b, 1020c, and 1020d. You can choose a training data set.
  • the electronic device 10 compares the user's touch data input as a long touch with the touch data for the long touch included in each of the plurality of learning data sets 1020a, 1020b, 1020c, and 1020d. You can choose a data set.
  • the electronic device 10 may obtain a touch area image obtained from the touch data 1011 and a touch area image obtained from touch data included in each of the plurality of learning data sets 1020a, 1020b, 1020c, and 1020d.
  • the first training data set including touch data similar to the touch data 1011 may be selected.
  • the electronic device 10 applies a shape (eg, an edge) of an area in which a touch input included in the touch data 1011 is received and a plurality of learning data sets 1020a, 1020b, 1020c, and 1020d, respectively.
  • the first training data set may be selected based on a result of comparing the shape of the region in which the included touch input is received.
  • the electronic device 10 may display an area of a region in which a touch input included in the touch data 1011 is received and a touch input included in each of the plurality of learning data sets 1020a, 1020b, 1020c, and 1020d. By comparing the result of comparing the area of the received region, the first training data set including touch data similar to the touch data 1011 may be selected. In this case, the electronic device 10 may select the first learning data set based on a result of comparing the maximum areas.
  • the electronic device 10 may display a time at which a touch input at which the touch data 1011 is obtained is received and a time at which a touch input included in each of the plurality of learning data sets 1020a, 1020b, 1020c, and 1020d is received. Based on the time comparison result, the first training data set including touch data similar to the touch data 1011 may be identified.
  • the electronic device 10 may display the first learning data based on a result of comparing the feature data of the touch data 1011 with the feature data of each of the plurality of learning data sets 1020a, 1020b, 1020c, and 1020d. set can be identified.
  • the feature data may include a feature map of the touch data, a feature vector of the touch data, and probability values corresponding to each of the types of the touch data.
  • the electronic device 10 may obtain the first feature vector 1015 of the touch data 1011 by applying the touch data 1011 to the AI model.
  • the electronic device 10 applies the second feature vector and the first feature vector 1015 of each of the plurality of training data sets 1020a, 1020b, 1020c, and 1020d to the artificial intelligence model, whereby the first feature vector 1015 is and a correlation between the second feature vectors and the second feature vectors may be identified.
  • the electronic device 10 may identify the first training data set corresponding to the second feature vector having the highest correlation with the first feature vector 1015 .
  • the electronic device 10 may set a representative value (eg, average value, median value, and mode) of the first feature vector 1015 and each representative value of the second feature vectors (eg, average value, median value, mode), a first training data set may be identified based on a result of comparing the first training data set.
  • a representative value eg, average value, median value, and mode
  • the electronic device 10 may identify a learning data set similar to the user's input data from among the plurality of learning data sets 1020a, 1020b, 1020c, and 1020d by using the barometric pressure data together with the touch data. .
  • the electronic device 10 includes a first feature vector 1015 obtained by applying the touch data 1011 and the barometric pressure data 1013 to one AI model and a plurality of training data sets 1020a, 1020b, Based on the result of comparing the respective second feature vectors of 1020c and 1020d), a training data set similar to the user's input data may be identified.
  • the electronic device 10 compares the first feature vector obtained by concatenating the touch data and the atmospheric pressure data to the artificial intelligence model with the second feature vector, or alternately arranging the touch data and the atmospheric pressure data. As a result of comparing the first feature vector obtained by applying to the artificial intelligence model with the second feature vector, it is possible to identify a training data set similar to the user's input data.
  • the electronic device 10 may apply feature vectors obtained by applying each of the touch data 1011 and the atmospheric pressure data 1013 to a separate artificial intelligence model to a plurality of training data sets 1020a, 1020b, 1020c, 1020d), it is possible to identify a learning data set similar to the user's input data based on the result of comparison with the feature vector of the touch data and the feature vector of the atmospheric pressure data included in each of the steps 1020d).
  • the electronic device 10 may obtain the first feature vector by applying the touch data 1011 to the first AI model. Also, the electronic device 10 may obtain the third feature vector by applying the barometric pressure data 1013 to the second artificial intelligence model. The electronic device 10 compares the first feature vector with second feature vectors obtained from touch data included in each of the plurality of training data sets 1020a, 1020b, 1020c, and 1020d to obtain the first feature vector and The first training data set corresponding to the second feature vector having the highest correlation may be identified.
  • the electronic device 10 compares the third feature vector with fourth feature vectors obtained from barometric pressure data included in each of the plurality of training data sets 1020a, 1020b, 1020c, and 1020d, so that the third feature vector and The second training data set corresponding to the fourth feature vector having the highest correlation may be identified.
  • the electronic device may identify a training data set to be used to train an artificial intelligence model from among the first training data set and the second training data set by using the weight value.
  • the electronic device 10 may identify a first training data set similar to the user's input data from among the plurality of training data sets 1020a, 1020b, 1020c, and 1020d.
  • the electronic device 10 may identify a first AI model corresponding to the first training data set from among a plurality of AI models corresponding to each of the plurality of training data sets 1020a, 1020b, 1020c, and 1020d .
  • Each of the plurality of AI models is a plurality of pieces of artificial intelligence classified based on learning data collected from multiple users with various touch input characteristics (eg, age, gender, race, weight, primary hand, primary finger).
  • Each of the training data sets 1020a, 1020b, 1020c, and 1020d may be previously learned.
  • the electronic device 10 may transmit the user's input data 1010 to the server 20 .
  • the server 20 compares the first training data set similar to the input data 1010 with the plurality of training data sets 1020a, 1020b, 1020c, and 1020d stored in advance in the DB 27, a plurality of training data sets 1020a , 1020b, 1020c, 1020d).
  • the method for the server 20 to identify the training data set may be applied by analogy to the method for the electronic device 10 to identify the training data set, redundant content will be omitted.
  • the method for the server 20 to identify the first artificial intelligence model corresponding to the first training data set overlaps because the method for the electronic device 10 to identify the first artificial intelligence model can be applied by analogy. is omitted.
  • the electronic device 10 may train the artificial intelligence model 19 with a training data set similar to the user's input data.
  • the electronic device 10 may teach an artificial intelligence model that has never learned the training data a training data set similar to the user's input data.
  • the electronic device 10 may teach the artificial intelligence model for initial setting a training data set similar to the user's input data.
  • the artificial intelligence model for initial setting may be a general-purpose artificial intelligence model that has learned at least a part of a plurality of training data sets.
  • the electronic device 10 may acquire one user-customized AI model by learning one AI model using a training data set including training data for touch data and barometric pressure data.
  • the electronic device 10 may acquire two or more user-customized artificial intelligence models by learning a separate artificial intelligence model with each of the learning data for the touch data and the learning data for the atmospheric pressure data. Specifically, the electronic device 10 trains the first artificial intelligence model with first training data for touch data included in the first training data set, and the electronic device 10 learns the atmospheric pressure included in the first training data set. By learning the second artificial intelligence model with the second learning data for the data, the first user-customized artificial intelligence model and the second user-customized artificial intelligence model may be obtained.
  • the electronic device 10 reads out a first AI model corresponding to the first training data set from among a plurality of AI models that have previously learned each of the plurality of training data sets from a memory. ), and by replacing the artificial intelligence model built in the electronic device 10 with the readout first artificial intelligence model, a user-customized artificial intelligence model may be obtained.
  • the server 20 may train the artificial intelligence model with a training data set similar to the user's input data. Since the method for the server 20 to identify the learning data may be applied by analogy to the method for the electronic device 10 to identify the learning data, overlapping content will be omitted.
  • the electronic device 10 receives the artificial intelligence model learned by the server 20, and replaces the artificial intelligence model built in the electronic device 10 with the received artificial intelligence model, for user customization.
  • AI models can be obtained.
  • the electronic device 10 receives the parameters of the artificial intelligence model learned by the server 20, and updates the artificial intelligence model built in the electronic device 10 by using the received parameters. , it is possible to obtain an artificial intelligence model for user customization.
  • the electronic device 10 receives, from the server 20 , a first AI model corresponding to the first training data set among a plurality of AI models that have been previously trained on each of the plurality of training data sets. And, by replacing the artificial intelligence model built in the electronic device 10 with the received first artificial intelligence model, a user-customized artificial intelligence model may be obtained.
  • FIG. 11 is a diagram for describing a method in which an electronic device identifies a type of a user input using an artificial intelligence model and performs an operation corresponding to the identified type, according to an exemplary embodiment.
  • the electronic device 10 may receive a touch input for performing a predetermined operation from the user 1 .
  • the electronic device 10 may display a pop-up screen for performing an operation of selecting an object corresponding to an area to which a touch is inputted or an additional operation on an object located in the area to which a touch is input through the touch screen.
  • Normal touch, long touch, and force for performing a predetermined operation such as an operation, an operation to provide a shortcut function, an operation to provide a function to move the position of an object, and an operation to control a hardware function of the electronic device 10 .
  • a touch input of the user 1 such as touch and drag may be received.
  • the electronic device 10 may acquire touch data 1110 and barometric pressure data 1120 from a touch input received from the user 1 .
  • the electronic device 10 may acquire the touch data 1110 regarding the region in which the user 1's touch input is received through the touch screen at predetermined time intervals.
  • the electronic device 10 may acquire barometric pressure data 1120 related to a change in air pressure inside the electronic device 10 generated by a touch input of the user 1 .
  • the electronic device 10 may identify the type of the user input by applying at least one of the touch data 1110 and the atmospheric pressure data 1120 as the artificial intelligence model 19 . For example, the electronic device 10 determines that the user input output from the artificial intelligence model 19 corresponds to each of the long touch 1150a, the force touch 1150b, and the force touch and drag 1150c.
  • the input type may be identified as a long touch 1150a, a force touch 1150b, and a force touch and then drag 1150c.
  • the electronic device 10 applies at least one of the touch data 1110 and the atmospheric pressure data 1120 to one AI model, so that the user can use the probability value output from the one AI model.
  • the type of input can be identified.
  • the electronic device 10 may perform an operation corresponding to the identified type of user input.
  • the electronic device 10 may perform the first operation 1170a in response to a user input identified as the long touch 1150a.
  • the electronic device 10 performs an operation of displaying a pop-up screen for performing an additional operation on the object located in the area where the touch is input according to the result of identifying the user input as the long touch 1150a. can do.
  • the electronic device 10 may perform the second operation 1170b in response to a user input identified as the force touch 1150b.
  • the electronic device 10 may perform an operation of providing a shortcut function according to a result of identifying the user input as the force touch 1150b.
  • the electronic device 10 may perform the third operation 1170c in response to the user input identified as the drag 1150c after the force touch.
  • the electronic device 10 may perform an operation of adjusting the brightness of the display in response to a user input identified as a vertical drag input after a force touch.
  • the electronic device 10 may perform an operation of adjusting the intensity of a sound output in response to a user input identified as a left/right drag input after the force touch.
  • FIG. 12 is a diagram for describing a method in which an electronic device identifies a type of a user input using an artificial intelligence model and performs an operation corresponding to the identified type, according to an exemplary embodiment.
  • the electronic device 10 may receive a touch input for performing a predetermined operation from the user 1 .
  • the electronic device 10 may acquire touch data 1210 and barometric pressure data 1220 from a touch input received from the user 1 .
  • the electronic device 10 may identify the type of the user input by applying a weight value to each of probability values obtained by applying each of the touch data 1210 and the atmospheric pressure data 1220 to a separate artificial intelligence model.
  • the electronic device 10 applies the first weight value w a to the first probability value obtained by applying the touch data 1210 to the first artificial intelligence model 19a , and the atmospheric pressure data 1220 . ) may be applied to the second probability value obtained by applying the second artificial intelligence model 19b to the second weight value w b .
  • the electronic device 10 may identify a type of user input corresponding to a higher value among a first probability value and a second probability value to which the weight values w a and w b are respectively applied.
  • the electronic device 10 may perform an operation 1270 corresponding to the identified type of user input.
  • the weight values w a and w b applied to each of the probability values may be determined based on the similarity between the user's input data and the training data set.
  • the first weight value w a may be determined based on a similarity between the touch data obtained in step S210 of FIG. 2 and the touch data of the training data set identified in step S220 of FIG. 2 . For example, when the similarity is 90%, the first weight value w a may be 0.9.
  • the second weight value w b may be determined based on the similarity between the atmospheric pressure data obtained in step S210 of FIG. 2 and the atmospheric pressure data of the learning data set identified in step S220 of FIG. 2 . For example, when the similarity is 60%, the second weight value w b may be 0.6.
  • the similarity between the user's input data and the training data set may be obtained from the correlation between the feature vector obtained from the user's input data and the feature vector of the training data set.
  • the first probability value obtained by applying the touch data 1210 to the first artificial intelligence model 19a is a first long touch probability value at which the user's touch input corresponds to a long touch and the user's touch The input may include a first force-touch probability value corresponding to the force-touch.
  • the second probability value obtained by applying the atmospheric pressure data 1220 to the second artificial intelligence model 19b is a second long touch probability value in which the user's touch input corresponds to a long touch and a second long touch probability value in which the user's touch input corresponds to a force touch. may include a second force touch probability value corresponding to .
  • the weight value w a applied to the first probability value is the first weight value w 1 applied to the first long touch probability value and the second weight value w 2 applied to the first force touch probability value.
  • the weight value w b applied to the second probability value is the third weight value w 3 applied to the second long touch probability value and the fourth weight value w 4 applied to the second force touch probability value.
  • the weight value so that the sum of the first weight value w 1 and the second weight value w 2 is 1, and the sum of the third weight value w 3 and the fourth weight value w 4 becomes 1 Values may be determined.
  • the electronic device 10 when the difference between the first force touch probability value and the first long touch probability value is greater than or equal to a predetermined value (eg, 0.2), the electronic device 10 sets a weight value applied to the first probability value. (w a ) may be determined to be 1, and a weight value (w b ) applied to the second probability value may be determined to be 0. The electronic device 10 may determine the first weight value w 1 and the second weight value w 2 as the same value (eg, 0.5).
  • the electronic device 10 transmits the first weight value w 1 .
  • a predetermined value e.g. 0.2
  • the electronic device 10 transmits the first weight value w 1 .
  • a type of user input corresponding to a higher value among the sums of the second force touch probability values to which (w 4 ) is applied may be identified.
  • the weight values w a , w b , w 1 , w 2 , w 3 , and w 4 applied to each of the probability values may be preset by the designer of the artificial intelligence model. Specifically, values determined by the designer of the artificial intelligence model to be appropriate through experiments may be set as weight values ( wa , w b , w 1 , w 2 , w 3 , w 4 ).
  • the weight values w a , w b , w 1 , w 2 that can obtain an optimal probability value , w 3 , w 4 ) may be preset.
  • the weight values w a , w b , w 1 , w 2 , w 3 , w 4 may be adjusted to an appropriate value.
  • the weight values w a , w b , w 1 , w 2 , w 3 , w 4 are values from which an optimal probability value can be obtained, and may be determined according to various methods. have.
  • the second artificial intelligence model 19b uses the function of Equation 1 according to the difference between the maximum value and the minimum value of the atmospheric pressure inside the electronic device 10 generated by the user's touch input.
  • a probability value that the user's touch input corresponds to the force touch may be output.
  • b is a barometric pressure value
  • p is a probability value that a user's touch input corresponds to a force touch
  • p is a result value by the sigmoid function and may be a value between 0 and 1.
  • FIG. 13 is a block diagram of an electronic device, according to an embodiment.
  • the electronic device 10 may include a user input unit 11 , an output unit 12 , a processor 13 , a communication unit 15 , and a memory 17 .
  • the electronic device 10 may be implemented by more components than those illustrated in FIG. 13 , or the electronic device 10 may be implemented by fewer components than those illustrated in FIG. 13 .
  • the user input unit 11 means a means for a user to input data for controlling the electronic device 10 .
  • the user input unit 11 includes a touch screen, a key pad, a dome switch, a touch pad (contact capacitive method, pressure resistance film method, infrared sensing method, Surface ultrasonic conduction method, integral tension measurement method, piezo effect method, etc.), a touch screen, a jog wheel, a jog switch, etc. may be used, but are not limited thereto.
  • the user input unit 11 may receive a user input necessary for the electronic device 10 to perform the embodiments described with reference to FIGS. 1 to 12 .
  • the output unit 12 outputs information processed by the electronic device 10 .
  • the output unit 12 may output information related to the embodiments described with reference to FIGS. 1 to 12 .
  • the output unit 12 may include an object, a user interface, and a display unit 12-1 that displays a result of performing an operation corresponding to a user's input.
  • the processor 13 generally controls the overall operation of the electronic device 10 .
  • the processor 13 may include a user input unit 11 , an output unit 12 , a communication unit 15 , in order to provide augmented reality content to a user by executing at least one instruction stored in the memory 17 ,
  • the memory 17 and the like can be controlled in general.
  • the processor 13 may control the electronic device 10 to obtain at least one of touch data and barometric pressure data from a touch input received from a user by executing an instruction stored in the user input data obtaining module 17a.
  • the processor 13 may control the electronic device 10 to obtain at least one of touch data and barometric pressure data from a touch input received from a user by executing an instruction stored in the user input data obtaining module 17a.
  • the processor 13 executes the instruction stored in the training data set identification module 17b to identify a training data set similar to the user's input data from among a plurality of pre-stored training data sets. ) can be controlled.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 12 will be omitted.
  • the processor 13 may train the artificial intelligence model with a learning data set similar to the user's input data by executing the instructions stored in the artificial intelligence learning module 17c.
  • the processor 13 may select an artificial intelligence model trained with a learning data set similar to the user's input data by executing the instructions stored in the artificial intelligence learning module 17c. The content overlapping with the embodiment described above with reference to FIGS. 1 to 12 will be omitted.
  • the processor 13 may identify the type of user input received from the user by executing the instructions stored in the type identification module 17d of the user input.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 12 will be omitted.
  • the processor 13 may control the electronic device 10 to perform an operation corresponding to the identified type of user input by executing an instruction stored in the operation performing module 17e.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 12 will be omitted.
  • the processor 13 may be at least one general-purpose processor.
  • the processor 13 may include at least one processor manufactured to perform the function of the artificial intelligence model.
  • the processor 13 may execute a series of instructions so that the artificial intelligence model learns new training data.
  • the processor 13 may perform the function of the artificial intelligence model described above with reference to FIGS. 1 to 12 by executing the software module stored in the memory 17 .
  • the communication unit 15 may include one or more components that allow the electronic device 10 to communicate with another device (not shown) and the server 20 .
  • Another device (not shown) may be a computing device such as the electronic device 10, but is not limited thereto.
  • the memory 17 may store at least one instruction and at least one program for processing and control of the processor 13 , and may store data input to or output from the electronic device 10 . have.
  • the memory 17 is a memory that temporarily stores data, such as a random access memory (RAM), a static random access memory (SRAM), a flash memory type, a hard disk type, and a multimedia card.
  • Multimedia card micro type card type memory (such as SD or XD memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Memory) Only memory), a magnetic memory, a magnetic disk, and an optical disk may include at least one type of storage medium among data storage for non-temporarily storing data.
  • FIG. 14 is a block diagram illustrating a software module of a memory included in an electronic device, according to an exemplary embodiment.
  • the memory 17 is a software module including an instruction for the electronic device 10 to perform the embodiment described above with reference to FIGS. 1 to 12 , and a user input data acquisition module 17a ), a learning data set identification module 17b, an artificial intelligence learning module 17c, a type identification module 17d of a user input, and an operation performing module 17e.
  • the electronic device 10 may perform an operation corresponding to the user's input by more software modules than the software modules shown in FIG. 14 , and the electronic device 10 may use fewer software modules than the software modules shown in FIG. 14 . 10) may perform an operation corresponding to the user's input.
  • the electronic device 10 may acquire at least one of touch data and barometric pressure data from a touch input received from the user. have.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 12 will be omitted.
  • the electronic device 10 sets a learning data set similar to the user's input data from among a plurality of pre-stored learning data sets. can be identified. The content overlapping with the embodiment described above with reference to FIGS. 1 to 12 will be omitted.
  • the electronic device 10 trains the artificial intelligence model with a learning data set similar to the user's input data or the user's input data.
  • a trained AI model can be identified with a training data set similar to the input data. The content overlapping with the embodiment described above with reference to FIGS. 1 to 12 will be omitted.
  • the electronic device 10 may identify the type of the user input received from the user by executing the instruction included in the user input type identification module 17d by the processor 13 .
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 12 will be omitted.
  • the electronic device 10 may perform an operation corresponding to the identified type of user input.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 12 will be omitted.
  • 15 is a block diagram of a server, according to an embodiment.
  • the server 20 may include a communication unit 25 , a memory 26 , a DB 27 , and a processor 23 .
  • the communication unit 25 may include one or more components that allow the server 20 to communicate with the electronic device 10 .
  • the memory 26 may store at least one instruction and at least one program for processing and control of the processor 23 , and may store data input to or output from the server 20 .
  • the DB 27 may store data received from the electronic device 10 .
  • the DB 27 may store a plurality of training data sets to be used for learning the artificial intelligence model.
  • the processor 23 typically controls the overall operation of the server 20 .
  • the processor 23 may control the DB 27 and the communication unit 25 in general by executing programs stored in the memory 26 of the server 20 .
  • the processor 23 may perform the operations of the server 20 described with reference to FIGS. 1 to 12 by executing programs.
  • the processor 23 may identify a training data set similar to the user's input data from among a plurality of pre-stored training data sets by executing the instructions stored in the training data set identification module 27a.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 12 will be omitted.
  • the processor 23 may train the artificial intelligence model with a learning data set similar to the user's input data by executing the instructions included in the artificial intelligence learning module 27b.
  • the processor 23 may select an artificial intelligence model trained with a learning data set similar to the user's input data by executing the instructions stored in the artificial intelligence learning module 27b. The content overlapping with the embodiment described above with reference to FIGS. 1 to 12 will be omitted.
  • 16 is a block diagram illustrating a software module of a memory included in a server, according to an embodiment.
  • the memory 26 is a software module for the server 20 to perform the embodiments described above with reference to FIGS. 1 to 12 , and a learning data set identification module 27a and an artificial intelligence learning module ( 27b) may be included.
  • the server 20 may generate the augmented reality content by more software modules than the software modules shown in FIG. 16
  • the server 20 may generate the augmented reality content by using fewer software modules than the software modules shown in FIG. 16 .
  • the server 20 identifies a training data set similar to the user's input data from among a plurality of pre-stored training data sets. can do.
  • the content overlapping with the embodiment described above with reference to FIGS. 1 to 12 will be omitted.
  • the server 20 trains the artificial intelligence model with a training data set similar to the user's input data or the user's input
  • a trained AI model can be identified with a training dataset similar to the data. The content overlapping with the embodiment described above with reference to FIGS. 1 to 12 will be omitted.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' is a tangible device and only means that it does not contain a signal (eg, electromagnetic wave). It does not distinguish the case where it is stored as
  • the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.
  • the method according to various embodiments disclosed in this document may be provided in a computer program product (computer program product).
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play StoreTM) or on two user devices (eg, It can be distributed (eg downloaded or uploaded) directly, online between smartphones (eg: smartphones).
  • a portion of the computer program product eg, a downloadable app
  • a machine-readable storage medium such as a memory of a manufacturer's server, a server of an application store, or a relay server. It may be temporarily stored or temporarily created.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

개시된 실시예들은 인공지능 모델을 이용하여 사용자 입력에 대응하는 동작을 수행하는 전자 장치 및 전자 장치가 동작을 수행하는 방법에 관한 것으로서, 상기 방법은 사용자의 터치 입력에 관한 터치 데이터를 획득하는 단계, 미리 저장된 복수의 학습 데이터 세트들 중에서 상기 터치 데이터와 유사한 제1 학습 데이터 세트를 식별 하는 단계, 상기 제1 학습 데이터 세트를 이용하여 상기 인공지능 모델 을 학습하는 단계, 상기 학습된 인공지능 모델을 이용하여 상기 전자 장치에 입력되는 사용자 입력의 유형을 식별하는 단계 및 상기 식별된 사용자 입력의 유형에 대응하는 동작을 수행하는 단계를 포함할 수 있다.

Description

사용자 입력을 추론하는 사용자 맞춤형 전자 장치 및 이를 제어하는 방법
개시된 실시예들은 사용자 입력을 추론하는 전자 장치 및 이를 제어하는 방법에 관한 것이다.
전자 장치의 심플한 디자인을 구현하고 편리한 사용자 인터페이스를 제공하기 위하여, 터치 스크린, 터치 패드 등의 터치 입력에 관련된 기술이 디바이스에 적용되고 있다. 전자 장치는 사용자의 터치 입력을 정확하게 식별함으로써 사용자에게 만족스러운 경험을 제공할 수 있다. 근래에는, 보다 만족도가 높은 사용자 경험을 위해서 인공지능 시스템을 이용하여 사용자의 터치 입력을 정확하게 식별하기 위한 방안들이 고려되고 있다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
개시된 실시예들은 인공지능 기술을 이용하여 사용자 입력을 정확히 추론하고, 사용자 입력에 대응하는 동작을 수행하는 전자 장치 및 이를 제어하는 방법을 제공하고자 한다.
본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않는다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 인공지능 모델을 이용하여 전자 장치가 사용자 입력에 대응하는 동작을 수행하는 방법은, 사용자의 터치 입력에 관한 터치 데이터를 획득하는 단계, 미리 저장된 복수의 학습 데이터 세트들 중에서 상기 터치 데이터와 유사한 제1 학습 데이터 세트를 식별 하는 단계, 상기 제1 학습 데이터 세트를 이용하여 상기 인공지능 모델을 학습하는 단계, 상기 학습된 인공지능 모델을 이용하여 상기 전자 장치에 입력되는 사용자 입력의 유형을 식별하는 단계 및 상기 식별된 사용자 입력의 유형에 대응하는 동작을 수행하는 단계를 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서 개시된 인공지능 모델을 이용하여 사용자 입력에 대응하는 동작을 수행하는 전자 장치는, 메모리, 사용자의 터치 입력을 수신함으로써 터치 데이터를 획득하는 사용자 입력부 및 미리 저장된 복수의 학습 데이터 세트들 중에서 상기 터치 데이터와 유사한 제1 학습 데이터 세트를 식별 하고, 상기 제1 학습 데이터 세트를 이용하여 상기 인공지능 모델을 학습하고, 상기 학습된 인공지능 모델을 이용하여 상기 전자 장치에 입력되는 사용자 입력의 유형을 식별하고, 상기 식별된 사용자 입력의 유형에 대응하는 동작을 수행하도록 상기 전자 장치를 제어하는, 프로세서를 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 컴퓨터로 읽을 수 있는 기록매체는 개시된 방법의 실시예들 중에서 적어도 하나를 컴퓨터에서 실행시키기 위한 프로그램을 기록한 것일 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 기록매체에 저장된 어플리케이션은 개시된 방법의 실시예들 중에서 적어도 하나의 기능을 실행시키기 위한 것일 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 컴퓨터 프로그램 제품(Computer Program Product)은 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다.
도 1은 전자 장치가 수신한 사용자 입력에 대응하는 동작을 수행하는 예시를 설명하는 도면이다.
도 2는 일 실시예에 따른, 전자 장치가 인공지능 모델을 이용하여 사용자 입력에 대응하는 동작을 수행하는 방법의 순서도이다.
도 3은 일 실시예에 따른, 전자 장치가 사용자 입력으로부터 터치 데이터 및 기압 데이터 중에서 적어도 하나를 획득하는 방법을 설명하는 도면이다.
도 4는 일 실시예에 따른, 전자 장치가 터치 데이터 및 기압 데이터 중에서 적어도 하나를 인공지능 모델에 적용하는 방법을 설명하는 도면이다.
도 5는 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 터치 데이터로부터 특징 데이터를 획득하는 방법을 설명하는 도면이다.
도 6은 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 터치 데이터를 전처리 하는 방법을 설명하는 도면이다.
도 7은 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 기압 데이터로부터 특징 데이터를 획득하는 방법을 설명하는 도면이다.
도 8은 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 기압 데이터를 전처리 하는 방법을 설명하는 도면이다.
도 9는 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 기압 데이터를 전처리 하는 방법을 설명하는 도면이다.
도 10은 일 실시예에 따른, 전자 장치 또는 서버 중에서 하나가 사용자의 터치 데이터와 유사한 학습 데이터를 식별하고, 식별된 학습 데이터를 이용하여 인공지능 모델을 학습하는 방법을 설명하는 도면이다.
도 11은 일 실시예에 따른, 전자 장치가 인공지능 모델을 이용하여 사용자 입력의 유형을 식별하고, 식별된 유형에 대응하는 동작을 수행하는 방법을 설명하는 도면이다.
도 12는 일 실시예에 따른, 전자 장치가 인공지능 모델을 이용하여 사용자 입력의 유형을 식별하고, 식별된 유형에 대응하는 동작을 수행하는 방법을 설명하는 도면이다.
도 13은 일 실시예에 따른, 전자 장치의 블록도이다.
도 14는 일 실시예에 따른, 전자 장치에 포함된 메모리의 소프트웨어 모듈을 나타내는 블록도이다.
도 15는 일 실시예에 따른, 서버의 블록도이다.
도 16은 일 실시예에 따른, 서버에 포함된 메모리의 소프트웨어 모듈을 나타내는 블록도이다.
본 명세서는 본 발명의 권리범위를 명확히 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 실시할 수 있도록, 본 발명의 원리를 설명하고, 실시예들을 개시한다. 개시된 실시예들은 다양한 형태로 구현될 수 있다. 개시된 실시예들은 단독으로 구현되거나, 적어도 2이상의 실시예가 조합되어 구현될 수 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있으며, 실시예들에 따라 복수개의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수개의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단" 및 "구성"등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
또한, 본 명세서에서 사용되는 "제1" 또는 "제2" 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다.
본 개시에 따른 전자 장치를 제어하는 방법에 있어서, 사용자 입력을 식별하기 위해 사용자 입력을 추론 또는 예측하기 위하여 인공지능 모델을 이용할 수 있다.
추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론(Knowledge based Reasoning), 최적화 예측(Optimization Prediction), 선호 기반 계획(Preference-based Planning), 추천(Recommendation) 등을 포함한다
한편, 본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 프로세서는 인공지능 모델에 적용되는 데이터에 대해서 인공지능 모델에 적용되기에 적합한 형태로 변환하는 전처리 과정을 수행할 수 있다.
인공지능 모델은 학습을 통해 만들어 질 수 있다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.
도 1은 전자 장치가 수신한 사용자 입력에 대응하는 동작을 수행하는 예시를 설명하는 도면이다.
일 실시예에 따르면, 전자 장치(10)는 인공지능 모델을 포함하는 모바일 장치(예를 들면, 스마트폰, 태블릿PC 등), 범용 컴퓨터(PC, Personal Computer)와 같은 연산 장치를 포함할 수 있다. 또한, 전자 장치(10)는 인공지능 모델을 포함하는 서버와 네트워크를 통해서 데이터를 송수신 할 수 있는 모바일 장치(예를 들면, 스마트폰, 태블릿PC 등), 범용 컴퓨터(PC, Personal Computer)와 같은 연산 장치를 포함할 수 있다.
개시된 실시예들에 이용되는 인공지능 모델은 목적과 용도에 따라서 복수개로 구성될 수 있다. 예를 들면, 개시된 실시예들에 이용되는 인공지능 모델은 초기 설정을 위해서 사용자로부터 수신한 터치 데이터로부터 특징 벡터를 획득하는 제1 인공지능 모델, 사용자의 터치 입력에 의해서 발생되는 전자 장치 내부의 기압의 변동에 관한 기압 데이터로부터 특징 벡터를 획득하는 제2 인공지능 모델, 터치 데이터의 특징 벡터와 복수의 학습 데이터 세트들에 포함된 터치 데이터들의 각각으로부터 획득한 특징 벡터의 유사도를 비교하는 제3 인공지능 모델, 기압 데이터의 특징 벡터와 복수의 학습 데이터 세트들에 포함된 기압 데이터들의 각각으로부터 획득한 특징 벡터의 유사도를 비교하는 제4 인공지능 모델 및 사용자 입력의 유형을 식별하는 제5 인공지능 모델과 같이 복수개 일 수 있다. 또한, 목적과 용도에 따라서, 제1 인공지능 모델 및 제2 인공지능 모델이 하나의 인공지능 모델로 구성될 수 있으며, 제3 인공지능 모델과 제4 인공지능 모델이 하나의 인공지능 모델로 구성될 수 있다. 또한, 제1 인공지능 모델 내지 제5 인공지능 모델도 하나의 인공지능 모델로 구성될 수 있다. 즉, 개시된 실시예들에 이용되는 인공지능 모델은 전자 장치의 제조사나 전자 장치의 사용자에 따라서 다양한 실시 태양(embodiment)으로 구현될 수 있으며, 위의 예(example)들에 의해서 한정되지 않는다.
한편, 개시된 실시예들에 이용되는 인공지능 모델은 적어도 하나의 프로세서의 형태로 존재할 수 있다. 예를 들면, 전자 장치(10) 및 서버(20) 중에서 적어도 하나는 터치 데이터 및 기압 데이터 중에서 적어도 하나에 대한 특징 벡터를 획득하는 인공지능 모델을 프로세서의 형태로 포함할 수 있다. 다른 예를 들면, 전자 장치(10)는 사용자 입력을 식별하는 인공지능 모델을 프로세서의 형태로 포함할 수 있다. 프로세서는 범용적으로 이용되는 적어도 하나의 프로세서 (예를 들면, CPU, Application processor) 및 사용자 입력을 식별하는 기능을 수행하기 위하여 제작된 적어도 하나의 프로세서를 포함할 수 있다. 프로세서는 적어도 하나의 명령어를 실행함으로써, 사용자 입력을 식별하고, 식별된 사용자 입력에 대응하는 동작을 수행하기 위한 제어 신호를 생성할 수 있다.
도 1을 참조하면, 전자 장치(10)는 사용자(1)로부터 입력을 수신할 수 있다. 예를 들면, 전자 장치(10)는 터치 스크린을 통해서 사용자(1)로부터 입력을 수신할 수 있다. 이 경우, 사용자 입력은 터치 스크린의 일부 영역을 짧은 시간 동안 터치(이하, 일반 터치라 함)하는 입력, 터치 스크린의 일부 영역을 긴 시간 동안 터치(이하, 롱 터치라 함)하는 입력, 터치 스크린의 일부 영역을 강하게 누르는 터치(이하, 포스 터치라 함)하는 입력, 터치 스크린의 일부 영역을 터치 한 후 끌기(이하, 드래그라 함)하는 입력을 포함할 수 있으나, 이에 제한되는 것은 아니다.
도 1을 참조하면, 전자 장치(10)는 인공지능 모델(19)을 이용하여 사용자의 입력의 유형을 식별할 수 있다. 예를 들면, 전자 장치(10)는 터치 스크린을 통해서 수신된 사용자 입력을 인공지능 모델(19)을 이용하여 일반 터치, 롱 터치, 포스 터치 및 드래그와 같은 유형으로 식별할 수 있다. 또한, 전자 장치(10)는 인공지능 모델(19)을 이용하여, 사용자 입력이 롱 터치 후 드래그 또는 포스 터치 후 드래그와 같은 유형으로 식별할 수 있다. 일 실시예에 따르면, 전자 장치(10)는 사용자 맞춤형 인공지능 모델을 이용하여 사용자로부터 수신한 입력의 유형을 식별할 수 있다.
도 1을 참조하면, 전자 장치(10)는 식별한 사용자 입력의 유형에 대응하는 동작을 수행할 수 있다.
예를 들면, 전자 장치(10)는 일반 터치에 대응하여 터치가 입력된 영역에 대응하는 오브젝트를 선택하는 동작을 수행할 수 있다.
다른 예를 들면, 전자 장치(10)는 롱 터치에 대응하여 터치가 입력된 영역에 위치된 오브젝트에 대한 추가 동작을 수행하기 위한 팝업 화면을 디스플레이하는 동작을 수행할 수 있다.
다른 예를 들면, 전자 장치(10)는 포스 터치로 식별된 사용자 입력에 대응하여 바로가기 기능을 제공하는 사용자 인터페이스를 제공할 수 있다.
다른 예를 들면, 전자 장치(10)는 드래그로 식별된 사용자 입력에 대응하여 오브젝트의 위치를 이동하는 기능을 제공하는 사용자 인터페이스를 제공할 수 있다.
다른 예를 들면, 전자 장치(10)는 포스 터치 후 드래그 입력으로 식별된 사용자 입력에 대응하여, 전자 장치의 소정의 기능을 제어하는 사용자 인터페이스를 제공할 수 있다. 구체적으로, 전자 장치(10)는 포스 터치 후 상하 드래그 입력으로 식별된 사용자 입력에 대응하여 디스플레이의 밝기를 조절하는 사용자 인터페이스를 제공할 수 있다. 전자 장치(10)는 포스 터치 후 좌우 드래그 입력으로 식별된 사용자 입력에 대응하여 출력되는 소리의 세기를 조절하는 사용자 인터페이스를 제공할 수 있다.
전자 장치(10)에 구축된 인공지능 모델(19)은 사용자로부터 수신된 터치 데이터와 유사한 학습 데이터를 학습함으로써 획득된 사용자 맞춤형 인공지능 모델일 수 있다. 전자 장치(10)는 미리 저장된 복수의 학습 데이터 세트들 중에서 터치 데이터와 유사한 학습 데이터 세트를 식별하여 인공지능 모델(19)을 학습시킬 수 있다. 또는, 전자 장치(10)는 서버(20)를 이용하여 인공지능 모델(19)을 학습 시킬 수 있다. 학습되는 인공지능 모델(19)은 초기 설정용 인공지능 모델일 수 있다. 또한, 전자 장치(10)는 인공지능 모델(19)을 이용하여 식별한 사용자의 입력의 유형의 결과에 기초하여, 인공지능 모델(19)을 갱신할 수 있다.
개시된 실시예에 따르면, 전자 장치는 사용자 입력의 유형을 식별함으로써, 사용자가 의도한 전자 장치의 동작을 정확하게 수행할 수 있다. 또한, 전자 장치는 사용자 입력의 유형을 다양하게 식별함으로써, 물리키를 대신하는 사용자 인터페이스를 제공할 수 있다. 또한, 전자 장치는 종래의 포스 터치를 식별하는 센서(이하, 포스 터치 센서)를 포함하지 않아도 포스 터치를 식별할 수 있다. 포스 터치 센서는 전자 장치의 두께 및 무게를 증가 시키므로, 개시된 실시예의 전자 장치는 종래의 전자 장치보다 얇고 가볍게 제작될 수 있다.
도 2는 일 실시예에 따른, 전자 장치가 인공지능 모델을 이용하여 사용자 입력에 대응하는 동작을 수행하는 방법의 순서도이다.
단계 S210을 참조하면, 전자 장치(10)는 사용자로부터 터치 입력을 수신할 수 있다.
전자 장치(10)는 터치 스크린을 통해서 사용자의 터치 입력이 수신된 영역에 관한 터치 데이터를 소정의 시간 간격으로 획득할 수 있다. 터치 데이터는 전자 장치(10)의 터치 스크린을 통해서 사용자의 터치 입력이 수신된 시간 및 영역을 나타내는 데이터를 의미한다.
또한, 전자 장치(10)는 터치 데이터를 획득하는 동안, 사용자의 터치 입력에 의해서 발생되는 전자 장치(10)의 내부의 기압의 변화에 관한 기압 데이터를 획득할 수 있다.
전자 장치(10)는 인터페이스를 이용해서 사용자의 터치 데이터를 획득할 수 있다.
예를 들면, 전자 장치(10)는 사용자의 개인 정보(예를 들면, 사용자의 나이, 성별 등)에 대한 사용자의 입력을 수신하는 인터페이스를 통해서 사용자의 터치 데이터를 획득할 수 있다.
다른 예를 들면, 전자 장치(10)는 초기 설정을 위한 사용자 입력을 수신하는 인터페이스를 통해서 사용자의 터치 데이터를 획득할 수 있다. 전자 장치(10)는 사용자에게 일반 터치, 롱 터치, 포스 터치, 드래그와 같은 터치 입력을 요청하는 인터페이스를 통해서 일반 터치, 롱 터치, 포스 터치, 드래그에 대한 터치 데이터를 획득할 수 있다.
구체적으로, 전자 장치(10)는 터치 스크린 상의 소정의 위치에 대해서 사용자에게 일반 터치, 롱 터치, 포스 터치, 드래그와 같은 터치 입력을 요청하는 인터페이스를 디스플레이할 수 있다. 전자 장치(10)는 터치 스크린 상의 소정의 위치에 디스플레이된 원형의 인디케이터를 일반 터치, 롱 터치, 포스 터치 및 드래그할 것을 요청하는 문자를 디스플레이하거나 음성을 출력할 수 있다. 전자 장치(10)는 사용자의 터치 입력에 대한 가이드(예를 들면, 터치 입력을 하는 손가락을 지정하는 가이드, 터치 입력을 하는 손가락의 부위를 지정하는 가이드)를 문자로 디스플레이 하거나 음성을 출력할 수 있다. 전자 장치(10)는 사용자로부터 터치 입력의 수신 정도에 대응하는 피드백(예를 들면, 음성을 출력하는 피드백, 진동을 출력하는 피드백, 인디케이터의 색을 변경하는 피드백)을 출력할 수 있다. 전자 장치(10)는 수신되는 터치 입력의 유형에 대응하는 컬러(예를 들면, 일반 터치는 파란색, 롱 터치는 노란색, 포스 터치는 빨간색)로 인디케이터의 색을 출력할 수 있다. 전자 장치(10)는 획득된 터치 데이터를 메모리에 저장할 수 있다. 전자 장치(10)는 사용자로부터 수신한 터치 데이터를 사용자에게 요청한 터치 입력의 유형과 함께 저장할 수 있다. 또는 전자 장치(10)는 획득된 터치 데이터를 서버(20)로 전송할 수 있다. 전자 장치(10)는 사용자로부터 수신한 터치 데이터를 사용자에게 요청한 터치 입력의 유형과 함께 서버(20)로 전송할 수 있다.
단계 S220을 참조하면, 전자 장치(10)는 사용자의 입력 데이터와 유사한 학습 데이터를 식별 할 수 있다. 전자 장치(10)는 미리 저장된 복수의 학습 데이터 세트들 중에서 터치 데이터와 유사한 제1 학습 데이터 세트를 식별할 수 있다. 학습 데이터 세트는 사용자 입력의 유형을 식별하는 사용자 맞춤형 인공지능 모델을 획득하기 위해서, 소정의 기준에 따라서 유사하다고 분류된 터치 데이터 및/또는 기상 데이터들의 그룹을 의미한다. 일 실시예에 따르면, 미리 저장된 복수의 학습 데이터는 사용자의 나이, 성별, 손가락의 크기, 특징 벡터 중에서 적어도 하나에 기초하여 분류된 것일 수 있다. 전자 장치(10)는 사용자로부터 수신한 사용자의 나이, 성별과 같은 개인 정보에 기초하여, 사용자의 입력 데이터와 유사한 학습 데이터를 선택할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 인공지능 모델을 이용하여 터치 데이터와 미리 저장된 복수의 학습 데이터 세트들의 각각에 포함된 터치 데이터를 비교함으로써, 제1 학습 데이터 세트를 식별할 수 있다. 이 경우, 인공지능 모델은 초기 설정용 인공지능 모델일 수 있다. 초기 설정용 인공지능 모델은 사용자 입력의 유형 및 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별하도록, 미리 저장된 복수의 학습 데이터 세트들을 학습한 범용 인공지능 모델일 수 있다.
예를 들면, 전자 장치(10)는 인공지능 모델을 이용하여 사용자 입력이 수신된 영역을 나타내는 터치 영역 이미지와 학습 데이터에 포함된 터치 영역 이미지를 비교함으로써, 사용자의 입력 데이터와 유사한 학습 데이터를 식별할 수 있다.
다른 예를 들면, 전자 장치(10)는 터치 데이터에 포함된 터치 입력이 수신된 영역의 면적과 복수의 학습 데이터 세트들의 각각에 포함된 터치 입력이 수신된 영역의 면적을 비교한 결과에 기초하여, 제1 학습 데이터 세트를 식별할 수 있다.
다른 예를 들면, 전자 장치(10)는 터치 데이터가 획득된 터치 입력이 수신된 시간과 복수의 학습 데이터 세트들의 각각에 포함된 터치 입력이 수신된 시간을 비교한 결과에 기초하여, 제1 학습 데이터 세트를 식별할 수 있다.
다른 예를 들면, 전자 장치(10)는 인공지능 모델에 터치 데이터를 이용하여 획득한 특징 데이터와 복수의 학습 데이터 세트들의 각각의 특징 데이터를 비교한 결과에 기초하여 제1 학습 데이터 세트를 식별할 수 있다. 이 경우, 특징 데이터는 터치 데이터의 특징 맵, 터치 데이터의 특징 벡터 및 터치 데이터의 유형에 해당할 확률 값을 포함할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터와 함께 기압 데이터를 이용하여 제1 식별 데이터 세트를 식별할 수 있다. 전자 장치(10)는 적어도 하나의 인공지능 모델에 터치 데이터 및 기압 데이터를 적용함으로써 획득한 적어도 하나의 특징 데이터와 복수의 학습 데이터 세트들의 각각의 특징 데이터를 비교한 결과에 기초하여, 제1 학습 데이터 세트를 식별할 수 있다. 이 경우, 특징 데이터는 터치 데이터의 특징 맵, 터치 데이터의 특징 벡터 및 터치 데이터의 유형에 해당할 확률 값을 포함할 수 있다.
예를 들면, 전자 장치(10)는 하나의 인공지능 모델에 터치 데이터 및 기압 데이터를 적용함으로써, 획득한 제1 특징 벡터와 복수의 학습 데이터 세트들의 각각의 제2 특징 벡터를 비교한 결과에 기초하여, 제1 학습 데이터 세트를 식별할 수 있다.
다른 예를 들면, 전자 장치(10)는 터치 데이터 및 기압 데이터의 각각을 별도의 인공지능 모델에 적용하여 획득한 특징 벡터들을 복수의 학습 데이터 세트들의 각각의 특징 벡터와 비교한 결과에 기초하여, 제1 학습 데이터 세트를 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 서버(20)를 이용하여 제1 학습 데이터 세트를 식별할 수 있다. 전자 장치(10)는 서버(20)에 저장된 복수의 학습 데이터 세트들 중에서 제1 학습 데이터 세트를 선택하도록 서버(20)에게 요청할 수 있다. 서버(20)는 전자 장치(10)의 요청에 따라서, 복수의 학습 데이터 세트들 중에서 제1 학습 데이터 세트를 선택할 수 있다. 이 경우, 위에 기재된 제1 학습 데이터 세트를 식별하는 방법이 유추 적용될 수 있으므로, 중복되는 내용은 생략한다. 전자 장치(10)는 서버(20)가 식별한 제1 학습 데이터 세트에 관한 정보를 수신함으로써, 제1 학습 데이터 세트를 식별할 수 있다. 제1 학습 데이터 세트에 관한 정보는 복수의 학습 데이터들 중에서 제1 학습 데이터 세트를 나타내는 식별 정보를 포함할 수 있다. 또한, 제1 학습 데이터 세트에 관한 정보는 제1 학습 데이터 세트를 구성하는 데이터를 포함할 수 있다.
예를 들면, 전자 장치(10)는 터치 데이터 및 터치 데이터의 제1 특징 벡터 중에서 적어도 하나를 서버(20)로 전송할 수 있다. 전자 장치(10)는 서버(20)가 터치 데이터 및 제1 특징 벡터 중에서 적어도 하나를 이용하여 식별한 제1 학습 데이터 세트에 관한 정보(예를 들면, 제1 학습 데이터 세트의 식별 정보)를 서버(20)로부터 수신함으로써, 제1 학습 데이터 세트를 식별할 수 있다.
또한, 전자 장치(10)는 서버(20)로부터 제1 학습 데이터 세트를 구성하는 데이터를 수신함으로써, 제1 학습 데이터 세트를 식별할 수 있다.
단계 S230을 참조하면, 전자 장치(10)는 식별된 학습 데이터 세트를 이용하여 적어도 하나의 인공지능 모델을 학습시킴으로써, 사용자 맞춤형 인공지능 모델을 획득할 수 있다. 전자 장치(10)는 전자 장치(10)의 메모리로부터 리드아웃(readout)된 학습 데이터 세트를 이용하여 인공지능 모델을 학습시킬 수 있다. 또는, 전자 장치(10)는 서버(20)로부터 수신한 학습 데이터 세트를 이용하여 인공지능 모델을 학습 시킬 수 잇다.
일 실시예에 따르면, 전자 장치(10)는 학습 데이터를 학습한 적 없는 인공지능 모델에게 단계 S220에서 식별된 학습 데이터 세트를 학습시킬 수 있다.
일 실시예에 따르면, 전자 장치(10)는 초기 설정용 인공지능 모델에게 단계 S220에서 식별된 학습 데이터 세트를 학습 시킬 수 있다. 초기 설정용 인공지능 모델은 복수의 학습 데이터 세트들을 중에서 적어도 일부를 학습한 범용 인공지능 모델일 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터 및 기압 데이터에 대한 학습 데이터가 포함된 학습 데이터 세트로 하나의 인공지능 모델을 학습시킴으로써, 하나의 사용자 맞춤형 인공지능 모델을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터에 대한 학습 데이터와 기압 데이터에 대한 학습 데이터의 각각으로 별도의 인공지능 모델을 학습시킴으로써, 둘 이상의 사용자 맞춤형 인공지능 모델을 획득할 수 있다. 구체적으로, 전자 장치(10)는 제1 학습 데이터 세트에 포함된 터치 데이터에 대한 제1 학습 데이터로 제1 인공지능 모델을 학습시키고, 전자 장치(10)는 제1 학습 데이터 세트에 포함된 기압 데이터에 대한 제2 학습 데이터로 제2 인공지능 모델을 학습시킴으로써, 제1 사용자 맞춤형 인공지능 모델 및 제2 사용자 맞춤형 인공지능 모델을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 서버(20)가 학습 시킨 인공지능 모델을 수신하고, 전자 장치(10)내에 구축(build)된 인공지능 모델을 수신된 인공지능 모델로 대체(replace)함으로써, 사용자 맞춤용 인공지능 모델을 획득할 수 있다. 또는, 전자 장치(10)는 서버(20)가 학습 시킨 인공지능 모델의 파라미터를 수신하고, 수신된 파라미터를 이용하여 전자 장치(10)내에 구축(build)된 인공지능 모델을 갱신함으로써, 사용자 맞춤용 인공지능 모델을 획득할 수 있다. 서버(20)가 인공지능 모델을 학습시키는 방법은 위에 기재된 전자 장치(10)가 인공지능 모델을 학습시키는 방법이 유추 적용될 수 있으므로, 중복되는 내용은 생략한다.
일 실시예에 따르면, 전자 장치(10)는 복수의 학습 데이터 세트들의 각각에 대응하는 복수의 인공지능 모델들 중에서 제1 학습 데이터 세트에 대응하는 제1 인공지능 모델을 식별할 수 있다. 복수의 인공지능 모델들의 각각은 복수의 인공지능 모델들의 각각에 대응하는 학습 데이터 세트를 미리 학습한 것일 수 있다. 복수의 인공지능 모델들은 전자 장치(10)의 메모리에 저장되거나, 서버(20)의 DB에 저장된 것일 수 있다. 전자 장치(10)는 전자 장치(10)내에 구축된 인공지능 모델을 제1 인공지능 모델로 대체(replace)함으로써, 사용자 맞춤형 인공지능 모델을 획득할 수 있다. 예를 들면, 전자 장치(10)는 제1 인공지능 모델을 메모리로부터 리드아웃(readout)함으로써 전자 장치(10)내에 구축된 인공지능 모델을 대체할 수 있다. 다른 예를 들면, 전자 장치(10)는 서버(20)로부터 수신한 제1 인공지능 모델로 전자 장치(10)내에 구축된 인공지능 모델을 대체할 수 있다.
단계 S240을 참조하면, 전자 장치(10)는 사용자 입력을 수신할 수 있다.
전자 장치(10)는 소정의 동작을 수행하기 위한 일반 터치, 롱 터치, 포스 터치 및 드래그와 같은 사용자 입력을 터치 스크린을 통해서 수신할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 스크린을 통해서 사용자의 터치 입력이 수신된 영역에 관한 터치 데이터를 소정의 시간 간격으로 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터를 획득하는 동안, 사용자의 터치 입력에 의해서 발생되는 전자 장치(10)의 내부의 기압의 변화에 관한 기압 데이터를 획득할 수 있다.
단계 S250을 참조하면, 전자 장치(10)는 학습된 인공지능 모델을 이용하여 수신된 사용자 입력을 식별할 수 있다.
전자 장치(10)는 단계 S240에서 수신한 사용자 입력을 단계 S230에서 학습된 인공지능 모델에 적용함으로써, 사용자 입력의 유형을 식별할 수 있다. 예를 들면, 전자 장치(10)는 터치 스크린을 통해서 수신된 사용자 입력을 인공지능 모델(19)을 이용하여 일반 터치, 롱 터치, 포스 터치 및 드래그와 같은 유형으로 식별할 수 있다
일 실시예에 따르면, 전자 장치(10)는 사용자 입력으로부터 획득한 터치 데이터 및 기압 데이터를 인공지능 모델에 적용함으로써, 사용자 입력의 유형을 식별할 수 있다. 예를 들면, 전자 장치(10)는 터치 데이터 및 기압 데이터 중에서 적어도 하나를 인공지능 모델에 적용함으로써 사용자 입력이 소정의 유형에 해당할 확률 값을 획득하고, 획득된 확률 값에 기초하여 사용자 입력의 유형을 식별할 수 있다. 구체적으로, 전자 장치(10)는 인공지능 모델을 이용하여 사용자 입력이 일반 터치, 롱 터치, 포스 터치 및 드래그의 각각에 해당할 확률 값을 획득하고, 획득된 확률 값들 중에서 가장 높은 값에 대응하는 사용자 입력의 유형을 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 하나의 인공지능 모델에 사용자 입력으로부터 터치 데이터 및 기압 데이터를 적용함으로써, 획득한 확률 값을 이용하여 사용자 입력의 유형을 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터 및 기압 데이터의 각각을 별도의 인공지능 모델에 적용하여 획득한 확률 값들에 가중치 값을 적용함으로써 사용자 입력의 유형을 식별할 수 있다. 예를 들면, 전자 장치(10)는 터치 데이터를 제1 인공지능 모델에게 적용함으로써 획득한 제1 확률 값과 기압 데이터를 제2 인공지능 모델에게 적용함으로써 획득한 제2 확률 값의 각각에 가중치 값을 적용할 수 있다. 전자 장치(10)는 가중치 값이 적용된 제1 확률 값과 제2 확률 값 중에서 높은 값에 대응하는 사용자 입력의 유형을 식별할 수 있다.
단계 S260을 참조하면, 전자 장치(10)는 단계 S250에서 식별된 사용자 입력의 유형에 대응하는 동작을 수행할 수 있다. 전자 장치(10)는 단계 S240에서 사용자의 터치 입력이 수신된 영역과 단계 250에서 식별된 사용자 입력의 유형에 기초하여, 사용자 입력의 유형에 대응하는 동작이 실행되는 사용자 인터페이스를 제공할 수 있다.
예를 들면, 전자 장치(10)는 사용자 입력이 일반 터치로 식별한 결과에 대응하여 터치 스크린을 통해서 터치가 입력된 영역에 대응하는 오브젝트를 선택하는 동작을 수행할 수 있다.
다른 예를 들면, 전자 장치(10)는 사용자 입력이 롱 터치로 식별된 결과에 대응하여 터치가 입력된 영역에 위치된 오브젝트에 대한 추가 동작을 수행하기 위한 팝업 화면을 디스플레이하는 동작을 수행할 수 있다. 다른 예를 들면, 전자 장치(10)는 사용자 입력이 포스 터치로 식별된 결과에 대응하여 바로가기 기능을 제공하는 동작을 수행할 수 있다. 구체적으로, 전자 장치(10)는 전자 장치(10)에 디스플레이된 어플리케이션 아이콘에 대해서 입력된 사용자 입력이 포스 터치로 식별된 경우, 어플리케이션이 사용하는 메모리 용량과 같은 상세 정보를 표시하는 페이지로 바로 가기하는 동작을 수행할 수 있다.
다른 예를 들면, 전자 장치(10)는 사용자 입력이 포스 터치로 식별된 결과에 대응하여 전자 장치(10)의 터치 스크린 상에 디스플레이된 컨텐츠를 변경하는 사용자 인터페이스를 제공할 수 있다. 구체적으로, 전자 장치(10)는 인터넷 브라우저 어플리케이션이 디스플레이된 터치 스크린의 하단에 포스 터치가 입력되었다고 식별한 결과에 대응하여, 터치 스크린 상에 디스플레이된 컨텐츠가 위로 이동되도록 사용자 인터페이스를 제공할 수 있다. 또는, 전자 장치(10)는 갤러리 어플리케이션을 통해서 제1 폴더에 포함된 사진이 디스플레이된 터치 스크린의 우측에 포스 터치가 입력되었다고 식별한 결과에 대응하여, 제2 폴더에 포함된 사진이 디스플레이되도록 사용자 인터페이스를 제공할 수 있다.
다른 예를 들면, 전자 장치(10)는 사용자 입력이 포스 터치 후 끌기 입력으로 식별된 결과에 대응하여 전자 장치(10)의 하드웨어 기능을 제어하는 동작을 수행할 수 있다.
도 3은 일 실시예에 따른, 전자 장치가 사용자 입력으로부터 터치 데이터 및 기압 데이터 중에서 적어도 하나를 획득하는 방법을 설명하는 도면이다.
도 3을 참조하면, 전자 장치(10)는 터치 스크린을 통해서 사용자(1)로부터 터치 입력을 수신할 수 있다. 전자 장치(10)는 사용자(1)로부터 터치 입력을 수신하는 동안 터치 데이터(310) 및 기압 데이터(320) 중에서 적어도 하나를 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 스크린을 통해서 사용자의 터치 입력이 수신된 영역(300)에 관한 터치 데이터(310)를 소정의 시간 간격으로 획득할 수 있다. 예를 들면, 전자 장치(10)는 터치 스크린을 MxN의 영역으로 분할(segmentation)하고, 분할된 영역들의 각각을 소정의 시간 간격(Tms, 1/T Hz)으로 스캔함으로써, X개의 프레임의 터치 데이터(310)를 획득할 수 있다. 전자 장치(10)는 사용자의 손가락에 흐르는 미세 전류 또는 사용자의 입력이 수신되는 영역에 대응하는 전극의 전기장을 측정하고, 측정된 미세 전류 또는 전기장 값을 0 내지 1 사이의 실수값이 되도록 정규화 함으로써, 분할된 영역들의 각각으로부터 터치 데이터(310)를 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 소정의 개수의 터치 데이터(310)들을 하나의 세트로 그룹화 할 수 있다. 예를 들면, 전자 장치(10)는 MxN 영역으로 분할되어 Tms 마다 획득된 X개의 프레임의 터치 데이터(310)를 하나의 세트로 그룹화 할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터(310)를 획득하는 동안, 사용자의 터치 입력에 의해서 발생되는 전자 장치(10)의 내부의 기압의 변화에 관한 기압 데이터(320)를 획득할 수 있다. 전자 장치(10)는 방수 기능을 지원하기 위해서 내부가 밀폐될 수 있다. 따라서, 전자 장치(10)는 기압 센서를 이용하여 전자 장치(10)를 누르는 사용자의 터치 입력에 의해서 변화되는 전자 장치(10)의 내부의 기압을 소정의 시간 간격으로 측정함으로써, 기압 데이터(320)를 획득할 수 있다. 전자 장치(10)는 터치 데이터(310)를 획득하는 시간마다 기압 데이터(320)를 획득할 수 있다. 전자 장치(10)는 하나의 세트로 그룹화된 터치 데이터(310)들의 각각에 대응하는 기압 데이터(320)들을 하나의 세트로 그룹화 할 수 있다. 예를 들면, 전자 장치(10)는 Tms 마다 획득된 X개의 프레임의 터치 데이터(310)들의 각각에 대응하는 기압 데이터(320)들을 하나의 세트로 그룹화 할 수 있다.
전자 장치(10)는 획득한 터치 데이터 및 기압 데이터를 전자 장치(10)의 메모리에 저장할 수 있다. 또한, 전자 장치(10)는 터치 데이터 및 기압 데이터를 서버(20)로 전송할 수 있다.
도 4는 일 실시예에 따른, 전자 장치가 터치 데이터 및 기압 데이터 중에서 적어도 하나를 인공지능 모델에 적용하는 방법을 설명하는 도면이다.
도 4를 참조하면, 전자 장치(10)는 사용자 입력을 수신한 터치 스크린으로부터 획득한 터치 데이터(410) 및 기압 데이터(420) 중에서 적어도 하나를 인공지능 모델(19)로 적용할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 터치 데이터(410) 및 기압 데이터(420) 중에서 적어도 하나에 기초하여, 사용자 입력과 유사한 학습 데이터 세트를 식별하도록 학습된 초기 설정용 인공지능 모델을 포함할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 복수의 학습 데이터 세트들을 중에서 적어도 일부를 학습함으로써, 사용자 입력의 유형을 식별하도록 학습된 범용 인공지능 모델일 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 컨볼루션 레이어를 통해서 입력된 데이터로부터 특징 데이터를 획득하도록 학습된 인공지능 모델을 포함할 수 있다.
전자 장치(10)는 입력된 터치 데이터(410) 및 기압 데이터(420)에 대해서 컨볼루션 레이어에 적용되는 형식의 데이터로 변환하는 전처리를 수행할 수 있다. 전자 장치(10)는 전처리된 터치 데이터 및 기압 데이터를 전자 장치(10)의 메모리에 저장할 수 있다. 전자 장치(10)는 전처리된 터치 데이터 및 기압 데이터를 서버(20)로 전송할 수 있다. 전자 장치(10)는 전처리된 터치 데이터 및 기압 데이터를 인공지능 모델(19)에 입력할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 하나의 인공지능 모델에게 터치 데이터(410) 및 기압 데이터(420)를 적용할 수 있다. 예를 들면, 전자 장치(10)는 터치 데이터(410) 및 기압 데이터(420)를 제1 인공지능 모델에게 적용할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터(410)와 기압 데이터(420)의 각각을 별도의 인공지능 모델에 적용할 수 있다. 예를 들면, 전자 장치(10)는 터치 데이터(410)를 제1 인공지능 모델에게 적용하고, 기압 데이터(420)를 제2 인공지능 모델에게 적용할 수 있다.
도 5는 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 터치 데이터로부터 특징 데이터를 획득하는 방법을 설명하는 도면이다.
도 5를 참조하면, 전자 장치(10)는 인공지능 모델(19)에 터치 데이터(510)를 적용함으로써, 인공지능 모델(19)로부터 터치 데이터(510)의 특징 데이터(530)를 획득할 수 있다. 예를 들면, 전자 장치(10)는 인공지능 모델(19)로부터 출력되는 터치 데이터(510)의 특징 맵(531), 터치 데이터(510)의 특징 벡터(532) 및 터치 데이터(530)가 터치 입력의 유형들의 각각에 해당할 확률 값(533)을 획득할 수 있다. 인공지능 모델(19)은 터치 데이터(510)의 특징 데이터(530)를 획득하도록 미리 학습 된 특징 추출 모델을 포함할 수 있다. 특징 추출 모델은 도 10의 학습 데이터를 식별하기 위한 인공지능 모델 및 도 11의 사용자 입력의 유형을 식별하기 위한 인공지능 모델과는 별도로 생성된 인공지능 모델일 수 있다. 특징 추출 모델은 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별하기 위해 도 10의 학습 데이터를 식별하기 위한 인공지능 모델과 데이터 교환이 가능하다. 또한, 특징 추출 모델은 사용자 입력에 대응하는 동작을 수행하기 위해 도 11의 사용자 입력의 유형을 식별하기 위한 인공지능 모델과 데이터 교환이 가능하다.
일 실시예에 따르면, 인공지능 모델(19)은 터치 데이터(510)를 컨볼루션 레이어들(Convolutional layers)로 구성할 수 있다. 인공지능 모델(19)은 컨볼루션 레이어들로부터 터치 데이터(510)의 특징 맵(531)을 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 특징 맵(531)을 벡터화(vectorize) 또는 풀링(Pooliing) 함으로써, 특징 맵(531)으로부터 특징 벡터(532)를 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 특징 벡터(532)를 Fully Connected 함으로써, 사용자의 터치 입력이 터치 입력의 유형들의 각각에 해당할 확률 값(533)을 획득할 수 있다. 예를 들면, 인공지능 모델(19)은 사용자의 터치 입력이 일반 터치, 롱 터치, 포스 터치, 드래그와 같은 터치 입력의 유형들의 각각에 해당할 확률 값(533)을 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 터치 데이터(510)의 특징 데이터(530)를 전자 장치(10)로 출력할 수 있다. 예를 들면, 인공지능 모델(19)은 특징 데이터(530)로서 터치 데이터(510)의 특징 맵(531), 터치 데이터(510)의 특징 벡터(532) 및 터치 데이터(530)가 터치 입력의 유형들의 각각에 해당할 확률 값(533) 중에서 적어도 하나를 전자 장치(10)로 출력할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 인공지능 모델(19)로부터 출력된 특징 데이터(530)를 메모리에 저장할 수 있다
일 실시예에 따르면, 전자 장치(10)는 인공지능 모델(19)로부터 출력된 특징 데이터(530)를 서버(20)로 전송할 수 있다.
도 6은 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 터치 데이터를 전처리 하는 방법을 설명하는 도면이다.
도 6을 참조하면, 전자 장치(10)는 터치 데이터(610)에 대해서 전처리를 수행하고 인공지능 모델(19)에 적용할 수 있다. 예를 들면, 전자 장치(10)는 인공지능 모델(19)의 컨볼루션 레이어에 적용되는 형식에 맞도록 터치 데이터(610)에 대해서 전처리를 수행할 수 있다. 전자 장치(10)에 의해서 수행하는 전처리는 전자 장치(10)가 터치 데이터(610)를 인공지능 모델(19)에 적용함으로써 수행될 수 있다.
일 실시예에 따르면, 전자 장치(10)는 소정의 시간에 기초하여 터치 데이터(610)를 분할함으로써, 터치 데이터 세트를 획득할 수 있다. 이 경우, 획득되는 터치 데이터 세트는 한가지 유형의 사용자 입력에 대한 터치 데이터가 포함된 것일 수 있다. 전자 장치(10)는 터치 입력들 사이에 터치 입력이 수신되지 않은 시각을 기준으로, 터치 데이터(610)를 분할할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터(610)에 대해서 전처리를 수행한 결과로 터치 스크린 상에 사용자의 터치 입력이 수신된 영역을 나타내는 터치 영역 이미지를 획득할 수 있다. 전자 장치(10)는 소정의 시간으로 분할된 터치 데이터 세트들의 각각에 대응하는 터치 영역 이미지 세트(611)를 전처리를 수행한 결과로서 획득할 수 있다. 전자 장치(10)는 터치 영역 이미지 세트(611)를 인공지능 모델(19)에 적용할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터(610)에 대해서 전처리를 수행한 결과로 터치 데이터(610)에 대응하는 행렬을 획득할 수 있다. 예를 들면, 전자 장치(10)는 터치 데이터(610)에게 사용자의 터치 입력이 수신된 영역에 1을 터치 입력이 수신되지 않은 영역에 0을 적용함으로써, 터치 데이터(610)에 대응하는 행렬을 획득할 수 있다. 또는, 전자 장치(10)는 사용자의 터치 입력에 따라서 측정된 미세 전류 또는 전기장 값이 정규화 된 0 내지 1 사이의 실수값을 갖는 영역들의 각각을 행렬의 엘리먼트로 변환함으로써, 터치 데이터(610)에 대응하는 행렬을 획득할 수 있다. 이 경우, 전자 장치(10)는 MxN 영역으로 분할된 터치 데이터(610)로부터 MxN 행렬을 획득할 수 있다. 전자 장치는 터치 데이터 세트들의 각각에 대응하는 행렬들(613)을 전처리를 수행한 결과로서 획득할 수 있다. 전자 장치(10)는 행렬들(613)을 인공지능 모델(19)에 적용할 수 있다.
도 7은 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 기압 데이터로부터 특징 데이터를 획득하는 방법을 설명하는 도면이다.
도 7을 참조하면, 전자 장치(10)는 인공지능 모델(19)에 기압 데이터(720)를 적용함으로써, 인공지능 모델(19)로부터 기압 데이터(720)의 특징 데이터(730)를 획득할 수 있다. 예를 들면, 전자 장치(10)는 인공지능 모델(19)로부터 출력되는 기압 데이터(720)의 특징 맵(731), 기압 데이터(720)의 특징 벡터(732) 및 기압 데이터(730)가 터치 입력의 유형들의 각각에 해당할 확률 값(733)을 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 기압 데이터(720)를 컨볼루션 레이어들(Convolutional layers)로 구성할 수 있다. 인공지능 모델(19)은 컨볼루션 레이어들로부터 기압 데이터(720)의 특징 맵(731)을 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 특징 맵(731)을 벡터화(vectorize) 또는 풀링(Pooliing) 함으로써, 특징 맵(731)으로부터 특징 벡터(732)를 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 특징 벡터(732)를 Fully Connected 함으로써, 사용자의 터치 입력이 터치 입력의 유형들의 각각에 해당할 확률 값(733)을 획득할 수 있다. 예를 들면, 인공지능 모델(19)은 사용자의 터치 입력이 일반 터치, 롱 터치, 포스 터치, 드래그와 같은 터치 입력의 유형들의 각각에 해당할 확률 값(733)을 획득할 수 있다.
일 실시예에 따르면, 인공지능 모델(19)은 기압 데이터(720)의 특징 데이터(730)를 전자 장치(10)로 출력할 수 있다. 예를 들면, 인공지능 모델(19)은 특징 데이터(730)로서 기압 데이터(720)의 특징 맵(731), 기압 데이터(720)의 특징 벡터(732) 및 기압 데이터(730)가 터치 입력의 유형들의 각각에 해당할 확률 값(733) 중에서 적어도 하나를 전자 장치(10)로 출력할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 인공지능 모델(19)로부터 출력된 특징 데이터(730)를 메모리에 저장할 수 있다
일 실시예에 따르면, 전자 장치(10)는 인공지능 모델(19)로부터 출력된 특징 데이터(730)를 서버(20)로 전송할 수 있다.
도 8 및 도 9는 일 실시예에 따른, 전자 장치가 인공지능 모델에 적용되는 기압 데이터를 전처리 하는 방법을 설명하는 도면이다.
도 8 및 도 9를 참조하면, 전자 장치(10)는 기압 데이터(820, 920)에 대해서 전처리를 수행하고 인공지능 모델(19)에 적용할 수 있다. 예를 들면, 전자 장치(10)는 인공지능 모델(19)의 컨볼루션 레이어에 적용되는 형식에 맞도록 기압 데이터(820, 920)에 대해서 전처리를 수행할 수 있다. 전자 장치(10)에 의해서 수행하는 전처리는 전자 장치(10)가 기압 데이터(820, 920)를 인공지능 모델(19)에 적용함으로써 수행될 수 있다.
도 8을 참조하면, 전자 장치(10)는 기압 데이터(820)에 전처리를 수행함으로써, 기압 데이터(820)에 대응하는 행렬(850)들을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 기압 데이터(820)로부터 소정 시간의 전자 장치(10)의 내부의 기압 값의 변동 값을 획득할 수 있다. 예를 들면, 전자 장치(10)는 제1 시각의 기압 값(831)과 제2 시각의 기압 값(832)의 차이 값을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 전자 장치(10)의 내부의 기압의 변동 값으로부터 행렬(850)을 획득할 수 있다. 예를 들면, 전자 장치(10)는 제2 시각의 기압 값(832)과 제1 시각의 기압 값(831)의 차이 값을 갖는, 제2 시각에 대응하는 행렬을 획득할 수 있다. 또한, 전자 장치(10)는 0의 값을 갖는, 제1 시각에 대응하는 행렬을 획득할 수 있다.
도 9를 참조하면, 전자 장치(10)는 기압 데이터(920)에 전처리를 수행함으로써, 행렬(950)들을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 기압 데이터(920)로부터 소정 시간의 전자 장치(10)의 내부의 기압의 변동 값을 획득할 수 있다. 예를 들면, 전자 장치(10)는 터치 입력이 수신된 시각의 기압 값과 터치 입력이 수신되지 않은 시각의 기압 값의 차이 값을 획득할 수 있다. 구체적으로, 전자 장치(10)는 터치 입력이 수신되지 않은 제1 시각의 기압 값(931)과 터치 입력이 수신된 제2 시각의 기압 값(932)의 차이 값을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 전자 장치(10)의 내부의 기압의 변동 값으로부터 행렬(950)을 획득할 수 있다. 예를 들면, 전자 장치(10)는 터치 입력이 수신된 시각의 기압 값과 터치 입력이 수신되지 않은 시각의 기압 값의 차이 값을 갖는 행렬(950)을 획득할 수 있다. 구체적으로, 전자 장치(10)는 터치 입력이 수신되지 않은 제1 시각의 기압 값(931)과 터치 입력이 수신된 제2 시각의 기압 값(932)의 차이 값을 갖는 행렬을 획득할 수 있다.
도 8 및 도 9를 참조하면, 전자 장치(10)는 획득된 행렬(850, 950)들을 인공지능 모델(190)에 적용할 수 있다.
도 10은 일 실시예에 따른, 전자 장치 또는 서버 중에서 하나가 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별하고, 식별된 학습 데이터를 이용하여 인공지능 모델을 학습하는 방법을 설명하는 도면이다.
전자 장치(10)는 사용자의 입력 데이터(1010)를 획득하고, 메모리(17)에 미리 저장된 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)와 비교함으로써, 입력 데이터(1010)와 유사한 제1 학습 데이터 세트를 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)로부터 선택할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 입력 데이터(1010)에 포함된 터치 데이터(1011)와 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 터치 데이터를 비교함으로써, 터치 데이터(1011)와 유사한 터치 데이터가 포함된 제1 학습 데이터 세트를 선택할 수 있다.
예를 들면, 전자 장치(10)는 입력 데이터(1010)에 포함된 터치 입력의 유형들의 각각에 대응하는 터치 데이터(1011)와 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 터치 입력의 유형들의 각각에 대응하는 터치 데이터를 비교함으로써, 터치 데이터(1011)와 유사한 터치 데이터가 포함된 제1 학습 데이터 세트를 선택할 수 있다. 구체적으로, 전자 장치(10)는 포스 터치로서 입력된 사용자의 터치 데이터와 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 포스 터치에 대한 터치 데이터를 비교함으로서, 제1 학습 데이터 세트를 선택할 수 있다. 또한, 전자 장치(10)는 롱 터치로서 입력된 사용자의 터치 데이터와 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 롱 터치에 대한 터치 데이터를 비교함으로서, 제1 학습 데이터 세트를 선택할 수 있다.
다른 예를 들면, 전자 장치(10)는 터치 데이터(1011)로부터 획득한 터치 영역 이미지와 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 터치 데이터로부터 획득한 터치 영역 이미지를 비교함으로써, 터치 데이터(1011)와 유사한 터치 데이터가 포함된 제1 학습 데이터 세트를 선택할 수 있다. 구체적으로, 전자 장치(10)는 터치 데이터(1011)에 포함된 터치 입력이 수신된 영역의 모양(예를 들면, 테두리)과 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 터치 입력이 수신된 영역의 모양을 비교한 결과에 기초하여, 제1 학습 데이터 세트를 선택할 수 있다.
다른 예를 들면, 전자 장치(10)는 터치 데이터(1011) 에 포함된 터치 입력이 수신된 영역의 면적과 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 터치 입력이 수신된 영역의 면적을 비교한 결과를 비교함으로써, 터치 데이터(1011)와 유사한 터치 데이터가 포함된 제1 학습 데이터 세트를 선택할 수 있다. 이 경우, 전자 장치(10)는 최대 면적들을 비교한 결과에 기초하여 제1 학습 데이터 세트를 선택할 수 있다.
다른 예를 들면, 전자 장치(10)는 터치 데이터(1011)가 획득된 터치 입력이 수신된 시간과 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 터치 입력이 수신된 시간을 비교한 결과에 기초하여, 터치 데이터(1011)와 유사한 터치 데이터가 포함된 제1 학습 데이터 세트를 식별할 수 있다.
다른 예를 들면, 전자 장치(10)는 터치 데이터(1011)의 특징 데이터와 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각의 특징 데이터를 비교한 결과에 기초하여 제1 학습 데이터 세트를 식별할 수 있다. 이 경우, 특징 데이터는 터치 데이터의 특징 맵, 터치 데이터의 특징 벡터 및 터치 데이터의 유형들의 각각에 해당할 확률 값들을 포함할 수 있다.
구체적인 예를 들면, 전자 장치(10)는 터치 데이터(1011)를 인공지능 모델에 적용함으로써, 터치 데이터(1011)의 제1 특징 벡터(1015)를 획득할 수 있다. 전자 장치(10)는 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각의 제2 특징 벡터와 제1 특징 벡터(1015)를 인공지능 모델에 적용함으로써, 제1 특징 벡터(1015)와 제2 특징 벡터들의 연관도(correlation)를 식별할 수 있다. 전자 장치(10)는 제1 특징 벡터(1015)와 가장 연관도가 높은 제2 특징 벡터에 대응하는 제1 학습 데이터 세트를 식별할 수 있다. 또는, 전자 장치(10)는 제1 특징 벡터(1015)의 대표값(예를 들면, 평균값, 중간값, 최빈값)과 제2 특징 벡터들의 각각의 대표값(예를 들면, 평균값, 중간값, 최빈값)을 비교한 결과에 기초하여, 제1 학습 데이터 세트를 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터와 함께 기압 데이터를 이용하여 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d) 중에서 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별할 수 있다.
예를 들면, 전자 장치(10)는 하나의 인공지능 모델에 터치 데이터(1011) 및 기압 데이터(1013)를 적용함으로써 획득한 제1 특징 벡터(1015)와 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각의 제2 특징 벡터를 비교한 결과에 기초하여, 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별할 수 있다.
구체적으로, 전자 장치(10)는 터치 데이터와 기압 데이터를 이어붙여서(concatenate) 인공지능 모델에 적용함으로써 획득한 제1 특징 벡터를 제2 특징 벡터와 비교하거나, 터치 데이터와 기압 데이터를 교대로 배열하여 인공지능 모델에 적용함으로써 획득한 제1 특징 벡터를 제2 특징 벡터와 비교한 결과로서, 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별할 수 있다.
다른 예를 들면, 전자 장치(10)는 터치 데이터(1011) 및 기압 데이터(1013)의 각각을 별도의 인공지능 모델에 적용하여 획득한 특징 벡터들을 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 터치 데이터의 특징 벡터 및 기압 데이터의 특징 벡터와 비교한 결과에 기초하여, 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별할 수 있다.
구체적으로, 전자 장치(10)는 터치 데이터(1011)를 제1 인공지능 모델에 적용함으로써 제1 특징 벡터를 획득할 수 있다. 또한, 전자 장치(10)는 기압 데이터(1013)를 제2 인공지능 모델에 적용함으로써 제3 특징 벡터를 획득할 수 있다. 전자 장치(10)는 제1 특징 벡터를 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 터치 데이터들로부터 획득된 제2 특징 벡터들과 비교함으로써, 제1 특징 벡터와 연관도(correlation)가 가장 높은 제2 특징 벡터에 대응하는 제1 학습 데이터 세트를 식별할 수 있다. 전자 장치(10)는 제3 특징 벡터를 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)의 각각에 포함된 기압 데이터들로부터 획득된 제4 특징 벡터들과 비교함으로써, 제3 특징 벡터와 연관도(correlation)가 가장 높은 제4 특징 벡터에 대응하는 제2 학습 데이터 세트를 식별할 수 있다. 전자 장치는 가중치 값을 이용하여 제1 학습 데이터 세트 및 제2 학습 데이터 세트 중에서 인공지능 모델을 학습하는데 이용될 학습 데이터 세트를 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d) 중에서 사용자의 입력 데이터와 유사한 제1 학습 데이터 세트를 식별할 수 있다. 전자 장치(10)는 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)들의 각각에 대응하는 복수의 인공지능 모델들 중에서 제1 학습 데이터 세트에 대응하는 제1 인공지능 모델을 식별할 수 있다. 복수의 인공지능 모델들의 각각은 다양한 터치 입력의 특성(예를 들면, 나이, 성별, 인종, 체중, 주 사용 손, 주 사용 손가락)을 가진 여러 사용자로부터 수집된 학습 데이터에 기초하여 분류된 복수의 학습 데이터 세트들(1020a, 1020b, 1020c, 1020d)의 각각을 미리 학습한 것일 수 있다.
전자 장치(10)는 사용자의 입력 데이터(1010)를 서버(20)로 전송할 수 있다. 서버(20)는 DB(27)에 미리 저장된 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)와 비교함으로써, 입력 데이터(1010)와 유사한 제1 학습 데이터 세트를 복수의 학습 데이터 세트(1020a, 1020b, 1020c, 1020d)로부터 선택할 수 있다.
서버(20)가 학습 데이터 세트를 식별하는 방법은 전자 장치(10)가 학습 데이터 세트를 식별하는 방법이 유추 적용될 수 있기 때문에, 중복되는 내용은 생략한다. 또한, 서버(20)가 제1 학습 데이터 세트에 대응하는 제1 인공지능 모델을 식별하는 방법은 전자 장치(10)가 제1 인공지능 모델을 식별하는 방법이 유추 적용될 수 있기 때문에, 중복되는 내용은 생략한다.
전자 장치(10)는 사용자의 입력 데이터와 유사한 학습 데이터 세트로 인공지능 모델(19)을 학습 시킬 수 있다.
일 실시예에 따르면, 전자 장치(10)는 학습 데이터를 학습한 적 없는 인공지능 모델에게 사용자의 입력 데이터와 유사한 학습 데이터 세트를 학습시킬 수 있다.
일 실시예에 따르면, 전자 장치(10)는 초기 설정용 인공지능 모델에게 사용자의 입력 데이터와 유사한 학습 데이터 세트를 학습 시킬 수 있다. 초기 설정용 인공지능 모델은 복수의 학습 데이터 세트들을 중에서 적어도 일부를 학습한 범용 인공지능 모델일 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터 및 기압 데이터에 대한 학습 데이터가 포함된 학습 데이터 세트로 하나의 인공지능 모델을 학습시킴으로써, 하나의 사용자 맞춤형 인공지능 모델을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 터치 데이터에 대한 학습 데이터와 기압 데이터에 대한 학습 데이터의 각각으로 별도의 인공지능 모델을 학습시킴으로써, 둘 이상의 사용자 맞춤형 인공지능 모델을 획득할 수 있다. 구체적으로, 전자 장치(10)는 제1 학습 데이터 세트에 포함된 터치 데이터에 대한 제1 학습 데이터로 제1 인공지능 모델을 학습시키고, 전자 장치(10)는 제1 학습 데이터 세트에 포함된 기압 데이터에 대한 제2 학습 데이터로 제2 인공지능 모델을 학습시킴으로써, 제1 사용자 맞춤형 인공지능 모델 및 제2 사용자 맞춤형 인공지능 모델을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 복수의 학습 데이터 세트들의 각각을 미리 학습한 복수의 인공지능 모델들 중에서 제1 학습 데이터 세트에 대응하는 제1 인공지능 모델을 메모리로부터 리드아웃(readout)하고, 리드아웃(readout)된 제1 인공지능 모델로 전자 장치(10)내에 구축된 인공지능 모델을 대체(replace)함으로써, 사용자 맞춤형 인공지능 모델을 획득할 수 있다.
서버(20)는 사용자의 입력 데이터와 유사한 학습 데이터 세트로 인공지능 모델을 학습 시킬 수 있다. 서버(20)가 학습 데이터를 식별하는 방법은 전자 장치(10)가 학습 데이터를 식별하는 방법이 유추 적용될 수 있기 때문에, 중복되는 내용은 생략한다.
전자 장치(10)는 서버(20)가 학습 시킨 인공지능 모델을 수신하고, 전자 장치(10)내에 구축(build)된 인공지능 모델을 수신된 인공지능 모델로 대체(replace)함으로써, 사용자 맞춤용 인공지능 모델을 획득할 수 있다. 또는, 전자 장치(10)는 서버(20)가 학습 시킨 인공지능 모델의 파라미터를 수신하고, 수신된 파라미터를 이용하여 전자 장치(10)내에 구축(build)된 인공지능 모델을 갱신(update)함으로써, 사용자 맞춤용 인공지능 모델을 획득할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 복수의 학습 데이터 세트들의 각각을 미리 학습한 복수의 인공지능 모델들 중에서 제1 학습 데이터 세트에 대응하는 제1 인공지능 모델을 서버(20)로부터 수신하고, 수신된 제1 인공지능 모델로 전자 장치(10)내에 구축된 인공지능 모델을 대체(replace)함으로써, 사용자 맞춤형 인공지능 모델을 획득할 수 있다.
도 11은 일 실시예에 따른, 전자 장치가 인공지능 모델을 이용하여 사용자 입력의 유형을 식별하고, 식별된 유형에 대응하는 동작을 수행하는 방법을 설명하는 도면이다.
도 11을 참조하면, 전자 장치(10)는 사용자(1)로부터 소정의 동작을 수행하기 위한 터치 입력을 수신할 수 있다. 예를 들면, 전자 장치(10)는 터치 스크린을 통해서 터치가 입력된 영역에 대응하는 오브젝트를 선택하는 동작, 터치가 입력된 영역에 위치된 오브젝트에 대한 추가 동작을 수행하기 위한 팝업 화면을 디스플레이하는 동작, 바로가기 기능을 제공하는 동작, 오브젝트의 위치를 이동하는 기능을 제공하는 동작 및 전자 장치(10)의 하드웨어 기능을 제어하는 동작과 같은 소정의 동작을 수행하기 위한 일반 터치, 롱 터치, 포스 터치 및 드래그와 같은 사용자(1)의 터치 입력을 수신할 수 있다.
전자 장치(10)는 사용자(1)로부터 수신한 터치 입력으로부터 터치 데이터(1110) 및 기압 데이터(1120)를 획득할 수 있다. 예를 들면, 전자 장치(10)는 터치 스크린을 통해서 사용자(1)의 터치 입력이 수신된 영역에 관한 터치 데이터(1110)를 소정의 시간 간격으로 획득할 수 있다. 또한, 전자 장치(10)는 터치 데이터(1110)를 획득하는 동안, 사용자(1)의 터치 입력에 의해서 발생되는 전자 장치(10)의 내부의 기압의 변화에 관한 기압 데이터(1120)를 획득할 수 있다.
전자 장치(10)는 인공지능 모델(19)로 터치 데이터(1110) 및 기압 데이터(1120) 중에서 적어도 하나를 적용함으로써, 사용자 입력의 유형을 식별할 수 있다. 예를 들면, 전자 장치(10)는 인공지능 모델(19)로부터 출력되는 사용자 입력이 롱 터치(1150a), 포스 터치(1150b) 및 포스 터치 후 드래그(1150c)의 각각에 해당할 확률 값들로부터 사용자 입력의 유형을 롱 터치(1150a), 포스 터치(1150b) 및 포스 터치 후 드래그(1150c)와 같은 유형으로 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 하나의 인공지능 모델에 터치 데이터(1110) 및 기압 데이터(1120) 중에서 적어도 하나를 적용함으로써, 하나의 인공지능 모델로부터 출력되는 확률 값을 이용하여 사용자 입력의 유형을 식별할 수 있다.
전자 장치(10)는 식별한 사용자 입력의 유형에 대응하는 동작을 수행할 수 있다.
예를 들면, 전자 장치(10)는 롱 터치(1150a)로 식별된 사용자 입력에 대응하여 제1 동작(1170a)을 수행할 수 있다. 구체적인 예를 들면, 전자 장치(10)는 사용자 입력을 롱 터치(1150a)로 식별한 결과에 따라서 터치가 입력된 영역에 위치된 오브젝트에 대한 추가 동작을 수행하기 위한 팝업 화면을 디스플레이하는 동작을 수행할 수 있다.
다른 예를 들면, 전자 장치(10)는 포스 터치(1150b)로 식별된 사용자 입력에 대응하여 제2 동작(1170b)을 수행할 수 있다. 구체적인 예를 들면, 전자 장치(10)는 사용자 입력을 포스 터치(1150b)로 식별한 결과에 따라서 바로가기 기능을 제공하는 동작을 수행할 수 있다.
다른 예를 들면, 전자 장치(10)는 포스 터치 후 드래그(1150c)로 식별된 사용자 입력에 대응하여 제3 동작(1170c)을 수행할 수 있다. 구체적인 예를 들면, 전자 장치(10)는 포스 터치 후 상하 드래그 입력으로 식별된 사용자 입력에 대응하여 디스플레이의 밝기를 조절하는 동작을 수행할 수 있다. 전자 장치(10)는 포스 터치 후 좌우 드래그 입력으로 식별된 사용자 입력에 대응하여 출력되는 소리의 세기를 조절하는 동작을 수행할 수 있다.
도 12는 일 실시예에 따른, 전자 장치가 인공지능 모델을 이용하여 사용자 입력의 유형을 식별하고, 식별된 유형에 대응하는 동작을 수행하는 방법을 설명하는 도면이다.
도 12를 참조하면, 전자 장치(10)는 사용자(1)로부터 소정의 동작을 수행하기 위한 터치 입력을 수신할 수 있다. 전자 장치(10)는 사용자(1)로부터 수신한 터치 입력으로부터 터치 데이터(1210) 및 기압 데이터(1220)를 획득할 수 있다.
전자 장치(10)는 터치 데이터(1210) 및 기압 데이터(1220)의 각각을 별도의 인공지능 모델에 적용함으로써 획득한 확률 값들의 각각에 가중치 값을 적용함으로써 사용자 입력의 유형을 식별할 수 있다.
예를 들면, 전자 장치(10)는 터치 데이터(1210)를 제1 인공지능 모델(19a)에게 적용함으로써 획득한 제1 확률 값에 제1 가중치 값(wa)을 적용하고, 기압 데이터(1220)를 제2 인공지능 모델(19b)에게 적용함으로써 획득한 제2 확률 값에 제2 가중치 값(wb)을 적용할 수 있다. 전자 장치(10)는 가중치 값(wa, wb)이 각각 적용된 제1 확률 값과 제2 확률 값 중에서 높은 값에 대응하는 사용자 입력의 유형을 식별할 수 있다. 전자 장치(10)는 식별된 사용자 입력의 유형에 대응하는 동작(1270)을 수행할 수 있다.
일 실시예에 따르면, 확률 값들의 각각에 적용되는 가중치 값(wa, wb)은 사용자의 입력 데이터와 학습 데이터 세트의 유사도에 기초하여 결정될 수 있다.
예를 들면, 제1 가중치 값(wa)은 도 2의 단계 S210에서 획득한 터치 데이터와 도 2의 단계 S220에서 식별한 학습 데이터 세트의 터치 데이터의 유사도에 기초하여 결정될 수 있다. 예를 들면, 유사도가 90%인 경우, 제1 가중치 값(wa)은 0.9 일 수 있다.
다른 예를 들면, 제2 가중치 값(wb)은 도 2의 단계 S210에서 획득한 기압 데이터와 도 2의 단계 S220에서 식별한 학습 데이터 세트의 기압 데이터의 유사도에 기초하여 결정될 수 있다. 예를 들면, 유사도가 60%인 경우, 제2 가중치 값(wb)은 0.6 일 수 있다.
일 실시예에 따르면, 사용자의 입력 데이터와 학습 데이터 세트의 유사도는 사용자의 입력 데이터로부터 획득한 특징 벡터와 학습 데이터 세트의 특징 벡터의 연관도로부터 획득될 수 있다.
일 실시예에 따르면, 터치 데이터(1210)가 제1 인공지능 모델(19a)에 적용됨으로써 획득되는 제1 확률 값은 사용자의 터치 입력이 롱 터치에 해당할 제1 롱 터치 확률 값 및 사용자의 터치 입력이 포스 터치에 해당할 제1 포스 터치 확률 값을 포함할 수 있다. 또한, 기압 데이터(1220)가 제2 인공지능 모델(19b)에 적용됨으로써 획득되는 제2 확률 값은 사용자의 터치 입력이 롱 터치에 해당할 제2 롱 터치 확률 값 및 사용자의 터치 입력이 포스 터치에 해당할 제2 포스 터치 확률 값을 포함할 수 있다.
또한, 제1 확률 값에 적용되는 가중치 값(wa)은 제1 롱 터치 확률 값에 적용되는 제1 가중치 값(w1)과 제1 포스 터치 확률 값에 적용되는 제2 가중치 값(w2)을 포함할 수 있다. 제2 확률 값에 적용되는 가중치 값(wb)은 제2 롱 터치 확률 값에 적용되는 제3 가중치 값(w3)과 제2 포스 터치 확률 값에 적용되는 제4 가중치 값(w4)을 포함할 수 있다. 이 경우, 제1 가중치 값(w1)과 제2 가중치 값(w2)의 합은 1이고, 제3 가중치 값(w3)과 제4 가중치 값(w4)의 합은 1이 되도록 가중치 값들이 결정될 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 포스 터치 확률 값과 제1 롱 터치 확률 값의 차이가 소정의 값(예를 들면, 0.2) 이상인 경우는 제1 확률 값에 적용되는 가중치 값(wa)을 1로 결정하고, 제2 확률 값에 적용되는 가중치 값(wb)을 0으로 결정할 수 있다. 전자 장치(10)는 제1 가중치 값(w1)과 제2 가중치 값(w2)을 동일한 값(예를 들면, 0.5)으로 결정할 수 있다.
또한, 전자 장치(10)는 제1 포스 터치 확률 값과 제1 롱 터치 확률 값의 차이가 소정의 값(예를 들면, 0.2) 미만인 경우는 전자 장치(10)는 제1 가중치 값(w1)이 적용된 제1 롱 터치 확률 값과 제3 가중치 값(w3)이 적용된 제2 롱 터치 확률 값의 합과 제2 가중치 값(w2)이 적용된 제1 포스 터치 확률 값과 제4 가중치 값(w4)이 적용된 제2 포스 터치 확률 값의 합 중에서 높은 값에 대응하는 사용자 입력의 유형을 식별할 수 있다.
일 실시예에 따르면, 확률 값들의 각각에 적용되는 가중치 값(wa, wb, w1, w2, w3, w4)은 인공지능 모델의 설계자에 의해서 미리 설정된 것일 수 있다. 구체적으로, 인공지능 모델의 설계자가 실험을 통해서 적절하다고 판단한 값들이 가중치 값(wa, wb, w1, w2, w3, w4)으로 설정된 것일 수 있다.
예를 들면, 소정의 실험 환경에 놓인 전자 장치(10)에 대하여, 여러 번 실험이 수행됨에 따라, 최적의 확률 값이 획득될 수 있는, 가중치 값(wa, wb, w1, w2, w3, w4)이 미리 설정될 수 있다.
또한, 전자 장치(10) 내의 기압이 변화됨에 따라서, 기압 센서에 의해 측정된 값의 신뢰도가 변화되는 경우, 가중치 값(wa, wb, w1, w2, w3, w4)은, 적절한 값으로 조절될 수도 있다. 상술한 예에 한하지 않고, 가중치 값(wa, wb, w1, w2, w3, w4)은, 최적의 확률 값이 획득될 수 있는 값으로, 다양한 방법에 따라서, 결정될 수 있다.
일 실시예에 따르면, 제2 인공지능 모델(19b)은 수학식 1의 함수를 이용하여, 사용자의 터치 입력에 의해서 발생되는 전자 장치(10)의 내부의 기압의 최대값과 최소값의 차이에 따라서 사용자의 터치 입력이 포스 터치에 해당할 확률 값을 출력할 수 있다.
Figure PCTKR2021016889-appb-img-000001
여기서 b는 기압 값이고, p는 사용자의 터치 입력이 포스 터치에 해당할 확률 값을 의미한다. p는 시그모이드 함수에 의한 결과 값으로서 0부터 1 사이의 값일 수 있다.
도 13은 일 실시예에 따른, 전자 장치의 블록도이다.
도 13을 참조하면, 전자 장치(10)는, 사용자 입력부(11), 출력부(12), 프로세서(13), 통신부(15) 및 메모리(17)를 포함할 수 있다. 그러나, 도 13에 도시된 구성 요소 모두가 전자 장치(10)의 필수 구성 요소인 것은 아니다. 도 13에 도시된 구성 요소보다 많은 구성 요소에 의해 전자 장치(10)가 구현될 수도 있고, 도 13에 도시된 구성 요소보다 적은 구성 요소에 의해 전자 장치(10)가 구현될 수도 있다.
사용자 입력부(11)는, 사용자가 전자 장치(10)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(11)에는 터치 스크린(touch screen), 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 터치스크린, 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(11)는 도 1 내지 도 12를 참조하여 설명한 실시예들을 전자 장치(10)가 수행하기 위해 필요한 사용자 입력을 수신할 수 있다.
출력부(12)는 전자 장치(10)에서 처리되는 정보를 출력한다. 출력부(12)는 도 1 내지 도 12을 참조하여 설명한 실시예들에 관련된 정보를 출력할 수 있다. 또한, 출력부(12)는 오브젝트, 사용자 인터페이스, 사용자의 입력에 대응하는 동작을 수행한 결과를 디스플레이하는 디스플레이부(12-1)를 포함할 수 있다.
프로세서(13)는, 통상적으로 전자 장치(10)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(13)는, 메모리(17)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 사용자에게 증강 현실 컨텐츠를 제공하기 위하여 사용자 입력부(11), 출력부(12), 통신부(15), 메모리(17) 등을 전반적으로 제어할 수 있다.
예를 들면, 프로세서(13)는 사용자 입력 데이터 획득 모듈(17a)에 저장된 인스트럭션을 실행함으로써, 사용자로부터 수신된 터치 입력으로부터 터치 데이터 및 기압 데이터 중에서 적어도 하나를 획득하도록 전자 장치(10)를 제어할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 프로세서(13)는 학습 데이터 세트 식별 모듈(17b)에 저장된 인스트럭션을 실행함으로써, 미리 저장된 복수의 학습 데이터 세트들 중에서 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별하도록 전자 장치(10)를 제어할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 프로세서(13)는 인공지능 학습 모듈(17c)에 저장된 인스트럭션을 실행함으로써, 사용자의 입력 데이터와 유사한 학습 데이터 세트로 인공지능 모델을 학습시킬 수 있다. 또는, 프로세서(13)는 인공지능 학습 모듈(17c)에 저장된 인스트럭션을 실행함으로써, 사용자의 입력 데이터와 유사한 학습 데이터 세트로 학습된 인공지능 모델을 선택할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 프로세서(13)는 사용자 입력의 유형 식별 모듈(17d)에 저장된 인스트럭션을 실행함으로써, 사용자로부터 수신된 사용자 입력의 유형을 식별할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 프로세서(13)는 동작 수행 모듈(17e)에 저장된 인스트럭션을 실행함으로써, 식별된 사용자 입력의 유형에 대응하는 동작을 수행하도록 전자 장치(10)를 제어할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
프로세서(13)는 범용적으로 이용되는 적어도 하나의 프로세서일 수 있다. 또한, 프로세서(13)는 인공지능 모델의 기능을 수행하기 위해서 제작된 적어도 하나의 프로세서를 포함할 수 있다. 프로세서(13)는 인공지능 모델이 새로운 학습 데이터를 학습하도록 일련의 인스트럭션를 실행할 수 있다. 프로세서(13)는 메모리(17)에 저장된 소프트웨어 모듈을 실행함으로써, 도 1 내지 도 12를 참조하여 위에서 설명한 인공지능 모델의 기능을 수행할 수 있다.
통신부(15)는, 전자 장치(10)가 다른 장치(미도시) 및 서버(20)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 장치(미도시)는 전자 장치(10)와 같은 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다.
메모리(17)는, 프로세서(13)의 처리 및 제어를 위한 적어도 하나의 인스트럭션 및 적어도 하나의 프로그램을 저장할 수 있고, 전자 장치(10)로 입력되거나 전자 장치(10)로부터 출력되는 데이터를 저장할 수도 있다.
메모리(17)는 램(RAM, Random Access Memory) SRAM(Static Random Access Memory)과 같이 일시적으로 데이터를 저장하는 메모리 및 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크과 같이 비일시적으로 데이터를 저장하는 데이터 스토리지 중에서 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 14는 일 실시예에 따른, 전자 장치에 포함된 메모리의 소프트웨어 모듈을 나타내는 블록도이다.
도 14를 참조하면, 메모리(17)는 도 1 내지 도 12를 참조하여 위에서 설명한 실시예를 전자 장치(10)가 수행하기 위한 인스터럭션이 포함된 소프트웨어 모듈로서, 사용자 입력 데이터 획득 모듈(17a), 학습 데이터 세트 식별 모듈(17b), 인공지능 학습 모듈(17c), 사용자 입력의 유형 식별 모듈(17d) 및 동작 수행 모듈(17e)을 포함할 수 있다. 그러나, 도 14에 도시된 소프트웨어 모듈보다 많은 소프트웨어 모듈에 의해 전자 장치(10)가 사용자의 입력에 대응하는 동작을 수행할 수 있고, 도 14에 도시된 소프트웨어 모듈보다 적은 소프트웨어 모듈에 의해 전자 장치(10)가 사용자의 입력에 대응하는 동작을 수행할 수 있다.
예를 들면, 사용자 입력 데이터 획득 모듈(17a)에 포함된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 사용자로부터 수신된 터치 입력으로부터 터치 데이터 및 기압 데이터 중에서 적어도 하나를 획득할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 학습 데이터 세트 식별 모듈(17b)에 포함된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 미리 저장된 복수의 학습 데이터 세트들 중에서 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 인공지능 학습 모듈(17c)에 포함된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 사용자의 입력 데이터와 유사한 학습 데이터 세트로 인공지능 모델을 학습시키거나 사용자의 입력 데이터와 유사한 학습 데이터 세트로 학습된 인공지능 모델을 식별할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 사용자 입력의 유형 식별 모듈(17d) 에 포함된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 사용자로부터 수신된 사용자 입력의 유형을 식별할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 동작 수행 모듈(17e)에 포함된 인스트럭션을 프로세서(13)가 실행함으로써, 전자 장치(10)는 식별된 사용자 입력의 유형에 대응하는 동작을 수행할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
도 15는 일 실시예에 따른, 서버의 블록도이다.
도 15를 참조하면, 일부 실시예에 따른 서버(20)는 통신부(25), 메모리(26), DB(27) 및 프로세서(23)를 포함할 수 있다.
통신부(25)는 서버(20)가 전자 장치(10)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다.
메모리(26)는 프로세서(23)의 처리 및 제어를 위한 적어도 하나의 인스트럭션 및 적어도 하나의 프로그램을 저장할 수 있고, 서버(20)로 입력되거나 서버(20)로부터 출력되는 데이터를 저장할 수도 있다.
DB(27)는 전자 장치(10)로부터 수신한 데이터를 저장할 수 있다. DB(27)는 인공지능 모델을 학습하는데 이용될 복수의 학습 데이터 세트를 저장할 수 있다.
프로세서(23)는 통상적으로 서버(20)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(23)는, 서버(20)의 메모리(26)에 저장된 프로그램들을 실행함으로써, DB(27) 및 통신부(25) 등을 전반적으로 제어할 수 있다. 프로세서(23)는 프로그램들을 실행함으로써, 도 1 내지 도 12를 참조하여 설명한 서버(20)의 동작을 수행할 수 있다.
예를 들면, 프로세서(23)는 학습 데이터 세트 식별 모듈(27a)에 저장된 인스트럭션을 실행함으로써, 미리 저장된 복수의 학습 데이터 세트들 중에서 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 프로세서(23)는 인공지능 학습 모듈(27b)에 포함된 인스트럭션을 실행함으로써, 사용자의 입력 데이터와 유사한 학습 데이터 세트로 인공지능 모델을 학습시킬 수 있다. 또는, 프로세서(23)는 인공지능 학습 모듈(27b)에 저장된 인스트럭션을 실행함으로써, 사용자의 입력 데이터와 유사한 학습 데이터 세트로 학습된 인공지능 모델을 선택할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
도 16은 일 실시예에 따른, 서버에 포함된 메모리의 소프트웨어 모듈을 나타내는 블록도이다.
도 16을 참조하면, 메모리(26)는 도 1 내지 도 12를 참조하여 위에서 설명한 실시예들을 서버(20)가 수행하기 위한 소프트웨어 모듈로서, 학습 데이터 세트 식별 모듈(27a) 및 인공지능 학습 모듈(27b)을 포함할 수 있다. 그러나, 도 16에 도시된 소프트웨어 모듈보다 많은 소프트웨어 모듈에 의해 서버(20)가 증강 현실 컨텐츠를 생성할 수 있고, 도 16에 도시된 소프트웨어 모듈보다 적은 소프트웨어 모듈에 의해 서버(20)가 증강 현실 컨텐츠를 생성할 수 있다.
예를 들면, 학습 데이터 세트 식별 모듈(27a)에 포함된 인스트럭션을 프로세서(23)가 실행함으로써, 서버(20)는 미리 저장된 복수의 학습 데이터 세트들 중에서 사용자의 입력 데이터와 유사한 학습 데이터 세트를 식별할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
다른 예를 들면, 인공지능 학습 모듈(27b) 에 포함된 인스트럭션을 프로세서(23)가 실행함으로써, 서버(20)는 사용자의 입력 데이터와 유사한 학습 데이터 세트로 인공지능 모델을 학습시키거나 사용자의 입력 데이터와 유사한 학습 데이터 세트로 학습된 인공지능 모델을 식별할 수 있다. 도 1 내지 도 12를 참조하여 위에서 설명한 실시예와 중복되는 내용은 생략한다.
한편, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

Claims (15)

  1. 인공지능 모델을 이용하여 전자 장치가 사용자 입력에 대응하는 동작을 수행하는 방법에 있어서,
    사용자의 터치 입력에 관한 터치 데이터를 획득하는 단계;
    미리 저장된 복수의 학습 데이터 세트들 중에서 상기 터치 데이터와 유사한 제1 학습 데이터 세트를 식별하는 단계;
    상기 제1 학습 데이터 세트를 이용하여 상기 인공지능 모델을 학습하는 단계;
    상기 학습된 인공지능 모델을 이용하여 상기 전자 장치에 입력되는 사용자 입력의 유형을 식별하는 단계; 및
    상기 식별된 사용자 입력의 유형에 대응하는 동작을 수행하는 단계;를 포함하는 방법.
  2. 제1항에 있어서,
    상기 제1 학습 데이터 세트를 식별하는 단계는,
    상기 터치 데이터와 상기 미리 저장된 복수의 학습 데이터 세트들의 각각을 비교한 결과에 기초하여, 상기 제1 학습 데이터 세트를 식별하는 단계를 포함하는, 방법.
  3. 제1항에 있어서,
    상기 제1 학습 데이터 세트를 식별하는 단계는,
    상기 터치 데이터를 상기 인공지능 모델에 적용함으로써, 상기 터치 데이터로부터 제1 특징 벡터를 획득하는 단계; 및
    상기 제1 특징 벡터와 상기 미리 저장된 복수의 학습 데이터 세트들의 각각의 제2 특징 벡터를 비교한 결과에 기초하여, 상기 제1 학습 데이터 세트를 식별하는 단계를 포함하는, 방법.
  4. 제1항에 있어서,
    상기 제1 학습 데이터 세트를 식별하는 단계는,
    상기 터치 데이터 및 상기 터치 데이터로부터 획득한 제1 특징 벡터 중에서 적어도 하나를 서버로 전송하는 단계; 및
    상기 터치 데이터 및 상기 제1 특징 벡터 중에서 적어도 하나에 기초하여 식별된, 상기 제1 학습 데이터 세트에 관한 정보를 상기 서버로부터 수신하는 단계를 포함하고,
    상기 인공지능 모델을 학습하는 단계는,
    상기 제1 학습 데이터 세트에 관한 정보에 기초하여, 상기 인공지능 모델을 학습하는 단계를 포함하는,
    방법.
  5. 제4항에 있어서,
    상기 제1 학습 데이터 세트에 관한 정보를 상기 서버로부터 수신하는 단계는,
    상기 서버로부터 상기 제1 학습 데이터 세트를 수신하는 단계를 포함하고,
    상기 인공지능 모델을 학습하는 단계는,
    상기 제1 학습 데이터 세트를 이용하여 상기 인공지능 모델을 학습하는 단계를 포함하는,
    방법.
  6. 제1항에 있어서,
    상기 제1 학습 데이터 세트를 식별하는 단계는,
    상기 터치 데이터 및 상기 터치 데이터로부터 획득한 제1 특징 벡터 중에서 적어도 하나를 서버로 전송하는 단계를 포함하고,
    상기 인공지능 모델을 학습하는 단계는,
    상기 제1 학습 데이터 세트를 학습한 인공지능 모델을 상기 서버로부터 수신하는 단계를 포함하는,
    방법.
  7. 제1항에 있어서,
    상기 터치 데이터를 획득하는 단계는,
    사용자의 터치 입력에 의해서 발생되는 상기 전자 장치의 내부의 기압의 변동에 관한 기압 데이터를 획득하는 단계를 포함하고,
    상기 제1 학습 데이터 세트를 식별하는 단계는,
    상기 기압 데이터를 상기 인공지능 모델에 적용함으로써, 상기 기압 데이터로부터 제3 특징 벡터를 획득하는 단계; 및
    상기 제3 특징 벡터와 상기 미리 저장된 복수의 학습 데이터 세트들의 각각에 포함된 기압 데이터들로부터 획득된 제4 특징 벡터들을 비교한 결과에 기초하여, 상기 제1 학습 데이터 세트를 식별하는 단계를 포함하는, 방법.
  8. 전자 장치가 인공지능 모델을 이용하여 사용자 입력에 대응하는 동작을 수행하기 위한 기능들에 대한 적어도 하나의 인스트럭션이 저장된 기록 매체를 포함하는 컴퓨터 프로그램 제품(Computer Program Product)에 있어서, 상기 기능들은:
    사용자의 터치 입력에 관한 터치 데이터를 획득하는 기능;
    미리 저장된 복수의 학습 데이터 세트들 중에서 상기 터치 데이터와 유사한 제1 학습 데이터 세트를 식별하는 기능;
    상기 제1 학습 데이터 세트를 이용하여 상기 인공지능 모델을 학습하는 기능;
    상기 학습된 인공지능 모델을 이용하여 상기 전자 장치에 입력되는 사용자 입력의 유형을 식별하는 기능; 및
    상기 식별된 사용자 입력의 유형에 대응하는 동작을 수행하는 기능;을 포함하는,
    컴퓨터 프로그램 제품.
  9. 인공지능 모델을 이용하여 사용자 입력에 대응하는 동작을 수행하는 전자 장치에 있어서,
    메모리;
    사용자의 터치 입력을 수신함으로써 터치 데이터를 획득하는 사용자 입력부; 및
    미리 저장된 복수의 학습 데이터 세트들 중에서 상기 터치 데이터와 유사한 제1 학습 데이터 세트를 식별 하고, 상기 제1 학습 데이터 세트를 이용하여 상기 인공지능 모델을 학습하고, 상기 학습된 인공지능 모델을 이용하여 상기 전자 장치에 입력되는 사용자 입력의 유형을 식별하고, 상기 식별된 사용자 입력의 유형에 대응하는 동작을 수행하도록 상기 전자 장치를 제어하는, 프로세서를 포함하는,
    전자 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    상기 터치 데이터와 상기 미리 저장된 복수의 학습 데이터 세트들의 각각을 비교한 결과에 기초하여, 상기 제1 학습 데이터 세트를 식별하는,
    전자 장치.
  11. 제9항에 있어서,
    상기 프로세서는,
    상기 터치 데이터를 상기 인공지능 모델에 적용함으로써, 상기 터치 데이터로부터 제1 특징 벡터를 획득하고,
    상기 제1 특징 벡터와 상기 미리 저장된 복수의 학습 데이터 세트들의 각각의 제2 특징 벡터를 비교한 결과에 기초하여, 상기 제1 학습 데이터 세트를 식별하는,
    전자 장치.
  12. 제9항에 있어서,
    상기 전자 장치는 서버와 데이터를 송수신하는 통신부를 더 포함하고,
    상기 프로세서는,
    상기 터치 데이터 및 상기 터치 데이터로부터 획득한 제1 특징 벡터 중에서 적어도 하나를 서버로 전송하고, 상기 터치 데이터 및 상기 제1 특징 벡터 중에서 적어도 하나에 기초하여 식별된, 상기 제1 학습 데이터 세트에 관한 정보를 상기 서버로부터 수신하도록 상기 통신부를 제어하고,
    상기 제1 학습 데이터 세트에 관한 정보에 기초하여, 상기 인공지능 모델을 학습하는,
    전자 장치.
  13. 제12항에 있어서,
    상기 프로세서는,
    상기 서버로부터 상기 제1 학습 데이터 세트를 수신하도록 상기 통신부를 제어하고,
    상기 제1 학습 데이터 세트를 이용하여 상기 인공지능 모델을 학습하는,
    전자 장치.
  14. 제9항에 있어서,
    상기 전자 장치는 서버와 데이터를 송수신하는 통신부를 더 포함하고,
    상기 프로세서는,
    상기 터치 데이터 및 상기 터치 데이터로부터 획득한 제1 특징 벡터 중에서 적어도 하나를 서버로 전송하고, 상기 제1 학습 데이터 세트를 학습한 인공지능 모델을 상기 서버로부터 수신하도록 상기 통신부를 제어하는,
    전자 장치.
  15. 제9항에 있어서,
    상기 전자 장치는 사용자의 터치 입력에 의해서 발생되는 상기 전자 장치의 내부의 기압의 변동에 관한 기압 데이터를 획득하는 기압 센서를 포함하고,
    상기 프로세서는,
    상기 기압 데이터를 인공지능 모델에 적용함으로써, 상기 기압 데이터로부터 제3 특징 벡터를 획득하고,
    상기 제3 특징 벡터와 상기 미리 저장된 복수의 학습 데이터 세트들의 각각에 포함된 기압 데이터들로부터 획득된 제4 특징 벡터들을 비교한 결과에 기초하여, 상기 제1 학습 데이터 세트를 식별하는,
    전자 장치.
PCT/KR2021/016889 2021-01-12 2021-11-17 사용자 입력을 추론하는 사용자 맞춤형 전자 장치 및 이를 제어하는 방법 Ceased WO2022154236A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21919860.3A EP4261663A4 (en) 2021-01-12 2021-11-17 Personalized electronic device inferring user input, and method for controlling same
US18/221,288 US20230359348A1 (en) 2021-01-12 2023-07-12 Personalized electronic device inferring user input, and method for controlling same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0004241 2021-01-12
KR1020210004241A KR20220102042A (ko) 2021-01-12 2021-01-12 사용자 입력을 추론하는 사용자 맞춤형 전자 장치 및 이를 제어하는 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/221,288 Continuation US20230359348A1 (en) 2021-01-12 2023-07-12 Personalized electronic device inferring user input, and method for controlling same

Publications (1)

Publication Number Publication Date
WO2022154236A1 true WO2022154236A1 (ko) 2022-07-21

Family

ID=82447449

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/016889 Ceased WO2022154236A1 (ko) 2021-01-12 2021-11-17 사용자 입력을 추론하는 사용자 맞춤형 전자 장치 및 이를 제어하는 방법

Country Status (4)

Country Link
US (1) US20230359348A1 (ko)
EP (1) EP4261663A4 (ko)
KR (1) KR20220102042A (ko)
WO (1) WO2022154236A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12254151B2 (en) 2022-08-19 2025-03-18 Samsung Electronics Co., Ltd. Electronic device and learning model determination method for learning of electronic device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102859761B1 (ko) 2020-08-21 2025-09-16 삼성전자주식회사 전자 장치 및 그 제어 방법
EP4099142B1 (en) * 2021-04-19 2026-01-21 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
WO2024136080A1 (ko) * 2022-12-20 2024-06-27 삼성전자 주식회사 입력 모션을 식별하는 방법 및 전자 장치
US12366955B2 (en) * 2023-10-30 2025-07-22 Sunia Pte. Ltd. Recognition system for recognizing multiple inputs of gestures, handwriting symbols and virtual keys on touch screen

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5083320B2 (ja) * 2007-08-22 2012-11-28 富士通株式会社 化合物の物性予測装置、物性予測方法およびその方法を実施するためのプログラム
KR20170111773A (ko) * 2016-03-29 2017-10-12 휴먼플러스(주) 컴퓨터를 포함한 스마트 디바이스 및 그것의 동작 방법
KR20180106744A (ko) * 2017-03-21 2018-10-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20190105767A (ko) * 2018-03-06 2019-09-18 네이버랩스 주식회사 사용자의 터치 인터랙션과 연관된 센싱 데이터를 처리하는 방법 및 장치
US20200349246A1 (en) * 2019-04-30 2020-11-05 TruU, Inc. Supervised and Unsupervised Techniques For Motion Classification

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110007023A1 (en) * 2009-07-09 2011-01-13 Sony Ericsson Mobile Communications Ab Display device, touch screen device comprising the display device, mobile device and method for sensing a force on a display device
US10261685B2 (en) * 2016-12-29 2019-04-16 Google Llc Multi-task machine learning for predicted touch interpretations
CN107734089A (zh) * 2017-09-29 2018-02-23 努比亚技术有限公司 压力触控屏及具有该压力触控屏的移动终端
US11531864B2 (en) * 2018-03-21 2022-12-20 Lg Electronics Inc. Artificial intelligence server
KR20190104101A (ko) * 2019-08-19 2019-09-06 엘지전자 주식회사 전자 장치의 터치 스크린에서 오류 터치를 판정하는 방법, 장치 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5083320B2 (ja) * 2007-08-22 2012-11-28 富士通株式会社 化合物の物性予測装置、物性予測方法およびその方法を実施するためのプログラム
KR20170111773A (ko) * 2016-03-29 2017-10-12 휴먼플러스(주) 컴퓨터를 포함한 스마트 디바이스 및 그것의 동작 방법
KR20180106744A (ko) * 2017-03-21 2018-10-01 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20190105767A (ko) * 2018-03-06 2019-09-18 네이버랩스 주식회사 사용자의 터치 인터랙션과 연관된 센싱 데이터를 처리하는 방법 및 장치
US20200349246A1 (en) * 2019-04-30 2020-11-05 TruU, Inc. Supervised and Unsupervised Techniques For Motion Classification

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4261663A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12254151B2 (en) 2022-08-19 2025-03-18 Samsung Electronics Co., Ltd. Electronic device and learning model determination method for learning of electronic device

Also Published As

Publication number Publication date
KR20220102042A (ko) 2022-07-19
EP4261663A1 (en) 2023-10-18
EP4261663A4 (en) 2024-06-05
US20230359348A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
WO2022154236A1 (ko) 사용자 입력을 추론하는 사용자 맞춤형 전자 장치 및 이를 제어하는 방법
WO2018117428A1 (en) Method and apparatus for filtering video
WO2020067633A1 (en) Electronic device and method of obtaining emotion information
WO2019143227A1 (en) Electronic device providing text-related image and method for operating the same
WO2018143630A1 (ko) 상품을 추천하는 디바이스 및 방법
WO2022191474A1 (ko) 이미지의 화질을 개선하는 전자 장치 및 이를 이용한 이미지의 화질 개선 방법
WO2020080773A1 (en) System and method for providing content based on knowledge graph
WO2020130747A1 (ko) 스타일 변환을 위한 영상 처리 장치 및 방법
WO2018117704A1 (en) Electronic apparatus and operation method thereof
WO2019132518A1 (en) Image acquisition device and method of controlling the same
WO2018128362A1 (en) Electronic apparatus and method of operating the same
EP3820369A1 (en) Electronic device and method of obtaining emotion information
WO2021230680A1 (en) Method and device for detecting object in image
WO2019093819A1 (ko) 전자 장치 및 그 동작 방법
EP3669181A1 (en) Vision inspection management method and vision inspection system
EP3545436A1 (en) Electronic apparatus and method of operating the same
WO2020130262A1 (ko) 컴퓨팅 장치 및 그 동작 방법
WO2019124963A1 (ko) 음성 인식 장치 및 방법
WO2020179995A1 (ko) 전자 장치 및 이의 제어 방법
WO2021006482A1 (en) Apparatus and method for generating image
EP3545685A1 (en) Method and apparatus for filtering video
WO2019050137A1 (en) SYSTEM AND METHOD FOR DETERMINING INPUT CHARACTERS BASED ON SCAN INPUT
WO2018074895A1 (en) Device and method for providing recommended words for character input
WO2020116993A1 (ko) 대화형 게임을 제공하는 전자 장치 및 그 동작 방법
WO2019231068A1 (en) Electronic device and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21919860

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021919860

Country of ref document: EP

Effective date: 20230712

NENP Non-entry into the national phase

Ref country code: DE