WO2018155926A1 - 전자 장치에서 진동 제공 방법 및 장치 - Google Patents

전자 장치에서 진동 제공 방법 및 장치 Download PDF

Info

Publication number
WO2018155926A1
WO2018155926A1 PCT/KR2018/002183 KR2018002183W WO2018155926A1 WO 2018155926 A1 WO2018155926 A1 WO 2018155926A1 KR 2018002183 W KR2018002183 W KR 2018002183W WO 2018155926 A1 WO2018155926 A1 WO 2018155926A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
frequency
electronic device
processor
present disclosure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/002183
Other languages
English (en)
French (fr)
Inventor
심상원
이용구
윤중삼
강민구
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to US16/488,507 priority Critical patent/US11198154B2/en
Priority to EP18758485.9A priority patent/EP3575005B1/en
Publication of WO2018155926A1 publication Critical patent/WO2018155926A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • H04M19/047—Vibrating means for incoming calls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02K—DYNAMO-ELECTRIC MACHINES
    • H02K7/00—Arrangements for handling mechanical energy structurally associated with dynamo-electric machines, e.g. structural association with mechanical driving motors or auxiliary dynamo-electric machines
    • H02K7/06—Means for converting reciprocating motion into rotary motion or vice versa
    • H02K7/065—Electromechanical oscillators; Vibrating magnetic drives

Definitions

  • Various embodiments of the present disclosure disclose a method and apparatus for providing vibration in an electronic device.
  • the electronic device may use a sound (e.g., a sound output by a speaker), a display (e.g., a display, or the like) to notify (notify) the user of the call, the receipt of a message or various alarms.
  • a sound e.g., a sound output by a speaker
  • a display e.g., a display, or the like
  • At least one method is used for indication by a lamp or vibration (e.g., vibration output by a vibration motor).
  • the vibration method of the electronic device may be a method of vibrating the electronic device by adjusting the intensity or speed of the vibration motor by adjusting the amount (or voltage) of the current flowing into the vibration motor of the electronic device.
  • the vibration motor serves to convert the input electrical energy into mechanical energy (or kinetic energy), and the driving principle may be based on Fleming's rule.
  • an oscillating motor may be set to an operable frequency band, and outputs only a single vibration according to a single frequency in the frequency band.
  • a single vibration by a single frequency is provided by simply adjusting the intensity or speed of the vibration.
  • the vibration is generated only by a predetermined pattern in one direction, the vibration is monotonous, and there is a problem in that it is not possible to provide the user with situational feedback on various notifications only by the vibration.
  • vibration feedback feedback due to vibration
  • usability e.g., frequency of use
  • the user can intuitively distinguish and provide relevant notifications (e.g., call reception, message reception, notification, warning, etc.) by vibrating, and various expressions (e.g., rhythmic vibration based on coordination / discord) User needs for vibration feedback are increasing.
  • a method and apparatus for providing vibration feedback based on musical elements in an electronic device are disclosed.
  • an electronic device including a vibration generating device (eg, a motor, an oscillator, an actuator, a haptic generating device, etc.) supporting multi-frequency
  • a vibration generating device eg, a motor, an oscillator, an actuator, a haptic generating device, etc.
  • a method and apparatus that can generate a vibration pattern with multiple vibrations by frequency to provide a melody-based vibration.
  • a method and apparatus for converting a harmonic frequency based on a musical element and mapping a harmonic frequency to coordinating / dissonant to provide a new vibration are disclosed.
  • a method and an apparatus capable of forming a more dynamic and large vibration texture through multiple vibrations by multiple frequencies, and improving user's perception of vibration notification and providing various notification vibration pattern experiences. Discloses.
  • a method and apparatus for generating a vibration pattern based on a plurality of vibrations according to multiple frequencies corresponding to a musical element to provide an intuitive vibration feedback according to a rhythmic vibration and a notification situation are disclosed. do.
  • An electronic device may include a display, a vibration generating device for generating vibration, and a processor operatively connected to the display and the vibration generating device, wherein the processor may be configured to use multiple musical elements.
  • a multi-frequency may be selected, at least one vibration may be set based on the selected multi-frequency, and a vibration pattern may be generated based on the set vibration.
  • a method of operating an electronic device may include selecting a multi frequency using a musical element in a frequency band supported by a vibration generating device, based on the selected multi frequency It may include the step of setting the vibration of, and generating a vibration pattern based on the set vibration.
  • various embodiments of the present disclosure may include a computer-readable recording medium having recorded thereon a program for executing the method in a processor.
  • an electronic device including a vibration generating device supporting multi-frequency multiple vibrations by a frequency corresponding to a musical element may be performed.
  • a vibration generating device that supports multiple frequencies may provide a user with various vibration feedback based on musical factors (eg, tempo (beat), length, repetition, pitch, scale, etc.).
  • musical factors eg, tempo (beat), length, repetition, pitch, scale, etc.
  • new vibrations may be provided by converting a harmonic frequency based on a musical element and mapping the harmonic frequency to coordination / dissonance.
  • the electronic device according to various embodiments of the present disclosure may form a vibration texture that is more dynamic and has a large vibration variation, and may improve a user's vibration notification recognition and provide various notification vibration pattern experiences.
  • a vibration pattern may be generated based on a plurality of vibrations according to multiple frequencies corresponding to musical elements, thereby providing a user with intuitive vibration feedback based on a rhythmic vibration and a notification situation.
  • the electronic device according to various embodiments of the present disclosure may contribute to improving usability, convenience, or usability of the electronic device.
  • FIG. 1 is a diagram illustrating a network environment including an electronic device according to various embodiments of the present disclosure.
  • FIG. 2 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • FIG. 3 is a block diagram of a program module according to various embodiments of the present disclosure.
  • FIG. 4 is a diagram illustrating an operating frequency of a motor in an electronic device according to various embodiments of the present disclosure.
  • FIG. 5 is a diagram illustrating an example of a vibration processing module in an electronic device according to various embodiments of the present disclosure.
  • FIG. 6 is a flowchart illustrating a method of operating an electronic device according to various embodiments of the present disclosure.
  • FIG. 7 is a flowchart illustrating a method of operating an electronic device according to various embodiments of the present disclosure.
  • FIGS. 8A and 8B are diagrams illustrating an example of generating vibration in an electronic device according to various embodiments of the present disclosure.
  • FIG. 9 is a diagram illustrating an example of providing vibration in an electronic device according to various embodiments of the present disclosure.
  • FIGS. 10 and 11 are diagrams for describing an example of generating vibration in an electronic device according to various embodiments of the present disclosure.
  • FIGS. 14 and 15 are diagrams illustrating an example of generating vibration in an electronic device according to various embodiments of the present disclosure.
  • FIG. 16 is a diagram illustrating an example of generating vibration in an electronic device according to various embodiments of the present disclosure.
  • FIG. 17 is a diagram illustrating an example of generating vibration by a user in an electronic device according to various embodiments of the present disclosure.
  • FIG. 18 is a flowchart illustrating an operation of setting vibration of a user based on a user interface in an electronic device according to various embodiments of the present disclosure.
  • 19 is a flowchart illustrating an operation of outputting vibration in an electronic device according to various embodiments of the present disclosure.
  • 20 is a flowchart illustrating an operation of outputting vibration in an electronic device according to various embodiments of the present disclosure.
  • 21 is a flowchart illustrating an operation of generating vibration in an electronic device according to various embodiments of the present disclosure.
  • Singular expressions may include plural expressions unless the context clearly indicates otherwise.
  • expressions such as “A or B” or “at least one of A and / or B” may include all possible combinations of items listed together.
  • Expressions such as “first”, “second”, “first”, or “second” may modify the components in any order or importance, and may be used to distinguish one component from another. It does not limit the components.
  • any (eg first) component is said to be “(functionally or communicatively)” or “connected” to another (eg second) component, the other component is said other The component may be directly connected or connected through another component (eg, a third component).
  • “configured to” means having the ability to “fit to”, “hard,” depending on the circumstances, for example, hardware or software. It can be used interchangeably with “,” modified to “,” made to “,” doable “, or” designed to “.
  • the expression “device configured to” may mean that the device “can” together with other devices or components.
  • the phrase “processor configured (or configured to) perform A, B, and C” may be implemented by executing a dedicated processor (eg, an embedded processor) to perform its operation, or one or more software programs stored in a memory device. It may mean a general-purpose processor (eg, a central processing unit (CPU) or an application processor (AP)) capable of performing corresponding operations.
  • a dedicated processor eg, an embedded processor
  • AP application processor
  • An electronic device may be, for example, a smartphone, a tablet PC, a mobile phone, a video phone, an e-book reader, a desktop PC, a laptop PC. , Netbook computer, workstation, server, personal digital assistant (PDA), portable multimedia player (PMP), MPEG-1 Audio Layer-3 (MP3) player, medical device, camera, or It may include at least one of a wearable device.
  • Wearable devices may be accessory (e.g. watches, rings, bracelets, anklets, necklaces, eyeglasses, contact lenses, or head-mounted-devices, fabrics or clothing (e.g. electronic garments), body It may include at least one of an attachable type (eg, a skin pad or a tattoo) or an implantable circuit.
  • the electronic device may be, for example, a television, a digital video disk (DVD) player, audio, refrigerator, air conditioner, cleaner, oven, microwave oven, washing machine, air purifier, set top box, home automation control panel, security Include at least one of a control panel, media box (e.g. Samsung HomeSync TM , Apple TV TM , or Google TV TM ), game console (e.g. Xbox TM , PlayStation TM ), electronic dictionary, electronic key, camcorder, or electronic frame can do.
  • a control panel e.g. Samsung HomeSync TM , Apple TV TM , or Google TV TM
  • game console e.g. Xbox TM , PlayStation TM
  • electronic dictionary e.g. iPhone, iPad, Samsung HomeSync TM , PlayStation TM
  • electronic key e.g., camcorder, or electronic frame can do.
  • the electronic device may include various medical devices (eg, various portable medical measuring devices (eg, blood glucose meters, heart rate monitors, blood pressure meters, or body temperature meters), magnetic resonance angiography (MRA), and magnetic resonance imaging). ), Computed tomography (CT), cameras, or ultrasounds), navigation devices, global navigation satellite systems (GNSS), event data recorders (EDR), flight data recorders (FDR), automotive infotainment devices (in- vehicle infotainment device, automotive infotainment device, marine electronic equipment (e.g.
  • marine navigation devices gyro compasses, etc.
  • avionics security equipment
  • vehicle head units industrial or domestic robots
  • drones Automated teller machines
  • ATMs Automated teller machines
  • POS point of sales
  • IoT Internet of things
  • Street lights toaster, exercise equipment, hot water tank, a heater, boiler, etc.
  • Street lights toaster, exercise equipment, hot water tank, a heater, boiler, etc.
  • an electronic device may be a part of a furniture, building / structure, or automobile, an electronic board, an electronic signature receiving device, a projector, or various measuring devices (eg, Water, electricity, gas, or radio wave measuring instrument).
  • the electronic device may be flexible or a combination of two or more of the aforementioned various devices.
  • An electronic device according to an embodiment of the present disclosure is not limited to the above-described devices.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) that uses an electronic device.
  • FIG. 1 is a diagram illustrating a network environment including an electronic device according to various embodiments of the present disclosure.
  • the electronic device 101 may include a bus 110, a processor 120 (eg, a processor including processing circuitry), a memory 130, an input / output interface 150, a display 160, and It may include a communication interface 170. According to an embodiment of the present disclosure, the electronic device 101 may omit at least one of the components or additionally include other components.
  • a processor 120 eg, a processor including processing circuitry
  • the electronic device 101 may omit at least one of the components or additionally include other components.
  • the bus 110 may include circuitry that connects the components 110-170 to each other and transfers communication (eg, control messages or data) between the components.
  • the processor 120 may include one or more of a central processing unit (CPU), an application processor (AP), or a communication processor (CP).
  • the processor 120 may execute, for example, an operation or data processing related to control and / or communication of at least one other component of the electronic device 101. Processing (or control) operations of the processor 120 according to various embodiments of the present disclosure will be described in detail with reference to the accompanying drawings.
  • the memory 130 may include volatile memory and / or non-volatile memory.
  • the memory 130 may store, for example, commands or data related to at least one other element of the electronic device 101.
  • the memory 130 may store software and / or a program 140.
  • the program 140 may include, for example, a kernel 141, middleware 143, an application programming interface (API) 145, and / or an application program ( Or "application”) 147 or the like. At least a portion of kernel 141, middleware 143, or API 145 may be referred to as an operating system (OS).
  • OS operating system
  • the memory 130 may store one or more programs executed by the processor 120, and may perform a function for temporarily storing input / output data.
  • the input / output data may include, for example, a file such as a video, an image (eg, a photo), a vibration pattern, or audio.
  • the memory 130 is responsible for storing the obtained data, and the obtained data in real time may be stored in a temporary storage device (eg, a buffer), and the data determined to be stored. Can be stored in a storage device that can be stored long.
  • the memory 130 may include a computer-readable recording medium that records a program for executing the method in the processor 120 according to various embodiments.
  • the kernel 141 may be a system resource (eg, used to execute an action or function implemented in, for example, other programs (eg, middleware 143, API 145, or application program 147).
  • the bus 110, the processor 120, or the memory 130 may be controlled or managed.
  • the kernel 141 may provide an interface for controlling or managing system resources by accessing individual components of the electronic device 101 from the middleware 143, the API 145, or the application program 147. Can be.
  • the middleware 143 may serve as an intermediary for allowing the API 145 or the application program 147 to communicate with the kernel 141 to exchange data.
  • the middleware 143 may process one or more work requests received from the application program 147 according to priority.
  • the middleware 143 may use system resources (eg, the bus 110, the processor 120, or the memory 130, etc.) of the electronic device 101 for at least one of the application programs 147. Prioritize and process one or more work requests.
  • the API 145 is an interface for the application 147 to control functions provided by the kernel 141 or the middleware 143. For example, file control, window control, and image are provided. It may include at least one interface or function (eg, a command) for processing or character control.
  • the input / output interface 150 may transfer, for example, a command or data input from a user or an external device to other component (s) of the electronic device 101, or the other component (s) of the electronic device 101.
  • the command or data received from the user can be output to the user or an external device.
  • wired / wireless headphone port, external charger port, wired / wireless data port, memory card port, audio input / output port, video input / output port, earphone port Etc. may be included in the input / output interface 150.
  • the display 160 may be, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, an active OLED (AMOLED). ), Micro-electromechanical systems (MEMS) displays, or electronic paper displays.
  • the display 160 may display, for example, various contents (eg, text, images, videos, icons, and / or symbols, etc.) to the user.
  • the display 160 may include a touchscreen, for example, a touch, a gesture, proximity, or hovering using an electronic pen or a part of a user's body. ) Can receive input.
  • Display 160 may, for example, show a visual output to a user.
  • the visual output may appear in the form of text, graphics, video, and combinations thereof.
  • the display 160 may display (output) various types of information processed by the electronic device 101.
  • the display 160 may display a user interface (UI) or a graphical user interface (GUI) related to the use of the electronic device 101.
  • UI user interface
  • GUI graphical user interface
  • the display 160 may display various user interfaces (eg, a UI or a GUI) related to an operation performed by the electronic device 101 (eg, a content display operation, a vibration generation operation, a vibration output operation, and the like). I can display it.
  • the display 160 may include a curved display (or a bent display) that can bend, bend, or roll without damage through a thin, flexible substrate, such as a flat panel display or paper.
  • the curved display may be fastened to the housing (or bezel) to maintain the curved shape.
  • the electronic device 101 may be implemented as a display device that can be bent and detached like a flexible display, as well as in a form such as a curved display.
  • the display 160 may be folded and unfolded by replacing the glass substrate surrounding the liquid crystal with a plastic film in a liquid crystal display (LCD), a light emitting diode (LED), an organic light emitting diode (OLED), or an active OLED (AMOLED). It can give flexibility.
  • the display 160 extends to at least one side (eg, at least one of a left side, a right side, an upper side, and a bottom side) of the electronic device 101 such that a curved display can be operated. (radius of curvature) (eg radius of curvature 5cm, 1cm, 7.5mm, 5mm, 4mm, etc.) can be folded and fastened to the side of the housing.
  • radius of curvature eg radius of curvature 5cm, 1cm, 7.5mm, 5mm, 4mm, etc.
  • the communication interface 170 may establish communication between the electronic device 101 and an external device (eg, the first external electronic device 102, the second external electronic device 104, or the server 106). Can be.
  • the communication interface 170 may be connected to the network 162 through wireless or wired communication to communicate with an external device.
  • Wireless communication includes, for example, long term evolution (LTE), LTE Advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), and wireless broadband (WiBro). Or cellular communication using at least one of a global system for mobile communications (GSM) and the like.
  • LTE long term evolution
  • LTE-A LTE Advance
  • CDMA code division multiple access
  • WCDMA wideband CDMA
  • UMTS universal mobile telecommunications system
  • WiBro wireless broadband
  • GSM global system for mobile communications
  • the wireless communication is, for example, as illustrated by element 164 of FIG. 1, wireless fidelity (WiFi), light fidelity (LiFi), wireless gigabit alliance (WiGig), and Bluetooth (Bluetooth). ), Bluetooth low energy (BLE), Zigbee, near field communication (NFC), magnetic secure transmission, radio frequency (RF), or body area network (BAN, body) and at least one of an area network.
  • WiFi wireless fidelity
  • LiFi light fidelity
  • WiGig wireless gigabit alliance
  • Bluetooth Bluetooth low energy
  • BLE Bluetooth low energy
  • NFC near field communication
  • RF radio frequency
  • BAN body area network
  • the wireless communication may include a GNSS.
  • the GNSS may be, for example, a global positioning system (GPS), a global navigation satellite system (Glonass), a Beidou Navigation Satellite System (hereinafter “Beidou”), or a Galileo, the European global satellite-based navigation system.
  • GPS global positioning system
  • Galonass global navigation satellite system
  • Beidou Beidou Navigation Satellite System
  • Galileo the European global satellite-based navigation system
  • Wired communication may include, for example, universal serial bus (USB), high definition multimedia interface (HDMI), updated standard 232 (RS-232), power line communication, or plain old telephone service (POTS). It may include at least one.
  • USB universal serial bus
  • HDMI high definition multimedia interface
  • RS-232 updated standard 232
  • POTS plain old telephone service
  • the network 162 may comprise at least one of a telecommunications network, for example, a computer network (eg, a local area network (LAN) or a wide area network (WAN)), the Internet, or a telephone network. It may include.
  • a computer network eg, a local area network (LAN) or a wide area network (WAN)
  • WAN wide area network
  • the network 162 may comprise at least one of a telecommunications network, for example, a computer network (eg, a local area network (LAN) or a wide area network (WAN)), the Internet, or a telephone network. It may include.
  • Each of the first external electronic device 102 and the second external electronic device 104 may be the same or different type of device as the electronic device 101. According to various embodiments of the present disclosure, all or part of operations executed in the electronic device 101 may be executed in one or a plurality of external devices (for example, the electronic devices 102 and 104 or the server 106).
  • the electronic device 101 when the electronic device 101 needs to perform a function or service automatically or by request, the electronic device 101 may instead or additionally execute the function or service by itself.
  • the associated at least some functions may be requested to other electronic devices (eg, the electronic devices 102 and 104 or the server 106).
  • the other electronic device (for example, the electronic devices 102 and 104 or the server 106) may execute the requested function or the additional function and transmit the result to the electronic device 101.
  • the electronic device 101 may process the received result as it is or additionally to provide the requested function or service.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • the server 106 may be, for example, an integration server, a provider server (or a carrier server), a content server, an internet server, a cloud server. ), A web server, a secure server, a certification server, or the like.
  • FIG. 2 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • the electronic device 201 may include, for example, all or part of the electronic device 101 illustrated in FIG. 1.
  • the electronic device 201 may include one or more processors 210 (eg, an AP), a communication module 220, a subscriber identification module 224, a memory 230, a sensor module 240, an input device 250, and a display ( 260, interface 270, audio module 280, camera module 291, power management module 295, battery 296, indicator 297, motor 298 (eg, vibration motor), and the like. It may include.
  • the electronic device 201 may not be essential to those illustrated in FIG. 2, and thus may be implemented to have more or fewer configurations than those illustrated in FIG. 2.
  • the electronic device 201 may not include any components.
  • the above-described components of the electronic device 201 may be seated on or outside the housing (or bezel, main body) of the electronic device 201.
  • the processor 210 may control, for example, a plurality of hardware or software components connected to the processor 210 by driving an operating system or an application program, and may perform various data processing and operations.
  • the processor 210 may be implemented with, for example, a system on chip (SoC).
  • SoC system on chip
  • the processor 210 may further include a graphic processing unit (GPU) and / or an image signal processor (ISP).
  • GPU graphic processing unit
  • ISP image signal processor
  • the processor 210 may include at least some of the components illustrated in FIG. 2 (eg, the cellular module 221). The processor 210 may load and process instructions or data received from at least one of other components (eg, nonvolatile memory) into the volatile memory, and store the result data in the nonvolatile memory.
  • other components eg, nonvolatile memory
  • the processor 210 may include one or more processors.
  • the processor 210 may include a communication processor (CP), an application processor (AP), an interface (eg, GPIO, general purpose input / output), internal memory, or the like as separate components, or one or more components. It can be integrated in an integrated circuit.
  • the application processor may execute various software programs to perform various functions for the electronic device 201, and the communication processor may perform processing and control for voice communication and data communication. Can be done.
  • the processor 210 may execute a specific software module (for example, an instruction set) stored in the memory 230 to perform various specific functions corresponding to the module.
  • the processor 210 may control the overall operation of the electronic device 201.
  • the processor 210 may include an audio module 280, an interface 270, a display 260, a camera module 291, a communication module 220, a power management module 295, and a sensor module 240. Or control the operation of a hardware module such as a motor 298.
  • the processor 210 may be electrically connected to the display 260, the memory 230, and / or the motor 298 of the electronic device 201.
  • the processor 210 selects a multi frequency using a musical element, sets at least one vibration based on the selected multi frequency, and generates a vibration pattern based on the set vibration. Handle the actions associated with doing this.
  • the processor 210 may be configured to select multiple frequencies within the support frequency band of the motor 298 and to determine respective vibrations corresponding to the multiple frequencies based on at least a portion of the musical component. Can handle the operation.
  • the processor 210 may process an operation related to generating a vibration by recognizing a frequency for vibration based on a user interaction using a user interface.
  • the processor 210 may process an operation related to generating a vibration by recognizing a frequency for vibration in music selected by a user.
  • the communication module 220 may have a configuration that is the same as or similar to that of the communication interface 170 illustrated in FIG. 1, for example.
  • the communication module 220 may include, for example, a cellular module 221, a WiFi module 223, a Bluetooth module 225, a GNSS module 227, an NFC module 228, and an RF module 229. have.
  • the communication module 220 may further include, for example, a WiGig module (not shown).
  • the WiFi module 223 and the WiGig module may be integrated into one chip.
  • the cellular module 221 may, for example, provide a voice call, a video call, a text service, an internet service, or the like through a communication network. According to an embodiment of the present disclosure, the cellular module 221 may perform identification and authentication of the electronic device 201 in a communication network using a subscriber identification module (eg, a subscriber identification module (SIM) card) 224. . According to an embodiment of the present disclosure, the cellular module 221 may perform at least some of the functions that the processor 210 may provide. According to an embodiment of the present disclosure, the cellular module 221 may include a communication processor (CP).
  • CP communication processor
  • At least some (eg, two or more) of the cellular module 221, the WiFi module 223, the Bluetooth module 225, the GNSS module 227, or the NFC module 228 may include one IC ( integrated chip) or IC package.
  • the RF module 229 may transmit / receive a communication signal (for example, an RF signal), for example.
  • the RF module 229 may include, for example, a transceiver, a power amplifier module (PAM), a frequency filter, a low noise amplifier (LNA), an antenna, or the like.
  • PAM power amplifier module
  • LNA low noise amplifier
  • at least one of the cellular module 221, the WiFi module 223, the Bluetooth module 225, the GNSS module 227, or the NFC module 228 may transmit and receive an RF signal through a separate RF module. Can be.
  • the WiFi module 223 may, for example, connect a wireless local area network (WLAN) link with a wireless Internet connection and an external device (e.g., another electronic device 102 or server 106, etc.). It may represent a module for forming.
  • the WiFi module 223 may be embedded or external to the electronic device 201.
  • Wireless Internet technologies may include WiFi, WiGig, Wibro, world interoperability for microwave access (WiMax), high speed downlink packet access (HSDPA), or millimeter wave (mmWave).
  • the WiFi module 223 may be directly connected to the electronic device 201, or may be connected to an external device (eg, another electronic device (eg, a wireless Internet network) (eg, the network 162)). 104, etc.), various data of the electronic device 201 may be transmitted to the outside or received from the outside.
  • the WiFi module 223 may be constantly turned on or may be turned on / off according to a setting of the electronic device or a user input.
  • the Bluetooth module 225 and the NFC module 228 may represent, for example, a short range communication module for performing short range communication.
  • Bluetooth, low power Bluetooth (BLE), radio frequency identification (RFID), infrared communication (IrDA), ultra wideband (UWB), Zigbee, or NFC may be used as a short range communication technology.
  • the short range communication module interlocks with the external device (for example, other electronic device 102, etc.) connected to the electronic device 201 through a network (for example, a short distance communication network) to externally store various data of the electronic device 201. Can be sent or received by the device.
  • the short range communication module (for example, the Bluetooth module 225 and the NFC module 228) may be always on, or may be turned on / off according to a setting of the electronic device 201 or a user input.
  • Subscriber identification module 224 may include, for example, a card or embedded SIM that includes a subscriber identification module, and may include unique identification information (eg, integrated circuit card identifier (ICCID)) or subscriber information (eg, IMSI). (international mobile subscriber identity)).
  • ICCID integrated circuit card identifier
  • IMSI international mobile subscriber identity
  • the memory 230 may include, for example, an internal memory 232 or an external memory 234.
  • the internal memory 232 may be, for example, volatile memory (for example, dynamic access memory (DRAM), synchronous RAM (SRAM), or synchronous dynamic RAM, etc.), nonvolatile memory (for example, OTPROM). (one time programmable read only memory), programmable ROM (PROM), erasable and programmable ROM (EPROM), electrically EPROM (EEPROM), mask ROM, flash ROM, flash memory, hard drive, or solid state drive (SSD) and a solid state drive).
  • DRAM dynamic access memory
  • SRAM synchronous RAM
  • OTPROM nonvolatile memory
  • OTPROM nonvolatile memory
  • PROM programmable ROM
  • EPROM erasable and programmable ROM
  • EEPROM electrically EPROM
  • mask ROM mask ROM
  • flash ROM flash memory
  • flash memory hard drive
  • SSD solid state drive
  • the external memory 234 may be a flash drive, for example, a compact flash (CF), a secure digital (SD), a micro-SD, a mini-SD, an extreme digital (XD), or a multi-media card (MMC). Or a memory stick.
  • the external memory 234 may be functionally or physically connected to the electronic device 201 through various interfaces.
  • the memory 230 may, in various embodiments, be configured by the processor 210 to select a multi frequency using musical elements in a frequency band supported by the motor 298, and at least one based on the selected multi frequency. And store one or more programs, data, or instructions related to setting the vibration of and generating a vibration pattern based on the set vibration. According to various embodiments of the present disclosure, the memory 230 may allow the processor 210 to select multiple frequencies within the support frequency band of the motor 298 and to generate respective vibrations corresponding to the multiple frequencies at least a part of the musical element. Store one or more programs, data, or instructions related to processing an operation related to determining based on the
  • the memory 230 may generate a vibration based on a musical element, a frequency for vibration in the musical element (for example, a standard frequency for each scale and octave in Table 1 below), and a frequency according to the musical element. You can save patterns, etc.
  • the memory 230 may include expansion memory (eg, external memory 234) or internal memory (eg, internal memory 232).
  • expansion memory eg, external memory 234
  • internal memory eg, internal memory 232
  • the electronic device 201 may operate in association with a web storage that performs a storage function of the memory 230 on the Internet.
  • the memory 230 may store one or more software (or software modules).
  • the software component may be an operating system software module, a communication software module, a graphics software module, a user interface software module, a moving picture experts group (MPEG) module, a camera software module, or one or more application software modules. It may include.
  • a module which is a software component, may be expressed as a set of instructions, so that a module may be referred to as an instruction set. Modules are also represented programmatically.
  • the memory 230 may include additional modules (instructions) in addition to the above-described module. Or, if necessary, some modules (instructions) may not be used.
  • Operating system software modules may include various software components that control general system operations. Controlling such general system operation may mean, for example, memory management and control, storage hardware (device) control and management, or power control and management.
  • the operating system software module may also perform functions that facilitate communication between various hardware (devices) and software components (modules).
  • the communication software module may enable communication with other electronic devices such as a wearable device, a smartphone, a computer, a server, or a portable terminal through the communication module 220 or the interface 270.
  • the communication software module may be configured with a protocol structure corresponding to the communication method.
  • the graphics software module may include various software components for presenting and displaying graphics on the display 260.
  • graphics may be used to mean text, web pages, icons, digital images, video, animations, and the like. have.
  • the user interface software module may include various software components related to the user interface (UI). For example, it may include how the state of the user interface changes or under what conditions the state of the user interface state changes.
  • the MPEG module may include software components that enable processes and functions (eg, creation, playback, distribution and transmission, etc.) of digital content (eg, video, audio, etc.).
  • processes and functions eg, creation, playback, distribution and transmission, etc.
  • digital content eg, video, audio, etc.
  • the camera software module may include camera related software components that enable camera related processes and functions.
  • Application modules include web browsers, including a rendering engine, email, instant messages, word processing, keyboard emulation, address book ), Touch list, widget, digital right management (DRM), iris scan, context recognition, voice recognition, location determination ( position determining function), location based service, and the like.
  • the application module may include a health care (eg, measuring exercise amount or blood sugar) or an application for providing environmental information (eg, barometric pressure, humidity, or temperature information). Can be.
  • the application module may include one or more applications for performing an operation of generating and providing an associated vibration based on a musical element.
  • the sensor module 240 may measure, for example, a physical quantity or detect an operation state of the electronic device 201 and convert the measured or detected information into an electrical signal.
  • the sensor module 240 is, for example, a gesture sensor 240A, a gyro sensor 240B, a barometer sensor 240C, a magnetic sensor 240D. , Acceleration sensor (240E), grip sensor (240F), proximity sensor (240G), color sensor (240H) (e.g. RGB (red, green, blue) Sensor), a biometric sensor 240I, a temperature / humidity sensor 240J, an illuminance sensor 240K, or an ultraviolet violet sensor 240M. It may include one.
  • the sensor module 240 may include, for example, an e-nose sensor, an electromyography sensor, an electroencephalogram sensor, or the like. And an electrocardiogram (ECG) sensor, an infrared (IR) sensor, an iris scan sensor, and / or a fingerprint scan sensor.
  • the sensor module 240 may further include a control circuit for controlling at least one or more sensors belonging thereto.
  • the electronic device 201 may be a processor (eg, a low power processor, a micro controller unit (MCU), a micro processor unit (MPU) configured to control the sensor module 240 as part of or separately from the processor 210). Etc.), while the processor 210 is in a sleep state, the sensor module 240 may be controlled.
  • the input device 250 may include, for example, a touch panel 252, a (digital) pen sensor 254, a key 256, or an ultrasonic input device 258.
  • the touch panel 252 may use at least one of capacitive, resistive, infrared, or ultrasonic methods, for example.
  • the touch panel 252 may further include a control circuit.
  • the touch panel 252 may further include a tactile layer to provide a tactile response to the user.
  • the (digital) pen sensor 254 may be, for example, part of a touch panel or may include a separate sheet for recognition.
  • the key 256 may include, for example, a physical button, an optical key, or a keypad.
  • the ultrasonic input device 258 may detect the ultrasonic waves generated by the input tool through the microphone 288 and check the data corresponding to the detected ultrasonic waves.
  • the input device 250 may include an electronic pen.
  • the input device 250 may be implemented to receive a force touch.
  • Display 260 may include panel 262, hologram device 264, projector 266, and / or control circuitry to control them.
  • the panel 262 may be implemented to be, for example, flexible, transparent, or wearable.
  • the panel 262 may be configured with the touch panel 252 and one or more modules.
  • the panel 262 may include a pressure sensor (or force sensor) capable of measuring the strength of the pressure with respect to the user's touch.
  • the pressure sensor may be integrated with the touch panel 252 or may be implemented with one or more sensors separate from the touch panel 252.
  • the panel 262 may be seated on the display 260 and sense a user input in contact with or in proximity to the surface of the display 260.
  • the user input may include a touch input or a proximity input input based on at least one of single-touch, multi-touch, hovering, or air gesture.
  • the panel 262 may receive a user input for starting an operation related to the use of the electronic device 201 in various embodiments, and generate an input signal according to the user input.
  • the panel 262 may be configured to convert a change in pressure applied to a specific portion of the display 260 or capacitance occurring at a specific portion of the display 260 into an electrical input signal.
  • the panel 262 may detect a location and area at which an input tool (eg, a user's finger, an electronic pen, etc.) is touched or approached on the surface of the display 260.
  • the panel 262 may be implemented to detect even a pressure (for example, force touch) at the time of touch according to the applied touch method.
  • the hologram 264 may show a stereoscopic image in the air by using interference of light.
  • the projector 266 may display an image by projecting light onto a screen.
  • the screen may be located inside or outside the electronic device 201.
  • the interface 270 may include, for example, an HDMI 272, a USB 274, an optical interface 276, a D-subminiature 278, or the like.
  • the interface 270 may be included in, for example, the communication interface 170 illustrated in FIG. 1.
  • interface 270 may include, for example, a mobile high-definition link (MHL) interface, an SD card / multi-media card (MMC) interface, or an infrared data association (IrDA) compliant interface. have.
  • MHL mobile high-definition link
  • MMC multi-media card
  • IrDA infrared data association
  • the interface 270 may receive data from another electronic device, or may receive power and transfer the power to each component in the electronic device 201.
  • the interface 270 may allow data inside the electronic device 201 to be transmitted to another electronic device.
  • wired / wireless headphone port, external charger port, wired / wireless data port, memory card port, audio input / output port, video input / output port, earphone port And the like may be included in the interface 270.
  • the audio module 280 may bidirectionally convert, for example, a sound and an electrical signal. At least some components of the audio module 280 may be included in, for example, the input / output interface 145 illustrated in FIG. 1.
  • the audio module 280 may process sound information input or output through, for example, a speaker 282, a receiver 284, an earphone 286, a microphone 288, or the like.
  • the audio module 280 transmits an audio signal received from the processor 210 to an output device (eg, the speaker 282, the receiver 284, or the earphone 286), and inputs the input device (eg, the microphone 288).
  • An audio signal, such as a voice input from the processor may be transmitted to the processor 210.
  • the audio module 280 converts the voice / sound data into an audible sound through an output device under the control of the processor 210, and outputs the audio / audio data. Can be forwarded to
  • the speaker 282 or the receiver 284 may output audio data received from the communication module 220 or stored in the memory 230.
  • the speaker 282 or the receiver 284 may output sound signals related to various operations (functions) performed by the electronic device 201.
  • the microphone 288 may receive an external sound signal and process the same as electrical voice data.
  • the microphone 288 may implement various noise reduction algorithms for removing noise generated in the process of receiving an external sound signal.
  • the microphone 288 may be responsible for input of audio streaming, such as a voice command.
  • the camera module 291 is, for example, a device capable of capturing still images and moving images.
  • the camera module 291 may include one or more image sensors (eg, a front sensor or a rear sensor), a lens, and an image signal processor (ISP). Or flash (eg, LED or xenon lamp, etc.).
  • image sensors eg, a front sensor or a rear sensor
  • ISP image signal processor
  • flash eg, LED or xenon lamp, etc.
  • the camera module 291 represents a configuration supporting a capturing function of the electronic device 201.
  • the camera module 291 may photograph an arbitrary subject under the control of the processor 210, and transfer the photographed data (eg, an image) to the display 260 and the processor 210.
  • the camera module 291 may include, for example, a first camera (eg, a color (RGB) camera) and depth information (eg, location information and distance of a subject) to acquire color information. And a second camera (eg, an infrared (IR) camera) for obtaining information.
  • the first camera may be a front camera provided in the front of the electronic device 201.
  • the front camera may be replaced by the second camera, and the first camera may not be provided at the front of the electronic device 201.
  • the first camera may be disposed together on the front surface of the electronic device 201 together with the second camera.
  • the first camera may be a rear camera provided at the rear of the electronic device 201.
  • the first camera may have a form including both a front camera and a rear camera respectively provided on the front and rear of the electronic device 201.
  • the camera module 291 may include an image sensor.
  • the image sensor may be implemented as a charged coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS).
  • CCD charged coupled device
  • CMOS complementary metal-oxide semiconductor
  • the power management module 295 may manage power of the electronic device 201, for example.
  • the power management module 295 may include a power management integrated circuit (PMIC), a charger IC, a battery, or a fuel gauge (or a battery gauge).
  • PMIC power management integrated circuit
  • a charger IC charger IC
  • a battery battery
  • a fuel gauge or a battery gauge
  • the PMIC may have a wired and / or wireless charging scheme.
  • the wireless charging method may include, for example, a magnetic resonance method, a magnetic induction method, an electromagnetic wave method, or the like.
  • the PMIC may further include additional circuitry for wireless charging, such as a coil loop, a resonance circuit, a rectifier, or the like.
  • the fuel gauge may measure, for example, the remaining amount of the battery 296, the voltage, the current, or the temperature during charging.
  • the battery 296 may include, for example, a rechargeable battery and / or a solar battery.
  • the indicator 297 may display a specific state of the electronic device 201 or a part thereof (for example, the processor 210), for example, a booting state, a message state, or a charging state.
  • the motor 298 may convert an electrical signal into mechanical vibration, and may generate a vibration or a haptic effect.
  • the electronic device 201 may include a motor driving controller (not shown), and the motor 298 may be driven under the control of the motor driving controller.
  • the processor 210 applies a signal related to vibration generation to the motor driving controller, and the motor driving controller outputs a motor driving signal corresponding to the signal received from the processor 210 to the motor 298.
  • the motor 298 may be driven by the motor driving signal received from the motor driving controller to generate vibration.
  • motor 298 may be a motor that supports a wide band of frequency bands, thereby providing multiple frequencies (eg, generating vibrations at multiple frequencies). have. An example thereof is described with reference to FIG. 4 described later.
  • the motor 298 is described as an example, but various embodiments are not limited thereto.
  • a vibration generating device or module
  • the vibration generating device may include, for example, a motor 298, a vibrator, an actuator, or a haptic generating device.
  • Various embodiments may use one or more vibration generating devices to perform operations related to vibration generation and generation according to various embodiments described below.
  • the electronic device 201 may include, for example, a mobile device capable of processing media data according to a standard such as digital multimedia broadcasting (DMB), digital video broadcasting (DVB), or mediaFlo TM . It may include a TV support device (eg, GPU).
  • DMB digital multimedia broadcasting
  • DVD digital video broadcasting
  • mediaFlo TM mediaFlo TM
  • TV support device eg, GPU
  • Each of the components described in this document may be composed of one or more components, and the names of the corresponding components may vary depending on the type of electronic device.
  • the electronic device eg, the electronic devices 101 and 201
  • the electronic devices 101 and 201 may be omitted, some additional components may be included, or some of the components may be combined to form a single object.
  • the functions of the corresponding components before combining may be performed in the same way.
  • FIG. 3 is a block diagram of a program module according to various embodiments of the present disclosure.
  • the program module 310 may be configured to operate on an operating system and / or operating system that controls resources related to the electronic device (eg, the electronic devices 101 and 201). It may include an application (for example, the application program 147).
  • the operating system may include, for example, Android TM , iOS TM , Windows TM , Symbian TM , Tizen TM , or Bada TM .
  • the program module 310 may include a kernel 320 (eg, kernel 141), middleware 330 (eg, middleware 143), and API 360 (eg, API 145). , And / or the application 370 (eg, the application program 147). At least a part of the program module 310 may be preloaded on the electronic device or may be downloaded from an external electronic device (eg, the electronic devices 102 and 104, the server 106, etc.).
  • a kernel 320 eg, kernel 141
  • middleware 330 eg, middleware 143
  • API 360 eg, API 145
  • the application 370 eg, the application program 147
  • At least a part of the program module 310 may be preloaded on the electronic device or may be downloaded from an external electronic device (eg, the electronic devices 102 and 104, the server 106, etc.).
  • the kernel 320 may include, for example, a system resource manager 321 and / or a device driver 323.
  • the system resource manager 321 may perform control, allocation, or retrieval of system resources. According to an embodiment of the present disclosure, the system resource manager 321 may include a process manager, a memory manager, or a file system manager.
  • the device driver 323 may include, for example, a display driver, a camera driver, a Bluetooth driver, a shared memory driver, a USB driver, a keypad driver, a WiFi driver, an audio driver, or an inter-process communication (IPC) driver.
  • a display driver for example, a liquid crystal display (LCD) driver, a Wi-Fi driver, a Wi-Fi driver, a Wi-Fi driver, a Wi-Fi driver, or a Wi-Fi driver.
  • IPC inter-process communication
  • the middleware 330 may provide various functions through the API 360, for example, to provide functions commonly required by the application 370, or to allow the application 370 to use limited system resources inside the electronic device. May be provided to the application 370.
  • the middleware 330 may include a runtime library 335, an application manager 341, a window manager 342, and a multimedia manager 343.
  • a notification manager 349, a location manager 350, a graphic manager 351, or a security manager 352. have.
  • the runtime library 335 may include, for example, a library module used by a compiler to add new functions through a programming language while the application 370 is running.
  • the runtime library 335 may perform input / output management, memory management, or arithmetic function processing.
  • the application manager 341 may manage, for example, a life cycle of the application 370.
  • the window manager 342 may manage graphical user interface (GUI) resources used on the screen.
  • GUI graphical user interface
  • the multimedia manager 343 may identify a format necessary for playing the media files, and may encode or decode the media file using a codec suitable for the format.
  • the resource manager 344 may manage space of source code or memory of the application 370.
  • the power manager 345 may manage, for example, the capacity, temperature, or power of the battery, and may determine or provide power information necessary for the operation of the electronic device using the corresponding information. According to an embodiment of the present disclosure, the power manager 345 may interwork with a basic input / output system (BIOS).
  • BIOS basic input / output system
  • the database manager 346 may create, retrieve, or change a database to be used, for example, in the application 370.
  • the package manager 347 may manage installation or update of an application distributed in the form of a package file.
  • the connectivity manager 348 may manage, for example, a wireless connection.
  • the notification manager 349 may provide the user with events such as, for example, an arrival message, an appointment, a proximity notification, and the like.
  • the location manager 350 may manage location information of the electronic device, for example.
  • the graphic manager 351 may manage, for example, graphic effects to be provided to the user or a user interface related thereto.
  • the security manager 352 may provide system security or user authentication, for example.
  • the middleware 330 may include a telephony manager for managing a voice or video telephony function of the electronic device or a middleware module that may form a combination of functions of the above-described components.
  • the middleware 330 may provide a module specialized for each type of OS. The middleware 330 may dynamically delete some of the existing components or add new components.
  • API 360 is, for example, a set of API programming functions, which may be provided in different configurations depending on the operating system. For example, in the case of Android or iOS, one API set may be provided for each platform, and in Tizen, two or more API sets may be provided for each platform.
  • the application 370 is, for example, a home 371, a dialer 372, an SMS / MMS 373, an instant message (IM) 374, a browser 375, a camera 376, an alarm 377. , Applications 378, voice dial 379, email 380, calendar 381, media player 382, album 383, watch 384, and the like.
  • the application 370 may include a health care (eg, exercise amount or blood glucose, etc.) or an environment information (eg, barometric pressure, humidity, or temperature information) application.
  • the application 370 may include an application to perform an operation of generating and providing an associated vibration based on a musical element.
  • the application 370 may include an information exchange application capable of supporting information exchange between the electronic device 201 and an external electronic device.
  • the information exchange application may include, for example, a notification relay application for delivering specific information to the external electronic device, or a device management application for managing the external electronic device.
  • the notification relay application may deliver notification information generated by another application of the electronic device to the external electronic device, or receive notification information from the external electronic device and provide the notification information to the user.
  • the device management application may, for example, turn-on / turn-off of a function of an external electronic device (eg, the external electronic device itself (or some component)) in communication with the electronic device. ) Or adjust the brightness (or resolution) of the display, or install, delete, or update an application running on the external electronic device.
  • the application 370 may include an application (eg, a health care application of a mobile medical device) designated according to an attribute of the external electronic device.
  • an application eg, a health care application of a mobile medical device
  • the application 370 may include an application received from an external electronic device.
  • At least a portion of the program module 310 may be implemented (eg, executed) in software, firmware, hardware (eg, the processor 210), or a combination of at least two or more thereof, and a module for performing one or more functions; It can include a program, routine, instruction set, or process.
  • module includes a unit composed of hardware, software, or firmware, and includes, for example, logic, logic block, component, or circuit. Can be used interchangeably with such terms.
  • the module may be an integrally formed part or a minimum unit or part of performing one or more functions.
  • Modules may be implemented mechanically or electronically, for example, application-specific integrated circuit (ASIC) chips, field-programmable gate arrays (FPGAs), or known or future developments that perform certain operations. It can include a programmable logic device.
  • ASIC application-specific integrated circuit
  • FPGAs field-programmable gate arrays
  • At least a portion of an apparatus (eg, modules or functions thereof) or method (eg, operations) may be a computer-readable storage medium (eg, memory 130 of FIG. 1 or It may be implemented by instructions stored in the memory 230 of FIG. 2.
  • a processor eg, the processor 120 of FIG. 1 or the processor 210 of FIG. 2
  • the processor may perform a function corresponding to the command.
  • Computer-readable recording media include hard disks, floppy disks, magnetic media (e.g. magnetic tape), optical recording media (e.g. compact disc read only memory), DVD (digital versatile disc), magneto-optical media (eg, floptical disk), internal memory, etc. Instructions may be code generated by the compiler or an interpreter.
  • the module or the program module according to various embodiments of the present disclosure may include at least one or more of the above components, some of them may be omitted, or may further include other components. .
  • the recording medium may include a computer-readable recording medium having recorded thereon a program for executing various methods described below in the processors 120 and 210.
  • operations performed by a module, program module, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or at least some operations may be executed in a different order, omitted, or otherwise. Actions can be added.
  • FIG. 4 is a diagram illustrating an operating frequency of a motor of an electronic device according to various embodiments of the present disclosure.
  • a first waveform 410 illustrates an example for describing a support frequency band of a general motor
  • a second waveform 430 illustrates an assist frequency band of a motor according to various embodiments.
  • An example can be shown.
  • the horizontal axis (X axis) may represent the frequency of the motor
  • the vertical axis (Y axis) may represent the output (eg, acceleration) of the motor.
  • a frequency band that can be supported as shown in the example of the first waveform 410 of FIG. 4 may have a range of, for example, 190 Hz to 210 Hz.
  • a typical motor only a single vibration can occur, for example, at a single frequency (or at a resonant frequency, for example, a frequency that can exhibit the greatest intensity). Therefore, in a general motor, as the supportable frequency band is narrow, it is difficult to generate various vibrations based on multiple frequencies, and at present, monotonous vibration is generated by controlling only driving time, driving direction, driving speed, or driving strength. have.
  • a frequency band that can be supported as shown in the example of the second waveform 430 of FIG. 4 may include, for example, an output (eg, acceleration of 5 m / s2 or higher and acceleration of 7 m / s2 or more) designed for the motor. Etc.) may have a range of 50 Hz to 400 Hz, 100 Hz to 300 Hz, and the like. Thus, in the case of a motor according to various embodiments, a plurality of vibrations, which may be the same or different, may occur at multiple frequencies (or resonance frequencies).
  • an output eg, acceleration of 5 m / s2 or higher and acceleration of 7 m / s2 or more
  • Etc. may have a range of 50 Hz to 400 Hz, 100 Hz to 300 Hz, and the like.
  • a plurality of vibrations which may be the same or different, may occur at multiple frequencies (or resonance frequencies).
  • various vibrations may be generated based on multiple frequencies, and each of the various vibrations may include driving time, driving direction, driving speed, or By controlling the driving strength in combination, various vibrations can be generated to provide vibration feedback to the user in various expressions (eg, realistic, realistic, intuitive, tactile, or rhythmic melody vibrations).
  • the driving signal of the motor may be generated based on one or more frequencies at multiple frequencies of the support frequency band without controlling the motor at a specific frequency.
  • FIG. 5 is a diagram illustrating an example of a vibration processing module in an electronic device according to various embodiments of the present disclosure.
  • FIG. 5 relates to generating and providing related vibrations based on musical elements in an electronic device (eg, the electronic devices 101 and 201 of FIG. 1 or 2) according to various embodiments.
  • An example of the vibration processing module 500 may be shown.
  • the vibration processing module 500 may be included as a hardware module or a software module in a processor (eg, the processors 120 and 210, hereinafter, the processor 210 of FIG. 1 or 2). .
  • the vibration processing module 500 for generating and providing vibrations may include a frequency extraction module 510, a vibration generating module 520, a vibration output module 530, and a vibration mastication ( authoring) module 540 and the like.
  • the frequency extraction module 510 may represent a module that extracts or recognizes a frequency corresponding to a musical element.
  • the musical element may include, for example, tempo (beat), length, repetition, pitch, scale, and the like.
  • the musical scale eg, Do, Re, Mi, Pa, Sol, La, Si, Do) ), Etc.
  • the frequency unit may be hertz (Hz).
  • the frequency extraction module 510 may extract a frequency according to a musical element in connection with generating a vibration having a melody using the motor 298.
  • a musical element in connection with generating a vibration having a melody using the motor 298.
  • the frequency extraction module 510 may dodo in a supported frequency band of the motor 298.
  • a vibration frequency corresponding to the frequency of the solar cell CCGGAAG may be extracted.
  • the frequency extraction module 510 may extract other frequencies according to the pitch (or octave) (for example, sisi wave # sira # wave #).
  • the frequency extracting module 510 may extract based on frequencies corresponding to various inputs (or user interactions).
  • the frequency extraction module 510 may provide a musical element for the vibration frequency based on a specific music (or melody), and the frequency extraction module 510 may provide a music element in a specific music (or melody). Vibration frequencies can be extracted from each frequency. According to an embodiment of the present disclosure, the frequency extracting module 510 may extract each frequency corresponding to a touch input for selecting a frequency of a designated region as a vibration frequency based on an interaction with a user using a user interface. According to an embodiment of the present disclosure, the frequency extracting module 510 may extract each frequency corresponding to the strength of the pressure of the force touch as a vibration frequency based on the interaction with the user using the user interface. According to an embodiment of the present disclosure, the frequency extracting module 510 may extract each frequency corresponding to a voice (or audio) from a user's voice input or audio input by an audio input device such as a microphone as a vibration frequency.
  • an audio input device such as a microphone
  • the vibration generating module 520 may represent a module for generating vibration corresponding to a frequency based on a musical element. According to an embodiment of the present disclosure, the vibration generating module 520 may generate vibration based on the vibration frequency extracted by the frequency extraction module 510. According to various embodiments of the present disclosure, when generating vibrations, the vibration generating module 520 may generate different tempo and length of each vibration based on musical elements (eg, tempo, length, repetition, etc.). According to an embodiment of the present disclosure, the vibration generating module 520 may improve vibration recognition and a unique pattern by forming a vibration texture and a unique pattern by multiple vibrations corresponding to multiple frequencies.
  • rhythmic vibrations may be provided to the user at two to three cooperating frequency.
  • two or more frequencies (or changes) with low coordination may increase the transmission power for a warning notification, and may intuitively provide information such as a warning or an error.
  • the vibration generating module 520 may generate a vibration pattern based on each vibration and store it in the memory 230.
  • the vibration output module 530 may represent a module for outputting a melody vibration (hereinafter, melody vibration) in response to a musical element.
  • melody vibration a melody vibration
  • the vibration output module 530 classifies tempo (beat), length, direction, speed, or intensity according to a vibration pattern generated based on a musical element, thereby expressing various expressions (eg, realistic, realistic). , Intuitive, tactile, or rhythmic melody vibrations).
  • the vibration output module 530 may generate a vibration by converting the scale into a harmonic frequency and mapping the converted harmonic frequency to coordinating or dissonant.
  • the vibration output module 530 when the vibration output module 530 detects an event related to a vibration output from inside or outside, the vibration output module 530 may generate a vibration corresponding to a cooperating sound or a discordant sound based on a frequency according to the corresponding event.
  • vibration of the coordination sound may be generated or vibration of the discordant sound may be generated according to a specific situation.
  • the vibration authoring module 540 may represent a module that processes operations related to constructing vibration patterns by a user based on musical elements. According to various embodiments of the present disclosure, the vibration authoring module 540 may provide a user interface for supporting a vibration authoring of a user, and may process an operation of generating vibration based on an interaction with the user by the user interface. have. For example, the vibration authoring module 540 may detect a user input based on a user interface, and set an operating frequency, a length, a tempo, and an intensity of the vibration in response to the user input. The vibration mastication by the vibration mastication module 540 is described in detail with reference to the drawings described below.
  • the electronic device may include a display 160 and 260, a vibration generating device (for example, a motor 298), and a processor 120 functionally connected to the display and the vibration generating device.
  • the processor selects a multi frequency using a musical element, sets at least one vibration based on the selected multi frequency, and generates a vibration pattern based on the set vibration Can be configured to
  • the vibration generator may support a wide frequency band and include at least one of a motor, a vibrator, an actuator, or a haptic generator. have.
  • the multiple frequencies may be the same or different plurality of frequencies included in the support frequency band of the vibration generating device.
  • the processor sets a first vibration corresponding to the first frequency of the multi-frequency, sets a second vibration corresponding to the second frequency of the multi-frequency, and sets the first vibration and the The second vibration may be combined to further generate one vibration pattern.
  • the processor may be further configured to determine the vibration corresponding to the selected multiple frequency based on at least a portion of the musical component.
  • the processor is further configured to select the multiple frequencies based on a user interaction, wherein the user interaction includes a touch input of a designated area, a force touch input according to pressure intensity, or audio (or voice). It may be characterized by including at least one of the input.
  • the processor may be further configured to recognize the musical element in the selected music and select the multiple frequencies.
  • the processor may be further configured to generate the vibration pattern by setting at least one of a length, a period, an intensity, or a speed with respect to each of the first vibration and the second vibration.
  • the first vibration and the second vibration may have the same or different frequency, and the intervals of the first vibration and the second vibration may be overlapped through at least a part of each of the first vibration and the second vibration, or may have a different length. It can be characterized as being independently classified according to.
  • the processor may further be configured to detect an event (eg, an internal event or an external event) related to the vibration output and output vibration in a multi-frequency combination according to the cooperative sound or the discordant sound according to the event. .
  • an event eg, an internal event or an external event
  • FIG. 6 is a flowchart illustrating a method of operating an electronic device according to various embodiments of the present disclosure.
  • one or more including a processor eg, processing circuitry of an electronic device (eg, the electronic devices 101, 201, 102, 104 of FIG. 1 or 2).
  • the above processors eg, the processors 120 and 210 of FIG. 1 or 2, hereinafter, the processor 210) may select a frequency using a musical element.
  • the musical element may include, for example, tempo (beat), length, repetition, pitch, scale, and the like.
  • the processor 210 may select one or more frequencies based on at least a portion (eg, scale, pitch, etc.) of musical elements.
  • the processor 210 may set vibrations according to the selected frequency. According to an embodiment of the present disclosure, the processor 210 may sequentially set the vibration in frequency selection, such as setting the first vibration in response to the first frequency selection and setting the second vibration in response to the second frequency selection. . According to an embodiment of the present disclosure, the processor 210 may collectively set vibrations for each frequency in response to a plurality of frequency selections. In various embodiments, when setting vibrations, the processor 210 may set each vibration differently based on at least a portion (eg, tempo, length, pitch, etc.) of musical elements.
  • a portion eg, tempo, length, pitch, etc.
  • the processor 210 may generate a vibration pattern based on at least one vibration set. According to an embodiment of the present disclosure, the processor 210 may generate a single vibration pattern by combining the first vibration of the first frequency and the second vibration of the second frequency, and store the generated vibration pattern in the memory 230. .
  • FIG. 7 is a flowchart illustrating a method of operating an electronic device according to various embodiments of the present disclosure.
  • the processor 210 of the electronic device may select multiple frequencies within the support frequency band of the motor 298.
  • the processor 210 may select multiple frequencies based on a user input. For example, a user may perform interactions related to generating vibrations using a user interface displayed through a display (eg, the display 160, 260 of FIG. 1 or 2), and the processor 210 may perform an interaction with the user. The frequency can be recognized based on the interaction with the.
  • the processor 210 may select multiple frequencies based on a specific musical element. For example, the user may select (or designate) a particular music, and the processor 210 may recognize a melody (eg, musical element) in the designated music and select a corresponding multiple frequency.
  • the processor 210 may determine vibrations corresponding to multiple frequencies. According to an embodiment of the present disclosure, the processor 210 may determine a first vibration corresponding to the first frequency and determine a second vibration corresponding to the second frequency.
  • the processor 210 may set the type of vibration (eg, vibration length, vibration period, vibration repetition, etc.). According to an embodiment of the present disclosure, the processor 210 may set the length of the vibration, the period of the vibration, the intensity of the vibration, the speed of the vibration, or the like, for each of the first vibration and the second vibration. In various embodiments, the processor 210 may set vibration lengths, vibration intervals, or vibration repetitions of the first and second vibrations based on musical factors (eg, tempo, length, pitch, etc.). have. In various embodiments, different frequencies may be set for the first vibration and the second vibration, and at least some sections may overlap, or sections may be independently divided according to the length of the vibration. This will be described with reference to the drawings to be described later.
  • the processor 210 may generate and / or output a vibration pattern based on multiple vibrations corresponding to multiple frequencies. According to an embodiment of the present disclosure, the processor 210 may generate one vibration pattern based on the first vibration and the second vibration and store the vibration pattern in the memory 230 according to the vibration mastication mode. According to an embodiment of the present disclosure, the processor 210 may process the melody vibration to be output based on the first vibration and the second vibration according to the vibration output mode.
  • FIGS. 8A and 8B are diagrams illustrating an example of generating vibration in an electronic device according to various embodiments of the present disclosure.
  • FIGS. 8A and 8B illustrate various functions of the electronic device (eg, phone, notification, etc.) by using musical elements (eg, pitch, scale, frequency, etc.) in the electronic device.
  • musical elements eg, pitch, scale, frequency, etc.
  • An example of setting the vibration according to the coordination / discord is shown.
  • a concordance may refer to a sound in which two or more notes are well harmonized with each other.
  • the combination of the first general pitch (eg, FIG.) And the second general pitch (eg, US) may correspond to the collaboration.
  • a major pitch or a perfect interval corresponding to the white keys of a piano may be included in the consonant sound.
  • dissonance may refer to a sound in which two or more notes do not match with each other to give an unstable feeling.
  • a combination of normal pitches (eg, degrees) and rounded (#, the sharp) pitches (eg, degrees #) may correspond to dissonance.
  • dissonance intervals, minor intervals, or augmented intervals corresponding to the black keys of the piano may be included in the discordant sound.
  • FIG. 8A illustrates an example of the configuration of non-continuous vibration of the discontinuous vibration, and illustrates an example of non-overlapping between the vibrations.
  • the first example 810 may represent a configuration example of non-coordinated non-overlapping vibration
  • the second example 820 may represent a configuration example of cooperative non-overlapping vibration.
  • the first vibration 811 is based on a frequency (eg, 130.8128 Hz) corresponding to the first frequency (eg, pitch C3).
  • the second vibration 813 may be set based on a frequency (eg, 138.5913 Hz) corresponding to the second frequency (eg, pitch # C # 3).
  • the first vibration 821 is based on a frequency (eg, 130.8128 Hz) corresponding to the first frequency (eg, pitch C3).
  • the second vibration 823 may be set based on the frequency (eg, 164.8138 Hz) corresponding to the third frequency (eg, the pitch beauty E3).
  • the first vibration 811 or 821 and the second vibration 813 or 823 according to different frequencies may operate independently (eg, non-overlapping operations) in different sections. .
  • the first vibration 811 or 821 and the second vibration 813 or 823 may be set to be repeated with their respective lengths.
  • the first vibration 811 may be repeated for every N section (for example, N is an odd number (natural number)) with a length of X
  • the second vibration 813 may be repeated.
  • the lengths X and Y may be set to have the same length value or different length values.
  • even one vibration may be set to have a different length for each section or in some sections.
  • vibration according to frequency such as X length in the first section, X + 1 length in the third section, X length in the fifth section, and X + 2 length in the seventh section, and the like.
  • X length in the first section X + 1 length in the third section
  • X length in the fifth section X + 2 length in the seventh section
  • the length of the vibration may be set based on the interval as illustrated in FIG. 8A.
  • the length of the vibration and the period of the vibration may be used in the same sense.
  • one section may be one length of vibration, one half of one section may be one length of vibration, or a plurality of consecutive sections may be one length of vibration.
  • FIG. 8B illustrates an example of a configuration of coordinating / non-coordinating vibrations of continuous vibration, and may represent an example in which at least a part of each vibration is overlapped.
  • the third example 830 may represent a configuration example of discordant overlapping vibration
  • the fourth example 840 may represent a configuration example of cooperating overlapping vibration.
  • the first vibration 831 is based on a frequency (eg, 130.8128 Hz) corresponding to a first frequency (eg, pitch C3).
  • the second vibration 833 may be set based on a frequency (eg, 138.5913 Hz) corresponding to the second frequency (eg, pitch # C # 3).
  • the first vibration 841 is based on a frequency (eg, 130.8128 Hz) corresponding to the first frequency (eg, pitch C3).
  • the second vibration 843 may be set based on the frequency (eg, 164.8138 Hz) corresponding to the third frequency (eg, the pitch beauty E3).
  • the first vibration 831 or 841 and the second vibration 833 or 843 according to different frequencies include the properties of continuous vibration (eg, continuous vibration over multiple sections), respectively. And overlap each other in at least some sections (eg, overlap operations).
  • the first vibration 831 or 841 and the second vibration 833 or 843 may be set to have respective lengths.
  • the first vibration 831 may be set to a length of X (eg, a plurality of consecutive sections), and the second vibration 833 may be a length of Y. (Eg, a plurality of consecutive sections).
  • the lengths X and Y may be set to have the same length value or different length values.
  • as the first vibration 831 and the second vibration 833 are set to have a long length at least some sections may overlap and operate simultaneously according to the start time and / or length of each vibration. .
  • the first vibration and the third frequency may be based on a combination of different frequencies (eg, first frequency & second frequency, or first frequency & third frequency).
  • the combination of two vibrations can be generated in a vibration pattern by cooperating or dissonant.
  • vibrations of a harmony or stable feeling may be provided to the user by vibrations corresponding to frequencies of the narrow pitch combination.
  • vibrations of disharmony or instability may be provided to the user by vibrations corresponding to frequencies of the discordant pitch combination.
  • FIG. 9 is a diagram illustrating an example of providing vibration in an electronic device according to various embodiments of the present disclosure.
  • FIG. 9 may illustrate examples of utilizing vibrations generated by multiple vibrations based on multiple frequencies according to musical elements, as described in the description with reference to FIG. 8.
  • example (A) of FIG. 9 may represent an example in which telephone reception vibration is set using at least two cooperating frequencies. For example, by vibrating vibration to at least two cooperating frequencies, it breaks the classic ringer-bell and provides a ringtone consisting of two or three cooperating frequencies, depending on the user's experience Highly intuitive vibration feedback can be provided.
  • example (B) of FIG. 9 may represent an example of setting error vibration using at least two discordant frequencies.
  • the vibration of the at least two discordant frequencies may provide a more intuitive notification of an error (or malfunction) of the electronic device.
  • example (C) of FIG. 9 may represent an example of setting a dynamic (eg, large vibration variation) using at least three coordinating / dissonant frequencies
  • Example (D) of may represent an example of setting a unique or uniquely identifiable vibration by the user using at least five different / discordant frequencies.
  • the electronic device forms a more dynamic (eg, a large vibration variation) vibration texture and a unique pattern as compared to the vibration by a single frequency, thereby improving the user's notification recognition. It can help.
  • FIGS. 10 and 11 are diagrams for describing an example of generating vibration in an electronic device according to various embodiments of the present disclosure.
  • FIGS. 10 and 11 illustrate various functions of electronic devices (eg, dissonance warning, logic) using musical elements (eg, pitch, scale, frequency, etc.) in the electronic device.
  • musical elements eg, pitch, scale, frequency, etc.
  • An example of setting the vibration according to the coordination / dissonance in the dialogue vibration eg, vibration for the cognitive assistance element may be shown.
  • FIG. 10 may show an example of a vibration configuration for improving notification discernment of a user's vibration.
  • the frequency of each vibration eg, octave
  • You can adjust the length to change it to match the characteristics of the notification.
  • the length of the first vibration 1010 is shortened to be changed to the third vibration 1030, and the frequency of the second vibration 1020 is the same.
  • the frequency of the pitch may be changed to the fourth vibration 1040 by increasing the frequency (for example, the frequency of the negative octave upward) and extending the length.
  • a recognition level of a vibration frequency may be lower than that of hearing by using auditory user interface (AUI) logic. Therefore, as shown in the example (B) of FIG. 10, a greater discrimination frequency (or pitch) may be used to improve the discernment of the user's vibration feedback.
  • AUI auditory user interface
  • FIG. 11 may show another example of a vibration configuration for improving notification discernment of a user's vibration.
  • FIG. 11 may illustrate an example of distinguishing a positive feedback and a negative feedback vibration feedback based on overlapping vibrations of coordinating and dissonant frequencies.
  • the first vibration 1110 and the second vibration 1120 are respectively used by using a combination of frequencies in a cooperative relationship (for example, the cooperative frequency and the cooperative frequency).
  • a positive vibration may be generated based on the first vibration 1110 and the second vibration 1120.
  • the first vibration and the second vibration can be set, respectively, and a single vibration pattern constituting them by overlapping or non-overlapping can be configured. have.
  • the first vibration 1130 and the second vibration are performed by using a frequency combination of discordant relations (for example, a discordant frequency and a discordant frequency, a discordant frequency and a discordant frequency).
  • Each of the vibrations 1140 may be set, and a negative vibration may be generated based on the first vibration 1130 and the second vibration 1140.
  • the first vibration and the second vibration are respectively set by using the first frequency corresponding to the collaborative sound and the second frequency corresponding to the discordant sound, and a single vibration pattern constituting these by overlapping or non-overlapping can be configured. Can be.
  • an example of notifying a user of a warning of a warning based on vibration may be described.
  • Existing vibration by a single frequency may be a method of conveying the urgency of the warning to the user only by variation of the cycle and / or intensity of the vibration.
  • the urgency of the warning may be transmitted to the user more discreetly through the complex vibration due to the coordination / dissonance caused by the multiple frequencies.
  • vibration feedback may be provided to the user with vibrations that correspond to frequencies of low discord, eg, discord.
  • additional notification vibrations may be provided through at least two frequencies (or changes thereof) having low coherence. Through this, it is possible to increase the transmission force by the vibration, it is possible to sensibly deliver urgent or negative information such as warning or error to the user.
  • FIGS. 12 and 13 are generated by multiple vibrations based on multiple frequencies according to musical elements, as described in the description with reference to FIGS. 10 and 11 above.
  • An example of utilizing vibration for each function of the electronic device may be described.
  • FIG. 12 may illustrate an example of providing vibration using a musical harmonic texture.
  • vibration may be provided by utilizing low frequency / high frequency texture (eg, softness) / time value.
  • the example (A) of FIG. 12 shows a conventional vibration providing method, and in the conventional method, one vibration is turned on / off like a morse code method. Only the output method may be used.
  • the example (B) of FIG. 12 illustrates a vibration providing method according to various embodiments, and may be a method of adding an existing on / off method and adding a chord and a harmonic texture.
  • the first vibration of the first frequency and the second vibration of the second frequency may be outputted by overlapping or non-overlapping at least some sections.
  • FIG. 13 illustrates an example of differentiating feedback for each function of an electronic device by using a cross of a coordination / dissonance relationship frequency pattern.
  • various notifications eg, a call reception, an SOS, a notification, a system (eg, an operation), etc.
  • a system eg, an operation
  • the harmonic vibration in the case of a caller notification, may be set by using a cross of a frequency of a cooperative relationship (for example, at least two cooperative sound frequencies).
  • a disarm (viisharmonic) vibration using a cross of a discordant relationship pattern for example, at least two dissonant / dissonant frequencies
  • vibrations classified by attributes (or types) of notifications eg, low-knock, high-chopstick, harmonic-bell, etc.
  • vibrations classified according to related operations may be set. For example, by using up / down combinations of frequencies corresponding to equal or perfect 5 degrees, vibrations upon start / end, connect / disconnect, etc. can be provided more discreetly. For example, perception of vibration frequency (or pitch) may be lower than perception by hearing using auditory user interface (AUI) logic. Therefore, according to various embodiments of the present disclosure, discernment of vibration feedback of a user may be improved by using a frequency (or pitch) of a greater difference. In addition, according to various embodiments of the present disclosure, the discernment of the vibration feedback may be further improved in parallel with the difference in the length of the vibration.
  • related operations eg. connect, disconnect, low battery, etc.
  • FIGS. 14 and 15 are diagrams illustrating an example of generating vibration in an electronic device according to various embodiments of the present disclosure.
  • Figs. 14 and 15 illustrate unique vibrations (e.g., melody vibrations) of the user by using musical elements (e.g., pitch, scale, frequency, etc.) in the electronic device. ) Can be set as an example.
  • FIGS. 14 and 15 illustrate an example of generating a melody vibration (for example, a melody vibration) by using a motor supporting a wide frequency band according to various embodiments.
  • FIG. 14 illustrates an example of configuring a vibration pattern by converting a specific melody into a frequency.
  • a specific melody for example, sisippa # sira # pa #-B2, B2
  • a frequency range eg, 110 Hz to 220 Hz
  • a musical element for example, A2 to A3.
  • F # 3, B3, A # 3, and F # 3 are examples of a specific melody.
  • FIG. 15 illustrates an example of configuring a vibration pattern by converting a specific music melody (eg, Twinkle Twinkle Little Star) into a frequency.
  • a specific music melody eg, Twinkle Twinkle Little Star
  • at least a portion of a music melody eg, Twinkle Twinkle Little Star
  • a frequency range eg, 110 Hz to 220 Hz
  • a musical element eg, A2 to A3 (eg, Dodo Solar Solar) Sole-C3C3G3G3A3A3G3)
  • A2 to A3 eg, Dodo Solar Solar
  • a vibration pattern may be configured based on multiple vibrations corresponding to multiple frequencies. According to an embodiment of the present disclosure, it is possible to configure a user's own melody vibration, thereby improving user recognition by vibration feedback.
  • FIG. 16 is a diagram illustrating an example of generating vibration in an electronic device according to various embodiments of the present disclosure.
  • FIG. 16 uses a musical element (eg, tempo, length, repetition, etc.) in an electronic device to perform vibration according to the importance of a situation (eg, urgent degree of vibration feedback, etc.).
  • a musical element eg, tempo, length, repetition, etc.
  • An example of setting can be shown.
  • the tempo and / or repetition of musical elements may be utilized to adjust the urgent degree of the matter, thereby forming a more dynamic vibration texture.
  • the example (A) of FIG. 16 may represent an example of differently setting the urgency according to the function (or system) of the electronic device by adjusting the tempo of vibration in response to the tempo adjustment.
  • vibration may be set according to the A tempo (eg, 120 npm), and in the case of an error, the B tempo (eg, 240 bpm). You can set the vibration to the A tempo (eg, 120 npm), and in the case of an error, the B tempo (eg, 240 bpm). You can set the vibration to the A tempo (eg, 120 npm), and in the case of an error, the B tempo (eg, 240 bpm). You can set the vibration to
  • the example (B) of FIG. 16 illustrates an example of differently setting the urgency or variability according to the function (or system) of the electronic device by adjusting the tempo and repetition of vibration in response to the tempo and repetition.
  • the vibration may be set according to A repetition (for example, once), and in the case of failure, the B repetition (for example, Vibration can be set to two times, and in case of warning, vibration can be set to C repetition (eg, three times).
  • the tempo and / or repetition may be set differently according to the function (or system) of the electronic device to distinguish each vibration according to the repetition degree of vibrations having the same tempo, and the same repetition may be performed.
  • Branches can distinguish each vibration according to the tempo degree of the vibrations, or can distinguish each vibration according to the tempo and repetition degree.
  • the example C of FIG. 16 corresponds to a musical beat (for example, 2 bits, 3 bits, 4 bits, 5 bits, etc.), and corrects a quantization of the vibrations (for example, a timing difference of the vibrations). ) Can be shown.
  • the electronic device when generating a vibration, the electronic device may synchronize (or simultaneously generate) sound and vibration according to the musical beat.
  • FIG. 17 is a diagram illustrating an example of generating vibration by a user in an electronic device according to various embodiments of the present disclosure.
  • FIG. 17 illustrates an example of a user interface (hereinafter, referred to as an authoring user interface) for supporting vibration of a user in an electronic device (for example, the electronic devices 101 and 201 of FIG. 1 or 2).
  • an authoring user interface for supporting vibration of a user in an electronic device (for example, the electronic devices 101 and 201 of FIG. 1 or 2).
  • an electronic device for example, the electronic devices 101 and 201 of FIG. 1 or 2.
  • an authoring user interface may include a first region 1710 for inputting a frequency of vibration, a second region 1720 for displaying vibration according to a user input, and various options of vibration ( option), such as a third area 1730 for setting.
  • a user interface having a divided region (eg, a first region 1710, a second region 1720, a third region 1730, etc.), and each divided region of the user interface.
  • Personalized vibration patterns can be authored based on the user's touch interaction.
  • the first area 1710 may be a frequency setting area for inputting (setting) a frequency value for vibration based on a user input (eg, a touch).
  • the first area 1710 may be an area for inputting a frequency value according to a user input within a wide frequency band supported by the motors 298 of the electronic devices 101 and 201.
  • the first region 1710 may have a higher frequency toward the upper direction and a lower frequency toward the lower direction.
  • a user may input a touch of a specific area in the first area 1710, and the electronic devices 101 and 201 recognize a frequency of the touched area and map a vibration corresponding to the corresponding frequency. can do.
  • a specific fixed frequency such as a resonance frequency may be automatically input.
  • the first area 1710 may be a GUI of an object (eg, a piano keyboard) that may input a melody from a specific instrument (eg, a piano, a guitar, a violin, etc.) in consideration of a user's intuition.
  • a specific instrument eg, a piano, a guitar, a violin, etc.
  • an object of a specific musical instrument may be provided with text or an icon corresponding to a musical element (for example, a musical scale).
  • the user may set the melody vibration of the user by playing the corresponding instrument using the electronic device.
  • the second area 1720 is a progress bar that provides a progress bar 1740 indicating an input and a current time based on a timeline, and provides a progress state of a user set vibration.
  • a state of vibrations eg, 1750 and 1760
  • the timeline of the time axis may move from the right side to the left side based on the point of time when the user looks at the electronic devices 101 and 201 and the first axis of the frequency axis (Y axis).
  • the first vibration 1760 may be generated according to the first touch at the first frequency of the region 1710
  • the second vibration 1750 may be generated according to the second touch at the second frequency of the first region 1720.
  • the third area 1730 may be an option setting area for inputting (setting) various options related to vibration based on a user input.
  • the user may input (set) a value of on / off time (eg, duration) of vibration corresponding to the touch hold time of the user through the third area 1730.
  • the user may utilize force touch through the third region 1730 to improve the quality of vibration intensity and / or vibration type (eg, continuous or discontinuous specific period). You can also change).
  • the electronic devices 101 and 201 may provide a quantize function for organizing or shaping values such as frequency, length, and intensity according to a user input. For example, when the electronic device 101 or 201 generates a vibration according to a user input based on a user interface, the electronic device 101 or 201 may correct a difference in timing of occurrence of the vibration to synchronize the vibration with a musical element (eg, a sound or a beat). Can be. According to an embodiment, the quantization process may be processed to simultaneously generate a sound (or beat) and vibration of music.
  • a musical element eg, a sound or a beat
  • the third area 1730 may be an area displaying information related to user's option setting or may be omitted.
  • the vibration related setting corresponding to the third region 1730 may be provided based on the first region 1710.
  • the user may set a frequency based on a user input using the first region 1730, and the intensity and / or vibration type of the vibration based on the hold and / or force touch using the first region 1730. You can also set
  • a user may perform an interaction related to generating vibration by using a user interface displayed through a display (for example, the display 160 or 260 of FIG. 1 or 2), and the electronic device 101. , 201) may recognize the corresponding frequency based on the interaction with the user.
  • the electronic devices 101 and 201 may generate multiple vibrations corresponding to multiple frequencies based on the interaction with the user by the user interface.
  • the electronic devices 101 and 201 may detect a user input based on a user interface, and set an operating frequency, a length, a tempo, and an intensity of vibration in response to the user input.
  • the electronic device 101 or 201 may perform music (or melody) according to a user's selection of specific music (or melody) provided by the electronic device 101 or 201.
  • music e.g., frequency, tempo, time signature, length, intensity (pitch, octave), etc.
  • You can also create one automatically.
  • the musical component for the vibration frequency is provided based on a specific music (or melody) as described above, or based on a user input (eg, a touch input corresponding to frequency selection using a user interface). Examples are provided, but are not limited to the various embodiments.
  • a force touch input eg, vibration frequency selection based on the strength of touch pressure
  • motion input eg, vibration frequency selection based on motion of the electronic device
  • voice or audio input eg microphone
  • Vibration frequency selection according to a user voice frequency may be generated or changed by various inputs.
  • FIG. 18 is a flowchart illustrating an operation of setting vibration of a user based on a user interface in an electronic device according to various embodiments of the present disclosure.
  • the processor 210 of the electronic device may display a user interface related to an authoring tool (eg, the user interface illustrated in FIG. 17).
  • the user may execute a vibration authoring tool of the electronic device to generate vibration, and the processor 210 may display a user interface on the displays 160 and 260 in response to the execution of the authoring tool. .
  • the processor 210 may detect a first input (eg, a first touch) of the user based on the user interface. For example, the user may touch a specific area corresponding to the first frequency in the first area 1710 of the user interface, and the processor 210 may detect the first touch of the user in the first area 1710. Can be.
  • a first input eg, a first touch
  • the user may touch a specific area corresponding to the first frequency in the first area 1710 of the user interface, and the processor 210 may detect the first touch of the user in the first area 1710. Can be.
  • the processor 210 may determine a first frequency corresponding to the first input. For example, the processor 210 may recognize a first frequency mapped to the touched area in the first area 1710 of the user interface.
  • the processor 210 may generate a first vibration corresponding to the recognized frequency by the length of the first input.
  • the processor 210 may configure the first vibration according to the first frequency.
  • the processor 210 when configuring the first vibration, may be configured based on the force touch and / or hold time of the user input, in consideration of the strength and / or vibration type of the first vibration, and the like. You can also set
  • the processor 210 may detect a second input (eg, a second touch) of the user based on the user interface. For example, after the user sets the first vibration by the first input, the user may touch a specific area corresponding to the second frequency in the first area 1710 of the user interface, and the processor 210 may make the first vibration. The second touch of the user may be detected in the area 1720.
  • a second input eg, a second touch
  • the processor 210 may determine a second frequency corresponding to the second input. For example, the processor 210 may recognize a second frequency mapped to the touched area in the first area 1710 of the user interface.
  • the processor 210 may generate a second vibration corresponding to the recognized frequency by the length of the second input.
  • the processor 210 may configure a second vibration according to the second frequency.
  • the processor 210 may consider the intensity and / or vibration type of the first vibration and / or the second vibration based on the force touch and / or hold time of the user input. You can also set
  • the processor 210 may generate a vibration pattern based on the first vibration and the second vibration.
  • the processor 210 generates the first vibration and the second vibration, and then responds to the user's vibration authoring completion command (or input) (eg, vibration pattern generation completion or storage selection) at a corresponding time.
  • the generated vibrations (eg, the first vibration and the second vibration) may be generated as one vibration pattern.
  • the processor 210 may perform a quantize function in consideration of a musical element between the first vibration and the second vibration.
  • the processor 210 may map the generated vibration pattern to a specific function of the electronic device.
  • the user when a user generates a vibration pattern, the user may designate a function (or system) of the electronic device to use the generated vibration pattern.
  • the mapping operation of the vibration pattern and the function may not be performed immediately after generating the vibration pattern. For example, the user may generate only a vibration pattern, and then may map and set the stored vibration pattern and a function based on a menu of the electronic device (for example, at a point in time different from the generation of the vibration pattern).
  • the processor 210 may set the type of the vibration pattern.
  • the user when mapping a vibration pattern and a function, the user may additionally set a repetition number of the vibration pattern, and the like, and the processor 210 may additionally perform a type setting process of the vibration pattern in response to a user selection. have.
  • operation 1819 is not necessarily limited to the above-described order, and may be preceded by operation 1817, for example.
  • the processor 210 may perform an operation of storing the generated vibration pattern. As described above, the performance of operation 1817 and / or operation 1819 may be omitted. In other cases, it may be performed based on a user request.
  • 19 is a flowchart illustrating an operation of outputting vibration in an electronic device according to various embodiments of the present disclosure.
  • the processor 210 of the electronic device may convert a musical element into a frequency.
  • the processor 210 may extract a musical element (eg, a musical scale) from a specific music (or melody) set for vibration, and correspond to each of the extracted musical elements. Frequency can be recognized.
  • the specific music (or melody) set for vibration may be music used for vibration authoring of the user, or music currently played on the electronic device by user selection.
  • the processor 210 may generate a chord frequency (or vibration frequency) based on the multiple frequencies. For example, the processor 210 may set multiple frequencies to have melodies according to musical elements.
  • the processor 210 may output a melody vibration corresponding to the chord frequency.
  • the processor 210 may generate vibrations of the melody feeling based on musical elements (eg, tempo, time signature, length, intensity, etc.) of each vibration corresponding to the chord frequency.
  • the processor 210 may sequentially output a motor driving signal corresponding to the chord frequency to the motor according to a musical element, and the motor may be driven by the motor driving signal to generate melody vibration.
  • the processor 210 may generate a vibration corresponding to a cooperating sound or a dissonant sound based on a frequency according to the corresponding event.
  • vibration of the coordination sound may be generated or vibration of the discordant sound may be generated according to a specific situation.
  • 20 is a flowchart illustrating an operation of outputting vibration in an electronic device according to various embodiments of the present disclosure.
  • the processor 210 of the electronic device may detect an event related to a vibration output.
  • the processor 210 may be configured to detect a vibration notification state for the user while the electronic device is set to the vibration mode, or detect the vibration notification state for the user while the electronic device is operating.
  • the event related to the vibration output can be determined.
  • the event related to the vibration output may include an internal event such as an alarm occurring inside the electronic device and an external event such as receiving a message from the outside.
  • the processor 210 may determine an event. For example, the processor 210 may analyze the detected event to determine the type (or property) of the event.
  • the processor 210 may determine a vibration pattern corresponding to the event.
  • the processor 210 determines, based on the result determined in operation 2005, whether the event has a first vibration pattern of melody vibration based on a musical element, or a second vibration of a general (or basic) vibration pattern. It may be determined whether a pattern is set.
  • the processor 210 may determine a chord frequency set in the vibration pattern.
  • the first vibration pattern may be set by another vibration pattern due to different vibrations for each function (or system) of the electronic device, and the processor 210 may determine the first vibration based on the type of event.
  • the operation of recognizing (or extracting or searching for) a pattern may be further performed.
  • the processor 210 outputs (transmits) a motor driving signal corresponding to a chord frequency (eg, multi-frequency) to the motor, and in operation 2013, operates the melody vibration based on the change in the chord frequency.
  • a chord frequency eg, multi-frequency
  • the processor 210 may generate vibrations of the melody feeling based on musical elements (eg, tempo, time signature, length, intensity, etc.) of each vibration corresponding to the chord frequency.
  • the processor 210 may sequentially output a motor driving signal corresponding to the chord frequency to the motor according to a musical element, and the motor may be driven by the motor driving signal to generate melody vibration.
  • the processor 210 may generate the vibration based on the chord or dissonance of the chord frequency.
  • vibration of the coordination sound may be generated or vibration of the discordant sound may be generated according to a specific situation.
  • the processor 210 may determine the basic vibration pattern.
  • the processor 210 outputs (transmits) a motor driving signal corresponding to the set single frequency (eg, resonant frequency) to the motor based on the basic vibration pattern, and in operation 2019, vibrates based on the single frequency. This can be operated to output.
  • the set single frequency eg, resonant frequency
  • 21 is a flowchart illustrating an operation of generating vibration in an electronic device according to various embodiments of the present disclosure.
  • the processor 210 of the electronic device may enter a melody vibration generation mode.
  • the user may execute a mode for generating a melody vibration based on a musical element (eg, execute an authoring tool), and the processor 210 may execute a melody vibration generation mode based on a user request. .
  • the processor 210 may select music. For example, the processor 210 may receive (select) specific music (or melody) for generating vibration from the user. According to an embodiment of the present disclosure, in response to entering the melody vibration generating mode, the processor 210 may provide a list of music (or melody) stored in the electronic device and receive music selection from the user. According to an embodiment of the present disclosure, in response to entering the melody vibration generating mode, the processor 210 connects to a content server capable of selecting (designating) music (or melody), and provides music (or melody) provided from the content server. A list can be provided and music can be selected by the user.
  • the processor 210 in response to entering the melody vibration generating mode, displays a user interface through which a user interface for inputting music (or melody) is displayed on the display, and music by the user based on the user interface. (Or melody) can be input directly.
  • the processor 210 may extract and / or recognize musical elements in the music. According to an embodiment of the present disclosure, the processor 210 may extract or recognize, for example, tempo (beat), length, repetition, pitch, scale, and the like from the selected music.
  • tempo beat
  • the processor 210 may extract or recognize, for example, tempo (beat), length, repetition, pitch, scale, and the like from the selected music.
  • the processor 210 may select / convert frequencies in response to musical elements.
  • the processor 210 may extract a musical element (eg, a musical scale) from music (or a melody), and recognize or convert multiple frequencies corresponding to each of the extracted musical elements.
  • the processor 210 may generate a chord frequency.
  • the processor 210 may generate a chord frequency (or vibration frequency) based on multiple frequencies.
  • the processor 210 may set multiple frequencies to have melodies according to musical elements.
  • the processor 210 may output a melody vibration corresponding to the chord frequency.
  • the processor 210 may generate vibrations of the melody feeling based on musical elements (eg, tempo, time signature, length, intensity, etc.) of each vibration corresponding to the chord frequency.
  • the processor 210 may sequentially output a motor driving signal corresponding to the chord frequency to the motor according to a musical element, and the motor may be driven by the motor driving signal to generate melody vibration.
  • the processor 210 may process performing a thawing operation.
  • the processor 210 may edit the melody vibration based on a user input.
  • the processor 210 may configure the vibration pattern using at least some sections selected based on a user input in the output melody vibration.
  • the processor 210 may map a vibration pattern caused by at least a portion of the melody vibration to a function of an electronic device corresponding to a user selection.
  • a method of operating an electronic device may include selecting a multi frequency using a musical element in a frequency band supported by the vibration generating device, based on the selected multi frequency.
  • the method may include setting at least one vibration, and generating a vibration pattern based on the set vibration.
  • the vibration generator may support a wide frequency band and include at least one of a motor, a vibrator, an actuator, or a haptic generator. have.
  • the multiple frequencies may be the same or different plurality of frequencies included in the support frequency band of the vibration generating device.
  • the setting of the vibration may include: setting a first vibration corresponding to the first frequency of the multi-frequency; setting a second vibration corresponding to the second frequency of the multi-frequency; And generating one vibration pattern by combining the first vibration and the second vibration.
  • the setting of the vibration may include determining the vibration corresponding to the selected multi-frequency based on at least a part of the musical element.
  • the selecting of the multiple frequencies may include selecting the multiple frequencies based on a user interaction, wherein the user interaction includes a touch input of a designated area, a force touch input according to a pressure intensity, Or at least one of an audio (or voice) input.
  • the selecting of the multiple frequencies may include selecting the multiple frequencies by recognizing the musical element in the selected music.
  • the generating of the vibration pattern may include generating the vibration pattern by setting at least one of a length, a section, an intensity, or a speed with respect to each of the first vibration and the second vibration. It may include.
  • the first vibration and the second vibration may have the same or different frequency, and the intervals of the first vibration and the second vibration may be overlapped through at least a part of each of the first vibration and the second vibration, or may have a different length. It can be characterized as being independently classified according to.
  • a method of operating the electronic device may include: detecting an event related to a vibration output (for example, an internal event or an external event), and vibration according to a multi-frequency combination according to a cooperative sound or a dissonant sound according to the event. It may include the process of outputting.
  • a vibration output for example, an internal event or an external event
  • vibration according to a multi-frequency combination according to a cooperative sound or a dissonant sound according to the event. It may include the process of outputting.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Power Engineering (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 발명의 다양한 실시 예들은 전자 장치에서 음악적 요소를 변환하여 진동을 제공하는 방법 및 장치에 관하여 개시한다. 본 발명의 다양한 실시 예들에 따르면, 전자 장치에 있어서, 디스플레이, 진동을 발생하기 위한 진동 발생 장치, 및 디스플레이와 진동 발생 장치에 기능적으로 연결된 프로세서를 포함하고, 프로세서는, 음악적 요소를 이용하여 다중 주파수(multi frequency)를 선택하고, 선택된 다중 주파수에 기반하여 적어도 하나의 진동을 설정하고, 설정된 진동에 기반하여 진동 패턴을 생성하도록 구성할 수 있다. 다양한 실시 예들이 가능하다.

Description

전자 장치에서 진동 제공 방법 및 장치
본 발명의 다양한 실시 예들은 전자 장치에서 진동을 제공하는 방법 및 장치에 관하여 개시한다.
최근 디지털 기술의 발달과 함께 이동통신 단말기, 스마트폰(smart phone), 태블릿(tablet) PC(personal computer), 노트북(notebook), PDA(personal digital assistant), 웨어러블 장치(wearable device), 디지털 카메라(digital camera) 또는 개인용 컴퓨터(personal computer) 등과 같은 다양한 유형의 전자 장치가 널리 사용되고 있다.
전자 장치는 통화의 수신, 메시지의 수신 또는 다양한 알람 등을 전자 장치 사용자에게 알려주는(통지하는) 방식으로 소리(sound)(예: 스피커에 의한 소리 출력), 표시(display)(예: 디스플레이 또는 램프(lamp)에 의한 표시) 또는 진동(vibration)(예: 진동 모터에 의한 진동 출력)에 적어도 하나의 방식이 이용되고 있다.
일반적으로, 전자 장치의 진동 방식은, 전자 장치의 진동 모터에 유입되는 전류의 양(또는 전압)을 조절하여 진동 모터의 세기 또는 속도를 조절하여 전자 장치를 진동시키는 방식일 수 있다. 예를 들면, 진동 모터는 입력되는 전기 에너지를 기계 에너지(또는 운동 에너지)로 변환하는 역할을 하며, 구동 원리는 플레밍의 법칙(Fleming’s rule)에 기초할 수 있다. 또한, 진동 모터는 동작 가능한 주파수 대역이 설정될 수 있고, 해당 주파수 대역에서 단일 주파수에 따른 단일 진동만을 출력하도록 하고 있다.
따라서, 종래의 전자 장치에서는 단일 주파수에 의한 단일 진동으로, 단순히 진동의 세기 또는 속도만을 조절하여 제공되고 있다. 예를 들면, 종래의 전자 장치에서는 단방향의 일정한 패턴만으로 진동을 발생하므로, 진동이 단조로우며, 진동만으로는 다양한 통지에 대한 상황별 피드백을 사용자에게 제공할 수 없는 문제점이 있다.
따라서, 종래의 전자 장치에서 제공되는 진동은, 미리 설정된 단순한 진동 패턴만을 고정적으로 적용하여 제공하고 있다. 이에, 종래의 전자 장치에서 진동에 의한 피드백(이하, 진동 피드백)은 사용자에게 직관적이지 못하며, 그 표현에 있어서도 제한적이므로, 사용자에 의한 활용성(예: 사용 빈도 등)이 떨어질 수 있다. 따라서 진동으로 사용자에게 관련 통지(예: 통화 수신, 메시지 수신, 알림, 경고 등)를 구분하여 직관적으로 제공하면서 다양한 표현(예: 협화/불협화에 기초한 리듬감 있는 진동, 멜로디가 있는 진동 등)이 가능한 진동 피드백에 대한 사용자 니즈(needs)가 증가하고 있다.
다양한 실시 예들에서는, 전자 장치에서 음악적 요소에 기반하여 진동 피드백을 제공할 수 있는 방법 및 장치에 관하여 개시한다.
다양한 실시 예들에서는, 다중 주파수(multi-frequency)를 지원하는 진동 발생 장치(예: 모터, 진동자, 액추에이터(actuator), 햅틱(haptic) 발생 장치 등)를 포함하는 전자 장치에서, 음악적 요소에 대응하는 주파수에 의한 다중 진동으로 진동 패턴을 생성하여, 멜로디 기반의 진동을 제공할 수 있는 방법 및 장치에 관하여 개시한다.
다양한 실시 예들에서는, 음악적 요소에 기반하여 화음 주파수로 변환하고, 화음 주파수를 협화/불협화에 매핑하여 새로운 진동을 제공할 수 있는 방법 및 장치에 관하여 개시한다.
다양한 실시 예들에서는, 다중 주파수에 의한 다중 진동을 통해, 보다 다이나믹(dynamic)하고 진동 변이가 큰 진동 질감을 형성하고, 사용자의 진동 알림 인지 향상 및 다양한 알림 진동 패턴 경험을 제공할 수 있는 방법 및 장치에 관하여 개시한다.
다양한 실시 예들에서는, 음악적 요소에 대응하는 다중 주파수에 따른 다수의 진동에 기반하여 진동 패턴을 생성하여, 리듬감 있는 진동과 통지의 상황에 따른 직관적인 진동 피드백을 제공할 수 있는 방법 및 장치에 관하여 개시한다.
본 발명의 다양한 실시 예들에 따른 전자 장치는, 디스플레이, 진동을 발생하기 위한 진동 발생 장치, 및 상기 디스플레이 및 상기 진동 발생 장치와 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 음악적 요소를 이용하여 다중 주파수(multi frequency)를 선택하고, 상기 선택된 다중 주파수에 기반하여 적어도 하나의 진동을 설정하고, 상기 설정된 진동에 기반하여 진동 패턴을 생성하도록 구성할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 방법은, 진동 발생 장치가 지원하는 주파수 밴드에서, 음악적 요소를 이용하여 다중 주파수(multi frequency)를 선택하는 과정, 상기 선택된 다중 주파수에 기반하여 적어도 하나의 진동을 설정하는 과정, 및 상기 설정된 진동에 기반하여 진동 패턴을 생성하는 과정을 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 발명의 다양한 실시 예들에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
다양한 실시 예들에 따른 전자 장치 및 그의 동작 방법에 따르면, 다양한 실시 예들에 따르면, 다중 주파수(multi-frequency)를 지원하는 진동 발생 장치를 포함하는 전자 장치에서, 음악적 요소에 대응하는 주파수에 의한 다중 진동으로 진동 패턴을 생성하여, 멜로디 기반의 진동을 제공할 수 있다. 예를 들면, 다양한 실시 예들에서는, 다중 주파수를 지원하는 진동 발생 장치를 통해 음악적 요소(예: 템포(박자), 길이, 반복, 음높이, 음계 등)에 기반하여 다양한 진동 피드백을 사용자에게 제공할 수 있다. 다양한 실시 예들에 따르면, 음악적 요소에 기반하여 화음 주파수로 변환하고, 화음 주파수를 협화/불협화에 매핑하여 새로운 진동을 제공할 수 있다. 이를 통해, 다양한 실시 예들에 따른 전자 장치는, 보다 다이나믹(dynamic)하고 진동 변이가 큰 진동 질감을 형성하고, 사용자의 진동 알림 인지 향상 및 다양한 알림 진동 패턴 경험을 제공할 수 있다.
다양한 실시 예들에 따르면, 음악적 요소에 대응하는 다중 주파수에 따른 다수의 진동에 기반하여 진동 패턴을 생성하여, 리듬감 있는 진동과 통지의 상황에 따른 직관적인 진동 피드백을 사용자에게 제공할 수 있다. 다양한 실시 예들에 따른 전자 장치에 의해, 전자 장치의 사용성, 편의성, 또는 활용성을 향상시키는데 기여할 수 있다.
도 1은 본 발명의 다양한 실시 예들에 따른 전자 장치를 포함하는 네트워크 환경을 도시하는 도면이다.
도 2는 본 발명의 다양한 실시 예들에 따른 전자 장치의 블록도이다.
도 3은 본 발명의 다양한 실시 예들에 따른 프로그램 모듈의 블록도이다.
도 4는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 모터의 동작 주파수를 설명하기 위해 도시하는 도면이다.
도 5는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동 처리 모듈의 예를 도시하는 도면이다.
도 6은 본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 7은 본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 8a 및 도 8b는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 생성하는 예를 설명하기 위해 도시하는 도면들이다.
도 9는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 제공하는 예를 설명하기 위해 도시하는 도면이다.
도 10 및 도 11은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 생성하는 예를 설명하기 위해 도시하는 도면들이다.
도 12 및 도 13은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 제공하는 예를 설명하기 위해 도시하는 도면들이다.
도 14 및 도 15는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 생성하는 예를 설명하기 위해 도시하는 도면들이다.
도 16은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 생성하는 예를 설명하기 위해 도시하는 도면이다.
도 17은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 사용자에 의한 진동을 생성하는 예를 설명하기 위해 도시하는 도면이다.
도 18은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 유저 인터페이스에 기반하여 사용자의 진동을 설정하는 동작을 도시하는 흐름도이다.
도 19는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 출력하는 동작을 도시하는 흐름도이다.
도 20은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 출력하는 동작을 도시하는 흐름도이다.
도 21은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 생성하는 동작을 도시하는 흐름도이다.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다. 실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째", 또는 "둘째" 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어(hardware)적 또는 소프트웨어(software)적으로 "~에 적합한", "~하는 능력을 가지는", "~하도록 변경된", "~하도록 만들어진", "~를 할 수 있는", 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU(central processing unit) 또는 AP(application processor))를 의미할 수 있다.
본 문서의 다양한 실시 예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿(tablet) PC(personal computer), 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑(desktop) PC, 랩탑(laptop) PC, 넷북(netbook) 컴퓨터, 워크스테이션(workstation), 서버(server), PDA(personal digital assistant), PMP(portable multimedia player), MP3(MPEG-1 Audio Layer-3) 플레이어, 의료기기, 카메라, 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(HMD, head-mounted-device), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형 회로(implantable circuit) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토메이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시 예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(예: 혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS, global navigation satellite system), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치(in-vehicle infotainment device, automotive infotainment device), 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM(automated teller machine), 상점의 POS(point of sales), 또는 사물 인터넷(IoT, internet of things) 장치(예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다.
어떤 실시 예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature(digital signature) receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시 예들에서, 전자 장치는 플렉서블(flexible)하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시 예들에 따른 전자 장치를 포함하는 네트워크 환경을 도시하는 도면이다.
도 1을 참조하여, 다양한 실시 예들에서의, 네트워크 환경(100) 내의 전자 장치(101)가 기재된다. 전자 장치(101)는 버스(bus)(110), 프로세서(120)(예: 프로세싱 회로(processing circuitry)를 포함하는 프로세서), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시 예에서, 전자 장치(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
버스(110)는 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다.
프로세서(120)는, 중앙처리장치(CPU), 어플리케이션 프로세서(AP), 또는 커뮤니케이션 프로세서(CP, communication processor) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 다양한 실시 예들에 따른 프로세서(120)의 처리(또는 제어) 동작은 후술하는 도면들을 참조하여 구체적으로 설명된다.
메모리(130)는, 휘발성 메모리(volatile memory) 및/또는 비휘발성 메모리(non-volatile memory)를 포함할 수 있다. 메모리(130)는, 예를 들면, 전자 장치(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시 예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다. 프로그램(140)은, 예를 들면, 커널(kernel)(141), 미들웨어(middleware)(143), 어플리케이션 프로그래밍 인터페이스(API, application programming interface)(145), 및/또는 어플리케이션 프로그램(application program)(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는, 운영 시스템(OS, operating system)으로 지칭될 수 있다.
메모리(130)는, 프로세서(120)에 의해 실행되는 하나 또는 그 이상의 프로그램들(one or more programs)을 저장할 수 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. 입/출력되는 데이터들은, 예를 들면, 동영상, 이미지(예: 사진), 진동 패턴, 또는 오디오 등의 파일을 포함할 수 있다. 다양한 실시 예들에 따라, 메모리(130)는 획득된 데이터를 저장하는 역할을 담당하며, 실시간으로 획득된 데이터는 일시적인 저장 장치(예: 버퍼(buffer))에 저장할 수 있고, 저장하기로 확정된 데이터는 오래 보관 가능한 저장 장치에 저장할 수 있다. 메모리(130)는, 다양한 실시 예들에 따른 방법을 프로세서(120)에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
커널(141)은, 예를 들면, 다른 프로그램들(예: 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147))에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 커널(141)은 미들웨어(143), API(145), 또는 어플리케이션 프로그램(147)에서 전자 장치(101)의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어(143)는, 예를 들면, API(145) 또는 어플리케이션 프로그램(147)이 커널(141)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어(143)는 어플리케이션 프로그램(147)으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어(143)는 어플리케이션 프로그램(147) 중 적어도 하나에 전자 장치(101)의 시스템 리소스(예: 버스(110), 프로세서(120), 또는 메모리(130) 등)를 사용할 수 있는 우선 순위를 부여하고, 하나 이상의 작업 요청들을 처리할 수 있다.
API(145)는 어플리케이션(147)이 커널(141) 또는 미들웨어(143)에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일(file) 제어, 윈도우(window) 제어, 영상(image) 처리, 또는 문자(character) 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(function)(예: 명령어)를 포함할 수 있다.
입출력 인터페이스(150)는, 예를 들면, 사용자 또는 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치(101)의 다른 구성요소(들)에 전달하거나, 또는 전자 장치(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 외부 기기로 출력할 수 있다. 예를 들면, 유/무선 헤드폰 포트(port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 오디오 입/출력(input/output) 포트, 비디오 입/출력 포트, 이어폰 포트 등이 입출력 인터페이스(150)에 포함될 수 있다.
디스플레이(160)는, 예를 들면, 액정 디스플레이(LCD, liquid crystal display), 발광 다이오드(LED, light emitting diode) 디스플레이, 유기 발광 다이오드(OLED, organic LED) 디스플레이, 능동형 OLED(AMOLED, active matrix OLED), 마이크로 전자기계 시스템(MEMS, micro-electromechanical systems) 디스플레이, 또는 전자종이(electronic paper) 디스플레이 등을 포함할 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)를 표시할 수 있다. 디스플레이(160)는, 터치 스크린(touchscreen)을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접(proximity), 또는 호버링(hovering) 입력을 수신할 수 있다.
디스플레이(160)는, 예를 들면, 사용자에게 시각적인 출력(visual output)을 보여줄 수 있다. 시각적 출력은 텍스트(text), 그래픽(graphic), 비디오(video)와 이들의 조합의 형태로 나타날 수 있다. 디스플레이(160)는 전자 장치(101)에서 처리되는 다양한 정보를 표시(출력)할 수 있다. 예를 들면, 디스플레이(160)는 전자 장치(101)의 사용과 관련된 유저 인터페이스(UI, user interface) 또는 그래픽 유저 인터페이스(GUI, graphical UI)를 표시할 수 있다. 다양한 실시 예들에 따라, 디스플레이(160)는 전자 장치(101)에 의해 수행되는 동작(예: 컨텐츠 표시 동작, 진동 생성 동작, 진동 출력 동작 등)과 관련된 다양한 유저 인터페이스(예: UI 또는 GUI)를 표시할 수 있다.
다양한 실시 예들에서 디스플레이(160)는 평면형 디스플레이 또는 종이처럼 얇고 유연한 기판을 통해 손상 없이 휘거나 구부리거나 말 수 있는 커브드 디스플레이(curved display)(또는 벤디드 디스플레이(bended display))를 포함할 수 있다. 커브드 디스플레이는 하우징(또는 베젤(bezel), 본체)에 체결되어 구부러진 형태를 유지할 수 있다. 다양한 실시 예들에서 전자 장치(101)는 커브드 디스플레이와 같은 형태를 비롯하여, 플렉서블 디스플레이와 같이 구부렸다가 폈다가를 자유자재로 할 수 있는 디스플레이 장치로 구현될 수도 있다.
다양한 실시 예들에서 디스플레이(160)는 액정 디스플레이(LCD), 발광 다이오드(LED), 유기 발광 다이오드(OLED), 또는 능동형 OLED(AMOLED) 등에서 액정을 싸고 있는 유리 기판을 플라스틱 필름으로 대체하여, 접고 펼 수 있는 유연성을 부여할 수 있다. 다양한 실시 예들에서 디스플레이(160)는 전자 장치(101)의 적어도 하나의 측면(side)(예: 좌측, 우측, 상측, 하측 중 적어도 하나의 면)까지 연장되어, 커브드 디스플레이가 동작 가능한 곡률 반경(radius of curvature)(예: 곡률 반경 5cm, 1cm, 7.5mm, 5mm, 4mm 등) 이하로 접혀 하우징의 측면에 체결될 수 있다.
통신 인터페이스(170)는, 예를 들면, 전자 장치(101)와 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치와 통신할 수 있다.
무선 통신은, 예를 들면, LTE(long term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(wireless broadband), 또는 GSM(global system for mobile communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다.
한 실시 예에 따르면, 무선 통신은, 예를 들면, 도 1의 엘리먼트(element) 164로 예시된 바와 같이, WiFi(wireless fidelity), LiFi(light fidelity), WiGig(wireless gigabit alliance), 블루투스(Bluetooth), 블루투스 저전력(BLE, Bluetooth low energy), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(magnetic secure transmission), 라디오 프리퀀시(RF, radio frequency), 또는 보디 에어리어 네트워크(BAN, body area network) 중 적어도 하나를 포함할 수 있다.
한 실시 예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(global positioning system), Glonass(global navigation satellite system), Beidou Navigation Satellite System(이하 “Beidou”) 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, “GPS”는 “GNSS”와 상호 호환적으로 사용될 수 있다.
유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232), 전력선 통신(power line communication), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다.
네트워크(162)는 텔레커뮤니케이션 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(예: LAN(local area network) 또는 WAN(wide area network)), 인터넷, 또는 텔레폰 네트워크(telephone network) 중 적어도 하나를 포함할 수 있다.
제1 외부 전자 장치(102) 및 제2 외부 전자 장치(104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시 예들에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 하나 또는 복수의 외부 장치(예: 전자 장치(102, 104), 또는 서버(106))에서 실행될 수 있다.
한 실시 예에 따르면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅(cloud computing), 분산 컴퓨팅(distributed computing), 또는 클라이언트-서버 컴퓨팅(client-server computing) 기술이 이용될 수 있다.
서버(106)는, 예를 들면, 통합 서버(integration server), 프로바이더 서버(provider server)(또는 통신 사업자 서버), 콘텐츠 서버(content server), 인터넷 서버(internet server), 클라우드 서버(cloud server), 웹 서버(web server), 보안 서버(secure server), 또는 인증 서버(certification server) 등 중 적어도 하나를 포함할 수 있다.
도 2는 다양한 실시 예들에 따른 전자 장치의 블록도이다.
전자 장치(201)는, 예를 들면, 도 1에 도시된 전자 장치(101)의 전체 또는 일부를 포함할 수 있다. 전자 장치(201)는 하나 이상의 프로세서(210)(예: AP), 통신 모듈(220), 가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298)(예: 진동 모터) 등을 포함할 수 있다.
다양한 실시 예들에서, 전자 장치(201)는 도 2에 도시된 구성들이 필수적인 것은 아니어서, 도 2에 도시된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다. 예를 들어, 다양한 실시 예들에 따른 전자 장치(201)는 그 종류에 따라, 어느 일부 구성요소를 포함하지 않을 수 있다. 다양한 실시 예들에 따라, 전술한 전자 장치(201)의 구성들은 전자 장치(201)의 하우징(또는 베젤, 본체)에 안착되거나, 또는 그 외부에 형성될 수 있다.
프로세서(210)는, 예를 들면, 운영 체제 또는 어플리케이션 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시 예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 시그널 프로세서(ISP, image signal processor)를 더 포함할 수 있다.
프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다.
다양한 실시 예들에서, 프로세서(210)는, 하나 또는 그 이상의 프로세서들(one or more processors)을 포함할 수 있다. 예를 들면, 프로세서(210)는 커뮤니케이션 프로세서(CP), 어플리케이션 프로세서(AP), 인터페이스(예: GPIO, general purpose input/output), 또는 내부 메모리 등을 별개의 구성요소로 포함하거나, 또는 하나 이상의 집적화된 회로에 집적화될 수 있다. 한 실시 예에 따라, 어플리케이션 프로세서는 여러 가지의 소프트웨어 프로그램(software program)을 실행하여 전자 장치(201)를 위한 여러 기능을 수행할 수 있고, 커뮤니케이션 프로세서는 음성 통신 및 데이터 통신을 위한 처리 및 제어를 수행할 수 있다. 프로세서(210)는 메모리(230)에 저장되어 있는 특정한 소프트웨어 모듈(예: 명령어 세트(instruction set))을 실행하여 그 모듈에 대응하는 특정한 여러 가지의 기능을 수행하는 역할을 담당할 수 있다.
다양한 실시 예들에서, 프로세서(210)는 전자 장치(201)의 전반적인 동작을 제어할 수 있다. 다양한 실시 예들에서, 프로세서(210)는 오디오 모듈(280), 인터페이스(270), 디스플레이(260), 카메라 모듈(291), 통신 모듈(220), 전력 관리 모듈(295), 센서 모듈(240), 또는 모터(298) 등의 하드웨어적 모듈의 동작을 제어할 수 있다. 다양한 실시 예들에 따라, 프로세서(210)는 전자 장치(201)의 디스플레이(260), 메모리(230), 및/또는 모터(298)와 전기적으로 연결될 수 있다.
다양한 실시 예들에 따라, 프로세서(210)는 음악적 요소를 이용하여 다중 주파수(multi frequency)를 선택하고, 선택된 다중 주파수에 기반하여 적어도 하나의 진동을 설정하고, 설정된 진동에 기반하여 진동 패턴을 생성하도록 하는 것과 관련된 동작을 처리할 수 있다. 다양한 실시 예들에 따라, 프로세서(210)는 모터(298)의 지원 주파수 밴드 내에서 다중 주파수를 선택하고, 다중 주파수에 대응하는 각각의 진동을, 상기 음악적 요소의 적어도 일부에 기반하여 결정하는 것과 관련된 동작을 처리할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 유저 인터페이스를 이용한 사용자 인터랙션에 기반하여 진동을 위한 주파수를 인식하여 진동을 생성하는 것과 관련된 동작을 처리할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 사용자에 의해 선택되는 음악에서 진동을 위한 주파수를 인식하여 진동을 생성하는 것과 관련된 동작을 처리할 수 있다.
다양한 실시 예들에 따른 프로세서(210)의 처리(또는 제어) 동작은 후술하는 도면들을 참조하여 구체적으로 설명된다.
통신 모듈(220)은, 예를 들면, 도 1에 도시된 통신 인터페이스(170)와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227), NFC 모듈(228) 및 RF 모듈(229)을 포함할 수 있다. 도시하지는 않았으나, 통신 모듈(220)은, 예를 들면, WiGig 모듈(미도시)을 더 포함할 수도 있다. 한 실시 예에 따라, WiFi 모듈(223)과 WiGig 모듈(미도시)은 하나의 칩 형태로 통합 구현될 수도 있다.
셀룰러 모듈(221)은, 예를 들면, 통신 네트워크를 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(221)은 가입자 식별 모듈(예: SIM(subscriber identification module) 카드)(224)을 이용하여 통신 네트워크 내에서 전자 장치(201)의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(221)은 프로세서(210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(221)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 일부(예: 두 개 이상)는 하나의 IC(integrated chip) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈(229)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(229)은, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터, LNA(low noise amplifier), 또는 안테나(antenna) 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227) 또는 NFC 모듈(228) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
WiFi 모듈(223)은, 예를 들면, 무선 인터넷 접속 및 외부 장치(예: 다른 전자 장치(102) 또는 서버(106) 등)와 무선 랜(wireless LAN(local area network)) 링크(link)를 형성하기 위한 모듈을 나타낼 수 있다. WiFi 모듈(223)은 전자 장치(201)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WiFi, WiGig, Wibro, WiMax(world interoperability for microwave access), HSDPA(high speed downlink packet access), 또는 mmWave(millimeter Wave) 등이 이용될 수 있다. WiFi 모듈(223)은 전자 장치(201)와 직접(direct) 연결되거나, 또는 네트워크(예: 무선 인터넷 네트워크)(예: 네트워크(162))를 통해 연결되어 있는 외부 장치(예: 다른 전자 장치(104) 등)와 연동하여, 전자 장치(201)의 다양한 데이터들을 외부로 전송하거나, 또는 외부로부터 수신할 수 있다. WiFi 모듈(223)은 상시 온(on) 상태를 유지하거나, 전자 장치의 설정 또는 사용자 입력에 따라 턴-온(turn-on)/턴-오프(turn-off) 될 수 있다.
블루투스 모듈(225) 및 NFC 모듈(228)은, 예를 들면, 근거리 통신(short range communication)을 수행하기 위한 근거리 통신 모듈을 나타낼 수 있다. 근거리 통신 기술로 블루투스, 저전력 블루투스(BLE), RFID(radio frequency identification), 적외선 통신(IrDA), UWB(ultra wideband), 지그비(Zigbee), 또는 NFC 등이 이용될 수 있다. 근거리 통신 모듈은 전자 장치(201)와 네트워크(예: 근거리 통신 네트워크)를 통해 연결되어 있는 외부 장치(예: 다른 전자 장치(102) 등)와 연동하여, 전자 장치(201)의 다양한 데이터들을 외부 장치로 전송하거나 수신 받을 수 있다. 근거리 통신 모듈(예: 블루투스 모듈(225) 및 NFC 모듈(228))은 상시 온 상태를 유지하거나, 전자 장치(201)의 설정 또는 사용자 입력에 따라 턴-온/턴-오프 될 수 있다.
가입자 식별 모듈(224)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리(230)(예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM(random access memory)), SRAM(synchronous RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM(read only memory)), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically EPROM), mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브(SSD, solid state drive)) 중 적어도 하나를 포함할 수 있다. 외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치(201)와 기능적으로 또는 물리적으로 연결될 수 있다.
메모리(230)는 다양한 실시 예들에서, 프로세서(210)가, 모터(298)가 지원하는 주파수 밴드에서, 음악적 요소를 이용하여 다중 주파수(multi frequency)를 선택하고, 선택된 다중 주파수에 기반하여 적어도 하나의 진동을 설정하고, 설정된 진동에 기반하여 진동 패턴을 생성하도록 하는 것과 관련되는 하나 또는 그 이상의 프로그램들, 데이터 또는 인스트럭션들(instructions)을 저장할 수 있다. 다양한 실시 예들에 따라, 메모리(230)는, 프로세서(210)가, 모터(298)의 지원 주파수 밴드 내에서 다중 주파수를 선택하고, 다중 주파수에 대응하는 각각의 진동을, 상기 음악적 요소의 적어도 일부에 기반하여 결정하는 것과 관련된 동작을 처리하도록 하는 것과 관련되는 하나 또는 그 이상의 프로그램들, 데이터 또는 인스트럭션들을 저장할 수 있다.
다양한 실시 예들에 따라, 메모리(230)는 음악적 요소, 음악적 요소에서 진동을 위한 주파수(예: 후술하는 <표 1>의 음계 및 옥타브 별 표준 주파수), 음악적 요소에 따른 주파수에 기반하여 생성하는 진동 패턴 등을 저장할 수 있다.
메모리(230)는 확장 메모리(예: 외장 메모리(234)) 또는 내부 메모리(예: 내장 메모리(232))를 포함할 수 있다. 전자 장치(201)는 인터넷 상에서 메모리(230)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.
메모리(230)는 하나 또는 그 이상의 소프트웨어(또는 소프트웨어 모듈)를 저장할 수 있다. 예를 들어, 소프트웨어 구성요소는 운영 체제(operating system) 소프트웨어 모듈, 통신 소프트웨어 모듈, 그래픽 소프트웨어 모듈, 유저 인터페이스 소프트웨어 모듈, MPEG(moving picture experts group) 모듈, 카메라 소프트웨어 모듈, 또는 하나 이상의 어플리케이션 소프트웨어 모듈 등을 포함할 수 있다. 또한 소프트웨어 구성요소인 모듈은 명령어들의 집합으로 표현할 수 있으므로, 모듈을 명령어 세트(instruction set)라고 표현하기도 한다. 모듈은 또한 프로그램으로 표현하기도 한다. 본 발명의 다양한 실시 예들에서 메모리(230)는 앞서 기술한 모듈 이외에 추가적인 모듈(명령어들)을 포함할 수 있다. 또는 필요에 따라, 일부의 모듈(명령어들)을 사용하지 않을 수도 있다.
운영 체제 소프트웨어 모듈은 일반적인 시스템 동작(system operation)을 제어하는 여러 가지의 소프트웨어 구성요소를 포함할 수 있다. 이러한 일반적인 시스템 작동의 제어는, 예를 들면, 메모리 관리 및 제어, 저장 하드웨어(장치) 제어 및 관리, 또는 전력 제어 및 관리 등을 의미할 수 있다. 또한 운영 체제 소프트웨어 모듈은 여러 가지의 하드웨어(장치)와 소프트웨어 구성요소(모듈) 사이의 통신을 원활하게 하는 기능도 수행할 수 있다.
통신 소프트웨어 모듈은 통신 모듈(220) 또는 인터페이스(270)를 통해 웨어러블 장치, 스마트폰, 컴퓨터, 서버 또는 휴대용 단말기 등 다른 전자 장치와 통신을 가능하게 할 수 있다. 그리고, 통신 소프트웨어 모듈은 해당 통신 방식에 해당하는 프로토콜 구조로 구성될 수 있다.
그래픽 소프트웨어 모듈은 디스플레이(260) 상에 그래픽(graphics)을 제공하고 표시하기 위한 여러 가지 소프트웨어 구성요소를 포함할 수 있다. 다양한 실시 예들에서, 그래픽이란 용어는 텍스트(text), 웹 페이지(web page), 아이콘(icon), 디지털 이미지(digital image), 비디오(video), 애니메이션(animation) 등을 포함하는 의미로 사용될 수 있다.
유저 인터페이스 소프트웨어 모듈은 유저 인터페이스(UI)에 관련한 여러 가지 소프트웨어 구성요소를 포함할 수 있다. 예를 들어, 유저 인터페이스의 상태가 어떻게 변경되는지 또는 유저 인터페이스 상태의 변경이 어떤 조건에서 이루어지는지 등에 대한 내용을 포함할 수 있다.
MPEG 모듈은 디지털 콘텐츠(예: 비디오, 오디오 등) 관련 프로세스 및 기능들(예: 콘텐츠의 생성, 재생, 배포 및 전송 등)을 가능하게 하는 소프트웨어 구성요소를 포함할 수 있다.
카메라 소프트웨어 모듈은 카메라 관련 프로세스 및 기능들을 가능하게 하는 카메라 관련 소프트웨어 구성요소를 포함할 수 있다.
어플리케이션 모듈은 렌더링 엔진(rendering engine)을 포함하는 웹브라우저(web browser), 이메일(email), 즉석 메시지(instant message), 워드 프로세싱(word processing), 키보드 에뮬레이션(keyboard emulation), 어드레스 북(address book), 터치 리스트(touch list), 위젯(widget), 디지털 저작권 관리(DRM, digital right management), 홍채 인식(iris scan), 상황 인지(context cognition), 음성 인식(voice recognition), 위치 결정 기능(position determining function), 위치 기반 서비스(location based service) 등을 포함할 수 있다. 다양한 실시 예들에 따라, 어플리케이션 모듈은 헬스 케어(health care)(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(environmental information)(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션 등을 포함할 수 있다. 다양한 실시 예들에 따르면, 어플리케이션 모듈은 음악적 요소에 기반하여 관련 진동을 생성하고 제공하는 동작을 수행하도록 하는 하나 또는 그 이상의 어플리케이션들을 포함할 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 전자 장치(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(gesture sensor)(240A), 자이로 센서(gyro sensor)(240B), 기압 센서(barometer sensor)(240C), 마그네틱 센서(magnetic sensor)(240D), 가속도 센서(acceleration sensor)(240E), 그립 센서(grip sensor)(240F), 근접 센서(proximity sensor)(240G), 컬러 센서(color sensor)(240H)(예: RGB(red, green, blue) 센서), 생체 센서(medical sensor)(240I), 온/습도 센서(temperature-humidity sensor)(240J), 조도 센서(illuminance sensor)(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다.
추가적으로 또는 대체적으로(additionally or alternatively), 센서 모듈(240)은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG, electromyography) 센서, 일렉트로엔씨팔로그램(EEG, electroencephalogram) 센서, 일렉트로카디오그램(ECG, electrocardiogram) 센서, IR(infrared) 센서, 홍채 센서(iris scan sensor) 및/또는 지문 센서(finger scan sensor)를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로(control circuit)를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(201)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서(예: 저전력 프로세서, MCU(micro controller unit), MPU(micro processor unit) 등)를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널(252), (디지털) 펜 센서(254), 키(256), 또는 초음파 입력 장치(258)를 포함할 수 있다.
터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(288)를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다. 다양한 실시 예들에 따라, 입력 장치(250)는 전자 펜을 포함할 수 있다. 다양한 실시 예들에 따라, 입력 장치(250)는 포스 터치(force touch)를 입력 받을 수 있도록 구현될 수 있다.
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 프로젝터(266), 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다.
패널(262)은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나 이상의 모듈로 구성될 수 있다. 한 실시 예에 따르면, 패널(262)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서(force sensor))를 포함할 수 있다. 압력 센서는 터치 패널(252)과 일체형으로 구현되거나, 또는 터치 패널(252)과는 별도의 하나 이상의 센서로 구현될 수 있다.
패널(262)은 디스플레이(260)에 안착될 수 있으며, 디스플레이(260) 표면에 접촉 또는 근접하는 사용자 입력을 감지할 수 있다. 사용자 입력은 싱글터치(single-touch), 멀티터치(multi-touch), 호버링(hovering), 또는 에어 제스처(air gesture) 중 적어도 하나에 기반하여 입력되는 터치 입력 또는 근접 입력을 포함할 수 있다. 패널(262)은 다양한 실시 예들에서 전자 장치(201)의 사용과 관련된 동작을 개시하기 위한 사용자 입력을 수신할 수 있고, 사용자 입력에 따른 입력 신호를 발생할 수 있다.
패널(262)은 디스플레이(260)의 특정 부위에 가해진 압력 또는 디스플레이(260)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력 신호로 변환하도록 구성될 수 있다. 패널(262)은 입력 도구(예: 사용자 손가락, 전자 펜 등)가 디스플레이(260)의 표면 상에 터치 또는 근접되는 위치 및 면적을 검출할 수 있다. 또한 패널(262)은 적용한 터치 방식에 따라 터치 시의 압력(예: 포스 터치)까지도 검출할 수 있도록 구현될 수 있다.
홀로그램 장치(264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(201)의 내부 또는 외부에 위치할 수 있다.
인터페이스(270)는, 예를 들면, HDMI(272), USB(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278) 등을 포함할 수 있다. 인터페이스(270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
인터페이스(270)는, 다른 전자 장치로부터 데이터를 전송 받거나, 전원을 공급받아 전자 장치(201) 내부의 각 구성들에 전달할 수 있다. 인터페이스(270)는 전자 장치(201) 내부의 데이터가 다른 전자 장치로 전송되도록 할 수 있다. 예를 들어, 유/무선 헤드폰 포트(port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 오디오 입/출력(input/output) 포트, 비디오 입/출력 포트, 이어폰 포트 등이 인터페이스(270)에 포함될 수 있다.
오디오 모듈(280)은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(145)에 포함될 수 있다.
오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 오디오 모듈(280)은 프로세서(210)로부터 입력 받은 오디오 신호를 출력 장치(예: 스피커(282), 리시버(284) 또는 이어폰(286))로 전송하고, 입력 장치(예: 마이크(288))로부터 입력 받은 음성 등의 오디오 신호를 프로세서(210)에 전달하는 기능을 수행할 수 있다. 오디오 모듈(280)은 음성/음향 데이터를 프로세서(210)의 제어에 따라 출력 장치를 통해 가청음으로 변환하여 출력하고, 입력 장치로부터 수신되는 음성 등의 오디오 신호를 디지털 신호로 변환하여 프로세서(210)에게 전달할 수 있다.
스피커(282) 또는 리시버(284)는 통신 모듈(220)로부터 수신되거나, 또는 메모리(230)에 저장된 오디오 데이터를 출력할 수 있다. 스피커(282) 또는 리시버(284)는 전자 장치(201)에서 수행되는 다양한 동작(기능)과 관련된 음향 신호를 출력할 수도 있다. 마이크(288)는 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리할 수 있다. 마이크(288)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘(noise reduction algorithm)이 구현될 수 있다. 마이크(288)는 음성 명령 등과 같은 오디오 스트리밍(audio streaming)의 입력을 담당할 수 있다.
카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
다양한 실시 예들에 따라, 카메라 모듈(291)은 전자 장치(201)의 촬영 기능을 지원하는 구성을 나타낸다. 카메라 모듈(291)은 프로세서(210)의 제어에 따라 임의의 피사체를 촬영하고, 촬영된 데이터(예: 이미지)를 디스플레이(260) 및 프로세서(210)에 전달할 수 있다.
다양한 실시 예들에 따라, 카메라 모듈(291)은, 예를 들면, 칼라 정보를 획득하기 제1 카메라(예: 칼라(RGB) 카메라)와 깊이 정보(depth information)(예: 피사체의 위치 정보, 거리 정보)를 획득하기 위한 제2 카메라(예: 적외선(IR, infrared) 카메라)를 포함할 수 있다. 한 실시 예에 따라, 제1 카메라는 전자 장치(201)의 전면에 구비되는 전면 카메라일 수 있다. 다양한 실시 예들에 따라, 전면 카메라는 제2 카메라에 의해 대체될 수 있고, 제1 카메라는 전자 장치(201)의 전면에서 구비되지 않을 수 있다. 다양한 실시 예들에 따라, 제1 카메라는 제2 카메라와 함께 전자 장치(201)의 전면에 함께 배치될 수 있다. 한 실시 예에 따라, 제1 카메라는 전자 장치(201)의 후면에 구비되는 후면 카메라일 수 있다. 한 실시 예에 따라, 제1 카메라는 전자 장치(201)의 전면과 후면에 각각 구비되는 전면 카메라 및 후면 카메라를 모두 포함하는 형태일 수 있다.
카메라 모듈(291)은 이미지 센서를 포함할 수 있다. 이미지 센서는 CCD(charged coupled device) 또는 CMOS(complementary metal-oxide semiconductor)로 구현될 수 있다.
전력 관리 모듈(295)은, 예를 들면, 전자 장치(201)의 전력을 관리할 수 있다. 한 실시 예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC, 배터리 또는 연료 게이지(fuel gauge)(또는 배터리 게이지)를 포함할 수 있다.
PMIC는 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기 공명(magnetic resonance) 방식, 자기 유도(magnetic induction) 방식 또는 전자기파(electromagnetic wave) 방식 등을 포함할 수 있다. PMIC는 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프(coil loop), 공진 회로(resonance circuit), 또는 정류기(rectifier) 등을 더 포함할 수 있다. 연료 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(296)는, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
인디케이터(297)는 전자 장치(201) 또는 그 일부(예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다.
모터(298)(예: 진동 모터)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다. 본 발명의 다양한 실시 예들에 따라, 전자 장치(201)는 모터 구동 제어부(미도시)를 포함할 수 있고, 모터(298)는 모터 구동 제어부의 제어에 따라 구동할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 진동 발생에 관련된 신호를 모터 구동 제어부로 인가하고, 모터 구동 제어부는 프로세서(210)로부터 수신된 신호에 대응하는 모터 구동 신호를 모터(298)에 출력할 수 있다. 모터(298)는 모터 구동 제어부로부터 수신된 모터 구동 신호에 의해 구동되어 진동을 발생할 수 있다.
다양한 실시 예들에서, 모터(298)는 광대역(wide band)의 주파수 밴드를 지원하는 모터일 수 있고, 이를 통해, 다중 주파수(multi frequency)를 제공(예: 복수의 주파수들에서 진동 발생)할 수 있다. 이의 예시에 대해, 후술하는 도 4를 참조하여 설명된다.
다양한 실시 예들에서는 모터(298)를 예로 설명하지만, 다양한 실시 예들이 이에 한정하는 것은 아니다. 예를 들면, 다양한 실시 예들에서는, 모터(298)와 같이 진동을 발생시키는 진동 발생 장치(또는 모듈)에 의해 구현될 수 있다. 진동 발생 장치는, 예를 들면, 모터(298)를 비롯하여, 진동자(vibrator), 엑추에이터(actuator), 또는 햅틱(haptic) 발생 장치를 포함할 수 있다. 다양한 실시 예들에서는 하나 또는 그 이상의 진동 발생 장치들을 이용하여, 후술하는 다양한 실시 예들에 따른 진동 생성 및 발생에 관련된 동작을 수행할 수도 있다.
다양한 실시 예들에 따른 전자 장치(201)는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다.
본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시 예들에서, 전자 장치(예: 전자 장치(101, 201))는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시 예들에 따른 프로그램 모듈의 블록도이다.
한 실시 예에 따르면, 프로그램 모듈(310)(예: 프로그램(140))은 전자 장치(예: 전자 장치(101, 201))에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다.
도 3을 참조하면, 프로그램 모듈(310)은 커널(320)(예: 커널(141)), 미들웨어(330)(예: 미들웨어(143)), API(360)(예: API(145)), 및/또는 어플리케이션(370)(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드(preload) 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드(download) 가능하다.
커널(320)은, 예를 들면, 시스템 리소스 매니저(321) 및/또는 디바이스 드라이버(323)를 포함할 수 있다.
시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시 예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다.
디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다.
미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다.
한 실시 예에 따르면, 미들웨어(330)는 런타임 라이브러리(runtime library)(335), 어플리케이션 매니저(application manager)(341), 윈도우 매니저(window manager)(342), 멀티미디어 매니저(multimedia manager)(343), 리소스 매니저(resource manager)(344), 파워 매니저(power manager)(345), 데이터베이스 매니저(database manager)(346), 패키지 매니저(package manager)(347), 커넥티비티 매니저(connectivity manager)(348), 노티피케이션 매니저(notification manager)(349), 로케이션 매니저(location manager)(350), 그래픽 매니저(graphic manager)(351), 또는 시큐리티 매니저(security manager)(352) 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리(335)는, 예를 들면, 어플리케이션(370)이 실행되는 동안에 프로그래밍 언어(programming language)를 통해 새로운 기능을 추가하기 위해 컴파일러(compiler)가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리(335)는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다.
어플리케이션 매니저(341)는, 예를 들면, 어플리케이션(370)의 생명 주기(life cycle)를 관리할 수 있다. 윈도우 매니저(342)는 화면에서 사용되는 GUI(graphical user interface) 자원을 관리할 수 있다.
멀티미디어 매니저(343)는 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(344)는 어플리케이션(370)의 소스 코드 또는 메모리의 공간을 관리할 수 있다.
파워 매니저(345)는, 예를 들면, 배터리의 용량, 온도, 또는 전원을 관리하고, 이 중 해당 정보를 이용하여 전자 장치의 동작에 필요한 전력 정보를 결정 또는 제공할 수 있다. 한 실시 예에 따르면, 파워 매니저(345)는 바이오스(BIOS, basic input/output system)와 연동할 수 있다.
데이터베이스 매니저(346)는, 예를 들면, 어플리케이션(370)에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(347)는 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다. 커넥티비티 매니저(348)는, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저(349)는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다.
로케이션 매니저(350)는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저(351)는, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 유저 인터페이스를 관리할 수 있다. 시큐리티 매니저(352)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다.
한 실시 예에 따르면, 미들웨어(330)는 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 미들웨어 모듈을 포함할 수 있다. 한 실시 예에 따르면, 미들웨어(330)는 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다.
API(360)는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(370)은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 와치(384) 등의 어플리케이션을 포함할 수 있다. 다양한 실시 예들에 따르면, 어플리케이션(370)은, 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션 등을 포함할 수 있다. 다양한 실시 예들에 따르면, 어플리케이션(370)은 음악적 요소에 기반하여 관련 진동을 생성하고 제공하는 동작을 수행하도록 하는 어플리케이션을 포함할 수 있다.
한 실시 예에 따르면, 어플리케이션(370)은 전자 장치(201)와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이(notification relay) 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리(device management) 어플리케이션을 포함할 수 있다.
예를 들면, 노티피케이션 릴레이 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온(turn-on)/턴-오프(turn-off) 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다.
한 실시 예에 따르면, 어플리케이션(370)은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다.
한 실시 예에 따르면, 어플리케이션(370)은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서(210)), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛(unit)을 포함하며, 예를 들면, 로직(logic), 논리 블록(logic block), 부품(component), 또는 회로(circuit) 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다.
다양한 실시 예들에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예: 도 1의 메모리(130) 또는 도 2의 메모리(230))에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(210))에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical recording media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터(interpreter)에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시 예들에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다.
다양한 실시 예들에 따르면, 기록 매체는, 후술되는 다양한 방법을 프로세서(120, 210)에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
다양한 실시 예들에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
도 4는 본 발명의 다양한 실시 예들에 따른 전자 장치의 모터의 동작 주파수를 설명하기 위해 도시하는 도면이다.
도 4를 참조하면, 도 4에서 제1 파형(410)은 일반적인 모터의 지원 주파수 밴드를 설명하기 위한 예를 나타내고, 제2 파형(430)은 다양한 실시 예들에 따른 모터의 지원 주파수 밴드를 설명하기 위한 예를 나타낼 수 있다. 도 4에서 가로 축(X축)은 모터의 주파수를 나타낼 수 있고, 세로 축(Y축)은 모터의 출력(예: 가속도)를 나타낼 수 있다.
일반적인 모터의 경우, 도 4의 제1 파형(410)의 예시와 같이 지원 가능한 주파수 밴드(frequency band)가, 예를 들면, 190Hz ~ 210Hz의 범위를 가질 수 있다. 따라서, 일반적인 모터의 경우, 예를 들면, 단일 주파수(또는 공진 주파수로, 예를 들면, 가장 큰 세기를 나타낼 수 있는 주파수)에서 단일 진동만을 발생할 수 있다. 이에, 일반적인 모터에서는, 지원 가능한 주파수 밴드가 협소함에 따라, 다중 주파수에 기반한 다양하게 진동을 발생하는 것이 어려우며, 현재는 구동 시간, 구동 방향, 구동 속도, 또는 구동 세기만을 제어하여 단조로운 진동을 발생하고 있다.
다양한 실시 예들에 따른 모터의 경우, 도 4의 제2 파형(430)의 예시와 같이 지원 가능한 주파수 밴드가, 예를 들면, 모터에 설계되는 출력(예: 가속도 5m/s2 이상, 가속도 7m/s2 등)에 따라 50Hz ~ 400Hz, 100Hz ~ 300Hz 등의 범위를 가질 수 있다. 따라서, 다양한 실시 예들에 따른 모터의 경우, 다중 주파수(또는 공진 주파수)에서 동일하거나 다른 복수의 진동을 발생할 수 있다. 이에, 다양한 실시 예들에 따른 모터에서는, 지원 가능한 주파수 밴드가 광대역(wide band)임에 따라, 다중 주파수에 기반한 다양한 진동을 발생할 수 있으며, 다양한 진동 각각에, 구동 시간, 구동 방향, 구동 속도, 또는 구동 세기를 조합적으로 제어하여 다양한 진동을 발생하여 다양한 표현(예: 현실감, 현장감, 직관성, 촉감, 또는 리듬감 있는 멜로디 진동)으로 진동 피드백을 사용자에게 제공할 수 있다. 예를 들면, 다양한 실시 예들에서는, 모터를 제어할 때 특정 주파수로 고정하지 않고, 지원 주파수 밴드의 다중 주파수에서 하나 또는 그 이상의 주파수에 기반하여 모터의 구동 신호를 발생할 수 있다.
도 5는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동 처리 모듈의 예를 도시하는 도면이다.
도 5에 도시한 바와 같이, 도 5는 다양한 실시 예들에 따른 전자 장치(예: 도 1 또는 도 2의 전자 장치(101, 201))에서 음악적 요소에 기반하여 관련 진동을 생성하고 제공하는 것과 관련된 진동 처리 모듈(500)의 예를 나타낼 수 있다. 다양한 실시 예들에서, 진동 처리 모듈(500)은 프로세서(예: 도 1 또는 도 2의 프로세서(120, 210), 이하, 프로세서(210))에 하드웨어 모듈로 포함되거나, 또는 소프트웨어 모듈로 포함될 수 있다.
도 5를 참조하면, 다양한 실시 예들에 따른 진동을 생성하고 제공하기 위한 진동 처리 모듈(500)은, 주파수 추출 모듈(510), 진동 생성 모듈(520), 진동 출력 모듈(530), 진동 저작(authoring) 모듈(540) 등을 포함할 수 있다.
주파수 추출 모듈(510)은, 음악적 요소에 대응하는 주파수를 추출 또는 인식하는 모듈을 나타낼 수 있다. 다양한 실시 예들에서, 음악적 요소는, 예를 들면, 템포(박자), 길이, 반복, 음높이, 음계 등을 포함할 수 있다. 한 실시 예에 따르면, 음악의 음계(예: 도(Do), 레(Re), 미(Mi), 파(Pa), 솔(Sol), 라(La), 시(Si), 도(Do) 등)는 아래 <표 1>의 예시와 같이, 각각 대응하는 주파수를 가질 수 있고, 다양한 실시 예들에서는 음계의 주파수에 대응하는 진동의 주파수를 설정할 수 있다. <표 1>은 음계 및 옥타브 별 표준 주파수의 예를 나타낼 수 있다. <표 1>에서 주파수 단위는 헤르츠(hertz)(Hz)일 수 있다.
Figure PCTKR2018002183-appb-I000001
다양한 실시 예들에 따르면, 주파수 추출 모듈(510)은 모터(298)를 이용하여 멜로디가 있는 진동을 생성하는 것과 관련하여, 음악적 요소에 따른 주파수를 추출할 수 있다. 한 실시 예에 따라, 음악 ‘Twinkle Twinkle Little Star’의 적어도 일부 구간(예: 도도솔솔라라솔(CCGGAAG))을 예를 들면, 주파수 추출 모듈(510)은 모터(298)의 지원 주파수 밴드에서 도도솔솔라라솔(CCGGAAG)의 주파수에 대응하는 진동 주파수를 추출할 수 있다. 다양한 실시 예들에 따르면, 주파수 추출 모듈(510)은 음높이(또는 옥타브)(예: 시시파#시라#파#)에 따른 다른 주파수를 추출할 수도 있다.
다양한 실시 예들에서, 주파수 추출 모듈(510)은 진동 주파수를 위한 주파수를 추출할 때, 다양한 입력(또는 사용자 인터랙션)에 대응하는 주파수에 기반하여 추출할 수 있다.
한 실시 예에 따르면, 주파수 추출 모듈(510)은 진동 주파수를 위한 음악적 요소는 특정 음악(또는 멜로디)에 기반하여 제공될 수 있으며, 주파수 추출 모듈(510)은 특정 음악(또는 멜로디)에서 음악의 각각의 주파수로부터 진동 주파수를 추출할 수 있다. 한 실시 예에 따르면, 주파수 추출 모듈(510)은 유저 인터페이스를 이용한 사용자와의 인터랙션에 기반하여, 지정된 영역의 주파수 선택을 위한 터치 입력에 대응하는 각각의 주파수를 진동 주파수로 추출할 수 있다. 한 실시 예에 따르면, 주파수 추출 모듈(510)은 유저 인터페이스를 이용한 사용자와의 인터랙션에 기반하여, 포스 터치의 압력의 세기에 대응하는 각각의 주파수를 진동 주파수로 추출할 수 있다. 한 실시 예에 따르면, 주파수 추출 모듈(510)은 마이크 등의 오디오 입력 장치에 의한 사용자의 음성 입력 또는 오디오 입력에서 음성(또는 오디오)에 대응하는 각각의 주파수를 진동 주파수로 추출할 수 있다.
진동 생성 모듈(520)은, 주파수에 대응하는 진동을 음악적 요소에 기반하여 생성하는 모듈을 나타낼 수 있다. 한 실시 예에 따르면, 진동 생성 모듈(520)은, 주파수 추출 모듈(510)에 의해 추출된 진동 주파수에 기반하여 진동을 생성할 수 있다. 다양한 실시 예들에 따라, 진동 생성 모듈(520)은 진동을 생성할 때, 음악적 요소(예: 템포(박자), 길이, 반복 등)에 기반하여 각 진동의 템포, 길이를 다르게 생성할 수 있다. 한 실시 예에 따르면, 진동 생성 모듈(520)은, 다중 주파수에 대응하는 다중 진동에 의해, 진동 질감, 고유한 패턴을 형성하여, 사용자에 알림 인지를 향상시킬 수 있다. 예를 들면, 두 개 이상의 협화 주파수로의 진동 떨림에 기반하여, 2 ~ 3 개의 협화음 주파수로 리듬감 있는 진동을 사용자에게 제공할 수 있다. 다른 예를 들면, 협화도가 낮은 2개 이상의 주파수(또는 변화)를 통해 경고 알림에 대한 전달력을 높일 수 있고, 경고 또는 에러 등의 정보를 직관적으로 제공할 수 있다. 다양한 실시 예들에 따르면, 진동 생성 모듈(520)은 각각의 진동에 기반하여 진동 패턴을 생성하여 메모리(230)에 저장할 수 있다.
진동 출력 모듈(530)은, 음악적 요소에 대응하여 멜로디가 있는 진동(이하, 멜로디 진동)을 출력하도록 하는 모듈을 나타낼 수 있다. 한 실시 예에 따르면, 진동 출력 모듈(530)은 음악적 요소에 기반하여 생성된 진동 패턴에 따라, 템포(박자), 길이, 방향, 속도, 또는 세기를 구분하여, 다양한 표현(예: 현실감, 현장감, 직관성, 촉감, 또는 리듬감 있는 멜로디 진동)으로 진동을 발생하도록 할 수 있다. 한 실시 예에 따르면, 진동 출력 모듈(530)은 음계를 화음 주파수로 변환하고, 변환된 화음 주파수를 협화 또는 불협화에 매핑하여 진동을 발생하도록 할 수 있다.
진동 출력 모듈(530)은, 한 실시 예에 따르면, 내부 또는 외부로부터 진동 출력과 관련된 이벤트를 감지할 시, 해당 이벤트에 따른 주파수에 기반하여 협화음 또는 불협화음에 대응하는 진동을 발생할 수 있다. 예를 들면, 다양한 실시 예들에서는, 특정 상황에 따라 협화음의 진동을 발생하거나, 불협화음의 진동을 발생할 수 있다.
다양한 실시 예들에서, 음악적 요소에 기반하여 진동을 생성하고, 관련 진동 피드백을 제공하는 것과 관련하여, 후술하는 도면들을 참조하여 구체적으로 설명된다.
진동 저작 모듈(540)은, 음악적 요소에 기반하여 사용자에 의한 진동 패턴을 구성하는 것과 관련된 동작을 처리하는 모듈을 나타낼 수 있다. 다양한 실시 예들에 따르면, 진동 저작 모듈(540)은 사용자의 진동 저작을 지원하기 위한 유저 인터페이스를 제공하고, 유저 인터페이스에 의한 사용자와의 인터랙션(interaction)에 기반하여 진동을 생성하는 동작을 처리할 수 있다. 예를 들면, 진동 저작 모듈(540)은 유저 인터페이스에 기반하여 사용자 입력을 검출하고, 사용자 입력에 대응하여 진동의 동작 주파수, 길이, 템포, 세기 등을 설정하도록 할 수 있다. 진동 저작 모듈(540)에 의한 진동 저작과 관련하여 후술하는 도면들을 참조하여 구체적으로 설명된다.
이상에서 살펴본 바와 같이, 다양한 실시 예들에 따른 전자 장치는, 디스플레이(160, 260), 진동 발생 장치(예: 모터(298)), 및 상기 디스플레이 및 상기 진동 발생 장치와 기능적으로 연결된 프로세서(120, 210)를 포함하고, 상기 프로세서는, 음악적 요소를 이용하여 다중 주파수(multi frequency)를 선택하고, 상기 선택된 다중 주파수에 기반하여 적어도 하나의 진동을 설정하고, 상기 설정된 진동에 기반하여 진동 패턴을 생성하도록 구성할 수 있다.
다양한 실시 예들에 따라, 상기 진동 발생 장치는, 광대역의 주파수 밴드를 지원하고, 모터, 진동자(vibrator), 엑추에이터(actuator), 또는 햅틱(haptic) 발생 장치 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.
다양한 실시 예들에 따라, 상기 다중 주파수는, 상기 진동 발생 장치의 지원 주파수 밴드에 포함되는 동일하거나 다른 복수의 주파수들인 것을 특징으로 할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 상기 다중 주파수의 제1 주파수에 대응하여 제1 진동을 설정하고, 상기 다중 주파수의 제2 주파수에 대응하여 제2 진동을 설정하고, 상기 제1 진동과 상기 제2 진동을 조합하여 하나의 진동 패턴을 생성하도록 더 구성할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 상기 음악적 요소의 적어도 일부에 기반하여 상기 선택된 다중 주파수에 대응하는 상기 진동을 결정하도록 더 구성할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 사용자 인터랙션에 기반하여 상기 다중 주파수를 선택하도록 더 구성되고, 상기 사용자 인터랙션은, 지정된 영역의 터치 입력, 압력 세기에 따른 포스 터치 입력, 또는 오디오(또는 음성) 입력 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 선택되는 음악에서 상기 음악적 요소를 인식하여, 상기 다중 주파수를 선택하도록 더 구성할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 상기 제1 진동과 상기 제2 진동 각각에 대하여, 길이, 구간, 세기, 또는 속도 중 적어도 하나를 설정하여 상기 진동 패턴을 생성하도록 더 구성할 수 있다.
다양한 실시 예들에 따라, 상기 제1 진동과 상기 제2 진동은, 동일하거나 다른 주파수가 설정되고, 상기 제1 진동과 제2 진동의 구간들이 각각의 적어도 일부를 통해 중첩되거나, 또는 각각의 길이에 따라 독립적으로 구분되는 것을 특징으로 할 수 있다.
다양한 실시 예들에 따라, 상기 프로세서는, 진동 출력과 관련된 이벤트(예: 내부 이벤트, 외부 이벤트)를 감지하고, 상기 이벤트에 따라 협화음 또는 불협화음에 따른 다중 주파수 조합으로 진동을 출력하도록 더 구성할 수 있다.
이하에서, 첨부 도면들을 참조하여 본 발명의 다양한 실시 예들에 따른 동작 방법에 대하여 살펴보기로 한다. 하지만, 본 발명의 다양한 실시 예들이 하기에서 기술하는 내용에 의해 제한되거나 한정되는 것은 아니므로, 하기의 실시 예에 의거하여 다양한 실시 예들에 적용할 수 있음에 유의하여야 한다. 이하에서 설명되는 본 발명의 다양한 실시 예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 발명의 다양한 실시 예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 발명의 다양한 실시 예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
도 6은 본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 6을 참조하면, 동작 601에서, 전자 장치(예: 도 1 또는 도 2의 전자 장치(101, 201, 102, 104))의 프로세서(예: 프로세싱 회로(processing circuitry)를 포함하는 하나 또는 그 이상의 프로세서들)(예: 도 1 또는 도 2의 프로세서(120, 210), 이하, 프로세서(210))는 음악적 요소를 이용하여 주파수를 선택할 수 있다. 다양한 실시 예들에서, 음악적 요소는, 예를 들면, 템포(박자), 길이, 반복, 음높이, 음계 등을 포함할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 음악적 요소의 적어도 일부(예: 음계, 음높이 등)에 기반하여 하나 또는 그 이상의 주파수를 선택할 수 있다.
동작 603에서, 프로세서(210)는 선택된 주파수에 따른 진동을 설정할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 제1 주파수 선택에 대응하여 제1 진동을 설정하고, 제2 주파수 선택에 대응하여 제2 진동을 설정하는 것과 같이 주파수 선택에 순차적으로 진동을 설정할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 복수의 주파수 선택에 대응하여 각 주파수에 대한 진동을 일괄적으로 설정할 수도 있다. 다양한 실시 예들에서, 프로세서(210)는 진동을 설정할 시, 음악적 요소의 적어도 일부(예: 템포, 길이, 음높이 등)에 기반하여 각 진동을 상이하게 설정할 수 있다.
동작 605에서, 프로세서(210)는 설정된 적어도 하나의 진동에 기반하여 진동 패턴을 생성할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 제1 주파수의 제1 진동과 제2 주파수의 제2 진동을 조합하여 하나의 진동 패턴으로 생성하고, 생성된 진동 패턴을 메모리(230)에 저장할 수 있다.
도 7은 본 발명의 다양한 실시 예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 7을 참조하면, 동작 701에서, 전자 장치의 프로세서(210)는 모터(298)의 지원 주파수 밴드 내에서 다중 주파수를 선택할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 사용자 입력에 기반하여 다중 주파수를 선택할 수 있다. 예를 들면, 사용자는 디스플레이(예: 도 1 또는 도 2의 디스플레이(160, 260))를 통해 표시된 유저 인터페이스를 이용하여 진동을 생성하는 것과 관련된 인터랙션을 수행할 수 있고, 프로세서(210)는 사용자와의 인터랙션에 기반하여 해당 주파수를 인식할 수 있다. 다른 실시 예에 따르면, 프로세서(210)는 특정 음악적 요소에 기반하여 다중 주파수를 선택할 수 있다. 예를 들면, 사용자는 특정 음악을 선택(또는 지정)할 수 있고, 프로세서(210)는 지정된 음악에서 멜로디(예: 음악적 요소)를 인식하여 대응되는 다중 주파수를 선택할 수 있다.
동작 703에서, 프로세서(210)는 다중 주파수에 대응하는 진동을 결정할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 제1 주파수에 대응하는 제1 진동을 결정하고, 제2 주파수에 대응하는 제2 진동을 결정할 수 있다.
동작 705에서, 프로세서(210)는 진동의 타입(예: 진동 길이, 진동 구간, 진동 반복 등)을 설정할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 제1 진동과 제2 진동 각각에 대하여, 진동의 길이, 진동의 구간, 진동의 세기, 또는 진동의 속도 등을 설정할 수 있다. 다양한 실시 예들에서, 프로세서(210)는 음악적 요소(예: 템포(박자), 길이, 음높이 등)에 기반하여, 제1 진동과 제2 진동의 진동 길이, 진동 구간, 또는 진동 반복 등을 설정할 수 있다. 다양한 실시 예들에서, 제1 진동과 제2 진동은 다른 주파수가 설정될 수 있고, 적어도 일부 구간이 중첩되거나, 또는 구간이 진동의 길이에 따라 독립적으로 구분될 수 있다. 이에 대하여, 후술하는 도면들을 참조하여 설명된다.
동작 707에서, 프로세서(210)는 다중 주파수에 대응하는 다중 진동에 기반하여 진동 패턴을 생성 및/또는 출력할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 진동 저작 모드에 따라, 제1 진동과 제2 진동에 기반하여 하나의 진동 패턴을 생성하고, 진동 패턴을 메모리(230)에 저장하도록 처리할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 진동 출력 모드에 따라, 제1 진동과 제2 진동에 기반하여 멜로디 진동이 출력되도록 처리할 수 있다.
도 8a 및 도 8b는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 생성하는 예를 설명하기 위해 도시하는 도면들이다.
도 8a 및 도 8b에 도시한 바와 같이, 도 8a 및 도 8b는 전자 장치에서 음악적 요소(예: 음높이, 음계, 주파수 등)를 이용하여, 전자 장치의 다양한 기능(예: 전화, 알림 등)에 협화/불협화에 따른 진동을 설정하는 예를 나타낼 수 있다.
다양한 실시 예들에서, 협화(또는 협화음(consonance))은, 둘 이상의 음이 서로 잘 조화된 음을 지칭할 수 있다. 예를 들어, 도 8a와 도 8b에서 제1 일반 음정(예: 도)와 제2 일반 음정(예: 미)의 조합이 협화에 대응할 수 있다. 예를 들면, 피아노의 흰 건반들에 대응하는 장음정(major interval) 또는 완전 음정(Perfect interval) 등이, 협화음에 포함될 수 있다. 한 실시 예에 따라, 불협화(불협화음(dissonance))는 둘 이상의 음이 서로 어울리지 않아 불안정한 느낌을 주는 음을 지칭할 수 있다. 예를 들어, 도 8a와 도 8b에서 일반 음정(예: 도)과 반올림(#, the sharp)) 음정(예: 도#)의 조합이 불협화에 대응할 수 있다. 예를 들면, 피아노의 검은 건반들에 대응하는 감음정(diminished intervals), 단음정(minor intervals) 또는 증음정(Augmented intervals) 등이, 불협화음에 포함될 수 있다.
도 8a를 참조하면, 도 8a는 비연속 진동의 협화/불협화 진동 구성 예를 나타내며, 각 진동 간에 비중첩으로 구성되는 예를 나타낼 수 있다. 예를 들면, 도 8a에서, 제1 예시(810)는 불협화 비중첩 진동의 구성 예를 나타낼 수 있고, 제2 예시(820)는 협화 비중첩 진동의 구성 예를 나타낼 수 있다.
한 실시 예에 따르면, 제1 예시(810)에 도시한 바와 같이, 제1 주파수(예: 음정 도(C3))에 대응하는 주파수(예: 130.8128Hz))에 기반하여 제1 진동(811)이 설정되고, 제2 주파수(예: 음정 도#(C#3))에 대응하는 주파수(예: 138.5913Hz))에 기반하여 제2 진동(813)이 설정될 수 있다. 한 실시 예에 따르면, 제2 예시(820)에 도시한 바와 같이, 제1 주파수(예: 음정 도(C3))에 대응하는 주파수(예: 130.8128Hz))에 기반하여 제1 진동(821)이 설정되고, 제3 주파수(예: 음정 미(E3))에 대응하는 주파수(예: 164.8138Hz))에 기반하여 제2 진동(823)이 설정될 수 있다.
도 8a에 도시한 바와 같이, 서로 다른 주파수에 따른 제1 진동(811 또는 821)과 제2 진동(813 또는 823)은, 각각 서로 다른 구간에서 독립적으로 동작(예: 비중첩 동작)할 수 있다.
다양한 실시 예들에 따라, 제1 진동(811 또는 821))과 제2 진동(813 또는 823)은 각각의 길이를 가지고 반복되도록 설정될 수 있다. 예를 들어, 제1 예시(810)를 참조하면, 제1 진동(811)은 X의 길이로 N구간(예: N은 홀수(단, 자연수))마다 반복될 수 있고, 제2 진동(813)은 Y의 길이로 M구간(예: M은 짝수(단, 자연수))마다 반복될 수 있다. 다양한 실시 예들에서, 길이 X와 Y는 동일한 길이 값을 가지거나, 다른 길이 값을 가지도록 설정될 수 있다. 다양한 실시 예들에서, 하나의 진동 내에서도 구간마다 또는 일부 구간에서 다른 길이를 가지도록 설정할 수도 있다. 예를 들면, 제1 진동(811)의 경우, 제1 구간에서 X 길이, 제3 구간에서 X+1 길이, 제5 구간에서 X 길이, 제7 구간에서 X+2 길이 등과 같이 주파수에 따른 진동을 출력 구간마다 다른 길이를 가지도록 설정할 수 있다.
다양한 실시 예들에서, 진동의 길이는 도 8a의 예시와 같이 구간에 기반하여 설정될 수 있다. 예를 들면, 진동의 길이와 진동의 구간은 동일한 의미로 사용될 수도 있다. 한 실시 예에 따르면, 한 구간을 진동의 한 길이로 할 수 있고, 한 구간의 반을 진동의 한 길이로 할 수 있고, 또는 다수의 연속된 구간들을 진동의 한 길이로 할 수도 있다.
도 8b를 참조하면, 도 8b는 연속 진동의 협화/불협화 진동 구성 예를 나타내며, 각 진동 간에 적어도 일부가 중첩으로 구성되는 예를 나타낼 수 있다. 예를 들면, 도 8b에서, 제3 예시(830)는 불협화 중첩 진동의 구성 예를 나타낼 수 있고, 제4 예시(840)는 협화 중첩 진동의 구성 예를 나타낼 수 있다.
한 실시 예에 따르면, 제3 예시(830)에 도시한 바와 같이, 제1 주파수(예: 음정 도(C3))에 대응하는 주파수(예: 130.8128Hz))에 기반하여 제1 진동(831)이 설정되고, 제2 주파수(예: 음정 도#(C#3))에 대응하는 주파수(예: 138.5913Hz))에 기반하여 제2 진동(833)이 설정될 수 있다. 한 실시 예에 따르면, 제4 예시(840)에 도시한 바와 같이, 제1 주파수(예: 음정 도(C3))에 대응하는 주파수(예: 130.8128Hz))에 기반하여 제1 진동(841)이 설정되고, 제3 주파수(예: 음정 미(E3))에 대응하는 주파수(예: 164.8138Hz))에 기반하여 제2 진동(843)이 설정될 수 있다.
도 8b에 도시한 바와 같이, 서로 다른 주파수에 따른 제1 진동(831 또는 841)과 제2 진동(833 또는 843)은, 각각 연속 진동(예: 다중 구간을 걸친 연속된 진동)의 속성을 포함할 수 있고, 적어도 일부 구간에서 서로 중첩되어 동작(예: 중첩 동작)할 수 있다.
다양한 실시 예들에 따라, 제1 진동(831 또는 841)과 제2 진동(833 또는 843)은 각각의 길이를 가지도록 설정될 수 있다. 예를 들어, 제3 예시(830)를 참조하면, 제1 진동(831)은 X의 길이(예: 연속된 복수의 구간들)로 설정될 수 있고, 제2 진동(833)은 Y의 길이(예: 연속된 복수의 구간들)로 설정될 수 있다. 다양한 실시 예들에서, 길이 X와 Y는 동일한 길이 값을 가지거나, 다른 길이 값을 가지도록 설정될 수 있다. 다양한 실시 예들에서, 제1 진동(831)과 제2 진동(833)이 긴 길이를 가지도록 설정됨에 따라, 각 진동의 시작 시점 및/또는 길이에 따라 적어도 일부 구간이 중첩되어 동시에 동작할 수 있다.
다양한 실시 예들에 따라, 도 8a 및 도 8b에 도시한 바와 같이, 서로 다른 주파수의 조합(예: 제1 주파수 & 제2 주파수, 또는 제1 주파수 & 제3 주파수)에 기반하여 제1 진동과 제2 진동의 조합을 협화 또는 불협화에 의한 진동 패턴으로 생성할 수 있다. 일 예로, 다양한 실시 예들에서는, 협화 음정 조합의 주파수들에 대응하는 진동들에 의해 조화(harmony) 또는 안정된 느낌의 진동을 사용자에게 제공할 수 있다. 다른 예로, 다양한 실시 예들에서는, 불협화 음정 조합의 주파수들에 대응하는 진동들에 의해 부조화(disharmony) 또는 불안정한 느낌의 진동을 사용자에게 제공할 수 있다.
도 9는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 제공하는 예를 설명하기 위해 도시하는 도면이다.
도 9를 참조하면, 도 9는 전술한 도 8을 참조한 설명 부분에서 설명한 바와 같이, 음악적 요소에 따른 다중 주파수를 기반으로 하는 다중 진동들에 의해 생성된 진동을 활용하는 예들을 나타낼 수 있다.
한 실시 예에 따르면, 도 9의 예시(A)는, 적어도 두 개의 협화 주파수를 이용하여 전화 수신 진동을 설정한 예를 나타낼 수 있다. 예를 들면, 적어도 두 개의 협화 주파수로의 진동 떨림을 통해, 고전적인 전화 벨소리(ringer-bell)를 탈피하여, 2 ~ 3개의 협화음 주파수로 구성된 전화 벨소리를 제공하여, 사용자의 경험성에 따라 인지 또는 직관성이 높은 진동 피드백을 제공할 수 있다.
한 실시 예에 따르면, 도 9의 예시(B)는, 적어도 두 개의 불협화 주파수를 이용하여 에러 진동을 설정한 예를 나타낼 수 있다. 예를 들면, 적어도 두 개의 불협화 주파수로의 진동 떨림을 통해, 전자 장치의 에러(error)(또는 오동작)에 대한 알림을 보다 직관성 있게 제공할 수 있다.
한 실시 예에 따르면, 도 9의 예시(C)는, 적어도 세 개의 협화/불협화 주파수를 이용하여 다이나믹(dynamic)한(예: 진동 변이가 큰) 진동을 설정한 예를 나타낼 수 있고, 도 9의 예시(D)는, 적어도 다섯 개의 협화/불협화 주파수를 이용하여 사용자만의 고유한(unique) 또는 사용자에 의해 식별력이 높은 진동을 설정한 예를 나타낼 수 있다. 이와 같이, 다양한 실시 예들에 따르면, 전자 장치는, 기존의 단일 주파수에 의한 진동에 비해, 보다 다이나믹한(예: 진동 변이가 큰) 진동 질감과 고유한 패턴을 형성하여, 사용자의 알림 인지 향상에 도움을 줄 수 있다.
도 10 및 도 11은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 생성하는 예를 설명하기 위해 도시하는 도면들이다.
도 10 및 도 11에 도시한 바와 같이, 도 10 및 도 11은 전자 장치에서 음악적 요소(예: 음높이, 음계, 주파수 등)를 이용하여, 전자 장치의 다양한 기능(예: 불협화 경고, 로직(logic)화 진동(예: 인지 보조 요소를 위한 진동))에 협화/불협화에 따른 진동을 설정하는 예를 나타낼 수 있다.
도 10을 참조하면, 도 10은 사용자의 진동에 대한 알림 분별력(discernment)을 향상하기 위한 진동 구성의 예를 나타낼 수 있다.
예를 들면, 도 10의 예시(A)의 제1 주파수의 제1 진동(1010)과 제2 주파수의 제2 진동(1020)로 구성된 진동에서, 각 진동의 주파수(예: 옥타브) 및/또는 길이를 조정하여 알림의 특성에 부합하도록 변경할 수 있다. 한 실시 예에 따르면, 도 10의 예시(B)에 도시한 바와 같이, 제1 진동(1010)의 길이를 짧게 줄여 제3 진동(1030)으로 변경하고, 제2 진동(1020)의 주파수를 동일 음정의 주파수 상향(예: 음의 옥타브 상향에 따른 주파수)하고 길이를 길게 늘여 제4 진동(1040)으로 변경할 수 있다. 한 실시 예에 따르면, 청각 유저 인터페이스(AUI, auditory user interface) 로직(logic)을 이용한 청각에 의한 인지에 비해, 진동 주파수(또는 음높이(pitch))의 인지 수준이 낮을 수 있다. 따라서, 도 10의 예시(B)와 같이 보다 더 큰 차이의 주파수(또는 음높이)를 이용하여 사용자의 진동 피드백에 대한 분별력을 향상시킬 수 있다.
도 11을 참조하면, 도 11은 사용자의 진동에 대한 알림 분별력을 향상하기 위한 진동 구성의 다른 예를 나타낼 수 있다. 예를 들면, 도 11은 협화 및 불협화 주파수의 중첩 발생 진동에 기반하여 긍정적 느낌과 부정적 느낌의 진동 피드백을 구분하는 예를 나타낼 수 있다.
한 실시 예에 따르면, 도 11의 예시(A)에서와 같이, 협화 관계의 주파수 조합(예: 협화 주파수와 협화 주파수)을 이용하여, 제1 진동(1110)과 제2 진동(1120)을 각각 설정할 수 있고, 제1 진동(1110)과 제2 진동(1120)에 기반하여 긍정적 진동을 발생할 수 있다. 예를 들면, 협화음에 대응하는 다른 주파수의 제1 주파수와 제2 주파수를 이용하여, 제1 진동과 제2 진동을 각각 설정하고, 이들을 중첩 또는 비중첩으로 구성하는 하나의 진동 패턴을 구성할 수 있다.
한 실시 예에 따르면, 도 11의 예시(B)에서와 같이, 불협화 관계의 주파수 조합(예: 협화 주파수와 불협화 주파수, 불협화 주파수와 불협화 주파수)을 이용하여, 제1 진동(1130)과 제2 진동(1140)을 각각 설정할 수 있고, 제1 진동(1130)과 제2 진동(1140)에 기반하여 부정적 진동을 발생할 수 있다. 예를 들면, 협화음에 대응하는 제1 주파수와 불협화음에 대응하는 제2 주파수를 이용하여, 제1 진동과 제2 진동을 각각 설정하고, 이들을 중첩 또는 비중첩으로 구성하는 하나의 진동 패턴을 구성할 수 있다.
한 실시 예에 따르면, 진동에 기반하여 경고(warning)의 알림을 사용자에게 통지하는 예를 살펴볼 수 있다. 기존의 단일 주파수에 의한 진동 방식은, 진동의 주기 및/또는 세기 등의 변이만으로 경고의 다급함을 사용자에게 전달하는 방식일 수 있다. 반면, 다양한 실시 예들에 따르면, 다중 주파수에 의한 협화/불협화에 따른 복합적인 진동을 통해, 경고의 다급함을 보다 분별력 있게 사용자에게 전달할 수 있다. 예를 들면, 협화도가 낮은, 예를 들면, 불협화의 주파수들에 대응하는 진동으로 사용자에게 진동 피드백을 제공할 수 있다. 따라서, 다양한 실시 예들에서는, 기존의 단일 주파수에 따른 주기 및/또는 세기 등의 변이에, 추가적으로, 협화도가 낮은 적어도 2개의 주파수(또는 그의 변화)를 통해 추가적인 알림 진동을 제공할 수 있다. 이를 통해, 진동에 의한 전달력을 높일 수 있고, 경고 또는 에러 등의 긴급 또는 부정의 정보를 분별력 있게 사용자에게 전달할 수 있다.
도 12 및 도 13은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 제공하는 예를 설명하기 위해 도시하는 도면들이다.
도 12 및 도 13에 도시한 바와 같이, 도 12 및 도 13은 전술한 도 10 및 도 11을 참조한 설명 부분에서 설명한 바와 같이, 음악적 요소에 따른 다중 주파수를 기반으로 하는 다중 진동들에 의해 생성된 진동을 전자 장치의 기능 별로 활용하는 예를 나타낼 수 있다.
도 12를 참조하면, 도 12는 음악적인 조화 질감을 활용하여 진동을 제공하는 예를 나타낼 수 있다. 예를 들면, 저역(low frequency)/고역(high frequency)의 질감(예: 부드러움)/음가(音價)(time value)를 활용하여 진동을 제공할 수 있다.
한 실시 예에 따라, 도 12의 예시(A)는, 기존의 진동 제공 방식을 나타낸 것으로, 기존에서는 모스 부호(morse code) 방식과 같이 하나의 진동의 온(on)/오프(off) 방식으로만 출력하는 방식일 수 있다.
한 실시 예에 따라, 도 12의 예시(B)는 다양한 실시 예들에 따른 진동 제공 방식을 나타낸 것으로, 기존 온/오프 방식에, 추가적으로, 화음과 조화 질감을 더하여 출력하는 방식일 수 있다. 예를 들면, 제1 주파수의 제1 진동과 제2 주파수의 제2 진동을 적어도 일부 구간을 중첩하거나 비중첩하여 출력하는 방식일 수 있다.
도 13을 참조하면, 도 13은 협화/불협화 관계 주파수 패턴의 교차를 이용하여 전자 장치의 기능 별로 피드백을 차별화하는 예를 나타낼 수 있다. 예를 들면, 다양한 실시 예들에 따르면, 전자 장치의 다양한 알림(예: 전화 수신, SOS, 통지(notification), 시스템(예: operation) 등의 알림)을 해당 기능 별로 직관성 있는 진동 패턴으로 구성할 수 있다.
한 실시 예에 따르면, 전화 수신(ringer) 알림의 경우, 협화 관계의 주파수(예: 적어도 2개의 협화음 주파수) 패턴의 교차를 이용한 조화(harmonic) 진동을 설정할 수 있다. 한 실시 예에 따르면, 긴급(SOS) 알림의 경우, 불협화 관계의 주파수(예: 적어도 2개의 협화음/불협화음 주파수) 패턴의 교차를 이용한 부조화(disharmonic) 진동을 설정할 수 있다. 한 실시 예에 따르면, 통지(notification) 알림의 경우, 통지의 속성(또는 종류)(예: low-knock, high-chopstick, harmonic-bell 등) 별로 구분된 진동을 설정할 수 있다.
한 실시 예에 따르면, 시스템(system)(또는 동작(operation)) 알림의 경우, 관련 동작(또는 기능)(예: connect, disconnect, low battery 등) 별로 구분된 진동을 설정할 수 있다. 예를 들면, 동음(同音)(unison) 또는 완전 5도 등에 대응하는 주파수들의 상/하향 조합을 이용하여, 시작/종료, 연결/해제 등에 따른 진동을 보다 분별력 있게 제공할 수 있다. 예를 들면, 청각 유저 인터페이스(AUI) 로직(logic)을 이용한 청각에 의한 인지에 비해, 진동 주파수(또는 음높이(pitch))의 인지 수준이 낮을 수 있다. 따라서, 다양한 실시 예들에 따르면, 보다 더 큰 차이의 주파수(또는 음높이)를 이용하여 사용자의 진동 피드백에 대한 분별력을 향상시킬 수 있다. 또한 다양한 실시 예들에 따르면, 진동의 길이의 차이를 병행하여 진동 피드백에 대한 분별력을 보다 향상시킬 수도 있다.
도 14 및 도 15는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 생성하는 예를 설명하기 위해 도시하는 도면들이다.
도 14 및 도 15에 도시한 바와 같이, 도 14 및 도 15는 전자 장치에서 음악적 요소(예: 음높이, 음계, 주파수 등)를 이용하여, 사용자만의 고유한(unique) 진동(예: 멜로디 진동)을 설정하는 예를 나타낼 수 있다. 예를 들면, 도 14 및 도 15에서는 다양한 실시 예들에 따른 광대역의 주파수 밴드를 지원하는 모터를 이용하여, 멜로디가 있는 진동(예: 멜로디 진동)을 생성하는 예를 나타낼 수 있다.
도 14를 참조하면, 도 14는 특정 멜로디를 주파수로 변환하여 진동 패턴을 구성한 예를 나타낼 수 있다. 한 실시 예에 따르면, 도 14에서는 음악적 요소(예: A2 ~ A3)에 대응하는 주파수 범위(예: 110Hz ~ 220Hz)를 이용하여, 특정 멜로디(예: 시시파#시라#파# - B2,B2,F#3,B3,A#3,F#3)에 의한 진동 패턴을 구성한 예일 수 있다.
도 15를 참조하면, 도 15는 특정 음악 멜로디(예: Twinkle Twinkle Little Star)를 주파수로 변환하여 진동 패턴을 구성한 예를 나타낼 수 있다. 한 실시 예에 따르면, 음악적 요소(예: A2 ~ A3)에 대응하는 주파수 범위(예: 110Hz ~ 220Hz)를 이용하여 음악 멜로디(예: Twinkle Twinkle Little Star)의 적어도 일부 구간(예: 도도솔솔라라솔 - C3C3G3G3A3A3G3))에 의한 진동 패턴을 구성한 예일 수 있다.
다양한 실시 예들에 따르면, 도 14 및 도 15의 예시와 같이, 다중 주파수들에 대응하여 다중 진동에 기반하여 진동 패턴을 구성할 수 있다. 한 실시 예에 따르면, 사용자만의 고유한 멜로디 진동을 구성할 수 있고, 이를 통해 진동 피드백에 의한 사용자 인지를 향상할 수 있다.
도 16은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 생성하는 예를 설명하기 위해 도시하는 도면이다.
도 16에 도시한 바와 같이, 도 16은 전자 장치에서 음악적 요소(예: 템포(박자), 길이, 반복 등)를 이용하여, 상황의 중요도(예: 진동 피드백의 긴급한 정도 등)에 따른 진동을 설정하는 예를 나타낼 수 있다. 예를 들면, 다양한 실시 예들에서는, 음악적 요소의 템포 및/또는 반복을 활용하여 사안의 긴급한 정도를 조절할 수 있고, 이를 통해 보다 다이나믹한 진동 질감을 형성할 수 있다.
한 실시 예에 따르면, 도 16의 예시(A)는, 템포 조절에 대응하여 진동의 템포 조절을 통해 전자 장치의 기능(또는 시스템)에 따른 긴급도를 다르게 설정하는 예를 나타낼 수 있다. 예를 들면, 도 16의 예시(A)에 도시한 바와 같이, 메시지(message)의 경우 A 템포(예: 120npm)에 맞추어 진동을 설정할 수 있고, 에러(error)의 경우 B 템포(예: 240bpm)에 맞추어 진동을 설정할 수 있다.
한 실시 예에 따르면, 도 16의 예시(B)는, 템포와 반복에 대응하여 진동의 템포 및 반복 조절을 통해 전자 장치의 기능(또는 시스템)에 따른 긴급도 또는 변이도를 다르게 설정하는 예를 나타낼 수 있다. 예를 들면, 도 16의 예시(B)에 도시한 바와 같이, 성공(success)의 경우 A 반복(예: 1회)에 맞추어 진동을 설정할 수 있고, 실패(fail)의 경우 B 반복(예: 2회)에 맞추어 진동을 설정할 수 있고, 경고(warning)의 경우 C 반복(예: 3회)에 맞추어 진동을 설정할 수 있다. 예를 들면, 다양한 실시 예들에서는, 템포 및/또는 반복을 전자 장치의 기능(또는 시스템)에 대응하여 다르게 설정하여, 동일한 템포를 가지는 진동들의 반복 정도에 따라 각 진동을 구분할 수 있고, 동일한 반복을 가지는 진동들의 템포 정도에 따라 각 진동을 구분할 수 있고, 또는 템포와 반복 정도에 따라 각 진동을 구분할 수 있다.
한 실시 예에 따르면, 도 16의 예시(C)는, 음악적 박자(예: 2bit, 3bit, 4bit, 5bit 등)에 대응하여 진동의 양자화(quantization)(예: 진동의 발생 타이밍(timing) 차이 보정)하는 예를 나타낼 수 있다. 예를 들면, 도 16의 예시(C)에 도시한 바와 같이, 전자 장치는 진동을 생성할 때, 진동을 음악적 박자에 맞추어 소리와 진동을 동기화(Synchronize)(또는 동시에 발생)할 수 있다.
도 17은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 사용자에 의한 진동을 생성하는 예를 설명하기 위해 도시하는 도면이다.
도 17에 도시한 바와 같이, 도 17은 전자 장치(예: 도 1 또는 도 2의 전자 장치(101, 201))에서, 사용자의 진동 저작을 지원하기 위한 유저 인터페이스(이하, 저작 유저 인터페이스)의 예를 나타낼 수 있다.
도 17을 참조하면, 다양한 실시 예들에 따른 저작 유저 인터페이스는, 진동의 주파수 입력을 위한 제1 영역(1710), 사용자 입력에 따른 진동을 표시하기 위한 제2 영역(1720), 진동의 다양한 옵션(option) 설정을 위한 제3 영역(1730) 등으로 구분할 수 있다. 예를 들면, 다양한 실시 예들에서는, 분할된 영역(예: 제1 영역(1710), 제2 영역(1720), 제3 영역(1730) 등)을 가지는 유저 인터페이스와, 유저 인터페이스의 각 분할된 영역을 이용한 사용자의 터치 인터랙션에 기반하여 개인화된 진동 패턴을 저작할 수 있다.
제1 영역(1710)은 사용자 입력(예: 터치)에 기반하여 진동을 위한 주파수 값을 입력(설정)하기 위한 주파수 설정 영역일 수 있다. 예를 들면, 제1 영역(1710)은 전자 장치(101, 201)의 모터(298)가 지원하는 광대역의 주파수 밴드 내에서, 사용자 입력에 따른 주파수 값을 입력하기 위한 영역일 수 있다. 한 실시 예에 따라, 제1 영역(1710)은 상측 방향으로 갈수록 높은 주파수이고, 하측 방향으로 갈수록 낮은 주파수가 설정될 수 있다. 한 실시 예에 따라, 사용자는 제1 영역(1710)에서 특정 영역의 터치를 입력할 수 있고, 전자 장치(101, 201)는 터치된 영역의 주파수를 인식하고, 해당 주파수에 대응하는 진동을 매핑할 수 있다.
다양한 실시 예들에 따르면, 진동 저작이 진행되는 동안, 제1 영역(1710)에 의한 사용자 입력(예: 터치)이 검출되지 않는 경우, 자동으로 공진 주파수 등과 같은 특정 고정된 주파수가 입력되도록 설정될 수도 있다.
다양한 실시 예들에 따르면, 제1 영역(1710)은 사용자의 직관성을 고려하여, 특정 악기(예: 피아노, 기타, 바이올린 등)에서 멜로디를 입력할 수 있는 객체(예: 피아노 건반)에 의한 GUI로 제공할 수도 있다. 또한 특정 악기의 객체에 음악적 요소(예: 음계)에 대응하는 텍스트 또는 아이콘을 함께 제공할 수도 있다. 이에, 사용자는 전자 장치를 이용하여 해당 악기를 연주하는 동작으로 사용자의 멜로디 진동을 설정할 수 있다.
제2 영역(1720)은 타임라인(timeline) 기반으로 입력 및 현재 시간을 나타내는 프로그래스바(progress bar)(1740)를 제공하고, 이를 통해 사용자의 설정 진동의 진행 상태를 제공하는 진행 표시 영역일 수 있다. 다양한 실시 예들에 따르면, 제2 영역(1720)을 통해, 제1 영역(1710) 및/또는 제3 영역(1730)에 의한 사용자 입력에 대응하는 진동(예: 1750, 1760)의 상태가 제공될 수 있다. 한 실시 예에 따르면, 사용자가 전자 장치(101, 201)를 바라보는 시점을 기준으로 우측에서 좌측으로 시간축(예: X축)의 타임라인이 이동할 수 있고, 주파수축(Y축)의 제1 영역(1710)의 제1 주파수에서 제1 터치에 따라 제1 진동(1760)이 생성될 수 있고, 제1 영역(1720)의 제2 주파수에서 제2 터치에 따라 제2 진동(1750)이 생성될 수 있다.
제3 영역(1730)은 사용자 입력에 기반하여 진동에 관련된 다양한 옵션을 입력(설정)하기 위한 옵션 설정 영역일 수 있다. 한 실시 예에 따르면, 사용자는 제3 영역(1730)을 통해 사용자의 터치 홀드(hold) 시간에 대응하는 진동의 온/오프 시간(예: duration) 값을 입력(설정)할 수 있다. 한 실시 예에 따르면, 사용자는 제3 영역(1730)을 통해 포스 터치(force touch)를 활용하여 진동 세기(intensity) 및/또는 진동 타입(예: 연속 또는 비연속 특정 주기) 등의 퀄리티(quality)를 변경할 수도 있다.
다양한 실시 예들에 따르면, 전자 장치(101, 201)는 사용자 입력에 따른, 주파수, 길이, 세기 등의 값을 정리 또는 정형화 하기 위한 퀀타이즈(quantize) 기능을 제공할 수도 있다. 예를 들면, 전자 장치(101, 201)는 유저 인터페이스에 기반하여 사용자 입력에 따른 진동을 생성할 때, 진동의 발생 타이밍 차이를 보정하여 음악적 요소(예: 소리, 박자 등)와 진동을 동기화 할 수 있다. 한 실시 예에 따르면, 음악의 소리(또는 박자)와 진동을 동시에 발생하도록 양자화 과정을 처리할 수도 있다.
다양한 실시 예들에 따르면, 제3 영역(1730)은 사용자의 옵션 설정에 관련된 정보를 표시하는 영역이거나, 생략할 수 있다. 이러한 경우, 제1 영역(1710)에 기반하여 제3 영역(1730)에 대응하는 진동 관련 설정을 제공할 수도 있다. 예를 들면, 사용자는 제1 영역(1730)을 이용한 사용자 입력에 기반하여 주파수를 설정할 수 있고, 제1 영역(1730)을 이용한 홀드 및/또는 포스 터치에 기반하여 진동의 세기 및/또는 진동 타입을 설정할 수도 있다.
다양한 실시 예들에 따르면, 사용자는 디스플레이(예: 도 1 또는 도 2의 디스플레이(160, 260))를 통해 표시된 유저 인터페이스를 이용하여 진동을 생성하는 것과 관련된 인터랙션을 수행할 수 있고, 전자 장치(101, 201)는 사용자와의 인터랙션에 기반하여 해당 주파수를 인식할 수 있다. 전자 장치(101, 201)는, 유저 인터페이스에 의한 사용자와의 인터랙션에 기반하여 다중 주파수에 대응하는 다중 진동을 생성할 수 있다. 예를 들면, 전자 장치(101, 201)는 유저 인터페이스에 기반하여 사용자 입력을 검출하고, 사용자 입력에 대응하여 진동의 동작 주파수, 길이, 템포, 세기 등을 설정할 수 있다.
다양한 실시 예들에 따르면, 전자 장치(101, 201)는 사용자의 명시적인 사용자 입력 외에, 전자 장치(101, 201)에서 제공하는 특정 음악(또는 멜로디)에 대한 사용자 선택에 따라, 음악(또는 멜로디)를 재생하고, 재생하는 음악(또는 멜로디)에서 음악적 요소(예: 주파수, 템포, 박자, 길이, 세기(음높이, 옥타브) 등)를 인식하고, 인식된 적어도 하나의 음악적 요소에 기반하여 다중 진동을 자동으로 생성할 수도 있다.
다양한 실시 예들에 따르면, 진동 주파수를 위한 음악적 요소는 전술된 바와 같이, 특정 음악(또는 멜로디)에 기반하여 제공되거나, 사용자 입력(예: 유저 인터페이스를 이용한 주파수 선택에 대응하는 터치 입력)에 기반하여 제공되는 것을 예로 하지만, 다양한 실시 예들에 이에 한정하는 것은 아니다. 예를 들면, 다양한 실시 예들에서는, 포스 터치 입력(예: 터치 압력의 세기에 따른 진동 주파수 선택), 모션 입력(예: 전자 장치의 모션에 따른 진동 주파수 선택), 음성 또는 오디오 입력(예: 마이크를 통한 사용자 음성 주파수에 따른 진동 주파수 선택) 등과 같이, 다양한 입력에 의한 진동 주파수를 생성 또는 변경할 수도 있다.
도 18은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 유저 인터페이스에 기반하여 사용자의 진동을 설정하는 동작을 도시하는 흐름도이다.
도 18을 참조하면, 동작 1801에서, 전자 장치의 프로세서(210)는 저작 툴에 관련된 유저 인터페이스(예: 도 17에 도시된 유저 인터페이스)를 표시할 수 있다. 한 실시 예에 따르면, 사용자는 진동 생성을 위하여 전자 장치의 진동 저작 툴을 실행할 수 있고, 프로세서(210)는 저작 툴의 실행에 대응하여 유저 인터페이스를 디스플레이(160, 260)을 통해 표시할 수 있다.
동작 1803에서, 프로세서(210)는 유저 인터페이스에 기반하여 사용자의 제1 입력(예: 제1 터치)을 감지할 수 있다. 예를 들면, 사용자는 유저 인터페이스의 제1 영역(1710)에서 제1 주파수에 대응하는 특정 영역을 터치할 수 있고, 프로세서(210)는 제1 영역(1710)에서 사용자의 제1 터치를 감지할 수 있다.
동작 1805에서, 프로세서(210)는 제1 입력에 대응하는 제1 주파수를 판단할 수 있다. 예를 들면, 프로세서(210)는 유저 인터페이스의 제1 영역(1710)에서 터치된 영역에 매핑된 제1 주파수를 인식할 수 있다.
동작 1807에서, 프로세서(210)는 제1 입력의 길이만큼 인식된 주파수에 대응하는 제1 진동을 생성할 수 있다. 예를 들면, 프로세서(210)는 제1 주파수에 따른 제1 진동을 구성할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 제1 진동을 구성할 때, 사용자 입력의 포스 터치 및/또는 홀드 시간에 기반하여, 제1 진동의 세기 및/또는 진동 타입 등을 고려하여 제1 진동을 설정할 수도 있다.
동작 1809에서, 프로세서(210)는 유저 인터페이스에 기반하여 사용자의 제2 입력(예: 제2 터치)을 감지할 수 있다. 예를 들면, 사용자는 제1 입력에 의한 제1 진동을 설정한 후, 유저 인터페이스의 제1 영역(1710)에서 제2 주파수에 대응하는 특정 영역을 터치할 수 있고, 프로세서(210)는 제1 영역(1720)에서 사용자의 제2 터치를 감지할 수 있다.
동작 1811에서, 프로세서(210)는 제2 입력에 대응하는 제2 주파수를 판단할 수 있다. 예를 들면, 프로세서(210)는 유저 인터페이스의 제1 영역(1710)에서 터치된 영역에 매핑된 제2 주파수를 인식할 수 있다.
동작 1813에서, 프로세서(210)는 제2 입력의 길이만큼 인식된 주파수에 대응하는 제2 진동을 생성할 수 있다. 예를 들면, 프로세서(210)는 제2 주파수에 따른 제2 진동을 구성할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 제2 진동을 구성할 때, 사용자 입력의 포스 터치 및/또는 홀드 시간에 기반하여, 제1 진동의 세기 및/또는 진동 타입 등을 고려하여 제2 진동을 설정할 수도 있다.
동작 1815에서, 프로세서(210)는 제1 진동과 제2 진동에 기반하여 진동 패턴을 생성할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 제1 진동과 제2 진동을 생성하고, 이후 사용자의 진동 저작 완료 명령(또는 입력)(예: 진동 패턴 생성 완료 또는 저장 선택)에 응답하여, 해당 시점까지 생성된 진동(예: 제1 진동, 제2 진동)을 하나의 진동 패턴으로 생성할 수 있다. 다양한 실시 예들에 따라, 프로세서(210)는 진동 패턴을 생성할 때, 제1 진동과 제2 진동 간에 음악적 요소를 고려하여 퀀타이즈(quantize) 기능을 수행할 수도 있다.
동작 1817에서, 프로세서(210)는 생성된 진동 패턴을 전자 장치의 특정 기능에 매핑할 수 있다. 한 실시 예에 따르면, 사용자는 진동 패턴을 생성하면, 생성된 진동 패턴을 사용할 전자 장치의 기능(또는 시스템)을 지정할 수 있다. 다양한 실시 예들에서, 진동 패턴과 기능의 매핑 동작은, 진동 패턴을 생성한 이후에 바로 수행하지 않을 수 있다. 예를 들면, 사용자는 진동 패턴만을 생성할 수 있고, 이후(예: 진동 패턴 생성과 다른 시점)에 전자 장치의 메뉴 등에 기반하여 저장된 진동 패턴과 기능을 매핑 설정할 수도 있다.
동작 1819에서, 프로세서(210)는 진동 패턴의 타입을 설정할 수 있다. 한 실시 예에 따르면, 사용자는 진동 패턴과 기능을 매핑할 때, 진동 패턴의 반복 횟수 등을 추가적으로 설정할 수 있고, 프로세서(210)는 사용자 선택에 응답하여 진동 패턴의 타입 설정 과정을 추가 수행할 수 있다. 다양한 실시 예들에 따라, 동작 1819는 반드시 전술한 순서에 한정되지 않으며, 예를 들면, 동작 1817에 선행될 수도 있다.
다양한 실시 예들에 따르면, 프로세서(210)는 동작 1815 이후에, 생성된 진동 패턴을 저장하는 동작을 수행할 수 있고, 전술한 바와 같이, 동작 1817과 및/또는 동작 1819의 수행은 생략할 수 있고, 다른 시점에서 사용자 요청에 기반하여 수행할 수도 있다.
도 19는 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 출력하는 동작을 도시하는 흐름도이다.
도 19를 참조하면, 동작 1901에서, 전자 장치의 프로세서(210)는 음악적 요소를 주파수로 변환할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 전술한 바와 같이, 진동을 위해 설정된 특정 음악(또는 멜로디)에서 음악적 요소(예: 음계)를 추출할 수 있고, 추출된 음악적 요소의 각각에 대응하는 다중 주파수를 인식할 수 있다. 한 실시 예에 따르면, 진동을 위해 설정된 특정 음악(또는 멜로디)은 사용자의 진동 저작에 사용된 음악이거나, 또는 사용자 선택에 의해 전자 장치에서 현재 재생되는 음악일 수 있다.
동작 1903에서, 프로세서(210)는 다중 주파수에 기반하여 화음 주파수(또는 진동 주파수)를 생성할 수 있다. 예를 들면, 프로세서(210)는 다중 주파수를 음악적 요소에 따라 멜로디를 가지도록 설정할 수 있다.
동작 1905에서, 프로세서(210)는 화음 주파수에 대응하는 멜로디 진동을 출력할 수 있다. 예를 들면, 프로세서(210)는 화음 주파수에 대응하는 각각의 진동을 음악적 요소(예: 템포, 박자, 길이, 세기 등)에 기반하여 멜로디 느낌의 진동을 발생할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 화음 주파수에 대응하는 모터 구동 신호를, 음악적 요소에 따라 순차적으로 모터에 출력할 수 있고, 모터는 모터 구동 신호에 의해 구동되어 멜로디 진동을 발생할 수 있다.
다양한 실시 예들에 따르면, 프로세서(210)는 내부 또는 외부로부터 진동 출력과 관련된 이벤트를 감지할 시, 해당 이벤트에 따른 주파수에 기반하여 협화음 또는 불협화음에 대응하는 진동을 발생할 수 있다. 예를 들면, 다양한 실시 예들에서는, 특정 상황에 따라 협화음의 진동을 발생하거나, 불협화음의 진동을 발생할 수 있다.
도 20은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 출력하는 동작을 도시하는 흐름도이다.
도 20을 참조하면, 동작 2001에서, 전자 장치의 프로세서(210)는 진동 출력과 관련된 이벤트를 감지할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 전자 장치가 진동 모드로 설정된 상태에서 사용자에게 진동 알림을 위한 상태가 감지되거나, 또는 전자 장치가 동작 하는 중에 사용자에게 진동 알림을 위한 상태가 감지되는 것에 기반하여, 진동 출력과 관련된 이벤트를 판단할 수 있다. 예를 들면, 다양한 실시 예들에서 진동 출력과 관련된 이벤트는, 전자 장치의 내부에서 발생하는 알람 등의 내부 이벤트와, 외부로부터 발생하는 메시지 수신 등의 외부 이벤트를 포함할 수 있다.
동작 2003에서, 프로세서(210)는 이벤트를 판단할 수 있다. 예를 들면, 프로세서(210)는 감지된 이벤트를 분석하여, 이벤트의 종류(또는 속성)를 판단할 수 있다.
동작 2005에서, 프로세서(210)는 이벤트에 대응하는 진동 패턴을 판단할 수 있다.
동작 2007에서, 프로세서(210)는 동작 2005에서 판단하는 결과에 기반하여, 이벤트에 음악적 요소에 기반하는 멜로디 진동의 제1 진동 패턴이 설정되어 있는지, 또는 일반적인(또는 기본) 진동 패턴의 제2 진동 패턴이 설정되어 있는지 여부를 판단할 수 있다.
동작 2007에서, 프로세서(210)는 제1 진동 패턴이 설정되어 있는 것을 판단하면(동작 2007의 예), 동작 2009에서, 진동 패턴에 설정된 화음 주파수를 판단할 수 있다. 다양한 실시 예들에 따라, 제1 진동 패턴은 전자 장치의 기능(또는 시스템) 별로 다른 다중 진동들에 의한 다른 진동 패턴이 설정될 수 있고, 프로세서(210)는 이벤트의 종류에 기반하여 해당 제1 진동 패턴을 인식(또는 추출, 검색)하는 동작을 더 수행할 수도 있다.
동작 2011에서, 프로세서(210)는 화음 주파수(예: 다중 주파수)에 대응하는 모터 구동 신호를 모터에 출력(전송)하여, 동작 2013에서, 화음 주파수의 변화에 기반하여 멜로디 진동이 출력되도록 동작할 수 있다. 예를 들면, 프로세서(210)는 화음 주파수에 대응하는 각각의 진동을 음악적 요소(예: 템포, 박자, 길이, 세기 등)에 기반하여 멜로디 느낌의 진동을 발생할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 화음 주파수에 대응하는 모터 구동 신호를, 음악적 요소에 따라 순차적으로 모터에 출력할 수 있고, 모터는 모터 구동 신호에 의해 구동되어 멜로디 진동을 발생할 수 있다.
다양한 실시 예들에 따르면, 프로세서(210)는 화음 주파수의 변화에 기반하여 멜로디 진동을 발생할 때, 화음 주파수의 협화음 또는 불협화음에 기반하여 진동을 발생할 수 있다. 예를 들면, 다양한 실시 예들에서는, 특정 상황에 따라 협화음의 진동을 발생하거나, 불협화음의 진동을 발생할 수 있다.
동작 2007에서, 프로세서(210)는 제1 진동 패턴이 설정되지 않은 것을 판단하면(동작 2007의 아니오), 동작 2015에서, 기본 진동 패턴을 결정할 수 있다.
동작 2017에서, 프로세서(210)는 기본 진동 패턴에 기반하여, 설정된 단일 주파수(예: 공진 주파수)에 대응하는 모터 구동 신호를 모터에 출력(전송)하여, 동작 2019에서, 단일 주파수에 기반하여 진동이 출력되도록 동작할 수 있다.
도 21은 본 발명의 다양한 실시 예들에 따른 전자 장치에서 진동을 생성하는 동작을 도시하는 흐름도이다.
도 21을 참조하면, 동작 2101에서, 전자 장치의 프로세서(210)는 멜로디 진동 생성 모드로 진입할 수 있다. 한 실시 예에 따르면, 사용자는 음악적 요소에 기반한 멜로디 진동을 생성하기 위한 모드를 실행(예: 저작 툴 실행)할 수 있고, 프로세서(210)는 사용자 요청에 기반하여 멜로디 진동 생성 모드를 실행할 수 있다.
동작 2103에서, 프로세서(210)는 음악을 선택할 수 있다. 예를 들면, 프로세서(210)는 사용자로부터 진동 생성을 위한 특정 음악(또는 멜로디)를 지정(선택)받을 수 있다. 한 실시 예에 따르면, 프로세서(210)는 멜로디 진동 생성 모드에 진입하는 것에 응답하여, 전자 장치에 저장된 음악(또는 멜로디) 리스트를 제공하고, 사용자로부터 음악을 선택 받을 수 있다. 한 실시 예에 따르면, 프로세서(210)는 멜로디 진동 생성 모드에 진입하는 것에 응답하여, 음악(또는 멜로디)를 선택(지정)할 수 있는 컨텐츠 서버에 접속하고, 컨텐츠 서버로부터 제공되는 음악(또는 멜로디) 리스트를 제공하고, 사용자로부터 음악을 선택 받을 수도 있다. 한 실시 예에 따르면, 프로세서(210)는 멜로디 진동 생성 모드에 진입하는 것에 응답하여, 음악(또는 멜로디)를 입력할 수 있는 유저 인터페이스를 디스플레이를 통해 표시하고, 유저 인터페이스에 기반하여 사용자에 의한 음악(또는 멜로디)을 직접 입력 받을 수 있다.
동작 2105에서, 프로세서(210)는 음악에서 음악적 요소를 추출 및/또는 인식할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 선택된 음악에서, 예를 들면, 템포(박자), 길이, 반복, 음높이, 음계 등을 추출하거나 인식할 수 있다.
동작 2107에서, 프로세서(210)는 음악적 요소에 대응하여 주파수를 선택/변환 할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 음악(또는 멜로디)에서 음악적 요소(예: 음계)를 추출할 수 있고, 추출된 음악적 요소의 각각에 대응하는 다중 주파수를 인식하거나 변환할 수 있다.
동작 2109에서, 프로세서(210)는 화음 주파수를 생성할 수 있다. 예를 들면, 프로세서(210)는 다중 주파수에 기반하여 화음 주파수(또는 진동 주파수)를 생성할 수 있다. 예를 들면, 프로세서(210)는 다중 주파수를 음악적 요소에 따라 멜로디를 가지도록 설정할 수 있다.
동작 2111에서, 프로세서(210)는 화음 주파수에 대응하는 멜로디 진동을 출력할 수 있다. 예를 들면, 프로세서(210)는 화음 주파수에 대응하는 각각의 진동을 음악적 요소(예: 템포, 박자, 길이, 세기 등)에 기반하여 멜로디 느낌의 진동을 발생할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 화음 주파수에 대응하는 모터 구동 신호를, 음악적 요소에 따라 순차적으로 모터에 출력할 수 있고, 모터는 모터 구동 신호에 의해 구동되어 멜로디 진동을 발생할 수 있다.
동작 2113에서, 프로세서(210)는 해동 동작 수행을 처리할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 사용자 입력에 기반하여 멜로디 진동을 편집할 수 있다. 예를 들면, 프로세서(210)는 출력되는 멜로디 진동에서 사용자 입력에 기반하여 선택되는 적어도 일부 구간을 이용하여 진동 패턴을 구성할 수 있다. 한 실시 예에 따르면, 프로세서(210)는 멜로디 진동의 적어도 일부에 의한 진동 패턴을 사용자 선택에 대응하는 전자 장치의 기능에 매핑할 수 있다.
이상에서 살펴본 바와 같이, 다양한 실시 예들에 따른 전자 장치의 동작 방법은, 진동 발생 장치가 지원하는 주파수 밴드에서, 음악적 요소를 이용하여 다중 주파수(multi frequency)를 선택하는 과정, 상기 선택된 다중 주파수에 기반하여 적어도 하나의 진동을 설정하는 과정, 상기 설정된 진동에 기반하여 진동 패턴을 생성하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 진동 발생 장치는, 광대역의 주파수 밴드를 지원하고, 모터, 진동자(vibrator), 엑추에이터(actuator), 또는 햅틱(haptic) 발생 장치 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.
다양한 실시 예들에 따라, 상기 다중 주파수는, 상기 진동 발생 장치의 지원 주파수 밴드에 포함되는 동일하거나 다른 복수의 주파수들인 것을 특징으로 할 수 있다.
다양한 실시 예들에 따라, 상기 진동을 설정하는 과정은, 상기 다중 주파수의 제1 주파수에 대응하여 제1 진동을 설정하는 과정, 상기 다중 주파수의 제2 주파수에 대응하여 제2 진동을 설정하는 과정, 및 상기 제1 진동과 상기 제2 진동을 조합하여 하나의 진동 패턴을 생성하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 진동을 설정하는 과정은, 상기 음악적 요소의 적어도 일부에 기반하여 상기 선택된 다중 주파수에 대응하는 상기 진동을 결정하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 다중 주파수를 선택하는 과정은, 사용자 인터랙션에 기반하여 상기 다중 주파수를 선택하는 과정을 포함하고, 상기 사용자 인터랙션은, 지정된 영역의 터치 입력, 압력 세기에 따른 포스 터치 입력, 또는 오디오(또는 음성) 입력 중 적어도 하나를 포함하는 것을 특징으로 할 수 있다.
다양한 실시 예들에 따라, 상기 다중 주파수를 선택하는 과정은, 선택되는 음악에서 상기 음악적 요소를 인식하여, 상기 다중 주파수를 선택하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 진동 패턴을 생성하는 과정은, 상기 제1 진동과 상기 제2 진동 각각에 대하여, 길이, 구간, 세기, 또는 속도 중 적어도 하나를 설정하여 상기 진동 패턴을 생성하는 과정을 포함할 수 있다.
다양한 실시 예들에 따라, 상기 제1 진동과 상기 제2 진동은, 동일하거나 다른 주파수가 설정되고, 상기 제1 진동과 제2 진동의 구간들이 각각의 적어도 일부를 통해 중첩되거나, 또는 각각의 길이에 따라 독립적으로 구분되는 것을 특징으로 할 수 있다.
다양한 실시 예들에 따라, 상기 전자 장치의 동작 방법은, 진동 출력과 관련된 이벤트(예: 내부 이벤트, 외부 이벤트)를 감지하는 과정, 및 상기 이벤트에 따라, 협화음 또는 불협화음에 따른 다중 주파수 조합으로 진동을 출력하는 과정을 포함할 수 있다.
본 명세서와 도면에 개시된 본 발명의 다양한 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    진동을 발생하기 위한 진동 발생 장치; 및
    상기 디스플레이 및 상기 진동 발생 장치와 기능적으로 연결된 프로세서를 포함하고, 상기 프로세서는,
    음악적 요소를 이용하여 다중 주파수(multi frequency)를 선택하고,
    상기 선택된 다중 주파수에 기반하여 적어도 하나의 진동을 설정하고,
    상기 설정된 진동에 기반하여 진동 패턴을 생성하도록 설정된 전자 장치.
  2. 제1항에 있어서,
    상기 진동 발생 장치는, 광대역의 주파수 밴드를 지원하고, 모터, 진동자(vibrator), 엑추에이터(actuator), 또는 햅틱(haptic) 발생 장치 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  3. 제2항에 있어서,
    상기 다중 주파수는, 상기 진동 발생 장치의 지원 주파수 밴드에 포함되는 동일하거나 다른 복수의 주파수들인 것을 특징으로 하는 전자 장치.
  4. 제1항에 있어서, 상기 프로세서는,
    상기 다중 주파수의 제1 주파수에 대응하여 제1 진동을 설정하고,
    상기 다중 주파수의 제2 주파수에 대응하여 제2 진동을 설정하고,
    상기 제1 진동과 상기 제2 진동을 조합하여 하나의 진동 패턴을 생성하도록 더 설정된 전자 장치.
  5. 제1항에 있어서, 상기 프로세서는,
    상기 음악적 요소의 적어도 일부에 기반하여 상기 선택된 다중 주파수에 대응하는 상기 진동을, 결정하도록 더 설정된 전자 장치.
  6. 제1항에 있어서, 상기 프로세서는,
    선택되는 음악에서 상기 음악적 요소를 인식하여, 상기 다중 주파수를 선택하거나, 또는
    사용자 인터랙션에 기반하여 상기 다중 주파수를 선택하도록 더 설정되고,
    상기 사용자 인터랙션은, 지정된 영역의 터치 입력, 압력 세기에 따른 포스 터치 입력, 또는 오디오 입력 중 적어도 하나를 포함하는 것을 특징으로 하는 전자 장치.
  7. 제4항에 있어서, 상기 프로세서는,
    상기 제1 진동과 상기 제2 진동 각각에 대하여, 길이, 구간, 세기, 또는 속도 중 적어도 하나를 설정하여 상기 진동 패턴을 생성하도록 더 설정되고,
    상기 제1 진동과 상기 제2 진동은, 동일하거나 다른 주파수가 설정되고, 상기 제1 진동과 제2 진동의 구간들이 각각의 적어도 일부를 통해 중첩되거나, 또는 각각의 길이에 따라 독립적으로 구분되는 것을 특징으로 하는 전자 장치.
  8. 제1항에 있어서, 상기 프로세서는,
    진동 출력과 관련된 이벤트를 감지하고,
    상기 이벤트에 따라 협화음 또는 불협화음에 따른 다중 주파수 조합으로 진동을 출력하도록 더 설정된 전자 장치.
  9. 전자 장치의 동작 방법에 있어서,
    진동 발생 장치가 지원하는 주파수 밴드에서, 음악적 요소를 이용하여 다중 주파수(multi frequency)를 선택하는 과정,
    상기 선택된 다중 주파수에 기반하여 적어도 하나의 진동을 설정하는 과정, 및
    상기 설정된 진동에 기반하여 진동 패턴을 생성하는 과정을 포함하는 방법.
  10. 제9항에 있어서,
    상기 진동 발생 장치는, 광대역의 주파수 밴드를 지원하고, 모터, 진동자(vibrator), 엑추에이터(actuator), 또는 햅틱(haptic) 발생 장치 중 적어도 하나를 포함하고,
    상기 다중 주파수는, 상기 진동 발생 장치의 지원 주파수 밴드에 포함되는 동일하거나 다른 복수의 주파수들인 것을 특징으로 하는 방법.
  11. 제9항에 있어서, 상기 진동을 설정하는 과정은,
    상기 다중 주파수의 제1 주파수에 대응하여 제1 진동을 설정하는 과정,
    상기 다중 주파수의 제2 주파수에 대응하여 제2 진동을 설정하는 과정, 및
    상기 제1 진동과 상기 제2 진동을 조합하여 하나의 진동 패턴을 생성하는 과정을 포함하는 방법.
  12. 제9항에 있어서, 상기 진동을 설정하는 과정은,
    상기 음악적 요소의 적어도 일부에 기반하여 상기 선택된 다중 주파수에 대응하는 상기 진동을 결정하는 과정을 포함하는 방법.
  13. 제9항에 있어서, 상기 다중 주파수를 선택하는 과정은,
    선택되는 음악에서 상기 음악적 요소를 인식하여, 상기 다중 주파수를 선택하는 과정, 또는
    사용자 인터랙션에 기반하여 상기 다중 주파수를 선택하는 과정 중 적어도 하나를 포함하고,
    상기 사용자 인터랙션은, 지정된 영역의 터치 입력, 압력 세기에 따른 포스 터치 입력, 또는 오디오(또는 음성) 입력 중 적어도 하나를 포함하는 방법.
  14. 제11항에 있어서, 상기 진동 패턴을 생성하는 과정은,
    상기 제1 진동과 상기 제2 진동 각각에 대하여, 길이, 구간, 세기, 또는 속도 중 적어도 하나를 설정하여 상기 진동 패턴을 생성하는 과정을 포함하고,
    상기 제1 진동과 상기 제2 진동은, 동일하거나 다른 주파수가 설정되고, 상기 제1 진동과 제2 진동의 구간들이 각각의 적어도 일부를 통해 중첩되거나, 또는 각각의 길이에 따라 독립적으로 구분되는 것을 특징으로 하는 방법.
  15. 제9항에 있어서,
    진동 출력과 관련된 이벤트를 감지하는 과정, 및
    상기 이벤트에 따라, 협화음 또는 불협화음에 따른 다중 주파수 조합으로 진동을 출력하는 과정을 더 포함하는 방법.
PCT/KR2018/002183 2017-02-23 2018-02-22 전자 장치에서 진동 제공 방법 및 장치 Ceased WO2018155926A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/488,507 US11198154B2 (en) 2017-02-23 2018-02-22 Method and apparatus for providing vibration in electronic device
EP18758485.9A EP3575005B1 (en) 2017-02-23 2018-02-22 Method and apparatus for providing vibration in electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170024311A KR102651705B1 (ko) 2017-02-23 2017-02-23 전자 장치에서 진동 제공 방법 및 장치
KR10-2017-0024311 2017-02-23

Publications (1)

Publication Number Publication Date
WO2018155926A1 true WO2018155926A1 (ko) 2018-08-30

Family

ID=63253880

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/002183 Ceased WO2018155926A1 (ko) 2017-02-23 2018-02-22 전자 장치에서 진동 제공 방법 및 장치

Country Status (4)

Country Link
US (1) US11198154B2 (ko)
EP (1) EP3575005B1 (ko)
KR (1) KR102651705B1 (ko)
WO (1) WO2018155926A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021157279A (ja) * 2020-03-25 2021-10-07 豊田合成株式会社 触感提示装置、振動信号、及び記憶媒体

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7172999B2 (ja) * 2017-05-22 2022-11-16 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
KR102656636B1 (ko) * 2018-11-30 2024-04-12 주식회사 씨케이머티리얼즈랩 패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법
KR102867406B1 (ko) 2019-04-02 2025-10-01 삼성전자주식회사 스피커를 이용하여 먼지를 제거하는 방법 및 이를 지원하는 전자 장치
JP7424036B2 (ja) * 2019-12-20 2024-01-30 オムロンヘルスケア株式会社 携帯型心電波形計測装置、情報管理システム、携帯型心電波形計測装置の制御方法、及び、プログラム
JP7501159B2 (ja) * 2020-07-01 2024-06-18 コニカミノルタ株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
CN115378303B (zh) * 2021-05-20 2026-01-20 荣耀终端股份有限公司 驱动波形的调整方法及装置、电子设备、可读存储介质
CN118138691A (zh) * 2022-01-10 2024-06-04 荣耀终端有限公司 一种增强振动提示方法及电子设备
EP4664247A1 (en) * 2023-08-11 2025-12-17 Samsung Electronics Co., Ltd. Electronic device and method for controlling provision of event notification on basis of user input
US20250235658A1 (en) * 2024-01-18 2025-07-24 Pasquale Falotico Personal frequency apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100069736A (ko) * 2008-12-17 2010-06-25 삼성전자주식회사 휴대 단말기의 컨텐츠 재생 장치 및 재생 방법
KR20110029436A (ko) * 2009-09-15 2011-03-23 엘지전자 주식회사 진동 발생 장치 및 이를 포함하는 이동 단말기
WO2013088437A1 (en) * 2011-12-12 2013-06-20 Play My Tone Ltd. System and method of translating digital sounds into mobile device vibrations
WO2013186901A1 (ja) * 2012-06-14 2013-12-19 パイオニア株式会社 振動信号生成装置及び方法、コンピュータプログラム、記録媒体並びに体感音響システム
US8653352B2 (en) * 2011-09-09 2014-02-18 Alps Electric Co., Ltd. Vibration generator

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3879583B2 (ja) * 2001-05-08 2007-02-14 ヤマハ株式会社 楽音発生制御システム、楽音発生制御方法、楽音発生制御装置、操作端末、楽音発生制御プログラム及び楽音発生制御プログラムを記録した記録媒体
US7038122B2 (en) * 2001-05-08 2006-05-02 Yamaha Corporation Musical tone generation control system, musical tone generation control method, musical tone generation control apparatus, operating terminal, musical tone generation control program and storage medium storing musical tone generation control program
JP2003275681A (ja) 2002-03-25 2003-09-30 Nec Tokin Corp 振動アクチュエータの駆動方法と携帯機器
KR101456001B1 (ko) * 2008-05-23 2014-11-03 엘지전자 주식회사 단말기 및 그 제어 방법
KR101486581B1 (ko) * 2008-07-01 2015-02-04 엘지전자 주식회사 휴대 단말기 및 그 구동 방법
KR101047771B1 (ko) * 2008-07-01 2011-07-07 엘지전자 주식회사 휴대 단말기 및 휴대 단말기의 제어 방법
US8270621B2 (en) 2009-02-11 2012-09-18 International Business Machines Corporation Automatic generation of audible alert according to ambient sound
US8610549B2 (en) 2009-10-16 2013-12-17 Immersion Corporation Systems and methods for providing haptic feedback at multiple resonance frequencies
EP2681721A1 (en) * 2011-03-04 2014-01-08 Sony Ericsson Mobile Communications AB Vibration control
KR101869562B1 (ko) * 2011-12-27 2018-07-24 삼성전자주식회사 이동 단말에서 사운드 특성에 따른 진동 발생 장치 및 방법
KR101370547B1 (ko) * 2012-04-05 2014-03-10 포항공과대학교 산학협력단 진동 패턴 생성 방법 및 장치
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
JP2014123293A (ja) 2012-12-21 2014-07-03 Panasonic Corp 振動制御装置、電子機器、および振動制御方法
KR102212409B1 (ko) * 2014-01-02 2021-02-04 한국전자통신연구원 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치
WO2016036671A2 (en) 2014-09-02 2016-03-10 Apple Inc. Haptic notifications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100069736A (ko) * 2008-12-17 2010-06-25 삼성전자주식회사 휴대 단말기의 컨텐츠 재생 장치 및 재생 방법
KR20110029436A (ko) * 2009-09-15 2011-03-23 엘지전자 주식회사 진동 발생 장치 및 이를 포함하는 이동 단말기
US8653352B2 (en) * 2011-09-09 2014-02-18 Alps Electric Co., Ltd. Vibration generator
WO2013088437A1 (en) * 2011-12-12 2013-06-20 Play My Tone Ltd. System and method of translating digital sounds into mobile device vibrations
WO2013186901A1 (ja) * 2012-06-14 2013-12-19 パイオニア株式会社 振動信号生成装置及び方法、コンピュータプログラム、記録媒体並びに体感音響システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3575005A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021157279A (ja) * 2020-03-25 2021-10-07 豊田合成株式会社 触感提示装置、振動信号、及び記憶媒体

Also Published As

Publication number Publication date
KR102651705B1 (ko) 2024-03-28
US20200230647A1 (en) 2020-07-23
EP3575005B1 (en) 2021-10-27
KR20180097382A (ko) 2018-08-31
EP3575005A1 (en) 2019-12-04
US11198154B2 (en) 2021-12-14
EP3575005A4 (en) 2019-12-25

Similar Documents

Publication Publication Date Title
WO2016195362A1 (en) Electronic device for outputting message and method for controlling the same
WO2018131775A1 (ko) 전자 장치 및 그의 동작 방법
WO2018182279A1 (en) Method and apparatus for providing augmented reality function in electronic device
WO2017026743A1 (en) Method for playing virtual musical instrument and electronic device for supporting the same
WO2017131449A1 (en) Electronic device and method for running function according to transformation of display of electronic device
WO2018182293A1 (en) Method for operating speech recognition service and electronic device supporting the same
WO2017111382A1 (en) Electronic device and method for image control thereof
WO2018097549A1 (en) Method for processing various inputs, and electronic device and server for the same
WO2016080792A1 (en) Power control method and apparatus for reducing power consumption
WO2017131322A1 (en) Electronic device and speech recognition method thereof
WO2017164567A1 (en) Intelligent electronic device and method of operating the same
WO2018128253A1 (ko) 전자 장치 및 그의 표시 방법
WO2017018722A1 (en) Screen operating method and electronic device supporting the same
WO2018135753A1 (ko) 전자 장치 및 그의 동작 방법
WO2016167620A1 (en) Apparatus and method for providing information via portion of display
WO2018038385A2 (ko) 음성 인식 방법 및 이를 수행하는 전자 장치
WO2018155893A1 (en) Interface providing method for multitasking and electronic device implementing the same
WO2017061762A1 (ko) 복수의 디스플레이를 구비한 전자장치 및 그 제어 방법
KR102651705B1 (ko) 전자 장치에서 진동 제공 방법 및 장치
WO2018174426A1 (ko) 전자 장치의 상태에 따른 외부 장치 제어 방법 및 장치
WO2017052128A1 (en) Electronic device for processing image and method for controlling thereof
WO2019004659A1 (en) DISPLAY CONTROL METHOD AND ELECTRONIC DEVICE SUPPORTING SAID METHOD
WO2017135645A1 (en) User interfacing method and electronic device for performing the same
WO2017131469A1 (ko) 어플리케이션을 제어하는 전자 장치와 이의 동작 방법
WO2017209502A1 (ko) 전자 장치와 충전 장치간의 연결을 제어하는 방법 및 이를 제공하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18758485

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018758485

Country of ref document: EP

Effective date: 20190829