WO2014204191A1 - 외부 디바이스의 제어를 위해 음파를 출력하는 모바일 디바이스 및 방법, 그리고 외부 디바이스 - Google Patents

외부 디바이스의 제어를 위해 음파를 출력하는 모바일 디바이스 및 방법, 그리고 외부 디바이스 Download PDF

Info

Publication number
WO2014204191A1
WO2014204191A1 PCT/KR2014/005336 KR2014005336W WO2014204191A1 WO 2014204191 A1 WO2014204191 A1 WO 2014204191A1 KR 2014005336 W KR2014005336 W KR 2014005336W WO 2014204191 A1 WO2014204191 A1 WO 2014204191A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound wave
frequency
control information
symbol
wave data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2014/005336
Other languages
English (en)
French (fr)
Inventor
정희석
진세훈
이형엽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
POWERVOICE CO Ltd
Original Assignee
POWERVOICE CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140073053A external-priority patent/KR101538756B1/ko
Application filed by POWERVOICE CO Ltd filed Critical POWERVOICE CO Ltd
Priority to CN201480034891.0A priority Critical patent/CN105325011A/zh
Priority to US14/899,722 priority patent/US10243675B2/en
Publication of WO2014204191A1 publication Critical patent/WO2014204191A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B11/00—Transmission systems employing ultrasonic, sonic or infrasonic waves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/02—Non-electrical signal transmission systems, e.g. optical systems using infrasonic, sonic or ultrasonic waves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop

Definitions

  • a device and method for outputting sound waves including control information on an external device, and an external device.
  • smart home appliances such as a refrigerator, a washing machine, an oven, a cleaner, an air conditioner, and a TV with a built-in Internet connection have appeared, and such smart home appliances are gradually being spread.
  • these smart home appliances can be updated online and can be operated remotely.
  • a refrigerator having functions such as shopping through the Internet and managing food.
  • Korean Laid-Open Patent Publication No. 2006-0089854 discloses a configuration of a system for controlling the operation of home appliances using a home gateway connected to the external Internet.
  • an embodiment of the present invention is an input receiving unit for receiving one or more inputs through a user interface, determine the control information corresponding to the operation of the external device based on the one or more inputs
  • the control information may include a first symbol and a second symbol, a control information determiner, a sound wave data generator for generating sound wave data corresponding to the control information, and a sound wave generated by the sound wave generator.
  • an output unit configured to output sound waves corresponding to data, wherein the sound wave data generator determines a first frequency corresponding to the first symbol, determines a second frequency corresponding to the second symbol, and generates the first frequency. And generating the sound wave data based on the second frequency, wherein the sound wave data is the first frequency. And a portion corresponding to the number and a portion corresponding to the second frequency.
  • receiving one or more inputs through a user interface determining control information corresponding to an operation of an external device based on the one or more inputs, wherein the control information includes a first symbol and a second symbol. And, generating sound wave data corresponding to the control information and outputting sound wave data corresponding to the generated sound wave data through a sound wave generating device, wherein the sound wave data is generated.
  • the step may include determining a first frequency corresponding to the first symbol, determining a second frequency corresponding to the second symbol, and generating the sound wave data based on the first frequency and the second frequency.
  • the sound wave data includes a portion corresponding to the first frequency and a portion corresponding to the second frequency. It can provide a file output method.
  • a sound wave receiver for receiving a sound wave output from a mobile device through a sound wave receiving apparatus, a control information obtaining unit for obtaining control information including an ID of a device using sound waves, and the obtained control information.
  • an operation performing unit configured to perform an operation corresponding to the control information, wherein the control information obtaining unit determines a first frequency corresponding to the first portion of the sound wave, and a second frequency corresponding to the second portion of the sound wave. Determine a, generate a first symbol corresponding to the first frequency, generate a second symbol corresponding to the second frequency, and generate the control information based on a combination of the first symbol and the second symbol.
  • the sound wave receiving apparatus further includes a sound wave receiving unit for receiving sound waves output from the mobile device and a control information obtaining unit for obtaining control information using the received sound waves.
  • the performing unit performs the operation based on the control information
  • the control information obtaining unit determines a first frequency corresponding to the first portion of the sound wave, and determines a second frequency corresponding to the second portion of the sound wave.
  • Generate a first symbol corresponding to the first frequency generate a second symbol corresponding to the second frequency, and obtain the control information based on a combination of the first symbol and the second symbol; Which can provide a device.
  • Another embodiment of the present invention is to perform an operation of a device, generating state information of the device related to the operation, wherein the state information includes a first symbol and a second symbol.
  • any one of the problem solving means of the present invention described above it can be determined as the control information corresponding to the operation of the external device based on the user input.
  • Sound wave data corresponding to the control information determined through the mobile device may be generated.
  • the operation of the external device may be controlled by using sound wave data output through the mobile device.
  • the mobile device can be used to control the operation of an external device such as a home appliance without a network connection through a wireless access device.
  • FIG. 2 is a block diagram of a mobile device according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a process of transmitting control information from a mobile device according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating an example of a process of decoding sound waves.
  • FIG. 6 is a flowchart illustrating another example of a process of decoding sound waves.
  • 7A to 7B are diagrams for describing an example of a process of decoding sound waves.
  • FIG. 9 is a configuration diagram of an external device according to an embodiment of the present invention.
  • FIG. 10 is a configuration diagram of an external device according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a sound wave output method according to an exemplary embodiment of the present invention.
  • a device control system includes a mobile device 10 and an external device 20.
  • the mobile device 10 may receive one or more inputs through a user interface and determine control information corresponding to the operation of the external device 20 based on the received one or more inputs. For example, when the mobile device 10 receives an input for dragging to a specific position, the mobile device 10 may determine control information for operating the robot cleaner among the external devices 20, and input to shake the mobile device 10 like a fan. In case of receiving the control information, control information for operating the air conditioner may be determined.
  • the mobile device 10 may generate sound wave data corresponding to the control information and output sound waves corresponding to the sound wave data generated through the sound wave generator.
  • the mobile device 10 may encode the control information for operating the predetermined robot cleaner and the ID of the robot cleaner into sound wave data and output the encoded sound wave through the speaker.
  • the mobile device 10 may determine additional information related to the control information of the external device 20 and transmit the additional information determined in connection with the external device 20 through a network. For example, the mobile device 10 may transmit additional information such as a detailed temperature in connection with the control information for controlling the operation of the refrigerator through a network connected to the external device 20.
  • the mobile device 10 may receive sound waves output from the external device 20, generate control information corresponding to the received sound waves, and output sound waves corresponding to the generated control information.
  • the sound wave output from the external device 20 may include the state information of the external device 20, the state information is one or more of the current state or failure diagnosis information.
  • An example of the current state includes on / off of the external device 20, a power use state, an operation time, and the like, and an example of the fault diagnosis information includes an abnormal symptom occurrence information, an error code, and a failure site information.
  • the network refers to a connection structure capable of exchanging information between respective nodes such as terminals and servers.
  • Examples of such a network include a 3rd generation partnership project (3GPP) network and a long term evolution (LTE) network.
  • 3GPP 3rd generation partnership project
  • LTE long term evolution
  • WWIX World Interoperability for Microwave Access
  • Internet Local Area Network
  • WLAN Wireless Local Area Network
  • WAN Wide Area Network
  • PAN Personal Area Network
  • Bluetooth Bluetooth
  • satellite broadcasting networks analog broadcasting networks
  • DMB Digital Multimedia Broadcasting
  • the input receiver 101 receives one or more inputs through a user interface.
  • the user interface includes, but is not limited to, one or more of an interface for recognizing movement of the mobile device 10, an interface for recognizing movement and movement of the user through a camera, a touch panel interface, a hardware button input interface, and a voice recognition interface. Does not.
  • the sound wave data generating unit 103 maps the determined control information for each frequency, synthesizes it with the pure tones of the inaudible band, and generates a predetermined code
  • Inaudible sound wave data can be generated by applying a protocol having an error correction code to the generated predetermined code.
  • the sound wave data generator 103 may map control information for each frequency and generate sound wave data by applying a protocol having an error correction code.
  • the sound wave data generation unit 103 may generate sound wave data synthesized with a voice signal or music saying, "The transmission of control information from a smartphone is being transmitted to the air conditioner".
  • the sound wave data may be mixed and used as a sound code, a sound QR code, or the like.
  • the sound wave data generator 103 generates a plurality of pieces of partial information corresponding to the control information, determines a plurality of frequencies corresponding to the generated pieces of partial information, and generates a sound signal corresponding to each of the determined plurality of frequencies. By combining at intervals, sound wave data corresponding to the control information can be generated.
  • the control information may include a plurality of partial information.
  • the partial information may be a symbol included in the control information.
  • One example of the partial information or symbol is at least one of a letter such as 'a', 'a', a number and symbol (or sign) such as '1' and '2'.
  • a letter may be used as a superordinate concept including numbers and symbols (or symbols), and alphanumeric and alphanumeric characters may be used as a superordinate concept including at least one of letters, numbers and symbols. have.
  • the sound wave data generator 103 may determine a frequency corresponding to each of the pieces of partial information. For example, the sound wave data generating unit 103 divides the total bandwidth 5000 Hz between 16000 Hz and 21000 Hz, which is an inaudible sound wave band frequency, in 200 Hz units to divide 25 frequencies and then divides 25 frequencies. Each is determined as a frequency corresponding to each of the 25 pieces of information.
  • the symbol may be selected from a plurality of symbols included in the Hex code set.
  • each symbol may be any one of 16 symbols, such as '0' to '9', 'A' to 'F', included in the first Hex code set.
  • each symbol includes' 00 ',' 01 ', ...,' 0A ',' 0B ', ...,' 20 ',' 21 ', ...,' included in the second Hex code set. It may be any one of 256 symbols such as 2A ',' 2B ', ...,' FE ', and' FF '.
  • the symbol may be selected from a plurality of symbols included in the binary code set.
  • the binary code set may be any one of the first to Nth binary code sets according to the number of bits.
  • each binary code set may vary the number of symbols it includes according to the number of bits.
  • Table 4 shows an example of the first to Nth binary code sets. As shown in Table 4, the first binary code set having one bit includes two symbols of '0' and '1', and the second binary code set having two bits is set to '00' through '11'.
  • the N-th binary code set including four symbols and having N bits may include 2 N symbols, such as '00 ... 00 'to '11 ... 11'.
  • the sound wave data generating unit 103 may select any one code set from among a plurality of code sets and include information on the code set in the control information. .
  • the plurality of frequencies illustrated above may be frequencies included in the inaudible sound frequency band (or inaudible frequency band). That is, according to an embodiment of the present invention, the plurality of frequencies may be frequencies included in the inaudible sound wave frequency band.
  • An example of the inaudible sound wave frequency band may be a frequency band within a range of 16000 Hz or more and 24000 Hz or less.
  • the present invention is not limited thereto.
  • another example of the inaudible sound wave frequency band may be a frequency band within the range of 17000 Hz to 24000 Hz.
  • the sound wave data generator 103 may generate a plurality of sound signals corresponding to each of the plurality of frequencies. For example, the sound wave data generator 103 may generate a first sound signal corresponding to the first frequency and generate a second sound signal corresponding to the second frequency.
  • the sound wave data generating unit 103 may generate a sinusoidal sound wave signal having a frequency as a center (or fundamental) frequency or a carrier frequency as a sound signal.
  • the sound wave data generator 103 may generate a sinusoidal sound wave signal having a frequency of 16000 Hz as a fundamental frequency.
  • the sound wave data generating unit 103 distinguishes an audible sound wave frequency band corresponding to a voice and an inaudible sound wave frequency band corresponding to a sound code, and the voice data and the sound wave data for each divided frequency band. Can be generated and output.
  • the audible sound wave frequency band may be a frequency band in the range of 1700 Hz or more and 12000 Hz or less
  • the inaudible sound wave frequency band may be a frequency band in the range of 16000 Hz or more and 24000 Hz or less.
  • the sound wave output through the output unit 104 may be input to the sound wave receiving apparatus of the external device 20, and the external device 20 may obtain control information using the sound wave.
  • the external device 20 may perform an operation corresponding to the control information based on the obtained control information.
  • the external device 20 receives sound waves output through the output unit through a microphone, which is a sound wave receiving device, decodes the input sound waves to obtain ID and control information of the external device 20, and obtains the obtained external devices.
  • the ID of the device 20 determines that the device is the target of the control information, and may perform an operation corresponding to the control information.
  • the control information determiner 102 may determine the control information based on the first input input through the first user interface, and determine additional information based on the second input input through the second user interface. In other words, the control information determiner 102 may receive different inputs, determine the first input as control information, and determine the second input as additional information. For example, the control information may be determined based on the input dragged through the touch panel, and the additional information may be determined based on the voice input from the user.
  • the control information determined by the control information determiner 102 is generated as sound wave data, output in the form of sound waves through the sound wave generator, and transmitted to the external device 20, and the determined additional information is transmitted to the external device 20 through a wireless signal. ) May be sent.
  • the mobile device 10 receives an input of a user through a user interface in operation S301, and determines control information based on the received input in operation S302.
  • the mobile device 10 generates sound wave data based on the ID of the external device 20 to be controlled and the determined control information (S303), and outputs the sound wave generated through the speaker (S304).
  • the output sound wave may be a sound wave in the audible frequency domain or a sound file in the inaudible frequency domain.
  • the output sound wave may be combined with a predetermined music or voice previously stored in the mobile device 10.
  • the external device 20 receives the sound wave output through the sound wave receiving apparatus and analyzes it (S305) to obtain ID and control information of the external device 20, and performs an operation corresponding thereto based on the obtained control information. (S306) The external device 20 does not perform an operation when the ID of the external device 20 is not itself.
  • spectrum leakage may occur and unintended frequency components may be detected together.
  • the observed spectrum may be attenuated. This attenuation can cause the real signal component (or main lobe) to become smaller than the surrounding signal component (or side lobe) in conjunction with the spectral leakage, thereby lowering the recognition rate.
  • the signal 401 shows that the periodicity of the sound waves coincides with the frame length (see 403 or 404) so that the actual signal component (or main lobe) can be accurately detected.
  • the signal 402 has a periodicity of sound waves that does not coincide with the frame length so that the magnitude of the actual signal component (or main lobe) may be attenuated relative to the surrounding signal component (or side lobe) due to spectral leakage.
  • the peripheral signal component (or side lobe) may interfere with the actual signal component (or main lobe) to reduce the recognition rate of the actual signal component (or main lobe).
  • the sound code (or sound wave data) may be generated by combining the signals (or sound signals, partial data) thus generated over time intervals.
  • the signal (or sound signal, partial data) and the sound code (or sound wave data) may be frequency signals.
  • the sound wave data generator 103 determines a plurality of frequencies (eg, a first frequency and a second frequency) corresponding to the first symbol and corresponds to the plurality of frequencies.
  • the first signal (or the first sound signal, the first partial data) can be generated.
  • the sound wave data generator 103 determines a plurality of frequencies (eg, third and fourth frequencies) corresponding to the second symbol and generates a second signal corresponding to the plurality of frequencies. can do.
  • the sound wave data generator 103 may allocate or map two or more frequencies per symbol, and generate individual signals based on the two or more frequencies. Allocating two frequencies per information makes it possible to represent a variety of information than allocating one frequency per conventional information.
  • generating one signal (or sound signal, partial data) or sound code (or sound wave data) corresponding to one frequency is referred to as a pure tone encoding technique, and one corresponding to two or more frequencies
  • Generating a signal or sound code of may be represented as a multi-tone encoding technique.
  • the sound wave data generator 103 determines a plurality of frequencies of each symbol included in the control information 'Az ... A3' consisting of N symbols, A signal corresponding to the determined plurality of frequencies may be generated.
  • the sound wave data generating unit 103 allocates or maps both the first frequency '16700 Hz' and the second frequency '17000 Hz' to the first symbol 'A', and the first frequency having the first frequency as the fundamental frequency.
  • Generate a sub-signal 409 generate a second sub-signal 410 having the second frequency as the fundamental frequency, and generate a first sub-signal 409 based on the generated first sub-signal 409 and the second sub-signal 410.
  • the external device 20 When the external device 20 receives a sound wave through a microphone, an echo may be generated due to the acoustic characteristics of the surrounding space, which may make it difficult to decode the sound wave. That is, the previously output sound wave may invade the sound wave area to be output afterwards, thereby causing confusion in frequency detection.
  • symbol 'A' is mapped to frequency '10000Hz'
  • symbol 'B' is frequency '20000Hz'
  • symbol 'C' is frequency '30000Hz'
  • symbol 'D' is mapped to frequency '40000Hz'
  • the external device 20 may recognize 'ABBD' or 'AACD', which is an incorrect decoding result, due to an echo component.
  • the sound wave data generating unit 103 may use a continuous symbol (or a duplicate symbol) for notifying that the same symbol comes out continuously. That is, the sound wave data generating unit 103 sets the rule "the previous code and the current code cannot be the same.” If the actual control information is duplicated like 'AACD', the second duplicated with the first symbol 'A' Instead of the symbol 'A', a continuous symbol (or a duplicate symbol) may be selected.
  • the sound wave data generating unit 103 has a symbol 'A' a frequency '10000Hz', a symbol 'B' a frequency '20000Hz', a symbol 'C' a frequency '30000Hz', and a symbol 'D' a frequency '40000Hz 'If it is mapped to each, and the consecutive symbol (or duplicate symbol) is determined to be' $ ', change' AACD 'to' A $ CD ', determine frequencies corresponding to' A $ CD ', and select' A Sound wave data corresponding to $ CD 'may be generated.
  • the sound wave data generator 103 performs sound shaping on the sound wave data (or sound code), and the sound wave data generator 103 performs pulse shaping on the sound wave data (or sound code). Code) can be generated.
  • Pulse shaping is an example of a signal processing process, where pulse shaping minimizes spectral leakage of sound wave data (or sound code), and between signals of sound wave data (or sound code). Interference or inter-symbol interference of sound wave data (or sound code) can be eliminated or minimized.
  • Pulse shaping is also suitable for controlling the sound in the audible region.
  • the windows used for such pulse shaping are various and include, for example, a hanning window or a turkey key.
  • the sound wave data generating unit 103 may generate a signal group corresponding to a symbol by continuously generating at least two signals corresponding to the symbol. At this time, the sound wave data generating unit 103 generates a signal corresponding to the symbol and having at least two consecutive (for example, five consecutive times) signals having a first time, thereby corresponding to the symbol and having a second time. You can create groups. Also, the second time may be greater than the first time. For example, if the second time is 50 ms, the first time may be 10 ms less than the second time. In this case, the signal group may also include five signals. In addition, according to an embodiment of the present invention, the signal may be represented as a sub signal, and the signal group may be represented as a signal including a plurality of sub signals.
  • the sound wave data generating unit 103 determines a frequency '16700Hz' corresponding to the first symbol and continuously generates five signals corresponding to the frequency '16700Hz' and having a time of 10 ms.
  • the signal group 413 corresponding to the frequency '16700 Hz' and corresponding to a time of 50 ms may be generated.
  • the sound wave data generating unit 103 determines the frequency '16800Hz' corresponding to the second symbol and continuously generates five signals corresponding to the frequency '16800Hz' and having a time of 10 ms, thereby generating the frequency '16700Hz'.
  • a signal group 414 corresponding to a time of 50 ms.
  • the sound wave data generator 103 determines the frequency '16800 Hz' corresponding to the second symbol, and corresponds to the frequency '16800 Hz' and has a sub-signal 5 having a time of 10 ms.
  • a signal 414 corresponding to the frequency '16700 Hz' and corresponding to a time of 50 ms may be generated.
  • the aforementioned first time may be a unit time for dividing a frame.
  • 5 is a flowchart illustrating an example of a process of decoding sound waves.
  • the external device 20 (or an internal module of the external device 20) divides the sound wave into a plurality of frames (S502).
  • a fast Fourier transform may be performed on the divided frames (S503), and a decoding process may be performed based on the result of the transformation (S504).
  • the result may be control information.
  • the external device 20 may further perform steps S601 to S603 between steps S502 and S503 of FIG. 5.
  • the external device 20 extracts an audible frequency band signal having a relatively small input gain among the input sound waves, and stops the audible frequency band as a stop band and passes the non-audible frequency band as a pass band.
  • a high pass filter set as a pass band can be used. The sound waves passing through the high pass filter may have only components in the inaudible frequency band.
  • the external device 20 may amplify the signal passing through the filter within a quantization range that can be expressed.
  • the external device 20 may perform normalization (or amplitude normalization). To this end, the external device 20 may change the weight value in real time using a ratio between the largest value of the frame of the input sound wave and a predetermined reference value.
  • the reference value is a half value of the quantization maximum amplitude. Using half of the maximum quantization size as a reference value requires considering both the inaudible region and the audible region.
  • the expression range is -2 to 15 - is (215 1), the external device 20 to the maximum size of the signal within the quantization range of possible expressions in case of FFT scaling in S503 Can be amplified.
  • the external device 20 may add the filter output sound wave source and the original sound wave source.
  • the frequency component of the audible band and the frequency component of the inaudible band can be configured with the same ratio.
  • the reason for adding the original sound source is because there is almost no frequency component of the audible band in the signal passing through the filter, which makes it difficult to decode the audible band. By adding the original sound source at a specific rate, both audio and non-audible regions can be decoded.
  • the external device 20 may compensate for the shortcomings of scaling of the fixed-point FFT algorithm that may occur when only the steps of FIG. 5 are performed.
  • the magnitude and frequency configuration of the variable signal input at every moment induces a serious error in the FFT scaling process, which makes it difficult to guarantee a consistent recognition rate.
  • Simply amplifying the magnitude of the input signal cannot be solved because the input signal in the audible region has a value that is mostly greater than the input signal in the inaudible region, so that the quantization range before the frequency component of the inaudible region is sufficiently amplified. This is because an overflow that exceeds is lost and loses its meaning as amplification.
  • the external device 20 uses a filter to extract the signal of the inaudible region and the signal of the audible region separately, and amplifies as much as possible in each region and adds two sound sources to secure the maximum effective bit for scaling of the FFT.
  • the recognition rate can be improved without a large increase in the amount of computation.
  • FIGS. 7A to 7B are diagrams for describing an example of a process of decoding sound waves.
  • the external device 20 may detect a header symbol or tail symbol through a plurality of corresponding frames of sound waves.
  • the external device 20 may determine that the first header symbol is recognized. In addition, the external device 20 may determine that the first header symbol is recognized when two or three consecutive frames have the same frequency component of the spectral peak value. At this time, the external device 20 may know in advance the frequency component of the first header symbol in order to determine that two or three consecutive frames have the same frequency component of the spectral peak value. In addition, when the external device 20 recognizes two or three preceding symbols in the symbol group 72 corresponding to the second header, the external device 20 may determine that the second header symbol is recognized. In addition, the external device 20 may determine that the second header symbol is recognized when two or three consecutive frames have the same frequency component of the spectral peak value.
  • the external device 20 may determine that the tail symbols have been recognized.
  • the external device 20 may determine that the tail symbol is recognized when two or three consecutive frames have the same frequency component of the spectral peak value.
  • the external device 20 may perform a decoding process (or a decoding algorithm). First, when the header is detected, the external device 20 may guess and store the time at which the actual data starts. Referring to FIG. 7A, when the first header symbol group (or first header symbols) is detected and the second header symbol group (or second header symbols) is detected, the external device 20 detects the control information. It can be expected that the time at which the corresponding data (or body) begins is approximately 20 ms after the second header symbol is recognized.
  • the external device 20 may divide and store a predetermined number of frames and group them in ordered pairs until a tail (or tail group or tail symbol) is detected. Referring to FIG. 7B, the external device 20 arranges each of five symbols included in the symbol group 74 in a code group, and arranges each of the five symbols included in the symbol group 75 in a code group. After that, the symbol group 76, the symbol group 77, and the like may be performed in the same manner. Finally, each of the five symbols included in the checksum symbol group 78 may be arranged in the code group.
  • the external device 20 determines whether a continuous symbol (or a duplicate symbol) exists for each code group, restores the original symbol if there is one, and checks whether the checksum is correct in each code group, and checks whether the code group is correct. May be selected, and the largest cumulative spectral energy among the selected code groups may be selected as the final code group. The external device 20 may confirm or generate control information through symbols in the finally selected code group.
  • the external device 20 determines whether the input sound wave is completed recording (S801), and if melting is completed, converts the sound wave into a plurality of frames.
  • Split S802
  • perform filtering on the plurality of divided frames S803
  • perform FFT based on the filtered result S804
  • perform spectral analysis on the FFT result S805
  • analyze the spectrum The header and the tail may be detected based on the result (S806).
  • the external device 20 determines whether a header is detected (S807), if a header is detected, determines whether a tail is detected (S808), and if a tail is not detected, performs frame symbol grouping ( In operation S809, symbol data for a code group is generated (S810). When a tail is detected, the symbol is restored based on the symbol data (S811). The result of the restoration is a checksum for each of the plurality of code groups. The code group matching the checksum is selected, and the largest cumulative spectral energy among the selected code groups is selected as the final code group (S812), and the result (for example, control information) is selected based on the selected final code group. Can be generated (S813).
  • the external device 20 includes a sound wave receiver 201, a control information acquirer 202, and an operation performer 203.
  • the configuration of the external device 20 shown in FIG. 9 is not limited to those described above.
  • the sound wave receiver 201 receives sound waves output from the mobile device 10 through the sound wave receiver.
  • the sound wave receiver 201 may receive sound waves output from the mobile device 10 through the microphone device. Sound waves received through the microphone may be sound files in the inaudible region and sound files in the audible region, or may be sound files combined with music or voice.
  • the control information obtaining unit 202 obtains the ID and control information of the external device 20 using sound waves.
  • the control information acquisition unit 202 divides the sound wave input through the sound wave receiving device into a specific frame and converts the sound wave into a frequency domain, and analyzes all frequency bands of audible or inaudible through frequency analysis to insert codes, information, and the like into the sound wave.
  • the control information included in the sound wave can be obtained by interpreting the error and checking and correcting the error through an error correction algorithm performed at the time of encoding the sound wave data.
  • the control information may be a control command.
  • the control information acquisition unit 202 divides sound waves into a plurality of frames at predetermined time intervals, identifies frequencies corresponding to each of the plurality of frames through frequency analysis for each of the plurality of frames, and corresponds to the identified frequencies. Based on the plurality of pieces of pieces of information, control information corresponding to sound waves can be generated.
  • the control information acquisition unit 202 may divide the sound wave into a plurality of frames at predetermined time intervals. For example, the control information acquisition unit 202 divides sound waves into a plurality of frames at a time interval of 10 ms. In this case, when the sound wave is a sound wave that lasts for 50 ms, the sound wave may be divided into five frames.
  • the control information acquisition unit 202 may identify frequencies corresponding to each of the plurality of frames through frequency analysis for each of the plurality of frames.
  • each of the plurality of frames includes a sound signal of a predetermined frequency, and a frequency corresponding to each of the plurality of frames may mean a frequency of the sound signal.
  • the plurality of frequencies may be selected within a range of 16000 Hz or more and 24000 Hz or less.
  • the interval between the plurality of frequencies may be variously determined with 50 Hz, 100 Hz, 200 Hz.
  • the control information acquisition unit 202 may identify the frequency by analyzing the peak of the frequency for each of the plurality of frames.
  • control information acquisition unit 202 may identify 16000 Hz, which is a frequency of a sound signal included in the first frame, and 17000 Hz, which is a frequency of the sound signal included in the second frame. have.
  • the control information acquisition unit 202 may identify the frequency through frequency analysis. To this end, the control information acquisition unit 202 may identify a frequency by using an analog sound code, a plurality of frames, or a frequency conversion technique for each sound signal of the plurality of frames and an inverse frequency transformation technique.
  • One example of the frequency transformation technique is the fast fourier transform (FFT), and one example of the inverse frequency transformation technique is the inverse fast fourier transform (IFFT).
  • the control information acquisition unit 202 may generate control information corresponding to sound waves based on the plurality of pieces of partial information corresponding to each of the identified frequencies.
  • the control information obtaining unit 202 may include, for example, a sound code composed of three frames, a frequency of the first frame is 15000 Hz, a frequency of the second frame is 15200 Hz, and a frequency of the third frame is 17000 Hz.
  • partial information '0' corresponding to 15000 Hz, partial information '1' corresponding to 15200 Hz, and partial information 'A' corresponding to 17000 Hz may be generated.
  • the control information acquisition unit 202 may generate control information corresponding to sound waves based on the plurality of pieces of partial information. For example, the control information obtaining unit 202 combines the partial information when the partial information of the first frame is '0' and the partial information of the second frame is '1' and the partial information of the third frame is 'A'. Thus, '01A', which is control information corresponding to a sound code, may be decoded or generated.
  • the control information obtaining unit 202 recognizes the voice through voice recognition, generates first information corresponding to the voice, generates second information corresponding to the sound code, and uses the first information and the second information.
  • Information can be generated.
  • the second information may be decoded using the first information, or the information may be generated by combining the first information and the second information.
  • the separate operation of the frequency band of the voice and the inaudible frequency band of the sound code enables simultaneous recognition of the voice recognition and the sound code by the same hardware (eg, a decoding device) while minimizing mutual interference. .
  • This provides the user with a more versatile Human Machine Interface (HMI) through a combination of voice and sound codes.
  • HMI Human Machine Interface
  • the operation performing unit 203 performs an operation corresponding to the control information based on the obtained control information.
  • the operation performing unit may operate a function of adjusting the wind direction of the air conditioner based on control information for adjusting the wind direction of the air conditioner.
  • the external device 20 when the external device 20 receives an input for requesting the current state or fault diagnosis information of the external device 20 through the input receiving unit 201, the external device 20 generates the current state or fault diagnosis information as sound wave data.
  • the apparatus may further include an output sound wave data generation unit and an output unit.
  • the external device 20 may further include a communication unit which transmits state information including at least one of a current state or fault diagnosis information of the device to the mobile device 10.
  • the external device 20 may include an operation performing unit 203, a state information generating unit 204, a sound wave data generating unit 205, and a sound wave output unit 206.
  • the operation execution unit 203 performs an operation of the external device 20.
  • the operation performing unit 203 performs an operation through at least one power device included in the external device 20.
  • the operation performing unit 203 may perform a circulation operation of the refrigerant through a power unit included in the refrigerator.
  • the operation performing unit 203 may perform an operation of moving the cleaner through the power unit.
  • the external device 20 is a fan
  • an operation of rotating the fan of the fan may be performed through the power unit of the operation performer 203.
  • the state information generator 204 generates state information of the external device 20 related to the operation.
  • the state information is one or more of the current state or failure diagnosis information of the external device 20, an example of the current state includes the on / off, power use state, operating time of the external device 20,
  • One example of the failure diagnosis information includes abnormality occurrence information, an error code, failure site information, and the like.
  • the state information generator 204 may generate state information corresponding to an abnormal symptom in relation to an operation of the external device 20. For example, when the external device 20 is a refrigerator and the external device 20 stops operating, the state information generator 204 may generate state information indicating that the operation of the external device 20 has stopped. have. For another example, when the external device 20 is a washing machine and a predetermined error code occurs in the washing machine, the state information generator 204 may generate state information corresponding to the error code.
  • the sound wave data generator 205 generates sound wave data corresponding to the state information. Specifically, the sound wave data generation unit 205 generates a plurality of pieces of partial information corresponding to the state information, determines a plurality of frequencies corresponding to the generated pieces of partial information, and outputs sound signals corresponding to each of the determined plurality of frequencies. Can be combined at predetermined time intervals to generate sound wave data corresponding to the state information.
  • the sound wave output unit 206 outputs sound waves corresponding to sound wave data generated through the sound wave generator.
  • the sound wave generator is a speaker device, but is not limited thereto.
  • the output sound wave is input to the mobile device 10.
  • the external device 20 of FIG. 10 may further include a sound wave receiver 201 and a control information acquirer 202.
  • the sound wave receiving unit 201 receives a sound wave output from the mobile device 10 through the sound wave receiving apparatus, and the control information obtaining unit 202 obtains control information using the received sound wave.
  • the control information may be a response to the sound wave output from the sound wave output unit 206, and the operation performing unit 203 may perform an operation based on the control information.
  • FIG. 11 is a flowchart illustrating a sound wave output method according to an exemplary embodiment of the present invention.
  • the method of outputting sound waves through the mobile device 10 shown in FIG. 11 includes the steps processed in time series in the mobile device 10 described with reference to FIGS. Therefore, even if omitted below, the content described with respect to the mobile device 10 through FIGS. 1 and 2 also applies to FIG. 11.
  • the mobile device 10 receives one or more inputs through a user interface in operation S601, and determines control information corresponding to an operation of the external device 20 based on the received one or more inputs in operation S602. )do.
  • the mobile device 10 generates sound wave data corresponding to the control information (S603).
  • the sound wave data generated through the mobile device 10 is in the form of audible sound wave data in which control information is mapped to a frequency, in the form of audible sound wave data using an inaudible frequency, a form of music stored in the mobile device 10, or a combination of a predetermined voice.
  • the mobile device 10 may output a sound wave corresponding to the generated sound wave data through the sound wave generator (S604).
  • the external device 20 may receive sound waves output from the mobile device 10 and perform an operation corresponding to the control information based on the control information included in the sound waves.
  • the sound wave output method includes the steps of performing an operation of a device (not shown), generating state information of the device (not shown) related to the operation, and the state.
  • a sound wave output method may include generating sound wave data corresponding to information and outputting sound waves corresponding to the generated sound wave data through a sound wave generator. In this case, the sound wave output method is performed by the external device 20 of FIG. Therefore, the descriptions below will apply mutatis mutandis to the external device 20 of FIG. 10.
  • the sound wave output method may further include receiving a sound wave output from the mobile device 10 through a sound wave receiving apparatus (not shown), acquiring control information using the received sound wave (not shown), and controlling information. It may further include performing an operation based on.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transmission mechanism, and includes any information delivery media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Selective Calling Equipment (AREA)

Abstract

모바일 디바이스는 사용자 인터페이스를 통해 하나 이상의 입력을 수신하는 입력 수신부, 하나 이상의 입력에 기초하여 외부 디바이스의 동작에 대응하는 제어 정보를 결정하되, 제어 정보는 제 1 심볼 및 제 2 심볼을 포함하는 것인, 제어 정보 결정부, 제어 정보에 대응하는 음파 데이터를 생성하는 음파 데이터 생성부, 및 음파 발생 장치를 통해 상기 생성한 음파 데이터에 대응하는 음파를 출력하는 출력부를 포함한다. 이 때, 음파 데이터 생성부는 제 1 심볼에 대응하는 제 1 주파수를 결정하고, 제 2 심볼에 대응하는 제 2 주파수를 결정하고, 제 1 주파수 및 제 2 주파수에 기초하여 상기 음파 데이터를 생성하며, 음파 데이터는 제 1 주파수에 대응하는 부분과 제 2 주파수에 대응하는 부분을 포함한다.

Description

외부 디바이스의 제어를 위해 음파를 출력하는 모바일 디바이스 및 방법, 그리고 외부 디바이스
외부 디바이스에 대한 제어 정보가 포함된 음파를 출력하는 디바이스 및 방법, 그리고 외부 디바이스에 관한 것이다.
최근, 인터넷 접속 기능을 내장한 냉장고, 세탁기, 오븐, 청소기, 에어컨, TV 등의 스마트 가전 제품이 등장하였으며, 이러한 스마트 가전 제품이 점차적으로 보급되고 있다. 이러한 스마트 가전 제품은 새로운 조리법이나 세탁 방법이 추가되는 경우, 온라인을 통해 해당 기능을 업데이트 할 수 있고, 외부에서 원격으로 작동 상태를 확인할 수도 있다. 예를 들면, 단순한 냉장 또는 냉동 기능 외에, 인터넷을 통한 쇼핑, 식료품 관리 등의 기능을 갖춘 냉장고 등이 있을 수 있다.
한편, 이러한 스마트 가전 제품은 인터넷 접속 및 다른 디바이스와의 연동을 위해서 홈 네트워크 상에서 무선 공유기 등의 AP(Access Point)와의 접속이 필수적이다. 다만, 현재의 스마트 가전은 화면 및 입력장치의 제약, 하드웨어의 사양, 소프트웨어의 사양 등의 이유로 기능이 제한적으로, 네트워크 설정을 위한 데이터의 입력이 복잡하고 번거롭다는 단점이 있다. 이에, 홈 네트워크 상의 무선 공유기와의 접속 없이 스마트 가전 제품의 동작을 제어할 수 있는 방법이 요구된다. 한국공개특허 제2006-0089854호에는 외부 인터넷과 연결되는 홈 게이트웨이를 이용하여 가전 기기들의 동작을 제어하는 시스템의 구성이 개시되어 있다.
별도의 무선 접속 장치를 통한 네트워크의 연결 없이 모바일 디바이스를 통해 가전 기기 등의 외부 디바이스의 동작을 제어하고자 한다. 모바일 디바이스를 통해 출력된 음파 데이터를 이용하여 외부 디바이스의 동작을 제어하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 더 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는 사용자 인터페이스를 통해 하나 이상의 입력을 수신하는 입력 수신부, 상기 하나 이상의 입력에 기초하여 외부 디바이스의 동작에 대응하는 제어 정보를 결정하되, 상기 제어 정보는 제 1 심볼 및 제 2 심볼을 포함하는 것인, 제어 정보 결정부, 상기 제어 정보에 대응하는 음파 데이터를 생성하는 음파 데이터 생성부, 및 음파 발생 장치를 통해 상기 생성한 음파 데이터에 대응하는 음파를 출력하는 출력부를 포함하되, 상기 음파 데이터 생성부는 상기 제 1 심볼에 대응하는 제 1 주파수를 결정하고, 상기 제 2 심볼에 대응하는 제 2 주파수를 결정하고, 상기 제 1 주파수 및 상기 제 2 주파수에 기초하여 상기 음파 데이터를 생성하는 것이고, 상기 음파 데이터는 상기 제 1 주파수에 대응하는 부분과 상기 제 2 주파수에 대응하는 부분을 포함하는 것인, 모바일 디바이스를 제공할 수 있다.
본 발명의 다른 실시예는 사용자 인터페이스를 통해 하나 이상의 입력을 수신하는 단계, 상기 하나 이상의 입력에 기초하여 외부 디바이스의 동작에 대응하는 제어 정보를 결정하되, 상기 제어 정보는 제 1 심볼 및 제 2 심볼을 포함하는 것인, 단계, 상기 제어 정보에 대응하는 음파 데이터를 생성하는 단계 및 음파 발생 장치를 통해 상기 생성한 음파 데이터에 대응하는 음파 데이터를 출력하는 단계를 포함하되, 상기 음파 데이터를 생성하는 단계는, 상기 제 1 심볼에 대응하는 제 1 주파수를 결정하고, 상기 제 2 심볼에 대응하는 제 2 주파수를 결정하고, 상기 제 1 주파수 및 상기 제 2 주파수에 기초하여 상기 음파 데이터를 생성하는 것이고, 상기 음파 데이터는 상기 제 1 주파수에 대응하는 부분과 상기 제 2 주파수에 대응하는 부분을 포함하는 것인, 음파 출력 방법을 제공할 수 있다.
본 발명의 또 다른 실시예는 음파 수신 장치를 통해 모바일 디바이스로부터 출력된 음파를 수신하는 음파 수신부, 음파를 이용하여 디바이스의 아이디를 포함하는 제어 정보를 획득하는 제어 정보 획득부, 획득된 제어 정보에 기초하여 제어 정보에 대응하는 동작을 수행하는 동작 수행부를 포함하되, 상기 제어 정보 획득부는 상기 음파의 제 1 부분에 대응하는 제 1 주파수를 결정하고, 상기 음파의 제 2 부분에 대응하는 제 2 주파수를 결정하고, 상기 제 1 주파수에 대응하는 제 1 심볼을 생성하고, 상기 제 2 주파수에 대응하는 제 2 심볼을 생성하고, 상기 제 1 심볼과 상기 제 2 심볼의 결합에 기초하여 상기 제어 정보를 획득하는 것인, 디바이스를 제공할 수 있다.
본 발명의 또 다른 실시예는 상기 디바이스의 동작을 수행하는 동작 수행부, 상기 동작과 관련된, 상기 디바이스의 상태 정보를 생성하되, 상기 상태 정보는 제 1 심볼 및 제 2 심볼을 포함하는 것인, 상태 정보 생성부, 상기 상태 정보에 대응하는 음파 데이터를 생성하는 음파 데이터 생성부 및 음파 발생 장치를 통해 상기 생성한 음파 데이터에 대응하는 음파를 출력하는 음파 출력부를 포함하되, 상기 음파 데이터 생성부는 상기 제 1 심볼에 대응하는 제 1 주파수를 결정하고, 상기 제 2 심볼에 대응하는 제 2 주파수를 결정하고, 상기 제 1 주파수 및 상기 제 2 주파수에 기초하여 상기 음파 데이터를 생성하는 것이고, 상기 음파 데이터는 상기 제 1 주파수에 대응하는 부분과 상기 제 2 주파수에 대응하는 부분을 포함하는 것인, 디바이스를 제공할 수 있다.
본 발명의 또 다른 실시예에 따르면, 음파 수신 장치를 통해, 모바일 디바이스로부터 출력된 음파를 수신하는 음파 수신부 및 상기 수신한 음파를 이용하여 제어 정보를 획득하는 제어 정보 획득부를 더 포함하되, 상기 동작 수행부는 상기 제어 정보에 기초하여 상기 동작을 수행하는 것이고, 상기 제어 정보 획득부는 상기 음파의 제 1 부분에 대응하는 제 1 주파수를 결정하고, 상기 음파의 제 2 부분에 대응하는 제 2 주파수를 결정하고, 상기 제 1 주파수에 대응하는 제 1 심볼을 생성하고, 상기 제 2 주파수에 대응하는 제 2 심볼을 생성하고, 상기 제 1 심볼과 상기 제 2 심볼의 결합에 기초하여 상기 제어 정보를 획득하는 것인, 디바이스를 제공할 수 있다.
본 발명의 또 다른 실시예는 디바이스의 동작을 수행하는 단계, 상기 동작과 관련된, 상기 디바이스의 상태 정보를 생성하되, 상기 상태 정보는 제 1 심볼 및 제 2 심볼을 포함하는 것인, 단계, 상기 상태 정보에 대응하는 음파 데이터를 생성하는 단계 및 음파 발생 장치를 통해 상기 생성한 음파 데이터에 대응하는 음파를 출력하는 단계 포함하되, 상기 음파 데이터를 생성하는 단계는 상기 제 1 심볼에 대응하는 제 1 주파수를 결정하고, 상기 제 2 심볼에 대응하는 제 2 주파수를 결정하고, 상기 제 1 주파수 및 상기 제 2 주파수에 기초하여 상기 음파 데이터를 생성하는 것이고, 상기 음파 데이터는 상기 제 1 주파수에 대응하는 부분과 상기 제 2 주파수에 대응하는 부분을 포함하는 것인, 음파 출력 방법을 제공할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자의 입력에 기초하여 외부 디바이스의 동작에 대응하는 제어 정보로 결정할 수 있다. 모바일 디바이스를 통해 결정된 제어 정보에 대응하는 음파 데이터를 생성할 수 있다. 모바일 디바이스를 통해 출력된 음파 데이터를 이용하여 외부 디바이스의 동작을 제어할 수 있다. 무선 접속 장치를 통한 네트워크의 연결 없이도, 모바일 디바이스를 이용하여 가전 기기 등의 외부 디바이스의 동작을 제어할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디바이스 제어 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 모바일 디바이스의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 모바일 디바이스로부터 제어 정보가 전송되는 과정을 나타내는 도면이다.
도 4a 내지 도 4d는 음파 데이터를 생성하는 과정의 일 예를 설명하기 위한 도면들이다.
도 5는 음파를 디코딩하는 과정의 일 예를 설명하기 위한 동작 흐름도이다.
도 6은 음파를 디코딩하는 과정의 다른 예를 설명하기 위한 동작 흐름도이다.
도 7a 내지 7b는 음파를 디코딩하는 과정의 일 예를 설명하기 위한 도면이다.
도 8은 음파를 디코딩하는 과정의 또 다른 예를 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 외부 디바이스의 구성도이다.
도 10은 본 발명의 일 실시예에 따른 외부 디바이스의 구성도이다.
도 11은 본 발명의 일 실시예에 따른 음파 출력 방법을 나타내는 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.
도 1은 본 발명의 일 실시예에 따른 디바이스 제어 시스템의 구성도이다. 도 1을 참조하면 디바이스 제어 시스템은 모바일 디바이스(10) 및 외부 디바이스(20)를 포함한다.
모바일 디바이스(10)는 사용자 인터페이스를 통해 하나 이상의 입력을 수신하고, 수신된 하나 이상의 입력에 기초하여 외부 디바이스(20)의 동작에 대응하는 제어 정보를 결정할 수 있다. 예를 들면, 모바일 디바이스(10)는 특정 위치로 드래그하는 입력을 수신하는 경우, 외부 디바이스(20) 중 로봇 청소기를 동작시키는 제어 정보를 결정할 수 있으며, 모바일 디바이스(10)를 부채와 같이 흔드는 입력을 수신하는 경우, 에어컨을 동작시키는 제어 정보를 결정할 수도 있다.
모바일 디바이스(10)는 제어 정보에 대응하는 음파 데이터를 생성하고, 음파 발생 장치를 통해 생성한 음파 데이터에 대응하는 음파를 출력할 수 있다. 일 예로, 모바일 디바이스(10)는 기 결정된 로봇 청소기를 동작 시키는 제어 정보 및 로봇 청소기의 아이디를 음파 데이터로 인코딩하여, 스피커를 통해 인코딩된 음파를 출력할 수 있다.
모바일 디바이스(10)는 외부 디바이스(20)의 제어 정보와 관련된 부가 정보를 결정하고, 네트워크를 통해 외부 디바이스(20)와 연결되어 결정된 부가 정보를 전송할 수도 있다. 일 예로, 모바일 디바이스(10)는 냉장고의 동작을 제어 하는 제어 정보와 관련하여 상세 온도 등의 부가 정보를 외부 디바이스(20)와 연결된 네트워크를 통해 전송할 수 있다.
모바일 디바이스(10)는 외부 디바이스(20)로부터 출력된 음파를 수신하고, 수신한 음파에 대응하는 제어 정보를 생성하고, 생성한 제어 정보에 대응하는 음파를 출력할 수도 있다. 이 때, 외부 디바이스(20)로부터 출력된 음파는 외부 디바이스(20)의 상태 정보를 포함할 수 있으며, 상태 정보는 현재 상태 또는 고장 진단 정보 중 하나 이상이다. 현재 상태의 일 예는 외부 디바이스(20)의 온/오프, 전원 사용 상태, 동작 시간 등을 포함하며, 고장 진단 정보의 일 예는 이상 징후 발생 정보, 에러 코드, 고장 부위 정보 등을 포함한다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(network)의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
한편, 모바일 디바이스(10)는 네트워크를 통해 원격지의 서버에 접속할 수 있는 휴대용 단말기로 구현될 수 있다. 여기서 휴대용 단말기는 휴대성과 이동성이 보장되는 이동 통신 장치로서, 예를 들면, PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, LTE(Long Term Evolution) 단말, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 다만, 도 1에 개시된 모바일 디바이스(10)의 형태는 설명의 편의를 위해 예시된 것에 불과하므로, 본원에서 이야기하는 발신 단말(20) 및 수신 단말(30)의 종류 및 형태가 도 1에 도시된 것으로 한정 해석되는 것은 아니다.
모바일 디바이스(10)의 동작에 대해서는 도 2에서 다시 한번 자세히 설명된다.
외부 디바이스(20)는 음파 수신 장치를 통해 모바일 디바이스(10)로부터 출력되는 음파를 수신하고, 수신된 음파를 이용하여 제어 정보를 획득할 수 있다. 예를 들면, 외부 디바이스(20)는 모바일 디바이스(10)로부터 인코딩되어 모바일 디바이스(10)의 스피커를 통해 출력되는 사운드 코드를 수신하고, 수신된 사운드 코드를 디코딩하여 제어 정보 및 외부 디바이스(20)의 아이디를 획득할 수 있다.
외부 디바이스(20)는 외부 디바이스(20)의 아이디에 기초하여 제어 정보의 대상을 확인하고, 제어 정보에 대응하는 동작을 수행할 수 있다.
외부 디바이스(20)는 네트워크 기능을 연결하고, 서비스 제어 기능을 탑재하여 다양한 스마트 서비스가 가능한 스마트 가전으로 구현될 수 있다. 일반적으로 스마트 가전은 자동적으로 최적의 성능을 발휘할 수 있도록 조정이 가능하며, 통신 기능을 내장한 냉장고, 세탁기, 에어컨, 오븐, 전자레인지 등의 가전 제품을 의미할 수 있다. 다만, 도 1에 개시된 외부 디바이스(20)의 형태는 설명의 편의를 위해 예시된 것에 불과하므로 본원에서 이야기하는 외부 디바이스의 종류 및 형태가 도 1에 도시된 것으로 한정되는 것은 아니다.
외부 디바이스(20)는 외부 디바이스(20)의 동작을 수행하는 중, 동작과 관련하여 외부 디바이스(20)의 상태 정보를 생성하고, 생성한 상태 정보에 대응하는 음파 데이터를 생성하고, 생성한 음파 데이터에 대응하는 음파를 출력할 수 있다. 또한, 외부 디바이스(20)는 출력한 음파에 대응하는 응답으로서, 모바일 디바이스(10)로부터 출력된 음파를 수신할 수 있다.
외부 디바이스(20)의 이러한 동작에 대해서는 이하의 도면들을 통해 보다 상세하게 설명된다.
도 2는 본 발명의 일 실시예에 따른 모바일 디바이스의 구성도이다. 도 2를 참조하면, 모바일 디바이스(10)는 입력 수신부(101), 제어 정보 결정부(102), 음파 데이터 생성부(103), 출력부(104), 통신부 및 표시부(106)를 포함한다.
입력 수신부(101)는 사용자 인터페이스를 통해 하나 이상의 입력을 수신한다. 사용자 인터페이스는 모바일 디바이스(10)의 움직임을 인식하는 인터페이스, 카메라를 통해 사용자의 움직임 및 모션을 인식하는 인터페이스, 터치 패널 인터페이스, 하드웨어 버튼 입력 인터페이스 및 음성 인식 인터페이스 중 하나 이상을 포함하나, 이에 한정되지는 않는다.
예를 들면, 입력 수신부(101)는 터치 패널을 통해 화면을 드래그 하거나 원을 그리는 입력을 수신할 수 있고, 모바일 디바이스(10)를 부채와 같이 흔드는 입력을 수신할 수도 있다. 한편, 입력 수신부(101)는 제 1 사용자 인터페이스 및 제 2 사용자 인터페이스를 통해 서로 다른 입력을 수신할 수도 있다. 일 예로, 터치 패널을 통해 터치 입력을 수신하는 동시에 음성 인식을 통해 사용자의 음성을 입력받을 수 있다.
제어 정보 결정부(102)는 입력 수신부(101)를 통해 입력된 하나 이상의 입력에 기초하여 외부 디바이스(20)의 동작에 대응하는 제어 정보를 결정한다. 예를 들면, 제어 정보 결정부(102)는 터치 패널을 통해 화면을 드래그 하거나 원을 그리는 입력을 수신하는 경우, 외부 디바이스(20) 중 로봇 청소기가 동작하도록 제어하는 제어 정보를 결정할 수 있고, 모바일 디바이스(10)를 부채와 같이 흔드는 입력을 수신하는 경우, 에어컨이 동작하도록 제어하는 제어 정보를 결정할 수 있다. 결정된 제어 정보의 일 예는 외부 디바이스(20) 전원의 온오프, 외부 디바이스(20) 중 냉장고의 온도 조절, 에어컨의 작동 시간 조절, 로봇 청소기의 이동 경로 조정, 전자 레인지의 작동 시간 조절 등이 있을 수 있으나 이에 한정되지 않으며, 다양한 제어 정보가 결정될 수 있다.
제어 정보 결정부(102)는 외부 디바이스(20)로부터 출력된 음파를 수신하고, 수신한 음파에 대응하는 제어 정보를 생성할 수 있다. 이 때, 출력된 음파는 외부 디바이스(20)의 상태 정보를 포함할 수 있으며, 제어 정보 결정부(102)는 상태 정보에 기초하여 제어 정보를 생성할 수 있다. 예를 들어, 제어 정보 결정부(102)는 외부 디바이스(20)의 상태 정보에 기초하여 외부 디바이스(20)에 문제가 있음을 인식하고, 스스로 또는 별도의 고장 진단 서버와의 연동을 통해, 문제를 해결하기 위한 제어 정보를 생성할 수 있다.
음파 데이터 생성부(103)는 결정된 제어 정보에 대응하는 음파 데이터를 생성한다. 예를 들면, 음파 데이터 생성부(103)는 멀티 톤(Multi tone) 기반의 인코더를 통해 결정된 제어 정보를 사운드 코드인 음파 데이터로 생성할 수 있다. 멀티 톤 기반의 인코더는 문자의 정보량을 늘릴 수 있는 장점을 가지고 있으며, 현재 최대 64개의 문자 및 숫자를 표현할 수 있다. 또한, 멀티 톤 기반의 인코더는 주변 간섭에 강하고 많은 정보 표현이 가능한 200Hz 간격의 주파수를 이용할 수 있으며, 헤더, 바디, 에러 정정의 프로토콜 구조를 가질 수 있다.
다른 예에서, 음파 데이터 생성부(103)는 비가청 대역을 이용하는 인코더를 통해 제어 정보를 음파 데이터로 생성할 수 있다. 비가청 대역을 이용하는 인코더는 비가청 대역의 퓨어 톤(Pure tone) 합성을 통해 잡음 환경에서도 안정적인 인식률을 확보할 수 있다. 이하에서도 설명하겠으나, 하나의 주파수에 대응하여 하나의 사운드 신호 또는 사운드 코드를 생성하는 것은 퓨어 톤 기반의 인코딩 이라고 표현되고, 둘 이상의 주파수에 대응하여 하나의 사운드 신호 또는 사운드 코드를 생성하는 것은 멀티 톤 기반의 인코딩이라고 표현될 수 있다.
음파 데이터 생성부(103)에서 음파 데이터를 생성하는 방법에 있어서, 음파 데이터 생성부(103)는 결정된 제어 정보를 주파수 별로 매핑하고, 이를 비가청 대역의 퓨어 톤과 합성하여 소정 코드를 생성하고, 생성된 소정 코드에 오류 정정 부호를 갖는 프로토콜을 적용하여 비가청의 음파 데이터를 생성할 수 있다. 한편, 음파 데이터 생성부(103)는 제어 정보를 주파수 별로 매핑하고, 오류 정정 부호를 갖는 프로토콜을 적용하여 음파 데이터를 생성할 수도 있다. 또한, 음파 데이터 생성부(103)는 생성된 비가청의 음파 데이터를 "스마트폰으로부터의 제어 정보를 에어컨에 전송 중 입니다" 라는 음성 신호 또는 음악과 합성된 음파 데이터를 생성할 수도 있다. 음파 데이터는 사운드 코드, 사운드 QR 코드 등으로 혼재하여 사용할 수도 있다.
음파 데이터 생성부(103)는 제어 정보 및 외부 디바이스(20)의 아이디에 대응하는 음파 데이터를 생성할 수도 있다. 이 때, 외부 디바이스(20)는 복수의 외부 디바이스(20) 중 음파의 목적지로 선택된 것일 수 있다. 일 예를 들면, 음파 데이터 생성부(103)는 외부 디바이스(20) 중 어느 하나의 디바이스의 아이디에 대응하는 음파 데이터를 생성하여, 제어 정보의 전송을 원하는 디바이스를 대상으로 하는 음파 데이터를 생성할 수 있다. 다시 말하면, 음파 데이터 생성부(103)는 복수의 외부 디바이스(20) 중 냉장고의 아이디를 포함하는 음파 데이터를 선택할 수 있다. 이를 통해, 냉장고만을 제어할 외부 디바이스(20)로 선택하여 제어 정보를 전송하기 위한 음파 데이터를 생성할 수 있다.
음파 데이터 생성부(103)는 제어 정보에 대응하는 복수의 부분 정보를 생성하고, 생성한 복수의 부분 정보에 대응하는 복수의 주파수를 결정하고, 결정한 복수의 주파수 각각에 대응하는 사운드 신호를 소정 시간 간격에 따라 결합시킴으로써 제어 정보에 대응하는 음파 데이터를 생성할 수 있다.
제어 정보는 복수의 부분 정보를 포함할 수 있다. 이 때, 부분 정보는 제어 정보에 포함된 심볼일 수 있다. 부분 정보 또는 심볼의 일 예는 'ㄱ', 'a'와 같은 문자, '1', '2'와 같은 숫자 및 기호(또는 부호) 중 적어도 하나 이상이다. 또한, 문자는 숫자 및 기호(또는 기호)를 포함하는 상위 개념으로 사용될 수 있으며, 또한, 영숫자, 알파뉴메릭(alphanumeric) 캐릭터가 문자, 숫자 및 기호 중 적어도 하나 이상을 포함하는 상위 개념으로 사용될 수 있다.
음파 데이터 생성부(103)는 복수의 부분 정보 각각에 대응하는 주파수를 결정할 수 있다. 예를 들어, 음파 데이터 생성부(103)는 비가청 음파 대역 주파수인 16000 Hz 내지 21000 Hz 사이의 총 대역폭 5000 Hz를 200 Hz 단위로 분리함으로써, 25개의 주파수를 구분한 후, 구분한 25개의 주파수 각각을 25개의 부분 정보 각각에 대응하는 주파수로 결정한다. 음파 데이터 생성부(103)는 예를 들어, 제어 정보 'AB2@' 중 제 1 심볼 'A'의 주파수를 16000 Hz로 결정하고, 제 2 심볼 'B'의 주파수를 16200 Hz로 결정하고, 제 3 심볼 '2'의 주파수를 16400 Hz로 결정하고, 제 4 심볼 '@'의 주파수를 17000 Hz로 결정할 수 있다.
음파 데이터 생성부(103)는 제 1 심볼에 대응하는 제 1 주파수를 결정하고, 상기 제 2 심볼에 대응하는 제 2 주파수를 결정할 수 있다. 이 때, 제 1 심볼과 제 2 심볼은 제어 정보에 포함될 수 있다. 이와 같이, 하나의 의미 있는 데이터(예를 들어, 제어 정보)는 음파 데이터 생성부(103)에 의하여 복수의 심볼 각각에 매핑되며, 복수의 심볼 각각은 복수의 주파수 각각에 매핑될 수 있다. 이 때, 심볼은 특정 심볼 집합(또는 특정 코드 집합)으로부터 선택된 것일 수 있다. 일 예로, 심볼은 아스키 코드(예를 들어, ASCII 코드) 집합에 포함된 복수의 심볼들로부터 선택된 것일 수 있다. 이 때, 아스키 코드 집합에는 'a' 내지 'z'와 같은 영소문자, '0' 내지 '9'와 같은 숫자, '!'와 '?'와 같은 특수 문자, 'A' 내지 'Z'와 같은 영대문자, '+', '='와 같은 기호(또는 부호)가 포함될 수 있다. 표 1은 아스키 코드에 포함된 복수의 심볼의 일 예를 나타낸다.
[표 1]
Figure PCTKR2014005336-appb-I000001
다른 예로, 심볼은 Hex 코드 집합에 포함된 복수의 심볼들로부터 선택된 것일 수 있다. 이 때, 심볼 각각은 제 1 Hex 코드 집합에 포함된 '0' 내지 '9', 'A' 내지 'F'와 같은 16개의 심볼 중 어느 하나일 수 있다. 또한, 심볼 각각은 제 2 Hex 코드 집합에 포함된 '00', '01', ..., '0A', '0B', ..., '20', '21', ..., '2A', '2B', ..., 'FE', 'FF'와 같은 256의 심볼 중 어느 하나일 수 있다. 제 2 Hex 코드 집합 내의 각 심볼은 제 1 Hex 코드 집합에 포함된 16개의 심볼을 심볼 요소로 포함할 수 있다. 즉, 제 2 Hex 코드 집합의 각 심볼과 같이, 특정 심볼은 둘 이상의 심볼 요소로 이루어질 수도 있으며, 이 때, 심볼 요소 역시, 문자, 숫자, 기호(또는 부호) 중 어느 하나일 수 있다. 표 2는 제 1 Hex 코드 집합에 포함된 심볼의 일 예를 나타낸다. 이 때, 제 1 Hex 코드 집합은 '0' 내지 '9', 'A' 내지 'F'와 같은 16개의 심볼 이외에도 헤더, 테일, 연속 코드(또는 중복 코드)를 위한 'L', 'G' 등과 같은 5개의 코드를 더 포함할 수도 있다.
[표 2]
Figure PCTKR2014005336-appb-I000002
표 3은 제 2 Hex 코드 집합에 포함된 심볼의 일 예를 나타낸다. 이 때, 제 2 Hex 코드 집합은 '00', '01', ..., '0A', '0B', ..., '20', '21', ..., '2A', '2B', ..., 'FE', 'FF'와 같은 256개의 심볼 이외에도 헤더, 테일, 연속 코드(또는 중복 코드)를 위한 'L', 'G' 등과 같은 5개의 코드를 더 포함할 수도 있다.
[표 3]
Figure PCTKR2014005336-appb-I000003
또 다른 예로, 심볼은 바이너리 코드 집합에 포함된 복수의 심볼들로부터 선택된 것일 수 있다. 이 때, 바이너리 코드 집합은 비트(bit)수에 따라 제 1 내지 제 N 바이너리 코드 집합 중 어느 하나일 수 있다. 또한, 각 바이너리 코드 집합은 비트 수에 따라 자신이 포함하는 심볼의 수를 달리할 수 있다. 표 4는 제 1 내지 제 N 바이너리 코드 집합의 일 예를 나타낸다. 표 4에 나타난 바와 같이, 1비트를 갖는 제 1 바이너리 코드 집합은 '0'과 '1'의 두 개의 심볼을 포함하고, 2비트를 갖는 제 2 바이너리 코드 집합은 '00' 내지 '11'의 네 개의 심볼을 포함하고, N비트를 갖는 제 N 바이너리 코드 집합은 '00...00' 내지 '11...11'과 같은 2N 개의 심볼을 포함할 수 있다. 본 발명의 일 실시예에 따르면, 음파 데이터 생성부(103)는 복수의 코드 집합 중 어느 하나의 코드 집합을 선택하고, 코드 집합에 대한 정보를 제어 정보 내에 코드 집합에 대한 정보를 포함시킬 수도 있다.
[표 4]
Figure PCTKR2014005336-appb-I000004
음파 데이터 생성부(103)는 제어 정보에 포함된 복수의 심볼 각각에 대응하는 주파수를 복수의 주파수로부터 선택할 수 있다. 이 때, 복수의 주파수는 미리 정해진 주파수 집합에 포함된 것들일 수 있다. 또한, 복수의 주파수는 복수의 주파수 중 최저 주파수로부터 최고 주파수까지 일정한 주파수 간격을 갖도록 배열된 것일 수 있다. 일 예로, 복수의 주파수가 16000Hz보다 크거나 같고, 24000Hz보다 작거나 같은 범위 내에서 선택되어야 하는 경우, 최저 주파수 16000Hz로부터 최고 주파수 24000Hz까지 주파수 간격 200Hz을 갖도록 배열된, '16000Hz', '16200Hz', '16400Hz',..., '23600Hz', '23800Hz', '24000Hz'를 포함할 수 있다.
주파수 간격을 결정하는 일 예를 설명하도록 한다. 음파 데이터 생성부(103)는 샘플 레이트(sample rate)와 FFT 포인트 값을 이용하여 수학식 1과 같은 방식으로 주파수 간격(또는 주파수 스텝)을 결정할 수 있다. 이 때, 샘플 레이트(sample rate)는 사운드를 레코딩할 때, 1초당 샘플링되는 횟수를 의미할 수 있다. 일 예로, 샘플 레이트(sample rate)가 1000Hz라고 하면 1초에 1000번의 주기로 샘플링되는 것을 의미할 수 있으며, 일반적으로 샘플 레이트가 높아질수록 음질이 좋아지지만 저장되는 파일의 용량은 커지게 된다. 샘플 레이트는 디폴트로 결정된 것이거나, 사용자 또는 관리자로부터 입력받은 것일 수도 있으나, 사운도 코드 자체 또는 사운드 코드와 함께 출력되는 음성/음악 데이터를 위한 샘플 레이트일 수도 있다. 또한, FFT(Fast Fourier Transform) 포인트는 FFT 수행 시 입력되는 주파수의 개수를 의미할 수 있으나, 이에 한정되지는 않는다. FFT 포인트는 디폴트로 결정된 것이거나, 사용자 또는 관리자로부터 입력받은 것일 수도 있으나, 사운도 코드 자체 또는 사운드 코드와 함께 출력되는 음성/음악 데이터를 위한 FFT 포인트일 수도 있다. 한편, 표 5는 샘플 레이트와 FFF 포인트에 따라 결정된 주파수 간격(frequency step)의 일 예를 나타낸다.
[수학식 1]
Figure PCTKR2014005336-appb-I000005
[표 5]
Figure PCTKR2014005336-appb-I000006
표 5를 참조하여 예시하면, 샘플 레이트가 '48000Hz'이고, FFT point가 '1024'인 경우, 주파수 간격은 '46.875Hz'가 될 수 있다. 이 때, 최저 주파수가 '16000Hz'인 경우, 복수의 주파수는 수학식 2에 따라 표 6과 같이 '16000Hz', '16046.88Hz', ..., '19750Hz', . . ., '39953.13Hz' (i가 511일 때의 주파수)를 포함할 수 있다. 다만, 이 때, 복수의 주파수가 비가청 주파수 대역인 16000Hz보다 크거나 같고, 24000Hz보다 작거나 같은 범위 내에서 선택되어야 하는 경우, 복수의 주파수 중 최고 주파수는 i가 170일 때의 주파수인 '23968.75Hz'가 될 수 있다.
[수학식 2]
Figure PCTKR2014005336-appb-I000007
[표 6]
Figure PCTKR2014005336-appb-I000008
음파 데이터 생성부(103)는 복수의 심볼 각각에 대응하는 주파수를 결정할 수 있다. 일 예로, 복수의 심볼이 아스키 코드(예를 들어, ASCII 코드) 집합에 포함된 복수의 심볼들로부터 선택된 것이고, 복수의 주파수가 표 6에 나열된 것과 같이 결정된 경우, 음파 데이터 생성부(103)는 복수의 심볼 각각에 대응하는 주파수를 표 7과 같이 결정할 수 있다.
[표 7]
Figure PCTKR2014005336-appb-I000009
앞서 예시된 복수의 주파수는 비가청 음파 주파수 대역(또는 비가청 주파수 대역)에 포함된 주파수들일 수 있다. 즉, 본 발명의 일 실시예에 따르면, 복수의 주파수는 비가청 음파 주파수 대역에 포함된 주파수일 수 있다. 비가청 음파 주파수 대역의 일 예는 16000 Hz 이상 24000 Hz 이하의 범위 내의 주파수 대역일 수 있다. 다만, 이에 한정되는 것은 아니다. 예를 들어, 비가청 음파 주파수 대역의 다른 예는 17000 Hz 이상 24000 Hz 이하의 범위 내의 주파수 대역일 수 있다.
본 발명의 다른 실시예에 따르면, 복수의 주파수는 가청 음파 주파수 대역(또는 가청 주파수 대역)에 포함된 주파수일 수 있다. 가청 음파 주파수 대역의 일 예는 1700Hz 이상 12000 Hz 이하의 범위 내의 주파수 대역일 수 있다. 다만, 이에 한정되는 것은 아니다. 예를 들어, 가청 음파 주파수 대역의 다른 예는 100 Hz 이상 8000 Hz 이하의 범위 내의 주파수 대역일 수 있다.
복수의 주파수가 가청 음파 주파수 대역에 포함된 주파수인 경우, 복수의 심볼 각각에 매핑되는 복수의 주파수는 표 8과 같을 수 있다. 이 때, 샘플 레이트가 48000Hz이고, FFT point가 1024인 경우, 주파수 간격은 수학식 1에 따라 46.875Hz로 결정되고, 최저 주파수는 가청 음파 주파수 대역인 1700Hz 이상 12000 Hz 이하의 범위 내에 포함된 1734.38Hz로 결정될 수 있다. 또한, 복수의 심볼은 아스키 코드의 전부 또는 일부로부터 결정될 수 있다.
[표 8]
Figure PCTKR2014005336-appb-I000010
음파 데이터 생성부(103)는 복수의 주파수 각각에 대응하는 복수의 사운드 신호를 생성할 수 있다. 예를 들어, 음파 데이터 생성부(103)는 제 1 주파수에 대응하는 제 1 사운드 신호를 생성하고, 제 2 주파수에 대응하는 제 2 사운드 신호를 생성할 수 있다. 음파 데이터 생성부(103)는 주파수를 중심(또는 기본) 주파수 또는 캐리어 주파수로 갖는 정현파 음파 신호를 사운드 신호로서 생성할 수도 있다. 예를 들어, 음파 데이터 생성부(103)는 주파수 16000 Hz를 기본 주파수로 갖는 정현파 음파 신호를 생성할 수 있다.
음파 데이터 생성부(103)는 복수의 사운드 신호를 소정 시간 간격에 따라 결합 또는 배열시킴으로써, 제어 정보에 대응하는 음파 데이터를 생성한다. 이 때, 시간 간격에 따라 배열된 사운드 신호 각각은 사운드 코드의 각 프레임으로 구성될 수 있다.
사운드 코드는 헤더, 바디 및 테일을 포함할 수 있다. 이 때, 바디에는 복수의 사운드 신호가 포함되고, 헤더에는 인코딩 장치의 식별 정보, 디코딩 장치의 식별 정보와 같은 부가 정보에 대응하는 부가 사운드 신호(또는 부가 사운드 코드)가 포함될 수 있으며, 테일에는 CRC(Cyclic Redundancy Check)와 같은 오류 정정 코드에 대응하는 오류정정 사운드 신호(또는 오류정정 사운드 코드)가 포함될 수 있다.
본 발명의 일 실시예에 따르면, 음파 데이터 생성부(103)는 음성에 대응하는 가청 음파 주파수 대역과 사운드 코드에 대응하는 비가청 음파 주파수 대역을 구분하고, 구분한 주파수 대역 별로 음성 데이터 및 음파 데이터를 생성하여, 출력할 수 있다. 가청 음파 주파수 대역은 1700Hz 이상 12000 Hz 이하의 범위 내의 주파수 대역이고, 비가청 음파 주파수 대역은 16000 Hz 이상 24000 Hz 이하의 범위 내의 주파수 대역일 수 있다.
출력부(104)는 음파 발생 장치를 통해 생성한 음파 데이터에 대응하는 음파를 출력할 수 있다. 출력부(104)는 음파 데이터 생성부(103)를 통해 생성한 음파 데이터에 대응하는 음파 및 기 저장된 음악과 함성된 음악 데이터에 대응하는 음파를 출력할 수 있다. 출력부(104)는 비가청 영역의 음파 데이터에 대응하는 음파를 출력할 수도 있다. 예를 들면, 출력부(104)는 모바일 디바이스(10)의 음파 발생 장치인 스피커를 통해 음파를 출력할 수 있다. 스피커를 통해 출력되는 음파는 사용자에게는 들리지 않는 비가청 영역의 음파일 수 있고, 무선 접속 장치 정보가 미리 정해진 주파수 대역에 매핑된 형태의 음파일 수도 있다. 한편, 음파는 모바일 디바이스(10)에 기 저장된 음악 데이터에 대응하는 형태일 수도 있다.
출력부(104)를 통해 출력되는 음파는 외부 디바이스(20)의 음파 수신 장치로 입력되고, 외부 디바이스(20)는 음파를 이용하여 제어 정보를 획득할 수 있다. 그리고, 외부 디바이스(20)는 획득한 제어 정보에 기초하여 제어 정보에 대응하는 동작을 수행할 수 있다. 예를 들면, 외부 디바이스(20)는 출력부를 통해 출력되는 음파를 음파 수신 장치인 마이크를 통해 입력받고, 입력된 음파를 디코딩하여 외부 디바이스(20)의 아이디 및 제어 정보를 획득하고, 획득한 외부 디바이스(20)의 아이디를 통해 제어 정보의 대상이 되는 디바이스임을 확인하고, 제어 정보에 대응하는 동작을 수행할 수 있다.
도면에는 표시되지 않았으나 모바일 디바이스(10)는 음파 수신 장치를 통해 외부 디바이스(20)로부터 발생한 음파를 입력받는 입력부(미도시)를 더 포함할 수 있다. 이 때, 음파는 외부 디바이스(20)의 현재 동작 상태 및 고장 진단 정보 등의 상태 정보에 대응하는 것일 수 있다. 앞서 설명된 바와 같이, 제어 정보 결정부(102)는 입력부(미도시)를 통해 입력되는 음파에 기초하여 제어 정보를 생성할 수 있다. 이와 같이 본 발명의 일 실시예에 따르면, 외부 디바이스(20)가 먼저 자신의 상태를 알리는 음파를 출력하면, 모바일 디바이스(10)는 이에 대한 응답으로서 제어 정보에 대응하는 음파를 출력할 수 있다.
제어 정보 결정부(102)는 외부 디바이스(20)로부터 발생한 음파를 디코딩 또는 해석하여 상태 정보를 생성할 수 있다. 이와 같은 제어 정보 결정부(102)의 동작과 관련하여 설명되지 아니한 내용은 이하 도 4의 제어 정보 획득부(202)의 동작에 대해서 설명한 내용과 동일 또는 매우 유사하므로, 이하 도 4의 제어 정보 획득부(202)의 동작에 대해서 설명한 내용을 그대로 준용한다. 다만, 준용 시, 제어 정보 획득부(202)에 대한 설명 중 '제어 정보'는 '상태 정보'라고 간주한다.
본 발명의 다른 실시예에 따르면, 모바일 디바이스(20)가 먼저 제어 정보를 출력하고, 외부 디바이스(10)는 이에 대한 응답으로서 자신의 상태 정보에 대응하는 음파를 출력할 수도 있다.
본 발명의 또 다른 실시예에 따르면, 모바일 디바이스(10)는 외부 디바이스(20)와 무선 통신 규격에 대응하는 무선 신호를 송수신하는 통신부(105)를 더 포함할 수 있다. 이 경우, 무선 통신 규격은 와이파이(Wi-Fi), NFC(Near Field Communication), 블루투스(Bluetooth), 지그비(Zigbee), 및 RFID(Radio Frequency Identification) 중 어느 하나일 수 있으나, 이에 한정되는 것은 아니다.
통신부(105)는 예를 들어, NFC 태그를 활성화하고, 활성화된 NFC 태그를 외부 디바이스(20)에 가까이 접근시킴으로써, 결정된 제어 정보를 외부 디바이스(20)에 전송할 수 있다. 이 때, 외부 디바이스(20)는 NFC 태그를 통해 전송된 제어 정보에 기초하여 제어 정보에 대응하는 동작을 수행할 수 있다,
다른 예에서, 통신부(105)는 블루투스를 통해 외부 디바이스(20)와 페어링(Pairing)함으로써, 제어 정보를 외부 디바이스(20)에 전송할 수도 있다. 외부 디바이스(20)는 블루투스를 통해 전송된 제어 정보에 기초하여 제어 정보에 대응하는 동작을 수행할 수 있다.
한편, 통신부(105)는 출력부(104)를 통해 출력한 음파에 대한 응답을 포함하는 무선 신호를 수신하는 경우, 제어 정보 결정부(102)는 응답에 대응하는 제어 정보를 생성할 수도 있다. 일 예로, 제어 정보 결정부(102)는 통신부(105)를 통해 외부 디바이스(20)로부터 수신한 외부 디바이스(20)의 현재 동작 상태 정보에 기초하여, 해당 디바이스의 동작을 제어하기 위한 제어 정보를 결정할 수 있다.
제어 정보 결정부(102)는 제어 정보와 관련된 부가 정보를 더 결정하고, 통신부(105)를 통해 결정된 부가 정보에 대응하는 무선 신호를 외부 디바이스(20)로 전송할 수도 있다. 부가 정보는 냉장고의 동작 온도를 설정하거나, 에어컨의 동작 시간을 설정하는 등의 외부 디바이스(20)의 동작을 좀 더 상세하게 제어하는 정보가 될 수 있다.
제어 정보 결정부(102)는 제 1 사용자 인터페이스를 통해 입력된 제 1 입력에 기초하여 제어 정보를 결정하고, 제 2 사용자 인터페이스를 통해 입력된 제 2 입력에 기초하여 부가 정보를 결정할 수 있다. 다시 말하면, 제어 정보 결정부(102)는 서로 다른 입력을 수신하여 제 1 입력을 제어 정보로 결정하고, 제 2 입력을 부가 정보로 결정할 수 있다. 예를 들면, 터치 패널을 통해 드래그된 입력에 기초하여 제어 정보를 결정하고, 사용자로부터 입력된 음성에 기초하여 부가 정보를 결정할 수 있다.
제어 정보 결정부(102)를 통해 결정된 제어 정보는 음파 데이터로 생성되어 음파 발생 장치를 통해 음파의 형태로 출력되어 외부 디바이스(20)에 전송되고, 결정된 부가 정보는 무선 신호를 통해 외부 디바이스(20)에 전송될 수 있다.
표시부(105)는 외부 디바이스(20)의 아이디, 모바일 디바이스(10)의 아이디, 외부 디바이스(20)의 현재 상태 및 외부 디바이스(20)의 고장 정보 중 하나 이상을 모바일 디바이스(10)의 디스플레이에 표시할 수 있다. 표시부(105)를 통해 표시되는 정보는 외부 디바이스(20)로부터 음파로 출력되어 입력부(미도시)에서 수신된 것 일 수 있고, 무선 신호로 전송되어 통신부(105)에서 수신된 것일 수도 있다.
도 3은 본 발명의 일 실시예에 따른 모바일 디바이스로부터 제어 정보가 전송되는 과정을 나타내는 도면이다. 도 3을 참조하면, 모바일 디바이스(10)는 사용자 인터페이스를 통해 사용자의 입력을 수신(S301)하고, 수신된 입력에 기초하여 제어 정보를 결정(S302)한다. 모바일 디바이스(10)는 제어의 대상이 되는 외부 디바이스(20)의 아이디 및 결정된 제어 정보에 기초하여 음파 데이터를 생성(S303)하고, 스피커를 통해 생성된 음파를 출력(S304)한다. 출력되는 음파는 가청 주파수 영역의 음파 또는 비가청 주파수 영역의 음파일 수 있다. 출력되는 음파는 모바일 디바이스(10)에 기 저장된 소정 음악 또는 음성과 결합된 형태일 수도 있다.
외부 디바이스(20)는 음파 수신 장치를 통해 출력되는 음파를 수신하여 이를 분석(S305)하여 외부 디바이스(20)의 아이디 및 제어 정보를 획득하고, 획득된 제어 정보에 기초하여 이에 대응하는 동작을 수행(S306)할 수 있다. 외부 디바이스(20)는 외부 디바이스(20)의 아이디가 자신이 아닌 경우에는 동작을 수행하지 않는다.
외부 디바이스(20)는 음파 수신 장치를 통해 출력되는 음파를 수신하고, 소정 시간 간격에 따라 음파를 복수의 프레임으로 분할하고, 복수의 프레임 각각에 대한 주파수 분석을 통해 복수의 프레임 각각에 대응하는 주파수를 식별하고, 식별한 주파수에 대응하는 복수의 심볼에 기초하여 음파에 대응하는 제어 정보를 생성할 수 있다. 이 때, 주파수 분석을 위해, 외부 디바이스(20)는 고속 퓨리에 변환을 수행하여 시간 신호를 주파수 신호로 변환하여야 한다. 이상적인 퓨리에 변환은 무한 길이의 샘플에 취해짐으로써 시간 축의 데이터를 주파수 축의 데이터로 변환한다. 하지만 실제의 구현에 있어 무한 길이의 샘플을 취해 처리하는 것은 불가능하므로 프레임 단위로 주파수 분석을 시도한다. 이때 스펙트럼 누출(spectrum leakage)이 발생하여 의도치 않은 주파수 성분이 함께 검출될 수 있다. 또한, 분석 프레임 내에 음파의 충분한 주기수가 보장되지 않거나 분석 프레임의 길이와 음파의 주기성이 정확히 맞아 떨어지지 않으면 관측한 스펙트럼의 크기가 감쇄하는 현상이 발생할 수 있다. 이런 감쇄 현상은 스펙트럼 누출과 맞물려 실제 신호성분(또는 main lobe)이 주변 신호 성분(또는 side lobe)보다 작아지는 현상을 초래하여 인식률을 저하시킬 수 있다.
도 4a를 통해 예시하면, 도면부호 401의 신호는 음파의 주기성이 프레임 길이(도면부호 403 또는 도면부호 404)와 일치하여 상대적으로 실제 신호 성분(또는 main lobe)이 정확하게 검출될 수 있는 반면, 도면부호 402의 신호는 음파의 주기성이 프레임 길이와 일치하지 않아 스펙트럼 누출에 의해 실제 신호 성분(또는 main lobe)의 크기가 상대적으로 주변에 주변 신호 성분(또는 side lobe)에 비해 감쇄될 수 있다.. 이와 같은 주변 신호 성분(또는 side lobe)은 실제 신호 성분(또는 main lobe)에 간섭을 주어 실제 신호 성분(또는 main lobe)에 대한 인식률을 저하시킬 수 있다.
이에 본 발명의 일 실시예에 따르면, 음파 데이터 생성부(103)는 복수의 심볼에 복수의 주파수를 매핑시킬 때, 복수의 주파수 각각이 상하로 여백 주파수를 갖도록 할 수 있다. 예를 들어, 음파 데이터 생성부(103)는 복수의 주파수를 표 6과 같이 결정한 이후, 복수의 심볼 중 어느 하나의 심볼의 주파수를 제 1 주파수로 결정하면, 복수의 주파수 중 제 1 주파수의 상하에 있는 주파수들은 여백 주파수로 선정할 수 있다. 또한, 음파 데이터 생성부(103)는 여백 주파수는 복수의 심볼과의 매핑을 위해 사용하지 않을 수 있다. 결과적으로, 복수의 주파수는 심볼과 매핑되는 주파수(또는 매핑 주파수), 심볼과 매핑되지 않는 주파수(또는 여백 주파수), 심볼과 매핑되는 주파수, 심볼과 매핑되는 주파수(또는 매핑 주파수)의 순서로 배열될 수 있다. 표 6을 통해 다르게 예시하면, i가 10일 때의 주파수 16468.75Hz가 제 1 심볼과 매핑되면, i가 9일 때의 주파수 16421.88Hz와 i가 11일 때의 주파수 16515.63Hz 주파수는 모두 여백 주파수가 되며, 제 2 심볼과 매핑되는 주파수는 i가 8일 때의 주파수 16375Hz 또는 i가 12일 때의 주파수 16562.5Hz가 될 수 있다. 이와 같은 맥락에서 제 3 심볼과 매핑되는 주파수는 i가 6일 때의 주파수 16281.25Hz 또는 i일 때의 14인 주파수 16656.25Hz가 될 수 있다.
도 4b를 통해 음파 데이터가 생성되는 것에 대해 예시하면, 음파 데이터 생성부(103)는 N개의 심볼로 이루어진 제어 정보 'AA...A3'에 포함된 각각의 심볼의 주파수를 결정하고, 결정한 주파수 각각에 대응하는 신호(또는 사운드 신호, 부분 데이터)를 생성할 수 있다. 구체적으로, 음파 데이터 생성부(103)는 제어 정보의 첫 번째 심볼 'A'의 주파수 '16700Hz'에 대응하는 신호(405)를 생성하고, 제어 정보의 두 번째 심볼 'A'의 주파수 '16700Hz'에 대응하는 신호(406)를 생성하고, 제어 정보의 N-1번째 심볼 'A'의 주파수 '16700Hz'에 대응하는 신호(407)를 생성하고, 제어 정보의 N번째 심볼 '3'의 주파수 '16850Hz'에 대응하는 신호(408)를 생성할 수 있다. 앞서 설명된 바와 같이, 사운드 코드(또는 음파 데이터)는 이렇게 생성된 신호(또는 사운드 신호, 부분 데이터)들이 시간 간격에 따라 결합됨으로써, 생성될 수 있다. 이 때, 신호(또는 사운드 신호, 부분 데이터) 및 사운드 코드(또는 음파 데이터)는 주파수 신호일 수 있다. 다만, 신호(또는 사운드 신호, 부분 데이터) 및 사운드 코드(또는 음파 데이터)는 주파수 신호로부터 변환된 시간 신호(예를 들어, 특정 주파수를 중심 주파수로 갖는 정현파 신호)일 수도 있으며, 이 경우 신호(또는 사운드 신호, 부분 데이터) 및 사운드 코드(또는 음파 데이터)는 역 퓨리에 변환을 통해 주파수 신호로부터 변환된 시간 신호로 변환될 수 있다.
본 발명의 일 실시예에 따르면, 음파 데이터 생성부(103)는 제 1 심볼에 대응하는 복수의 주파수들(예를 들어, 제 1 주파수 및 제 2 주파수)을 결정하고, 복수의 주파수들에 대응하는 제 1 신호(또는 제 1 사운드 신호, 제 1 부분 데이터)를 생성할 수 있다. 이와 마찬가지로, 음파 데이터 생성부(103)는 제 2 심볼에 대응하는 복수의 주파수들(예를 들어, 제 3 주파수 및 제 4 주파수)을 결정하고, 복수의 주파수들에 대응하는 제 2 신호를 생성할 수 있다. 이와 같이, 음파 데이터 생성부(103)는 하나의 심볼 당 2개 이상의 주파수를 할당 또는 매핑하고, 2개 이상의 주파수에 기초하여 개별 신호를 생성할 수 있다. 1개의 정보당 2개의 주파수를 할당하는 것은 기존의 1개의 정보당 1개의 주파수를 할당하는 것보다 다양한 정보를 표현하는 것을 가능하게 한다. 또한, 본 명세서 내에서 하나의 주파수에 대응하여 하나의 신호(또는 사운드 신호, 부분 데이터) 또는 사운드 코드(또는 음파 데이터)를 생성하는 것은 퓨어 톤 인코딩 기법이라고 표현되고, 둘 이상의 주파수에 대응하여 하나의 신호 또는 사운드 코드를 생성하는 것은 멀티 톤 인코딩 기법이라고 표현될 수도 있다.
도 4c를 통해 음파 데이터가 생성되는 것에 대해 예시하면, 음파 데이터 생성부(103)는 N개의 심볼로 이루어진 제어 정보 'Az...A3'에 포함된 각각의 심볼의 복수의 주파수를 결정하고, 결정한 복수의 주파수에 대응하는 신호를 생성할 수 있다. 일 예로, 음파 데이터 생성부(103)는 제 1 심볼인 'A'에 제 1 주파수 '16700Hz'와 제 2 주파수인 '17000Hz' 모두를 할당 또는 매핑하고, 제 1 주파수를 기본 주파수로 갖는 제 1 서브 신호(409)를 생성하고, 제 2 주파수를 기본 주파수로 갖는 제 2 서브 신호(410)를 생성하고, 생성한 제 1 서브 신호(409)와 제 2 서브 신호(410)에 기초하여 제 1 신호를 생성할 수 있다. 음파 데이터 생성부(103)는 제 1 심볼인 'z'에 제 1 주파수 '16700Hz'와 제 3 주파수인 '17000Hz' 모두를 할당 또는 매핑하고, 제 1 주파수를 기본 주파수로 갖는 제 3 서브 신호(411)를 생성하고, 제 23주파수를 기본 주파수로 갖는 제 4 서브 신호(412)를 생성하고, 생성한 제 3 서브 신호(411)와 제 2 서브 신호(412)에 기초하여 제 2 신호를 생성할 수 있다.
외부 디바이스(20)가 마이크를 통해 음파를 수신하게 되면 주변 공간의 음향학적 특성으로 인해 에코가 발생하여 음파의 디코딩이 어려워질 수 있다. 즉, 이전 출력되었던 음파가 이후 출력되는 음파 영역까지 침범하여 주파수 검출에 혼란을 줄 수 있다. 예를 들어, 심볼 'A'가 주파수 '10000Hz', 심볼 'B'가 주파수 '20000Hz', 심볼 'C'가 주파수 '30000Hz', 심볼 'D'가 주파수 '40000Hz' 각각에 매핑되어 있는 경우, 모바일 디바이스(10)에 의하여 제어 정보 'ABCD'에 대응하는 음파가 출력되는 경우, 외부 디바이스(20)는 에코 성분으로 인하여 잘못된 디코딩 결과인 'ABBD' 또는 'AACD'를 인식할 수 있다.
이에 본 발명의 일 실시예에 따르면, 음파 데이터 생성부(103)는 동일 한 심볼이 연속해서 나온다는 것을 알리기 위한 연속 심볼(또는 중복 심볼)을 사용할 수 있다. 즉, 음파 데이터 생성부(103)는 "이전 코드와 현재 코드는 같을 수 없다. " 라는 규칙을 정하고, 실제 제어 정보가 'AACD' 같이 중복되는 경우, 첫 번째 심볼 'A'와 중복되는 두 번째 심볼 'A'를 대신하여 연속 심볼(또는 중복 심볼)을 선택할 수 있다. 예를 들어, 음파 데이터 생성부(103)는 심볼 'A'가 주파수 '10000Hz', 심볼 'B'가 주파수 '20000Hz', 심볼 'C'가 주파수 '30000Hz', 심볼 'D'가 주파수 '40000Hz' 각각에 매핑되어 있고, 연속 심볼(또는 중복 심볼)을 '$'로 결정한 경우, 'AACD'를 'A$CD'로 변경하고, 'A$CD'에 대응하는 주파수들을 결정하고, 'A$CD'에 대응하는 음파 데이터를 생성할 수 있다.
본 발명의 일 실시예에 따르면, 음파 데이터 생성부(103)는 음파 데이터 생성부(103)는 음파 데이터(또는 사운드 코드)에 대한 펄스 성형(pulse shaping)을 수행하여 성형된 음파 데이터(또는 사운드 코드)를 생성할 수 있다. 펄스 성형(pulse shaping)은 신호 처리 프로세스의 일 예이며, 펄스 성형(pulse shaping)은 음파 데이터(또는 사운드 코드)의 스펙트럼 누출(spectral leakage)을 최소화하고, 음파 데이터(또는 사운드 코드)의 신호 사이의 간섭 또는 음파 데이터(또는 사운드 코드)의 부호 간 간섭(Inter-symbol interference)을 제거 또는 최소화할 수 있다. 또한, 펄스 성형(pulse shaping)은 가청 영역의 소리를 컨트롤 하기에 적절하다. 이와 같은 펄스 성형에 이용되는 윈도우는 다양하며, 일 예로서, 해닝 윈도우(Hanning window) 또는 터키 윈도우(Tukey window)를 포함한다.
본 발명의 일 실시예에 따르면, 음파 데이터 생성부(103)는 심볼에 대응하는 신호를 적어도 둘 이상 연속하여 생성함으로써, 심볼에 대응하는 신호 그룹을 생성할 수 있다. 이 때, 음파 데이터 생성부(103)는 심볼에 대응하며 제 1 시간을 갖는 신호를 적어도 둘 이상 연속하여(예를 들어, 5회 연속하여) 생성함으로써, 심볼에 대응하며 제 2 시간을 갖는 신호 그룹을 생성할 수 있다. 또한, 제 2 시간은 제 1 시간보다 클 수 있다. 일 예로, 제 2 시간이 50 ms이면, 제 1 시간은 제 2 시간보다 작은 10 ms일 수 있다. 또한, 이 경우, 신호 그룹은 5개의 신호를 포함할 수 있다. 또한 본 발명의 일 실시예에 따르면, 신호는 서브 신호라고 표현되고, 신호 그룹은 복수의 서브 신호를 포함하는 신호라고 표현될 수도 있다.
도 4d를 통해 예시하면, 음파 데이터 생성부(103)는 제 1 심볼에 대응하는 주파수 '16700Hz'를 결정하고, 주파수 '16700Hz'에 대응하며 10 ms의 시간을 갖는 신호 5개를 연속하여 생성함으로써, 주파수 '16700Hz'에 대응하며 50 ms의 시간에 대응하는 신호 그룹(413)을 생성할 수 있다. 유사하게, 음파 데이터 생성부(103)는 제 2 심볼에 대응하는 주파수 '16800Hz'를 결정하고, 주파수 '16800Hz'에 대응하며 10 ms의 시간을 갖는 신호 5개를 연속하여 생성함으로써, 주파수 '16700Hz'에 대응하며 50 ms의 시간에 대응하는 신호 그룹(414)을 생성할 수 있다. 본 발명의 일 실시예에 따라 다르게 표현하면, 음파 데이터 생성부(103)는 제 2 심볼에 대응하는 주파수 '16800Hz'를 결정하고, 주파수 '16800Hz'에 대응하며 10 ms의 시간을 갖는 서브 신호 5개를 연속하여 생성함으로써, 주파수 '16700Hz'에 대응하며 50 ms의 시간에 대응하는 신호(414)를 생성할 수도 있다. 또한, 앞서 언급된 제 1 시간은 프레임을 구분하는 단위 시간일 수 있다.
도 5는 음파를 디코딩하는 과정의 일 예를 설명하기 위한 동작 흐름도이다. 도 5를 통해 예시하면, 외부 디바이스(20)(또는 외부 디바이스(20)의 내부 모듈)는 모바일 디바이스(10)로부터 출력된 음파가 입력되면(S501), 음파를 복수의 프레임으로 분할하고(S502), 분할된 프레임에 대한 고속 퓨리에 변환을 수행하고(S503), 변환 결과에 기초하여 디코딩 프로세스를 수행하여(S504), 결과를 생성할 수 있다(S505). 이 때, 결과는 제어 정보일 수 있다.
도 6은 음파를 디코딩하는 과정의 다른 예를 설명하기 위한 동작 흐름도이다. 도 6을 참조하면, 외부 디바이스(20)(또는 외부 디바이스(20)의 내부 모듈)는 도 5의 단계 S502와 단계 S503 사이에 단계 S601 내지 S603을 더 수행할 수 있다. 단계 S601에서 외부 디바이스(20)는 입력된 음파 중 입력 이득이 상대적으로 작은 비가청 주파수 대역의 신호를 추출하기 위해, 가청 주파수 대역을 스톱 밴드(Stop band)로, 비가청 주파수 대역을 패스 밴드(Pass band)로 설정한 하이 패스 필터(High pass filter)를 사용할 수 있다. 하이 패스 필터를 통과한 음파는 비가청 주파수 대역의 성분만을 갖게 될 수 있다. 또한, 단계 S601에서 외부 디바이스(20)는 필터를 통과한 신호를 표현 가능한 양자화 범위 내에서 증폭해 줄 수 있다.
S602에서 외부 디바이스(20)는 정규화(또는 진폭 정규화)를 수행할 수 있다. 이를 위해, 외부 디바이스(20)는 입력된 음파의 프레임의 가장 큰 값과 미리 정해진 기준 값과의 비율을 이용하여 가중치(weight) 값을 실시간으로 변경할 수 있다. 이 때, 기준 값의 일 예는 양자화 최대 진폭의 절반 값이다. 기준 값으로서 양자화 최대 크기의 절반 값을 사용하는 것은 비가청 영역과 가청 영역을 모두 고려해 주어야 하기 때문이다. 음파가 16비트로 양자화 되는 경우, 표현 가능한 범위는 -215 내지 (215 - 1)이며, 외부 디바이스(20)는 S503에서의 FFT scaling에 대비하여 표현 가능한 양자화 범위 내에서 신호의 크기를 최대로 증폭할 수 있다.
S603에서 외부 디바이스(20)는 필터 출력된 음파 소스와 원 음파 소스를 더해줄 수 있다. 이를 통해, 가청 대역의 주파수 성분과 비가청 대역의 주파수 성분이 동일한 비율의 크기로 구성될 수 있다. 원 음파 소스를 더해주는 이유는 필터를 통과한 신호에는 가청 대역의 주파수 성분이 거의 존재하지 않으므로 가청 대역을 디코딩하는데 어려움이 있기 때문이다. 원 음파 소스를 특정 비율로 더해줌으로써 가청 영역과 비가청 영역의 디코딩이 모두 가능해질 수 있다.
단계 S601 내지 단계 S603이 수행됨으로써, 외부 디바이스(20)는 도 5의 단계만을 수행할 때 발생할 수 있는 고정소수점 FFT 알고리즘의 scaling의 단점을 보완할 수 있다. 시시각각 가변적으로 입력되는 신호의 크기와 주파수 구성은 FFT scaling 과정에서 심각한 오차를 유도하고, 그로 인해 일관성 있는 인식률을 보장하기 힘들어진다. 단순히 입력 신호의 크기를 증폭하는 것은 해결점이 될 수 없는데, 그 이유는 가청 영역의 입력 신호가 비가청 영역의 입력 신호보다 대부분 큰 값을 가지므로 비가청 영역의 주파수 성분이 충분히 증폭되기도 전에 양자화 범위를 넘어 버리는 오버플로우(overflow)가 일어나 증폭으로서의 의미를 잃어버리기 때문이다.
외부 디바이스(20)는 필터를 사용하여 비가청 영역의 신호와 가청 영역의 신호를 따로 추출하여 각 영역에서 가능한 한 최대의 증폭을 하고 두 음원을 더해줌으로써 FFT의 scaling에 대한 최대의 유효 비트를 확보하여, 도 5의 단계들만을 수행하는 것과 비교하여, 연산량의 큰 증가 없이 인식률을 개선할 수 있다.
도 7a 내지 7b는 음파를 디코딩하는 과정의 일 예를 설명하기 위한 도면이다. 외부 디바이스(20)는 디코딩 프로세스(또는 디코딩 알고리즘)를 수행하기 앞서, 음파의 대응하는 복수의 프레임을 통해 헤더 심볼 또는 테일 심볼을 검출할 수 있다.
도 7a를 통해 예시하면, 외부 디바이스(20)는 제 1 헤더에 대응하는 심볼 그룹(71) 중 앞선 심볼 2개 또는 3개를 인식하면, 제 1 헤더 심볼이 인식되었다고 판단할 수 있다. 또한, 외부 디바이스(20)는 연속 2개 또는 3개의 프레임이 스펙트럼 피크치의 주파수 성분이 동일하면 제 1 헤더 심볼이 인식되었다고 판단할 수 있다. 이 때, 외부 디바이스(20)는 연속 2개 또는 3개의 프레임이 스펙트럼 피크치의 주파수 성분이 동일하다는 것을 판단하기 위해, 제 1 헤더 심볼의 주파수 성분을 미리 알고 있을 수 있다. 또한, 외부 디바이스(20)는 제 2 헤더에 대응하는 심볼 그룹(72) 중 앞선 심볼 2개 또는 3개를 인식하면, 제 2 헤더 심볼이 인식되었다고 판단할 수 있다. 또한, 외부 디바이스(20)는 연속 2개 또는 3개의 프레임이 스펙트럼 피크치의 주파수 성분이 동일하면 제 2 헤더 심볼이 인식되었다고 판단할 수 있다.
마찬가지로, 외부 디바이스(20)는 테일에 대응하는 심볼 그룹 중 앞선 심볼 2개 또는 3개를 인식하면, 테일 심볼이 인식되었다고 판단할 수 있다. 또한, 외부 디바이스(20)는 연속 2개 또는 3개의 프레임이 스펙트럼 피크치의 주파수 성분이 동일하면 테일 심볼이 인식되었다고 판단할 수 있다.
외부 디바이스(20)는 디코딩 프로세스(또는 디코딩 알고리즘)를 수행할 수 있다. 먼저, 외부 디바이스(20)는 헤더가 검출되면 실제 데이터가 시작되는 시간을 추측하여 저장할 수 있다. 도 7a를 통해 예시하면, 외부 디바이스(20)는 제 1 헤더 심볼 그룹(또는 제 1 헤더 심볼들)이 검출되고, 제 2 헤더 심볼 그룹(또는 제 2 헤더 심볼들)이 검출되면, 제어 정보에 대응하는 데이터(또는 바디)가 시작되는 시간이 대략 제 2 헤더 심볼이 인식되고 20 ms 이후라고 예측할 수 있다.
외부 디바이스(20)는 데이터(또는 바디)가 시작하는 시간이 되면, 테일(또는 테일 그룹, 테일 심볼)이 검출될 때까지 미리 정해진 프레임 수만큼 분할하여 순서쌍으로 그룹화하여 저장할 수 있다. 도 7b를 통해 예시하면, 외부 디바이스(20)는 심볼 그룹(74)에 포함된 5개의 심볼 각각을 코드 그룹에 배열하고, 심볼 그룹(75)에 포함된 5개의 심볼 각각을 코드 그룹에 배열하고, 이후 심볼 그룹(76), 및 심볼 그룹(77) 등도 동일하게 수행하고, 마지막으로 체크섬(checksum) 심볼 그룹(78)에 포함된 5개의 심볼 각각을 코드 그룹에 배열할 수 있다.
이후, 외부 디바이스(20)는 각 코드 그룹에 대하여 연속 심볼(또는 중복 심볼)이 존재하는지 판단하여, 존재한다면 원본 심볼로 복원하고, 각 코드 그룹에서 체크섬이 맞는지를 확인하여, 체크섬이 맞는 코드 그룹을 선별하고, 선별된 코드 그룹 중 누적 스펙트럼 에너지가 가장 큰 것을 최종 코드 그룹으로 선정할 수 있다. 외부 디바이스(20)는 최종 선정된 코드 그룹 내의 심볼들을 통해 제어 정보를 확인 또는 생성할 수 있다.
도 8은 음파를 디코딩하는 과정의 또 다른 예를 설명하기 위한 흐름도이다. 도 8을 통해 예시하면, 외부 디바이스(20)(또는 외부 디바이스(20)의 내부 모듈)는 입력된 음파가 녹음이 완료되었는지 여부를 판단하여(S801), 녹임이 완료되었다면 음파를 복수의 프레임으로 분할하고(S802), 분할된 복수의 프레임에 대한 필터링을 수행하고(S803), 필터링된 결과에 기초하여 FFT를 수행하고(S804), FFT 결과에 대한 스펙트럼 분석을 수행하고(S805), 스펙트럼 분석 결과에 기초하여 헤더 및 테일을 검출할 수 있다(S806). 도 8을 참조하면, 외부 디바이스(20)는 헤더가 검출되었는지 판단하여(S807) 헤더가 검출된 경우 테일이 검출되었는지 판단하고(S808), 테일이 검출되지 않은 경우, 프레임 심볼 그룹핑을 수행하여(S809), 코드 그룹에 대한 심볼 데이터를 생성하다가(S810), 테일이 검출되면 심볼 데이터를 기반으로 에코 심볼에 대한 복원을 수행하고(S811), 복원 결과 복수의 코드 그룹 각각에 대해 체크섬을 수행하고, 체크섬이 맞는 코드 그룹을 선별하고, 선별된 코드 그룹 중 누적 스펙트럼 에너지가 가장 큰 것을 최종 코드 그룹으로 선정하고(S812), 선정된 최종 코드 그룹을 기반으로 결과(예를 들어, 제어 정보)를 생성할 수 있다(S813).
도 9는 본 발명의 일 실시예에 따른 외부 디바이스의 구성도이다. 도 9를 참조하면, 외부 디바이스(20)는 음파 수신부(201), 제어 정보 획득부(202), 동작 수행부(203) 를 포함한다. 다만, 도 9에 도시된 외부 디바이스(20)의 구성이 앞서 설명된 것들로 한정되는 것은 아니다.
음파 수신부(201)는 음파 수신 장치를 통해 모바일 디바이스(10)로부터 출력된 음파를 수신한다. 일 예로, 음파 수신부(201)는 마이크 장치를 통해 모바일 디바이스(10)로부터 출력되는 음파를 수신할 수 있다. 마이크를 통해 수신되는 음파는 비가청 영역의 음파 및 가청 영역의 음파일 수 있고, 음악 또는 음성과 함성된 음파일 수도 있다.
제어 정보 획득부(202)는 음파를 이용하여 외부 디바이스(20)의 아이디 및 제어 정보를 획득한다. 제어 정보 획득부(202)는 음파 수신 장치를 통해 입력된 음파를 특정 프레임으로 분할하여 주파수 도메인으로 변환하고, 주파수 분석을 통해 가청 또는 비가청의 전 주파수 대역을 분석하여 음파에 삽입된 코드, 정보 등을 해석하고, 음파 데이터의 인코딩 시 수행했던 오류 정정 알고리즘을 통해 오류를 확인 및 수정하는 방식으로 음파에 포함된 제어 정보를 획득할 수 있다. 이 때, 제어 정보는 제어 명령일 수 있다.
제어 정보 획득부(202)는 소정 시간 간격에 따라 음파를 복수의 프레임으로 분할하고, 복수의 프레임 각각에 대한 주파수 분석을 통해 복수의 프레임 각각에 대응하는 주파수를 식별하고, 식별한 주파수에 대응하는 복수의 부분 정보에 기초하여 음파에 대응하는 제어 정보를 생성할 수 있다.
제어 정보 획득부(202)는 소정 시간 간격에 따라 음파를 복수의 프레임으로 분할할 수 있다. 예를 들어, 제어 정보 획득부(202)는 10 ms의 시간 간격에 따라 음파를 복수의 프레임으로 분할한다. 이 때, 음파가 50 ms초간 지속되는 음파인 경우, 음파는 5개의 프레임으로 분할될 수 있다.
제어 정보 획득부(202)는 복수의 프레임 각각에 대한 주파수 분석을 통해 복수의 프레임 각각에 대응하는 주파수를 식별할 수 있다. 이 때, 복수의 프레임 각각은 소정 주파수의 사운드 신호가 포함되며, 복수의 프레임 각각에 대응하는 주파수는 사운드 신호의 주파수를 의미할 수 있다. 일반적으로, 상기 복수의 주파수는 16000 Hz 이상 24000 Hz 이하의 범위 내에서 선택될 수 있다. 또한, 복수의 주파수간의 간격은 50Hz, 100Hz, 200 Hz 과 다양하게 결정될 수 있다. 또한, 제어 정보 획득부(202)는 복수의 프레임 각각에 대한 주파수의 피크를 분석함으로써, 주파수를 식별할 수 있다.
제어 정보 획득부(202)는 예를 들어, 복수의 프레임 중 제 1 프레임에 포함된 사운드 신호의 주파수인 16000 Hz를 식별하고, 제 2 프레임에 포함된 사운드 신호의 주파수인 17000 Hz를 식별할 수 있다.
제어 정보 획득부(202)는 주파수 분석을 통해 주파수를 식별할 수 있다. 이를 위해, 제어 정보 획득부(202)는 아날로그 사운드 코드, 복수의 프레임 또는 복수의 프레임 각각의 사운드 신호에 대한 주파수 변환 기법 및 역 주파수 변환 기법을 활용하여, 주파수를 식별할 수 있다. 주파수 변환 기법의 일 예는 FFT(Fast Fourier Transform)이고, 역 주파수 변환 기법의 일 예는 IFFT(Inverse Fast Fourier Transform)이다.
제어 정보 획득부(202)는 식별한 주파수 각각에 대응하는 복수의 부분 정보에 기초하여 음파에 대응하는 제어 정보를 생성할 수 있다. 제어 정보 획득부(202)는 예를 들어, 사운드 코드가 3개의 프레임으로 구성되고, 제 1 프레임의 주파수가 15000 Hz이고, 제 2 프레임의 주파수가 15200 Hz이고, 제 3 프레임의 주파수가 17000 Hz인 경우, 15000 Hz에 대응하는 부분 정보 '0', 15200 Hz에 대응하는 부분 정보 '1' 및 17000 Hz에 대응하는 부분 정보 'A' 각각을 생성할 수 있다.
제어 정보 획득부(202)는 복수의 부분 정보에 기초하여 음파에 대응하는 제어 정보를 생성할 수 있다. 제어 정보 획득부(202)는 예를 들어, 제 1 프레임의 부분 정보가 '0' 제 2 프레임의 부분 정보가 '1', 제 3 프레임의 부분 정보가 'A'인 경우, 부분 정보들을 조합하여, 사운드 코드에 대응하는 제어 정보인 '01A'를 디코딩 또는 생성할 수 있다.
제어 정보 획득부(202)는 음성인식을 통해 음성을 인식하여, 음성에 대응하는 제 1 정보를 생성하고, 사운드 코드에 대응하는 제 2 정보를 생성하고, 제 1 정보 및 제 2 정보를 이용하여 정보를 생성할 수 있다. 예를 들어, 제 1 정보를 이용하여 제 2 정보를 디코딩하거나, 제 1 정보와 제 2 정보를 조합하여 정보를 생성할 수 있다.
음성의 주파수 대역과 사운드 코드의 비가청 주파수 대역을 상호 분리하여 운용하는 것은, 상호간에 간섭을 최소화하면서 동일한 하드웨어(예를 들어, 디코딩 장치)에 의해 음성인식과 사운드 코드의 동시 인식을 가능하게 한다. 이를 통해 사용자는 음성과 사운드 코드의 조합을 통해 보다 다양성을 지닌 HMI(Human Machine Interface)를 제공받게 된다.
동작 수행부(203)는 획득된 제어 정보에 기초하여 제어 정보에 대응하는 동작을 수행한다. 예를 들면, 동작 수행부는 에어컨의 풍향을 조절하는 제어 정보에 기초하여 에어컨의 풍향을 조절하는 기능을 작동시킬 수 있다.
다른 실시예에서 외부 디바이스(20)는 입력 수신부(201)를 통해 외부 디바이스(20)의 현재 상태 또는 고장 진단 정보를 요청하는 입력이 수신되는 경우, 현재 상태 도는 고장 진단 정보를 음파 데이터로 생성하여 출력하는 음파 데이터 생성부 및 출력부를 더 포함할 수 있다.
한편, 외부 디바이스(20)는 모바일 디바이스(10)로 디바이스의 현재 상태 또는 고장 진단 정보 중 하나 이상을 포함하는 상태 정보를 전송하는 통신부를 더 포함할 수도 있다.
음파 데이터 생성부, 출력부 및 통신부의 설명은 도 2에서 설명되는 모바일 디바이스(10)의 동작을 통해 유추 가능하므로 자세한 설명은 생략하도록 한다.
또한, 이와 같은 도 5를 통해 외부 디바이스(20)에 대해 설명하지 아니한 사항은 앞서의 도면들을 통해 설명된 내용을 준용한다.
도 10은 본 발명의 일 실시예에 따른 외부 디바이스의 구성도이다. 본 발명의 일 실시예에 따르면, 외부 디바이스(20)는 동작 수행부(203), 상태 정보 생성부(204), 음파 데이터 생성부(205) 및 음파 출력부(206)를 포함할 수 있다.
동작 수행부(203)는 외부 디바이스(20)의 동작을 수행한다. 이 때, 동작 수행부(203)는 외부 디바이스(20)에 포함된 적어도 하나 이상의 동력 장치를 통해 동작을 수행한다. 예를 들어, 외부 디바이스(20)가 냉장고인 경우, 동작 수행부(203)는 냉장고에 포함된 동력 장치를 통해 냉매의 순환 동작을 수행할 수 있다. 다른 예를 들어, 외부 디바이스(20)가 청소기인 경우 동작 수행부(203)는 동력 장치를 통해 청소기를 이동시키는 동작을 수행할 수 있다. 또 다른 예를 들어, 외부 디바이스(20)가 선풍기인 경우, 동작 수행부(203)의 동력 장치를 통해 선풍기의 팬을 회전시키는 동작을 수행할 수 있다.
상태 정보 생성부(204)는 동작과 관련된, 외부 디바이스(20)의 상태 정보를 생성한다. 이 때, 상태 정보는 외부 디바이스(20)의 현재 상태 또는 고장 진단 정보 중 하나 이상이며, 현재 상태의 일 예는 외부 디바이스(20)의 온/오프, 전원 사용 상태, 동작 시간 등을 포함하며, 고장 진단 정보의 일 예는 이상 징후 발생 정보, 에러 코드, 고장 부위 정보 등을 포함한다.
상태 정보 생성부(204)는 외부 디바이스(20)의 동작과 관련하여, 이상 징후가 발생하는 경우, 이에 대응하는 상태 정보를 생성할 수 있다. 예를 들어, 외부 디바이스(20)가 냉장고이고, 외부 디바이스(20)가 동작을 멈춘 경우, 상태 정보 생성부(204)는 외부 디바이스(20)의 동작이 멈추었다는 것을 나타내는 상태 정보를 생성할 수 있다. 다른 예를 들어, 외부 디바이스(20)가 세탁기이고, 세탁기에 소정 에러 코드가 발생한 경우, 상태 정보 생성부(204)는 에러 코드에 대응하는 상태 정보를 생성할 수 있다.
음파 데이터 생성부(205)는 상태 정보에 대응하는 음파 데이터를 생성한다. 구체적으로, 음파 데이터 생성부(205)는 상태 정보에 대응하는 복수의 부분 정보를 생성하고, 생성한 복수의 부분 정보에 대응하는 복수의 주파수를 결정하고, 결정한 복수의 주파수 각각에 대응하는 사운드 신호를 소정 시간 간격에 따라 결합시킴으로써 상태 정보에 대응하는 음파 데이터를 생성할 수 있다.
이와 같은 음파 데이터 생성부(205)의 동작과 관련하여 설명되지 아니한 내용은 도 2의 음파 데이터 생성부(103)의 동작에 대해서 설명한 내용과 동일 또는 매우 유사하므로, 도 2의 음파 데이터 생성부(103)의 동작에 대해서 설명한 내용을 그대로 준용한다. 다만, 준용 시, 도 2의 음파 데이터 생성부(103)의 동작에 대해서 설명한 내용 중 '제어 정보'는 '상태 정보'라고 간주한다.
음파 출력부(206)는 음파 발생 장치를 통해 생성한 음파 데이터에 대응하는 음파를 출력한다. 이 때, 음파 발생 장치의 일 예는 스피커 장치이나, 이에 한정되는 것은 아니다. 출력한 음파는 모바일 디바이스(10)로 입력된다.
도 10에는 도시되지 않았으나, 도 10의 외부 디바이스(20)는 음파 수신부(201), 제어 정보 획득부(202)를 더 포함할 수도 있다. 음파 수신부(201)는 음파 수신 장치를 통해, 모바일 디바이스(10)로부터 출력된 음파를 수신하고, 제어 정보 획득부(202)는 수신한 음파를 이용하여 제어 정보를 획득한다. 이 때, 제어 정보는 음파 출력부(206)에서 출력된 음파에 대한 응답일 수 있으며, 동작 수행부(203)는 제어 정보에 기초하여 동작을 수행할 수 있다.
도 11은 본 발명의 일 실시예에 따른 음파 출력 방법을 나타내는 동작 흐름도이다. 도 11에 도시된 모바일 디바이스(10)를 통해 음파를 출력하는 방법은 도 1 내지 도 2를 통해 설명되는 모바일 디바이스(10)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서 이하 생략된 내용이라고 하여도, 도 1 내지 도 2를 통해 모바일 디바이스(10)에 대하여 설명된 내용은 도 11에도 적용된다.
도 11를 참조하면, 모바일 디바이스(10)는 사용자 인터페이스를 통해 하나 이상의 입력을 수신(S601)하고, 수신된 하나 이상의 입력에 기초하여 외부 디바이스(20)의 동작에 대응하는 제어 정보를 결정(S602)한다. 모바일 디바이스(10)는 제어 정보에 대응하는 음파 데이터를 생성(S603)한다. 모바일 디바이스(10)를 통해 생성되는 음파 데이터는 제어 정보가 주파수에 매핑된 가청 음파 데이터 형태, 비가청 주파수를 이용하는 비가청 음파 데이터 형태, 모바일 디바이스(10)에 저장된 음악 또는 소정 음성과 결합된 형태의 음파 데이터가 될 수 있다. 모바일 디바이스(10)는 생성된 음파 데이터에 대응하는 음파를 음파 발생 장치를 통해 출력(S604)할 수 있다.
외부 디바이스(20)는 모바일 디바이스(10)로부터 출력되는 음파를 수신하고, 음파에 포함된 제어 정보에 기초하여 제어 정보에 대응하는 동작을 수행할 수 있다.
도시되지 않았으나, 본 발명의 일 실시예에 따르면, 음파 출력 방법은 디바이스의 동작을 수행하는 단계(미도시), 상기 동작과 관련된, 상기 디바이스의 상태 정보를 생성하는 단계(미도시), 상기 상태 정보에 대응하는 음파 데이터를 생성하는 단계 및 음파 발생 장치를 통해 상기 생성한 음파 데이터에 대응하는 음파를 출력하는 단계(미도시) 포함하는 음파 출력 방법을 제공할 수 있다. 이 경우, 음파 출력 방법은 도 10의 외부 디바이스(20)에 의해 수행된다. 따라서 이하 생략된 내용은 도 10의 외부 디바이스(20)에 대하여 설명된 내용을 준용한다. 또한, 음파 출력 방법은 음파 수신 장치를 통해, 모바일 디바이스(10)로부터 출력된 음파를 수신하는 단계(미도시), 수신한 음파를 이용하여 제어 정보를 획득하는 단계(미도시) 및 제어 정보에 기초하여 동작을 수행하는 단계를 더 포함할 수도 있다.
도 11을 통해 설명된 음파를 출력하는 방법 및 도시되지 않은 음파 출력 방법 각각은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (13)

  1. 모바일 디바이스에 있어서,
    사용자 인터페이스를 통해 하나 이상의 입력을 수신하는 입력 수신부;
    상기 하나 이상의 입력에 기초하여 외부 디바이스의 동작에 대응하는 제어 정보를 결정하되, 상기 제어 정보는 제 1 심볼 및 제 2 심볼을 포함하는 것인, 제어 정보 결정부;
    상기 제어 정보에 대응하는 음파 데이터를 생성하는 음파 데이터 생성부; 및
    음파 발생 장치를 통해 상기 생성한 음파 데이터에 대응하는 음파를 출력하는 출력부를 포함하되,
    상기 음파 데이터 생성부는 상기 제 1 심볼에 대응하는 제 1 주파수를 결정하고, 상기 제 2 심볼에 대응하는 제 2 주파수를 결정하고, 상기 제 1 주파수 및 상기 제 2 주파수에 기초하여 상기 음파 데이터를 생성하되,
    상기 음파 데이터는 상기 제 1 주파수에 대응하는 부분과 상기 제 2 주파수에 대응하는 부분을 포함하는 것인, 모바일 디바이스.
  2. 제 1 항에 있어서,
    상기 음파 데이터 생성부는, 상기 제 1 주파수에 대응하는 제 1 사운드 신호를 생성하고, 상기 제 2 주파수에 대응하는 제 2 사운드 신호를 생성하고, 소정 시간 간격에 따라 상기 제 1 사운드 신호 및 상기 제 2 사운드 신호를 결합시킴으로써, 상기 음파 데이터를 생성하는 것인, 모바일 디바이스.
  3. 제 1 항에 있어서,
    상기 제 1 심볼은 문자인 것인, 모바일 디바이스.
  4. 제 3 항에 있어서,
    상기 제 2 심볼은 1보다 큰 자연수 중 어느 하나인 것인, 모바일 디바이스.
  5. 제 1 항에 있어서,
    음파 수신 장치를 통해 상기 외부 디바이스로부터 발생한 음파를 입력받는 입력부를 더 포함하되,
    상기 제어 정보 결정부는 입력된 음파에 기초하여 제 2 제어 정보를 결정하는 것인, 모바일 디바이스.
  6. 제 1 항에 있어서,
    상기 음파는 상기 외부 디바이스의 음파 수신 장치로 입력되고,
    상기 외부 디바이스는 상기 동작을 수행하는 것인, 모바일 디바이스.
  7. 제 1 항에 있어서,
    상기 음파 데이터 생성부는 상기 제어 정보 및 외부 디바이스의 아이디에 대응하는 음파 데이터를 생성하되,
    상기 외부 디바이스는 복수의 외부 디바이스 중 상기 음파의 목적지로 선택된 것인, 모바일 디바이스.
  8. 제 1 항에 있어서,
    상기 제 1 주파수는 복수의 주파수로부터 선택된 것이되,
    상기 복수의 주파수는 상기 복수의 주파수 중 최저 주파수로부터 최고 주파수까지 일정한 주파수 간격을 갖도록 배열된 것인, 모바일 디바이스.
  9. 제 1 항에 있어서,
    상기 출력부는 상기 음파 발생 장치를 통해 상기 생성한 음파 데이터에 대응하는 제 1 음파 및 기 저장된 음악 데이터에 대응하는 제 2 음파를 출력하는 것인, 모바일 디바이스.
  10. 제 5 항에 있어서,
    상기 외부 디바이스로부터 발생한 음파는 상기 출력한 음파에 대한 응답을 포함하고,
    상기 외부 디바이스로부터 발생한 음파는 상기 외부 디바이스의 아이디, 상기 모바일 디바이스의 아이디, 상기 외부 디바이스의 현재상태 및 상기 외부 디바이스의 고장 정보 중 어느 하나에 대응하는 것인, 모바일 디바이스.
  11. 모바일 디바이스에서 음파를 출력하는 방법에 있어서,
    사용자 인터페이스를 통해 하나 이상의 입력을 수신하는 단계;
    상기 하나 이상의 입력에 기초하여 외부 디바이스의 동작에 대응하는 제어 정보를 결정하되, 상기 제어 정보는 제 1 심볼 및 제 2 심볼을 포함하는 것인, 단계;
    상기 제어 정보에 대응하는 음파 데이터를 생성하는 단계; 및
    음파 발생 장치를 통해 상기 생성한 음파 데이터에 대응하는 음파 데이터를 출력하는 단계를 포함하되,
    상기 음파 데이터를 생성하는 단계는, 상기 제 1 심볼에 대응하는 제 1 주파수를 결정하고, 상기 제 2 심볼에 대응하는 제 2 주파수를 결정하고, 상기 제 1 주파수 및 상기 제 2 주파수에 기초하여 상기 음파 데이터를 생성하되,
    상기 음파 데이터는 상기 제 1 주파수에 대응하는 부분과 상기 제 2 주파수에 대응하는 부분을 포함하는 것인, 음파 출력 방법.
  12. 음파 수신 장치를 통해, 모바일 디바이스로부터 출력된 음파를 수신하는 음파 수신부;
    상기 음파를 이용하여 상기 디바이스의 아이디를 포함하는 제어 정보를 획득하는 제어 정보 획득부; 및
    상기 획득된 제어 정보에 기초하여 상기 제어 정보에 대응하는 동작을 수행하는 동작 수행부를 포함하되,
    상기 제어 정보 획득부는 상기 음파의 제 1 부분에 대응하는 제 1 주파수를 결정하고, 상기 음파의 제 2 부분에 대응하는 제 2 주파수를 결정하고, 상기 제 1 주파수에 대응하는 제 1 심볼을 생성하고, 상기 제 2 주파수에 대응하는 제 2 심볼을 생성하고, 상기 제 1 심볼과 상기 제 2 심볼의 결합에 기초하여 상기 제어 정보를 획득하는 것인, 디바이스.
  13. 디바이스에 있어서,
    상기 디바이스의 동작을 수행하는 동작 수행부;
    상기 동작과 관련된, 상기 디바이스의 상태 정보를 생성하되, 상기 상태 정보는 제 1 심볼 및 제 2 심볼을 포함하는 것인, 상태 정보 생성부;
    상기 상태 정보에 대응하는 음파 데이터를 생성하는 음파 데이터 생성부; 및
    음파 발생 장치를 통해 상기 생성한 음파 데이터에 대응하는 음파를 출력하는 음파 출력부를 포함하되,
    상기 음파 데이터 생성부는 상기 제 1 심볼에 대응하는 제 1 주파수를 결정하고, 상기 제 2 심볼에 대응하는 제 2 주파수를 결정하고, 상기 제 1 주파수 및 상기 제 2 주파수에 기초하여 상기 음파 데이터를 생성하되,
    상기 음파 데이터는 상기 제 1 주파수에 대응하는 부분과 상기 제 2 주파수에 대응하는 부분을 포함하는 것인, 디바이스.
PCT/KR2014/005336 2013-06-18 2014-06-18 외부 디바이스의 제어를 위해 음파를 출력하는 모바일 디바이스 및 방법, 그리고 외부 디바이스 Ceased WO2014204191A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201480034891.0A CN105325011A (zh) 2013-06-18 2014-06-18 用于控制外部设备而输出声波的移动设备、方法及外部设备
US14/899,722 US10243675B2 (en) 2013-06-18 2014-06-18 Mobile device and method for outputting sound wave for control of external device, and external device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20130069594 2013-06-18
KR10-2013-0069594 2013-06-18
KR10-2014-0073053 2014-06-16
KR1020140073053A KR101538756B1 (ko) 2013-06-18 2014-06-16 외부 디바이스의 제어를 위해 음파를 출력하는 모바일 디바이스 및 방법, 그리고 외부 디바이스

Publications (1)

Publication Number Publication Date
WO2014204191A1 true WO2014204191A1 (ko) 2014-12-24

Family

ID=52104854

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/005336 Ceased WO2014204191A1 (ko) 2013-06-18 2014-06-18 외부 디바이스의 제어를 위해 음파를 출력하는 모바일 디바이스 및 방법, 그리고 외부 디바이스

Country Status (3)

Country Link
US (1) US10243675B2 (ko)
CN (1) CN105325011A (ko)
WO (1) WO2014204191A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142111A1 (ko) * 2016-02-19 2017-08-24 주식회사 트리니티랩 가청 주파수 대역 오디오 신호를 이용한 스마트 기기 원격 제어 시스템
WO2017150746A1 (ko) * 2016-02-29 2017-09-08 주식회사 트리니티랩 가청 주파수 대역 오디오 신호의 저전력용 정보 제공 및 스마트 기기 원격 제어 방법
KR101909175B1 (ko) * 2017-11-29 2018-10-18 주식회사 사운들리 컴퓨팅 디바이스에서의 애플리케이션의 음파 수신 및 처리 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11452153B2 (en) 2012-05-01 2022-09-20 Lisnr, Inc. Pairing and gateway connection using sonic tones
KR102317364B1 (ko) 2012-05-01 2021-10-25 엘아이에스엔알, 인크. 콘텐츠 전달 및 관리를 위한 시스템 및 방법
EP3207639A4 (en) 2014-10-15 2018-04-11 Lisnr, Inc. Inaudible signaling tone
US20210350697A1 (en) * 2016-01-29 2021-11-11 Infosonic Inc. Method for driving mobile application using sound wave signal and mobile application driving system for implementing same
KR101740402B1 (ko) * 2016-01-29 2017-05-26 주식회사 인포소닉 음파 신호를 이용한 모바일 어플리케이션 구동 방법 및 이를 구현하기 위한 모바일 어플리케이션 구동 시스템
US11233582B2 (en) 2016-03-25 2022-01-25 Lisnr, Inc. Local tone generation
TR201816127T4 (tr) * 2016-06-06 2018-11-21 Vestel Elektronik Sanayi Ve Ticaret Anonim Sirketi Bir ev aletini uzaktan kumanda etmeye yönelik sistem ve yöntem.
US10498569B2 (en) * 2016-06-23 2019-12-03 University Of Massachusetts Systems and methods for backscatter communication
CN107645343B (zh) * 2016-07-20 2021-10-22 阿里巴巴集团控股有限公司 基于声波的数据发送/接收方法及数据传输系统
CN108234029A (zh) * 2016-12-22 2018-06-29 航天信息股份有限公司 一种基于声波的数据传输系统和方法
US10468013B2 (en) 2017-03-31 2019-11-05 Intel Corporation Methods, apparatus, and articles of manufacture to generate voices for artificial speech based on an identifier represented by frequency dependent bits
US11189295B2 (en) 2017-09-28 2021-11-30 Lisnr, Inc. High bandwidth sonic tone generation
US20190045361A1 (en) * 2017-10-30 2019-02-07 Intel IP Corporation Secure sounding arrangement
US10826623B2 (en) 2017-12-19 2020-11-03 Lisnr, Inc. Phase shift keyed signaling tone
DE112018006595T5 (de) 2018-01-23 2020-11-05 Motorola Solutions, Inc. Geräteidentifizierung innerhalb eines personal area network
US10917180B2 (en) 2018-07-24 2021-02-09 Comcast Cable Communications, Llc Controlling vibration output from a computing device
US10912101B2 (en) * 2018-11-12 2021-02-02 General Electric Company Frequency-based communication system and method
KR102860895B1 (ko) 2019-02-21 2025-09-18 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102854804B1 (ko) * 2019-06-17 2025-09-04 현대자동차주식회사 음향 통신 시스템 및 그의 데이터 송수신 방법
CN112614332B (zh) * 2020-12-10 2022-01-28 维沃移动通信有限公司 终端控制方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092344A (ja) * 1998-09-08 2000-03-31 Fujitsu Ltd 遠隔制御方法及びシステム
JP2001036652A (ja) * 1999-07-23 2001-02-09 Nippon Conlux Co Ltd 携帯電話機およびこれを利用した機器遠隔制御方法
KR20030030729A (ko) * 2001-10-12 2003-04-18 엘지전자 주식회사 음파를 이용한 송/수신장치
JP2011193426A (ja) * 2010-03-15 2011-09-29 Shinten Sangyo Co Ltd リモコン機能付き携帯電話端末

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864626A (en) * 1997-02-07 1999-01-26 Braun; Ori Multi-speaker storytelling system
US6489902B2 (en) * 1997-12-02 2002-12-03 Hughes Electronics Corporation Data compression for use with a communications channel
GB0402952D0 (en) * 2004-02-11 2004-03-17 Koninkl Philips Electronics Nv Remote control system and related method and apparatus
US20060019605A1 (en) * 2004-07-20 2006-01-26 Jeng-Jye Shau Wireless signal transfer by sound waves
CN2738486Y (zh) 2004-11-18 2005-11-02 陈先军 多功能移动手机式遥控器
KR100670288B1 (ko) 2005-02-05 2007-01-16 삼성에스디아이 주식회사 기판 고정용 지그장치, 이를 구비한 누설전류 측정장치,및 누설전류 측정방법
US8616973B2 (en) * 2005-09-15 2013-12-31 Sony Computer Entertainment Inc. System and method for control by audible device
JP4398416B2 (ja) * 2005-10-07 2010-01-13 株式会社エヌ・ティ・ティ・ドコモ 変調装置、変調方法、復調装置、及び復調方法
US8436948B2 (en) * 2007-03-07 2013-05-07 Rohm Co., Ltd. Remote control system, television set and remote controller using manipulation signals
US9241114B1 (en) * 2007-10-02 2016-01-19 At&T Intellectual Property I, L.P. Uniform universal remote configuration
CN102263576B (zh) 2010-05-27 2014-06-25 盛乐信息技术（上海）有限公司 无线信息传输方法及实现设备
KR101416937B1 (ko) 2011-08-02 2014-08-06 엘지전자 주식회사 가전기기, 가전기기 진단시스템 및 동작방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092344A (ja) * 1998-09-08 2000-03-31 Fujitsu Ltd 遠隔制御方法及びシステム
JP2001036652A (ja) * 1999-07-23 2001-02-09 Nippon Conlux Co Ltd 携帯電話機およびこれを利用した機器遠隔制御方法
KR20030030729A (ko) * 2001-10-12 2003-04-18 엘지전자 주식회사 음파를 이용한 송/수신장치
JP2011193426A (ja) * 2010-03-15 2011-09-29 Shinten Sangyo Co Ltd リモコン機能付き携帯電話端末

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017142111A1 (ko) * 2016-02-19 2017-08-24 주식회사 트리니티랩 가청 주파수 대역 오디오 신호를 이용한 스마트 기기 원격 제어 시스템
WO2017150746A1 (ko) * 2016-02-29 2017-09-08 주식회사 트리니티랩 가청 주파수 대역 오디오 신호의 저전력용 정보 제공 및 스마트 기기 원격 제어 방법
KR101909175B1 (ko) * 2017-11-29 2018-10-18 주식회사 사운들리 컴퓨팅 디바이스에서의 애플리케이션의 음파 수신 및 처리 방법
WO2019107591A1 (ko) * 2017-11-29 2019-06-06 주식회사 사운들리 컴퓨팅 디바이스에서의 애플리케이션의 음파 수신 및 처리 방법

Also Published As

Publication number Publication date
US10243675B2 (en) 2019-03-26
US20160142157A1 (en) 2016-05-19
CN105325011A (zh) 2016-02-10

Similar Documents

Publication Publication Date Title
WO2014204191A1 (ko) 외부 디바이스의 제어를 위해 음파를 출력하는 모바일 디바이스 및 방법, 그리고 외부 디바이스
KR101538756B1 (ko) 외부 디바이스의 제어를 위해 음파를 출력하는 모바일 디바이스 및 방법, 그리고 외부 디바이스
JP7179178B2 (ja) 同期信号伝送方法及び端末
JP6110503B2 (ja) テレビ通話装置
RU2765682C1 (ru) Способ определения, абонентское оборудование и сетевое устройство
CN105790854B (zh) 一种基于声波的短距离数据传输方法及装置
WO2012102582A2 (en) Method and apparatus for remotely controlling consumer electronics device by using wireless personal area network
CN110351835B (zh) 一种频段确定方法和装置
CN112954796B (zh) 一种发送方法、接收方法、网络设备及终端
WO2020080838A1 (en) Apparatus for signaling of control messages for fronthaul interface
KR101597657B1 (ko) 네트워크 접속 정보가 포함된 음파를 출력하는 모바일 디바이스 및 방법
US12052556B2 (en) Terminal, audio cooperative reproduction system, and content display apparatus
CN104468966A (zh) 一种移动终端来电静音的方法及系统
JP2022524875A (ja) 伝送方法、ネットワーク機器及び端末
CN105392182B (zh) Wifi设备的网络配置信息的设置方法及系统
CN105636041A (zh) 一种智能设备的连网方法及装置
CN111800802A (zh) 一种参数修改方法及设备
JP2015162903A (ja) 監視システム及びその運用方法
EP3516921B1 (en) System, user equipment, computer program product and method for providing access to mobile communication services
US10015652B2 (en) Near-field wireless communication equipment, and near-field wireless communication method
JP7328986B2 (ja) 上り伝送方法及び端末
US11755728B2 (en) Systems, methods, and media for analyzing structured files for malicious content
CN105049129A (zh) 基于声波的Wi-Fi配置系统及其配置方法
JP2012185698A (ja) 遠隔操作用音声信号対応コンピュータ入力装置およびコンピュータ入力システム
US10951444B2 (en) In house reception of transmission signals compliant to a standard specification for mobile phone

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480034891.0

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14813692

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14899722

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 11/05/2016)

122 Ep: pct application non-entry in european phase

Ref document number: 14813692

Country of ref document: EP

Kind code of ref document: A1