WO2020141634A1 - 환경 변화 및 소음 변화에 따른 적응형 입체 히어링 시스템 및 그 방법 - Google Patents

환경 변화 및 소음 변화에 따른 적응형 입체 히어링 시스템 및 그 방법 Download PDF

Info

Publication number
WO2020141634A1
WO2020141634A1 PCT/KR2019/000077 KR2019000077W WO2020141634A1 WO 2020141634 A1 WO2020141634 A1 WO 2020141634A1 KR 2019000077 W KR2019000077 W KR 2019000077W WO 2020141634 A1 WO2020141634 A1 WO 2020141634A1
Authority
WO
WIPO (PCT)
Prior art keywords
microphone
hearing device
user
smart
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/000077
Other languages
English (en)
French (fr)
Inventor
송명근
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olive Union Inc
Olive Union Inc
Original Assignee
Olive Union Inc
Olive Union Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olive Union Inc, Olive Union Inc filed Critical Olive Union Inc
Priority to EP19906904.8A priority Critical patent/EP3849211A4/en
Priority to US17/280,221 priority patent/US11683651B2/en
Priority to JP2021518591A priority patent/JP7316701B2/ja
Publication of WO2020141634A1 publication Critical patent/WO2020141634A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/405—Arrangements for obtaining a desired directivity characteristic by combining a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/005—Circuits for transducers for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/55—Electric hearing aids using an external connection, either wireless or wired
    • H04R25/558—Remote control, e.g. of amplification, frequency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/55—Electric hearing aids using an external connection, either wireless or wired
    • H04R25/552—Binaural
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/55—Electric hearing aids using an external connection, either wireless or wired
    • H04R25/554—Electric hearing aids using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083—Reduction of ambient noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/025—In the ear hearing aids [ITE] hearing aids
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/41—Detection or adaptation of hearing aid parameters or programs to listening situation, e.g. pub, forest
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/43—Signal processing in hearing aids to enhance the speech intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01—Hearing devices using active noise cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/43—Electronic input selection or mixing based on input signal analysis, e.g. mixing or selection between microphone and telecoil or between microphones with different directivity characteristics

Definitions

  • the present invention relates to an adaptive stereoscopic hearing system and method according to environmental changes and noise changes, and more specifically, analyzes an audio signal received from a first smart hearing device formed on one side and a second smart hearing device formed on the other side. It relates to a technology for providing a three-dimensional recognition of environmental and noise changes according to the sound direction of the left and right through the control parameters set by.
  • Hearing aids are high-tech medical devices that are always attached to the body, even among medical devices. Hearing aids must be managed consistently with changes in hearing and A/S for areas damaged by moisture and foreign matter in the ears. Therefore, hearing aids are considered to be one of the most important medical technology.
  • the hearing aid has a bone diagram mounted on the protuberance, but is usually a structure of an airway type, receives sound waves into a microphone, converts them into electrical vibrations, enlarges them, and converts sound waves back into earphones to be heard in the ears.
  • the processor for hearing aids is made up of chips and components that are made up of small chips made with advanced nanotechnology, equipped with memory and processing speeds that are more than twice as fast as conventional processors.
  • An object of the present invention is to provide a three-dimensional recognition of environmental and noise changes according to the sound direction of the left and right using the first smart hearing device and the second smart hearing device worn on each of the user's right and left sides.
  • the object of the present invention is to recognize the user's voice signal and noise signal through the first microphone and the second microphone included in the first smart hearing device and the third microphone and the fourth microphone included in the second smart hearing device. , I want to collect the surrounding sounds in three dimensions.
  • an object of the present invention is to set different control parameters of the first smart hearing device and the second smart hearing device according to the analysis result.
  • the adaptive stereo hearing system transmits a first audio signal including a voice signal and a noise signal received from a first microphone and a second microphone formed on one side, and analyzes the first audio signal
  • the first smart hearing device that provides the sound of one side by setting the first control parameter based on the result information
  • the second audio signal including the voice signal and the noise signal received from the third microphone and the fourth microphone formed on the other side
  • a second smart hearing device, the first audio signal and the second audio signal are transmitted to the outside by setting a second control parameter based on the result information analyzed for the second audio signal and providing the other sound
  • the result of the sound directionality analyzed by applying a machine learning technique to the mobile device controlling the first smart hearing device and the second smart hearing device and the first audio signal and the second audio signal It includes an external server that transmits information.
  • Each of the first smart hearing device and the second smart hearing device includes the first microphone and the third microphone located near the user's mouth, and the second microphone positioned at a separation distance based on the user's mouth And the fourth microphone.
  • the first microphone and the third microphone may collect a user's voice signal from one side and the other side
  • the second microphone and the fourth microphone may collect a noise signal from one side and a noise signal from the other side
  • Each of the first microphone and the third microphone, and the second microphone and the fourth microphone are paired with each other, and a microphone paired with the one microphone may also be automatically set according to a setting applied to one microphone. .
  • the first smart hearing device sets at least one or more of the first control parameters among amplification value change, volume control, and frequency control according to environmental changes based on user's hearing data and the result information received from the mobile device
  • the user-customized sound is provided on the one side
  • the second smart hearing device is based on the user's hearing data and the result information received from the mobile device. Any one or more of the second control parameters may be set to provide the sound of the other side according to user customization.
  • the first smart hearing device is configured to set the first control parameter to the audio signal and the noise signal of the digital signals received from the first microphone and the second microphone to at least amplify value change, volume control, and frequency control Adjusting any one or more balances, converting the digital signal for the adjusted signal into an analog signal to provide the user with the sound on one side, and the second smart hearing device starts from the third microphone and the fourth microphone Set the second control parameter to the audio signal and the noise signal of the received digital signal to adjust the balance of at least one of amplification value change, volume control, and frequency control, and digital signal for the adjusted signal It can be converted to an analog signal to provide the sound of the other side to the user.
  • Each of the first smart hearing device and the second smart hearing device provides a user-customized sound of the one side and the sound of the other side to the user, thereby recognizing environmental changes and noise changes in three directions according to the sound direction of the left and right sides. Can be provided.
  • Each of the first smart hearing device and the second smart hearing device may set the first control parameter and the second control parameter of different parameter values based on the user's left hearing data and right hearing data.
  • the mobile device transmits the first audio signal and the second audio signal received from the first smart hearing device and the second smart hearing device to the external server through a short range wireless communication module, and receives from the external server
  • the result information can be transmitted to the first smart hearing device and the second smart hearing device.
  • the mobile device may control one or more of power on/off, signal collection, and parameter setting of each of the first smart hearing device and the second smart hearing device according to a user's selection input. .
  • the external server analyzes the first audio signal and the second audio signal through any one of SVM (Support Vector Machine) and kMeans method, and the result of sound direction according to environmental changes or ambient noise. Information can be generated.
  • SVM Small Vector Machine
  • kMeans Kernel Model
  • the first smart hearing device includes the first microphone receiving a user's voice signal, the second microphone receiving a user's surrounding noise signal, the voice signal and the noise received from the first microphone and the second microphone
  • a transmission unit for transmitting a first audio signal including a signal, a receiving unit for receiving the result information from the mobile device in response to the first audio signal being processed by the external server, and the first information based on the result information 1 may include a control unit for setting control parameters.
  • the second smart hearing device includes the third microphone receiving the user's voice signal, the fourth microphone receiving the user's surrounding noise signal, the third microphone, and the voice signal received from the fourth microphone and the noise
  • a control unit for setting control parameters may be included.
  • a first smart hearing device formed on one side and a second smart hearing formed on the other side
  • Receiving a first audio signal and a second audio signal including a voice signal and a noise signal from a device transmitting the first audio signal and the second audio signal to an external server, machine learning from the external server ( Machine Learning) receiving the result information on the sound directionality analyzed by the technique and providing the result information to the first smart hearing device and the second smart hearing device, wherein the first smart hearing device And each of the second smart hearing devices sets a first control parameter and a second control parameter due to the result information to provide a user with a sound on one side and a sound on the other side.
  • a customized hearing service in environment change and noise change according to sound direction of the left and right using a first smart hearing device and a second smart hearing device worn on each of the user's right and left sides Provided, it is possible to improve the ease of use of the hearing aid.
  • the user's voice signal and noise signal through the first microphone and the second microphone included in the first smart hearing device and the third microphone and the fourth microphone included in the second smart hearing device By recognizing, it is possible to collect the surrounding sounds in three dimensions and remove the appropriate noise accordingly.
  • FIG 1 shows the configuration of an adaptive three-dimensional hearing system according to an embodiment of the present invention.
  • FIGS. 2A and 2B show examples of products of the first smart hearing device and the second smart hearing device according to an embodiment of the present invention.
  • FIG. 3 is a block diagram showing a detailed configuration of a first smart hearing device according to an embodiment of the present invention.
  • FIG. 4 is a block diagram showing a detailed configuration of a second smart hearing device according to an embodiment of the present invention.
  • 5, 6A and 6B show an example of application of a smart hearing device according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating an operation process between a first smart hearing device, a second smart hearing device, a mobile device, and an external server according to an embodiment of the present invention.
  • terminal are terms used to properly express a preferred embodiment of the present invention, which may vary according to viewers, operators' intentions, or customs in the field to which the present invention pertains. Therefore, definitions of these terms should be made based on the contents throughout the present specification.
  • the present invention is a technology related to an adaptive stereoscopic hearing system and a method according to environmental changes and noise changes, and uses a first smart hearing device and a second smart hearing device worn on the left and right sides of a user, and the first smart Analysis results of the first audio signal on the left and the second audio signal on the right received through the first microphone and the second microphone included in the hearing device and the third microphone and the fourth microphone included in the second smart hearing device By setting a control parameter on the basis, it provides the user with three-dimensional perception of environmental and noise changes according to left and right sound direction.
  • the smart hearing device is a hearing aid that provides amplified sound to be heard by a user with low hearing ability.
  • FIG 1 shows the configuration of an adaptive three-dimensional hearing system according to an embodiment of the present invention.
  • the adaptive stereoscopic hearing system is configured through a control parameter set by analyzing an audio signal received from a first smart hearing device formed on one side and a second smart hearing device formed on the other side , It provides three-dimensional recognition of environmental and noise changes according to the sound direction of the left and right.
  • the adaptive stereoscopic hearing system 100 includes a first smart hearing device 110, a second smart hearing device 120, a mobile device 130, and an external server 140 do.
  • the first smart hearing device 110 transmits a first audio signal including a voice signal and a noise signal received from the first microphone and the second microphone formed on one side, and is caused by the result information analyzed for the first audio signal.
  • the first control parameter is set to provide sound on one side.
  • the second smart hearing device 120 transmits a second audio signal including a voice signal and a noise signal received from the third microphone and the fourth microphone formed on the other side, and is caused by the result information analyzed for the second audio signal.
  • the second control parameter is set to provide the sound on the other side.
  • the first smart hearing device 110 and the second smart hearing device 120 include a first microphone and a third microphone positioned near the user's mouth, a second microphone positioned at a separation distance based on the user's mouth, and A fourth microphone may be included.
  • the first microphone and the third microphone may collect a user's voice signal from one side and the other side
  • the second microphone and the fourth microphone may collect a noise signal from one side and a noise signal from the other side.
  • the first smart hearing device 110 may be mounted on the user's left ear, receive a user's voice signal from the left side through a first microphone located near the user's mouth, and reference the user's mouth.
  • the noise signal from the left side may be received through the second microphone located at a separation distance.
  • the second smart hearing device 120 may be mounted on the user's right ear, receive the user's voice signal from the right side through a third microphone located near the user's mouth, and the separation distance based on the user's mouth A noise signal from the right side may be received through the fourth microphone located at.
  • the first microphone of the first smart hearing device 110, the third microphone of the second smart hearing device 120, and the second microphone of the first smart hearing device 110 and the second smart hearing device 120 Each of the fourth microphones of) is paired with each other, and a microphone paired with one microphone may also be automatically set according to a setting applied to one microphone. For example, when the volume of the first microphone is adjusted by the first control parameter, the volume of the paired third microphone is also automatically adjustable. As another example, when the second microphone power of the first smart hearing device 110 is turned on, the fourth microphone power of the paired second smart hearing device 120 may also be automatically turned on. .
  • Each of the first smart hearing device 110 and the second smart hearing device 120 may set first control parameters and second control parameters of different parameter values based on the user's left hearing data and right hearing data. .
  • each of the first smart hearing device 110 and the second smart hearing device 120 may include hearing data (Personal Hearing Profile) on the left and right sides of a user who uses a hearing aid.
  • hearing data Personal Hearing Profile
  • each of the first smart hearing device 110 and the second smart hearing device 120 is a volume preferred by the user, a specific volume that can be recognized, and a specific frequency.
  • it may include user-definable hearing data including an amplification value, volume, and frequency range that does not feel heterogeneity.
  • the user's hearing data may be stored and maintained in the mobile device 130 and the external server 140.
  • the hearing data is not limited to items such as amplification values, volumes and frequencies, or numerical values.
  • the hearing data is nonlinear compression information that amplifies small sounds loudly and reduces small sounds loudly, directional information that can accurately pick up the direction in which the sound is heard, and amplifies the received sound so that it can be heard well without other noise.
  • the user may further include a user preference and a numerical value for at least one or more of feedback information to help and noise reduction information to reduce noise.
  • the first smart hearing device 110 and the second smart hearing device 120 are based on the user's hearing data and the result information on the analyzed sound direction received from the mobile device 130 , At least one or more first control parameters and second parameters among amplification value changes, volume control, and frequency control according to environmental and noise changes may be set to provide customized hearing aid services on the left and right sides.
  • the first smart hearing device 110 and the second smart hearing device 120 respond to environmental changes based on the user's hearing data and the result information on the analyzed sound direction received from the mobile device 130.
  • At least one of the first control parameter and the second control parameter among the amplification value change, volume control and frequency control according to the user may be set to provide the right and left sounds according to a user's preference.
  • the first smart hearing device 110 sets at least a first amplification value change, volume adjustment, and frequency adjustment by setting a first control parameter to a voice signal and a noise signal of a digital signal received from the first microphone and the second microphone.
  • a digital signal for the adjusted signal can be converted into an analog signal and transmitted to the user as a left sound.
  • the second smart hearing device 120 sets a second control parameter to a voice signal and a noise signal of a digital signal received from the third microphone and the fourth microphone, thereby at least one of amplification value change, volume control, and frequency control.
  • a digital signal for the adjusted signal can be converted into an analog signal and transmitted to the user as a right sound.
  • At least one or more of an amplification value, volume, and frequency according to an audio signal received from the first microphone, the second microphone, the third microphone, and the fourth microphone is outside a preset range that the user presets or prefers. Can. This may be due to a factor according to a change in the environment in which the user is located, a factor according to a user's voice change, or a factor of mechanical error. Accordingly, the first smart hearing device 110 and the second smart hearing device 120 may balance at least one or more of amplification values, volumes, and frequencies of the audio signal based on the first control parameter and the second control parameter. The digital signal according to the adjusted balance can be converted into an analog signal (sound energy) and provided to the user by sound.
  • the first smart hearing device 110 and the second smart hearing device 120 of the adaptive three-dimensional hearing system 100 may include a first microphone and a first microphone according to a user's environment change and noise change.
  • the first audio signal and the second audio signal including the voice signal and the noise signal received from the second microphone, the third microphone, and the fourth microphone are transmitted to the external server 140 through the mobile device 130 and the analysis result is transmitted.
  • the user separately adjusts the volume or frequency It is possible to provide a hearing aid service that is optimized for changing situations without adjusting, and can improve the convenience of using a hearing aid.
  • each of the first smart hearing device 110 and the second smart hearing device 120 of the adaptive stereoscopic hearing system 100 is customized to the user, and the sound of the left and right sounds It can be provided to provide a three-dimensional recognition of environmental and noise changes in accordance with the sound direction of the left and right.
  • the mobile device 130 transmits the first audio signal and the second audio signal to the outside, and controls the first smart hearing device 110 and the second smart hearing device 120.
  • the first smart hearing device 110 and the second smart hearing device 120 and the mobile device 130 may transmit/receive data through Bluetooth, which is a short range wireless communication module.
  • the mobile device 130 receives the first audio signal and the second audio signal including the voice signal and the noise signal from the first smart hearing device 110 and the second smart hearing device 120 through Bluetooth communication. I can receive it.
  • the mobile device 130 may transmit the first audio signal and the second audio signal to the external server 140 through wireless data communication of Ethernet/3G, 4G, and 5G.
  • the mobile device 130 may receive information related to the analysis result from the external server 140 through wireless data communication, and the first smart hearing device 110 and the second smart hearing device 120 through Bluetooth communication ) Each may provide information related to the analysis result.
  • the mobile device 130 in the adaptive stereoscopic hearing system 100 is a personal computer (PC), a laptop computer (laptop computer), a smart phone (smart phone), a tablet (tablet), It is a terminal device possessed by a user such as a wearable computer, and can perform overall service operations such as service screen configuration, data input, data transmission and reception, and data storage under the control of a web/mobile site or a dedicated application. Further, the mobile device 130 may refer to an application downloaded and installed in the mobile device.
  • the mobile device 130 may display a screen including a plurality of items located in each of a plurality of areas through a display unit (not shown), and may include haptic contact or tactile. Another screen may be displayed that includes at least one or more items related to the function based on a touch-sensitive surface, sensor or set of sensors that accepts input from the user based on the contact.
  • the mobile device 130 may receive a user's selection input through an input unit (not shown) such as a keyboard, a touch display, a dial, a slider switch, a joystick, and a mouse, and includes an audio module, a speaker module, and a vibration module Information related to the personalized hearing aid service may be output through an output unit (not shown).
  • the mobile device 130 may be interlocked with each of the first smart hearing device 110 and the second smart hearing device 120 to provide a screen for testing a user's hearing and information related to various reports accordingly.
  • the report may be a history indicator or record for a customized hearing aid service over time.
  • the mobile device 130 may include user information and hearing data corresponding to the user information, and may store and maintain an appropriate range of amplification values, volume, and frequencies preferred by the user as numerical values. Furthermore, the mobile device 130 includes voice signal and noise signals received from each of the first smart hearing device 110 and the second smart hearing device 120 and information related to the analysis result analyzed from the external server 140. You can also match and database.
  • the mobile device 130 may turn on or off the power of each of the first smart hearing device 110 and the second smart hearing device 120 according to a user's selection input, and an external server Numerical values, such as amplification values, volumes, and frequencies of the first smart hearing device 110 and the second smart hearing device 120 may be manually controlled based on the information related to the analysis result received from the 140.
  • the mobile device 130 is paired with serial number or device information given to each of the first smart hearing device 110 and the second smart hearing device 120, and the first smart hearing device 110 and the second Battery management, loss management, and failure management of the smart hearing device 120 may be performed.
  • the external server 140 transmits the result information on the sound directionality analyzed by applying a machine learning technique to the first audio signal and the second audio signal.
  • the external server 140 may communicate with the mobile device 130 through wireless data communication of Ethernet/3G, 4G, and 5G, and machine learning of at least one of a support vector machine (SVM) and a kMeans method
  • SVM support vector machine
  • kMeans kMeans
  • the external server 140 analyzes the first audio signal and the second audio signal through a machine learning technique to detect environmental changes, such as the use environment and work environment, according to the user's location, and amplifies, volume, and It is possible to detect a change in the numerical value of at least one of the frequencies. Accordingly, the external server 140 obtains at least one or more items and numerical values among amplification values, volumes, and frequencies that are outside the appropriate range according to the user's hearing data, and information and appropriate ranges for the acquired items and numerical values It is possible to generate an analysis result including information on a numerical value change for my entry.
  • the external server 140 transmits information related to the analysis result to the mobile device 130 through wireless data communication of Ethernet/3G, 4G, and 5G, and the mobile device 130 transmits information related to the analysis result via Bluetooth communication.
  • the first smart hearing device 110 and the second smart hearing device 120 may be transmitted to each.
  • the external server 140 digitizes and stores the user information, the appropriate range of hearing data according to the user information, and the user's preferred amplification value, volume, and frequency, and the first smart hearing device corresponding to the user information Based on (110), the second smart hearing device 120 and the mobile device 130 to match the database. That is, the external server 140 analyzes the audio signal received from the mobile device 130 based on the data stored and maintained, and the first smart hearing device 110 and the second smart hearing information related to the analysis result It can be provided to the device 120 or the mobile device 130, and matched to user information to make a database.
  • the process of analyzing the result information on the sound direction by applying the machine learning technique to the first audio signal and the second audio signal performed by the external server 140 may be performed in the mobile device 130
  • the adaptive stereoscopic hearing system 100 may include only the first smart hearing device 110, the second smart hearing device 120, and the mobile device 130. .
  • FIGS. 2A and 2B show examples of products of the first smart hearing device and the second smart hearing device according to an embodiment of the present invention.
  • FIG. 2A illustrates a front example of a first smart hearing device and a second smart hearing device according to an embodiment of the present invention
  • FIG. 2B shows a first smart hearing device according to an embodiment of the present invention
  • a rear example of the second smart hearing device is illustrated.
  • the first smart hearing device 110 includes a first microphone 111, a second microphone 112 and the on / off switch 113, the second smart The hearing device 120 includes a third microphone 121, a fourth microphone 122, and an on/off switch 123.
  • the first smart hearing device 110 is worn on the user's left ear
  • the second smart hearing device 120 is illustrated as being worn on the user's right ear, but the position and shape of the smart hearing device are not limited thereto.
  • the first microphone 111 and the third microphone 121 may be located adjacent to the user's mouth to receive a voice signal based on the user's voice, and the on/off switches 113 and 123 Located at the bottom, it is characterized in that it is closer to the user's mouth compared to the second microphone 112 and the fourth microphone 122.
  • the second microphone 112 and the fourth microphone 122 are located as far as possible from the user's mouth to receive the noise signal based on the ambient noise according to the user's location, and the on/off switches 113 and 123 Located on the upper side, it is characterized in that it is located far away from the user's mouth relative to the first microphone 111 and the third microphone 121.
  • the direction in which the tools (or holes) of the first microphone 111 and the second microphone 112 and the third microphone 121 and the fourth microphone 122 face are the same, which is a uniform voice. This is to collect the signal and the noise signal respectively, and to remove the appropriate noise accordingly.
  • the first smart hearing device 110 and the second smart hearing device 120 are two microphones (111, 112 and 121, 122) having different positions Included, the software sets the first microphone 111 and the third microphone 121 as the main, and applies the second microphone 112 and the fourth microphone 122 as secondary input sources to different voice signals And noise signals can be uniformly collected.
  • the first microphone 111 of the first smart hearing device 110 and the third microphone 121 of the second smart hearing device 120 are paired with each other, and the second microphone of the first smart hearing device 110
  • the microphone 112 and the fourth microphone 122 of the second smart hearing device 120 are characterized in that they are paired with each other, and a microphone paired with any one microphone may also be automatically set according to a setting applied to one microphone. Can.
  • the volume of the first microphone 111 is increased to a predetermined value by the control parameter, the volume of the paired third microphone 121 is also automatically adjusted to a constant value.
  • the power of the second microphone 112 of the first smart hearing device 110 is turned on, the power of the second microphone 122 of the paired second smart hearing device 120 is also automatically turned on. can be (on).
  • the first smart hearing device 110 and the second smart hearing device 120 include on/off switches 113 and 123, and the on/off switches 113 and 123 are the first smart
  • the power of the hearing device 110 and the second smart hearing device 120 is turned on or off.
  • the first smart hearing device 110 and the second smart hearing device 120 are turned on or off ( off).
  • the other paired smart hearing device is also turned on. It can be (on) or off (off).
  • the first smart hearing device 110 and the second smart hearing device 120 include charging modules 115 and 125 and speakers 114 and 124.
  • the first smart hearing device 110 and the second smart hearing device 120 are rechargeable devices, and may include charging modules (Charging Terminals 115, 125).
  • the first smart hearing device 110 and the second smart hearing device 120 include a rechargeable lithium-ion polymer battery and a battery meter of a mobile device ), and may charge the battery through the charging modules 115 and 125.
  • first smart hearing device 110 and the second smart hearing device 120 provide sound converted from a digital signal to an analog signal (sound energy) through the speakers 114 and 124 can do.
  • the first smart hearing device 110 and the second smart hearing device 120 include a first microphone 111, a second microphone 112, a third microphone 121, Set the first control parameter and the second control parameter according to the information related to the analysis result to the voice signal and noise signal collected from the fourth microphone 122, and balance at least one of amplification value change, volume control, and frequency control
  • the converted digital signal can be converted into an analog signal to provide sound to the user through the speakers 114 and 124.
  • FIG. 3 is a block diagram showing the detailed configuration of a first smart hearing device according to an embodiment of the present invention
  • FIG. 4 is a block diagram showing the detailed configuration of a second smart hearing device according to an embodiment of the present invention.
  • first smart hearing device 110 is described as being worn on the user's left ear and the second smart hearing device 120 is worn on the user's right ear, the position and shape of each device are not limited. .
  • the first smart hearing device transmits a first audio signal including a voice signal and a noise signal received from a first microphone and a second microphone formed on one side, and a first The first control parameter based on the result information analyzed for the audio signal is set to provide sound on one side.
  • the first smart hearing device 110 includes a first microphone 111, a second microphone 112, a control unit 116, a transmitting unit 117 and a receiving unit 118 do.
  • the first microphone 111 may receive a user's voice signal. Also, the second microphone 112 may receive a noise signal around the user.
  • the first microphone 111 and the second microphone 112 are located at different distances based on the user's mouth.
  • the first microphone 111 may be positioned adjacent to the user's mouth to receive a voice signal based on the user's voice
  • the second microphone 112 is relatively compared to the first microphone 111. It can be located as far as possible from the user's mouth to receive a noise signal based on ambient noise.
  • the first microphone 111 and the second microphone 112 are included in different locations in the first smart hearing device 110 according to an embodiment of the present invention, but the first microphone 111 and the second microphone (The direction in which the tool (or hole) of 112) is directed is characterized by collecting uniform voice signals and noise signals, and accordingly the same for proper noise reduction.
  • the appropriate noise may mean noise and numerical values other than the voice signal and noise signal collected at the location of the microphone.
  • the first microphone 111 and the second microphone 112 convert the sensed voice signal and noise signal into an electrical signal, and provide the converted signal information to the transmitter 117 or the controller 116.
  • the transmitter 117 may transmit a first audio signal including voice signals and noise signals received from the first microphone 111 and the second microphone 112.
  • the transmitter 117 is a mobile device possessed by a user through any one of a short range wireless communication module of Bluetooth, Wi-Fi (Wireless Fidelity), Zigbee, or BLE (Bluetooth Low Energy).
  • the first audio signal including the voice signal and the noise signal may be transmitted to 130.
  • the receiver 118 may receive the result information from the mobile device 130 in response to the first audio signal being processed by the external server 140.
  • the receiving unit 118 receives information related to an analysis result analyzed through a machine learning technique for a first audio signal from the external server 140 from the external server 140 or the mobile device 130. I can receive it.
  • the external server 140 is a first including a voice signal and a noise signal received from the mobile device 130 carried by the user through at least one of the machine learning technique of the support vector machine (SVM) and kMeans method Analyze audio signals.
  • SVM support vector machine
  • kMeans method Analyze audio signals.
  • the machine learning technique is not limited to the above-described SVM or kMeans method, and any machine learning technique using an audio signal is irrelevant.
  • the transmitting unit 117 and the receiving unit 118 of the first smart hearing device 110 according to an embodiment of the present invention, as well as a short-range wireless communication module, a cellular telephone network, a wireless local area network (LAN) And/or a wireless network, such as a metropolitan area network (MAN), an intranet, and/or a network, such as the Internet, also called the World Wide Web (WWW), and other devices by wireless communication.
  • a short-range wireless communication module such as a cellular telephone network, a wireless local area network (LAN) And/or a wireless network, such as a metropolitan area network (MAN), an intranet, and/or a network, such as the Internet, also called the World Wide Web (WW), and other devices by wireless communication.
  • LAN wireless local area network
  • MAN metropolitan area network
  • intranet such as the Internet
  • WWW World Wide Web
  • Such wireless communication includes Global System for Mobile Communications (GSM), Enhanced Data GSM Environment (EDGE), wideband code division multiple access (W-CDMA), code division multiple access (CDMA), time division multiple access (TDMA), and Bluetooth ( Bluetooth), (Wireless Fidelity (Wi-Fi), Voice over Internet Protocol (VoIP), Wi-MAX, Long Term Evolution (LTE) (such as IEEE 802.11a, IEEE 802.11b, IEEE 802.11g and/or IEEE 802.11n) E-mail protocols such as Zigbee, Z-wave, Bluetooth Low Energy (BLE), Beacon, Internet Message Access Protocol (IMAP) and/or Post Office Protocol (POP), eXtensible Messaging and Presence XMPP Protocol, SIMPLE (Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS (Instant Messaging and Presence Service), SMS (Short Message Service), and LoRa, or other communication protocols that were not developed at the time of filing It can contain.
  • the controller 116 may set the first control parameter based on the result information.
  • the first smart hearing device 110 may basically include the left hearing data (Personal Hearing Profile) of the user using the hearing aid.
  • the controller 116 may include the user's left hearing data including a volume and frequency preferred by the user, and an amplification value, volume, and frequency range that does not feel heterogeneous.
  • the above-described data may be stored and maintained in the mobile device 130 or the external server 140.
  • the hearing data is not limited to items such as amplification values, volumes and frequencies, or numerical values.
  • the hearing data is nonlinear compression information that amplifies small sounds loudly and reduces small sounds loudly, directional information that can accurately pick up the direction in which the sound is heard, and amplifies the received sound so that it can be heard well without other noise.
  • the user may further include a user preference and a numerical value for at least one or more of feedback information to help and noise reduction information to reduce noise.
  • the control unit 116 of the first smart hearing device 110 is at least one of the external server 130 and the mobile device 140 through the left hearing data of the user and the receiving unit 118 Based on the information related to the analysis result received from the external terminal, a personalized hearing service may be provided by setting at least one or more first control parameters among amplification value change, volume control, and frequency control according to environmental changes and noise.
  • control unit 116 sets a first control parameter to a voice signal and a noise signal of a digital signal received from the first microphone 111 and the second microphone 112 to change the amplification value, adjust the volume, and Adjusting the balance of at least one of the frequency adjustment, the digital signal for the adjusted signal can be converted to an analog signal and transmitted to the user.
  • At least one or more of the amplification value, volume, and frequency according to the first audio signal received from the first microphone 111 and the second microphone 112 is outside a preset range that the user presets or prefers. Can. This may be caused by any one of a factor according to a change in the environment in which the user is located, a factor according to a change in voice of the user, and a mechanical error. Accordingly, the controller 116 may adjust the balance of at least one of amplification values, volume and frequency of the voice signal and the noise signal based on the information related to the analysis result, and the digital signal according to the adjusted balance may be an analog signal ( Acoustic energy).
  • an analog signal Acoustic energy
  • the first smart hearing device 110 includes a first signal including a voice signal and a noise signal received from the first microphone 111 and the second microphone 112 according to a user's environment change.
  • a first signal including a voice signal and a noise signal received from the first microphone 111 and the second microphone 112 according to a user's environment change.
  • a second smart hearing device transmits a second audio signal including a voice signal and a noise signal received from a third microphone and a fourth microphone formed on the other side, and a second The second control parameter based on the result information analyzed for the audio signal is set to provide the sound on the other side.
  • the second smart hearing device 120 includes a third microphone 121, a fourth microphone 122, a control unit 126, a transmission unit 127, and a reception unit 128. .
  • the third microphone 121 may receive a user's voice signal. Also, the fourth microphone 122 may receive a noise signal around the user.
  • the third microphone 121 and the fourth microphone 122 are located at different distances based on the user's mouth.
  • the third microphone 121 may be positioned adjacent to the user's mouth to receive a voice signal based on the user's voice
  • the fourth microphone 122 is relatively compared to the third microphone 121. It can be located as far as possible from the user's mouth to receive a noise signal based on ambient noise.
  • the third microphone 121 and the fourth microphone 122 are included in different locations in the second smart hearing device 120 according to an embodiment of the present invention, but the third microphone 121 and the fourth microphone (The direction in which the tool (or hole) of 122) is directed is characterized by collecting the uniform voice signal and noise signal, and thus the same for proper noise reduction.
  • the appropriate noise may mean noise and numerical values other than the voice signal and noise signal collected at the location of the microphone.
  • the third microphone 121 and the fourth microphone 122 convert the sensed voice signal and noise signal into an electrical signal, and provide the converted signal information to the transmitter 127 or the controller 126.
  • the transmitter 127 may transmit a second audio signal including voice signals and noise signals received from the third microphone 121 and the fourth microphone 122.
  • the transmitting unit 127 is a mobile device possessed by a user through any one of a short range wireless communication module of Bluetooth, Wireless Fidelity (Wi-Fi), Zigbee, or Bluetooth Low Energy (BLE).
  • a second audio signal including a voice signal and a noise signal may be transmitted to 130.
  • the receiver 128 may receive the result information from the mobile device 130 in response to the second audio signal being processed by the external server 140.
  • the receiving unit 128 receives information related to an analysis result analyzed through a machine learning technique on a second audio signal from the external server 140 from the external server 140 or the mobile device 130. I can receive it.
  • the external server 140 includes a voice signal and a noise signal received from the mobile device 130 carried by the user through at least one of a machine learning technique of a support vector machine (SVM) and a kMeans method. Analyze audio signals.
  • SVM support vector machine
  • kMeans kMeans
  • the transmitting unit 127 and the receiving unit 128 of the second smart hearing device 120 according to an embodiment of the present invention, as well as a short-range wireless communication module, a cellular telephone network, a wireless local area network (LAN) And/or a wireless network, such as a metropolitan area network (MAN), an intranet, and/or a network, such as the Internet, also called the World Wide Web (WWW), and other devices by wireless communication.
  • a short-range wireless communication module such as a cellular telephone network, a wireless local area network (LAN) And/or a wireless network, such as a metropolitan area network (MAN), an intranet, and/or a network, such as the Internet, also called the World Wide Web (WW), and other devices by wireless communication.
  • LAN wireless local area network
  • MAN metropolitan area network
  • intranet such as the Internet
  • WWW World Wide Web
  • Such wireless communication includes Global System for Mobile Communications (GSM), Enhanced Data GSM Environment (EDGE), wideband code division multiple access (W-CDMA), code division multiple access (CDMA), time division multiple access (TDMA), and Bluetooth ( Bluetooth), Wireless Fidelity (Wi-Fi) (such as IEEE 802.11a, IEEE 802.11b, IEEE 802.11g and/or IEEE 802.11n), Voice over Internet Protocol (VoIP), Wi-MAX, Long Term Evolution (LTE) E-mail protocols such as Zigbee, Z-wave, Bluetooth Low Energy (BLE), Beacon, Internet Message Access Protocol (IMAP) and/or Post Office Protocol (POP), eXtensible Messaging and Presence XMPP Protocol, SIMPLE (Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS (Instant Messaging and Presence Service), SMS (Short Message Service), and LoRa, or other communication protocols that were not developed at the time of filing It can contain.
  • GSM Global System
  • the control unit 126 may set the second control parameter based on the result information.
  • the second smart hearing device 120 may basically include the right hearing data (Personal Hearing Profile) of the user using the hearing aid.
  • the controller 126 may include a user's right hearing data including a volume and frequency preferred by the user, and an amplification value, volume, and frequency range that does not feel heterogeneous.
  • the above-described data may be stored and maintained in the mobile device 130 or the external server 140.
  • the hearing data is not limited to items such as amplification values, volumes and frequencies, or numerical values.
  • the hearing data is nonlinear compression information that amplifies small sounds loudly and reduces small sounds loudly, directional information that can accurately pick up the direction in which the sound is heard, and amplifies the received sound so that it can be heard well without other noise.
  • the user may further include a user preference and a numerical value for at least one or more of feedback information to help and noise reduction information to reduce noise.
  • the control unit 126 of the second smart hearing device 120 according to an embodiment of the present invention, the right hearing data of the user, and at least one of the external server 130 and the mobile device 140 through the receiving unit 128 Based on the information related to the analysis result received from the external terminal, it is possible to provide a customized hearing service by setting at least one or more second control parameters among amplification value change, volume control and frequency control according to environmental changes and noise.
  • control unit 126 sets a second control parameter to a voice signal and a noise signal of a digital signal received from the third microphone 121 and the fourth microphone 122 to change the amplification value, adjust the volume, and Adjusting the balance of at least one of the frequency adjustment, the digital signal for the adjusted signal can be converted to an analog signal and transmitted to the user.
  • At least one or more of the amplification value, volume, and frequency according to the second audio signal received from the third microphone 121 and the fourth microphone 122 is outside a preset range that the user presets or prefers. Can. This may be caused by any one of a factor according to a change in the environment in which the user is located, a factor according to a change in voice of the user, and a mechanical error. Accordingly, the control unit 126 may adjust the balance of at least one of amplification values, volume and frequency of the voice signal and the noise signal based on the information related to the analysis result, and the digital signal according to the adjusted balance may be an analog signal ( Acoustic energy).
  • an analog signal Acoustic energy
  • the second smart hearing device 120 includes a second signal including a voice signal and a noise signal received from the third microphone 121 and the fourth microphone 122 according to the user's environment change
  • a second signal including a voice signal and a noise signal received from the third microphone 121 and the fourth microphone 122 according to the user's environment change
  • 5, 6A and 6B show an example of application of a smart hearing device according to an embodiment of the present invention.
  • FIG. 5 illustrates an example of a user wearing a smart hearing device according to an embodiment of the present invention, as viewed from the top
  • FIG. 6A shows a first smart hearing device according to an embodiment of the present invention. An example of viewing the user from the left is illustrated
  • FIG. 6B illustrates an example of viewing the user wearing a second smart hearing device according to an embodiment from the right.
  • the user 10 wears the first smart hearing device 110 on the left ear and the second smart hearing device 120 on the right ear.
  • the user 10 can recognize environmental changes and noise changes according to the sound directionality of the left and right sides in a more three-dimensional manner. Hearing aid services are available.
  • the first smart hearing device 110 is mounted on the left ear of the user 10, the first microphone 111 and the second microphone 112 is based on the user's mouth Can be located at different distances.
  • the first microphone 111 is located closer to the user's mouth than the second microphone 112 and can receive a voice signal based on the user's voice.
  • the second microphone 112 is located as far as possible from the user's mouth as compared to the first microphone 111, and may receive a noise signal based on the user's location.
  • the first microphone 111 and the second microphone 112 are located near or away from the user's mouth based on the on/off switch 113.
  • the first microphone 111 and the second microphone 112 are included in different locations in the first smart hearing device 110 according to an embodiment of the present invention, but the first microphone 111 and the second microphone 112
  • the direction of the tool (or hole) of is characterized by collecting the uniform voice signal and noise signal, and the same for proper noise reduction accordingly.
  • the second smart hearing device 120 is mounted on the right ear of the user 10, the third microphone 121 and the fourth microphone 122 is based on the user's mouth Can be located at different distances.
  • the third microphone 121 is positioned closer to the user's mouth than the fourth microphone 122 and can receive a voice signal based on the user's voice.
  • the fourth microphone 122 is located as far as possible from the user's mouth compared to the third microphone 121, and may receive a noise signal based on ambient noise according to the user's location.
  • the third microphone 121 and the fourth microphone 122 may be confirmed to be located near or far away from the user's mouth based on the on/off switch 123.
  • the third microphone 121 and the fourth microphone 122 are included in different locations in the second smart hearing device 120 according to an embodiment of the present invention, but the third microphone 121 and the fourth microphone 122
  • the direction of the tool (or hole) of is characterized by collecting the uniform voice signal and noise signal, and the same for proper noise reduction accordingly.
  • FIG. 7 is a flowchart illustrating an operation process between a first smart hearing device, a second smart hearing device, a mobile device, and an external server according to an embodiment of the present invention.
  • step 701 the first smart hearing device 110 and the second smart hearing device 120 are respectively mounted on the user's left ear and right ear to collect a user's voice signal and surrounding noise signals. Can.
  • the mobile device 130 includes a first audio signal including a voice signal and a noise signal from the first smart hearing device 110 formed on the left side and the second smart hearing device 1120 formed on the right side, and The second audio signal is received, and the first audio signal and the second audio signal are transmitted to the external server 140.
  • the first smart hearing device 110 and the second smart hearing device 120 may transmit the first audio signal and the second audio signal to the mobile device 130 through Bluetooth communication, respectively, and the mobile device 130 ) May transmit the first audio signal and the second audio signal to the external server 140 through wireless data communication of Ethernet/3G, 4G, and 5G.
  • the external server 140 receives the first audio signal and the second audio signal received from the mobile device 130 using at least one of a machine learning technique of a support vector machine (SVM) and a kMeans method. Analyze the audio signal and generate information related to the analysis result.
  • SVM support vector machine
  • the external server 140 analyzes the first audio signal and the second audio signal through a machine learning technique to detect environmental changes such as a user environment and a working environment according to a user's location, and amplifies the environmental changes. It is possible to detect a change in the numerical value of at least one of the value, volume and frequency. Accordingly, the external server 140 acquires at least one or more items and numerical values among amplification values, volumes, and frequencies outside the appropriate range according to the user's hearing data, and information and appropriate ranges for the acquired items and numerical values It is possible to generate an analysis result including information on a numerical value change for my entry.
  • steps 704 and 705 performed on the external server 140 may be performed on the mobile device 130, and the mobile device 130 may include at least one of a support vector machine (SVM) and a kMeans method.
  • SVM support vector machine
  • the first audio signal and the second audio signal may be analyzed using a machine learning technique to generate information related to the analysis result.
  • step 706 the mobile device 130 receives the result information on the sound directionality analyzed by the machine learning technique (Machine Learning) from the external server 140.
  • machine learning technique Machine Learning
  • the mobile device 130 provides the result information to the first smart hearing device 110 and the second smart hearing device 120.
  • the mobile device 130 stores information related to the analysis result received from the external server 140 when there is no user's selection input, or the first smart hearing device 110 and the second smart hearing Device 120 (step 707). In another embodiment, in step 706, the mobile device 130 provides information related to the received analysis result through the display unit, and the first smart hearing device 110 and the second smart hearing device 120 according to a user's selection input Can be controlled (step 708).
  • each of the first smart hearing device 110 and the second smart hearing device 120 sets a first control parameter and a second control parameter due to result information received from the mobile device 130 to the user on the left side.
  • the sound and the sound on the right are provided (step 709).
  • the first smart hearing device 110 and the second smart hearing device 120 may first control parameters to the first audio signal and the second audio signal that are received by the microphone based on the information related to the received analysis result.
  • a second control parameter to adjust the balance of at least one of amplification value change, volume adjustment, and frequency adjustment, and convert a digital signal for the adjusted signal into an analog signal to provide a customized hearing aid service to the user.
  • the user may experience environmental changes, noise changes, and voice changes in three dimensions due to the left sound output through the first smart hearing device 110 and the right sound output through the second smart hearing device 120. Can be recognized.
  • the device described above may be implemented with hardware components, software components, and/or combinations of hardware components and software components.
  • the devices and components described in the embodiments include, for example, processors, controllers, arithmetic logic units (ALUs), digital signal processors (micro signal processors), microcomputers, field programmable arrays (FPAs), It may be implemented using one or more general purpose computers or special purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may perform an operating system (OS) and one or more software applications running on the operating system.
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of the software.
  • OS operating system
  • the processing device may access, store, manipulate, process, and generate data in response to the execution of the software.
  • a processing device may be described as one being used, but a person having ordinary skill in the art, the processing device may include a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that may include.
  • the processing device may include a plurality of processors or a processor and a controller.
  • other processing configurations such as parallel processors, are possible.
  • the software may include a computer program, code, instruction, or a combination of one or more of these, and configure the processing device to operate as desired, or process independently or collectively You can command the device.
  • Software and/or data may be interpreted by a processing device or to provide instructions or data to a processing device, of any type of machine, component, physical device, virtual equipment, computer storage medium or device. , Or may be permanently or temporarily embodied in the transmitted signal wave.
  • the software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and usable by those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks.
  • -Hardware devices specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Neurosurgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 일측에 형성된 제1 스마트 히어링 디바이스 및 타측에 형성된 제2 스마트 히어링 디바이스로부터 수신되는 오디오 신호를 분석하여 설정되는 제어 파라미터를 통해, 사용자가 좌측 및 우측의 소리 방향성에 따른 환경 변화와 소음 변화를 입체적으로 인지하도록 제공한다.

Description

환경 변화 및 소음 변화에 따른 적응형 입체 히어링 시스템 및 그 방법
본 발명은 환경 변화 및 소음 변화에 따른 적응형 입체 히어링 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 일측에 형성된 제1 스마트 히어링 디바이스 및 타측에 형성된 제2 스마트 히어링 디바이스로부터 수신되는 오디오 신호를 분석하여 설정되는 제어 파라미터를 통해, 좌측 및 우측의 소리 방향성에 따른 환경 변화와 소음 변화를 입체적으로 인지하도록 제공하는 기술에 관한 것이다.
최근에는 의공학적 기술의 도약적인 발전에 의하여 이전에 보청기를 착용하여 큰 도움을 받지 못하던 환자들이 적합한 보청기를 선정하여 착용함으로써, 훌륭한 청력 개선을 도모할 수 있게 되었다.
보청기는 의료기기 중에도, 늘 몸에 부착하여 사용하는 첨단 의료기기 이다. 보청기는 청력의 변화에 따라 꾸준히 관리를 받아야 하고, 습기와 귀 내 이물질로 인해 손상되는 부분에 대한 A/S를 받아야 한다. 따라서, 보청기는 의공학적 기술 중에서도 가장 중요한 기술 중의 하나라고 여겨진다.
기존의 보청기는 나팔형의 집음기의 형태였으나, 현재는 보통 음의 증폭을 돕는 전기보청기의 형태로 사용된다. 또한, 보청기는 유돌부에 장착하는 골도식이 있으나 대개는 기도식의 구조이며, 음파를 마이크로폰으로 받아 전기 진동으로 바꾸고, 이것을 확대하여 이어폰으로 다시 음파를 변환하여 귀에 들리게 한다.
최근에는 보다 강력한 보청기 전용 프로세서에 대한 연구가 진행되고 있다. 보청기 전용 프로세서는 기존의 프로세서에 비해 2배 이상 빨라진 처리 속도와 메모리를 탑재하고, 진화된 나노 기술로 작게 구성된 칩과 부품들로 구성된다.
다만, 기존의 보청기에 대한 기술은 난청인(이하에서는 ‘사용자’로 칭함)의 청력 데이터를 기반으로 설정된 것이므로, 사용자의 실시간 주변 소음에 대한 데이터를 적용하지 못한다는 한계가 존재하였다.
본 발명의 목적은 사용자의 우측 및 좌측 각각에 착용되는 제1 스마트 히어링 디바이스 및 제2 스마트 히어링 디바이스를 이용하여 좌측 및 우측의 소리 방향성에 따른 환경 변화와 소음 변화를 입체적으로 인지하도록 제공하고자 한다.
또한, 본 발명의 목적은 제1 스마트 히어링 디바이스에 포함된 제1 마이크 및 제2 마이크와 제2 스마트 히어링 디바이스에 포함된 제3 마이크 및 제4 마이크를 통해 사용자의 음성 신호와 소음 신호를 인지함으로써, 주변 소리를 보다 입체적으로 수집하고자 한다.
또한, 본 발명의 목적은 분석 결과에 따라 제1 스마트 히어링 디바이스 및 제2 스마트 히어링 디바이스의 서로 다른 제어 파라미터를 설정하고자 한다.
본 발명의 실시예에 따른 적응형 입체 히어링 시스템은 일측에 형성된 제1 마이크 및 제2 마이크로부터 수신되는 음성 신호 및 소음 신호를 포함하는 제1 오디오 신호를 전달하고, 상기 제1 오디오 신호에 대해 분석된 결과 정보로 인한 제1 제어 파라미터를 설정하여 일측의 소리를 제공하는 제1 스마트 히어링 디바이스, 타측에 형성된 제3 마이크 및 제4 마이크로부터 수신되는 음성 신호 및 소음 신호를 포함하는 제2 오디오 신호를 전달하고, 상기 제2 오디오 신호에 대해 분석된 결과 정보로 인한 제2 제어 파라미터를 설정하여 타측의 소리를 제공하는 제2 스마트 히어링 디바이스, 상기 제1 오디오 신호 및 상기 제2 오디오 신호를 외부로 전달하고, 상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스를 제어하는 모바일 디바이스 및 상기 제1 오디오 신호와 상기 제2 오디오 신호에 머신러닝(Machine Learning) 기법을 적용하여 분석되는 소리 방향성에 대한 결과 정보를 전송하는 외부 서버를 포함한다.
상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각은 사용자의 입 부근에 위치하는 상기 제1 마이크 및 상기 제3 마이크를 포함하고, 상기 사용자의 입을 기준으로 이격거리에 위치된 상기 제2 마이크 및 상기 제4 마이크를 포함할 수 있다.
상기 제1 마이크 및 상기 제3 마이크는 일측 및 타측에서 사용자의 음성 신호를 수집하고, 상기 제2 마이크 및 상기 제4 마이크는 일측의 소음 신호 및 타측의 소음 신호를 수집할 수 있다.
상기 제1 마이크와 상기 제3 마이크, 그리고 상기 제2 마이크와 상기 제4 마이크 각각은 서로 페어링되며, 어느 하나의 마이크에 적용된 설정에 따라 상기 어느 하나의 마이크와 페어링된 마이크 또한 자동 설정될 수 있다.
상기 제1 스마트 히어링 디바이스는 사용자의 청력 데이터와 상기 모바일 디바이스로부터 수신된 상기 결과 정보에 기초하여 환경 변화에 따른 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 상기 제1 제어 파라미터를 설정하여 사용자 맞춤형으로 상기 일측의 소리를 제공하며, 상기 제2 스마트 히어링 디바이스는 사용자의 청력 데이터와 상기 모바일 디바이스로부터 수신된 상기 결과 정보에 기초하여 환경 변화에 따른 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 상기 제2 제어 파라미터를 설정하여 사용자 맞춤형으로 상기 타측의 소리를 제공할 수 있다.
상기 제1 스마트 히어링 디바이스는 상기 제1 마이크 및 상기 제2 마이크로부터 수신되는 디지털 신호의 상기 음성 신호 및 상기 소음 신호에, 상기 제1 제어 파라미터를 설정하여 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 밸런스를 조절하고, 상기 조절된 신호에 대한 디지털 신호를 아날로그 신호로 변환하여 상기 사용자에게 상기 일측의 소리를 제공하며, 상기 제2 스마트 히어링 디바이스는 상기 제3 마이크 및 상기 제4 마이크로부터 수신되는 디지털 신호의 상기 음성 신호 및 상기 소음 신호에, 상기 제2 제어 파라미터를 설정하여 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 밸런스를 조절하고, 상기 조절된 신호에 대한 디지털 신호를 아날로그 신호로 변환하여 상기 사용자에게 상기 타측의 소리를 제공할 수 있다.
상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각은 사용자에게 사용자 맞춤형의 상기 일측의 소리 및 상기 타측의 소리를 각기 제공하여 좌측 및 우측의 소리 방향성에 따른 환경 변화와 소음 변화를 입체적으로 인지하도록 제공할 수 있다.
상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각은 사용자의 좌측 청력 데이터 및 우측 청력 데이터에 기반하여, 서로 다른 파라미터 값의 상기 제1 제어 파라미터 및 상기 제2 제어 파라미터를 설정할 수 있다.
상기 모바일 디바이스는 근거리 무선 통신 모듈을 통해 상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스로부터 수신된 상기 제1 오디오 신호 및 상기 제2 오디오 신호를 상기 외부 서버로 전송하고, 상기 외부 서버로부터 수신되는 상기 결과 정보를 상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스로 전송할 수 있다.
상기 모바일 디바이스는 사용자의 선택 입력에 따라 상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각의 전원 온(On)/오프(Off), 신호 수집 및 파라미터 설정 중 어느 하나 이상을 제어할 수 있다.
상기 외부 서버는 SVM(Support Vector Machine) 및 kMeans 방식 중 어느 하나의 상기 머신러닝 기법을 통해 상기 제1 오디오 신호 및 상기 제2 오디오 신호를 분석하여 환경 변화 또는 주변 소음에 따른 소리 방향성에 대한 상기 결과 정보를 생성할 수 있다.
상기 제1 스마트 히어링 디바이스는 사용자의 음성 신호를 수신하는 상기 제1 마이크, 사용자 주변의 소음 신호를 수신하는 상기 제2 마이크, 상기 제1 마이크 및 상기 제2 마이크로부터 수신된 상기 음성 신호 및 상기 소음 신호를 포함하는 제1 오디오 신호를 전송하는 전송부, 상기 외부 서버에 의해 상기 제1 오디오 신호가 처리됨에 응답하여, 상기 모바일 디바이스로부터 상기 결과 정보를 수신하는 수신부 및 상기 결과 정보에 기초하여 상기 제1 제어 파라미터를 설정하는 제어부를 포함할 수 있다.
상기 제2 스마트 히어링 디바이스는 사용자의 음성 신호를 수신하는 상기 제3 마이크, 사용자 주변의 소음 신호를 수신하는 상기 제4 마이크, 상기 제3 마이크 및 상기 제4 마이크로부터 수신된 상기 음성 신호 및 상기 소음 신호를 포함하는 제2 오디오 신호를 전송하는 전송부, 상기 외부 서버에 의해 상기 제2 오디오 신호가 처리됨에 응답하여, 상기 모바일 디바이스로부터 상기 결과 정보를 수신하는 수신부 및 상기 결과 정보에 기초하여 상기 제2 제어 파라미터를 설정하는 제어부를 포함할 수 있다.
본 발명의 실시예에 따른 환경 변화 및 소음에 따라 적응하며 입체적인 소리를 제공하는 적응형 입체 히어링 시스템 내 모바일 디바이스의 동작 방법에 있어서, 일측에 형성된 제1 스마트 히어링 디바이스와 타측에 형성된 제2 스마트 히어링 디바이스로부터 음성 신호 및 소음 신호를 포함하는 제1 오디오 신호와 제2 오디오 신호를 수신하는 단계, 상기 제1 오디오 신호 및 상기 제2 오디오 신호를 외부 서버로 전송하는 단계, 상기 외부 서버로부터 머신러닝(Machine Learning) 기법에 의해 분석되는 소리 방향성에 대한 결과 정보를 수신하는 단계 및 상기 결과 정보를 상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스로 제공하는 단계를 포함하되, 상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각은 상기 결과 정보로 인한 제1 제어 파라미터 및 제2 제어 파라미터를 설정하여 사용자에게 일측의 소리 및 타측의 소리를 제공한다.
본 발명의 실시예에 따르면, 사용자의 우측 및 좌측 각각에 착용되는 제1 스마트 히어링 디바이스 및 제2 스마트 히어링 디바이스를 이용하여 좌측 및 우측의 소리 방향성에 따른 환경 변화와 소음 변화에서의 맞춤형 보청 서비스를 제공하고, 그에 따른 보청기 사용의 편의성을 향상시킬 수 있다.
또한, 본 발명의 실시예에 따르면, 제1 스마트 히어링 디바이스에 포함된 제1 마이크 및 제2 마이크와 제2 스마트 히어링 디바이스에 포함된 제3 마이크 및 제4 마이크를 통해 사용자의 음성 신호와 소음 신호를 인지함으로써, 주변 소리를 보다 입체적으로 수집하고, 그에 따른 적정 소음을 제거할 수 있다.
도 1은 본 발명의 실시예에 따른 적응형 입체 히어링 시스템의 구성을 도시한 것이다.
도 2a 및 도 2b는 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스 및 제2 스마트 히어링 디바이스의 제품 예를 도시한 것이다.
도 3는 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스의 세부 구성을 블록도로 도시한 것이다.
도 4는 본 발명의 실시예에 따른 제2 스마트 히어링 디바이스의 세부 구성을 블록도로 도시한 것이다.
도 5, 도 6a 및 도 6b는 본 발명의 실시예에 따른 스마트 히어링 디바이스의 적용 예를 도시한 것이다.
도 7은 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스, 제2 스마트 히어링 디바이스, 모바일 디바이스 및 외부 서버 간의 동작 과정을 흐름도로 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 환경 변화 및 소음 변화에 따른 적응형 입체 히어링 시스템 및 그 방법에 관한 기술로, 사용자의 좌측 및 우측 각각에 착용되는 제1 스마트 히어링 디바이스 및 제2 스마트 히어링 디바이스를 이용하며, 제1 스마트 히어링 디바이스에 포함된 제1 마이크 및 제2 마이크와 제2 스마트 히어링 디바이스에 포함된 제3 마이크 및 제4 마이크를 통해 수신되는 좌측의 제1 오디오 신호 및 우측의 제2 오디오 신호에 대한 분석 결과에 기초하여 제어 파라미터(parameter)를 설정함으로써, 좌측 및 우측의 소리 방향성에 따른 환경 변화와 소음 변화를 사용자가 입체적으로 인지하도록 제공한다.
이 때, 본 발명의 실시예에 따른 스마트 히어링 디바이스는 청각 능력이 떨어지는 사용자가 들을 수 있도록 증폭된 소리를 제공하는 보청기이다.
이하에서는 환경 변화 및 소음 변화에 따라 실시간으로 음성 신호 및 소음 신호의 증폭값, 볼륨 및 주파수 중 적어도 어느 하나 이상을 제어함으로써, 사용자에게 맞춤형 보청 서비스에 따른 편의를 향상시킬 수 있는 본 발명의 실시예에 따른 적응형 입체 히어링 시스템 및 그 방법에 대해 도 1 내지 도 7을 참조하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 적응형 입체 히어링 시스템의 구성을 도시한 것이다.
도 1을 참조하면, 본 발명의 실시예에 따른 적응형 입체 히어링 시스템은 일측에 형성된 제1 스마트 히어링 디바이스 및 타측에 형성된 제2 스마트 히어링 디바이스로부터 수신되는 오디오 신호를 분석하여 설정되는 제어 파라미터를 통해, 좌측 및 우측의 소리 방향성에 따른 환경 변화와 소음 변화를 입체적으로 인지하도록 제공한다.
이를 위해, 본 발명의 실시예에 따른 적응형 입체 히어링 시스템(100)은 제1 스마트 히어링 디바이스(110), 제2 스마트 히어링 디바이스(120), 모바일 디바이스(130) 및 외부 서버(140)를 포함한다.
제1 스마트 히어링 디바이스(110)는 일측에 형성된 제1 마이크 및 제2 마이크로부터 수신되는 음성 신호 및 소음 신호를 포함하는 제1 오디오 신호를 전달하고, 제1 오디오 신호에 대해 분석된 결과 정보로 인한 제1 제어 파라미터를 설정하여 일측의 소리를 제공한다.
제2 스마트 히어링 디바이스(120)는 타측에 형성된 제3 마이크 및 제4 마이크로부터 수신되는 음성 신호 및 소음 신호를 포함하는 제2 오디오 신호를 전달하고, 제2 오디오 신호에 대해 분석된 결과 정보로 인한 제2 제어 파라미터를 설정하여 타측의 소리를 제공한다.
제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)는 사용자의 입 부근에 위치하는 제1 마이크 및 제3 마이크를 포함하고, 사용자의 입을 기준으로 이격거리에 위치된 제2 마이크 및 제4 마이크를 포함할 수 있다. 이 때, 제1 마이크 및 제3 마이크는 일측 및 타측에서 사용자의 음성 신호를 수집하고, 제2 마이크 및 제4 마이크는 일측의 소음 신호 및 타측의 소음 신호를 수집할 수 있다.
보다 상세하게는, 제1 스마트 히어링 디바이스(110)는 사용자의 좌측 귀에 장착될 수 있으며, 사용자의 입 부근에 위치하는 제1 마이크를 통해 좌측에서의 사용자의 음성 신호를 수신하고, 사용자의 입을 기준으로 이격거리에 위치된 제2 마이크를 통해 좌측에서의 소음 신호를 수신할 수 있다. 또한, 제2 스마트 히어링 디바이스(120)는 사용자의 우측 귀에 장착될 수 있으며, 사용자의 입 부근에 위치하는 제3 마이크를 통해 우측에서의 사용자의 음성 신호를 수신하고, 사용자의 입을 기준으로 이격거리에 위치된 제4 마이크를 통해 우측에서의 소음 신호를 수신할 수 있다.
이 때, 제1 스마트 히어링 디바이스(110)의 제1 마이크와 제2 스마트 히어링 디바이스(120)의 제3 마이크, 및 제1 스마트 히어링 디바이스(110)의 제2 마이크와 제2 스마트 히어링 디바이스(120)의 제4 마이크 각각은 서로 페어링되는 것을 특징으로 하며, 어느 하나의 마이크에 적용된 설정에 따라 어느 하나의 마이크와 페어링된 마이크 또한 자동 설정될 수 있다. 예를 들면, 제1 제어 파라미터에 의해 제1 마이크의 볼륨이 조절되는 경우, 페어링된 제3 마이크의 볼륨 또한 자동 조절이 가능하다. 또 다른 예로, 제1 스마트 히어링 디바이스(110)의 제2 마이크 전원이 온(on)되는 경우, 페어링된 제2 스마트 히어링 디바이스(120)의 제4 마이크 전원 또한 자동으로 온(on)될 수 있다.
제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120) 각각은 사용자의 좌측 청력 데이터 및 우측 청력 데이터에 기반하여, 서로 다른 파라미터 값의 제1 제어 파라미터 및 제2 제어 파라미터를 설정할 수 있다.
실시 예로, 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120) 각각은 보청기를 사용하는 사용자의 좌측 및 우측에 대한 청력 데이터(Personal Hearing Profile)를 포함할 수 있다. 예를 들면, 사용자의 좌측과 우측의 청력 데이터가 상이할 수 있으므로, 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120) 각각은 사용자가 선호하는 볼륨, 인지 가능한 특정 볼륨, 특정 주파수와, 이질감을 느끼지 않을 정도의 증폭값, 볼륨 및 주파수 범위를 포함하는 사용자 맞춤형의 청력 데이터를 포함할 수 있다. 이 때, 사용자의 청력 데이터는 모바일 디바이스(130) 및 외부 서버(140)에도 저장되어 유지될 수 있다.
다만, 상기 청력 데이터는 증폭값, 볼륨 및 주파수 등의 항목 또는 수치값에 한정되지 않는다. 예를 들면, 상기 청력 데이터는 작은 소리는 크게 증폭해주고 큰 소리는 작게 줄여주는 비선형 압축 정보, 소리가 들리는 방향을 정확히 잡아낼 수 있는 방향성 정보, 마이크로 수신된 소리를 증폭해 다른 잡음 없이 잘 들을 수 있도록 도와주는 피드백 정보 및 소음을 줄여주는 소음 제거 정보 중 적어도 어느 하나 이상의 정보에 대한 사용자의 선호도 및 수치값을 더 포함할 수 있다.
본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)는 사용자의 청력 데이터와, 모바일 디바이스(130)로부터 수신되는 분석된 소리 방향성에 대한 결과 정보에 기초하여, 환경 변화 및 소음 변화에 따른 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 제1 제어 파라미터 및 제2 파라미터를 설정하여 좌측 및 우측에서의 맞춤형 보청 서비스를 제공할 수 있다.
보다 상세하게는, 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)는 사용자의 청력 데이터와 모바일 디바이스(130)로부터 수신되는 분석된 소리 방향성에 대한 결과 정보에 기초하여 환경 변화에 따른 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 제1 제어 파라미터 및 제2 제어 파라미터를 설정하여 사용자 맞춤형으로 우측 및 좌측의 소리를 제공할 수 있다.
실시 예로, 제1 스마트 히어링 디바이스(110)는 제1 마이크 및 제2 마이크로부터 수신되는 디지털 신호의 음성 신호 및 소음 신호에, 제1 제어 파라미터를 설정하여 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 밸런스를 조절하고, 조절된 신호에 대한 디지털 신호를 아날로그 신호로 변환하여 사용자에게 좌측의 소리로 전달할 수 있다.
다른 예로, 제2 스마트 히어링 디바이스(120)는 제3 마이크 및 제4 마이크로부터 수신되는 디지털 신호의 음성 신호 및 소음 신호에, 제2 제어 파라미터를 설정하여 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 밸런스를 조절하고, 조절된 신호에 대한 디지털 신호를 아날로그 신호로 변환하여 사용자에게 우측의 소리로 전달할 수 있다.
예를 들면, 제1 마이크, 제2 마이크, 제3 마이크 및 제4 마이크로부터 수신된 오디오 신호에 따른 증폭값, 볼륨 및 주파수 중 적어도 어느 하나 이상이 사용자가 기 설정하거나, 선호하는 기준 범위를 벗어날 수 있다. 이는 사용자가 위치하는 환경 변화에 따른 요인, 사용자의 음성 변화에 따른 요인 또는 기계적 오류의 요인에 의한 것 수 있다. 이에 따라서, 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)는 제1 제어 파라미터 및 제2 제어 파라미터에 기초하여 오디오 신호에 대한 증폭값, 볼륨 및 주파수 중 적어도 어느 하나 이상의 밸런스를 조절하며, 조절된 밸런스에 따른 디지털 신호를 아날로그 신호(음향 에너지)로 변환시켜 소리로 사용자에게 제공할 수 있다.
즉, 본 발명의 실시예에 따른 적응형 입체 히어링 시스템(100)의 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)는 사용자의 환경 변화 및 소음 변화에 따라 제1 마이크, 제2 마이크, 제3 마이크 및 제4 마이크로부터 수신된 음성 신호 및 소음 신호를 포함하는 제1 오디오 신호 및 제2 오디오 신호를 모바일 디바이스(130)를 통해 외부 서버(140)로 전송하고, 분석 결과를 수신하여 사용자의 청력 데이터 및 분석 결과에 관련된 정보에 기초하여 자동으로 제1 오디오 신호 및 제2 오디오 신호에 대한 제1 제어 파라미터 및 제2 제어 파라미터를 설정함으로써, 사용자가 별도로 볼륨을 조절하거나, 주파수를 조절하지 않아도 변화하는 상황에 최적화되는 보청 서비스를 제공할 수 있으며, 보청기 사용의 편의성을 향상시킬 수 있다.
또한, 즉, 본 발명의 실시예에 따른 적응형 입체 히어링 시스템(100)의 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120) 각각은 사용자에게 맞춤형으로 좌측의 소리 및 우측의 소리를 제공하며, 좌측 및 우측의 소리 방향성에 따른 환경 변화와 소음 변화를 입체적으로 인지하도록 제공할 수 있다.
모바일 디바이스(130)는 제1 오디오 신호 및 상기 제2 오디오 신호를 외부로 전달하고, 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)를 제어한다.
도 1에 도시된 바와 같이, 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)와 모바일 디바이스(130)는 근거리 무선 통신 모듈인 블루투스(Bluetooth) 통신으로 데이터를 송수신할 수 있다. 예를 들면, 모바일 디바이스(130)는 블루투스 통신을 통해 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)로부터 음성 신호 및 소음 신호를 포함하는 제1 오디오 신호 및 제2 오디오 신호를 수신할 수 있다.
이후, 모바일 디바이스(130)는 Ethernet/3G, 4G, 5G의 무선 데이터 통신을 통해 제1 오디오 신호 및 제2 오디오 신호를 외부 서버(140)로 전송할 수 있다. 또한, 모바일 디바이스(130)는 무선 데이터 통신을 통해 외부 서버(140)로부터 분석 결과에 관련된 정보를 수신할 수 있으며, 블루투스 통신을 통해 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120) 각각으로 분석 결과에 관련된 정보를 제공할 수도 있다.
이 때, 본 발명의 실시예에 따른 적응형 입체 히어링 시스템(100) 내 모바일 디바이스(130)는 PC(personal computer), 노트북 컴퓨터(laptop computer), 스마트폰(smart phone), 태블릿(tablet), 웨어러블 컴퓨터(wearable computer) 등의 사용자가 소지하고 있는 단말 장치로, 웹/모바일 사이트 또는 전용 어플리케이션의 제어 하에 서비스 화면 구성, 데이터 입력, 데이터 송수신, 데이터 저장 등 서비스 전반의 동작을 수행할 수 있다. 또한, 모바일 디바이스(130)는 모바일 디바이스 내에 다운로드되어 설치된 어플리케이션(Application)을 일컫을 수 있다.
실시예에 따라서, 모바일 디바이스(130)는 디스플레이부(미도시)를 통해 다수의 영역들 각각에 위치하는 다수의 아이템들을 포함하는 화면을 표시할 수 있으며, 햅틱(haptic) 접촉 또는 택틸(tactile) 접촉에 기초하여 사용자로부터의 입력을 받아들이는 터치-감지 표면, 센서 또는 센서 집합에 기초하여 기능과 관련된 적어도 하나 이상의 아이템을 포함하는 또 다른 화면을 표시할 수 있다. 또한, 모바일 디바이스(130)는 키보드, 터치 디스플레이, 다이얼, 슬라이더 스위치, 조이스틱, 마우스 등의 입력부(미도시)를 통해 사용자의 선택 입력을 수신할 수 있으며, 오디오 모듈, 스피커 모듈 및 진동 모듈을 포함하는 출력부(미도시)를 통해 맞춤형 보청 서비스에 관련된 정보를 출력할 수도 있다.
모바일 디바이스(130)는 각각의 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)와 연동되어 사용자의 청력을 테스트하기 위한 화면과, 그에 따른 각종 리포트에 관련된 정보를 제공할 수 있다. 이 때, 상기 리포트는 시간에 따른 맞춤형 보청 서비스에 대한 히스토리(history) 지표 또는 기록일 수 있다.
또한, 모바일 디바이스(130)는 사용자 정보와, 사용자 정보에 대응하는 청력 데이터를 포함할 수 있으며, 사용자가 선호하는 증폭값, 볼륨 및 주파수 등의 적정 범위를 수치로 저장하여 유지할 수 있다. 나아가, 모바일 디바이스(130)는 각각의 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)로부터 수신되는 음성 신호 및 소음 신호와, 외부 서버(140)로부터 분석된 분석 결과에 관련된 정보를 매칭시켜 데이터베이스화할 수도 있다.
또한, 모바일 디바이스(130)는 사용자의 선택 입력에 따라 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120) 각각의 전원을 온(on) 또는 오프(off)할 수 있으며, 외부 서버(140)로부터 수신된 분석 결과에 관련된 정보에 기초하여 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)의 증폭값, 볼륨 및 주파수 등의 수치를 수동으로 제어할 수도 있다.
또한, 모바일 디바이스(130)는 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120) 각각에 부여되는 일련번호 또는 디바이스 정보와 페어링된 것으로, 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)의 배터리 관리, 분실 관리, 고장 관리를 수행할 수 있다.
외부 서버(140)는 제1 오디오 신호와 제2 오디오 신호에 머신러닝(Machine Learning) 기법을 적용하여 분석되는 소리 방향성에 대한 결과 정보를 전송한다.
예를 들면, 외부 서버(140)는 Ethernet/3G, 4G, 5G의 무선 데이터 통신을 통해 모바일 디바이스(130)와 통신할 수 있으며, SVM(Support Vector Machine) 및 kMeans 방식 중 적어도 어느 하나의 머신러닝 기법을 통해 모바일 디바이스(130)로부터 수신된 제1 오디오 신호 및 제2 오디오 신호를 분석하여 환경 변화 또는 주변 소음에 따른 소리 방향성에 대한 결과 정보를 생성할 수 있다.
외부 서버(140)는 머신러닝 기법을 통해 제1 오디오 신호 및 제2 오디오 신호를 분석하여 사용자의 위치에 따른 사용환경 및 작업환경 등의 환경 변화를 감지하고, 환경 변화에 따른 증폭값, 볼륨 및 주파수 중 적어도 어느 하나 이상의 수치값 변화를 감지할 수 있다. 이에 따라서, 외부 서버(140)는 사용자의 청력 데이터에 따른 적정 범위를 벗어나는 증폭값, 볼륨 및 주파수 중 적어도 어느 하나 이상의 항목 및 수치값을 획득하고, 획득된 항목 및 수치값에 대한 정보와 적정 범위 내 진입을 위한 수치값 변동 정보를 포함하는 분석 결과를 생성할 수 있다.
이후, 외부 서버(140)는 분석 결과에 관련된 정보를 Ethernet/3G, 4G, 5G의 무선 데이터 통신을 통해 모바일 디바이스(130)로 전송하며, 모바일 디바이스(130)는 분석 결과에 관련된 정보를 블루투스 통신을 통해 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120) 각각에 전송할 수 있다.
이 때, 외부 서버(140)는 사용자 정보와, 사용자 정보에 따른 청력 데이터 및 사용자가 선호하는 증폭값, 볼륨 및 주파수 등의 적정 범위를 수치화하여 저장하며, 사용자 정보에 대응하는 제1 스마트 히어링 디바이스(110), 제2 스마트 히어링 디바이스(120) 및 모바일 디바이스(130)를 매칭시켜 데이터베이스화하는 것을 기본으로 한다. 즉, 외부 서버(140)는 저장되어 유지되는 데이터를 바탕으로, 모바일 디바이스(130)로부터 수신된 오디오 신호를 분석하며, 분석 결과에 관련된 정보를 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120) 또는 모바일 디바이스(130)로 제공하고, 사용자 정보에 매칭시켜 데이터베이스화할 수 있다.
실시예에 따라서, 외부 서버(140)가 수행하는, 제1 오디오 신호 및 제2 오디오 신호에 머신러닝 기법을 적용하여 소리 방향성에 대한 결과 정보를 분석하는 과정은 모바일 디바이스(130)에서 수행될 수 있으며, 이러한 경우에 본 발명의 다른 실시예에 따른 적응형 입체 히어링 시스템(100)은 제1 스마트 히어링 디바이스(110), 제2 스마트 히어링 디바이스(120) 및 모바일 디바이스(130)만을 포함할 수 있다.
도 2a 및 도 2b는 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스 및 제2 스마트 히어링 디바이스의 제품 예를 도시한 것이다.
보다 상세하게는, 도 2a는 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스 및 제2 스마트 히어링 디바이스의 전면 예를 도시한 것이고, 도 2b는 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스 및 제2 스마트 히어링 디바이스의 후면 예를 도시한 것이다.
도 2a를 참조하면, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(110)는 제1 마이크(111), 제2 마이크(112) 및 온/오프 스위치(113)를 포함하고, 제2 스마트 히어링 디바이스(120)는 제3 마이크(121), 제4 마이크(122) 및 온/오프 스위치(123)를 포함한다. 제1 스마트 히어링 디바이스(110)는 사용자의 좌측 귀에 착용되고, 제2 스마트 히어링 디바이스(120)는 사용자의 우측 귀에 착용되는 것으로 도시하였으나, 스마트 히어링 디바이스가 착용되는 위치 및 형태는 이에 제한하지 않는다.
이 때, 제1 마이크(111) 및 제3 마이크(121)는 사용자의 목소리 위주의 음성 신호를 수신하기 위해 사용자의 입 부근에 인접하게 위치할 수 있으며, 온/오프 스위치(113, 123)의 아래쪽에 위치하여 제2 마이크(112) 및 제4 마이크(122)에 비해 상대적으로 사용자의 입에 근접한 것을 특징으로 한다.
또한, 제2 마이크(112) 및 제4 마이크(122)는 사용자의 위치에 따른 주변 소음 위주의 소음 신호를 수신하기 위해 사용자의 입에서 가능한 멀리 위치하며, 온/오프 스위치(113, 123)의 위쪽에 위치하여 제1 마이크(111) 및 제3 마이크(121)에 비해 상대적으로 사용자의 입에서 멀리 떨어져 위치한 것을 특징으로 한다.
나아가, 제1 마이크(111) 및 제2 마이크(112), 그리고 제3 마이크(121) 및 제4 마이크(122)의 공구(또는 구멍)가 향하는 방향은 동일한 것을 특징으로 하며, 이는 균일한 음성 신호 및 소음 신호를 각각 수집하고, 그에 따른 적정 소음을 제거하기 위함이다.
도 2a에 도시된 바와 같이, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)는 위치가 서로 다른 두 개의 마이크(111, 112와 121, 122)를 포함하며, 소프트웨어적으로 제1 마이크(111) 및 제3 마이크(121)를 메인으로 세팅하고, 제2 마이크(112) 및 제4 마이크(122)를 2차 입력 소스로 적용하여 서로 다른 음성 신호 및 소음 신호를 균일하게 수집할 수 있다.
이 때, 제1 스마트 히어링 디바이스(110)의 제1 마이크(111)와 제2 스마트 히어링 디바이스(120)의 제3 마이크(121)는 서로 페어링되고, 제1 스마트 히어링 디바이스(110)의 제2 마이크(112)와 제2 스마트 히어링 디바이스(120)의 제4 마이크(122)는 서로 페어링되는 것을 특징으로 하며, 어느 하나의 마이크에 적용된 설정에 따라 어느 하나의 마이크와 페어링된 마이크 또한 자동 설정될 수 있다.
예를 들면, 제어 파라미터에 의해 제1 마이크(111)의 볼륨이 일정 값으로 업(up)되는 경우, 페어링된 제3 마이크(121)의 볼륨 또한 일정 값으로 자동 업(up) 조절이 가능하다. 또 다른 예로, 제1 스마트 히어링 디바이스(110)의 제2 마이크(112) 전원이 온(on)되는 경우, 페어링된 제2 스마트 히어링 디바이스(120)의 제2 마이크(122) 전원 또한 자동으로 온(on)될 수 있다.
도 2a를 참조하면, 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)는 온/오프 스위치(113, 123)를 포함하며, 온/오프 스위치(113, 123)는 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)의 전원을 온(on) 또는 오프(off)한다. 예를 들면, 사용자가 스위치 형태의 온/오프 스위치(113, 123)를 터치, 푸시 또는 길게 누르면 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)는 온(on) 또는 오프(off)될 수 있다. 이 때, 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120) 중 적어도 어느 하나가 온(on) 또는 오프(off)되는 경우, 페어링된 다른 한 쪽의 스마트 히어링 디바이스 또한 동일하게 온(on) 또는 오프(off)될 수 있다.
도 2b를 참조하면, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)는 충전모듈(115, 125) 및 스피커(114, 124)를 포함한다.
본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)는 충전식 디바이스로, 충전모듈(Charging Terminals, 115, 125)을 포함할 수 있다.
예를 들면, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)는 충전식 리튬 이온 폴리머 배터리(Li-ion Polymer Battery) 및 모바일 장치의 배터리 미터(Battery Meter)를 포함할 수 있으며, 충전모듈(115, 125)을 통해 배터리를 충전할 수 있다.
또한, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)는 스피커(114, 124)를 통해 디지털 신호에서 아날로그 신호(음향 에너지)로 변환된 소리를 제공할 수 있다.
예를 들면, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)는 제1 마이크(111), 제2 마이크(112), 제3 마이크(121), 제4 마이크(122)로부터 수집된 음성 신호 및 소음 신호에 분석 결과에 관련된 정보에 따른 제1 제어 파라미터 및 제2 제어 파라미터를 설정하며, 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 밸런스가 조절된 디지털 신호를 아날로그 신호로 변환시켜 스피커(114, 124)를 통해 사용자에게 소리로 제공할 수 있다.
도 3는 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스의 세부 구성을 블록도로 도시한 것이고, 도 4는 본 발명의 실시예에 따른 제2 스마트 히어링 디바이스의 세부 구성을 블록도로 도시한 것이다.
이하에서는, 제1 스마트 히어링 디바이스(110)는 사용자의 좌측 귀에 착용되고, 제2 스마트 히어링 디바이스(120)는 사용자의 우측 귀에 착용되는 것으로 설명하였으나, 각 디바이스가 착용되는 위치 및 형태는 제한하지 않는다.
도 3을 참조하면, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스는 일측에 형성된 제1 마이크 및 제2 마이크로부터 수신되는 음성 신호 및 소음 신호를 포함하는 제1 오디오 신호를 전달하고, 제1 오디오 신호에 대해 분석된 결과 정보로 인한 제1 제어 파라미터를 설정하여 일측의 소리를 제공한다.
이에 따른, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(110)는 제1 마이크(111), 제2 마이크(112), 제어부(116), 전송부(117) 및 수신부(118)를 포함한다.
제1 마이크(111)는 사용자의 음성 신호를 수신할 수 있다. 또한, 제2 마이크(112)는 사용자 주변의 소음 신호를 수신할 수 있다.
이 때, 제1 마이크(111) 및 제2 마이크(112)는 사용자의 입을 기준으로 서로 다른 거리에 위치한다. 예를 들면, 제1 마이크(111)는 사용자의 입 부근에 인접하게 위치하여 사용자의 목소리 위주의 음성 신호를 수신할 수 있고, 제2 마이크(112)는 제1 마이크(111)에 비해 상대적으로 사용자의 입에서 가능한 멀리 위치하여 주변 소음 위주의 소음 신호를 수신할 수 있다.
또한, 제1 마이크(111) 및 제2 마이크(112)는 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(110) 내 서로 다른 위치에 포함되나, 제1 마이크(111) 및 제2 마이크(112)의 공구(또는 구멍)가 향하는 방향은 균일한 음성 신호 및 소음 신호를 수집하고, 그에 따른 적정 소음 제거를 위해 동일한 것을 특징으로 한다. 여기서, 상기 적정 소음은 마이크의 위치에서 수집되는 음성 신호 및 소음 신호 외의 소음 및 수치값을 의미할 수 있다.
이에 따라서, 제1 마이크(111) 및 제2 마이크(112)는 감지한 음성 신호 및 소음 신호를 전기 신호로 변환하며, 변환된 신호 정보를 전송부(117) 또는 제어부(116)로 제공한다.
전송부(117)는 제1 마이크(111) 및 제2 마이크(112)로부터 수신된 음성 신호 및 소음 신호를 포함하는 제1 오디오 신호를 전송할 수 있다.
예를 들면, 전송부(117)는 블루투스(bluetooth), Wi-Fi(Wireless Fidelity), 지그비(Zigbee), BLE(Bluetooth Low Energy) 중 어느 하나의 근거리 무선통신 모듈을 통해 사용자가 소지하는 모바일 디바이스(130)로 음성 신호 및 소음 신호를 포함한 제1 오디오 신호를 전달할 수 있다.
수신부(118)는 외부 서버(140)에 의해 제1 오디오 신호가 처리됨에 응답하여, 모바일 디바이스(130)로부터 결과 정보를 수신할 수 있다.
예를 들면, 수신부(118)는 외부 서버(140)에서 제1 오디오 신호에 대해 머신러닝(Machine Learning) 기법을 통해 분석된 분석 결과에 관련된 정보를 외부 서버(140) 또는 모바일 디바이스(130)로부터 수신할 수 있다.
이 때, 외부 서버(140)는 SVM(Support Vector Machine) 및 kMeans 방식 중 적어도 어느 하나의 머신러닝 기법을 통해 사용자가 소지하는 모바일 디바이스(130)로부터 수신된 음성 신호 및 소음 신호를 포함하는 제1 오디오 신호를 분석할 수 있다. 다만, 상기 머신러닝 기법은 전술한 SVM 또는 kMeans 방식에 한정되지 않으며, 오디오 신호를 이용한 기계학습이 가능한 기법이면 무관하다.
실시예에 따라서, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(110)의 전송부(117) 및 수신부(118)는 근거리 무선통신 모듈뿐만 아니라, 셀룰러 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network) 등의 무선 네트워크, 인트라넷 및/또는 월드 와이드 웹(WWW)이라고도 불리는 인터넷과 같은 네트워크 및 기타 장치와 무선 통신에 의해 통신할 수 있다.
이러한 무선 통신은 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스(Bluetooth), (IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등의) Wi-Fi(Wireless Fidelity), VoIP(voice over Internet Protocol), Wi-MAX, LTE(Long Term Evolution), 지그비(Zigbee), Z-wave, BLE(Bluetooth Low Energy), 비콘(Beacon), IMAP(Internet Message Access Protocol) 및/또는 POP(Post Office Protocol) 등의 이메일용 프로토콜, XMPP(eXtensible Messaging and Presence Protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service), SMS(Short Message Service), LoRa 등의 인스턴트 메시징, 또는 본원의 출원일 당시에 개발되지 않은 통신 프로토콜을 포함할 수 있다. 다만, 상술한 무선 통신에는 이들로 한정되지 않는 복수의 통신 표준, 프로토콜 및 기술들이 사용될 수 있다.
제어부(116)는 결과 정보에 기초하여 제1 제어 파라미터를 설정할 수 있다.
이 때, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(110)는 보청기를 사용하는 사용자의 좌측 청력 데이터(Personal Hearing Profile)를 기본적으로 포함할 수 있다. 예를 들면, 제어부(116)는 사용자가 선호하는 볼륨 및 주파수와, 이질감을 느끼지 않을 정도의 증폭값, 볼륨 및 주파수 범위를 포함하는 사용자의 좌측 청력 데이터를 포함할 수 있다. 실시예에 따라서, 전술한 데이터는 모바일 디바이스(130) 또는 외부 서버(140)에 저장되어 유지될 수도 있다.
다만, 상기 청력 데이터는 증폭값, 볼륨 및 주파수 등의 항목 또는 수치값에 한정되지 않는다. 예를 들면, 상기 청력 데이터는 작은 소리는 크게 증폭해주고 큰 소리는 작게 줄여주는 비선형 압축 정보, 소리가 들리는 방향을 정확히 잡아낼 수 있는 방향성 정보, 마이크로 수신된 소리를 증폭해 다른 잡음 없이 잘 들을 수 있도록 도와주는 피드백 정보 및 소음을 줄여주는 소음 제거 정보 중 적어도 어느 하나 이상의 정보에 대한 사용자의 선호도 및 수치값을 더 포함할 수도 있다.
본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(110)의 제어부(116)는 사용자의 좌측 청력 데이터와, 수신부(118)를 통해 외부 서버(130) 및 모바일 디바이스(140) 중 적어도 어느 하나의 외부 단말로부터 수신된 분석 결과에 관련된 정보에 기초하여, 환경 변화 및 소음에 따른 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 제1 제어 파라미터를 설정하여 맞춤형 보청 서비스를 제공할 수 있다.
보다 상세하게는, 제어부(116)는 제1 마이크(111) 및 제2 마이크(112)로부터 수신되는 디지털 신호의 음성 신호 및 소음 신호에, 제1 제어 파라미터를 설정하여 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 밸런스를 조절하며, 조절된 신호에 대한 디지털 신호를 아날로그 신호로 변환하여 사용자에게 전달할 수 있다.
예를 들면, 제1 마이크(111) 및 제2 마이크(112)로부터 수신된 제1 오디오 신호에 따른 증폭값, 볼륨 및 주파수 중 적어도 어느 하나 이상이 사용자가 기 설정하거나, 선호하는 기준 범위를 벗어날 수 있다. 이는 사용자가 위치하는 환경 변화에 따른 요인, 사용자의 음성 변화에 따른 요인 및 기계적 오류의 요인 중 어느 하나에 의해 발생될 수 있다. 이에 따라서, 제어부(116)는 분석 결과에 관련된 정보에 기초하여 음성 신호 및 소음 신호의 증폭값, 볼륨 및 주파수 중 적어도 어느 하나 이상의 밸런스를 조절할 수 있으며, 조절된 밸런스에 따른 디지털 신호를 아날로그 신호(음향 에너지)로 변환시켜 소리로 사용자에게 제공할 수 있다.
즉, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(110)는 사용자의 환경 변화에 따라 제1 마이크(111) 및 제2 마이크(112)로부터 수신된 음성 신호 및 소음 신호를 포함하는 제1 오디오 신호를 외부 서버(140)로 전송하고, 외부 단말로부터 분석 결과를 수신하며, 사용자의 청력 데이터 및 분석 결과에 관련된 정보에 기초하여 자동으로 제1 오디오 신호에 대한 제1 제어 파라미터를 설정함으로써, 사용자가 별도로 볼륨을 조절하거나, 주파수를 조절하지 않아도 변화되는 상황에 최적화되는 보청 서비스를 제공할 수 있으며, 보청기 사용의 편의성을 향상시킬 수 있다.
도 4를 참조하면, 본 발명의 실시예에 따른 제2 스마트 히어링 디바이스는 타측에 형성된 제3 마이크 및 제4 마이크로부터 수신되는 음성 신호 및 소음 신호를 포함하는 제2 오디오 신호를 전달하고, 제2 오디오 신호에 대해 분석된 결과 정보로 인한 제2 제어 파라미터를 설정하여 타측의 소리를 제공한다.
이에 따른 본 발명의 실시예에 따른 제2 스마트 히어링 디바이스(120)는 제3 마이크(121), 제4 마이크(122), 제어부(126), 전송부(127) 및 수신부(128)를 포함한다.
제3 마이크(121)는 사용자의 음성 신호를 수신할 수 있다. 또한, 제4 마이크(122)는 사용자 주변의 소음 신호를 수신할 수 있다.
이 때, 제3 마이크(121) 및 제4 마이크(122)는 사용자의 입을 기준으로 서로 다른 거리에 위치한다. 예를 들면, 제3 마이크(121)는 사용자의 입 부근에 인접하게 위치하여 사용자의 목소리 위주의 음성 신호를 수신할 수 있고, 제4 마이크(122)는 제3 마이크(121)에 비해 상대적으로 사용자의 입에서 가능한 멀리 위치하여 주변 소음 위주의 소음 신호를 수신할 수 있다.
또한, 제3 마이크(121) 및 제4 마이크(122)는 본 발명의 실시예에 따른 제2 스마트 히어링 디바이스(120) 내 서로 다른 위치에 포함되나, 제3 마이크(121) 및 제4 마이크(122)의 공구(또는 구멍)가 향하는 방향은 균일한 음성 신호 및 소음 신호를 수집하고, 그에 따른 적정 소음 제거를 위해 동일한 것을 특징으로 한다. 여기서, 상기 적정 소음은 마이크의 위치에서 수집되는 음성 신호 및 소음 신호 외의 소음 및 수치값을 의미할 수 있다.
이에 따라서, 제3 마이크(121) 및 제4 마이크(122)는 감지한 음성 신호 및 소음 신호를 전기 신호로 변환하며, 변환된 신호 정보를 전송부(127) 또는 제어부(126)로 제공한다.
전송부(127)는 제3 마이크(121) 및 제4 마이크(122)로부터 수신된 음성 신호 및 소음 신호를 포함하는 제2 오디오 신호를 전송할 수 있다.
예를 들면, 전송부(127)는 블루투스(bluetooth), Wi-Fi(Wireless Fidelity), 지그비(Zigbee), BLE(Bluetooth Low Energy) 중 어느 하나의 근거리 무선통신 모듈을 통해 사용자가 소지하는 모바일 디바이스(130)로 음성 신호 및 소음 신호를 포함한 제2 오디오 신호를 전달할 수 있다.
수신부(128)는 외부 서버(140)에 의해 제2 오디오 신호가 처리됨에 응답하여, 모바일 디바이스(130)로부터 결과 정보를 수신할 수 있다.
예를 들면, 수신부(128)는 외부 서버(140)에서 제2 오디오 신호에 대해 머신러닝(Machine Learning) 기법을 통해 분석된 분석 결과에 관련된 정보를 외부 서버(140) 또는 모바일 디바이스(130)로부터 수신할 수 있다.
이 때, 외부 서버(140)는 SVM(Support Vector Machine) 및 kMeans 방식 중 적어도 어느 하나의 머신러닝 기법을 통해 사용자가 소지하는 모바일 디바이스(130)로부터 수신된 음성 신호 및 소음 신호를 포함하는 제2 오디오 신호를 분석할 수 있다. 다만, 상기 머신러닝 기법은 전술한 SVM 또는 kMeans 방식에 한정되지 않으며, 오디오 신호를 이용한 기계학습이 가능한 기법이면 무관하다.
실시예에 따라서, 본 발명의 실시예에 따른 제2 스마트 히어링 디바이스(120)의 전송부(127) 및 수신부(128)는 근거리 무선통신 모듈뿐만 아니라, 셀룰러 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network) 등의 무선 네트워크, 인트라넷 및/또는 월드 와이드 웹(WWW)이라고도 불리는 인터넷과 같은 네트워크 및 기타 장치와 무선 통신에 의해 통신할 수 있다.
이러한 무선 통신은 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스(Bluetooth), (IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등의) Wi-Fi(Wireless Fidelity), VoIP(voice over Internet Protocol), Wi-MAX, LTE(Long Term Evolution), 지그비(Zigbee), Z-wave, BLE(Bluetooth Low Energy), 비콘(Beacon), IMAP(Internet Message Access Protocol) 및/또는 POP(Post Office Protocol) 등의 이메일용 프로토콜, XMPP(eXtensible Messaging and Presence Protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service), SMS(Short Message Service), LoRa 등의 인스턴트 메시징, 또는 본원의 출원일 당시에 개발되지 않은 통신 프로토콜을 포함할 수 있다. 다만, 상술한 무선 통신에는 이들로 한정되지 않는 복수의 통신 표준, 프로토콜 및 기술들이 사용될 수 있다.
제어부(126)는 결과 정보에 기초하여 제2 제어 파라미터를 설정할 수 있다.
이 때, 본 발명의 실시예에 따른 제2 스마트 히어링 디바이스(120)는 보청기를 사용하는 사용자의 우측 청력 데이터(Personal Hearing Profile)를 기본적으로 포함할 수 있다. 예를 들면, 제어부(126)는 사용자가 선호하는 볼륨 및 주파수와, 이질감을 느끼지 않을 정도의 증폭값, 볼륨 및 주파수 범위를 포함하는 사용자의 우측 청력 데이터를 포함할 수 있다. 실시예에 따라서, 전술한 데이터는 모바일 디바이스(130) 또는 외부 서버(140)에 저장되어 유지될 수도 있다.
다만, 상기 청력 데이터는 증폭값, 볼륨 및 주파수 등의 항목 또는 수치값에 한정되지 않는다. 예를 들면, 상기 청력 데이터는 작은 소리는 크게 증폭해주고 큰 소리는 작게 줄여주는 비선형 압축 정보, 소리가 들리는 방향을 정확히 잡아낼 수 있는 방향성 정보, 마이크로 수신된 소리를 증폭해 다른 잡음 없이 잘 들을 수 있도록 도와주는 피드백 정보 및 소음을 줄여주는 소음 제거 정보 중 적어도 어느 하나 이상의 정보에 대한 사용자의 선호도 및 수치값을 더 포함할 수도 있다.
본 발명의 실시예에 따른 제2 스마트 히어링 디바이스(120)의 제어부(126)는 사용자의 우측 청력 데이터와, 수신부(128)를 통해 외부 서버(130) 및 모바일 디바이스(140) 중 적어도 어느 하나의 외부 단말로부터 수신된 분석 결과에 관련된 정보에 기초하여, 환경 변화 및 소음에 따른 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 제2 제어 파라미터를 설정하여 맞춤형 보청 서비스를 제공할 수 있다.
보다 상세하게는, 제어부(126)는 제3 마이크(121) 및 제4 마이크(122)로부터 수신되는 디지털 신호의 음성 신호 및 소음 신호에, 제2 제어 파라미터를 설정하여 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 밸런스를 조절하며, 조절된 신호에 대한 디지털 신호를 아날로그 신호로 변환하여 사용자에게 전달할 수 있다.
예를 들면, 제3 마이크(121) 및 제4 마이크(122)로부터 수신된 제2 오디오 신호에 따른 증폭값, 볼륨 및 주파수 중 적어도 어느 하나 이상이 사용자가 기 설정하거나, 선호하는 기준 범위를 벗어날 수 있다. 이는 사용자가 위치하는 환경 변화에 따른 요인, 사용자의 음성 변화에 따른 요인 및 기계적 오류의 요인 중 어느 하나에 의해 발생될 수 있다. 이에 따라서, 제어부(126)는 분석 결과에 관련된 정보에 기초하여 음성 신호 및 소음 신호의 증폭값, 볼륨 및 주파수 중 적어도 어느 하나 이상의 밸런스를 조절할 수 있으며, 조절된 밸런스에 따른 디지털 신호를 아날로그 신호(음향 에너지)로 변환시켜 소리로 사용자에게 제공할 수 있다.
즉, 본 발명의 실시예에 따른 제2 스마트 히어링 디바이스(120)는 사용자의 환경 변화에 따라 제3 마이크(121) 및 제4 마이크(122)로부터 수신된 음성 신호 및 소음 신호를 포함하는 제2 오디오 신호를 외부 서버(140)로 전송하고, 외부 단말로부터 분석 결과를 수신하며, 사용자의 청력 데이터 및 분석 결과에 관련된 정보에 기초하여 자동으로 제2 오디오 신호에 대한 제2 제어 파라미터를 설정함으로써, 사용자가 별도로 볼륨을 조절하거나, 주파수를 조절하지 않아도 변화되는 상황에 최적화되는 보청 서비스를 제공할 수 있으며, 보청기 사용의 편의성을 향상시킬 수 있다.
도 5, 도 6a 및 도 6b는 본 발명의 실시예에 따른 스마트 히어링 디바이스의 적용 예를 도시한 것이다.
보다 상세하게는, 도 5는 본 발명의 실시예에 따른 스마트 히어링 디바이스를 착용한 사용자를 상면에서 바라본 예를 도시한 것이고, 도 6a은 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스를 착용한 사용자를 좌측에서 바라본 예를 도시한 것이며, 도 6b는 본 발명의 실시예에 따른 제2 스마트 히어링 디바이스를 착용한 사용자를 우측에서 바라본 예를 도시한 것이다.
도 5를 참조하면, 사용자(10)는 좌측 귀에 제1 스마트 히어링 디바이스(110)를 착용하고, 우측 귀에 제2 스마트 히어링 디바이스(120)를 착용한다. 사용자(10)는 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)를 모두 착용함으로써, 좌측 및 우측의 소리 방향성에 따른 환경 변화와 소음 변화를 보다 입체적으로 인지할 수 있으며, 맞춤형 보청 서비스를 받을 수 있다.
도 6a를 참조하면, 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(110)는 사용자(10)의 좌측 귀에 장착되며, 제1 마이크(111) 및 제2 마이크(112)는 사용자의 입을 기준으로 서로 다른 거리에 위치할 수 있다.
예를 들면, 제1 마이크(111)는 제2 마이크(112)에 비해 사용자의 입 부근에 인접하게 위치하며, 사용자의 목소리 위주의 음성 신호를 수신할 수 있다. 반면, 제2 마이크(112)는 제1 마이크(111)에 비해 사용자의 입에서 가능한 멀리 위치하며, 사용자의 위치에 따른 주변 소음 위주의 소음 신호를 수신할 수 있다.
이 때, 도 6a에 도시된 바와 같이, 제1 마이크(111) 및 제2 마이크(112)는 온/오프 스위치(113)를 기준으로 사용자의 입에 근접하거나, 멀리 위치한 것을 확인할 수 있다.
제1 마이크(111) 및 제2 마이크(112)는 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스(110) 내 서로 다른 위치에 포함되나, 제1 마이크(111) 및 제2 마이크(112)의 공구(또는 구멍)가 향하는 방향은 균일한 음성 신호 및 소음 신호를 수집하고, 그에 따른 적정 소음 제거를 위해 동일한 것을 특징으로 한다.
도 6b를 참조하면, 본 발명의 실시예에 따른 제2 스마트 히어링 디바이스(120)는 사용자(10)의 우측 귀에 장착되며, 제3 마이크(121) 및 제4 마이크(122)는 사용자의 입을 기준으로 서로 다른 거리에 위치할 수 있다.
예를 들면, 제3 마이크(121)는 제4 마이크(122)에 비해 사용자의 입 부근에 인접하게 위치하며, 사용자의 목소리 위주의 음성 신호를 수신할 수 있다. 반면, 제4 마이크(122)는 제3 마이크(121)에 비해 사용자의 입에서 가능한 멀리 위치하며, 사용자의 위치에 따른 주변 소음 위주의 소음 신호를 수신할 수 있다.
이 때, 도 6b에 도시된 바와 같이, 제3 마이크(121) 및 제4 마이크(122)는 온/오프 스위치(123)를 기준으로 사용자의 입에 근접하거나, 멀리 위치한 것을 확인할 수 있다.
제3 마이크(121) 및 제4 마이크(122)는 본 발명의 실시예에 따른 제2 스마트 히어링 디바이스(120) 내 서로 다른 위치에 포함되나, 제3 마이크(121) 및 제4 마이크(122)의 공구(또는 구멍)가 향하는 방향은 균일한 음성 신호 및 소음 신호를 수집하고, 그에 따른 적정 소음 제거를 위해 동일한 것을 특징으로 한다.
도 7은 본 발명의 실시예에 따른 제1 스마트 히어링 디바이스, 제2 스마트 히어링 디바이스, 모바일 디바이스 및 외부 서버 간의 동작 과정을 흐름도로 도시한 것이다.
도 7을 참조하면, 단계 701에서, 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)는 사용자의 좌측 귀 및 우측 귀에 각기 장착되어 사용자의 음성 신호 및 주변의 소음 신호를 수집할 수 있다.
단계 702 및 단계 703에서, 모바일 디바이스(130)는 좌측에 형성된 제1 스마트 히어링 디바이스(110)와 우측에 형성된 제2 스마트 히어링 디바이스(1120)로부터 음성 신호 및 소음 신호를 포함하는 제1 오디오 신호 및 제2 오디오 신호를 수신하고, 제1 오디오 신호 및 제2 오디오 신호를 외부 서버(140)로 전송한다.
이 때, 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)는 블루투스 통신을 통해 모바일 디바이스(130)로 제1 오디오 신호 및 제2 오디오 신호를 각각 전송할 수 있으며, 모바일 디바이스(130)는 Ethernet/3G, 4G, 5G의 무선 데이터 통신을 통해 외부 서버(140)로 제1 오디오 신호 및 제2 오디오 신호를 전송할 수 있다.
이후, 단계 704 및 단계 705에서, 외부 서버(140)는 SVM(Support Vector Machine) 및 kMeans 방식 중 적어도 어느 하나의 머신러닝 기법을 이용하여 모바일 디바이스(130)로부터 수신된 제1 오디오 신호 및 제2 오디오 신호를 분석하며, 분석 결과에 관련된 정보를 생성할 수 있다.
예를 들면, 외부 서버(140)는 머신러닝 기법을 통해 제1 오디오 신호 및 제2 오디오 신호를 분석하여 사용자의 위치에 따른 사용환경 및 작업환경 등의 환경 변화를 감지하고, 환경 변화에 따른 증폭값, 볼륨 및 주파수 중 적어도 어느 하나 이상의 수치값 변화를 감지할 수 있다. 이에 따라서, 외부 서버(140)는 사용자의 청력 데이터에 따른 적정 범위를 벗어나는 증폭값, 볼륨 및 주파수 중 적어도 어느 하나 이상의 항목 및 수치값을 획득하며, 획득된 항목 및 수치값에 대한 정보와 적정 범위 내 진입을 위한 수치값 변동 정보를 포함하는 분석 결과를 생성할 수 있다.
실시예에 따라서, 외부 서버(140)에서 수행되는 단계 704 및 단계 705는 모바일 디바이스(130)에서 수행될 수 있으며, 모바일 디바이스(130)는 SVM(Support Vector Machine) 및 kMeans 방식 중 적어도 어느 하나의 머신러닝 기법을 이용하여 제1 오디오 신호 및 제2 오디오 신호를 분석하여 분석 결과에 관련된 정보를 생성할 수도 있다.
단계 706에서, 모바일 디바이스(130)는 외부 서버(140)로부터 머신러닝 기법(Machine Learning) 기법에 의해 분석된 소리 방향성에 대한 결과 정보를 수신한다.
이후에, 단계 707에서, 모바일 디바이스(130)는 결과 정보를 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)로 제공한다.
실시 예로, 단계 706에서 모바일 디바이스(130)는 사용자의 선택 입력이 없는 경우, 외부 서버(140)로부터 수신된 분석 결과에 관련된 정보를 저장하거나, 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)로 전송할 수 있다(단계 707). 다른 실시 예로, 단계 706에서 모바일 디바이스(130)는 수신된 분석 결과에 관련된 정보를 디스플레이부를 통해 제공하며, 사용자의 선택 입력에 따라 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)를 제어할 수 있다(단계 708).
이에 따라, 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120) 각각은 모바일 디바이스(130)로부터 수신된 결과 정보로 인한 제1 제어 파라미터 및 제2 제어 파라미터를 설정하여 사용자에게 좌측의 소리 및 우측의 소리를 제공한다(단계 709).
예를 들면, 제1 스마트 히어링 디바이스(110) 및 제2 스마트 히어링 디바이스(120)는 수신된 분석 결과에 관련된 정보에 기초하여, 마이크로 수신되는 제1 오디오 신호 및 제2 오디오 신호에 제1 제어 파라미터 및 제2 제어 파라미터를 각기 설정하여 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 밸런스를 조절하며, 조절된 신호에 대한 디지털 신호를 아날로그 신호로 변환하여 사용자에게 맞춤형 보청 서비스를 제공할 수 있다. 이에 따라서, 사용자는 제1 스마트 히어링 디바이스(110)를 통해 출력되는 좌측의 소리와 제2 스마트 히어링 디바이스(120)를 통해 출력되는 우측의 소리로 인해 환경 변화, 소음 변화 및 음성 변화를 보다 입체적으로 인지할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 일측에 형성된 제1 마이크 및 제2 마이크로부터 수신되는 음성 신호 및 소음 신호를 포함하는 제1 오디오 신호를 전달하고, 상기 제1 오디오 신호에 대해 분석된 결과 정보로 인한 제1 제어 파라미터를 설정하여 일측의 소리를 제공하는 제1 스마트 히어링 디바이스;
    타측에 형성된 제3 마이크 및 제4 마이크로부터 수신되는 음성 신호 및 소음 신호를 포함하는 제2 오디오 신호를 전달하고, 상기 제2 오디오 신호에 대해 분석된 결과 정보로 인한 제2 제어 파라미터를 설정하여 타측의 소리를 제공하는 제2 스마트 히어링 디바이스;
    상기 제1 오디오 신호 및 상기 제2 오디오 신호를 외부로 전달하고, 상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스를 제어하는 모바일 디바이스; 및
    상기 제1 오디오 신호와 상기 제2 오디오 신호에 머신러닝(Machine Learning) 기법을 적용하여 분석되는 소리 방향성에 대한 결과 정보를 전송하는 외부 서버
    를 포함하는 적응형 입체 히어링 시스템.
  2. 제1항에 있어서,
    상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각은
    사용자의 입 부근에 위치하는 상기 제1 마이크 및 상기 제3 마이크를 포함하고, 상기 사용자의 입을 기준으로 이격거리에 위치된 상기 제2 마이크 및 상기 제4 마이크를 포함하는 적응형 입체 히어링 시스템.
  3. 제2항에 있어서,
    상기 제1 마이크 및 상기 제3 마이크는
    일측 및 타측에서 사용자의 음성 신호를 수집하고,
    상기 제2 마이크 및 상기 제4 마이크는
    일측의 소음 신호 및 타측의 소음 신호를 수집하는 것을 특징으로 하는 적응형 입체 히어링 시스템.
  4. 제3항에 있어서,
    상기 제1 마이크와 상기 제3 마이크, 그리고 상기 제2 마이크와 상기 제4 마이크 각각은 서로 페어링되며, 어느 하나의 마이크에 적용된 설정에 따라 상기 어느 하나의 마이크와 페어링된 마이크 또한 자동 설정되는 것을 특징으로 하는 적응형 입체 히어링 시스템.
  5. 제1항에 있어서,
    상기 제1 스마트 히어링 디바이스는
    사용자의 청력 데이터와 상기 모바일 디바이스로부터 수신된 상기 결과 정보에 기초하여 환경 변화에 따른 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 상기 제1 제어 파라미터를 설정하여 사용자 맞춤형으로 상기 일측의 소리를 제공하며,
    상기 제2 스마트 히어링 디바이스는
    사용자의 청력 데이터와 상기 모바일 디바이스로부터 수신된 상기 결과 정보에 기초하여 환경 변화에 따른 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 상기 제2 제어 파라미터를 설정하여 사용자 맞춤형으로 상기 타측의 소리를 제공하는 적응형 입체 히어링 시스템.
  6. 제5항에 있어서,
    상기 제1 스마트 히어링 디바이스는
    상기 제1 마이크 및 상기 제2 마이크로부터 수신되는 디지털 신호의 상기 음성 신호 및 상기 소음 신호에, 상기 제1 제어 파라미터를 설정하여 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 밸런스를 조절하고, 상기 조절된 신호에 대한 디지털 신호를 아날로그 신호로 변환하여 상기 사용자에게 상기 일측의 소리를 제공하며,
    상기 제2 스마트 히어링 디바이스는
    상기 제3 마이크 및 상기 제4 마이크로부터 수신되는 디지털 신호의 상기 음성 신호 및 상기 소음 신호에, 상기 제2 제어 파라미터를 설정하여 증폭값 변화, 볼륨 조절 및 주파수 조절 중 적어도 어느 하나 이상의 밸런스를 조절하고, 상기 조절된 신호에 대한 디지털 신호를 아날로그 신호로 변환하여 상기 사용자에게 상기 타측의 소리를 제공하는 적응형 입체 히어링 시스템.
  7. 제6항에 있어서,
    상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각은
    사용자에게 사용자 맞춤형의 상기 일측의 소리 및 상기 타측의 소리를 각기 제공하여 좌측 및 우측의 소리 방향성에 따른 환경 변화와 소음 변화를 입체적으로 인지하도록 제공하는 것을 특징으로 하는 적응형 입체 히어링 시스템.
  8. 제1항에 있어서,
    상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각은
    사용자의 좌측 청력 데이터 및 우측 청력 데이터에 기반하여, 서로 다른 파라미터 값의 상기 제1 제어 파라미터 및 상기 제2 제어 파라미터를 설정하는 것을 특징으로 하는 적응형 입체 히어링 시스템.
  9. 제1항에 있어서,
    상기 모바일 디바이스는
    근거리 무선 통신 모듈을 통해 상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스로부터 수신된 상기 제1 오디오 신호 및 상기 제2 오디오 신호를 상기 외부 서버로 전송하고, 상기 외부 서버로부터 수신되는 상기 결과 정보를 상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스로 전송하는 적응형 입체 히어링 시스템.
  10. 제9항에 있어서,
    상기 모바일 디바이스는
    사용자의 선택 입력에 따라 상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각의 전원 온(On)/오프(Off), 신호 수집 및 파라미터 설정 중 어느 하나 이상을 제어하는 적응형 입체 히어링 시스템.
  11. 제1항에 있어서,
    상기 외부 서버는
    SVM(Support Vector Machine) 및 kMeans 방식 중 어느 하나의 상기 머신러닝 기법을 통해 상기 제1 오디오 신호 및 상기 제2 오디오 신호를 분석하여 환경 변화 또는 주변 소음에 따른 소리 방향성에 대한 상기 결과 정보를 생성하는 적응형 입체 히어링 시스템.
  12. 제1항에 있어서,
    상기 제1 스마트 히어링 디바이스는
    사용자의 음성 신호를 수신하는 상기 제1 마이크;
    사용자 주변의 소음 신호를 수신하는 상기 제2 마이크;
    상기 제1 마이크 및 상기 제2 마이크로부터 수신된 상기 음성 신호 및 상기 소음 신호를 포함하는 제1 오디오 신호를 전송하는 전송부;
    상기 외부 서버에 의해 상기 제1 오디오 신호가 처리됨에 응답하여, 상기 모바일 디바이스로부터 상기 결과 정보를 수신하는 수신부; 및
    상기 결과 정보에 기초하여 상기 제1 제어 파라미터를 설정하는 제어부
    를 포함하는 적응형 입체 히어링 시스템.
  13. 제1항에 있어서,
    상기 제2 스마트 히어링 디바이스는
    사용자의 음성 신호를 수신하는 상기 제3 마이크;
    사용자 주변의 소음 신호를 수신하는 상기 제4 마이크;
    상기 제3 마이크 및 상기 제4 마이크로부터 수신된 상기 음성 신호 및 상기 소음 신호를 포함하는 제2 오디오 신호를 전송하는 전송부;
    상기 외부 서버에 의해 상기 제2 오디오 신호가 처리됨에 응답하여, 상기 모바일 디바이스로부터 상기 결과 정보를 수신하는 수신부; 및
    상기 결과 정보에 기초하여 상기 제2 제어 파라미터를 설정하는 제어부
    를 포함하는 적응형 입체 히어링 시스템.
  14. 환경 변화 및 소음에 따라 적응하며 입체적인 소리를 제공하는 적응형 입체 히어링 시스템 내 모바일 디바이스의 동작 방법에 있어서,
    일측에 형성된 제1 스마트 히어링 디바이스와 타측에 형성된 제2 스마트 히어링 디바이스로부터 음성 신호 및 소음 신호를 포함하는 제1 오디오 신호와 제2 오디오 신호를 수신하는 단계;
    상기 제1 오디오 신호 및 상기 제2 오디오 신호를 외부 서버로 전송하는 단계;
    상기 외부 서버로부터 머신러닝(Machine Learning) 기법에 의해 분석되는 소리 방향성에 대한 결과 정보를 수신하는 단계; 및
    상기 결과 정보를 상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스로 제공하는 단계를 포함하되,
    상기 제1 스마트 히어링 디바이스 및 상기 제2 스마트 히어링 디바이스 각각은 상기 결과 정보로 인한 제1 제어 파라미터 및 제2 제어 파라미터를 설정하여 사용자에게 일측의 소리 및 타측의 소리를 제공하는 것을 특징으로 하는 적응형 입체 히어링 방법.
PCT/KR2019/000077 2019-01-02 2019-01-03 환경 변화 및 소음 변화에 따른 적응형 입체 히어링 시스템 및 그 방법 Ceased WO2020141634A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19906904.8A EP3849211A4 (en) 2019-01-02 2019-01-03 ADAPTIVE 3D HEARING SYSTEM ACCORDING TO ENVIRONMENTAL CHANGES AND NOISE CHANGES AND ASSOCIATED PROCESS
US17/280,221 US11683651B2 (en) 2019-01-02 2019-01-03 Adaptive solid hearing system according to environment change and noise change
JP2021518591A JP7316701B2 (ja) 2019-01-02 2019-01-03 補聴器

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190000057A KR102151433B1 (ko) 2019-01-02 2019-01-02 환경 변화 및 소음 변화에 따른 적응형 입체 히어링 시스템 및 그 방법
KR10-2019-0000057 2019-01-02

Publications (1)

Publication Number Publication Date
WO2020141634A1 true WO2020141634A1 (ko) 2020-07-09

Family

ID=71407017

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/000077 Ceased WO2020141634A1 (ko) 2019-01-02 2019-01-03 환경 변화 및 소음 변화에 따른 적응형 입체 히어링 시스템 및 그 방법

Country Status (5)

Country Link
US (1) US11683651B2 (ko)
EP (1) EP3849211A4 (ko)
JP (1) JP7316701B2 (ko)
KR (1) KR102151433B1 (ko)
WO (1) WO2020141634A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102850427B1 (ko) 2020-07-02 2025-08-26 삼성전자 주식회사 주변 오디오 신호의 감지 방법 및 전자 장치
KR20220103543A (ko) * 2021-01-15 2022-07-22 삼성전자주식회사 자동 음량 제어를 수행하는 웨어러블 장치
USD989043S1 (en) * 2021-01-27 2023-06-13 New Audio LLC Earphone
USD978827S1 (en) * 2021-04-13 2023-02-21 Zongxiang Gao Neckband headphone
KR102569637B1 (ko) * 2022-03-24 2023-08-25 올리브유니온(주) 이어 밴드에 마이크가 구성된 디지털 히어링 디바이스
KR20240047064A (ko) * 2022-10-04 2024-04-12 올리브유니온(주) 이어폰 제어 방법, 컴퓨터 프로그램 및 컴퓨터 장치
KR102561956B1 (ko) * 2022-10-18 2023-08-02 올리브유니온(주) 마이크가 내장된 외부 기기와 연결되는 스테레오 타입의 디지털 히어링 디바이스 및 그 동작 방법
USD1031692S1 (en) * 2022-11-29 2024-06-18 Tererazzina Robinson-Blackman Ear bud pair
CN120583345A (zh) * 2025-05-28 2025-09-02 广东鼎创智造科技有限公司 多麦克风实时通信的音频系统、控制方法及无线麦克风

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130133790A (ko) * 2010-11-19 2013-12-09 자코티 브바 보청기를 가진 개인 통신 장치 및 이를 제공하기 위한 방법
KR101585793B1 (ko) * 2014-09-30 2016-01-15 정금필 스마트 보청기
KR20170138588A (ko) * 2015-06-05 2017-12-15 애플 인크. 웨어러블 디바이스의 상태에 기초하는 컴패니언 통신 디바이스 거동의 변경
KR101903374B1 (ko) * 2017-09-01 2018-11-22 올리브유니온(주) 환경 변화 및 소음에 따른 적응형 스마트 히어링 디바이스, 시스템 및 그 방법
KR20180125384A (ko) * 2017-05-15 2018-11-23 한국전기연구원 음성 검출기를 구비한 보청기 및 그 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100493172B1 (ko) * 2003-03-06 2005-06-02 삼성전자주식회사 마이크로폰 어레이 구조, 이를 이용한 일정한 지향성을갖는 빔 형성방법 및 장치와 음원방향 추정방법 및 장치
JP4376249B2 (ja) 2006-06-16 2009-12-02 リオン株式会社 補聴装置
US9219964B2 (en) * 2009-04-01 2015-12-22 Starkey Laboratories, Inc. Hearing assistance system with own voice detection
US9364669B2 (en) * 2011-01-25 2016-06-14 The Board Of Regents Of The University Of Texas System Automated method of classifying and suppressing noise in hearing devices
US9723415B2 (en) * 2015-06-19 2017-08-01 Gn Hearing A/S Performance based in situ optimization of hearing aids
GB2540175A (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Spatial audio processing apparatus
US10409548B2 (en) 2016-09-27 2019-09-10 Grabango Co. System and method for differentially locating and modifying audio sources
US9930447B1 (en) * 2016-11-09 2018-03-27 Bose Corporation Dual-use bilateral microphone array

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130133790A (ko) * 2010-11-19 2013-12-09 자코티 브바 보청기를 가진 개인 통신 장치 및 이를 제공하기 위한 방법
KR101585793B1 (ko) * 2014-09-30 2016-01-15 정금필 스마트 보청기
KR20170138588A (ko) * 2015-06-05 2017-12-15 애플 인크. 웨어러블 디바이스의 상태에 기초하는 컴패니언 통신 디바이스 거동의 변경
KR20180125384A (ko) * 2017-05-15 2018-11-23 한국전기연구원 음성 검출기를 구비한 보청기 및 그 방법
KR101903374B1 (ko) * 2017-09-01 2018-11-22 올리브유니온(주) 환경 변화 및 소음에 따른 적응형 스마트 히어링 디바이스, 시스템 및 그 방법

Also Published As

Publication number Publication date
KR102151433B1 (ko) 2020-09-03
US20210345050A1 (en) 2021-11-04
EP3849211A1 (en) 2021-07-14
KR20200084080A (ko) 2020-07-10
US11683651B2 (en) 2023-06-20
EP3849211A4 (en) 2021-11-17
JP2022504252A (ja) 2022-01-13
JP7316701B2 (ja) 2023-07-28

Similar Documents

Publication Publication Date Title
KR102151433B1 (ko) 환경 변화 및 소음 변화에 따른 적응형 입체 히어링 시스템 및 그 방법
WO2022054978A1 (ko) 자연어 또는 비자연어를 구분하는 스마트 히어링 디바이스, 인공지능 히어링 시스템 및 그 방법
WO2020117008A1 (en) Electronic device including speaker and microphone
WO2020204611A1 (en) Method for detecting wearing of acoustic device and acoustic device supporting the same
KR101903374B1 (ko) 환경 변화 및 소음에 따른 적응형 스마트 히어링 디바이스, 시스템 및 그 방법
WO2012091185A1 (en) Display device and method of providing feedback for gestures thereof
CA2135175A1 (en) Bone conductive ear microphone and method
WO2022080612A1 (ko) 휴대용 음향기기
WO2019045394A1 (ko) 지정된 주파수 대역의 신호를 이용하여 외부 객체의 근접을 확인하는 전자 장치 및 전자 장치 제어 방법
WO2012102464A1 (ko) 이어마이크로폰 및 이어마이크로폰용 전압 제어 장치
WO2019112357A1 (ko) 복수의 스피커의 상태에 기반하여 오디오 신호의 볼륨 레벨을 제어하는 전자 장치
WO2014119835A1 (ko) 이동 단말기, 및 그 동작방법
WO2021201429A1 (ko) 전자 장치 및 그의 오디오 출력을 제어하는 방법
WO2021020686A1 (ko) 헤드셋 전자 장치 및 그와 연결되는 전자 장치
WO2022005248A1 (ko) 주변 오디오 신호의 감지 방법 및 전자 장치
WO2024085576A1 (ko) 마이크가 내장된 외부 기기와 연결되는 스테레오 타입의 디지털 히어링 디바이스 및 그 동작 방법
WO2023068741A1 (ko) 웨어러블 장치 장착 가이드 방법
WO2022197151A1 (ko) 외부 소리를 듣기 위한 전자 장치 및 전자 장치의 동작 방법
JP2021164151A (ja) 集音装置
WO2020145417A1 (ko) 로봇
US20180318135A1 (en) Notification service provision method for hearing-impaired person and device for executing same
WO2023113136A1 (ko) 음향 장치 및 그를 포함하는 전자 장치
WO2023191294A1 (ko) 안테나 구조 및 이를 포함하는 전자 장치
WO2019022492A1 (en) CAMERA, AND IMAGE DISPLAY APPARATUS INCLUDING IT
WO2021187869A1 (ko) 전자 장치 및 이를 이용한 오디오 신호 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19906904

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021518591

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019906904

Country of ref document: EP

Effective date: 20210406

NENP Non-entry into the national phase

Ref country code: DE