KR20200072965A - 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법 - Google Patents

차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법 Download PDF

Info

Publication number
KR20200072965A
KR20200072965A KR1020180161133A KR20180161133A KR20200072965A KR 20200072965 A KR20200072965 A KR 20200072965A KR 1020180161133 A KR1020180161133 A KR 1020180161133A KR 20180161133 A KR20180161133 A KR 20180161133A KR 20200072965 A KR20200072965 A KR 20200072965A
Authority
KR
South Korea
Prior art keywords
seat
driver
microphone
passenger
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180161133A
Other languages
English (en)
Other versions
KR102537879B1 (ko
Inventor
오형석
김홍주
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180161133A priority Critical patent/KR102537879B1/ko
Priority to US16/440,266 priority patent/US10645494B1/en
Priority to DE102019218630.0A priority patent/DE102019218630B4/de
Publication of KR20200072965A publication Critical patent/KR20200072965A/ko
Application granted granted Critical
Publication of KR102537879B1 publication Critical patent/KR102537879B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/005—Circuits for transducers for combining the signals of two or more microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0247—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for microphones or earphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/004—Monitoring arrangements; Testing arrangements for microphones
    • H04R29/005—Microphone arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

운전자 또는 동승자의 앉은키 정보, 시트 포지션 정보, 동승석 탑승 정보를 이용하여 운전석 및 동승석에 근처에 각각 장착된 마이크의 빔 포밍 영역이 음성명령을 보낸 사람(발화자)를 향하도록 제어할 수 있는 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법이 개시된다. 이와 같은, 차량용 듀얼 마이크의 능동형 제어 시스템은 입 모양 변화 감지부 및 상기 사용자 및 시트 포지션 감지부에서 출력되는 상기 영상 데이터 및 사용자 및 시트 포지션 정보에 따라 마이크 빔 포밍 제어모드를 결정하고, 결정된 마이크 빔 포밍 제어모드에 따라 운전석의 마이크 빔 포밍을 제어하고, 결정된 마이크 빔 포밍 제어모드에 따라 특정 마이크 게인을 선택적으로 조절하여 운전석 및 동승석의 마이크 빔 포밍을 각각 제어한다.

Description

차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법{Active Control System of Dual Mic for Car And Method thereof}
본 발명은 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법에 관한 것으로, 더욱 상세하게는 사용자의 신체 정보, 차량 시트 포지션 정보, 및 동승자 여부에 따라 운전석 또는 동승석의 주변에 설치된 마이크의 빔 포밍 영역을 선택적으로 제어할 수 있는 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법에 관한 것이다.
일반적으로 차량의 내부에는 운전자가 운전을 하는 동안에도 전화 통화를 하거나, 음성인식 프로그램을 이용하여 특정 명령을 인식시키도록 하기 위하여 차량 실내에 부착된 마이크를 사용한다.
그런데 차량 내부에는 운전자의 음성뿐만 아니라 차량에서 나오는 기계음이나, 외부에서 들여오는 잡음이나 소음과 같은 불필요한 음향이 존재한다.
이에 따라, 차량 실내에는 2개 이상의 마이크를 부착하여 주변 기계음이나 잡음이나 소음과 같은 불필요한 음향의 영향을 최소화하기 위해, 서로 다른 마이크로 통해 입력되는 음성신호를 차등적으로 비교하여 목소리와 다른 잡음을 분리하는 차등비교 알고리즘을 이용하여 마이크 빔 포밍을 제어한다.
일례로, 대한민국 공개특허공보 제10-2015-0047981호 (2015년05월06일) 에는 운전자의 음성을 가장 잘 포착할 수 있도록 운전석 위치에 따라 빔 포밍 마이크의 지향 특성을 제어함으로써, 차량용 핸즈프리 시스템의 통화 품질을 향상시킬 수 있는 운전석 위치를 고려하는 빔 포밍 마이크 제어 장치 및 방법이 개시되어 있다.
또한, 대한민국 등록특허공보 제10-1750338호 (2017,06,19)에는 화자의 음성을 인식하고, 음성 인식된 화자에 대한 저장된 영상을 검색하여, 검색된 영상을 기초로, 카메라를 통하여 상기 화자를 검색한 후, 검색된 화자의 위치를 인식함으로써 화자의 위치에 따라 마이크의 빔 포밍을 수행하는 빔 포밍 수행 방법 및 장치가 개시되어 있다.
그러나, 이상과 같은 종래기술은 오직 화자의 현재 위치 정보만을 고려하여 마이크 빔 포밍을 제어하기 때문에 운전자의 앉은키나 시트 포지션 변화 및 운전자 또는 동승자의 자세 변화 및 동승자의 탑승 여부를 고려한 마이크 빔 포밍을 제어하는데 한계가 있기 때문에 운전자 또는 동승자의 가변상황에 맞도록 마이크 빔 포밍 영역을 화자의 입을 향하도록 능동적으로 조절되는데 한계가 있었다.
이에 따라, 종래기술에서는 운전자 또는 동승자의 음성과 잡음을 분해하는 능력이 떨어지고 이로 인해 음성인식률을 개선하는데 한계가 있었다.
본 발명의 목적은, 운전자 또는 동승자의 앉은키 정보, 시트 포지션 정보, 동승석 탑승 정보를 이용하여 운전석 및 동승석에 근처에 각각 장착된 마이크의 빔 포밍 영역이 음성명령을 보낸 사람(발화자)를 향하도록 제어할 수 있는 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법이 제공하기 위한 것이다.
본 발명의 다른 목적은, 차량에 운전자만 탑승한 경우에 운전석과 동승석에 각각 장착된 두 마이크의 빔 포밍을 운전자를 향하도록 제어할 수 있는 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법이 제공하기 위한 것이다.
본 발명의 또 다른 목적은, 차량에 운전자와 동승자가 모두 탑승한 경우, 발화자의 근처에 설치된 마이크의 게인은 초기 설정을 유지하지만 발화자에게서 멀리 있는 마이크의 게인은 상대적으로 감소되도록 제어할 수 있는 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법이 제공하기 위한 것이다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 기술적 과제를 해결하기 위하여, 본 발명의 바람직한 일 실시 예에 따른 차량용 듀얼 마이크의 능동형 제어 시스템은, 차량의 내부에 설치되고, 상기 차량의 운전자석에 착석한 운전자 및/또는 동승석에 착석한 동승자의 영상을 촬영하여 운전자 및/또는 동승자의 입 모양의 변화를 감지하는 입 모양 변화 감지부(100)와; 상기 운전자 및/또는 동승자의 탑승 상태정보를 감지하는 사용자 및 시트 포지션 감지부(200)와; 상기 입 모양 변화 감지부(100) 및 상기 사용자 및 시트 포지션 감지부(200)에서 출력되는 상기 영상 데이터 및 사용자 및 시트 포지션 정보에 따라 마이크 빔 포밍 제어모드를 결정하고, 결정된 마이크 빔 포밍 제어모드에 따라 운전석의 마이크 빔 포밍을 제어하고, 결정된 마이크 빔 포밍 제어모드에 따라 특정 마이크 게인을 선택적으로 조절하여 운전석 및 동승석의 마이크 빔 포밍을 각각 제어하는 인포테인먼트 시스템(300)과; 상기 인포테인먼트 시스템(300)의 제어에 따라 운전자석 근처에 설치된 제1 마이크(510)의 설치각도를 상기 운전자를 향하도록 각각 조절하거나, 상기 운전자석 및 동승석 근처에 각각 설치된 제1 및 제2 마이크(510,520) 및 제2 마이크(520)의 설치각도를 상기 운전자 및 동승자를 각각 향하도록 각각 조절하는 마이크 빔 포밍 제어부(400)를 포함하여 구성하는 것을 특징으로 한다.
또한, 본 발명의 바람직한 일 실시 예에 따른 차량용 듀얼 마이크의 능동형 제어 방법은, 차량의 운전자석에 착석한 운전자 및/또는 동승석에 착석한 동승자의 영상을 촬영하여 운전자 및/또는 동승자의 입 모양의 변화를 감지하는 단계; 상기 운전자 및/또는 동승자의 탑승 상태정보를 감지하는 단계; 상기 운전자 및/또는 동승자의 입 모양의 변화를 감지한 영상 데이터 및 상기 사용자 및 시트 포지션 정보에 따라 마이크 빔 포밍 제어모드를 결정하고, 결정된 마이크 빔 포밍 제어모드에 따라 운전석의 마이크 빔 포밍을 제어하고, 결정된 마이크 빔 포밍 제어모드에 따라 특정 마이크 게인을 선택적으로 조절하여 상기 운전석 및 동승석의 마이크 빔 포밍을 각각 제어하는 단계; 상기 운전자석 근처에 설치된 제1 마이크(510)의 설치각도를 상기 운전자를 향하도록 각각 조절하거나, 상기 운전자석 및 동승석 근처에 각각 설치된 제1 및 제2 마이크(510,520) 및 제2 마이크(520)의 설치각도를 상기 운전자 및 동승자를 각각 향하도록 각각 조절하는 단계를 포함하여 이루어지는 것을 특징으로 한다.
상기와 같이 구성되는 본 발명에 따른 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법에 따르면, 운전자 또는 동승자의 앉은키 정보, 시트 포지션 정보, 동승석 탑승 정보를 이용하여 운전석 및 동승석에 근처에 각각 장착된 마이크의 빔 포밍 영역이 음성명령을 보낸 사람(발화자)를 향하도록 제어할 수 있어, 운전자의 음성 인식률을 향상시킬 수 있다.
또한, 차량에 운전자만 탑승한 경우에 운전석과 동승석에 각각 장착된 두 마이크의 빔 포밍을 운전자를 향하도록 제어할 수 있을 뿐만 아니라, 차량에 운전자와 동승자가 모두 탑승한 경우, 발화자의 근처에 설치된 마이크의 게인은 초기 설정을 유지하지만 발화자에게서 멀리 있는 마이크의 게인은 상대적으로 감소되도록 제어할 수 있어, 운전자 또는 동승자의 음성과 잡음을 분해하는 능력을 향상시킬 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 바람직한 일 실시 예에 따른 차량용 듀얼 마이크의 능동형 제어 시스템의 블록 구성도이다.
도 2 내지 도 3은 본 발명의 바람직한 일 실시 예에 따른 차량용 듀얼 마이크의 능동형 제어절차를 설명하기 위한 플로우차트 이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소들을 의미한다.
이하, 본 발명의 바람직한 일 실시 예에 따른 차량용 듀얼 마이크의 능동형 제어 시스템의 구성과 제어 절차를 도 1 내지 도 3을 참조하여 상세히 설명한다.
도 1은 본 발명의 바람직한 일 실시 예에 따른 차량용 듀얼 마이크의 능동형 제어 시스템의 블록 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 바람직한 일 실시 예에 따른 차량용 듀얼 마이크의 능동형 제어 시스템은, 차량의 내부에 설치되고, 차량의 운전자석에 착석한 운전자 및/또는 운전자석의 일 측면에 위치한 동승석에 착석한 동승자의 영상을 촬영하여 운전자 및/또는 동승자의 입 모양의 변화를 감지하는 입 모양 변화 감지부(100)와, 운전자 및/또는 동승자의 탑승 상태 정보(예를 들어, 운전자 및/또는 동승자의 앉은키 정보, 상기 차량의 운전석 및/또는 동승석의 시트 포지션 정보, 상기 차량의 동승석의 동승자 탑승정보 중에서 적어도 한 개 이상의 선택적인 조합으로 이루어지는 정보)를 감지하는 사용자 및 시트 포지션 감지부(200)와, 입 모양 변화 감지부(100) 및 사용자 및 시트 포지션 감지부(200)에서 출력되는 영상 데이터 및 사용자 및 시트 포지션 정보에 따라 마이크 빔 포밍 제어모드를 결정하고, 결정된 마이크 빔 포밍 제어모드에 따라 운전석의 마이크 빔 포밍을 제어하고, 결정된 마이크 빔 포밍 제어모드에 따라 특정 마이크 게인을 선택적으로 조절하여 운전석 및 동승석의 마이크 빔 포밍을 각각 제어하는 인포테인먼트 시스템(300)과, 인포테인먼트 시스템(300)의 제어에 따라 운전자석 근처에 설치된 제1 마이크(510)의 설치각도를 운전자를 향하도록 각각 조절하거나, 운전자석 및 동승석 근처에 각각 설치된 제1 및 제2 마이크(510,520) 및 제2 마이크(520)의 설치각도를 운전자 및 동승자를 각각 향하도록 각각 조절하는 마이크 빔 포밍 제어부(400)와, 차량의 운전자석 및 운전자석의 측면에 위치한 동승석 주변에 각각 설치되어 사용자의 음성 명령이 입력되며, 마이크 빔 포밍 제어부(400)의 제어에 따라 마이크 빔 포밍 영역이 제어되도록 설치각도가 각각 조절되는 제1 또는 제2 마이크(510,520)로 구성되는 마이크부(500)로 구성된다.
여기서, 입 모양 변화 감지부(100)는, 차량의 내부에 설치되어, 인포테인먼트 시스템(300)의 제어에 따라 상기 차량의 운전자석에 착석한 운전자 또는 상기 운전자석의 일측면에 위치한 동승석에 착석한 동승자의 영상을 촬영하는 적어도 하나 이상의 카메라(110)와, 카메라(110)에서 촬영한 영상 데이터를 외부로 전송하는 제1 네트워크 통신부(120)로 구성된다.
또한, 사용자 및 시트 포지션 감지부(200)는 인포테인먼트 시스템(300)의 제어에 따라 상기 운전자 또는 동승자의 앉은키 정보, 상기 차량의 운전석 또는 동승석의 시트 포지션 정보, 상기 차량의 동승석의 동승자 탑승정보를 선택적으로 포함하는 사용자 및 시트 정보를 데이터베이스화 방식으로 저장 및 관리되는 제1 데이터베이스(210)와, 상기 인포테인먼트 시스템(300)의 제어에 따라 상기 제1 데이터베이스(210)에 저장되는 상기 사용자 및 시트정보를 저장하거나 읽어 들이는 제1 제어부(220)와, 상기 제1 제어부(220)의 제어에 따라 상기 사용자 및 시트정보를 외부로 전송하는 제2 네트워크 통신부(230)로 구성된다.
또한, 상기 인포테인먼트 시스템(300)은, 상기 입 모양 변화 감지부(100), 상기 사용자 및 시트 포지션 감지부(200), 또는 마이크 빔 포밍 제어부(400)와 데이터 통신을 수행하는 제3 네트워크 통신부(310)와, 상기 차량의 내부에서 음성인식을 위한 음성명령이 발화하는 경우, 상기 사용자 및 시트정보에 포함된 상기 탑승정보에 따라 마이크 빔 포밍 제어모드를 결정하고, 결정된 마이크 빔 포밍 제어신호를 출력하는 제2 제어부(320)와, 제2 제어부(320)의 제어에 따라 상기 영상 데이터 및/또는 운전정보를 표시하는 디스플레이부(330)와, 사용자 및 시트정보를 고려한 상기 운전자의 입 예상 위치 값을 기반으로 상기 빔 포밍 제어신호를 데이터베이스화 방식으로 저장 및 관리하며, 상기 제2 제어부(320)의 제어에 따라 독출하는 제2 데이터베이스(340)로 구성된다.
여기서, 상기 제2 제어부(320)는, 상기 사용자 및 시트정보에 포함된 상기 탑승정보에 따라 마이크 빔 포밍 제어모드를 결정하고, 결정된 마이크 빔 포밍 제어모드에 따라 운전자석 근처에 설치된 제1 마이크(510)의 설치각도를 운전자를 향하게 하거나, 운전자석 및 동승석 근처에 각각 설치된 제1 및 제2 마이크(510,520)의 설치각도를 운전자 및 동승자를 각각 향하게 하기 위한 빔 포밍 제어신호를 출력하는 빔 포밍 처리부(322)와, 상기 입 모양 변화 감지부(100)에서 전송한 영상 데이터를 처리하여, 상기 운전석 또는 동승석에 탑승한 운전자 또는 동승자의 입 위치와 입 모양 변화를 감지하는 영상 데이터를 이용하여 현재 입의 좌표를 추정하는 영상 데이터 처리부(324)와, 상기 사용자 및 시트 포지션 감지부(200)에서 전송한 상기 사용자 및 시트 포지션 정보를 수신하여, 상기 운전자 또는 동승자의 앉은키 정보, 상기 차량의 운전석 또는 동승석의 시트 포지션 정보, 상기 차량의 동승석의 동승자 탑승정보를 각각 감지하는 시트 포지션 정보 처리부(326)로 구성된다.
여기서, 인포테인먼트 시스템(300)은, 사용자의 음성 명령이 입력되면 사용자 음성 명령에 상응하는 검색 정보를 서치 및 획득하고, 디스플에이부(330) 또는 스피커(미도시)를 통하여 해당 정보를 음원 정보나 텍스트 정보 또는 텍스트 정보가 포함된 음원 정보로 출력할 수 있다.
또한, 마이크 빔 포밍 제어부(400)는 인포테인먼트 시스템(300)의 네트워크 통신부(310)에서 출력되는 상기 마이크 빔 포밍 제어신호를 수신하는 제4 네트워크 통신부(410)와, 상기 제4 네트워크 통신부(410)에서 출력되는 마이크 빔 포핑 제어신호에 따라 상기 운전석 또는 상기 동승석에 대한 마이크 밈 포밍 영역을 조절하기 위한 마이크 설치각도 조절신호를 출력하는 제1 마이크 각도 조절부(420) 및 제2 마이크 각도 조절부(430)와, 상기 마이크 설치각도 조절신호에 따라 상기 차량의 운전자석 및 상기 운전자석의 측면에 위치한 동승석에 각각 설치되어, 사용자의 음성 명령이 입력되는 적어도 제1 또는 제2 마이크(510,520)로 구성되는 마이크부(500)의 설치각도를 상측, 하측, 좌측, 우측 방향중 임의의 한 방향 이상의 방향으로 조절하는 제1 서보 모터(440) 및 제2 서보 모터(450)로 구성된다.
본 발명의 바람직한 일 실시 예에서는 제1 및 제2 마이크(510,520)는 운전석 및 동승석의 전방이나 측면 또는 상면에 설치되는 것이 바람직하며, 제1 및 제2 마이크(510,520)의 간격은 6.8~13cm의 범위 내에서 설치되는 것이 바람직하다.
이하에서 첨부된 도 2 내지 도 3을 참조하여 본 발명의 바람직한 일 실시 예에 따른 차량용 듀얼 마이크의 능동형 제어 절차를 설명한다.
먼저 도 2에 도시된 바와 같이, 차량에 시동이 걸리면, 인포테인먼트 시스템(300)이 자동으로 부팅되며, 사용자가 수조작으로 PTT(Push To Tack) 버튼을 누르거나, 인포테인먼트 시스템(300)의 디스플레이부(330)에 표시된 '음성인식 실행 아이콘'을 터치하여 음성인식 실행모드를 설정한다(S11).
이어, 인포테인먼트 시스템(300)은 운전석의 마이크 빔 포밍 제어를 위해 입 모양 변화 감지부(100)에게 운전자의 입 위치 변화정보를 요청하면(S13), 입 모양 변화 감지부(100)는 카메라(110)을 이용하여 운전자의 입 모양의 변화정보를 포함한 영상 데이터를 포함하는 사용자 정보를 인포테인먼트 시스템(300)으로 전송한다(S15).
또한, 인포테인먼트 시스템(300)은 사용자 및 시트 포지션 감지부(200)에게 사전에 운전자 또는 동승자가 입력한 운전자 및/또는 동승자의 탑승 상태 정보(예를 들어, 운전자 및/또는 동승자의 앉은키 정보, 상기 차량의 운전석 및/또는 동승석의 시트 포지션 정보, 상기 차량의 동승석의 동승자 탑승정보 중에서 적어도 한 개 이상의 선택적인 조합으로 이루어지는 정보)를 요청하면(S17), 사용자 및 시트 포지션 감지부(200)는 제1 데이터베이스(210)에 저장중인 운전자 또는 동승자가 입력한 운전자 또는 동승자 앉은 키 정보 및 현재 운전석 또는 동승석의 시트 포지션 정보, 그리고 조수석 탑승 정보를 포함하는 시트정보를 독출(read)하여 인포테인먼트 시스템(300)으로 전송한다(S19).
이어, 인포테인먼트 시스템(300)은 사용자 및 시트정보를 수신하고, 사용자 및 시트정보에 포함된 조수석 탑승 정보를 이용하여 운전자만 탑승했는지, 차량에 운전자와 동승자가 함께 탑승했는지를 판단하고, 판단 결과에 따라 마이크 빔 포밍 제어모드를 결정한다(S21).
이때, S21단계의 판단결과가 차량에 운전자만 탑승된 것으로 판단되면, 능동형 싱글 마이크 제어 모드로 설정한다(S23).
이어, 인포테인먼트 시스템(300)은 현재 운전자 앉은 키 정보와 운전석 시트 포지션정보에 포함된 영상 데이터를 기반으로 운전자의 예상 입 위치 좌표를 추정한다(S25).
이후, 인포테인먼트 시스템(300)은 추정된 운전자의 입 위치에 상응하는 마이크 빔 포밍 위치 설정 값이 사전에 튜닝되어 저장된 제2 데이터베이스(340)에 접근(엑세스)하여 마이크 빔 포밍 제어를 위한 해당 위치 설정값을 읽어와서 마이크 빔 포밍 제어부(400)로 전송한다(S27).
이에 따라, 마이크 빔 포밍 제어부(400)는 운전석 근처에 장착된 제1 마이크(510)의 운전자의 입 위치에 상응하는 마이크 빔 포밍 위치 설정 값으로 빔 포밍 영역을 제어한다(S29).
즉, 마이크 빔 포밍 제어부(400)는 인포테인먼트 시스템(300)에서 전송한 제1 및 제2 마이크(510,520)에 대한 마이크 빔 포밍 초기 위치 설정값 정보를 기반으로 각각의 마이크의 빔 포밍 영역을 제어하기 위해 마이크 빔 포밍 제어부(400)의 제1 및 제2 서브 모터(440,450)의 구동을 각각 제어하여 해당 마이크 빔 포밍 영역을 운전자를 향하도록 상측, 하측, 좌측, 우측 방향 중 임의의 한 방향 이상의 방향으로 각각 조절한다.
이때, 마이크 빔 포밍 제어부(400)는 제1 마이크(510)에 대한 마이크 빔 포밍 영역의 조절이 완료되면, 마이크 빔 포밍 조절 완료 메시지를 생성하여 인포테인먼트 시스템(300)로 전송한다(S31).
한편, 인포테인먼트 시스템(300)은 차량의 내부에서 음성인식 실행 중인 상태인지를 판단하고(S33), S33단계의 판단결과로써, 음성인식을 실행하고 있으면, 차량의 내부에 장착된 카메라(110)에 전석(운전자석 및 동승석)에 탑승된 운전자 및 동승자를 촬영한 영상 데이터를 실시간으로 전송할 것을 요청하는 탑승자 영상 전송 요청 메시지를 생성하여 입 모양 변화 감지부(100)로 전송한다(S35).
이에 따라, 해당 탑승자 영상 전송 요청 메시지를 수신한 입 모양 변화 감지부(100)는 카메라(110)을 제어하여 전석에 탑승된 운전자 및 동승자를 촬영한 영상 데이터를 생성하여 실시간으로 인포테인먼트 시스템(300)으로 전송한다(S37).
이에 따라, 인포테인먼트 시스템(300)은 실시간으로 수신하는 영상 데이터에서 운전자 또는 동승자의 입의 위치를 추정하고(S39), 운전자의 초기 입 추정 위치에 대비하여 위치 좌표의 변화가 발생하였는지를 판단한다(S41).
만약, S41단계의 판단결과로써, 현재 입 추정 위치의 좌표에 변화가 발생된 것으로 판단되면, 인포테인먼트 시스템(300)의 제2 제어부(320)에서 기존 입 위치 추정 값 대비 변동 값(상,하,좌,우 델타 값)을 산출한 후(S43), 제2 데이터베이스(340)에 해당 변동 값을 저장하고, 또한 변동 값을 마이크 빔 포밍 제어부(400)로 전송한다(S45).
이에 따라, 마이크 빔 포밍 제어부(400)는 해당 변동 값을 수신하고, 운전석 근처에 설치된 제1 마이크(510)와 동승자 근처에 설치된 제2 마이크(520)의 마이크 빔 포밍 영역을 현재 운전자의 입 위치로 향하도록 조절한다(S47).
즉, 마이크 빔 포밍 제어부(400)는 인포테인먼트 시스템(300)에서 전송한 제1 및 제2 마이크(510,520)에 대한 마이크 빔 포밍 영역을 현재 운전자의 입 위치에 조준되도록 제1 및 제2 서브 모터(440,450)의 구동을 제어하여 해당 마이크 빔 포밍 영역을 상측, 하측, 좌측, 우측 방향 중 임의의 일 방향 이상의 방향으로 조절한다.
이때, 마이크 빔 포밍 제어부(400)는 해당 제1 및 제2 마이크(510,520)에 대한 마이크 빔 포밍 영역의 조절이 완료되면, 마이크 빔 포밍 조절 완료 메시지를 생성하여 인포테인먼트 시스템(300)로 전송한다(S49).
이후, 인포테인먼트 시스템(300)은 실제 제1 및 제2 마이크(510,520)에 유입된 음성에서 잡음을 제어하여 운전자의 음성 명령어를 처리한 후(S51), 본 발명에 따른 차량용 듀얼 마이크의 능동형 제어절차를 종료한다.
그러나, S17단계의 판단결과가 차량에 운전자와 동승자가 함께 탑승한 것으로 판단되면, 인포테인먼트 시스템(300)은 도 3에 도시된 바와 같이, 마이크 빔 포밍 제어모드를 능동형 듀얼 마이크 제어 모드로 설정한다(S22).
이 후, 인포테인먼트 시스템(300)은 운전석의 마이크 빔 포밍 제어를 위해 입 모양 변화 감지부(100)에게 운전자의 입 위치 변화정보를 요청한다(S24).
이에 따라, 입 모양 변화 감지부(100)는 카메라(110)을 이용하여 운전자의 입 모양의 변화정보를 포함한 영상 데이터를 인포테인먼트 시스템(300)으로 전송한다(S26).
이때, 인포테인먼트 시스템(300)은 현재 운전자 앉은 키 정보와 운전석 시트 포지션정보에 포함된 영상 데이터를 기반으로 운전자의 예상 입 위치 좌표를 추정한다(S28).
이후, 인포테인먼트 시스템(300)은 추정된 운전자의 현재 입 위치에 상응하는 마이크 빔 포밍 위치 설정 값이 사전에 튜닝되어 저장된 제2 데이터베이스(340)에 접근(엑세스)하여 마이크 빔 포밍 제어를 위한 현재 입 위치에 상응하는 마이크 빔 포밍 위치 설정값을 읽어와서 마이크 빔 포밍 제어부(400)로 전송한다(S30).
이에 따라, 마이크 빔 포밍 제어부(400)는 운전석 근처에 장착된 제1 마이크(510)의 빔 포밍 영역을 초기 위치 설정 값으로 제어한다(S32).
즉, 마이크 빔 포밍 제어부(400)는 인포테인먼트 시스템(300)에서 전송한 제1 또는 제2 마이크(510,520)에 대한 마이크 빔 포밍 위치 설정 값 정보를 기반으로 각각의 마이크의 빔 포밍 영역을 제어하기 위해 마이크 빔 포밍 제어부(400)의 각각의 제1 또는 제2 서브 모터(440,450)의 구동을 제어하여, 해당 마이크 빔 포밍 영역을 운전자와 동승자를 각각 향하도록 상측, 하측, 좌측, 우측 방향 중 임의의 일 방향 이상의 방향으로 조절한다.
이때, 마이크 빔 포밍 제어부(400)는 해당 제1 또는 제2 마이크(510,520)에 대한 마이크 빔 포밍 영역의 조절이 완료되면, 마이크 빔 포밍 조절 완료 메시지를 생성하여 인포테인먼트 시스템(300)로 전송한다(S34).
한편, 인포테인먼트 시스템(300)은 차량의 내부에서 음성인식 실행 중인 상태인지를 판단하고(S36), S36단계의 판단결과로써, 음성인식을 실행하고 있으면, 차량의 내부에 장착된 카메라(110)에 전석(운전자석 및 동승석)에 탑승된 운전자 및 동승자를 촬영한 영상 데이터를 실시간으로 전송할 것을 요청하는 탑승자 영상 전송 요청 메시지를 생성하여 입 모양 변화 감지부(100)로 전송한다(S38).
이에 따라, 해당 탑승자 영상 전송 요청 메시지를 수신한 입 모양 변화 감지부(100)는 카메라(110)을 제어하여 전석에 탑승된 운전자 및 동승자를 촬영한 영상 데이터를 생성하여 실시간으로 인포테인먼트 시스템(300)으로 전송한다(S40).
이에 따라, 인포테인먼트 시스템(300)은 실시간으로 수신하는 영상 데이터에서 운전자 또는 동승자의 입 모양을 추정하고, 우선 발화자가 운전자 인지 동승자인지를 판별한다(S42).
이때, S42단계의 판단결과로써, 운전자가 우선 발화자로 판단되는 경우, 인포테인먼트 시스템(300)은 운전석 근처에 설치된 제1 마이크(510)의 게인 값은 기본 설정 값을 유지하면서, 동승자 근처에 설치된 제2 마이크(520)의 게인 값은 기본 설정 값 대비 -6dB이상으로 감소시켜(S44), 운전석의 근방에 설치된 제1 마이크(510)로 유입되는 음원의 변별력을 증가시킨다.
이때, 인포테인먼트 시스템(300)은 동승석의 근처에 설치된 제2 마이크(520)의 게인을 기본 설정 값 대비 25%이하 수준으로 감소시켜, 제2 마이크(520)로 유입되는 음원 신호를 주변 잡음 수준으로 낮춰 가급적 동승석의 근처에 설치된 제2 마이크(520)으로의 음원 유입을 억제시킨다.
그러나, S42단계의 판단결과로써, 동승자가 우선 발화자로 판단되는 경우, 인포테인먼트 시스템(300)은 동승석 근처에 설치된 제2 마이크(520)의 게인 값은 기본 설정 값을 유지하면서, 운전자 근처에 설치된 제1 마이크(510)의 게인 값은 기본 설정 값 대비 -6dB이상으로 감소시켜(S46), 동승석의 근방에 설치된 제2 마이크(520)로 유입되는 음원의 변별력을 증가시킨다.
이때, 인포테인먼트 시스템(300)은 운전자석의 근처에 설치된 제1 마이크(510)의 게인을 기본 설정 값 대비 25%이하 수준으로 감소시켜, 제1 마이크(510)로 유입되는 음원 신호를 주변 잡음 수준으로 낮춰 가급적 동승석의 근처에 설치된 제1 마이크(510)으로의 음원 유입을 억제시킨다.
이후, 인포테인먼트 시스템(300)은 기본 마이크 게인 설정 값을 유지하는 각각의 제1 또는 제2 마이크(510,520)로 유입된 발화 음원의 음압 레벨(전압 레벨)을 미리 설정된 주기로 감지하여 발화 음원이 존재하는지를 판단한다(S48).
이때, 판단결과로써, 음압 레벨 변화가 없는 경우, 인포테인먼트 시스템(300)은 음성인식 처리 절차를 종료하지만(S50), 특정 마이크에 입력되는 음원이 존재할 경우(음압 레벨 변화가 감지된 경우), 해당 마이크로 유입된 음성 명령어를 처리한 후, 하는 차량용 듀얼 마이크의 능동형 제어절차를 종료한다.
이상에서 설명한 본 발명에 따른 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법에 따르면, 운전자 또는 동승자의 앉은키 정보, 시트 포지션 정보, 동승석 탑승 정보를 이용하여 운전석 및 동승석에 근처에 각각 장착된 마이크의 빔 포밍 영역이 음성명령을 보낸 사람(발화자)를 향하도록 제어할 수 있어, 운전자의 음성 인식률을 향상시킬 수 있는 장점을 제공한다.
또한, 차량에 운전자만 탑승한 경우에 운전석과 동승석에 각각 장착된 두 마이크의 빔 포밍을 운전자를 향하도록 제어할 수 있을 뿐만 아니라, 차량에 운전자와 동승자가 모두 탑승한 경우, 발화자의 근처에 설치된 마이크의 게인은 초기 설정을 유지하지만 발화자에게서 멀리 있는 마이크의 게인은 상대적으로 감소되도록 제어할 수 있어, 운전자 또는 동승자의 음성과 잡음을 분해하는 능력을 향상시킬 수 있는 장점을 제공한다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
100 : 입 모양 변화 감지부 110 : 카메라
120: 제1 네트워크 통신부 200: 사용자 및 시트 포지션 감지부
210 : 제1 데이터베이스 220 : 제1 제어부
230 : 제2 네트워크 통신부 300 : 인포테인먼트 시스템
310 : 제3 네트워크 통신부 320 : 제2 제어부
322 : 제2 빔 포밍 처리부 324 : 영상 데이터 처리부
326 : 시트 포지션정보 처리부 330 : 디스플레이부
340 : 제2 데이터베이스 400: 마이크 빔 포밍 제어부
410 : 제4 네트워크 통신부 420 : 제1 마이크 각도조절부
430 : 제2 마이크 각도조절부 440 : 제1 서보 모터
450 : 제2 서보 모터 500 : 마이크부
510 : 제1 마이크 520 : 제2 마이크

Claims (11)

  1. 차량의 내부에 설치되고, 상기 차량의 운전자석에 착석한 운전자 및/또는 동승석에 착석한 동승자의 영상을 촬영하여 운전자 및/또는 동승자의 입 모양의 변화를 감지하는 입 모양 변화 감지부;
    상기 운전자 및/또는 동승자의 탑승 상태정보를 감지하는 사용자 및 시트 포지션 감지부;
    상기 입 모양 변화 감지부 및 상기 사용자 및 시트 포지션 감지부에서 출력되는 상기 영상 데이터 및 사용자 및 시트 포지션 정보에 따라 마이크 빔 포밍 제어모드를 결정하고, 결정된 마이크 빔 포밍 제어모드에 따라 운전석의 마이크 빔 포밍을 제어하고, 결정된 마이크 빔 포밍 제어모드에 따라 특정 마이크 게인을 선택적으로 조절하여 운전석 및 동승석의 마이크 빔 포밍을 각각 제어하는 인포테인먼트 시스템; 그리고,
    상기 인포테인먼트 시스템의 제어에 따라 운전자석 근처에 설치된 제1 마이크의 설치각도를 상기 운전자를 향하도록 각각 조절하거나, 상기 운전자석 및 동승석 근처에 각각 설치된 제1 및 제2 마이크 및 제2 마이크의 설치각도를 상기 운전자 및 동승자를 각각 향하도록 각각 조절하는 마이크 빔 포밍 제어부를 포함하여 구성하는 것을 특징으로 하는 차량용 듀얼 마이크의 능동형 제어 시스템.
  2. 제1 항에 있어서, 상기 입 모양 변화 감지부는,
    상기 차량의 내부에 설치되어, 상기 인포테인먼트 시스템의 제어에 따라 상기 차량의 운전자석에 착석한 운전자 또는 상기 운전자석의 일측면에 위치한 동승석에 착석한 동승자의 영상을 촬영하는 적어도 하나 이상의 카메라; 그리고,
    상기 카메라에서 촬영한 영상 데이터를 외부로 전송하는 제1 네트워크 통신부를 포함하여 구성하는 것을 특징으로 하는 차량용 듀얼 마이크의 능동형 제어 시스템.
  3. 제1 항에 있어서, 상기 탑승 상태 정보는,
    상기 운전자 및/또는 동승자의 앉은키 정보, 상기 차량의 운전석 및/또는 동승석의 시트 포지션 정보, 상기 차량의 동승석의 동승자 탑승정보 중에서 적어도 한 개 이상의 선택적인 조합으로 이루어지는 것을 특징으로 하는 차량용 듀얼 마이크의 능동형 제어 시스템.
  4. 제1 항에 있어서, 상기 사용자 및 시트 포지션 감지부는,
    상기 인포테인먼트 시스템의 제어에 따라 상기 운전자 또는 동승자의 앉은키 정보, 상기 차량의 운전석 또는 동승석의 시트 포지션 정보, 상기 차량의 동승석의 동승자 탑승정보를 선택적으로 포함하는 사용자 및 시트 정보를 데이터베이스화 방식으로 저장 및 관리되는 제1 데이터베이스;
    상기 인포테인먼트 시스템의 제어에 따라 상기 제1 데이터베이스에 저장되는 상기 사용자 및 시트정보를 저장하거나 읽어 들이는 제1 제어부; 그리고,
    상기 제1 제어부의 제어에 따라 상기 사용자 및 시트정보를 외부로 전송하는 제2 네트워크 통신부를 포함하여 구성하는 것을 특징으로 하는 차량용 듀얼 마이크의 능동형 제어 시스템.
  5. 제1 항에 있어서, 상기 인포테인먼트 시스템은,
    상기 입 모양 변화 감지부, 상기 사용자 및 시트 포지션 감지부, 또는 마이크 빔 포밍 제어부와 데이터 통신을 수행하는 제3 네트워크 통신부;
    상기 차량의 내부에서 음성인식을 위한 음성명령이 발화하는 경우, 상기 사용자 및 시트정보에 포함된 상기 탑승정보에 따라 마이크 빔 포밍 제어모드를 결정하고, 결정된 마이크 제어신호를 출력하는 제2 제어부;
    제2 제어부의 제어에 따라 상기 영상 데이터 및/또는 운전정보를 표시하는 디스플레이부; 그리고,
    상기 사용자 및 시트정보를 고려한 상기 운전자의 입 예상 위치 값을 기반으로 상기 빔 포밍 제어신호를 데이터베이스화 방식으로 저장 및 관리하며, 상기 제2 제어부의 제어에 따라 독출하는 제2 데이터베이스를 포함하여 구성하는 것을 특징으로 하는 차량용 듀얼 마이크의 능동형 제어 시스템.
  6. 제5 항에 있어서, 상기 제2 제어부는,
    상기 사용자 및 시트정보에 포함된 상기 탑승정보에 따라 마이크 빔 포밍 제어모드를 결정하고, 결정된 마이크 빔 포밍 제어모드에 따라 운전자석 근처에 설치된 제1 마이크의 설치각도를 운전자를 향하게 하거나, 운전자석 및 동승석 근처에 각각 설치된 제1 및 제2 마이크의 설치각도를 운전자 및 동승자를 각각 향하게 하기 위한 빔 포밍 제어신호를 출력하는 빔 포밍 처리부;
    상기 입 모양 변화 감지부에서 전송한 영상 데이터를 처리하여, 상기 운전석 또는 동승석에 탑승한 운전자 또는 동승자의 입 위치와 입 모양 변화를 감지하는 영상 데이터 처리부; 그리고,
    상기 사용자 및 시트 포지션 감지부에서 전송한 상기 사용자 및 시트 포지션 정보를 수신하여, 상기 운전자 또는 동승자의 앉은키 정보, 상기 차량의 운전석 또는 동승석의 시트 포지션 정보, 상기 차량의 동승석의 동승자 탑승정보를 각각 감지하는 시트 포지션 정보 처리부를 포함하여 구성하는 것을 특징으로 하는 차량용 듀얼 마이크의 능동형 제어 시스템.
  7. 제1 항에 있어서, 상기 마이크 빔 포밍 제어부는,
    상기 인포테인먼트 시스템에서 출력되는 상기 마이크 빔 포밍 제어신호를 수신하는 제4 네트워크 통신부;
    상기 제4 네트워크 통신부에서 출력되는 마이크 빔 포핑 제어신호에 따라 상기 운전석 또는 상기 동승석에 대한 마이크 밈 포밍 영역을 조절하기 위한 마이크 설치각도 조절신호를 출력하는 제1 마이크 각도 조절부 및 제2 마이크 각도 조절부; 그리고,
    상기 마이크 설치각도 조절신호에 따라 상기 차량의 운전자석 및 상기 동승석에 각각 설치되어, 사용자의 음성 명령이 입력되는 적어도 제1 또는 제2 마이크로 구성되는 마이크부의 설치각도를 상측, 하측, 좌측, 우측 방향 중 임의의 방향 이상의 방향으로 조절하는 제1 서보 모터 및 제2 서보 모터를 포함하여 구성하는 것을 특징으로 하는 차량용 듀얼 마이크의 능동형 제어 시스템.
  8. 차량의 운전자석에 착석한 운전자 및/또는 동승석에 착석한 동승자의 영상을 촬영하여 운전자 및/또는 동승자의 입 모양의 변화를 감지하는 단계;
    상기 운전자 및/또는 동승자의 탑승 상태정보를 감지하는 단계;
    상기 운전자 및/또는 동승자의 입 모양의 변화를 감지한 영상 데이터 및 상기 사용자 및 시트 포지션 정보에 따라 마이크 빔 포밍 제어모드를 결정하고, 결정된 마이크 빔 포밍 제어모드에 따라 운전석의 마이크 빔 포밍을 제어하고, 결정된 마이크 빔 포밍 제어모드에 따라 특정 마이크 게인을 선택적으로 조절하여 상기 운전석 및 동승석의 마이크 빔 포밍을 각각 제어하는 단계; 그리고,
    상기 운전자석 근처에 설치된 제1 마이크의 설치각도를 상기 운전자를 향하도록 각각 조절하거나, 상기 운전자석 및 동승석 근처에 각각 설치된 제1 및 제2 마이크 및 제2 마이크의 설치각도를 상기 운전자 및 동승자를 각각 향하도록 각각 조절하는 단계를 포함하여 이루어지는 것을 차량용 듀얼 마이크의 능동형 제어 방법.
  9. 제8 항에 있어서,
    상기 사용자 및 시트정보에 포함된 상기 탑승정보에 따라 상기 마이크 빔 포밍 제어모드를 결정하고,
    상기 차량에 운전자만 탑승한 경우에는 상기 운전자석 근처에 설치된 제1 마이크의 설치각도를 운전자를 향하게 하기 위한 빔 포밍 제어신호를 출력하거나;
    상기 차량에 운전자와 동승자가 함께 탑승한 경우에는 상기 운전자석 및 동승석 근처에 각각 설치된 제1 및 제2 마이크의 설치각도를 상기 운전자 및 동승자를 각각 향하게 하기 위한 빔 포밍 제어신호를 출력하는 것을 특징으로 하는 차량용 듀얼 마이크의 능동형 제어 방법.
  10. 제9 항에 있어서,
    상기 운전자가 우선 발화자로 판단되는 경우, 상기 제1 마이크의 게인 값은 기본 설정 값을 유지하면서, 상기 제2 마이크의 게인 값은 기본 설정 값 대비 미리 설정된 게인값 이상으로 감소시키고,
    상기 동승자가 우선 발화자로 판단되는 경우, 상기 제2 마이크의 게인 값은 기본 설정 값을 유지하면서, 상기 제1 마이크의 게인 값은 기본 설정값 대비 미리 설정된 게인 값 이상으로 감소시키는 것을 특징으로 하는 차량용 듀얼 마이크의 능동형 제어 방법.
  11. 제8항 내지 제10항 중 어느 한 항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020180161133A 2018-12-13 2018-12-13 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법 Active KR102537879B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180161133A KR102537879B1 (ko) 2018-12-13 2018-12-13 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법
US16/440,266 US10645494B1 (en) 2018-12-13 2019-06-13 Active control system for a vehicular dual microphone and a control method thereof
DE102019218630.0A DE102019218630B4 (de) 2018-12-13 2019-11-29 Aktives steuersystem eines fahrzeugdoppelmikrofons und ein steuerverfahren dafür

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180161133A KR102537879B1 (ko) 2018-12-13 2018-12-13 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법

Publications (2)

Publication Number Publication Date
KR20200072965A true KR20200072965A (ko) 2020-06-23
KR102537879B1 KR102537879B1 (ko) 2023-05-30

Family

ID=70461640

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180161133A Active KR102537879B1 (ko) 2018-12-13 2018-12-13 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법

Country Status (3)

Country Link
US (1) US10645494B1 (ko)
KR (1) KR102537879B1 (ko)
DE (1) DE102019218630B4 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111688580B (zh) * 2020-05-29 2023-03-14 阿波罗智联(北京)科技有限公司 智能后视镜进行拾音的方法以及装置
CN113928251A (zh) 2020-07-14 2022-01-14 广州汽车集团股份有限公司 一种基于主驾人员信息采集的车辆控制系统、方法及汽车
KR20230122451A (ko) * 2022-02-14 2023-08-22 현대자동차주식회사 스마트 스피커 및 이를 이용한 사운드 제공 방법
CN117116268B (zh) * 2023-08-17 2025-07-11 赛力斯汽车有限公司 语音识别的方法、装置、电子设备及可读存储介质
KR20250066584A (ko) 2023-11-07 2025-05-14 현대자동차주식회사 지향각 조절이 가능한 마이크로폰 장치 및 이를 이용한 음성 인식 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002091466A (ja) * 2000-09-12 2002-03-27 Pioneer Electronic Corp 音声認識装置
KR20150047981A (ko) * 2013-10-25 2015-05-06 현대모비스 주식회사 운전석 위치를 고려하는 빔 포밍 마이크 제어 장치 및 방법
US9747917B2 (en) * 2013-06-14 2017-08-29 GM Global Technology Operations LLC Position directed acoustic array and beamforming methods

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007302155A (ja) * 2006-05-12 2007-11-22 Matsushita Electric Ind Co Ltd 車載用マイクロホン装置及びその指向性制御方法
JP5343803B2 (ja) 2009-10-01 2013-11-13 富士通株式会社 移動端末
KR101750338B1 (ko) * 2010-09-13 2017-06-23 삼성전자주식회사 마이크의 빔포밍 수행 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002091466A (ja) * 2000-09-12 2002-03-27 Pioneer Electronic Corp 音声認識装置
US9747917B2 (en) * 2013-06-14 2017-08-29 GM Global Technology Operations LLC Position directed acoustic array and beamforming methods
KR20150047981A (ko) * 2013-10-25 2015-05-06 현대모비스 주식회사 운전석 위치를 고려하는 빔 포밍 마이크 제어 장치 및 방법

Also Published As

Publication number Publication date
US10645494B1 (en) 2020-05-05
DE102019218630B4 (de) 2025-09-18
DE102019218630A1 (de) 2020-06-18
KR102537879B1 (ko) 2023-05-30

Similar Documents

Publication Publication Date Title
KR102537879B1 (ko) 차량용 듀얼 마이크의 능동형 제어 시스템 및 그의 제어 방법
US10448150B2 (en) Method and apparatus to detect and isolate audio in a vehicle using multiple microphones
US20090055180A1 (en) System and method for optimizing speech recognition in a vehicle
US20190341044A1 (en) Method and Apparatus for Using Image Data to Aid Voice Recognition
US20090055178A1 (en) System and method of controlling personalized settings in a vehicle
US11089404B2 (en) Sound processing apparatus and sound processing method
US8885847B2 (en) Vehicular apparatus
JP6284331B2 (ja) 会話支援装置、会話支援方法及び会話支援プログラム
CN110865788B (zh) 交通工具通信系统和操作交通工具通信系统的方法
KR20150047981A (ko) 운전석 위치를 고려하는 빔 포밍 마이크 제어 장치 및 방법
JP2016021650A (ja) 収音制御装置及び収音システム
KR101947317B1 (ko) 차량 내 사운드 제어장치 및 방법
KR102374054B1 (ko) 음성 인식 방법 및 이에 사용되는 장치
US10115392B2 (en) Method for adjusting a voice recognition system comprising a speaker and a microphone, and voice recognition system
JP2007045217A (ja) 車両用電動ミラーの制御システム
CN119110221A (zh) 车载音效自动调整方法、装置、设备和可读存储介质
KR101260053B1 (ko) 동작 및 음성을 이용한 지능형 차량 제어 장치 및 방법
JP3838159B2 (ja) 音声認識対話装置およびプログラム
JP4410378B2 (ja) 音声認識方法および装置
JP2007208828A (ja) 車両用音声入出力制御装置
JP2018206073A (ja) 遠隔操作システム
US12466414B2 (en) Systems and methods of adjusting vehicle components from outside of a vehicle
US11930335B2 (en) Control device, control method, and control program
JP2005354223A (ja) 音源情報処理装置、音源情報処理方法、音源情報処理プログラム
JP7407665B2 (ja) 音声出力制御装置および音声出力制御プログラム

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 4