JPH089254A - News transmitting device for aurally handicapped person - Google Patents
News transmitting device for aurally handicapped personInfo
- Publication number
- JPH089254A JPH089254A JP6140189A JP14018994A JPH089254A JP H089254 A JPH089254 A JP H089254A JP 6140189 A JP6140189 A JP 6140189A JP 14018994 A JP14018994 A JP 14018994A JP H089254 A JPH089254 A JP H089254A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- recognition
- news
- unit
- lip pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 33
- 238000006243 chemical reaction Methods 0.000 claims description 71
- 238000003909 pattern recognition Methods 0.000 claims description 70
- 208000032041 Hearing impaired Diseases 0.000 claims description 27
- 230000002194 synthesizing effect Effects 0.000 claims description 13
- 238000012795 verification Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 6
- 206010011878 Deafness Diseases 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Landscapes
- Studio Circuits (AREA)
- Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は聴覚障害者向けニュース
送出装置に関し、特に放送運行業務の中のニュース番組
の送出に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a news sending device for hearing impaired persons, and more particularly to sending of news programs in broadcasting service.
【０００２】[0002]
【従来の技術】従来、テレビ番組におけるニュース送出
においては、聴覚障害者向けの番組として、アナウンサ
等の映像を表示するテレビ画面の隅に手話を行う人物を
映す方法と、予め用意したニュースの要点のみを文字画
面にしてテレビ画面に合成する方法とがある。2. Description of the Related Art Conventionally, in sending news in a TV program, as a program for the hearing impaired, a method of displaying a person who performs sign language in the corner of a TV screen displaying an image of an announcer, etc., and the points of news prepared in advance There is a method of making only a character screen and compositing it on the TV screen.
【０００３】これらの方法において、ニュースの詳細な
内容を聴覚障害者に伝達する場合にはもっぱらテレビ画
面の隅に手話を行う人物を同時に映す方法が用いられて
いるが、この方法を用いるには手話の専門家を必要とす
る。In these methods, when a detailed content of news is transmitted to a hearing-impaired person, a method of simultaneously projecting a sign language person in a corner of a TV screen is used. To use this method, You need a sign language expert.
【０００４】手話の専門家無しにニュースの詳細な内容
を聴覚障害者に伝達しようとする場合、そのニュースの
内容を音声認識装置等を用いて認識し、その認識結果を
テレビ画面に合成する方法が考えられる。In the case of transmitting detailed news contents to a deaf person without a sign language expert, a method of recognizing the news contents by using a voice recognition device and synthesizing the recognition result on a TV screen. Can be considered.
【０００５】上記の方法で用いることができる音声認識
装置としては、特開平１−２３０１２３号公報に開示さ
れた技術のように発話者の口の動きを認識することでデ
ータ入力を可能とする方法や、特開平１−２５９４１４
号公報に開示された技術のように発話者の音声と口唇形
状とを関連付けて音声認識を行う方法等が提案されてい
る。As a voice recognition device that can be used in the above method, a method that enables data input by recognizing the mouth movement of a speaker as in the technique disclosed in Japanese Patent Laid-Open No. 1-230123. And JP-A-1-259414
There has been proposed a method of performing voice recognition by associating the voice of the speaker with the lip shape, as in the technique disclosed in Japanese Patent Publication.
【０００６】また、特開平１−２５９４１４号公報に開
示された技術のように、発声音と口の動きとの相関によ
る情報を情報処理手法を用いて付加することで音声の認
識を行う方法も提案されている。Further, as in the technique disclosed in Japanese Patent Laid-Open No. 1-259414, there is also a method of recognizing a voice by adding information based on the correlation between the vocal sound and the movement of the mouth using an information processing technique. Proposed.
【０００７】[0007]
【発明が解決しようとする課題】上述した従来のテレビ
番組におけるニュース送出では、テレビ画面の隅に手話
を行う人物を同時に映す方法あるいはニュースの要点の
みを文字画面にしてテレビ画面に合成する方法を用いる
ことで聴覚障害者にニュースの内容を伝達しているの
で、手話の専門家を必要とするとともに、手話の専門家
がいなければニュースの要点のみしか伝達することがで
きない。In the above-described conventional news transmission in a television program, there is provided a method of simultaneously displaying a person who performs sign language in the corner of the television screen, or a method of synthesizing only the essential points of the news into a character screen on the television screen. Since the content of the news is transmitted to the hearing impaired by using it, a sign language expert is required and only the essential points of the news can be transmitted without the sign language expert.
【０００８】これを解決するために、上記の音声認識装
置を用いて発話者の音声や口唇形状から認識した内容を
テレビ画面に表示することも考えられるが、その音声認
識には高速な処理が必要となるので、テレビ画面の映像
とともに表示すべき文字画面の生成をリアルタイムに行
うことは難しい。In order to solve this problem, it is conceivable to display the contents recognized from the voice of the speaker or the shape of the lips using the above-mentioned voice recognition device on the TV screen, but high speed processing is required for the voice recognition. Since it is necessary, it is difficult to generate the character screen to be displayed together with the image on the TV screen in real time.
【０００９】そこで、本発明の目的は上記の問題点を解
消し、手話の専門家を必要とすることなく、ニュースの
詳細な内容を聴覚障害者に対してリアルタイムに伝達す
ることができる聴覚障害者向けニュース送出装置を提供
することにある。Therefore, an object of the present invention is to solve the above-mentioned problems, and to enable detailed hearing news to be transmitted in real time to a hearing-impaired person without the need for a sign language expert. It is to provide a news sending device for persons.
【００１０】[0010]
【課題を解決するための手段】本発明による第１の障害
者向けニュース送出装置は、ニュース送出時にそのニュ
ース内容を読上げる発声者の口唇パターン及び音声が予
め登録された口唇パターン及び音声の中にあるか否かを
照合する照合手段と、前記ニュース送出時の発声者の口
唇パターン及び音声を認識して文字情報を得る第１の認
識手段と、予め登録された口唇パターン及び音声を認識
して文字情報を得る第２の認識手段と、前記照合手段の
照合結果に応じて前記第１及び第２の認識手段各々の認
識結果のうち一方を放送用信号に変換する変換手段と、
前記変換手段の変換結果をニュース送出信号に重畳する
合成手段とを具備している。According to a first aspect of the present invention, there is provided a news sending device for persons with disabilities, which includes a lip pattern and a voice in which the lip pattern and the voice of a speaker who reads the news contents at the time of sending the news are registered in advance. And a first recognizing means for recognizing the lip pattern and voice of the speaker at the time of sending the news to obtain character information, and recognizing the lip pattern and voice registered in advance. Second recognition means for obtaining character information by means of conversion, and conversion means for converting one of the recognition results of the first and second recognition means into a broadcast signal according to the verification result of the verification means.
And a synthesizing unit for superimposing the conversion result of the converting unit on the news transmission signal.
【００１１】本発明による第２の聴覚障害者向けニュー
ス送出装置は、発声者の口唇パターンを撮影する撮影手
段と、前記発声者の音声を収集する収集手段と、前記撮
影手段による口唇パターン及び前記収集手段による音声
波形を登録する登録手段と、前記登録手段に登録された
前記口唇パターン及び前記音声波形を認識しかつ文字情
報に変換して保存する保存手段と、前記口唇パターンを
認識しかつ文字情報に変換する口唇パターン認識手段
と、前記音声波形を認識しかつ文字情報に変換する音声
認識手段と、ニュース送出時にそのニュース内容を読上
げる発声者の口唇パターン及び音声波形と前記登録手段
の内容とを照合する照合手段と、前記照合手段の照合結
果に応じて前記口唇パターン認識手段及び前記音声認識
手段各々の認識結果と前記保存手段の内容とのうち一方
を放送用信号に変換する変換手段と、前記変換手段の変
換結果をニュース送出信号に重畳する合成手段とを具備
している。A second news sending device for hearing-impaired persons according to the present invention is a photographing means for photographing the lip pattern of the speaker, a collecting means for collecting the voice of the speaker, the lip pattern by the photographing means and the Registration means for registering a voice waveform by the collecting means, storage means for recognizing the lip pattern and the voice waveform registered in the registration means, converting the character waveform information and storing the character pattern, and recognizing the lip pattern and character Lip pattern recognition means for converting to information, voice recognition means for recognizing the voice waveform and converting it to character information, lip pattern and voice waveform of a speaker who reads the news contents when sending news, and contents of the registration means And a recognition result of each of the lip pattern recognition means and the voice recognition means according to the matching result of the matching means. And it includes conversion means for converting the one of the contents of said storage means to the broadcast signal, and a synthesizing means for superimposing the conversion result of the converting means in the news delivery signal.
【００１２】本発明による第３の聴覚障害者向けニュー
ス送出装置は、発声者の口唇パターンを認識して文字情
報に変換する口唇パターン認識手段と、前記発声者の音
声を認識して文字情報に変換する音声認識手段と、前記
口唇パターン認識手段及び前記音声認識手段各々の認識
結果を登録する登録手段と、ニュース送出時にそのニュ
ース内容を読上げる発声者の口唇パターン及び音声に対
する前記口唇パターン認識手段及び前記音声認識手段各
々の認識結果と前記登録手段の内容とを照合する照合手
段と、前記照合手段の照合結果に応じて前記口唇パター
ン認識手段及び前記音声認識手段各々の認識結果と前記
登録手段の内容とのうち一方を放送用信号に変換する変
換手段と、前記変換手段の変換結果をニュース送出信号
に重畳する合成手段とを備えている。A third news sending device for the hearing impaired person according to the present invention recognizes a lip pattern of a speaker and converts it into text information, and a lip pattern recognition means for recognizing the voice of the speaker and converting it into text information. Voice recognition means for converting, registration means for registering the recognition results of the lip pattern recognition means and the voice recognition means, and lip pattern recognition means for the lip pattern and voice of a speaker who reads the news contents when sending news And matching means for matching the recognition result of each of the voice recognition means and the contents of the registration means, and the recognition result of each of the lip pattern recognition means and the voice recognition means and the registration means according to the matching result of the matching means. A conversion means for converting one of the contents of the above into a broadcasting signal and a synthesizing means for superposing the conversion result of the conversion means on the news transmission signal. It is equipped with a door.
【００１３】本発明による第４の聴覚障害者向けニュー
ス送出装置は、発声者の口唇パターンを認識して文字情
報に変換する口唇パターン認識手段と、前記発声者の音
声を認識して文字情報に変換する音声認識手段と、前記
口唇パターン認識手段及び前記音声認識手段各々の認識
結果を文節情報に変換する文節情報変換手段と、前記文
節情報変換手段の変換結果を登録する登録手段と、ニュ
ース送出時にそのニュース内容を読上げる発声者の口唇
パターン及び音声に対する前記文節情報変換手段の変換
結果と前記登録手段の内容とを照合する照合手段と、前
記照合手段の照合結果に応じて前記文節情報変換手段の
変換結果と前記登録手段の内容とのうち一方を放送用信
号に変換する信号変換手段と、前記信号変換手段の変換
結果をニュース送出信号に重畳する合成手段とを備えて
いる。A fourth news sending device for hearing impaired persons according to the present invention includes a lip pattern recognition means for recognizing a lip pattern of a speaker and converting it into character information, and a voice of the speaker for converting it into character information. Voice recognition means for converting, phrase information conversion means for converting recognition results of the lip pattern recognition means and the voice recognition means into phrase information, registration means for registering the conversion result of the phrase information conversion means, and news transmission. Collating means for collating the conversion result of the phrase information converting means and the content of the registering means with respect to the lip pattern and voice of the speaker who sometimes reads the news contents, and the phrase information conversion according to the matching result of the collating means. Signal conversion means for converting one of the conversion result of the means and the content of the registration means into a broadcast signal, and the conversion result of the signal conversion means for news transmission. And a synthesizing means for superimposing the signal.
【００１４】本発明による第５の聴覚障害者向けニュー
ス送出装置は、発声者の口唇パターンを撮影する撮影手
段と、前記発声者の音声を収集する収集手段と、前記撮
影手段による口唇パターン及び前記収集手段による音声
波形を登録する登録手段と、前記登録手段に登録された
前記口唇パターン及び前記音声波形を認識しかつその認
識結果を文節情報に変換して保存する保存手段と、前記
口唇パターンを認識して文字情報に変換する口唇パター
ン認識手段と、前記音声波形を認識して文字情報に変換
する音声認識手段と、ニュース送出時にそのニュース内
容を読上げる発声者の口唇パターン及び音声波形と前記
登録手段の内容とを照合する照合手段と、前記照合手段
の照合結果が一致を示すときに前記保存手段の内容を放
送用信号に変換する第１の信号変換手段と、前記照合手
段の照合結果が不一致を示すときに前記口唇パターン認
識手段及び前記音声認識手段各々の認識結果を文節情報
に変換する文節変換手段と、前記文節変換手段の変換結
果を前記放送用信号に変換する第２の信号変換手段と、
前記第１及び第２の信号変換手段各々の変換結果をニュ
ース送出信号に重畳する合成手段とを備えている。A fifth news sending device for hearing impaired persons according to the present invention is a photographing means for photographing the lip pattern of the speaker, a collecting means for collecting the voice of the speaker, the lip pattern by the photographing means and the Registration means for registering the voice waveform by the collecting means, storage means for recognizing the lip pattern and the voice waveform registered in the registration means and converting the recognition result into phrase information for storage, and the lip pattern Lip pattern recognition means for recognizing and converting to character information, voice recognition means for recognizing the voice waveform and converting it to character information, lip pattern and voice waveform of a speaker who reads the news contents at the time of news transmission, and The collating means for collating with the content of the registering means and the content of the storing means is converted into a broadcast signal when the collating result of the collating means indicates coincidence. The first signal converting means, the phrase converting means for converting the recognition results of the lip pattern recognizing means and the voice recognizing means into phrase information when the matching result of the matching means indicates a mismatch, and the phrase converting means. Second signal converting means for converting the conversion result into the broadcast signal;
And a synthesizing unit for superimposing the conversion results of the first and second signal converting units on the news transmission signal.
【００１５】本発明による第６の聴覚障害者向けニュー
ス送出装置は、発声者の口唇パターンを認識して文字情
報に変換する口唇パターン認識手段と、前記発声者の音
声を認識して文字情報に変換する音声認識手段と、前記
口唇パターン認識手段及び前記音声認識手段各々の認識
結果を登録する登録手段と、前記登録手段の内容を文節
情報に変換して保存する保存手段と、ニュース送出時に
そのニュース内容を読上げる発声者の口唇パターン及び
音声に対する前記口唇パターン認識手段及び前記音声認
識手段各々の認識結果と前記登録手段の内容とを照合す
る照合手段と、前記照合手段の照合結果に応じて前記口
唇パターン認識手段及び前記音声認識手段各々の認識結
果と前記保存手段の内容とのうち一方を放送用信号に変
換する変換手段と、前記変換手段の変換結果をニュース
送出信号に重畳する合成手段とを備えている。A sixth news sending device for hearing impaired persons according to the present invention includes a lip pattern recognition means for recognizing a lip pattern of a speaker and converting it into character information, and recognizing the voice of the speaker to convert it into character information. Voice recognition means for conversion, registration means for registering the recognition results of the lip pattern recognition means and the voice recognition means, a storage means for converting the content of the registration means into phrase information and storing it, and at the time of news transmission, A collating unit that collates the recognition result of each of the lip pattern recognition unit and the voice recognition unit with respect to the lip pattern and voice of the speaker who reads the news content and the content of the registration unit, and according to the collation result of the collation unit. Conversion means for converting one of the recognition result of each of the lip pattern recognition means and the voice recognition means and the content of the storage means into a broadcast signal; And a synthesizing means for superimposing a conversion result of the converting means in the news delivery signal.
【００１６】[0016]
【作用】ニュース番組送出前のリハーサル時の発声者の
口唇パターン及び音声波形はデータ登録部に予め登録さ
れる。このとき、データ登録部に登録された内容に対し
てパターン認識及び音声認識が行われ、さらに文節情報
に変換されて文節保存部に保存される。The lip pattern and voice waveform of the speaker at the time of rehearsal before the news program is sent are registered in the data registration section in advance. At this time, pattern recognition and voice recognition are performed on the content registered in the data registration unit, and further converted into phrase information and stored in the phrase storage unit.
【００１７】ニュース送出時、発声者の口唇パターン及
び音声波形はデータ照合部でデータ登録部に登録された
内容と照合される。この照合結果に応じて文節保存部に
保存された文節情報と、発声者の口唇パターンのパター
ン認識結果及び音声の音声認識結果を変換した文節情報
とのうち一方が信号変換器で放送用信号に変換され、信
号合成器でニュース番組の送出画面に重畳されて送出さ
れる。At the time of sending the news, the lip pattern and the voice waveform of the speaker are collated with the contents registered in the data registering section by the data collating section. One of the phrase information stored in the phrase storage unit according to the matching result and the phrase information obtained by converting the pattern recognition result of the lip pattern of the speaker and the voice recognition result of the voice is converted into a broadcast signal by the signal converter. The signal is converted and superposed on the transmission screen of the news program by the signal synthesizer and transmitted.
【００１８】これによって、手話の専門家を必要とする
ことなく、ニュースの詳細な内容を聴覚障害者に対して
リアルタイムに伝達可能となる。This makes it possible to transmit the detailed news contents to the hearing impaired person in real time without the need for a sign language expert.
【００１９】[0019]
【実施例】次に、本発明について図面を参照して説明す
る。Next, the present invention will be described with reference to the drawings.
【００２０】図１は本発明の一実施例の構成を示すブロ
ック図である。図において、本発明の一実施例による聴
覚障害者向けニュース送出装置は、カメラ１と、マイク
２と、パターン認識部３と、音声認識部４と、データ登
録部５と、文節保存部６と、データ照合部７と、文節送
出部８と、文節変換部９と、信号変換器１０と、信号合
成器１１とから構成されている。FIG. 1 is a block diagram showing the configuration of an embodiment of the present invention. In the figure, a news sending device for a hearing-impaired person according to an embodiment of the present invention includes a camera 1, a microphone 2, a pattern recognition unit 3, a voice recognition unit 4, a data registration unit 5, and a phrase storage unit 6. The data collation unit 7, the phrase transmission unit 8, the phrase conversion unit 9, the signal converter 10, and the signal synthesizer 11.
【００２１】カメラ１はアナウンサ等の発声者の口唇パ
ターンを撮影し、撮影した口唇パターンをパターン認識
部３及びデータ登録部５に送出する。マイク２はアナウ
ンサ等の発声者の音声を収集し、収集した音声波形を音
声認識部４及びデータ登録部５に送出する。The camera 1 photographs the lip pattern of a speaker such as an announcer and sends the photographed lip pattern to the pattern recognition unit 3 and the data registration unit 5. The microphone 2 collects the voice of a speaker such as an announcer and sends the collected voice waveform to the voice recognition unit 4 and the data registration unit 5.
【００２２】パターン認識部３はカメラ１で撮影された
口唇パターンに対してパターン認識を行い、そのパター
ン認識の結果である文字情報をデータ照合部７に出力す
る。音声認識部４はマイク２で収集された音声に対して
音声認識を行い、その音声認識の結果である文字情報を
データ照合部７に出力する。The pattern recognition unit 3 performs pattern recognition on the lip pattern photographed by the camera 1, and outputs the character information which is the result of the pattern recognition to the data matching unit 7. The voice recognition unit 4 performs voice recognition on the voice collected by the microphone 2, and outputs the character information as a result of the voice recognition to the data matching unit 7.
【００２３】データ登録部５にはカメラ１からの口唇パ
ターンとマイク２からの音声波形とが予め登録される。
文節保存部６はデータ登録部５に予め登録された口唇パ
ターン及び音声波形とに対して夫々パターン認識及び音
声認識を行い、その認識結果である文字情報を文節情報
に変換して保存する。The lip pattern from the camera 1 and the voice waveform from the microphone 2 are registered in the data registration section 5 in advance.
The phrase storage unit 6 performs pattern recognition and voice recognition on the lip pattern and the voice waveform registered in advance in the data registration unit 5, respectively, and converts the character information as the recognition result into the phrase information and stores it.
【００２４】データ照合部７はパターン認識部３でパタ
ーン認識される口唇パターン及び音声認識部４で音声認
識される音声波形とデータ登録部５に予め登録された内
容との照合を行い、それらが一致していれば文節送出部
８に文節保存部６に保存された文節情報を送出するよう
指示する。The data collating unit 7 collates the lip pattern recognized by the pattern recognizing unit 3 and the voice waveform recognized by the voice recognizing unit 4 with the contents registered in advance in the data registering unit 5, If they match, the phrase sending unit 8 is instructed to send the phrase information stored in the phrase storage unit 6.
【００２５】これに対し、データ照合部７はそれらが不
一致であれば、文節変換部９にパターン認識部３のパタ
ーン認識の結果及び音声認識部４の音声認識の結果を文
節情報に変換するよう指示する。On the other hand, if they do not match, the data matching unit 7 causes the phrase conversion unit 9 to convert the pattern recognition result of the pattern recognition unit 3 and the voice recognition result of the voice recognition unit 4 into phrase information. Give instructions.
【００２６】文節送出部８はデータ照合部７からの指示
に応答して文節保存部６に保存された文節情報を信号変
換器１０に送出する。文節変換部９はデータ照合部７か
らの指示に応答してパターン認識部３のパターン認識の
結果及び音声認識部４の音声認識の結果を文節情報に変
換して信号変換器１０に送出する。The phrase sending unit 8 sends the phrase information stored in the phrase storing unit 6 to the signal converter 10 in response to the instruction from the data collating unit 7. In response to an instruction from the data collation unit 7, the phrase conversion unit 9 converts the pattern recognition result of the pattern recognition unit 3 and the voice recognition result of the voice recognition unit 4 into phrase information and sends it to the signal converter 10.
【００２７】信号変換器１０は文節送出部８及び文節変
換部９からの文節情報を放送用信号（ＮＴＳＣ信号等）
に変換し、局内同期信号に合わせて信号合成器１１に出
力する。The signal converter 10 broadcasts the phrase information from the phrase transmission unit 8 and the phrase conversion unit 9 to a broadcasting signal (NTSC signal or the like).
And outputs to the signal combiner 11 in accordance with the intra-station synchronization signal.
【００２８】信号合成器１１はアナウンサ等が映った画
面、つまりニュース番組の中で送出する画面に信号変換
器１０で変換された放送用信号を重畳し、これを送出画
面として送出する。The signal synthesizer 11 superimposes the broadcast signal converted by the signal converter 10 on a screen showing an announcer, that is, a screen to be sent in a news program, and sends this as a sending screen.
【００２９】この図１を用いて本発明の一実施例の動作
について説明する。まず、ニュース番組を送出する前に
アナウンサ等がリハーサルを行うとき、アナウンサ等の
発声者の口唇パターンをカメラ１で撮影するとともに、
アナウンサ等の発声者の音声をマイク２で収集する。The operation of the embodiment of the present invention will be described with reference to FIG. First, when the announcer or the like rehearses before sending out a news program, the lip pattern of the speaker of the announcer or the like is photographed by the camera 1, and
The microphone 2 collects the voice of a speaker such as an announcer.
【００３０】カメラ１で撮影された口唇パターンはパタ
ーン認識部３及びデータ登録部５に送出されるととも、
マイク２で収集された音声は音声認識部４及びデータ登
録部５に送出される。The lip pattern taken by the camera 1 is sent to the pattern recognition section 3 and the data registration section 5,
The voice collected by the microphone 2 is sent to the voice recognition unit 4 and the data registration unit 5.
【００３１】データ登録部５はカメラ１からの口唇パタ
ーン及びマイク２からの音声波形を登録する。このと
き、文節保存部６はデータ登録部５に登録された口唇パ
ターン及び音声波形に対してパターン認識及び音声認識
を行い、その認識結果である文字情報を文節情報に変換
して保存する。The data registration unit 5 registers the lip pattern from the camera 1 and the voice waveform from the microphone 2. At this time, the phrase storage unit 6 performs pattern recognition and voice recognition on the lip pattern and voice waveform registered in the data registration unit 5, converts the character information as the recognition result into phrase information, and stores it.
【００３２】ニュース番組の送出時に、カメラ１がアナ
ウンサ等の発声者の口唇パターンを撮影するとともに、
マイク２がアナウンサ等の発声者の音声を収集すると、
パターン認識部３はカメラ１からの口唇パターンに対し
てパターン認識を行い、音声認識部４はマイク２からの
音声に対して音声認識を行う。At the time of sending a news program, the camera 1 photographs the lip pattern of a speaker such as an announcer,
When the microphone 2 collects the voice of a speaker such as an announcer,
The pattern recognition unit 3 performs pattern recognition on the lip pattern from the camera 1, and the voice recognition unit 4 performs voice recognition on the voice from the microphone 2.
【００３３】データ照合部７はパターン認識部３でパタ
ーン認識する口唇パターン及び音声認識部４で音声認識
する音声波形とデータ登録部５の内容との照合を行い、
それらが一致していれば文節送出部８に対して文節保存
部６に保存された文節情報を信号変換器１０に送出する
よう指示する。The data collating unit 7 collates the lip pattern recognized by the pattern recognizing unit 3 and the voice waveform recognized by the voice recognizing unit 4 with the contents of the data registering unit 5,
If they match, the phrase sending unit 8 is instructed to send the phrase information saved in the phrase saving unit 6 to the signal converter 10.
【００３４】文節送出部８はデータ照合部７からの指示
に応答して文節保存部６に保存された文節情報を信号変
換器１０に送出する。信号変換器１０は文節送出部８か
らの文節情報を放送用信号に変換し、局内同期信号に合
わせて信号合成器１１に出力する。The phrase sending unit 8 sends the phrase information stored in the phrase storing unit 6 to the signal converter 10 in response to the instruction from the data collating unit 7. The signal converter 10 converts the phrase information from the phrase sending unit 8 into a broadcast signal, and outputs it to the signal synthesizer 11 in synchronization with the in-station synchronization signal.
【００３５】信号合成器１１はアナウンサ等が映った画
面、つまりニュース番組の中で送出する画面に信号変換
器１０で変換された放送用信号を重畳し、これを送出画
面として送出する。The signal synthesizer 11 superimposes the broadcast signal converted by the signal converter 10 on a screen showing an announcer, that is, a screen to be sent in a news program, and sends this as a sending screen.
【００３６】これに対し、データ照合部７はパターン認
識部３でパターン認識する口唇パターン及び音声認識部
４で音声認識する音声波形とデータ登録部５の内容とが
不一致であれば、つまりニュースの内容がリハーサルの
ときとは異なる内容（例えば、臨時ニュースや中継放送
等）であれば、文節変換部９にパターン認識部３のパタ
ーン認識の結果及び音声認識部４の音声認識の結果を文
節情報に変換するよう指示する。On the other hand, in the data collating unit 7, if the lip pattern recognized by the pattern recognizing unit 3 and the voice waveform recognized by the voice recognizing unit 4 do not match the content of the data registering unit 5, that is, the news If the content is different from the content at the time of the rehearsal (for example, extraordinary news or relay broadcast), the phrase conversion unit 9 displays the pattern recognition result of the pattern recognition unit 3 and the voice recognition result of the voice recognition unit 4 as the phrase information. Instruct to convert to.
【００３７】文節変換部９はデータ照合部７からの指示
に応答してパターン認識部３のパターン認識の結果及び
音声認識部４の音声認識の結果を文節情報に変換して信
号変換器１０に送出する。信号変換器１０は文節変換部
９からの文節情報を放送用信号に変換し、局内同期信号
に合わせて信号合成器１１に出力する。In response to an instruction from the data collation unit 7, the phrase conversion unit 9 converts the pattern recognition result of the pattern recognition unit 3 and the voice recognition result of the voice recognition unit 4 into phrase information and sends it to the signal converter 10. Send out. The signal converter 10 converts the phrase information from the phrase converter 9 into a broadcast signal and outputs it to the signal synthesizer 11 in synchronization with the in-station synchronization signal.
【００３８】信号合成器１１はアナウンサ等が映った画
面、つまりニュース番組の中で送出する画面に信号変換
器１０で変換された放送用信号を重畳し、これを送出画
面として送出する。The signal synthesizer 11 superimposes the broadcast signal converted by the signal converter 10 on a screen showing an announcer, that is, a screen to be sent in a news program, and sends this as a sending screen.
【００３９】図２は本発明の他の実施例の構成を示すブ
ロック図である。図において、本発明の他の実施例によ
る聴覚障害者向けニュース送出装置は、データ登録部１
２にパターン認識部３のパターン認識の結果及び音声認
識部４の音声認識の結果を予め登録し、データ照合部１
４でパターン認識部３及び音声認識部４の認識結果とデ
ータ登録部１２の内容とを照合するようにした以外は図
１に示す本発明の一実施例と同様の構成となっており、
同一構成要素には同一符号を付してある。また、それら
同一構成要素の処理動作は本発明の一実施例と同様であ
る。FIG. 2 is a block diagram showing the configuration of another embodiment of the present invention. In the figure, a news sending device for a hearing impaired person according to another embodiment of the present invention includes a data registration unit 1
The result of pattern recognition of the pattern recognition unit 3 and the result of voice recognition of the voice recognition unit 4 are registered in advance in 2, and the data matching unit 1
4 has the same configuration as that of the embodiment of the present invention shown in FIG. 1, except that the recognition results of the pattern recognition unit 3 and the voice recognition unit 4 and the contents of the data registration unit 12 are compared.
The same components are designated by the same reference numerals. The processing operation of those same constituent elements is similar to that of the embodiment of the present invention.
【００４０】ここで、データ照合部１４はパターン認識
部３及び音声認識部４からの文字情報とデータ登録部１
２の文字情報とを照合するだけなので、上記の口唇パタ
ーン及び音声波形の照合に比べて処理動作を高速にする
ことができる。Here, the data collating unit 14 uses the character information from the pattern recognizing unit 3 and the voice recognizing unit 4 and the data registering unit 1.
Since only the character information of 2 is collated, the processing operation can be made faster than the above collation of the lip pattern and the voice waveform.
【００４１】また、文節保存部１３はデータ登録部１２
に登録された文字情報を文節情報に変換するだけなの
で、データ照合部１４と同様に処理動作を高速にするこ
とができる。Further, the clause storage unit 13 is a data registration unit 12
Since the character information registered in is simply converted into the phrase information, the processing operation can be speeded up like the data collating unit 14.
【００４２】この図２を用いて本発明の一実施例の動作
について説明する。まず、ニュース番組を送出する前に
アナウンサ等がリハーサルを行うとき、アナウンサ等の
発声者の口唇パターンをカメラ１で撮影するとともに、
アナウンサ等の発声者の音声をマイク２で収集する。The operation of the embodiment of the present invention will be described with reference to FIG. First, when the announcer or the like rehearses before sending out a news program, the lip pattern of the speaker of the announcer or the like is photographed by the camera 1, and
The microphone 2 collects the voice of a speaker such as an announcer.
【００４３】カメラ１で撮影された口唇パターンはパタ
ーン認識部３に送出されるととも、マイク２で収集され
た音声は音声認識部４に送出される。パターン認識部３
はカメラ１からの口唇パターンに対してパターン認識を
行い、その認識結果をデータ登録部１２及びデータ照合
部１４に送出する。The lip pattern photographed by the camera 1 is sent to the pattern recognition section 3 and the voice collected by the microphone 2 is sent to the voice recognition section 4. Pattern recognition unit 3
Performs pattern recognition on the lip pattern from the camera 1 and sends the recognition result to the data registration unit 12 and the data collation unit 14.
【００４４】音声認識部４はマイク２からの音声に対し
て音声認識を行い、その認識結果をデータ登録部１２及
びデータ照合部１４に送出する。The voice recognition unit 4 performs voice recognition on the voice from the microphone 2 and sends the recognition result to the data registration unit 12 and the data collation unit 14.
【００４５】データ登録部１２はパターン認識部３及び
音声認識部４の認識結果を予め登録する。このとき、文
節保存部１３はデータ登録部１２に登録されたパターン
認識部３及び音声認識部４の認識結果、つまりその認識
結果である文字情報を文節情報に変換して保存する。The data registration section 12 registers in advance the recognition results of the pattern recognition section 3 and the voice recognition section 4. At this time, the phrase storage unit 13 converts the recognition results of the pattern recognition unit 3 and the voice recognition unit 4 registered in the data registration unit 12, that is, the character information that is the recognition result, into phrase information and stores it.
【００４６】ニュース番組の送出時に、カメラ１がアナ
ウンサ等の発声者の口唇パターンを撮影するとともに、
マイク２がアナウンサ等の発声者の音声を収集すると、
パターン認識部３はカメラ１からの口唇パターンに対し
てパターン認識を行い、音声認識部４はマイク２からの
音声に対して音声認識を行う。At the time of sending a news program, the camera 1 photographs the lip pattern of a speaker such as an announcer,
When the microphone 2 collects the voice of a speaker such as an announcer,
The pattern recognition unit 3 performs pattern recognition on the lip pattern from the camera 1, and the voice recognition unit 4 performs voice recognition on the voice from the microphone 2.
【００４７】データ照合部１４はパターン認識部３及び
音声認識部４の認識結果とデータ登録部１２の内容との
照合を行い、それらが一致していれば文節送出部８に対
して文節保存部１３に保存された文節情報を信号変換器
１０に送出するよう指示する。The data collating unit 14 collates the recognition results of the pattern recognizing unit 3 and the voice recognizing unit 4 with the contents of the data registering unit 12, and if they match, the bunsetsu sending unit 8 stores the bunsetsu storing unit. It instructs the signal converter 10 to output the clause information stored in the item 13.
【００４８】文節送出部８はデータ照合部１４からの指
示に応答して文節保存部１３に保存された文節情報を信
号変換器１０に送出する。信号変換器１０は文節送出部
８からの文節情報を放送用信号に変換し、局内同期信号
に合わせて信号合成器１１に出力する。The phrase sending unit 8 sends the phrase information stored in the phrase storing unit 13 to the signal converter 10 in response to the instruction from the data collating unit 14. The signal converter 10 converts the phrase information from the phrase sending unit 8 into a broadcast signal, and outputs it to the signal synthesizer 11 in synchronization with the in-station synchronization signal.
【００４９】信号合成器１１はアナウンサ等が映った画
面、つまりニュース番組の中で送出する画面に信号変換
器１０で変換された放送用信号を重畳し、これを送出画
面として送出する。The signal synthesizer 11 superimposes the broadcasting signal converted by the signal converter 10 on the screen showing the announcer, that is, the screen to be sent in the news program, and sends this as the sending screen.
【００５０】これに対し、データ照合部１４はパターン
認識部３及び音声認識部４の認識結果とデータ登録部１
２の内容とが不一致であれば、つまりニュースの内容が
リハーサルのときとは異なる内容（例えば、臨時ニュー
スや中継放送等）であれば、文節変換部９にパターン認
識部３及び音声認識部４の認識結果を文節情報に変換す
るよう指示する。On the other hand, the data collating section 14 recognizes the recognition results of the pattern recognizing section 3 and the voice recognizing section 4 and the data registering section 1.
If the contents of No. 2 do not match, that is, if the contents of the news are different from those at the time of the rehearsal (for example, temporary news or relay broadcast), the phrase conversion unit 9 and the pattern recognition unit 3 and the voice recognition unit 4 are included. Instruct to convert the recognition result of to the phrase information.
【００５１】文節変換部９はデータ照合部１４からの指
示に応答してパターン認識部３及び音声認識部４の認識
結果を文節情報に変換して信号変換器１０に送出する。
信号変換器１０は文節変換部９からの文節情報を放送用
信号に変換し、局内同期信号に合わせて信号合成器１１
に出力する。In response to an instruction from the data collation unit 14, the phrase conversion unit 9 converts the recognition results of the pattern recognition unit 3 and the voice recognition unit 4 into phrase information and sends it to the signal converter 10.
The signal converter 10 converts the phrase information from the phrase converter 9 into a broadcast signal, and a signal synthesizer 11 according to the intra-station synchronization signal.
Output to.
【００５２】信号合成器１１はアナウンサ等が映った画
面、つまりニュース番組の中で送出する画面に信号変換
器１０で変換された放送用信号を重畳し、これを送出画
面として送出する。The signal synthesizer 11 superimposes the broadcast signal converted by the signal converter 10 on a screen showing an announcer, that is, a screen to be sent in a news program, and sends this as a sending screen.
【００５３】図３は本発明の別の実施例の構成を示すブ
ロック図である。図において、本発明の別の実施例によ
る聴覚障害者向けニュース送出装置は、文節登録部１６
に文節変換部１５で変換された文節情報を予め登録し、
データ照合部１７で文節変換部１５で変換された文節情
報の先頭部分と文節登録部１６の内容とを照合するよう
にした以外は図１に示す本発明の一実施例と同様の構成
となっており、同一構成要素には同一符号を付してあ
る。また、それら同一構成要素の処理動作は本発明の一
実施例と同様である。FIG. 3 is a block diagram showing the configuration of another embodiment of the present invention. In the figure, a news sending device for a hearing impaired person according to another embodiment of the present invention includes a phrase registration unit 16
In advance, the phrase information converted by the phrase conversion unit 15 is registered,
The data collation unit 17 has the same configuration as that of the embodiment of the present invention shown in FIG. 1 except that the beginning portion of the phrase information converted by the phrase conversion unit 15 and the content of the phrase registration unit 16 are compared. Therefore, the same components are given the same reference numerals. The processing operation of those same constituent elements is similar to that of the embodiment of the present invention.
【００５４】ここで、文節照合部１７は文節変換部１５
からの文節情報の先頭部分と文節登録部１６の文節情報
とを照合するだけなので、上記の口唇パターン及び音声
波形の照合に比べて処理動作を高速にすることができ
る。Here, the phrase matching unit 17 includes the phrase conversion unit 15.
Since only the beginning part of the phrase information from (1) and the phrase information of the phrase registration unit 16 are collated, the processing operation can be made faster than the above collation of the lip pattern and the voice waveform.
【００５５】この図３を用いて本発明の一実施例の動作
について説明する。まず、ニュース番組を送出する前に
アナウンサ等がリハーサルを行うとき、アナウンサ等の
発声者の口唇パターンをカメラ１で撮影するとともに、
アナウンサ等の発声者の音声をマイク２で収集する。The operation of the embodiment of the present invention will be described with reference to FIG. First, when the announcer or the like rehearses before sending out a news program, the lip pattern of the speaker of the announcer or the like is photographed by the camera 1, and
The microphone 2 collects the voice of a speaker such as an announcer.
【００５６】カメラ１で撮影された口唇パターンはパタ
ーン認識部３に送出されるととも、マイク２で収集され
た音声は音声認識部４に送出される。パターン認識部３
はカメラ１からの口唇パターンに対してパターン認識を
行い、その認識結果を文節変換部１５に送出する。The lip pattern taken by the camera 1 is sent to the pattern recognition section 3 and the voice collected by the microphone 2 is sent to the voice recognition section 4. Pattern recognition unit 3
Performs pattern recognition on the lip pattern from the camera 1 and sends the recognition result to the phrase conversion unit 15.
【００５７】音声認識部４はマイク２からの音声に対し
て音声認識を行い、その認識結果を文節変換部１５に送
出する。文節変換部１５はパターン認識部３及び音声認
識部４の認識結果を文節情報に変換し、その文節情報を
文節登録部１６及び文節照合部１７に送出する。文節登
録部１６は文節変換部１５で変換された文節情報を予め
登録する。The voice recognition unit 4 performs voice recognition on the voice from the microphone 2 and sends the recognition result to the phrase conversion unit 15. The phrase conversion unit 15 converts the recognition results of the pattern recognition unit 3 and the voice recognition unit 4 into phrase information, and sends the phrase information to the phrase registration unit 16 and the phrase matching unit 17. The phrase registration unit 16 registers the phrase information converted by the phrase conversion unit 15 in advance.
【００５８】ニュース番組の送出時に、カメラ１がアナ
ウンサ等の発声者の口唇パターンを撮影するとともに、
マイク２がアナウンサ等の発声者の音声を収集すると、
パターン認識部３はカメラ１からの口唇パターンに対し
てパターン認識を行い、音声認識部４はマイク２からの
音声に対して音声認識を行う。At the time of transmitting a news program, the camera 1 photographs the lip pattern of a speaker such as an announcer,
When the microphone 2 collects the voice of a speaker such as an announcer,
The pattern recognition unit 3 performs pattern recognition on the lip pattern from the camera 1, and the voice recognition unit 4 performs voice recognition on the voice from the microphone 2.
【００５９】文節変換部１５はパターン認識部３及び音
声認識部４の認識結果を文節情報に変換し、その文節情
報を文節照合部１７に送出する。文節照合部１７は文節
変換部１５で変換された文節情報の先頭部分と文節登録
部１６の内容との照合を行い、それらが一致していれば
文節送出部８に対して文節登録部１６に登録された文節
情報を信号変換器１０に送出するよう指示する。The phrase conversion unit 15 converts the recognition results of the pattern recognition unit 3 and the voice recognition unit 4 into phrase information, and sends the phrase information to the phrase matching unit 17. The phrase collating unit 17 collates the head part of the phrase information converted by the phrase converting unit 15 with the content of the phrase registering unit 16, and if they match, the phrase sending unit 8 notifies the phrase registering unit 16 of them. It instructs to send the registered phrase information to the signal converter 10.
【００６０】文節送出部８は文節照合部１７からの指示
に応答して文節登録部１６に登録された文節情報を信号
変換器１０に送出する。信号変換器１０は文節送出部８
からの文節情報を放送用信号に変換し、局内同期信号に
合わせて信号合成器１１に出力する。The phrase sending unit 8 sends the phrase information registered in the phrase registering unit 16 to the signal converter 10 in response to the instruction from the phrase matching unit 17. The signal converter 10 includes a phrase sending unit 8
The phrase information from is converted into a broadcast signal and is output to the signal synthesizer 11 in accordance with the intra-station synchronization signal.
【００６１】信号合成器１１はアナウンサ等が映った画
面、つまりニュース番組の中で送出する画面に信号変換
器１０で変換された放送用信号を重畳し、これを送出画
面として送出する。The signal synthesizer 11 superimposes the broadcast signal converted by the signal converter 10 on a screen showing an announcer, that is, a screen to be sent in a news program, and sends this as a sending screen.
【００６２】これに対し、文節照合部１７は文節変換部
１５で変換された文節情報の先頭部分と文節登録部１６
の内容とが不一致であれば、つまりニュースの内容がリ
ハーサルのときとは異なる内容（例えば、臨時ニュース
や中継放送等）であれば、文節変換部１５で変換された
文節情報を信号変換器１０に送出する。On the other hand, the phrase collation unit 17 and the phrase registration unit 16 include the beginning portion of the phrase information converted by the phrase conversion unit 15.
If the contents of the news do not match, that is, if the contents of the news are different from those at the time of the rehearsal (for example, temporary news or relay broadcast), the phrase information converted by the phrase conversion unit 15 is used. Send to.
【００６３】信号変換器１０は文節照合部１７からの文
節情報を放送用信号に変換し、局内同期信号に合わせて
信号合成器１１に出力する。信号合成器１１はアナウン
サ等が映った画面、つまりニュース番組の中で送出する
画面に信号変換器１０で変換された放送用信号を重畳
し、これを送出画面として送出する。The signal converter 10 converts the phrase information from the phrase matching unit 17 into a broadcast signal and outputs it to the signal synthesizer 11 in accordance with the intra-station synchronization signal. The signal synthesizer 11 superimposes the broadcast signal converted by the signal converter 10 on a screen showing an announcer, that is, a screen to be sent in a news program, and sends this as a sending screen.
【００６４】このように、カメラ１が撮影した発声者の
口唇パターンとマイク２が収集した発声者の音声波形と
をデータ登録部５に予め登録しておき、ニュース番組の
送出時にデータ登録部５に登録された内容とパターン認
識部３でパターン認識する口唇パターン及び音声認識部
４で音声認識する音声波形とをデータ照合部７で照合
し、その照合結果に応じて文節保存部６に保存された文
節情報と文節変換部９で変換された文節情報とのうち一
方を信号変換器１０で放送用信号に変換して信号合成器
１１によりニュース送出信号に重畳することによって、
手話の専門家を必要とすることなく、ニュースの詳細な
内容を聴覚障害者に対してリアルタイムに伝達すること
ができる。As described above, the lip pattern of the utterer photographed by the camera 1 and the voice waveform of the utterer collected by the microphone 2 are registered in the data registering unit 5 in advance so that the data registering unit 5 can transmit the news program. The data collating unit 7 collates the content registered in the above with the lip pattern recognized by the pattern recognizing unit 3 and the voice waveform recognized by the voice recognizing unit 4 and is stored in the phrase storing unit 6 according to the collation result. By converting one of the phrase information and the phrase information converted by the phrase conversion unit 9 into a broadcast signal by the signal converter 10 and superimposing it on the news transmission signal by the signal synthesizer 11,
Detailed news content can be communicated to a deaf person in real time without the need for a sign language expert.
【００６５】また、カメラ１が撮影した発声者の口唇パ
ターンに対するパターン認識部３の認識結果とマイク２
が受信した発声者の音声に対する音声認識部４の認識結
果とをデータ登録部１２に予め登録しておき、ニュース
番組の送出時にデータ登録部１２に登録された内容とパ
ターン認識部３の認識結果及び音声認識部４の認識結果
とをデータ照合部１４で照合し、その照合結果に応じて
文節保存部１３に保存された文節情報と文節変換部９で
変換された文節情報とのうち一方を信号変換器１０で放
送用信号に変換して信号合成器１１によりニュース送出
信号に重畳する場合にも、上記と同様に、手話の専門家
を必要とすることなく、ニュースの詳細な内容を聴覚障
害者に対してリアルタイムに伝達することができる。Further, the recognition result of the pattern recognition unit 3 for the lip pattern of the speaker who is photographed by the camera 1 and the microphone 2
The recognition result of the voice recognition unit 4 for the voice of the speaker received by the user is registered in the data registration unit 12 in advance, and the contents registered in the data registration unit 12 when the news program is transmitted and the recognition result of the pattern recognition unit 3 are registered. And the recognition result of the voice recognition unit 4 are collated by the data collation unit 14, and one of the phrase information stored in the phrase storage unit 13 and the phrase information converted by the phrase conversion unit 9 is selected according to the comparison result. Even when the signal converter 10 converts the broadcast signal and the signal synthesizer 11 superimposes it on the news transmission signal, the detailed contents of the news can be heard without the need for a sign language expert. It can be communicated to people with disabilities in real time.
【００６６】さらに、発声者の口唇パターンに対するパ
ターン認識部３の認識結果と発声者の音声に対する音声
認識部４の認識結果とを文節変換部１５で変換した文節
情報を文節登録部１６に予め登録しておき、ニュース番
組の送出時に文節登録部１６に登録された内容と文節変
換部１５で変換した文節情報の先頭部分とを文節照合部
１７で照合し、その照合結果に応じて文節登録部１６に
登録された文節情報と文節変換部１５で変換された文節
情報とのうち一方を信号変換器１０で放送用信号に変換
して信号合成器１１によりニュース送出信号に重畳する
場合にも、上記と同様に、手話の専門家を必要とするこ
となく、ニュースの詳細な内容を聴覚障害者に対してリ
アルタイムに伝達することができる。Furthermore, the phrase information obtained by converting the recognition result of the pattern recognition unit 3 for the lip pattern of the speaker and the recognition result of the voice recognition unit 4 for the voice of the speaker by the phrase conversion unit 15 is registered in the phrase registration unit 16 in advance. Incidentally, the content registered in the phrase registration unit 16 at the time of sending the news program and the beginning of the phrase information converted by the phrase conversion unit 15 are matched by the phrase matching unit 17, and the phrase registration unit is selected according to the matching result. Also when one of the phrase information registered in 16 and the phrase information converted by the phrase conversion unit 15 is converted into a broadcast signal by the signal converter 10 and superimposed on the news transmission signal by the signal synthesizer 11, Similar to the above, the detailed contents of the news can be transmitted to the deaf person in real time without the need for a sign language expert.
【００６７】[0067]
【発明の効果】以上説明したように本発明の聴覚障害者
向けニュース送出装置によれば、ニュース送出時の発声
者の口唇パターン及び音声で予め登録した口唇パターン
及び音声を照合し、照合結果に応じてニュース送出時の
発声者の口唇パターン及び音声を認識して得た文字情報
と予め登録された口唇パターン及び音声を認識して得た
文字情報とのうち一方を放送用信号に変換してニュース
送出信号に重畳することによって、手話の専門家を必要
とすることなく、ニュースの詳細な内容を聴覚障害者に
対してリアルタイムに伝送することができるという効果
がある。As described above, according to the news sending device for the hearing impaired person of the present invention, the lip pattern and voice registered in advance are collated with the lip pattern and voice of the speaker at the time of news transmission, and the collation result is obtained. Accordingly, one of the character information obtained by recognizing the lip pattern and voice of the speaker at the time of news transmission and the character information obtained by recognizing the lip pattern and voice registered in advance is converted into a broadcast signal. By superimposing it on the news transmission signal, there is an effect that the detailed contents of the news can be transmitted to the hearing impaired person in real time without the need for a sign language expert.
【００６８】また、本発明の他の聴覚障害者向けニュー
ス送出装置によれば、発声者の口唇パターン及び音声波
形を夫々登録するとともに、その口唇パターン及び音声
波形を認識して得た文字情報を保存しておき、ニュース
送出時にそのニュース内容を読上げる発声者の口唇パタ
ーン及び音声波形と登録された口唇パターン及び音声波
形とを照合し、その照合結果に応じて口唇パターン及び
音声の認識結果と保存された文字情報とのうち一方を放
送用信号に変換してニュース送出信号に重畳することに
よって、手話の専門家を必要とすることなく、ニュース
の詳細な内容を聴覚障害者に対してリアルタイムに伝達
することができるという効果がある。Further, according to another news sending device for the hearing impaired person of the present invention, the lip pattern and the voice waveform of the speaker are respectively registered, and the character information obtained by recognizing the lip pattern and the voice waveform is obtained. It is saved and the lip pattern and voice waveform of the speaker who reads the news content when sending out the news is collated with the registered lip pattern and voice waveform, and the lip pattern and voice recognition results are obtained according to the collation result. By converting one of the stored textual information into a broadcast signal and superimposing it on the news transmission signal, detailed news content can be displayed to the hearing impaired person in real time without the need for a sign language expert. There is an effect that can be transmitted to.
【００６９】さらに、本発明の別の聴覚障害者向けニュ
ース送出装置によれば、発声者の口唇パターン及び発声
者の音声を夫々認識して文字情報に変換して夫々登録し
ておき、ニュース送出時にそのニュース内容を読上げる
発声者の口唇パターン及び音声の認識結果と登録された
文字情報とを照合し、その照合結果に応じて口唇パター
ン及び音声の認識結果と登録された文字情報とのうち一
方を放送用信号に変換してニュース送出信号に重畳する
ことによって、手話の専門家を必要とすることなく、ニ
ュースの詳細な内容を聴覚障害者に対してリアルタイム
に伝達することができるという効果がある。Further, according to another news sending device for a hearing impaired person of the present invention, the lip pattern of the speaker and the voice of the speaker are respectively recognized, converted into character information and registered respectively, and the news is transmitted. Sometimes the lip pattern and voice recognition results of the speaker who reads the news contents are collated with the registered character information, and the lip pattern and voice recognition results and the registered character information are matched according to the collation result. By converting one into a broadcast signal and superimposing it on the news transmission signal, it is possible to transmit the detailed news contents to the hearing impaired person in real time without the need for a sign language expert. There is.
【００７０】さらにまた、本発明のさらに別の聴覚障害
者向けニュース送出装置によれば、発声者の口唇パター
ン及び発声者の音声を夫々認識して得た文字情報を文節
情報に変換して夫々登録しておき、ニュース送出時にそ
のニュース内容を読上げる発声者の口唇パターン及び音
声の認識結果を変換して得た文節情報と登録された文節
情報とを照合し、その照合結果に応じて口唇パターン及
び音声の認識結果を変換して得た文節情報と登録された
文節情報とのうち一方を放送用信号に変換してニュース
送出信号に重畳することによって、手話の専門家を必要
とすることなく、ニュースの詳細な内容を聴覚障害者に
対してリアルタイムに伝達することができるという効果
がある。Furthermore, according to still another news sending device for the hearing impaired person of the present invention, character information obtained by recognizing the lip pattern of the speaker and the voice of the speaker is converted into phrase information, respectively. The registered phrase information is collated with the phrase information obtained by converting the recognition result of the lip pattern and voice of the speaker who reads the news content when the news is sent out, and the lip is matched according to the collation result. A sign language expert is required by converting one of the phrase information obtained by converting the pattern and voice recognition results and the registered phrase information into a broadcast signal and superimposing it on the news transmission signal. In addition, the detailed contents of the news can be transmitted to the hearing impaired person in real time.
【図１】本発明の一実施例の構成を示すブロック図であ
る。FIG. 1 is a block diagram showing the configuration of an embodiment of the present invention.
【図２】本発明の他の実施例の構成を示すブロック図で
ある。FIG. 2 is a block diagram showing the configuration of another embodiment of the present invention.
【図３】本発明の別の実施例の構成を示すブロック図で
ある。FIG. 3 is a block diagram showing the configuration of another embodiment of the present invention.
１ カメラ ２ マイク ３ パターン認識部 ４ 音声認識部 ５，１２ データ登録部 ６，１３ 文節保存部 ７，１４ データ照合部 ８ 文節送出部 ９，１５ 文節変換部 １０ 信号変換器 １１ 信号合成器 １６ 文節登録部 １７ 文節照合部 1 camera 2 microphone 3 pattern recognition unit 4 voice recognition unit 5, 12 data registration unit 6, 13 phrase storage unit 7, 14 data collation unit 8 phrase transmission unit 9, 15 phrase conversion unit 10 signal converter 11 signal synthesizer 16 phrase Registration section 17 clause matching section
Claims (6)
上げる発声者の口唇パターン及び音声が予め登録された
口唇パターン及び音声の中にあるか否かを照合する照合
手段と、前記ニュース送出時の発声者の口唇パターン及
び音声を認識して文字情報を得る第１の認識手段と、予
め登録された口唇パターン及び音声を認識して文字情報
を得る第２の認識手段と、前記照合手段の照合結果に応
じて前記第１及び第２の認識手段各々の認識結果のうち
一方を放送用信号に変換する変換手段と、前記変換手段
の変換結果をニュース送出信号に重畳する合成手段とを
有することを特徴とする聴覚障害者向けニュース送出装
置。1. A collating means for collating whether or not a lip pattern and voice of a speaker who reads the news contents at the time of sending news is in a lip pattern and voice registered in advance, and a utterance at the time of sending the news. Recognition means for recognizing a person's lip pattern and voice to obtain character information, a second recognition means for recognizing a lip pattern and voice registered in advance to obtain character information, and a collation result of the collation means. In accordance with the above, there is provided conversion means for converting one of the recognition results of the first and second recognition means into a broadcast signal, and synthesizing means for superimposing the conversion result of the conversion means on the news transmission signal. A unique news transmission device for the hearing impaired.
段と、前記発声者の音声を収集する収集手段と、前記撮
影手段による口唇パターン及び前記収集手段による音声
波形を登録する登録手段と、前記登録手段に登録された
前記口唇パターン及び前記音声波形を認識しかつ文字情
報に変換して保存する保存手段と、前記口唇パターンを
認識しかつ文字情報に変換する口唇パターン認識手段
と、前記音声波形を認識しかつ文字情報に変換する音声
認識手段と、ニュース送出時にそのニュース内容を読上
げる発声者の口唇パターン及び音声波形と前記登録手段
の内容とを照合する照合手段と、前記照合手段の照合結
果に応じて前記口唇パターン認識手段及び前記音声認識
手段各々の認識結果と前記保存手段の内容とのうち一方
を放送用信号に変換する変換手段と、前記変換手段の変
換結果をニュース送出信号に重畳する合成手段とを有す
ることを特徴とする聴覚障害者向けニュース送出装置。2. A photographing means for photographing the lip pattern of the speaker, a collecting means for collecting the voice of the speaker, a registering means for registering the lip pattern by the photographing means and the voice waveform by the collecting means, A storage unit for recognizing the lip pattern and the voice waveform registered in the registration unit and for converting them into character information for storage, a lip pattern recognition unit for recognizing the lip pattern and converting it into character information, and the voice waveform. A voice recognition means for recognizing and converting into the character information, a collating means for collating a lip pattern and a voice waveform of a speaker who reads the news contents at the time of news transmission with the contents of the registering means, and the collating means for collating According to the result, one of the recognition result of each of the lip pattern recognition unit and the voice recognition unit and the content of the storage unit is converted into a broadcast signal. A news sending device for a hearing-impaired person, comprising: a conversion unit that converts the conversion result of the conversion unit onto a news transmission signal.
報に変換する口唇パターン認識手段と、前記発声者の音
声を認識して文字情報に変換する音声認識手段と、前記
口唇パターン認識手段及び前記音声認識手段各々の認識
結果を登録する登録手段と、ニュース送出時にそのニュ
ース内容を読上げる発声者の口唇パターン及び音声に対
する前記口唇パターン認識手段及び前記音声認識手段各
々の認識結果と前記登録手段の内容とを照合する照合手
段と、前記照合手段の照合結果に応じて前記口唇パター
ン認識手段及び前記音声認識手段各々の認識結果と前記
登録手段の内容とのうち一方を放送用信号に変換する変
換手段と、前記変換手段の変換結果をニュース送出信号
に重畳する合成手段とを有することを特徴とする聴覚障
害者向けニュース送出装置。3. A lip pattern recognition means for recognizing a lip pattern of a speaker and converting it into character information, a voice recognition means for recognizing a voice of the speaker and converting it into character information, the lip pattern recognition means, and Registration means for registering the recognition result of each of the voice recognition means, recognition result of each of the lip pattern recognition means and each of the voice recognition means for the lip pattern and voice of a speaker who reads the news contents at the time of news transmission, and the registration means Of the recognition result of each of the lip pattern recognition means and the voice recognition means and the content of the registration means in accordance with the matching result of the matching means, and the matching means for matching with the contents of the registration means. News transmission for hearing-impaired persons, comprising conversion means and synthesizing means for superposing the conversion result of the conversion means on a news transmission signal. Output device.
報に変換する口唇パターン認識手段と、前記発声者の音
声を認識して文字情報に変換する音声認識手段と、前記
口唇パターン認識手段及び前記音声認識手段各々の認識
結果を文節情報に変換する文節情報変換手段と、前記文
節情報変換手段の変換結果を登録する登録手段と、ニュ
ース送出時にそのニュース内容を読上げる発声者の口唇
パターン及び音声に対する前記文節情報変換手段の変換
結果と前記登録手段の内容とを照合する照合手段と、前
記照合手段の照合結果に応じて前記文節情報変換手段の
変換結果と前記登録手段の内容とのうち一方を放送用信
号に変換する信号変換手段と、前記信号変換手段の変換
結果をニュース送出信号に重畳する合成手段とを有する
ことを特徴とする聴覚障害者向けニュース送出装置。4. A lip pattern recognition means for recognizing a lip pattern of a speaker and converting it into character information, a voice recognition means for recognizing a voice of the speaker and converting it into character information, the lip pattern recognition means, and Phrase information conversion means for converting the recognition result of each of the voice recognition means into phrase information, registration means for registering the conversion result of the phrase information conversion means, a lip pattern of a speaker who reads the news contents at the time of news transmission, and Of the conversion result of the phrase information conversion means and the content of the registration means according to the verification result of the verification means, the verification means for verifying the conversion result of the phrase information conversion means and the content of the registration means for voice. A hearing device characterized by having a signal converting means for converting one into a broadcasting signal and a synthesizing means for superposing the conversion result of the signal converting means on a news transmission signal. News sending device for the blind.
段と、前記発声者の音声を収集する収集手段と、前記撮
影手段による口唇パターン及び前記収集手段による音声
波形を登録する登録手段と、前記登録手段に登録された
前記口唇パターン及び前記音声波形を認識しかつその認
識結果を文節情報に変換して保存する保存手段と、前記
口唇パターンを認識して文字情報に変換する口唇パター
ン認識手段と、前記音声波形を認識して文字情報に変換
する音声認識手段と、ニュース送出時にそのニュース内
容を読上げる発声者の口唇パターン及び音声波形と前記
登録手段の内容とを照合する照合手段と、前記照合手段
の照合結果が一致を示すときに前記保存手段の内容を放
送用信号に変換する第１の信号変換手段と、前記照合手
段の照合結果が不一致を示すときに前記口唇パターン認
識手段及び前記音声認識手段各々の認識結果を文節情報
に変換する文節変換手段と、前記文節変換手段の変換結
果を前記放送用信号に変換する第２の信号変換手段と、
前記第１及び第２の信号変換手段各々の変換結果をニュ
ース送出信号に重畳する合成手段とを有することを特徴
とする聴覚障害者向けニュース送出装置。5. A photographing means for photographing the lip pattern of the speaker, a collecting means for collecting the voice of the speaker, a registering means for registering the lip pattern by the photographing means and the voice waveform by the collecting means, Storage means for recognizing the lip pattern and the voice waveform registered in the registration means and for converting the recognition result into phrase information for storage; and a lip pattern recognition means for recognizing the lip pattern and converting it into character information. A voice recognition means for recognizing the voice waveform and converting it into character information; a collating means for collating a lip pattern and a voice waveform of a speaker who reads the news contents at the time of news transmission with the contents of the registration means; The first signal converting means for converting the contents of the storing means into a broadcast signal when the matching result of the matching means indicates a match, and the matching result of the matching means are different from each other. A phrase conversion unit that converts the recognition result of each of the lip pattern recognition unit and the voice recognition unit into phrase information when indicating a match, and a second signal conversion that converts the conversion result of the phrase conversion unit into the broadcast signal. Means and
A news sending device for hearing-impaired persons, comprising: a synthesizing unit for superposing the conversion results of the first and second signal converting units on a news sending signal.
報に変換する口唇パターン認識手段と、前記発声者の音
声を認識して文字情報に変換する音声認識手段と、前記
口唇パターン認識手段及び前記音声認識手段各々の認識
結果を登録する登録手段と、前記登録手段の内容を文節
情報に変換して保存する保存手段と、ニュース送出時に
そのニュース内容を読上げる発声者の口唇パターン及び
音声に対する前記口唇パターン認識手段及び前記音声認
識手段各々の認識結果と前記登録手段の内容とを照合す
る照合手段と、前記照合手段の照合結果に応じて前記口
唇パターン認識手段及び前記音声認識手段各々の認識結
果と前記保存手段の内容とのうち一方を放送用信号に変
換する変換手段と、前記変換手段の変換結果をニュース
送出信号に重畳する合成手段とを有することを特徴とす
る聴覚障害者向けニュース送出装置。6. A lip pattern recognition means for recognizing a lip pattern of a speaker and converting it into character information, a voice recognition means for recognizing a voice of the speaker and converting it into character information, the lip pattern recognition means, and Registration means for registering the recognition result of each of the voice recognition means, storage means for converting the contents of the registration means into clause information and storing the same, and lip patterns and voices of a speaker who reads the news contents when sending out news. Collation means for collating the recognition result of each of the lip pattern recognition means and the voice recognition means with the contents of the registration means, and recognition of each of the lip pattern recognition means and the voice recognition means according to the collation result of the comparison means. A conversion unit that converts one of the result and the content of the storage unit into a broadcast signal, and the conversion result of the conversion unit is superimposed on the news transmission signal. A news sending device for a hearing impaired person, comprising: a synthesizing means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14018994A JP3254542B2 (en) | 1994-06-22 | 1994-06-22 | News transmission device for the hearing impaired |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14018994A JP3254542B2 (en) | 1994-06-22 | 1994-06-22 | News transmission device for the hearing impaired |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH089254A true JPH089254A (en) | 1996-01-12 |
| JP3254542B2 JP3254542B2 (en) | 2002-02-12 |
Family
ID=15262984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14018994A Expired - Fee Related JP3254542B2 (en) | 1994-06-22 | 1994-06-22 | News transmission device for the hearing impaired |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3254542B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005109830A1 (en) * | 2004-05-12 | 2005-11-17 | Takashi Yoshimine | Conversation assisting device and conversation assisting method |
| US7235176B1 (en) | 1999-07-05 | 2007-06-26 | Kotobuki Tsushou Co., Ltd. | Shower head with water purification function |
| KR100839463B1 (en) * | 2006-02-27 | 2008-06-19 | 다카시 요시미네 | Conversation Support Device and Conversation Support Method |
| US7504033B2 (en) | 1999-07-05 | 2009-03-17 | Kotobuki Tsushou Co., Ltd. | Water quality purification cartidge |
| US12142279B2 (en) | 2019-08-02 | 2024-11-12 | Nec Corporation | Speech processing device, speech processing method, and recording medium |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4553667B2 (en) * | 2004-09-10 | 2010-09-29 | 日本信号株式会社 | Utterance identification method and password verification device using the same |
-
1994
- 1994-06-22 JP JP14018994A patent/JP3254542B2/en not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7235176B1 (en) | 1999-07-05 | 2007-06-26 | Kotobuki Tsushou Co., Ltd. | Shower head with water purification function |
| US7504033B2 (en) | 1999-07-05 | 2009-03-17 | Kotobuki Tsushou Co., Ltd. | Water quality purification cartidge |
| WO2005109830A1 (en) * | 2004-05-12 | 2005-11-17 | Takashi Yoshimine | Conversation assisting device and conversation assisting method |
| JPWO2005109830A1 (en) * | 2004-05-12 | 2008-07-31 | 貴司 吉峰 | Conversation support device and conversation support method |
| US7702506B2 (en) | 2004-05-12 | 2010-04-20 | Takashi Yoshimine | Conversation assisting device and conversation assisting method |
| JP4761568B2 (en) * | 2004-05-12 | 2011-08-31 | 貴司 吉峰 | Conversation support device |
| KR100839463B1 (en) * | 2006-02-27 | 2008-06-19 | 다카시 요시미네 | Conversation Support Device and Conversation Support Method |
| US12142279B2 (en) | 2019-08-02 | 2024-11-12 | Nec Corporation | Speech processing device, speech processing method, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3254542B2 (en) | 2002-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5815196A (en) | Videophone with continuous speech-to-subtitles translation | |
| US7774194B2 (en) | Method and apparatus for seamless transition of voice and/or text into sign language | |
| US7288712B2 (en) | Music station for producing visual images synchronously with music data codes | |
| JP4310916B2 (en) | Video display device | |
| JP2003299051A (en) | Information output device and information output method | |
| EP0848552A4 (en) | Sign language telephone system for communication between persons with or without hearing impairment | |
| EP0920691A1 (en) | Segmentation and sign language synthesis | |
| JP2000175170A (en) | Multi-point video conference system and its communication method | |
| JPH089254A (en) | News transmitting device for aurally handicapped person | |
| CN105450970B (en) | A kind of information processing method and electronic equipment | |
| JP4789227B2 (en) | Video display device with built-in voice recognition function | |
| CN120046107A (en) | Voice question-answering method and system based on multi-mode voice recognition and semantic understanding | |
| US20020184036A1 (en) | Apparatus and method for visible indication of speech | |
| JP2003219382A (en) | Server for remote education system and the remote education system | |
| CN118520885A (en) | Audio and video translation method and system | |
| JP2000333150A (en) | Video conference system | |
| JP2002010138A (en) | Information processing method and information processing apparatus | |
| CN208335209U (en) | Listen the raw inclusive education classroom auxiliary system of barrier and device | |
| JP3830588B2 (en) | Subtitle super timing generator and subtitle super processor | |
| JPH07191599A (en) | Video equipment | |
| JPH067372U (en) | Audio image output device | |
| JP2003296743A (en) | Image processor | |
| JP3119135U (en) | Information display device for passengers in airplanes | |
| JPH04155374A (en) | Automatic finger language translation system | |
| JPH11276517A (en) | Hearing aid |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20011023 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071130 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081130 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081130 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081130 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081130 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091130 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |