JPH03159457A

JPH03159457A - テレビ電話装置

Info

Publication number: JPH03159457A
Application number: JP29897489A
Authority: JP
Inventors: Tetsuya Murakami; 哲也村上
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1989-11-17
Filing date: 1989-11-17
Publication date: 1991-07-09

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［産業上の利用分野１この発明は、画像および音声の送受信を行なうテレビ電
話装置に関し、特に異なる言語での通話中受信した音声
情報を受信者の言語に翻訳すると共に、これを文字情報
に変換して表示できるようにしたテレビ電話装置に関す
る。

［従来の技術１公衆電話回線を利用したテレビ電話装置が普及している
。

このテレビ電話装置が普及するにつれ、例えば母国語の
異なる者同志が通話する機会も増えつつある。したがっ
て、その場合には同一の言語で通話が行われるとは限ら
ない。また、受信した音声は耳のみでその内容を確認し
ていた。

［発明が解決しようとする課題１このように会話する言語が異なる者同志がテレビ電話装
置を利用する場合で、相手が他国の言語しか話すことが
できず、自分もその国の言葉があまり、若しくは全く理
解できないときには、会話が成り立たず、完全な意思の
疎通を図ることかできない。

また、相手の言語を理解できる者でも、音声受信状態が
悪いときには、会話の内容を充分には理解できないこと
かある。

そこで、この発明では、このような点を改善したもので
あって、受信した音声を文字に変換して表示すると共に
、言語が異なる場合には自分に判る言語に翻訳して表示
するようにしたテレビ電話装置を提案するものである。

［課題を解決するための手段］上述した課題を解決するため、この発明においては、音
声と画像の情報を夫々電話回線を用いて送受信するよう
にしたテレビ電話装置において、音声認識部、翻訳部及
び文字コード変換部が設けられ、音声認識部は、受信者の音声を記録する手段と、予め入
力した音声データを基に記録した音声とを比較参照して
認識する手段とを有し、認識された音声が上記翻訳部において予め指定された言
語に翻訳されると共に、その翻訳結果が上記文字コード
変換部において文字情報に変換ざれ、変換されたこの文字情報が表示部に供給されて、画像の
一部に翻訳されたこの文字情報が挿入されるようになさ
れたことを特徴とするものである。

［作　用１受信した音声情報は音声認識部３０で認識され、その認
識結果が翻訳部４０に供給されて受信者に判る言語に翻
訳され、この翻訳結果に基づいて文字コード変換部２５
で文字情報（文字コード）に変換ざれる。

この文字情報が画像情報と共にモニタ４に供給されて、
画像の一部に文字情報が挿入される。例えば、スーパー
インポーズされる。

こうすれば、例えば受信状態が悪くて受信音声を正確に
認識できないようなときでも、音声が文字情報に変換ざ
れて画像の一部にモニタできるようになるから、音声の
内容を的確に把握することができる。

しかも、音声は受信者が判る言語に翻訳ざれて表示ざれ
るから、言語が理解できなくても、モニタ４によって相
手の意思を確認できる。

［実　施　例］続いて、この発明に係るテレビ電話装置の一例を、第１
図以下を参照して詳細に説明する。

第１図は、本発明の基本構成図である。

第１図において、１は公衆回線、２は音声を入出力する
受話器である。

３は送信するための画像を取り込むため、装置本体に内
蔵されたビデオカメラである。

４は送信する画像の確認と受信した画像を表示するため
のモニタ（ＣＲＴなどの表示装置）である。

５は操作部（キーボード）であり、これに設けられたテ
ンキーを利用して、直接電話番号などが入力ざれる。

６はコンピュータを内蔵した制御部であり、これは、Ｃ
ＰＵ７、プログラムＲＯＭ８及びワークＲＡＭ９から構
或されている。

プログラムＲＯＭ８には、音声認識処理、翻訳処理、送
信処理、モニタ表示処理などの各種の制御プログラムが
格納されているものとする。したがって、制御部６は操
作部５から入力された各種の情報をもとに様々な処理が
行なわれる。

操作部５から入力された電話番号によって回線が接続さ
れると、切換スイッチ１４．１８．１９は夫々実線図示
の状態に切換られるので、音声のみ送受信ができる状態
となる。

そして、ビデオカメラ３で撮像した画像情報（自画像）
は　Ａ／Ｄ変換器ｌ２でディジタル信号に変換されてか
ら画像メモリｌ３にストアきれ、ストアされた画像信号
は切換スイッチ１４、画像合成部１５を経てＤ／Ａ変換
器１６に供給ざれてアナログイε号に戻されたのち、モ
ニタ４に供給されて自画像が映し出ざれる。切換スイッ
チ１８が実線位置に切換られているときには、画像情報
を送信先に伝送することはできない。

画像送信モードに切換られると、切換スイッチ１８が破
線図示のモードに切換られる。

これで、画像メモリ１３よりリードされた画像情報がＤ
／Ａ変換器２０でアナログ信号に変換され、このアナロ
グ信号の状態で通信回線１側に送出される。この画像情
報の送信状態にあるときには、ビデオカメラ３からの画
像信号は画像メモリ１３にメモリざれないように、制神
部６によって制御される。

画像の送イ３が終了すると、画像の送信が終了したこと
を送信者に伝えると共に、切換スイッチ１８か自動的に
実線図示の状態に切り換えられて、音声のみ送受信状態
となる。このときには、画像メモリ１３は書き込みイネ
ーブル状態となる。

一方、通信回線１より伝送された相手側の画像情報は切
換スイッチ１９を経てＡ／Ｄ変換器２１に供給されてデ
ィジタル信号に変換されてから画像メモリ２２に蓄えら
れる。画像メモリ２２よりリードされた画像情報は切換
スイッチ１４、画像合成部１５を経てＤ／Ａ変換器１６
に供給されてアナログ信号に再変換ざれる。その後、モ
ニタ４に供給されて相手側の画像がモニタ４上に映出さ
れる。切換スイッチ１４の切換は操作部５によって指示
ざれる。

受信した音声信号は受話器２で再生されると共に、Ａ／
Ｄ変換器２３によってディジタル信号に変換されたのち
、音声メモリ２４にストアざれる。

音声メモリ２４よりリードされた音声信号は音声認識部
３０に供給されて、音声の認識処理が実行されると共に
、その認識結果が翻訳部４０に供給ざれて、指定された
言語（通常は受信者か誌識できる言語）に翻訳される。

翻訳結果は文字コード変換用のメモリ２５に供給されて
、音声情報が文字情報に変換される。

この文字情報が画像合成部１５で自画像若しくは受信画
像に合成されてモニタ４に供給される。

これで、受信した音声信号が受信者が判る言語に翻訳ざ
れ、さらにこれが文字情報に変換ざれてモニタ４上に映
し出ざれる。

音声認識部３０は第２図に示すように溝成することがで
きる。

同図において、入力端子３１に供給されｔコ音声信号の
データは音響分析部３２で周波数分析されて、音声のス
ペクトル分析の変化などの様体が調べられる。その分析
結果は情報圧縮部３３で時間軸の正規化が行なわれて発
音速度の変化によるバラッキが吸収される。これらの処
理を行なうことによって、不特定の人物に対し音声認識
を行なうことができる。

一方、音素（音節）学習部３５には、通話の始めに予め
送信者の音声データが幾つか人力されている。そして、
情報圧縮部３３から送られてくる音声データ（音形情報
）か、音素学習部３５からのデータに基づいて音素認識
部３４において音素認識処理、具体的には音韻情報の抽
出処理が実行される。

音素学習部３５と音素認識部３４とを使用すれば、２度
目以降に同じ音形情報が入力された場合、即座にその音
韻を抽出することができる。

抽出された音韻情報が単語（文節）認識部３６で、単語
辞書部３７からの単語情報と照合されながら単語の認識
処理が実行され、認識された単語情報が出力端子３８に
得られる。

第３図は翻訳部４０の具体例であって、４ｌは翻訳を行
うための変換バッファ、４２は受信者用単語辞書部であ
る。音声認識部３０より送られたデータ（単語情報）は
、変換バッファ４１に記憶され、受信者用単語辞書部４
２と照合されなから翻訳処理が実行される。

翻訳結果は文字コードメモリ２５のアドレスとして供給
され、これで単語情報か文字を表現丁るための文字情報
（文字コード）に変換される。

このような音声認識処理及び翻訳処理は何れも制御部６
に格納された音声処理用の制ｉ卸プログラム及び翻訳処
理用の制紳プログラムに基づいて夫々が処理される。ま
た、操作部５からの指令で、自画像若しくは受信画像に
、この翻訳された文字情報が合或されてモニタ４上に映
し出ざれる。

画面上における文字の表示位置や、縦書、横書、書体な
どの指定は何れも操作部５で指定できるものとする。文
字のみの表示や画像のみの表示も、勿論操作部５で指定
できる。

さて、上述した音声詔識部３０及び翻訳部４０は、各国
の言語に対応するようにカートリッジ式に構成され、個
々独立に交換できるようになっている。したがって、通
話の相手によって音声認識部３０か交換され、また装置
を利用する者（受信者）が理解できるように言語用の翻
訳部４０が交換される。

ここで、音声認識部３０と翻訳部４０の双方をカートリ
ッジ式に構成したのは、各国で発音が違うことや、微妙
な言回しを表現しようとした場合、膨大な容量の辞書を
装置本体に装備しなければならないということ、，１台
の装置を特定の人物が使用する場合において全く使われ
ない言語も多数あることを考慮したためであり、また装
置の汎用性を考慮したためである。

使用例としては、例えば送信者がフランス人で、受イε
者が日本人の場合、受信側ではその音声認識部３０には
フランス語用のカートリッジが使用ざれ、翻訳部４０に
は日本語用のカートリッジが使用される。

送信側では、その音声認識部３０には日本語用のカート
リッジが使用され、翻訳部４０にはフランス語用のカー
トリッジが使用ざれる。これで、夫々が理解できる言語
に変換されて会話の内容が夫々のモニタに文字として表
示ざれる。

こうすることによって、言誇が判らないとぎでも、相手
の会話内容を理解できるようになる。

また、送信者と受信者とが同じ言語で会話する場合には
、音声認識部３０と翻訳部４０として同じ言語のカート
リッジを使用することによって、同じ言語がモニタ４上
に表示ざれる。したかって、会話内容が間き取れにくい
ときでも、モニタ４上でその内容を正確に確認できる。

［発明の効果］以上説明したように、この発明の構成によれば、受信し
ｔこ音声を文字としても画面に表示することができる。

したがって、受信環境が悪いところや、受信者が難聴の
場合でも、相手の伝達意思を容易、かつ確実に把握でき
る待１軟を有する。

さらに、言語が異なるときはその受信者の言語に翻訳し
て表示されるから、言語が全く判らなくても会話できる
特黴を有する。

【図面の簡単な説明】

第１図はこの発明の基本構或図、第２図は音声認識部の
系統図、第３図は翻訳部の系統図である。１４，１　・２　・３　・４　・５　・６　・１３．２２　　・１８．　　１９　　・２４　・２５　・３　０　・３２　・・通信回線・受話器・ビデオカメラ・モニタ・操作部・制御部・画像メモリ・切換スイッチ・音声メモリ・文字コード変換部・音声認識部・音響分析部３３　・３４　・３　５　・３６　・３７　・４０　・４　１　・４２　・・情報圧縮部・音素認識部・音素学習部・単語認識部・単語辞書部・翻訳部・変換バッファ・受信者用単語辞書部

Claims

【特許請求の範囲】

（１）音声と画像の情報を夫々電話回線を用いて送受信
するようにしたテレビ電話装置において、音声認識部、
翻訳部及び文字コード変換部が設けられ、音声認識部は、受信者の音声を記録する手段と、予め入
力した音声データを基に記録した音声とを比較参照して
認識する手段とを有し、認識された音声が上記翻訳部において予め指定された言
語に翻訳されると共に、その翻訳結果が上記文字コード
変換部において文字情報に変換され、変換されたこの文字情報が表示部に供給されて、画像の
一部に翻訳されたこの文字情報が挿入されるようになさ
れたことを特徴とするテレビ電話装置。