JPS62293472A - 音声翻訳装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ３、発明の詳細な説明 〔概９〕 認識ネットワークを用いた連続音声飴識装電と、該Ｗｋ
ネットワークと飾・じ意味内容を有し、発音記号を付加
された他言語の音声合成ネットワークを用いた連続音声
合成袋Ｌノと、上記認識ネットワークおよび音声合成ネ
ットワーク間の意味関係を記述したネットワーク７ｍマ
トリクスをそなえ、＾速に翻訳処理を実行するようにし
た音声翻訳装いが開示されている。

〔産業上の利用分野〕

本発明は音声翻訳装置に係り、ある言語の意味のある連
続音声を他の言語の連続音声に変換（翻訳）する場合の
、高速翻訳処理装置に関する。

〔従来の技術〕

いまだ音声翻訳装置なるものは実現されていないが、現
時点で従来技術の組み合わせによって実現可能と思われ
る音声翻訳装置を従来技術として述べる。

音声翻訳装置の実現に必要な技術は、ｑ）連続音声認識
技術、■自動翻訳技術、および■連１ｚ？音声合成技術
の３つである。この３技術を組み合わせて音声翻訳装置
を構成すると第５図のようになる。

（以下日本語から英語への翻訳の例を用いる。）■　連
続音声認識技術 連続音声認識部では、連続的に発声された音声をｖｉ繊
しテキスト　（文字列）に変換する。ブラックボードモ
デル、ネットワークモデル、階層モデルなど音声認識に
必要な情報や知識を処理するためのシステム構成法が提
案され研究が進められている。

一般に連続音声認識では、認識に必要な全ての情報を音
声信号に求めるのではなく、語い論、構文論、および意
味論などの言語に関する予め分かつている知識も利用す
る。音声信号には認識に必要な情報の全てが會まれてい
ると考えないのが一般的であり、また音声信号のみを利
用した認識技術の困難さが広く認められている。

例えばネットワークモデルを採用した連続音声認識装置
では、次のように知識を利用して認識が行われる。音声
認識が行われる状況の知識により、まず人間が話す可能
性のある語いが制限される。

例えば、ある場合は小学校１年の国語の教科書に出てく
る語い、またある場合は飛行機の航突券購入に関する語
いというふうに語いの制限が行われる。現在の連続音声
＆ｊＡＭ＆装置では数百から千単語程度が上限となって
いる。これを語い知識による制限と呼ぶ。つぎに単語の
品詞の知識により、連続音声中で隣接できる単語が制限
される。たとえば、′ながい”という形容詞と１を”と
いう助詞が接続することは普通ありえない。これを構文
知識による制限と呼ぶ。さらに単語の意味の知識によシ
、隣接できる単語が制限される。たとえば、′ながい水
′″は形容詞と名詞の接続なので構文（品詞のつながり
）は正しいが、意味的には許されない。

これを意味知識による制限と呼ぶ。これら単語、構文、
および意味に関する知識（制限）を用いて、ある状況に
おける意味の通った文章のセットを規定することができ
る。たとえば、′私”、′あなた”。

２は２．′少年＃ご少女”、′少年２．２です１．２だ
”。

２だりた２　というδ合いで、日本語の構文と意味の知
識を用いて意味の通った文！？作ると以下のようになる
。

私は少年です。

私は少年だった。あなたは少年だ。

私は少女です。

私は少女だった。あなたは少女だ。

私は少年だ。

あなたは少年です。あなたは少年だった。

私は少女だ。

あなたは少女です。あなたけ少女だった。（等）つぎの
文章は構文的に可能だが意味的に許されない。

私はあなたです。　少年は少女です。　　（等）つぎの
文５ｉＬは意味的にも構文的にも許されない。

ですわたしあなた。

少年はです。はだった。（等） 音声＆ｇ識装盾では意味の連つた文章のみを対象とする
。ネットワークモデルを用いた連続音声認識装置では、
上記したような意味の曲うた文章をすべて装置内に記憶
する代わりに、第２図のような単語ネットワークを記憶
し、記憶領域の削減をはかっている。連続音声認識装置
は単語ネットワーク上の一つのバスによって構成される
意味の通った文章を認識できる。

単語ネットワーク内の各単語と実際の音声信号との照合
法としては、動的＃ｉ両画法利用した単語スポツティン
グ床、人工知能的手法を利用したトップダウン番ボトム
アップ制御による単詔探索法などを利用することができ
る。ここでは詳Ｍｉけ省略する。

■　自動翻訳技術 自動翻訳部では、例えば日本語から英語に翻訳する場合
は、日本語のテキスト　（文字列）を英語のテキストに
変換する。自動翻訳の処理は、日本語解析と英語生成の
２つの処理から成っている。

まず、日本語解析では、日本語のテキストを単語（形態
ｔ、）に分解し、構文知識によって各単語の品詞が決定
され、つづいて文章の意味が解析される。つぎに、英語
生成では、解析された日本語文章の意味に従って英語の
構文細繊や単語の意味知識を用いて文型及び単語が選択
され英文が生成される。

自動翻訳装置はすでに実用化が始まりつつあり、音声翻
訳装置に利用できる技術が多く蓄積されている。

■　連続音声合成技術 連続音声合成部では、与えられたテキストに人間の発声
に関する知識を適用し人工音声を自動的の強弱ｅ長短な
どを決定する韻律処理と、テキスト　（文字列）を発音
記号に直すという音韻処理と、決定された韻律と発音記
号から音声信号を合成す情報をテキスト内に見出しそれ
を信号生成部に通知する。音該如理では、ある文字列が
どのように発音されるかというその’）：’　ｉｌ！に
特有の発音の知識に従って、テキストを発音記号列にｆ
倭し、それを信号生成処理に通知する。たとえばｔａｓ
ｔｅのａの発音は（ｅｉ）であるがｔａｘのａの発音は
〔融〕である・ｉｅｒ＋じ文字でもまわりの文字の文脈
によつて発音が異なってくる。又ｕｓｅという飴は２使
う“という動詞の場合は（ｊｕ：ｚ）と発音するが、′
使用２という名詞の場合は（ｊｕ：ｓ）と発音する。こ
れらをここでけ発音の知識と呼ぶ。

信号生成処理では、−律情報と発音記号を用いて人工音
声を合成する。背戸合成法には、現在音声波形のピッチ
周波数（波形繰り返し周波数）を制御し、強弱の情報は
合成音声波形の振幅を制御する。また発音記号は音声波
形のスペクトル包絡特性を制御する。

〔発明が解決しようとする問題点〕

以上述べた、従来技術ｑ）連続音声合成技術、■自動翻
訳技術、および■連続音声合成技術を組み合わせた音声
翻訳装置では、各ステップで複雑な処理（構文処理、意
味処理、韻律処理など）が音声入力時に起動されること
になる。また、自動翻訳処理で構文処理や意味処理を行
った結果から英語テキストを生成しており、連続音声合
成部で品詞や、！味による発音の違いを処理するために
再び構文処理や意味処理をするのけ処理時間の無駄であ
る。このように従来技術を組み合わせるだけでは実時間
音声翻訳の実現が困難である。

本発明の目的は、従来の問題点である音声入力時の膨大
な処理量を減らした実時間音声翻訳装置を提供すること
にある。

〔問題点を解決するための手段〕

本発明は、！続音声入力部に入力される文章の制限が予
め与えられていることに注目し、音声入力時に予想され
る翻訳作業を音声入力前に全て一括処理しておくという
思想に基づいている。音声入力に先立って、自動翻訳部
や人間の翻訳専門家が認識ネットワークを翻訳ネットワ
ークに変声すると共に両ネットワーク間の関係を表した
変換マトリクスを作成し、さらに連続音声合成部の韻律
処理および音韻処理で翻訳ネットワークの単語上に韻律
記号および発音記号を付加した音声合成ネットワークを
作成しておく。音声入力時には、認識ネットワーク上の
パスに、変換マトリクスｋｍ用することＫよって音声合
成用の発音・韻律記号を一気に得ることができ、実時間
音声翻訳が実現できる。

〔作用〕

よシ具体的に例を用いて以下説明する。第３図の認識ネ
ットワークと意味等価な英語の翻訳ネットワークは第４
図のようなものとなる。ここではすでに音韻処理によっ
て発音記号を付加した音声合成ネットワークになってい
る。（〔〕内が発音記号を示す。）ここで、ｘｉ”−ｘ
４、およびｙ１〜ｙ４は、各々認識ネットワークおよび
翻ＢＲ，−音声合成ネットワーク内の枝分かれ部分に対
応している。例えば、認識ネットワークのｘｌがＯの時
は２あなた”、ｘｌが１の時は”私”　が各々認識され
たことを示す。

文章の！１！！！識結果が″あなたは少女だった°の場
合、連続音声Ｖ！識装置で得られる認識結果は（ｘｌ。

ｘ２．　ｘ３．　Ｘ４）＝（０１０，１，０）という形
である。

また、翻訳・音声合成ネットワークにおいては、同様Ｉ
Ｃ’　Ｙｏｕ　ｗｅｒｅ　ａ　ｇｉｒｌ’という合成音
が必要な場合、（ｙｌ、　ｙ２．　ｙ３．　ｙ４）　＝
　Ｃ０，０＋　１．０）という命令を与えればよい。（
この場合ｙ２は０でもｌでもよい） 両ネットワークの関係金示す変換式は次式のようになる
。式ｌ中のマトリクスを変声マトリクスと呼ぶ。

↑ １侯マトリクス 例えば、ここで”私は少年だった”という文章を認識し
た場合、連続音声合成部れの認識結果は（ｘｉ、　ｘ２
．　Ｘ３１　ｘ４）　＝　（１１１，ＩＩ　Ｏ）である
。式ｌにこれを代入すると（ｙｌ、ｙ２．ｙ３．ｙ４）
＝（１゜１、１．　］）　　が得られ、これに従って音
声合成ネットワークをたどると（ａ＋　　ｗａｚ　　ａ
　　ｂり１〕という発音記号が即座に得られる。

〔実施例〕 第１図は本発明のｌ実施例の音声翻訳装置のブロック図
である。

図中、ｌは認識ネットワーク記憶部であり、連続音声！
ｌｉ！識のため認識ネットワークを保持するもの、２は
ネットワーク変換部であり、上記した第３図図示の如き
認識ネットワークを第４図図示の如き翻訳・音声合成ネ
ットワークに変換するもの、３は翻訳・音声合成ネット
ワーク記憶部であり、発音記号を付加された他言語の翻
訳・音声合成ネットワークを保持するもの、４は変換マ
トリクス記憶部であシ、認識ネットワークと翻訳・音声
合成ネットワーク間の意味関係を記述したネットワーク
変換マ）　＋７クスを保持するもの、５け連続音声認識
部であり、入力音声を認識し、認識ネットワークにおけ
るネットワーク経路値を出力するもの、６はマトリクス
演算部であり、連続音声認識部より出力されるネットワ
ーク経路値について、ネットワーク変換マトリクスを用
いて対応する他言語の翻訳・音声合成ネットワークのネ
ットワーク経路値に変換するもの、７は翻訳・Ｍ声合成
ネットワーク探索部であり、マトリクス演ｇ部から出力
される２・ットワーク経路値を用いて＠１訳・音声合成
ネットワークを探索し発音記号を得るもの、８は連続音
声合成部であり、翻訳・音声合成ネット探索部から出力
される発音記号にしたがって音声合成を行なうものであ
る。

実施例の動作は以下の通りである。

まず、音声入力に先立って、認識ネットワーク記憶部ｌ
に格納されているネットワークが翻訳処理と音韻処理を
行うネットワーク変換部２で翻訳・音声合成ネットワー
クに変換され翻訳・音声合成ネットワーク記憶部３に格
納される。このときネットワーク変換部２で７換マトリ
クスが作成されこれが変換マトリクス記憶部４に格納さ
れる。

一方音声入力時には遅続音声關識部５で音声が認識され
、認識ネットワーク上のどのバスを逆ったかが出力され
る。マ）　Ｉ＋クス演算部６では、変換マトリクス記憶
部４の変換マトリクスと連続音声認識部５の認識結果か
ら上記した式１を用いて翻訳結果を求める。翻訳・音声
合成ネットワーク探索部７ではマ）　ＩＪクス演算部６
で得られた翻訳結果を用いて音声合成ネットワークを探
索し翻訳イ４辷果に対応する発ｆ記号を得る。連続音声
合成部８では得られた発音記号だ従って従来法によって
韻律処理を行い音声合成を行う。

〔発明の効呆〕

本発明によれば、連続好声認識部にネットワークモデル
を用いる限り高速で正確な音声翻訳装置を提供すること
ができる。

【図面の簡単な説明】

第１図は本発明の１実施例の音声翻訳装置のブロック図
、 第２図は単語ネットワークの例を示す図、第３Ｍは認識
ネットワークの例を示す図、第４図は翻訳・音声合成ネ
ットワークの例を示す図、 第５図は音声翻訳装置の例を示す図である。 第１図において、ｌは認識ネットワーク記ｔｉ部、２は
ネットワーク変換部、３は翻訳・音声合成ネットワーク
記憶部、４は変換マトリクス記憶部、５は連＃！ｆ声認
識部、６はマトリクス演算部、７は翻叙・音声合成ネッ
トワーク探索部、８け連続音声合成部である。 、パ≦二一−一１、 代理人　弁理士　　井　桁　貞′（−１゛・ご；・、パ
／ ゝ・−二＋：／

Claims (1)

1. 【特許請求の範囲】 連続音声認識のための認識ネットワークを保持する認識
   ネットワーク記憶部と、 上記認識ネットワークと同じ意味内容を有し、発音記号
   を付加された他言語の翻訳、音声合成ネットワークを保
   持する翻訳・音声合成ネットワーク記憶部と、 上記認識ネットワークと上記翻訳・音声合成ネットワー
   ク間の意味関係を記述したネットワーク変換マトリクス
   を保持する変換マトリクス記憶部と、 入力音声を認識し、上記認識ネットワークにおけるネッ
   トワーク経路値を出力する連続音声認識部と、 上記連続音声認識部より出力されるネットワーク経路値
   について、上記ネットワーク変換マトリクスを用いて対
   応する上記他言語の翻訳・音声合成ネットワークのネッ
   トワーク経路値に変換するマトリクス演算部と、 上記マトリクス演算部から出力されるネットワーク経路
   値を用いて上記翻訳・音声合成ネットワークを探索し発
   音記号を得る翻訳・音声合成ネットワーク探索部と、 上記翻訳・音声合成ネットワーク探索部から出力される
   発音記号にしたがって音声合成を行なう連続音声合成部
   とを有することを特徴とする音声翻訳装置。