JPH1097280A

JPH1097280A - 音声画像認識翻訳装置

Info

Publication number: JPH1097280A
Application number: JP8247939A
Authority: JP
Inventors: Shinji Wakizaka; 新路脇坂; Kazuo Kondo; 和夫近藤; Toshihisa Tsukada; 俊久塚田; Akio Amano; 明雄天野; Koji Ito; 功二伊東; Hiroko Sato; 裕子佐藤; Kazuyoshi Ishiwatari; 一嘉石渡
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1996-09-19
Filing date: 1996-09-19
Publication date: 1998-04-14

Abstract

(57)【要約】【課題】入力された一連の会話音声から成る文を高精度
で翻訳する。【解決手段】口の画像の特徴が文の文節の終わりを示し
た場合には、入力された一連の音声からなる該文の文節
と判断すると共に該文節の終わりの文字や文字列を認識
し、更に文節を示す印を付加することにより、会話音声
を正確に認識して翻訳精度を高める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、携帯型音声翻訳機
やＰＤＡに代表される小型情報機器や携帯型翻訳機等へ
の応用に好適な音声画像認識翻訳装置に係り、特に、海
外旅行先などで必要な会話音声を双方向に取り込んで音
声認識してお互いの母国語の言語に翻訳する音声認識翻
訳装置に関する。

【０００２】

【従来の技術】海外旅行者数の急激な増加に伴い、言葉
の壁によるコミュニケーションの不自由さを克服するた
めに、音声による定型会話集などの携帯型翻訳機が普及
しつつある。これらの携帯型翻訳機は、予め会話に用い
る文章を音声データとして登録しておき、その場の状況
に合わせて必要な会話文を選択して再生する方式をとっ
ている。したがって、この方式では、決められた定型文
章の範囲の中から選択し表現で、自分の質問や要求を相
手の言葉（言語）で一方的に聞かせるのみであり、ある
程度自由な言い回しで自分の言葉や相手の言葉を翻訳す
ることができない。

【０００３】また、特開平５−３５７７６号公報（名
称；「言語自動選択機能付翻訳装置」）には、マイクか
ら入力した操作者の音声を認識して翻訳し、翻訳した言
語の音声を出力するようにした携帯用の翻訳装置が開示
されている。

【０００４】図１０は、このような従来の音声翻訳装置
の１例を示すブロック図である。同図において、１００
１は制御部、１００２は音声区間切り出し部、１００３
は音声認識部、１００４は表示部、１００５は音声合成
部、１００６は翻訳語データ用メモリカード、１００７
は音声認識辞書部、１００８はスピーカ、１００９はマ
イク、１０１０はスピーカアンプ、１０１１は操作信号
である。

【０００５】制御部１００１は、マイクロプロセッサを
中心にして構成され、装置の各部を制御する。

【０００６】音声区間切り出し部１００２は、マイク１
００９から入力された音声をデジタル信号に変換して切
り出し、音声認識部１００３に送る。

【０００７】音声認識部１００３は、キーボードまたは
スイッチ等により入力された操作信号１０１１を受けた
制御部１００１の指示により、マイク１００９から入力
して音声区間切り出し部１００２を経て切り出した音声
を分析する。そして、その結果を、音声認識辞書部１０
０７に格納された標準音声パターンと比較して音声認識
を行う。

【０００８】音声合成部１００５は、音声認識部１００
３により認識した音声に対応した翻訳語を翻訳語データ
用メモリカード１００６から読み込み、音声信号に変換
してスピーカアンプ１０１０及びスピーカ１００８を経
て音声として出力する。

【０００９】表示部１００４は、翻訳装置の使用者の指
示や翻訳語の文字による表示等を行う。

【００１０】翻訳語データ用メモリカード１００６は、
ＲＯＭ，フラッシュメモリ，ハードディスク等からな
り、翻訳語を音声合成して出力する場合には、音声デー
タを格納する。また、この翻訳語データ用メモリカード
１００６からは、翻訳語に対応したキャラクターコード
を読み込んで表示部１００４に表示する。そして、この
翻訳語データ用メモリカード１００６を他の言語のもの
と交換することにより、複数の言語に翻訳することを可
能にする。

【００１１】音声認識辞書部１００７は、ＲＯＭ，ＲＡ
Ｍ等からなり、操作者の発声に対応した標準音声パター
ンを格納している。この標準音声パターンは、操作者が
予め登録して格納しておく。

【００１２】また、音声情報の認識に当たって、画像情
報を組み合わせる技術についても、例えば、特開昭６０
−１８８９９８号公報や特開昭６３−１９１１９８号公
報に開示されているが、未だ正確な翻訳を可能にする具
体的な認識方法を開示したものはない。

【００１３】

【発明が解決しようとする課題】前記した従来の携帯型
音声翻訳装置においては、操作者の発生する音声を認識
するものの、音声による定型会話集などの定型文章形式
の翻訳機と同様に、予め会話に用いる文章を音声データ
として登録しておき、その場の状況に合わせて必要な会
話文を選択して再生する方式と機能的には変わらない。
すなわち、自分の質問や要求を相手の言葉で一方的に聞
かせることは可能であるが、不特定な相手の自然な会話
における音声を認識して翻訳することができないことか
ら、相手の言っていることが理解できずに会話が成立し
ない事態が発生するという問題がある。携帯型音声認識
装置においては、自分の言いたいことを翻訳するより
は、むしろ相手の言っていることを翻訳してもらうこと
の方が重要である。それを実現するためには、解決しな
ければならない難しい技術課題が沢山ある。

【００１４】海外旅行先などで交わされる会話のよう
な、比較的短い文章から成る連続音声を認識して翻訳す
るためには、連続音声を構成している単語と単語、例え
ば、日本語の場合は、名詞，動詞，助詞などの区別や、
文の区切りをはっきりと認識しなければ正しい翻訳を行
なうことができない。そこで、音声の入力を文節単位に
区切って入力することが考えられるが、余り間を置き過
ぎても不自然な会話文になってしまう。すなわち、海外
旅行先などで交わされる会話のような、比較的短い文章
から成る連続音声の入力であって多少文節を意識する程
度の連続音声の入力により、音声を認識して翻訳しなけ
ればならない。

【００１５】そこで、本発明の目的は、少しでも会話ら
しい相互の会話音声認識翻訳を可能にする携帯型音声認
識翻訳機を実現するために、入力された一連の音声から
成る文の文節を認識し、また、文を構成する単語を認識
することで会話音声を認識して正しく翻訳することがで
きる音声認識翻訳装置を提供することにある。

【００１６】

【課題を解決するための手段】前記した目的を達成する
ために、本発明になる音声認識翻訳装置は、音声と画像
を取り込む手段と、取り込んだ音声データを記憶してお
くメモリと、取り込んだ一連の音声に対して該音声の特
徴を抽出し、音声認識処理を行う音声認識処理部と、取
り込んだ画像データを記憶しておくメモリと、取り込ん
だ一連の画像に対して該画像の特徴を抽出し、画像認識
処理を行う画像認識処理部と、音声認識及び画像認識さ
れた単語や文章の認識結果に対して翻訳したい単語や文
章に翻訳する翻訳処理部とを備え、経時的に変化する音
声の特徴と該音声の特徴に対応した画像の特徴の２つの
相関関係から、入力された一連の音声からなる文の文節
を認識し、かつ、文を構成する単語を認識することで音
声認識及び翻訳する音声画像認識翻訳装置において、音
声に対応する口の画像の特徴が文の文節の終わりを示し
た場合には、入力された一連の音声からなる該文の文節
と判断すると共に該文節の終わりの文字や文字列を認識
し、更に文節を示す印を付加することを特徴とする。こ
のようにすれば、音声入力文の文節と語尾（日本語にお
いては助詞）を正確に認識することができるので、翻訳
の精度が向上する。

【００１７】具体的には、同じサンプリング周波数で同
時刻の間に取り込んだ一連の音声と画像から抽出した音
声の特徴が、子音から母音に変化し、更に母音から無音
状態に変化していく過程において、この音声の特徴に対
応した口全体とその周辺近傍の画像の特徴が文の文節の
終わりを示した場合には、入力された一連の音声からな
る文の文節と判断するようにする。

【００１８】また、同じサンプリング周波数で同時刻の
間に取り込んだ一連の日本語音声と画像から抽出した音
声の特徴が、子音から母音に変化し、更に母音から無音
状態に変化していく過程において、この音声の特徴に対
応した口全体とその周辺近傍の画像の特徴が文の文節の
終わりを示した場合には、入力された一連の音声からな
る文の文節と判断すると共に該文節の終わりの助詞を認
識するようにする。

【００１９】また、取り込んだ音声データを記憶してお
く前記メモリを、常時、音データを取り込むメモリ
（１）と、音声が入力されると該音声データを取り込む
メモリ（２）とから構成すると共に、取り込んだ画像デ
ータを記憶しておく前記メモリを、常時、画像データを
取り込むメモリ（３）と、音声が入力されると画像デー
タを取り込むメモリ（４）とから構成し、音声が入力さ
れたと判断したときに音声データ及び画像データの取り
込みを開始し、また、音声の入力が終了したと判断した
ときには音声データ及び画像データの取り込みを中止
し、記憶した音声データ及び画像データに対して音声認
識及び翻訳するようにする。

【００２０】また、音声が入力されたと判断したときに
音声データ及び画像データの取り込みを開始する処理及
び記憶した音声データ及び画像データの読み出し処理に
ついて、音声の特徴が現われる任意に設定された周期
（サンプリング周波数）で、常に音データを取り込んで
おくメモリ（１）の該音データに対して、時間Ｔｉに取
り込んだ音データの強度Ｐｉと、１つ前の周期の時間Ｔ
ｉ-1に取り込んだ音データの強度Ｐｉ-1との差ΔＰｉの
値が、任意に設定された音データの強度の境界値Ｐｔｈ
を超えた場合には該音データは音声データであると判断
して次の音データから順にメモリ（２）に書き込むと共
に、画像データの取り込みにおいては、音データが音声
データであると判断した時点から画像データを常に取り
込んでいるメモリ（３）への該画像データの書き込みを
終了し、次の画像データから順にメモリ（４）に書き込
み、メモリ（１）に記憶した音声データとメモリ（２）
に記憶した音声データとを合わせて時間軸ｔ方向に順に
読み出して音声波形データを形成すると共に、メモリ
（３）に記憶した画像データとメモリ（４）に記憶した
画像データと合わせて時間軸ｔ方向に順に読み出して一
連の口の動きを示す画像データを形成するようにする。

【００２１】また、更に、音声認識及び画像認識された
単語や文章の認識結果に対して認識結果の修正または補
正を行う認識結果修正部を設ける。

【００２２】また、前記画像の特徴は、画像データの解
像度変換及び２値化処理を施して正規化した人の顔画像
と口全体とその周辺近傍の画像から抽出する。

【００２３】また、前記音声と画像を取り込む手段を、
カメラとマイクを一体的にして構成して携帯型の音声画
像認識翻訳装置を構成する。

【００２４】上述のような構成の音声認識翻訳装置を用
いることにより、少しでも会話らしい相互の音声認識翻
訳を可能にする携帯型音声認識翻訳機が得られる。

【００２５】

【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態について詳細に説明する。

【００２６】図１は、本発明の一実施形態に係る音声画
像認識翻訳装置の構成を示すブロック図である。この図
１に示した音声画像認識翻訳装置は、携帯型音声認識翻
訳機である。このような装置は、ＣＰＵやメモリや専用
ＩＣ等のいくつかのＬＳＩで構成することができる。ま
た、チップとして、半導体素子上に構成することもでき
る。

【００２７】図１において、１０１は音声を取り込むた
めの指向性マイクであり、例えば、海外旅行先の空港や
駅構内，飛行機内，ホテル，観光地，レストランやショ
ッピング等で交わされる会話音声を取り込む。

【００２８】１０２は１６ビットのアナログ／デジタル
（Ａ／Ｄ）変換ＩＣであり、前記マイク１０１内のフィ
ルタやアンプにより音声帯域以外の音が取り除かれて雑
音処理された音声データの連続的なアナログ信号を、音
声のサンプリング周波数、例えば１２ｋＨｚでサンプリ
ングしてデジタル信号に変換する。

【００２９】１０３は音声取り込み部であり、Ａ／Ｄ変
換ＩＣ１０２でサンプリングされた１６ビットの音声デ
ータに対して、シリアルデータからパラレルデータにシ
リアル／パラレル変換を行ってレジスタ等に一旦格納し
ておくためのものである。

【００３０】１０４は、前記音声取り込み部１０３によ
り取り込んだ音声データ、例えば、会話音声の１フレー
ズ分の連続音声データを記憶しておくためのメモリであ
り、また、連続音声データを書き込めるだけの必要最小
限の容量を持つメモリである。連続音声データのメモリ
の書き込みは、ＣＰＵ等のソフトウエア処理で行って
も、専用のハードウエアで行っても良い。

【００３１】１０５は音声認識処理部であり、メモリ１
０４に書き込まれた連続音声データに対して、デジタル
フィルタ，音声分析，音声区間検出，照合，判定等の一
連の音声認識処理を行う。ここで、音声認識に必要な音
響モデルデータ，辞書データ，文法データは、この音声
認識処理部１０５内においてメモリ等に登録し格納して
おく。音声認識処理は、ＣＰＵ，ＤＳＰ等のソフトウエ
ア処理で行っても、専用のハードウエアで行っても良
い。

【００３２】１０６は、画像を取り込むための高解像度
カメラである。これは、例えば、ＣＣＤカメラであり、
海外旅行先の空港や駅構内，飛行機内，ホテル，観光
地，レストランやショッピング等で交わされる会話音声
に合わせて該音声を発生する人の口の動きを画像データ
として取り込む。

【００３３】１０７は１６ビットのアナログ／デジタル
（Ａ／Ｄ）変換ＩＣであり、前記ＣＣＤカメラ１０６か
らのアナログ信号を、音声のサンプリング周波数に同期
して、例えば、１２ｋＨｚでサンプリングしてデジタル
信号に変換する。

【００３４】１０８は画像取り込み部であり、前記Ａ／
Ｄ変換ＩＣ１０７でサンプリングした１６ビットの画像
データに対して、シリアルデータからパラレルデータに
シリアル／パラレル変換を行ってレジスタ等に一旦格納
しておくためのものである。

【００３５】１０９は、画像取り込み部１０８により取
り込んだ画像データ、例えば、会話音声の１フレーズ分
の連続画像データを記憶しておくためのメモリであり、
また、連続画像データを書き込めるだけの必要最小限の
容量を持つメモリである。連続画像データのメモリの書
き込みは、ＣＰＵ等のソフトウエア処理で行っても専用
のハードウエアで行っても良い。

【００３６】１１０は画像認識処理部であり、前記メモ
リ１０９に書き込まれた連続画像データに対して、デジ
タルフィルタ，画像変換，２値化処理，画像解析，特徴
抽出，照合，判定等の一連の画像認識処理を行う。ここ
で、画像認識に必要な画像モデルデータ，辞書データ，
文法データは、画像認識処理部１０５内において、メモ
リ等に登録して格納しておく。画像認識処理は、ＣＰＵ
やＤＳＰ等のソフトウエア処理で行っても、専用のハー
ドウエアで行っても良い。ここで、画像認識処理した結
果は、音声認識処理部１０５に渡す。

【００３７】１１１は、前記音声認識処理部１０５から
出力された会話音声の認識結果に対して翻訳したい言語
に翻訳処理を行う翻訳処理部である。音声認識処理部１
０５から出力する認識結果は、例えば、日本語であれば
名詞，助詞，動詞，副詞等のかな漢字まじりのテキスト
文章である。翻訳処理では、これらのかな漢字まじり文
章に対して、構文解析及び辞書，文法規則，事例等から
の文章生成を行い、翻訳結果を出力する。

【００３８】１１２は、前記翻訳処理部１１１から出力
された翻訳結果を、会話文に適した音声に変換して音声
出力する音声合成処理部である。この音声合成処理部１
１２では、より自然な会話文音声にするために、文章を
構成している単語の発音やアクセント、更に、文章全体
の抑揚を最適化して会話文の音声合成を行い、相手側に
対して聞き取りやすい自然な音声を出力するための処理
も行う。

【００３９】１１３は１６ビットのデジタル／アナログ
（Ｄ／Ａ）変換ＩＣであり、前記音声合成処理部１１２
から出力された音声のデジタル信号を、例えば、ロウパ
スフィルタ（ＬＰＦ）を経由して音声周波数帯域１２ｋ
Ｈｚでアナログ信号に変換する。

【００４０】１１４は、音声認識結果の途中経過や翻訳
結果をテキストで表示するための液晶ディスプレイ（Ｌ
ＣＤ）である。

【００４１】１１５は、音声認識結果やその途中経過，
翻訳結果を音声合成して音声出力するためのスピーカで
ある。

【００４２】図２は、音声認識をサポートするためのア
プローチとして、音声を発生する人の口の動きの画像を
取り込み、画像認識して音声認識と共に音声の内容を解
読する方法の一例を説明するための図である。

【００４３】図１に示したカメラ１０６、例えば、ＣＣ
Ｄカメラにより、音声入力に同期して音声を発生する人
の口の動きの画像を取り込む。

【００４４】２０１は、音声入力と同期して取り込んだ
任意の時点での会話音声を発生している人の静止画像で
ある。画像の解像度は、縦ｍドット×横ｎドット×深さ
ｌビットである。この画像２０１は、音声入力に同期し
て、例えば、音声のサンプリング周波数を１２ｋＨｚに
設定し、この音声の特徴を抽出するためのフレームを音
声のサンプリング点数を２４０ポイントにした場合は、
２０ｍｓのフレーム単位で音声入力に同期させて取り込
むことになる。音声の取り込みにおける２０ｍｓのフレ
ーム単位を画像の取り込みに適用すると、２０ｍｓで１
フレームの画像を取り込むことになるので、１秒間に５
０フレームの画像を処理することになる。これは、現行
のＮＴＳＣ等の動画像である３０フレーム／秒よりも時
間軸の分解能が高くなる。

【００４５】２０２は、取り込んだ画像２０１に対し
て、カラー画像から濃淡画像に変換する濃淡化処理を行
い、その後、２値化画像を得る２値化処理を施し、口の
形の特徴を抽出するために取り出した画像である。

【００４６】２０３は、画像２０２に対して、正規化，
エッジ検出，平滑化処理を施し、口の輪郭等の特徴を抽
出した画像である。この画像２０３の解像度は、画像の
特徴を十分に表すことができる必要最小限の解像度とす
る。

【００４７】図３は、音声及び画像を取り込むためのカ
メラを内蔵したマイクの構成を説明するための図であ
る。図１に示した音声画像認識翻訳装置において、マイ
ク１０１とカメラ１０６を一体化したものである。特
に、携帯型音声認識翻訳機のような装置においては、部
品点数の削減，低コスト化，低価格化が重要である。ま
た、図２を参照して説明したように、口の動きの画像認
識を行うことから、音声を取り込むマイクにマイクを内
蔵すれば、このマイクに向かって音声を発生する口の画
像を比較的容易に取り込むことができる。

【００４８】３０１は、音声及び画像を取り込むための
カメラを内蔵したマイク本体である。外形は、円筒形で
あっても、角形であっても良い。３０２はマイクであ
り、コンデンサ型マイクや抵抗型マイク等で構成され
る。３０３はレンズであり、音声を発生する人物の顔や
口の画像が取り込めるようにチューニングしておく。３
０４はＣＣＤカメラであり、レンズ３０３から進入して
きた音声を発生する人物の顔や口の画像を取り込む。

【００４９】３０５は音声及び画像データを伝送するた
めのケーブルであり、音声信号ケーブル３０６と画像信
号ケーブル３０７とを備える。図１に示した音声画像認
識翻訳装置おいては、音声信号ケーブル３０６はＡ／Ｄ
変換ＩＣ１０２に接続し、画像信号ケーブル３０７はＡ
／Ｄ変換ＩＣ１０７に接続する。

【００５０】図４は、このような本発明になる音声画像
認識翻訳装置において、実際に、会話音声による会話文
が、音声認識と画像認識とから認識され、翻訳されるま
でを説明するための図である。

【００５１】入力された会話音声による会話文例の内容
は、「コウエンハドコデスカ」である。入力される音
声の発生スピードは、会話における自然なスピードであ
り、認識率を高めるために丁寧にはっきりと発声してい
る。

【００５２】４０１は、入力された会話音声による会話
文例における「コウエンハドコデスカ」の音声波形で
ある。時間軸ｔにおける音声波形の振幅は、音声強度を
表している。この音声波形に対して、音声のサンプリン
グ周波数を１２ｋＨｚに設定し、音声の特徴を抽出する
ためのフレームを音声のサンプリング点数を２４０ポイ
ントにした場合は、２０ｍｓのフレーム単位で音声を取
り込むことになる。

【００５３】４０２〜４０４は、音声の特徴を抽出する
ためのフレームを音声のサンプリング点数を２４０ポイ
ントにした場合の２０ｍｓ単位の音声特徴フレームであ
る。音声の特徴は、一般的に、音声認識で採用されてい
る音声分析により抽出された特徴である。ここで、音声
特徴フレーム４０２で表される特徴は、「コウエンハ」
の動的な音声の特徴である。また、音声特徴フレーム４
０３で表される特徴は、「ハ」の静的な音声の特徴
である。再び、音声特徴フレーム４０４で表される特徴
は、「ドコデスカ」の動的な音声の特徴である。

【００５４】このような音声の特徴抽出から音声認識を
行うことは可能であるが、音声の始まり（語頭）や終わ
り（語尾）において誤認識が起こりやすい。例えば、
「コウエンハ」が「コウエンヘ」になったり、「ドコデ
スカ」が「ココデスカ」になったりする。また、この音
声認識翻訳装置を海外旅行先などで活用することを考え
ると、周囲の雑音などにより、更に認識率が低下する。
一方、翻訳においては、音声認識の結果次第で、翻訳精
度が変化する。特に、日本語から英語に翻訳する例をと
ってみると、語頭や語尾において誤認識が起こって、
「コウエンハ」が「コウエンヘ」になったり、「ドコデ
スカ」が「ココデスカ」になったりすると、正しく翻訳
できなくなる。また、文節も認識できないと正しい翻訳
は困難になる。そこで、翻訳のために、音声認識の精
度を高める手段として、音声の始まり（語頭）や終わり
（語尾）における口の動きに着目した。４０５〜４０７
は、音声特徴フレーム４０２〜４０４で示した音声の特
徴を抽出するためのフレームを音声のサンプリング点数
を２４０ポイントにした場合の２０ｍｓ単位の音声特徴
フレームに対応させて、口の動きの画像を取り込み、図
２を参照して説明したような処理により特徴を抽出した
画像である。ここで、画像４０５で表される特徴は、
「コウエンハ」の動的な口の形の連続的な動きによる画
像の特徴である。また、画像４０６で表される特徴は、
「ハ」の静的な口の形の画像の特徴である。再び、
画像４０７で表される特徴は、「ドコデスカ」の動的な
口の形の連続的な動きによる画像の特徴である。したが
って、会話文のような連続音声の認識に対して、口の動
きの画像認識を行うことにより、音声の始まりや終わり
における文章の認識精度を高め、また、文節の認識を行
うことにより、翻訳精度を高めることができるようにし
た。同じサンプリング周波数で同時刻の間に取り込んだ
一連の音声と画像の特徴を抽出し、抽出した音声の特徴
が子音から母音に変化し、更に母音から無音状態に変化
していく過程において、この音声の特徴に対応した口全
体とその周辺近傍の画像の特徴が、文の文節の終わりを
示した場合には、入力された一連の音声からなる文の文
節と判断し、文節の終わりの文字や文字列を認識するよ
うにする。日本語の場合には、文節の終わりの助詞を認
識するようにすることが好ましい。更に、例えば、「コ
ウエンハ」の動的な口の形の連続的な動きによる画像の
特徴からも画像認識を行い、音声認識と共に、「公園
は」を認識する。あるいは、音声認識がなされなかった
場合でも、画像の認識だけから「公園は」を認識するよ
うにする。これにより、ロバストネス向上が期待でき
る。

【００５５】４０８〜４１２は、入力された会話音声に
よる会話文例「コウエンハドコデスカ」の音声認識結
果である。結果は、かな漢字まじりのテキスト文章で出
力する。ここで、文章を構成している単語や文節を認識
することで、「公園」４０８と「は」４１０との間にス
ラッシュ４０９を挿入し、「は」４１０と「どこです
か」４１２との間にスラッシュ４１１を挿入する。これ
により、翻訳処理を容易にし、翻訳精度を高めることが
できるようになる。

【００５６】４１３は、認識結果「公園／は／どこです
か」の翻訳結果であり「Ｗｈｅｒｅｉｓｔｈｅｐａ
ｒｋ？」をテキストで出力する。そして、この翻訳結果
４１３は、音声合成して音声出力する。

【００５７】図５は、このような本発明になる音声画像
認識翻訳装置において、音声の取り込み及び画像の取り
込み方法を説明するための図である。

【００５８】図５の（ａ）は、発明者が実際に音声とし
て発生した「山田」の音声の波形である。図５の（ｂ）
は、音声及び画像を取り込むためのメモリである。

【００５９】図５（ａ）において、図の横軸方向（図に
おける右方向）は時間ｔを表し、縦軸方向（図における
上下方向）は音声波形の振幅強度を表している。

【００６０】区間５０１に示す波形は、常時、音声を取
り込んでいる状態における音声の波形である。ここで、
区域１に示す波形は、無音状態の時の波形であり、区域
２に示す波形は、無音状態から音声が始まる最初の音声
波形を示している。音声が発生されていない場合は、区
域１で示すような波形が連続するので、区域２でも区域
１と同様な波形が現われる。そこで、例えば、連続的に
観測される音の波形において、ある時間領域だけ音の波
形データをメモリに記録しておき、常に新しい音データ
をメモリに格納し、古い音データから消していくような
必要最小限のメモリ容量を持つメモリを考える。例え
ば、０．１秒程度の音声データが格納できる容量を持た
せる。

【００６１】図５（ｂ）におけるメモリ（１）５０６
は、連続的に観測される音の波形において、ある時間領
域だけ音の波形データをメモリに記録しておき、常に新
しい音データをメモリに格納し、古い音データから消し
ていくために必要最小限のメモリ容量ｎを持つメモリで
ある。５０７は、メモリ（１）５０６におけるライトア
ドレスＷＡである。５０８は、メモリ（１）５０６にお
けるリードアドレスＲＡである。音声が取り込まれる
と、ライトアドレスＷＡ５０７の示すアドレスに音声デ
ータをライトし、ライトアドレスＷＡ５０７をインクリ
メントしておく。この動作をメモリ（１）５０６の先頭
アドレスから順に繰り返し、アドレスの最後までライト
したならば再び先頭アドレスに戻って同様に処理を繰り
返す。例えば、図５（ａ）の区間５０１において、無音
状態の区域１の波形データは、図５（ｂ）におけるメモ
リ（１）５０６の領域１に書き込まれる。また、図５
（ａ）の区間５０１において、無音状態から音声が始ま
る区域２の最初の音声波形データは、図５（ｂ）におけ
るメモリ（１）の領域２に書き込まれる。区間５０１に
おいて、区域２のデータが区域１のデータよりも前に示
されているのは、メモリ（１）５０６において、領域２
のデータが領域１のデータよりも新しいことを表すため
である。したがって、音声認識するためには、区間５０
２に示す波形データのように、領域１のデータを領域２
のデータよりも先に読み出すことになる。これにより、
音データを常に取り込むことが可能になる。メモリ
（１）５０６の音データリードに関しては後で述べる。

【００６２】次に、無音状態から、音声が始まる最初の
音声波形が観測されたならば、次から取り込まれる音デ
ータは音声であると判断し、別なメモリに格納すること
を考える。図５（ａ）における区間５０３が音声データ
である。これにより、メモリ容量を大幅に削減できる。

【００６３】図５（ｂ）におけるメモリ（２）５０９
は、無音状態から、音声が始まる最初の音声波形が観測
されたならば、次から取り込まれる音データは音声であ
ると判断し、その音声データを格納するためのメモリで
ある。５１０は、メモリ（２）５０９におけるライトア
ドレスＷＡである。５１１は、メモリ（２）５０９にお
けるリードアドレスＲＡである。メモリ容量は、例え
ば、単語程度の認識であれば、３〜５秒の音声データを
格納することができる容量を持たせる。メモリ（２）に
おける３の領域には、図５（ａ）における区間５０３の
音声データ３が格納される。ここで、音声データが、音
声状態から再び無音状態になり、無音と判断したなら
ば、メモリ（２）５０９への音声データの書き込みを中
止しても良い。以上に説明した音声の取り込み処理によ
り、図５（ａ）に示す区間５０２，５０３の一連の音声
波形データ１，２，３は、図５（ｂ）に示すメモリ
（１）５０６及びメモリ（２）５０９に書き込まれ、こ
れらのメモリ（１）及び（２）に書き込まれた音声波形
データは、５１２に示すように時系列に読み出すことが
できる。

【００６４】図５（ｂ）におけるメモリ（３）５１３
は、メモリ（１）５０６と同様に、連続的に観測される
音の波形に対応させて、ある時間領域だけ口の動きの画
像データをメモリに記録しておき、常に新しい画像デー
タをメモリに格納し、古い画像データから消していくた
めに必要最小限のメモリ容量ｍを持つメモリである。５
１４は、メモリ（３）５１３におけるライトアドレスＷ
Ａである。５１５は、メモリ（３）５１３におけるリー
ドアドレスＲＡである。画像が取り込まれると、ライト
アドレスＷＡ５１４の示すアドレスに画像データをライ
トし、ライトアドレスＷＡ５１４をインクリメントして
おく。この動作をメモリ（３）５１３の先頭アドレスか
ら順に繰り返し、アドレスの最後までライトしたならば
再び先頭アドレスに戻って同様の処理を繰り返す。例え
ば、図５（ａ）の区間５０１において、無音状態の区域
１の波形データに対応した口の動きの画像データは、図
５（ｂ）におけるメモリ（３）５１３の領域１に書き込
まれる。

【００６５】また、図５（ａ）の区間５０１において、
無音状態から音声が始まる区域２の最初の音声波形デー
タに対応した口の動きの画像データは、図５（ｂ）にお
けるメモリ（３）５１３の領域２に書き込まれている。
区間５０１において、区域２のデータが区域１のデータ
よりも前に示されているのは、メモリ（３）５１３にお
いて、領域２のデータが領域１のデータよりも新しいこ
とを表すためである。したがって、音声認識に対応した
画像認識を行うためには、画像においても、区間５０２
に示す波形データのように、メモリ（３）５１３におい
て、領域１のデータを領域２のデータよりも先に読み出
すことになる。これにより、音データに対応した画像デ
ータを常に取り込むことが可能になる。

【００６６】次に、無音状態から、音声が始まる最初の
音声波形が観測されたならば、次から取り込まれる音デ
ータは音声であると判断し、画像データにおいても同様
に、別なメモリに格納することを考える。図５（ａ）に
おける区間５０３が音声データであり、この音声データ
対応した動的な口の動きを表す画像データが存在する。
これにより、メモリ容量を大幅に削減できる。

【００６７】図５（ｂ）におけるメモリ（４）５１６
は、無音状態から、音声が始まる最初の音声波形が観測
されたならば、次から取り込まれる音データは音声であ
ると判断し、画像データにおいても同様に、その音声デ
ータに対応した画像データを格納するためのメモリであ
る。５１７は、メモリ（４）５１６におけるライトアド
レスＷＡである。５１８は、メモリ（４）５１６におけ
るリードアドレスＲＡである。このメモリ（４）５１６
における領域３には、図５（ａ）における区間５０３の
音声データ３に対応する画像データが格納される。ここ
で、音声データが、音声状態から再び無音状態になり、
無音と判断したならば、メモリ（４）５１６への画像デ
ータの書き込みを中止しても良い。

【００６８】以上の説明した画像の取り込み処理によ
り、図５（ａ）に示す区間５０２，５０３の一連の音声
波形データ１，２，３に対応した画像データは、図５
（ｂ）に示すメモリ（３）５１３及びメモリ（４）５１
６に書き込まれ、これらのメモリ（３），（４）に書き
込まれたデータは、５１９に示すように時系列に読み出
すことができる。

【００６９】図６は、図５における音声及び画像の取り
込み処理を示すフローチャートである。

【００７０】処理ステップ６０１では、常に音データを
取り込んでメモリ（１）にライトし、常に画像データを
取り込んでメモリ（３）にライトする。例えば、音デー
タは、１２ｋＨｚでサンプリングされた音声を含む音デ
ータである。また、画像データは、音声の取り込みに同
期してサンプリングされた口の動きを含む人物の顔画像
データである。

【００７１】処理ステップ６０２では、メモリ（１）に
ライトされた音データに対して、音データの振幅強度Ｐ
をサンプリングされるデータ毎に観測し、その振幅強度
Ｐｉが任意に設定されたスレッシュホールドレベルＰｔ
ｈを超えなかった場合は、ライトアドレスＷＡ５０７，
５１４をインクリメントし、処理ステップ６０１の処理
を繰り返すように戻る。また、この処理ステップ６０２
では、メモリ（１）にライトした音データに対して、音
データの振幅強度Ｐをサンプリングされるデータ毎に観
測し、その振幅強度Ｐｉが任意に設定されたスレッシュ
ホールドレベルＰｔｈを超えた場合は、その音データ
は、音声であると判断する。

【００７２】処理ステップ６０３では、処理ステップ６
０２で音データが音声であると判断したときに、メモリ
（１）５０６及びメモリ（３）５１３のライトアドレス
ＷＡ５０７，５１４を記憶する。

【００７３】処理ステップ６０４では、次にサンプリン
グされる音データは音声データであると判断し、メモリ
（２）５０９へは音声データＰi+1 からライトし、メモ
リ（４）５１６へは画像データＩi+1 からライトする。
以上により、音声認識に必要な音声データ及び画像デー
タを取り込むことができる。

【００７４】処理ステップ６０５では、音声認識するた
めに、メモリ（１）５０６及びメモリ（２）５０９に書
き込まれている音声データと、メモリ（３）５１３及び
メモリ（４）５１６に書き込まれている画像データを読
み出すにあたり、処理ステップ６０３で記憶しておいた
メモリ（１）５０６のライトアドレスＷＡ５０７の次の
アドレスを該メモリ（１）５０６のリードアドレスの先
頭アドレスＲＡ（＝ＷＡ＋１）５０８として該メモリ
（１）５０６に格納されている音声データを総て読み出
す。また、処理ステップ６０３で記憶しておいたメモリ
（３）５１３のライトアドレスＷＡ５１４の次のアドレ
スを該メモリ（３）５１３のリードアドレスの先頭アド
レスＲＡ（＝ＷＡ＋１）５１５として該メモリ（３）５
１３に格納されている画像データを総て読み出す。

【００７５】最後に、処理ステップ６０６では、大半の
音声データが格納されているメモリ（２）５０９に対し
て、リードアドレスの先頭アドレスＲＡ（先頭）５１１
から該メモリ（２）５０９に格納されている音声データ
を総て読み出す。また、大半の画像データが格納されて
いるメモリ４（５１６）に対して、リードアドレスの先
頭アドレスＲＡ（先頭）５１８から該メモリ（４）５１
６に格納されている画像データを総て読み出す。

【００７６】図７は、常時、音データを取り込み、その
データが無音状態であるか、あるいは、音声であるかを
判断する場合のやり方を例示している。図５（ａ）にお
いて、波形５０４は、音声と判断された最初に取り込ま
れた波形であり、５０５は、音声であると判断された時
点で発生されるトリガ（フラグ）あるいは信号である。
この音声と判断された最初に取り込まれた波形を詳細に
見てみると、図７に波形７０１で示すような波形となっ
ている。ここで、７０２は、時刻ｔ（ｉ）においてサン
プリングされた音声データＰｉである。７０３は、時刻
ｔ（ｉ−１）においてサンプリングされた音声データＰ
i-1 である。

【００７７】例えば、音声データＰｉ７０２と音声デー
タＰi-1 ７０３の差分値ΔＰを観測し、任意に設定され
たスレッシュホールドレベルＰｔｈと比較して図６にお
ける処理６０２を行ってもよい。また、差分値ΔＰの積
分値ΣΔＰを観測し、任意に設定されたスレッシュホー
ルドレベルＰｔｈと比較して、図６における処理６０２
を行ってもよい。更に、差分値ΔＰをある時間内に複数
回（ｋ回）観測することで、その観測回数を任意に設定
された回数（スレッシュホールド回数）と比較して、図
６における処理６０２を行ってもよい。

【００７８】図８は、上述した携帯型音声画像翻訳機の
イメージ及び外観の例を示す図である。図８（ａ）は、
本発明になる携帯型音声翻訳機を海外旅行者が使用して
いる場面を示している。ユーザである海外旅行者は、携
帯型翻訳機のディスプレイ及び音声入出力手段を介し
て、例えば、ショッピングにおいて店員と会話をする際
に、自分の話す内容を相手のわかる言葉に翻訳し、意図
を伝え、逆に、相手の言っている言葉を自分のわかる言
葉に翻訳し、相手の意図を理解する。特に、会話におけ
る日本語，英語，ドイツ語，フランス語，イタリア語，
ロシア語，中国語等の言語については、各国の言語に対
応することができ、限定されることはない。図８
（ｂ）は、携帯型翻訳機の外観図であり、８０１は、携
帯型翻訳機の本体である。

【００７９】８０２は、多方向性マイクであって、空港
や駅構内，飛行機内，バスや地下鉄やタクシー等の乗り
物車内，観光地建物内等での会話音声に含まれる各場所
での雑音を除去する目的で使用され、会話音声が無いと
きには各場所での全体音を取り込む。

【００８０】８０３は、図３に示したようなＣＣＤカメ
ラ内蔵マイクで指向性があり、海外旅行先での空港や駅
構内，飛行機内，ホテル，観光地，レストランやショッ
ピング等で交わされる会話音声及び口の動きを含む顔の
画像をアナログ信号として取り込む。

【００８１】８０４は、音声出力手段であり、音声認識
により翻訳した内容を報音するためのスピーカやイヤホ
ンからなる。

【００８２】８０５は、音声認識した結果やその修正，
補正結果及び翻訳結果の内容を表示するためのディスプ
レイである。

【００８３】８０６は、ＩＣカードで、例えば、日本語
から中国語に音声認識翻訳するための音響モデル，単語
辞書，文法辞書，翻訳事例辞書，音声合成用の音声辞書
等をメモリやハードディスクに格納して搭載している。

【００８４】８０７は、ＩＣカードで、例えば、中国語
から日本語に音声認識翻訳するための音響モデル，単語
辞書，文法辞書，翻訳事例辞書，音声合成用の音声辞書
等をメモリやハードディスクに格納して搭載している。

【００８５】図９は、本発明に係る音声画像認識翻訳装
置の他の実施形態の構成を示すブロック図である。例え
ば、この図９に示した音声画像認識翻訳装置は、携帯型
音声認識翻訳機であり、ＣＰＵやメモリや専用ＩＣ等の
いくつかのＬＳＩで構成される装置であっても、半導体
素子上に構成されるチップであっても良い。

【００８６】図９において、９０１は音声を取り込むた
めの指向性マイクであり、例えば、海外旅行先の空港や
駅構内，飛行機内，ホテル，観光地，レストランやショ
ッピング等で交わされる会話音声を取り込む。

【００８７】９０２は１６ビットのアナログ／デジタル
（Ａ／Ｄ）変換ＩＣであり、マイク９０１内のフィルタ
やアンプにより音声帯域以外の音が取り除かれ、雑音処
理された音声データの連続的なアナログ信号を、音声の
サンプリング周波数、例えば１２ｋＨｚでサンプリング
してデジタル信号に変換する。

【００８８】９０３は音声取り込み部であり、前記Ａ／
Ｄ変換ＩＣ１０２でサンプリングされた１６ビットの音
声データに対してシリアルデータからパラレルデータに
シリアル／パラレル変換を行ってレジスタ等に一旦格納
しておくためのものである。

【００８９】９０４は、前記音声取り込み部９０３によ
り取り込んだ音声データ、例えば、会話音声の１フレー
ズ分の連続音声データを記憶しておくためのメモリであ
り、また、連続音声データを書き込めるだけの必要最小
限の容量を持つメモリである。連続音声データのメモリ
の書き込みは、ＣＰＵ等のソフトウエア処理で行って
も、専用のハードウエアで行っても良い。

【００９０】９０５は、音声認識処理部であり、メモリ
９０４に書き込まれた連続音声データに対して、デジタ
ルフィルタ，音声分析，音声区間検出，照合，判定等の
一連の音声認識処理を行う。ここで、音声認識に必要な
音響モデルデータ，辞書データ，文法データは、この音
声認識処理部９０５内において、メモリ等に登録し格納
しておく。音声認識処理は、ＣＰＵやＤＳＰ等のソフト
ウエア処理で行っても、専用のハードウエアで行っても
良い。

【００９１】９０６は、画像を取り込むための高解像度
カメラであり、例えば、ＣＣＤカメラである。この高解
像度カメラ９０６は、海外旅行先の空港や駅構内，飛行
機内，ホテル，観光地，レストランやショッピング等で
交わされる会話の音声に合わせて、この音声を発生する
人の口の動きを画像データとして取り込む。

【００９２】９０７は１６ビットのアナログ／デジタル
（Ａ／Ｄ）変換ＩＣであり、ＣＣＤカメラ９０６からの
アナログ信号を、音声のサンプリング周波数に同期し
て、例えば、１２ｋＨｚでサンプリングしてデジタル信
号に変換する。

【００９３】９０８は画像読み取り部であり、前記Ａ／
Ｄ変換ＩＣ９０７によりサンプリングされた１６ビット
の画像データに対して、シリアルデータからパラレルデ
ータにシリアル／パラレル変換を行ってレジスタ等に一
旦格納しておくためのものである。

【００９４】９０９は、画像取り込み部９０８により取
り込んだ画像データ、例えば、会話音声の１フレーズ分
の連続画像データを記憶しておくためのメモリであり、
また、連続画像データを書き込めるだけの必要最小限の
容量を持つメモリである。連続画像データのメモリへの
書き込みは、ＣＰＵ等のソフトウエア処理で行っても、
専用のハードウエアで行っても良い。

【００９５】９１０は画像認識処理部であり、メモリ９
０９に書き込まれた連続画像データに対して、デジタル
フィルタ，画像変換，２値化処理，画像解析，特徴抽
出，照合，判定等の一連の画像認識処理を行う。ここ
で、画像認識に必要な画像モデルデータ，辞書データ，
文法データは、画像認識処理部１０５内において、メモ
リ等に登録して格納しておく。画像認識処理は、ＣＰＵ
やＤＳＰ等のソフトウエア処理で行っても、専用のハー
ドウエアで行っても良い。ここで、画像認識処理した結
果は、音声認識処理部に渡す。

【００９６】９１１は、前記音声認識処理部９０５から
出力された会話音声の認識結果に対して翻訳したい言語
に翻訳処理を行う翻訳処理部である。音声認識処理部９
０５から出力される認識結果は、例えば、日本語であれ
ば名詞，助詞，動詞，副詞等のかな漢字まじりのテキス
ト文章である。翻訳処理では、これらのかな漢字まじり
文章に対して、構文解析及び辞書，文法規則，事例等か
らの文章生成を行い、翻訳結果を出力する。

【００９７】９１２は、前記翻訳処理部９１１から出力
された翻訳結果に対して、会話文に適した音声に変換し
て音声出力する音声合成処理部である。この音声合成処
理部９１２では、より自然な会話文音声にするために、
文章を構成している単語の発音やアクセント、更に、文
章全体の抑揚を最適化して会話文の音声合成を行い、相
手側に対して聞き取りやすい自然な音声を出力するため
の処理も行う。

【００９８】９１３は１６ビットのデジタル／アナログ
（Ｄ／Ａ）変換ＩＣであり、前記音声合成処理部９１２
から出力された音声のデジタル信号を、例えば、ロウパ
スフィルタ（ＬＰＦ）を経由して音声周波数帯域１２ｋ
Ｈｚでアナログ信号に変換する。

【００９９】９１４は、音声認識結果の途中経過や翻訳
結果をテキストで表示するための液晶ディスプレイ（Ｌ
ＣＤ）である。

【０１００】９１５は、音声認識結果やその途中経過，
翻訳結果を音声合成して音声出力するためのスピーカで
ある。

【０１０１】９１６は、前記音声認識処理部９０５から
出力された音声及び画像の認識結果に対して、誤認識部
分の修正，補正を行う認識結果修正部である。誤認識部
分を含んだ認識結果を、翻訳処理部９１１で翻訳すべき
会話文の認識結果として、ただちに転送して翻訳させる
と、誤った翻訳結果になってしまう。そこで、認識結果
修正部９１６は、認識結果を翻訳する前に、音声会話文
を自分側で翻訳したい適切な文に修正することで翻訳精
度を高めることができるようにする。

【０１０２】

【発明の効果】以上のように、本発明によれば、国際化
時代における翻訳精度の高い音声認識翻訳装置の実現
や、海外旅行先等で少しでも会話らしい相互のコミュニ
ケーションをアシストする翻訳精度の高い携帯型音声認
識翻訳機の実現が可能となる。

【図面の簡単な説明】

【図１】本発明になる音声画像認識翻訳装置の一形態形
態を示すブロック図である。

【図２】図１に示した本発明になる音声画像認識装置に
おける画像取り込み及び画像処理を示す説明図である。

【図３】図１に示した本発明になる音声画像認識装置の
画像取り込み用カメラ内蔵マイクの構成図である。

【図４】図１に示した本発明になる音声画像認識装置に
おける音声及び画像取り込み方法及び音声画像認識翻訳
を示す説明図である。

【図５】図１に示した本発明になる音声画像認識装置の
音声及び画像取り込み方法を示す説明図である。

【図６】図１に示した本発明になる音声画像認識装置に
おける音声及び画像取り込み方法を示すフローチャート
図である。

【図７】図１に示した本発明になる音声画像認識装置に
おける音声データの判断方法を示す説明図である。

【図８】図１に示した本発明になる音声画像認識装置を
携帯型翻訳機に適用した一例を示す説明図である。

【図９】本発明になる音声画像認識翻訳装置の他の実施
形態を示すブロック図である。

【図１０】従来の携帯型の音声翻訳装置の構成を示すブ
ロック図である。

【符号の説明】

１０１…マイク、１０２…Ａ／Ｄ変換ＩＣ、１０３…音
声取り込み部、１０４…メモリ、１０５…音声認識処理
部、１０６…カメラ、１０７…Ａ／Ｄ変換ＩＣ、１０８
…画像取り込み部、１０９…メモリ、１１０…画像認識
処理部、１１１…翻訳処理部、１１２…音声合成処理
部、１１３…Ｄ／Ａ変換ＩＣ、１１４…ＬＣＤ、１１５
…スピーカ。

フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＧ０６Ｆ 15/38 Ａ (72)発明者天野明雄東京都国分寺市東恋ケ窪一丁目280番地株式会社日立製作所中央研究所内 (72)発明者伊東功二東京都小平市上水本町五丁目20番１号株式会社日立製作所半導体事業部内 (72)発明者佐藤裕子東京都小平市上水本町五丁目20番１号株式会社日立製作所半導体事業部内 (72)発明者石渡一嘉東京都小平市上水本町五丁目20番１号株式会社日立製作所半導体事業部内

Claims

【特許請求の範囲】

【請求項１】音声と画像を取り込む手段と、取り込んだ
音声データを記憶しておくメモリと、取り込んだ一連の
音声に対して該音声の特徴を抽出し、音声認識処理を行
う音声認識処理部と、取り込んだ画像データを記憶して
おくメモリと、取り込んだ一連の画像に対して該画像の
特徴を抽出し、画像認識処理を行う画像認識処理部と、
音声認識及び画像認識された単語や文章の認識結果に対
して翻訳したい単語や文章に翻訳する翻訳処理部とを備
え、経時的に変化する音声の特徴と該音声の特徴に対応
した画像の特徴の２つの相関関係から、入力された一連
の音声からなる文の文節を認識し、かつ、文を構成する
単語を認識することで音声認識及び翻訳する音声画像認
識翻訳装置において、音声に対応する口の画像の特徴が文の文節の終わりを示
した場合には、入力された一連の音声からなる該文の文
節と判断すると共に該文節の終わりの文字や文字列を認
識し、更に文節を示す印を付加することを特徴とする音
声画像認識翻訳装置。
【請求項２】請求項１において、同じサンプリング周波
数で同時刻の間に取り込んだ一連の音声と画像から抽出
した音声の特徴が、子音から母音に変化し、更に母音か
ら無音状態に変化していく過程において、この音声の特
徴に対応した口全体とその周辺近傍の画像の特徴が文の
文節の終わりを示した場合には、入力された一連の音声
からなる文の文節と判断することを特徴とする音声画像
認識翻訳装置。
【請求項３】請求項１において、同じサンプリング周波
数で同時刻の間に取り込んだ一連の日本語音声と画像か
ら抽出した音声の特徴が、子音から母音に変化し、更に
母音から無音状態に変化していく過程において、この音
声の特徴に対応した口全体とその周辺近傍の画像の特徴
が文の文節の終わりを示した場合には、入力された一連
の音声からなる文の文節と判断すると共に該文節の終わ
りの助詞を認識することを特徴とする音声画像認識翻訳
装置。
【請求項４】請求項１において、取り込んだ音声データ
を記憶しておく前記メモリを、常時、音データを取り込
むメモリ（１）と、音声が入力されると該音声データを
取り込むメモリ（２）とから構成すると共に、取り込ん
だ画像データを記憶しておく前記メモリを、常時、画像
データを取り込むメモリ（３）と、音声が入力されると
画像データを取り込むメモリ（４）とから構成し、音声が入力されたと判断したときに音声データ及び画像
データの取り込みを開始し、また、音声の入力が終了し
たと判断したときには音声データ及び画像データの取り
込みを中止し、記憶した音声データ及び画像データに対
して音声認識及び翻訳することを特徴とする音声画像認
識翻訳装置。
【請求項５】請求項４において、音声が入力されたと判
断したときに音声データ及び画像データの取り込みを開
始する処理及び記憶した音声データ及び画像データの読
み出し処理について、音声の特徴が現われる任意に設定された周期（サンプリ
ング周波数）で、常に音データを取り込んでおくメモリ
（１）の該音データに対して、時間Ｔｉに取り込んだ音
データの強度Ｐｉと、１つ前の周期の時間Ｔｉ-1に取り
込んだ音データの強度Ｐｉ-1との差ΔＰｉの値が、任意
に設定された音データの強度の境界値Ｐｔｈを超えた場
合には該音データは音声データであると判断して次の音
データから順にメモリ（２）に書き込むと共に、画像デ
ータの取り込みにおいては、音データが音声データであ
ると判断した時点から画像データを常に取り込んでいる
メモリ（３）への該画像データの書き込みを終了し、次
の画像データから順にメモリ（４）に書き込み、メモリ
（１）に記憶した音声データとメモリ（２）に記憶した
音声データとを合わせて時間軸ｔ方向に順に読み出して
音声波形データを形成すると共に、メモリ（３）に記憶
した画像データとメモリ（４）に記憶した画像データと
合わせて時間軸ｔ方向に順に読み出して一連の口の動き
を示す画像データを形成することを特徴とする音声画像
認識翻訳装置。
【請求項６】請求項１において、更に、音声認識及び画
像認識された単語や文章の認識結果に対して認識結果の
修正または補正を行う認識結果修正部を設けたことを特
徴とする音声画像認識翻訳装置。
【請求項７】請求項１〜６において、前記画像の特徴
は、画像データの解像度変換及び２値化処理を施して正
規化した人の顔画像と口全体とその周辺近傍の画像から
抽出することを特徴とする音声画像認識翻訳装置。
【請求項８】請求項１〜７の１項において、前記音声と
画像を取り込む手段を、カメラとマイクを一体的にして
構成したことを特徴とする携帯型の音声画像認識翻訳装
置。