JP2000276190A - 発声を必要としない音声通話装置 - Google Patents

発声を必要としない音声通話装置

Info

Publication number
JP2000276190A
JP2000276190A JP11124685A JP12468599A JP2000276190A JP 2000276190 A JP2000276190 A JP 2000276190A JP 11124685 A JP11124685 A JP 11124685A JP 12468599 A JP12468599 A JP 12468599A JP 2000276190 A JP2000276190 A JP 2000276190A
Authority
JP
Japan
Prior art keywords
speaker
voice
microphone
signal
voice signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11124685A
Other languages
English (en)
Inventor
Yasuto Takeuchi
康人 竹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP11124685A priority Critical patent/JP2000276190A/ja
Publication of JP2000276190A publication Critical patent/JP2000276190A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Telephone Function (AREA)

Abstract

(57)【要約】 【目的】 話者が故意に声帯を振動させないで語り掛け
る行為を観測し、該観測情報に基づいて該話者が通常通
り声帯を振動させていたら得られた筈の音声信号を近似
的に合成し、これを電気的手段による通話の用に供する
ために通信回線を介して送出する如く構成された、発声
を必要としない音声通話装置が紹介されている。 【構成】 話者(1)の口(2)に近接して置かれたマ
イクロフォン(3)で囁き声を観測し、得られた信号を
DSPなどで(42)分析してあるべきピッチやフォル
マントの情報を推定ないし代用する。息の流れも検出し
て発声の終始の情報とする。これらの情報からまたDS
Pなど(43)で合成し、代用音声信号として通信回線
(8)に送出する。イヤホン(7)で話者が合成の品質
をモニタし、誤解を招きそうな時には言い直ししたりす
る。これによれば有声発声を禁忌ないし抑圧される公共
空間(旅客列車の客室内とか)から周囲に迷惑を掛けず
に携帯電話での通話が可能となる。

Description

【発明の詳細な説明】
【0001】 この発明は発声を必要としない音声通話
装置、特に話者の発するべき送信音声信号を話者に具体
的な有声発声行為をせしめずに推定、合成し、送話の用
に供する装置に関する。
【0002】 携帯電話器の使用が旅客列車の客車の中
などの“逃げ出す事の出来ない”閉鎖空間において嫌わ
れ、また禁止される理由の一つに、周囲の者に通話者の
発する声が“うるさい”もしくは“奇異な印象を与え
る”という事が挙げられる。また携帯電話に限らず有線
電話であっても、会議中に出席者が静寂を守らなければ
ならないにもかかわらず別な所と通話せねばならなくな
った時などに、通話者の有声発声音声が邪魔になるとい
う事態は多々あり得る。
【0003】そこで本発明は、話者が故意に声帯を振動
させないで語り掛ける行為を観測し、該観測情報に基づ
いて該話者が通用通り声帯を振動させていたら得られた
筈の音声信号を近似的に合成し、これを電気的手段によ
る通話の用に供するために通信回線を介して送出する如
く構成された事を特徴とする、発声を必要としない音声
通話装置を実現せんとする物である。。
【0004】 該装置は、該話者の口に近接して置かれ
るマイクロフォンを有し、該マイクロフォンにより話者
の囁き声の音響信号を採取し、爾音響信号の分析結果か
ら該話者が通用通り声帯を振動させていたら得られた筈
であろう所の音声信号を近似的に合成し、該合成された
音声信号を電気的手段による通話の用に供するために通
信回線を介して送出する如く構成された事を特徴とす
る、発声を必要としない音声通話装置である事が出来
る。
【0005】 また該装置は、該近接マイクロフォンは
話者の吐く息の成す流れもしくは静圧をも感受する如く
構成され、爾して該吐息の流れないし静圧の信号に基づ
き、元来あるべき発声区間を推定する如く構成された事
を特徴とする、該装置である事が出来る。
【0006】 また該装置は、該近接マイクロフォンの
捕える囁き声の信号を分析して第一および第二のフォル
マントを推定し、爾してこの推定された各フォルマント
の情報を用いて送出用合成音声信号を合成する如く構成
された事を特徴とする、該装置である事が出来る。
【0007】 また該装置は、該近接マイクロフォンの
捕える囁き声の信号を分析して声帯の緊張度を推定し、
爾してこの推定された声帯緊張度に関する情報を用いて
送出用合成音声信号のピッチを決定する如く構成された
事を特徴とする、該装置である事が出来る。
【0008】 また該装置は、該話者の口に近接して置
かれるマイクロフォンおよびスピーカーを有し、該マイ
クロフォンおよびスピーカーにより該話者が故意に声帯
を振動させないで語り掛ける場合における該話者の口の
開口面から能動的に観測される声道系のインパルスレス
ポンスを観測し、爾して該観測されたインパルスレスポ
ンスに基づいて該話者が通常通り声帯を振動させていた
ら得られた筈であろう所の音声信号を近似的に合成し、
該合成された音声信号を電気的手段による通話の用に供
するために通信回線を介して送出する如く構成された事
を特徴とする、発声を必要としない音声通話装置である
事が出来る。この場合、更に該マイクロフォンおよびス
ピーカーは一体化された形で一個の可逆変換器により実
現される事が出来る。
【0009】 該装置はまた合成され通話のために送出
される合成音声信号を話者の耳に聞かせ、該合成が言葉
の意味において間違いない事を確認せしめ、また必要な
らば再試行する事を許すためのイヤホンを具備する事も
出来る。以下本発明の主旨は添付する図面を引用しつつ
より詳細に説明されるであろう。
【0010】 図1は本発明の典型的な一実施例を概説
するブロック図であるが、これにおいて、マイクロフォ
ン(3)は話者(1)の口の開口部(2)の目の前辺り
で音響信号を拾う。該信号は増幅、A/D変換されたの
ち分析系のDSP(42)により分析され、該分析結果
は合成系のDSP(43)に引き渡され、目的とする合
成作業が行われる。該結果はD/A変換後に目的とする
通信回線(8)に向けて送出される一方、話者(1)自
身に結果を聞かせるようにイヤホン(7)によるフィー
ドバック系をも有する。
【0011】 この分析合成装置(4)は併設されるマ
イクロコントローラー(CPU)(44)によりキーボ
ードやディップスイッチなどの手動入力手段(45)お
よびソフトウエア(46)に従って制御される。勿論D
SP(42),(43)およびCPU(44)は図示の
如く別々ではなく一体として1つのCPUにより実現し
ても良い事は常識事項である。
【0012】 そこで、かかるハードウエアよりもそれ
を運転するソフトウエアの方がこの際決定的に本質的か
つ重要である事は論を待たないので、以下この装置の運
転手順を文章で記述する。図示のハードウエア構成図は
これを実行するための単なる好ましい一例に過ぎず、以
下のストーリーは具体的なハードウエアに依らずに臨機
応変に実施する事が出来る事は同業者、経験者ないし有
識者には自明の事である。以下、一々図中の風船番号を
引用する事は控える。その方が白文としてかえって理解
し易いだろう。
【0013】 先ず話者は“声を出さずに”マイクロフ
ォンに向けて囁きかける。囁き声は母音を欠くものの、
人間の耳には、特に同一言語をNative lang
uageとする者にとっては何ら理解に困難はない。ま
ずこの囁き声を分析に掛ける。分析は典型的には汎用さ
れるFFTの如きもので十分である。分析結果から音声
の特徴量である第1、第2ないしさらに第3フォルマン
トなどの情報が抽出される。これらは声道の形で決る物
で、声帯を振動させる発声行為が伴わずとも分析認識で
きる。即ち囁き声においては通常の有声音声の場合の声
帯のパルスに替えて息の気流の成す雑音成分が声道のフ
ィルタにより修飾された物が“受かり”、分析される。
この様にフォルマント郡の情報が得られたら、母音のア
エイオウのうちどれを発音せんとしているのかは容易に
判別できる。
【0014】 母音が推定できたとしても、合成音声に
変換するにはピッチの情報が必須であり、これを何らか
の方法で推定ないし代用せねばならない。囁き声におい
てはピッチの情報は原理的に存在しないかに見えるが、
発明者の経験によると、声帯を震わせなくても、その緊
張度ないしその喉頭部における高さ(両者はほぼ同じ事
を意味する)に応じて変化する声道系の最低次の共振周
波数が分析観測でき、それを以ってこの情報に代え得る
情報を得る事が出来る。最低次の共振周波数とは単純に
全長が(即ち口から声帯までの管路長が)1/4波長と
なるモードであり、また簡便にはヘルムホルツ共振器と
なるモードだと理解して良い。但し、ピッチに代用でき
る情報は他にも種々な方法ないし定義で入手出来、それ
らのどれを、またはどれどれを組み合わせて利用するか
は本発明の実施上の自由度の内に収まる。
【0014】 また囁き声においては、話者の“発声意
図”の開始点と終了点はかかる息の気流の成す雑音成分
の開始終了により判別する事が出来る。このためにはマ
イクロフォンを口のごく近くに持って行く事が好まし
い。また観測位置が口に十分近ければ、発声意図は極低
域まで応答のあるトランスデューサーを用いて呼気の気
流の成す直流圧力によっても検出可能である。通常のエ
レクトレットコンデンサマイクロフォンはアンプの側で
の電気的取扱いの配慮によりこの様な意味でのトランス
デューサーの役を果たさせる事は十分可能であるが、ダ
イナミックマイクロフォンは本質的に低域遮断特性を有
するのでこの意図に関しては困難な事が多い。
【0015】 囁き声においては、一方、無声子音は何
ら変りなく“受かる”。有声子音は、しかしながら、殆
どの場合対応する無声子音に縮退して“受かる”。この
意味では情報量が減っているが、面白い事に、聞くもの
の耳にとっては音声信号上の全ての有声子音を無声子音
に置き換えてしまっても文章の意味は殆ど支障なく理解
される。特に音声の伝送品質が悪かったり、実質的な背
景雑音が強かったりする場合にはこの性質は更に強調さ
れるように伺われる。この現象は、高度な文章内容の外
延推察系が聴く者の知能の上部で欠落ないし癒着した情
報を補っている物と推定され、伝送品質が悪い場合や背
景雑音が大なる場合にはこの様な高位のレベルの推察輔
弼の機能が更に強められる、即ち聞き間違いのない様に
注意力を集中するものと推察される。ただ特殊な、混同
し易い語の場合と、固有名詞の場合は重大な誤認問題を
引き起こす可能性がある。例えば文章朗読中の意図と緯
度ないし移動と以東はNative Japanese
にとってはすりかえられても前後の文意の脈絡関係から
まずもって間違う事はないと考えられるが、井戸さんと
糸さんは発音のアクセントや文意から見て苗字か個人名
かの区別を頼りにするしか弁別しようがない。
【0015】 しかしながらこの様に情報が縮退、癒着
していても囁き声の分析から一般的な会話の文章をコン
ピューター的に認識、抽出する事にさほどの困難はな
い。テキストが推定ないし復元されてしまえばそれを再
度コンピューター的に朗読させる事は容易である。朗読
結果は話者に聞いてもらって確認し、ないし必要ならば
言い直しの試行をしてもらえば、語句の段階での間違い
は更に少なくなり、また伝達したいメッセージの本質的
文意の段階では更に間違いは減らせる。
【0016】 しかしながら本発明の実施における囁き
声の有声音声への変換の作業においては、この様にして
テキスト認識まで行う事は必ずしも必要ではない、とい
う事が発明者の見解である。即ち、本発明の更に好まし
い実施例における信号処理のストーリーにおいては、上
記の種々の分析結果をかなり機械的に援用するだけで成
功裏に所期の品質の合成音声の合成を行う事が出来る。
【0017】 例えば最も単純には、採取された囁き声
の音声信号に、これまでのべた様にして人工的に発生さ
せたピッチパルスをフォルマントフィルタで処理して得
られたた合成母音信号をただ一方的にレベルを調整して
添加するだけでも、相応に通話能力のある合成音声信号
を得る事が出来る。
【0018】 一方、上記処理はまた囁き声のFFT分
析結果のスペクトラムを周波数ドメインで加工してiF
FTする事でも実施する事が出来る。囁き声の周波数ス
ペクトラムは多色的なピンクノイズ様の物であるが、こ
れを編集して、例えば周波数ドメインでピッチパルスの
周期に応じた櫛の歯フィルタを掛け合わせて線スペクト
ラム群に読み替えた後にiFFTするならば、有効に有
声音声に変換できる。
【0019】 一方、口の手前からその奥に向けて系全
体の音響的なインパルスレスポンスを能動的に計測でき
れば、息さえも出さずに口の格好をしゃべる真似をする
事だけでも、かかる合成会話音声を合成するに足りる情
報を入手する事が出来る。かかる能動計測はパルスエコ
ーシステムを成す如くマイクロフォンのみならずそれに
隣接してパルス送波器を設ける事で行う事が出来る。な
いしは、マイクロフォンが可逆変換機の場合はこれをス
ピーカーとしても逆用でき、送受波を1つのデバイスで
もって執り行う事が出来る。パルス駆動の他に擬似ラン
ダム信号(PN信号)による駆動と受信信号の相関処理
を以って等価代替ないし改良代替する事も出来る。PN
信号などにより連続的な送受信を行う時には送受信は別
々の変換器で行う必要があるが、主旨は同じである。こ
こではかかるパルスエコー方式の応答計測はごく汎用さ
れる技術である事から、詳細な例示と説明は省略する
が、かかる声道系の受動的なインパルスレスポンスの計
測からも、前記と殆ど同様な主旨でもって“有声発生す
れば観測せられたであろう”所のフォルマントおよびピ
ッチのデータに十分代替できるデータを得る事が出来
る。また子音の検出はかかるインパルスレスポンスの急
変ないし不連続として、識別はその急変のパターン化分
類で行う事が出来るので、前記と同様にして合成代用会
話音声を作る事が出来る。
【0020】 ただし、この様な“息さえ出さない、も
ぐもぐ”擬似会話動作において、観測しても得られない
情報が、発声の開始と終了の情報である。この情報の入
手に最も簡便確実で誤解が避けられる手法は、話者に別
な握りスイッチないし押しボタンスイッチを入れたり切
ったりさせる事である。
【0021】 以上の説明で明らかにされた如く、本発
明によれば携帯電話の使用者の会話音声が周囲に邪魔に
なる問題を本質的に解決する事が出来、有益である。
尚、本発明の主旨は声帯喪失者や呼吸器系虚弱者の代用
会話音声の実時間合成発声にも役立つ事は自明であり、
それも品発明の主旨目的に適いかつカバーされる物と解
釈すべきである。
【図面の簡単な説明】
【図1】は本発明の1つの好ましい実施例における構成
を示す模式図である。これにおいて、
【符号の説明】
(1)話者 (2)話者の口の開口部 (3)マイクロフォン (4)分析合成装置 (5)回線送出用アンプ (6)モニタ聴取用アンプ (7)イヤホン (8)通信回線 (41)マイクロフォンアンプ (42)分析系のDSP (43)合成系のDSP (44)マイクロコントローラー (45)手動入出力手段 (46)ソフトウエア
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G10L 9/10 301B

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 話者が故意に声帯を振動させないで語り
    掛ける行為を観測し、該観測情報に基づいて該話者が通
    常通り声帯を振動させていたら得られた筈の音声信号を
    近似的に合成し、これを電気的手段による通話の用に供
    するために通信回線を介して送出する如く構成された事
    を特徴とする、発声を必要としない音声通話装置。
  2. 【請求項2】 請求項1に記述された該装置において、
    該話者の口に近接して置かれるマイクロフォンを有し、
    該マイクロフォンにより話者の囁き声の音響信号を採取
    し、爾音響信号の分析結果から該話者が通常通り声帯を
    振動させていたら得られた筈であろう所の音声信号を近
    似的に合成し、該合成された音声信号を電気的手段によ
    る通話の用に供するために通信回線を介して送出する如
    く構成された事を特徴とする、発声を必要としない音声
    通話装置。
  3. 【請求項3】 請求項1に記述された該装置において、
    該話者の口に近接して置かれるマイクロフォンおよびス
    ピーカーを有し、該マイクロフォンおよびスピーカーに
    より該話者が故意に声帯を振動させないで語り掛ける場
    合における該話者の口の開口面から能動的に観測される
    声道系のインパルスレスポンスを観測し、爾して該観測
    されたインパルスレスポンスに基づいて該話者が通常通
    り声帯を振動させていたら得られた筈であろう所の音声
    信号を近似的に合成し、該合成された音声信号を電気的
    手段による通話の用に供するために通信回線を介して送
    出する如く構成された事を特徴とする、発声を必要とし
    ない音声通話装置。
JP11124685A 1999-03-26 1999-03-26 発声を必要としない音声通話装置 Pending JP2000276190A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11124685A JP2000276190A (ja) 1999-03-26 1999-03-26 発声を必要としない音声通話装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11124685A JP2000276190A (ja) 1999-03-26 1999-03-26 発声を必要としない音声通話装置

Publications (1)

Publication Number Publication Date
JP2000276190A true JP2000276190A (ja) 2000-10-06

Family

ID=14891553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11124685A Pending JP2000276190A (ja) 1999-03-26 1999-03-26 発声を必要としない音声通話装置

Country Status (1)

Country Link
JP (1) JP2000276190A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006079194A1 (en) * 2005-01-25 2006-08-03 Raja Singh Tuli Barely audible whisper transforming and transmitting electronic device
JP2007171637A (ja) * 2005-12-22 2007-07-05 Toshiba Tec Corp 音声処理装置
JP2012003162A (ja) * 2010-06-18 2012-01-05 Adtex:Kk 人工的に有声音を生成する方法および有声音生成装置
US8606735B2 (en) 2009-04-30 2013-12-10 Samsung Electronics Co., Ltd. Apparatus and method for predicting user's intention based on multimodal information
US9443536B2 (en) 2009-04-30 2016-09-13 Samsung Electronics Co., Ltd. Apparatus and method for detecting voice based on motion information

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006079194A1 (en) * 2005-01-25 2006-08-03 Raja Singh Tuli Barely audible whisper transforming and transmitting electronic device
JP2007171637A (ja) * 2005-12-22 2007-07-05 Toshiba Tec Corp 音声処理装置
US8606735B2 (en) 2009-04-30 2013-12-10 Samsung Electronics Co., Ltd. Apparatus and method for predicting user's intention based on multimodal information
US9443536B2 (en) 2009-04-30 2016-09-13 Samsung Electronics Co., Ltd. Apparatus and method for detecting voice based on motion information
JP2012003162A (ja) * 2010-06-18 2012-01-05 Adtex:Kk 人工的に有声音を生成する方法および有声音生成装置

Similar Documents

Publication Publication Date Title
Nakamura et al. Speaking-aid systems using GMM-based voice conversion for electrolaryngeal speech
KR100619215B1 (ko) 마이크로폰, 커뮤니케이션 인터페이스 시스템
US10475467B2 (en) Systems, methods and devices for intelligent speech recognition and processing
US20100131268A1 (en) Voice-estimation interface and communication system
JP4940414B2 (ja) 音声処理方法、音声処理プログラム、音声処理装置
Fuchs et al. The new bionic electro-larynx speech system
JP2009178783A (ja) コミュニケーションロボット及びその制御方法
US11455984B1 (en) Noise reduction in shared workspaces
Nakagiri et al. Improving body transmitted unvoiced speech with statistical voice conversion
Hawley et al. Speech technology for e-inclusion of people with physical disabilities and disordered speech.
JP2000276190A (ja) 発声を必要としない音声通話装置
JP4876245B2 (ja) 子音加工装置、音声情報伝達装置及び子音加工方法
Drager et al. Telephone communication: Synthetic and dysarthric speech intelligibility and listener preferences
JP4130443B2 (ja) マイクロフォン、信号処理装置、コミュニケーションインタフェースシステム、音声話者認証システム、nam音対応玩具装置
Fitzpatrick et al. The Effect of Seeing the Interlocutor on Speech Production in Different Noise Types.
Nakamura et al. The use of air-pressure sensor in electrolaryngeal speech enhancement based on statistical voice conversion
JPS5879400A (ja) 補聴器
JP7548304B2 (ja) 音声伝達補償装置、音声伝達補償方法、及びプログラム
JP2006119647A (ja) ささやき声を通常の有声音声に擬似的に変換する装置
Shikano A speech communication aid system for total laryngectomies using voice conversion of body transmitted artificial speech
JP7296214B2 (ja) 音声認識システム
Passos Transformation of whispering voice to pseudo-real voice for unvoiced telephony and communication aid for voice-handicapped persons
Jeyalakshmi et al. Development Of Speech Recognition System For Hearing Impaired In Native language
KR100542976B1 (ko) 음성신호의 발성변환처리에 의한 소프트사운드 헤드폰장치
WO2023171124A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040309