JP2012118464A - 音声処理装置、撮像装置、音声処理方法、及び音声処理プログラム - Google Patents

Abstract

【課題】雑音のスペクトルが変化した場合にも適切に雑音の除去を行う。
【解決手段】雑音含有スペクトル抽出部３０６は、雑音の発生タイミングにおける入力音声のスペクトルを取得することで、雑音含有スペクトルを抽出する。次に、雑音除去用スペクトル生成部３０８は、当該雑音含有スペクトルに基づいて雑音除去用スペクトルを生成する。次に、雑音除去部３１０は、雑音除去用スペクトルに基づいて、入力音声スペクトルから雑音成分を除去し、逆フーリエ変換部３１１は、雑音成分を除去したスペクトルを音声信号に変換する。
【選択図】図２

Description

本発明は、録音した音声に含まれる雑音を除去する音声処理装置、撮像装置、音声処理方法、及び音声処理プログラムに関するものである。

デジタルカメラ等の撮像装置を用いて撮像した動画像の音声には、撮像装置の機構音や動作音などの雑音が含まれる。このような雑音を除去するために、従来の撮像装置に搭載される音声処理装置は、予め機構音などの雑音のスペクトルを測定、保持しておき、撮像した動画像の音声のスペクトルから雑音のスペクトルを差し引くことで、当該撮影中に生じた雑音を軽減、消去している（例えば、特許文献１を参照）。

特開２００６−２７９１８５号公報

しかしながら、上述したように、予め保持した雑音のスペクトルに基づいて雑音の除去を行う場合、撮像装置に装着する光学系の交換、経年変化、環境変化等の要因により、予め保持した雑音のスペクトルと、実際に発生する雑音のスペクトルとにずれが生じるという問題があった。このようなずれが生じると、雑音を適切に除去することができず、さらに実際の雑音の周波数とは異なる周波数の音声を除去することになるために、背景音等の音声の劣化が生じる惧れがある。

本発明は上記の点に鑑みてなされたものであり、その目的は、雑音のスペクトルが変化した場合にも適切に雑音の除去を行うことができる音声処理装置、撮像装置、音声処理方法、及び音声処理プログラムを提供することにある。

本発明は上記の課題を解決するためになされたものであり、入力される音声信号より音声スペクトルを生成する生成手段と、前記音声信号中に含まれる雑音の発生タイミングを検出し、前記生成手段により生成された前記音声スペクトルより前記雑音に対応する部分のスペクトルである雑音含有スペクトルを抽出する抽出手段と、前記雑音含有スペクトルに基づいて前記雑音を除去するための雑音除去用スペクトルを生成し、前記雑音の発生タイミングにおける音声スペクトルから雑音を除去した音声スペクトルを生成する雑音除去手段と、前記雑音除去手段により生成された音声スペクトルより音声信号を生成し出力する出力手段とを備えることを特徴とする。

本発明によれば、雑音発生時の音声信号から雑音除去用スペクトルを生成するので、雑音のスペクトルが変化した場合にも適切に雑音の除去を行うことができる。

本発明の一実施形態による撮像装置の構成を示す概略ブロック図である。 本発明の第１の実施形態による音声処理部の構成を示す概略ブロック図である。 第１の実施形態による音声処理部の動作を示すフローチャートである。 本発明の第２の実施形態による音声処理部の構成を示す概略ブロック図である。 第２の実施形態による音声処理部の動作を示すフローチャートである。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の一実施形態による撮像装置の構成を示す概略ブロック図である。
撮像装置１は、操作部１０、光学系制御部２０、音声処理部３０、動画像処理部４０、マイク５０、動画像記憶部６０を備える。また、撮像装置１には、光学系２が着脱自由に取り付けられる。光学系２は、光学素子、当該光学素子を移動させるモータ、当該モータの制御を行うモータドライバ、ヘリコイド環の回転に応じてズーム位置を検出するズームエンコーダ等を備える。

撮像装置１の操作部１０は、図示しない録画開始ボタン、フォーカスボタン、ズームボタン等による入力を受け付け、当該入力を示す操作信号を光学系制御部２０、音声処理部３０、動画像処理部４０に入力する。
光学系制御部２０は、撮像装置１に装着された光学系２の識別情報を取得し、ズームやフォーカスなどの制御信号を光学系２のモータドライバに入力することで、光学系２の制御を行う。
音声処理部３０は、動画像の録画時における音声を録音し、動画像記憶部６０に登録する。なお、ここで「登録する」とは、記憶部に情報を記憶させることを意味する。以下、本明細書中で「登録する」という文言は、同様の意味として用いる。
動画像処理部４０は、動画像を録画し、動画像記憶部６０に登録する。
マイク５０は、外部の音声を集音し、音声処理部３０に入力する。

図２は、本発明の第１の実施形態による音声処理部の構成を示す概略ブロック図である。
音声処理部３０は、録音部３０１、フーリエ変換部３０２、入力音声スペクトル記憶部３０３、検出部３０４、検出時刻記憶部３０５、雑音含有スペクトル抽出部３０６、雑音含有スペクトル記憶部３０７、雑音除去用スペクトル生成部３０８、雑音除去用スペクトル記憶部３０９、雑音除去部３１０、逆フーリエ変換部３１１、雑音含有スペクトル削除部３１２を備える。

録音部３０１は、撮像装置１のマイク５０から入力される音声信号を受け付ける。
フーリエ変換部３０２は、録音部３０１が入力を受け付けた音声信号を所定のフレーム時間毎にフーリエ変換を行い、周波数毎のパワーを示す入力音声スペクトルに変換する。
入力音声スペクトル記憶部３０３は、フーリエ変換部３０２が変換した音声スペクトルを記憶する。

検出部３０４は、撮像装置１の操作部１０から入力される操作信号を受け付け、また、光学系制御部２０から光学系２の制御信号を受け付ける。検出部３０４は、操作信号または制御信号を検出すると、検出時刻記憶部３０５に当該時刻の情報及び検出した信号の種別の情報（例えば、フォーカス動作の制御信号、ズーム動作の制御信号、スイッチ押下による操作信号、ヘリコイド環の回転による操作信号など）を書き込む。また、検出部３０４は、操作信号または制御信号を検出したことを示す検出信号を雑音含有スペクトル抽出部３０６に出力する。

検出時刻記憶部３０５は、検出部３０４が操作信号または制御信号を検出した時刻と検出した信号の種別の情報とを対応付けて記憶する。
雑音含有スペクトル抽出部３０６は、検出部３０４から検出信号を取得した時刻においてフーリエ変換部３０２が生成した入力音声スペクトルを雑音含有スペクトルとして取得する。
雑音含有スペクトル記憶部３０７は、雑音含有スペクトル抽出部３０６が取得した雑音含有スペクトルを検出部３０４が検出した信号の種別の情報に対応付けて記憶する。

雑音除去用スペクトル生成部３０８は、雑音含有スペクトル記憶部３０７が記憶する雑音含有スペクトルに基づいて雑音除去用スペクトルを生成する。
雑音除去用スペクトル記憶部３０９は、雑音除去用スペクトルを信号の種別の情報毎に記憶する。なお、雑音除去用スペクトル記憶部３０９は、雑音除去用スペクトルを予め記憶し、雑音除去用スペクトル記憶部３０９が記憶する雑音除去用スペクトルは、雑音除去用スペクトル生成部３０８によって更新される。
雑音除去部３１０は、雑音除去用スペクトル記憶部３０９が記憶する雑音除去用スペクトルに基づいて、入力音声スペクトルから雑音を除去した音声スペクトルを出力する。
逆フーリエ変換部３１１は、雑音除去部３１０が雑音を除去した音声スペクトルを逆フーリエ変換して生成した音声信号を、撮像装置１の動画像記憶部６０に登録する。

このような構成を備えることで、撮像装置１の音声処理部３０において、フーリエ変換部３０２は、録音部３０１が録音した音声信号より入力音声スペクトルを生成する。次に、雑音含有スペクトル抽出部３０６が、検出部３０４が検出する雑音の発生タイミングにおいて、フーリエ変換部３０２が出力する入力音声スペクトルを雑音含有スペクトルとして抽出し、雑音除去用スペクトル生成部３０８は、雑音含有スペクトル抽出部３０６が抽出した雑音含有スペクトルに基づいて雑音除去用スペクトルを生成する。次に、雑音除去部３１０は、雑音除去用スペクトル生成部３０８が生成した雑音除去用スペクトルに基づいて、検出部３０４が検出する雑音の発生タイミングにおける入力音声スペクトルから雑音を除去した音声スペクトルを出力し、逆フーリエ変換部３１１は、雑音除去部３１０が生成した音声スペクトルより音声信号を生成する。
これにより、音声処理部３０は、雑音のスペクトルが変化した場合にも適切に雑音の除去を行う。

次に、第１の実施形態による音声処理部３０の動作を説明する。
図３は、第１の実施形態による音声処理部の動作を示すフローチャートである。
ユーザが録画開始ボタンを押下することなどにより、撮像装置１が録画動作を開始すると、音声処理部３０の録音部３０１は、マイク５０から入力される音声信号の録音を開始する（ステップＳ１）。次に、フーリエ変換部３０２は、録音部３０１が録音した音声信号を所定のフレーム時間（例えば１０ミリ秒）で音声信号をフーリエ変換することで、入力音声スペクトルを生成する（ステップＳ２）。フーリエ変換部３０２は、入力音声スペクトルを生成すると、生成した入力音声スペクトルを、入力音声スペクトル記憶部３０３に逐次蓄積させる（ステップＳ３）。

次に、検出部３０４は、操作部１０が出力する操作信号、または光学系制御部２０が出力する制御信号の有無を判定する（ステップＳ４）。これにより、検出部３０４は、操作によるモータ音等の雑音の発生を検出する。検出部３０４が、操作信号または制御信号を検出した時刻を検出したと判定した場合（ステップＳ４：ＹＥＳ）、すなわち、雑音が発生したと判定した場合、検出部３０４は、当該信号の検出時刻と当該信号の種別とを検出時刻記憶部３０５に登録する（ステップＳ５）。また、雑音が発生したと判定した場合、検出部３０４は、信号の種別の情報を含む検出信号を出力し、雑音含有スペクトル抽出部３０６は、当該検出信号を取得すると、フーリエ変換部３０２が生成した入力音声スペクトルを取得する（ステップＳ６）。次に、雑音含有スペクトル抽出部３０６は、取得した入力音声スペクトルを雑音含有スペクトルとして、検出信号に含まれる信号の種別の情報に対応付けて雑音含有スペクトル記憶部３０７に蓄積させる（ステップＳ７）。

ステップＳ４で、検出部３０４が操作信号及び制御信号を検出しなかったと判定した場合（ステップＳ４：ＮＯ）、または、ステップＳ７で雑音含有スペクトル抽出部３０６が雑音含有スペクトルを蓄積させた場合、検出部３０４は、操作部１０から録画終了ボタンの押下などによる、録画終了操作信号の有無を判定する（ステップＳ８）。検出部３０４が録画終了操作信号を検出しなかったと判定した場合（ステップＳ８：ＮＯ）、ステップＳ１に処理を戻し、録音動作を継続する。

他方、検出部３０４が録画終了操作信号を検出したと判定した場合（ステップＳ８：ＹＥＳ）、雑音除去用スペクトル生成部３０８は、信号の種別の情報毎に、雑音含有スペクトル記憶部３０７に蓄積された雑音含有スペクトルの各周波数の値の最小値を、各周波数の値とするスペクトルを生成する（ステップＳ９）。
ここで、雑音含有スペクトルの各周波数の値の最小値を各周波数の値とするスペクトルを生成する理由を説明する。雑音含有スペクトルは、マイク５０から入力される音声信号をフーリエ変換したものであるため、モータ音等の雑音のスペクトルと、背景音のスペクトルとが混在している。音声信号に含まれる音のうち、モータ音等の雑音の音量は大きく変わらないため、背景音の音量が小さいほど、音声信号の全体の音量に対する雑音の音量の比が高くなる。そこで、雑音含有スペクトルの各周波数の値の最小値を各周波数の値とすることで、雑音を含む割合が高いスペクトルを生成することができる。

雑音除去用スペクトル生成部３０８は、ステップＳ９で雑音を含む割合が高いスペクトルを生成すると、雑音除去用スペクトル記憶部３０９が予め記憶する雑音除去用スペクトルを取得する（ステップＳ１０）。次に、雑音除去用スペクトル生成部３０８は、信号の種別の情報毎に、ステップＳ９で生成したスペクトルと雑音除去用スペクトルとの平均値を示すスペクトルを生成する（ステップＳ１１）。雑音除去用スペクトル生成部３０８は、平均値を示すスペクトルを生成すると、当該スペクトルを雑音除去用スペクトルとして雑音除去用スペクトル記憶部３０９が記憶する雑音除去用スペクトルの更新を行う（ステップＳ１２）。これにより、予め記憶する雑音除去用スペクトルに基づいて、雑音の変化を加味した雑音除去用スペクトルを生成することができる。なお、ここで「更新する」とは、記憶部が記憶する過去の情報を新たな情報で上書きすることを意味する。以下、本明細書中で「更新する」という文言は、同様の意味として用いる。

雑音除去用スペクトル生成部３０８が雑音除去用スペクトルを登録すると、雑音除去部３１０及び逆フーリエ変換部３１１は、入力音声スペクトル記憶部３０３に蓄積された全ての入力音声スペクトルに対して以下のステップＳ１４〜ステップＳ１７の処理を実行する（ステップＳ１３）。
まず、雑音除去部３１０は、入力音声スペクトル記憶部３０３から入力音声スペクトルを取得し、当該入力音声スペクトルを生成した時刻が、検出時刻記憶部３０５に記憶されているか否かを判定する（ステップＳ１４）。これにより、当該入力音声スペクトルが雑音を含んでいるか否かを判定することができる。雑音除去部３１０が、入力音声スペクトルを生成した時刻が検出時刻記憶部３０５に記憶されていないと判定した場合（ステップＳ１４：ＮＯ）、逆フーリエ変換部３１１は、入力音声スペクトルを逆フーリエ変換することにより、音声信号を取得し、動画像記憶部６０に登録する（ステップＳ１５）。

他方、ステップＳ１４で、雑音除去部３１０が、入力音声スペクトルを生成した時刻が検出時刻記憶部３０５に記憶されていると判定した場合（ステップＳ１４：ＹＥＳ）、雑音除去部３１０は、まず検出時刻記憶部３０５が当該時刻に対応付けて記憶する信号の種別の情報を取得する。次に、雑音除去部３１０は、雑音除去用スペクトル記憶部３０９から当該信号の種別の情報に対応する雑音除去用スペクトルを取得する。次に、雑音除去部３１０は、入力音声スペクトルから、取得した雑音除去用スペクトルに所定の係数（例えば、２〜４の値を用いると良い）を乗じた信号を減算したスペクトルを、音声スペクトルとして取得する（ステップＳ１６）。これにより、入力音声スペクトルに含まれる雑音の成分を除去した音声スペクトルを得ることができる。雑音除去部３１０が音声スペクトルを取得すると、逆フーリエ変換部３１１は、音声スペクトルを逆フーリエ変換することにより、音声信号を取得し、動画像記憶部６０に登録する（ステップＳ１７）。

雑音除去部３１０及び逆フーリエ変換部が、入力音声スペクトル記憶部３０３に蓄積された全ての入力音声スペクトルに対して以下のステップＳ１４〜ステップＳ１７の処理を実行すると、音声処理部３０は処理を終了する。
また、この処理を終了した後に再度録画を開始する際に、光学系制御部２０が、撮像装置に装着された光学系２が交換されたことを検出すると、雑音含有スペクトル削除部３１２は、雑音含有スペクトル記憶部３０７が記憶する雑音含有スペクトルを削除する。これは、光学系２の種類によって雑音のスペクトルが変わるため、交換前の光学系２による雑音含有スペクトルの影響で、光学系２の交換後に生成する雑音除去用スペクトルの精度が悪化することを防ぐためである。なお、光学系制御部２０による光学系２の交換の検出は、例えば、光学系制御部２０が光学系２の識別情報を取得し、取得した識別番号が、前回の録画時と同じ識別番号の光学系であるか否かを判定することで行うことができる。

このように、本実施形態によれば、雑音含有スペクトル抽出部３０６は、雑音の発生タイミングにおける入力音声スペクトルを取得することで、雑音含有スペクトルを抽出し、雑音除去用スペクトル生成部３０８は、当該雑音含有スペクトルに基づいて雑音除去用スペクトルを生成する。これにより、音声処理部３０は、動画の録画時における雑音のスペクトルを取得することができるため、雑音のスペクトルが変化した場合にも適切に雑音の除去を行うことができる。

さらに、本発明によれば、雑音含有スペクトル抽出部３０６が雑音含有スペクトルを雑音含有スペクトル記憶部３０７に蓄積させ、雑音除去用スペクトル生成部３０８が複数の雑音含有スペクトルの最小値に基づいて雑音除去用スペクトルを生成する。これにより、音声処理部３０は、雑音除去用スペクトルに含まれる背景音の割合を低くさせることができる。

さらに、本発明によれば、雑音除去用スペクトル記憶部３０９は、予め雑音除去用スペクトルを記憶し、雑音除去用スペクトル生成部３０８が雑音含有スペクトルに基づいて当該雑音除去用スペクトルを更新する。これにより、予め記憶する雑音除去用スペクトルを、雑音の変化を加味した雑音除去用スペクトルに更新することができる。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、検出時刻記憶部３０５が、検出部３０４が信号を検出した時刻を記憶する場合を説明したが、これに限られず、例えば、撮像装置１及び光学系２の動作を示す動作データを記憶しても良い。この場合、雑音除去部３１０は、検出時刻記憶部３０５が記憶する動作データにおいて、撮像装置１または光学系２が動作している時刻に対応する入力音声スペクトルに対して、ステップＳ１６による減算処理を行う。

なお、本実施形態では、光学系２が交換された後に再度録画を開始する場合に、雑音含有スペクトル削除部３１２が、雑音含有スペクトル記憶部３０７が記憶する雑音含有スペクトルを削除する例を示したが、これに限られない。例えば、雑音含有スペクトル削除部３１２を備えず、雑音含有スペクトル抽出部３０６が、雑音含有スペクトルを光学系２の識別情報に対応付けて雑音含有スペクトル記憶部３０７に登録し、雑音除去用スペクトル生成部３０８が、光学系２の識別番号に対応付けて雑音含有スペクトル記憶部３０７が記憶する雑音含有スペクトルに基づいて雑音除去用スペクトルを生成しても良い。これにより、交換前の光学系２による雑音含有スペクトルの影響で、光学系２の交換後に生成する雑音除去用スペクトルの精度が悪化することを防ぐことができ、さらに、再度同じ光学系２に交換された場合に、前回同一の光学系を装着した際に記録した雑音含有スペクトルに基づいて新たな雑音除去用スペクトルを生成することができる。

さらに、雑音除去用スペクトル生成部３０８が、雑音除去用スペクトルを光学系２の識別情報に対応付けて雑音除去用スペクトル記憶部３０９に登録し、雑音除去部３１０が、光学系２の識別番号に対応付けて雑音含有スペクトル記憶部３０７が記憶する雑音除去用スペクトルに基づいて雑音除去処理を行っても良い。これにより、再度同じ光学系２に交換された場合に、前回同一の光学系を装着した際に生成した雑音除去用スペクトルに基づいて雑音除去用スペクトルの更新処理を行うことができる。

また、本実施形態では、検出部３０４が信号を検出した時に、雑音含有スペクトル抽出部３０６がフーリエ変換部３０２から入力音声スペクトルを取得する場合を説明したが、これに限られず、録画終了後に、雑音含有スペクトル抽出部３０６が、検出時刻記憶部３０５が記憶する検出時刻に基づいて雑音発生時の入力音声スペクトルを抽出しても良い。

また、本実施形態では、雑音除去用スペクトル生成部３０８が、複数の雑音含有スペクトルの最小値に基づいて雑音除去用スペクトルを生成する場合を説明したが、例えば、最頻値や、中央値などの他の統計量に基づいて雑音除去用スペクトルを生成しても良い。その理由を以下に説明する。
録音部３０１が録音した入力音声に含まれる背景音が、雑音の逆位相となる場合、雑音のみのスペクトルより、逆位相で打ち消された入力音声のスペクトルのほうが、ある周波数の値が小さくなることがある。そのため、周波数の値が最小値となるスペクトルは、必ずしも雑音の含有率が高いとは言えない。このような場合を鑑みると、最小値に基づいて雑音除去用スペクトルを生成せずに、中央値や最頻値など、ノイズ成分に影響されない統計量を選択する利点がある。

また、本実施形態では、雑音除去部３１０が、入力音声スペクトルから、雑音除去用スペクトルに所定の係数を乗じた信号を減算することで、入力音声スペクトルに含まれる雑音の成分を除去する場合を説明したが、これに限られず、入力音声スペクトルのうち、雑音除去用スペクトルに所定の係数を乗じた信号の各周波数の値より、値が小さい周波数部分を除去することで、入力音声スペクトルに含まれる雑音の成分を除去しても良い。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図４は、本発明の第２の実施形態による音声処理部の構成を示す概略ブロック図である。
第２の実施形態による音声処理部３０は、第１の実施形態による音声処理部３０から、検出時刻記憶部３０５、雑音含有スペクトル記憶部３０７、雑音除去用スペクトル記憶部３０９、雑音含有スペクトル削除部３１２を除き、背景音スペクトル抽出部３１３を備える構成とする。
背景音スペクトル抽出部３１３は、検出部３０４が操作信号または制御信号を検出した時刻の前、または操作が終了した時刻の後において、フーリエ変換部３０２が生成した入力音声スペクトルを雑音含有スペクトルとして取得する。

ここで、操作信号または制御信号を検出した時刻の前に生成された入力音声スペクトルとは、ユーザの操作による操作音が発生した時刻より前の時刻に生成された入力音声スペクトルを示し、例えば、検出部３０４が検出信号を出力した時刻の１フレーム時間前に生成された入力音声スペクトルを用いるとよい。
また、操作が終了した時刻の後に生成された入力音声スペクトルとは、ユーザの操作や光学系２の制御等（モータの駆動）による操作音の発生が終了した時刻より後の時刻に生成された入力音声スペクトルを示し、例えば、検出部３０４が出力する検出信号がオフとなった時刻の１フレーム時間後に生成された入力音声スペクトルを用いるとよい。

図５は、第２の実施形態による音声処理部の動作を示すフローチャートである。
ユーザが録画開始ボタンを押下することなどにより、撮像装置１が録画動作を開始すると、音声処理部３０の録音部３０１は、マイク５０から入力される音声信号の録音を開始する（ステップＳ２１）。次に、フーリエ変換部３０２は、録音部３０１が録音した音声信号を所定のフレーム時間で音声信号をフーリエ変換することで、入力音声スペクトルを生成する（ステップＳ２２）。フーリエ変換部３０２は、入力音声スペクトルを生成すると、生成した入力音声スペクトルを、入力音声スペクトル記憶部３０３に登録する（ステップＳ２３）。

次に、検出部３０４は、操作部１０が出力する操作信号、または光学系制御部２０が出力する制御信号の有無を判定する（ステップＳ２４）。検出部３０４が、操作信号及び制御信号を検出していないと判定した場合（ステップＳ２４：ＮＯ）、逆フーリエ変換部３１１は、入力音声スペクトルを逆フーリエ変換することにより、音声信号を取得し、動画像記憶部６０に登録する（ステップＳ２５）。

他方、ステップＳ２４で、検出部３０４が、操作信号または制御信号を検出していると判定した場合（ステップＳ２４：ＹＥＳ）、雑音含有スペクトル抽出部３０６は、雑音含有スペクトルとして、操作信号または制御信号を検出した時刻にフーリエ変換部３０２が生成した入力音声スペクトルを取得する（ステップＳ２６）。次に、背景音スペクトル抽出部３１３は、入力音声スペクトル記憶部３０３から、操作信号または制御信号を検出した時刻の直前の入力音声スペクトルを取得し、また、フーリエ変換部３０２から、操作が終了した時刻に出力した入力音声スペクトルを取得する（ステップＳ２７）。すなわち、雑音含有スペクトルの前後に出力された入力音声スペクトルを取得する。当該入力音声スペクトルは、雑音の発生前後の音声のスペクトルであるため、雑音が含まれていない。

次に、背景音スペクトル抽出部３１３は、操作信号または制御信号を検出した時刻の直前の入力音声スペクトルと、操作が終了した時刻に出力した入力音声スペクトルとの平均となるスペクトルを、背景音スペクトルとして生成する（ステップＳ２８）。背景音スペクトル抽出部３１３が、背景音スペクトルを生成すると、雑音除去用スペクトル生成部３０８は、雑音含有スペクトル抽出部が出力する雑音含有スペクトルから、背景音スペクトル抽出部が出力する背景音スペクトルを減算することで、雑音除去用スペクトルを生成する（ステップＳ２９）。

ここで、ステップＳ２９の計算によって雑音除去用スペクトルを生成することができる理由を説明する。入力音声スペクトルをサンプリングするフレーム時間が十分に短い場合、雑音除去用スペクトルに含まれる背景音のスペクトルは、雑音発生前後の音声スペクトルに近似することになる。そのため、雑音除去用スペクトルから背景音スペクトルを減算することで、雑音のスペクトルを抽出することができる。

ステップＳ２９で、雑音除去用スペクトル生成部３０８が雑音除去用スペクトルを生成すると、雑音除去部３１０は、フーリエ変換部３０２が生成した入力音声スペクトルから、雑音除去用スペクトル生成部３０８が生成した雑音除去用スペクトルに所定の係数を乗じた信号を減算したスペクトルを、音声スペクトルとして取得する（ステップＳ３０）。雑音除去部３１０が音声スペクトルを取得すると、逆フーリエ変換部３１１は、音声スペクトルを逆フーリエ変換することにより、音声信号を取得し、動画像記憶部６０に登録する（ステップＳ３１）。

ステップＳ２５またはステップＳ３１で逆フーリエ変換部３１１が音声信号を動画像記憶部６０に登録すると、検出部３０４は、操作部１０から録画終了ボタンの押下などによる、録画終了操作信号の有無を判定する（ステップＳ３２）。検出部３０４が、録画終了操作信号を検出しない場合（ステップＳ３２：ＮＯ）、ステップＳ２１に戻り、録音を継続する。他方、検出部３０４が、録画終了操作信号を検出した場合（ステップＳ３２：ＹＥＳ）、音声処理部３０は、処理を終了する。

このように、本実施形態によれば、背景音スペクトル抽出部３１３が、雑音含有スペクトルの抽出位置の直前及び直後の入力音声スペクトルを背景音スペクトルとして抽出し、雑音除去用スペクトル生成部３０８が、雑音含有スペクトルから、背景音スペクトルを減算することにより、雑音除去用スペクトルを生成する。これにより、雑音除去用スペクトル生成部３０８は、雑音の含有量の高い雑音除去用スペクトルを得ることができるため、雑音除去部３１０は、より適切に雑音の除去を行うことができる。

また、本実施形態では、録音中に逐次雑音除去処理を行うため、入力音声スペクトル記憶部３０３は、録音した全ての入力音声スペクトルを蓄積する必要が無い。これにより、第１の実施形態より音声処理部３０のメモリの消費量を削減することができる。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、本実施形態では、録音中に逐次雑音除去処理を行う場合を説明したが、これに限られず、例えば第１の実施形態のように、録音終了後にまとめて雑音除去処理を行っても良い。

なお、本実施形態では、雑音含有スペクトル記憶部３０７を備えず、雑音を検出する毎に雑音除去用スペクトルを新たに生成する場合を説明したが、これに限られず、例えば、第１の実施形態のように、雑音含有スペクトル記憶部３０７を備え、上述した雑音除去用スペクトルを複数登録し、雑音除去用スペクトル生成部３０８が、雑音含有スペクトル記憶部３０７に蓄積された複数の雑音除去用スペクトルの平均となるスペクトルを、雑音除去用スペクトルとして出力することで、より雑音除去の精度を高めるようにしても良い。

また、本実施形態では、背景音スペクトル抽出部３１３が、雑音含有スペクトルの抽出位置の直前及び直後の入力音声スペクトルを抽出し、その平均となるスペクトルを背景音スペクトルとする場合を説明したが、これに限られず、例えば、雑音含有スペクトルの抽出位置の直前または直後の入力音声スペクトルの何れか一方を背景音スペクトルとしても良い。

上述の音声処理部３０は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１…撮像装置 ２…光学系 ３０…音声処理部 ３０２…フーリエ変換部 ３０６…雑音含有スペクトル抽出部 ３０７…雑音含有スペクトル記憶部 ３０８…雑音除去用スペクトル生成部 ３１０…雑音除去部 ３１１…逆フーリエ変換部 ３１２…雑音含有スペクトル削除部 ３１３…背景音スペクトル抽出部

Claims (12)

1. 入力される音声信号より音声スペクトルを生成する生成手段と、
   前記音声信号中に含まれる雑音の発生タイミングを検出し、前記生成手段により生成された前記音声スペクトルより前記雑音に対応する部分のスペクトルである雑音含有スペクトルを抽出する抽出手段と、
   前記雑音含有スペクトルに基づいて前記雑音を除去するための雑音除去用スペクトルを生成し、前記雑音の発生タイミングにおける音声スペクトルから雑音を除去した音声スペクトルを生成する雑音除去手段と、
   前記雑音除去手段により生成された音声スペクトルより音声信号を生成し出力する出力手段と
   を備えることを特徴とする音声処理装置。
2. 請求項１に記載の音声処理装置において、
   前記抽出手段が前記雑音含有スペクトルを抽出する毎に当該雑音含有スペクトルを雑音含有スペクトル記憶手段に蓄積させる登録手段を更に備え、
   前記雑音除去手段は、
   前記雑音含有スペクトル記憶手段に蓄積された複数の雑音含有スペクトルの各周波数の値の統計量を各周波数の値とすることにより前記雑音除去用スペクトルを生成し、前記雑音の発生タイミングにおける音声スペクトルから雑音を除去した音声スペクトルを生成する、
   ことを特徴とする音声処理装置。
3. 請求項１または請求項２の何れか１項に記載の音声処理装置において、
   前記雑音含有スペクトルの抽出位置の前または後に前記生成手段が生成する音声スペクトルを、雑音を含まない部分のスペクトルである背景音スペクトルとして抽出する背景音スペクトル抽出手段を更に備え、
   前記雑音除去手段は、
   前記雑音含有スペクトルから、前記背景音スペクトル抽出手段が抽出した背景音スペクトルを減算することにより、前記雑音除去用スペクトルを生成し、前記雑音の発生タイミングにおける音声スペクトルから雑音を除去した音声スペクトルを生成する、
   ことを特徴とする音声処理装置。
4. 請求項１から請求項３の何れか１項に記載の音声処理装置において、
   予め前記雑音除去用スペクトルを記憶する雑音除去用スペクトル記憶手段を更に備え、
   前記雑音除去手段は、
   前記抽出手段が前記雑音含有スペクトルを抽出する毎に、当該雑音含有スペクトルに基づいて前記雑音除去用スペクトル記憶手段が記憶する雑音除去用スペクトルを更新することにより、雑音除去用スペクトルを生成し、前記雑音の発生タイミングにおける音声スペクトルから雑音を除去した音声スペクトルを生成する、
   ことを特徴とする音声処理装置。
5. 請求項１から請求項４の何れか１項に記載の音声処理装置において、
   前記雑音除去手段は、
   前記雑音含有スペクトルに基づいて前記雑音除去用スペクトルを生成し、前記雑音の発生タイミングにおける音声スペクトルから、前記雑音除去用スペクトルに所定の係数を乗じた信号を減算することで雑音を除去した音声スペクトルを生成する、
   ことを特徴とする音声処理装置。
6. 請求項１から請求項４の何れか１項に記載の音声処理装置において、
   前記雑音除去手段は、
   前記雑音含有スペクトルに基づいて前記雑音除去用スペクトルを生成し、前記雑音の発生タイミングにおける音声スペクトルのうち、前記雑音除去用スペクトルに所定の係数を乗じた信号の各周波数の値より、値が小さい周波数部分を除去することで雑音を除去した音声スペクトルを生成する、
   ことを特徴とする音声処理装置。
7. 請求項１から請求項６の何れか１項に記載の音声処理装置を備えることを特徴とする撮像装置。
8. 請求項７に記載の撮像装置において、
   前記音声処理装置は、光学系の識別情報に対応付けて、当該光学系が発生させる雑音の前記雑音除去用スペクトルを雑音除去用スペクトル記憶手段に登録する雑音除去用スペクトル登録手段を更に備え、
   前記音声処理装置の雑音除去手段は、装着している光学系の識別情報に対応付けて前記雑音除去用スペクトル記憶手段が記憶する雑音除去用スペクトルに基づいて雑音を除去した音声スペクトルを出力する、
   ことを特徴とする撮像装置。
9. 請求項２に記載の音声処理装置を備える撮像装置において、
   前記音声処理装置は、光学系が交換されたときに、前記音声処理装置の雑音含有スペクトル記憶手段が記憶する前記雑音含有スペクトルを削除する雑音含有スペクトル削除手段を備える、
   ことを特徴とする撮像装置。
10. 請求項２に記載の音声処理装置を備える撮像装置において、
    前記音声処理装置の登録手段は、
    光学系の識別情報に対応付けて、当該光学系が発生させる雑音の前記雑音含有スペクトルを前記雑音含有スペクトル記憶手段に登録し、
    前記音声処理装置の雑音除去手段は、装着している光学系の識別情報に対応付けて前記雑音含有スペクトル記憶手段が記憶する雑音含有スペクトルに基づいて前記雑音除去用スペクトルを生成し、前記雑音の発生タイミングにおける音声スペクトルから雑音を除去した音声スペクトルを生成する、
    ことを特徴とする撮像装置。
11. 入力される音声信号より音声スペクトルを生成し、
    前記音声信号中に含まれる雑音の発生タイミングを検出し、
    生成された前記音声スペクトルより前記雑音に対応する部分のスペクトルである雑音含有スペクトルを抽出し、
    前記雑音含有スペクトルに基づいて前記雑音を除去するための雑音除去用スペクトルを生成し、
    前記雑音の発生タイミングにおける音声スペクトルから雑音を除去した音声スペクトルを生成し、
    雑音を除去した音声スペクトルより音声信号を生成し出力する
    ことを特徴とする音声処理方法。
12. コンピュータに、
    入力される音声信号より音声スペクトルを生成するステップと、
    前記音声信号中に含まれる雑音の発生タイミングを検出するステップと、
    生成された前記音声スペクトルより前記雑音に対応する部分のスペクトルである雑音含有スペクトルを抽出するステップと、
    前記雑音含有スペクトルに基づいて前記雑音を除去するための雑音除去用スペクトルを生成するステップと、
    前記雑音の発生タイミングにおける音声スペクトルから雑音を除去した音声スペクトルを生成するステップと、
    雑音を除去した音声スペクトルより音声信号を生成し出力するするステップと、
    を実行させる音声処理プログラム。

Images