JP2017005356A - オーディオ信号を処理する方法及び補聴器システム - Google Patents

Abstract

【課題】複数の話者が居る中でターゲット話者に集中するように補助することができるオーディオ信号を処理する方法及び補聴器システムを提供する。【解決手段】補聴器システム２は画像取り込みモジュール４、収音モジュール５、プロセッサ６及び音声出力装置７を備えている。装着具３は一対のレンズ３１０を保持しているフロントサポーター３１とユーザーの耳に掛けて支持されるサイドサポーター３２とから構成されたメガネ枠機構を有し、画像取り込みモジュール４がフロントサポーター３１に、収音モジュール５、プロセッサ６及び音声出力装置７がサイドサポーター３２にそれぞれ取り付けられている。プロセッサ６は、画像取り込みモジュール４によって取得された補聴器システム２の周りの画像４０をタッチディスプレイ８１に映すように外付け電子装置８と通信できる。【選択図】図１

Description

本発明は、オーディオ信号を処理する方法及び補聴器システムに関し、特には、画像情報及び音声情報を用いて集音するオーディオ信号を処理する方法及び補聴器システムに関する。

カクテルパーティー効果（cocktail party effect）とは、カクテルパーティーのようにたくさんの人がそれぞれに雑談している中でも、自分が興味のある人の発話を聞き取ることができるように、音声を選択的に聞き取ることができることを指す。これは、一般に人の聴覚系が音源の位置を限定し、該音源の位置から音声情報を抽出することができるようになっていることによる。このように、騒々しい環境でも、特定の相手に集中することによって簡単にターゲット話者と会話することが可能である。

しかし、聴覚障害を有する人によっては、一般の人よりも可聴値（threshold of hearing）が高く、音源の位置を特定することができないため、カクテルパーティー効果が得られない。また、片方の耳だけが不自由な場合でもうまくカクテルパーティー効果を得ることができない。

書名：Ｄｉｇｉｔａｌ Ｈｅａｒｉｎｇ Ａｉｄｓ、出版社：Ｔｈｉｅｍｅ Ｍｅｄｉｃａｌ Ｐｕｂｌｉｓｈｅｒｓ， ＩＮＣ．、著者：Ａｒｔｈｕｒ Ｓｃｈａｕｂ、出版日：２００８年６月１６日、ＩＳＢＮ：９７８−１−６０４０６−００６−５

従来の補聴器システムには、音源の位置を特定することにより、聴覚障害者の聞き取りを補助するものもある。このような補聴器システムは、ユーザーの前方からの音声情報を抽出し、抽出された音声情報を処理し、信号対ノイズ比（ＳＮＲ）を上げるように構成されている。聴覚障害のあるユーザーは、補聴器システムによって、騒々しい環境でも、前方に居る話者の声がよく聞き取れるようになるが、ユーザーの前方に複数の人が居る場合、従来の補聴器システムは、ユーザーのターゲット話者がだれであるかを特定することができない。

本発明は、複数の話者が居る場合でもユーザーがターゲット話者の声を集中して聞くことができるように補助することができるオーディオ信号を処理する方法及び補聴器システムを提供することを目的とする。

上記目的を達成するために、一の観点によれば、
本発明に係るオーディオ信号を処理する方法は、画像取り込みモジュールと収音モジュールとプロセッサとを備えている補聴器システムを用いて実行される方法であって、前記収音モジュールを用いて、前記補聴器システムの周囲の音声情報を集める、ステップ（ａ）と、前記画像取り込みモジュールを用いて、前記補聴器システムの周囲の画像を取得する、ステップ（ｂ）と、前記プロセッサを用いて、前記収音モジュールによって集められた前記音声情報に指向性信号処理操作を実行し、前記画像取り込みモジュールによって取得された前記画像におけるターゲット対象物の位置に関連するエリアからの抽出されたボイス信号を含む出力オーディオ信号を生成する、ステップ（ｃ）と、前記出力オーディオ信号を出力する、ステップ（ｄ）と、を有することを特徴とする。

また、他の観点によれば、本発明に係る補聴器システムは、聴覚障害者の聞き取りを補助する補聴器システムであって、前記補聴器システムの周囲の音声情報を集める、収音モジュールと、前記補聴器システムの周囲の画像を取り入れる、画像取り込みモジュールと、前記収音モジュール及び前記画像取り込みモジュールと連結され、前記収音モジュールによって集められた前記音声情報に対して指向性信号処理操作を施し、出力オーディオ信号を生成する音声処理モジュールを有し、前記出力オーディオ信号は、前記画像取り込みモジュールによって取得された画像におけるターゲット対象物の位置に関連するエリアからの抽出されたボイス信号を含む、プロセッサと、前記プロセッサと連結され、前記出力オーディオ信号を出力する、音声出力装置と、を備えていることを特徴とする。

本発明に係るオーディオ信号を処理する方法及び補聴器システムによって、ユーザーは、騒々しい環境、又は、ユーザーの前方に複数の人が居る場合でも、ターゲット話者を特定してそのターゲット話者の声がよく聞き取れるようになる。

本発明に係る補聴器システムの一つの実施形態を実施する一例を概略的に示す斜視図である。 本発明に係る補聴器システムの構成を概略的に示すブロック図である。 本発明に係るオーディオ信号を処理する方法のフローチャートを示す図である。 画像取り込みモジュールによって取り入れられた補聴器システムの周囲の画像を示す図である。 三つの識別された人顔対象物及び人顔対象物それぞれの参照軸に対するインクルーデッドアングルθ１、θ２、θ３を示す図である。

以下添付図面に従って本発明に係る補聴器システムの一つの好ましい実施の形態について詳説する。
（実施形態）

図１は、本発明に係る補聴器システムの一つの実施形態を概略的に示す斜視図である。図示の如く、この実施形態に係る補聴器システム２は、眼鏡等の装着具３によってユーザーに装着可能に構成することができる。

該実施形態に係る補聴器システム２は、図２に示されているように、画像取り込みモジュール４、収音モジュール５、プロセッサ６及び音声出力装置７等の電子部品を備えている。補聴器システム２に備えている電子部品が装着具３に取り付けられている。

装着具３は、画像取り込みモジュール４が取り付けられる横長のフロントサポーター３１と、ユーザーの耳に掛けて支持されるようにフロントサポーター３１の両側にそれぞれ連結されているサイドサポーター３２、３２とから構成された枠機構を備えている。装着具３は、この実施形態では、フロントサポーター３１とするレンズ枠を有する眼鏡フレームと、サイドサポーター３２、３２とする一対のテンプルとを備えてメガネのように構成され、フロントサポーター３１は一対のレンズ３１０、３１０を保持可能に構成されている。

画像取り込みモジュール４は、図４に示されているように、補聴器システム２の周りの画像４０を取り込むように構成され、複数の画像４０を取り込み可能に一対のレンズ３１０、３１０の間に取り付けられたカメラ部を有する。

収音モジュール５は、１例としては、複数のマイクロホン５１を含むマイクロホンアレイを有する。複数のマイクロホン５１は、補聴器システム２の周囲の情報を集めるようにフロントサポーター３１とサイドサポーター３２、３２に取り付けられている。なお、マイクロホン５１は、さまざまな指向性、例えば全方向性、単一指向性又はそれらの混合型の指向性を備えたものが用いられることが可能であることに留意されたい。

プロセッサ６は、画像取り込みモジュール４及び収音モジュール５と連結されるようにサイドサポーター３２、３２のいずれかに取り付けられ、図２に示されているように、画像分析モジュール６１と音声処理モジュール６２とを有する。

画像分析モジュール６１は、画像取り込みモジュール４によって取り込まれた画像４０における人の顔の存在（図４参照）を人顔対象物４０１として識別するように構成されている。画像分析モジュール６１はまた、人顔対象物４０１のそれぞれに関連する対象物情報を定めると共に、人顔対象物４０１の対象物情報に基づいて人顔対象物４０１のそれぞれを識別するように尤度分類を定める。なお、ここでいう尤度とは、人顔対象物４０１のそれぞれに応じて、識別された人顔対象物４０１に関連する人がターゲット話者である可能性を示す尤度であり、以下に詳説するように、尤度の高低によって分類する。

画像分析モジュール６１によって定められた対象物情報は、この実施形態では、識別された人顔対象物４０１に関連する、補聴器システム２に対する相対深度情報と相対方向情報とを含む。この実施形態では、相対方向情報とは、画像４０における参照軸４０２と画像４０における識別された人顔対象物４０１との位置の間の角度（インクルーデッドアングル）を示す。参照軸４０２とは、図１に示されているように一対のレンズ３１０間のフロントサポーター３１に配置された画像取り込みモジュール４の軸を意味する。相対方向情報はまた、画像４０において識別された人顔対象物４０１のターン（顔の向き）による角度をも示す。

画像分析モジュール６１は、上述の対象物情報を得るために、図２に示されているように、深度分析ユニット６１１と、角度分析ユニット６１２と、ターン分析ユニット６１３と、尤度分類器６１４と、唇動き検出ユニット６１５とを有する。

深度分析ユニット６１１は、画像４０における識別された人顔対象物４０１それぞれの補聴器システム２に対する相対深度を定めるように構成されている。より詳しく説明すると、深度分析ユニット６１１は、識別された人顔対象物４０１のサイズと識別された人顔対象物４０１の相対深度の関係に関連する情報を含むデータベースを有する。１例としては、深度分析ユニット６１１は、例えば、画像４０におけるそれぞれの識別された人顔対象物４０１の領域を算出することによって、それぞれの識別された人顔対象物４０１のサイズを得るように構成される。その後、深度分析ユニット６１１は、該データベースを参照することで、画像４０におけるそれぞれの識別された人顔対象物４０１の相対深度を定めるように構成される。なお、この実施形態では、深度分析ユニット６１１を用いて相対深度を定めるが、他の実施形態としては深度分析ユニット６１１以外の構成を用いてもよいことに留意されたい。

角度分析ユニット６１２は、図５に示されているように、画像取り込みモジュール４の一つの軸を表す画像４０における参照軸４０２と画像４０における識別された人顔対象物４０１の位置との間に形成されたインクルーデッドアングルを定めるように構成されている。

画像取り込みモジュール４は、この実施形態において一対のレンズ３１０の間に取り付けられているので、参照軸４０２は、装着具３を掛けているユーザーの視野内の線を示す。

図５は、三つの識別された人顔対象物４０１及び参照軸４０２に対する各人顔対象物４０１それぞれのインクルーデッドアングルθ１、θ２、θ３を示している。画像分析モジュール６１は、識別された人顔対象物４０１それぞれの相対深度及びインクルーデッドアングルを使って、識別された人顔対象物４０１の補聴器システム２に対する相対位置を得ることができる。なお、この実施形態では、画像分析モジュール６１を用いて人顔対象物４０１の相対位置を定めるが、他の実施形態としては画像分析モジュール６１以外の構成を用いてもよいことに留意されたい。

ターン分析ユニット６１３は、画像４０において識別された人顔対象物４０１の曲がった角度、つまり、装着具３を掛けたユーザーから見た場合に人顔対象物４０１が正面を向いている場合を基準として人顔対象物４０１の顔の向きがその基準から曲がった（ターンした）角度を定めるように構成されている。

尤度分類器６１４は、識別された人顔対象物４０１に関連する対象物情報に基づいて、識別された人顔対象物４０１それぞれの尤度分類を定めるように構成されている。なお、画像分析モジュール６１によって定められた識別された人顔対象物４０１に関連する対象物情報は、相対深度情報と相対方向情報とを含む。

この実施形態では、異なる相対深度には異なる重みが予め定められ、異なる相対方向には異なる重みが予め定められ、識別された人顔４０１それぞれの尤度分類は、それぞれの相対深度情報及び相対方向情報に関連する重みに応じて、尤度分類器６１４によって予め定められる。

一般的には、人との距離に関して、パーソナルスペースという近接学研究の用語があり、人と人の間の距離は、夫婦、恋人、親子、親友の間等０.５ｍ以内の密接距離、相手の表情が読み取れ且つ相手に手が届くる０.５ｍ〜１.５ｍ以内の個体距離、例えば会議等の相手に手は届きづらいが容易に会話ができる１.５〜３ｍ以内の社会距離、例えば講演等の複数の相手が見渡せる３ｍ以上の公共距離等の四つのゾーンに大別される。これによれば、親密な相手又はより重要な対話者ほどユーザーに近くなり、且つユーザーに近いほど、ユーザーに向かってほぼ対面すると共に、ユーザーの視野中心に近づいてくる。

これによって、この実施形態では、尤度分類器６１４は、相対深度が小さく、インクルーデッドアングルも小さく、画像４０において識別された人顔対象物４０１の顔の向きの傾いた角度も小さいことに高い重みを対応付ける。次いで、尤度分類器６１４は、識別された人顔対象物４０１それぞれに対応付けられた重みを基にして尤度分類を定める。この実施形態では、識別された人顔対象物４０１それぞれが、高尤度、中尤度及び低尤度のいずれかに分類される。

唇動き検出ユニット６１５は、識別された人顔対象物４０１に唇の動きがあるかどうかを検出するものであり、画像分析モジュール６１によって定められた対象物情報は、唇動き検出ユニット６１５によって検出された、対応する識別された人顔対象物４０１に唇の動きがあるかどうかを示す情報を含むものである。例えば本実施形態では、唇動き検出ユニット６１５は、高尤度に分類された識別された人顔対象物４０１において唇の動きがあるかどうかを検出するように構成されている。唇動き検出ユニット６１５によって、一つの識別された人顔対象物４０１の唇の動きが検出されると、該人顔対象物４０１を発話者であるとみなし、ターゲット話者とすることが考えられる。

唇動き検出ユニット６１５はまた、高尤度に分類された識別された人顔対象物４０１がなかった場合、中尤度に分類された識別された人顔対象物４０１に唇の動きが存在するか否かを検出するように構成されている。高尤度に分類された識別された人顔対象物４０１も中尤度に分類された識別された人顔対象物４０１もなかった場合、唇動き検出ユニット６１５は判断を中止する。この場合、画像４０に取得されて識別された人顔対象物４０１においてターゲット話者が存在する可能性が低いと考えられる。

この実施形態では、唇動き検出ユニット６１５を用いて識別された人顔対象物４０１を話者であるか否かと検出するが、場合によって唇動き検出ユニット６１５を省略してもよい。この場合、プロセッサ６は、一つの識別された人顔対象物４０１をターゲット対象として選ぶ。この際に選ばれる識別された人顔対象物４０１は、画像４０において他の一つの識別された人顔対象物４０１と比較してより高い尤度を有するものである。画像分析モジュール６１は、ターゲット対象と思われる識別された人顔対象物４０１を示す信号を音声処理モジュール６２に送る。

音声処理モジュール６２は、この実施形態では、収音モジュール５によって集められた音声情報を受信・処理するように構成されている。音声処理モジュール６２は、受信された音声情報を処理する際、例えば、アナログ・デジタル変換処理や、ノイズ低減処理等を行う。この実施形態では、音声処理モジュール６２は、スピーチ検出ユニット６２１とサウンドプロセッサ６２２とを有する。

スピーチ検出ユニット６２１は、収音モジュール５によって集められた音声情報に含まれ得るスピーチコンテンツを検出するように構成されている。音声情報におけるスピーチコンテンツの検出とは、補聴器システム２の周囲環境における人声の存在を検出することを示す。この実施形態では、画像取り込みモジュール４は、スピーチ検出ユニット６２１によるスピーチコンテンツの検出を示す信号が送られ後で、画像４０を取得することができるようになっている。

サウンドプロセッサ６２２は、音声情報に対して指向性信号処理操作を施し、出力オーディオ信号を生成するように構成されている。当該指向性信号処理操作によって、画像４０におけるターゲット対象の位置に関連するエリアから来た音声を残すと共に、ターゲット対象の位置に関連するエリアから来た音声以外の方向から来た音声をろ過して除去する。この実施形態では、当該指向性信号処理操作とは、ビーム形成操作をいう。

出力オーディオ信号は、当該指向性信号処理操作の後、画像取り込みモジュール４によって取得された画像４０におけるターゲット対象の位置に関連するエリアから来るものである抽出されたボイス信号を含む。サウンドプロセッサ６２２はまた、該抽出されたボイス信号に対してノイズの低減及び／又は増幅を行った上で音声出力装置７に送るように構成されている。この実施形態では、音声出力装置７は、一対のイヤホンの形をして、それぞれがサイドサポーター３２それぞれに連結され、プロセッサ６に結合され、プロセッサ６から出力されたボイス信号を受信して外部に音声として出力するように構成されている。こうして、ユーザーは本発明に係る補聴器システム２を掛けると、ターゲット話者からの音声を選択的に聞くことができる。

この実施形態では、プロセッサ６は更に、外付け電子装置８と通信できる通信ユニット９を有する（図２参照）。通信ユニット９は、Ｗｉ−Ｆｉ、Ｚｉｇｂｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ／ＮＦＣ）のいずれかを介して、外付け電子装置８と通信するように構成される。

外付け電子装置８は、モバイル端末、タブレットコンピュータ、ノートブックコンピュータ又は他の携帯機器を用いて実行され、コントロールユニット（図示せず）、タッチディスプレイ８１及び通信ユニット８２とを有する。通信ユニット８２は、外付け電子装置８にインストールされたアプリケーションプログラムによって実行される。

対象とする補聴器システム２が外付け電子装置８と通信する場合、ユーザーはタッチディスプレイ８１を操作し、通信ユニット８２を制御するコマンドを入力する。これによって、補聴器システム２及び外付け電子装置８の間に通信チャネルを設置させようとする。通信チャネルが設置されると、プロセッサ６は、通信ユニット９を介して、画像取り込みモジュール４によって取得された画像４０を外付け電子装置８に送る。

外付け電子装置８のコントロールユニットは、タッチディスプレイ８１を制御して、人顔対象物４０１を含む画像４０を映すと共に、ユーザーに人顔対象物４０１の一つをターゲット対象として選ばせる。その後、外付け電子装置８は、画像４０におけるターゲット対象の位置を示す外部制御信号を生成し、通信ユニット８２を介して補聴器システム２に送る。プロセッサ６が外部制御信号を受け取ると、画像分析モジュール６１は、識別された人顔対象物４０１からのターゲット対象選択に関連する操作をバイパスし、音声処理モジュール６２は外部制御信号に基づいて操作し始める。

なお、装着具３は、更に装着具３に設けられた電子部品に電力を供給するための手段例えば電池を有することは、当業者ならすぐ理解できるだろう。また、装着具３は、ユーザーに補聴器システム２をオンオフすることを可能にする物理スイッチを設けてもよい。

図１と図２に示されたように構成された本発明に係る補聴器システム２は、図３に示されているように、本発明に係るオーディオ信号処理方法の一例を実行する。

ステップ１００では、例えばユーザーがメガネの形等をした装着具３を掛けた後で、補聴器システム２が作動される。収音モジュール５は、起動後、その周りの音声情報を集め始める。

ステップ１０２では、スピーチ検出ユニット６２１は、収音モジュール５によって集められた音声情報にスピーチコンテンツが含まれているか否かを検出する。スピーチコンテンツが検出された場合、ステップ１０４に進む。スピーチコンテンツが検出されなかった場合、再度収音モジュール５によって集められた音声情報に対する検出を行なう。

ステップ１０４では、画像取り込みモジュール４が画像４０を取得するようにする。

ステップ１０６では、プロセッサ６は、補聴器システム２及び外付け電子装置８の間に通信チャネルが設置されたかどうかを定める。通信チャネルが設置されていない場合、補聴器システム２は第１のモードで作動し、ステップ１１０に進む。通信チャネルが設置されている場合、補聴器システム２は第２のモードで作動し、ステップ１３０に進む。

第１のモードにて作動すると、ステップ１１０では、画像分析モジュール６１は、画像取り込みモジュール４によって取得された画像４０における人顔対象物４０１を識別する。

ステップ１１２では、画像分析モジュール６１は、識別された人顔対象物４０１にそれぞれ対応する対象物情報を定める。深度分析ユニット６１１は、画像４０において識別された人顔対象物４０１それぞれの補聴器システム２に対しての相対深度を定める。角度分析ユニット６１２は、画像４０における参照軸４０２と画像４０における識別された人顔対象物４０１の位置との間におけるインクルーデッドアングルを定める（図５参照）。ターン分析ユニット６１３は、画像４０において識別された人顔対象物４０１それぞれの曲がった（ターンした）角度を定める。

ステップ１１４では、尤度分類器６１４は、対象物情報に基づき、識別された対象物情報それぞれの尤度分類を定める。

ステップ１１６では、唇動き検出ユニット６１５は、高尤度に分類された（又は高尤度に分類された識別された人顔対象物４０１がない場合は中尤度に分類された）識別された人顔対象物４０１のそれぞれの唇の動きの有無を検出する。唇の動きがあると検出された識別された人顔対象物４０１がターゲット対象物として選択される。

ステップ１１８では、サウンドプロセッサ６２２は音声情報に対してビーム形成操作を施すと、画像４０におけるターゲット対象物に関連するエリアから抽出されたボイス信号を含む出力オーディオ信号を生成する。

ステップ１２０では、当該出力オーディオ信号を音声出力装置７に送信し、出力する。

一方、第２のモードにて（例えば、補聴器システム２が外付け電子装置８と通信したとき）操作すると、ステップ１３０では、プロセッサ６は、画像４０を通信ユニット９を介して外付け電子装置８に送る。外付け電子装置８が画像４０を受け取ると、画像４０をタッチディスプレイ８１に映し、補聴器システム２がユーザーによる手動で一つ又は一つ以上の識別された人顔対象物４０１がターゲット対象物として選択される。

ステップ１３２では、プロセッサ６は、外付け電子装置８からユーザーによって選ばれた画像４０におけるターゲット対象物の位置を示す外部制御信号を受け取る。その後、ステップ１１８に進む。

なお、唇動き検出ユニット６１５を用いると、ターゲット対象物の選択の正確さを大いに高めることができるが、例えばいくつかの所定の対象物からの音声が誤って自動的に ろ過されて除去されないように、唇動き検出ユニット６１５を起動しなくてもよいことに留意されたい。

唇動き検出ユニット６１５を起動しない場合、高尤度を有する識別された人顔対象物４０１がターゲット対象物と見なされる。高尤度を有する識別された人顔対象物４０１が現れない場合、中尤度を有する識別された人顔対象物４０１がターゲット対象物と見なされる。高尤度を有する識別された人顔対象物４０１も中尤度を有する識別された人顔対象物４０１も現れない場合、サウンドプロセッサ６２２はただ正面方向の音声情報を抽出するようにすることができる。

また、場合によっては、補聴器システム２にターン分析ユニット６１３を設けなくてもよく、同様に、本発明に係る方法でもターン分析ユニット６１３に関連する操作を省略してもよい。

なお、本実施形態では、画像取り込みモジュール４が装着具３の一対のレンズ３１０、３１０の間に取り付けられているが、場合によって装着具３の別のところに設けられてもよい。

以上により、本発明に係る補聴器システム２は、取得された画像４０からターゲットとする話者を選ぶ選択肢を２つ提供することができる。第１のモードでは、画像分析モジュール６１は対象物情報に基づき自動的に選択操作を実行する。第２のモードでは、ユーザーによってターゲットとする話者が選別される。これによって、本発明に係る補聴器システム２を用いると、ユーザーは、ノイズのある環境において複数の話者からターゲットとする一人か数人の話者の居る位置からの音声を選択的に聞くことができる。

２ 補聴器システム
３ 装着具
３１ フロントサポーター
３１０ レンズ
３２ サイドサポーター
４ 画像取り込みモジュール
４０ 画像
４０１ 人顔対象物
４０２ 参照軸
５ 収音モジュール
５１ マイクロホン
６ プロセッサ
６１ 画像分析モジュール
６１１ 深度分析ユニット
６１２ 角度分析ユニット
６１３ ターン分析ユニット
６１４ 尤度分類器
６１５ 唇動き検出ユニット
６２ 音声処理モジュール
６２１ スピーチ検出ユニット
６２２ サウンドプロセッサ
７ 音声出力装置
８ 外付け電子装置
８１ タッチディスプレイ
８２ 通信ユニット
９ 通信ユニット
θ１、θ２、θ３ インクルーデッドアングル

Claims (15)

1. 画像取り込みモジュールと収音モジュールとプロセッサとを備えている補聴器システムを用いて実行される方法であって、
   前記収音モジュールを用いて、前記補聴器システムの周囲の音声情報を集める、ステップ（ａ）と、
   前記画像取り込みモジュールを用いて、前記補聴器システムの周囲の画像を取得する、ステップ（ｂ）と、
   前記プロセッサを用いて、前記収音モジュールによって集められた前記音声情報に指向性信号処理操作を実行し、前記画像取り込みモジュールによって取得された前記画像におけるターゲット対象物の位置に関連するエリアからの抽出されたボイス信号を含む出力オーディオ信号を生成する、ステップ（ｃ）と、
   前記出力オーディオ信号を出力する、ステップ（ｄ）と、
   を有することを特徴とするオーディオ信号を処理する方法。
2. 前記ステップ（ｃ）では、
   前記プロセッサを用いて、前記画像取り込みモジュールによって取得された画像における人顔対象物の存在を識別する、サブステップ（ｃ１）と、
   前記プロセッサを用いて、識別された前記人顔対象物それぞれに関連する対象物情報を定める、サブステップ（ｃ２）と、
   前記プロセッサを用いて、識別された前記人顔対象物に関連する対象物情報に基づき、識別された前記人顔対象物それぞれの尤度分類を定めるステップであって、前記尤度分類とは、識別された前記人顔対象物に関連する人がターゲット話者であるとする尤度の分類である、サブステップ（ｃ３）と、
   前記プロセッサを用いて、前記画像における識別された前記人顔対象物の一つをターゲット話者として選択するステップであって、選択された前記人顔対象物の一つは他の前記人顔対象物よりも高い尤度を有するものである、サブステップ（ｃ４）と、
   を有することを特徴とする請求項１に記載の方法。
3. 前記サブステップ（ｃ２）では、識別された前記人顔対象物それぞれの前記対象物情報が、
   前記画像における識別された前記人顔対象物の前記補聴器システムに対する相対深度、
   前記画像取り込みモジュールの一つの軸を表す前記画像における参照軸と前記画像における識別された前記人顔対象物の位置との間に形成されたインクルーデッドアングル、及び、
   識別された前記人顔対象物の前記画像において曲がった角度
   の少なくとも一つを有することを特徴とする請求項２に記載の方法。
4. 前記サブステップ（ｃ２）では、前記対象物情報は、関連する識別された前記人顔対象物の前記補聴器システムに対する相対深度情報と相対方向情報を含み、
   前記相対深度情報において異なる相対深度には異なる重みが予め定められ、
   前記相対方向情報において異なる相対方向には異なる重みが予め定められ、
   識別された前記人顔対象物それぞれの前記尤度分類は、それぞれの前記相対深度情報及び前記相対方向情報に関連する重みに応じて予め定められ、
   前記相対方向情報は、
   前記画像取り込みモジュールの一つの軸を表す前記画像における参照軸と、前記画像における識別された前記人顔対象物の位置との間に形成されたインクルーデッドアングルと、
   関連する識別された前記人顔対象物が前記画像において曲がった角度と、
   を示す、ことを特徴とする請求項２又は３に記載の方法。
5. 前記ステップ（ｂ）で取得された複数の前記画像及び前記サブステップ（ｃ２）における前記対象物情報は、前記画像における関連する識別された前記人顔対象物の唇に動きがあるかどうかを示す、ことを特徴とする請求項２又は３に記載の方法。
6. 前記ステップ（ｃ）は、
   前記画像取り込みモジュールによって取得された前記画像における前記人顔対象物の存在を特定し、それぞれ識別された前記人顔対象物に関連する対象物情報を定め、識別された前記人顔対象物に関連する前記対象物情報に基づき、それぞれの識別された前記人顔対象物の尤度分類を定め、前記尤度分類とは、識別された前記人顔対象物に関連する人がターゲット話者であるとする尤度の分類であり、前記画像において、他の識別された前記人顔対象物よりも高い尤度分類を有する少なくとも１つの識別された前記人顔対象物を前記ターゲット対象物として選ぶ、第１のモード、及び
   前記画像取り込みモジュールによって取得された前記画像を外付け電子装置に送り、前記外付け電子装置から、前記画像において前記ターゲット対象物の位置を示す外部制御信号を受け取る第２のモードの内の選ばれた一つのモードにおいて前記プロセッサが作動するサブステップを有する、
   ことを特徴とする請求項１〜５のいずれかの一項に記載の方法。
7. 前記ステップ（ｂ）では、前記画像取り込みモジュールは、前記収音モジュールによって集められた前記音声情報にスピーチコンテンツが含まれていることが前記プロセッサにより検出された後で、前記画像を取得することができることを特徴とする請求項１〜６のいずれかの一項に記載の方法。
8. 聴覚障害者の聞き取りを補助する補聴器システムであって、
   前記補聴器システムの周囲の音声情報を集める、収音モジュールと、
   前記補聴器システムの周囲の画像を取り入れる、画像取り込みモジュールと、
   前記収音モジュール及び前記画像取り込みモジュールと連結され、前記収音モジュールによって集められた前記音声情報に対して指向性信号処理操作を施し、出力オーディオ信号を生成する音声処理モジュールを有し、前記出力オーディオ信号は、前記画像取り込みモジュールによって取得された画像におけるターゲット対象物の位置に関連するエリアからの抽出されたボイス信号を含む、プロセッサと、
   前記プロセッサと連結され、前記出力オーディオ信号を出力する、音声出力装置と
   を備えていることを特徴とする補聴器システム。
9. 前記プロセッサは更に、
   前記画像取り込みモジュールによって取得された画像における人顔対象物の存在を識別するように構成され、識別された前記人顔対象物に関連する対象物情報を定めると共に、前記対象物情報に基づき識別された前記人顔対象物それぞれの尤度分類を定める、画像分析モジュールを有し、
   前記画像における識別された前記人顔対象物のそれぞれに対して定められる前記尤度分類は、識別された前記人顔対象物に関連する人がターゲット話者であるとする尤度の分類であり、
   前記音声処理モジュールは、前記画像における識別された前記人顔対象物における少なくとも一つを前記ターゲット対象物として選択し、前記ターゲット対象物として選択された少なくとも一つの識別された前記人顔対象物は、前記画像における前記ターゲット対象物として選択された少なくとも一つ以外の他の識別された前記人顔対象物よりも高い前記尤度を有するものであり、
   前記画像分析モジュールは、
   前記画像における識別された前記人顔対象物の前記補聴器システムに対しての相対深度を定める、深度分析ユニット、
   前記画像取り込みモジュールの軸を表す参照軸と、前記画像おける識別された前記画像における前記人顔対象物の位置との間に形成されたインクルーデッドアングルを定める、角度分析ユニット、及び、
   識別された前記人顔対象物が前記画像において曲がった角度を定める、ターン分析ユニット、の少なくとも一つを有することを特徴とする請求項８に記載の補聴器システム。
10. 前記画像分析モジュールによって定められた前記対象物情報は、関連する識別された前記人顔対象物の前記補聴器システムに対する相対深度情報及び相対方向情報を有し、
    前記相対深度情報の相対深度は、異なる相対深度に異なる重みが予め定められ、
    前記相対方向情報の相対方向は、異なる相対方向に異なる重みが予め定められ、
    前記画像分析モジュールは、前記対象物情報それぞれの前記相対深度情報及び前記相対方向情報に関連する重みに応じて、識別された前記人顔対象物の尤度分類を定める尤度分類器を有する、
    ことを特徴とする請求項８又は９に記載の補聴器システム。
11. 前記相対方向情報は、
    前記画像取り込みモジュールの一つの軸を表す前記画像における参照軸と前記画像における識別された前記人顔対象物の位置との間に形成されたインクルーデッドアングルと、
    前記画像において前記関連する識別された前記人顔対象物の曲がった角度と、
    を示すことを特徴とする請求項１０に記載の補聴器システム。
12. 前記画像取り込みモジュールは、複数の画像を取り入れるように構成され、
    前記画像分析モジュールは、唇動き検出ユニットを有し、
    前記画像分析モジュールによって定められた前記対象物情報は、前記唇動き検出ユニットによって検出される、対応する識別された前記人顔対象物の唇の動きがあるかどうかを示す情報を含むものである、ことを特徴とする請求項８又は９に記載の補聴器システム。
13. 前記プロセッサは、
    前記画像取り込みモジュールによって取得された前記画像における前記人顔対象物の存在を特定し、それぞれ識別された前記人顔対象物に関連する対象物情報を定め、識別された前記人顔対象物に関連する前記対象物情報に基づき、それぞれの識別された前記人顔対象物の尤度分類を定め、前記尤度分類は、識別された前記人顔対象物に関連する人がターゲット話者であるとする尤度によって分類を定めるものであり、前記画像において、他の識別された前記人顔対象物よりも高い尤度分類を有する少なくとも１つの識別された前記人顔対象物を前記ターゲット対象物として選ぶ、第１のモード、及び
    前記画像取り込みモジュールによって取得された前記画像を外付け電子装置に送り、前記外付け電子装置から、前記画像において前記ターゲット対象物の位置を示す外部制御信号を受け取る第２のモードの内の選ばれた一つのモードにおいて操作可能に構成されている
    ことを特徴とする請求項８〜１２のいずれかの一項に記載の補聴器システム。
14. 前記音声処理モジュールは、前記収音モジュールによって集められた音声情報に含まれ得るスピーチコンテンツを検出するスピーチ検出ユニットを有し、
    前記画像取り込みモジュールは、前記スピーチ検出ユニットにより前記音声情報にスピーチコンテンツが検出された後で、前記画像を取得することができることを特徴とする請求項８〜１３のいずれかの一項に記載の補聴器システム。
15. 前記画像取り込みモジュールと前記収音モジュールと前記プロセッサが取り付けられた装着具を更に有し、
    前記装着具は、前記画像取り込みモジュールが取り付けられたフロントサポーターと、前記フロントサポーターの両側にそれぞれ連結された２つのサイドサポーターとからなり、
    前記収音モジュールは、複数のマイクロホンを含むマイクロホンアレイであり、
    前記マイクロホンのそれぞれが前記フロントサポーター及び２つの前記サイドサポーターのいずれかに設けられ、
    前記プロセッサは、２つの前記サイドサポーターの一方に設けられ、
    前記音声出力装置は、２つの前記サイドサポーターのそれぞれに連結されて設けられた一対のイヤホンを有し、
    前記装着具は、前記フロントサポーターとするレンズ枠を有する眼鏡フレームと、前記サイドサポーターとする一対のテンプルとを備えていることを特徴とする請求項８〜１４のいずれかの一項に記載の補聴器システム。

Images