JPH09275533A - 信号処理装置 - Google Patents
信号処理装置Info
- Publication number
- JPH09275533A JPH09275533A JP8085214A JP8521496A JPH09275533A JP H09275533 A JPH09275533 A JP H09275533A JP 8085214 A JP8085214 A JP 8085214A JP 8521496 A JP8521496 A JP 8521496A JP H09275533 A JPH09275533 A JP H09275533A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- line
- sound
- sound source
- sight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Position Input By Displaying (AREA)
- Television Receiver Circuits (AREA)
Abstract
(57)【要約】
【課題】 視聴者が着目している特定の話者や特定の発
音源からの信号を正しく聞き分けることが可能な映像音
声信号処理装置の実現を課題とする。 【解決手段】 テレビ受像機、ビデオ再生装置、テレビ
会議装置、テレビ監視装置などの信号処理装置におい
て、信号処理装置の視聴者１３のモニタ装置７上にむけ
た視線方向を検出する視線検出手段１２と、視線検出手
段１２が検出した視線方向に位置する発音源を特定する
音源特定手段と、音源特定手段が特定した発音源からの
音声信号を選択して増幅し、他の音源からの音声信号を
抑圧して、音声信号に重みづけを行う音声信号重み付け
手段８とを設けるようにする。
音源からの信号を正しく聞き分けることが可能な映像音
声信号処理装置の実現を課題とする。 【解決手段】 テレビ受像機、ビデオ再生装置、テレビ
会議装置、テレビ監視装置などの信号処理装置におい
て、信号処理装置の視聴者１３のモニタ装置７上にむけ
た視線方向を検出する視線検出手段１２と、視線検出手
段１２が検出した視線方向に位置する発音源を特定する
音源特定手段と、音源特定手段が特定した発音源からの
音声信号を選択して増幅し、他の音源からの音声信号を
抑圧して、音声信号に重みづけを行う音声信号重み付け
手段８とを設けるようにする。
Description
【０００１】
【発明の属する技術分野】本発明は、信号処理装置に関
し、ことに映像と音声が同時に出力されるテレビ受信機
等の信号処理装置において、音声に視聴者の視線方向に
応じて重みづけを行わせる視線処理を実現し、音声を分
離して聞き分けることを可能にする信号処理装置に関す
る。
し、ことに映像と音声が同時に出力されるテレビ受信機
等の信号処理装置において、音声に視聴者の視線方向に
応じて重みづけを行わせる視線処理を実現し、音声を分
離して聞き分けることを可能にする信号処理装置に関す
る。
【０００２】
【従来の技術】通常の音響空間の中では、我々は着目し
ている音声信号を聞き分けることができる。例えば、複
数の話者がそれぞれ発言しているパーティ会場等におい
ても、かなりまで特定の話者の発言を聞分けることがで
きるものである。しかし、従来のテレビ受信機等の映像
音声信号処理装置においては、複数の音源が同時に発音
している場合には視聴者が特定の音声を聞き分けるとい
うようなことはかなり困難であった。
ている音声信号を聞き分けることができる。例えば、複
数の話者がそれぞれ発言しているパーティ会場等におい
ても、かなりまで特定の話者の発言を聞分けることがで
きるものである。しかし、従来のテレビ受信機等の映像
音声信号処理装置においては、複数の音源が同時に発音
している場合には視聴者が特定の音声を聞き分けるとい
うようなことはかなり困難であった。
【０００３】例えばテレビドラマなどで、複数の画面の
登場人物が同時に話しているような場面の中から、視聴
者が注目している特定の登場人物の声をクローズアップ
して聞かせるというような方法は従来とられていない。
したがって、テレビドラマでは登場人物は交互に会話す
るようになっている。
登場人物が同時に話しているような場面の中から、視聴
者が注目している特定の登場人物の声をクローズアップ
して聞かせるというような方法は従来とられていない。
したがって、テレビドラマでは登場人物は交互に会話す
るようになっている。
【０００４】また、テレビ監視装置やテレビ会議装置な
どで、特定の部分、特定の話者に着目しその付近の音声
を聞き分けたい場合でも、音量を上げると周囲の雑音ま
でが増幅されてかえって聞きづらくなる等の問題があっ
た。このため、視聴者が聞き取れる音声には奥行きがな
く、立体的な音声空間が視聴者に対して展開されてはい
ず、視聴者が特定の話者や特定の発音源からの信号を正
しく聞き分けることが難かしいことがあった。
どで、特定の部分、特定の話者に着目しその付近の音声
を聞き分けたい場合でも、音量を上げると周囲の雑音ま
でが増幅されてかえって聞きづらくなる等の問題があっ
た。このため、視聴者が聞き取れる音声には奥行きがな
く、立体的な音声空間が視聴者に対して展開されてはい
ず、視聴者が特定の話者や特定の発音源からの信号を正
しく聞き分けることが難かしいことがあった。
【０００５】
【発明が解決しようとする課題】上述のごとく、従来の
映像音声信号処理装置においては、視聴者が特定の話者
や特定の発音源からの信号を正しく聞き分けることが難
かしいという問題があった。
映像音声信号処理装置においては、視聴者が特定の話者
や特定の発音源からの信号を正しく聞き分けることが難
かしいという問題があった。
【０００６】本発明はこのような従来技術の問題点を解
決するためのものであり、視聴者がどの音源に着目して
いるかを視聴者の視線方向から求め、視線方向にある音
源の音量に重みづけを行って、視聴者が着目している特
定の話者や特定の発音源からの信号を視聴者が正しく聞
き分けることを可能にすることを発明の課題とするもの
である。
決するためのものであり、視聴者がどの音源に着目して
いるかを視聴者の視線方向から求め、視線方向にある音
源の音量に重みづけを行って、視聴者が着目している特
定の話者や特定の発音源からの信号を視聴者が正しく聞
き分けることを可能にすることを発明の課題とするもの
である。
【０００７】
【課題を解決するための手段】上記目的を達成するた
め、本発明は、映像信号を表示する画像モニタ手段と、
音声信号を出力する受話手段とを具備するテレビ受像
機、ビデオ再生装置などの信号処理装置において、信号
処理装置の視聴者の前記モニタ装置上の視線方向を検出
する視線検出手段と、前記視線検出手段が検出した視線
方向に位置する発音源を特定する音源特定手段と、前記
音源特定手段が特定した前記発音源からの音声信号を選
択して増幅し、他の音源からの音声信号を抑圧して、音
声信号に重みづけを行う音声信号重み付け手段とを具備
することを特徴とする。
め、本発明は、映像信号を表示する画像モニタ手段と、
音声信号を出力する受話手段とを具備するテレビ受像
機、ビデオ再生装置などの信号処理装置において、信号
処理装置の視聴者の前記モニタ装置上の視線方向を検出
する視線検出手段と、前記視線検出手段が検出した視線
方向に位置する発音源を特定する音源特定手段と、前記
音源特定手段が特定した前記発音源からの音声信号を選
択して増幅し、他の音源からの音声信号を抑圧して、音
声信号に重みづけを行う音声信号重み付け手段とを具備
することを特徴とする。
【０００８】また、対象を撮像する第１の撮像手段と、
前記第１の撮像手段が撮像した映像信号を表示する画像
モニタ手段と、対象が発する音声信号を集音する受音手
段と、前記受音手段が集音した音声信号を出力する受話
手段とを具備するテレビ会議装置、テレビ監視装置など
の信号処理装置において、信号処理装置の視聴者の前記
モニタ装置上の視線方向を検出する視線検出手段と、前
記視線検出手段が検出した視線方向に位置する発音源を
特定する音源特定手段と、前記音源特定手段が特定した
前記発音源からの音声信号を選択して増幅し、他の音源
からの音声信号を抑圧して、音声信号に重みづけを行う
音声信号重み付け手段とを具備することを特徴とする。
あるいは、前記視線検出手段が検出した視線方向に前記
第１の撮像手段の撮像方向および前記受音手段の集音方
向を移動させる受信方向移動手段を具備することを特徴
とする。
前記第１の撮像手段が撮像した映像信号を表示する画像
モニタ手段と、対象が発する音声信号を集音する受音手
段と、前記受音手段が集音した音声信号を出力する受話
手段とを具備するテレビ会議装置、テレビ監視装置など
の信号処理装置において、信号処理装置の視聴者の前記
モニタ装置上の視線方向を検出する視線検出手段と、前
記視線検出手段が検出した視線方向に位置する発音源を
特定する音源特定手段と、前記音源特定手段が特定した
前記発音源からの音声信号を選択して増幅し、他の音源
からの音声信号を抑圧して、音声信号に重みづけを行う
音声信号重み付け手段とを具備することを特徴とする。
あるいは、前記視線検出手段が検出した視線方向に前記
第１の撮像手段の撮像方向および前記受音手段の集音方
向を移動させる受信方向移動手段を具備することを特徴
とする。
【０００９】また、映像信号と音声信号を同時に出力す
る信号処理方式において、映像信号出力を注目する視聴
者の視線方向を検出する視線検出機能と、前記視線検出
機能が検出した視線方向に位置する発音源を特定する音
源特定機能と、前記音源特定機能が特定した前記発音源
からの音声信号を選択して増幅し、他の音源からの音声
信号を抑圧して、音声信号に重みをつけて出力する音声
信号出力機能とを具備することを特徴とする。
る信号処理方式において、映像信号出力を注目する視聴
者の視線方向を検出する視線検出機能と、前記視線検出
機能が検出した視線方向に位置する発音源を特定する音
源特定機能と、前記音源特定機能が特定した前記発音源
からの音声信号を選択して増幅し、他の音源からの音声
信号を抑圧して、音声信号に重みをつけて出力する音声
信号出力機能とを具備することを特徴とする。
【００１０】これによって、モニタ装置上の画面で視聴
者が着目している特定の話者や特定の発音源からの信号
に重みづけを行ってその音をクローズアップするように
したので、周囲の雑音等からその音を区別して正しく聞
き分けることができるようになる。
者が着目している特定の話者や特定の発音源からの信号
に重みづけを行ってその音をクローズアップするように
したので、周囲の雑音等からその音を区別して正しく聞
き分けることができるようになる。
【００１１】
【発明の実施の形態】以下、本発明にかかる信号処理装
置を添付図面を参照にして詳細に説明する。図１に、本
発明の信号処理装置の一実施形態であるビデオ内臓テレ
ビ受信機のブロック図を示す。図１中、１は放送波のテ
レビ電波信号を受信するアンテナ、２はテレビ電波信号
受信回路のチューナ、３はチューナ２と切り替えられて
テレビ信号を送るビデオレコーダ、４はチューナ２とビ
デオレコーダ３を切り替える切り替えスイッチ、５はテ
レビ信号から映像信号と音声信号を分離する映像／音声
分離回路、６は映像信号の復調、増幅、色再生等を行う
映像処理回路、７は映像信号を再生するモニタ装置、８
は音声信号の復調、ステレオ増幅、重みづけを行う音声
処理回路、９は左スピーカ、１０は右スピーカ、１１は
視聴者１３を捕らえるビデオカメラ、１２はビデオカメ
ラ１１の受信映像から視聴者１３の視線を検出する視線
検出回路、１３は視聴者である。
置を添付図面を参照にして詳細に説明する。図１に、本
発明の信号処理装置の一実施形態であるビデオ内臓テレ
ビ受信機のブロック図を示す。図１中、１は放送波のテ
レビ電波信号を受信するアンテナ、２はテレビ電波信号
受信回路のチューナ、３はチューナ２と切り替えられて
テレビ信号を送るビデオレコーダ、４はチューナ２とビ
デオレコーダ３を切り替える切り替えスイッチ、５はテ
レビ信号から映像信号と音声信号を分離する映像／音声
分離回路、６は映像信号の復調、増幅、色再生等を行う
映像処理回路、７は映像信号を再生するモニタ装置、８
は音声信号の復調、ステレオ増幅、重みづけを行う音声
処理回路、９は左スピーカ、１０は右スピーカ、１１は
視聴者１３を捕らえるビデオカメラ、１２はビデオカメ
ラ１１の受信映像から視聴者１３の視線を検出する視線
検出回路、１３は視聴者である。
【００１２】次に、図１に示す信号処理装置の動作を説
明する。アンテナ１によって受信されチューナで選択さ
れたテレビ放送信号やビデオソフトからの再生信号が切
り替えスイッチ４から映像／音声分離回路５に入力さ
れ、映像信号が映像処理回路６の処理によってモニタ装
置７上に映し出され、また複数の音声信号が音声処理回
路８の処理によって左右のスピーカ９、１０からステレ
オ再生されているものとする。
明する。アンテナ１によって受信されチューナで選択さ
れたテレビ放送信号やビデオソフトからの再生信号が切
り替えスイッチ４から映像／音声分離回路５に入力さ
れ、映像信号が映像処理回路６の処理によってモニタ装
置７上に映し出され、また複数の音声信号が音声処理回
路８の処理によって左右のスピーカ９、１０からステレ
オ再生されているものとする。
【００１３】この状態で、まず視聴者１３がモニタ装置
７上に映し出されている表示画面のどの部分に注目して
いるかを検出する。例えば、映像が映し出されているモ
ニタ装置７の近傍に小型のビデオカメラ１１を固定して
設置し、視聴者１３の顔を撮像する。そうして視聴者１
３の顔の全体画像から、目の領域を検出して、その目の
領域から瞼の領域と眼球の領域をさらに分離し、瞼の形
状変化と、眼球の位置関係の変化から視聴者１３の視線
の方向を視線検出回路１２で検出する。この視線方向の
検出方法は、例えば、特開平６−６７８６に示された方
法などが使用できる。
７上に映し出されている表示画面のどの部分に注目して
いるかを検出する。例えば、映像が映し出されているモ
ニタ装置７の近傍に小型のビデオカメラ１１を固定して
設置し、視聴者１３の顔を撮像する。そうして視聴者１
３の顔の全体画像から、目の領域を検出して、その目の
領域から瞼の領域と眼球の領域をさらに分離し、瞼の形
状変化と、眼球の位置関係の変化から視聴者１３の視線
の方向を視線検出回路１２で検出する。この視線方向の
検出方法は、例えば、特開平６−６７８６に示された方
法などが使用できる。
【００１４】このようにして、視線検出回路１２で視線
の方向を検出すると、その視線の方向が表示画面のどの
位置を捕らえているかを特定する。そうして、その部分
に音声信号を発生している対象物があれば、その対象物
が発生する音声信号を特定してその重みを大きくし、そ
の他の音声信号の重みを小さくして、合成ステレオ信号
を出力する。このような音声信号の重みづけの方法は、
例えば、特開平６−３０１３９０に示された方法などが
使用できる。
の方向を検出すると、その視線の方向が表示画面のどの
位置を捕らえているかを特定する。そうして、その部分
に音声信号を発生している対象物があれば、その対象物
が発生する音声信号を特定してその重みを大きくし、そ
の他の音声信号の重みを小さくして、合成ステレオ信号
を出力する。このような音声信号の重みづけの方法は、
例えば、特開平６−３０１３９０に示された方法などが
使用できる。
【００１５】図２は、音声処理回路８に含まれている音
声の重みづけ回路の例である。図２で、２１は重み係数
決定回路、２２−１〜２２−ｎは左側の音声処理回路
（Ｌｗ１〜Ｌｗｎ）、２３−１〜２３−ｎは右側の音声
処理回路（Ｒｗ１〜Ｒｗｎ）、２４は左側の加算回路、
２５は右側の加算回路、２６は左側の増幅回路、２７は
右側の増幅回路である。
声の重みづけ回路の例である。図２で、２１は重み係数
決定回路、２２−１〜２２−ｎは左側の音声処理回路
（Ｌｗ１〜Ｌｗｎ）、２３−１〜２３−ｎは右側の音声
処理回路（Ｒｗ１〜Ｒｗｎ）、２４は左側の加算回路、
２５は右側の加算回路、２６は左側の増幅回路、２７は
右側の増幅回路である。
【００１６】図２の重みづけ回路の重み係数決定回路２
１は、視線検出回路１２からの視線信号によって視聴者
１３の視線が画面にある複数の発音源のうちのどの発音
源に注目しているかを検知して、この視聴者１３の視線
が着目している発音源の音声信号の重みを大きくするよ
うな重み係数を決定し、この重み係数をそれぞれの音声
処理回路２２−１〜２２−ｎ、２３−１〜２３−ｎに送
って重みづけを行わせる。
１は、視線検出回路１２からの視線信号によって視聴者
１３の視線が画面にある複数の発音源のうちのどの発音
源に注目しているかを検知して、この視聴者１３の視線
が着目している発音源の音声信号の重みを大きくするよ
うな重み係数を決定し、この重み係数をそれぞれの音声
処理回路２２−１〜２２−ｎ、２３−１〜２３−ｎに送
って重みづけを行わせる。
【００１７】複数の発音源からの三次元音声信号Ｓ1 〜
Ｓn は各音声処理回路２２−１〜２２−ｎ、２３−１〜
２３−ｎで重み係数決定回路２１から指定された重み係
数によって左右のスピーカ毎に重みづけされ、左右に分
離される。そのあと、左側の各音声処理回路２２−１〜
２２−ｎの出力は、左側の加算回路２４でミキシングさ
れ、左側の増幅回路２６で増幅され、左スピーカ９から
出力される。また、右側の各音声処理回路２３−１〜２
３−ｎの出力は、右側の加算回路２５でミキシングさ
れ、右側の増幅回路２７で増幅され、右スピーカ１０か
ら出力される。
Ｓn は各音声処理回路２２−１〜２２−ｎ、２３−１〜
２３−ｎで重み係数決定回路２１から指定された重み係
数によって左右のスピーカ毎に重みづけされ、左右に分
離される。そのあと、左側の各音声処理回路２２−１〜
２２−ｎの出力は、左側の加算回路２４でミキシングさ
れ、左側の増幅回路２６で増幅され、左スピーカ９から
出力される。また、右側の各音声処理回路２３−１〜２
３−ｎの出力は、右側の加算回路２５でミキシングさ
れ、右側の増幅回路２７で増幅され、右スピーカ１０か
ら出力される。
【００１８】このような構成によって、視聴者１３にと
って音声が立体化されると共に、視聴者１３が着目して
いる発音源からの音が強調されて視聴者１３に聞こえ、
かつ、画面内の発音源が移動した場合や視聴者１３の視
線が他の発音源に移った場合には、あたかも音源が移動
するように聞こえたり、発音源が切り替わったりするよ
うに聞こえ、より映像の内容を楽しむことができる。
って音声が立体化されると共に、視聴者１３が着目して
いる発音源からの音が強調されて視聴者１３に聞こえ、
かつ、画面内の発音源が移動した場合や視聴者１３の視
線が他の発音源に移った場合には、あたかも音源が移動
するように聞こえたり、発音源が切り替わったりするよ
うに聞こえ、より映像の内容を楽しむことができる。
【００１９】図３は、本発明の他の実施形態で、本発明
を監視システムに用いた場合の実施形態のブロック図で
ある。図３において、３１は複数台の監視カメラであ
り、３２は映像切り替えスイッチ、３３は監視カメラ３
１の各々に対応して設けられた強い指向性を有する指向
性マイクロホンである。指向性マイクロホン３３は例え
ば図に示すように複数の単位マイクロホン３４で構成さ
れていて、全体で指向性を実現するものであっても、１
つの指向性マイクロホンであってもよい。３５は映像切
り替えスイッチ３２と連動して指向性マイクロホン３３
からの信号を切り替える音声信号切り替えスイッチであ
る。
を監視システムに用いた場合の実施形態のブロック図で
ある。図３において、３１は複数台の監視カメラであ
り、３２は映像切り替えスイッチ、３３は監視カメラ３
１の各々に対応して設けられた強い指向性を有する指向
性マイクロホンである。指向性マイクロホン３３は例え
ば図に示すように複数の単位マイクロホン３４で構成さ
れていて、全体で指向性を実現するものであっても、１
つの指向性マイクロホンであってもよい。３５は映像切
り替えスイッチ３２と連動して指向性マイクロホン３３
からの信号を切り替える音声信号切り替えスイッチであ
る。
【００２０】複数台の監視カメラ３１からの映像は、映
像処理回路６によってモニタ装置７上に選択されて映し
出される。この場合、モニタ装置７上の画面は複数台の
監視カメラ３１からの映像が同時に映し出されるもので
あっても、２つ程度の監視カメラ３１からの映像が、交
互に順次切り替わりながら映し出されるものであっても
良い。さあらにこの映像の切り替えに連動して音声信号
も順次切り替わって出力される。
像処理回路６によってモニタ装置７上に選択されて映し
出される。この場合、モニタ装置７上の画面は複数台の
監視カメラ３１からの映像が同時に映し出されるもので
あっても、２つ程度の監視カメラ３１からの映像が、交
互に順次切り替わりながら映し出されるものであっても
良い。さあらにこの映像の切り替えに連動して音声信号
も順次切り替わって出力される。
【００２１】この映像を観測者が見ている間は、小型ビ
デオカメラ１１で観測者を撮像し、注視すべき対象物が
あった場合に、視線検出回路１２は観測者の視線の動き
からそのことを判断する。観測者が注視する対象物があ
った場合には、視線検出回路１２は検出した視線の方向
に当たる指向性マイクロフォン３３を特定し、その指向
性マイクロフォン３３の出力のゲインを上げ、その指向
性マイクロフォン３３の重みを大きくして注目対象物の
発する音（対象物が人間である場合はその声や動作に伴
う物音等）をクローズアップする。
デオカメラ１１で観測者を撮像し、注視すべき対象物が
あった場合に、視線検出回路１２は観測者の視線の動き
からそのことを判断する。観測者が注視する対象物があ
った場合には、視線検出回路１２は検出した視線の方向
に当たる指向性マイクロフォン３３を特定し、その指向
性マイクロフォン３３の出力のゲインを上げ、その指向
性マイクロフォン３３の重みを大きくして注目対象物の
発する音（対象物が人間である場合はその声や動作に伴
う物音等）をクローズアップする。
【００２２】これにより、注目したい対象を視覚と聴覚
の両面からクローズアップして監視できるので、監視対
象をより確実に、よりリアルに捕らえて監視することが
でき、事故や犯罪の防止に役立てることができる。
の両面からクローズアップして監視できるので、監視対
象をより確実に、よりリアルに捕らえて監視することが
でき、事故や犯罪の防止に役立てることができる。
【００２３】図４は、本発明を監視システムに用いた場
合の他の例のブロック図である。図４において、３１は
監視カメラで例えばモータで可動な雲台上に設置されて
いる。３３は監視カメラ３１と同一の雲台上に設置され
た指向性マイクロホンである。また、３６は監視カメラ
３１と指向性マイクロホン３３が設置された雲台を回転
させて、監視カメラ３１および指向性マイクロホン３３
の検出の向きを変えさせるモータ駆動装置である。さら
に６は映像処理回路、７は映像信号を再生するモニタ装
置、８は音声処理回路、９はスピーカ、１１は視聴者１
３を捕らえるビデオカメラ、１２はビデオカメラ１１の
受信映像から視聴者１３の視線を検出する視線検出回
路、１３は視聴者で、これらは図３で述べたものと同等
のものである。
合の他の例のブロック図である。図４において、３１は
監視カメラで例えばモータで可動な雲台上に設置されて
いる。３３は監視カメラ３１と同一の雲台上に設置され
た指向性マイクロホンである。また、３６は監視カメラ
３１と指向性マイクロホン３３が設置された雲台を回転
させて、監視カメラ３１および指向性マイクロホン３３
の検出の向きを変えさせるモータ駆動装置である。さら
に６は映像処理回路、７は映像信号を再生するモニタ装
置、８は音声処理回路、９はスピーカ、１１は視聴者１
３を捕らえるビデオカメラ、１２はビデオカメラ１１の
受信映像から視聴者１３の視線を検出する視線検出回
路、１３は視聴者で、これらは図３で述べたものと同等
のものである。
【００２４】映像が映し出されているモニタ装置７の近
傍に小型のビデオカメラ１１を固定して設置し、視聴者
１３の顔を撮像する。そうして視聴者１３の顔の全体画
像から、目の領域を検出して、その目の瞼の位置や、白
目の中の黒目すなわち眼球の位置関係から視聴者１３の
視線の方向を視線検出回路１２で検出する。
傍に小型のビデオカメラ１１を固定して設置し、視聴者
１３の顔を撮像する。そうして視聴者１３の顔の全体画
像から、目の領域を検出して、その目の瞼の位置や、白
目の中の黒目すなわち眼球の位置関係から視聴者１３の
視線の方向を視線検出回路１２で検出する。
【００２５】視線検出回路１２は視線の方向を検出する
と、その視線の方向が表示画面のどの位置を捕らえてい
るかを特定し、その方向に監視カメラ３１と指向性マイ
クロホン３３を向けるようモータ駆動装置３６を回転さ
せる。
と、その視線の方向が表示画面のどの位置を捕らえてい
るかを特定し、その方向に監視カメラ３１と指向性マイ
クロホン３３を向けるようモータ駆動装置３６を回転さ
せる。
【００２６】これにより、着目している音源がモニタ装
置７画面の中央に位置し、かつ、指向性マイクロホン３
３の指向方向に位置するようになるため、監視が容易に
なり音声信号の聞分けが可能になる。
置７画面の中央に位置し、かつ、指向性マイクロホン３
３の指向方向に位置するようになるため、監視が容易に
なり音声信号の聞分けが可能になる。
【００２７】図３および図４に示した実施形態は、テレ
ビ会議等、監視システム以外のモニタシステムにも用い
ることができる。テレビ会議は互いに離れた地点にある
会議室の間で画像と音声を伝送し、テレビモニタ画面に
移る参加者の顔を見ながら会議を行う。この時、人物を
クローズアップする人物カメラは、従来、参加者中の発
言者に向けて切り替わるようになっているが、ビデオカ
メラ１１を用いて特定の参加者の視線方向、あるいは大
多数の参加者の視線方向に合わせて人物カメラを切り替
えるようにすると、話者の手元や指示している表示など
にカメラや指向性マイクロホン３３を向かわせることが
でき、より実際に適した処理が可能になる。
ビ会議等、監視システム以外のモニタシステムにも用い
ることができる。テレビ会議は互いに離れた地点にある
会議室の間で画像と音声を伝送し、テレビモニタ画面に
移る参加者の顔を見ながら会議を行う。この時、人物を
クローズアップする人物カメラは、従来、参加者中の発
言者に向けて切り替わるようになっているが、ビデオカ
メラ１１を用いて特定の参加者の視線方向、あるいは大
多数の参加者の視線方向に合わせて人物カメラを切り替
えるようにすると、話者の手元や指示している表示など
にカメラや指向性マイクロホン３３を向かわせることが
でき、より実際に適した処理が可能になる。
【００２８】
【発明の効果】以上説明したように本発明では、映像信
号を表示する画像モニタ手段と、音声信号を出力する受
話手段とを具備するテレビ受像機、ビデオ再生装置、テ
レビ会議装置、テレビ監視装置などの信号処理装置にお
いて、信号処理装置の視聴者の前記モニタ装置上の視線
方向を検出する視線検出手段と、前記視線検出手段が検
出した視線方向に位置する発音源を特定する音源特定手
段と、前記音源特定手段が特定した発音源からの音声信
号を選択して増幅し、他の音源からの音声信号を抑圧し
て、音声信号に重みづけを行う音声信号重み付け手段と
を設けるようにした。あるいは、対象を撮像する撮像手
段と、前記撮像手段が撮像した映像信号を表示する画像
モニタ手段と、対象が発する音声信号を集音する受音手
段と、前記受音手段が集音した音声信号を出力する受話
手段とを具備するテレビ会議装置、テレビ監視装置など
の信号処理装置において、信号処理装置の視聴者の前記
モニタ装置上の視線方向を検出する視線検出手段と、前
記視線検出手段が検出した視線方向に前記撮像手段の撮
像方向および前記受音手段の集音方向を移動させる受信
方向移動手段を設けるようにする。また映像信号と音声
信号を同時に出力する信号処理方式において、映像信号
出力を注目する視聴者の視線方向を検出する視線検出機
能と、前記視線検出機能が検出した視線方向に位置する
発音源を特定する音源特定機能と、前記音源特定機能が
特定した前記発音源からの音声信号を選択して増幅し、
他の音源からの音声信号を抑圧して、音声信号に重みを
つけて出力する音声信号出力機能とを具備するようにす
る。このような装置によって、またはこのような方式を
採用することによって、視聴者がどの音源に着目してい
るかを視聴者の視線方向から求め、視線方向にある音源
の音量に自動的に重みづけを行い、あるいは撮像方向集
音方向を変えて、視聴者が着目している特定の話者や特
定の発音源からの信号を正しく聞き分けることができる
ようになる。
号を表示する画像モニタ手段と、音声信号を出力する受
話手段とを具備するテレビ受像機、ビデオ再生装置、テ
レビ会議装置、テレビ監視装置などの信号処理装置にお
いて、信号処理装置の視聴者の前記モニタ装置上の視線
方向を検出する視線検出手段と、前記視線検出手段が検
出した視線方向に位置する発音源を特定する音源特定手
段と、前記音源特定手段が特定した発音源からの音声信
号を選択して増幅し、他の音源からの音声信号を抑圧し
て、音声信号に重みづけを行う音声信号重み付け手段と
を設けるようにした。あるいは、対象を撮像する撮像手
段と、前記撮像手段が撮像した映像信号を表示する画像
モニタ手段と、対象が発する音声信号を集音する受音手
段と、前記受音手段が集音した音声信号を出力する受話
手段とを具備するテレビ会議装置、テレビ監視装置など
の信号処理装置において、信号処理装置の視聴者の前記
モニタ装置上の視線方向を検出する視線検出手段と、前
記視線検出手段が検出した視線方向に前記撮像手段の撮
像方向および前記受音手段の集音方向を移動させる受信
方向移動手段を設けるようにする。また映像信号と音声
信号を同時に出力する信号処理方式において、映像信号
出力を注目する視聴者の視線方向を検出する視線検出機
能と、前記視線検出機能が検出した視線方向に位置する
発音源を特定する音源特定機能と、前記音源特定機能が
特定した前記発音源からの音声信号を選択して増幅し、
他の音源からの音声信号を抑圧して、音声信号に重みを
つけて出力する音声信号出力機能とを具備するようにす
る。このような装置によって、またはこのような方式を
採用することによって、視聴者がどの音源に着目してい
るかを視聴者の視線方向から求め、視線方向にある音源
の音量に自動的に重みづけを行い、あるいは撮像方向集
音方向を変えて、視聴者が着目している特定の話者や特
定の発音源からの信号を正しく聞き分けることができる
ようになる。
【図１】本発明の信号処理装置をテレビ受像機に用いた
一実施形態のブロック図。
一実施形態のブロック図。
【図２】図１の実施形態で用いられる音声の重みづけ回
路ブロック図。
路ブロック図。
【図３】本発明の信号処理装置を監視システムに用いた
一実施形態のブロック図。
一実施形態のブロック図。
【図４】本発明の信号処理装置を監視システムに用いた
他の実施形態のブロック図。
他の実施形態のブロック図。
１……アンテナ、２……チューナ、３……ビデオレコー
ダ、４……切り替えスイッチ、５……映像／音声分離回
路、６……映像処理回路、７……モニタ装置、８……音
声処理回路、９……左スピーカ、１０……右スピーカ、
１１……ビデオカメラ、１２……視線検出回路、１３…
…視聴者、２１……重み係数決定回路、２２……左側音
声処理回路、２３……右側音声処理回路、２４……左側
加算回路、２５……右側加算回路、２６……左側増幅回
路、２７……右側増幅回路、３１……監視カメラ、３２
……映像切り替えスイッチ、３３……指向性マイクロホ
ン、３４……単位マイクロホン、３５……音声信号切り
替えスイッチ、３６……モータ駆動装置。
ダ、４……切り替えスイッチ、５……映像／音声分離回
路、６……映像処理回路、７……モニタ装置、８……音
声処理回路、９……左スピーカ、１０……右スピーカ、
１１……ビデオカメラ、１２……視線検出回路、１３…
…視聴者、２１……重み係数決定回路、２２……左側音
声処理回路、２３……右側音声処理回路、２４……左側
加算回路、２５……右側加算回路、２６……左側増幅回
路、２７……右側増幅回路、３１……監視カメラ、３２
……映像切り替えスイッチ、３３……指向性マイクロホ
ン、３４……単位マイクロホン、３５……音声信号切り
替えスイッチ、３６……モータ駆動装置。
Claims (5)
- 【請求項１】 映像信号を表示する画像モニタ手段と、
音声信号を出力する受話手段とを具備するテレビ受像
機、ビデオ再生装置などの信号処理装置において、 信号処理装置の視聴者の前記モニタ装置上の視線方向を
検出する視線検出手段と、 前記視線検出手段が検出した視線方向に位置する発音源
を特定する音源特定手段と、 前記音源特定手段が特定した前記発音源からの音声信号
を選択して増幅し、他の音源からの音声信号を抑圧し
て、音声信号に重みづけを行う音声信号重み付け手段と
を具備することを特徴とする信号処理装置。 - 【請求項２】 対象を撮像する第１の撮像手段と、前記
第１の撮像手段が撮像した映像信号を表示する画像モニ
タ手段と、対象が発する音声信号を集音する受音手段
と、前記受音手段が集音した音声信号を出力する受話手
段とを具備するテレビ会議装置、テレビ監視装置などの
信号処理装置において、 信号処理装置の視聴者の前記モニタ装置上の視線方向を
検出する視線検出手段と、 前記視線検出手段が検出した視線方向に位置する発音源
を特定する音源特定手段と、 前記音源特定手段が特定した前記発音源からの音声信号
を選択して増幅し、他の音源からの音声信号を抑圧し
て、音声信号に重みづけを行う音声信号重み付け手段と
を具備することを特徴とする信号処理装置。 - 【請求項３】 対象を撮像する第１の撮像手段と、前記
第１の撮像手段が撮像した映像信号を表示する画像モニ
タ手段と、対象が発する音声信号を集音する受音手段
と、前記受音手段が集音した音声信号を出力する受話手
段とを具備するテレビ会議装置、テレビ監視装置などの
信号処理装置において、 信号処理装置の視聴者の前記モニタ装置上の視線方向を
検出する視線検出手段と、 前記視線検出手段が検出した視線方向に前記第１の撮像
手段の撮像方向および前記受音手段の集音方向を移動さ
せる受信方向移動手段とを具備することを特徴とする信
号処理装置。 - 【請求項４】 前記視線検出手段は、前記視聴者の顔画
像をとらえる第２の撮像手段と、 前記第２の撮像手段がとらえた前記顔画像から眼球およ
び瞼の領域を分離して検出する目領域分離手段と、 前記目領域分離手段が分離検出した前記眼球および瞼の
領域から眼球の方向変化と瞼の形状変化を抽出する抽出
手段と、 前記抽出手段が抽出した眼球の方向変化と瞼の形状変化
から視線方向を特定する視線方向特定手段を有すること
を特徴とする請求項１ないし請求項３のいずれか１項に
記載の信号処理装置。 - 【請求項５】 映像信号と音声信号を同時に出力する信
号処理方式において、 映像信号出力を注目する視聴者の視線方向を検出する視
線検出機能と、 前記視線検出機能が検出した視線方向に位置する発音源
を特定する音源特定機能と、 前記音源特定機能が特定した前記発音源からの音声信号
を選択して増幅し、他の音源からの音声信号を抑圧し
て、音声信号に重みをつけて出力する音声信号出力機能
とを具備することを特徴とする信号処理方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8085214A JPH09275533A (ja) | 1996-04-08 | 1996-04-08 | 信号処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8085214A JPH09275533A (ja) | 1996-04-08 | 1996-04-08 | 信号処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09275533A true JPH09275533A (ja) | 1997-10-21 |
Family
ID=13852335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8085214A Abandoned JPH09275533A (ja) | 1996-04-08 | 1996-04-08 | 信号処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09275533A (ja) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11234640A (ja) * | 1998-02-17 | 1999-08-27 | Sony Corp | 通信制御システム |
| WO2000022823A1 (en) * | 1998-10-09 | 2000-04-20 | Sony Corporation | Communication apparatus and method |
| JP2000138913A (ja) * | 1998-10-30 | 2000-05-16 | Sony Corp | 情報処理装置および方法、並びに提供媒体 |
| GB2351425A (en) * | 1999-01-20 | 2000-12-27 | Canon Kk | Video conferencing apparatus |
| WO2001039479A1 (en) * | 1999-11-24 | 2001-05-31 | Sony Corporation | Communication system |
| US6608644B1 (en) | 1999-11-24 | 2003-08-19 | Sony Corporation | Communication system |
| JP2005045779A (ja) * | 2003-07-02 | 2005-02-17 | Fuji Xerox Co Ltd | オーディオ装置を管理する方法およびインタフェース・ツール、並びにオーディオ装置を管理するコンピュータが実行するコンピュータ・プログラム製品 |
| EP1613069A4 (en) * | 2003-04-08 | 2006-04-12 | Sony Corp | PLAYING DEVICE AND PLAYING METHOD |
| JP2008005208A (ja) * | 2006-06-22 | 2008-01-10 | Nec Corp | スポーツ競技におけるカメラ自動制御システム、カメラ自動制御方法、カメラ自動制御装置、およびプログラム |
| CN100430997C (zh) * | 2004-09-20 | 2008-11-05 | Lg电子株式会社 | 调整移动通信终端显示的装置及方法 |
| JP2008312002A (ja) * | 2007-06-15 | 2008-12-25 | Yamaha Corp | テレビ会議装置 |
| JP2009060220A (ja) * | 2007-08-30 | 2009-03-19 | Konica Minolta Holdings Inc | コミュニケーションシステム及びコミュニケーションプログラム |
| JP2011066467A (ja) * | 2009-09-15 | 2011-03-31 | Brother Industries Ltd | テレビ会議端末装置、テレビ会議端末装置の音声制御方法、音声制御プログラム |
| US8411165B2 (en) | 2003-10-20 | 2013-04-02 | Sony Corporation | Microphone apparatus, reproducing apparatus, and image taking apparatus |
| JP2015142185A (ja) * | 2014-01-27 | 2015-08-03 | 日本電信電話株式会社 | 視聴方法、視聴端末及び視聴プログラム |
| JP2017083661A (ja) * | 2015-10-28 | 2017-05-18 | 株式会社リコー | 通信システム、通信装置、通信方法およびプログラム |
| WO2018066376A1 (ja) * | 2016-10-05 | 2018-04-12 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| JP2020088618A (ja) * | 2018-11-27 | 2020-06-04 | 株式会社リコー | ビデオ会議システム、通信端末、及び通信端末のマイクロホンの制御方法 |
| CN112262367A (zh) * | 2018-04-09 | 2021-01-22 | 脸谱公司 | 基于用户参与度的音频选择 |
| CN114604800B (zh) * | 2022-03-31 | 2023-12-15 | 江苏西顿科技有限公司 | 一种防爆agv车 |
-
1996
- 1996-04-08 JP JP8085214A patent/JPH09275533A/ja not_active Abandoned
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11234640A (ja) * | 1998-02-17 | 1999-08-27 | Sony Corp | 通信制御システム |
| US6606111B1 (en) | 1998-10-09 | 2003-08-12 | Sony Corporation | Communication apparatus and method thereof |
| WO2000022823A1 (en) * | 1998-10-09 | 2000-04-20 | Sony Corporation | Communication apparatus and method |
| KR100639750B1 (ko) * | 1998-10-09 | 2006-10-31 | 소니 가부시끼 가이샤 | 통신 장치 및 방법 |
| JP2000138913A (ja) * | 1998-10-30 | 2000-05-16 | Sony Corp | 情報処理装置および方法、並びに提供媒体 |
| GB2351425A (en) * | 1999-01-20 | 2000-12-27 | Canon Kk | Video conferencing apparatus |
| US6608644B1 (en) | 1999-11-24 | 2003-08-19 | Sony Corporation | Communication system |
| WO2001039479A1 (en) * | 1999-11-24 | 2001-05-31 | Sony Corporation | Communication system |
| KR100697757B1 (ko) * | 1999-11-24 | 2007-03-21 | 소니 가부시끼 가이샤 | 통신 시스템 |
| EP1613069A4 (en) * | 2003-04-08 | 2006-04-12 | Sony Corp | PLAYING DEVICE AND PLAYING METHOD |
| EP1613069B1 (en) * | 2003-04-08 | 2020-02-26 | Sony Corporation | Reproduction device and reproduction method |
| JP2005045779A (ja) * | 2003-07-02 | 2005-02-17 | Fuji Xerox Co Ltd | オーディオ装置を管理する方法およびインタフェース・ツール、並びにオーディオ装置を管理するコンピュータが実行するコンピュータ・プログラム製品 |
| US8126155B2 (en) | 2003-07-02 | 2012-02-28 | Fuji Xerox Co., Ltd. | Remote audio device management system |
| US8411165B2 (en) | 2003-10-20 | 2013-04-02 | Sony Corporation | Microphone apparatus, reproducing apparatus, and image taking apparatus |
| CN100430997C (zh) * | 2004-09-20 | 2008-11-05 | Lg电子株式会社 | 调整移动通信终端显示的装置及方法 |
| JP2008005208A (ja) * | 2006-06-22 | 2008-01-10 | Nec Corp | スポーツ競技におけるカメラ自動制御システム、カメラ自動制御方法、カメラ自動制御装置、およびプログラム |
| JP2008312002A (ja) * | 2007-06-15 | 2008-12-25 | Yamaha Corp | テレビ会議装置 |
| JP2009060220A (ja) * | 2007-08-30 | 2009-03-19 | Konica Minolta Holdings Inc | コミュニケーションシステム及びコミュニケーションプログラム |
| JP2011066467A (ja) * | 2009-09-15 | 2011-03-31 | Brother Industries Ltd | テレビ会議端末装置、テレビ会議端末装置の音声制御方法、音声制御プログラム |
| JP2015142185A (ja) * | 2014-01-27 | 2015-08-03 | 日本電信電話株式会社 | 視聴方法、視聴端末及び視聴プログラム |
| JP2017083661A (ja) * | 2015-10-28 | 2017-05-18 | 株式会社リコー | 通信システム、通信装置、通信方法およびプログラム |
| WO2018066376A1 (ja) * | 2016-10-05 | 2018-04-12 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| CN112262367A (zh) * | 2018-04-09 | 2021-01-22 | 脸谱公司 | 基于用户参与度的音频选择 |
| JP2021518072A (ja) * | 2018-04-09 | 2021-07-29 | フェイスブック，インク． | ユーザ関与に基づくオーディオ選択 |
| JP2020088618A (ja) * | 2018-11-27 | 2020-06-04 | 株式会社リコー | ビデオ会議システム、通信端末、及び通信端末のマイクロホンの制御方法 |
| CN114604800B (zh) * | 2022-03-31 | 2023-12-15 | 江苏西顿科技有限公司 | 一种防爆agv车 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH09275533A (ja) | 信号処理装置 | |
| US8115799B2 (en) | Method and apparatus for obtaining acoustic source location information and a multimedia communication system | |
| KR101861590B1 (ko) | 휴대용 단말기에서 입체 데이터를 생성하기 위한 장치 및 방법 | |
| KR100986228B1 (ko) | 카메라 장치 및 화상 기록 재생 방법 | |
| KR20070086269A (ko) | 영상 음성 기록 장치 및 방법과, 영상 음성 재생 장치 및방법 | |
| KR20150031179A (ko) | 오디오 접근성 | |
| US8064754B2 (en) | Method and communication apparatus for reproducing a moving picture, and use in a videoconference system | |
| JP3157769B2 (ja) | Ｔｖ音声制御装置 | |
| JP2009065587A (ja) | 音声記録装置及び音声再生装置 | |
| JPH0955925A (ja) | 画像システム | |
| JP2003032776A (ja) | 再生システム | |
| JP5214394B2 (ja) | カメラ | |
| JP2007274462A (ja) | テレビ会議装置、テレビ会議システム | |
| JP6835205B2 (ja) | 撮影収音装置、収音制御システム、撮影収音装置の制御方法、及び収音制御システムの制御方法 | |
| JP4244416B2 (ja) | 情報処理装置および方法、並びに記録媒体 | |
| JP7111202B2 (ja) | 収音制御システム及び収音制御システムの制御方法 | |
| JP5750668B2 (ja) | カメラ、再生装置、および再生方法 | |
| JPS60208184A (ja) | テレビ会議装置 | |
| JP2009065490A (ja) | テレビ会議装置 | |
| WO2010061791A1 (ja) | 映像制御装置およびそれを備えた撮像装置、表示装置 | |
| JPH07162827A (ja) | 多地点通信方法および通信端末 | |
| JP2001008285A (ja) | 音声帯域信号処理方法及び音声帯域信号処理装置 | |
| JP2630041B2 (ja) | テレビ会議画像表示制御方法 | |
| JP2522787B2 (ja) | 立体テレビジヨン収録装置 | |
| JPH069391B2 (ja) | テレビ会議システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040608 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040806 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041130 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20050114 |