JP2003189273A - 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム - Google Patents
発言者識別装置及び該発言者識別装置を備えたテレビ会議システムInfo
- Publication number
- JP2003189273A JP2003189273A JP2001387569A JP2001387569A JP2003189273A JP 2003189273 A JP2003189273 A JP 2003189273A JP 2001387569 A JP2001387569 A JP 2001387569A JP 2001387569 A JP2001387569 A JP 2001387569A JP 2003189273 A JP2003189273 A JP 2003189273A
- Authority
- JP
- Japan
- Prior art keywords
- person
- sound source
- detected
- speaker
- video conference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 発言者を常に正確にモニタ画面に表示するこ
とが可能なテレビ会議システムを提供する。 【解決手段】 入力音声の音源方向を検出する方向検出
部２によって得られた音源方向の入力画像の中から、人
物を検出する人間検出部３にて人物を検出した場合に、
ＣＧＲＯＭ６とスーパインポーズ発生回路４とにより、
モニタ画面上で、検出された該人物の画像周辺に、発言
者を示す所定のマーカを表示する。人間検出部３には、
入力画像の中から、人物の顔の色を抽出して人物を検出
する顔抽出手段３ａ，人物の顔の輪郭及び目乃至鼻乃至
唇を検出する顔輪郭検出手段３ｂ，唇の動きを検出する
ことにより発言者を検出する唇検出手段３ｃを備える。
また、方向検出部２は、テレビ会議参加者として予め入
力された音源の特徴を記憶する第１記憶メモリと新たに
入力された音源の特徴を前記第１記憶メモリに記憶され
た音源の特徴と比較する音源特徴比較手段とを備えるこ
ともできる。
とが可能なテレビ会議システムを提供する。 【解決手段】 入力音声の音源方向を検出する方向検出
部２によって得られた音源方向の入力画像の中から、人
物を検出する人間検出部３にて人物を検出した場合に、
ＣＧＲＯＭ６とスーパインポーズ発生回路４とにより、
モニタ画面上で、検出された該人物の画像周辺に、発言
者を示す所定のマーカを表示する。人間検出部３には、
入力画像の中から、人物の顔の色を抽出して人物を検出
する顔抽出手段３ａ，人物の顔の輪郭及び目乃至鼻乃至
唇を検出する顔輪郭検出手段３ｂ，唇の動きを検出する
ことにより発言者を検出する唇検出手段３ｃを備える。
また、方向検出部２は、テレビ会議参加者として予め入
力された音源の特徴を記憶する第１記憶メモリと新たに
入力された音源の特徴を前記第１記憶メモリに記憶され
た音源の特徴と比較する音源特徴比較手段とを備えるこ
ともできる。
Description
【０００１】
【発明の属する技術分野】本発明は、テレビ会議システ
ムの発言者識別装置及び該発言者識別装置を備えたテレ
ビ会議システムに関する。特に、複数の参加者によりテ
レビ会議を行なっている際に、発言者を識別可能なマー
カ（目印）を付与してモニタ画面にマーキング表示する
機能を有するテレビ会議システムの発言者識別装置及び
該発言者識別装置を備えたテレビ会議システムに関す
る。
ムの発言者識別装置及び該発言者識別装置を備えたテレ
ビ会議システムに関する。特に、複数の参加者によりテ
レビ会議を行なっている際に、発言者を識別可能なマー
カ（目印）を付与してモニタ画面にマーキング表示する
機能を有するテレビ会議システムの発言者識別装置及び
該発言者識別装置を備えたテレビ会議システムに関す
る。
【０００２】
【従来の技術】テレビ会議を行なう際に、発言者を識別
し、マーカ（目印）のマーキング表示を行なうテレビ会
議システムの従来技術としては、例えば、特開平８−３
７６５５号公報「話者識別表示機能を有するテレビ会議
システム」において開示されているように、音声の入力
方向のみを識別して、発言者が存在している方向を決定
し、マーキング表示を行なうものがある。即ち、特開平
８−３７６５５号公報に開示されている技術において
は、複数の参加者によりテレビ会議を行なっている際
に、音の発生方向を検出する音声方向検出器即ち方向検
出手段からの音声方向のデータに基づいて、モニタ画面
上の位置（座標）を求めて、該テレビ会議において発言
している発言者（話者）の位置にカメラ装置が自動的に
移動し、更に、モニタ画面に、該発言者が写し出された
際には、該発言者が識別できるようなマーカ（目印）を
付与するように構成されているものであり、テレビ会議
で発言している参加者を容易に識別することが可能であ
るとしている。
し、マーカ（目印）のマーキング表示を行なうテレビ会
議システムの従来技術としては、例えば、特開平８−３
７６５５号公報「話者識別表示機能を有するテレビ会議
システム」において開示されているように、音声の入力
方向のみを識別して、発言者が存在している方向を決定
し、マーキング表示を行なうものがある。即ち、特開平
８−３７６５５号公報に開示されている技術において
は、複数の参加者によりテレビ会議を行なっている際
に、音の発生方向を検出する音声方向検出器即ち方向検
出手段からの音声方向のデータに基づいて、モニタ画面
上の位置（座標）を求めて、該テレビ会議において発言
している発言者（話者）の位置にカメラ装置が自動的に
移動し、更に、モニタ画面に、該発言者が写し出された
際には、該発言者が識別できるようなマーカ（目印）を
付与するように構成されているものであり、テレビ会議
で発言している参加者を容易に識別することが可能であ
るとしている。
【０００３】
【発明が解決しようとする課題】しかしながら、かかる
従来の発言者識別表示機能を有するテレビ会議システム
にあっては、テレビ会議の参加者の発言そのものを識別
することを可能としているものではなく、何らかの音即
ち物音が発生している場合に、該物音の発生方向のみに
基づいて、マーカ（目印）を付与してしまう構成となっ
ている。したがって、テレビ会議の参加者の発言以外の
音声や物音が発生した場合であっても、発言者識別のマ
ーカ（目印）表示がなされてしまうという問題がある。
例えば、くしゃみやペンを落とした音、あるいは、マイ
クに物をぶつけた音など、参加者の発言以外の物音によ
っても、マーカ（目印）のマーキング表示が行なわれて
しまうため、モニタ画面上に、テレビ会議にて真に必要
とする発言者を示す位置とは異なる位置にマーキング表
示が行なわれたり、あるいは、あらぬ方向にカメラ装置
の向きが移動してしまったりして、テレビ会議参加者に
とっては、モニタ画面が非常に見難くなったり、紛らわ
しく感じられる場合が生じてしまう。
従来の発言者識別表示機能を有するテレビ会議システム
にあっては、テレビ会議の参加者の発言そのものを識別
することを可能としているものではなく、何らかの音即
ち物音が発生している場合に、該物音の発生方向のみに
基づいて、マーカ（目印）を付与してしまう構成となっ
ている。したがって、テレビ会議の参加者の発言以外の
音声や物音が発生した場合であっても、発言者識別のマ
ーカ（目印）表示がなされてしまうという問題がある。
例えば、くしゃみやペンを落とした音、あるいは、マイ
クに物をぶつけた音など、参加者の発言以外の物音によ
っても、マーカ（目印）のマーキング表示が行なわれて
しまうため、モニタ画面上に、テレビ会議にて真に必要
とする発言者を示す位置とは異なる位置にマーキング表
示が行なわれたり、あるいは、あらぬ方向にカメラ装置
の向きが移動してしまったりして、テレビ会議参加者に
とっては、モニタ画面が非常に見難くなったり、紛らわ
しく感じられる場合が生じてしまう。
【０００４】本発明は、かかる課題を解決するためにな
されたものであり、画像及び音声を入力し送受信するテ
レビ会議システムにおいて、例えば、入力音声から音源
方向を検出する方向検出手段と、入力画像から人物を検
出する人間検出手段とを具備し、更に、前記人間検出手
段にて検出された人物の画像周辺に前以って定められて
いる所定のマーカ（目印）を表示するマーキング手段を
具備し、前記方向検出手段によって得られた音源方向に
おいて、前記人間検出手段により人物が検出された場合
に、始めて、テレビ会議における発言者による発声音声
であると判定して、前記マーキング手段により、表示さ
れているモニタ画面上の該人物の画像周辺に発言者を示
す所定のマーカをマーキング表示させることを可能とす
るテレビ会議システムの発言者識別装置及び該発言者識
別装置を備えたテレビ会議システムを提供せんとするも
のである。
されたものであり、画像及び音声を入力し送受信するテ
レビ会議システムにおいて、例えば、入力音声から音源
方向を検出する方向検出手段と、入力画像から人物を検
出する人間検出手段とを具備し、更に、前記人間検出手
段にて検出された人物の画像周辺に前以って定められて
いる所定のマーカ（目印）を表示するマーキング手段を
具備し、前記方向検出手段によって得られた音源方向に
おいて、前記人間検出手段により人物が検出された場合
に、始めて、テレビ会議における発言者による発声音声
であると判定して、前記マーキング手段により、表示さ
れているモニタ画面上の該人物の画像周辺に発言者を示
す所定のマーカをマーキング表示させることを可能とす
るテレビ会議システムの発言者識別装置及び該発言者識
別装置を備えたテレビ会議システムを提供せんとするも
のである。
【０００５】
【課題を解決するための手段】本発明に係るテレビ会議
システムの発言者識別装置及び該発言者識別装置を備え
たテレビ会議システムは、以下の具体的な技術手段によ
り構成されている。
システムの発言者識別装置及び該発言者識別装置を備え
たテレビ会議システムは、以下の具体的な技術手段によ
り構成されている。
【０００６】第１の技術手段は、画像及び音声を入力し
送受信するテレビ会議システムにおける発言者を識別す
るテレビ会議システムの発言者識別装置において、入力
音声から音源方向を検出する方向検出手段と、入力画像
内から人物を検出する人間検出手段と、表示されている
モニタ画面上において前記人間検出手段にて検出された
人物の画像周辺に前以って定められているマーカを表示
するマーキング手段とを具備し、前記方向検出手段によ
って得られた音源方向に前記人間検出手段にて人物を検
出した場合に、テレビ会議における発言者として前記マ
ーキング手段により発言者を示すマーカをマーキング表
示させるテレビ会議システムの発言者識別装置とするこ
とを特徴とするものである。
送受信するテレビ会議システムにおける発言者を識別す
るテレビ会議システムの発言者識別装置において、入力
音声から音源方向を検出する方向検出手段と、入力画像
内から人物を検出する人間検出手段と、表示されている
モニタ画面上において前記人間検出手段にて検出された
人物の画像周辺に前以って定められているマーカを表示
するマーキング手段とを具備し、前記方向検出手段によ
って得られた音源方向に前記人間検出手段にて人物を検
出した場合に、テレビ会議における発言者として前記マ
ーキング手段により発言者を示すマーカをマーキング表
示させるテレビ会議システムの発言者識別装置とするこ
とを特徴とするものである。
【０００７】第２の技術手段は、前記第１の技術手段に
おいて、前記人間検出手段が、人物の顔の色を抽出して
人物を検出する顔抽出手段を更に具備しているテレビ会
議システムの発言者識別装置とすることを特徴とするも
のである。
おいて、前記人間検出手段が、人物の顔の色を抽出して
人物を検出する顔抽出手段を更に具備しているテレビ会
議システムの発言者識別装置とすることを特徴とするも
のである。
【０００８】第３の技術手段は、前記第１又は第２の技
術手段において、前記人間検出手段が、人物の顔の輪郭
及び目乃至鼻乃至口の輪郭を抽出して人物を検出する顔
輪郭抽出手段を更に具備しているテレビ会議システムの
発言者識別装置とすることを特徴とするものである。
術手段において、前記人間検出手段が、人物の顔の輪郭
及び目乃至鼻乃至口の輪郭を抽出して人物を検出する顔
輪郭抽出手段を更に具備しているテレビ会議システムの
発言者識別装置とすることを特徴とするものである。
【０００９】第４の技術手段は、前記第１乃至第３の技
術手段において、前記人間検出手段が、人物の唇が動い
ていることを検出する唇検出手段を更に具備しているテ
レビ会議システムの発言者識別装置とすることを特徴と
するものである。
術手段において、前記人間検出手段が、人物の唇が動い
ていることを検出する唇検出手段を更に具備しているテ
レビ会議システムの発言者識別装置とすることを特徴と
するものである。
【００１０】第５の技術手段は、前記第４の技術手段に
おいて、前記唇検出手段にて、人物の唇が動いているこ
とが検出された場合に、前記マーキング手段にて発言者
を示す前記マーカをマーキング表示させるテレビ会議シ
ステムの発言者識別装置とすることを特徴とするもので
ある。
おいて、前記唇検出手段にて、人物の唇が動いているこ
とが検出された場合に、前記マーキング手段にて発言者
を示す前記マーカをマーキング表示させるテレビ会議シ
ステムの発言者識別装置とすることを特徴とするもので
ある。
【００１１】第６の技術手段は、前記第５の技術手段に
おいて、前記方向検出手段によって得られた音源方向に
前記人間検出手段にて人物が検出された場合であり、か
つ、前記唇検出手段にて、人物の唇が動いていることが
検出された場合に、前記マーキング手段にて発言者を示
す前記マーカをマーキング表示させるテレビ会議システ
ムの発言者識別装置とすることを特徴とするものであ
る。
おいて、前記方向検出手段によって得られた音源方向に
前記人間検出手段にて人物が検出された場合であり、か
つ、前記唇検出手段にて、人物の唇が動いていることが
検出された場合に、前記マーキング手段にて発言者を示
す前記マーカをマーキング表示させるテレビ会議システ
ムの発言者識別装置とすることを特徴とするものであ
る。
【００１２】第７の技術手段は、前記第１乃至第６のい
ずれかの技術手段において、前記方向検出手段が、音源
の特徴を記憶する第１記憶手段と、新たに入力された音
源の特徴と前記第１記憶手段に記憶された前記音源の特
徴とを比較する音源特徴比較手段とを更に具備し、前記
人間検出手段が、検出された人物の画像位置を記憶する
第２記憶手段を更に具備し、前記音源特徴比較手段によ
って新たに入力された音源の特徴と前記第１記憶手段に
記憶された前記音源の特徴とが一致していることが検出
された場合、前記第２記憶手段に記憶された前記人物の
前記画像位置を読み出して、モニタ画面に表示された前
記人物の画像周辺に前記マーキング手段により発言者を
示す前記マーカをマーキング表示させるテレビ会議シス
テムの発言者識別装置とすることを特徴とするものであ
る。
ずれかの技術手段において、前記方向検出手段が、音源
の特徴を記憶する第１記憶手段と、新たに入力された音
源の特徴と前記第１記憶手段に記憶された前記音源の特
徴とを比較する音源特徴比較手段とを更に具備し、前記
人間検出手段が、検出された人物の画像位置を記憶する
第２記憶手段を更に具備し、前記音源特徴比較手段によ
って新たに入力された音源の特徴と前記第１記憶手段に
記憶された前記音源の特徴とが一致していることが検出
された場合、前記第２記憶手段に記憶された前記人物の
前記画像位置を読み出して、モニタ画面に表示された前
記人物の画像周辺に前記マーキング手段により発言者を
示す前記マーカをマーキング表示させるテレビ会議シス
テムの発言者識別装置とすることを特徴とするものであ
る。
【００１３】第８の技術手段は、前記第７の技術手段に
おいて、前記音源特徴比較手段が、前記第１記憶手段に
記憶された前記音源の特徴のうち、前記新たに入力され
た音源の方向にある音源の特徴を読み出し、前記音源特
徴比較手段によって新たに入力された音源の特徴とを比
較して一致していないことが検出された場合において、
前記方向検出手段によって得られた音源方向に前記人間
検出手段にて人物を検出した場合には、前記新たに入力
された音源の特徴を前記第１記憶メモリに記憶し直すと
共に、前記人間検出手段にて検出された該人物の画像位
置を前記第２記憶メモリに記憶させるテレビ会議システ
ムの発言者識別装置とすることを特徴とするものであ
る。
おいて、前記音源特徴比較手段が、前記第１記憶手段に
記憶された前記音源の特徴のうち、前記新たに入力され
た音源の方向にある音源の特徴を読み出し、前記音源特
徴比較手段によって新たに入力された音源の特徴とを比
較して一致していないことが検出された場合において、
前記方向検出手段によって得られた音源方向に前記人間
検出手段にて人物を検出した場合には、前記新たに入力
された音源の特徴を前記第１記憶メモリに記憶し直すと
共に、前記人間検出手段にて検出された該人物の画像位
置を前記第２記憶メモリに記憶させるテレビ会議システ
ムの発言者識別装置とすることを特徴とするものであ
る。
【００１４】第９の技術手段は、前記第７又は第８の技
術手段において、前記音源特徴比較手段が、前記第１記
憶手段に記憶された前記音源の特徴のうち、前記新たに
入力された音源の方向にある音源の特徴を読み出し、前
記音源特徴比較手段によって新たに入力された音源の特
徴とを比較して一致していないことが検出された場合に
おいて、前記方向検出手段によって得られた音源方向に
前記人間検出手段にて人物を検出しなかった場合には、
前記マーキング手段による発言者を示す前記マーカのマ
ーキング表示を元の状態のままとするテレビ会議システ
ムの発言者識別装置とすることを特徴とするものであ
る。
術手段において、前記音源特徴比較手段が、前記第１記
憶手段に記憶された前記音源の特徴のうち、前記新たに
入力された音源の方向にある音源の特徴を読み出し、前
記音源特徴比較手段によって新たに入力された音源の特
徴とを比較して一致していないことが検出された場合に
おいて、前記方向検出手段によって得られた音源方向に
前記人間検出手段にて人物を検出しなかった場合には、
前記マーキング手段による発言者を示す前記マーカのマ
ーキング表示を元の状態のままとするテレビ会議システ
ムの発言者識別装置とすることを特徴とするものであ
る。
【００１５】第１０の技術手段は、前記第７乃至第９の
いずれかの技術手段において、前記第２記憶手段が、前
記人間検出手段が具備している顔輪郭抽出手段により入
力画像の中の人物の顔の輪郭及び／又は目乃至鼻乃至口
の輪郭に関する顔特徴を抽出して記憶する顔特徴記憶手
段を更に具備し、前記人間検出手段が、該顔特徴記憶手
段に記憶された前記顔特徴と前記顔輪郭抽出手段により
入力画像の中から新たに抽出された顔特徴とを比較する
顔特徴比較手段を更に具備し、前記音源特徴比較手段に
よって新たに入力された音源の特徴と前記第１記憶手段
に記憶された前記音源の特徴とが一致していることが検
出された場合、前記顔特徴比較手段において、前記顔特
徴記憶手段に記憶された前記顔特徴と前記顔輪郭抽出手
段によって新たに抽出された顔特徴とを比較して、一致
していることが検出された場合には、前記第２記憶手段
に記憶された人物の前記画像位置を読み出して、モニタ
画面に表示された前記人物の画像周辺に前記マーキング
手段により発言者を示す前記マーカをマーキング表示さ
せるテレビ会議システムの発言者識別装置とすることを
特徴とするものである。
いずれかの技術手段において、前記第２記憶手段が、前
記人間検出手段が具備している顔輪郭抽出手段により入
力画像の中の人物の顔の輪郭及び／又は目乃至鼻乃至口
の輪郭に関する顔特徴を抽出して記憶する顔特徴記憶手
段を更に具備し、前記人間検出手段が、該顔特徴記憶手
段に記憶された前記顔特徴と前記顔輪郭抽出手段により
入力画像の中から新たに抽出された顔特徴とを比較する
顔特徴比較手段を更に具備し、前記音源特徴比較手段に
よって新たに入力された音源の特徴と前記第１記憶手段
に記憶された前記音源の特徴とが一致していることが検
出された場合、前記顔特徴比較手段において、前記顔特
徴記憶手段に記憶された前記顔特徴と前記顔輪郭抽出手
段によって新たに抽出された顔特徴とを比較して、一致
していることが検出された場合には、前記第２記憶手段
に記憶された人物の前記画像位置を読み出して、モニタ
画面に表示された前記人物の画像周辺に前記マーキング
手段により発言者を示す前記マーカをマーキング表示さ
せるテレビ会議システムの発言者識別装置とすることを
特徴とするものである。
【００１６】第１１の技術手段は、前記第１０の技術手
段において、前記顔特徴比較手段において、前記顔特徴
記憶手段に記憶された前記顔特徴と前記人間検出手段の
顔輪郭抽出手段によって新たに抽出された顔特徴とを比
較して、一致していないことが検出された場合、前記マ
ーキング手段による発言者を示す前記マーカのマーキン
グ表示を元の状態のままとするテレビ会議システムの発
言者識別装置とすることを特徴とするものである。
段において、前記顔特徴比較手段において、前記顔特徴
記憶手段に記憶された前記顔特徴と前記人間検出手段の
顔輪郭抽出手段によって新たに抽出された顔特徴とを比
較して、一致していないことが検出された場合、前記マ
ーキング手段による発言者を示す前記マーカのマーキン
グ表示を元の状態のままとするテレビ会議システムの発
言者識別装置とすることを特徴とするものである。
【００１７】第１２の技術手段は、前記第１乃至第１１
のいずれかの技術手段において、前記方向検出手段が、
音源の特徴を記憶する第１記憶手段と、新たに入力され
た音源の特徴と前記第１記憶手段に記憶された前記音源
の特徴とを比較する音源特徴比較手段とを更に具備し、
前記人間検出手段が、検出された人物の画像位置を記憶
する第２記憶手段と、検出された人物の唇が動いている
ことを検出する唇検出手段とを更に具備し、前記音源特
徴比較手段によって新たに入力された音源の特徴と前記
第１記憶手段に記憶された前記音源の特徴とが一致して
いることが検出された場合、前記唇検出手段によって前
記音源の特徴が一致している方向にいる人物の唇が動い
ていることが検出された場合には、前記第２記憶手段に
記憶された人物の前記画像位置を読み出して、モニタ画
面に表示された前記人物の画像周辺に前記マーキング手
段により発言者を示す前記マーカをマーキング表示させ
るテレビ会議システムの発言者識別装置とすることを特
徴とするものである。
のいずれかの技術手段において、前記方向検出手段が、
音源の特徴を記憶する第１記憶手段と、新たに入力され
た音源の特徴と前記第１記憶手段に記憶された前記音源
の特徴とを比較する音源特徴比較手段とを更に具備し、
前記人間検出手段が、検出された人物の画像位置を記憶
する第２記憶手段と、検出された人物の唇が動いている
ことを検出する唇検出手段とを更に具備し、前記音源特
徴比較手段によって新たに入力された音源の特徴と前記
第１記憶手段に記憶された前記音源の特徴とが一致して
いることが検出された場合、前記唇検出手段によって前
記音源の特徴が一致している方向にいる人物の唇が動い
ていることが検出された場合には、前記第２記憶手段に
記憶された人物の前記画像位置を読み出して、モニタ画
面に表示された前記人物の画像周辺に前記マーキング手
段により発言者を示す前記マーカをマーキング表示させ
るテレビ会議システムの発言者識別装置とすることを特
徴とするものである。
【００１８】第１３の技術手段は、前記第１２の技術手
段において、前記唇検出手段によって前記音源の特徴が
一致している方向にいる人物の唇が動いていることが検
出されない場合、前記マーキング手段による発言者を示
す前記マーカのマーキング表示を元の状態のままとする
テレビ会議システムの発言者識別装置とすることを特徴
とするものである。
段において、前記唇検出手段によって前記音源の特徴が
一致している方向にいる人物の唇が動いていることが検
出されない場合、前記マーキング手段による発言者を示
す前記マーカのマーキング表示を元の状態のままとする
テレビ会議システムの発言者識別装置とすることを特徴
とするものである。
【００１９】第１４の技術手段は、前記第１乃至第１３
のいずれかの技術手段において、前記方向検出手段は、
入力音声が継続して入力されている継続時間を検出する
時間検出手段を更に具備し、前記時間検出手段により検
出された入力音声の前記継続時間が、前以って設定され
た所定継続時間以上に亘っていることが判定された場合
において、前記人間検出手段により、入力画像の中から
人物の検出を行なう動作が起動されるテレビ会議システ
ムの発言者識別装置とすることを特徴とするものであ
る。
のいずれかの技術手段において、前記方向検出手段は、
入力音声が継続して入力されている継続時間を検出する
時間検出手段を更に具備し、前記時間検出手段により検
出された入力音声の前記継続時間が、前以って設定され
た所定継続時間以上に亘っていることが判定された場合
において、前記人間検出手段により、入力画像の中から
人物の検出を行なう動作が起動されるテレビ会議システ
ムの発言者識別装置とすることを特徴とするものであ
る。
【００２０】第１５の技術手段は、前記第１乃至第１４
の技術手段のいずれかにおいて、前記方向検出手段は、
入力音声が継続して入力されている継続時間を検出する
時間検出手段を更に具備し、前記時間検出手段により検
出された入力音源の前記継続時間が、前以って設定され
た所定継続時間以上に亘っていることが判定された場合
において、前記方向検出手段により、前記入力音声の音
源方向の検出を行なう動作が起動されるテレビ会議シス
テムの発言者識別装置とすることを特徴とするものであ
る。
の技術手段のいずれかにおいて、前記方向検出手段は、
入力音声が継続して入力されている継続時間を検出する
時間検出手段を更に具備し、前記時間検出手段により検
出された入力音源の前記継続時間が、前以って設定され
た所定継続時間以上に亘っていることが判定された場合
において、前記方向検出手段により、前記入力音声の音
源方向の検出を行なう動作が起動されるテレビ会議シス
テムの発言者識別装置とすることを特徴とするものであ
る。
【００２１】第１６の技術手段は、前記第１４又は第１
５の技術手段において、前記方向検出手段が、入力音声
の音声レベルを検出する音声レベル検出手段を更に具備
し、該音声レベル検出手段により検出される入力音声の
音声レベルが予め定められた所定音声レベル以上である
ことを検出した場合に、前記時間検出手段による前記継
続時間の検出動作が開始されるテレビ会議システムの発
言者識別装置とすることを特徴とするものである。
５の技術手段において、前記方向検出手段が、入力音声
の音声レベルを検出する音声レベル検出手段を更に具備
し、該音声レベル検出手段により検出される入力音声の
音声レベルが予め定められた所定音声レベル以上である
ことを検出した場合に、前記時間検出手段による前記継
続時間の検出動作が開始されるテレビ会議システムの発
言者識別装置とすることを特徴とするものである。
【００２２】第１７の技術手段は、前記第１乃至第１６
のいずれかの技術手段において、前記人間検出手段が、
入力画像内の人物を検出し、前記マーキング手段が、前
記人間検出手段によって検出された人物それぞれに対し
て、モニタ画面に表示された該人物の画像周辺に色分け
及び／又は形状分けされたマーカのマーキング表示を行
なうテレビ会議システムの発言者識別装置とすることを
特徴とするものである。
のいずれかの技術手段において、前記人間検出手段が、
入力画像内の人物を検出し、前記マーキング手段が、前
記人間検出手段によって検出された人物それぞれに対し
て、モニタ画面に表示された該人物の画像周辺に色分け
及び／又は形状分けされたマーカのマーキング表示を行
なうテレビ会議システムの発言者識別装置とすることを
特徴とするものである。
【００２３】第１８の技術手段は、前記第１７の技術手
段において、前記マーキング手段が、前記人間検出手段
によって検出された人物それぞれに対して、モニタ画面
に表示された該人物の画像周辺に色分け及び／又は形状
分けをした前記マーカのマーキング表示を行なう際に、
前記方向検出手段により得られた音源方向にある画像位
置の人物の画像周辺には、発言者を示す色及び／又は形
状の発言者マーカのマーキング表示を、また、前記方向
検出手段により得られた音源方向以外にある画像位置の
人物の画像周辺には、非発言者を示す色及び／又は形状
の非発言者マーカのマーキング表示を、それぞれ行なう
テレビ会議システムの発言者識別装置とすることを特徴
とするものである。
段において、前記マーキング手段が、前記人間検出手段
によって検出された人物それぞれに対して、モニタ画面
に表示された該人物の画像周辺に色分け及び／又は形状
分けをした前記マーカのマーキング表示を行なう際に、
前記方向検出手段により得られた音源方向にある画像位
置の人物の画像周辺には、発言者を示す色及び／又は形
状の発言者マーカのマーキング表示を、また、前記方向
検出手段により得られた音源方向以外にある画像位置の
人物の画像周辺には、非発言者を示す色及び／又は形状
の非発言者マーカのマーキング表示を、それぞれ行なう
テレビ会議システムの発言者識別装置とすることを特徴
とするものである。
【００２４】第１９の技術手段は、前記第１乃至第１８
のいずれかの技術手段において、前記人間検出手段が、
入力画像内の人物を検出する際に、検出された検出時刻
を記憶する検出時刻記憶手段を更に具備し、該検出時刻
記憶手段に記憶された前記検出時刻を、検出された前記
人物の参加時刻として、モニタ画面に表示するテレビ会
議システムの発言者識別装置とすることを特徴とするも
のである。
のいずれかの技術手段において、前記人間検出手段が、
入力画像内の人物を検出する際に、検出された検出時刻
を記憶する検出時刻記憶手段を更に具備し、該検出時刻
記憶手段に記憶された前記検出時刻を、検出された前記
人物の参加時刻として、モニタ画面に表示するテレビ会
議システムの発言者識別装置とすることを特徴とするも
のである。
【００２５】第２０の技術手段は、前記第１乃至第１９
のいずれかの技術手段において、前記人間検出手段が、
入力画像内から検出された１人以上の人物の画像位置を
記憶することができる第２記憶手段を１つ以上具備し、
更に、前記人間検出手段が、前以って設定された一定周
期毎に、前記入力画像内のすべての人物の検出を行な
い、各人物の検出結果の画像位置をそれぞれ求める際
に、前記検出結果の人物の画像位置のそれぞれと前記第
２記憶手段に記憶された１人以上の人物の画像位置との
比較を行なう位置比較手段を更に具備し、前記位置比較
手段にて、前記第２記憶手段に記憶された人物の画像位
置のいずれかが、前記検出結果の人物の画像位置のいず
れにも一致していない場合には、一致していない前記第
２記憶手段に記憶された画像位置の人物が退席したもの
として、該人物が検出されなくなった時刻を退席時刻と
して記憶する退席時刻記憶手段と、逆に、前記位置比較
手段にて、前記検出結果の人物の画像位置のいずれか
が、前記第２記憶手段に記憶された人物の画像位置のい
ずれにも一致していない場合には、一致していない前記
検出結果の画像位置の人物が新たに参加したものとし
て、該人物が新たに検出された時刻を参加時刻として記
憶する参加時刻記憶手段と、を更に具備し、前記退席時
刻記憶手段に記憶されている前記退席時刻を、逆に、前
記参加時刻記憶手段に記憶されている前記参加時刻を、
モニタ画面に表示するテレビ会議システムの発言者識別
装置とすることを特徴とするものである。
のいずれかの技術手段において、前記人間検出手段が、
入力画像内から検出された１人以上の人物の画像位置を
記憶することができる第２記憶手段を１つ以上具備し、
更に、前記人間検出手段が、前以って設定された一定周
期毎に、前記入力画像内のすべての人物の検出を行な
い、各人物の検出結果の画像位置をそれぞれ求める際
に、前記検出結果の人物の画像位置のそれぞれと前記第
２記憶手段に記憶された１人以上の人物の画像位置との
比較を行なう位置比較手段を更に具備し、前記位置比較
手段にて、前記第２記憶手段に記憶された人物の画像位
置のいずれかが、前記検出結果の人物の画像位置のいず
れにも一致していない場合には、一致していない前記第
２記憶手段に記憶された画像位置の人物が退席したもの
として、該人物が検出されなくなった時刻を退席時刻と
して記憶する退席時刻記憶手段と、逆に、前記位置比較
手段にて、前記検出結果の人物の画像位置のいずれか
が、前記第２記憶手段に記憶された人物の画像位置のい
ずれにも一致していない場合には、一致していない前記
検出結果の画像位置の人物が新たに参加したものとし
て、該人物が新たに検出された時刻を参加時刻として記
憶する参加時刻記憶手段と、を更に具備し、前記退席時
刻記憶手段に記憶されている前記退席時刻を、逆に、前
記参加時刻記憶手段に記憶されている前記参加時刻を、
モニタ画面に表示するテレビ会議システムの発言者識別
装置とすることを特徴とするものである。
【００２６】第２１の技術手段は、前記第１乃至第２０
のいずれかの技術手段において、前記方向検出手段が、
入力音声の音源を検出した時刻を音源検出時刻として記
憶する音源検出記憶手段を更に具備し、前記音源検出記
憶手段に記憶されている前記音源検出時刻をモニタ画面
に表示するテレビ会議システムの発言者識別装置とする
ことを特徴とするものである。
のいずれかの技術手段において、前記方向検出手段が、
入力音声の音源を検出した時刻を音源検出時刻として記
憶する音源検出記憶手段を更に具備し、前記音源検出記
憶手段に記憶されている前記音源検出時刻をモニタ画面
に表示するテレビ会議システムの発言者識別装置とする
ことを特徴とするものである。
【００２７】第２２の技術手段は、前記第１乃至第２１
のいずれかの技術手段において、少なくとも水平方向に
可動可能な画像入力用のカメラ装置を更に具備し、前記
方向検出手段が検出した音源方向に、前記カメラ装置の
位置を向けるように制御するテレビ会議システムの発言
者識別装置とすることを特徴とするものである。
のいずれかの技術手段において、少なくとも水平方向に
可動可能な画像入力用のカメラ装置を更に具備し、前記
方向検出手段が検出した音源方向に、前記カメラ装置の
位置を向けるように制御するテレビ会議システムの発言
者識別装置とすることを特徴とするものである。
【００２８】第２３の技術手段は、前記第２２の技術手
段において、前記方向検出手段が検出した音源方向に、
前記カメラ装置の位置を向けさせるように制御する際
に、検出した該音源方向には前記人間検出手段による人
物が検出されなかった場合、及び／又は、発言者を示す
前記マーカを新たにマーキング表示すべき状態が検出さ
れなかった場合には、前記カメラ装置を動作前の位置に
戻すテレビ会議システムの発言者識別装置とすることを
特徴とするものである。
段において、前記方向検出手段が検出した音源方向に、
前記カメラ装置の位置を向けさせるように制御する際
に、検出した該音源方向には前記人間検出手段による人
物が検出されなかった場合、及び／又は、発言者を示す
前記マーカを新たにマーキング表示すべき状態が検出さ
れなかった場合には、前記カメラ装置を動作前の位置に
戻すテレビ会議システムの発言者識別装置とすることを
特徴とするものである。
【００２９】第２４の技術手段は、前記第１乃至第２３
のいずれかの技術手段において、少なくとも水平方向に
可動可能な画像入力用のカメラ装置が、ズーミングを行
なうことができるズーム手段を更に具備し、前記方向検
出手段が検出した音源方向に、前記カメラ装置の位置を
向けると共に前記ズーム手段によりズーミングを行なう
ように制御するテレビ会議システムの発言者識別装置と
することを特徴とするものである。
のいずれかの技術手段において、少なくとも水平方向に
可動可能な画像入力用のカメラ装置が、ズーミングを行
なうことができるズーム手段を更に具備し、前記方向検
出手段が検出した音源方向に、前記カメラ装置の位置を
向けると共に前記ズーム手段によりズーミングを行なう
ように制御するテレビ会議システムの発言者識別装置と
することを特徴とするものである。
【００３０】第２５の技術手段は、前記第２４の技術手
段において、前記方向検出手段が検出した音源方向に、
前記カメラ装置の位置を向けさせると共に前記ズーム手
段によりズーミングを行なうように制御する際に、検出
した該音源方向には前記人間検出手段による人物が検出
されなかった場合、及び／又は、発言者を示す前記マー
カを新たにマーキング表示すべき状態が検出されなかっ
た場合には、前記カメラ装置を動作前の位置に戻すテレ
ビ会議システムの発言者識別装置とすることを特徴とす
るものである。
段において、前記方向検出手段が検出した音源方向に、
前記カメラ装置の位置を向けさせると共に前記ズーム手
段によりズーミングを行なうように制御する際に、検出
した該音源方向には前記人間検出手段による人物が検出
されなかった場合、及び／又は、発言者を示す前記マー
カを新たにマーキング表示すべき状態が検出されなかっ
た場合には、前記カメラ装置を動作前の位置に戻すテレ
ビ会議システムの発言者識別装置とすることを特徴とす
るものである。
【００３１】第２６の技術手段は、前記第１乃至第２５
の技術手段のいずれかのテレビ会議システムの発言者識
別装置を備えているテレビ会議システムとすることを特
徴とするものである。
の技術手段のいずれかのテレビ会議システムの発言者識
別装置を備えているテレビ会議システムとすることを特
徴とするものである。
【００３２】
【発明の実施の形態】本発明に係るテレビ会議システム
の発言者識別装置及び該発言者識別装置を備えたテレビ
会議システムの実施形態の一例について、以下に図面を
参照しながら説明する。図１は、本発明に係る発言者識
別装置を具備したテレビ会議システムの構成の一例を示
すブロック構成図である。
の発言者識別装置及び該発言者識別装置を備えたテレビ
会議システムの実施形態の一例について、以下に図面を
参照しながら説明する。図１は、本発明に係る発言者識
別装置を具備したテレビ会議システムの構成の一例を示
すブロック構成図である。
【００３３】図１に示すように、本発明に係る発言者識
別装置を具備したテレビ会議システムは、入力音声から
音源方向を検出する方向検出部２と、入力画像内から人
物を検出する人間検出部３とを具備し、更に、モニタ画
面に表示させる各種のＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａ
ｐｈｉｃｓ）情報を保存しているＲＯＭであるＣＧＲＯ
Ｍ６と、該ＣＧＲＯＭ６からのＣＧ情報を、モニタ画面
に重畳させて表示させるためのスーパインポーズ発生回
路４とを、識別用マーカを表示させるためのマーキング
手段として具備している。図１に基づいて、本発明に係
るテレビ会議システムの動作について説明する。
別装置を具備したテレビ会議システムは、入力音声から
音源方向を検出する方向検出部２と、入力画像内から人
物を検出する人間検出部３とを具備し、更に、モニタ画
面に表示させる各種のＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａ
ｐｈｉｃｓ）情報を保存しているＲＯＭであるＣＧＲＯ
Ｍ６と、該ＣＧＲＯＭ６からのＣＧ情報を、モニタ画面
に重畳させて表示させるためのスーパインポーズ発生回
路４とを、識別用マーカを表示させるためのマーキング
手段として具備している。図１に基づいて、本発明に係
るテレビ会議システムの動作について説明する。
【００３４】まず、入力された音声は、音声入力部１よ
り電気信号からなる音声信号に変換され、方向検出部２
と音声コーデック７とに送られる。方向検出部２におい
ては、該音声信号に基づいて発言者の位置が、モニタ画
面上の位置情報として検出され、カメラ制御部８および
人間検出部３に対して、該位置情報が与えられる。
り電気信号からなる音声信号に変換され、方向検出部２
と音声コーデック７とに送られる。方向検出部２におい
ては、該音声信号に基づいて発言者の位置が、モニタ画
面上の位置情報として検出され、カメラ制御部８および
人間検出部３に対して、該位置情報が与えられる。
【００３５】カメラ制御部８は、発言者の前記位置情報
に基づいて、少なくとも水平方向に可動可能なカメラ装
置９の旋回動作やズーミング動作を行なわせることによ
り、音声の発生源（即ち、テレビ会議における発言者の
位置）が、モニタ画面の中央に位置するように制御した
り、あるいは、ズーミングにより拡大表示するように制
御したりして、カメラ装置９の位置制御あるいはズーム
制御を行なう。
に基づいて、少なくとも水平方向に可動可能なカメラ装
置９の旋回動作やズーミング動作を行なわせることによ
り、音声の発生源（即ち、テレビ会議における発言者の
位置）が、モニタ画面の中央に位置するように制御した
り、あるいは、ズーミングにより拡大表示するように制
御したりして、カメラ装置９の位置制御あるいはズーム
制御を行なう。
【００３６】ここで、カメラ制御部８は、方向検出部２
により検出された音声の発声方向（音源方向）にカメラ
装置９の位置を向けるように旋回制御させたり、ズーム
制御をさせたりする際に、方向検出部２により検出され
た音源方向に人間検出部３が人物を検出できなかった場
合、及び／又は、例えば、テレビ会議の参加者の音声
（音源）の特徴と一致していない特徴の発声音声である
場合などのごとく、発言者を特定することができなかっ
た場合（即ち、発言者を示すマーカを新たにマーキング
表示すべき状態を検出できなかった場合）には、動作前
の元のカメラ装置９の位置に戻すことも可能である。
により検出された音声の発声方向（音源方向）にカメラ
装置９の位置を向けるように旋回制御させたり、ズーム
制御をさせたりする際に、方向検出部２により検出され
た音源方向に人間検出部３が人物を検出できなかった場
合、及び／又は、例えば、テレビ会議の参加者の音声
（音源）の特徴と一致していない特徴の発声音声である
場合などのごとく、発言者を特定することができなかっ
た場合（即ち、発言者を示すマーカを新たにマーキング
表示すべき状態を検出できなかった場合）には、動作前
の元のカメラ装置９の位置に戻すことも可能である。
【００３７】あるいは、前述のごとく、カメラ装置９は
ズーム手段を具備しており、カメラ制御部８は、ユーザ
の指示により、又は、方向検出部２により検出された音
源方向に、カメラ装置９の位置を向けると共に、自動的
にカメラ装置９のズーミングを行なわせるように制御す
ることも可能であり、また、方向検出部２により検出さ
れた音源方向に人間検出部３が人物を検出できなかった
場合、及び／又は、発言者を特定することができなかっ
た場合（即ち、発言者を示すマーカを新たにマーキング
表示すべき状態を検出できなかった場合）には、動作前
の元のカメラ装置９の位置に戻すと共にカメラ装置９の
ズーミング状態を動作前の状態に戻すことも可能であ
る。
ズーム手段を具備しており、カメラ制御部８は、ユーザ
の指示により、又は、方向検出部２により検出された音
源方向に、カメラ装置９の位置を向けると共に、自動的
にカメラ装置９のズーミングを行なわせるように制御す
ることも可能であり、また、方向検出部２により検出さ
れた音源方向に人間検出部３が人物を検出できなかった
場合、及び／又は、発言者を特定することができなかっ
た場合（即ち、発言者を示すマーカを新たにマーキング
表示すべき状態を検出できなかった場合）には、動作前
の元のカメラ装置９の位置に戻すと共にカメラ装置９の
ズーミング状態を動作前の状態に戻すことも可能であ
る。
【００３８】撮像装置としてのカメラ装置９において
は、撮像された映像情報を、映像信号として電気信号に
変換する。変換された該映像信号はビデオデコーダ１０
によってデジタル処理され、人間検出部３に映像データ
として送られる。人間検出部３においては、方向検出部
２から入力される前記位置情報とビデオデコーダ１０か
ら入力される前記映像データとに基づいて、前記映像デ
ータにおける前記位置情報が示す位置に、人物の撮像画
像データが存在しているか否かの検出を行なう。
は、撮像された映像情報を、映像信号として電気信号に
変換する。変換された該映像信号はビデオデコーダ１０
によってデジタル処理され、人間検出部３に映像データ
として送られる。人間検出部３においては、方向検出部
２から入力される前記位置情報とビデオデコーダ１０か
ら入力される前記映像データとに基づいて、前記映像デ
ータにおける前記位置情報が示す位置に、人物の撮像画
像データが存在しているか否かの検出を行なう。
【００３９】前記位置情報が示す位置に、人物の撮像画
像データが存在していることが検出された場合にあって
は、マーキング手段を提供するスーパインポーズ発生回
路４において、各種のＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａ
ｐｈｉｃｓ）情報を保存しているＲＯＭであるＣＧＲＯ
Ｍ６から、発言者を示すマーカ（目印）として予め定め
られているマーカデータを読み出し、前記映像データ上
における前記位置情報と発言者である人物の撮像画像デ
ータとから演算されたマーカ表示位置（即ち、発言者の
人物の画像周辺位置）に、読み出された発言者を示す前
記マーカデータを前記映像データ上に重ね合わされた合
成映像データが作成される。
像データが存在していることが検出された場合にあって
は、マーキング手段を提供するスーパインポーズ発生回
路４において、各種のＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａ
ｐｈｉｃｓ）情報を保存しているＲＯＭであるＣＧＲＯ
Ｍ６から、発言者を示すマーカ（目印）として予め定め
られているマーカデータを読み出し、前記映像データ上
における前記位置情報と発言者である人物の撮像画像デ
ータとから演算されたマーカ表示位置（即ち、発言者の
人物の画像周辺位置）に、読み出された発言者を示す前
記マーカデータを前記映像データ上に重ね合わされた合
成映像データが作成される。
【００４０】作成された合成映像データは、画像コーデ
ック５によって圧縮符号化処理された符号化画像データ
とされ、一方、音声入力部１からの音声信号が、音声コ
ーデック７にて圧縮符号化された符号化音声データとさ
れ、該符号化画像データと該符号化音声データとが、多
重化回路部１１にて多重化されて、通信回線１２を通し
て、相手端末に送られる。
ック５によって圧縮符号化処理された符号化画像データ
とされ、一方、音声入力部１からの音声信号が、音声コ
ーデック７にて圧縮符号化された符号化音声データとさ
れ、該符号化画像データと該符号化音声データとが、多
重化回路部１１にて多重化されて、通信回線１２を通し
て、相手端末に送られる。
【００４１】ここで、マーキング手段であるスーパイン
ポーズ発生回路４にて作成された前記合成映像データ
（即ち、カメラ装置９で撮像され、ビデオデコーダ１０
でデジタル処理が施された映像データと、発言者を示す
マーカデータとが合成された合成映像データ）が更に画
像コーデック５により圧縮符号化された状態の前記符号
化画像データが、受信側の相手端末における画像コーデ
ックにより復号化されて、テレビ会議システムにおける
モニタ画面に画面表示されている画像の一例の概念図
を、図２に示す。図２において、１０１は、テレビ会議
の参加者のうち、発言者を示し、１０２は、テレビ会議
の参加者で現在発言していない人物を示し、１００は、
発言者であることを示すマーカ（図２においては、矢印
形状のマーク）である。
ポーズ発生回路４にて作成された前記合成映像データ
（即ち、カメラ装置９で撮像され、ビデオデコーダ１０
でデジタル処理が施された映像データと、発言者を示す
マーカデータとが合成された合成映像データ）が更に画
像コーデック５により圧縮符号化された状態の前記符号
化画像データが、受信側の相手端末における画像コーデ
ックにより復号化されて、テレビ会議システムにおける
モニタ画面に画面表示されている画像の一例の概念図
を、図２に示す。図２において、１０１は、テレビ会議
の参加者のうち、発言者を示し、１０２は、テレビ会議
の参加者で現在発言していない人物を示し、１００は、
発言者であることを示すマーカ（図２においては、矢印
形状のマーク）である。
【００４２】人間検出部３は、カメラ装置９からの映像
情報がビデオデコーダ１０によりデジタル処理が施され
た映像データの中から色情報を用いて人間の顔の色を抽
出することにより、顔領域を特定（抽出）して、映像デ
ータの中に含まれている人物を検出することができる顔
抽出手段３ａを備えている。また、該人間検出部３は、
カメラ装置９からの映像情報がビデオデコーダ１０によ
りデジタル処理が施された映像データの中から、人物の
顔の輪郭や目乃至鼻乃至口といった個々の特徴を有する
輪郭を抽出することによって、映像データの中に含まれ
ている人物を検出することができる顔輪郭抽出手段３ｂ
も備えている。
情報がビデオデコーダ１０によりデジタル処理が施され
た映像データの中から色情報を用いて人間の顔の色を抽
出することにより、顔領域を特定（抽出）して、映像デ
ータの中に含まれている人物を検出することができる顔
抽出手段３ａを備えている。また、該人間検出部３は、
カメラ装置９からの映像情報がビデオデコーダ１０によ
りデジタル処理が施された映像データの中から、人物の
顔の輪郭や目乃至鼻乃至口といった個々の特徴を有する
輪郭を抽出することによって、映像データの中に含まれ
ている人物を検出することができる顔輪郭抽出手段３ｂ
も備えている。
【００４３】更には、後述するように、該人間検出部３
は、カメラ装置９からの映像情報がビデオデコーダ１０
によりデジタル処理が施された映像データの中から、人
物の唇が動いているか否かを検出することができる唇検
出手段３ｃも備えている。かかる唇検出手段３ｃによ
り、参加者の人物の唇が動いていることが検出された場
合、方向検出部２の結果如何によらず、あるいは、方向
検出部２によって得られた音源方向に人間検出部３にて
人物を検出した場合であって、かつ、前記唇検出手段３
ｃにて該人物の唇が動いていることが検出された場合に
は、該人物が発言していると見なして、モニタ画面上の
発言者である該人物の画像周辺に、発言者を示すマーカ
をマーキング表示させることとしても良いし、更に、方
向検出部２により検出された音源方向に一致する方向に
いる人物の唇が動いていることが、唇検出手段３ｃによ
り検出された場合であって、更に、方向検出部２にて発
声音声（音源）の特徴とテレビ会議参加者の発声音声
（音源）の特徴とが一致する場合において、発言者を示
すマーカをモニタ画面にマーキング表示させることとし
ても構わない。
は、カメラ装置９からの映像情報がビデオデコーダ１０
によりデジタル処理が施された映像データの中から、人
物の唇が動いているか否かを検出することができる唇検
出手段３ｃも備えている。かかる唇検出手段３ｃによ
り、参加者の人物の唇が動いていることが検出された場
合、方向検出部２の結果如何によらず、あるいは、方向
検出部２によって得られた音源方向に人間検出部３にて
人物を検出した場合であって、かつ、前記唇検出手段３
ｃにて該人物の唇が動いていることが検出された場合に
は、該人物が発言していると見なして、モニタ画面上の
発言者である該人物の画像周辺に、発言者を示すマーカ
をマーキング表示させることとしても良いし、更に、方
向検出部２により検出された音源方向に一致する方向に
いる人物の唇が動いていることが、唇検出手段３ｃによ
り検出された場合であって、更に、方向検出部２にて発
声音声（音源）の特徴とテレビ会議参加者の発声音声
（音源）の特徴とが一致する場合において、発言者を示
すマーカをモニタ画面にマーキング表示させることとし
ても構わない。
【００４４】また、図１に示す方向検出部２と人間検出
部３とは、図３のような構成にすることも可能である。
ここに、図３は、本発明に係る発言者識別装置を具備し
たテレビ会議システムを構成する方向検出部と人間検出
部との他の構成例を示すブロック構成図である。即ち、
図３に示すごとく、方向検出制御部２′は、図１に示す
方向検出部２以外に、更に、入力音声（音源）の特徴を
抽出する音源特徴抽出部２１と、抽出された入力音声
（音源）の特徴を特徴データとして記憶する第一の記憶
手段である第１記憶メモリ２２と、方向検出部２を介し
て入力されて、音源特徴抽出部２１により抽出された音
源の特徴と第１記憶メモリ２２に記憶されているすべて
の前記特徴データとを比較照合する音源特徴比較部２３
とを備えている。
部３とは、図３のような構成にすることも可能である。
ここに、図３は、本発明に係る発言者識別装置を具備し
たテレビ会議システムを構成する方向検出部と人間検出
部との他の構成例を示すブロック構成図である。即ち、
図３に示すごとく、方向検出制御部２′は、図１に示す
方向検出部２以外に、更に、入力音声（音源）の特徴を
抽出する音源特徴抽出部２１と、抽出された入力音声
（音源）の特徴を特徴データとして記憶する第一の記憶
手段である第１記憶メモリ２２と、方向検出部２を介し
て入力されて、音源特徴抽出部２１により抽出された音
源の特徴と第１記憶メモリ２２に記憶されているすべて
の前記特徴データとを比較照合する音源特徴比較部２３
とを備えている。
【００４５】一方、人間検出制御部３′は、図１に示す
人間検出部３以外に、更に、人間検出部３において、ビ
デオデコーダ１０からの映像データの中に人物が検出さ
れた場合の人物の画像位置を記憶するための第二の記憶
手段を提供する第２記憶メモリ３２と、方向検出部２が
示す音声の発声方向（音源方向）の位置に相当する第２
記憶メモリ３２における映像データの画像位置を算出す
る演算を行なう位置演算部３１とを備えている。
人間検出部３以外に、更に、人間検出部３において、ビ
デオデコーダ１０からの映像データの中に人物が検出さ
れた場合の人物の画像位置を記憶するための第二の記憶
手段を提供する第２記憶メモリ３２と、方向検出部２が
示す音声の発声方向（音源方向）の位置に相当する第２
記憶メモリ３２における映像データの画像位置を算出す
る演算を行なう位置演算部３１とを備えている。
【００４６】図３に示す方向検出制御部２′と人間検出
制御部３′とにおいては、まず、テレビ会議が始まるに
先立って、第１記憶メモリ２２と第２記憶メモリ３２と
に、それぞれ、テレビ会議の各参加者の発声音声（音
源）の特徴を示す特徴データと各参加者の画像位置とを
予め登録する。ここで、発言者の発声音声が、音声入力
部１より電気信号の音声信号に変換されて、方向検出制
御部２′に入力され、図１と同一の機能を果たす方向検
出部２を介して、音源特徴抽出部２１に送られる。音源
特徴抽出部２１においては、発言者の音声信号（音源）
の特徴を抽出し、第１記憶メモリ２２に特徴データとし
て格納する。
制御部３′とにおいては、まず、テレビ会議が始まるに
先立って、第１記憶メモリ２２と第２記憶メモリ３２と
に、それぞれ、テレビ会議の各参加者の発声音声（音
源）の特徴を示す特徴データと各参加者の画像位置とを
予め登録する。ここで、発言者の発声音声が、音声入力
部１より電気信号の音声信号に変換されて、方向検出制
御部２′に入力され、図１と同一の機能を果たす方向検
出部２を介して、音源特徴抽出部２１に送られる。音源
特徴抽出部２１においては、発言者の音声信号（音源）
の特徴を抽出し、第１記憶メモリ２２に特徴データとし
て格納する。
【００４７】一方、図１と同一の人物検出機能を果たす
人間検出部３においては、方向検出制御部２′から入力
される発声音声方向（音源方向）の位置に相当するビデ
オデコーダ１０の映像データ内の画像位置に人物の映像
を検出した場合には、該人物の画像位置を第２記憶メモ
リ３２に格納する。
人間検出部３においては、方向検出制御部２′から入力
される発声音声方向（音源方向）の位置に相当するビデ
オデコーダ１０の映像データ内の画像位置に人物の映像
を検出した場合には、該人物の画像位置を第２記憶メモ
リ３２に格納する。
【００４８】第１記憶メモリ２２と第２記憶メモリ３２
とに、テレビ会議参加者に関する音声（音源）の特徴と
人物の画像位置とを予め設定した後、テレビ会議が始ま
ると、音源特徴比較部２３においては、音源特徴抽出部
２１から送られてくる新たな発声音声（音源）の特徴
と、第１記憶メモリ２２に記憶されているすべての音声
の特徴データとを比較照合し、記憶されているすべての
音声の前記特徴データの中に、新たな前記発声音声（音
源）の特徴と一致する音声が存在していることが検出さ
れた場合には、本テレビ会議の参加者の発言と判断し、
位置演算部３１を介して該人物の画像位置を第２記憶メ
モリ３２から読み出して、モニタ画面上における該発言
者の人物の画像周辺に、発言者であることを示すマーカ
を、スーパインポーズ発生回路４を介して画面表示す
る。
とに、テレビ会議参加者に関する音声（音源）の特徴と
人物の画像位置とを予め設定した後、テレビ会議が始ま
ると、音源特徴比較部２３においては、音源特徴抽出部
２１から送られてくる新たな発声音声（音源）の特徴
と、第１記憶メモリ２２に記憶されているすべての音声
の特徴データとを比較照合し、記憶されているすべての
音声の前記特徴データの中に、新たな前記発声音声（音
源）の特徴と一致する音声が存在していることが検出さ
れた場合には、本テレビ会議の参加者の発言と判断し、
位置演算部３１を介して該人物の画像位置を第２記憶メ
モリ３２から読み出して、モニタ画面上における該発言
者の人物の画像周辺に、発言者であることを示すマーカ
を、スーパインポーズ発生回路４を介して画面表示す
る。
【００４９】かくのごとく、発声音声である音源の特徴
に基づいて、テレビ会議の参加者の発言と判断される場
合にあっては、図１に示す人間検出部３と同一の機能を
果たす図３における人間検出部３は、何ら動作をする必
要はなく、人間検出部３は起動されることがないものと
することができる。
に基づいて、テレビ会議の参加者の発言と判断される場
合にあっては、図１に示す人間検出部３と同一の機能を
果たす図３における人間検出部３は、何ら動作をする必
要はなく、人間検出部３は起動されることがないものと
することができる。
【００５０】一方、もし、音源特徴抽出部２１から送ら
れてくる前記発声音声（音源）の特徴が、第１記憶メモ
リ２２に記憶されているすべての音声の特徴データと一
致していないことが音源特徴比較部２３において判明し
た場合には、図１に示す人間検出部３と同一の機能を果
たす図３における人間検出部３が起動されて、該人間検
出部３において、ビデオデコーダ１０からの映像データ
の中から人物検出を行なう。即ち、該人間検出部３にお
いて、位置演算部３１を介して得られた前記発声音声方
向（音源方向）の位置に、人物の映像が存在しているか
否かが判別されることにより、該発声音声（音源）が、
本テレビ会議の参加者の発言であるか否かを判定する。
れてくる前記発声音声（音源）の特徴が、第１記憶メモ
リ２２に記憶されているすべての音声の特徴データと一
致していないことが音源特徴比較部２３において判明し
た場合には、図１に示す人間検出部３と同一の機能を果
たす図３における人間検出部３が起動されて、該人間検
出部３において、ビデオデコーダ１０からの映像データ
の中から人物検出を行なう。即ち、該人間検出部３にお
いて、位置演算部３１を介して得られた前記発声音声方
向（音源方向）の位置に、人物の映像が存在しているか
否かが判別されることにより、該発声音声（音源）が、
本テレビ会議の参加者の発言であるか否かを判定する。
【００５１】人間検出部３において、前記発声音声方向
（音源方向）の位置に人物が存在していないと判定され
た場合には、該発声音声（音源）が、本テレビ会議には
無関係の雑音と見なして、何ら処理を行なうことなく、
元の状態のままとし、一方、該発声音声方向（音源方
向）の位置に人物が存在していると判定された場合に
は、発言者が位置を移動して発言しているものと見なし
て、位置演算部３１を介して算出されている参加者の画
像位置情報を、新たに第２記憶メモリ３２に登録すると
共に、第１記憶メモリ２２にも、該発声音声（音源）の
特徴データを再登録する。
（音源方向）の位置に人物が存在していないと判定され
た場合には、該発声音声（音源）が、本テレビ会議には
無関係の雑音と見なして、何ら処理を行なうことなく、
元の状態のままとし、一方、該発声音声方向（音源方
向）の位置に人物が存在していると判定された場合に
は、発言者が位置を移動して発言しているものと見なし
て、位置演算部３１を介して算出されている参加者の画
像位置情報を、新たに第２記憶メモリ３２に登録すると
共に、第１記憶メモリ２２にも、該発声音声（音源）の
特徴データを再登録する。
【００５２】従来の技術においては、新たな音声が発生
された際には、発言者を示すマーカ（目印）をモニタ画
面にマーキング表示させたり、カメラ装置を旋回させ
て、該音声の発生元である発言者がモニタ画面内に収ま
るように撮像せんとしている。しかしながら、発言者以
外の何らかの物音が発生した場合においても、全く同様
に、発言者を示すマーカ（目印）がモニタ画面にマーキ
ング表示されたり、あるいは、カメラ装置が物音の発生
方向に旋回されてしまっていた。
された際には、発言者を示すマーカ（目印）をモニタ画
面にマーキング表示させたり、カメラ装置を旋回させ
て、該音声の発生元である発言者がモニタ画面内に収ま
るように撮像せんとしている。しかしながら、発言者以
外の何らかの物音が発生した場合においても、全く同様
に、発言者を示すマーカ（目印）がモニタ画面にマーキ
ング表示されたり、あるいは、カメラ装置が物音の発生
方向に旋回されてしまっていた。
【００５３】本発明に係る発言者識別手段を備えたテレ
ビ会議システムにおいては、人間検出部３にて人物が検
出されなかった場合には、発言者を示すマーカを新たに
マーキング表示させることも行なわれないし、更に、図
１に示すカメラ制御部８を制御して、カメラ装置９の位
置やズーミング状態が、元の状態に戻るように復帰指令
を送出している。即ち、たとえ、カメラ装置９の位置が
一旦音源方向に旋回されたとしても、図示はしていない
が、カメラ制御部８が旋回制御される前の位置情報やズ
ーミング情報が、例えば、図３に示す第２記憶メモリ３
２に保存されていることにより、カメラ装置９の位置や
ズーミング状態を元の状態に戻す復帰指令の送出が可能
とされている。而して、たとえ、参加者の発言以外の物
音に反応して、カメラ装置９が旋回してしまった場合で
あっても、発言者を示すマーカ（目印）の位置、あるい
は、カメラ装置９の位置を、元の位置に戻すことができ
る。
ビ会議システムにおいては、人間検出部３にて人物が検
出されなかった場合には、発言者を示すマーカを新たに
マーキング表示させることも行なわれないし、更に、図
１に示すカメラ制御部８を制御して、カメラ装置９の位
置やズーミング状態が、元の状態に戻るように復帰指令
を送出している。即ち、たとえ、カメラ装置９の位置が
一旦音源方向に旋回されたとしても、図示はしていない
が、カメラ制御部８が旋回制御される前の位置情報やズ
ーミング情報が、例えば、図３に示す第２記憶メモリ３
２に保存されていることにより、カメラ装置９の位置や
ズーミング状態を元の状態に戻す復帰指令の送出が可能
とされている。而して、たとえ、参加者の発言以外の物
音に反応して、カメラ装置９が旋回してしまった場合で
あっても、発言者を示すマーカ（目印）の位置、あるい
は、カメラ装置９の位置を、元の位置に戻すことができ
る。
【００５４】また、第２記憶メモリ３２が、人間検出部
３が具備している顔輪郭抽出手段３ｂにより人物の顔の
輪郭及び目乃至鼻乃至口の輪郭に関する個々の人物の顔
特徴を抽出して記憶する顔特徴記憶手段を更に具備して
いる場合においては、人間検出部３が、該顔特徴記憶手
段に記憶された前記顔特徴と顔輪郭抽出手段３ｂにより
映像データの中から新たに抽出された顔特徴とを比較す
る顔特徴比較手段を更に具備し、音源特徴比較部２３に
よって新たに入力された音源の特徴と第１記憶メモリ２
２に記憶された前記特徴データ（音源の特徴）とが一致
していることが検出された場合、前記顔特徴比較手段に
おいて、前記顔特徴記憶手段に記憶された前記顔特徴と
人間検出部３の顔輪郭抽出手段３ｂによって新たに抽出
された顔特徴とを比較して、一致していることが検出さ
れた場合には、第２記憶メモリ３２に記憶された人物の
画像位置を読み出して、該画像位置の前記人物の画像周
辺に発言者を示すマーカをマーキング表示させたり、カ
メラ装置９を前記人物の位置に旋回させたり、ズーミン
グして拡大表示させることも可能である。
３が具備している顔輪郭抽出手段３ｂにより人物の顔の
輪郭及び目乃至鼻乃至口の輪郭に関する個々の人物の顔
特徴を抽出して記憶する顔特徴記憶手段を更に具備して
いる場合においては、人間検出部３が、該顔特徴記憶手
段に記憶された前記顔特徴と顔輪郭抽出手段３ｂにより
映像データの中から新たに抽出された顔特徴とを比較す
る顔特徴比較手段を更に具備し、音源特徴比較部２３に
よって新たに入力された音源の特徴と第１記憶メモリ２
２に記憶された前記特徴データ（音源の特徴）とが一致
していることが検出された場合、前記顔特徴比較手段に
おいて、前記顔特徴記憶手段に記憶された前記顔特徴と
人間検出部３の顔輪郭抽出手段３ｂによって新たに抽出
された顔特徴とを比較して、一致していることが検出さ
れた場合には、第２記憶メモリ３２に記憶された人物の
画像位置を読み出して、該画像位置の前記人物の画像周
辺に発言者を示すマーカをマーキング表示させたり、カ
メラ装置９を前記人物の位置に旋回させたり、ズーミン
グして拡大表示させることも可能である。
【００５５】ここで、前記顔特徴比較手段において、前
記顔特徴記憶手段に記憶された前記顔特徴と顔輪郭抽出
手段３ｂによって新たに抽出された顔特徴とを比較し
て、一致していないことが検出された場合、発言者を示
す前記マーカのマーキング表示やカメラ装置９の位置や
ズーミング状態を元の状態のままとすることとする。
記顔特徴記憶手段に記憶された前記顔特徴と顔輪郭抽出
手段３ｂによって新たに抽出された顔特徴とを比較し
て、一致していないことが検出された場合、発言者を示
す前記マーカのマーキング表示やカメラ装置９の位置や
ズーミング状態を元の状態のままとすることとする。
【００５６】更に、図１に示す方向検出部２は、図４の
ような構成にすることも可能である。ここに、図４は、
本発明に係る発言者識別装置を具備したテレビ会議シス
テムを構成する方向検出部の更なる他の構成例を示すブ
ロック構成図である。即ち、図４に示すように、方向検
出制御部２″は、図１に示す方向検出部２以外に、更
に、所定の音声レベルを上回る発声音声（音源）を検出
する音声レベル検出部２４と、かかる所定の音声レベル
を上回る発声音声が予め設定されている所定継続時間以
上に亘って継続していることを検出する時間検出手段を
提供するタイマ部２５とを備えている。
ような構成にすることも可能である。ここに、図４は、
本発明に係る発言者識別装置を具備したテレビ会議シス
テムを構成する方向検出部の更なる他の構成例を示すブ
ロック構成図である。即ち、図４に示すように、方向検
出制御部２″は、図１に示す方向検出部２以外に、更
に、所定の音声レベルを上回る発声音声（音源）を検出
する音声レベル検出部２４と、かかる所定の音声レベル
を上回る発声音声が予め設定されている所定継続時間以
上に亘って継続していることを検出する時間検出手段を
提供するタイマ部２５とを備えている。
【００５７】図４において、入力された発声音声は、音
声入力部１において、音声信号に変換されて、方向検出
制御部２″に入力され、音声レベル検出部２４において
発声音声の音声レベルが測定される。参加者からの発言
として、該発声音声が前記所定の音声レベル以上の音声
信号であることが検出された場合には、タイマ部２５の
タイマが起動されて、経過時間の計数が開始され、予め
設定されている前記所定継続時間が経過した場合には、
所定の継続時間以上に亘って、入力音声（音源）が継続
している状態にあり、タイマ部２５からの出力信号を、
方向検出部２に対して送出する。
声入力部１において、音声信号に変換されて、方向検出
制御部２″に入力され、音声レベル検出部２４において
発声音声の音声レベルが測定される。参加者からの発言
として、該発声音声が前記所定の音声レベル以上の音声
信号であることが検出された場合には、タイマ部２５の
タイマが起動されて、経過時間の計数が開始され、予め
設定されている前記所定継続時間が経過した場合には、
所定の継続時間以上に亘って、入力音声（音源）が継続
している状態にあり、タイマ部２５からの出力信号を、
方向検出部２に対して送出する。
【００５８】ここで、予め設定されている前記所定継続
時間が経過する前に、参加者からの発言が終了して、音
声レベル検出部２４において、前記所定の音声レベル以
上の発声音声が検出されなくなると、タイマ部２５はタ
イマの計数を停止され、タイマ部２５からの出力信号は
発生しなくなる。図１と同様の機能を果たす方向検出部
２は、タイマ部２５からの出力信号が入力されている場
合にあって、始めて、入力された発声音声（音源）が、
本テレビ会議の参加者の発言に基づく音声信号であるか
否かを判断する動作が起動されることになる。
時間が経過する前に、参加者からの発言が終了して、音
声レベル検出部２４において、前記所定の音声レベル以
上の発声音声が検出されなくなると、タイマ部２５はタ
イマの計数を停止され、タイマ部２５からの出力信号は
発生しなくなる。図１と同様の機能を果たす方向検出部
２は、タイマ部２５からの出力信号が入力されている場
合にあって、始めて、入力された発声音声（音源）が、
本テレビ会議の参加者の発言に基づく音声信号であるか
否かを判断する動作が起動されることになる。
【００５９】例えば、くしゃみのような短い時間の音声
情報は発言ではないので、図１に示すカメラ装置９を、
短い時間の該音声情報の位置に旋回させたり、あるい
は、モニタ画面上に該音声情報の位置を発言者を示すよ
うにマーキング表示させることは無駄である。本発明に
おける実施例に示すように、かかる短い時間の音声情報
の場合においては、タイマ部２５からの出力信号は出力
されることはなく、而して、方向検出部２としては、発
声音声方向（音源方向）の位置を示す位置情報を検出す
る動作が起動されずに、カメラ装置９の旋回などの制御
動作や、あるいは、人間検出部３における人物検出動作
も起動されない状態に設定されている。
情報は発言ではないので、図１に示すカメラ装置９を、
短い時間の該音声情報の位置に旋回させたり、あるい
は、モニタ画面上に該音声情報の位置を発言者を示すよ
うにマーキング表示させることは無駄である。本発明に
おける実施例に示すように、かかる短い時間の音声情報
の場合においては、タイマ部２５からの出力信号は出力
されることはなく、而して、方向検出部２としては、発
声音声方向（音源方向）の位置を示す位置情報を検出す
る動作が起動されずに、カメラ装置９の旋回などの制御
動作や、あるいは、人間検出部３における人物検出動作
も起動されない状態に設定されている。
【００６０】また、図４においては、かかる短い時間の
音声情報の場合に、方向検出部２が起動されないことに
より、人間検出部３も起動されない旨を説明している
が、かかる場合に限らず、直接、タイマ部２５から人間
検出部３へも出力信号が供給されていて、かかる短い時
間の音声情報の場合には、方向検出部２を介することな
く、直接、人間検出部３を起動させない状態とすること
も可能である。
音声情報の場合に、方向検出部２が起動されないことに
より、人間検出部３も起動されない旨を説明している
が、かかる場合に限らず、直接、タイマ部２５から人間
検出部３へも出力信号が供給されていて、かかる短い時
間の音声情報の場合には、方向検出部２を介することな
く、直接、人間検出部３を起動させない状態とすること
も可能である。
【００６１】なお、以上に説明のごとく、図４において
は、タイマ部２５を起動させる条件として、予め定めら
れている所定の音声レベル以上のレベルにある発声音声
がある場合を条件としているが、かかる所定の音声レベ
ル以上のレベルにある発声音声であるか否かの如何に関
わらず、識別可能な何らかの音声が継続して、所定継続
時間以上に亘っていることが検出された場合であっても
構わない。
は、タイマ部２５を起動させる条件として、予め定めら
れている所定の音声レベル以上のレベルにある発声音声
がある場合を条件としているが、かかる所定の音声レベ
ル以上のレベルにある発声音声であるか否かの如何に関
わらず、識別可能な何らかの音声が継続して、所定継続
時間以上に亘っていることが検出された場合であっても
構わない。
【００６２】また、前述のごとく、図３に示す人間検出
部３は、方向検出部２からの発声音声方向（音源方向）
の位置が示す映像データ上の位置に存在する人物の有無
を検出するだけではなく、テレビ会議に先立って、予
め、テレビ会議への参加者全員の画像位置の検出を行な
い、図３に示す第２記憶メモリ３２に登録しておくよう
にすることが可能とされている。而して、例えば、図５
に示すように、参加者のうち、発言者と非発言者とのマ
ーカの表示を色分けしたり、あるいは、形状分けしたり
して、変化させて、モニタ画面上にマーキング表示を行
なわせることも可能である。
部３は、方向検出部２からの発声音声方向（音源方向）
の位置が示す映像データ上の位置に存在する人物の有無
を検出するだけではなく、テレビ会議に先立って、予
め、テレビ会議への参加者全員の画像位置の検出を行な
い、図３に示す第２記憶メモリ３２に登録しておくよう
にすることが可能とされている。而して、例えば、図５
に示すように、参加者のうち、発言者と非発言者とのマ
ーカの表示を色分けしたり、あるいは、形状分けしたり
して、変化させて、モニタ画面上にマーキング表示を行
なわせることも可能である。
【００６３】ここに、図５は、テレビ会議参加者のう
ち、発言者用と非発言者用のマーカのマーキング表示を
行なう場合のモニタ画面表示の一例を示す概念図であ
る。図５においては、発言者１０５が発言していること
を示す発言者マーカ１０３は、非発言者１０６を示す非
発言者マーカ１０４とは、例えば、異なる色を用いてマ
ーキング表示している一例を示している。
ち、発言者用と非発言者用のマーカのマーキング表示を
行なう場合のモニタ画面表示の一例を示す概念図であ
る。図５においては、発言者１０５が発言していること
を示す発言者マーカ１０３は、非発言者１０６を示す非
発言者マーカ１０４とは、例えば、異なる色を用いてマ
ーキング表示している一例を示している。
【００６４】即ち、テレビ会議参加者のうち、発言者１
０５が発言を行なった場合、方向検出部２にて、発言者
１０５の音源方向を示す位置情報が検出され、予め記憶
メモリ３２に記憶されている画像位置と比較して、該音
源方向に人物の存在を確認することによって、発言者１
０５を識別し、発言していない非発言者１０６を示す非
発言者マーカ１０４とは異なる色の発言者マーカ１０３
によって表示している。
０５が発言を行なった場合、方向検出部２にて、発言者
１０５の音源方向を示す位置情報が検出され、予め記憶
メモリ３２に記憶されている画像位置と比較して、該音
源方向に人物の存在を確認することによって、発言者１
０５を識別し、発言していない非発言者１０６を示す非
発言者マーカ１０４とは異なる色の発言者マーカ１０３
によって表示している。
【００６５】而して、たとえ、テレビ会議の参加者全員
をモニタ画面に画面表示している状態であっても、モニ
タ画面の参加者各自毎に即ち人物の画像周辺位置に、参
加者全員に対してそれぞれ色違いの発言者マーカ１０３
と非発言者マーカ１０４とのマーキング表示を行ない、
発言者か否かを容易に識別可能とすることができる。こ
こに、マーキング表示する前記マーカとしては、発言者
と非発言者との識別用のみに限るものではない。例え
ば、テレビ会議の司会者と一般参加者とオブザーバとを
容易に識別可能とするように、色分け及び／又は形状分
け及び／又は模様分けすることとしても良く、テレビ会
議の実施に有用な如何なる識別情報でも、モニタ画面に
重畳表示されるマーカにより提供することが可能であ
る。
をモニタ画面に画面表示している状態であっても、モニ
タ画面の参加者各自毎に即ち人物の画像周辺位置に、参
加者全員に対してそれぞれ色違いの発言者マーカ１０３
と非発言者マーカ１０４とのマーキング表示を行ない、
発言者か否かを容易に識別可能とすることができる。こ
こに、マーキング表示する前記マーカとしては、発言者
と非発言者との識別用のみに限るものではない。例え
ば、テレビ会議の司会者と一般参加者とオブザーバとを
容易に識別可能とするように、色分け及び／又は形状分
け及び／又は模様分けすることとしても良く、テレビ会
議の実施に有用な如何なる識別情報でも、モニタ画面に
重畳表示されるマーカにより提供することが可能であ
る。
【００６６】また、人間検出部３を構成する人間検出制
御部３′は、音声が入力された時だけ、人物検出動作を
行なうのではなく、常時、定期的に、人間検出部３にて
人物の検出動作を行なうこともできる。而して、ビデオ
デコーダ１０からの映像データの中の各画像位置で、人
物を最初に検出した時刻を、図示していない時計回路か
ら読み出し、検出された該人物の検出時刻を、テレビ会
議への参加時刻として、図３に示す第２記憶メモリ３２
の検出時刻記憶部に記憶させると共に、スーパインポー
ズ発生回路４により、該検出時刻記憶部から読み出した
前記検出時刻を重ね合わせて画面表示させることによ
り、モニタ画面には、人物の検出結果として、該人物が
テレビ会議に参加した参加時刻を表示することができ
る。
御部３′は、音声が入力された時だけ、人物検出動作を
行なうのではなく、常時、定期的に、人間検出部３にて
人物の検出動作を行なうこともできる。而して、ビデオ
デコーダ１０からの映像データの中の各画像位置で、人
物を最初に検出した時刻を、図示していない時計回路か
ら読み出し、検出された該人物の検出時刻を、テレビ会
議への参加時刻として、図３に示す第２記憶メモリ３２
の検出時刻記憶部に記憶させると共に、スーパインポー
ズ発生回路４により、該検出時刻記憶部から読み出した
前記検出時刻を重ね合わせて画面表示させることによ
り、モニタ画面には、人物の検出結果として、該人物が
テレビ会議に参加した参加時刻を表示することができ
る。
【００６７】あるいは、人間検出部３を構成する人間検
出制御部３′は、ビデオデコーダ１０からの映像データ
即ち入力画像内から検出される人物の画像位置を１人以
上記憶することができる１つ以上の第２記憶メモリ３２
を具備し、更に、予め設定されている一定周期毎に、定
期的に、前記入力画像内のすべての人物の検出を行な
い、各人物の検出結果の画像位置をそれぞれ求める際
に、前記検出結果の人物の画像位置のそれぞれと、第２
記憶メモリ３２に記憶された１人以上の人物の画像位置
とを比較する位置検出手段を更に具備しており、該位置
検出手段にて、前記検出結果の人物の画像位置のいずれ
かが、第２記憶メモリ３２に記憶された人物の画像位置
のいずれにも一致していない場合には、前記検出結果の
画像位置の人物が新たにテレビ会議に参加したものと見
なし、人間検出部３により前記検出結果の画像位置の人
物が新たに検出された時刻を参加時刻として、図３に示
す第２記憶メモリ３２の参加時刻記憶部に記憶させると
共に、該参加時刻記憶部に記憶された前記参加時刻を、
モニタ画面に表示させることとしても良い。
出制御部３′は、ビデオデコーダ１０からの映像データ
即ち入力画像内から検出される人物の画像位置を１人以
上記憶することができる１つ以上の第２記憶メモリ３２
を具備し、更に、予め設定されている一定周期毎に、定
期的に、前記入力画像内のすべての人物の検出を行な
い、各人物の検出結果の画像位置をそれぞれ求める際
に、前記検出結果の人物の画像位置のそれぞれと、第２
記憶メモリ３２に記憶された１人以上の人物の画像位置
とを比較する位置検出手段を更に具備しており、該位置
検出手段にて、前記検出結果の人物の画像位置のいずれ
かが、第２記憶メモリ３２に記憶された人物の画像位置
のいずれにも一致していない場合には、前記検出結果の
画像位置の人物が新たにテレビ会議に参加したものと見
なし、人間検出部３により前記検出結果の画像位置の人
物が新たに検出された時刻を参加時刻として、図３に示
す第２記憶メモリ３２の参加時刻記憶部に記憶させると
共に、該参加時刻記憶部に記憶された前記参加時刻を、
モニタ画面に表示させることとしても良い。
【００６８】例えば、図６は、あるテレビ会議の参加状
況を示すモニタ画面表示の一例を示す概念図である。図
６（Ａ）において、１０９及び１１０は、９：００にテ
レビ会議に参加した参加者を示すものであり、それぞれ
の人物が検出された検出時刻即ち参加時刻を、モニタ画
面上の映像データに重ね合わせて、該参加者の人物画像
位置の画像周辺に、参加時刻表示１０７及び１０８が表
示されている。
況を示すモニタ画面表示の一例を示す概念図である。図
６（Ａ）において、１０９及び１１０は、９：００にテ
レビ会議に参加した参加者を示すものであり、それぞれ
の人物が検出された検出時刻即ち参加時刻を、モニタ画
面上の映像データに重ね合わせて、該参加者の人物画像
位置の画像周辺に、参加時刻表示１０７及び１０８が表
示されている。
【００６９】例えば、図６（Ｂ）は、図６（Ａ）から、
しばらく時間が経過したテレビ会議の参加状況を示して
おり、モニタ画面に参加時刻表示１１１が新たに追加さ
れて表示されているように、参加者１１２が９：３０に
テレビ会議に参加したことがわかる。かかる参加時刻の
表示は、図３に示す第２記憶メモリ３２の前記検出時刻
記憶部又は前記参加時刻記憶部に記憶させることによ
り、モニタ画面には、テレビ会議が終了するまで、該人
物の参加時刻を引き続き表示させることができる。
しばらく時間が経過したテレビ会議の参加状況を示して
おり、モニタ画面に参加時刻表示１１１が新たに追加さ
れて表示されているように、参加者１１２が９：３０に
テレビ会議に参加したことがわかる。かかる参加時刻の
表示は、図３に示す第２記憶メモリ３２の前記検出時刻
記憶部又は前記参加時刻記憶部に記憶させることによ
り、モニタ画面には、テレビ会議が終了するまで、該人
物の参加時刻を引き続き表示させることができる。
【００７０】また、人間検出制御部３′は、ビデオデコ
ーダ１０からの映像データ即ち入力画像内から検出され
る人物の画像位置を１人以上記憶することができる１つ
以上の第２記憶メモリ３２を具備し、更に、予め設定さ
れている一定周期毎に、定期的に、前記入力画像内のす
べての人物の検出を行ない、各人物の検出結果の画像位
置をそれぞれ求める際に、前記検出結果の人物の画像位
置のそれぞれと、第２記憶メモリ３２に記憶された１人
以上の人物の画像位置とを比較する位置検出手段を更に
具備しており、該位置検出手段にて、第２記憶メモリ３
２に記憶された人物の画像位置のいずれかが、前記検出
結果の画像位置のいずれにも一致していない場合には、
第２記憶メモリ３２に記憶された一致していない画像位
置の人物が退席したものと見なし、人間検出部３により
該人物が検出されなくなった時刻を退席時刻として、図
３に示す第２記憶メモリ３２の退席時刻記憶部に記憶さ
せると共に、該退席時刻記憶部に記憶された前記退席時
刻を、モニタ画面に表示させることができる。
ーダ１０からの映像データ即ち入力画像内から検出され
る人物の画像位置を１人以上記憶することができる１つ
以上の第２記憶メモリ３２を具備し、更に、予め設定さ
れている一定周期毎に、定期的に、前記入力画像内のす
べての人物の検出を行ない、各人物の検出結果の画像位
置をそれぞれ求める際に、前記検出結果の人物の画像位
置のそれぞれと、第２記憶メモリ３２に記憶された１人
以上の人物の画像位置とを比較する位置検出手段を更に
具備しており、該位置検出手段にて、第２記憶メモリ３
２に記憶された人物の画像位置のいずれかが、前記検出
結果の画像位置のいずれにも一致していない場合には、
第２記憶メモリ３２に記憶された一致していない画像位
置の人物が退席したものと見なし、人間検出部３により
該人物が検出されなくなった時刻を退席時刻として、図
３に示す第２記憶メモリ３２の退席時刻記憶部に記憶さ
せると共に、該退席時刻記憶部に記憶された前記退席時
刻を、モニタ画面に表示させることができる。
【００７１】即ち、今まで人物検出がされていた画像位
置即ち画像領域において人間検出部３による人物の検出
がされなくなった場合、図示していない時計回路より人
物が検出されなくなった時刻を読み出し、スーパインポ
ーズ発生回路４により重ね合わせ表示させてモニタ画面
に表示させていることになる。而して、モニタ画面に
は、人物が検出されなくなった時刻を、該参加者が退席
した退席時刻として、該参加者を示していた人物の画像
位置の画像周辺に画面表示することができる。また、か
かる人物が検出されなくなった退席時刻は、図３に示す
第２記憶メモリ３２の前記退席時刻記憶部に記憶させる
ことにより、モニタ画面には、テレビ会議が終了するま
で、該人物の退席時刻を引き続き表示させることができ
る。
置即ち画像領域において人間検出部３による人物の検出
がされなくなった場合、図示していない時計回路より人
物が検出されなくなった時刻を読み出し、スーパインポ
ーズ発生回路４により重ね合わせ表示させてモニタ画面
に表示させていることになる。而して、モニタ画面に
は、人物が検出されなくなった時刻を、該参加者が退席
した退席時刻として、該参加者を示していた人物の画像
位置の画像周辺に画面表示することができる。また、か
かる人物が検出されなくなった退席時刻は、図３に示す
第２記憶メモリ３２の前記退席時刻記憶部に記憶させる
ことにより、モニタ画面には、テレビ会議が終了するま
で、該人物の退席時刻を引き続き表示させることができ
る。
【００７２】更に、人間検出部３は、発言者の発声音声
方向（音源方向）による位置情報とカメラ装置９からの
映像情報に基づく映像データとにより、音声を発声した
発言者の人物を検出した場合、図示していない時計回路
より時刻を読み出し、スーパインポーズ発生回路４より
読み出された時刻を重ね合わせて表示することもでき
る。即ち、方向検出制御部２′が、入力音声の音源を検
出した時刻を音源検出時刻として、図３に示す第１記憶
メモリ２２の音源検出記憶部に記憶すると共に、モニタ
画面には、該音源検出記憶部に記憶されている前記音源
検出時刻を、各参加者の人物画像位置の画像周辺に表示
させることができる。而して、参加者各々が発言した発
言時刻を、モニタ画面に表示することができる。
方向（音源方向）による位置情報とカメラ装置９からの
映像情報に基づく映像データとにより、音声を発声した
発言者の人物を検出した場合、図示していない時計回路
より時刻を読み出し、スーパインポーズ発生回路４より
読み出された時刻を重ね合わせて表示することもでき
る。即ち、方向検出制御部２′が、入力音声の音源を検
出した時刻を音源検出時刻として、図３に示す第１記憶
メモリ２２の音源検出記憶部に記憶すると共に、モニタ
画面には、該音源検出記憶部に記憶されている前記音源
検出時刻を、各参加者の人物画像位置の画像周辺に表示
させることができる。而して、参加者各々が発言した発
言時刻を、モニタ画面に表示することができる。
【００７３】また、人間検出部３は、人物の顔の色や顔
の輪郭などによる人物検出機能と共に、前述のごとく、
人物の唇が動いていることを検出する唇検出手段３ｃを
更に付与させることも可能としている。
の輪郭などによる人物検出機能と共に、前述のごとく、
人物の唇が動いていることを検出する唇検出手段３ｃを
更に付与させることも可能としている。
【００７４】かかる場合においては、前述のごとく、発
声音声が音声入力部１に入力された場合、まず、人間検
出部３の人物検出機能により、発声音声方向（音源方
向）の位置にいる人物が検出される。その後、唇検出手
段３ｃにより、検出された人物の唇が動いているか否か
が検出される。唇が動いていることが検出できれば、入
力された発声音声方向（音源方向）にいる当該人物の発
言による発声音声であると判断し、カメラ装置９の旋回
動作やズーム動作、更には、および発言者を示すマーカ
のマーキング表示を行なう。逆に、唇検出手段３ｃによ
り、検出された人物の唇が動いていないことが検出され
た場合は、入力された発声音声は、入力された発声音声
方向（音源方向）にいる当該人物の発言による発声音声
ではないと判断し、カメラ装置９の旋回動作やズーム動
作及び発言者を示すマーカのマーキング表示を行なわな
い。
声音声が音声入力部１に入力された場合、まず、人間検
出部３の人物検出機能により、発声音声方向（音源方
向）の位置にいる人物が検出される。その後、唇検出手
段３ｃにより、検出された人物の唇が動いているか否か
が検出される。唇が動いていることが検出できれば、入
力された発声音声方向（音源方向）にいる当該人物の発
言による発声音声であると判断し、カメラ装置９の旋回
動作やズーム動作、更には、および発言者を示すマーカ
のマーキング表示を行なう。逆に、唇検出手段３ｃによ
り、検出された人物の唇が動いていないことが検出され
た場合は、入力された発声音声は、入力された発声音声
方向（音源方向）にいる当該人物の発言による発声音声
ではないと判断し、カメラ装置９の旋回動作やズーム動
作及び発言者を示すマーカのマーキング表示を行なわな
い。
【００７５】更には、図３に示すごとく、方向検出制御
部２′が、音源特徴抽出部２１により抽出された音源の
特徴を記憶する第１記憶メモリ２２と、新たに入力され
た音源の特徴と第１記憶メモリ２２に記憶された前記音
源の特徴とを比較する音源特徴比較部２３とを具備して
いて、人間検出制御部３′が、検出された人物の画像位
置を記憶する第２記憶メモリ３２を具備している場合に
おいて、人間検出制御部３′が、更に、検出された人物
の唇が動いていることを検出する唇検出手段３ｃを具備
している場合にあっては、音源特徴比較部２３によって
新たに入力された音源の特徴と第１記憶メモリ２２に記
憶された前記音源の特徴とが一致していることが検出さ
れた場合で、かつ、前記音源の特徴の一致が検出された
方向にいる人物の唇が動いていることが、唇検出手段３
ｃによって検出された場合に、始めて、第２記憶メモリ
３２に記憶された人物の前記画像位置を読み出して、該
画像位置の前記人物の画像周辺に発言者を示す前記マー
カをマーキング表示させたり、カメラ装置９の位置を発
言者の方向に向けさせたり、ズーミングさせることも可
能である。
部２′が、音源特徴抽出部２１により抽出された音源の
特徴を記憶する第１記憶メモリ２２と、新たに入力され
た音源の特徴と第１記憶メモリ２２に記憶された前記音
源の特徴とを比較する音源特徴比較部２３とを具備して
いて、人間検出制御部３′が、検出された人物の画像位
置を記憶する第２記憶メモリ３２を具備している場合に
おいて、人間検出制御部３′が、更に、検出された人物
の唇が動いていることを検出する唇検出手段３ｃを具備
している場合にあっては、音源特徴比較部２３によって
新たに入力された音源の特徴と第１記憶メモリ２２に記
憶された前記音源の特徴とが一致していることが検出さ
れた場合で、かつ、前記音源の特徴の一致が検出された
方向にいる人物の唇が動いていることが、唇検出手段３
ｃによって検出された場合に、始めて、第２記憶メモリ
３２に記憶された人物の前記画像位置を読み出して、該
画像位置の前記人物の画像周辺に発言者を示す前記マー
カをマーキング表示させたり、カメラ装置９の位置を発
言者の方向に向けさせたり、ズーミングさせることも可
能である。
【００７６】かかる場合において、前記音源の特徴が一
致している方向にいる人物の唇が動いていることが、唇
検出手段３ｃによって検出されない場合にあっては、ご
く短時間の発言であったものと見なして、発言者を示す
前記マーカをマーキング表示させる位置やカメラ装置９
の位置を、元の状態のままとすることも可能である。
致している方向にいる人物の唇が動いていることが、唇
検出手段３ｃによって検出されない場合にあっては、ご
く短時間の発言であったものと見なして、発言者を示す
前記マーカをマーキング表示させる位置やカメラ装置９
の位置を、元の状態のままとすることも可能である。
【００７７】
【発明の効果】以上に説明したごとく、本発明に係るテ
レビ会議システムの発言者識別装置及び該発言者識別装
置を備えたテレビ会議システムによれば、例えば、くし
ゃみや物を落とした音、マイクに物をぶつけた音など参
加者の発言以外の音の発生によって、誤って、該発言以
外の音の発生方向にカメラ装置が旋回してしまったり、
発言者を示すマーカをマーキング表示させたりすること
を防止することが可能であり、発言している参加者を常
に正確にモニタ画面に表示することが可能となり、而し
て、快適にテレビ会議を行なうことが可能なテレビ会議
システムを提供することができる。
レビ会議システムの発言者識別装置及び該発言者識別装
置を備えたテレビ会議システムによれば、例えば、くし
ゃみや物を落とした音、マイクに物をぶつけた音など参
加者の発言以外の音の発生によって、誤って、該発言以
外の音の発生方向にカメラ装置が旋回してしまったり、
発言者を示すマーカをマーキング表示させたりすること
を防止することが可能であり、発言している参加者を常
に正確にモニタ画面に表示することが可能となり、而し
て、快適にテレビ会議を行なうことが可能なテレビ会議
システムを提供することができる。
【００７８】更には、たとえ、テレビ会議の参加者全員
をモニタ画面に画面表示した場合であっても、発言者や
非発言者を識別可能なマーカを重畳させて画面表示させ
たり、あるいは、テレビ会議の司会者や一般の参加者あ
るいはオブザーバなどの識別が視覚的に容易なマーカを
重畳させて画面表示させることも可能であり、而して、
スムースにテレビ会議を行うことが可能なテレビ会議シ
ステムを提供することができる。
をモニタ画面に画面表示した場合であっても、発言者や
非発言者を識別可能なマーカを重畳させて画面表示させ
たり、あるいは、テレビ会議の司会者や一般の参加者あ
るいはオブザーバなどの識別が視覚的に容易なマーカを
重畳させて画面表示させることも可能であり、而して、
スムースにテレビ会議を行うことが可能なテレビ会議シ
ステムを提供することができる。
【００７９】更には、テレビ会議の参加者が会議に参加
した参加時刻、退席した退席時刻、発言した発言時刻な
どのテレビ会議の会議経過時刻を表示することが可能な
テレビ会議システムを提供することができる。
した参加時刻、退席した退席時刻、発言した発言時刻な
どのテレビ会議の会議経過時刻を表示することが可能な
テレビ会議システムを提供することができる。
【図１】本発明に係る発言者識別装置を具備したテレビ
会議システムの構成の一例を示すブロック構成図であ
る。
会議システムの構成の一例を示すブロック構成図であ
る。
【図２】本発明に係る発言者識別装置を具備したテレビ
会議システムにおいて、モニタ画面に画面表示された画
像の一例を示す概念図である。
会議システムにおいて、モニタ画面に画面表示された画
像の一例を示す概念図である。
【図３】本発明に係る発言者識別装置を具備したテレビ
会議システムを構成する方向検出部と人間検出部との他
の構成例を示すブロック構成図である。
会議システムを構成する方向検出部と人間検出部との他
の構成例を示すブロック構成図である。
【図４】本発明に係る発言者識別装置を具備したテレビ
会議システムを構成する方向検出部の更なる他の構成例
を示すブロック構成図である。
会議システムを構成する方向検出部の更なる他の構成例
を示すブロック構成図である。
【図５】テレビ会議参加者のうち、発言者用と非発言者
用のマーカのマーキング表示を行なう場合のモニタ画面
表示の一例を示す概念図である。
用のマーカのマーキング表示を行なう場合のモニタ画面
表示の一例を示す概念図である。
【図６】あるテレビ会議の参加状況を示すモニタ画面表
示の一例を示す概念図である。
示の一例を示す概念図である。
１…音声入力部、２…方向検出部、２′，２″…方向検
出制御部、３…人間検出部、３′…人間検出制御部、３
ａ…顔抽出手段、３ｂ…顔輪郭抽出手段、３ｃ…唇検出
手段、４…スーパインポーズ発生回路、５…画像コーデ
ック、６…ＣＧＲＯＭ、７…音声コーデック、８…カメ
ラ制御部、９…カメラ装置、１０…ビデオデコーダ、１
１…多重化回路部、１２…通信回線、１３…記憶メモ
リ、２１…音源特徴抽出部、２２…第１記憶メモリ、２
３…音源特徴比較部、２４…音声レベル検出部、２５…
タイマ部、３１…位置演算部、３２…第２記憶メモリ、
１００…マーカ、１０１…発言者、１０２…参加者、１
０３…発言者マーカ、１０４…非発言者マーカ、１０５
…発言者、１０６…非発言者、１０７，１０８…参加時
刻表示、１０９，１１０…参加者、１１１…参加時刻表
示、１１２…参加者。
出制御部、３…人間検出部、３′…人間検出制御部、３
ａ…顔抽出手段、３ｂ…顔輪郭抽出手段、３ｃ…唇検出
手段、４…スーパインポーズ発生回路、５…画像コーデ
ック、６…ＣＧＲＯＭ、７…音声コーデック、８…カメ
ラ制御部、９…カメラ装置、１０…ビデオデコーダ、１
１…多重化回路部、１２…通信回線、１３…記憶メモ
リ、２１…音源特徴抽出部、２２…第１記憶メモリ、２
３…音源特徴比較部、２４…音声レベル検出部、２５…
タイマ部、３１…位置演算部、３２…第２記憶メモリ、
１００…マーカ、１０１…発言者、１０２…参加者、１
０３…発言者マーカ、１０４…非発言者マーカ、１０５
…発言者、１０６…非発言者、１０７，１０８…参加時
刻表示、１０９，１１０…参加者、１１１…参加時刻表
示、１１２…参加者。
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 5B057 AA20 BA02 BA17 CA01 CA08
CA16 CB01 CB08 CB12 CB16
CE08 CH18 DA07 DA08 DA16
DB02 DB06 DB09 DC16 DC25
DC36
5C064 AA02 AC04 AC06 AC08 AC09
AC12 AC13 AC15 AC16 AC18
AC22 AD02
5L096 AA02 AA06 BA20 CA02 DA02
FA06 FA15 GA38 HA03
Claims (26)
- 【請求項１】 画像及び音声を入力し送受信するテレビ
会議システムにおける発言者を識別するテレビ会議シス
テムの発言者識別装置において、入力音声から音源方向
を検出する方向検出手段と、入力画像内から人物を検出
する人間検出手段と、表示されているモニタ画面上にお
いて前記人間検出手段にて検出された人物の画像周辺に
前以って定められているマーカを表示するマーキング手
段とを具備し、前記方向検出手段によって得られた音源
方向に前記人間検出手段にて人物を検出した場合に、テ
レビ会議における発言者として前記マーキング手段によ
り発言者を示すマーカをマーキング表示させることを特
徴とするテレビ会議システムの発言者識別装置。 - 【請求項２】 前記人間検出手段が、人物の顔の色を抽
出して人物を検出する顔抽出手段を更に具備しているこ
とを特徴とする請求項１に記載のテレビ会議システムの
発言者識別装置。 - 【請求項３】 前記人間検出手段が、人物の顔の輪郭及
び目乃至鼻乃至口の輪郭を抽出して人物を検出する顔輪
郭抽出手段を更に具備していることを特徴とする請求項
１又は２に記載のテレビ会議システムの発言者識別装
置。 - 【請求項４】 前記人間検出手段が、人物の唇が動いて
いることを検出する唇検出手段を更に具備していること
を特徴とする請求項１乃至３に記載のテレビ会議システ
ムの発言者識別装置。 - 【請求項５】 前記唇検出手段にて、人物の唇が動いて
いることが検出された場合に、前記マーキング手段にて
発言者を示す前記マーカをマーキング表示させることを
特徴とする請求項４に記載のテレビ会議システムの発言
者識別装置。 - 【請求項６】 前記方向検出手段によって得られた音源
方向に前記人間検出手段にて人物が検出された場合であ
り、かつ、前記唇検出手段にて、人物の唇が動いている
ことが検出された場合に、前記マーキング手段にて発言
者を示す前記マーカをマーキング表示させることを特徴
とする請求項５に記載のテレビ会議システムの発言者識
別装置。 - 【請求項７】 前記方向検出手段が、音源の特徴を記憶
する第１記憶手段と、新たに入力された音源の特徴と前
記第１記憶手段に記憶された前記音源の特徴とを比較す
る音源特徴比較手段とを更に具備し、前記人間検出手段
が、検出された人物の画像位置を記憶する第２記憶手段
を更に具備し、前記音源特徴比較手段によって新たに入
力された音源の特徴と前記第１記憶手段に記憶された前
記音源の特徴とが一致していることが検出された場合、
前記第２記憶手段に記憶された前記人物の前記画像位置
を読み出して、モニタ画面に表示された前記人物の画像
周辺に前記マーキング手段により発言者を示す前記マー
カをマーキング表示させることを特徴とする請求項１乃
至６のいずれかに記載のテレビ会議システムの発言者識
別装置。 - 【請求項８】 前記音源特徴比較手段が、前記第１記憶
手段に記憶された前記音源の特徴のうち、前記新たに入
力された音源の方向にある音源の特徴を読み出し、前記
音源特徴比較手段によって新たに入力された音源の特徴
とを比較して一致していないことが検出された場合にお
いて、前記方向検出手段によって得られた音源方向に前
記人間検出手段にて人物を検出した場合には、前記新た
に入力された音源の特徴を前記第１記憶メモリに記憶し
直すと共に、前記人間検出手段にて検出された該人物の
画像位置を前記第２記憶メモリに記憶させることを特徴
とする請求項７に記載のテレビ会議システムの発言者識
別装置。 - 【請求項９】 前記音源特徴比較手段が、前記第１記憶
手段に記憶された前記音源の特徴のうち、前記新たに入
力された音源の方向にある音源の特徴を読み出し、前記
音源特徴比較手段によって新たに入力された音源の特徴
とを比較して一致していないことが検出された場合にお
いて、前記方向検出手段によって得られた音源方向に前
記人間検出手段にて人物を検出しなかった場合には、前
記マーキング手段による発言者を示す前記マーカのマー
キング表示を元の状態のままとすることを特徴とする請
求項７又は８に記載のテレビ会議システムの発言者識別
装置。 - 【請求項１０】 前記第２記憶手段が、前記人間検出手
段が具備している顔輪郭抽出手段により入力画像の中の
人物の顔の輪郭及び／又は目乃至鼻乃至口の輪郭に関す
る顔特徴を抽出して記憶する顔特徴記憶手段を更に具備
し、前記人間検出手段が、該顔特徴記憶手段に記憶され
た前記顔特徴と前記顔輪郭抽出手段により入力画像の中
から新たに抽出された顔特徴とを比較する顔特徴比較手
段を更に具備し、前記音源特徴比較手段によって新たに
入力された音源の特徴と前記第１記憶手段に記憶された
前記音源の特徴とが一致していることが検出された場
合、前記顔特徴比較手段において、前記顔特徴記憶手段
に記憶された前記顔特徴と前記顔輪郭抽出手段によって
新たに抽出された顔特徴とを比較して、一致しているこ
とが検出された場合には、前記第２記憶手段に記憶され
た人物の前記画像位置を読み出して、モニタ画面に表示
された前記人物の画像周辺に前記マーキング手段により
発言者を示す前記マーカをマーキング表示させることを
特徴とする請求項７乃至９のいずれかに記載のテレビ会
議システムの発言者識別装置。 - 【請求項１１】 前記顔特徴比較手段において、前記顔
特徴記憶手段に記憶された前記顔特徴と前記人間検出手
段の顔輪郭抽出手段によって新たに抽出された顔特徴と
を比較して、一致していないことが検出された場合、前
記マーキング手段による発言者を示す前記マーカのマー
キング表示を元の状態のままとすることを特徴とする請
求項１０に記載のテレビ会議システムの発言者識別装
置。 - 【請求項１２】 前記方向検出手段が、音源の特徴を記
憶する第１記憶手段と、新たに入力された音源の特徴と
前記第１記憶手段に記憶された前記音源の特徴とを比較
する音源特徴比較手段とを更に具備し、前記人間検出手
段が、検出された人物の画像位置を記憶する第２記憶手
段と、検出された人物の唇が動いていることを検出する
唇検出手段とを更に具備し、前記音源特徴比較手段によ
って新たに入力された音源の特徴と前記第１記憶手段に
記憶された前記音源の特徴とが一致していることが検出
された場合、前記唇検出手段によって前記音源の特徴が
一致している方向にいる人物の唇が動いていることが検
出された場合には、前記第２記憶手段に記憶された人物
の前記画像位置を読み出して、モニタ画面に表示された
前記人物の画像周辺に前記マーキング手段により発言者
を示す前記マーカをマーキング表示させることを特徴と
する請求項１乃至１１のいずれかに記載のテレビ会議シ
ステムの発言者識別装置。 - 【請求項１３】 前記唇検出手段によって前記音源の特
徴が一致している方向にいる人物の唇が動いていること
が検出されない場合、前記マーキング手段による発言者
を示す前記マーカのマーキング表示を元の状態のままと
することを特徴とする請求項１２に記載のテレビ会議シ
ステムの発言者識別装置。 - 【請求項１４】 前記方向検出手段は、入力音声が継続
して入力されている継続時間を検出する時間検出手段を
更に具備し、前記時間検出手段により検出された入力音
声の前記継続時間が、前以って設定された所定継続時間
以上に亘っていることが判定された場合において、前記
人間検出手段により、入力画像の中から人物の検出を行
なう動作が起動されることを特徴とする請求項１乃至１
３のいずれかに記載のテレビ会議システムの発言者識別
装置。 - 【請求項１５】 前記方向検出手段は、入力音声が継続
して入力されている継続時間を検出する時間検出手段を
更に具備し、前記時間検出手段により検出された入力音
源の前記継続時間が、前以って設定された所定継続時間
以上に亘っていることが判定された場合において、前記
方向検出手段により、前記入力音声の音源方向の検出を
行なう動作が起動されることを特徴とする請求項１乃至
１４のいずれかに記載のテレビ会議システムの発言者識
別装置。 - 【請求項１６】 前記方向検出手段が、入力音声の音声
レベルを検出する音声レベル検出手段を更に具備し、該
音声レベル検出手段により検出される入力音声の音声レ
ベルが予め定められた所定音声レベル以上であることを
検出した場合に、前記時間検出手段による前記継続時間
の検出動作が開始されることを特徴とする請求項１４又
は１５に記載のテレビ会議システムの発言者識別装置。 - 【請求項１７】 前記人間検出手段が、入力画像内の人
物を検出し、前記マーキング手段が、前記人間検出手段
によって検出された人物それぞれに対して、モニタ画面
に表示された該人物の画像周辺に色分け及び／又は形状
分けされたマーカのマーキング表示を行なうことを特徴
とする請求項１乃至１６のいずれかに記載のテレビ会議
システムの発言者識別装置。 - 【請求項１８】 前記マーキング手段が、前記人間検出
手段によって検出された人物それぞれに対して、モニタ
画面に表示された該人物の画像周辺に色分け及び／又は
形状分けをした前記マーカのマーキング表示を行なう際
に、前記方向検出手段により得られた音源方向にある画
像位置の人物の画像周辺には、発言者を示す色及び／又
は形状の発言者マーカのマーキング表示を、また、前記
方向検出手段により得られた音源方向以外にある画像位
置の人物の画像周辺には、非発言者を示す色及び／又は
形状の非発言者マーカのマーキング表示を、それぞれ行
なうことを特徴とする請求項１７に記載のテレビ会議シ
ステムの発言者識別装置。 - 【請求項１９】 前記人間検出手段が、入力画像内の人
物を検出する際に、検出された検出時刻を記憶する検出
時刻記憶手段を更に具備し、該検出時刻記憶手段に記憶
された前記検出時刻を、検出された前記人物の参加時刻
として、モニタ画面に表示することを特徴とする請求項
１乃至１８のいずれかに記載のテレビ会議システムの発
言者識別装置。 - 【請求項２０】 前記人間検出手段が、入力画像内から
検出された１人以上の人物の画像位置を記憶することが
できる第２記憶手段を１つ以上具備し、更に、前記人間
検出手段が、前以って設定された一定周期毎に、前記入
力画像内のすべての人物の検出を行ない、各人物の検出
結果の画像位置をそれぞれ求める際に、前記検出結果の
人物の画像位置のそれぞれと前記第２記憶手段に記憶さ
れた１人以上の人物の画像位置との比較を行なう位置比
較手段を更に具備し、前記位置比較手段にて、前記第２
記憶手段に記憶された人物の画像位置のいずれかが、前
記検出結果の人物の画像位置のいずれにも一致していな
い場合には、一致していない前記第２記憶手段に記憶さ
れた画像位置の人物が退席したものとして、該人物が検
出されなくなった時刻を退席時刻として記憶する退席時
刻記憶手段と、逆に、前記位置比較手段にて、前記検出
結果の人物の画像位置のいずれかが、前記第２記憶手段
に記憶された人物の画像位置のいずれにも一致していな
い場合には、一致していない前記検出結果の画像位置の
人物が新たに参加したものとして、該人物が新たに検出
された時刻を参加時刻として記憶する参加時刻記憶手段
と、を更に具備し、前記退席時刻記憶手段に記憶されて
いる前記退席時刻を、逆に、前記参加時刻記憶手段に記
憶されている前記参加時刻を、モニタ画面に表示するこ
とを特徴とする請求項１乃至１９のいずれかに記載のテ
レビ会議システムの発言者識別装置。 - 【請求項２１】 前記方向検出手段が、入力音声の音源
を検出した時刻を音源検出時刻として記憶する音源検出
記憶手段を更に具備し、前記音源検出記憶手段に記憶さ
れている前記音源検出時刻をモニタ画面に表示すること
を特徴とする請求項１乃至２０のいずれかに記載のテレ
ビ会議システムの発言者識別装置。 - 【請求項２２】 少なくとも水平方向に可動可能な画像
入力用のカメラ装置を更に具備し、前記方向検出手段が
検出した音源方向に、前記カメラ装置の位置を向けるよ
うに制御することを特徴とする請求項１乃至２１のいず
れかに記載のテレビ会議システムの発言者識別装置。 - 【請求項２３】 前記方向検出手段が検出した音源方向
に、前記カメラ装置の位置を向けさせるように制御する
際に、検出した該音源方向には前記人間検出手段による
人物が検出されなかった場合、及び／又は、発言者を示
す前記マーカを新たにマーキング表示すべき状態が検出
されなかった場合には、前記カメラ装置を動作前の位置
に戻すことを特徴とする請求項２２に記載のテレビ会議
システムの発言者識別装置。 - 【請求項２４】 少なくとも水平方向に可動可能な画像
入力用のカメラ装置が、ズーミングを行なうことができ
るズーム手段を更に具備し、前記方向検出手段が検出し
た音源方向に、前記カメラ装置の位置を向けると共に前
記ズーム手段によりズーミングを行なうように制御する
ことを特徴とする請求項１乃至２３のいずれかに記載の
テレビ会議システムの発言者識別装置。 - 【請求項２５】 前記方向検出手段が検出した音源方向
に、前記カメラ装置の位置を向けさせると共に前記ズー
ム手段によりズーミングを行なうように制御する際に、
検出した該音源方向には前記人間検出手段による人物が
検出されなかった場合、及び／又は、発言者を示す前記
マーカを新たにマーキング表示すべき状態が検出されな
かった場合には、前記カメラ装置を動作前の位置に戻す
ことを特徴とする請求項２４に記載のテレビ会議システ
ムの発言者識別装置。 - 【請求項２６】 請求項１乃至２５のいずれかのテレビ
会議の発言者識別装置を備えていることを特徴とするテ
レビ会議システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001387569A JP4212274B2 (ja) | 2001-12-20 | 2001-12-20 | 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001387569A JP4212274B2 (ja) | 2001-12-20 | 2001-12-20 | 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003189273A true JP2003189273A (ja) | 2003-07-04 |
| JP4212274B2 JP4212274B2 (ja) | 2009-01-21 |
Family
ID=27596356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001387569A Expired - Fee Related JP4212274B2 (ja) | 2001-12-20 | 2001-12-20 | 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4212274B2 (ja) |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005098740A1 (en) * | 2004-03-30 | 2005-10-20 | Intel Corporation (A Corporation Of Delaware) | Techniques for separating and evaluating audio and video source data |
| JP2006197505A (ja) * | 2005-01-17 | 2006-07-27 | Sony Corp | カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法 |
| JP2008098954A (ja) * | 2006-10-12 | 2008-04-24 | Nec Corp | 撮像装置及び方法並びにプログラム |
| WO2009004731A1 (ja) * | 2007-07-05 | 2009-01-08 | Panasonic Corporation | 画像音声通信装置及び画像表示方法 |
| JP2009140366A (ja) * | 2007-12-07 | 2009-06-25 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| WO2010010736A1 (ja) * | 2008-07-24 | 2010-01-28 | ブラザー工業株式会社 | 会議画像生成方法、会議システム、サーバ装置及び会議装置等 |
| EP2180703A1 (en) * | 2008-10-02 | 2010-04-28 | Polycom, Inc. | Displaying dynamic caller identity during point-to-point and multipoint audio/videoconference |
| JP2010103972A (ja) * | 2008-09-25 | 2010-05-06 | Sanyo Electric Co Ltd | 画像処理装置及び電子機器 |
| JP2010232780A (ja) * | 2009-03-26 | 2010-10-14 | Brother Ind Ltd | 通信制御装置、通信制御方法、及び通信制御プログラム |
| US8044990B2 (en) | 2005-08-17 | 2011-10-25 | Sony Corporation | Camera controller and teleconferencing system |
| KR101166612B1 (ko) * | 2009-08-19 | 2012-07-18 | 엘지전자 주식회사 | 단말기에서의 음원 처리 방법 및 이를 적용한 단말기 |
| US8411160B2 (en) | 2007-08-31 | 2013-04-02 | Casio Computer Co., Ltd. | Apparatus including function to specify image region of main subject from obtained image, method to specify image region of main subject from obtained image and computer readable storage medium storing program to specify image region of main subject from obtained image |
| JP2013122695A (ja) * | 2011-12-12 | 2013-06-20 | Honda Motor Co Ltd | 情報提示装置、情報提示方法、情報提示プログラム、及び情報伝達システム |
| WO2013127618A1 (en) * | 2012-02-29 | 2013-09-06 | Thomson Licensing | Solution for identifying a sound source in an image or a sequence of images |
| KR20140132231A (ko) * | 2013-05-07 | 2014-11-17 | 삼성전자주식회사 | 영상 회의 시 단말기를 제어하기 위한 방법, 장치 및 기록 매체 |
| US9094645B2 (en) | 2009-07-17 | 2015-07-28 | Lg Electronics Inc. | Method for processing sound source in terminal and terminal using the same |
| EP3103260A1 (en) * | 2014-02-03 | 2016-12-14 | Google, Inc. | Enhancing video conferences |
| JP2017092938A (ja) * | 2016-07-12 | 2017-05-25 | パナソニックＩｐマネジメント株式会社 | 音源検知システム及び音源検知方法 |
| KR101858895B1 (ko) * | 2017-03-10 | 2018-05-16 | 한국전자통신연구원 | 영상 회의 서비스 제공 방법 및 이를 수행하는 장치들 |
| JP2018533264A (ja) * | 2015-09-02 | 2018-11-08 | ハドル・ルーム・テクノロジー・エッセ・エッレ・エッレ | ビデオ通信のための装置 |
| KR101918676B1 (ko) * | 2018-05-23 | 2018-11-14 | (주)유프리즘 | 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법 |
| US10536669B2 (en) | 2013-07-17 | 2020-01-14 | Ebay Inc. | Methods, systems, and apparatus for providing video communications |
| US10824876B2 (en) | 2015-11-06 | 2020-11-03 | Panasonic Intellectual Property Management Co., Ltd. | Pilotless flying object detection system and pilotless flying object detection method |
| US10909384B2 (en) | 2015-07-14 | 2021-02-02 | Panasonic Intellectual Property Management Co., Ltd. | Monitoring system and monitoring method |
| CN112887656A (zh) * | 2021-01-26 | 2021-06-01 | 黄旭诗 | 一种基于虚拟现实的多人在线会议系统 |
| CN113556499A (zh) * | 2020-04-07 | 2021-10-26 | 上海汽车集团股份有限公司 | 一种车载视频通话方法及车载系统 |
| CN113762056A (zh) * | 2021-05-18 | 2021-12-07 | 腾讯科技（深圳）有限公司 | 演唱视频识别方法、装置、设备及存储介质 |
| CN115695708A (zh) * | 2022-10-27 | 2023-02-03 | 深圳奥尼电子股份有限公司 | 一种具有无线麦克风智能跟踪功能的音视频控制方法 |
| CN116233590A (zh) * | 2023-03-13 | 2023-06-06 | 思必驰科技股份有限公司 | 一种语音控制的ai摄像头 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012085009A (ja) * | 2010-10-07 | 2012-04-26 | Sony Corp | 情報処理装置および情報処理方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59182687A (ja) * | 1983-04-01 | 1984-10-17 | Nippon Telegr & Teleph Corp <Ntt> | 静止画像通信会議方式 |
| JPH0435591A (ja) * | 1990-05-31 | 1992-02-06 | Nec Corp | テレビ会議装置 |
| JPH0568248A (ja) * | 1991-09-05 | 1993-03-19 | Canon Inc | テレビ会議システム及び表示制御装置 |
| JPH05244587A (ja) * | 1992-02-26 | 1993-09-21 | Mitsubishi Electric Corp | テレビ会議用カメラ制御装置 |
| JPH0662400A (ja) * | 1992-08-12 | 1994-03-04 | Hitachi Ltd | 会議制御方式 |
| JPH07226931A (ja) * | 1994-02-15 | 1995-08-22 | Toshiba Corp | マルチメディア会議装置 |
| JPH07298230A (ja) * | 1994-04-21 | 1995-11-10 | Canon Inc | 通信端末装置及び通信システム |
| JPH0837655A (ja) * | 1994-07-26 | 1996-02-06 | Kyocera Corp | 話者識別表示機能を有するテレビ会議システム |
| JPH09200717A (ja) * | 1996-01-19 | 1997-07-31 | Matsushita Electric Ind Co Ltd | マーク表示方法およびテレビ会議装置 |
| JPH1141577A (ja) * | 1997-07-18 | 1999-02-12 | Fujitsu Ltd | 話者位置検出装置 |
| JP2000041228A (ja) * | 1998-07-22 | 2000-02-08 | Fujitsu Ltd | 話者位置検出装置 |
| JP2000125274A (ja) * | 1998-10-14 | 2000-04-28 | Picturetel Corp | 会議内容に索引付けを行うための方法と装置 |
| JP2000184345A (ja) * | 1998-12-14 | 2000-06-30 | Nec Corp | マルチモーダルコミュニケーション支援装置 |
-
2001
- 2001-12-20 JP JP2001387569A patent/JP4212274B2/ja not_active Expired - Fee Related
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59182687A (ja) * | 1983-04-01 | 1984-10-17 | Nippon Telegr & Teleph Corp <Ntt> | 静止画像通信会議方式 |
| JPH0435591A (ja) * | 1990-05-31 | 1992-02-06 | Nec Corp | テレビ会議装置 |
| JPH0568248A (ja) * | 1991-09-05 | 1993-03-19 | Canon Inc | テレビ会議システム及び表示制御装置 |
| JPH05244587A (ja) * | 1992-02-26 | 1993-09-21 | Mitsubishi Electric Corp | テレビ会議用カメラ制御装置 |
| JPH0662400A (ja) * | 1992-08-12 | 1994-03-04 | Hitachi Ltd | 会議制御方式 |
| JPH07226931A (ja) * | 1994-02-15 | 1995-08-22 | Toshiba Corp | マルチメディア会議装置 |
| JPH07298230A (ja) * | 1994-04-21 | 1995-11-10 | Canon Inc | 通信端末装置及び通信システム |
| JPH0837655A (ja) * | 1994-07-26 | 1996-02-06 | Kyocera Corp | 話者識別表示機能を有するテレビ会議システム |
| JPH09200717A (ja) * | 1996-01-19 | 1997-07-31 | Matsushita Electric Ind Co Ltd | マーク表示方法およびテレビ会議装置 |
| JPH1141577A (ja) * | 1997-07-18 | 1999-02-12 | Fujitsu Ltd | 話者位置検出装置 |
| JP2000041228A (ja) * | 1998-07-22 | 2000-02-08 | Fujitsu Ltd | 話者位置検出装置 |
| JP2000125274A (ja) * | 1998-10-14 | 2000-04-28 | Picturetel Corp | 会議内容に索引付けを行うための方法と装置 |
| JP2000184345A (ja) * | 1998-12-14 | 2000-06-30 | Nec Corp | マルチモーダルコミュニケーション支援装置 |
Cited By (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101013658B1 (ko) * | 2004-03-30 | 2011-02-10 | 인텔 코오퍼레이션 | 오디오 및 비디오 소스 데이터를 분리하고 평가하는 기술 |
| JP2007528031A (ja) * | 2004-03-30 | 2007-10-04 | インテル・コーポレーション | 音声および映像ソースデータを分離および評価する技術 |
| WO2005098740A1 (en) * | 2004-03-30 | 2005-10-20 | Intel Corporation (A Corporation Of Delaware) | Techniques for separating and evaluating audio and video source data |
| JP2006197505A (ja) * | 2005-01-17 | 2006-07-27 | Sony Corp | カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法 |
| KR101231518B1 (ko) * | 2005-01-17 | 2013-02-07 | 소니 주식회사 | 카메라 제어 장치, 카메라 시스템, 전자 회의 시스템 및카메라 제어 방법 |
| US8044990B2 (en) | 2005-08-17 | 2011-10-25 | Sony Corporation | Camera controller and teleconferencing system |
| JP2008098954A (ja) * | 2006-10-12 | 2008-04-24 | Nec Corp | 撮像装置及び方法並びにプログラム |
| WO2009004731A1 (ja) * | 2007-07-05 | 2009-01-08 | Panasonic Corporation | 画像音声通信装置及び画像表示方法 |
| US8411160B2 (en) | 2007-08-31 | 2013-04-02 | Casio Computer Co., Ltd. | Apparatus including function to specify image region of main subject from obtained image, method to specify image region of main subject from obtained image and computer readable storage medium storing program to specify image region of main subject from obtained image |
| JP2009140366A (ja) * | 2007-12-07 | 2009-06-25 | Sony Corp | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| WO2010010736A1 (ja) * | 2008-07-24 | 2010-01-28 | ブラザー工業株式会社 | 会議画像生成方法、会議システム、サーバ装置及び会議装置等 |
| JP2010103972A (ja) * | 2008-09-25 | 2010-05-06 | Sanyo Electric Co Ltd | 画像処理装置及び電子機器 |
| EP2180703A1 (en) * | 2008-10-02 | 2010-04-28 | Polycom, Inc. | Displaying dynamic caller identity during point-to-point and multipoint audio/videoconference |
| JP2010232780A (ja) * | 2009-03-26 | 2010-10-14 | Brother Ind Ltd | 通信制御装置、通信制御方法、及び通信制御プログラム |
| US8521525B2 (en) | 2009-03-26 | 2013-08-27 | Brother Kogyo Kabushiki Kaisha | Communication control apparatus, communication control method, and non-transitory computer-readable medium storing a communication control program for converting sound data into text data |
| US9094645B2 (en) | 2009-07-17 | 2015-07-28 | Lg Electronics Inc. | Method for processing sound source in terminal and terminal using the same |
| KR101166612B1 (ko) * | 2009-08-19 | 2012-07-18 | 엘지전자 주식회사 | 단말기에서의 음원 처리 방법 및 이를 적용한 단말기 |
| JP2013122695A (ja) * | 2011-12-12 | 2013-06-20 | Honda Motor Co Ltd | 情報提示装置、情報提示方法、情報提示プログラム、及び情報伝達システム |
| US8990078B2 (en) | 2011-12-12 | 2015-03-24 | Honda Motor Co., Ltd. | Information presentation device associated with sound source separation |
| WO2013127618A1 (en) * | 2012-02-29 | 2013-09-06 | Thomson Licensing | Solution for identifying a sound source in an image or a sequence of images |
| KR20140132231A (ko) * | 2013-05-07 | 2014-11-17 | 삼성전자주식회사 | 영상 회의 시 단말기를 제어하기 위한 방법, 장치 및 기록 매체 |
| KR101892268B1 (ko) * | 2013-05-07 | 2018-08-27 | 삼성전자주식회사 | 영상 회의 시 단말기를 제어하기 위한 방법, 장치 및 기록 매체 |
| US11683442B2 (en) | 2013-07-17 | 2023-06-20 | Ebay Inc. | Methods, systems and apparatus for providing video communications |
| US10951860B2 (en) | 2013-07-17 | 2021-03-16 | Ebay, Inc. | Methods, systems, and apparatus for providing video communications |
| US10536669B2 (en) | 2013-07-17 | 2020-01-14 | Ebay Inc. | Methods, systems, and apparatus for providing video communications |
| EP3103260A1 (en) * | 2014-02-03 | 2016-12-14 | Google, Inc. | Enhancing video conferences |
| US10909384B2 (en) | 2015-07-14 | 2021-02-02 | Panasonic Intellectual Property Management Co., Ltd. | Monitoring system and monitoring method |
| JP2018533264A (ja) * | 2015-09-02 | 2018-11-08 | ハドル・ルーム・テクノロジー・エッセ・エッレ・エッレ | ビデオ通信のための装置 |
| US11115626B2 (en) | 2015-09-02 | 2021-09-07 | Huddle Toom Technology S.R.L. | Apparatus for video communication |
| US10824876B2 (en) | 2015-11-06 | 2020-11-03 | Panasonic Intellectual Property Management Co., Ltd. | Pilotless flying object detection system and pilotless flying object detection method |
| JP2017092938A (ja) * | 2016-07-12 | 2017-05-25 | パナソニックＩｐマネジメント株式会社 | 音源検知システム及び音源検知方法 |
| KR101858895B1 (ko) * | 2017-03-10 | 2018-05-16 | 한국전자통신연구원 | 영상 회의 서비스 제공 방법 및 이를 수행하는 장치들 |
| WO2019225836A1 (ko) * | 2018-05-23 | 2019-11-28 | (주) 유프리즘 | 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법 |
| KR101918676B1 (ko) * | 2018-05-23 | 2018-11-14 | (주)유프리즘 | 복수 개의 영상회의용 단말을 이용하여 영상회의를 제공할 수 있는 영상회의 서버 및 그 카메라 추적방법 |
| JP2021525035A (ja) * | 2018-05-23 | 2021-09-16 | ユープリズム カンパニー リミテッド | 複数のビデオ会議用端末を用いてビデオ会議を提供できるビデオ会議サーバ及びそのカメラ追跡方法 |
| CN113556499A (zh) * | 2020-04-07 | 2021-10-26 | 上海汽车集团股份有限公司 | 一种车载视频通话方法及车载系统 |
| CN113556499B (zh) * | 2020-04-07 | 2023-05-09 | 上海汽车集团股份有限公司 | 一种车载视频通话方法及车载系统 |
| CN112887656A (zh) * | 2021-01-26 | 2021-06-01 | 黄旭诗 | 一种基于虚拟现实的多人在线会议系统 |
| CN113762056A (zh) * | 2021-05-18 | 2021-12-07 | 腾讯科技（深圳）有限公司 | 演唱视频识别方法、装置、设备及存储介质 |
| CN115695708A (zh) * | 2022-10-27 | 2023-02-03 | 深圳奥尼电子股份有限公司 | 一种具有无线麦克风智能跟踪功能的音视频控制方法 |
| WO2024087641A1 (zh) * | 2022-10-27 | 2024-05-02 | 深圳奥尼电子股份有限公司 | 一种具有无线麦克风智能跟踪功能的音视频控制方法 |
| CN116233590A (zh) * | 2023-03-13 | 2023-06-06 | 思必驰科技股份有限公司 | 一种语音控制的ai摄像头 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4212274B2 (ja) | 2009-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003189273A (ja) | 発言者識別装置及び該発言者識別装置を備えたテレビ会議システム | |
| CN110944143B (zh) | 视频会议装置以及视频会议方法 | |
| EP3739573B1 (en) | Information processing device, information processing method, and program | |
| US7015934B2 (en) | Image displaying apparatus | |
| JP5323770B2 (ja) | ユーザ指示取得装置、ユーザ指示取得プログラムおよびテレビ受像機 | |
| JP5201050B2 (ja) | 会議支援装置、会議支援方法、会議システム、会議支援プログラム | |
| CA2691424C (en) | Methods for electronically analysing a dialogue and corresponding systems | |
| KR101636716B1 (ko) | 발언자를 구별하는 영상 회의 장치 및 방법 | |
| WO2020119032A1 (zh) | 基于生物特征的声源追踪方法、装置、设备及存储介质 | |
| CN110418095B (zh) | 虚拟场景的处理方法、装置、电子设备及存储介质 | |
| US20120293599A1 (en) | Meeting room participant recogniser | |
| CN106657865A (zh) | 会议纪要的生成方法、装置及视频会议系统 | |
| JP2007147762A (ja) | 発話者予測装置および発話者予測方法 | |
| WO2010010736A1 (ja) | 会議画像生成方法、会議システム、サーバ装置及び会議装置等 | |
| KR101840594B1 (ko) | 영상 회의 참여도 평가 방법 | |
| JP2014165565A (ja) | テレビ会議装置およびシステムおよび方法 | |
| JP2009166184A (ja) | ガイドロボット | |
| KR20190015332A (ko) | 증강 현실의 가상 객체들에 영향을 미치는 장치 | |
| JP2019086858A (ja) | 顧客応対システム及び顧客応対方法 | |
| JP7838292B2 (ja) | 音声認識装置、音声認識方法、音声認識プログラム、音声認識システム | |
| US12272090B2 (en) | Information processing apparatus, and information processing method | |
| JP2010109898A (ja) | 撮影制御装置、撮影制御方法及びプログラム | |
| US8452599B2 (en) | Method and system for extracting messages | |
| JPWO2023106350A5 (ja) | 遠隔会議実行プログラム、遠隔会議実行方法、及び遠隔会議実行装置 | |
| JP2022112784A (ja) | 映像通話装置、及びそれに用いる制御装置、制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040618 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080929 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081028 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081028 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |