JPH11266443A

JPH11266443A - 画像及び音声送受信装置

Info

Publication number: JPH11266443A
Application number: JP10066671A
Authority: JP
Inventors: Mitsuo Sasuga; 三夫流石
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-03-17
Filing date: 1998-03-17
Publication date: 1999-09-28

Abstract

(57)【要約】【課題】画像及び音声伝達装置、ＴＶ会議システム等
において、送信者と受信者が視線を合わせてコミュニケ
ーションできる装置で、小型、低価格な装置を得る。【解決手段】情報表示装置に複数の撮像部を取りつ
け、各撮像部が撮影した映像を合成処理して、正面から
の映像を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像及び音声送受信
装置に関し、受信者側の表示画面上に表れた映像におい
て、送信者側の視線がいかにも受信者と正対しているよ
うに、当該送信者の映像を送ることができる装置であ
り、かつ、小型化、低価格化を可能にした装置である。

【０００２】

【従来の技術】従来、画像及び音声送受信装置、いわゆ
るＴＶ会議装置やＴＶ電話装置が開発されている。図１
６（ａ）は，パーソナルコンピュータ１１にカメラ１２
を設置して、ＴＶ電話装置を構成した例（正面図と側面
図を示している）である。図１６（ｂ）は、電話機１３
に表示装置１４とカメラ１５を取り付けてＴＶ電話装置
を構成した例である。

【０００３】いずれのＴＶ電話装置においても、表示部
と、カメラ部とが別々の個所に位置するために、画面を
みて対話を行う相手の像１６は、その視線が直接こちら
の視線と合うことはない。このために、対話者は、互い
に臨場感のある環境を得られない。

【０００４】これを解決するヒントになるものとして、
図１６（ｃ）に示すようなＴＶ会議装置が開発されてい
る（正面図と側面図を示している）。即ち、表示装置２
１の前面にハーフミラー２２を配置し、ハーフミラー２
２の下側にカメラ２３を配置する構成である。この構成
によると、対話者は、ハーフミラー２２を通して、表示
装置２１の画面を見るが、同時に、ハーフミラー２２の
下部に配置されたカメラ２３によりその顔を撮像され
て、その像が相手側に伝送される。このようにすると、
撮像側と表示画面が対話者に正対するので、表示画面上
に表れた相手の像の視線が、いかにもこちらの顔を見て
いるように映し出されることになる。

【０００５】

【発明が解決しようとする課題】図１６（ｃ）で説明し
たように、画面上の対話者の像の視線を、こちらの視線
に合わせるようなＴＶ会議装置が開発されているが、こ
の装置は、構成が大掛かりとなり、ＴＶ電話装置として
は不向きであり、また価格が増大するという問題があ
る。

【０００６】そこでこの発明は、画面上の対話者の像の
視線を、こちらの視線に合わせるように画像を合成する
ことができ、かつ低価格で小型化を得られる画像及び音
声伝送装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】この発明は、表示装置
と、この表示装置の周囲に設けられ、表示装置の画面前
方を撮像する複数の撮像部と、前記複数の撮像部からの
撮像信号であって、少なくとも２つ以上の任意の撮像信
号を選択することができる選択手段と、この選択手段に
よって複数の撮像信号を合成して、伝送用の撮像信号を
得る合成手段とを具備したことを特徴とする。

【０００８】上記手段によると、複数の撮像部から得ら
れた撮像信号を合成して、相手側の画面上の対話者の像
の視線を、画面に正対している相手の視線にいかにも合
わせているかのように画像を合成することができる。か
つこの装置を小型、低価格で実現できる。

【０００９】

【発明の実施の形態】以下、この発明の実施の形態を図
面を参照して説明する。ここから実施の形態の説明に入
るが、説明し易くするために画像を送ろうとする通信者
を送信者、通信相手を受信者と称し区別して説明する。

【００１０】図１は、本発明の一実施の形態である。図
１（Ａ）（Ｂ）はこの発明の装置外観であり、正面図と
側面図を示している。正面図にあるように、表示装置１
００の表示部の周囲枠１０１には、複数の撮像部１Ａ，
１Ｂ，１Ｃ，１Ｄが取り付けられている。この実施の形
態では、表示部の上下の枠部と、左右の枠部にそれぞれ
１つ設けられている。

【００１１】図２には、上記の撮像部１Ａ，１Ｂ，１
Ｃ，１Ｄと，その出力を処理する回路ブロックを示して
いる。即ち、複数個の撮像部１Ａ，１Ｂ，１Ｃ，１Ｄか
ら得られた画像信号は、入力画像選択部２０１によって
特定の撮像部（１Ａから１Ｃの内の複数個）からの画像
信号のみを選択する。

【００１２】次に選択された画像信号は画像合成部２０
２によって合成され、ここではそれぞれの撮像部からは
得られない正対画像が生成される。この画像合成部２０
２から出力された画像信号が、受信者側の画像及び音声
送受信装置２０３に送信される。

【００１３】相手から送られてきた画像信号は、信号処
理部２１１により処理され、表示部２１２にてその画像
が表示される。図３は、図１の装置の動作を説明するた
めに示す図である。送信者が受信者対して正対（視線が
合い向き合った状態）した画像を送信するのが円滑なコ
ミュニケーションを実現するのに好ましい訳であるが、
単体の撮像部（この例では１Ａ）から得られる画像だけ
では正対した画像を得る事は出来ない（図３の顔が横を
向いている図を参照）。

【００１４】そこで本発明では、撮像部１Ａから得られ
る画像に欠如した画像情報を撮像部２Ｂ、２Ｃからの画
像信号によって得て合成している。これにより、受信者
側の画像では、受信者に正対した画像を生成し、受信者
の視線と送信者の像の視線とが一致するようにし（図３
の顔が正面を向いている図を参照）、臨場感のある環境
を得られるようにしている。

【００１５】この発明は、上記の実施の形態に限定され
るものではない。図４には、この発明の他の実施の形態
を示している。図１の実施の形態では画像合成した後の
送信画像を、送信者が確認することなく送信したが、場
合によっては送信しようとする画像を送信前に確認した
いこともある。

【００１６】そこで図４に示すように、画像合成部２０
２の出力を、一旦画像メモリ２１３に格納できるように
構成する。そしてキーボードあるいはリモコン等の操作
部２１４からの確認ボタンが操作されると、スイッチ２
１５が端子Ｘ側に切り替えられる。すると、画像メモリ
２１３の出力画像信号が信号処理部２１１に入力し、送
信画像信号の画像を表示部２１２で確認できる。確認が
終わると、スイッチ２１５は端子Ｙ側に切換えられ、相
手側から送られてくる画像信号が、信号処理部２１１で
処理されるようになる。またスイッチ２１６がオンされ
て、送信者側の画像信号が、受信者側の画像及び音声送
受信装置へ伝達される。

【００１７】上記の装置において、送信画像を送信者が
気に入らなければ送信せずに、画像合成に用いる入力画
像の選択の組み合わせを変えるか、或いは被写体自体の
向き等の条件を変えることで合成画像を変更することが
できる。画像合成に用いる入力画像を選択する場合、操
作部２１４を通じて任意に組み合わせを変えることがで
きる。これを繰り返してモニタ上で送信者が送信する画
像を了解した上で画像を送信することが出来る。この実
施の形態は静止画を送信する場合には特に有効である。

【００１８】この発明は上記の実施の形態に限定される
ものではない。図５は、さらにこの発明の他の実施の形
態を示す。この例はパーソナルコンピュータのように表
示装置１００の画面上に複数のウィンドウ３０１，３０
２，３０３を開き、その中の１つのウィンドウに受信者
の画像が表示されている場合である。

【００１９】この場合は、相手側においても同様な状態
になっているものとし、かつ、当該ウインドウの方へ、
画面の中央正面から受信者の視線も向くものと想定す
る。そして、送信者の画像を伝送する場合には、当該ウ
インドウを視線が向くように設定、つまり撮像装置の選
択を行い合成画像信号を作成して伝送するようにしてい
る。

【００２０】図６には、上記の装置の信号処理回路ブロ
ックを示している。先の受信者の像が表れるウインドウ
２０３は、信号処理部２１１の信号を用いてウインドウ
位置検出部３１１が検出することができる。この検出
は、例えば画面上のＸＹ座標情報から得ることができ
る。受信者の像が表れるウインドウ２０３は、予め決め
られておりその表示座標情報を取得することにより可能
である。また各撮像部１Ａ乃至１Ｄから得られる画像信
号において、例えば共通絵柄、例えば目の部分の信号の
加算処理を行い、視線方向の検出が行われる。視線検出
の方法としては各種の実施形態が可能である。視線の方
向が検出されると、その視線の方向が、ウインドウ位置
の方向に向いているかどうかの判定が行われる。

【００２１】そして視線の方向が、ウインドウ位置の方
向へ向くように、入力画像の選択を行うための選択信号
が、視線検出部３１２から出力される。入力画像選択部
２０１で選択された画像信号は、画像合成部２０２にて
合成されて送信される。相手側においても同様な処理が
施された画像信号が伝送されてくるので、互いのウイン
ドウに映出された相手像の視線が画面前の使用者を向い
ているようになる。

【００２２】このような構成をとることで通信相手と視
線が一致した円滑なコミュニケーションを実現すること
が出来る。図７は、さらにこの発明の他の実施の形態で
ある。

【００２３】図７の基本的な構成は図２で説明した構成
と同じ構成である。各部の処理及び制御を、多連動の信
号処理装置４００内で処理し、完結させた実施の形態で
ある。

【００２４】従来の画像及び音声伝達装置に用いられて
いる撮像部はその殆どがビデオカメラをベースに作られ
ており、インターフェース的には汎用である。またパー
ソナルコンピュータ専用品については、一般的に装備さ
れているインターフェース（Ｉ／Ｆ）４０１に合わせて
作られている。

【００２５】従って本発明においては、インターフェー
スに関してはこれらに合わせることがより重要である。
本発明の場合通常の撮像部と異なり、複数の画像を合成
して出力するため一般的なビデオ信号処理に加えて専用
の信号処理が必要である。

【００２６】この信号処理をホスト側（パーソナルコン
ピュータ等）、つまり外部装置４０４で行うことも考え
られるがＣＰＵ性能の一部を専有するため場合によって
は、動作速度を低下させることも考えられ、パーソナル
コンピュータ等の処理負荷を増大することになる。

【００２７】そこで本発明のように、信号処理装置４０
０内で画像処理を完結するように構成すれば、外部装置
４０４に対して信号処理の負荷をかけずに実現できるた
め、撮像部からの画像処理装置を持たない多くのシステ
ムに適用することが可能である。専用のハードウエアが
追加となるが、近年の半導体の進歩を考えれば価格的に
は問題とはならない。

【００２８】図８は更にこの発明の他の実施の形態であ
る。この実施の形態でも表示装置１００の画面に受信者
の画像を表示するウィンドウ５０１を含め複数のウィン
ドウ（図中５０２等）が開かれている場合に適用する。

【００２９】通常パーソナルコンピュータで使用するウ
ィンドウをアクティブにするにはポインティグデバイス
（マウス等）をクリックすることで実行している。この
方法は確実な手段である反面、ウィンドウの数が多くな
ったりウィンドウが重なりあっていた場合には目的とす
るウィンドウを探し出してアクティブにするのが煩雑で
あったり時間がかかったりする。これは特に受信者の顔
を見ながら確認する場合等には特に問題となる。

【００３０】そこでこの実施の形態ではこの問題を解決
するために送信者の視線のみで自動的に受信者の画像
を、最前列に表示した状態にすることができるようにし
たものである。つまり、図８の左側のように、ウインド
ウ５０１がウインドウ５０２の後に合った場合、ユーザ
の視線を検出し、ウインドウ５０１の表示状態を右側の
ように最前列に持ってくるようにしている。

【００３１】図９には上記した機能を実現する回路ブロ
ックを示している。先のウインドウ５０１、５０２の位
置は、信号処理部２１１の信号を用いてウインドウ位置
検出部３１１が検出することができる。次に、各撮像部
１Ａ乃至１Ｄから得られる画像信号を用いて、ユーザの
視線方向の検出が行われる。視線の方向が検出される
と、その視線の方向が、ウインドウ位置のどの方向に向
いているかの判定が行われる。この判定は、例えば比較
及び優先表示ウインドウ決定部３２０において行われ
る。

【００３２】そして視線の方向が、ウインドウ５０１の
位置の方向へ向いていると、当該ウインドウ５０１が最
前列に表示されるように、信号処理部２１１に制御信号
が与えられる。

【００３３】この動作は、送信者の視線が一致するウイ
ンドウが最前列にくるように制御しているが、制御モー
ドを変えることにより、例えばウインドウ５０１に一致
したときのみ、当該ウインドウ５０１が最前列にくるよ
うに制御してもよい。そして一致しなければ表示装置の
画面に合成画像は表示するものの、他のウィンドウがア
クティブになれば画像が隠れる場合もある。このように
することで円滑なコミュニケーションが図れる。

【００３４】図１０は更にこの発明の他の実施の形態で
ある。この実施の形態では、表示装置１００周辺に複数
の撮像部が配置されており、これを用いて視線検出、あ
るいは視線検出した後その内の幾つかの撮像部からの画
像を使って画像合成を行うが、画像合成に使用しない撮
像部については、その利用を通信相手側に開放するとい
うものである。

【００３５】図１０では撮像部が４つの場合の例を挙げ
た。画像合成に撮像部１Ａ，１Ｂ，１Ｃの３つを使用し
たとするとそれ以外の撮像部１Ｄを通信相手に開放し
て、通信相手からのコマンドで自由に画像を取り込むこ
とができるようにしたものである。図に示す例では、送
信者の顔の画像を撮像部１Ａ，１Ｂ，１Ｃにより取り込
み、撮像部１Ｄによりインテリアである植木の画像を取
り込んでいる例を示している。

【００３６】図１１は、上記の機能を実現するための回
路ブロック図である。ここでは通信相手が表示されてい
るウィンドウに対して正対した画像を合成し送信する場
合について説明する。

【００３７】まず送信者側の表示部２１２から通信相手
が表示されているウィンドウの位置をウインドウ位置検
出部３１１で検出する。また、視線検出部３１２では、
複数の撮像部を用いての視線方向を検出する。そして視
線検出部３１２では、視線検出結果と相手画像が表示さ
れるウインドウ位置情報とを比較し、その比較結果から
当該ウィンドウの近くに配置された撮像部からの画像信
号が入力画像選択部２０１において選択される。入力画
像選択部２０１の出力画像信号は、画像合成部２０２に
おいて合成される。この合成画像信号は、受信者に正対
した送信者の画像を、受信者側ディスプレイにて表示さ
せることになる。

【００３８】ここで、画像合成のために選択されなかっ
た撮像部については、受信者側からの画像指定部６１１
で指定し、コマンドを送ることができる。この画像指定
部６１１から送られたコマンドは、送信者側の信号処理
部２１１を介して、画像指定部６１２で解析される。そ
して、画像指定部６１２は、画像合成に用いられている
撮像部以外の残りの撮像部からの画像信号が任意画像取
り出し部６１３に取り出されるように制御する。そして
この任意画像取り出し部６１３で取り出した画像信号
は、合成画像信号とは別画面を構成するように、受信者
側に伝送される。この結果、図１０で示したように送信
者側の周辺の画像まで、受信者側の表示装置で監視する
ことができる。

【００３９】図１２は更にこの発明の他の実施の形態を
示す。この実施の形態でも複数の撮像部を用いて視線検
出し、それに応じて画像合成に使用する撮像部を選択す
るまでは先の実施の形態と同様である。

【００４０】ただこの実施の形態では、初期条件として
与えられる受信者の画像が表示されているウィンドウ７
０１の位置に対して合成画像を生成する場合に、その合
成に要する処理時間が必要以上に長くかかるような場合
（数多くの撮像部が選択されるかあるいは複数の撮像部
から膨大な情報が送られてきて、処理に時間がかかった
とき等）には表示装置の画面上のウィンドウ位置をウイ
ンドウ７０２の位置（処理情報が少なく処理が早くスム
ーズになるような位置）に、変更してフィードバックを
かけて再度合成をし直すようにしたものである。

【００４１】即ち、図１２の点線で示すようなウインド
ウ７０１の位置に受信者の映像が現れるような場合、送
信者の映像もこれと同様な位置に受信者側で表れるよう
に画像合成が行われる。しかしこの場合、図に示す例で
は、撮像部１Ａ，１Ｂの被写体画像に対して撮像部１Ｃ
の被写体画像が大きくずれる。視線方向を画像合成によ
り調整する場合、同一送信者の顔を、略同じ方向から撮
像し、各撮像部の画像間ではずれが少ない方が望まし
く、信号処理の処理時間が短時間で済む。しかし、ウイ
ンドウ７０１の位置に受信者の画像が配置されるような
例では、撮像部１Ａ，１Ｂの被写体画像に対して撮像部
１Ｃの被写体画像が大きくずれるために、視線方向を調
整するための信号処理に時間がかかる。

【００４２】そこでこの実施の形態では、ウインドウの
位置を７０２の位置にずらして、各撮像部１Ａ、１Ｂ、
１Ｃの被写体画像のずれを少なくし、信号処理の負担を
低減するようにしている。

【００４３】このシーケンス制御（あらかじめ定められ
た順序により制御の各段階を逐次進めていく自動制御）
を経て所定処理時間以内で合成が済む状態で送信すれば
スムーズな動きの画像を受信者に送ることができる。

【００４４】図１３には、視線の向きを調整する画像合
成のために所定処理時間以上かかるような場合には、ウ
インドウの位置を変更する機能を有した送受信装置を示
している。

【００４５】送信者自身の合成画像は、初期状態で図１
２中の７０１の位置に表示されていて、すべて（この場
合は４つ）の撮像部（１Ａから１Ｄまで）を使用して、
非常に表示に（処理に）時間がかかっているとき、固体
撮像素子つまり撮像部（１Ａから１Ｄまで）全部を使用
しないでも良い、または全部使用しても固体撮像素子か
らの情報がすくなる位置（図中では７０２）に自動的に
移動させ、送信者の自信の画像表示をスムーズに表示で
きるようにする。

【００４６】図１３において、図６、図１１の実施の形
態と同一部分には同一符号を付して説明する。この実施
の形態では、画像合成部２０２において画像合成が行わ
れる場合、その合成処理時間が所定の時間内であるかど
うかの判定が行われる。この判定は、合成処理時間判定
部７１１が行う。所定の時間内であれば、そのまま画像
合成処理が実行され、合成画像信号が送信される。

【００４７】合成処理時間判定部７１１の判定結果にお
いて、所定時間以上合成処理に費やされた場合は、ウイ
ンドウ位置変更指令部７１２から信号処理部２１１に指
令信号が与えられ、ウインドウ位置が修正され、合成処
理に時間のかからない方向へウインドウ位置が修正され
る。従ってこの場合、ウインドウ位置変更指令部７１２
は、入力画像選択部２０１から現在どの撮像装置の出力
が選択されているのかを示す情報を取り込んでいる。そ
して各撮像部の中央位置方向へ（つまりウインドウが各
撮像部から等距離となる方向へ）移動するように制御を
行う。

【００４８】図１４は、さらにこの発明の他の実施の形
態を示している。この実施の形態は複数の通信者が、そ
れぞれ同一の表示装置に複数のウィンドウ（図の例では
８０１，８０２，８０３，８０４）を開いた状態で表示
される場合である。

【００４９】図１４は、ウィンドウ８０４に送信者の視
線（矢印点線参照）が行っている場合である。このよう
な場合は、ウインドウ８０４に表れた通信者に対しては
前記の実施の形態の如く正対画像を合成し、送信を行
う。しかし、他の通信者に対しては正対画像合成に用い
る撮像部以外でそれぞれの通信者の画像が表示されてい
るウィンドウの近くの撮像部からの画像をそれぞれの通
信者に送信するようにしている。

【００５０】これは、送信者が見ていない受信者（ウイ
ンドウ８０１，８０２，８０３に対応する受信者）に関
しては、斜めを向いた映像を送って、送信者が当該受信
者には視線が向いていないことを表すためである。図の
例では、正対画像合成に用いる撮像部は、１Ａ，１Ｃ，
１Ｈであり、残りの撮像部１Ｂ，１Ｅ，１Ｆ，１Ｄ，１
Ｇは用いていない。そこでこれらの撮像部は、視線を向
けていない通信者のために用いられる。

【００５１】このような構成にすることで、話している
相手を明確に識別出来、複数での対話も円滑に行うこと
ができる。図１５には、上記の機能を実現するための回
路ブロックを示している。先の実施の形態と同一部分に
は同一符号を付している。ウインドウ位置検出部３１１
は、各ウインドウの位置を検出している。視線検出部３
１２は、送信者の視線の向きを検出している。視線ウイ
ンドウ検出部９１１は、送信者が視線を向けているウイ
ンドウ（先の例であると８０４）を検出し、当該ウイン
ドウの受信者に対して、送信者の画像が視線を合致させ
るように、適切な方向からの画像信号を選択して、画像
合成部２０２において合成させる。

【００５２】画像合成に用いられなかった画像信号（用
いられた単独画像信号でもよい）は、送信画像分配部９
１２に導かれる。この送信画像分配部９１２には、先の
ウインドウ位置検出部３１１からのウインドウ位置情報
も与えられている。これにより、各ウインドウ位置に近
い撮像部からの画像信号が、対応付けられて、当該ウイ
ンドウに対応する受信者に向けて送信される。

【００５３】実施の形態では視線検出でウィンドウ８０
４に視線が向いていることが検出されれば、複数個配置
された撮像部のうち１Ｂ、１Ｃ、１Ｈを用いて正対画像
を合成するとすれば、視線が向いていない他の通信者に
対してはそれぞれのウィンドウに近い位置に配置されて
いる画像合成に使われている固体撮像素子以外の撮像部
から得られる画像をそれぞれの通信者に送信する。

【００５４】本実施の形態によれば複数の通信者におい
ても円滑なコミュニケーションを実現することが出来
る。以上、詳述したように、従来の小型、低価格の画像
及び音声伝達装置では実現が難しかった視線を一致させ
た会話が可能となり円滑なコミュニケーションが可能に
なる。さらに、通信者または複数の通信相手は、視線を
自動的に検出して自動的にウインドウを制御できるの
で、ウインドウの切り替えを意識することなくコミュニ
ケーションが可能である。また、情報表示装置周辺に複
数の撮像部を配置したことで非接触の視線検出が実現で
きる。

【００５５】

【発明の効果】以上説明したようにこの発明によれば、
画面上の対話者の像の視線を、こちらの視線に合わせる
ように画像を合成することができ、かつ低価格で小型化
を得ることができる。

【図面の簡単な説明】

【図１】この発明の一実施の形態の外観を示す図。

【図２】図１の実施の形態の回路ブロックの例を示す
図。

【図３】図１の実施の形態の動作を説明するために示し
た画像の例を示す図。

【図４】この発明の他の実施の形態の回路ブロックの例
を示す図。

【図５】この発明の更に他の実施の形態の外観を示す
図。

【図６】図５の実施の形態の回路ブロックの例を示す
図。

【図７】この発明の更にまた他の実施の形態の回路ブロ
ックを示す図。

【図８】この発明の更にまた他の実施の形態の外観を示
す図。

【図９】図８の実施の形態の回路ブロックの例を示す
図。

【図１０】この発明のまた他の実施の形態の外観を示す
図。

【図１１】図１０の実施の形態の回路ブロックの例を示
す図。

【図１２】この発明のまた他の実施の形態の外観を示す
図。

【図１３】図１２の実施の形態の回路ブロックの例を示
す図。

【図１４】この発明の更にまた他の実施の形態の外観を
示す図。

【図１５】図１４の実施の形態の回路ブロックの例を示
す図。

【図１６】従来の映像及び音声送受信装置を示す図。

【符号の説明】

１Ａ、１Ｂ、１Ｃ、１Ｄ…撮像部１００…表示装置１０１…表示部の周囲枠２０１…入力画像選択部２０２…画像合成部２０３…画像及び音声送受信装置２１１…信号処理部２１２…表示部２１３…画像メモリ２１４…操作部２１５、２１６…スイッチ

Claims

【特許請求の範囲】

【請求項１】表示装置と、この表示装置の周囲に設けられ、該表示装置の画面前方
を撮像する複数の撮像部と、前記複数の撮像部からの撮像信号であって、少なくとも
２つ以上の任意の撮像信号を選択することができる選択
手段と、この選択手段によって複数の撮像信号を合成して、伝送
用の撮像信号を得る合成手段とを具備したことを特徴と
する画像及び音声送受信装置。
【請求項２】通信相手である受信者の画像が前記表示
装置の一部のウィンドウに表示される場合、前記選択手
段は、前記通信相手が表示されるウィンドウの位置に応
じて前記撮像部からの撮像信号の合成対象となる組み合
わせを選択することを特徴とする請求項１記載の画像及
び音声送受信装置。
【請求項３】前記複数の撮像部から合成画像を生成す
るための信号処理は、一体化された信号処理装置内で行
うことを特徴とする請求項１記載の画像及び音声送受信
装置。
【請求項４】前記通信相手の画像を表示する特定ウィ
ンドウを含め複数のウィンドウを前記表示装置に表示さ
せる信号処理装置を有し、前記複数の撮像部の撮像信号を用いて、前記表示装置の
前に位置する送信者の視線を検出し、この視線方向が前
記通信相手の画像のウインドウの方向である場合、前記
信号処理装置を制御して前記特定ウインドウを最前列に
表示するように制御する手段を具備したことを特徴とす
る請求項１記載の画像及び音声送受信装置。
【請求項５】前記複数個の撮像部には、前記通信相手
と正対した画像を生成するために使用される撮像部と、
前記通信相手から送られてくるコマンドによって制御で
きる撮像部が存在することを特徴とする請求項項１記載
の画像及び音声送受信装置。
【請求項６】前記複数個配置された撮像部によって、
前記表示装置の前に位置する送信者の視線方向を検出
し、その視線方向に前記通信相手が表示されるウィンド
ウを移動させる手段を有したことを特徴とする請求項１
の画像及び音声送受信装置。
【請求項７】前記表示装置に表示された複数の通信相
手が複数のウィンドウに表示されている場合に、前記表
示装置周辺に配置された複数の固体撮像素子によって送
信者の視線を検出し、視線方向に一番近いと判別された
ウィンドウに表示された前記通信者に正対した合成画像
を送り、それ以外の通信者には正対した画像合成に使う
撮像部以外の撮像部の画像を用いた画像、あるいは合成
画像を送る手段を備えたことを特徴とする請求項１の画
像及び音声送受信装置。