JP2000270306A - 画像処理装置および方法、並びに提供媒体 - Google Patents

画像処理装置および方法、並びに提供媒体

Info

Publication number
JP2000270306A
JP2000270306A JP11074378A JP7437899A JP2000270306A JP 2000270306 A JP2000270306 A JP 2000270306A JP 11074378 A JP11074378 A JP 11074378A JP 7437899 A JP7437899 A JP 7437899A JP 2000270306 A JP2000270306 A JP 2000270306A
Authority
JP
Japan
Prior art keywords
image
user
unit
imaging
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11074378A
Other languages
English (en)
Other versions
JP4501171B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Junichi Ishibashi
淳一 石橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP07437899A priority Critical patent/JP4501171B2/ja
Publication of JP2000270306A publication Critical patent/JP2000270306A/ja
Application granted granted Critical
Publication of JP4501171B2 publication Critical patent/JP4501171B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

(57)【要約】 【課題】 ビデオカメラの目線と使用者の視線とを一致
させる。 【解決手段】 スクリーン45にプロジェクタ44から
画像を表示させ、使用者51に観察させる。スクリーン
45は、画像が表示されないタイミングにおいて透明と
され、スクリーン45を介してビデオカメラ42により
使用者51が撮像される。ビデオカメラ42で撮像した
画像は相手側の端末に送信され、その相手側において、
プロジェクタ44でスクリーン45に表示される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理装置およ
び方法、並びに提供媒体に関し、特に、テレビ会議シス
テムにおいて、テレビ会議出席者の視線とビデオカメラ
の目線とを一致させることができるようにした画像処理
装置および方法、並びに提供媒体に関する。
【0002】
【従来の技術】遠隔地に位置する複数の人の間で、画
像、音声、データなどを通信し、意志の疎通を図るシス
テムとして、テレビ電話システムやテレビ会議システム
がある。これらのシステムは、既に実用段階にあり、ビ
ジネス用途を中心に普及しつつある。
【0003】これらのシステムにおいては、人の顔を撮
像し、また、その音声を取り込むために、ビデオカメラ
とマイクロホンが用意されている。さらに、相手側から
伝送されてきた画像と音声を出力するために、モニタと
スピーカが用意されている。通常、ビデオカメラは、モ
ニタの周辺(例えば、上部、下部、または側面)に設置
される。
【0004】また、テレビ会議システムにおいて、多く
の人数で会議を行うような場合、コスト的な問題やオフ
ィス環境の狭さなどの理由に基づき、参加者全員の顔の
画像をモニタ上にタイル状に並べて表示することが多
い。そして、出席者の数が多くなった場合、画像のサイ
ズを小さくして(1つのタイルの大きさを小さくし
て)、多くの参加者の画像を表示するようにしている。
【0005】
【発明が解決しようとする課題】しかしながら、ビデオ
カメラをモニタの周辺に配置すると、モニタの中心とビ
デオカメラの目線とは一致しない。その結果、通常、使
用者は、ビデオカメラではなく、モニタを見ながら、そ
のモニタに写されている相手に話をするため、例えば、
ビデオカメラがモニタの上部に設置されている場合、モ
ニタに写し出される相手の顔は、若干うつ向き加減の画
像となる。ビデオカメラがモニタの下部に設置されてい
る場合、逆に、モニタに写し出された相手の顔は、上向
き加減の画像となる。いずれの場合にも、不自然な画像
となり、使用者は違和感を覚えることがあった。
【0006】また、参加者の画像をタイル状に表示する
と、全ての人が自分に向かって話をしているかのように
感じられ、やはり実際の会議におけるような臨場感を得
ることができない課題があった。
【0007】さらに、参加者の数の増加にともなって、
画像のサイズを小さくすると、参加者の顔が見にくくな
り、自然なコミュニケーションを図ることができなくな
る課題があった。本発明はこのような状況に鑑みてなさ
れたものであり、参加者の視線とカメラ目線とを一致さ
せることができるようにするものである。
【0008】また、本発明は、参加者が多くても、自然
な臨場感で会議に参加することができるようにするもの
である。
【0009】
【課題を解決するための手段】請求項1に記載の画像処
理装置は、他の使用者の画像を表示する表示手段と、表
示手段を介して使用者を撮像する撮像手段と、表示手段
の画像の表示のタイミングと、表示手段を介しての撮像
手段による撮像のタイミングに関し、表示手段を制御す
る制御手段と、撮像手段により撮像された使用者の画像
を、他の使用者に伝送する伝送手段とを含むことを特徴
とする。
【0010】請求項5に記載の画像処理方法は、表示手
段の画像の表示のタイミングと、表示手段を介しての撮
像手段による撮像のタイミングに関し、表示手段を制御
する制御ステップと、撮像手段により撮像された使用者
の画像を、他の使用者に伝送する伝送ステップとを含む
ことを特徴とする。
【0011】請求項6に記載の提供媒体は、表示手段の
画像の表示のタイミングと、表示手段を介しての撮像手
段による撮像のタイミングに関し、表示手段を制御する
制御ステップと、撮像手段により撮像された使用者の画
像を、他の使用者に伝送する伝送ステップとを含む処理
を実行させるコンピュータが読み取り可能なプログラム
を提供することを特徴とする。
【0012】請求項7に記載の画像処理装置は、所定の
数の端末によりユニットを構成し、ユニットを仮想空間
内の所定の位置に配置する配置手段と、配置手段による
配置に対応して、ユニットの各端末の画像の表示を制御
する制御手段とを含むことを特徴とする。
【0013】請求項12に記載の画像処理方法は、所定
の数の端末によりユニットを構成し、ユニットを仮想空
間内の所定の位置に配置する配置ステップと、配置ステ
ップの処理による配置に対応して、ユニットの各端末の
画像の表示を制御する制御ステップとを含むことを特徴
とする。
【0014】請求項13に記載の提供媒体は、所定の数
の端末によりユニットを構成し、ユニットを仮想空間内
の所定の位置に配置する配置ステップと、配置ステップ
の処理による配置に対応して、ユニットの各端末の画像
の表示を制御する制御ステップとを含む処理を実行させ
るコンピュータが読み取り可能なプログラムを提供する
ことを特徴とする。
【0015】請求項1に記載の画像処理装置、請求項5
に記載の画像処理方法、および請求項6に記載の提供媒
体においては、使用者が、表示手段を介して撮像され
る。
【0016】請求項7に記載の画像処理装置、請求項1
2に記載の画像処理方法、および請求項13に記載の提
供媒体においては、所定の数の端末によりユニットが構
成され、ユニットが仮想空間内の所定の位置に配置され
る。
【0017】
【発明の実施の形態】図1は、本発明を適用した画像処
理システムの構成例を示す図である。この構成例におい
ては、複数の端末1−1乃至1−6が、ネットワーク3
を介して、マスターサーバ2と接続されている。ネット
ワーク3は、インターネットなどのほか、イントラネッ
トあるいはLAN(Local Area Network)などで構成する
ことができる。
【0018】図2は、端末1(以下、端末1−1乃至1
−6を個々に区別する必要がない場合、単に端末1と称
する。その他の装置についても同様とする)の構成を表
している。検出装置11は、後述する図3に示す使用者
51の顔の向きまたは視線の方向を検出する。検出装置
11の検出結果は、A/D変換器15によりA/D変換された
後、演算装置19に入力される。意志入力装置12は、
例えばキーボード、マウス、ジョイスティックなどによ
り構成され、必要に応じて使用者により操作される。意
志入力装置12より入力された信号は、A/D変換器16
によりA/D変換された後、演算装置19に入力される。
【0019】音響入力装置13は、例えばマイクロホン
により構成され、使用者の音声を取り込む。音響入力装
置13より入力された音響信号は、A/D変換器17によ
りA/D変換された後、演算装置19に入力される。画像
入力装置14は、例えばビデオカメラにより構成され、
画像入力装置14より入力された画像信号は、A/D変換
器18によりA/D変換された後、演算装置19に入力さ
れる。
【0020】音声再生装置22は、例えばスピーカによ
り構成され、演算装置19より入力されたデジタル音声
信号がD/A変換器20によりD/A変換された後、入力され
る。音声再生装置22は、入力された音声信号を出力す
る。映像表示装置23は、例えばLCD(Liquid Crystal
Display)よりなるスクリーンと、そのスクリーンに画
像を投映するプロジェクタにより構成され、演算装置1
9より出力されたデジタル画像データがD/A変換器21
によりD/A変換された後、入力される。映像表示装置2
3は、入力された映像信号を表示する。また、図3を参
照して後述するように、画像入力装置14は、映像表示
装置23を介して、使用者を撮像する。そこで、演算装
置19は、映像表示装置23を制御し、その画像を表示
するタイミングと、画像入力装置14により画像を撮像
するタイミングとを制御する。
【0021】演算装置19は、例えばパーソナルコンピ
ュータなどにより構成することができる。送受信装置2
4は、例えばモデムなどにより構成され、ネットワーク
3を介して、マスターサーバ2と通信する。
【0022】図3は、端末1を構成する各装置の配置を
表している。端末1の使用者51は、映像表示装置23
を構成するプロジェクタ44により、スクリーン45に
表示された他の端末の使用者の画像を観察する。スクリ
ーン45の後方には、音響入力装置13を構成するマイ
クロホン41、画像入力装置14を構成するビデオカメ
ラ42、および音声再生装置22を構成するスピーカ4
3が配置されている。マイクロホン41は、使用者51
の発生する音声信号を取り込み、スピーカ43は、使用
者51に伝達する他の使用者からの音声信号を出力す
る。
【0023】ビデオカメラ42は、スクリーン45を介
して、使用者51を撮像する。スクリーン45は、LCD
により構成され、演算装置19により、時分割動作する
ように制御される。すなわち、スクリーン45は、プロ
ジェクタ44の画像を表示するとき、光を透過しないよ
うに制御され、ビデオカメラ42から使用者51を撮像
するとき、光を透過するように制御される。演算装置1
9は、プロジェクタ44による画像をスクリーン45に
表示させるとき、ビデオカメラ42による撮像を中止さ
せ、プロジェクタ44より照射された画像をスクリーン
45に表示させ、使用者51に観察させる。また、演算
装置19は、ビデオカメラ42により使用者51の画像
を取り込むタイミングにおいて、プロジェクタ44の動
作を停止させ、スクリーン45を光を透過する状態に制
御する。従って、ビデオカメラ42は、スクリーン45
を介して、使用者51の画像を撮像することができる。
【0024】図4は、マスターサーバ2の構成例を表し
ている。入力装置31は、キーボード、マウスなどによ
り構成され、管理者が各種の指令を入力するとき操作す
る。演算装置32は、入力装置31からの指令に対応し
て、各種の処理を実行する。記憶装置34は、ハードデ
ィスク、磁気ディスク、光磁気ディスクなどにより構成
され、演算装置32が実行する各種のデータやプログラ
ムなどを記憶する。送受信装置33は、例えばモデムな
どにより構成され、演算装置32により制御され、ネッ
トワーク3を介して、端末1と通信する。
【0025】端末1は、この例の場合、図5に示すよう
に、合計4台のビデオカメラ42F,42R,42L,
42Bを有している。ビデオカメラ42F,42R,4
2Lは、使用者51から見て、スクリーン45の裏側に
配置されている。ビデオカメラ42Fは、使用者51の
顔を正面から撮像する位置に配置され、ビデオカメラ4
2Rは、使用者51の顔を右側から撮像する位置に配置
され、ビデオカメラ42Lは、使用者51の顔を左側か
ら撮像する位置に配置されている。ビデオカメラ42B
は、使用者51の後方に配置され、使用者51を後方か
ら撮像する。
【0026】いずれの端末1においても、各ビデオカメ
ラは、同様に配置されている。
【0027】マスターサーバ2の演算装置32は、自己
が管理する仮想空間内において、4つの端末1を図6に
示すように正方形状に配列することで、1つのユニット
を構成させる。図6の例においては、端末1−1のビデ
オカメラが下中央に配置され、端末1−2のビデオカメ
ラが、その右上に配置され、端末1−3のビデオカメラ
が、その上側に配置され、端末1−4のビデオカメラ
が、左上側に配置される。勿論、実際には、各端末1−
1乃至1−4は、仮想空間において、それぞれ独立した
位置に配置されているものであり、図6に示す配置は、
あくまでマスターサーバ2が管理する仮想空間上での配
置である。
【0028】換言すれば、演算装置32は、端末1−1
乃至1−4をこのように配置することで、図7に示すよ
うに、仮想空間上に、テーブルTと、その周囲に座席S
1乃至S4が配置された状態を1つのユニットとして管
理する。すなわち、演算装置32は、端末1−1乃至1
−4の使用者が、それぞれ仮想空間上の座席S1乃至S
4に座り、会議をしている状態を想定して、各スクリー
ン45−1乃至45−4の画像の表示を制御する。
【0029】さらに、演算装置32は、図8に示すよう
に、仮想空間60に、3つのテーブルT1乃至T3を配
置する。この例では、テーブルT1が仮想空間60の下
方中央に配置され、テーブルT2は、その右側に配置さ
れ、テーブルT3は、その左側に配置されている。な
お、図8において、各ビデオカメラとスクリーンの数字
の最後に、テーブルT1のものには、−1を付加し、テ
ーブルT2のものには、−2を付加し、テーブルT3の
ものには、−3を付加して表している。
【0030】演算装置32が管理している図8の仮想空
間60を簡略化して図示すると、図9に示すようにな
る。テーブルT1には、A乃至Dの4つの座席が用意さ
れ、テーブルT2には、E乃至Hの4つの座席が用意さ
れ、テーブルT3には、I乃至Lの4つの座席が用意さ
れる。各端末1の使用者は、マスターサーバ2にアクセ
スしたとき、仮想空間60の図9に示すようなテーブル
の配置図の提供を受け、所望のテーブルの座席を指定す
ることで、この仮想空間60における会議に出席する。
【0031】例えば、端末1の使用者がテーブルT1の
座席Aを自らの座席として取得した場合、マスターサー
バ2の演算装置32は、その端末1のスクリーン45に
対して、図10に示すような画像を表示させる。すなわ
ち、スクリーン45には、自分自身が座っている座席A
のテーブルT1の他の座席B乃至Dに座っている他の端
末1の使用者b乃至dの画像がテーブルT1の周囲に表
示される。同様に、テーブルT2の周囲には、座席E乃
至Hに座っている各端末1の使用者の画像e乃至hが表
示され、テーブルT3の周囲には、座席I乃至Lに座っ
ている使用者の画像i乃至lが表示される。
【0032】次に、図11と図12のフローチャートを
参照して、このテレビ会議システムの動作について説明
する。端末1の演算装置19は、使用者が意志入力装置
12を操作することでテレビ会議システムへの出席を指
令すると、ステップS1において、送受信装置24を制
御し、ネットワーク3を介して、マスターサーバ2に対
してアクセスさせ、テレビ会議システムの現在の接続状
況を紹介する。演算装置19は、ステップS2におい
て、マスターサーバ2から接続状況照会に対する応答が
あったか否かを判定し、応答がない場合には、ステップ
S3に進み、接続要求の回数が予め設定されている所定
の閾値Nより小さいか否かを判定する。接続要求回数が
閾値Nより小さい場合には、ステップS1に戻り、再び
接続状況照会処理を実行する。
【0033】以上のようにして、マスターサーバ2に対
して、N回接続状況照会を行っても応答がない場合に
は、端末1の演算装置19は、処理を終了させる。
【0034】マスターサーバ2の演算装置32は、送受
信装置33を介して、端末1から接続状況照会の要求を
受けたとき、記憶装置34に記憶されている仮想空間6
0の現在の接続状況を調べ、空いている座席があるか否
かを判定する。空いている座席がない場合には、演算装
置32は、端末1に対して応答しない。従って、このよ
うな場合には、端末1は、テレビ会議に出席することが
できないことになる。
【0035】マスターサーバ2の演算装置32は、仮想
空間60の座席に空きがある場合には、ステップS4に
おいて、現在の接続状況を示す画像を生成し、送受信装
置33から、端末1にネットワーク3を介して送信す
る。端末1の演算装置19は、送受信装置24を介して
マスターサーバ2からの応答を受信したとき、ステップ
S4において、受信したデータに対応する画像を、D/A
変換器21を介して、映像処理装置23を構成するプロ
ジェクタ44に供給し、スクリーン45に表示させる。
これにより、スクリーン45には、例えば図13に示す
ような、各テーブルと座席の位置が表示される。各座席
は、空いている席と他の使用者が既に座っている席とが
識別できるように表示される。図13の例においては、
ハッチングを施して示す席が、他の使用者が座っている
席であり、ハッチングを施していない席が空いている席
である。従って、図13の例では、席A,D,Gが空い
ており、その他の席は、他の使用者が既に使用してい
る。
【0036】使用者は、図13に示す表示を見て、ステ
ップS5において、意志入力装置12を操作して、空い
ている座席の中から取得を希望する座席を入力するとと
もに、ログインを要求する。例えば使用者が座席Aを指
定する場合、キーボードで文字Aのキーを操作する。演
算装置19は、意志入力装置12からの入力に対応する
データを、送受信装置24を介して、マスターサーバ2
に送信する。
【0037】ステップS6において、演算装置19は、
マスターサーバ2からログインOKの信号を受信したか
否かを判定し、ログインOKの信号を受信できなかった
場合には、ステップS7に進み、接続要求回数が予め設
定してある所定の閾値Nより小さいか否かを判定する。
接続要求回数が閾値Nより小さい場合には、ステップS
5に戻り、それ以降の処理が繰り返し実行される。接続
要求回数が閾値Nと等しいか、それより大きくなった場
合には、演算装置19は処理を終了させる。
【0038】マスターサーバ2の演算装置32は、ログ
インがOKであると判定した場合、ステップS8に進
み、ステップS5で端末1から指定された座席に、その
端末1を割り当て、仮想空間60内における接続を変更
する。これにより、例えば図13に示す座席Aに新たな
端末1が割り当てられた状態が、現在の仮想空間60の
接続状況ということになる。マスターサーバ2の演算装
置32は、この接続状況に対応する画像を記憶装置34
から読み出し、送受信装置33を介して、端末1に送信
する。
【0039】端末1の演算装置19は、送受信装置24
を介して、このデータを受信したとき、対応する画像を
スクリーン45に表示させる。これにより、スクリーン
45には、いまの場合、例えば図14に示すような画像
が表示される。すなわち、テーブルT3には、4つの各
座席I乃至Lに座っている各端末の使用者の画像i乃至
lが表示される。テーブルT2の周囲には、座席Gを除
く座席E,FおよびHに座っている使用者の画像e,
f,hが表示される。テーブルT1には、座席BとCに
それぞれ座っている使用者の画像b,cが表示される。
座席DとHは空席であるため、画像が表示されていな
い。自分が位置するテーブルT1の座席の画像b,c
は、他のテーブルT2,T3の画像e,f,h乃至lよ
り大きく表示される。
【0040】検出装置11は、使用者がテレビ会議に出
席すると、使用者の顔の向きもしくは視線の方向を検出
する。検出結果は、演算装置19から、送受信装置20
を介して、マスターサーバ2に送信される。
【0041】マスターサーバ2の演算装置32は、端末
1からの方向の検出データを受信し、ステップS9にお
いて、端末1の使用者が予め設定してある一定時間以上
同一の方向を注視しているか否かを判定する。同一の方
向を一定時間以上注視していなければ、ステップS9の
処理が繰り返し実行される。
【0042】使用者がいずれの方向を向いているかは、
図14に示すように、使用者が向いている方向として検
出された角度θ1を、図15に示すように、仮想空間6
0上の角度θ2に換算することで判定される。
【0043】演算装置32は、端末1の使用者51が一
定時間以上所定の方向を注視していると判定した場合、
ステップS10に進み、その注視者(所定の方向を注視
している使用者)が位置するテーブルからの音量を制限
する。例えば、テーブルT1の座席Aに座っている使用
者が、テーブルT2の座席Gを一定時間以上注視してい
る場合、その使用者は、いまテーブルT1の会話には興
味をもっていないものと判断し、テーブルT1の座席B
または座席Cに座っている使用者からの音声のボリュー
ムを減少させる。あるいはまた、図14に示す座席Bに
座っている使用者の画像bと座席Cに座っている使用者
の画像cを小さくさせる。同様に、座席Bと座席Cに座
っている使用者の端末1に提供する座席Aの使用者の音
声のボリュームを減少させるとともに、その画像aを小
さくさせる。これにより、例えばテーブルT1の座席
B,Cに座っている使用者は、座席Aに座っている使用
者がいま会話に興味を示していないことを知ることがで
きる。
【0044】次に、ステップS11に進み、演算装置3
2は、注視されているテーブルの使用者に対する表示画
像上の注視者の画像を大きく表示させる。いまの場合、
座席Aの使用者がテーブルT2の座席Gを注視している
ので、テーブルT2の座席E,F,Hを使用している使
用者から見た使用者Aの画像aを他の画像に較べて大き
く表示させる。
【0045】すなわち、テーブルT2の座席Fに座って
いる使用者の端末のスクリーン45には、図16に示す
ような画像が表示されている。自分自身が座っているテ
ーブルT2に座っている使用者の画像e,hは、遠いテ
ーブルT1,T3の座席に座っている使用者の画像a乃
至d,i乃至lに較べて大きく表示されている。座席A
に座っている使用者の画像aも、遠いテーブルT1の画
像であるから、座席Aの使用者がテーブルT2を注視し
なければ、他の画像b乃至dと同じ大きさで表示される
のであるが、座席Aの使用者が、一定時間以上テーブル
T2を注視すると、テーブルT2の使用者がこれに気付
くことができるように、座席Aの使用者の画像aが、図
16に2点鎖線で示すように大きく表示される。このと
きまた、座席Aからの音声もテーブルT2の使用者に対
して大きく出力させるようにしてもよい。これにより、
テーブルT2の使用者は、座席Aの使用者がテーブルT
2に移動していくるかもしれないということを予め推察
することができる。
【0046】なお、画像aを大きく表示する以外に、他
に較べて明るく表示させたり、点滅させたりしてもよ
い。
【0047】ステップS12において、演算装置32
は、さらに一定時間以上使用者が同一方向を注視してい
るか否かを判定し、使用者が途中で注視を中止した場合
には、ステップS9に戻り、それ以降の処理を繰り返し
実行する。使用者がさらに一定時間注視したままである
場合には、ステップS13に進み、演算装置32は、使
用者が注視している方向に空いている座席があるか否か
を判定する。空いている座席がない場合には、ステップ
S9に戻り、それ以降の処理が繰り返し実行される。空
いている座席がある場合には、ステップS14に進み、
端末1の演算装置19は、マスターサーバ2に対して、
意志入力装置12から所定の座席への移動が要求された
場合と同様の処理を実行する。すなわち、演算装置19
は、マスターサーバ2に対して、座席Gへの移動を要求
する。
【0048】マスターサーバ2の演算装置32は、端末
1の演算装置19から移転の要求を受けたとき、ステッ
プS15において、これをOKするか否かを判定する。
他の使用者が既にその座席の取得を申し込んできたよう
な場合には、この要求は拒否され、ステップS9に戻
り、それ以降の処理が実行される。その座席が空いてい
る場合には、マスターサーバ2の演算装置32は、この
要求に対応して、その座席を端末1に割り当てる。この
ため、ステップS8に戻り、演算装置32は、座席Gを
端末1のユーザに割り当てる処理を実行する。
【0049】その結果、座席Gに移動した端末1のスク
リーン45には、それまでの図14に示すような画像か
ら、図17に示すような画像に切り替えられる。
【0050】なお、一定時間以上の注視は、各端末側で
検出するようにしてもよい。また、移動の意思表示は、
その方向を使用者が指で示すジェスチャで行ったり、キ
ーボード、マウス、ジョイスティックなどの機械的な操
作で行うようにしてもよい。
【0051】以上においては、スクリーン45を1つと
し、そこに仮想空間60上の全てのテレビ会議出席者の
画像を表示するようにしたが、例えば図18に示すよう
に、自分自身が座っている座席のテーブルT1の座席に
座っている使用者の画像を表示するスクリーン45B
L,45BC,BRを、その他のテーブルT2乃至T4
の座席に座っている使用者の画像を表示するスクリーン
45Aと独立した構成にすることもできる。このように
することで、より臨場感に富んだシステムを実現するこ
とができる。
【0052】また、図18に示す例においては、自分が
座っているテーブルT1の画像は、自分を中心として、
その正面のスクリーン45BCに、自分と反対側の座席
に座っている使用者の画像cを表示し、その右側のスク
リーン45BRに、自分の右側の座席に座っている使用
者の画像bを表示し、その左側のスクリーン45BL
に、左側の座席に座っている使用の画像dを表示してい
るが、スクリーン45Aにおいては、例えばテーブルT
2に示すように、2つの座席GとHに座っている使用者
の画像gとhを正面の画像として表示し、手前の2つの
座席EとFに座っている使用者の画像eとfを、それぞ
れ右側から見た画像と左側から見た画像としている。
【0053】このように、画像を表示する場合、マスタ
ーサーバ2の演算装置32は、仮想空間60を例えば図
19に示すように管理する。テーブルT1のスクリーン
45BCに表示する画像cは、ビデオカメラ42F−3
−1で撮像した画像とし、スクリーン45BRに表示す
る画像bは、ビデオカメラ42L−2−1で撮像した画
像とし、スクリーン45BLに表示する画像dは、ビデ
オカメラ42R−4−1で撮像した画像とする。これに
対して、例えばテーブルT2の画像gは、ビデオカメラ
42F−3−2で撮像した画像とし、画像hは、ビデオ
カメラ42F−4−2で撮像した画像とし、画像eは、
ビデオカメラ42R−1−2で撮像した画像とし、画像
fは、ビデオカメラ42L−2−2で撮像した画像とす
ることができる。
【0054】このようにすれば、後ろ向きの画像がなく
なり、出席者をより容易に確認することが可能となる。
従って、この場合には、使用者を後方から撮像するビデ
オカメラ42Bが不要となる。
【0055】なお、例えば図10に示すように、自分の
テーブルの画像も、他のテーブルの画像と同様に、1つ
のスクリーン45に表示させる例においても、自分のテ
ーブルと他のテーブルとで、座席の配置が若干異なるよ
うにしてもよいのであれば、各端末1の後方のビデオカ
メラ42Bを省略することができる。
【0056】図20は、各端末1におけるプロジェク
タ、ビデオカメラ、およびスクリーンの他の配置例を示
している。この例においては、使用者51の前方に、ビ
デオカメラ42Fが、後方にビデオカメラ42Bが、正
面左側にビデオカメラ42Lが、正面右側にビデオカメ
ラ42Rが、それぞれ配置されている。このことは、図
5における場合と同様であるが、この例では、スクリー
ン45がサラウンドスクリーンとされ、使用者51の周
囲を囲むように配置されている。そして、このサラウン
ドスクリーンに対して画像を表示できるように、使用者
51の正面にプロジェクタ44Aが配置され、左後方に
プロジェクタ44Bが配置され、右後方にプロジェクタ
44Cが配置されている。これにより、サラウンドスク
リーン上の少なくとも使用者51が視認可能な範囲に画
像が表示される。このようにすることで、より臨場感に
富んだシステムを実現することができる。
【0057】以上においては、本発明をテレビ会議シス
テムに応用した場合を例として説明したが、テレビ会議
以外の例えば仮想空間のパーティーなどにも適用するこ
とが可能である。
【0058】このように、少なくとも自分が位置してい
るテーブルの使用者の画像を他のテーブルに位置する使
用者の画像に較べて大きく表示するようにしたので、テ
ーブルの数が増えたとしても、少なくとも自分自身が位
置するテーブルの使用者の画像は、確実に確認すること
が可能である。また、仮想空間内において、他のテーブ
ルに移動することができるので、他のテーブルの画像が
小さく表示されていたとしても、そのテーブルに移動す
ることで、そのテーブルの出席者の顔を大きく表示さ
せ、確認することが可能となる。従って、実際の会議あ
るいはパーティーなどにおける場合と同様に、大人数で
のコミュニケーションを図ることが、容易に実現可能と
なる。
【0059】半透明のスクリーンを実現するために、以
上においては、スクリーン45を時分割動作させるよう
にしたが、例えば図21に示すように、スクリーン45
を、一方の面を乱反射面81とし、他方の面を半透明面
82とし、実質的にハーフミラーのような半透明のスク
リーンとすることができる。この場合、図21に示すよ
うに、乱反射面81がプロジェクタ44側に配置され、
半透明面82がビデオカメラ42側に配置される。
【0060】乱反射面81には、図22に示すように、
それぞれ正方形状の乱反射部91と透明部92とが市松
模様状に配置されている。乱反射部91は、入射された
光を乱反射するように、その表面が加工されている。ま
た、透明部92は、入射された光をそのまま透過するよ
うに構成されている。
【0061】乱反射部91の反対側(ビデオカメラ42
側)は、図23に示すように、黒色部93とされてい
る。黒色部93は、黒色に色付けされている。この乱反
射部91と透明部92、従って、黒色部93と透明部9
2は、十分小さい領域とされている。
【0062】プロジェクタ44から出射された光が、乱
反射面81に照射されると、その乱反射部91で光が乱
反射され、使用者51は、この乱反射された光により構
成される画像を視認することができる。乱反射面81の
透明部92に入射された光は、そのままビデオカメラ4
2側に透過される。
【0063】一方、ビデオカメラ42は、透明部92を
介して、使用者51を撮像する。ビデオカメラ42の焦
点は、スクリーン45ではなく、使用者51に合わされ
るため、ビデオカメラ42は、使用者51の画像を若干
暗い画像とはなるが、撮像することができる。透明部9
2を透過してくるプロジェクタ44からの光は、ビデオ
カメラ42に指向性を持たせたり、あるいは、レンズフ
ードを設けるなどして、実質的に制限することが可能で
ある。
【0064】図22と図23に示した例においては、乱
反射部91、黒色部93、および透明部92は、それぞ
れ四角形状とされ、市松状に配置されたが、例えば図2
4に示すように、乱反射部91(黒色部93)を六角形
状に構成し、透明部92を乱反射部91(黒色部93)
の周囲に形成するようにしても良い。
【0065】また、図25に示すように、乱反射部91
(黒色部93)を四角形状とし、その周囲に透明部92
を配置するようにしても良い。なお、本明細書におい
て、システムとは、複数の装置により構成される装置全
体を表すものとする。なお、上記したような処理を行う
コンピュータプログラムをユーザに提供する提供媒体と
しては、磁気ディスク、CD-ROM、固体メモリなどの記録
媒体の他、ネットワーク、衛星などの通信媒体を利用す
ることができる。
【0066】
【発明の効果】以上の如く、請求項1に記載の画像処理
装置、請求項5に記載の画像処理方法、および請求項6
に記載の提供媒体によれば、表示手段を介して使用者を
撮像するようにしたので、使用者の視線と撮像手段の視
線とを一致させることが可能となる。
【0067】請求項7に記載の画像処理装置、請求項1
2に記載の画像処理方法、および請求項13に記載の提
供媒体によれば、所定の数の端末により構成されたユニ
ットを仮想空間内の所定の位置に配置するようにし、そ
のユニットの各端末の画像の表示を制御するようにした
ので、大人数で相互にコミュニケーションを図ること
が、現実の空間における場合と同様にできるようにな
る。
【図面の簡単な説明】
【図1】本発明を適用したシステムの構成例を示す図で
ある。
【図2】図1の端末の構成例を示すブロック図である。
【図3】図2の端末を構成する各装置の配置を説明する
図である。
【図4】図1のマスターサーバの構成例を示すブロック
図である。
【図5】図2の端末を構成する各装置の平面的配置を説
明する図である。
【図6】ユニットの構成を説明する図である。
【図7】ユニットの仮想空間内における構成を説明する
図である。
【図8】仮想空間内におけるユニットの配置を説明する
図である。
【図9】仮想空間内におけるユニットの配置を説明する
図である。
【図10】スクリーンの表示例を示す図である。
【図11】図1のシステムの動作を説明するフローチャ
ートである。
【図12】図1のシステムの動作を説明するフローチャ
ートである。
【図13】スクリーンの表示例を示す図である。
【図14】スクリーンの注視を説明する図である。
【図15】仮想空間における注視を説明する図である。
【図16】注視された端末側のスクリーンの表示例を示
す図である。
【図17】仮想空間内を移動した後のスクリーンの表示
例を示す図である。
【図18】スクリーンの他の表示例を示す図である。
【図19】図18の表示例を実現する仮想空間内におけ
るユニットの配置を説明する図である。
【図20】端末を構成する各装置の平面的な配置の他の
例を示す図である。
【図21】スクリーンの他の例を示す図である。
【図22】図21のスクリーンの乱反射面の構成を示す
図である。
【図23】図21のスクリーンの半透明面の構成を示す
図である。
【図24】図21のスクリーンの他の構成例を示す図で
ある。
【図25】図21のスクリーンの他の構成例を示す図で
ある。
【符号の説明】
1−1乃至1−6 端末, 2 マスターサーバ, 3
ネットワーク, 11 検出装置, 14 画像入力
装置, 22 音声再生装置, 23 映像表示装置,
19 演算装置, 32 演算装置, 34 記憶装
置, 41 マイクロホン, 42 ビデオカメラ,
43 スピーカ, 44 プロジェクタ, 45 スク
リーン

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 他の使用者の画像を表示する表示手段
    と、 前記表示手段を介して使用者を撮像する撮像手段と、 前記表示手段の画像の表示のタイミングと、前記表示手
    段を介しての前記撮像手段による撮像のタイミングに関
    し、前記表示手段を制御する制御手段と、 前記撮像手段により撮像された前記使用者の画像を、前
    記他の使用者に伝送する伝送手段とを含むことを特徴と
    する画像処理装置。
  2. 【請求項2】 前記撮像手段は、前記使用者の、少なく
    とも、正面、左側面、および右側面の画像を撮像するこ
    とを特徴とする請求項1に記載の画像処理装置。
  3. 【請求項3】 前記画像処理装置は、他の画像処理装置
    とネットワークを介して接続され、仮想空間を構築する
    画像処理装置であることを特徴とする請求項1に記載の
    画像処理装置。
  4. 【請求項4】 前記表示手段は、前記使用者が、前記仮
    想空間に位置するものとして、前記使用者の画像を表示
    することを特徴とする請求項3に記載の画像処理装置。
  5. 【請求項5】 他の使用者の画像を表示する表示手段
    と、 前記表示手段を介して使用者を撮像する撮像手段とを含
    む画像処理装置の画像処理方法において、 前記表示手段の画像の表示のタイミングと、前記表示手
    段を介しての前記撮像手段による撮像のタイミングに関
    し、前記表示手段を制御する制御ステップと、 前記撮像手段により撮像された前記使用者の画像を、前
    記他の使用者に伝送する伝送ステップとを含むことを特
    徴とする画像処理方法。
  6. 【請求項6】 他の使用者の画像を表示する表示手段
    と、 前記表示手段を介して使用者を撮像する撮像手段とを含
    む画像処理装置に、 前記表示手段の画像の表示のタイミングと、前記表示手
    段を介しての前記撮像手段による撮像のタイミングに関
    し、前記表示手段を制御する制御ステップと、 前記撮像手段により撮像された前記使用者の画像を、前
    記他の使用者に伝送する伝送ステップとを含む処理を実
    行させるコンピュータが読み取り可能なプログラムを提
    供することを特徴とする提供媒体。
  7. 【請求項7】 他の使用者の画像を表示する表示手段
    と、 前記表示手段を介して使用者を撮像する撮像手段とを含
    む複数の端末とともに、ネットワークに接続され、仮想
    空間を提供する画像処理装置において、 所定の数の前記端末によりユニットを構成し、前記ユニ
    ットを仮想空間内の所定の位置に配置する配置手段と、 前記配置手段による配置に対応して、前記ユニットの各
    端末の画像の表示を制御する制御手段とを含むことを特
    徴とする画像処理装置。
  8. 【請求項8】 前記端末を、前記仮想空間内で移動させ
    る移動手段をさらに含むことを特徴とする請求項7に記
    載の画像処理装置。
  9. 【請求項9】 前記移動手段は、前記端末の使用者の移
    動入力を検出し、その検出結果に基づいて、前記端末を
    移動させることを特徴とする請求項7に記載の画像処理
    装置。
  10. 【請求項10】 前記移動手段は、前記移動入力を、前
    記端末の使用者の所定の位置の視線、顔の向き、ジェス
    チャ、または機械的な操作入力から検出することを特徴
    とする請求項9に記載の画像処理装置。
  11. 【請求項11】 前記制御手段は、前記移動入力の検出
    結果に基づいて、移動先の前記ユニットの画像または音
    を制御することを特徴とする請求項9に記載の画像処理
    装置。
  12. 【請求項12】 他の使用者の画像を表示する表示手段
    と、 前記表示手段を介して使用者を撮像する撮像手段とを含
    む複数の端末とともに、ネットワークに接続され、仮想
    空間を提供する画像処理装置の画像処理方法において、 所定の数の前記端末によりユニットを構成し、前記ユニ
    ットを仮想空間内の所定の位置に配置する配置ステップ
    と、 前記配置ステップの処理による配置に対応して、前記ユ
    ニットの各端末の画像の表示を制御する制御ステップと
    を含むことを特徴とする画像処理方法。
  13. 【請求項13】 他の使用者の画像を表示する表示手段
    と、 前記表示手段を介して使用者を撮像する撮像手段とを含
    む複数の端末とともに、ネットワークに接続され、仮想
    空間を提供する画像処理装置に、 所定の数の前記端末によりユニットを構成し、前記ユニ
    ットを仮想空間内の所定の位置に配置する配置ステップ
    と、 前記配置ステップの処理による配置に対応して、前記ユ
    ニットの各端末の画像の表示を制御する制御ステップと
    を含む処理を実行させるコンピュータが読み取り可能な
    プログラムを提供することを特徴とする提供媒体。
JP07437899A 1999-03-18 1999-03-18 画像処理装置 Expired - Lifetime JP4501171B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07437899A JP4501171B2 (ja) 1999-03-18 1999-03-18 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07437899A JP4501171B2 (ja) 1999-03-18 1999-03-18 画像処理装置

Publications (2)

Publication Number Publication Date
JP2000270306A true JP2000270306A (ja) 2000-09-29
JP4501171B2 JP4501171B2 (ja) 2010-07-14

Family

ID=13545458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07437899A Expired - Lifetime JP4501171B2 (ja) 1999-03-18 1999-03-18 画像処理装置

Country Status (1)

Country Link
JP (1) JP4501171B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009539334A (ja) * 2006-05-31 2009-11-12 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. ビデオストリームをアラインするための融合空間
JP2014197109A (ja) * 2013-03-29 2014-10-16 株式会社コナミデジタルエンタテインメント 画像表示装置、画像表示方法及びコンピュータプログラム
EP4165869A1 (de) * 2020-06-12 2023-04-19 Ohligs, Jochen Vorrichtung zur darstellung von bildern sowie verwendung einer solchen vorrichtung

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02228893A (ja) * 1989-03-02 1990-09-11 Nippon Telegr & Teleph Corp <Ntt> 画像通信用表示撮影装置
JPH0496581A (ja) * 1990-08-14 1992-03-27 Nippon Telegr & Teleph Corp <Ntt> 視線一致型の画像表示装置
JPH05316504A (ja) * 1992-05-08 1993-11-26 Nippon Telegr & Teleph Corp <Ntt> 映像通信における座席選択装置
JPH0970030A (ja) * 1995-08-31 1997-03-11 Mitsubishi Electric Corp 仮想会議システムの画像表示方法並びに仮想会議用端末装置
JPH09325991A (ja) * 1996-06-04 1997-12-16 Nippon Telegr & Teleph Corp <Ntt> 3次元仮想世界表示システム
JPH1040197A (ja) * 1996-07-19 1998-02-13 Fujitsu Ltd 通信管理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02228893A (ja) * 1989-03-02 1990-09-11 Nippon Telegr & Teleph Corp <Ntt> 画像通信用表示撮影装置
JPH0496581A (ja) * 1990-08-14 1992-03-27 Nippon Telegr & Teleph Corp <Ntt> 視線一致型の画像表示装置
JPH05316504A (ja) * 1992-05-08 1993-11-26 Nippon Telegr & Teleph Corp <Ntt> 映像通信における座席選択装置
JPH0970030A (ja) * 1995-08-31 1997-03-11 Mitsubishi Electric Corp 仮想会議システムの画像表示方法並びに仮想会議用端末装置
JPH09325991A (ja) * 1996-06-04 1997-12-16 Nippon Telegr & Teleph Corp <Ntt> 3次元仮想世界表示システム
JPH1040197A (ja) * 1996-07-19 1998-02-13 Fujitsu Ltd 通信管理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009539334A (ja) * 2006-05-31 2009-11-12 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. ビデオストリームをアラインするための融合空間
JP2014197109A (ja) * 2013-03-29 2014-10-16 株式会社コナミデジタルエンタテインメント 画像表示装置、画像表示方法及びコンピュータプログラム
EP4165869A1 (de) * 2020-06-12 2023-04-19 Ohligs, Jochen Vorrichtung zur darstellung von bildern sowie verwendung einer solchen vorrichtung
US12432315B2 (en) 2020-06-12 2025-09-30 Jochen Ohligs Device for displaying images, and use of a device of this type

Also Published As

Publication number Publication date
JP4501171B2 (ja) 2010-07-14

Similar Documents

Publication Publication Date Title
US12073362B2 (en) Systems, devices and methods for creating a collaborative virtual session
US12010153B1 (en) Method and apparatus for displaying video feeds in an online meeting user interface in a manner that visually distinguishes a first subset of participants from a second subset of participants
JP7379907B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、情報処理方法
US11595448B1 (en) Method and apparatus for automatically creating mirrored views of the video feed of meeting participants in breakout rooms or conversation groups during a videoconferencing session
US8154583B2 (en) Eye gazing imaging for video communications
US8159519B2 (en) Personal controls for personal video communications
US8063929B2 (en) Managing scene transitions for video communication
US8154578B2 (en) Multi-camera residential communication system
US10057542B2 (en) System for immersive telepresence
US7756675B2 (en) Group-determination-table generating device and method
US20080298571A1 (en) Residential video communication system
US20040254982A1 (en) Receiving system for video conferencing system
US20130174059A1 (en) Communicating between a virtual area and a physical space
JPH07255044A (ja) アニメーション式電子会議室及びビデオ会議システム及びビデオ会議方法
JP3660198B2 (ja) 3次元共有仮想空間表示方法、3次元共有仮想空間通信システム及び方法、仮想会議システム、並びにそのための利用者端末プログラムを記録した記録媒体
US11546385B1 (en) Method and apparatus for self-selection by participant to display a mirrored or unmirrored video feed of the participant in a videoconferencing platform
JP2006303997A (ja) テレビ会議システム
JPH11234640A5 (ja) 通信制御システムと通信装置および通信方法
JP4501171B2 (ja) 画像処理装置
CN111630484A (zh) 用于电话会议的虚拟窗口
CN116134805A (zh) 用于显示图像的装置以及此类装置的使用
JP2012165170A (ja) 会議装置、会議方法および会議プログラム
JP6870363B2 (ja) 通信装置、方法およびプログラム
JP2012182524A (ja) 通信装置
WO2013066290A1 (en) Videoconferencing using personal devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100412

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140430

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term