JPH09154114A - 電子会議端末装置 - Google Patents

電子会議端末装置

Info

Publication number
JPH09154114A
JPH09154114A JP7309062A JP30906295A JPH09154114A JP H09154114 A JPH09154114 A JP H09154114A JP 7309062 A JP7309062 A JP 7309062A JP 30906295 A JP30906295 A JP 30906295A JP H09154114 A JPH09154114 A JP H09154114A
Authority
JP
Japan
Prior art keywords
image
cameras
conference
camera
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7309062A
Other languages
English (en)
Inventor
Motoki Mori
素樹 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP7309062A priority Critical patent/JPH09154114A/ja
Publication of JPH09154114A publication Critical patent/JPH09154114A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

(57)【要約】 【課題】装置全体を小型とし、レイアウト上の自由度を
十分に持たせることができ、さらに確実に視線を合すこ
とができる電子会議端末装置を提供すること。 【解決手段】カメラ1,2は、撮影した自画像信号を画
像合成部3に入力する。通信部7が受信した圧縮された
相手画像データは、CODEC8が復号し、相手画像の
CRT5の表示面上の位置を指定する相手画像表示ウィ
ンドウ9と、相手画像上の眼の位置を認識するパタン認
識部10とに送出する。仮想カメラ座標計算部12は、
OS11からの相手画像を表示するウィンドウの位置情
報およびパタン認識部10からの相手画像における眼の
相対位置情報を受け、表示画面上の相手画像の眼の位置
の座標を算出し、画像合成部3に出力する。画像合成部
3は、カメラ1,2が撮影した自画像信号から、仮想カ
メラの位置から見た会議参加者の画像を合成しCODE
C8に出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は電子会議端末装置に
関し、特に自動的に会議参加者同志の視線を合せる機能
を有する電子会議端末装置に関する。
【0002】
【従来の技術】従来の電子会議端末装置は、コミュニケ
ーションを円滑に図るための工夫として、相手の顔を動
画としてリアルタイムに見る機能を設けている。しかし
このとき、相手となる会議参加者を撮影しているカメラ
の位置は、通常では可視表示部の表示面(相手となる会
議参加者が凝視していると考えられもの)とは異なるた
め、視線は一致せず不自然な感じを与えることになる。
この状態を改善し、視線を一致させる方法の一案とし
て、図5に示すように、ハーフミラーを用いて相手画像
の位置から自画像を撮影する方法がある。これによっ
て、会議参加者は、相手会議参加者を見ることが、自己
の視線をカメラに向けることになるので、相手会議参加
者と相互に視線を合せて会議を行うことができることに
なる。また、これとは異なる発想に基づく方法として
は、たとえば、特開平1―320584号公報に示され
るように、複数台のカメラの撮像データを画像処理によ
り回転させることによって、任意の角度の連続視域被写
体画像を得る方法を利用することが考えられる。
【0003】
【発明が解決しようとする課題】上述した従来の電子会
議端末装置は、相手会議参加者と相互に視線を合せて会
議を行うためには、ハーフミラーを用いて相手画像の位
置から自画像を撮影し、相手会議参加者と相互に視線を
合せるようにしたので、ハーフミラーの下部に可視表示
部を埋込む形になるため、装置全体が大がかりになり、
レイアウト上の自由度も低くなるという問題点がある。
また、複数台のカメラの撮像データを画像処理により回
転させ、任意の角度の連続視域被写体画像を得る方法を
利用する場合は、ここで言う任意の角度をどのように定
めるかについては記載されていないので、この任意の角
度の選択を誤ると、ほとんど視線を合すことができない
ことになるという問題点がある。
【0004】本発明の目的は、装置全体を小型とし、レ
イアウト上の自由度を十分に持たせることができ、さら
に確実に視線を合すことができる電子会議端末装置を提
供することにある。
【0005】
【課題を解決するための手段】本発明の電子会議端末装
置は、ウィンドウの位置および大きさをユーザが変更で
きる手段を持ったウィンドウシステム上で動作し、可視
表示部に任意の会議参加者の画像を表示するウィンドウ
を持った電子会議システムの電子会議端末装置におい
て、前記可視表示部の近傍に設置する少なくとも2台の
カメラを用いて取得した前記カメラの前の会議参加者の
画像データから立体画像データを生成すると共に前記カ
メラの前の会議参加者の指定した前記可視表示部の前記
任意の会議参加者の画像上の眼の位置に仮想する仮想カ
メラが取得する前記カメラの前の会議参加者の画像を前
記立体画像データから合成し出力する画像合成部と、こ
の画像合成部の合成した前記カメラの前の会議参加者の
画像およびデータを前記電子会議システムの他の電子会
議端末装置に送信すると共に他の会議参加者の画像およ
びデータを受信する通信部とを有する構成である。
【0006】本発明の電子会議端末装置は、2台のカメ
ラを可視表示部の左右でかつ同一水準に設け、前記可視
表示部の任意の会議参加者の画像上の眼の位置に仮想す
る仮想カメラの位置が前記2台のカメラを通る直線上で
かつ前記可視表示部上の任意の会議参加者の画像を表示
するウィンドウの表示位置であってもよい。
【0007】本発明の電子会議端末装置は、3台のカメ
ラを可視表示部の上下左右で前記可視表示部を囲むよう
に配置してもよい。
【0008】本発明の電子会議端末装置は、4台のカメ
ラを可視表示部の上下左右で前記可視表示部を囲むよう
に配置してもよい。
【0009】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
【0010】図1は本発明の第1の実施の形態を示すブ
ロック図である。
【0011】第1の実施の形態としては、カメラを2台
用いているものとする。カメラ1,2は、撮影した自画
像信号を自画像入力として画像合成部3に入力する。こ
のときカメラ1,2の位置は、予めカメラ位置設定ツー
ル4が画像合成部3に入力しておくものとする。また、
相手画像を表示する可視表示部としては、CRT5を用
いる。CRT5に表示する画像データとしては、LAN
またはISDNの回線6を介して他の電子会議端末装置
と接続している通信部7が、圧縮された自画像データお
よび圧縮された相手画像データを送信および受信する。
通信部7が受信した圧縮された相手画像データは、CO
DEC8が相手画像として復号し、相手画像のCRT5
の表示面上の位置を指定する相手画像表示ウィンドウ9
と、相手画像上の眼の位置(両眼の中心)を認識するパ
タン認識部10とに送出する。相手画像表示ウィンドウ
9は、予めこの電子会議端末を利用する会議参加者が入
力済の、相手画像を表示するウィンドウの位置情報と共
に、受信した相手画像をOS11に送る。OS11は、
相手画像を相手画像を表示するウィンドウの位置に表示
した状態でCRT5に送り、相手画像を表示するウィン
ドウの位置情報を仮想するカメラの位置座標を計算する
仮想カメラ座標計算部12に送る。パタン認識部10
は、相手画像を受け相手画像上の眼の位置(両眼の中
心)を認識し、相手画像における眼の相対位置情報を仮
想カメラ座標計算部12に送る。仮想カメラ座標計算部
12は、OS11からの相手画像を表示するウィンドウ
の位置情報およびパタン認識部10からの相手画像にお
ける眼の相対位置情報を受け、表示画面上の相手画像の
眼の位置の座標を算出し、この座標を仮想カメラの位置
を定める指標として画像合成部3に出力する。画像合成
部3は、既にカメラ位置設定ツール4が入力してあるカ
メラ1,2の位置と合せて、カメラ1,2を結ぶ直線上
で、パタン認識部10からの相手画像の眼の位置の座標
に最も近い位置を仮想カメラの位置と定め、カメラ1,
2が撮影した自画像信号から、いま定めた仮想カメラの
位置から見た会議参加者の画像を合成しCODEC8に
出力する。CODEC8は、会議参加者の画像を圧縮し
て通信部7に出力する。
【0012】次に動作について説明する。
【0013】会議参加者は、最初にカメラ位置設定ツー
ル4を用いて、カメラ1,2の位置情報を画像合成部3
に入力しておく。2台のカメラ1,2は、図2の第1の
実施の形態を示す正面図に示すように、CRT5の両側
に設けてあるのでCRT5の表示領域上にはない。従っ
て、カメラ1,2の座標は、仮想的な値を取り、例え
ば、カメラ1(−120,40)、カメラ2(114
3,40)となる。次に、会議参加者は、相手画像表示
ウィンドウ9に、CRT5の表示領域上の相手画像の表
示位置を指定しておく。この指定はOS10に伝えら
れ、さらに仮想カメラ座標計算部12に伝達される。仮
想カメラ座標計算部12は、パタン認識部10からの相
手画像における眼の相対位置情報を受けなければ、OS
10からのCRT5の表示領域上の相手画像の表示位
置、例えば(600,0)のみにより、予め定める手順
に従って相手の眼の位置情報を計算し、CRT5の表示
領域上での相手の眼の位置情報(絶対位置)を出力す
る。また、パタン認識部10からの相手画像、例えば
(320*240ドット)における眼の相対位置情報、
例えば(160,40)を受ければ、OS10からのC
RT5の表示領域上の相手画像の表示位置に、眼の相対
位置情報を当はめ、CRT5の表示領域上での相手の眼
の位置(760,40)を出力する。画像合成部3は、
カメラ位置設定ツール4からのカメラ1,2の位置情報
と共に、仮想カメラ座標計算部12からの相手の眼の位
置情報を受けることで、仮想カメラの位置を求めてお
く。
【0014】電子会議が開始されると、会議参加者の自
画像は、カメラ1,2の自画像入力を基に、画像合成部
3により先に求めた仮想カメラの位置から見た自画像と
して合成され、出力される。この合成された仮想カメラ
からの自画像は、CODEC8で圧縮され、圧縮された
自画像データとして通信部7およびLANまたはISD
Nの回線6を介して図示されていない他の電子会議端末
装置に送出される。
【0015】一方、図示されていない他の電子会議端末
装置からの相手画像は、LANまたはISDNの回線6
を介して他の電子会議端末装置と接続している通信部7
が、圧縮された相手画像データを受信する。通信部7が
受信した圧縮された相手画像データは、CODEC8が
相手画像として復号し、相手画像のCRT5の表示面上
の位置を指定する相手画像表示ウィンドウ9と、相手画
像上の眼の位置を認識するパタン認識部10とに送出す
る。相手画像表示ウィンドウ9は、相手画像を表示する
ウィンドウの位置情報と共に、受信した相手画像をOS
11に送る。OS11は、相手画像を相手画像を表示す
るウィンドウの位置に表示した状態でCRT5に送り、
同時に相手画像を表示するウィンドウの位置情報を仮想
するカメラの位置座標を計算する仮想カメラ座標計算部
12に送る。CRT5は、指定されている位置に相手画
像を表示する。会議参加者は、この相手画像に注目する
と自動的に相手に視線を合せたことになり、相手も同様
に表示されている会議参加者の画像に注目すれば視線を
合せることになる。
【0016】以上の説明は、カメラが2台の場合である
ので、相手画像を表示するウィンドウの位置は、2台の
カメラを結ぶ直線上になければ視線を合すことができな
いものである。
【0017】図3は本発明の第2の実施の形態を示す正
面図である。
【0018】第2の実施の形態としては、カメラを3台
用いた場合を示す。ここで、カメラ21,22,23
は、CRT24を囲むように配置してある。このように
カメラ21,22,23を配置することにより、カメラ
21,22,23で囲まれる範囲内の任意の位置に相手
画像表示ウィンドウ9を設定することを可能とする。こ
の場合、第1の実施の形態と異なる点は、画像合成部4
の機能が3台のカメラに対応するよう拡張されているこ
とである。この技術は従来の技術の項で説明した特開平
1―320584号公報に示される技術の応用である。
【0019】図4は本発明の第3の実施の形態を示す正
面図である。
【0020】第3の実施の形態としては、カメラを4台
用いた場合を示す。ここで、カメラ31,32,33,
34は、CRT35を囲むように配置してある。このよ
うにカメラ31,32,33,34を配置することによ
り、カメラ31,32,33,34で囲まれる範囲内の
任意の位置に相手画像表示ウィンドウ9を設定すること
を可能とする。この場合、第1の実施の形態と異なる点
は、画像合成部4の機能が4台のカメラに対応するよう
拡張されていることである。
【0021】
【発明の効果】以上説明したように、本発明は、可視表
示部の近傍に設置する少なくとも2台のカメラを用いて
取得したカメラの前の会議参加者の画像データから立体
画像データを生成すると共にカメラの前の会議参加者の
指定した可視表示部の任意の会議参加者の画像上の眼の
位置に仮想する仮想カメラが取得するカメラの前の会議
参加者の画像を立体画像データから合成し出力する画像
合成部と、この画像合成部の合成したカメラの前の会議
参加者の画像およびデータを電子会議システムの他の電
子会議端末装置に送信すると共に他の会議参加者の画像
およびデータを受信する通信部とを有することにより、
装置全体を小型とし、レイアウト上の自由度を十分に持
たせることができ、さらに確実に視線を合せて会議を行
うことができるという効果が有る。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態を示すブロック図で
ある。
【図2】本発明の第1の実施の形態を示す正面図であ
る。
【図3】本発明の第2の実施の形態を示す正面図であ
る。
【図4】本発明の第3の実施の形態を示す正面図であ
る。
【図5】従来の電子会議端末装置の概念図である。
【符号の説明】
1,2,21,22,23,31,32,33,34
カメラ 3 画像合成部 4 カメラ位置設定ツール 5,24,35 CRT 6 LANまたはISDNの回線 7 通信部 8 CODEC 9 相手画像表示ウィンドウ 10 パタン認識部 11 OS 12 仮想カメラ座標計算部

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 ウィンドウの位置および大きさをユーザ
    が変更できる手段を持ったウィンドウシステム上で動作
    し、可視表示部に任意の会議参加者の画像を表示するウ
    ィンドウを持った電子会議システムの電子会議端末装置
    において、前記可視表示部の近傍に設置する少なくとも
    2台のカメラを用いて取得した前記カメラの前の会議参
    加者の画像データから立体画像データを生成すると共に
    前記カメラの前の会議参加者の指定した前記可視表示部
    の前記任意の会議参加者の画像上の眼の位置に仮想する
    仮想カメラが取得する前記カメラの前の会議参加者の画
    像を前記立体画像データから合成し出力する画像合成部
    と、この画像合成部の合成した前記カメラの前の会議参
    加者の画像およびデータを前記電子会議システムの他の
    電子会議端末装置に送信すると共に他の会議参加者の画
    像およびデータを受信する通信部とを有することを特徴
    とする電子会議端末装置。
  2. 【請求項2】 2台のカメラを可視表示部の左右でかつ
    同一水準に設け、前記可視表示部の任意の会議参加者の
    画像上の眼の位置に仮想する仮想カメラの位置が前記2
    台のカメラを通る直線上でかつ前記可視表示部上の任意
    の会議参加者の画像を表示するウィンドウの表示位置で
    あることを特徴とする請求項1記載の電子会議端末装
    置。
  3. 【請求項3】 3台のカメラを可視表示部の上下左右で
    前記可視表示部を囲むように配置することを特徴とする
    請求項1記載の電子会議端末装置。
  4. 【請求項4】 4台のカメラを可視表示部の上下左右で
    前記可視表示部を囲むように配置することを特徴とする
    請求項1記載の電子会議端末装置。
JP7309062A 1995-11-28 1995-11-28 電子会議端末装置 Pending JPH09154114A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7309062A JPH09154114A (ja) 1995-11-28 1995-11-28 電子会議端末装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7309062A JPH09154114A (ja) 1995-11-28 1995-11-28 電子会議端末装置

Publications (1)

Publication Number Publication Date
JPH09154114A true JPH09154114A (ja) 1997-06-10

Family

ID=17988428

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7309062A Pending JPH09154114A (ja) 1995-11-28 1995-11-28 電子会議端末装置

Country Status (1)

Country Link
JP (1) JPH09154114A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355804A (ja) * 1998-06-04 1999-12-24 Nec Corp ネットワーク会議画像処理装置
JP2000172163A (ja) * 1998-09-28 2000-06-23 Matsushita Electric Ind Co Ltd 手動作分節方法および装置
WO2001084827A1 (en) * 2000-04-28 2001-11-08 Nozomu Saruhashi Floor-mounted camera device
US6661315B2 (en) 2000-03-07 2003-12-09 Murata Manufactuing Co. Ltd Resonator, filter, oscillator, duplexer, and communication apparatus
JP2004193962A (ja) * 2002-12-11 2004-07-08 Sony Corp 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム
JP2014522622A (ja) * 2012-06-11 2014-09-04 センター オブ ヒューマン−センタード インタラクション フォー コイグジステンス アイコンタクトが可能な3次元遠隔会議装置およびこれを用いた方法
WO2018225518A1 (ja) * 2017-06-07 2018-12-13 ソニー株式会社 画像処理装置、画像処理方法、プログラム、およびテレコミュニケーションシステム
JP2022550501A (ja) * 2019-10-03 2022-12-02 メタ プラットフォームズ テクノロジーズ, リミテッド ライアビリティ カンパニー 仮想カメラを使用するビデオ通信のためのシステムおよび方法
JP2023530652A (ja) * 2020-06-09 2023-07-19 ストライカー・ライビンガー・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング・ウント・コンパニー・コマンディトゲゼルシャフト コンピュータ支援インターベンション用の空間認識ディスプレイ

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03278686A (ja) * 1990-03-28 1991-12-10 Nec Corp テレビ電話装置
JPH0652945A (ja) * 1992-07-28 1994-02-25 Matsushita Electric Works Ltd 配線装置
JPH0750819A (ja) * 1993-03-30 1995-02-21 Nec Corp ビデオ会議システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03278686A (ja) * 1990-03-28 1991-12-10 Nec Corp テレビ電話装置
JPH0652945A (ja) * 1992-07-28 1994-02-25 Matsushita Electric Works Ltd 配線装置
JPH0750819A (ja) * 1993-03-30 1995-02-21 Nec Corp ビデオ会議システム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355804A (ja) * 1998-06-04 1999-12-24 Nec Corp ネットワーク会議画像処理装置
JP2000172163A (ja) * 1998-09-28 2000-06-23 Matsushita Electric Ind Co Ltd 手動作分節方法および装置
US6661315B2 (en) 2000-03-07 2003-12-09 Murata Manufactuing Co. Ltd Resonator, filter, oscillator, duplexer, and communication apparatus
WO2001084827A1 (en) * 2000-04-28 2001-11-08 Nozomu Saruhashi Floor-mounted camera device
US6848842B2 (en) 2000-04-28 2005-02-01 Nozomu Saruhashi Floor-mounted camera device
JP2004193962A (ja) * 2002-12-11 2004-07-08 Sony Corp 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム
JP2014522622A (ja) * 2012-06-11 2014-09-04 センター オブ ヒューマン−センタード インタラクション フォー コイグジステンス アイコンタクトが可能な3次元遠隔会議装置およびこれを用いた方法
US9077974B2 (en) 2012-06-11 2015-07-07 Center Of Human-Centered Interaction For Coexistence 3D video-teleconferencing apparatus capable of eye contact and method using the same
WO2018225518A1 (ja) * 2017-06-07 2018-12-13 ソニー株式会社 画像処理装置、画像処理方法、プログラム、およびテレコミュニケーションシステム
US11068699B2 (en) 2017-06-07 2021-07-20 Sony Corporation Image processing device, image processing method, and telecommunication system to generate an output image for telecommunication
JP2022550501A (ja) * 2019-10-03 2022-12-02 メタ プラットフォームズ テクノロジーズ, リミテッド ライアビリティ カンパニー 仮想カメラを使用するビデオ通信のためのシステムおよび方法
JP2023530652A (ja) * 2020-06-09 2023-07-19 ストライカー・ライビンガー・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング・ウント・コンパニー・コマンディトゲゼルシャフト コンピュータ支援インターベンション用の空間認識ディスプレイ
US12419686B2 (en) 2020-06-09 2025-09-23 Stryker Leibinger Gmbh & Co. Kg Spatially-aware displays for computer-assisted interventions

Similar Documents

Publication Publication Date Title
JP4057241B2 (ja) 仮想カメラを有する改善された画像撮影システム
US5500671A (en) Video conference system and method of providing parallax correction and a sense of presence
US7773108B2 (en) Method of maintaining eye contact in video conferencing using view morphing
US5438357A (en) Image manipulating teleconferencing system
Gibbs et al. Teleport–towards immersive copresence
US6753900B2 (en) Method and apparatus for overcoming the limitations of camera angle in video conferencing applications
TWI311286B (ja)
JP2003506927A (ja) ビデオ会議の参加者がカメラに焦点を合わせた状態で相手方ユーザの前に出現できるようにする方法と装置
US20130242036A1 (en) Displaying panoramic video image streams
CN108076307B (zh) 基于ar的视频会议系统和基于ar的视频会议方法
JPH07154763A (ja) 在席テレビ会議装置
Breiteneder et al. TELEPORT—an augmented reality teleconferencing environment
CN111163280B (zh) 非对称性视频会议系统及其方法
WO2018225518A1 (ja) 画像処理装置、画像処理方法、プログラム、およびテレコミュニケーションシステム
JPH0730877A (ja) 多地点間マルチメディア通信会議システム
JP3587106B2 (ja) 視線一致テレビ会議装置
JP3464754B2 (ja) ヘッドマウントディスプレイを装着した人物の顔画像合成方法およびその装置
JP3610423B2 (ja) 映像表示システムおよびその臨場感向上方法
JP2016213674A (ja) 表示制御システム、表示制御装置、表示制御方法、及びプログラム
JP2003009108A (ja) 画像通信システム、画像通信装置、および画像通信方法
JPH0690445A (ja) 映像入出力装置
JPH11234602A (ja) 映像プリント供給装置
JPH0652945B2 (ja) テレビ電話装置
JPH08256316A (ja) 通信会議システム
JPH11355804A (ja) ネットワーク会議画像処理装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 19980728