JPH0834585B2 - 画像通信システム及び方法 - Google Patents

Description

【発明の詳細な説明】 A.産業上の利用分野 本発明は、画像が電話回線またはコンピュータ・ネッ
トワークを通じて高速送信されるビデオコンファレンス
に関する。

B.従来技術 画像（ビデオ）と電話の組み合わせは、約20年前に、
アメリカ電信電話会社（AT＆Ｔ）が“ピクチャホン”を
発表した頃にさかのぼる。このシステムが日の目を見な
かったのは、主に、当時は何百という長距離線路を引く
のに等しい帯域幅が必要だったことと、増加する電線
を、交換機をすべて使用しても収容できなかったからで
ある。

ビデオ信号の圧縮により、画像の情報量を減らして
も、情報を失わずに転送し、圧縮された状態からビデオ
信号を再生するようになり、既存の電話網を利用できる
ようになった。しかし、このようなシステムは、圧縮用
のコンピュータが高価で、これに専用電話回線のコスト
が加わるため、小規模なグループあるいは個人の会話、
講義、遠隔地点間の教育用、商用のデモンストレーショ
ン、設備機器のモニタといった用途には採用されにく
い。

ビデオコンファレンスのメリットは明らかである。出
向などの時間と費用が大幅に削減される。内部に専門家
とすぐに相談でき、企業の全部署間の調整も容易にな
る。求められているのは、たとえばオフィスからオフィ
スへなど、部署単位で利用できるような低コストのビデ
オコンファレンス・システムである。ワークステーショ
ンの通信速度や接続性が改良されてきており、実際に個
々のオフィス間でリアルタイムにビデオコンファレンス
ができる可能性も出てきた。

ビデオコンファレンスに求められる機能は、唇の動
き、表情の変化、指さしなどが瞬間的に捉えられるリア
ルタイムの動画機能である。

本発明は、後者の目標を達成するために、転送された
画像の中心部分など、主な関心対象となる所定の画像領
域で動的な画像、即ちフルモーション画像をもたらすビ
デオコンファレンスを可能にするものである。

C.発明が解決しようとする問題点 本発明により、主な関心対象である画像の所定領域に
ついて、フルモーション・ビデオコンファレンス・シス
テムに必要な画像の高速転送が達成される。具体的に
は、転送速度は、所定の領域において大幅に高速化され
る（たとえば約２倍）。これにより、話し手の唇の動き
などのモーションを聞き手が捉えることができる。

したがって、本発明の目的は、画像利用の会議システ
ムにおいて、全画像空間内の予め選択した重点部分を、
受信側モニタの表示上において視覚認識できる画像の形
で、高速更新できる画像通信方法およびそのためのシス
テムを提供することである。

D.問題点を解決するための手段 本発明は、カメラと、走査された画像の連続した領域
に対応するイメージ・データを伝える手段とを含むビデ
オ通信装置を対象にしている。この連続領域は、領域が
重なり合うように選択される。さらに、画像を受信して
表示する手段も提供される。重なり合った領域に対応す
るデータの転送、受信、表示それぞれの速度は、重なっ
ていない領域に対応するデータよりも高速である。重な
り（オーバーラップ）は、前記の主な関心対象である領
域で最大であるため、データ転送速度も最大となり、そ
の領域に伴うモーションは許容できるものになる。

本発明の構成は次の通りである。

1.ビデオカメラを介して全画像空間を走査して該空間に
対応するディジタル化画像データを生成するための送信
側画像プロセッサ部分と、 前記画像プロセッサ部分に結合され画像データを記憶
するメモリを含み、所定サイズの部分的な画像データを
メモリから読み出して通信手段を介して受信側へ周期的
に送信する送信側主プロセッサ部分と、 前記主プロセッサ部分は、全画像空間を前記所定サイ
ズの複数の連続領域に区分し、その際、各連続領域が部
分的に互に重なり合うと共に全画像空間のうち視覚認識
対象である予め選択した重点部分においてより多くの領
域が部分的に重なり合うように各連続領域に対して全画
像空間内の相対アドレスを割り当て、この相対アドレス
及び各領域に対応する部分的な画像データを含む通信メ
ッセージを順次に送信する機能を有しており、 前記通信メッセージを受信して全画像空間に対する特
定の受信領域の相対的位置を判別するための受信側主プ
ロセッサ部分と、 前記受信側主プロセッサ部分に結合され前記受信領域
に対応する部分的な画像データを記憶すると共に記憶画
像データによりモニタ表示を更新するための画像メモリ
を含む画像プロセッサ部分と、 より成り、全画像空間のうちの視覚認識対象部分に対
応するモニタ表示に動的な画像を表示しうる会議システ
ムのための画像通信システム。

2.全画像空間を走査して生成されディジタル化された画
像データをコンピュータ・メモリに記憶しておき、コン
ピュータの制御の下に画像データのメモリ位置を指定す
るアドレスと共にネットワークを介して受信側へ周期的
に送信し、受信側では、コンピュータ制御の下に、受信
画像データを前記指定アドレスから画像メモリへ周期的
に読み込んでモニタ表示を更新する会議システムのため
の画像通信方法において、 前記送信側コンピュータの制御の下に、前記全画像空
間を、Ｘ及びＹ方向に亘って、所定サイズの連続した複
数の領域に区分し、その際、連続領域が互に部分的に重
なり合うと共に全画像空間のうち視覚認識対象である予
め選択した重点部分においてより多くの領域が部分的に
重なり合うように各連続領域に対して全画像空間内の相
対アドレスを割り当て、該アドレスと共に各連続領域を
順々に周期的に送信するステップと、 受信側コンピュータの制御の下に、順々に受信した各
連続領域に対応する画像データを前記アドレスから前記
画像メモリに読み込み、それにより、各連続領域のう
ち、重なり合う部分に対応する画像データをより大きい
頻度でモニタ上に表示するステップと、 より成り、全画像空間のうちの視覚認識対象部分に対
応するモニタ表示に動的な画像を表示しうる会議システ
ムのための画像通信方法。

本発明を実施する際、送信側と受信側との代表的なビ
デオ通信では、高速なトークン・リング・ネットワーク
のデータ・パケットが利用される。本発明は、このよう
な環境では、ワークステーションに実施しやすく、ワー
クステーションの普通の用途に用いられるものと同じ通
信用のプロトコルを用いる。このような変更に伴うコス
トは、他のビデオコンファレンス・システムに比べれば
穏当である。

E.実施例 第１図は、２局からなるビデオコンファレンス・ネッ
トワークの概略図である。各局10は、一般に入手できる
機器すなわちビデオ・カメラ12とモニタ14、画像プロセ
ッサ18とIBMのトークン・リング・アダプタ20とを加え
るため変更されたデスクトップ・コンピュータ16（IBM
PC/ATなど）、およびIBMトークン・リング通信リンク22
との接続ラインから構成される。本発明は、このような
ネットワーク内において、画像空間内のあらかじめ選択
された領域で画像を高速に更新するという印象を与える
方法を提供する。このような高速更新により、フルモー
ション効果が得られ、よって実物に近い画像を表示でき
る。

第１図のネットワークに適したものと認められている
画像プロセッサ18は、Imaging Technology Incorporate
d製のFG-100-ATである。このプロセッサは、いろいろな
レジスタ制御機能を持つシングル・ボードのリアルタイ
ム・プロセッサからなる。レジスタ制御機能には、入力
カメラの選択、ズーム（ピクセル・サイズ）選択、索引
テーブル選択、メモリ空間の指定、タイミングと同期の
制御、オンボード画像処理、充分な８ビット精度などが
ある。

第１図で、ビデオ・カメラ12によって受信される画像
は、画像プロセッサ18によって連続的にデジタル化され
る。画像データが読み込まれ、通信用バケット24（第２
図）にまとめられて、トークン・リング・アダプタ20を
介してトークン・リング・リンク22を経由し、受信局に
入る。受信局は、パケットに分けられたデータを受信し
てコンピュータ16のメモリに格納する。データはこのメ
モリから、画像プロセッサ18のビデオ・メモリに読み込
まれる。このメモリからの読み出しデータはモニタ14に
表示される。画像プロセッサ18は、現在、ビデオ・メモ
リに存在している画像データを表示させるように働く。
すなわち、ビデオ・モニタ14に表示されている内容は、
現在、ビデオ・メモリに存在している有効な画像データ
に相当する。自動インクリメント（画像プロセッサ18の
読み書き機能）により、ビデオ・データがフェッチさ
れ、このデータが相応の高速でビデオ・メモリに入力さ
れる。画像プロセッサが自動モードにセットされた場
合、開始アドレスが与えられると、画像プロセッサ自体
がアドレスを自動的に更新するので、アドレス位置を指
定する必要はない。

トークン・リング・リンク22では、ソフトウェアによ
って、TCP/IP（Transition Control Protocol/Internet
Protocol）のUDP（User Datagram Protocol）が用いら
れる。このプロトコルでは、受信の確認応答が送信側に
戻らないので、ネットワークのオーバヘッドが低減す
る。

先にも述べたとおり、画像データは通信パケットにま
とめられる。パケットのサイズは許容最大値にセットさ
れ、運用システムでは2Kバイトである。第２図に示すと
おり、パケット24はそれぞれ宛先情報、ヘッダ（パケッ
トに含まれるピクセル情報データの開始位置Ｉ、Ｊ）、
および全画像空間の中の所定の領域を占める全ピクセル
が含まれる。位置Ｉ、Ｊは、画像プロセッサ18の自動イ
ンクリメント書き込みモードでは、ビデオ・メモリ位置
の算出に用いられる。この手段により、パケットが失わ
れた場合でも、あるいはパケットの構成が乱れた場合で
も、データは正しい位置に置かれる。連続した矩形のブ
ロック（第２図のパケット24をなす）はそれぞれ、１バ
イトの情報を表す。したがって、ピクセル開始情報を表
す座標（Ｉ、Ｊ）のそれぞれには２バイトが用いられ、
転送された“N"領域のピクセルはそれぞれ、モノクロ転
送時のその位置の光の強度に比例する値で表される。こ
の値は、カラー転送時には、カラー索引テーブルと合わ
せて用いることもできる。

画像プロセッサ18が採る画像収集モードでは、毎秒30
枚の割合で画像が連続収集される。画像プロセッサでメ
ニューを選択すれば、解像モードがズーム・モード、お
よび受信モードか送信モードの選択ができる。自動通信
とビデオ・ボード初期化用のソフトウェアでは、従来の
方法によるセットアップ操作とトークン・リング22上の
開放通信が可能になる。

120×126ピクセルの解像度で第１図のネットワークを
稼働させた場合、画像の送受信によって、１秒間に約９
枚の画像の更新が終了する。このパラメータは、トーク
ン・リングの通信速度、毎秒約140Kバイトに相当する。
フルモーションのビデオコンファレンスを実現するため
には、人間によって知覚される画像転送速度を約２倍、
すなわち毎秒18枚のオーダで画像を更新し終える必要が
ある。この転送速度は、ビデオ・メモリのアクセスにか
かる時間からいって、また、外部で画像を圧縮するのに
充分な時間がとれないので、第１図のネットワークでは
不可能である。この点を考慮した場合、本発明は、以下
に述べるとおり、更新画像を増やす上で好都合かつ低コ
ストの手段を提供するものである。

第３図は、ビデオ・カメラ12から見た全画像空間26を
示す。これはＸ×Ｙピクセルで構成される。たとえばＸ
＝512、Ｙ＝480ピクセルのとき、全画像空間のピクセル
数は245,760である。

第4A図ないし第4D図で、第３図の画像空間26は、１な
いし４とした４つの“N"領域に分けられている。各領域
は画像空間26の角に接し、それぞれの寸法はNX（Ｘ方向
のピクセル数）×NY（Ｙ方向のピクセル数）としてい
る。この例では（説明の便宜上）、各領域の大きさ（ピ
クセル数）は全画像空間26の２分の１にしてある。した
がって各領域は320×384ピクセルつまり122,880ピクセ
ルである。

第4A図で、領域Ｎ＝１は画像26の左上にある。画像全
体の寸法（Ｘ、Ｙ）がそれぞれ512、480ピクセル、領域
の寸法（NX、NY）がそれぞれ384、320とすれば、開始ピ
クセル28の座標（Ｉ、Ｊ）は（０、０）である。第4B図
で領域Ｎ＝２は左下にある。開始ピクセル30の座標
（Ｉ、Ｊ）は（０、160）である。第4C図で領域Ｎ＝３
は画像26の右上にあり、開始ピクセル32の座標（Ｉ、
Ｊ）は（128、０）である。第4D図で領域Ｎ＝４は右下
にあり、開始ピクセル34の座標（Ｉ、Ｊ）は（128、16
0）である。

４つの“N"領域１ないし４は、第５図の流れ図によ
り、ネットワークのあるステーションから別のステーシ
ョンに周期的に転送される。したがって初期化の後、指
定された開始ピクセルから転送しようとする領域の画像
データは、プロセッサ18のビデオ・メモリからフェッチ
され、コンピュータ16に格納される。画像データは次
に、前述のようにトークン・リング・パケット24（第２
図）にまとめられ、対応するヘッダが付けられてから、
受信局に送られる。ストップ信号（たとえばキーボード
割り込みや通信システムのコマンドとして生成）が受信
されない場合、画像の後続の領域は同じように転送され
る。

第６図の流れ図は、受信局で生じる事象を示す。ここ
で、初期化の後、受信局で受信されたパケット24は、コ
ンピュータのメモリに読み込まれ、開始ピクセル座標
（Ｉ、Ｊ）のパケット・データ値が読み出される。パケ
ットからのビデオ・データは、開始ピクセルから始ま
り、“N"領域の画像の所定サイズに一致する画像プロセ
ッサのビデオ・メモリにセットされる。連続した領域の
画像は次に、適当なモニタ14に表示される。前記の全画
像空間の各領域を周期的に転送することは、第１図のネ
ットワークで容易に実現できる。各パケットに関連する
ヘッダにより、ビデオ・メモリとの間でデータをランダ
ムに分割できるからである。

第７図では、第4A図ないし第4D図の領域は重なり合っ
ている。たとえば画像空間26の中央部Ａでは、“N"領域
１ないし４の各部は、４重オーバラップになるよう重な
り合っている。これは、通常の画像更新速度が２倍にな
ることを意味する。実施例では、この中央部は全画像空
間の６分の１すなわち40,960ピクセルである。辺に接す
る中間部、すなわちＢ、Ｃ、上部および下部（画像空間
26のＤ、Ｅ）は、２重オーバラップであるため、通常の
速度で更新される。領域Ｂは、“N"領域１、２（第4A
図、第4B図）の重なり部分によって、領域Ｃは領域３、
４（第4C図、第4D図）によって、領域Ｄは領域１、３
（第4A図、第4C図）、領域Ｅは領域２、４（第4B図、第
4D図）によってそれぞれ形成される。中間部を合わせた
領域は、全画像空間の２分の１の122,880ピクセルであ
る。角の領域すなわちＦ、Ｇ、Ｈ、Ｉ（全画像空間の３
分の１の81,920ピクセル）には重なりがなく、２分１の
速度で更新される。領域Ｆは、“N"領域１（第4A図）の
画像部分、Ｇは領域３（第4C図）の部分、Ｈは領域２
（第4B図）の部分、およびＩは領域４（第4D図）の部分
である。

通常の約２倍の速度で更新される中央部は、一般的に
は、特別な関心の対象となる領域である。したがってビ
デオコンファレンスの間、話し手の唇の動き、指さし、
その他の細かい動作は、この領域ではスムーズな動きと
なる。このようなスムーズな動きが、画像空間26の中で
画像が重なっていない角の領域Ｆ、Ｇ、Ｈ、Ｉでは得ら
れないことは明らかであるが、経験からわかるように、
一般には角の部分に対しては注意が向けらることはほと
んどなく、また人間の目は普通、画像空間の中央部Ａで
焦点が合う。

運用システムでは、中央部Ａにおける画像の更新は、
通常の速度の２倍よりいくらか速い。これはトークン・
リング・パケットの構成に関係している。たとえばパケ
ットの転送は、パケット・サイズが最大で、パケット24
がデータで完全に埋められているとき最適な状態となる
ことが分かっている。

これまでの説明から明らかなように、画像のリフレッ
シュは、それが最も必要とされる部分、変化が最も大き
く、認知対象と考えられる領域に集中する。周期的な転
送の対象として選択された領域は、特定の位置を占め、
全画像空間の約２分の１の大きさの矩形の領域として説
明したが、このようなパラメータは例示のためだけに用
いたものであり、本発明を、そのように限定したものと
みなすべきではない。たとえば、オーバラップ領域のサ
イズは拡大あるいは縮小できる。オーバラップ領域の数
は、トークン・リングの動作あるいはトークン・リング
・パケットの最大値に応じて変更できる。

さらに、オーバラップ領域は、ユーザの希望によって
異なる条件に合わせて移動させることも可能である。こ
のように、どの領域を優先的に更新するかによって、人
間によって知覚される画像転送速度をどの領域で速める
かが決定される。本発明は、ビデオコンファレンスのほ
か、部品の連続検査、オブジェクトの認識、ロボット工
学など広範囲の分野に適用できる。

F.発明の効果 本発明によれば、主な関心対象である画像の所定領域
について、フルモーション画像を提供することが可能に
なる。

【図面の簡単な説明】

第１図は、本発明を利用できるビデオコンファレンス・
システムの構成を示すブロック図である。 第２図は、画像空間の中のある領域の画像を表すデータ
・パケットの構成を示す概略図である。 第３図は、代表的な画像空間の全体を、その構成要素で
あるピクセルの集合として示した図である。 第4A図ないし第4D図は、第３図の画像空間を基に、本発
明により転送、受信、表示される４つの領域を示す図で
ある。 第５図は、第4A図ないし第4D図の各領域の画像を受信局
に繰り返し転送する様子を示す流れ図である。 第６図は、第５図による画像の反復転送の受信局が受信
する様子を示す流れ図である。 第７図は、第4A図ないし第4D図の各領域がビデオ・サイ
クルで正しく表示されるときの各領域のオーバラップを
示す図である。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭54−13214（ＪＰ，Ａ) 特開 昭62−200885（ＪＰ，Ａ) 特表 昭64−500073（ＪＰ，Ａ)

Claims (2)

【特許請求の範囲】
1. 【請求項１】ビデオカメラを介して全画像空間を走査し
   て該空間に対応するディジタル化画像データを生成する
   ための送信側画像プロセッサ部分と、 前記画像プロセッサ部分に結合され画像データを記憶す
   るメモリを含み、所定サイズの部分的な画像データをメ
   モリから読み出して通信手段を介して受信側へ周期的に
   送信する送信側主プロセッサ部分と、 前記主プロセッサ部分は、全画像空間を前記所定サイズ
   の複数の連続領域に区分し、その際、各連続領域が部分
   的に互に重なり合うと共に全画像空間のうち視覚認識対
   象である予め選択した重点部分においてより多くの領域
   が部分的に重なり合うように各連続領域に対して全画像
   空間内の相対アドレスを割り当て、この相対アドレス及
   び各領域に対応する部分的な画像データを含む通信メッ
   セージを順次に送信する機能を有しており、 前記通信メッセージを受信して全画像空間に対する特定
   の受信領域の相対的な位置を判別するための受信側主プ
   ロセッサ部分と、 前記受信側主プロセッサ部分に結合され前記受信領域に
   対応する部分的な画像データを記憶すると共に記憶画像
   データによりモニタ表示を更新するための画像メモリを
   含む画像プロセッサ部分と、 より成り、全画像空間のうちの視覚認識対象部分に対応
   するモニタ表示に動的な画像を表示しうる会議システム
   のための画像通信システム。
2. 【請求項２】全画像空間を走査して生成されディジタル
   化された画像データをコンピュータ・メモリに記憶して
   おき、コンピュータの制御の下に画像データのメモリ位
   置を指定するアドレスと共にネットワークを介して受信
   側へ周期的に送信し、受信側では、コンピュータ制御の
   下に、受信画像データを前記指定アドレスから画像メモ
   リへ周期的に読み込んでモニタ表示を更新する会議シス
   テムのための画像通信方法において、 前記送信側コンピュータの制御の下に、前記全画像空間
   を、Ｘ及びＹ方向に亘って、所定サイズの連続した複数
   の領域に区分し、その際、連続領域が互に部分的に重な
   り合うと共に全画像空間のうち視覚認識対象である予め
   選択した重点部分においてより多くの領域が部分的に重
   なり合うように各連続領域に対して全画像空間内の相対
   アドレスを割り当て、該アドレスと共に各連続領域を順
   々に周期的に送信するステップと、 受信側コンピュータの制御の下に、順々に受信した各連
   続領域に対応する画像データを前記アドレスから前記画
   像メモリに読み込み、それにより、各連続領域のうち、
   重なり合う部分に対応する画像データをより大きい頻度
   でモニタ上に表示するステップと、 より成り、全画像空間のうちの視覚認識対象部分に対応
   するモニタ表示に動的な画像を表示しうる会議システム
   のための画像通信方法。