JPH0946710A - 画像通信システムおよび画像通信装置 - Google Patents

画像通信システムおよび画像通信装置

Info

Publication number
JPH0946710A
JPH0946710A JP19359295A JP19359295A JPH0946710A JP H0946710 A JPH0946710 A JP H0946710A JP 19359295 A JP19359295 A JP 19359295A JP 19359295 A JP19359295 A JP 19359295A JP H0946710 A JPH0946710 A JP H0946710A
Authority
JP
Japan
Prior art keywords
image
image data
area
attention
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP19359295A
Other languages
English (en)
Inventor
Shinjiro Hori
信二郎 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP19359295A priority Critical patent/JPH0946710A/ja
Publication of JPH0946710A publication Critical patent/JPH0946710A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 注目領域の画像を見ながら互いに交信を行う
ユーザの負担を軽減することができるようにするととも
に、画像の解像度を落とすことなく複数の注目領域を追
跡できるようにする。 【解決手段】 画像入力手段1より入力された画像デー
タ中において複数の注目領域を設定する領域設定手段8
と、上記画像入力手段1より入力される画像データのう
ち、上記領域設定手段8により設定された各注目領域内
の画像データを取り出して符号化する符号化手段5と、
上記符号化手段5により符号化された画像データを送信
する通信手段6とを設け、領域設定手段8で設定した各
注目領域内の画像データのみを符号化して送信し、それ
を受信側で復号化して表示するようにすることにより、
1つの画面内に遠く離れて存在する複数の注目領域を、
ズーム率を下げて撮影視野を広げなくても同時に表示さ
せることができるようにする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像通信システム
および画像通信装置に関するものである。
【0002】
【従来の技術】近年、画像圧縮符号化技術の発達とディ
ジタル通信回線の普及により、テレビ会議やテレビ電話
等のAV(Audio Visual)サービス用のサービス規定や
プロトコル規定、あるいはマルチメディア多重化フレー
ム構成規定などの勧告が整備されている。これに伴い、
テレビ会議システム等に適用される画像通信方法や装置
が数多く提案されている。
【0003】ここで、従来の画像通信装置の一構成例を
示す概略ブロック図を図8に示す。図中、801はカメ
ラ部であり、ズーム機能や首振り機能等を備えており、
カメラ制御部802の制御の下でズーミングをしたり撮
影方向を変えたりすることが可能なように構成されてい
る。
【0004】ユーザが望むカメラ部801の撮影視野の
設定は、制御部808でユーザの指定に対応した制御コ
マンドを生成して、カメラ制御部802の制御を行うこ
とで実現される。カメラ部801による撮影によって得
られた映像信号は、映像入力処理部803に供給され
る。映像入力処理部803は、カメラ部801から供給
される映像信号を、符号化部807で処理を行うのに適
した信号形式に変換してメモリ部805に供給する。
【0005】上記メモリ部805に一時的に格納された
映像データは、その後符号化部807に供給される。符
号化部807は、メモリ部805から供給される映像デ
ータを、制御部808で指定される符号化パラメータに
応じて圧縮符号化し、その圧縮符号化により得られた画
像データを通信i/f部809に供給する。通信i/f
部809は、圧縮符号化された画像データと符号化パラ
メータとを多重化し、それを通信回線を介して相手端末
に送信する。
【0006】一方、通信i/f部809で受信された相
手端末からの受信データは、上記相手端末で圧縮符号化
された画像データと符号化パラメータとに分離される。
そして、分離された圧縮画像データは復号化部811に
供給される。また、符号化パラメータは復号化パラメー
タとして制御部808に供給され、図示しない内部メモ
リに格納される。
【0007】復号化部811は、通信i/f部809か
ら供給された圧縮画像データを、制御部808に格納さ
れている復号化パラメータに従って復号化し、その結果
得られる画像データを表示部810に供給して受信画像
データの表示を行う。
【0008】
【発明が解決しようとする課題】図8に示した画像通信
装置を用いてテレビ会議などを行う場合において、ユー
ザが任意の領域を注目して見ようとするときには、ユー
ザは、自分が使用している端末の表示部810に表示さ
れている画像を見ながら、自分が注目する領域が撮影さ
れるように、相手端末のカメラ部801の撮影方向やズ
ーム率の変更を指示する情報を送信し、相手端末のカメ
ラ制御部802を操作していた。
【0009】このため、現在相手端末のカメラ部801
によって撮影されている領域が、自分が注目している領
域であるかどうかをユーザが常に監視し、注目領域と撮
影領域とが異なる場合には、そのたびに相手端末のカメ
ラ制御部802の操作を行う必要があった。
【0010】このことは、相手との交信を行うのと同時
に、受信画像の監視や相手端末のカメラ制御部802の
制御を行わなければならないという負荷をユーザに対し
て与えることになる。よって、画像通信端末の本来の目
的であるコミュニケーションに集中できなくなってしま
うという問題があった。
【0011】また、ユーザが複数の領域に注目している
場合に、各注目点の間隔が大きくなるときには、両注目
点が同時に映るようにズーム率を下げて視野を広くする
必要があった。ところが、このようにズーム率を下げる
と、表示画像の解像度が低下してしまい、必要な情報が
十分に得られなくなってしまうという問題があった。ま
た、ズーム率を下げないようにすると、両方の注目点を
同時に撮影することができなくなり、一方の注目点の追
跡を諦めなければならなくなってしまうという問題があ
った。
【0012】本発明は、このような問題を解決するため
に成されたものであり、注目領域の画像を見ながら互い
に交信を行うユーザの負担を軽減することができるよう
にすることを第1の目的とする。また、画像の解像度を
落とすことなく複数の注目領域を追跡できるようにする
ことを第2の目的とする。
【0013】
【課題を解決するための手段】本発明の画像通信システ
ムは、画像入力手段により入力される画像データ中にお
いて複数の注目領域を設定する領域設定手段と、上記領
域設定手段により設定された各注目領域を判定する領域
判定手段と、上記画像入力手段により入力される画像デ
ータのうち、上記領域判定手段により注目領域と判定さ
れた各領域内の画像データを取り出して符号化する符号
化手段と、上記符号化手段により符号化された画像デー
タを送信する送信手段と、上記送信手段により送信され
た画像データを受信する受信手段と、上記受信手段によ
り受信された画像データを復号化する復号化手段と、上
記復号化手段により復号化された画像データに基づく画
像を表示する表示手段とを有する。
【0014】本発明の他の特徴とするところは、画像入
力手段により入力される画像データ中において注目領域
を設定する領域設定手段と、上記領域設定手段により設
定された注目領域を判定する領域判定手段と、上記領域
判定手段により注目領域と判定された領域内の画像の動
きを検出する動き検出手段と、上記動き検出手段により
検出された画像の動きに合わせて上記注目領域を移動さ
せる領域移動手段と、上記画像入力手段により入力され
る画像データのうち、上記領域移動手段によって移動さ
れた後の注目領域内の画像データを取り出して符号化す
る符号化手段と、上記符号化手段により符号化された画
像データを送信する送信手段と、上記送信手段により送
信された画像データを受信する受信手段と、上記受信手
段により受信された画像データを復号化する復号化手段
と、上記復号化手段により復号化された画像データに基
づく画像を表示する表示手段とを有する。
【0015】本発明のその他の特徴とするところは、画
像入力手段により入力される画像データ中において複数
の注目領域を設定する領域設定手段と、上記領域設定手
段により設定された各注目領域を判定する領域判定手段
と、上記領域判定手段により注目領域と判定された各領
域内の画像の動きをそれぞれ検出する動き検出手段と、
上記動き検出手段により検出された画像の動きに合わせ
て上記複数の注目領域をそれぞれ移動させる領域移動手
段と、上記画像入力手段により入力される画像データの
うち、上記領域移動手段によって移動された後の注目領
域内の画像データを取り出して符号化する符号化手段
と、上記符号化手段により符号化された画像データを送
信する送信手段と、上記送信手段により送信された画像
データを受信する受信手段と、上記受信手段により受信
された画像データを復号化する復号化手段と、上記復号
化手段により復号化された画像データに基づく画像を表
示する表示手段とを有する。
【0016】本発明の画像通信装置は、1画面の画像デ
ータ中において複数の注目領域を設定する領域設定手段
と、上記領域設定手段により設定された各注目領域内の
画像データのみが取り出されて符号化された画像データ
を受信する受信手段と、上記受信手段により受信された
画像データを復号化する復号化手段と、上記復号化手段
により復号化された画像データに基づく画像を表示する
表示手段とを有する。
【0017】本発明の他の特徴とするところは、1画面
の画像データ中において設定された複数の注目領域を判
定する領域判定手段と、上記1画面の画像データのう
ち、上記領域判定手段により注目領域と判定された各領
域内の画像データを取り出して符号化する符号化手段
と、上記符号化手段により符号化された画像データを送
信する送信手段とを有する。
【0018】本発明のその他の特徴とするところは、1
画面の画像データ中において設定された注目領域を判定
する領域判定手段と、上記領域判定手段により注目領域
と判定された領域内の画像の動きを検出する動き検出手
段と、上記動き検出手段により検出された画像の動きに
合わせて上記注目領域を移動させる領域移動手段と、上
記1画面の画像データのうち、上記領域移動手段により
移動された後の注目領域内の画像データを取り出して符
号化する符号化手段と、上記符号化手段により符号化さ
れた画像データを送信する送信手段とを有する。
【0019】本発明のその他の特徴とするところは、1
画面の画像データ中において設定された複数の注目領域
を判定する領域判定手段と、上記領域判定手段により注
目領域と判定された各領域内の画像の動きをそれぞれ検
出する動き検出手段と、上記動き検出手段により検出さ
れた画像の動きに合わせて上記複数の注目領域をそれぞ
れ移動させる領域移動手段と、上記1画面の画像データ
のうち、上記領域移動手段により移動された後の注目領
域内の画像データを取り出して符号化する符号化手段
と、上記符号化手段により符号化された画像データを送
信する送信手段とを有する。
【0020】
【作用】本発明は上記技術手段より成るので、1つの画
像中においてユーザが注目する領域が複数あり、それら
の間隔が大きい場合でも、それらを注目領域として設定
すれば、設定された注目領域内の画像データのみが符号
化されて送信され、1つの画面内に表示されるようにな
り、ズーム率を下げて撮影視野を広げなくても各注目領
域を同時に表示させることが可能となる。
【0021】また、本発明の他の特徴によれば、一度注
目領域を設定しておけば、その後は画像の動きに合わせ
て注目領域が自動的に移動され、移動後の注目領域内の
画像が送信されて表示されることとなるので、注目領域
の追跡が自動的に行われるようになり、ユーザが受信画
像を常に監視したり、画像の動きに合わせて画像入力手
段の撮影状態を変更させる操作をしたりしなくても済む
ようになる。
【0022】本発明のその他の特徴によれば、1つの画
像中においてユーザが注目する領域が複数あり、それら
の間隔が大きい場合でも、それらを注目領域として設定
すれば、設定された注目領域内の画像データのみが符号
化されて送信され、1つの画面内に表示されるようにな
る。しかも、それらの注目領域を一度設定しておけば、
その後は画像の動きに合わせて各注目領域が自動的に移
動され、移動後の各注目領域内の画像が送信されて1画
面に表示されることとなるので、各注目領域の追跡が自
動的に行われるようになる。よって、ズーム率を下げて
撮影視野を広げなくても各注目領域を同時に表示させる
ことが可能となるとともに、ユーザが受信画像を常に監
視したり、画像の動きに合わせて画像入力手段の撮影状
態を変更させる操作をしたりしなくても済むようにな
る。
【0023】
【発明の実施の形態】以下、本発明の一つの実施の形態
を図面に基づいて説明する。図1は、本発明の一実施形
態である画像通信システムの要部構成を示すブロック図
である。図1において、1は画像入力手段であり、例え
ばズーム機能や首振り機能等を備えており、撮影状態を
変更可能なように構成されている。
【0024】8は領域設定手段であり、1画面の画像デ
ータ中において所望の注目領域を設定する。注目領域は
複数設定することが可能である。領域設定手段8により
設定された注目領域に関する情報は、自端末側の通信手
段9および相手端末側の通信手段6を介して判定手段2
に与えられ、その内部の図示しないメモリに格納され
る。
【0025】判定手段2は、その内部メモリに格納され
た情報に基づいて、上記画像入力手段1により入力され
る1画面の画像データ中から上記領域設定手段8により
設定された注目領域を判定する。5は符号化手段であ
り、上記画像入力手段1により入力された画像データの
うち、上記判定手段2により判定された各注目領域内の
画像データをそれぞれ取り出して符号化する。
【0026】この符号化手段5により符号化された画像
データは、相手端末側の通信手段6から送信され、自端
末側の通信手段9で受信される。自端末側の通信手段9
で受信された画像データは、復号化手段10に与えられ
る。復号化手段10は、上記通信手段9により受信され
た各注目領域内の画像データを復号化する。この復号化
手段10により復号化された各注目領域内の画像データ
は、表示手段11に与えられて表示される。
【0027】このように、図1に示した画像通信システ
ムによれば、1つの画像中においてユーザの注目する領
域が複数ある場合は、それらを注目領域としてあらかじ
め設定しておけば、設定した注目領域内の画像データの
みが符号化されて相手端末から送信され、それが自端末
の表示手段11の1つの画面内に表示されるようにな
る。
【0028】したがって、ユーザが注目する複数の領域
が画面上で大きく離れている場合に、画像入力手段1の
ズーム率を下げて撮影視野を広げなくても各注目領域を
同時に表示させることができるようになり、複数の注目
領域の画像を高解像度で表示させることができる。
【0029】また、上記した判定手段2は、動き検出手
段3と領域移動手段4とを有している。上記動き検出手
段3は、自端末側から送られてくる注目領域に関する情
報に基づいて判定された注目領域内の画像の動きを検出
する。領域移動手段4は、上記動き検出手段3により検
出された画像の動きに合わせて上記設定された注目領域
を移動させる。
【0030】このとき、制御手段7は、上記動き検出手
段3による動き検出の結果に応じて、上記画像入力手段
1の撮影状態を変更するように制御する。そして、符号
化手段5は、上記領域移動手段4により移動された後の
注目領域内の画像データを取り出して符号化する。
【0031】このように構成することにより、自端末側
のユーザが所望の注目領域を一度設定しておけば、その
後はその注目領域内の画像の動きに合わせて各注目領域
が自動的に移動され、移動後の注目領域内の画像が相手
端末から自端末に送信されて表示されるようになる。こ
れにより、設定した注目領域の追跡が自動的に行われる
ようになる。したがって、ユーザが受信画像を常に監視
したり、画像の動きに合わせてリモート操作を行うこと
により画像入力手段1の撮影状態を変更させたりしなく
ても済み、ユーザの負担を軽減することができる。
【0032】次に、本発明の第1の実施形態による画像
通信装置について図2を参照しながら説明する。なお、
この図2に示す画像通信装置は、図1に示した各手段を
全て具備したものであり、この画像通信装置を複数用い
て通信回線を介して接続することにより、相互にデータ
のやり取りを行うことができるように構成される。
【0033】図2において、201はカメラ部であり、
ズーム機能や首振り機能等を備えており、カメラ制御部
202の制御の下でズーミングをしたり撮影方向を変え
たりすることが可能なように構成されている。すなわ
ち、カメラ部201は図1の画像入力手段1に相当し、
カメラ制御部202は制御手段7に相当する。
【0034】カメラ部201で撮影する視野の指定、す
なわち、撮影方向とズーム率の指定は、ユーザが入力部
212を用いて指定した撮影方向およびズーム率に応じ
た制御コマンドを制御部208で生成して、それをカメ
ラ制御部202に供給してカメラ制御部202を制御す
ることによって行う。また、カメラ制御部202は、後
述する撮影視野の変更要求があったときは、その要求に
応じてカメラ部201の撮影方向およびズーム率の変更
を行う。
【0035】上記カメラ部201は、有効画素が40万
画素程度のCCDカメラモジュールを使用する。このカ
メラ部201による撮影によって得られた映像信号は、
映像入力処理部203に供給される。ところで、一般的
なCCDカメラモジュールの出力信号は、標準の映像信
号(例えばNTSC,PAL,SECAMなど)のアナ
ログ信号である。
【0036】ところが、この標準的な映像信号のフォー
マットは、例えば圧縮符号化方式としてITU−T勧告
H.261に準拠する方式を採用する場合には、その圧縮符
号化信号のフォーマットと一致しない。このため、カメ
ラ部201で撮影された映像信号の信号フォーマットを
ITU−T勧告H.261に適した信号フォーマットに変換
することが必要になる。
【0037】そこで、映像入力処理部203では、カメ
ラ部201から供給された映像信号を、その後段の符号
化部207の処理に適した信号フォーマットに変換す
る。例えば、カメラ部201から供給される映像信号が
NTSCなどのコンポジット信号である場合、それをA
/D変換した後、Y信号(輝度信号)とC信号(色差信
号)とに分離する。さらに、分離したC信号をCr信号
とCb信号とに色差分離してY,Cr,Cb信号を生成
する。
【0038】また、上述のようにして生成したY,C
r,Cb信号を必要に応じてR,G,B信号に色空間変
換するようにしてもよい。すなわち、この映像入力処理
部203で行う処理は、その後の処理に応じて適応的に
決めればよい。
【0039】上記映像入力処理部203で処理された映
像データは、領域判定部204とメモリ部205とに供
給される。領域判定部204は、映像入力処理部203
から供給された映像データの中から圧縮符号化を行う注
目領域を判定し、その判定結果をメモリ出力制御部20
6と制御部208とに供給する。なお、注目領域の判定
方法については後ほど詳しく説明する。制御部208に
供給された判定結果の情報は、符号化パラメータの一部
として図示しない内部メモリに格納される。
【0040】また、メモリ出力制御部206は、領域判
定部204から供給された判定結果の情報をもとに、メ
モリ部205に格納されている映像データの中から必要
な映像データ(注目領域の映像データ)のみを取り出し
て符号化部207に供給する。なお、映像データの出力
制御については、注目領域の判定方法と合わせて後ほど
詳しく説明する。
【0041】符号化部207は、上述のようにして領域
判定部204の制御に応じてメモリ出力制御部206か
ら供給された映像データを、制御部208で指定される
符号化パラメータに応じて圧縮符号化し、その圧縮符号
化により得られる画像データを通信i/f部209に供
給する。なお、上述したメモリ部205、メモリ出力制
御部206および符号化部207により図1の符号化手
段5が構成される。
【0042】通信i/f部209は、符号化部207で
圧縮符号化された画像データと、制御部208に格納さ
れている符号化部207の制御情報(符号化パラメー
タ)と、注目領域の位置や大きさを表すパラメータであ
る注目領域の判定結果の情報とを多重化して送信データ
を生成し、その生成した送信データを通信回線を介して
相手端末に送信する。
【0043】一方、相手端末から送られてくる送信デー
タは、通信i/f部209で受信され、その受信データ
が、圧縮符号化された画像データと符号化パラメータと
注目領域の判定結果の情報とに分離される。そして、分
離された圧縮画像データは復号化部211に供給され
る。また、符号化パラメータは復号化パラメータとして
制御部208に、判定結果の情報は表示制御パラメータ
として制御部208にそれぞれ供給され、図示しない内
部メモリに格納される。
【0044】復号化部211は、通信i/f部209か
ら供給された圧縮画像データを、制御部208に格納さ
れている復号化パラメータに従って復号化し、その結果
得られる画像データを表示部210に供給する。
【0045】表示部210は図示しない表示装置を含ん
でおり、復号化部211から供給された復号化画像デー
タを、ユーザの指定と制御部208に格納されている表
示制御パラメータとに適応させる。これにより、表示装
置が要求する信号フォーマットに合わせた信号を生成し
て表示装置に供給する。表示装置としては、CRT装
置、液晶ディスプレイなどの一般的な表示装置を採用す
ることが可能である。
【0046】入力部212は、制御部208に所望の制
御情報(例えば、カメラ部201の撮影方向やズーム率
を指定するための情報や、所望の注目領域を設定するた
めの情報)を入力するためのものであり、マウス、キー
ボード、タブレットなどの一般的な入力装置で構成され
る。この入力部212は、図1の領域設定手段8を含ん
でいる。
【0047】次に、上述のように構成した画像通信装置
の動作を、図3〜図6を用いて詳しく説明する。図3〜
図5は、上記画像通信装置の動作の全体的な流れを示す
フローチャートであり、図6は、CCDカメラモジュー
ルで撮影している画像の一例を示す図である。
【0048】なお、ここでは、CCDカメラモジュール
として、CCIR(InternationalRadio Consultative
Committee、国際無線通信諮問委員会)勧告601に準
拠する映像信号を出力するモジュールを使用するととも
に、画像圧縮符号化方式として、ITU−T勧告H.261
に準拠する方式を採用した場合について説明する。但
し、本発明はこれらのモジュールおよび圧縮方式に限定
されるものではない。
【0049】CCIR勧告601に準拠する映像信号
は、ドットクロックが13.5MHz、1枚のフレームが水
平720画素×垂直480ラインの有効画素で構成され
るとともに、輝度(Y)成分が各画素16ビットの情報
を持ち、色差(U,V)成分が2画素で16ビットの情
報を持つフォーマットの信号である。また、ITU−T
勧告H.261に従う画像データの中間フォーマットである
CIF(Common Interface Format )は、水平352画
素×垂直288ラインの画像データを必要とする。
【0050】したがって、CCIR601データとCI
Fデータとを1対1に画素を対応させた場合の画素数の
関係は、図6に示すようになる。図6において、撮影領
域601がカメラ部201を用いて撮影している画像領
域であり、送信領域602が圧縮符号化されて相手端末
に送信される画像領域である。
【0051】一般的には、撮影領域601の画像がCI
Fの大きさに縮小されて送信されるが、本実施形態で
は、送信可能な画素数が撮影可能な画素数と比較して少
ないことを利用して、撮影領域中の無駄な領域を省くこ
とで高画質化を実現している。さらに、あらかじめ設定
した注目領域内の画像の動きに自動的に対応することで
注目領域を自動追跡することができるようにすることに
よってユーザの操作負担を軽減し、高機能な画像通信装
置を実現している。
【0052】このことを、図3〜図5のフローチャート
を用いて以下に詳しく説明する。図3において、本実施
形態で特徴的な処理は、ステップS2の処理とステップ
S4の処理である。ステップS2では、相手端末をリモ
ート制御してカメラ部201などの制御を行い、ステッ
プS4では、注目領域の自動追跡と画面合成とを行う。
以下に、図3に示したそれぞれの処理での詳しい動作を
説明する。
【0053】まずステップS1で、本実施形態の動作を
終了するか開始するかの判断を行う。動作を開始する場
合には、ステップS2の設定処理へと進む。ステップS
2では、図4のフローチャートに示すような処理を行
う。すなわち、まず図4のステップS11で、相手端末
のカメラ部201の撮影方向やズーム率などをリモート
操作によってユーザが望むように設定する。
【0054】このステップS11で初期設定を行うとき
には、カメラ部201で撮影可能な視野全体、つまり、
ここではCCIR601フォーマットの画像をCIFフ
ォーマットに縮小した画像データを相手端末で圧縮符号
化して送信してもらう。そして、これを自端末で受信し
て復号化し、自端末の表示部210に表示しながら設定
を行うようにする。
【0055】このことは、例えば、相手端末のカメラ部
201を制御するボタンを自端末の表示部210に仮想
的に表示させる。そして、入力部212によってボタン
を操作し、その操作に応じた制御情報を相手端末に送信
することで実現することが可能である。
【0056】以上のようなカメラ部201の撮影方向お
よびズーム率の設定が終了したかどうかは、ステップS
12で判断する。この判断は、例えば、入力部212か
ら入力された情報が、設定処理の終了を表す情報である
かどうかを監視することによって実現することができ
る。
【0057】次に、ステップS13では、注目領域の設
定を行う。この設定情報には、注目領域の数、それぞれ
の注目領域の大きさ、位置などの情報が含まれる。な
お、ここでは、説明のために注目領域の数は4つ、各注
目領域の大きさはCIFフォーマットの画像の1/4
(水平176画素×垂直144ライン)であるとする。
もちろん、これらの設定を任意に可変とすることで、更
に自由度の高いシステムを構築することができる。
【0058】注目領域を設定するときは、図7(a)に
示すように、撮影領域701の全体の画像を相手端末か
ら受信し、それを自端末の表示部210に表示してお
く。その画像中に、CIFフォーマットの1/4の大き
さに相当する枠706を表示させ、この枠706を入力
部212を用いて所望の位置に移動させながら注目領域
を設定する。この操作を設定可能な注目領域の数だけ繰
り返す。
【0059】これにより、撮影領域701中において、
4つの注目領域702、703、704、705を任意
に設定する。このようにして設定した注目領域の数、大
きさ、位置および各注目領域内の画像データなどの情報
は、通信i/f部209を介して相手端末に送信されて
領域判定部204内の図示しないメモリに格納され、そ
の後制御部208とメモリ出力制御部206とに供給さ
れる。
【0060】次に、ステップS14で、注目領域の設定
が終了したかどうかを判断する。そして、注目領域の設
定が終了したと判断したときは、図3のステップS2の
設定処理を終了し、ステップS3に進む。ステップS3
では、相手端末との交信を開始するかどうかを判断し、
開始する場合にはステップS4へと進む。
【0061】ステップS4では、上記ステップS2で設
定した各注目領域702、703、704、705のそ
れぞれに対して、注目領域内の画像が移動したかどうか
を領域判定部204において判定し、画像が移動した場
合には、その移動に合わせて注目領域を移動させる。
【0062】注目領域内の画像が移動したかどうかを判
定する方法には様々な方法が考えられる。その一例とし
て、これから判定しようとする注目領域内の画像データ
と、その前の時点で撮影された注目領域内の画像データ
とでパターンマッチングを行い、該当する注目領域内の
画像の動き検出を行う。そして、これにより検出される
動きベクトルに対応させて、該当する注目領域を移動さ
せる。
【0063】このステップS4における処理を、図5の
フローチャートを用いて更に詳しく説明する。すなわ
ち、まずステップS21で、4つの注目領域702、7
03、704、705の中から何れか1つを選択してス
テップS22へと進み、その選択した注目領域内の画像
について動きベクトルの検出を行う。
【0064】なお、上記ステップS21において、全て
の注目領域702、703、704、705について領
域判定処理が既に終了したと判断したときは、何れの注
目領域も選択しないで領域判定処理を終了し、図3に示
した次のステップS5へと進む。
【0065】上記ステップS22では、上述したよう
に、前の時点で撮影された注目領域内の画像データと、
これから判定しようとする注目領域内の画像データとで
パターンマッチングを行い、該当する注目領域内の画像
の動きベクトルを検出する。そして、ステップS23
で、上記ステップS22による処理の結果に基づいて、
注目領域内の画像が移動しているかどうかを判断し、移
動していないと判断したときは、ステップS21に戻っ
て次の注目領域についての処理を行う。
【0066】また、画像の移動が検出された場合には、
ステップS24に進む。ステップS24では、画像の動
きに合わせて注目領域を移動させた場合に、その移動後
の注目領域の撮影領域701内における位置と注目領域
の移動量とから、カメラ部201の撮影方向を変更する
ように制御すべきかどうかを判断する。ここで、カメラ
部201の撮影方向の制御を行わなくても良いと判断し
た場合にはステップS29に進み、制御を行うべきと判
断した場合にはステップS25に進む。
【0067】ステップS25では、移動後の注目領域が
撮影領域701内に納まっているかどうかを判断する。
ここで、現在処理中の注目領域が撮影領域701の外へ
移動することになる場合には、ステップS26に進み、
注目領域が撮影領域701の外へ移動したことをユーザ
に通知する。そして、ステップS28で、上記現在処理
中の注目領域のみを無効にするか、あるいは全ての注目
領域を再設定するかをユーザに選択させる。
【0068】ユーザが現在処理中の注目領域のみを無効
にすることを選択した場合には、ステップS28からス
テップS30に進み、現在処理中の注目領域の設定を無
効にした後、ステップS21に戻って処理を続ける。ま
た、ユーザが全ての注目領域を再設定することを選択し
た場合には、ステップS28から図3のステップS2に
進み、注目領域の設定からやり直す。
【0069】上記ステップS25において、現在処理中
の注目領域が移動後にも撮影領域701内に納まると判
断した場合には、ステップS27に進み、移動後の注目
領域が撮影領域701内の中心部に納まるようにカメラ
制御部202の制御コマンドを制御部208で生成し、
カメラ部201の撮影方向を制御する。
【0070】ステップS29では、移動後の注目領域に
ついての設定情報を制御部208に格納することにより
注目領域を再設定する。その後、ステップS21に戻っ
て処理を続ける。以上のようにして、全ての注目領域7
02、703、704、705について領域判定処理を
行った時点で、図3のステップS5に進む。
【0071】ステップS5では、制御部208に格納さ
れている各注目領域702、703、704、705の
設定情報に基づいて各注目領域内の画像データを読み出
し、それを図7(b)に示すように合成して1つのCI
Fフォーマットの画像707を生成し、その生成した画
像データに対してITU−T勧告H.261に従って符号化
を行う。
【0072】その後、ステップS6で、通信i/f部2
09において上記符号化部207で圧縮符号化された画
像データと、符号化パラメータなどの復号化用のデータ
と、注目領域の位置や大きさ等を表す情報とを多重化し
て送信データを生成し、その生成した送信データをステ
ップS7で通信回線を介して相手端末に送信する。
【0073】そして、ステップS8で、相手端末との交
信を継続するかどうかを判断し、継続する場合はステッ
プS4に戻る。また、交信を継続しないときは、ステッ
プS1の処理に戻る。
【0074】以上の実施形態では、注目領域内の画像の
動きを検出する手段として、動きベクトルを検出する手
段を用いたが、本発明はこれに限定されるものではな
く、注目領域と注目領域以外の領域における適当な代表
点との相関をとることによって動きを検出する手段も考
えられる。
【0075】例えば、図7の撮影領域701をあらかじ
め適当な大きさの複数のブロックに分割しておく。そし
て、図5のステップS22の動きベクトル検出処理の代
わりに、各注目領域702、703、704、705に
ついて、注目ブロックとその周辺ブロックとの相互相関
をとることで画像の動きを判定する。その判定結果を新
たな注目領域702、703、704、705として設
定することで、先に説明した方法と同様の効果を得るこ
とができる。
【0076】なお、図3のフローチャートには示されて
いないが、この動作とは独立に以下の動作が行われる。
すなわち、上記ステップS7で相手端末の通信i/f部
209から送信された多重化データは、自端末の通信i
/f部209で受信され、その受信データが、圧縮符号
化された画像データと符号化パラメータと注目領域の判
定結果の情報とに分離される。そして、復号化部211
で復号化が行われ、その復号化された画像データに基づ
く画像が表示部210で表示される。
【0077】表示部210における表示方法としては、
受信した画像データを、そのまま図7(b)のように合
成されたCIFフォーマットの画像として表示するよう
にしてもよいし、各注目領域を分離して別々に表示する
ようにしてもよい。また、各注目領域を別々に表示させ
る場合、撮影領域701内の注目領域の分布状態を合わ
せて表示するようにしてもよい。
【0078】なお、以上の実施形態では注目領域内を画
像データを符号化してから送信し、受信側ではその符号
化画像データを復号化してから表示するようにしている
が、必ずしも符号化/復号化は行う必要はない。
【0079】
【発明の効果】本発明は上述したように、画像入力手段
により入力された画像データ中において複数の注目領域
を設定しておき、設定した各注目領域内の画像データの
みを送信して表示するようにしたので、所望の注目領域
を複数箇所設定することにより、1つの画面内に遠く離
れて存在する複数の注目領域を、ズーム率を下げて撮影
視野を広げなくても同時に表示させることができるよう
になり、画像の解像度を落とすことなく複数の注目領域
を表示させることができる。
【0080】また、本発明の他の特徴によれば、画像入
力手段により入力された画像データ中において注目領域
を設定する手段と、注目領域内の画像の動きを検出する
手段と、注目領域内の画像の動きに合わせて注目領域を
移動させる手段とを設け、上記領域移動手段により移動
された後の注目領域内の画像データのみを送信して表示
するようにしたので、一度注目領域を設定しておけば、
その後は画像の動きに合わせて注目領域が自動的に移動
されるようになり、注目領域の追跡を自動的に行うよう
にすることができる。このため、ユーザが受信画像を常
に監視したり、画像の動きに合わせて画像入力手段の撮
影状態を変更させる操作をしたりしなくても済み、ユー
ザの負担を著しく軽減することができ、ユーザは、交信
によるコミュニケーションに集中することができる。
【0081】本発明のその他の特徴によれば、画像入力
手段により入力された画像データ中において複数の注目
領域を設定する手段と、各注目領域内の画像の動きをそ
れぞれ検出する手段と、各注目領域内の画像の動きに合
わせて各注目領域をそれぞれ移動させる手段とを設け、
上記領域移動手段により移動された後の各注目領域内の
画像データのみを送信して表示するようにしたので、複
数ある所望の注目領域を一度設定しておけば、1つの画
面内に遠く離れて存在する複数の注目領域を、ズーム率
を下げて撮影視野を広げなくても同時に表示させること
ができるとともに、その設定した複数の注目領域の追跡
を自動的に行うようにすることができる。このため、ユ
ーザが受信画像を常に監視したり、画像の動きに合わせ
て画像入力手段の撮影状態を変更させる操作をしたりし
なくても、各注目領域について高解像度の画像を常に得
ることができる。
【図面の簡単な説明】
【図1】本発明の一つの実施形態である画像通信システ
ムの要部構成を示すブロック図である。
【図2】本発明の一つの実施形態である画像通信装置の
概略構成を示すブロック図である。
【図3】本実施形態による画像通信装置の全体的な処理
の流れを示すフローチャートである。
【図4】図3のステップS2の処理の流れの詳細を示す
フローチャートである。
【図5】図3のステップS4の処理の流れの詳細を示す
フローチャートである。
【図6】撮影画像と符号化画像とで画素数を比較するた
めの図である。
【図7】注目領域の設定例と各注目領域内の画像の合成
例とを示す図である。
【図8】従来の画像通信装置の構成を示すブロック図で
ある。
【符号の説明】
1 画像入力手段 2 判定手段 3 動き検出手段 4 領域移動手段 5 符号化手段 6 通信手段 7 制御手段 8 領域設定手段 9 通信手段 10 復号化手段 11 表示手段 201 カメラ部 202 カメラ制御部 204 領域判定部 206 メモリ出力制御部 207 符号化部 209 通信i/f部 210 表示部 211 復号化部 212 入力部

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 画像入力手段により入力される画像デー
    タ中において複数の注目領域を設定する領域設定手段
    と、 上記領域設定手段により設定された各注目領域を判定す
    る領域判定手段と、 上記画像入力手段により入力される画像データのうち、
    上記領域判定手段により注目領域と判定された各領域内
    の画像データを取り出して符号化する符号化手段と、 上記符号化手段により符号化された画像データを送信す
    る送信手段と、 上記送信手段により送信された画像データを受信する受
    信手段と、 上記受信手段により受信された画像データを復号化する
    復号化手段と、 上記復号化手段により復号化された画像データに基づく
    画像を表示する表示手段とを有することを特徴とする画
    像通信システム。
  2. 【請求項2】 画像入力手段により入力される画像デー
    タ中において注目領域を設定する領域設定手段と、 上記領域設定手段により設定された注目領域を判定する
    領域判定手段と、 上記領域判定手段により注目領域と判定された領域内の
    画像の動きを検出する動き検出手段と、 上記動き検出手段により検出された画像の動きに合わせ
    て上記注目領域を移動させる領域移動手段と、 上記画像入力手段により入力される画像データのうち、
    上記領域移動手段によって移動された後の注目領域内の
    画像データを取り出して符号化する符号化手段と、 上記符号化手段により符号化された画像データを送信す
    る送信手段と、 上記送信手段により送信された画像データを受信する受
    信手段と、 上記受信手段により受信された画像データを復号化する
    復号化手段と、 上記復号化手段により復号化された画像データに基づく
    画像を表示する表示手段とを有することを特徴とする画
    像通信システム。
  3. 【請求項3】 画像入力手段により入力される画像デー
    タ中において複数の注目領域を設定する領域設定手段
    と、 上記領域設定手段により設定された各注目領域を判定す
    る領域判定手段と、 上記領域判定手段により注目領域と判定された各領域内
    の画像の動きをそれぞれ検出する動き検出手段と、 上記動き検出手段により検出された画像の動きに合わせ
    て上記複数の注目領域をそれぞれ移動させる領域移動手
    段と、 上記画像入力手段により入力される画像データのうち、
    上記領域移動手段によって移動された後の注目領域内の
    画像データを取り出して符号化する符号化手段と、 上記符号化手段により符号化された画像データを送信す
    る送信手段と、 上記送信手段により送信された画像データを受信する受
    信手段と、 上記受信手段により受信された画像データを復号化する
    復号化手段と、 上記復号化手段により復号化された画像データに基づく
    画像を表示する表示手段とを有することを特徴とする画
    像通信システム。
  4. 【請求項4】 上記動き検出手段による画像の動きの検
    出結果に応じて、上記画像入力手段の撮影状態を変更す
    るようにする制御手段を有することを特徴とする請求項
    2または3に記載の画像通信システム。
  5. 【請求項5】 上記動き検出手段は、上記注目領域内の
    画像の動きベクトルを算出することによって上記画像の
    動きを検出することを特徴とする請求項2または3に記
    載の画像通信システム。
  6. 【請求項6】 上記動き検出手段は、上記領域設定手段
    により設定された注目領域とそれ以外の領域との相互相
    関を算出することによって上記画像の動きを検出するこ
    とを特徴とする請求項2または3に記載の画像通信シス
    テム。
  7. 【請求項7】 通信回線を介して画像通信を行うための
    画像通信システムにおいて、 1画面の画像データ中において複数の注目領域を設定す
    る領域設定手段と、 画像入力手段により入力される画像データのうち、上記
    領域設定手段により設定された各注目領域内の画像デー
    タを取り出して上記通信回線に送出する送信手段と、 上記送信手段により送信された画像データを受信する受
    信手段と、 上記受信手段により受信された画像データに基づく画像
    を表示する表示手段とを有することを特徴とする画像通
    信システム。
  8. 【請求項8】 通信回線を介して画像通信を行うための
    画像通信システムにおいて、 1画面の画像データ中において注目領域を設定する領域
    設定手段と、 上記領域設定手段により設定された注目領域内の画像の
    動きを検出する動き検出手段と、 上記動き検出手段により検出された画像の動きに合わせ
    て上記注目領域を移動させる領域移動手段と、 画像入力手段により入力される画像データのうち、上記
    領域移動手段によって移動された後の注目領域内の画像
    データを取り出して上記通信回線に送出する送信手段
    と、 上記送信手段により送信された画像データを受信する受
    信手段と、 上記受信手段により受信された画像データに基づく画像
    を表示する表示手段とを有することを特徴とする画像通
    信システム。
  9. 【請求項9】 通信回線を介して画像通信を行うための
    画像通信システムにおいて、 1画面の画像データ中において複数の注目領域を設定す
    る領域設定手段と、 上記領域設定手段により設定された各注目領域内の画像
    の動きをそれぞれ検出する動き検出手段と、 上記動き検出手段により検出された画像の動きに合わせ
    て上記複数の注目領域をそれぞれ移動させる領域移動手
    段と、 画像入力手段により入力される画像データのうち、上記
    領域移動手段によって移動された後の各注目領域内の画
    像データを取り出して上記通信回線に送出する送信手段
    と、 上記送信手段により送信された画像データを受信する受
    信手段と、 上記受信手段により受信された画像データに基づく画像
    を表示する表示手段とを有することを特徴とする画像通
    信システム。
  10. 【請求項10】 1画面の画像データ中において複数の
    注目領域を設定する領域設定手段と、 上記領域設定手段により設定された各注目領域内の画像
    データのみが取り出されて符号化された画像データを受
    信する受信手段と、 上記受信手段により受信された画像データを復号化する
    復号化手段と、 上記復号化手段により復号化された画像データに基づく
    画像を表示する表示手段とを有することを特徴とする画
    像通信装置。
  11. 【請求項11】 1画面の画像データ中において設定さ
    れた複数の注目領域を判定する領域判定手段と、 上記1画面の画像データのうち、上記領域判定手段によ
    り注目領域と判定された各領域内の画像データを取り出
    して符号化する符号化手段と、 上記符号化手段により符号化された画像データを送信す
    る送信手段とを有することを特徴とする画像通信装置。
  12. 【請求項12】 1画面の画像データ中において設定さ
    れた注目領域を判定する領域判定手段と、 上記領域判定手段により注目領域と判定された領域内の
    画像の動きを検出する動き検出手段と、 上記動き検出手段により検出された画像の動きに合わせ
    て上記注目領域を移動させる領域移動手段と、 上記1画面の画像データのうち、上記領域移動手段によ
    り移動された後の注目領域内の画像データを取り出して
    符号化する符号化手段と、 上記符号化手段により符号化された画像データを送信す
    る送信手段とを有することを特徴とする画像通信装置。
  13. 【請求項13】 1画面の画像データ中において設定さ
    れた複数の注目領域を判定する領域判定手段と、 上記領域判定手段により注目領域と判定された各領域内
    の画像の動きをそれぞれ検出する動き検出手段と、 上記動き検出手段により検出された画像の動きに合わせ
    て上記複数の注目領域をそれぞれ移動させる領域移動手
    段と、 上記1画面の画像データのうち、上記領域移動手段によ
    り移動された後の注目領域内の画像データを取り出して
    符号化する符号化手段と、 上記符号化手段により符号化された画像データを送信す
    る送信手段とを有することを特徴とする画像通信装置。
JP19359295A 1995-07-28 1995-07-28 画像通信システムおよび画像通信装置 Pending JPH0946710A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19359295A JPH0946710A (ja) 1995-07-28 1995-07-28 画像通信システムおよび画像通信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19359295A JPH0946710A (ja) 1995-07-28 1995-07-28 画像通信システムおよび画像通信装置

Publications (1)

Publication Number Publication Date
JPH0946710A true JPH0946710A (ja) 1997-02-14

Family

ID=16310530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19359295A Pending JPH0946710A (ja) 1995-07-28 1995-07-28 画像通信システムおよび画像通信装置

Country Status (1)

Country Link
JP (1) JPH0946710A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720295B2 (en) 2004-06-29 2010-05-18 Sanyo Electric Co., Ltd. Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality
JP2011045138A (ja) * 2010-11-18 2011-03-03 Sanyo Electric Co Ltd 画像復号方法
US8005309B2 (en) 2004-02-09 2011-08-23 Sanyo Electric Co., Ltd. Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus
US8150173B2 (en) 2004-10-29 2012-04-03 Sanyo Electric Co., Ltd. Image coding method and apparatus, and image decoding method and apparatus
EP3007438A4 (en) * 2013-05-28 2017-01-11 Mitsubishi Electric Corporation Decoder and monitor system
US10917648B2 (en) 2018-01-31 2021-02-09 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8005309B2 (en) 2004-02-09 2011-08-23 Sanyo Electric Co., Ltd. Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus
US8326058B2 (en) 2004-02-09 2012-12-04 Sanyo Electric Co., Ltd. Image coding apparatus, image decoding apparatus, image display apparatus and image processing apparatus
US7720295B2 (en) 2004-06-29 2010-05-18 Sanyo Electric Co., Ltd. Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality
US8150173B2 (en) 2004-10-29 2012-04-03 Sanyo Electric Co., Ltd. Image coding method and apparatus, and image decoding method and apparatus
US8208738B2 (en) 2004-10-29 2012-06-26 Sanyo Electric Co., Ltd. Image coding method and apparatus, and image decoding method and apparatus
JP2011045138A (ja) * 2010-11-18 2011-03-03 Sanyo Electric Co Ltd 画像復号方法
EP3007438A4 (en) * 2013-05-28 2017-01-11 Mitsubishi Electric Corporation Decoder and monitor system
US9749542B2 (en) 2013-05-28 2017-08-29 Mitsubishi Electric Corporation Decoder and monitor system
US10917648B2 (en) 2018-01-31 2021-02-09 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium

Similar Documents

Publication Publication Date Title
US5757424A (en) High-resolution video conferencing system
US6043837A (en) Method and apparatus for electronically distributing images from a panoptic camera system
US5742329A (en) Image pickup system and communication system for use in video conference system or the like
JPH11234654A (ja) 多画面合成方法及び多画面合成装置
JP2004023373A (ja) 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
KR20050051575A (ko) 촬영 장치와 그 방법, 감시 시스템, 프로그램 및 기록 매체
JP4583717B2 (ja) 撮像装置及び方法、画像情報提供システム、プログラム、並びに制御装置
JPH11308608A (ja) 動画像生成方法,動画像生成装置及び動画像呈示装置
JP2008118271A (ja) 撮像装置の遠隔制御システム
JPH11234639A (ja) テレビ電話装置
JP3177022B2 (ja) テレビ会議装置
JPH08256315A (ja) 多地点同時モニタ制御方法
JPH0690444A (ja) 人物像伝送方式
JPH09121333A (ja) 画像伝送装置
JP2001111976A (ja) 映像撮影装置および通信端末装置
JP2863180B2 (ja) テレビ電話機
JPH11187383A (ja) 映像監視システム及び映像監視方法
JPH08265717A (ja) テレビ電話装置
JP2006165664A (ja) 画像送受信システム
JPH09200565A (ja) 画像通信装置および方法
JPH06153191A (ja) Tv会議システム
JPH08275137A (ja) 画像通信装置
JPH09214921A (ja) 画像処理装置と画像処理方法、並びに画像通信システム
JPH08294120A (ja) 動画像通信システム
JPH04122186A (ja) Tv会議システム