JPH01202085A - テレビ電話装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） 本発明は、ＴＶ電話の画面制御に関するテレビ電話装置
である。

（従来の技術） 従来、ＴＶ電話は顔向体を映し伝送する事が第一の目的
であるためある程度画面−ばいに顔を映すために顔が画
面からはみ出す場合にはカメラを自動的に追尾させるか
自ら自画モニターに切換えてカメラの位置合わせをしな
ければならなかった。

さらに後者の場合は、ずれている事を確認するには第１
１図に示す様に常に自画モニターを画面の一部に映して
おかなければならず、画面が見づらいという欠点があっ
た。また、その様にして画面を動かした場合、背景検出
回路にょシ作成した背景メモリをもう一度作シ直さなけ
ればならないたけでなく、常時人物が存在する画面で背
景を作らなければならないために人物の移動が起こらな
ければ隠れた背景は背景として認識されない。背景の認
識アルゴリズムが複雑になるなどの問題点があった。

（発明が解決しようとする課題） 上述した様に、従来ＴＶ電話は、自画モニターの制御を
マニュアルもしくはカメラの自動追尾装置により行なっ
ていたために以下の様な問題点があった。

Ｏマニエアル法 ０画面が見づらい ■情報量が減る ・自動追尾法 ■装置が複雑化する。（大型化する） ・両方法共通 ■背景検出回路の複雑化 ■移動による背景の再作成 そこで本発明は、この様な問題点を解決して、人物の動
きに対して容易に追従でき、装置も小型化できるテレビ
電話装置を提供する事を目的とする。

〔発明の構成〕

（課題を解決するための手段） 本発明は上記問題点を解決するために以下の様な構成と
なっている。

すなわち、実際に伝送する画面以上に広い領域を撮像す
る撮像装置と画面サイズ及び位置を選択する選択回路と
その選択回路から出される選択信号に応じて画面の一部
を抜き出すゲート回路と撮像された画面全域で背景を検
出する背景検出回路と前記選択信号に応じてフィルター
の特性が変化する補間フィルター回路により基本的には
構成され、さらに全画面から人物がはみ出したかどうか
判断し、警告制御を行なう画面制御回路を付加する事で
、自己モニターを見ないでも画面の位置を確認できる構
成となっている。

（作用） 自分の動きに対して選択する画面を電気的に選択し、さ
らに大きな動きに対しては警告を与える事によシ自己モ
ニターを確認しないでも相手に正常な画像を伝送する事
ができる。また伝送する画面が決まっているので、その
他の画面では背景を事前にしかも容易に検出ができ、伝
送効率を向上させる事ができる。

（実施例） 本発明の一実施例を図面を用いて詳述する。カメラの撮
像素子上に撮像された全画面をＮ　ｘ　Ｍとしく以下こ
れを大画面と呼ぶ）分割画面をＮ／３ｘＭ／２（以下こ
れを小画面と呼ぶ）とした場合について説明していく。

まず、撮像装置（カメラ）１０１からの出力は、符号化
処理を行なうために一部フレームメモリ１０２に蓄えら
れた後、画面位置大きさ選択回路１０３による画面分割
の選択信号に基づいて、一つの小画面が選択される。こ
の画面分割については、例えば第２図に示す様に６分割
に設定するものであるが小画面を重なυ合う様に設定す
ることも可能である。また、分割画面の選択については
、マニュアルもしくは第３図に示す様に各分割画面のフ
レーム間差分の絶対値和の最大の画面を選択するなど色
々な方法が考えられる。

次に、選択、ゲートされた分割画面は、符号化回路１０
Ｇで符号化処理が施され、画面の大きさ及び位置情報を
含んだ小画面選択信号と共に合成回路１０７合成されて
出力される。一方、フレームメモリ１０２の信号は背景
検出回路１０５で画面の背景が検出され、この信号が符
号化回路１０６にも送られる。

受信機側では、合成された小画面選択信号と符号化画像
信号とを分離回路１０８により分離した後符号化画像信
号は復号化回路１０９によシ復号化される。又、送信側
の背景検出に応じ、背景メモリ１１０には背景のみの情
報が蓄積される。また、分離された小画面選択信号の内
大きさの情報は復号化された画像信号をモニターに出力
するための補間フィルター１１７の係数を決定するため
に使われ、位置情報は大画面の背景を登録するために使
われる。

補間フィルター１１７は例えば第４図に示す様に選択信
号によってＲＯＭなどの係数選択回路に記憶されたフィ
ルターの係数が選択され、それによりフィルターの形が
適応的に変化する構成によシ容易に実現できる。

一方、上記背景検出回路１０５では、選択された小画面
ではなく大画面（つまυ、この例ではＮ×Ｎ）において
背景を検出する。背景検出法として・は、選択された分
割画面においては、その中に人物が存在する可能性が高
いため、（または動く物体がある）フレーム間差分に基
づいて人物の内側外側を検出し、外側を背景とする方法
、あるスレショルドを設定してそれ以下であるフレーム
の連続回数によシ背景を検出する方法、人物と背景との
距離（超音波など用いる）の違いによシ背景を検出する
方法などを用いる事ができる。また、選択されていない
画面については、その画面が背景のみで構成されている
可能性が高いのでそのままの画面を背景として登録する
か又は、フレーム間差分がスレショルド以下の場合に背
景として登録するなどの簡単な方法で背景を作成する事
ができる。この様に大きな画面全体で背景検出をする事
によシ、人物が存在する画像については従来通り背景の
検出が複雑となるが、実際には人物がかなシ大きく移動
した時に背景の効果がでてくる事、また、選択されてい
ない画像の背景は容易に検出できる事などを考えれば、
次に選択されるべき分割画像に人物が入シ込む様な大き
な動きに対しては、本発明の有効性は明らかである。

次に、第二の実施例を第５図に示す。

第一の実施例では、人物の移動に対して分割画面を切換
える事で対応してきたが、本実施例ではＴＶカメラを移
動させる事によシ、よシ大きな移動に対しても追従でき
る場合について説明する。

まず、人物の移動によシ第２図の■の小画面が第６図の
様に選択されたとする。この時第６図に示す様に■の画
面をさらに細かく分割しく以下極小画面と呼ぶ）第７図
に示す回路構成にょシその中で最もフレーム間差分の絶
対値和の大きい極小画面が■の小画面の中心にくる様に
カメラ制御を行ないその制御量を位置情報として伝送す
る。また、隣接した小画面に人物がまたがって存在して
いる場合には■の小画面より少し大きめの範囲で検索を
行なう方法及び小画面を重なシ合う様に設定する方法も
考えられる。カメラ制御については人物を抽出して制御
する方法も考えられるがそれについては第４の実施例で
述べる。以上の様にしてカメラ制御を行なう事で常に注
目位置が中心分割画面にあるので、背景メモリーを大き
く確保しておく事によシ、背景が周辺分割画面に新しく
現れるたびにカメラの画面上での移動量を基にして登録
する事ができ、事前に作成された背景メモリによシ効率
良く、注目画像の伝送を行なう事ができる。

次に第三の実施例について説明する。

第三の実施例を第８図に示す。まず、選択回路によシ選
択された画面の位置により画面からはみ出す可能性のあ
る位置を画面位置判断回路で作成しておく。選択信号に
よシ選択された分割画面を二値化回路によシニ値化し、
輪郭追跡回路により輪郭の外側を追跡する。追跡の途中
で事前に作成した画面位置及び画面の端に達する場合は
、追跡の始点に戻り、逆に追跡をした後、画面の端と輪
郭で囲まれる面積を測定する。輪郭が一周する場合は、
その面積を測定しておく他に追跡された輪郭の面積に比
べて大きい場合（人物が最も大きく、映っていると仮定
）人物が画面よシはみ出していると判断してモニターを
自己モニターに変える又は復号化画像を点滅させるなど
の画面制御を行ない送信者に警告を与えるものである。

次に第四の実施例を第９図に示す。これは、選択する画
面が固定及び等分割でなく、人物の動きに応じて移動す
る場合について示したものである。

まず、カメラからの出力はフレームメモリに蓄積された
後画面位置を決定するために人物検出が行なわれる。フ
レームメモリから読み出された画像のフレーム間差分信
号からある閾値以上変化しているものをエツジとするな
どの方法によりフレーム間差分信号のエツジ検出を行な
い人物の輪郭を抽出する。抽出された輪郭を追跡して全
体の面積を求めると共に重心を検出し、その重心があら
かじめ設定された大きさで小画面の中心になる様に画面
の位置、大きさ選択回路によシ小画面の位置を決定する
。この様にして選択された画面の位置選択信号（例えば
画面のアドレス）によシ、大画面上の一部が小画面とし
て選択され、符号化処理を行なった後伝送される。この
様にして選択された小画面の中に新たに背景として現れ
てきた部分が存在する場合には、事前に第一の実施例の
様にして背景が求まっているので背景を識別する信号と
共に伝送する。しかし、多くの場合、背景は無意味（又
は伝送する必要がない）であるため背景の識別信号だけ
を伝送して背景自体は伝送しないという方法も考えられ
る。

以上の方法で符号化された画像信号は符号化処理と逆の
操作により復号化される。特に新たに現れた背景につい
ては、画面の位置選択信号によシ新たに現れた画像部分
の検出を行ない、その中で背景として伝送されてきたも
のについては復号器側でも背景メモリ上に登録する。つ
まシ、背景メモリとしては小画面だけでなく大画面もし
くはそれ以上の容量を持っているため、大きな動きに対
しても効率良く伝送する事ができる。

以上全ての実施例において、広角による歪及び消費電力
を下げる目的で複数の撮像素子を用いる方法も考えられ
る。この場合、中心以外の撮像素子は画素数を減らす及
び読出し時間を遅くするなどにより形は大きくなるが歪
及び消費電力という意味で性能が向上する。

〔発明の効果〕

以上の様に本発明によれば、人物の移動に際しである程
度の移動ｔであればカメラ制御する事なしに電気的に小
画面を移動させる事で対応でき、さらにその時、事前に
作成した背景メモリを使用する事で画像を効率良く伝送
する事ができる。また、伝送量を減らすためのサブサン
プリングを小画面を抽出する事によシ行なっているため
折シ返し除去用のフィルターが必要でなくなるなどの効
果もある。

【図面の簡単な説明】

第１図は本発明の第一の実施例を示す図、第２図は第１
の実施例を説明するための図、第３図は第１の実施例の
画面の位置、大きさ選択回路について詳しく説明した図
、第４図は補間フィルター回路のブロック図、第５図は
第２の実施例を示す図、第６図は第２の実施例を説明す
るだめの図、第７図はカメラ制到のために必要な画面位
置情報を検出するブロック図、第８図は第３の実施例を
代理人　弁理士　　則　近　冠　借 間　　　　　　　　松　　山　　冗　　２第　　１　　
図 第　　２　　図　　　　　　　　　　　第　　３３第　
　４　　図 第　　５　図 第　　７　図 第　　８　図

Claims (1)

【特許請求の範囲】
1. （１）撮像装置、受像装置、電話器、符号復号化回路を
   基本要素とするＴＶ電話において、広角に撮像し、高解
   像度な撮像素子を用いた撮像装置と動領域を包含して画
   面サイズ及び位置を選択する選択回路と該選択回路から
   出される選択信号に応じて画面の一部を抜き出すゲート
   回路と、抜き出された画像を符号化する符号化回路と、
   符号化画像を復号化する復号化回路を具備した事を特徴
   とするテレビ電話装置。