JPH01295581A

JPH01295581A - 画像符号化伝送装置

Info

Publication number: JPH01295581A
Application number: JP63126101A
Authority: JP
Inventors: Migaku Saito; 斎藤　琢; Hiroaki Kikuchi; 菊地　浩昭
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1988-05-23
Filing date: 1988-05-23
Publication date: 1989-11-29

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】［産業上の利用分野］この発明は、特にテレビ電話又はテレビ会議等の画像通
信に使用する画像符号化伝送装置に関するものである。

［従来の技術］テレビ電話又はテレビ会議等で行われる画像通信では、
画像情報量が膨大であるのに対して送信時の回線速度に
は限界があること、また送信コストを低減させる必要が
あること等の理由から、送信画像情報について圧縮させ
た符号化を行う画像符号化伝送装置が周知である。

第７図は、従来の画像符号化伝送装置を示すブロック図
であり、図において、（１）は自分を撮影するためのテ
レビカメラ、（２）はテレビカメラ（１）のアナログ画
像信号（１００）を人力しアナログデジタル食換等を行
う前処理部（ピクチャーフォーマット変換部ともいう）
、（３）は前処理部（２）から出力されるデジタル画像
信号（１０１）を符号化する符号化伝送部であり、これ
で送信部が構成される。

（４）は受信された相手局の符号化画像信号（２００）
を復号化する復号化部、（５）は画面の右下等の一部の
領域に相手局の画像とはめ込み合成して表示する他の画
像、例えば自画像のアナログ画像信号（ｔＯａ）を人力
する前処理部、（６）は前処理部（５）から出力された
デジタル画像信号（１０４）と復号化部（４）から出力
された画像信号（２０１）とを合成する合成部（多重化
部）、（７）は合成されたデジタル画像信号（３００）
に画像処理を施す後処理部（ピクチャーフォーマット逆
変換ともいう）、（８）は相手画像などを写し出す画像
モニタである。

次に動作について説明する。

テレビカメラ（１）で撮影され出力されたアナログ画像
信号（１００）は前処理部（２）でアナログ信号からデ
ジタル信号に変換され、このデジタル画像信号（１００
は符号化伝送部（３）により圧縮符号化が行われ、この
符号化出力（１０２）は伝送回線を介して相手局の受信
側に送られる。

一方、相手局の符号化伝送部から送信された符号化画像
信号（２００）は自局受信部の復号化部（４）に入力さ
れ、二の復号化部（４）で復号化されたデジタル画像信
号（２０１）は合成部（６）に供給される。また、この
合成部（６）の他方の入力端には、前処理部（５）の出
力である自画像等のデジタル画像信号（１０４）が供給
されており、この合成部（６）にて２つのデジタル画像
信号が合成される。

この合成は、例えば合成部内に備えられた１フレ一ム分
のメモリに、まずデジタル画像信号（２０１）を書き込
んでいき、右下等の一部の領域にはデジタル画像信号（
２０１）を間引きながら、もう１つのデジタル画像信号
（１０４）を書き込むことにより行われる。次いで、２
つの画面合成の行われたデジタル画像信号（３００）は
、後処理部（７）によりアナログ画像信号（３０１）に
嚢−換され画像モニタ（８）に出力される。従って、画
像モニタ（８）には相手局の画像が表示されると共に、
自画像等の他の画像が画面の右下等へのはめ込み合成さ
れ表示されることになる。

複数の画像を合成する従来技術としては、他に特開昭６
０−１０８９０号公報に示されるものがある。

［発明が解決しようとする課題］しかしながら、従来の画像符号伝送装置は以上のように
構成されているので、他の画像信号をはめ込み合成する
場合にも、１フレ一ム分の全ての画像データを伝送する
ことになり、データ伝送に無駄があるという問題があっ
た。

すなわち、自局側では自画像等の他の画像をはめ込む部
分については、相手局の画像信号を使用しないことにな
るが、この不要となる部分も相手局から送られるため伝
送のための符号化効率が低下してしまう。この種の符号
化伝送装置では、可能なかぎり圧縮した画像データを伝
送しており、このような無駄な伝送は解消すべきである
という課題があった。

この発明は上記のような課題を解消するためになされた
もので、１画面情報を伝送する際の符号化効率を高める
ことができる画像符号化伝送装置を得ることを目的とす
る。

［課題を解決するための手段］この発明は、符号化伝送部、復号化部及び合成部を有す
る画像符号化伝送装置において、自局パターン発生・制
御部と相手局パターン検出部を有し、前記自局パターン
発生・制御部は、自局で同一画面にｈｕｔ画像の合成表
示を行う状態であることを知らせるための合成表示情報
及びその際に不要となる部分の画面パターンを示すパタ
ーン情報を発生し、これらの情報は伝送回線に出力され
る。

一方、相手局パターン検出部は相手局から送信さた合成
表示情報及びパターン情報を検出する。

そして、前記符号化伝送部は自局パターン発生・制御部
にて出力された自局の合成表示情報及びパターン情報を
＃１１手局に送信すると共に＃１１手局パターン検出部
で検出された相手局の合成表示情報及びパターン情報に
従ってね帰化伝送を行い、前記復号化部及び合成部では
自局の合成表示情報及びパターン情報により複数の画像
信号をはめ込み合成することを特徴とする。

また、第２の請求項に係る発明は、前記自局パターン発
生・制御部は、自局で同一画面に複数画像の合成表示を
行うための合成表示情報を発生し、一方相手局パターン
検出部は相手局から送信された合成表示情報を検出する
。

そして、前記符号化伝送部には合成表示する画面の所定
のパターン情報が記憶設定され、この符号化伝送部は自
局パターン発生・制御部にて出力された０局の合成表示
情報を相手局に送信すると共に相手局パターン検出部で
検出された相手局の合成表示情報に従って所定のパター
ンにて不要となる部分の情報を圧縮した符号化伝送を行
い、前記復号化部及び合成部では自局の合成表示情報に
より複数の画像信号をはめ込み合成することを特徴とす
る。

［作用コ第１の請求項によれば、自局の合成表示情報及びパター
ン情報が符号化伝送部により相手局に伝送されるので、
相手局ではこれらの情報により自局側において必要な符
号化画像情報のみを伝送すればよいことになる。そして
、自局の受信部では、相手局から送られてきた符号化画
像信号を復号化すると共に、自局の合成表示情報及びパ
ターン情報に従って、他の画像信号と相手局の画像信号
とを合成することにより、複数の画像を同一画面で見る
ことができる。

前記のことは、相手局のパターン情報を受けとることに
より、自局での符号化伝送についても同様に行われてお
り、従って、送信部の７１号帰任送部は、相手局で不要
となる画像信号の伝送を省略することかでき、伝送効率
を向ｌ−させることができる。

また、第２の請求項によれば、はめ込み合成する画面の
パターンかに予め設定記憶されているので、合成表示情
報のみを伝送することにより、不要な画面情報の省略が
容易に行われる。

【実施例］以下、この発明に係る画像符号化伝送装置の第１実施例
を第１図に基づいて説明する。

第１図において、（３）を除く（１）から（８）までの
回路は従来のものと同一となっており、（１０）は自局
の画像モニタ（８）で他の画面を同時表示する場合に合
成表示を開始あるいは終了させるための合成表示情報と
、はめ込む画面位置を示すパターン情報を発生し、これ
らの情報を符号化伝送部（３）、復号化部（４）１合成
部（６）のそれぞれに出力する自局パターン発生・制御
部、（１１）は受信部にて受信した相手局の符号化画像
信号（２００）から相手局の合成表示情報及びパターン
情報を検出（解読）１帰化伝送部（３）に符号化制御信
号（１０Ｂ）として出力する相手局パターン情報検出部
、（１２）は画像モニタ（８）に組み込むための画像を
自画像とするか他の画像とするかの選択を行う切換えス
イッチである。尚、自画像のみを合成する場合はスイッ
チ（１２）及び前処理（５）は不要となる。

また、第２図は合成ｇ　（６）の内部構成を示しており
、（１３）ははめ込み合成する他の画像データを記憶す
る画像メモリ、（１４）は合成する画像データを選択出
力するためのスイッチャ−である。

次に、第１実施例の動作を説明する。

まず、テレビカメラ（１）で撮影されている自画像の画
像信号は、前処理部（２）及び符号化伝送部（３）を介
して符号化画像信号として送信部から相手局に伝送され
ている。

ここで、自局において受信画像と同時に他の画像、例え
ば自画像をはめ込み合成する場合には、切換えスイッチ
（１２）がテレビカメラ（１）側に切り換えられ、図示
されていない制御回路により自局パターン発生・制御部
（１０）が動作する。

この自局パターン発生・制御部（１０）は自局において
合成表示状態にするための合成表示情報と、画像モニタ
（８）の画面で自画像をはめ込む部分のパターン情報を
符号化伝送部（３）に出力［信号（１０５）　］するこ
とになる。

そうすると、符号化伝送部（３）は自画像の符号化画像
信号を送信しながら、合成表示情報とパターン情報を符
号化データに変換して伝送四線に送出することになり、
前記パターン情報は、例えばはめ込む画面の位置情報と
なる。

この自局の合成表示情報及びパターン情報は相手局の相
手局パターン検出部で検出されることになるが、ここで
は、相手局も同様にはめ込み合成をするために、合成表
示情報及びパターン情報を伝送しているものとする。

この場合には、相手局から伝送された７１号化画像信号
（２００）が、パターン情報検出部（１１）に人力され
、ここで相手局のはめ込み画面のパターンを解読し、こ
のパターンに従ったｎ帰任制御信号（１０６）を符号化
伝送部（３）に出力する。従って、符号化伝送部（３）
では必要な部分のみについて符号化の動作／停止が行わ
れることになり、不要な部分の符号化が省略される。

一方、受信側で受信している符号化画像信号（２００）
は復号化部（４）に供給されおり、この復号化部（４）
では自局パターン発生・制御部（１０）の復号化制御信
号（１０７）に基づいてはめ込む部分を除いた相手局の
画像信号を任意の一定レベルの出力として合成部（６）
に出力する［信号（２０１）］。

この合成部（６）では、第２図に示されるように、画像
メモリ（１３）に自画像が記憶されており、スイッチャ
−（１４）にて相−ト局画像と自画像の２つの画像信号
（２０１）と（１１４）とを合成制御信号（１０ｇ）に
緘づいて選択して合成する。そうして、合成部（６）か
ら出力される合成デジタル画像信号（３００）は後処理
部（７）によってデジタルアナログ変換され、このアナ
ログ信号（３０１）は画像モニタ（８）に出力されるの
で、画像モニタ（８）には相手局画像が表示されるとＪ
（に、画面の右下などに自画像が合成表示されることに
なる。

第３図は、従来と本発明における画像モニタ（８）での
画像合成状態を示しており、従来では相手局画像（４０
０）と他の入力画像（自画像）　（４０１）がはめ込み
合成されて合成画像（４０２）を形成するのに対して、
本発明は、相手局画像（５００）と他の入力画像（４０
１）とを合成して合成画像（４０２）を形成することに
なる。従って、相手局画像（５００）において領域（５
０１）の画像伝送を省略することができ、効率のよい符
号化伝送ができることになる。

次に、パターン情報を伝送せず合成表示情報のみを送信
して符号化伝送を行う第２実施例について説明する。

また、第２実施例では、はめ込みパターンを予め一定の
パターンに設定しておき、このパターンに関する情報の
伝送を省略できるようにしたものであり、第２実施例で
は、自局が合成表示状態であるという合成表示情報をフ
レームヘッダにて行うことを特徴とする。

第４図は、符号化伝送部（３）の内部構成を示しており
、（１５）は画像データについて相手局で不要な画像情
報を間引くためのサンプリングを行うサブサンプリング
回路、（１６）は画像データの符号化を行う符号化器、
（１７）は伝送データに合成表示情報をフレームヘッダ
として付加するためのフレームヘッダ付加回路である。

第５図は、符号化データの構成を示しており、図に示さ
れるように、例えば最初にくる映像フレーム同期語Ｆｓ
の後に、映像フレームヘッダＦｈ。

そして画像データである映像フレームデータＦｄが続く
構成とし、この映像フレームヘッダＦｈに、合成表示０
Ｎ１０ＦＦ状態をＯか１で示すＦｈＯの情報を組み込む
と同時に、間引きサブサンプル０Ｎ１０　Ｆ　Ｆ状態を
０か１で示すＦｈｌの情報を組み込む。これによれば、
パターン情報検出部（１１）により前記フレームヘッダ
を解読するだけで８１手局の状態を容易に把握すること
ができる。

実施例では、相手局のフレームヘッダの状態による自局
側の？〕号帰任送部及び合成部の動作は、次の第１表の
ようになる。

第１表従って、（Ｆ　ｂｌ、　Ｆ　ｈＯ）が（０，０）のとき
は通常モードであり、（０，１）のときは相手局が合成
表示をＯＮし間引きサブサンプリングを要求している状
態であり、（１，０）のときは自局で合成表示をＯＮＬ
相手局に間引きサブサンプリングを要求していたことに
対する応答であり、（１゜１）のときは双ノｊで合成表
示をＯＮにしている状態である。

第６図は、自局（Ａ）と相手局（Ｂ）での情報の伝送状
態と装置の動作状態を示しており、第６図（ａ）は自局
のみが合成表示を求めた場合である。

ここで、自局（Ａ）にて合成表示をＯＮすると、（０，
１）のフレームヘッダがフレームヘッダ付加回路（１７
）にて加えられて相り局に伝送される。従って、ｔｌｌ
’ｌ’局の符号化伝送部（３）からは、サブサンプリン
グ回路（１５）で不要な画像信号を間引いた画像７］号
化信号が伝送されることになり［相手局のフレームヘッ
ダは（１，Ｏ）となる］、これは符号化画像信号（２０
０）として良号化部（４）に入力され、前述したように
、復号化されて画像表示される。

そして、合成表示をＯＦＦとすると、（０，０）のフレ
ームヘッダが伝送され、通常の符号化伝送状態に戻るこ
とになる。

また、第６図（ｂ）は双方で合成表示を要求した場合の
説明図であり、自局の合成表示ＯＮによりサブサンプリ
ングを行っているときに、相手局の合成表示もＯＮする
と、相手局から伝送されるフレームヘッダは、（１，１
）となる。このフレームヘッダは、パターン情報部（１
１）により、相手局から伝送された符号化データから分
離・解読され、相手局が合成表示状態であることを読み
取ると、符号化制御信号（＋０１３）をサブサンプリン
グ回路（１５）に出力し、間引きのためのサンプリング
を行い、フレームヘッダは（１，１）となる。

このようにして、フレームヘッダの情報伝送のみにて、
パターン情報を送信することなく不必要な画像データの
伝送をなくすことができ、？〕号帰任−タの伝送効率を
向上させることができる。

本発明においては、不要な画像データを間引く代わりに
、圧縮符号化において符号化データを条件付画素（ブロ
ック）補充の無効ブロック（あるいは画素）情報として
出力することができる。

すなわち、画像符号化においては、所定領域の基準ブロ
ック（あるいは画素）毎にその変化状態を検出し、変化
がある場合にはその変化の情報を出力する一方、変化が
無い場合には無効情報を出力することにより、伝送デー
タの圧縮化を図ることができる。この場合、無効ブロッ
ク（あるいは画素）の情報は単に０の符号化データを出
力するだけでよいので、情報量としては極めて少ないも
のとなるという利点がある。従って、画像伝送が不要と
なる画面に相当する領域を無効ブロック（あるいは画素
）情報、即ち０の情報として出力すれば、通常のデータ
を伝送する場合に比べて著しくデータはを削減すること
ができる。

また、第２実施例において説明したフレームヘッダにて
、第１実施例にて用いられるパターン情報を伝送するこ
とも可能である。すなわち、はめ込み合成する際に不要
となる部分の画面を示す表示パターンをコード化して数
種類用意し、このコード情報をフレームヘッダに付加し
て伝送することにより、パターン情報の伝送を行うよう
することもできる。

更に、表示領域の座標情報を伝送することにより行う二
己もＩＩＪ能である。

前記実施例では、はめ込み合成する他の画像を自画像と
したが、これに限られることなく、テレビ会、講等にお
いて複数の相ト局との交信をする場合には切換えスイッ
チ（１２）を切り換えることにより、他の送信画像を表
示することができる。

また、合成用の画像を２つ以上としても前記実施例と同
様の効果を奏することができる。

更に、前記実施例において不要となるはめ込み画面に相
手局の画像を縮小して表示することも可能である。

［発明の効果］以１ユのように、第１の請求項の発明によれば、複数両
像を同一画面に表示する場合に、合成表示情報及びパタ
ーン情報を伝送し、この画面パターンにより不要となる
画像符号化データの伝送をなくすようにしたので、画面
全体における符号化効率が高められ、より多くの必要な
画像１８号が伝送できるという効果がある。

また、第２の請求項の発明によれば、画像合成パターン
がｐめ設定されている場合に、符号化効率の高い伝送を
行うことができる。

【図面の簡単な説明】

第１図はこの発明の一実施例による画像符号化伝送装置
を示すブロック図、第２図は第１図の合成部の内部構成
を示すブロック図、第３図ははめ込み合成状態における
従来と本発明との相違を示す説明図、第４図は第２実施
例における７１号帰任送部の内部構成を示すブロック図
、第５図は本発明の７１４３化データの構成を示す説明
図、第６図は自局と相手局との間での情報伝送状態と装
置の動作を示す説明図、第７図は従来装置を示すブロッ
ク図である。図において、（１）はテレビカメラ、（２）は前処理部
、（３）は符号化伝送部、（４）は復号化部、（５）は
前処理部、（６）は合成部、（７）は後処理部、（８）
は画像モニタ、（１０）はパターン発生・制御部、（１
１）はパターン情報検出部、（１２）は切換えスイッチ
、（１３）は画像メモリ、（１４）はスイッチャ−１（
１５）はサブサンプリング回路、（１６）はｎ帰任器、
（１７）はフレームヘッダ付加回路である。なお、図中、同一符号は同一、又は相当部分を示す。代理人　弁理士　大　岩　増　雄（外２名）ｔＬ　　　　　　　　　　　　　　　　　　　　−−嫡
−４協４ＩＩ　　　　　　　　　　　　　　　　　や１緻　　
　　　　　　　セ第２実相例の’ｆｆＶ化伝１郡の内郭槙成田第４図Ｆｈ６　：　６９示０Ｎ１０ＦＦ　　　　　Ｆｄ：Ｉｔ
夾イｔｒｂ−ｉテ一りＦｈ＋　：藺引芝すｎソ７’ル０
ＷＯＦＦ符帰任テ゛−り東横へｔ、ｉ′、Ｔ田第５図（１，１）°・°り方と６金族゛表示ＯＮＡ、８４Ｍて
゛の４−Ｗ輔のｆ云１４大°籾と１【１−のｔｈｒ乍イ
に粘、１示すび］第６図手続補正書０自″ 、ＩＩ子穴　１７　３　°゛、ｌ昭参　年　　月　　日〜−一特許庁長官殿　　　　　　　　　　　　　　　１句１、
事件の表示　　　特願昭６３−１２６１０１　号事件と
の関係　特許出願人住　所　　　　東京都千代田区丸の内二丁目２番３号名
　称　　（６０１）三菱電機株式会社代表者志岐守哉４、代理人住　所　　　　東京都千代田区丸の内二丁目２番３号５
、補正の対象明細書の発明の詳細な説明の欄及び図面。６、補正の内容以十４ＩＩ　　　　　　　　　　　壊＝　　　　　　　　　　　で！１！ｌ　　　　　　　　　　　に

Claims

【特許請求の範囲】

（１）自局側の画像情報を符号化して相手局に送信する
ための符号化伝送部と、受信した相手局の符号化画像デ
ータを復号化する復号化部と、同一画面に複数の画像を
表示するために画像データを合成する合成部と、を有す
る画像符号化伝送装置において、自局で同一画面に複数
画像の合成表示を行うための合成表示情報及びこの際に
不要となる部分の画面を示すパターン情報を発生する自
局パターン発生・制御部と、相手局から送信された合成
表示情報及びパターン情報を検出する相手局パターン検
出部と、を有し、前記符号化伝送部は自局パターン発生
・制御部にて出力された自局の合成表示情報及びパター
ン情報を相手局に送信すると共に相手局パターン検出部
で検出された相手局の合成表示情報及びパターン情報に
従って符号化伝送を行い、前記復号化部及び合成部では
前記自局パターン発生・制御部の出力に基づいて複数の
画像信号をはめ込み合成することを特徴とする画像符号
化伝送装置。
（２）自局側の画像情報を符号化して相手局に送信する
ための符号化伝送部と、受信した相手局の符号化画像デ
ータを復号化する復号化部と、同一画面に複数の画像を
表示するために画像データを合成する合成部と、を有す
る画像符号化伝送装置において、自局で同一画面に複数
画像の合成表示を行うための合成表示情報を発生する自
局パターン発生・制御部と、相手局から送信された合成
表示情報を検出する相手局パターン検出部と、を有し、
前記符号化伝送部には合成表示する画面の所定のパター
ン情報が設定記憶され、この符号化伝送部は自局パター
ン発生・制御部にて出力された自局の合成表示情報を相
手局に送信すると共に相手局パターン検出部で検出され
た相手局の合成表示情報に従って前記所定のパターンに
て不要となる部分の情報を圧縮した符号化伝送を行い、
前記復号化部及び合成部では前記自局パターン発生・制
御部の出力に基づいて複数の画像信号をはめ込み合成す
ることを特徴とする画像符号化伝送装置。