JPH11234654A - 多画面合成方法及び多画面合成装置 - Google Patents

多画面合成方法及び多画面合成装置

Info

Publication number
JPH11234654A
JPH11234654A JP10037125A JP3712598A JPH11234654A JP H11234654 A JPH11234654 A JP H11234654A JP 10037125 A JP10037125 A JP 10037125A JP 3712598 A JP3712598 A JP 3712598A JP H11234654 A JPH11234654 A JP H11234654A
Authority
JP
Japan
Prior art keywords
video signal
screen
synthesizing
memory
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10037125A
Other languages
English (en)
Other versions
JP3684525B2 (ja
Inventor
Takeshi Miura
剛 三浦
Yuichi Terui
雄一 照井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP03712598A priority Critical patent/JP3684525B2/ja
Priority to US09/167,432 priority patent/US6456335B1/en
Publication of JPH11234654A publication Critical patent/JPH11234654A/ja
Application granted granted Critical
Publication of JP3684525B2 publication Critical patent/JP3684525B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 複数の映像信号源からの映像信号を合成する
多画面合成方法及び多画面合成装置に関し、低伝送帯域
にも適用可能で経済化並びに効率化を図る。 【解決手段】 相互に非同期で動作する複数のテレビカ
メラ等の映像信号源1−1〜1−nからの映像信号を合
成する多画面合成方法及び多画面合成装置であって、画
面合成制御部9により各部を制御し、映像信号源1−1
〜1−nからの映像信号を映像信号セレクタ2により順
次選択し、入力信号V・H監視部3により垂直同期,水
平同期をとってフレーム単位で取込み、水平方向縮小化
部4により水平方向に画素間引き等によって縮小し、ラ
インメモリ5を介して画面合成用メモリ6に書込んで、
フレーム単位の取込みを行う毎に、画面合成用メモリ6
上に画面合成された映像信号を、符号化制御部10の制
御によって、符号化用メモリ7,符号化部8により符号
化処理する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数の画面を合成
して伝送する多画面合成方法及び多画面合成装置に関す
る。テレビ会議システムや遠隔監視システム等に於い
て、複数の画面を伝送し、受信側で多画面表示を行うシ
ステムが知られている。その場合の伝送路として、高速
伝送路を使用できる場合は映像信号をそのまま伝送でき
るが、通常は低速伝送路を使用する場合が一般的であ
り、映像信号を圧縮符号化して伝送することになる。又
複数の撮像装置からの映像信号を同期化して処理するシ
ステムと、非同期の映像信号を処理するシステムとがあ
り、後者の構成が廉価である利点がある。従って、非同
期の映像信号による多画面の合成を効率良く行うことが
要望されている。
【0002】
【従来の技術】図40は同期映像信号合成遠隔監視シス
テムの説明図であり、201はテレビカメラ、202は
多画面合成装置、202aは同期信号分配部、203,
205は符号化,復号化等の機能を含む伝送装置、20
4は無線衛星回線,ISDN,ATM網,LAN等のネ
ットワーク、206はモニタを示す。
【0003】各テレビカメラ201は、多画面合成装置
202の同期信号分配部202aからの同期信号に従っ
て水平走査及び垂直走査によって被監視対象物の火山,
河川,電線,工場等を撮像する。従って、各テレビカメ
ラ201からの被監視対象物を撮像した映像信号#1,
#2,#3,・・・は同期化されており、多画面合成装
置202は、各映像信号を同期信号に基づいて合成し、
この合成映像信号を伝送装置203に入力する。
【0004】伝送装置203は、ネットワーク204の
伝送帯域等に対応して合成映像信号を圧縮符号化して送
出する。無線衛星回線,ISDN回線,ATM回線,L
AN(ローカル・エリア・ネットワーク)等のネットワ
ーク204を介して圧縮符号化された合成映像信号を受
信した伝送装置205は、圧縮符号化の逆の処理により
合成映像信号を復元し、モニタ206に、被監視対象物
の火山,河川,電線,工場等の合成画面を表示する。
【0005】多画面合成装置202は、テレビ放送シス
テムに於ける映像編集機能を適用した構成であり、複数
のテレビカメラ201の同期化を行う同期信号分配部2
02aを含み、高機能の構成が実用化されているが、高
価である問題がある。又伝送装置203,205は、ネ
ットワーク204の伝送帯域に対応した映像信号の圧縮
符号化,復号化を行う構成を有し、例えば、H.320
(H.261),MPRG1,2,4,MOTION−
JPEG,H.324(H.263)等の標準化された
手段を適用することができるものである。
【0006】又各テレビカメラ201をそれぞれのテレ
ビ会議室に設けた場合、ネットワーク204の一部に多
地点接続装置を介して伝送装置203,205を相互に
接続し、映像信号の分配制御を行うことにより、テレビ
会議システムを構成することができる。
【0007】図41は多画面合成の説明図であり、遠隔
監視システムに於ける受信側のモニタ画面を示し、
(A)は図40に示すモニタ206の表示画面と同一の
4画面合成の場合を示す。又(B)は(A)の河川監視
画面がなく、その河川監視画面の位置に工場監視画面を
配置した3画面合成の場合を示す。又(C)は、電線監
視画面と工場監視画面と共に、現在の火山監視画面と、
過去に撮影して録画した火山監視画面とを表示し、その
差を観測し易いように表示した場合を示す。又(D)
は、電線監視画面と工場監視画面と共に、火山監視画面
と、その噴火口等の状態を拡大した監視画面とを表示し
た場合を示す。
【0008】図42は非同期映像信号合成遠隔監視シス
テムの説明図であり、211はテレビカメラ、213,
215は符号化,復号化等の機能を含む伝送装置、21
3aは非同期多画面合成部、214は無線衛星回線,I
SDN,ATM網,LAN等のネットワーク、216は
モニタを示す。
【0009】火山監視,河川監視,電線監視,工場監視
等の各テレビカメラ211は、独立同期による映像信号
を伝送装置213の非同期多画面合成部213aに入力
して合成し、ネットワーク214の伝送速度に対応した
圧縮符号化を行い、このネットワーク214を介して符
号化映像信号を受信した伝送装置215に於いて復号化
し、モニタ216に、図40のモニタ206或いは図4
1に示すように、多画面表示を行うことができる。
【0010】又伝送装置213,215に於ける圧縮符
号化,復号化については、ネットワーク214の伝送帯
域が同一であれば、図40に於ける伝送装置203,2
05の機能と同一とすることができる。又伝送装置21
3に於いて非同期合成を行うものであるから、図40に
於ける同期信号分配部202aを含む多画面合成装置2
02を省略することができる。そして、伝送装置213
内の比較的簡単な構成の非同期多画面合成部213aに
よって、各テレビカメラ211からの映像信号を合成す
ることができるから、図40に示すシステム構成に比較
して廉価な構成とすることができる。
【0011】図43は伝送帯域とフレームレートとの関
係説明図であり、例えば、映像信号のフレームレートを
通常の30枚/secとすると、伝送路の帯域は6Mb
psを必要とし、各種の圧縮符号化を行った映像信号
を、ISDNのBチャネルのような64kbpsの伝送
路の帯域により伝送する場合のフレームレートは2枚/
sec程度となる。前述のような遠隔監視システム或い
はテレビ会議システム等に於いては、比較的動きの少な
い画面を撮像しており、従って、低フレームレートによ
る符号化映像信号を受信して再生表示させても遠隔監視
画像表示或いはテレビ会議参加者画像表示には充分に機
能することになる。
【0012】又複数の端末装置に対して画像伝送装置を
共用化する為に、多画面合成として伝送し、受信側では
各画面対応に分離して各端末装置に転送するシステムも
知られている(例えば、特開平4−7990号公報参
照)。又非同期の映像信号を、共通化したメモリに、ア
ドレス制御によって書込み、恰も共通化したメモリの縦
方向に分割して多画面合成を行った状態とする合成装置
が知られている(例えば、特開昭54−148426号
公報参照)。
【0013】
【発明が解決しようとする課題】同期映像信号合成は、
各映像信号が同期化されているから、合成処理は比較的
容易となるが、前述のように、装置構成が高価となる問
題がある。又非同期映像信号合成は、同期映像信号合成
の場合に比較して廉価な構成となるが、多画面合成の制
御が容易でなく、又メモリを共通化して合成する従来例
に於いては、縦方向に分割した合成画面となり、適用範
囲が限られたものとなる問題がある。
【0014】又符号化,復号化について、単一画面の映
像信号の伝送システムに於ける前述の標準化された手段
を適用することが可能であるが、多画面合成に於いて
は、重要度が画面対応に異なる場合があり、一律に合成
処理する場合に充分な監視等を行うことができない問題
がある。本発明は、低速伝送帯域にも適用可能とした多
画面合成方法及び多画面合成装置を提供することを目的
とする。
【0015】
【課題を解決するための手段】本発明の多画面合成方法
は、相互に非同期で動作する複数の映像信号源からの映
像信号を合成する多画面合成方法であって、映像信号源
からの映像信号を順次選択し、且つ水平,垂直同期をと
ってフレーム単位で取込み、このフレーム単位の映像信
号を画面合成割当エリアに対応して縮小し、画面合成用
メモリの画面合成割当エリア対応のブロックに書込ん
で、画面合成用メモリ上で画面合成し、この画面合成さ
れた映像信号の符号化処理若しくは送信処理を行う過程
を含むものである。又フレーム単位の映像信号を取込む
毎に、符号化処理若しくは送信処理を行い、又は符号化
処理若しくは送信処理中に、複数の映像信号源からのフ
レーム単位の映像信号を順次取込んで、画面合成用メモ
リに書込み、符号化処理若しくは送信処理の完了によ
り、画面合成用メモリに書込まれた映像信号の符号化処
理若しくは送信処理を開始する過程を含むことができ
る。
【0016】又重み付けしたチャネルの映像信号の優先
的な取込み回数の制御、無効エリアを利用した拡大表示
やズームアップ表示、優先的な量子値の制御、動き補償
探索範囲の制御、フレーム内符号化とフレーム間予測符
号化との切替制御、ループ内フィルタの接続制御等を行
うことができる。
【0017】又映像信号の有無を判定し、無しと判定さ
れて無効エリアとなった画面合成用メモリのブロック
に、固定パターン、受信復号化データ等を合成すること
ができる。又遠隔制御用としてのガイダンスと画面合成
レイアウトとを送出して、遠隔指定を行わせることがで
きる。
【0018】又本発明の多画面合成装置は、相互に非同
期で動作する複数の映像信号源からの映像信号を合成す
る多画面合成装置であって、複数の映像信号源を選択す
る映像信号セレクタと、この映像信号セレクタを介して
取込んだ映像信号の垂直,水平同期をとる入力信号V・
H監視部と、この入力信号V・H監視部により同期をと
ったフレーム単位の映像信号を、画面合成該当エリアに
対応して縮小する水平方向縮小化部と、この水平方向縮
小化部により縮小された映像信号をライン単位で書込む
画面合成用メモリと、映像信号の取込み及び画面合成用
メモリ上に於ける画面合成とを制御する画面合成制御部
と、画面合成用メモリ上で合成された映像信号の符号化
処理を行う符号化部とを備えている。
【0019】又映像信号源からの映像信号をフレーム単
位で取込む毎に、符号化部に於ける符号化処理を行わせ
る符号化制御部を有し、又この符号化制御部は、符号化
部に於ける重み付けしたチャネル対応の映像信号に対す
る量子化値、フレーム内符号化とフレーム間予測符号化
との切替え、ループ内フィルタの接続切替えの少なくと
も何れか一つの制御構成を備えることができる。
【0020】又画面合成制御部は、重み付けしたチャネ
ルの映像信号を他のチャネルの映像信号の取込みの回数
を多くするように、映像信号セレクタを制御する構成又
重み付けしたチャネルの映像信号を特殊データ格納用メ
モリに一旦取込み、この特殊データ格納用メモリに取込
んだ映像信号をズームアップ表示するように、画面合成
用メモリに書込む制御構成を備えることができる。又無
効エリアに固定パターンの挿入、受信復号化したデータ
の挿入等の制御を行う構成とすることができる。又遠隔
制御用のガイダンスの送出構成を設けることもできる。
【0021】
【発明の実施の形態】図1は本発明の第1の実施の形態
の説明図であり、非同期映像信号を合成して符号化する
伝送装置の要部の機能を示し、1−1〜1−nはテレビ
カメラ(ディジタル・カメラや録画再生装置等を含む映
像信号源)、2は映像信号セレクタ、3は入力信号V・
H監視部、4は水平方向縮小部、5はラインメモリ(L
INEFIFO)、6は画面合成用メモリ、7は符号化
用メモリ、8は符号化部、9は画面合成制御部、10は
符号化制御部、11は割込ハンドラ、12は割込コント
ーラ、13,14は第1,第2のダイレクト・メモリ・
アクセス・コントローラ(DMAC,以下「DMAコン
トローラ」と称する)である。
【0022】テレビカメラ1−1〜1−nは、それぞれ
独立同期により被監視対象物等の被写体を撮像し、映像
信号セレクタ2は、画面合成制御部9からの制御に従っ
てテレビカメラ1−1〜1−nを順次選択して映像信号
を入力V・H監視部3に入力する。この場合の映像信号
は、NTSC方式,PAL方式,SECAM方式等の各
種の方式を適用した映像信号とすることができる。又ア
ナログ・コンポジット信号,輝度信号と色信号とからな
るアナログ・コンポーネント信号,アナログ映像信号を
ディジタル化したディジタル・コンポジット信号,輝度
信号Yと色差信号Cb,Crとからなるディジタル・コ
ンポーネント信号等を適用することができる。
【0023】又図示の状態は、テレビカメラ1−2から
の映像信号を映像信号セレクタ2によって選択した場合
を示す。又入力信号V・H監視部3は、入力された映像
信号の垂直同期信号Vと水平同期信号Hとを監視するも
ので、垂直同期と水平同期とをとって1フレーム分の映
像信号を取込む為のものである。そして、割込コントロ
ーラ12から指定された垂直位置を検出すると、割込コ
ントローラ12に通知する。割込コントローラ12は、
予め登録されている割込ハンドラ11を呼び出す。
【0024】又第1のDMAコントローラ13は、ライ
ンメモリ5からのリクエスト信号により、このラインメ
モリ5内のデータを指定されたメモリのアドレスに転送
するもので、この場合は画面合成用メモリ6に転送され
ることになる。そして、1ライン分のデータの転送終了
により、垂直方向のメモリアドレスを指定ライン数分だ
けインクリメントする。又第2のDMAコントローラ1
4は、画面合成制御部9からの命令に従って、指定され
たメモリアドレスから指定された他のメモリアドレスに
データを転送するものである。
【0025】又水平方向縮小化部4は、ライン上の画素
を間引くことにより、水平方向の縮小化を行うもので、
縮小化された1ラインのデータがラインメモリ5に書込
まれる。このラインメモリ5に1ライン分(水平方向に
縮小化された)データが書込まれると、第1のDMAコ
ントローラ13にDMA要求を送出する。DMAコント
ローラ13は、ラインメモリ5から画面合成用メモリ6
に転送する制御を行うものである。
【0026】この画面合成用メモリ6は、画面合成数に
対応して分割されたブロックにより構成され、この画面
合成用メモリ6上に於いて画面合成される。画面合成さ
れた映像信号を符号化用メモリ7に転送し、符号化部8
に於いてフレーム内符号化やフレーム間符号化等による
圧縮符号化を行って送出する。この場合、画面合成用メ
モリ6と符号化用メモリ7とは、ダブルバッファ構成を
適用して、交互にそれぞれの機能を実現するように切替
える構成とすることができる。又送信処理する送信部は
図示を省略している。
【0027】図2は縮小化処理の説明図であり、(A)
は705(画素)×525(ライン)の1画面を示し、
単純間引きにより、(B)の黒丸を間引き画素とする
と、1画面を垂直方向と水平方向とにそれぞれ1/2と
することができる。従って、CCIR601による有効
エリアの704画素×480ラインの場合、前述の単純
間引きにより、352画素×240ラインに縮小するこ
とができる。なお、垂直方向は、奇数フィールドと偶数
フィールドとの何れかのフィールドのみ取込むことによ
って縮小化することができる。
【0028】図3は初期化処理のフローチャートであ
り、図1の各部の初期化処理を示し、割込コントローラ
12とDMAコントローラ13,14との動作を無効
(停止)とする為にマスクする(A1)。そして、映像
信号源数(テレビカメラ1−1〜1−nの数)n及びそ
の配列(多画面合成上の配置位置)の情報を取得する
(A2)。この情報は、ユーザからの指定或いは予めシ
ステムとして設定することができる。
【0029】次に画面合成用メモリ6上のブロック番号
をAとし、これに1を代入する(A3)。この場合のブ
ロック番号Aは1〜nの整数値を有し、4画面合成の場
合は、1〜4となる。そして、映像信号源チャネル番号
A を取得し(A4)、奇偶フィールド取込み変数OA
を取得し(A5)、画面合成用メモリ6のインクリメン
ト値VA を取得し(A6)、水平方向縮小値HA を取得
し(A7)、画面合成先頭アドレスXSA ,YSA 、即
ち、画面合成用メモリ6内の水平方向取込み開始位置と
水平方向取込み終了位置とを設定する(A8)。又画面
合成終了アドレスXEA ,YEA 、即ち、画面合成用メ
モリ6内の垂直方向取込み開始位置と垂直方向取込み終
了位置とを設定する(A9)。又割込発生条件VSA
VEA を取得する(A10)。そして、A=nか否かを
判定し、A≠nの場合は、Aを1インクリメントとして
(A11)、ステップ(A4)移行することにより、A
=1〜nについての初期設定を行う。
【0030】なお、前述のステップ(A6)のインクリ
メント値VA は、ラインメモリ5から画面合成用メモリ
6に転送する時に、1ライン分のDMA転送完了後に、
DMAコントローラ13が垂直方向にアドレスを自動イ
ンクリメントする値である。又ステップ(A5)のOA
は、割込ハンドラ11内で偶数フィールドのみ取り込む
か、偶数フィールドと奇数フィールドとを取り込むかの
判定条件である。又ステップ(A10)のVSA ,VE
A は、割込みを発生させる条件として設定するものであ
り、これらの値は、システムに応じて予め設定しておく
ことができる。又映像信号源チャネル番号CA について
はユーザから設定可能とすることができる。例えば、C
4 =2の場合、画面合成用メモリ6内の4番のブロック
に映像信号源2の映像信号を取り込むことを意味するも
のである。
【0031】前述の初期化処理に於いて、映像信号源数
nを取得すれば、それに応じた配列を同時に取得する。
続いて、A=1からA=nまで順次取得した配列から、
XS A ,XEA ,YSA ,YEA ,HA ,VA ,OA
VSA ,VEA を取得する。映像信号源チャネル番号C
A の初期値は、例えば、CA =Aとする。
【0032】図4は画面合成配列の説明図であり、
(A)〜(D)は、n=1〜4の場合について示し、合
成画面上のエリアと画面合成用メモリ6の映像信号を書
込むブロックとを対応させているもので、(A)のn=
1(画面合成を行わない場合)の前述の初期値は、 XS1 =XS XE1 =XS+X YS1 =YS YE1 =YS+Y H1 =1 V1 =2 O1 =1 VS1 =VSTART VE1 =VEND となる。
【0033】又(B)〜(D)のn=2〜4の場合の前
述の初期値は、 XS1 =XS2 =XS XS3 =XS4 =XS+X/2 XE1 =XE2 =XS+X/2 XE3 =XE4 =XS+X YS1 =YS3 =YS YS2 =YS4 =YS+Y/2 YE1 =YE4 =YS+Y/2 YE2 =YE3 =YS+Y H1 〜H4 =1/2 V1 〜V4 =1 O1 〜O4 =0 VS1 〜VS4 =VSTART VE1 〜VE4 =VEND となる。
【0034】図4の(A)のn=1の場合、即ち、画面
合成を行わない場合は、奇数フィールドと偶数フィール
ドとを共に取込み、それらを画面合成用メモリ6上では
交互に格納する為、インクリメント値VA は2、奇偶フ
ィールド取込み変数OA は1となる。又図4の(B)〜
(D)のn=2〜4の場合、即ち、画面合成を行う場合
は、偶数フィールドのみ取込み、画面合成用メモリ6上
では、連続的に格納する為、インクリメント値VA
1、奇偶フィールド取込み変数OA は0となる。この場
合、水平方向の縮小は、水平方向縮小化部4のハードウ
ェア構成により行うものであるが、垂直方向の縮小は、
奇偶フィールドの一方のフィールドのみを取込むことに
より実現している。又VSTART は映像信号源の映像有効
領域のスタート・アドレスを示し、又VEND は映像信号
源の映像有効領域のエンド・アドレスを示す。
【0035】初期化処理完了後に、映像信号源からの映
像信号取込み処理を開始する。先ずA=1とし、映像信
号セレクタ2にC1 を設定する。この場合、C1 の値は
1であり、映像信号源1−1の映像信号が映像信号セレ
クタ2によって選択される。又DMAコントコーラ13
に画面合成用メモリのインクリメント値V1 を設定し、
水平方向縮小化部4に水平方向縮小値H1 を設定し、同
時に転送先アドレスXO,YOに、画面合成用メモリ6
の取込み開始位置XS1 ,YS1 を代入する。この転送
先アドレスXO,YOは、割込ハンドラ11内で、DM
Aコントローラ13に転送先アドレスを設定する時に使
用する変数である。前述の処理が完了すると、映像信号
取込み完了認識用変数FLAGに1を代入し、割込発生
条件にVS1 を設定し、割込マスクを解除する。即ち、
割込コントローラ12の動作が可能の状態とする。
【0036】入力信号V・H監視部3は、映像信号源
(テレビカメラ)から映像信号セレクタ2を介して入力
される映像信号の垂直同期信号を監視し、この垂直同期
信号から数えてVS1 ライン目に到達した時に、割込信
号を割込コントローラ12に入力する。それによって、
割込コントローラ12は、割込信号に従って割込ハンド
ラ11を呼出す。
【0037】図5及び図6は割込処理のフローチャート
であり、割込ハンドラ11の処理を示す。以下、n=1
の場合と、n=2〜4の場合とにわけて説明する。最初
のn=1の場合、映像信号取込み完了認識用変数FLA
Gが1であるか否かを判定し(B1)、FLAG=1の
場合は、偶フィールドか否かを判定し(B2)、偶フィ
ールドの場合、転送先アドレスXO,YOをDMAコン
トローラに設定し(B3)、DMA1のマスクを解除し
(B6)、次の割込発生条件にVE1 を設定し(B
7)、FLAGに2を代入し(B8)、処理を終了す
る。
【0038】又ステップ(B1)に於いてFLAG≠1
の場合、FLAG=2か否かを判定し(B9)、FLA
G≠2の場合は処理を終了する。又FLAG=2の場
合、DMA1(DMAコントローラ13)をマスクし
(B10)、OA =1か否かを判定し(B11)、OA
≠1の場合は、FLAGに0を代入し(B15)、処理
を終了する。又OA =1の場合、奇偶フィールドの取込
み完了か否かを判定し(B12)、取込み完了によりス
テップ(B15)に移行し、取込み完了でない場合は、
FLAGに1を代入し(B13)、割込発生条件VSA
を設定し(B14)、処理を終了する。
【0039】又ステップ(B2)に於いて、偶フィール
ドでない場合、OA =1か否かを判定し(B4)、OA
≠1の場合は処理を終了し、OA =1の場合は、転送先
アドレスをXO,YO+1に設定し(B5)、次のステ
ップ(B6)に移行する。
【0040】更に具体的に説明すると、ラインメモリ5
には、水平方向縮小化部4を経由して映像信号が入力さ
れる。その水平方向縮小化部4の縮小値は1であり、映
像信号の縮小化処理は行われない。そして、1ライン分
のデータがラインメモリ5に格納されると、DMA要求
信号をDMAコントローラ13に送出する。DMAコン
トローラ13は、転送先アドレスXO,YOにラインメ
モリ5の1ライン分のデータを転送し、転送先アドレス
YOを2インクリメントする。
【0041】次に、ラインメモリ5に1ライン分のデー
タが格納されると、再びDMA要求信号をDMAコント
ローラ13に送出するから、それによる転送先アドレス
XO,YO+2にラインメモリ5の1ライン分のデータ
を転送し、転送先アドレスYOを2インクリメントす
る。従って、画面合成用メモリ6の垂直方向アドレスY
Oの一つおきに1ライン分のデータが格納されることに
なる。又割込発生条件VS1 は、映像信号の有効領域の
先頭ラインを示しているので、映像信号源の映像信号の
先頭からデータ転送を開始させることになる。
【0042】又入力信号V・H判定部3では、映像信号
源からの映像信号が映像信号セレクタ2を介して入力さ
れており、その映像信号の垂直同期信号から数えてVE
1 ライン目に到達した時に、割込信号を割込コントロー
ラ12に対して通知し、割込コントローラ12は、割込
発生条件に従って割込ハンドラ11を呼出す。
【0043】この時、FLAG=2(図5のステップ
(B8)によりFLAGに2が代入されている)である
ので、割込ハンドラ11は、ステップ(B1)に於いて
FLAG≠1であるから、ステップ(B9)に移行し、
FLAG=2となるから、DMAコントローラ13をマ
スクし、DMAコントローラ13の動作を終了させる。
又O1 は1であり、偶フィールドの取込みを行ったが、
奇フィールドの取込みを行っていないので、ステップ
(B13)に於いて再度映像信号取込み完了認識用変数
FLAGに1を代入し、割込発生条件VE1 を設定し
(B14)、処理を終了する。この割込発生条件VE1
は、映像信号の有効領域の最終ラインを示しているの
で、映像信号源の映像信号1フィールド分のデータ転送
を完了させたことを示す。
【0044】又映像信号源からの映像信号が垂直同期信
号から数えてVS1 ライン目に到達した時、割込ハンド
ラ11が呼出される。この時、FLAG=1(B1)で
あり、奇フィールドのデータが入力中であるので(B
2)、転送先アドレスXO,YO+1をDMAコントロ
ーラ13に設定し(B5)、DMA1のマスクを解除し
(B6)、次の割込発生条件にVE1 を設定し(B
7)、FLAGに2を代入して(B8)、処理を終了す
る。
【0045】DMAコントローラ13は、DMA要求信
号を受信すると、転送先アドレスXO,YO+1にライ
ンメモリ5内の1ライン分のデータを転送し、転送先垂
直方向アドレスYOを2インクリメントする。即ち、次
の1ライン分のデータは、XO,YO+3に格納され
る。このようにして順次偶フィールドのデータとは対に
なるように、すだれ状に画面合成用メモリ6に格納され
る。
【0046】又前述の場合と同様に、映像信号が垂直同
期信号から数えてVE1 ライン目に到達した時に、割込
ハンドラ11が呼出される。この時、FLAG=2であ
るから、DMA1をマスクし、DMAコントローラ13
の動作を終了させる。又O1は1であり(B11)、且
つ奇偶フィールドの取込みを完了させたので(B1
2)、FLAGに0を代入し(B15)、処理を終了す
る。そして、割込発生条件VE1 が、映像信号の有効領
域の最終ラインを示すことにより、映像信号源の映像信
号の1フレーム分のデータ転送を完了させたになる。
【0047】又n=2〜4の場合、FLAG=1(B
1)であり、現在奇フィールドのデータが入力中であれ
ば、即座に割込ハンドラ11の処理を終了させ、偶フィ
ールドのデータの入力を待つことになる。又偶フィール
ドのデータが入力中であれば、転送先アドレスXO,Y
OをDMAコントローラ13に設定し(B3)、DMA
1のマスクを解除し(B6)、次の割込発生条件VE1
の設定を行い(B7)、FLAGに2を代入し(B
8)、処理を終了する。
【0048】この時、縮小値を1/2とすると、ライン
メモリ5には1/2に水平方向縮小化部4により間引き
された映像信号が入力され、1ライン分のデータが格納
され次第、DMA要求信号をDMAコントローラ13に
対して通知する。DMAコントローラ13は、DMA要
求信号を受信すると、転送先アドレスXO,YOに、ラ
インメモリ6の1ライン分のデータを転送し、垂直方向
アドレスYOを1インクリメントする。
【0049】次の1ライン分のデータがラインメモリ5
に格納されると、再びDMA要求信号を送出する。その
時の転送先アドレスはXO,YO+1となり、ラインメ
モリ5からの1ライン分のデータが転送される。そし
て、垂直方向アドレスYOを1インクリメントする。又
割込発生条件VS1 は、映像信号の有効領域の先頭ライ
ンを示すから、映像信号源からの映像信号の先頭からデ
ータ転送を開始させたことになる。
【0050】前述と同様に、映像信号源からの映像信号
が垂直同期信号から数えてVE1 ライン目に到達した時
に、割込ハンドラ11が呼出され、割込ハンドラ11
は、今回のFLAGが2であるから(B9)、DMA1
をマスクし(B10)、DMAコントローラ13の動作
を終了させる。又O1 は0であるから、FLAGに0を
代入し(B15)、処理を終了する。又割込発生条件V
1 は、有効領域の最終ラインを示した時、映像信号源
からの映像信号の水平方向を1/2に縮小し、その1フ
ィールド分のデータの転送を完了させたことになる。
【0051】前述の割込ハンドラ11による処理を行っ
ている間、画面合成制御部9は、映像取込み完了認識用
変数FLAGの値を監視し、その値が0になることを待
つことになる。そして、FLAG=0となると、映像信
号を1フレーム分取込み完了となるから、割込みをマス
クし、A=1をA=2に更新して、前述の処理を繰り返
し行うことになる。
【0052】前述の処理をA=1からA=nまで行い、
その処理の完了により、画面合成用メモリ6に1フレー
ム分のデータの取込みを完了したことになる。そして、
画面合成用メモリ6からのデータに対して、符号化制御
部10により制御される符号化用メモリ7と符号化部8
とにより符号化処理し、符号化映像信号の送信処理を行
う。この符号化処理若しくは送信処理は、システムに対
応した処理であり、例えば、H.261,H.263,
MPEG1,JPEG等の符号化処理や、ビットマップ
・データの低速LAN,低速PPP(Point to Point
Protocol )等に対する送信処理等を行うことにな
る。又符号化処理若しくは送信処理の完了により、再度
A=1からA=nまで映像信号の取込みにより、前述の
処理を繰り返し行うことになる。前述のA=1〜A=4
とすると、多画面合成結果は、例えば、図41の
(A),(C),(D)に示すものとなる。
【0053】図7は本発明の第1の実施の形態の画面合
成処理のフローチャートであり、前述の画面合成処理を
示すもので、先ず、図3に示す初期化処理を行い(C
1)、Aに1を代入し(C2)、映像信号セレクタ2
(図1参照)にCA を設定し(C3)、画面合成用メモ
リ6のインクリメント値VA を設定し(C4)、水平方
向縮小化部4に於ける水平方向縮小値HA を設定し(C
5)、画像転送先アドレスXO,YOにXSA ,YSA
を代入し(C6)、FLAGに1を代入し(C7)、割
込発生条件VSA を設定し(C8)、割込マスクを解除
する(C9)。
【0054】そして、FLAG=0か否かを判定し(C
10)、0の場合は、割込マスクし(C11)、A=n
か否かを判定し(C12)、A=nの場合は取込み完了
であるから、符号化処理若しくは送信処理を行い(C1
3)、Aを1インクリメントし、その結果、A>nなら
ば、A=1とし(C14)、ステップ(C3)に移行す
る。又ステップ(C12)に於いてA≠nの場合はステ
ップ(C14)に移行する。それによって、前述のよう
に、n個の非同期の映像信号を合成して、符号化し、受
信側に送出することができる。
【0055】図8は非同期映像信号合成の説明図であ
り、映像信号#1〜#4はそれぞれ非同期であり、(1),
(2),(3),・・・・はフレーム番号を示す。そして、映像
信号#1〜#4の順序で合成する場合、合成された映像
信号は、#1(1) ,#2(2) ,#3(4) ,#4(5) とな
り、次は図示を省略しているが、#1(7) となる。1映
像信号のフレームレートは29.97Hzであるから、
前述の場合の全体の取込みフレームレートは、29.9
7Hzと、その半分の14.985Hzとの間となる。
又4画面合成の場合の映像信号#1の取込みフレームレ
ートは、フレームレート29.97Hzの1/4の7.
4925Hzと、その半分の3.74625Hzとの間
となる。そして、1取込みフレーム当たりの取込み時間
は、(1/29.97)〜(2/29.97)〔se
c〕となる。
【0056】このような非同期の映像信号を合成する場
合、フレームの先頭を待つ必要があるから、例えば、9
画面合成を行う場合には、300msec〜600ms
ec程度の空き時間が発生し、この間、符号化処理,送
信処理を行うことができないことになる。例えば、1フ
レームの符号化に多大な時間(1sec〜数10se
c)を要する静止画伝送や64kbps未満程度の通信
帯域の狭いネットワークを介した伝送に於いては、前述
の図1に示す実施の形態による非同期映像信号を用いた
多画面合成の手段を充分に適用することができる。しか
し、数10msec〜数100msecで1フレームの
符号化を完了させる64kbps〜1.5Mbps等の
中間の伝送帯域のネットワークを介して伝送する場合、
空き時間が問題となる。
【0057】図9は本発明の第2の実施の形態の画面合
成処理のフローチャートであり、1フレーム分取込む毎
に符号化を行う場合を示し、ステップ(D1)〜(D1
0)は、図7に於けるステップ(C1)〜(C10)と
同様である。図7に於いては、A=1として映像信号源
1−1からの映像信号の取込みを完了した後、順次A=
2,3,・・・nとして、映像信号源1−2〜1−nか
らの映像信号の取込みを行い、各映像信号源1−1〜1
−nからの映像信号を1フレーム分取込み完了した後
に、符号化処理若しくは送信処理を行うものである。
【0058】これに対して、この実施の形態に於いて
は、ステップ(D11)〜(D13)により、例えば、
A=1の映像信号源1−1からの映像信号の取込みを完
了することにより、ステップ(D12)により符号化処
理若しくは送信処理を行い、次にステップ(D13)に
よりAを1インクリメントすることにより、A=2の映
像信号源1−2からの映像信号の取込みを行い、その取
込みの完了により符号化処理若しくは送信処理を行い、
これをA=nとなるまで繰り返し、A>nとなると、A
=1として最初に戻ることになる。
【0059】従って、A=1の時の映像信号源1−1か
らの映像信号を格納する画面合成用メモリ6(図1参
照)のブロック以外は初期値が格納されており、符号化
処理若しくは送信処理が完了した後、A=2として、映
像信号源1−2からの映像信号の取込みを開始し、この
取込み完了により、画面合成用メモリ6に格納されたデ
ータの符号化処理若しくは送信処理を行う。
【0060】この時点では、画面合成用メモリ6には、
映像信号源1−1,1−2からの映像信号を格納するブ
ロック以外のブロックには初期値が格納された状態とな
り、又映像信号源1−1からの映像信号を格納したブロ
ックは前回の符号化処理若しくは送信処理に於けるもの
と同一の内容のものである。従って、A=1からA=n
までの処理を繰り返すことにより、画面合成用メモリ6
内の1ブロック毎に更新されたものとなる。この場合、
映像信号源数nを大きな値としても、非同期映像信号を
用いた画面合成に於ける空き時間は、約33msec〜
66msec程度の間に納まることになり、15フレー
ム/secで符号化処理若しくは送信処理を行うシステ
ムに於いても充分に適用することができる。
【0061】図10は本発明の第3の実施の形態の画面
合成処理のフローチャートであり、ステップ(E1)〜
(E7)については、図7のステップ(C1)〜(C
7)又は図9のステップ(D1)〜(D7)の処理と同
様であり、重複した説明は省略する。この実施の形態
は、画面合成用メモリ6から符号化用メモリ7にデータ
をDMAによって転送する処理を含み、又映像取込み完
了認識用変数FLAG2を追加したものである。
【0062】即ち、ステップ(E7)に於いてFLAG
に1を代入し、次にFLAG2に1を代入し(E8)、
割込発生条件VSA を設定し(E9)、割込マスク解除
を行い(E10)、FLAG2=0か否かを判定し(E
11)、0の場合は、割込マスクを行い(E12)、画
面合成用メモリ6から符号化用メモリ7にDMAコント
ローラ14によるDMA2によって転送開始し(E1
3)、割込マスクを解除して(E14)、符号化処理若
しくは送信処理を行い(E15)、ステップ(E11)
に移行する。
【0063】図11及び図12は本発明の第3の実施の
形態の割込処理のフローチャートであり、ステップ(F
1)〜(F5)は、図5に於けるステップ(B1)〜
(B5)と同様であり、重複した説明は省略する。ステ
ップ(F3)又は(F5)の次のDMA1マスク解除
(F7)の前に、FLAG2に1を代入する(F6)。
そして、DMA1マスク解除を行って、割込発生条件V
A を設定し(F8)、FLAGに1を代入し(F
9)、処理を終了する。
【0064】又ステップ(F1)に於いてFLAG≠1
の場合、FLAG=2か否かを判定し(F10)、FL
AG≠2の場合は処理を終了し、FLAG=2の場合
は、DMA1マスク(F11)、OA =1か否かの判定
(F12)、取込み完了か否かの判定(F13)、FL
AGに1代入(F14)、割込発生条件VSA 設定(F
15)については、図6のステップ(B9)〜(B1
4)と同様であり、重複した説明は省略する。
【0065】又この実施の形態に於いては、OA ≠1
(F12)又は取込み完了の場合(F13)、例えば、
A=1の時のO1 が1で且つ1フレーム分の映像信号の
取込みが完了した時、若しくは、O1 が0で映像信号の
取込みが完了した時に、割込ハンドラ11内でA=1か
らA=2への変更を行う。即ち、Aを1インクリメント
し、A>nの場合は1を代入する(F16)。そして、
映像信号セレクタ2にC A を設定する(F17)。この
場合、A=2となるから、映像信号セレクタ2にC2
設定することになり、それにより、映像信号源1−2か
らの映像信号が選択される。
【0066】又画面合成用メモリのインクリメント値V
A を設定し(F18)、水平方向縮小値HA を設定し
(F19)、画像転送先アドレスXO,YOにXSA
YSAを代入する(F20)。この場合、DMAコント
ローラ13に設定するインクリメント値はV1 、水平方
向縮小部4に設定する縮小値はH1 、転送先アドレスX
O,YOには、XS1 ,YS1 を代入することになる。
以上の処理が完了すると、FLAG2に0を代入して
(F21)、ステップ(F14)に移行して、FLAG
に1を代入し、割込発生条件にVS2 を設定し(F1
5)、処理を終了することになる。
【0067】割込ハンドラ11が処理を行っている間、
画面合成制御部9は、映像取込み完了認識用変数FLA
G2の値を監視し、その値が0になるのを待つことにな
る。そして、その値が0になると、映像信号源1−1か
らの映像信号を1フレーム分取込み完了したことを意味
するから、割込みをマスクした後、画面合成用メモリ6
から符号化用メモリ7へDMAコントローラ14によっ
てデータ転送を行う。このDMA転送の完了により、割
込マスクを解除し、符号化部8に於ける符号化処理若し
くは送信処理を実行する。
【0068】この符号化処理若しくは送信処理の間、割
込マスクは解除された状態を継続し、その間の割込信号
があれば、割込ハンドラ11が呼出され、映像信号源1
−1の次の映像信号源1−2からの映像信号が画面合成
用メモリ6に取り込まれる。この取込み完了後、続い
て、映像信号源1−3からの映像信号取込み用の設定が
行われる。更に割込信号があれば、割込ハンドラ11が
呼出され、今度は映像信号源1−3からの映像信号が画
面合成用メモリ6に取り込まれる。このような処理を繰
り返して、映像信号の取込みや符号化処理若しくは送信
処理が行われ、画面合成されて符号化された合成映像信
号が受信側に送信される。
【0069】又画面合成制御部9により制御する符号化
処理若しくは送信処理が終了すると、映像取込み完了認
識用変数FLAG2の値を監視する。この値が1である
ことは、現在何れかの映像データを画面合成用メモリ6
にDMA転送中であることを示し、0であることは、現
在映像データをDMA転送していないことを示す。ここ
で、映像データの画面合成用メモリ6へのDMA転送中
に、画面合成用メモリ6から符号化用メモリ7へのDM
A転送を行うと、符号化用メモリ7で現在取込み中の映
像信号は、途中で切れたものとなる。そこで、FLAG
2の値が0になるまで、割込マスクを行うものである。
【0070】この映像取込み完了認識用変数FLAG2
の値が0になると、割込マスクを行い、画面合成用メモ
リ6から符号化用メモリ7へDMA転送を行う。このD
MA転送が完了すると、割込マスクを解除し、符号化処
理若しくは送信処理を行うことになり、前述の一連の動
作を繰り返すことになる。この実施の形態の場合、符号
化処理若しくは送信処理中に、映像信号を取込み続ける
から、符号化効率を低下させることなく、取込み可能な
分の映像信号を取込むことができる。従って、効率良く
画面合成を行うことができる。
【0071】図13は取込みフレームの説明図であり、
(A)は従来例を示し、(B)は本発明の実施の形態を
示す。又#1〜#4は4台の映像信号源からの映像信号
を示す。(A)の従来例は、図40に示すような同期映
像信号合成の場合を示し、1フレーム画面を4分割し、
4台の映像信号源からの映像信号#1〜#4に割付けて
合成し、伝送装置に於いて符号化して送信する。その場
合、伝送帯域が狭いネットワークを介して伝送する場
合、圧縮符号化を行うことになるが、その符号化処理に
要する時間や発生情報量等により、破棄されるフレーム
が生じることになる。従って、圧縮・伝送に採用された
フレームは、間引きされたものとなり、フレームレート
は低いものとなる。
【0072】又(B)は、各映像信号源からの非同期の
映像信号#1〜#4を順次取込み、画面合成を行って符
号化処理する本発明の実施の形態を示す。伝送帯域が狭
いネットワークを介して伝送する場合、前述のように、
間引きの状態となり、フレームレートを高くすることが
できないものであるから、例えば、映像信号#1の1フ
レーム分を取込んだ後、次の映像信号#2の1フレーム
分を取込むように、順次映像信号#3,#4,#1,#
2,・・・をフレーム単位で取込むことにより、画面合
成前にフレームの間引きを行った状態とし、画面合成を
行って符号化処理するものである。
【0073】図14は符号化処理フレームの説明図であ
り、(A)は図13の(A)に対応した従来例、(B)
は図13の(B)に対応した本発明の実施の形態を示
し、且つ図13に於ける圧縮・伝送に採用されたフレー
ム(1),(4),(6),(7) について示す。従来例に於いては、
(A)に示すように、映像信号#1〜#4を合成して1
フレームを構成し、符号化処理を行うことから、各フレ
ーム(1),(4),(6),(7) は、総て更新された内容となる。
【0074】これに対して、本発明の実施の形態に於い
ては、(B)に示すように、フレーム(1) は映像信号#
1を取込んで合成して符号化することにより、映像信号
#1の部分のみ更新ありとなる。次のフレーム(4) は、
映像信号#2〜#4を取込んで合成して符号化すること
により、映像信号#1の部分は更新なしとなるが、他の
映像信号#2〜#4の部分は更新ありとなる。
【0075】次のフレーム(6) は、映像信号#1,#2
を取込んで合成して符号化することにより、映像信号#
1,#2の部分は更新あり、映像信号#3,#4の部分
は更新なしとなる。次のフレーム(7) は、映像信号#3
を取込んで合成して符号化することにより、映像信号#
3の部分のみ更新ありとなる。従って、更新なしの部分
はフレーム間差分が零であり、更新ありの部分のみフレ
ーム間差分が生じることになり、符号化処理は合成画面
の1フレーム全体を符号化処理する場合に比較して簡単
となる。
【0076】図15は受信表示フレームの説明図であ
り、(A)は図13の(A)及び図14の(A)の従来
例に対応し、(B)は図13の(B)及び図14の
(B)の本発明の実施の形態に対応する。即ち、(A)
に示す従来例に於いては、フレーム(1),(4),(6),(7) を
受信することになるから、フレーム(2),(3) の時間は、
その前のフレーム(1) の復号化処理による内容が繰り返
し表示され、フレーム(5) の時間は、その前のフレーム
(4) の復号化処理による内容が表示される。
【0077】又(B)に示す本発明の実施の形態に於い
ては、(A)の従来例に類似したものとなるが、例え
ば、映像信号#1については、フレーム(1) の内容が、
更新ありのフレーム(6) まで繰り返し表示される。又映
像信号#2については、フレーム(1) の内容が、更新あ
りのフレーム(4) まで繰り返し表示される。
【0078】例えば、有効エリアが704(画素)×4
80(ライン)のCCIR601による画面合成の場
合、1画素当たりのデータ量は1バイトであり、ライン
メモリ5(図1参照)は、1ライン当たり704バイト
のデータを格納する必要があり、データ書換えの余裕を
みて、2kバイト程度の容量とすることが望ましい。又
画面合成用メモリ6(図1参照)は、色差信号等を考慮
して、704×480×1.5(バイト)程度、例え
ば、512kバイト程度の容量とすることが望ましい。
なお、この画面合成用メモリ6の記憶容量は、画面合成
数には依存しないことになる。
【0079】図16は本発明の第4の実施の形態の説明
図であり、図1と同一符号は同一部分を示し、21は映
像信号源入力有無判定部、22−1〜22−nは映像信
号源対応部、23は水平・垂直方向縮小化部、24は復
号化用メモリ、25は復号化部、26は復号化制御部、
27は特殊データ格納用メモリを示す。
【0080】この実施の形態は、複数の映像信号源(テ
レビカメラ)1−1〜1−nから映像信号が出力されて
いるか否かを映像信号源入力有無判定部21に於いて判
定するものであり、映像信号源の障害,電源なし,接続
不良等により映像信号を出力していない場合、その映像
信号源対応の画面合成を行わないようにし、不安定映像
信号の混入等によるシステムの不安定条件を除去すると
共に、画面合成の効率を向上するものである。
【0081】この映像信号源入力有無判定部21の各映
像信号源対応部22−1〜22−nは、例えば、垂直同
期信号や水平同期信号或いはカラーバースト信号やクロ
ミナンス信号が一定期間中に出力されているか否かによ
り判定することができる。又映像信号のレベル検出によ
って判定する構成とすることも可能である。
【0082】又復号化部25は受信した符号化映像信号
を復号化制御部26の制御に従って復号し、復号化用メ
モリ24に復号化映像信号を格納する。又特殊データ格
納用メモリ27は、画面合成制御部9から特殊データを
書込む構成を有し、又水平・垂直方向縮小化部23は、
指定されたサイズとなるように、画素又はラインの間引
きにより縮小化処理を行うものである。
【0083】図17は本発明の第4の実施の形態の画面
合成処理のフローチャートであり、前述の各実施の形態
に於ける画面合成処理に対しても、映像入力有無判定を
適用できるものである。先ず、初期化処理を行い(G
1)、Aに1を代入し(G2)、映像信号セレクタ2に
A を設定し(G3)、奇偶フィールド取込変数OA
設定し(G4)、画面合成用メモリのインクリメント値
A を設定し(G5)、水平方向縮小値HA を設定し
(G6)、画像転送先アドレスXO,YOにXSA,Y
A を代入し(G7)、FLAGに1を代入し(G
8)、割込発生条件VS A を設定し(G9)、割込マス
クを解除する(G10)。
【0084】そして、FLAG=0か否かを判定し(G
11)、FLAG=0となると、割込みをマスクし(G
12)、符号化処理若しくは送信処理を行う(G1
3)。そして、A=nか否かを判定し(G14)、A≠
nの場合は、ステップ(G17)に移行してAを1イン
クリメントし、それによりA>nとなる場合はAに1を
代入する。
【0085】又A=nの場合は、映像入力有無判定処理
を行い(G15)、映像入力無しの場合の無効エリア処
理を行う(G16)。そして、ステップ(G17)に移
行し、Aを1インクリメントするか、或いはAに1を代
入して、ステップ(G3)に移行して前述の処理を繰り
返す。
【0086】図18は本発明の実施の形態の映像入力有
無判定処理のフローチャートであり、先ず、割込みのマ
スクを行い(H1)、映像入力有数保持用変数VI及び
映像入力無数保持用変数VDにそれぞれ0を代入し(H
2)、入力有無判定数チェック用変数Dに0を代入する
(H3)。そして、映像信号源CN-D の映像入力有無チ
ェックを行い(H4)、入力有りか否かを判定し(H
5)、入力有りの場合は、VIを1インクリメントし
(H6)、入力無しの場合は、CN-D ,CN-VDを入替え
て、VDを1インクリメントする(H7)。
【0087】そして、Dを1インクリメントし(H
8)、D=Nか否かを判定し(H9)、D≠Nの場合
は、ステップ(H4)に移行する。又D=Nの場合は、
nにVIを代入し(H10)、初期化処理を行う(H1
1)。即ち、映像入力有数保持用変数VIの値を映像信
号源数nとして、画面合成処理を行うことができる。
【0088】例えば、映像信号源1−1〜1−4の場
合、映像入力有無判定前、C1 =1−1、C2 =1−
2、C3 =1−3、C4 =1−4、n=4、N=4とす
ると、映像信号源入力有無判定部21により、映像信号
源1−1,1−3からの映像信号が入力されない場合、
1 =1−4、C2 =1−2、C3 =1−1、C4 =1
−3、n=2、N=4となるから、画面合成処理に於い
ては、映像信号源1−2,1−4からの映像信号を用い
た2画面合成を行うことになる。
【0089】図19は本発明の実施の形態の無効エリア
用処理のフローチャートであり、前述の映像入力有無判
定により入力無しに対応する画面合成メモリ6上のブロ
ックが、合成画面に於ける無効エリアとなる。そこで、
この無効エリア内に特殊データを挿入する場合を示すも
ので、先ず、映像入力有無判定により、nが2又は3に
なったか否かを判定し(J1)、nが2又は3でない場
合は処理を終了する。又nが2又は3の場合、N用配列
及びそのデータ群を取得する(J2)。
【0090】次に特殊データ格納用メモリ27(図16
参照)に固定パターンを書込み(J3)、垂直方向縮小
値VN /2を設定し(J4)、水平方向縮小値HN /2
を設定し(J5)、画面合成先頭アドレスXSN ,YS
N を設定し(J6)、特殊データ格納アドレスを設定し
(J7)、DMAコントローラ14によるDMA2デー
タ転送を行う(J8)。
【0091】N=4とし、n=4用の配列からN番目
(4番目)のデータを取り出す。この場合、 XSN =XS+X/2 XEN =XS+X YSN =YS+Y/2 YEN =YS+Y HN =1/2 ON =0 VSN =VSTART VEN =VEND の代入を行う。
【0092】ここで、特殊データ格納用メモリ27の水
平・垂直方向の先頭アドレスをそれぞれXD,YDと
し、このアドレスXD,YDに対して何らかの固定パタ
ーンデータの書込処理を行う。例えば、黒固定、青固定
等の色固定データ、メーカロゴ等の固定ビットマップデ
ータ、「画面合成中」,「映像信号源1,4の入力無」
等のメッセージ、その他のユーザデータ等を用いること
ができる。
【0093】前述の特殊データ格納用メモリ27に特殊
データを書込んだ後、水平・垂直方向縮小化部23に、
水平方向縮小値HN 及び垂直方向縮小値VN /2を設定
する。なお、このVN は、間引き無しの1フレーム取込
みの時は2、間引き有りの1フィールド取込みの時は1
となるインクリメント値に相当する。そして、DMAコ
ントローラ14に、転送先アドレスとして、画面合成用
メモリ6の先頭アドレスXSN ,YSN を指示し、転送
元アドレスとして特殊データ格納用メモリ27の先頭ア
ドレスXD,YDを指示し、X×Y分のデータ転送を行
わせる。
【0094】このDMAコントローラ14により転送制
御されるX×Y分のデータは、水平・垂直方向縮小化部
23により、水平及び垂直方向にそれぞれ1/2に間引
かれて画面合成用メモリ6のN番目(4番目)のブロッ
クに格納される。この無効エリア用処理は、映像信号源
のチャネル切替えが一周する度に呼出されるから、アク
ティブに特殊データ内容を変更して受信側へ送出するこ
とが可能となる。
【0095】図20は本発明の他の実施の形態の無効エ
リア用処理のフローチャートであり、無効エリアに受信
復号化したデータを挿入して返送する場合に適用できる
もので、ステップ(K1),(K2)は、図19のステ
ップ(J1),(J2)と同様であり、n=2又は3の
場合についてステップ(K2)に移行し、次に復号化フ
レーム更新管理用変数RCVの値をチェックする(K
3)。これは、復号化制御部26により1フレーム復号
化される毎に1に変更され、復号化処理結果を画面合成
用メモリ6に転送すると0に変更される。即ち、前回、
この処理が動作を開始してから復号化用メモリ24の内
容が更新されたか否かを管理する変数である。従って、
RCV=0の場合は、前回と同様のデータが復号化用メ
モリ24に格納されているので、上書きする必要がない
から、処理を終了する。
【0096】又RCV=1の場合は、図19のステップ
(J4)〜(J6)と同様のステップ(K4)〜(K
6)により、垂直方向縮小値VN /2、水平方向縮小値
N 、画面合成先頭アドレスXSN ,YSN を設定し、
特殊データ格納アドレスの代わりに、復号化受信データ
格納アドレスを設定し(K7)、DMAコントローラ1
4によりデータ転送を行い(K8)、このデータ転送完
了によりRCVに0を代入する(K9)。この場合、受
信復調したデータが、水平・垂直方向縮小部23により
縮小されて、画面合成用メモリ6の無効エリアのブロッ
クに書込まれ、映像信号源からの映像信号と共に合成さ
れて送信される。
【0097】この場合も、映像信号源のチャネル切替え
が一周する度に無効エリア用処理が呼出されるから、受
信復号化したデータを常に更新して送信することができ
る。従って、相手側には、送信画像が折返されることに
なるから、送信画像の確認を行うことができる。又予め
他のメモリに格納してある符号化済み録画データを復号
化処理できるシステムの場合、生映像と録画再生映像と
の画面合成を行うことも容易である。この場合、例え
ば、図41の(C)に示すような合成画面を容易に形成
することができる。
【0098】図21は本発明の更に他の実施の形態の無
効エリア用処理のフローチャートであり、合成画面内の
無効エリアを利用して、重要な画像を拡大表示可能に合
成する場合を示す。この場合、重要な画像を撮像する映
像信号源のチャネル番号をF 1 として重み付けした場合
を説明する。先ず、n=2か否かを判定し(L1)、n
≠2の場合は、n=3か否かを判定し(L4)、L≠3
の場合は、nが2又は3でない場合であるから、処理を
終了する。
【0099】又n=2の場合、例えば、図22の(A)
に示すように、画面合成用メモリ6のブロックb1,b
2を用いた画面合成を行う。この場合、ブロックb1,
b2は、(C)に示すように、上下Y/4を除くY/2
の画像取込領域に相当する大きさとなる。又ブロックb
1,b2を同一の大きさとすることにより、重み付けを
したチャネル番号を考慮する必要はない。
【0100】従って、画面合成用メモリ1の拡大合成用
配列を取得し(L2)、画面合成用メモリ2の拡大合成
用配列を取得する(L3)。この場合の拡大合成用配列
は、映像信号源等に対応して予め設定しておくものであ
る。この場合、例えば、A=1,2に関して取得した配
列からXSA ,XEA ,YSA ,YEA ,HA ,VA
A ,VSA ,VEA を取得する。具体的な設定例とし
て、 XS1 =XS2 =XS XE1 =XE2 =XS+X YS1 =YS YS2 =YS+Y/2 YE1 =XS+Y/2 YE2 =YS+Y H1 ,H2 =1 V1 ,V2 =2 O1 ,O2 =1 VS1 ,VS2 =VSTART +1Y/4 VE1 ,VE2 =VSTART +3Y/4 となる。
【0101】映像信号は、奇数フィールドと偶数フィー
ルドとを取込み、画面合成用メモリ上では交互に格納す
る。従って、画面合成用メモリのインクリメントチャネ
ルV A は2、奇偶フィールド取込み変数OA は1とな
る。
【0102】又n=3の場合は、例えば、図22の
(B)に示すような画面合成を行う。この場合、ブロッ
クb2に格納する映像信号のチャネルにF1 の重み付け
を行った場合である。即ち、Dに1を代入し(L5)、
D =F1 か否かを判定し(L6)、CD ≠F1 の場合
は、Dを1インクリメントし(L7)、D>nか否かを
判定し(L8)、D>nでない場合はステップ(L6)
に移行し、D>nの場合は、D=1〜D=nの間に重み
付けした映像信号チャネルがない場合であるから、処理
を終了する。又CD =F1 の場合、映像信号源C2 ,C
D を入れ替え(L9)、画面合成用メモリ2の拡大合成
用配列を取得する(L10)。
【0103】即ち、D=1からD=nまでCD とF1
を比較し、CD =F1 の場合に、このCD とブロックb
2に対応するC2 とを入れ替える。それにより、ブロッ
クb2(図22の(B)のb2参照)にチャネルF1
割付けて、映像信号を格納する。そして、n=2の場合
と同様に、画面合成用メモリ2の拡大合成用配列を取得
する(L10)。そして、A=2に関して取得した配列
からXSA ,XEA ,YSA ,YEA ,HA ,VA ,O
A ,VSA ,VEA を取得する。具体的な設定例は、n
=2の場合と同様である。
【0104】ブロックb2の映像取込みは、奇数フィー
ルドと偶数フィールドとを共に行い、且つ画面合成用メ
モリ上では交互に格納する。従って、画面合成用メモリ
のインクリメントチャネルVA は2、奇偶フィールド取
込み変数OA は1となる。又割込信号は、映像信号の
(YS+Y/4)ラインと、(YS+3Y/4)ライン
とに於いて発生し、DMA転送開始、終了処理を行うこ
とになる。なお、図22の(B)のブロックb1,b2
については、先に説明した各実施の形態に於ける4画面
合成の場合と同様であり、例えば、偶数フィールドのみ
を取込み、画面合成用メモリ上では連続的に格納する。
【0105】図23及び図24は本発明の実施の形態の
ズームアップ処理を含む無効エリア処理のフローチャー
トであり、合成画面内の無効エリアにズームアップ表示
させる為に重み付けしたチャネル番号をF2 とする。図
19のステップ(J1)及び図20のステップ(K1)
と同様に、n=2又は3かを判定し(M1)、nが2又
は3でない場合は処理を終了する。
【0106】又nが2又は3の場合、Dに1を代入し
(M2)、CD =F2 か否かを判定する(M3)。CD
≠F2 の場合は、Dを1インクリメントし(M4)、D
>nか否かを判定し(M5)、D>nの場合は処理を終
了し、D>nでない場合はステップ(M3)に移行す
る。
【0107】CD =F2 の場合、映像信号源C2 ,CD
の入れ替えを行い(M6)、画面合成用メモリNの拡大
合成用配列を取得し(M7)、AにNを代入し(M
8)、映像信号セレクタ2(図16参照)にCA を設定
し(M9)、画面合成用メモリのインクリメントチャネ
ルVA を設定し(M10)、水平方向縮小値HA を設定
し(M11)、画像転送先アドレスXO,YOにXD,
YDを代入し(M12)、FLAGに1を代入し(M1
3)、割込発生条件VSA を設定し(M14)、割込マ
スクを解除する(M15)。
【0108】そして、FLAG=0となるか否かを判定
し(M16)、0となると、割込みをマスクし(M1
7)、垂直方向縮小値VA /2を設定し(M18)、水
平方向縮小値HA を設定し(M19)、画面合成先頭ア
ドレスXSA ,YSA を設定し(M20)、データ転送
先アドレスXD+XZ,YD+YZを設定し(M2
1)、DMAコントローラ14によるDMA2転送を行
う(M22)。
【0109】重み付けしてズームアップ表示を行うこと
を示すチャネルF2 は、例えば、図22の(D)に示す
ように、アドレス(XZ,YZ)からアドレス(XZ+
X/2,YZ+Y/2)の領域を画像取込領域とし、等
倍で画面合成用メモリに取込むようにDMA転送する。
即ち、他のブロックは間引き処理した映像信号を合成す
るから、この無効エリアに合成する映像信号について
は、見かけ上拡大したものとなる。
【0110】又ステップ(M6)に於けるCD とCn
の入れ替えの理由は、次の2点がある。先ず(1).無
効エリア用処理が呼出される時、映像信号源のチャネル
は画面合成用メモリ内ブロックnに取込まれるものであ
り、再取込みを行う際に、チャネルの切替えによる時間
的損失を少なくする為である。又(2).ズームアップ
している映像とズームアップしない映像とが隣接してい
る方が、ユーザの観測に好都合である為である。
【0111】又ズームアップ取込み用配列及び設定値群
は、適用するシステムに対応して予め設定しておくこと
ができる。そして、A=Nに関して取得した配列から、
XS A ,XEA ,YSA ,YEA ,HA ,VA ,OA
VSA ,VEA を取得する。その具体例を次に示す。 XSN =XS+X/2 XEN =XS+X YSN =YS+Y/2 YEN =YS+Y HN =1 VN =2 ON =1 VSN =VSTART VEN =VEND
【0112】前述のように、奇数フィールドと偶数フィ
ールドとを共に取込み、且つ画面合成用メモリ上には交
互に格納する。従って、インクリメント値VN は2、奇
偶フィールド取込み変数ON は1となる。
【0113】前述の処理が完了した後、映像信号源から
の映像信号取込み処理を開始する。先ず、A=Nとし
て、特殊データ格納用メモリ27(図16参照)を用い
る。又映像信号セレクタ2にCA を設定する。このCA
の値がF2 であると、映像信号源F2 の映像信号が映像
信号セレクタ2によって選択される。又DMAコントロ
ーラ13に画面合成用イクリメント値VN を設定し、水
平方向縮小化部4に水平方向縮小値HN を設定し、同時
に画像転送先アドレスXO,YOに特殊データ格納用メ
モリ27内の取込み位置XD,YDを代入する。即ち、
映像信号源からの映像信号を画面合成用メモリ6ではな
く、一旦、特殊データ格納用メモリ27に格納する。
【0114】前述の処理が完了すると、映像取込み完了
認識用変数FLAGに1を代入し、割込発生条件にVS
N を設定し、割込マスクを解除する。それにより、割込
ハンドラ11内の処理によって、n=1の場合と同様の
映像信号取込み手段によって、特殊データ格納用メモリ
27に1フレーム分の間引き処理されていないデータが
取込まれ、それにより、FLAGが0になる。
【0115】割込ハンドラ11の処理中は、FLAGの
値を監視し、その値が0になるのを待つことになる。そ
して、0になると、映像信号源の映像信号を1フレーム
分取込み完了したことを意味するから、割込みをマスク
し、DMAコントローラ14に、転送先アドレスとし
て、画面合成用メモリ6の先頭アドレスXSA ,YSA
を指定し、転送元アドレスとして、特殊データ格納用メ
モリ27の先頭アドレスXD+XZ,YD+YZを指定
し、X×Y分のデータ転送を行わせる。このDMAコン
トローラ14により転送されたX×Y分のデータは、水
平方向及び垂直方向に間引きなしに、即ち、等倍で、画
面合成用メモリ6内のN番目のブロックに格納される。
前述の処理により、受信再生画像は、例えば、図41の
(D)の右上のような拡大画像となる。
【0116】図25は本発明の第5の実施の形態の画面
合成処理のフローチャートであり、重み付けしたチャネ
ルの映像信号を優先的に取込んで処理する場合を示す。
前述の画面合成処理を要約すると次のようになる。
(a)総ての映像信号を完全に取込み処理を完了してか
ら符号化処理若しくは送信処理を行う。(b)符号化処
理中に取込み可能な映像信号の取込み処理を行う。
(c)1映像信号源からの映像信号の取込み完了毎に符
号化処理若しくは送信処理を行う。従って、受信再生画
像は、ブロック単位で更新された合成画面となる。
【0117】例えば、1秒間に30フレームを符号化し
て送信するシステムに於いては、4画面合成を行った
時、1ブロック当たりのフレームレートは、約3〜7.
5となる。このようなシステムに於いて、或る映像信号
源による画像について、その動きが良く判るようにする
ことが要望されることがある。そこで、この実施の形態
は、このような映像信号源について重み付けを行い、そ
の映像信号源からの映像信号を重点的に取込むようにし
て、フレームレートを大きくし、動きが良く判る受信再
生画像が得られるようにするものである。
【0118】前述の重み付けを行ったチャネル番号をF
3 として説明する。先ず、初期化処理を行い(N1)、
変数A,Bに1を代入し(N2)、Dに1を代入し(N
3)、CD =F3 か否かを判定し(N4)、CD ≠F3
の場合は、Dを1インクリメントし(N5)、D>nか
否かを判定し(N6)、D>nでない場合はステップ
(N4)に移行し、D>nの場合は次のステップ(N
8)に移行する。
【0119】又CD =F3 の場合は、映像信号源C1
D との入れ替えを行う(N7)。即ち、D=1からD
=nまでCD とF3 との比較を行い、CD とF3 とが同
一の場合、その時のCD とC1 とを入れ替える。この入
れ替えにより、F3 と同一のチャネルの映像信号を、チ
ャネル番号1に対応する合成画面のブロック1に格納
し、チャネル番号F3 に対応する合成画面のブロックに
チャネル番号1の映像信号を格納する。
【0120】次に、前述の各実施の形態に於ける設定処
理と同様に、CA の設定(N8)、VA の設定(N
9)、HA の設定(N10)、XSA ,YSA の代入
(N11)、FLAGに1代入(N12)、VSA 設定
(N13)、割込マスク解除(N14)を行い、FLA
G=0か否かを監視し(N15)、0となると、割込み
をマスクし(N16)、符号化処理若しくは送信処理を
行う(N17)。
【0121】そして、A=1か否かを判定し(N1
8)、A≠1の場合はAに1を代入して(N20)、ス
テップ(N8)に移行する。又A=1の場合は、Bを1
インクリメントし、B>nの場合はBに2を代入する。
又Bの値をAに代入する(N19)。例えば、チャネル
1 (=F3 )の映像信号の取込みを行い、A=1か否
かを判定すると(N18)、最初はA=1,B=1であ
るから、ステップ(N19)に移行して、Bを1インク
リメントし、そのBをAに代入するから、A=B=2と
なる。そして、再度変数の設定を行い、チャネルC2
映像信号の取込みを行い、再度A=1か否かを判定する
(N18)。この場合はA≠1であるから、ステップ
(N20)に於いてAに1を代入する。そして、A=1
対応の変数を設定した後、チャネルC1 (=F3 )の映
像信号の取込みを行うことになる。
【0122】従って、4画面合成の場合、C1 →C2
1 →C3 →C1 →C4 →C1 ・・・のように、2回に
1回は重み付けしたチャネルC1 (=F3 )の映像信号
を取込み、画面合成を行うことができるから、このチャ
ネルC1 のフレームレートを高くすることができる。例
えば、前述の例に対応させると、フレームレートは、1
秒間に7〜15フレームとすることができる。
【0123】前述のように、画面合成と符号化処理とが
直接的に関連を持っているから、例えば、合成画面のブ
ロック毎に量子化ステップを設定して、重要なブロック
の解像度を高くすることができる。又ブロック毎に動き
ベクトルの探索範囲を設定して、再生画像の画質を向上
することができる。
【0124】図26はCIFの説明図であり、H.26
1符号化に於いては、画像データをCIF(Common I
ntermediate Format )又はQCIF(Quarter Com
monIntermediate Format )によるサイズとして取扱
うものであり、CIFの場合は、図示のように、352
×288(画素)を1フレームとしている。このCIF
フレームは、12個のブロックGOBからなり、各ブロ
ックGOBは、下方に拡大して示すように33個のマク
ロブロックからなる。又各マクロブロックは、4個の輝
度ブロックYと、2個の色差ブロックU,Vとにより構
成されており、輝度ブロックYは4ブロックから構成さ
れている。このCIFフレームの符号化は、基本的には
マクロブロック単位で行われるものである。
【0125】図27は符号化部の説明図であり、図1及
び図16に於ける符号化部8を、ハイブリッド符号化構
成とした場合を示すものであり、各図と同一符号は同一
部分を示し、31は画面合成部、32は差分処理部、3
3,34はセレクタ、35は離散コサイン変換部(DC
T)、36は量子化部、37は送信バッファ、38は逆
量子化部、39は逆離散コサイン変換部(IDCT)、
40は加算処理部、41は動き補償部、42はループ内
フィルタ、51は送受信処理部、52は受信バッファ、
53は逆量子化部、54は逆離散コサイン変換部(ID
CT)、55は加算処理部、56はループ内フィルタ、
57は動き補償部、58はセレクタである。
【0126】画面合成部31は、図1又は図16に於け
る画面合成用メモリ6等を含み、複数の映像信号源1−
1〜1−nからの映像信号を合成する機能部分を示し、
画面合成された映像信号を符号化用メモリ7に転送し、
この符号化用メモリ7に格納された合成1画面分につい
て、例えば、8×8画素のブロック単位に符号化処理を
行うものである。
【0127】この符号化処理に於いて、セレクタ33,
34を図示の状態とすることにより、フレーム間予測符
号化を行うことになり、その場合のブロックはインター
ブロックと称されるものである。又セレクタ33,34
を図示状態から切替えると、フレーム内符号化を行うこ
とになり、その場合のブロックはイントラブロックと称
されるものである。
【0128】又セレクタ33を介して離散コサイン変換
部35に入力された8×8画素のブロックに離散コサイ
ン変換処理を施し、それによるDCT係数を量子化部3
6に入力する。この場合、映像信号の性質により、DC
T係数は直流成分を含む低周波成分が大半を占めること
になるから、高周波成分を切り捨てることが可能とな
る。従って、この離散コサイン変換処理によっても情報
量を圧縮することができる。更に、量子化部36に於い
てDCT係数を量子化し、送信バッファ37に転送す
る。この場合、量子化部36に於ける量子化値(量子化
ステップ)を小さくすると、発生情報量が多くなるが、
受信再生画像の画質は良好となる。反対に、量子化値を
大きくすると、発生情報量は少なくなるが、受信再生画
像の画質は劣化する。
【0129】又送受信処理部51は、送信バッファ37
に蓄積されたデータをネットワーク等の伝送帯域に従っ
た一定の速度で送信処理を行うものである。又符号化制
御部10は、送信バッファ37の蓄積量を監視し、オー
バーフロー又はアンダーフローが生じないように、量子
化部36の量子化値(量子化ステップ)を制御するもの
である。
【0130】又逆量子化部38,逆離散コサイン変換部
39,加算処理部40,動き補償部41,ループ内フィ
ルタ42等を含む構成により、符号化フレームを再生
し、差分処理部32に於けるフレーム間差分を求める。
又動き補償部41は、或る大きさのブロックが、前回の
フレームと今回のフレームとに於いて差分が最小となる
位置を求め、その移動先を動きベクトルとし、フレーム
間差分が小さくなるように処理するものである。又ルー
プ内フィルタ42は、量子化によって発生した歪みが蓄
積されて、フレーム間予測効率の低下を少なくするもの
で、ブロック単位の空間的なローパスフィルタである。
【0131】又送受信処理部51を介して受信したデー
タは、受信バッファ52を介して逆量子化部53に入力
されて逆量子化され、逆離散コサイン変換部54により
逆離散コサイン変換され、加算処理部55とループ内フ
ィルタ56と動き補償部57とセレクタ58とにより、
フレーム内復号化又はフレーム間復号化を行って、復号
化用メモリ24に格納する。
【0132】前述の量子化部36に於いて、H.261
符号化の場合、1マクロブロック当たり一つの量子化値
を割当てることができる。この量子化値は1〜31の値
とすることができるものである。前述のように、この量
子化値が小さいと、発生情報量が多くなり、反対に量子
化値が大きいと、発生情報量は少なくなる。即ち、全体
的に量子化値が小さければ、画質が良好で動きの滑らか
な画像を送信することができ、又量子化値が大きけれ
ば、画質が粗く動きが飛び飛びの状態の画像を送信する
ことができる。
【0133】一連の符号化処理を終えたデータは送信バ
ッファ37に蓄積され、送受信処理部51によってネッ
トワークの伝送帯域に対応した一定速度で送信され、蓄
積される速度は符号化処理による発生情報量に従ったも
のとなる。そこで、送信バッファ37のオーバーフロー
を防止する為に、蓄積量が増加して所定値を超えると、
量子化値を大きくし、反対に、送信バッファ37のアン
ダーフローを防止する為に、蓄積量が所定値以下に減少
すると、量子化値を小さくするように、符号化制御部1
0により量子化部36を制御する。
【0134】今、使用可能な量子化値のうちの一番小さ
い量子化値をQmin、一番大きい量子化値をQma
x、実際に選択されている量子化値をQとする。例え
ば、Qmin=3,Qmax=12とし、送信バッファ
27の容量が1kバイトであるとすると、送信バッファ
27の占有量と量子化値との関係を次のように制御する
ことができる。 占有量が900バイト以上の時、Q=12 占有量が800バイト以上900バイト未満の時、Q=11 占有量が700バイト以上800バイト未満の時、Q=10 占有量が600バイト以上700バイト未満の時、Q=9 占有量が500バイト以上600バイト未満の時、Q=8 占有量が400バイト以上500バイト未満の時、Q=7 占有量が300バイト以上400バイト未満の時、Q=6 占有量が200バイト以上300バイト未満の時、Q=5 占有量が100バイト以上200バイト未満の時、Q=4 占有量が100バイト未満の時、Q=3
【0135】この量子化部36に於ける量子化値を、重
み付けしたチャネルに対しては、他のチャネルと異なる
制御を行って、重み付けしたチャネルの受信再生画像の
画質を良好なものとすることができる。
【0136】図28は本発明の実施の形態の量子化値決
定処理のフローチャートであり、重み付けしたチャネル
番号をF4 とする。先ずDに1を代入し(P1)、次に
D=F4 か否かを判定し(P2)、CD ≠F4 の場合
は、Dを1インクリメントし(P5)、D>nか否かを
判定し(P6)、D>nでない場合はステップ(P2)
に移行し、D>nの場合は、最小量子化値Qminと最
大量子化値Qmaxとを使用可能量子化範囲として設定
する(P9)。
【0137】又CD =F4 の場合、画面合成用メモリ内
のDエリア情報を獲得し(P3)、Dエリア内か否かを
判定し(P4)、Dエリア内の符号化を行っている場
合、αだけ小さい値の最小量子化値Qmin−αと最大
量子化値Qmax−αとを使用可能量子化範囲とて設定
する(P7)。又Dエリア以外は、全体の発生情報量を
一定に保つ為に、βだけ大きい値の最小量子化値Qmi
n+βと最大量子化値Qmax+βとを使用可能量子化
範囲として設定する(P8)。この場合のα及びβは、
1〜5程度とすることができる。そして、送信バッファ
37の占有量に応じて、使用可能量子化範囲内で量子化
値を決定し(P10)、量子化を行う(P11)。
【0138】例えば、最小量子化値Qminを3、最大
量子化値Qmaxを12とし、α及びβを2とすると、
重み付けしたチャネルの映像信号に対しての最小量子化
値Qminは1、最大量子化値Qmaxは10となり、
他のチャネルの映像信号に対しての最小量子化値Qmi
nは5、最大量子化値Qmaxは15となり、合成画面
全体としての発生情報量は、優先的量子化値制御を行わ
ない場合とほぼ同一となる。
【0139】なお、4画面合成の場合は、図26のCI
Fのブロック1〜12をGOB1〜GOB12とする
と、D=1の時に、GOB1,GOB3,GOB5を使
用可能量子化範囲をステップ(P7)により量子化値を
小さくするエリアとし、同様に、D=2の時、GOB
7,GOB9,GOB11を量子化値を小さくするエリ
アとする。又D=3の時は、GOB2,GOG4,GO
B6、D=4の時は、GOB8,GOB10,GOB1
2をそれぞれ量子化値を小さくするエリアとする。従っ
て、全体の情報発生量をほぼ一定として、重み付けした
チャネルの映像信号のみを量子化値を小さくして良好な
画質の画像として送信することができる。
【0140】前述の実施の形態は、重み付けしたチャネ
ルの優先的量子化値制御についてのものであるが、フレ
ーム間の予測符号化を行うか否かについても同様に制御
することができる。即ち、フレーム内符号化は、符号化
による歪みは小さいが、発生情報量が多くなる。又フレ
ーム間予測符号化は、前フレーム内のエリアとの差分を
用いて符号化を行うもので、符号化による歪みが大きく
なるが、発生情報量は少なくなる。
【0141】そこで、優先的量子化値制御に於ける重み
付けしたチャネル番号F4 と同様な重み付けを行ったチ
ャネルの映像信号に対しては、フレーム内符号化処理を
行い、他のチャネルの映像信号に対しては、フレーム間
予測符号化処理を行うように切替えることができる。即
ち、前述の優先的量子化値制御の場合と同様に、画面合
成用メモリ内のDエリア情報を取得し、Dエリア(重み
付けしたチャネル対応のブロック)であれば、フレーム
内符号化処理を行い、それ以外のブロックに対しては、
フレーム間予測符号化処理を行うように切替える。この
ような処理によって、重要な画面の精細度を保持する優
先的予測符号化制御を行うことができる。
【0142】又動き補償についても、その探索範囲につ
いて、重み付けしたチャネルの映像に対して広くするよ
うに制御することができる。例えば、H.261の動き
補償は、マクロブロック単位で輝度信号に対してのみ行
うもので、探索範囲が広い場合、現ブロックに近い値の
ブロックが見つかる可能性が高くなる為、符号化による
歪みが小さくなるが、探索時間が長くなり、符号化処理
全体の時間が長くなる。反対に、探索範囲が狭い場合、
現ブロックに近い値のブロックが見つかる可能性が低く
なる為、符号化による歪みが大きくなるが、探索時間が
短く、符号化処理全体の時間が長くなることはない。
【0143】そこで、画面合成用メモリ内のDエリア情
報を取得し、Dエリア内(重み付けしたチャネル対応の
ブロック)であれば、±αの範囲を探索範囲とし、それ
以外のブロックに対しては、±βの範囲を探索範囲とす
る優先的動き補償探索範囲制御を行うことができる。そ
の場合のαは例えば15、βは7若しくは0(探索を行
わない)とすることができる。それによって、重み付け
したチャネルの映像信号に対してのみ符号化歪みの小さ
い画像として伝送することができる。
【0144】又ループ内フィルタ42(図27参照)
は、量子化によって発生した歪みを、動き補償用メモリ
(動き補償部41内)に蓄積された量子化誤差を低減さ
せる為のローパス・フィルタである。従って、ループ内
フィルタ42によりシャープな画像もぼけたものとな
る。そこで、量子化値が小さく、量子化誤差が少ない場
合に、ループ内フィルタ42を切り離し、量子化値が大
きく、量子化誤差が多い場合に、ループ内フィルタ42
を接続するように制御する優先的ループ内フィルタ制御
を行うことができる。即ち、前述の優先的量子化値制御
と連動してループ内フィルタ42の切替制御を行うこと
ができる。
【0145】又前述の予測符号化決定制御に於いて、画
面合成用メモリ内のDエリア情報を取得し、Dエリア内
(重み付けしたチャネル対応のブロック)であれば、フ
レーム内符号化を行い、符号化による歪みが小さくなる
ことから、ループ内フィルタ42を切り離し、又Dエリ
ア以外のブロックに対しては、フレーム間予測符号化を
行い、符号化による歪みが大きくなることから、ループ
内フィルタ42を接続するように、切替制御を行うこと
ができる。
【0146】図29は映像信号情報取得部の説明図であ
り、映像信号源1−1〜1−nからの映像信号は、映像
信号セレクタ2を介して、図1又は図16に示す入力信
号V・H監視部3に入力される。又各映像信号源1−1
〜1−nからの拡張データを情報取得部61により収集
して、画面合成制御部9に転送する。
【0147】拡張データは、解像度情報やフレームレー
ト情報等を含むものである。映像信号源1−1〜1−n
は、この拡張データの伝送機能を有するディジタルカメ
ラや、MPEG1,H.261,JPEG等の復号化部
を含む構成を有するものである。解像度情報としては、
ディジタルカメラの場合、その有効エリア領域、MPE
G復号化部の場合、符号化フレームの解像度(704×
480等)、H.261復号化部の場合、CIF(35
2×288)又はQCIF(176×144)、JPE
G復号化部の場合、その解像度等とすることができる。
又フレームレート情報は、ディジタルカメラの場合、2
9.97Hz、復号化部の場合、デコードフレームレー
トとすることができる。
【0148】情報取得部61或いは画面合成制御部9
は、映像信号源1−1〜1−nからの拡張データを基に
重み付けするチャネルを決定し、前述の各実施の形態に
従った画面合成処理を行うことができる。例えば、画面
合成を行う為の映像信号源からのフレームレート情報を
基に、最も大きいフレームレートのチャネルに重み付け
し、そのチャネルの映像信号を優先的に取込むように制
御することができる。又解像度情報を基に、最も解像度
を高いチャネルに重み付けし、そのチャネルの映像信号
をズームアップする画面合成処理を行うことができる。
【0149】又重み付けとして、符号化部8に於ける情
報を用いて行うことができる。例えば、ハイブリッド符
号化部を有するシステムの場合、動き補償を利用するこ
とができる。即ち、動き補償により発生した動きベクト
ル(符号化ブロックと参照ブロックとのアドレス差)が
大きければ、そのエリアは前フレームとの差分が大きい
ことを意味し、その映像信号源から動きの大きい映像信
号を取込んだことになる。このように動きの大きい場合
は、何らかのイベントが発生したものと推定することが
できる。そこで、この映像信号源に重み付けし、優先的
取込みやズームアップ処理を行うことができる。
【0150】或る時間の符号化フレームtからsフレー
ム分の動き量をサンプリングする場合、符号化フレーム
tに於ける水平方向x、垂直方向yの動きベクトルのス
カラー量をut,x,y とすると、画面合成用メモリ内のA
ブロックの動きベクトルの総和UA は、UA =ΣT=t
t+s Σx=xj xhΣy=yj yhT,x,yと表すことができる。
ここで、4画面合成の場合、 xj=0,yj=0,xh=176,yh=144(ブ
ロック1) xj=0,yj=144,xh=176,yh=288
(ブロック2) xj=176,yj=0,xh=352,yh=144
(ブロック3) xj=176,yj=144,xh=352,yh=2
88(ブロック4) となる。
【0151】このようにして得られた画面合成用メモリ
内のAブロックの動きベクトルの総和UA を、A=1か
らA=nまで比較し、最も総和UA が大きくなるAの映
像信号源チャネルCA を重み付けするチャネルとする。
又拡大,ズームアップの切り出し部分は、最も動きベク
トルが大きかったブロックが中央に来るように指定す
る。この動きベクトルが最も大きくなるブロックを求め
る演算は、sフレーム毎に行い、常にどのチャネルの映
像信号が最も動き量が大きいかを監視し、変更があれ
ば、その都度入れ替えることができる。
【0152】又前述の映像信号の取込み直後に於いて各
種の制御を行うことができる。例えば、ネットワークに
対しては一定速度でデータを送出することになり、従っ
て、符号化処理を最適化することが有効となる。例え
ば、64kbpsの回線に対して、1秒間に10フレー
ムを送信したい場合、1フレーム当たりのデータ量は、
800バイトとなり、1マクロブロック当たりのデータ
量は2バイトとなる。即ち、符号化処理により、2バイ
トとなるような量子化値を設定することが望ましいこと
になる。
【0153】しかし、4画面合成を行い、1ブロックの
映像信号の取込み毎に全体の符号化を行うと、新規映像
信号取込みのブロックに対しては通常の差分データが発
生するが、それ以外のブロックに対しては映像信号が更
新されていないから、差分データは発生しない。即ち、
差分データが発生しない場合、1マクロブロック当たり
のデータ量は0バイトとなる。そこで、映像信号が更新
されたブロックに対しては、1マクロブロック当たり8
バイトを割当てることが可能となる。
【0154】このような点を利用して、映像信号取込み
直後の量子化値制御を行うことができる。例えば、図7
の画面合成処理に於ける変数Aは、量子化を行う際の画
面合成用メモリ6内のAブロックのみが映像信号を新規
に取込むことを示し、このAのブロックのみ差分量が存
在し、それ以外の差分量は零となる。そこで、Aのブロ
ックの符号化を行う際に、量子化後のデータ量を通常の
4倍に許容できる量子化値を割当てる。このような量子
化値制御により、全体としての発生情報量をほぼ一定に
維持して画面合成符号化を行うことができる。
【0155】又シーンチェンジ等のフレーム間の相関が
低い場合、フレーム内符号化が選択され、静止画のよう
なフレーム間の相関が高い場合、フレーム間予測符号化
が選択される。前述のように、新規に映像信号を取込ん
だ場合は、前フレームとの間の相関は低いが、それ以外
の映像信号については、前フレームとの相関が高いこと
になる。
【0156】そこで、前述の量子化値制御の場合と同様
に、画面合成用メモリ6のAブロックのみが映像信号を
新規に取込んでいるから、このAのブロックはフレーム
内符号化を行い、それ以外のブロックはフレーム間予測
符号化を行うことができる。それにより、新規に取込ん
だフレームのみ、フレーム内符号化によって良好な画質
として伝送する映像信号取込み直後の優先的予測符号化
制御を行うことができる。
【0157】又動き補償は、前述のように、前フレーム
内で、現在符号化しているブロックと最も近い値を探索
するものであり、画面合成に於ける新規に取込んだ映像
信号に関しては、前フレームとは移動したブロックが存
在する可能性が高いが、他のブロックは前フレームと同
一で動きがないものである。そこで、前述の画面合成用
メモリ6のAブロックについてのみ動き補償処理を行
い、その他のブロックは動き補償処理を省略する映像信
号取込み直後の優先的動き補償探索範囲制御を行うこと
ができ、符号化処理時間を短縮することができる。
【0158】又映像信号取込み直後の優先的ループ内フ
ィルタの切替制御を行うことができる。例えば、新規に
取込んだ映像信号に関しては、フレーム間差分が大き
く、量子化誤差が大きい可能性が高いが、それ以外の映
像信号に関してはフレーム間差分が小さく、量子化誤差
も小さくなるから、前述の画面合成用メモリ6のAブロ
ックの符号化に於いては、ループ内フィルタ42(図2
7参照)を接続し、それ以外のブロックの符号化時に
は、ループ内フィルタ42を切り離すように切替制御す
ることができる。
【0159】図30は動き補償及び画面合成配置の説明
図であり、動き補償は、前述のように、H.261では
マクロブロック単位で輝度信号について行うものであ
る。或るフレームtの動き補償を行う際には、前に符号
化したフレームt−1を用いるもので、(A)はフレー
ムtの先頭アドレス(x,y)と最終アドレス(x+1
6,y+16)とのマクロブロックを示し、(B)はア
ドレス(XL,YL),(XH,YH)の探索範囲を示
す。
【0160】フレームtのマクロブロックのアドレスを
前述のように(x,y)、画素の輝度をkt,x,y とし、
フレームt−1の参照用マクロブロックのアドレスを
(x’,y’)として、フレームtのアドレス(x,
y)とフレームt−1のアドレス(x’,y’)とに於
ける輝度値の絶対差分の和Kx',y' は、i=0〜15,
j=0〜15として、 Kx',y' =Σ|kt,x+i,y+i −kt-1,x'+i,y'+i | で表される。動き補償は16×16(マクロブロックの
輝度データ4個分)のエリアに対して行うことから、
(i,j)について0〜15としている。
【0161】又参照用マクロブロックのアドレス
(x’,y’)は、システム対応に選択することが可能
であり、全範囲若しくはアドレス(x,y)に対して±
Zの範囲とすることができる。この場合、アドレス
(x’,y’)は、 (XL,YL)≦(x’,y’)≦(XH,YH) XL=0,YL=0,XH=352−16,YH=28
8−16(全範囲探索時) XL=x−Z,YL=y−Z,XH=x+Z,YH=y
+Z(部分探索時) の関係となる。なお、Zは7若しくは15とすることが
できる。
【0162】前述の(x’,y’)に於いて演算した輝
度値の絶対差分の和Kx',y' の中で、最小の値となる時
の(x’,y’)を、参照すべき前フレームのデータの
アドレスとする。従って、その時の動きベクトルは、
(x’−x,y’−y)となる。
【0163】又それぞれ別個の映像信号源から入力され
た映像信号を合成する場合、互いに独立したものであ
り、動き補償を行う場合、最も小さいKx',y' が選択さ
れるのは、画面合成メモリ上の同一ブロック内にあるこ
とが予測される。従って、他のブロックにまたがった動
き補償を行うことは無意味である。そこで、前述の参照
用マクロブロックのアドレス(x’,y’)を、同一ブ
ロック内に限定することにより、効率的な符号化が可能
となる。
【0164】例えば、4画面合成時の各ブロックの先頭
アドレスを(xl,yl)、最終アドレスを(xh,y
h)とすると、図30の(B)を参照して、 (XL,YL)≦(x’,y’)≦(XH,YH) XL=xl,YL=yl,XH=xh−16,YH=y
h−16 (全範囲探索時) XL=max(x−Z,xl),YL=max(y−
Z,yl) XH=min(x+Z,xh),YH=min(y+
z,yh) (部分探索時) xl=0,yl=0,xh=176,yh=144(ブ
ロック1) xl=0,yl=144,xh=176,yh=288
(ブロック2) xl=176,yl=0,xh=352,yh=144
(ブロック3) xl=176,yl=144,xh=352,yh=2
88(ブロック4) のエリアに対してのみ動き補償処理を行う。このよう
に、画面合成中に動き補償の探索範囲を限定し、符号化
効率を向上させることができる。
【0165】又前述の各実施の形態は、主に4画面合成
の場合を示すが、画面合成数を更に多くすることも可能
である。例えば、図30の(C)は9画面合成の場合を
示し、又同図の(D)は16画面合成の場合を示す。一
般的には、合成1画面を等分割して、それぞれの映像信
号源に割付けることになる。
【0166】又画面合成数をN、画面分割数をnとし、
この画面分割数nを画面合成用メモリ6のブロック数と
すると、N=nの場合は、前述のように、均等に分割し
て、Nチャネル分の映像信号を取込んで合成することが
できる。又N>nの場合は、一度に取込みを行う映像信
号はnチャネル分であり、一定時間毎に取込みを行うチ
ャネル番号を切替える。
【0167】例えば、N=6,n=4とし、一定時間を
10秒として画面合成を行う場合、それらを初期値と
し、且つC1 〜C6 までの映像信号源チャネル番号を取
得する。これはシステム対応に予め指定することができ
る。この場合、画面分割数nが4であるから、C1 〜C
4 のチャネルの映像信号を順番に取込み、前述の各実施
の形態に従って画面合成を行う。その後、一定時間(1
0秒)経過すると、CAの値をCA+1 に代入し、C1
あった値をCN に代入する。即ち、(C1 =1,C2
2,C3 =3,C4 =4,C5 =5,C6 =6)→(C
1 =2,C2 =3,C3 =4,C4 =5,C5 =6,C
6 =1)のように変更される。
【0168】又次の10秒後に、(C1 =2,C2
3,C3 =4,C4 =5,C5 =6,C6 =1)→(C
1 =3,C2 =4,C3 =5,C4 =6,C5 =1,C
6 =2)のように変更される。従って、画面合成用メモ
リ上の例えば左上のブロックには、最初チャネルC1
映像信号が合成され、次にチャネルC2 の映像信号が合
成され、次にチャネルC3 の映像信号が合成され、4画
面合成の各ブロック位置は、順次ローテーションに従っ
て切替えられる。即ち、映像信号源数が多く、画面分割
数を少なくした場合に於いても、総ての映像信号源から
の映像信号を順次合成して送信することができる。従っ
て、受信再生表示することにより、映像信号源からの総
ての映像信号による合成画像を観察することができる。
【0169】前述の各実施の形態に於いて、画面合成部
と符号化部とが密結合の構成であるから、遠隔制御も容
易となる。例えば、H.320のデータパスについて、
ユーザデータ用に、LSD(Low Speed Data ),
MLP(Multi Layer Protocol ),HSD(Hig
h Speed Data ),No−Standard BASメッセー
ジ等が規定されており、これらを利用して遠隔制御を行
うことができる。
【0170】図31は本発明の実施の形態の遠隔制御の
概要説明図であり、71−1〜71−n,81−1〜8
1−nはテレビカメラ、72,82は蓄積映像再生部、
73,83はTVモニタ、74,84はキーボード,赤
外線キーパット,マウス,テンキー等の入力デバイス、
75,85はビデオ信号圧縮伝送装置(CODEC)、
76,86はFarSite用画面合成情報格納メモ
リ、77,87はNearSite用画面合成情報格納
メモリである。
【0171】ビデオ信号圧縮伝送装置75,85は、相
互間で命令(コマンド),応答(レスポンス),通知
(インディケーション)をそれぞれ行い、又テレビカメ
ラ71−1〜71−n,81−1〜81−nからの映像
信号を前述の実施の形態に対応して合成して符号化する
機能を備えている。又画面合成情報の管理は、それぞれ
のFarSite用画面合成情報格納メモリ76,86
と、NearSite用画面合成情報格納メモリ77,
87とにより行い、一方の変更内容を他方に通知するも
のである。
【0172】画面合成についての遠隔制御を行う為に、
各種のガイダンスを用意することができる。例えば、
(1).入力デバイス74,84からのガイダンス表示
指示に従って、遠隔メニュー設定/解除コマンドを被監
視側に送信した時の被監視側からのガイダンスの例につ
いて説明する。 (a).如何なる場合でも有効となる映像信号源数Nに
ついて総て画面合成させ、予め登録しておいた被監視画
像としての火山,河川,工場,電線等の文字データ及び
シリアル番号を重ね合わせ表示する状態とし、表示され
たシリアル番号の中の1個或いは複数個を入力デバイス
によって指示し、遠隔制御による画面合成を行う(ガイ
ダンス例a)。 (b).遠隔制御メニューを作成し、メニュー画面のみ
符号化して伝送し、表示されたメニューに従って、
(a)の場合と同様に入力デバイスにより指示する(ガ
イダンス例b)。 (c).如何なる場合でも有効となる映像信号源数Nに
ついて総て画面合成させ、遠隔制御メニューを作成し、
オーバレイ後に符号化して伝送し、表示されたメニュー
に従って、前述のように入力デバイスにより指示する
(ガイダンス例c)。
【0173】又(2).入力デバイスからのガイダンス
表示指示に従って、監視側で付加するガイダンス例につ
いて説明する。 (d).遠隔制御メニューを作成し、メニュー画面のみ
を符号化して伝送し、表示されたメニューに付加されて
いるシリアル数字を、入力デバイスにより指示する(ガ
イダンス例d)。
【0174】図32は遠隔操作用ガイダンスの説明図で
あり、(A)は前述のガイダンス例bに相当した表示内
容を示し、(B)は前述のガイダンス例aに相当した表
示内容を示す。又(C)は前述のガイダンス例cに相当
した表示内容を示し、(A),(B)の表示内容を合成
したものとなる。このような(A)又は(B)又は
(C)の表示内容は、それぞれTVモニタ73,83に
表示することができるものである。なお、ガイダンス内
容のみ、TVモニタ73,83とは別個の液晶表示部等
に表示させる構成とすることも可能である。
【0175】図33は遠隔制御により画面切替えの説明
図であり、ガイダンス例cに相当する表示画面91によ
り、NearSiteからシリアル番号の「4」を指示
して単一映像信号源選択を入力すると、このコマンドが
FarSiteに送出され、それに対するレスポンスが
FarSiteからNearSiteに送出される。従
って、火山監視の表示画面92となる。なお、メニュー
も表示されているものであるが、簡略化の為に図示を省
略している。
【0176】次に、メニューのシリアル番号「5」を指
示して4画面合成を選択すると、多画面合成設定コマン
ドがFarSiteに送出され、それに対するレスポン
スを受信し、表示画面93は最初の表示画面91と同様
の4画面合成となる。
【0177】図34は画面合成モード決定シーケンス説
明図であり、監視側(NearSite)の操作者によ
り入力によって、被監視側(FarSite)の画面合
成モードを設定する場合を示す。操作者が入力デバイス
からガイダンス(Guidance)設定要求を入力す
ると、監視側(NearSite)から被監視側(Fa
rSite)に遠隔ガイダンス(Guidance)設
定コマンドが送出され、これに対するレスポンスを被監
視側から監視側へ送出し、且つガイダンス(親画面)オ
ンとする。
【0178】このガイダンス(親画面)に基づいて操作
者はガイダンス設定要求を入力すると、監視側から被監
視側へ遠隔ガイダンス設定コマンドが送出され、これに
対するレスポンスと、次のガイダンス(子画面)が送出
される。このガイダンス(子画面)を基に操作者が決定
の入力を行うと、多画面合成設定コマンドが監視側から
被監視側へ送出され、それに対するレスポンスと、指定
した画面合成の内容が被監視側から監視側へ送出され、
操作者がガイダンス解除要求を入力すると、監視側から
被監視側へ遠隔ガイダンス解除コマンドが送出され、こ
れに対するレスポンスと、ガイダンスをオフとした画面
合成の内容が被監視側から監視側へ送出される。
【0179】図35は遠隔制御プロトコルの説明図であ
り、画面合成に関する遠隔制御プロトコル100の一例
について、命令(コマンド)と応答(レスポンス)と通
知(インディケーション)とに大別し、レスポンスrs
pの有無と、種別とその内容とを示す。又種別(詳細)
の識別子は16進(hex)として示している。なお、
hexの記号を省略している後述のコマンド等の識別子
やパラメータ等も16進表示を示す。
【0180】命令(コマンド)は、単一映像信号源選択
コマンド(識別子01)、多画面合成設定コマンド(識
別子02)、多画面合成問い合わせコマンド(識別子0
3)、映像入力源状態要求コマンド(識別子04)、遠
隔メニュー(Menu)設定/解除コマンド(識別子0
5)を含むものであり、レスポンスrspは有りとな
る。
【0181】又応答(レスポンス)は、命令(コマン
ド)に対するものであり、例えば、単一映像信号源選択
レスポンスの識別子は81(hex)、多画面合成設定
レスポンスの識別子は82(hex)となる。それに対
するレスポンスrspは無しとなる。又通知(インディ
ケーション)は、映像信号異常インディケーション(識
別子f1)、多画面合成変更インディケーション(識別
子f2)を含み、これらに対するレスポンスrspは無
しとなる。
【0182】図36はコマンド及びレスポンスの説明図
であり、単一映像信号源選択コマンド101は、1バイ
トの識別子(01)と、1バイトのパラメータ長と、パ
ラメータとしての1バイトの映像信号源チャネル総数と
1バイトの指定映像信号源チャネル番号とを含むもので
ある。又単一映像信号源選択レスポンス102は、1バ
イトの識別子(81)と、1バイトのパラメータ長と、
1バイトの選択チャネル番号を示すパラメータとを含む
ものである。
【0183】又多画面合成設定コマンド103は、図3
6と図37とにわたって示すものであり、1バイトの識
別子(02)と、1バイトのパラメータ長と、1バイト
或いは2バイトのパラメータとを含み、パラメータとし
ては、画面合成数N、画面分割数n、インターバル時
間、画面合成モード、画面合成モード用優先チャネル指
定、符号化モード、符号化モード用優先チャネル指定等
を含むものである。又座標情報やズームアップ座標及び
その比率の情報等も含むものである。
【0184】図38はコマンド及びレスポンスの説明図
であり、多画面合成レスポンス104(識別子82)
と、多画面合成問い合わせコマンド105(識別子0
3)と、多画面合成問い合わせレスポンス106(識別
子83)と、映像入力状態要求コマンド107(識別子
04)と、映像入力源状態要求レスポンス108(識別
子84)とを示す。多画面合成レスポンス104は、図
36及び図37に示す多画面合成設定コマンド103に
対するレスポンスである。
【0185】又映像入力源状態要求コマンド107は、
テレビカメラ等の映像信号源の状態を問い合わせるコマ
ンドであり、それに対する映像入力源状態要求レスポン
ス108は、映像信号源対応に正常(00)か異常(f
f)かを示すパラメータが付加される。
【0186】図39はコマンド及びレスポンス及びイン
ディケーションの説明図であり、遠隔ガイダンス設定/
解除コマンド109(識別子05)と、遠隔ガイダンス
設定/解除レスポンス110(識別子85)と、映像信
号異常インディケーション111(識別子f1)と、多
画面合成変更インディケーション112(識別子f2)
とを示す。遠隔ガイダンス設定/解除コマンド109及
び遠隔ガイダンス設定/解除レスポンスは、図34に於
ける遠隔ガイダンス設定コマンド及び遠隔ガイダンス設
定レスポンスに相当する。又映像信号異常インディケー
ション111及び多画面合成変更インディケーション1
12は、図35の通知(インディケーション)の詳細を
示す。
【0187】前述のようなコマンド,レスポンス,イン
ディケーションにより、図31或いは図42に示すシス
テムに於いて、多画面合成の遠隔制御を行うことができ
る。従って、遠隔監視システム等に於いて、被監視物の
画像の選択やズームアップ等の各種の多画面合成制御が
可能となる。
【0188】本発明は、前述の各実施の形態にのみ限定
されるものではなく、例えば、各実施の形態をそれぞれ
組合せることも可能であり、又映像信号源としては、テ
レビカメラのみでなく、録画再生装置やディジタル・カ
メラのようなスチールカメラによる映像信号を送出する
装置を用いることができる。又遠隔監視システムのみで
なく、テレビ会議システム等の他のシステムの多画面合
成にも適用できるものである。
【0189】
【発明の効果】以上説明したように、本発明は、相互に
非同期で動作する複数のテレビカメラや録画再生装置等
の映像信号源からの映像信号を合成する多画面合成方法
及び多画面合成装置に於いて、映像信号源1−1〜1−
nからの映像信号を順次選択して、入力信号V・H監視
部3により垂直,水平同期をとってフレーム単位で取込
み、画面合成割当エリアの大きさに対応して縮小して画
面合成用メモリ6の画面合成割当エリア対応のブロック
に書込み、符号化部8による符号化処理若しくは送信処
理を行うもので、映像信号をフレーム単位で取込む毎に
符号化処理若しくは送信処理が行われるから、非同期動
作の映像信号源を用いることによるシステム構成のコス
トダウンと、画面合成処理と符号化処理若しくは送信処
理とを関連させることにより、制御構成の簡単化とを図
ることができる利点がある。
【0190】又重み付けしたチャネルの映像信号に対し
て、優先的に量子化値、取込み回数、符号化処理等を行
うことにより、受信再生画像の中の重要な部分の明瞭度
を良くして、遠隔監視等の精度を向上させることができ
る。又合成画面上の無効エリアとなる部分を利用して、
拡大表示、ズームアップ表示、特定のパターンや受信復
号化画像の返送を行わせることができる。又遠隔制御の
為の情報の送受信を行って、多画面合成の遠隔制御を行
わせることもできる。従って、各種のシステムに適用し
て、経済的且つ効率の良い多画面処理を行うことができ
る。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の説明図である。
【図2】縮小化処理の説明図である。
【図3】初期化処理のフローチャートである。
【図4】画面合成配列の説明図である。
【図5】割込処理のフローチャートである。
【図6】割込処理のフローチャートである。
【図7】本発明の第1の実施の形態の画面合成処理のフ
ローチャートである。
【図8】非同期映像信号合成の説明図である。
【図9】本発明の第2の実施の形態の画面合成処理のフ
ローチャートである。
【図10】本発明の第3の実施の形態の画面合成処理の
フローチャートである。
【図11】本発明の第3の実施の形態の割込処理のフロ
ーチャートである。
【図12】本発明の第3の実施の形態の割込処理のフロ
ーチャートである。
【図13】取込みフレームの説明図である。
【図14】符号化処理フレームの説明図である。
【図15】受信表示フレームの説明図である。
【図16】本発明の第4の実施の形態の説明図である。
【図17】本発明の第4の実施の形態の画面合成処理の
フローチャートである。
【図18】本発明の実施の形態の映像入力有無判定処理
のフローチャートである。
【図19】本発明の実施の形態の無効エリア用処理のフ
ローチャートである。
【図20】本発明の他の実施の形態の無効エリア用処理
のフローチャートである。
【図21】本発明の更に他の実施の形態の無効エリア用
処理のフローチャートである。
【図22】画面合成配列の説明図である。
【図23】本発明の実施の形態のズームアップ処理を含
む無効エリア用処理のフローチャートである。
【図24】本発明の実施の形態のズームアップ処理を含
む無効エリア用処理のフローチャートである。
【図25】本発明の第5の実施の形態の画面合成処理の
フローチャートである。
【図26】CIFの説明図である。
【図27】符号化部の説明図である。
【図28】本発明の実施の形態の量子化値決定処理のフ
ローチャートである。
【図29】映像信号源情報取得部の説明図である。
【図30】動き補償及び画面合成配置の説明図である。
【図31】本発明の実施の形態の遠隔制御の概要説明図
である。
【図32】遠隔操作用ガイダンスの説明図である。
【図33】遠隔制御による画面切替えの説明図である。
【図34】画面合成モード決定シーケンス説明図であ
る。
【図35】遠隔制御プロトコルの説明図である。
【図36】コマンド及びレスポンスの説明図である。
【図37】コマンドの説明図である。
【図38】コマンド及びレスポンスの説明図である。
【図39】コマンド及びレスポンス及びインディケーシ
ョンの説明図である。
【図40】同期映像信号合成遠隔監視システムの説明図
である。
【図41】多画面合成の説明図である。
【図42】非同期映像信号合成遠隔監視システムの説明
図である。
【図43】伝送帯域とフレームレートとの関係説明図で
ある。
【符号の説明】
1−1〜1−n テレビカメラ(映像信号源) 2 映像信号セレクタ 3 入力信号V・H監視部 4 水平方向縮小化部 5 ラインメモリ(LINE FIFO) 6 画面合成用メモリ 7 符号化用メモリ 8 符号化部 9 画面合成制御部 10 符号化制御部

Claims (26)

    【特許請求の範囲】
  1. 【請求項1】 相互に非同期で動作する複数の映像信号
    源からの映像信号を合成する多画面合成方法に於いて、 前記映像信号源からの映像信号を順次選択し、且つ水
    平,垂直同期をとってフレーム単位で取込み、該フレー
    ム単位の映像信号を画面合成割当エリアに対応して縮小
    し、画面合成用メモリの前記画面合成割当エリア対応の
    ブロックに書込んで、該画面合成用メモリ上で画面合成
    し、該画面合成された映像信号の符号化処理若しくは送
    信処理を行う過程を含むことを特徴とする多画面合成方
    法。
  2. 【請求項2】 多画面合成を行う前記複数の映像信号源
    の中の一つの映像信号源からのフレーム単位の映像信号
    を取込む毎に、符号化処理若しくは送信処理を行う過程
    を含むことを特徴とする請求項1記載の多画面合成方
    法。
  3. 【請求項3】 符号化処理若しくは送信処理中に前記複
    数の映像信号源からのフレーム単位の映像信号を順次取
    込んで、前記画面合成用メモリに書込み、前記符号化処
    理若しくは送信処理の完了により、前記画面合成用メモ
    リに書込まれた映像信号の符号化処理若しくは送信処理
    を行う過程を含むことを特徴とする請求項1記載の多画
    面合成方法。
  4. 【請求項4】 重み付けしたチャネルの映像信号を、他
    のチャネルの映像信号より取込み回数を多くして、前記
    画面合成用メモリに書込んで合成する過程を含むことを
    特徴とする請求項1乃至3の何れか1項記載の多画面合
    成方法。
  5. 【請求項5】 前記複数の映像信号源からのそれぞれの
    映像信号の有無を判定し、映像信号有りと判定した映像
    信号源のみを選択し、選択した映像信号源からの映像信
    号のみをフレーム単位で取込む過程を含むことを特徴と
    する請求項1乃至4の何れか1項記載の多画面合成方
    法。
  6. 【請求項6】 合成画面上の無効エリアとなる前記画面
    合成用メモリのブロックに固定パターンを書込んで合成
    し、符号化処理若しくは送信処理を行う過程を含むこと
    を特徴とする請求項1乃至5の何れか1項記載の多画面
    合成方法。
  7. 【請求項7】 合成画面上の無効エリアとなる前記画面
    合成用メモリのブロックに、受信復号化したデータを書
    込んで合成し、符号化処理若しくは送信処理を行う過程
    を含むことを特徴とする請求項1乃至5の何れか1項記
    載の多画面合成方法。
  8. 【請求項8】 合成画面上の無効エリアとなる前記画面
    合成用メモリのブロックを含むブロックに、重み付けし
    たチャネルの映像信号を拡大合成するように書込む過程
    を含むことを特徴とする請求項1乃至5の何れか1項記
    載の多画面合成方法。
  9. 【請求項9】 合成画面上の無効エリアとなる前記画面
    合成用メモリのブロックに、重み付けしたチャネルの映
    像信号をズームアップ表示するように書込む過程を含む
    ことを特徴とする請求項1乃至5の何れか1項記載の多
    画面合成方法。
  10. 【請求項10】 重み付けしたチャネルの映像信号に対
    する量子化値を優先的に小さい値として符号化処理を行
    う過程を含むことを特徴とする請求項1乃至9の何れか
    1項記載の多画面合成方法。
  11. 【請求項11】 重み付けしたチャネルの映像信号に対
    してフレーム内符号化を行い、他のチャネルの映像信号
    に対してフレーム間予測符号化を行うように切替制御す
    る過程を含むことを特徴とする請求項1乃至10の何れ
    か1項記載の多画面合成方法。
  12. 【請求項12】 重み付けしたチャネルの映像信号に対
    する動き補償探索範囲を広くし、他のチャネルの映像信
    号に対する動き補償探索範囲を狭く又は動き補償を中止
    するように切替制御する過程を含むことを特徴とする請
    求項1乃至11項の何れか1項記載の多画面合成方法。
  13. 【請求項13】 重み付けしたチャネルの映像信号に対
    する符号化過程にループ内フィルタを切り離し、他のチ
    ャネルの映像信号に対する符号化過程にループ内フィル
    タを接続するように切替制御する過程を含むことを特徴
    とする請求項1乃至12の何れか1項記載の多画面合成
    方法。
  14. 【請求項14】 前記複数の映像信号源の解像度情報及
    びフレームレート情報を基に、前記重み付けするチャネ
    ルを選定する過程を含むことを特徴とする請求項10乃
    至13の何れか1項記載の多画面合成方法。
  15. 【請求項15】 前記複数の映像信号源からの映像信号
    対応の動き量情報を求め、該動き量情報を基に動き量が
    大きいチャネルに重み付けする過程を含むことを特徴と
    する請求項10乃至13の何れか1項記載の多画面合成
    方法。
  16. 【請求項16】 前記複数の映像信号源からの映像信号
    をフレーム単位で取込んで前記画面合成用メモリに書込
    み、該書込直後の映像信号の符号化過程にループ内フィ
    ルタを接続し、前フレームの映像信号の符号化過程に前
    記ループ内フィルタを切り離すように切替制御する過程
    を含むことを特徴とする請求項1乃至15の何れか1項
    記載の多画面合成方法。
  17. 【請求項17】 画面合成数より映像信号源数が大きい
    時に、前記画面合成数に従ったチャネル数の映像信号源
    を選択して映像信号を取込み、且つ一定時間毎に映像信
    号を取込むチャネルを切替える過程を含むことを特徴と
    する請求項1乃至16の何れか1項記載の多画面合成方
    法。
  18. 【請求項18】 画面合成制御指定を含むガイダンス
    を、画面合成のレイアウトと共に送出し、前記ガイダン
    スに従って指定された画面合成処理を行う過程を含むこ
    とを特徴とする請求項1乃至17の何れか1項記載の多
    画面合成方法。
  19. 【請求項19】 相互に非同期で動作する複数の映像信
    号源からの映像信号を合成する多画面合成装置に於い
    て、 複数の映像信号源を選択する映像信号セレクタと、 該映像信号セレクタを介して取込んだ映像信号の垂直,
    水平同期をとる入力信号V・H監視部と、 該入力信号V・H監視部により同期をとったフレーム単
    位の映像信号を、画面合成該当エリアに対応して縮小す
    る水平方向縮小化部と、 該水平方向縮小化部により縮小された映像信号をライン
    単位で書込む画面合成用メモリと、 前記映像信号の取込み及び前記画面合成用メモリ上に於
    ける画面合成とを制御する画面合成制御部と、 前記画面合成用メモリ上で合成された映像信号の符号化
    処理を行う符号化部とを備えたことを特徴とする多画面
    合成装置。
  20. 【請求項20】 前記映像信号源からの映像信号をフレ
    ーム単位で取込む毎に、前記符号化部に於ける符号化処
    理を行わせる符号化制御部を設けたことを特徴とする請
    求項19記載の多画面合成装置。
  21. 【請求項21】 前記画面合成制御部は、重み付けした
    チャネルの映像信号を他のチャネルの映像信号の取込み
    の回数を多くするように、前記映像信号セレクタを制御
    する構成を備えたことを特徴とする請求項19又は20
    記載の多画面合成装置。
  22. 【請求項22】 前記複数の映像信号源からの映像信号
    の有無を判定する映像信号源入力有無判定部を備え、前
    記画面合成制御部は、前記映像信号源入力有無判定部に
    より映像信号有りと判定した映像信号源からの映像信号
    のみを前記映像信号セレクタによって選択して取込み、
    且つ前記画面合成用メモリ上の合成ブロック位置を制御
    する構成を備えたことを特徴とする請求項19又は20
    記載の多画面合成装置。
  23. 【請求項23】 前記符号化制御部は、前記符号化部に
    於ける重み付けしたチャネル対応の映像信号に対する量
    子化値、フレーム内符号化とフレーム間予測符号化との
    切替え、ループ内フィルタの接続切替えの少なくとも何
    れか一つの制御構成を備えたこと特徴とする請求項19
    乃至22の何れか1項記載の多画面合成装置。
  24. 【請求項24】 合成画面上の無効エリアとなる前記画
    面合成用メモリのブロックに固定パターンを書込んで合
    成する為の特殊データ格納用メモリを設けたことを特徴
    とする請求項19乃至21の何れか1項記載の多画面合
    成装置。
  25. 【請求項25】 合成画面上の無効エリアとなる前記画
    面合成用メモリのブロックに、受信復号化したデータを
    書込む為の復号化部及び復号化用メモリを設けたことを
    特徴とする請求項19乃至21の何れか1項記載の多画
    面合成装置。
  26. 【請求項26】 前記画面合成制御部は、重み付けした
    チャネルの映像信号を前記特殊データ格納用メモリに一
    旦取込み、該特殊データ格納用メモリに取込んだ映像信
    号をズームアップ表示するように前記画面合成用メモリ
    に書込む制御構成を備えたことを特徴とする請求項19
    乃至23の何れか1項記載の多画面合成装置。
JP03712598A 1998-02-19 1998-02-19 多画面合成方法及び多画面合成装置 Expired - Fee Related JP3684525B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP03712598A JP3684525B2 (ja) 1998-02-19 1998-02-19 多画面合成方法及び多画面合成装置
US09/167,432 US6456335B1 (en) 1998-02-19 1998-10-06 Multiple picture composing method and multiple picture composing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03712598A JP3684525B2 (ja) 1998-02-19 1998-02-19 多画面合成方法及び多画面合成装置

Publications (2)

Publication Number Publication Date
JPH11234654A true JPH11234654A (ja) 1999-08-27
JP3684525B2 JP3684525B2 (ja) 2005-08-17

Family

ID=12488897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03712598A Expired - Fee Related JP3684525B2 (ja) 1998-02-19 1998-02-19 多画面合成方法及び多画面合成装置

Country Status (2)

Country Link
US (1) US6456335B1 (ja)
JP (1) JP3684525B2 (ja)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346193A (ja) * 2000-05-31 2001-12-14 Hitachi Kokusai Electric Inc 監視テレビカメラシステム
GB2398697A (en) * 2001-12-21 2004-08-25 Nec Corp Superposition of images in a portable communication device
WO2005027518A1 (ja) * 2003-09-11 2005-03-24 Fujitsu Limited 画像伝送装置及び画像伝送システム
KR100488915B1 (ko) * 2001-10-04 2005-05-10 주식회사 대우일렉트로닉스 타임랩스 브이시알의 장기 녹화장치 및 그 방법
JP2006279893A (ja) * 2005-03-30 2006-10-12 Victor Co Of Japan Ltd 画像処理装置及び画像処理方法
JP2007221367A (ja) * 2006-02-15 2007-08-30 Mitsubishi Electric Corp 画像伝送装置および画像伝送システム
JP2007259133A (ja) * 2006-03-23 2007-10-04 Matsushita Electric Works Ltd 映像伝送システム
JP2008546224A (ja) * 2005-04-28 2008-12-18 アップル インコーポレイテッド 多人数参加型テレビ会議における映像処理
US7844296B2 (en) 2006-09-21 2010-11-30 Kabushiki Kaisha Toshiba Video mobile terminal
US7944509B2 (en) 2005-08-25 2011-05-17 Kabushiki Kaisha Toshiba Video processing apparatus, video processing method and program for asynchronous input and output video images
WO2011070904A1 (ja) * 2009-12-07 2011-06-16 Hoya株式会社 内視鏡装置
WO2012081210A1 (ja) * 2010-12-14 2012-06-21 パナソニック株式会社 映像処理装置、カメラ装置、映像処理方法およびプログラム
US8243905B2 (en) 2005-04-28 2012-08-14 Apple Inc. Multi-participant conference setup
US8249237B2 (en) 2005-04-28 2012-08-21 Apple Inc. Heterogeneous video conferencing
US8269816B2 (en) 2005-04-28 2012-09-18 Apple Inc. Video encoding in a video conference
WO2013014844A1 (ja) * 2011-07-25 2013-01-31 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
KR101352001B1 (ko) * 2012-04-06 2014-01-16 주식회사 에스원 영상 감시 시스템 및 그 방법
US8638353B2 (en) 2005-04-28 2014-01-28 Apple Inc. Video processing in a multi-participant video conference
JP2014096615A (ja) * 2012-11-07 2014-05-22 Imageom:Kk 動画処理装置、カメラ監視システム、プログラム
US8861701B2 (en) 2005-04-28 2014-10-14 Apple Inc. Multi-participant conference adjustments
CN107222688A (zh) * 2017-06-19 2017-09-29 厦门视诚科技有限公司 32路画面轮巡的显示系统及方法
JP2018061181A (ja) * 2016-10-07 2018-04-12 万弘 坂入 情報処理システム
WO2023017578A1 (ja) * 2021-08-11 2023-02-16 日本電信電話株式会社 映像信号を合成する装置、方法及びプログラム
JP2023063251A (ja) * 2021-10-22 2023-05-09 アクシス アーベー ビデオストリームを送信するための方法およびシステム
CN116761033A (zh) * 2023-07-12 2023-09-15 重庆埃德加数据科技有限公司 一种用户终端显示信号ip化编解码及远程虚拟多屏显示系统

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768774B1 (en) * 1998-11-09 2004-07-27 Broadcom Corporation Video and graphics system with video scaling
US6636222B1 (en) 1999-11-09 2003-10-21 Broadcom Corporation Video and graphics system with an MPEG video decoder for concurrent multi-row decoding
JP4501167B2 (ja) * 1998-11-09 2010-07-14 コニカミノルタビジネステクノロジーズ株式会社 画像処理システム
US6573905B1 (en) 1999-11-09 2003-06-03 Broadcom Corporation Video and graphics system with parallel processing of graphics windows
US6501480B1 (en) 1998-11-09 2002-12-31 Broadcom Corporation Graphics accelerator
US6853385B1 (en) * 1999-11-09 2005-02-08 Broadcom Corporation Video, audio and graphics decode, composite and display system
US6798420B1 (en) 1998-11-09 2004-09-28 Broadcom Corporation Video and graphics system with a single-port RAM
US7982740B2 (en) 1998-11-09 2011-07-19 Broadcom Corporation Low resolution graphics mode support using window descriptors
US7446774B1 (en) 1998-11-09 2008-11-04 Broadcom Corporation Video and graphics system with an integrated system bridge controller
US6661422B1 (en) * 1998-11-09 2003-12-09 Broadcom Corporation Video and graphics system with MPEG specific data transfer commands
JP3976942B2 (ja) * 1998-12-18 2007-09-19 キヤノン株式会社 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体
JP4208315B2 (ja) * 1998-12-25 2009-01-14 キヤノン株式会社 データ通信制御装置及びその制御方法、データ通信システム、記録媒体
US6686955B1 (en) * 1999-01-29 2004-02-03 International Business Machines Corporation Lightweight image manipulation for maximizing the capacity of digital photo storage media
US6975324B1 (en) 1999-11-09 2005-12-13 Broadcom Corporation Video and graphics system with a video transport processor
US7275256B1 (en) 2001-08-28 2007-09-25 Music Choice System and method for providing an interactive, visual complement to an audio program
US7337463B1 (en) * 2000-03-09 2008-02-26 Intel Corporation Displaying heterogeneous video
JP2001282215A (ja) * 2000-03-28 2001-10-12 Nec Viewtechnology Ltd 映像表示システムの表示制御方法及び映像表示システム
JP2002027393A (ja) * 2000-07-04 2002-01-25 Teac Corp 画像処理装置、画像記録装置および画像再生装置
US7023492B2 (en) * 2000-10-19 2006-04-04 Microsoft Corporation Method and apparatus for encoding video content
CN1484918A (zh) * 2000-12-01 2004-03-24 ������·�ɷ����޹�˾ 视频终端,视频终端通信系统,以及电视会议系统
US7034791B1 (en) * 2000-12-14 2006-04-25 Gary Odom Digital video display employing minimal visual conveyance
JP4226231B2 (ja) * 2001-06-13 2009-02-18 株式会社日立国際電気 映像信号処理システム
KR20030009669A (ko) * 2001-07-23 2003-02-05 삼성전자주식회사 다채널 영상 부호화기 및 그 부호화 방법
JP2003189168A (ja) * 2001-12-21 2003-07-04 Nec Corp 携帯電話用カメラ
US7428019B2 (en) * 2001-12-26 2008-09-23 Yeda Research And Development Co. Ltd. System and method for increasing space or time resolution in video
JP2003319374A (ja) * 2002-04-24 2003-11-07 Sony Corp 遠隔監視装置及び遠隔監視システム
US20040075741A1 (en) * 2002-10-17 2004-04-22 Berkey Thomas F. Multiple camera image multiplexer
US7921443B2 (en) 2003-01-31 2011-04-05 Qwest Communications International, Inc. Systems and methods for providing video and data services to a customer premises
US8490129B2 (en) 2003-01-31 2013-07-16 Qwest Communications International Inc. Methods, systems and apparatus for selectively distributing urgent public information
US20040150748A1 (en) * 2003-01-31 2004-08-05 Qwest Communications International Inc. Systems and methods for providing and displaying picture-in-picture signals
US20040150749A1 (en) * 2003-01-31 2004-08-05 Qwest Communications International Inc. Systems and methods for displaying data over video
US7194249B2 (en) 2003-01-31 2007-03-20 Qwest Communications International Inc. Methods, systems and apparatus for providing urgent public information
US10142023B2 (en) 2003-01-31 2018-11-27 Centurylink Intellectual Property Llc Antenna system and methods for wireless optical network termination
US8713617B2 (en) 2003-01-31 2014-04-29 Qwest Communications International Inc. Systems and methods for providing television signals using a network interface device
US7158169B1 (en) * 2003-03-07 2007-01-02 Music Choice Method and system for displaying content while reducing burn-in of a display
US7626609B1 (en) 2003-03-07 2009-12-01 Music Choice Method and system for displaying content while reducing burn-in of a display
CN1571508B (zh) * 2003-07-19 2010-05-12 华为技术有限公司 一种实现多画面的方法
US8112449B2 (en) 2003-08-01 2012-02-07 Qwest Communications International Inc. Systems and methods for implementing a content object access point
US7809655B1 (en) 2003-09-17 2010-10-05 Starsat, Llc Method for scheduling and usage of satellite bandwidth
US8063916B2 (en) 2003-10-22 2011-11-22 Broadcom Corporation Graphics layer reduction for video composition
US20050097620A1 (en) * 2003-10-30 2005-05-05 Honeywell International Inc. Architecture for multi-channel video processing
JP4561353B2 (ja) * 2004-12-24 2010-10-13 日産自動車株式会社 映像信号処理装置とその方法及び車載カメラシステム
US8004542B2 (en) * 2005-01-17 2011-08-23 Kabushiki Kaisha Toshiba Video composition apparatus, video composition method and video composition program
KR100836616B1 (ko) * 2006-11-14 2008-06-10 (주)케이티에프테크놀로지스 영상 합성 기능을 가지는 휴대용 단말기 및 휴대용단말기의 영상 합성 방법
JP4804378B2 (ja) * 2007-02-19 2011-11-02 パナソニック株式会社 映像表示装置及び映像表示方法
US8515194B2 (en) 2007-02-21 2013-08-20 Microsoft Corporation Signaling and uses of windowing information for images
US8316089B2 (en) * 2008-05-06 2012-11-20 Microsoft Corporation Techniques to manage media content for a multimedia conference event
US9204086B2 (en) * 2008-07-17 2015-12-01 Broadcom Corporation Method and apparatus for transmitting and using picture descriptive information in a frame rate conversion processor
US8091290B1 (en) 2008-08-12 2012-01-10 William Drakes Geodesic entertainment sphere
US7973684B2 (en) 2008-10-27 2011-07-05 Microchip Technology Incorporated Self auto-calibration of analog circuits in a mixed signal integrated circuit device
US8692937B2 (en) * 2010-02-25 2014-04-08 Silicon Image, Inc. Video frame synchronization
JP2011199735A (ja) * 2010-03-23 2011-10-06 Toshiba Corp 画像処理装置および画像処理システム
JP5735227B2 (ja) * 2010-07-16 2015-06-17 ルネサスエレクトロニクス株式会社 画像変換装置及び画像変換システム
FR2965692B1 (fr) * 2010-10-01 2013-06-28 Euro Media France Traitement de signaux video issus de cameras de surveillance urbaine
US8773993B2 (en) 2011-01-31 2014-07-08 Apple Inc. Adaptive bandwidth estimation
KR101543712B1 (ko) * 2011-08-25 2015-08-12 한국전자통신연구원 증강현실을 이용한 보안 감시 장치 및 방법
JP5541264B2 (ja) * 2011-11-09 2014-07-09 横河電機株式会社 運転監視装置および運転監視方法
JP6582644B2 (ja) * 2014-08-11 2019-10-02 セイコーエプソン株式会社 撮像装置、撮像表示装置、及び、車両
US20160373799A1 (en) * 2015-06-16 2016-12-22 Telefonaktiebolaget Lm Ericsson (Publ) Remote monitoring and control of multiple iptv client devices
US20170078618A1 (en) * 2015-09-11 2017-03-16 Kabushiki Kaisha Toshiba Display control device, display control system, and display control method
JP6168672B1 (ja) * 2016-03-24 2017-07-26 株式会社日立国際電気 映像切替装置を備えた符号化装置および映像切替検知方法を含む符号化方法
CN109891875B (zh) * 2016-11-08 2021-11-16 索尼公司 图像传送设备、方法、系统和存储介质
CN107172400B (zh) * 2017-06-19 2023-03-24 厦门视诚科技有限公司 实现32路画面轮巡的装置及方法
EP3468187A1 (en) * 2017-10-03 2019-04-10 Axis AB Method and system for encoding video streams
AU2021325471B2 (en) * 2020-08-11 2023-08-24 Contentsrights Llc Information processing device, information processing program, and recording medium

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6026350B2 (ja) 1978-05-15 1985-06-22 日本電気株式会社 複数画像画面合成装置
JPH01181389A (ja) * 1988-01-14 1989-07-19 Hitachi Ltd 画像処理装置
JPH047991A (ja) 1990-04-25 1992-01-13 Sony Corp 暗視カラー撮像装置
JP2775542B2 (ja) * 1991-12-16 1998-07-16 富士写真フイルム株式会社 ディジタル電子スチル・カメラおよびその制御方法
JPH08149130A (ja) * 1994-11-25 1996-06-07 Canon Inc 映像コミュニケーションシステム
US5781788A (en) * 1995-05-08 1998-07-14 Avc Technology, Inc. Full duplex single clip video codec
US5724475A (en) * 1995-05-18 1998-03-03 Kirsten; Jeff P. Compressed digital video reload and playback system
JPH09116821A (ja) * 1995-10-18 1997-05-02 Toshiba Corp テレビジョン受像機
JP3801242B2 (ja) * 1995-10-31 2006-07-26 株式会社日立製作所 縮小画像表示装置
JPH09149396A (ja) * 1995-11-27 1997-06-06 Fujitsu Ltd 多地点テレビ会議システム
US5847771A (en) * 1996-08-14 1998-12-08 Bell Atlantic Network Services, Inc. Digital entertainment terminal providing multiple digital pictures
US5995146A (en) * 1997-01-24 1999-11-30 Pathway, Inc. Multiple video screen display system
JPH10304328A (ja) * 1997-04-25 1998-11-13 Fujitsu Ltd テレビ会議システムにおいて、多画面合成信号を生成する方式
GB2329542B (en) * 1997-09-17 2002-03-27 Sony Uk Ltd Security control system and method of operation

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346193A (ja) * 2000-05-31 2001-12-14 Hitachi Kokusai Electric Inc 監視テレビカメラシステム
KR100488915B1 (ko) * 2001-10-04 2005-05-10 주식회사 대우일렉트로닉스 타임랩스 브이시알의 장기 녹화장치 및 그 방법
GB2398697A (en) * 2001-12-21 2004-08-25 Nec Corp Superposition of images in a portable communication device
GB2398697B (en) * 2001-12-21 2005-03-23 Nec Corp Camera device and method for portable communication terminal
US8358706B2 (en) 2003-09-11 2013-01-22 Fujitsu Limited Apparatus and system to multiplex data on a plurality of digital frame images into data on one frame and to encode and transmit the data
WO2005027518A1 (ja) * 2003-09-11 2005-03-24 Fujitsu Limited 画像伝送装置及び画像伝送システム
JP2006279893A (ja) * 2005-03-30 2006-10-12 Victor Co Of Japan Ltd 画像処理装置及び画像処理方法
JP2008546224A (ja) * 2005-04-28 2008-12-18 アップル インコーポレイテッド 多人数参加型テレビ会議における映像処理
JP2015133721A (ja) * 2005-04-28 2015-07-23 アップル インコーポレイテッド 多人数参加型テレビ会議における映像処理
JP2012105289A (ja) * 2005-04-28 2012-05-31 Apple Inc 多人数参加型テレビ会議における映像処理
US8861701B2 (en) 2005-04-28 2014-10-14 Apple Inc. Multi-participant conference adjustments
US8638353B2 (en) 2005-04-28 2014-01-28 Apple Inc. Video processing in a multi-participant video conference
US8243905B2 (en) 2005-04-28 2012-08-14 Apple Inc. Multi-participant conference setup
US8249237B2 (en) 2005-04-28 2012-08-21 Apple Inc. Heterogeneous video conferencing
JP2012178840A (ja) * 2005-04-28 2012-09-13 Apple Inc 多人数参加型テレビ会議における映像処理
US8269816B2 (en) 2005-04-28 2012-09-18 Apple Inc. Video encoding in a video conference
US7944509B2 (en) 2005-08-25 2011-05-17 Kabushiki Kaisha Toshiba Video processing apparatus, video processing method and program for asynchronous input and output video images
JP2007221367A (ja) * 2006-02-15 2007-08-30 Mitsubishi Electric Corp 画像伝送装置および画像伝送システム
JP2007259133A (ja) * 2006-03-23 2007-10-04 Matsushita Electric Works Ltd 映像伝送システム
US7844296B2 (en) 2006-09-21 2010-11-30 Kabushiki Kaisha Toshiba Video mobile terminal
JP5647996B2 (ja) * 2009-12-07 2015-01-07 Hoya株式会社 内視鏡装置
WO2011070904A1 (ja) * 2009-12-07 2011-06-16 Hoya株式会社 内視鏡装置
US9762816B2 (en) 2010-12-14 2017-09-12 Panasonic Intellectual Property Management Co., Ltd. Video processing apparatus, camera apparatus, video processing method, and program
JP2012129689A (ja) * 2010-12-14 2012-07-05 Panasonic Corp 映像処理装置、カメラ装置および映像処理方法
WO2012081210A1 (ja) * 2010-12-14 2012-06-21 パナソニック株式会社 映像処理装置、カメラ装置、映像処理方法およびプログラム
US9049384B2 (en) 2010-12-14 2015-06-02 Panasonic Intellectual Property Management Co., Ltd. Video processing apparatus, camera apparatus, video processing method, and program
JP2013026978A (ja) * 2011-07-25 2013-02-04 Sony Computer Entertainment Inc 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
WO2013014844A1 (ja) * 2011-07-25 2013-01-31 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
US9736458B2 (en) 2011-07-25 2017-08-15 Sony Interactive Entertainment Inc. Moving image capturing device, information processing system, information processing device, and image data processing method
KR101352001B1 (ko) * 2012-04-06 2014-01-16 주식회사 에스원 영상 감시 시스템 및 그 방법
JP2014096615A (ja) * 2012-11-07 2014-05-22 Imageom:Kk 動画処理装置、カメラ監視システム、プログラム
JP2018061181A (ja) * 2016-10-07 2018-04-12 万弘 坂入 情報処理システム
CN107222688A (zh) * 2017-06-19 2017-09-29 厦门视诚科技有限公司 32路画面轮巡的显示系统及方法
CN107222688B (zh) * 2017-06-19 2023-03-03 厦门视诚科技有限公司 32路画面轮巡的显示系统及方法
WO2023017578A1 (ja) * 2021-08-11 2023-02-16 日本電信電話株式会社 映像信号を合成する装置、方法及びプログラム
JP2023063251A (ja) * 2021-10-22 2023-05-09 アクシス アーベー ビデオストリームを送信するための方法およびシステム
CN116761033A (zh) * 2023-07-12 2023-09-15 重庆埃德加数据科技有限公司 一种用户终端显示信号ip化编解码及远程虚拟多屏显示系统

Also Published As

Publication number Publication date
US6456335B1 (en) 2002-09-24
JP3684525B2 (ja) 2005-08-17

Similar Documents

Publication Publication Date Title
JP3684525B2 (ja) 多画面合成方法及び多画面合成装置
JP2001238221A (ja) ビデオ通信システム、デコーダ回路、ビデオディスプレイシステム、エンコーダ回路、及びビデオデータ受信方法
US6313863B1 (en) Image communication apparatus and system
JPH07336462A (ja) 通信端末および通信システム
JP2002044644A (ja) 顕微鏡の生画像を符号化する方法および装置
JP2001189932A (ja) 画像伝送システムおよび画像伝送方法
JPH11239329A (ja) 画像伝送装置およびそれを使用した画像伝送システム
JPS62200883A (ja) 電子会議システムにおける図形表示装置
JPH11234639A (ja) テレビ電話装置
JP4798594B2 (ja) 画像信号処理装置および画像配信システム
JPH08256315A (ja) 多地点同時モニタ制御方法
JPH07250322A (ja) 画像符号化装置とそれを用いた遠隔監視システム
JP3927606B2 (ja) 画像通信装置及びシステム、並びに画像受信装置及び受信画像データの処理方法
JPH09121333A (ja) 画像伝送装置
JP2005072879A (ja) 遠隔画像監視システム
JPH11187383A (ja) 映像監視システム及び映像監視方法
JPH0946710A (ja) 画像通信システムおよび画像通信装置
JPH09130799A (ja) 画像圧縮加工方法及びテレビ会議システム
JPH08289296A (ja) 画像通信システムおよびその伝送方法
JP2592983B2 (ja) テレビ会議方式
JP2003309841A (ja) 動画像伝送装置
JPH0484585A (ja) 静止画伝送表示装置
JPH08298655A (ja) Tv会議/ビデオ・オン・デマンド自動切替方法及び装置
JPH0294886A (ja) 映像信号の符号化・復号化方法およびその装置
JPH09205628A (ja) 画像情報伝送装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050519

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090610

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100610

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110610

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120610

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120610

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130610

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140610

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees