JPH0563074B2 - - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は通信会議等に用いる画素符号化伝送
装置に関するものである。

〔従来の技術〕

第４図は、従来、動画と静止画の伝送を行う画
像符号化伝送装置が採つていた構成を示すブロツ
ク図であり、２６が動画用カメラ、２７が動画用
カメラ２６の出力の動画像信号、２８は動画像信
号２７を符号化すると共に、動画符号化データ２
９を動画像信号３２に復号する動画符号化復号化
装置（以下コーデツクと略す）２９は動画符号化
データ、３０は動画コーデツク２８や静止画コー
デツク３６を対局と結ぶための伝送制御部、３１
は伝送制御部３０がやりとりをする多重化デー
タ、３２は動画コーデツク２８で復号された動画
像信号、３３は動画信号画像を表示するモニタ、
３４は静止画用カメラ、３５は静止画像信号、３
６は静止画を符号化復号化する静止画コーデツ
ク、３７は静止画符号化データ、３８は静止画像
信号、３９は静止画像信号３８を表示するモニタ
である。

第５図は従来の画像符号化伝送装置の動画符号
化部の一例を示すブロツク図であり、１はカメラ
からの信号をデイジタル化した入力信号、２はラ
スター方向に走査された信号をブロツキングして
出力するブロツキング回路、４はブロツキングさ
れた符号化単位となる入力信号系列、５はダイナ
ミツクベクトル量子化器、６はDVQインデツク
ス、７はDVQ出力ベクトル、２５は雑音の蓄積
を防ぐフイルタ、９はフイルタを通つたDVQ出
力ベクトル、１０は減算器、１１はフレーム間差
分ベクトル、１２は適応ベクトル量子化器、１３
は適応ベクトル量子化（以下、AVQと略す）符
号化情報、１４はAVQ出力ベベクトル、１５は
加算器、１６は局部復号ベクトル、１７は動画の
画素数分のフイールドメモリ、１８は遅延された
前フレームベクトルである。

第６図は従来の画像符号化伝送装置の復号化部
の例を示すブロツク図であり、６はDVQインデ
ツクス、２０はダイナミツクベクトル量子化器復
号化部、２５はデイジタルフイルタ、９はフイル
タを通つたDVQ出力ベクトル、１３はAVQ符号
化情報、１９は適応ベクトル量子化器復号化部、
１４は局部復号されたフレーム間差分ベクトル、
１５は加算器、１６は局部復号ベクトル、１７は
動画の画素数分のフイールドメモリ、２３はブロ
ツク化された信号系列をラスター方向に走査変換
を行うデブロツキング回路、２４は動画出力信号
系列である。

次に動作について説明する。第４図において、
動画用のカメラ２６によつて映像は電気信号に変
換されて動画像信号２７が得られる。動画像信号
２７は動画コーデツク２８で圧縮、符号化され動
画符号化データ２９として伝送制御部３０へ送ら
れる。伝送制御部３０は、他の送信すべきデータ
等と動画符号化データ２９を多重化して、多重化
データ３１を送信し、また同時に対局から送られ
て来た多重化データを受信し、分配を行なう。動
画符号化データ２９が受信した多重化データ３１
から得られたなら、動画コーデツク２８に送ら
れ、対局からの動画像信号３２が復号されて動画
用のモニタ３３に表示される。

一方、静止画コーデツク３６は、通常は符号化
動作は行なわず、静止画送信の必要が起きた時の
み静止画用カメラ３４からの静止画像信号３５を
符号化し、静止画符号化データ３７として伝送制
御部３０に送られる。一般に、静止画符号化にお
いては、動画に比べてサンプル数が多くしてあ
り、また動画のように連続フレームの間の相関を
利用した符号化が行なえない等の理由から、１画
面の静止画符号化データは１画面の動画符号化デ
ータよりもかなり多い。そのため、静止画伝送が
開始されると、伝送制御部は静止画伝送を最短時
間で終了させるために動画符号化データの送受信
を一時中断する。

第５図の動画コーデツク符号化部のブロツク図
において、カメラより入力され、デイジタル化さ
れた入力信号系列１は、ブロツキング回路２で量
子化単位のｍ×ｎ画素にブロツク化された入力ベ
クトル４となる。

入力ベクトル４は、ダイナミツクベクトル量子
化器５において、フイールドメモリ１７より読出
された前フレーム信号１８等から成るダイナミツ
クコードテーブルと比較され、入力ベクトル４の
画面内位置を中心に変位した位置の前フレームベ
クトルに量子化され、変位量に対応するDVQイ
ンデツクス６とDVQ出力ベクトル７が得られる。
DVQ出力ベクトル７はデイジタルフイルタ２５
で量子化雑音の蓄積を防ぐために平滑化が行なわ
れる。

フイルタで平滑化されたDVQ出力ベルト９は
減算器１０に入り、入力ベクトル４から減算さ
れ、フレーム間差分ベクトル１１を得る。フレー
ム間差分ベクトル１１は適応ベクトル量子化器１
２で動き検出、平均値分離正規化等の適応処理を
施され、AVQ出力ベクトル１４とインデツクス
等のAVQ符号化情報１３が出力される。AVQ出
力ベクトルはフイルタで平滑化されたDVQ出力
ベクトル９と加算器１５で加算され局部復号ベク
トル１６となり、フイールドメモリ１７の対応す
る位置に書き込まれる。

フイールドメモリ１７の内容は、次フレームの
符号化時にDVQで引用される。AVQ符号化情報
１３や、DVQインデツクス６は可変長符号化さ
れ、伝送制御部が送信データとして送出するが、
伝送情報量を一定にするために、発生情報量が多
い場合は符号化の対象となるフレームを間引いて
コマ落し制御を行なう。

第６図の復号化部ブロツク図において、DVQ
インデツクス６とAVQ符号化情報１３が動画像
信号系列２４に復号される。まずDVQインテツ
クス６は、DVQ復号化部２０とデイジタルフイ
ルタ２５に入り、フイールドメモリ１７内の前フ
レーム復号画像の該当位置からDVQインデツク
ス６に従い変位した位置の前フレームベクトルが
読み出され、デイジタルフイルタ２５で平滑化さ
れる。一方、AVQ符号化情報１３はAVQ復号化
部１９でフレーム間差分局部復号ベクトル１４に
復号され、加算器１５で、フイルタで平滑化され
た前フレームベクトル９と加算されて局部復号ベ
クトル１６が得られる。局部復号ベクトル１６は
次のフレームの復号のためにフイードドメモリ１
７の対応する位置に書き込まれる。

以上は、動画コーデイングの動作であるが、動
画コーデツクは限られた情報量の範囲で動きのあ
る映像を符号書するために画素数を減らしてい
る。これに対し、静止画や書画の符号化には高い
解像度が要求され、動画の符号化と静止画の符号
化を同一の画素数で行なうことは困難である。そ
のため、動画と静止画を伝送する場合は動画コー
デツクと独立した静止画コーデツクを用意する必
要がある。

〔発明が解決しようとする問題点〕

従来の画像符号化伝送装置は以上のように構成
されているので動画コーデツクと静止画コーデツ
クを独立に持つている必要がありコストが高い、
また両コーデツク兼用で１つの符号化部を使う場
合、動画には画素数が多すぎて発生情報量が多く
限られた回線では動きがなめらかにできない、あ
るいは静止画には解像度が不足で、性能に不満が
出るという問題点があつた。

この発明は上記のような問題点を解消するため
になされたもので、動画／静止画共通の符号化部
を用いて、コストが安く、しかも、動画／静止画
いずれも画質、性能の良い画像符号化伝送装置を
得ることを目的とする。

〔問題点を解決するための手段〕

この発明に係る画像符号化伝送装置は、動画と
静止画の符号化に、共通の符号化部を用い、静止
画の該像度を動画に対して水平で２倍、垂直で２
倍に設定するとともに、フレーム間符号化復号化
ループ内のフイールドメモリを動画の画素数分だ
け持ち、復号化部の復号化ループの外にのみ静止
画の画素数分のフレームメモリを持たせたもので
ある。

〔作用〕

この発明における画像符号化伝送装置は、動画
の符号化の場合は従来と同様の動作であるが、静
止画符号化の場合は、静止画の画素を水平方向に
１画素飛ばし、垂直方向に１ライン飛ばしで４回
に分けて符号化することとし、最初のサブサンプ
ル画像はフレーム内符号化で伝送され、続いてフ
レーム間符号化で量子化歪を収束させ、引き続き
フレーム間符号化で残りのサブサンプル画像を符
号化伝送することで、動画の４倍の画素数の静止
画を伝送する。

〔発明の実施例〕

以下、この発明の一実施例を図について説明す
る。

第１図はこの発明による画像符号化伝送装置の
符号化部の例を示すブロツク図である。第１図に
おいて１はカメラからの信号をデイジタル化した
入力信号系列、２はラスター方向に走査された信
号をブロツキングして出力するブロツキング回
路、３は静止画伝送時のブロツキングを制御する
静止画コントローラ、４はブロツキングされた、
符号化単位となる入力ベクトル、５はダイナミツ
クベクトル量子化器、６はDVQインデツクス、
７はDVQ出力ベクトル、８はDVQインデツクス
によつて特性を変える適応フイルタ、９は適応フ
イルタ８を通つたDVQ出力ベクトル、１０は減
算器１１はフレーム間差分ベクトル、１２は適応
ベクトル量子化器、１３はAVQ符号化情報、１
４はAVQ出力ベクトル、１５は加算器、１６は
局部復号ベクトル、１７は動画の画素数分のフイ
ールドメモリ、１８は遅延された前フレームベク
トルである。

第２図はこの発明による画像符号化伝送装置の
復号化部の例を示すブロツク図であり、６は
DVQインデツクス、２０はダイナミツクベクト
ル量子化器復号化部、８はDVQインデツクスに
よつて特性を変える適応フイルタ、９は適応フイ
ルタ８を通つたDVQ出力ベクトル、１３はAVQ
符号化情報、１９は適応ベクトル量子化器復号化
部、１４は局部復号されたフレーム間差分ベクト
ル、１５は加算器、１６は局部復号ベクトル、１
７は動画の画素数分のフイールドメモリ、２１は
静止画の画素数（動画の４倍）分の容量のフレー
ムメモリ、２２は静止画出力信号系列、３は静止
画コントローラ、２３はブロツク化されたベクト
ルをラスター方向に走査変換を行うデブロツキン
グ回路、２４は動画出力信号系列である。

次に動作について説明する。

第１図において動画の符号化の場合は従来例と
同様の動作を行う。ただし、この実施例ではフレ
ーム間符号化復号ループ内のフイルタに、DVQ
インデツクス６によつて適応的に平滑化特性を変
化させる適応フイルタ８を用いている。この動作
は第３図の画素配置において、Ｘの画素のフイル
タ出力をX′とした時に次式で表わされる。

X′＝αX＋１−α／４（Ａ＋Ｂ＋Ｃ＋Ｄ） ここで制御変数αは、DVQインデツクスの示
している移動ベクトルの水平方向成分をｕ、垂直
方向成分をＶとした時次式で表わす。

α＝ε^-a(1u1+1v1) ａは画像の統計的性質によつて定まる正の定数
とする。

また上式は移動ベクトルの絶対値距離を用いて
いるが、次式を用いても良い。

α＝ε^-a(u2+v2)1/2 上記適応フイルタは動画復号化部でも用いるこ
とは言うまでもない。

一方、静止画の符号化の場合には次のような動
作となる。

静止画の符号化画素数は動画と比べて水平垂直
それぞれ２倍であるので、第３図の二重丸、丸、
三角、四角の位置に対応する画素をそれぞれ別々
に符号化を行なうようにする。第３図において動
画の符号化画素を仮りに二重丸の印の位置だとす
る。静止画符号化の場合は、まず最初に二重丸の
画素のみをブロツク化し、フレーム内符号化を行
なつて伝送する。それが終了すると、量子化され
てフイールドメモリ１７に書かれた信号を予測値
としてフレーム間符号化が行なわれる。静止画の
場合フレーム間符号書の間、入力信号１は変化し
ないので、フレーム間符号化は適応ベクトル量子
化誤差を繰返し符号化していることになる。フレ
ーム間符号化が何周期か行なわれると、やがて二
重丸の画素の復号値は収束する。二重丸の画素値
がある程度収束した所で、静止画コントローラ３
は第３図の丸印の画素をまとめてブロツク化する
ようブロツキング回路に指示を出す。丸印の画素
は、直前に符号化された二重丸の画素の復号値を
予測値として符号化を始める。丸印の画素の復号
値もやがて収束すると、三角印の画素符号化、そ
れが終ると四角印の画素というように４つのシー
ケンスが順番に行なわれる。

復号化部における動画の復号化は従来例の動作
と同じであるが、静止画の復号化の場合は、復号
信号は静止画フレームメモリ２１に一担、取り込
まれる。静止画送信側の符号化部が第３図の二重
丸の画素を符号化伝送している場合は、受信側の
復号化部の静止画コントローラ３は静止画フレー
ムメモリ２１の二重丸の画素位置に復号信号が書
き込まれるというように制御を行なう。二重丸の
画素しか受信側復号化部へ伝送されていなくて
も、補間処理を行なえば大まかな全体像が静止画
伝送の早い時点で表示されるようにすることも可
能である。

上記実施例では、静止画伝送中も、適応フイル
タはDVQインデツクスによつて制御されるが、
静止画伝送中は次のような別の制御を行なう方が
良い。まず、第３図の二重丸の画素がフレーム内
符号化されている時は、適応フイルタの重み係数
を小さくし、フレーム間符号化を行なつている時
は、フレーム間符号化の回数が増す毎にαを大き
くして行き、二重丸の画素のフレーム間符号化を
終える時にはαが“１”となるように制御する。
次に第３図の丸印の画素のフレーム間符号化が開
始するが、この時はふたたびαを小さくし、除々
に“１”に近づけるようにする。

また、上記実施例では、静止画伝送中は静止画
を映しているカメラの入力は変化しないことと仮
定しているが、符号化部の入口に静止画フレーム
メモリを用意しておけば、一度静止画をメモリに
取り込むことで、カメラ入力は変化しても良くな
る。また、この時は、復号化部の静止画フレーム
メモリと共用にすればハードウエアの増加は少な
くてすむ。

〔発明の効果〕

以上のように、この発明によれば、画像符号化
伝送装置を、動画／静止画共通の符号化部で、そ
れぞれに適した画素数で符号化を行なうように構
成したので、動画／静止画共に必要な性能を満た
し、安価な装置が得られる効果がある。

【図面の簡単な説明】

第１図はこの発明による画像符号化伝送装置の
符号化部の例を示すブロツク図、第２図はこの発
明による画像符号化伝送装置の復号化部の例を示
すブロツク図、第３図はこの発明による画像符号
化伝送装置の静止画符号化画素の配置を示す説明
図、第４図は従来の動画と静止画の伝送を行う画
像符号化伝送装置の構成例を示すブロツク図、第
５図は従来の画像符号化伝送装置の符号化部の例
を示すブロツク図、第６図は従来の画像符号化伝
送装置の復号化部の例を示すブロツク図、第７図
はこの発明による画像符号化伝送装置に用いた適
応フイルタの動作の説明図である。 図中符号１は入力信号系列、２はブロツキング
回路、３は静止画コントローラ、４は入力ベクト
ル、５はダイナミツクベクトル量子化器、６は
DVQインデツクス、７はDVQ出力ベクトル、８
は適応フイルタ、９はフイルタを通つたDVQ出
力ベクトル、１０は減算器、１１はフレーム間差
分ベクトル、１２は適応ベクトル量子化器、１３
はAVQ符号化情報、１４はAVQ出力ベクトル、
１５は加算器、１６は局部復号ベクトル、１７は
フイールドメモリ、１８は前フレームベクトル、
１９は適応ベクトル量子化器復号化部、２０はダ
イナミツクベクトル量子化器復号化部、２１は静
止画フレームメモリ、２２は静止画出力信号系
列、２３はデブロツキング回路、２４は動画出力
信号系列、２５はデイジタルフイルタ、２６は動
画用カメラ、２７は動画像信号、２８は動画コー
デツク、２９は動画符号化データ、３０は伝送制
御部、３１は多重化データ、３２は動画像信号、
３３は動画用モニタ、３４は静止画用カメラ、３
５は静止画像信号、３６は静止画コーデツク、３
７は静止画符号化データ、３８は静止画像信号、
３９は静止画用モニタである。なお、図中、同一
符号は同一、又は相当部分を示す。

Claims (1)

1. 【特許請求の範囲】 １ ラスター方向走査順に入力される画像信号系
   列をｍ×ｎ（ｍ、ｎは整数）画素の符号化処理単
   位ブロツクにブロツク化して入力ベクトルとする
   ブロツキング回路と、少なくとも１フレーム以上
   前の画像１フイールド分の記憶を行なうフイール
   ドメモリと、上記フイールドメモリから符号化対
   象位置もしくは周辺の信号系列をブロツキングし
   て出力ベクトルのセツトを構成して読み出し、上
   記入力ベクトルに最も近似した上記出力ベクトル
   の１つをダイナミツクベクトル量子化（以後
   DVQと略す）出力ベクトルとして求め、該DVQ
   出力ベクトルのインデツクス（ラベル）を符号化
   出力とするダイナミツクベクトル量子化器と、上
   記DVQ出力ベクトルに対し平滑化処理を施しベ
   クトル量子化雑音の蓄積を防ぐデイジタルフイル
   タと、上記入力ベクトルと上記デイジタルフイル
   タ出力との差分信号を求める減算器と、上記減算
   器出力を平均値分離正規化処理して動き検出した
   後にベクトル量子化を行う適応ベクトル量子化器
   と、上記デイジタルフイルタ出力と適応ベクトル
   量子化出力ベクトルとの加算を行ない局部復号ベ
   クトルを得る加算器を備える符号化部と、少なく
   とも１フレーム以上前の復号画像１フイールドの
   記憶を行うフイールドメモリと上記適応ベクトル
   量子化器で符号化された適応ベクトル量子化符号
   化情報を復号化し復号フレーム間差分ベクトルを
   再生する適応ベクトル量子化器復号化器と、上記
   ダイナミツクベクトル量子化器で符号化された
   DVQインデツクスを復号化し、移動ベクトルを
   再生して、フイールドメモリの読み出し位置を制
   御するダイナミツクベクトル量子化器復号化部
   と、上記移動ベクトルに応じて読み出された上記
   フイールドメモリの出力につながるデイジタルフ
   イルタと、上記復号フレーム間差分ベクトルと上
   記フイルタの出力を加算する加算器と、上記加算
   器の出力である局部復号ベクトルをラスター走査
   の画像信号系列に変換するデブロツキング回路を
   備える復号化部により画像信号符号化復号化基本
   ユニツトを構成し、水平、垂直それぞれ２倍の解
   像度を持つ静止画信号を対象に、上記符号化部の
   ブロツキング回路を、静止画の場合は画素を水平
   垂直共に１画素おき、１ラインおきにとり、動画
   の画素間隔と同じ間隔でサブサンプルブロツク化
   を行ない、ブロツク化する画素を４通りにずらし
   て、静止画の全ての画素が符号化されるように指
   示し、上記画像信号符号化復号化基本ユニツトを
   用いて最初のサブサンプル画像信号をフレーム内
   符号化伝送した後、前記フレーム内符号化済画像
   信号を予測信号として用いフレーム間符号化伝送
   を行ない、残りのサブサンプル画像信号について
   も上記フレーム間符号化済画像信号を予測値とし
   て用いフレーム間符号化伝送を行ない、上記フレ
   ーム間符号化を同じサブサンプル画像信号に対し
   て数フレーム間くり返して画質を向上させるよう
   に指示を行う符号化側静止画コントローラと、上
   記復号化部において上記局部復号出力ベクトルを
   取り込む静止画フレームメモリと、静止画復号時
   に最初のサンプル画像信号をフレーム内復号化で
   得、上記静止画フレームメモリの該当位置に書き
   込んだ後、上記復号画像フイルドメモリ内に書か
   れた上記フレーム内復号化済画像信号を予測信号
   として用いフレーム間復号化をし、残りのサブサ
   ンプル画像信号に対しても上記フレーム間復号化
   信号を予測値としてフレーム間復号化を行ない、
   上記フレーム間復号化を数フレーム間くり返して
   上記静止画フレームメモリの該当位置に書き込む
   よう指示する復号化側静止画コントローラとを備
   えたことを特徴とする画像符号化伝送装置。 ２ 上記雑音の蓄積を防ぐデイジタルフイルタ
   に、上記VDQインデツクスが示す動き量の大き
   さに従つてDVQ出力ベクトルに対する平滑化処
   理の度合を強めるため、フイルタの重み係数αを
   可変させて、対象画素をα倍した値と、周辺４画
   素を平均した値を（１−α）倍した値との和を対
   象画素のフイルタ出力とする動き適応フイルタを
   用いた特許請求の範囲第１項記載の画像符号化伝
   送装置。