JPH0993592A

JPH0993592A - 画像符号化装置

Info

Publication number: JPH0993592A
Application number: JP8100917A
Authority: JP
Inventors: Akio Kurobe; 彰夫黒部; Tadanori Tezuka; 忠則手塚
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-07-13
Filing date: 1996-04-23
Publication date: 1997-04-04

Abstract

(57)【要約】【課題】特に誤差蓄積抑制のための強制画面更新時
に、入力画像と記録画像との差分データを符号化するこ
とで、発生データ量を削減すると共に圧縮率の向上と遅
延データの抑制を図る。【解決手段】フレーム間符号化を行なう画像符号化装
置において、過去の画像を記録する画像メモリ３０２と
フレーム内符号化が発生した場合に入力画像と画像メモ
リ３０２に記録された記録画像との比較を行ない、入力
画像と記録画像の相関を調べる比較手段３０６と、２つ
の画像の相関の度合によって入力画像と記録画像の差分
画像を符号化手段３１６に入力するか入力画像を符号化
手段３１６に入力するかを切替える入力切替手段３０７
を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像信号を高能
率に圧縮符号化する符号化装置に関するものである。

【０００２】

【従来の技術】テレビ電話やテレビ会議システムにおい
ては、膨大な情報量を持つ画像信号は高能率で符号化し
た後、伝送先に伝送することが一般的である。このよう
な高能率符号化の例としてはフレーム間予測符号化方法
があげられるが、この方法によれば、現在伝送しようと
する画像フレーム（入力画像と称す）の各画素のデータ
と直前に伝送した画像フレーム（前画像と称す）の同位
置での画素の差分を取り、この差分データが入力画像の
データに代わり直交変換等により符号化され伝送する。

【０００３】この方法では、差分データの転送が繰り返
されるうちに、符号化器の精度誤差による送信側と受信
側での符号化誤差が蓄積されてしまう。従って、この符
号化誤差の蓄積を抑制するために差分データを符号化し
て転送ぜずに入力画像を符号化して転送する強制画像更
新と呼ぶ定期リフレッシュ操作を行なう必要がある。

【０００４】以下に従来の画像符号化装置の一例を図５
を用いて説明を行なう。図５において、５０１は符号化
を行う画像符号化装置、５０２はフレーム予測手段、５
０３および５１６はフレームメモリ、５０４は入力切替
えスイッチ、５０５は入力画像の差分を取る差分出力手
段、５０６は量子化手段、５０７は符号変換を行う符号
変換手段、５０８は逆符号を行う逆符号化手段、５０９
および５１４は出力切替えスイッチ、５１０および５１
５は和画像を生成する和出力手段、５１１は復号を行う
画像符号化手段、５１２は逆符号変換を行う逆符号変換
手段、５１３は逆量子化手段である。

【０００５】送信側の画像符号化装置５０１では、フレ
ーム予測手段５０２において入力画像とフレームメモリ
５０３に記録された前画像の比較が行なわれ、２つの画
像の相関が調べられる。２つの画像の相関が強い場合
は、フレーム間符号化を行なうためれ入力切替スイッチ
５０４が切替えられ、入力画像と前画像の差分データが
量子化手段５０６へと出力される。量子化手段５０６で
は、直交変換を用いた空間変換と量子化が行なわれ、そ
の結果が符号化手段５０７と逆量子化手段５０８に出力
される。量子化手段５０６で出力された量子化データは
符号変換手段５０７で可変長符号に変換された後、無線
等の伝送路を通して受信側の画像符号化装置５１１へと
伝送される。また、逆量子化手段５０８では入力された
量子化手段５０６の出力が逆量子化され、再び差分デー
タが生成され出力される。逆量子化手段５０８により出
力された差分データは出力切替スイッチ５０９に入力さ
れ、出力切替５０９によってスイッチフレーム間符号化
の場合はフレーム内の前画像と和がとられ出力され、フ
レーム内符号化の場合は逆量子化手段の出力がそのまま
出力される。フレームメモリ５０３では、この出力切替
スイッチ５０９の出力を新たな前画像として記録する。

【０００６】受信側の画像符号化装置５１１では、可変
長符号化され伝送されたデータは逆符号変換手段５１２
によって固定長の符号に逆変換され、逆量子化手段５１
３によって逆量子化された後、伝送されたデータがフレ
ーム間符号化されたものである場合は、出力切替スイッ
チ５１４が切替えられ、フレームメモリ５１６に記録さ
れた前画像と逆量子化手段５１３の出力の和が出力画像
として出力される。また、出力切替えスイッチ５１４か
ら出力された出力画像は新たな前画像としてフレームメ
モリ５１６に記録される。

【０００７】また、入力画像と前画像の相関が小さい場
合には、送信側の画像符号化装置５０１の入力切替えス
イッチ５０４と出力切替スイッチ５０９がフレーム間符
号化の場合と反対方向に切替えられ、フレーム内符号化
が行なわれる。受信側の画像符号化装置５１１では、フ
レーム内符号化されたデータを受け取ると出力切替スイ
ッチ５１４がフレーム間符号化の場合と反対に切替えら
れ、逆量子化手段の出力が出力画像として出力される。

【０００８】さらに、フレーム予測手段５０２では、連
続してフレーム間符号化が行なわれた回数を記録し、フ
レーム間符号化の回数がしきい値を越えた場合には、フ
レーム内符号化を強制的に行う。これは、量子化手段５
０６および逆量子化手段５０８、５１２の演算誤差がフ
レームメモリに記録された画像に蓄積され、送信側と受
信側のフレームメモリ間で、記録した画像の不一致が発
生することを抑制する効果がある。

【０００９】つぎに、従来フレーム間差分符号化された
画像符号化データをアナログの電話回線を伝送路として
伝送するための規格として、ＩＴＵのＳＧ１５よりＤｒ
ａｆｔＲｅｃｏｍｍｅｎｄａｔｉｏｎＨ．３２４が
勧告されている。この中では、Ｈ．２６３で符号化され
たデータをＨ．２２３により伝送することが決められて
いる。Ｈ．２２３では網遅延が大きく、誤り率が高いア
ナログ電話回線での画像データの伝送方式としてウイン
ドーサイズ１２８フレームのセレクティブリピートＡＲ
Ｑ（ＡｕｔｏｍａｔｉｃＲｅｐｅａｔｒｅＱｕｅｓ
ｔ）方式を定めている。この方式による伝送制御のタイ
ミング図を図６に示す。図６において（ａ）は符号化画
像、（ｂ）は符号化側伝送出力、（ｃ）は網遅延、
（ｄ）は復号化側伝送入力、（ｅ）は復号化画像表示の
タイミングを表している。またＡ〜Ｅは異なる画像フレ
ームをＡ１〜Ａ７は画像Ａを１〜７の伝送フレームで伝
送することを意味している。図６（Ａ）において画像Ａ
は誤りなく伝送されたが、伝送に要する時間約２００ｍ
ｓに網遅延約１００ｍｓが加わり、符号化画像Ａに対し
ては約３００ｍｓ後に復号化側で表示されている。符号
化および復号化に必要な時間は無視している。画像Ｂに
関しては、Ｂ５フレームの伝送中にエラーが発生したた
め復号化側はＢ５フレームの再送要求を出すが、こらが
符号化側に届くまでには網遅延１００ｍｓかかる。この
間も符号化側はウインドーサイズ内であるためＢ６、Ｃ
１からＣ５を伝送しており、その間の効率低下はおこら
ない。符号化側はＣ５の伝送後にＢ５を再送する。しか
し、それが復号化側に届くのにさらに１００ｍｓを要す
るため、結局Ｂの画像はＡの画像に比べて２００ｍｓ余
分に時間をようし、符号化から約５００ｍｓ後に復号化
側で表示される。次に図６（Ｂ）に示すように再送され
たＢ５が再び誤った場合には、その再送要求が送信側に
届くまでにさらに２００ｍｓが加算される。符号化して
から４００ｍｓ後である。それだけの容量の再送バッフ
ァを符号化、復号化双方で有し、管理するのは負担が大
きいため、Ｈ．２２３では再送回数を１回に制限してお
り、再送データが誤った場合には復号化側では画面凍結
し、符号化側に画面更新要求をする。符号化側ではこれ
を受けて、フレーム内符号化したデータを送信する。

【００１０】

【発明が解決しようとする課題】しかしながら、上記従
来の画像符号化装置では、誤差蓄積を抑制するために、
前画像と相関が強いため、フレーム間符号化が行なえる
場合であってもフレーム内符号化を定期的に行なう必要
があった。フレーム間符号化は前画像との差分を符号化
し、量子化するため、差分を取らずに符号化する場合に
比べて符号化後のデータサイズを小さくする効果があ
る。一方、フレーム内符号化は、入力画像をそのまま符
号化するため、符号化したデータの量がフレーム間符号
化の場合に比べて大きくなってしまう。従って、フレー
ム間符号化を定期的に行なうことは、符号化後の発生デ
ータ量を増加させてしまう原因となっている。

【００１１】特にテレビ電話などにおいては、話者の姿
勢がほとんど変わらず、また、背景部分の変化も少ない
ため、ほとんどの場合はフレーム間符号化が適用でき
る。しかしながら、従来の画像符号化装置では、定期的
に誤差蓄積抑制のための強制画面更新を必要とするた
め、フレーム内符号化による発生データ量の増加を引き
起す原因となっていた。

【００１２】この、データ量の増大は、伝送経路が遅い
場合においては伝送遅延を引き起こす要因となる。伝送
遅延が発生した場合、実時間で伝送できるコマ数が少な
くなるためコマとびが発生し、動きがぎこちなくなるな
どの視覚的に好ましくない状態を引き起こしていた。フ
レーム内符号化において発生するデータ量の増加を抑制
し動きを良くするために、従来の方法としては符号化率
を上げデータ量を減らすために量子化係数を変更する方
法があるが、この方法ではデータ量が削減できる代わり
に画質の低下を招いてしまっていた。

【００１３】また、テレビ電話などにおいて話者が一度
席をはずし再び元の位置にもどるという様な、シーンチ
ェンジ後に元のシーンに再び戻る場合においては、前画
像とだけ比較を行なう従来の画像符号化装置では、以前
に似た画像が存在していたとしても、過去の画像を記録
していないために画像フレーム内符号化を行なわなけれ
ばならなかった。

【００１４】本発明は、上記の様な問題を解決するため
のもので、誤差蓄積抑制の為の強制画面更新時やシーン
チェンジ後に過去の画像に戻った場合、再送データにエ
ラーが生じた時の画面更新要求でのフレーム内符号化に
よる情報量の増加を抑制する画像符号化装置を提供する
ことを目的としている。

【００１５】

【課題を解決するための手段】この課題を解決するため
に、本発明の画像符号化装置では、請求項１記載の発明
においては、過去の画像を記録しておく画像メモリと、
フレーム内符号化が発生した場合に入力画像と画像メモ
リの記録画像とを比較し相関を検出する比較手段と、入
力画像と記録画像の差分をとる差分出力手段と、比較手
段の結果により入力画像または記録画像と入力画像の差
分をのどちらを符号化手段に入力するか切替える為の入
力切替手段を有している。上記した構成により、画像メ
モリは画像を記録し、比較手段はフレーム内符号化が発
生した場合に入力画像と画像メモリに記録された記録画
像とを比較し、２つの画像の相関を調べ、差分出力手段
は入力画像と画像メモリに記録された画像の差分画像を
生成し、入力切替手段は比較手段の結果により差分出力
手段で生成された差分画像を符号化手段に出力するか入
力画像を出力するか切替えることにより、フレーム内符
号化が発生した場合の出力データ量の増加を抑制するこ
とができる。

【００１６】請求項２記載の発明においては、復号化手
段と、和出力手段と、過去の画像を記録している画像メ
モリと、復号化手段の出力が入力画像との差分か入力画
像そのものかにより画像メモリに記録された記録画像と
復号化手段の出力との和を出力するか復号化手段の出力
をそのまま出力するかを切替える出力切替手段を有して
いる。上記した構成により、復号化手段は受信された符
号化されたデータを復号し、和出力手段は復号化手段の
出力と画像メモリに記録された画像の和画像を生成し、
出力切替手段は復号化された画像が差分画像か入力画像
かによって和出力手段によって生成された和画像を出力
するか復号化手段で生成された画像を出力するか切替え
ることにより、伝送されたデータが画像メモリの記録画
像との差分データであった場合でも出力画像を生成する
ことができる。

【００１７】請求項３記載の発明においては、請求項１
記載の画像符号化装置に加え、符号化手段の出力を復号
する復号化手段と、和出力手段と、復号化したデータが
入力画像と記録画像の差分画像であるかどうかで復号化
手段の出力に記録画像を加えた画像を出力するか復号化
手段の出力そのものを出力するかを切替えるための出力
切替手段と、出力切替手段の出力により画像メモリの内
容を更新するための画像メモリ管理手段を備えている。
上記した構成により、復号化手段は符号化手段で符号化
したデータの復号を行ない、和出力手段は復号化手段で
復号した画像と画像メモリに記録された画像の和画像を
生成し、出力切替手段は符号化された画像が入力画像と
記録画像の差分画像の場合は和出力手段で生成した画像
を出力し、符号化された画像が入力画像の場合は復号化
手段で復号した画像を出力し、画像メモリ管理手段は出
力切替手段の出力に応じて画像メモリの記録内容を更新
することにより、入力画像の変化に対して画像メモリを
更新していくことができる。

【００１８】請求項４記載の発明においては、請求項２
記載の画像符号化装置に加え、出力切替手段の出力に応
じて画像メモリの内容を更新するための画像メモリ管理
手段を備えている。上記した構成により、画像メモリ管
理手段は、出力切替手段の出力に応じて画像メモリの記
録内容を符号化側の画像符号化装置と同一方式で更新す
ることにより、画像メモリは符号化側の画像メモリの内
容と同一の内容を保持することができる。

【００１９】請求項５記載の発明においては、請求項１
または請求項３の画像符号化装置に加えて、画像メモリ
は複数枚の画像を記録することができ、比較手段は記録
された複数の記録画像と入力画像との比較を行ない、比
較結果に応じてどの記録画像を差分出力手段へ入力する
かを決定する機能を備えている。また、請求項６記載の
発明においては、請求項２または請求項４の画像符号化
装置に加えて、画像メモリは複数枚の画像を記録するこ
とができ、復号化手段で復号化された画像によってどの
記録画像を和出力手段に出力するかを決定する機能を備
えている。上記した構成により、請求項５および請求項
６記載の発明では、画像メモリに複数の画像が記録でき
るようにすることで、シーンチェンジなどが発生した場
合でもシーンチェンジ以前の画像が保存でき、シーンチ
ェンジ後に再び以前のシーンに復帰した場合などにおい
ては、入力画像と相関の高い画像を画像メモリ内で発見
することができる。つまり、画像メモリに複数枚の画像
を記録することによって、テレビ電話のように話者の姿
勢がほとんど変化しない場合でにおいて一時的に大きな
画像の変化が発生しても、画像メモリに過去の画像を保
持しておくことで、シーンの復帰時の符号化したデータ
量を削減することができる。

【００２０】請求項７記載の発明においては、請求項１
〜６いずれか１項に記載の画像符号化装置に加えて、画
像メモリは、画像をブロック単位でアクセスするための
機能を有し、各手段もブロックを基本的な処理の単位と
して処理する機能を備えている。上記した構成により、
ブロック単位で画像データを処理するようにすること
で、ブロック毎にフレーム内／フレーム間を決定する画
像符号化方式に対して対応することが可能となる。ま
た、ブロック単位で画像メモリの更新や処理を行なうこ
とで、各ブロックが独立にフレーム内／フレーム間符号
化を行なうため、フレーム内符号化の発生を時間的にバ
ラつかせることができ、フレーム内符号化の発生による
バースト的な情報量の増加を大幅に抑制することができ
る。

【００２１】請求項８記載の発明においては、１画像フ
レームを符号化する毎に、符号化に用いたフレームメモ
リの内容を転送して保持しておく画像メモリを有してお
り、前記画像フレームは新しいものから数えてｎ画像フ
レームを常時それぞれの画像フレーム番号とともに保持
しており、復号化装置からのフレーム番号付き画面更新
要求に対して、要求されたフレーム番号の画像フレーム
が前記画像メモリに保存されている場合には、前記画面
更新要求に付随のフレーム番号の画像フレームを参照画
像として次のフレーム間符号化を行う。上記した構成に
より、伝送遅延時間や網遅延が大きい環境で再送制御を
行っている場合にも、数フレーム前の参照フレームを符
号化側の画像メモリが保存しており、復号化装置からの
画面更新要求に付随した画像フレームを選択し、参照フ
レームとする。

【００２２】請求項９記載の発明においては、符号化デ
ータをｎ画像フレーム分保存しておくＦＩＦＯバッファ
と前記ＦＩＦＯバッファの出力する符号化データを逆変
換する逆符号変換部と逆量子化するデータを通常の量子
化データか前記逆符号変換部の出力かを切り替える第１
のスイッチ手段と逆ＤＣＴしたデータを通常のフレーム
メモリに格納するか画像メモリに格納するかを切り替え
る第２のスイッチ手段と１画像フレームを格納する画像
メモリと前記フレームメモリと前記画像メモリのどちら
を参照画像にするかを選択する第３のスイッチ手段と前
記ＦＩＦＯバッファやスイッチ手段を制御するＦＩＦＯ
バッファ管理部で構成する。上記した構成により、数フ
レーム前の参照フレームを符号化データとして符号化側
のＦＩＦＯが保存しており復号化装置からの画面更新要
求に付随した画像フレームを選択し、参照フレームとす
る。

【００２３】請求項１０記載の発明においては、所定の
再送回数で誤りのない画像データが伝送できなかった場
合、または所定の時間内に画像フレームデータが伝送で
きなかった場合に、それ以前に伝送できた誤りのない画
像フレームとして最後に参照メモリに残る画像フレーム
を表示したまま、その画像フレーム番号を添えて符号化
側に対して画面の更新要求を送信する。上記した構成に
より、符号化側が画面更新する際に参照フレームの選択
を容易で確実にする。

【００２４】

【発明の実施の形態】

（実施の形態１）以下、本発明の第１の実施の形態につ
いて、図面を参照しながら説明を行う。図１において、
１０１は符号化側の画像符号化装置、１０２および１０
９は画像を記録しておく画像メモリ、１０３は画像メモ
リの内容と入力画像の比較を行う比較手段、１０４は入
力を切替える入力切替手段、１０５は入力画像と画像メ
モリの差分を出力する差分出力手段、１０６は符号化を
行う符号化手段、１０７は復号化側の画像符号化装置、
１０８は復号化を行う復号化手段、１１０は出力を切替
える出力切替手段、１１１は画像メモリと復号化画像の
和画像を出力する和出力手段である。符号化側の画像符
号化装置１０１の画像メモリ１０２には、符号化を開始
した１枚目の画像が記録画像として記録されているとす
る。なお、本実施の形態においては符号化開始後の１枚
目の画像を記録画像としたが、画像メモリを不揮発性の
メモリであるとし、前もって画像を記録しておいても同
様の効果が期待できる。

【００２５】符号化手段１０６は従来例の画像符号化装
置５０１と等価な機能を有したもので、符号化手段１０
６内部に構成されるフレーム予測手段５０２においてフ
レーム間符号化が選択された場合は、入力切替え手段１
０４は入力画像そのものを出力する方向に切替えられフ
レーム間符号化が行なわれる。また、フレーム予測手段
５０２においてフレーム内予測符号化が選択された場合
は、比較手段１０３で入力画像と画像メモリ１０２内の
画像が比較され、画像メモリ１０２内の画像と入力画像
の差分が小さい場合は入力切替手段１０５は入力画像と
画像メモリ１０２内の画像との差分出力側に切替えられ
る。以上のように、実施の形態１の構成においては、符
号化手段１０６内部に構成されるフレーム予測手段５０
２と比較手段１０３は互いに連係を取り合いながら、入
力切替手段１０４および入力切替えスイッチ５０４を切
替えて動作する。なお、符号化手段１０６内部のフレー
ム予測手段５０２に入力画像を直接渡すルートを設け
て、比較手段１０３とフレーム予測手段５０２を独立に
動作させた場合においても同様の効果が期待できる。

【００２６】符号化手段１０６においてフレーム内予測
が発生した場合、入力画像と画像メモリ１０２に記録さ
れた記録画像の相関が比較手段１０３で調べられ、入力
画像と記録画像の相関がしきい値より強い場合、入力切
替手段１０４が切替えられ、符号化手段１０６に差分出
力装置１０５から出力された入力画像と画像メモリ１０
２の記録画像の差分画像が入力される。ここでの画像の
相関とは、入力画像と記録画像の各画素間差分の絶対値
の合計などである。符号化手段１０６では、入力された
差分画像をフレーム内符号化として符号化を行ない、符
号化した結果を復号化側の画像符号化装置１０７に差分
をフレーム内符号化したという情報をヘッダ情報に付加
して転送する。復号化を行なう画像符号化装置１０７で
は、復号化手段１０８によって符号化されたデータを復
号する。出力切替手段１１０では、復号化された画像が
入力画像と記録画像の差分画像であるかどうかを伝送さ
れたデータのヘッダに付加された情報によって判別し、
出力を切替える。例の場合は入力画像と記録画像の差分
画像なので、和出力手段１１１によってとられた復号化
手段の出力と画像メモリ１０９に記録された記録画像の
和画像が出力切替手段１１０から出力される。

【００２７】図２は図１の画像符号化装置の動作を示し
たものである。符号化が開始されると最初の入力画像２
０１が画像メモリに記録画像２０３として記録される。
この時、画像２０１は符号化手段１０６に入力されフレ
ーム内符号化されている。その後、入力画像の変化が少
なく前画像との相関が強い場合、フレーム間符号化が連
続して行なわれる。ここで、符号化手段１０６内部の構
成されるフレーム予測手段５０２において誤差蓄積抑制
のための強制画像更新の発生によるフレーム内符号化が
発生した場合、比較手段１０３によって入力画像２０２
と記録画像２０３との相関が調べられる。例においては
記録画像２０３と入力画像２０２の相関が強いので、２
つの画像の差分がとられ符号化される。

【００２８】以上のように本実施の形態では、画像を記
録する画像メモリと、入力画像と記録画像の相関を調べ
る比較手段、入力画像と記録画像の差分をとる差分出力
手段と差分画像と入力画像のどちらを符号化手段に出力
するか切替える入力切替手段を設けることにより、フレ
ーム内符号化が発生した場合の符号量を削減することが
できる。

【００２９】（実施の形態２）以下、本発明の第２の実
施の形態について、図面を参照しながら説明を行なう。
図３において、３０１は符号化側の画像符号化装置、３
０２および３２５は画像メモリ、３０３はフレーム予測
手段、３０４および３２７はフレームメモリ、３０５は
入力切替えスイッチ、３０６は比較手段、３０７は入力
切替手段、３０８は差分出力手段、３０９は量子化手
段、３１０は符号変換手段、３１１および３２１は逆量
子化手段、３１２および３２２は出力切替えスイッチ、
３１３および３２３は出力切替え手段、３１４および３
２４は和出力手段、３１５および３２６は画像メモリ管
理手段、３１６は符号化手段、３１７は復号化手段、３
１８は復号化側の画像符号化装置、３１９は復号化手
段、３２０は逆符号変換手段である。

【００３０】符号化側の画像符号化装置３０１の画像メ
モリ３０２には、符号化を開始した１枚目の画像が記録
画像として記録されているとする。入力画像が入力され
るとフレーム間予測手段３０３で入力画像とフレームメ
モリ３０４に記録された前画像の相関が調べられ、２つ
の画像の相関が小さい場合には入力切替スイッチ３０５
が切替えられ、フレーム内符号化が行なわれる。フレー
ム内符号化が発生した場合、比較手段３０６によって入
力画像と画像メモリ３０２に記録された各記録画像との
相関が調査され比較される。この結果、比較手段３０６
によって、画像メモリ３０２に記録された記録画像の中
からもっとも相関の高いものが選択され、選択した記録
画像と入力画像との相関がしきい値より大きい場合、入
力切替手段３０７が切替えられ、差分出力手段３０８で
とられた入力画像と比較手段３０６で選択された記録画
像との差分画像が量子化手段３０９に入力される。差分
画像が入力された量子化手段３０９では、量子化が行わ
れその出力は符号変換手段３１０と逆量子化手段３１１
に渡される。符号変換手段３１０では、量子化された画
像データが可変長の符号に符号化され、復号化側の画像
符号化装置３１８へと伝送される。逆量子化手段３１１
では、量子化手段３０９で量子化した画像データが逆量
子化され、再び差分画像が生成される。逆量子化手段３
１１からの出力画像は出力切替えスイッチ３１２と出力
切替手段３１３がそれぞれ切替えられ、和出力手段３１
４で得られた差分出力手段３０８が利用した記録画像と
同一画像との和画像がフレームメモリ３０４と画像メモ
リ３０２に出力される。フレームメモリ３０４では、出
力された画像が前画像として現在記録している画像と置
き換えられ、画像メモリ３０２では、画像メモリ管理手
段３１５の管理アルゴリズムに基づいて出力された画像
を入力画像として画像メモリの内容が更新される。この
管理アルゴリズムは、ＬＲＵ法などのキャッシュメモリ
等に使われているアルゴリズムや、参照回数や記録画像
が何回目の差分から生成されたかなどの情報をパラメー
タとして更新方法を決定するものなどである。

【００３１】復号側の画像符号化装置３１８では、転送
された可変長符号化されたデータを逆符号変換手段３２
０によって復号し、逆量子化手段３２１では逆符号変換
手段３２０の出力を逆量子化し画像データを出力する。
逆量子化手段３２１から出力された画像データがフレー
ム間符号化なのかフレーム内符号化なのか、および入力
画像なのか入力画像と記録画像の差分なのかによって出
力切替えスイッチ３２２と出力切替手段３２３が切替え
られ、出力画像が生成される。例の場合は、差分画像が
符号化されたものが転送されたので、出力画像として画
像メモリ３２５からの差分出力手段３０８で利用した記
録画像が選ばれ、和出力手段３２４から出力されたこの
記録画像と逆量子化手段３２１の和画像が出力画像とし
て出力される。また、出力画像は画像メモリ３２５にも
出力され、画像メモリ管理手段３２６によって符号化側
の画像メモリ３２５と同様のアルゴリズムで更新され
る。

【００３２】図４は図３の画像符号化装置の動作を示し
たものである。画像の符号化が開始した時、フレームメ
モリおよび画像メモリには画像が記録されていない状態
である為、フレーム内符号化が行なわれ、入力画像が実
フレームとして量子化され、符号化される。ここで、符
号化された画像データは逆量子化手段３１１によって逆
量子化され、フレームメモリ３０４に前画像として記録
される。また、画像メモリ３０２および４０２の更新が
行なわれ、逆量子化手段３１１の出力画像が記録画像ａ
として記録される。ただし、例では、画像メモリは最大
３枚までの画像が記録できるものとし、更新はフレーム
内符号化が発生した場合に行なわれ、その場合の置換ア
ルゴリズムはＬＲＵ法によるとする。その後、入力画像
の変化が少ないので、次のフレーム内符号化が発生する
までフレーム間符号化(1)が行なわれる。この後、フレ
ーム間符号化によって発生する誤差蓄積を抑制するため
の強制画面更新によってフレーム内符号化が発生する
と、入力画像４０３と画像メモリ４０２に記録された記
録画像ａの相関が大きいので２つの画像の差分が符号化
手段３１６によって符号化される。また、画像メモリ４
０２の更新が行なわれ新たに記録画像ｂが画像メモリ４
０２に登録される。さらに、(2)の期間フレーム間符号
化が行なわれるがシーンチェンジが発生し、フレーム予
測手段によってフレーム内符号化が選択され、フレーム
内符号化が行なわれる場合、例では、入力画像４０４と
相関の強い画像が画像メモリに存在していないので入力
画像が実フレームとして符号化される。この時、画像メ
モリは更新され画像記録ｃが記録される。その後、さら
に(3)の期間フレーム間符号化が行なわれ、再度シーン
チェンジによってフレーム内符号化が行なわれた時、入
力画像４０５は画像メモリ４０２に記録されている記録
画像ａとの相関が強いので記録画像ａとの差分が符号化
される。また、画像メモリ内の画像で最も最近参照され
なかった画像として記録画像ｂが削除され新たに記録画
像ｄが記録される。

【００３３】本実施の形態による画像メモリのＬＲＵ法
を用いた更新方式では、入力画像との差分画像を復号化
した画像が画像メモリに記録されることになるので、画
像メモリに記録された画像に対しても誤差蓄積抑制の為
の手段を用意する必要がある。誤差蓄積抑制の方法とし
ては、フレームメモリの様に定期リフレッシュを行なう
方法や、入力画像との差分画像との差分画像のような記
録画像の差分をとった回数をレベルとして記録してお
き、一定レベル以上の差分画像は画像メモリに記録しな
いなどが考えられる。

【００３４】以上のように本実施の形態によれば、符号
化した画像を復号する復号化手段として逆量子化手段と
画像を更新するための画像メモリ管理手段と、画像を複
数枚記録できる画像メモリを設けることによって、シー
ンチェンジが発生した場合においても、過去に似た画像
が存在すれば差分画像を符号化することでフレーム内符
号化によるデータの発生を抑制することができる。ま
た、画像メモリを更新できるようにすることで、入力画
面の変化に対応することができる。

【００３５】なお、本実施の形態では、画像メモリに記
録できる画像の数は３枚であったが、１枚以上記録でき
る画像メモリを用意することで同様の効果が期待でき
る。また、画像メモリの更新はフレーム単位で行なわれ
ていたが、フレーム内の代わりにブロック単位にフレー
ム内／フレーム間符号化を切替え、画像メモリの更新を
行なう場合においても同様の効果が期待できる。

【００３６】（実施の形態３）以下、本発明の第３の実
施の形態について、図面を参照しながら説明を行う。図
７において７０１は符号化側の画像符号化装置、７０２
は画像メモリ、７０３は画像メモリ管理部、７０４は参
照フレームを切り替えるスイッチ手段、７０５は伝送制
御部、７０６は入力を切り替える入力切り替え手段、７
０７は入力画像と参照フレームの差分を出力する差分出
力手段、７０８は離散コサイン変換をほどこすＤＣＴ手
段、７０９は量子化手段、７１０は可変長符号化をおこ
なう符号変換部、７１１は逆量子化手段、７１２は逆Ｄ
ＣＴ手段、７１３は和出力手段、７１４はフレームメモ
リ、７１５はフレーム内符号化時に開くスイッチ手段、
７２０は画像復号化装置であり、７２１は逆符号変換手
段、７２２は符号化データがフレーム内符号化かフレー
ム間符号化かで切り替わるスイッチ手段、７２３は和出
力手段、７２４はフレームメモリ、７２５は伝送制御
部、７２６は逆量子化手段、７２７は逆ＤＣＴ手段であ
る。

【００３７】符号化側の画像符号化装置の画像メモリ７
０２には、ｎフレームの画像と画像フレーム番号を保存
することができ、画像メモリ管理部は任意の番号の画像
を読み出すことができる。また、画像メモリへの書き込
みは各画像フレームを符号化するタイミングに同期して
おり、１つ前のフレームメモリの画像が画像メモリに保
存され、もっとも古い画像フレームが消去されるように
なっている。画像復号化装置７２０の伝送制御部７２５
は画像フレームが１フレーム分そろうまで符号化データ
を保持している。１画像フレームのデータがすべて伝送
されると、逆符号変換７２１に転送するが、伝送フレー
ムに誤りがあるとその伝送フレームの再送を符号化側の
画像符号化装置７０１の伝送制御部７０５に要求する。
画像符号化装置７０１の伝送制御部７０５は所定の時間
まで伝送フレームを保持しており、再送要求に対してこ
れを再送する。この再送フレームが再び誤った場合、復
号化装置７２０の伝送制御部７２５はこの伝送フレーム
に含まれる画像フレーム以下の画像データを破棄し、復
号化装置７２０のフレームメモリ７２４に保存されてい
る画像フレームの画像フレーム番号を添えた画面更新要
求を画像符号化装置７０１に伝送する。この間出力画像
はフレームメモリ７２４の画像に凍結される。

【００３８】画像符号化装置７０１の画像メモリ管理部
７０３は画面更新要求に付随の画像フレーム番号の画像
フレームが画像メモリに保存されているか否かを調べ、
保存されている場合には、スイッチ手段７０４を画像メ
モリ側に倒し、参照フレームとして出力することにより
フレーム間符号化データが画面更新データとして出力さ
れる。一方、画像メモリにない場合にはスイッチ手段７
０６およびスイッチ手段７１５がフレーム内符号化側に
倒れ、フレーム内符号化データを画面更新データとして
送出する。

【００３９】以上のように本実施の形態によると網遅延
が大きい環境下で伝送誤りにより伝送制御が破綻した場
合の画面更新要求に対して、少ない時間で画面の更新を
実現できる。

【００４０】なお、ここでは符号化方式としてＨ．２６
１やＨ．２６３で用いられているＤＣＴ変換、量子化、
可変長符号化の例を説明しているが、本発明はこれらの
符号化方式に限定されるものではない。また、本実施の
形態では画像符号化装置と復号化装置の片方向の例を説
明しているが、本発明は双方に画像符号化装置と、復号
化装置を有した双方向の装置でも同様の効果を有してい
る。

【００４１】（実施の形態４）以下に本発明の第４の実
施の形態について図面を参照しながら説明を行う。図８
において７０５から７２５は実施の形態３で説明してい
るためここでは省略する。８０１は画像メモリ、８０２
はＦＩＦＯバッファ、８０３はＦＩＦＯバッファ管理
部、８０４は逆量子化するデータを通常の量子化データ
か前記逆符号変換部の出力かを切り替える第１のスイッ
チ手段、８０５は逆ＤＣＴしたデータを通常のフレーム
メモリに格納するか画像メモリに格納するかを切り替え
る第２のスイッチ手段、８０６は１画像フレームを格納
する画像メモリと前記フレームメモリと前記画像メモリ
のどちらを参照画像にするかを選択する第３のスイッチ
手段である。

【００４２】第４図において通常第１のスイッチ手段８
０４は量子化手段側、第２のスイッチ手段８０５はフレ
ームメモリ側、第３のスイッチ手段８０６はフレームメ
モリ側にそれぞれ倒れており、通常のＨ．２６１のよう
な符号化を行っている。その間にＦＩＦＯバッファ８０
２には伝送制御部を介して復号化装置に伝送される符号
化データが蓄積される。ＦＩＦＯバッファ管理部８０３
はＦＩＦＯバッファに蓄積された画像フレーム数を管理
しており、この数が所定の値に達すると、次の画像フレ
ームの符号化データが書き込まれるたびに第１および第
２のスイッチ手段８０４、８０５を反対側へ倒して、Ｆ
ＩＦＯバッファ内で最も古い画像フレームデータを復号
化し、画像メモリに保存する。通常は以上の動作を繰り
返している。次に、画像復号化部７２０は実施の形態３
と同様であり、画像復号化装置７２０の伝送制御部７２
５は画像フレームが１フレーム分そろうまで符号化デー
タを保持している。１画像フレームのデータがすべて伝
送されると、逆符号変換７２１に転送するが、伝送フレ
ームに誤りがあるとその伝送フレームの再送を符号化側
の画像符号化装置７０１の伝送制御部７０５に要求す
る。画像符号化装置７０１の伝送制御部７０５は所定の
時間まで伝送フレームを保持しており、再送要求に対し
てこれを再送する。この再送フレームが再び誤った場
合、復号化装置７２０の伝送制御部７０５はこの伝送フ
レームに含まれる画像フレーム以下の画像データを破棄
し、復号化装置７２０のフレームメモリ７２４に保存さ
れている画像フレームの画像フレーム番号を添えた画面
更新要求を画像符号化装置７０１に伝送する。この間出
力画像はフレームメモリ７２４の画像に凍結される。

【００４３】画像符号化装置７０１のＦＩＦＯバッファ
管理部８０３は画面更新要求に付随の画像フレーム番号
の画像フレームと画像メモリに保存されている画像の新
旧を調べ、一致する場合には、第３のスイッチ手段８０
６を画像メモリ側に倒し、参照フレームとして出力する
ことによりフレーム間符号化データが画面更新データと
して出力される。画像メモリの画像より新しい場合に
は、第１および第２のスイッチ手段８０４、８０５を再
び反対側へたおし、ＦＩＦＯバッファに蓄積された画像
フレームを所望のフレームまで復号化し、これを画像メ
モリ８０１に蓄積し、第３のスイッチ手段８０６を画像
メモリ側に倒し、参照フレームとして出力することによ
りフレーム間符号化データが画面更新データとして出力
される。一方、画像メモリより古い場合にはスイッチ手
段７０６およびスイッチ手段７１５がフレーム内符号化
側に倒れ、フレーム内符号化データを画面更新データと
して送出する。

【００４４】以上のように本実施の形態によると網遅延
が大きい環境下で伝送誤りにより伝送制御が破綻した場
合の画面更新要求に対して、少ない時間で少ない画像メ
モリで画面の更新を実現できる。

【００４５】なお、ここでは符号化方式としてＨ．２６
１やＨ．２６３で用いられているＤＣＴ変換、量子化、
可変長符号化の例を説明しているが、本発明はこれらの
符号化方式に限定されるものではない。また、本実施の
形態では画像符号化装置と復号化装置の片方向の例を説
明しているが、本発明は双方に画像符号化装置と、復号
化装置を有した双方向の装置でも同様の効果を有してい
る。

【００４６】また、画像復号化装置は新たな画像フレー
ムが完成し、画像出力するタイミングに同期してそのフ
レーム番号を画像符号化装置に通知し、画像符号化装置
はそのフレーム番号まで画像メモリを更新しておくこと
としてもよい。

【００４７】

【発明の効果】以上のように本発明では、フレーム間符
号化を行なう符号化手段に画像メモリと比較手段、差分
出力手段を備えることによりフレーム内符号化が発生し
た場合、特にフレーム間符号化による誤差蓄積を抑制す
るために行なわれる強制画面更新や伝送エラーにより伝
送制御に破綻をきたした場合の画面更新要求によるフレ
ーム内符号化が発生した場合の符号化後のデータ量の削
減を行なうことができる。また、画像メモリの更新を行
なうめの復号化手段と和出力手段、画像メモリ管理手段
を備えることにより、入力画像が変化した場合でも、変
化後の画像に対する誤差蓄積抑制のためのフレーム内符
号化においても発生データ量の削減を行なうことができ
る。さらに、画像メモリを複数枚の画像が記録できる構
成にすることで、一時的なシーンチェンジ後にシーンチ
ェンジ前の画像へ復帰した場合のフレーム内符号化につ
いても符号化後のデータ量を削減することができるし、
網遅延の増大にも対処できる。また、各構成要素を画像
のフレーム単位ではなく、ブロック単位で処理できるよ
うにすることで、バースト的なフレーム内符号化の発生
を押えつつ、フレーム内符号化で発生するデータ量を削
減することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における構成図

【図２】本発明の第１の実施の形態における動作説明図

【図３】本発明の第２の実施の形態における構成図

【図４】本発明の第２の実施の形態における動作説明図

【図５】従来の画像符号化装置を示す構成図

【図６】（Ａ）従来の方式における再送が成功した場合
を示すタイミング図（Ｂ）従来の方式における再送が失敗した場合を示すタ
イミング図

【図７】本発明の第３の実施の形態における構成図

【図８】本発明の第４の実施の形態における構成図

【符号の説明】

１０１，１０７，３０１，３１８画像符号化装置１０２，１０９，３０２，３２５，４０２画像メモリ１０３，３０６比較手段１０４，３０７入力切替手段１０５，３０８差分出力手段１０６，３１６符号化手段１０８，３１７，３１９復号化手段１１０，３１３，３２３出力切替手段１１１，３１４，３２４，７２３和出力手段３１５，３２６画像メモリ管理手段７０１画像符号化装置７０２画像メモリ７１２，７２７逆ＤＣＴ手段７１４，７２４フレームメモリ７２０画像復号化装置７２１逆符号変換部８０２ＦＩＦＯバッファ８０３ＦＩＦＯバッファ管理部８０４第１のスイッチ手段８０５第２のスイッチ手段８０６第３のスイッチ手段

Claims

【特許請求の範囲】

【請求項１】フレーム間予測を行なう画像符号化装置に
おいて、フレーム内符号化が発生した場合に過去の画像
を記録した画像メモリの記録画像と入力画像の比較を行
ない相関を判定する比較手段と、前記入力画像と前記記
録画像の差分を出力する差分出力手段と、前記比較手段
の判定結果に基づき、前記入力画像、あるいは前記差分
出力手段の出力を前記符号化手段の入力として切替える
入力切替手段とを備えたことを特徴とする画像符号化装
置。
【請求項２】フレーム間予測を行なう画像符号化装置に
おいて、符号化されたデータから復号を行なう復号化手
段と、画像を記録することができる画像メモリと、前記
復号化手段の出力と前記画像メモリの和画像を出力する
和出力手段と、フレーム間予測が行なわれた場合に前記
復号化手段の出力が入力画像と前記画像メモリの記録画
像の差分であるか否かに基づき、前記和出力手段の出力
と前記符号化手段の出力を切替える出力切替手段とを備
えたことを特徴とする画像符号化装置。
【請求項３】前記符号化手段は、符号化された画像の復
号を行なう復号化手段を備え、符号化された画像が前記
記録画像との差分である場合は前記復号化手段の出力を
和出力手段に出力し、入力画像そのものである場合は前
記復号化手段の出力をそのまま出力する出力切替手段
と、前記出力切替手段の出力に応じて前記画像メモリの
内容の更新を行なう画像メモリ管理手段を備えたことを
特徴とした請求項１記載の画像符号化装置。
【請求項４】前記出力切替手段の出力に応じて前記画像
メモリの更新を行なう画像メモリ管理手段を備えたこと
を特徴とした請求項２記載の画像符号化装置。
【請求項５】前記画像メモリを複数の画像を記録するこ
とができる画像メモリと、前記比較手段を前記画像メモ
リの中に記録された複数の前記記録画像と入力画像との
比較を行ない、前記差分出力手段へ入力する記録画像を
決定する比較手段を有することを特徴とする請求項１ま
たは請求項３記載の画像符号化装置。
【請求項６】前記画像メモリは複数の画像を記録するこ
とができる画像メモリであり、前記復号化手段の出力に
よって前記画像メモリの中から前記和出力手段に入力す
る記録画像を選択する機能を備えた復号化手段を有する
ことを特徴とする請求項２または請求項４記載の画像符
号化装置。
【請求項７】前記各手段は画像データをブロック単位で
処理することを特徴とする請求項１〜６のいずれか１項
に記載の画像符号化装置。
【請求項８】フレーム間符号化を行う画像符号化装置に
おいて、１画像フレームを符号化する毎に、符号化に用
いたフレームメモリの内容を転送して保持しておく画像
メモリを有しており、前記画像フレームは新しいものか
ら数えてｎ画像フレームを常時それぞれの画像フレーム
番号とともに保持しており、復号化装置からのフレーム
番号付き画面更新要求に対して、要求されたフレーム番
号の画像フレームが前記画像メモリに保存されている場
合には、前記画面更新要求に付随のフレーム番号の画像
フレームを参照画像として次のフレーム間符号化を行
い、要求されたフレーム番号の画像フレームが前記画像
メモリに保存されていない場合にはフレーム内符号化を
行うことを特徴とした画像符号化装置。
【請求項９】フレーム間符号化を行う画像符号化装置に
おいて、符号化データをｎ画像フレーム分保存しておく
ＦＩＦＯバッファと前記ＦＩＦＯバッファの出力する符
号化データを逆変換する逆符号変換部と逆量子化するデ
ータを通常の量子化データか前記逆符号変換部の出力か
を切り替える第１のスイッチ手段と、逆ＤＣＴしたデー
タを通常のフレームメモリに格納するか画像メモリに格
納するかを切り替える第２のスイッチ手段と、１画像フ
レームを格納する画像メモリと前記フレームメモリと前
記画像メモリのどちらを参照画像にするかを選択する第
３のスイッチ手段と、前記ＦＩＦＯバッファおよび前記
第１〜３のスイッチ手段を制御するＦＩＦＯバッファ管
理部で構成され、前記ＦＩＦＯバッファ管理部はｎ画像
フレームを超える符号化データが発生した場合に前記第
１〜３のスイッチ手段を切り替えてこの画像データを復
号化して画像メモリに格納し、また前記ＦＩＦＯバッフ
ァ管理部は復号化装置からのフレーム番号付き画面更新
要求に対して、要求されたフレーム番号の画像フレーム
が前記ＦＩＦＯバッファに格納されている場合には、要
求されたフレーム番号の画像フレームの符号化データま
でを復号化して画像メモリに格納し次のフレーム間符号
化を行い、要求されたフレーム番号の画像フレームが前
記ＦＩＦＯバッファに格納されていない場合には、フレ
ーム内符号化を行うことを特徴とした画像符号化装置。
【請求項１０】自動再送制御方式により画像符号化デー
タを受信する画像復号化装置において、所定の再送回数
で誤りのない画像データが伝送できなかった場合、また
は所定の時間内に画像フレームデータが伝送できなかっ
た場合に、それ以前に受信できた誤りのない画像フレー
ムとして最後に参照メモリに残る画像フレームを表示し
た状態で、その画像フレーム番号を添えて画面の更新要
求を送信することを特徴とした画像復号化装置と、請求
項８または請求項９記載の画像符号化装置より構成され
る画像伝送システム。