JPH0620306B2 - 画像符号化復号化装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は，テレビ会議，テレビ電話等に用いられる画
像の符号化復号化装置に関するものである。

〔従来の技術〕

第７図，第８図は従来の画像の符号化復号化装置におけ
る符号化部，復号化部のブロツク図である。図中，(1)
は入力ビデオ信号，(2)はＡ／Ｄ変換器，(3)はデイジタ
ルビデオ信号，(14)はフレーム間符号化回路，(15)は局
部復号された信号，(16)は局部復号値を映像フレーム単
位で記憶することのできるフレームメモリ，(17)はフレ
ーム遅延をうけた局部復号値，(18)は符号化情報，(19)
は送信バツフア，(20)はスイツチ，(44)は送信バツフア
＃１，(45)は送信バツフア＃２，(23)はセレクタ，(25)
は送信信号，(30)は受信バツフア，(46)はスイツチ，(4
7)は受信バツフア＃１，(48)は受信バツフア＃２，(49)
はセレクタ，(31)は受信符号化信号，(32)はフレーム間
復号化回路，(33)は復号信号，(34)は復号信号を映像フ
レーム単位で記憶することのできるフレームメモリ，(3
5)はフレーム遅延をうけた復号信号，(42)はＤ／Ａ変換
器，(43)は復号ビデオ信号である。

次に動作について説明する。入力ビデオ信号(1)はＡ／
Ｄ変換器(2)によつてデイジタル化される。フレーム間
符号化回路(14)は，既に符号化して局部復号された信号
(15)に対してフレームメモリ(16)によつてフレーム遅延
を与えて形成したフレーム間予測信号(17)を用いて，前
記のデイジタル化された信号(3)をフレーム間符号化す
る。符号化情報(18)は送信バツフア(19)を介して送信信
号(25)となり，伝送路へ送出される。送信バツフア(19)
はダブルバツフア構成であり，スイツチ(20)，送信バツ
フア＃１(44)，送信バツフア＃２(45)及びセレクタ(23)
より成る。各々のバツフア（＃１と＃２）は何れも１映
像フレーム分の符号化情報を記憶できるだけの容量を持
つており，１つのバツフアが符号化情報(18)を書込んで
いる間，他方のバツフアは情報を読出して送信している
ようにスイツチ(20)とセレクタ(23)を制御することによ
つて送信バツフア(19)は書込みと読出しの両方を行なつ
ているように動作する。ある映像フレームを符号化して
その情報を１つのバツフアに書込み終わろうとすると
き，もう１つのバツフアが読出しを終わつていれば両方
のバツフアの書込み／読出しを切い換えて次の画像フレ
ームを符号化すればよいが，もう１つのバツフアが読出
の際中であればダブルバツフアを切り換えることができ
ない。そこで次の入力映像フレームを符号化しない。す
なわち，駒おとしを行う。復号化部では、受信バツフア
(30)を介した受信符号化信号(31)に対して，既に復号さ
れた信号にフレームメモリ(34)によつてフレーム遅延を
与えて形成したフレーム間予測信号(35)を用いて，フレ
ーム間復号化回路(32)において復号化を行う。復号信号
(33)はＤ／Ａ変換器(42)によつて復号ビデオ信号とな
る。受信バツフア(30)はダブルバツフア構成となつてお
り，スイツチ(46)，受信バツフア＃１(47)，受信バツフ
ア＃２(48)及びセレクタ(49)より成る。１つのバツフア
が書込みを行つている間，もう１つのバツフアが読出し
を行うように制御することで，受信バツフアが同時に書
込みと読出しを行なつているように動作させる。２つの
バツフアの書惚み／読出しは映像フレーム単位で切り換
える。以上の流れを第９図に示す。送信バツフア，受信
バツフアの両ダブルバツフアは何れも画像フレーム単位
で切り換える。ある画像フレームが符号化されて符号化
情報が送信バツフアに書込まれてから同映像フレームが
復号再生されるまでの遅延時間はおおよそ１映像フレー
ムの符号化伝送サイクルにして２サイクル分の所要時間
で規定される。従従つて，伝送速度が低いときや情報発
生量が大きいときは送信バツフアを読出しに時間がかか
るため，遅延時間が大きくなる危険がある。また，駒お
としの頻繁な発生によつて，符号化される映像フレーム
の時間間隔が大きくなるため，フレーム間相関が小さく
なり，フレーム間符号化の効率が低下する。

〔発明が解決しようとする問題点〕

従来の符号化復号化装置は以上のように構成されている
ので，符号化処理部が映像信号に同期して実時間動作を
する必要であり，装置規模が大きくなることや遅延時間
が大きくなること，また駒おとしが発生した場合に時間
方向のサブサンプルによる折返しの劣化やフレーム間相
関の低下による符号化効率の低下，情報発生量の増大な
どの問題点があつた。

この発明は上記のような問題点を解消するためになされ
たもので，符号化処理速度を伝送容量に見合つた速度に
設定することによつて装置規模を縮小し，遅延時間を短
縮し，駒おとしが発生した場合にもフレーム間相関を保
つて符号化効率を向上させ，折返し成分を除去できる画
像符号化装置を得ることを目的とする。

〔問題点を解決するための手段〕

この発明に係る画像符号化復号化装置は，符号化器にお
ける前処理部と符号化部との間に映像フレーム単位のバ
ツフアを置き，同バツフアを用いて映像フレームの時間
積分を行う制御回路を持ち，伝送情報量を平滑化するた
めのバツフアの蓄積量に応じて前記映像フレーム単位の
バツフアに対するリードライトを制御する回路を持ち，
復号化器における復号化部と映像出力部との間に映像フ
レーム単位のバツフアを置いたものである。

〔作用〕

この発明における映像フレーム単位のバツフアの追加は
次のように作用する。すなわち，符号化処理速度が伝送
速度に応じて下げられるため，時分割処理を導入して装
置規模を小さくできる。符号化する映像フレームがバツ
フアに取込まれているため，断続的に符号化を行うこと
で小刻みに伝送情報量を平滑化して遅延時間を短縮でき
る。また，この発明における前記映像フレームバツフア
への書込み時の時間積分機能は，駒おとしが発生した場
合にもフレーム間相関を保ち，折返しを除去することで
符号化効率を向上させ，再生画像品質を改善する作用を
持つ。

〔発明の実施例〕

以下，この発明の一実施例を図について説明する。第１
図はこの発明による符号化部の構成例を示すブロツク図
である。図中，(1)は入力ビデオ信号，(2)はＡ／Ｄ変換
器，(3)はデイジタルビデオ信号，(4)は時間積分回路，
(5)は前置フレームメモリ，(6)はダブルバツフア構造と
なつている前置フレームメモリ(5)の書込み側のバツフ
アの内容を順次読出して前記デイジタルビデオ信号(3)
と映像フレーム上の画素位置を一致させた信号，(7)時
間積分された入力信号，(8)はスイツチ，(9)は前置フレ
ームメモリ＃１，(10)は前置フレームメモリ＃２，(11)
はスイツチ，(12)は前置フレームメモリの制御信号，(1
3)は前置フレームメモリのコントローラ，(14)はフレー
ム間符号化回路，(15)は局部復号された信号，(16)は局
部復号値を映像フレーム単位で記憶することのできるフ
レームメモリ，(17)はフレーム遅延をうけた局部復号
値，(18)は符号化情報，(19)は送信バツフア，(20)はス
イツチ，(21)は送信バツフア＃１，(22)は送信バツフア
＃２，(23)はセレクタ，(24)はダブルバツフア構造とな
つている送信バツフアの蓄積量やステータスを示す信
号，(25)は送信信号である。第２図は，第１図における
時間積分回路の構成例を示すブロツク図である。図中，
(26)は減算器，(27)はフレーム間差分信号，(28)は重み
付け回路，(29)は減算器である。第３図はこの発明によ
る復号化部の構成例を示すブロツク図である。図中，(2
5)は送信信号，(30)は受信バツフア，(31)は受信符号化
信号，(32)はフレーム間復号化回路，(33)は復号信号，
(34)は復号信号を映像フレーム単位で記憶することので
きるフレームメモリ，(35)はフレーム遅延をうけた復号
信号，(36)は後置フレームメモリ，(37)はスイツチ，(3
8)後置フレームメモリ＃１，(39)は後置フレームメモリ
＃２，(40)は後置フレームメモリ＃３，(41)はセレク
タ，(42)はＤ／Ａ変換器，(43)は復号ビデオ信号であ
る。また，第４図，第５図，第６図はこの発明の実施例
の動作を示す説明図である。

次に動作について説明する。入力ビデオ信号(1)はＡ／
Ｄ変換器(2)によつてデイジタル化される。時間積分回
路(4)は，ダブルバツフア構造となつている前置フレー
ムメモリ(5)の書込側のバツフアの内容を順次読出した
信号(6)を用いて，入力信号(3)の複数フレーム分時間積
分を行つた信号を前置書込側のバツフアに書込む。時間
積分は，入力信号(3)と信号(6)との差すなわちフレーム
間差分(27)を求め，重み付け回路(28)によつて値を変換
し，さらに入力信号(3)との差分をとつたものがフレー
ム単位で時間積分された信号としてバツフアに書込まれ
る。今，入力される第ｎフレームの信号をＳｎ，第ｎ−
１フレームまでを時間積分してバツフアに書込んである
信号を 重み付け回路(28)による変換をｋ倍という乗算で表わす
ことにすると， という演算で時間積分が表わされる。前置フレームメモ
リ(5)は，１つのバツフアに映像フレームデータを時間
積分しながら書込んでいる間にもう１つのバツフアから
映像フレームデータを読出して符号化伝送するようにス
イツチ(8)，前置フレームメモリ＃１(9)，前置フレーム
メモリ＃２(10)，スイツチ(11)を動作させる。スイツチ
(11)による切り換えによつて被符号化映像フレーム信号
と書込み側の時間積分に必要なフレームメモリ読出し信
(6)とを出力とする。前置フレームメモリ(5)の読出し側
の出力である被符号化映像フレーム信号の読出しは，制
御信号(12)によつて断続的に行う。これは，情報発生量
を小刻みに平滑化するためであり，後にくわしく説明す
る。１つの映像フレームをすつかり読出したとき，ダブ
ルバツフアを切り換え，それまで時間積分していた側の
バツフアの内容を被符号化映像フレームとして読出す。
（第４図参照）すなわち，時間積分は，ダブルバツフア
の切り換え，言いかえれば被符号化映像フレームの取込
みによつて中断されることになる。連続して時間積分さ
れる映像フレーム数は，符号化伝送中の映像フレームに
どれだけ時間がかかるかに依存する。前記符号化所要時
間は該映像フレームにおける情報発生量に対応する。情
報発生量が大きいということはフレーム間符号化におい
ては動きが大きいということになる。即ち，動きの激し
いシーンになると連続して時間積分される映像フレーム
数は増す。すなわち，時間方向にぼけた映像が取込まれ
る。従つて被符号化映像フレームの間隔があく程，時間
積分が長期間にわたるため，被符号化映像フレームのフ
レーム間相関が保たれ，フレーム間符号化効率が向上す
る。同時に，時間方向のサブサンプルによる折返しを除
去する効果や雑音低減効果があり，結果的に再生画像品
質を改善させる。前に説明したように，時間積分はダブ
ルバツフアの切り換えによつて中断されるので，新たに
時間積分を始めるときは，重み付け回路(28)の出力を零
にしてフレームメモリの内容をリフレツシユする必要が
ある。また，前に説明したパラメーターｋをダブルバツ
フア切換直後は０とし，以降，入力される映像フレーム
シークエンスに従つて指数関数的に値を上げていること
も有効である。

ダブルバツフア切り換えによつて符号化を開始する被符
号化映像フレームは時間積分のかかつた映像フレームで
あり，フレームメモリに記憶されているため，，符号化
処理速度は任意に選ぶことができるため，低い伝送速度
に見合つた処理時間を設定することによつて回路を多重
化できる余裕が生じ，装置規模を小さくできる。

フレーム間符号化回路(14)は，既に符号化して局部復号
された信号(15)に対してフレームメモリ(16)によつてフ
レーム遅延を与えて形成したフレーム間予測信号(17)を
用いて，前記の被符号化映像フレーム信号をフレーム間
符号化する。符号化情報(18)は送信バツフア(19)を介し
て送信信号(25)となり，伝送路へ送出される。

送信バツフア(19)は蓄積量やステータスを示す信号(24)
を前置フレームメモリのコントローラ(13)に送り，間接
的に符号化を停止／再開させることによつて情報発生量
を平滑化する。送信バツフア(19)はダブルバツフア構造
となつている。制御のようすを第５図に示す。今，前置
フレームメモリ＃１(9)がある映像フレームを読出し中
であるとする。読出されたデータは符号化され，送信バ
ツフア＃１(21)に書込まれる。同バツフア(21)の蓄積量
が予め設定されたしきい値Th1を越えたとき，前置フレ
ームメモリコントローラ(13)は前置フレームメモリ＃１
(9)からの読出しを停止する。そして送信バツフア＃２
(22)の蓄積量が読出しによつて減つていき，０になつた
とき，送信バツフア(19)のダブルバツフアを切り換え
る。同切り換えによつて送信バツフア＃２が空いている
ため，前置フレームメモリ＃１(9)からの読出しを再開
し，符号化情報(18)を送信バツフア＃２(22)に書込む。
送信バツフア＃１(21)に記憶されている符号化情報は伝
送路へ送出される。また，別の場合には，書込み中の送
信バツフア＃１(21)の蓄積量がTh1に達する前に，読出
し中の送信バツフア＃２(22)の蓄積量がTh2を下回るこ
とがある。このときも先ず前置フレームメモリ＃１(9)
からの読出しを停止し，同バツフア(22)の蓄積量が０に
なつた時点で送信バツフア(19)のダブルバツフアを切り
換える。同切り換えによつて前記フレームメモリ＃１
(9)からの読出しを再開する。このくり返しによつて，
符号化情報を大量に送信バツフア(19)にためこむことな
く送出するため遅延時間が減少する。また，送信バツフ
ア容量も小さくてすむ。しきい値Th1は送信バツフアの
片側にためこむ情報量を規定するもので，遅延時間と伝
送速度から決定する。しきい値Th2は送信フレーミング
に足りない半端な情報量になつた場合なので，伝送速度
と送信フレーミングのフオーマツトによつて決定する。

復号化部では，受信バツフア(30)を介した受信符号化信
号(31)に対して，既に復号された信号にフレームメモリ
(34)によつてフレーム遅延を与えて形成したフレーム間
予測信号(35)を用いて，フレーム間復号化回路(32)にお
いて復号化を行う。復号信号(33)は後置フレームメモリ
(36)に書込まれる。後置フレームメモリ(36)はトリプル
バツフア構造となつており，第６図に示すように，１つ
のバツフアが画像出力系のフレーム同期に従つて読出し
を行つている間，もう１つのバツフアが復号信号(33)の
書込み中であり，残るもう１つのバツフアは停止してい
る。第３のバツフアは，受信し復号した映像フレーム信
号の書込みと，画像出力系のフレーム同期に従う読出し
とが全く非同期であり，何れも中断が許されない故に必
要となる。後置フレームメモリ(36)からの読出し信号は
Ｄ／Ａ変換器(42)によつて復号ビデオ信号(43)となる。

以上の制御において，ある映像フレームが前置フレーム
メモリ(5)から読出されてから同映像フレームが復号再
生されるまでの時間はおおよそ１映像フレームの符号化
伝送サイクルにして１サイクル分の所要時間で規定され
る。従つて伝送速度が低くなる程，従来の装置と比較し
て遅延時間の短縮効果が大きい。

〔発明の効果〕

以上のように，この発明によれば符号化されるべき画像
フレームを先ずフレームメモリに時間積分しながら書込
み，しかる後に情報発生量を小刻みに平滑化しながら符
号化伝送するように構成したので，遅延時間が短縮で
き，また，駒おとしが発生しても，折返しがなく，フレ
ーム間相関を保持した画像フレームを符号化できるの
で，高品質の画像が効率よく符号化伝送できるという効
果がある。

【図面の簡単な説明】

第１図はこの発明の一実施例による画像符号化復号化装
置符号化部の構成を示すブロツク図，第２図は第１図に
おける時間積分回路の構成を示すブロツク図，第３図は
この発明の一実施例による画像符号化復号化装置復号化
部の構成を示すブロツク図，第４図はこの発明の一実施
例による前置フレームメモリの動作を示す説明図，第５
図はこの発明の一実施例による前置フレームメモリと送
信バツフアの関係を示す説明図，第６図はこの発明の一
実施例における後置フレームメモリの動作を示す説明
図，第７図は従来の画像符号化復号化装置符号化部の構
成を示すブロツク図，第８図は従来の画像符号化復号化
装置復号化部の構成を示すブロツク図，第９図は従来の
画像符号化復号化装置の送信バツフアと受信バツフアの
動作を示す説明図である。 図中，(1)は入力ビデオ信号，(2)はＡ／Ｄ変換器，(3)
はデイジタルビデオ信号，(4)は時間積分回路，(5)は前
置フレームメモリ，(6)は前置フレームメモリ書込み側
出力，(7)は時間積分された信号，(8)はスイツチ，(9)
は前置フレームメモリ＃１，(10)は前置フレームメモリ
＃２，(11)はセレクタ，(12)は制御信号，(13)は前置フ
レームメモリコントローラ，(14)はフレーム間符号化回
路，(15)は局部復号信号，(16)はフレームメモリ，(17)
はフレーム間予測信号，(18)は符号化情報，(19)は送信
バツフア，(20)はスイツチ，(21)は送信バツフア＃１，
(22)は送信バツフア＃２，(23)はセレクタ，(24)は送信
バツフアステータス信号，(25)は送信信号，(26)は減算
器，(27)はフレーム間差分信号，(28)は重み付け回路，
(29)は減算器，(30)は受信バツフア，(31)は受信符号化
信号，(32)はフレーム間復号化回路，(33)は復号信号，
(34)はフレームメモリ，(35)はフレーム間予測信号，(3
6)は後置フレームメモリ，(37)はスイツチ，(38)は後置
フレームメモリ＃１，(39)は後置フレームメモリ＃２，
(40)は後置フレームメモリ＃３，(41)はセレクタ，(42)
はＤ／Ａ変換器，(43)は復号ビデオ信号，(44)は送信バ
ツフア＃１，(45)は送信バツフア＃２，(46)はスイツ
チ，(47)は受信バツフア＃１，(48)は受信バツフア＃
２，(49)はセレクタである。 なお，図中，同一符号は同一，または相当部分を示す。

Claims (4)

【特許請求の範囲】
1. 【請求項１】少くとも１画像フレーム分のデータを蓄え
   ることのできる第１及び第２のフレームメモリと、連続
   して入力される画像信号系列を画像フレーム単位で時間
   積分する時間積分回路と，前記時間積分された画像フレ
   ームを前記第１または第２のフレームメモリに書込むと
   同時に書込みを行つていない第２または第１のフレーム
   メモリからの読出しを行うよう接続を切り換えるスイツ
   チング回路と，前記第１及び第２のフレームメモリに対
   して書込み及び読出しの制御を行うコントローラと，少
   くとも１画像フレーム分のデータを蓄えることのできる
   第３のフレームメモリと、前記第２または第１のフレー
   ムメモリから読出した信号を入力信号として，既に符号
   化した画素を局部復号して前記第３のフレームメモリに
   蓄え，フレーム間予測信号を形成し，一定量の画素を単
   位として逐次符号化復号化が可能な方式でフレーム間符
   号化を行うフレーム間符号化回路と，前記フレーム間符
   号化回路によつて得られた符号化情報を蓄えることので
   きる第１及び第２のバツフアと，前記逐次符号化された
   符号化情報を前記第１または第２のバツフアに書込むと
   同時に書込みを行つていない第２または第１のバツフア
   からの読出しを行うように接続を切換えるスイツチング
   回路と，受信した符号化信号を逐次蓄えては読出すこと
   のできる第３のバツフアと，少くとも１画像フレーム分
   のデータを蓄えることのできる第４のフレームメモリ
   と，前記第３のバツフアから読出した信号を入力信号と
   して，既に復号した画素を前記第４のフレームメモリに
   蓄え，フレーム間予測信号を形成し，前記フレーム間符
   号化装置における符号化方式に基づいて逐次フレーム間
   復号化を行うフレーム間復号化回路と，少くとも１画像
   フレーム分のデータを蓄えることのできる第５及び第６
   及び第７のフレームメモリと，前記フレーム間復号化回
   路より出力される復号信号を前記第５または第６または
   第７のフレームメモリに書込むと同時に，書込みを行つ
   ていない第７または第６または第５のフレームに記憶さ
   れている復号画像フレームを画像出力系のフレーム同期
   に同期して読出すように接続を切り換えるスイツチング
   回路とを備えたことを特徴とする画像符号化復号化装
   置。
2. 【請求項２】複数フレーム期間時間積分された画像フレ
   ームを交互に書込む第１または第２のフレームメモリに
   おいて，第ｎ番目（ｎ正の整数）までの画像フレームが
   時間積分されている側の画像フレームを読出し，入力画
   像信号系列である第ｎ＋１番目の画像フレームとのフレ
   ーム間差分を求める減算器と，前記減算器の出力信号に
   重み付けする重み付け回路と，前記重み付けされたフレ
   ーム間差分を前記第ｎ＋１番目の画像フレームから減算
   して第ｎ＋１番目の画像フレームまで時間積分された画
   像フレームを得る減算器とを備え，前記第ｎ＋１番目の
   画像フレームまで時間積分された画像を，前記第１また
   は第２のフレームメモリの内，第ｎ番目の画像フレーム
   まで時間積分された画像フレームを記憶していた方へ書
   込むよう制御する手段を持つ特許請求範囲第(1)項記載
   の画像符号化復号化装置。
3. 【請求項３】複数フレーム期間時間積分された画像フレ
   ームを書込む第１または第２のフレームメモリが切り換
   わる際に，重み付け回路の重みを０にすることによつて
   時間積分の過程を初期化し，連続して入力される画像フ
   レームシークエンスに従つて重みを変える手段を持つた
   ことを特徴とする特許請求の範囲第(2)項記載の画像符
   号化復号化装置。
4. 【請求項４】フレーム間符号化回路によつて逐次符号化
   された情報を交互に書込む第１または第２のバツフアに
   おいて，書込み側に蓄えられた情報量が予め定められた
   第１のしきい値を上回る程大きくなつたときまたは伝送
   路へ送出するために読出しを行つている側にまだ読出さ
   れずに残つている情報量が予め定められた第２のしきい
   値を下回る程小さくなつたときに、第１及び第２のフレ
   ームメモリに対する制御を行うコントローラを介して，
   符号化を行うために読出しを行つている側の前記フレー
   ムメモリからの読出しを停止して前記書込みを行つてい
   る側のバツフアに対する書込みを止め，前記読出しを行
   つている側のバツフアに残つている情報量が０になった
   時点で即時第１及び第２のバツフアを切り換えることに
   よりバツフアからの読出しを連続して行うと共に，前記
   フレームメモリからの読出しと符号化を再開するよう制
   御することによつて，発生する情報量の平滑化を行い，
   一定の速度で伝送路に符号化情報を出力する特許請求範
   囲第(3)項記載の画像符号化復号化装置。