JPH046314B2 - - Google Patents

Description

【発明の詳細な説明】 この発明は予測符号化された多値画像信号を復
号する装置、特に複数の異なる予測方式を用いる
復号化装置に関する。

テレビジヨン信号などに代表される多値画像信
号の予測において、(1)−予測方式を固定的に用い
る場合のほかにも、(2)複数個の予測方式を固定的
に組合せて用いる場合、(3)複数個の予測を画面の
性質に応じて適応的に切り換えて用いる場合など
各種の工夫が考えられている。この(3)の適応的に
予測方式を切り換えて予測を行なう適応型予測方
式の中にも複数画素単位でブロツクを構成し、そ
のブロツク単位で最適な予測方式を検出し、用い
た最適な予測方式を示す情報とその時の予測誤差
とを一緒に伝送する方法と、すでに符号化済みの
画素のみを用いて画像信号の局所的性質を調べて
つぎの画素に対する最適予測方式を推定する方法
とがある。後者の場合には受信側でも同様の推定
が可能なために使用した予測方式を示す情報を伝
送する必要がなく、それだけ通常回路構成が簡単
である。この発明はこの後者の場合の符号化方式
と対応した復号化装置に関する。

最適予測方式の推定において予測誤差振幅と判
定しきい値との比較を用いる方法が考えられてい
る。すなわちある予測方式による予測誤差信号値
（以下絶対値とする）が一定量、即ち判定しきい
値以上であれば現在用いている予測方式は最適で
はないと見なしつぎの画素時刻では予め定められ
た順序に従つて他の予測方式を選択し、また逆に
予測誤差信号が判定しきい値以下であれば現在用
いている予測方式は最適であると見なしその予測
方式をさらに継続して使用するアルゴリズムであ
る。しかし、このアルゴリズムにおいては全て、
あるいは現在用いている予測方式を含めていくつ
かの予測方式について予測誤差信号値が判定しき
い値以下であればたとえ現在の予測方式が最適で
なくてもその予測方式が継続して使用されるため
に必ずしも最大の符号化能率が実現されないとい
う欠点がある。このことは予測符号化された多値
画像信号を異なる予測方式を用いて復号化する場
合についても同様のことが云える。

この発明では各画素時刻で最適予測方式の推定
及び復号化が終了する毎に少なくとも真の最適予
測方式を検出し、これを記憶しておき、後の最適
予測方式の推定に利用する。

すなわちこの発明は復号化済みの画素に対応す
る最適予測方式の空間的分布状態を考慮に入れて
つぎの画素時刻における最適予測方式を推定する
ことによりその推定の精度を上げ、ひいては復号
化能率の向上を実現することを目的とする。

この発明の画像信号の予測復号化装置によれば
符号化された予測誤差信号が復号化され、一方、
再生された多値画像信号より異なる予測方式によ
り複数個の予測信号が予測器により発生され、そ
の複数個の予測信号の一つが選択器により選択さ
れる。その選択された予測信号と前記復号化され
た予測誤差信号から元の多値画像信号が再生され
る。最適予測方式決定回路により前記複数個の予
測信号と前記再生された多値画像信号とを比較し
て前記複数個の予測信号を与えた予測方式の適性
順位付けが行なわれる。その適性順位の一部また
は全部が複数画素時刻にわたつて記憶回路に記憶
される。その記憶されている適性順位と前記復号
化された予測誤差信号とを用いて選択信号発生回
路から前記選択器に対し、選択制御を行う切換信
号が発生される。このような構成により高い符号
化能率でもつて予測符号化された多値画像信号を
再生できる。

つぎにこの発明の原理を説明する。簡単のため
用いる予測方式は２種類とする。したがつてこゝ
ではより有利な方式が最適予測方式となる。画素
時刻ｉ−２からｉ＋３までの間における各画素時
刻での予測方式（）を用いた場合の予測誤差が
第１図Ａに示すようにそれぞれ６，４，５，４，
３，２となり、予測方式（）を用いた場合の予
測誤差がそれぞれ第１図Ｂに示すようにそれぞれ
２，３，６，３，２，１となつたとする。画素時
刻ｉを現在として２画素時刻前からの最適予測方
式の推定について順を追つて説明する。

時刻ｉ−２において方式（）が選択されてお
り判定しきい値は点線で示すように3.5に設定さ
れているとする。また現画素時刻ｉの画素が存在
する主走査線（これを現ラインと呼ぶ）の１つ前
の主走査線、つまり前ラインの画素時刻ｉ−２か
らｉ＋３までは第２図に示すように方式（）が
最適であつたとする。時刻ｉ−２における方式
（）の予測誤差は６であり、判定しきい値3.5を
超えている。したがつてつぎの時刻ｉ−１におい
ては方式（）が選択される。また時刻ｉ−２に
おいて方式（）の予測誤差が２であり、方式
（）の予測誤差よりも小さいので最適予測方式
は方式（）となる。

各復号化済みの画素についての最適予測方式が
第２図に示すようになつたとすると、現ラインの
時刻ｉ−１の周囲の最適予測方式の空間分布状態
を見るとすべて方式（）であるから方式（）
を用いることが有利であることが推定される。そ
こで方式（）から方式（）への遷移が発生し
難くするために判定しきい値を若干大きくして例
えば第１図Ｂの時刻ｉ−１に点線で示すように
4.5とする。このように判定しきい値を、最適予
測方式の空間分布に応じて変化させることによ
り、より正確な復号化が可能となる。

なお、現ラインの画素時刻ｉにおけるつぎの時
刻での最適予測方式の推定に用いる周囲の最適予
測方式の空間的分布のうち、例えば前ラインの画
素時刻ｉ−１からｉ＋２まで、現ラインの画素時
刻ｉ−１，ｉの計６個を考慮することにする。他
の画素時刻についても同様の時間関係をもつ６個
の画素時刻の最適予測方式の情報を用いることと
する。

時刻ｉ−１では方式（）の予測誤差は３であ
り判定しきい値4.5を超えない。したがつて時刻
ｉでは最適予測方式として方式（）が連続して
用いられる。時刻ｉ−１での最適予測方式は
（）である。時刻ｉでは方式（）の予測誤差
は６であり判定しきい値を超える。したがつて時
刻ｉ＋１では方式（）が最適予測方式Ｘとして
用いられる。時刻ｉでの最適予測方式は方式
（）である。最適予測方式の分布を見ると時刻
ｉ＋１においては方式（）の方が実際には最適
のように思われる。したがつて方式（）から方
式（）への遷移を容易にするために、すなわち
方式（）が選択され易くするために判定しきい
値を第１図Ａの時刻ｉ＋１に点線で示すように
3.5に下げることとする。こうすると時刻ｉ＋１
での方式（）の予測誤差は４であるので判定し
きい値3.5を超えるのでつぎの時刻ｉ＋２では方
式（）が用いられることになる。時刻ｉ＋２で
は時刻ｉ−１におけると同様に判定しきい値を
4.5に上げる。

もし時刻ｉ＋１での判定しきい値を3.5に下げ
なかつたとすれば時刻ｉ＋２，ｉ＋３においては
第１図では方式（）の方が予測誤差が小さい
が、時刻ｉ＋１においてと同様にいずれも方式
（）が選択されることになり、最適ではない方
の予測方式が選択されることになる。

このように判定しきい値を周囲の最適予測方式
の空間的分布状態を利用して変化させることによ
り判定しきい値が固定の場合よりも予測誤差が小
さくなり、その結果として復号化能率が向上する
ことになる。つぎにこの発明による復号化装置を
説明する前に、その復号の対象とする予測符号化
を作るための符号化装置を先ず説明する。第３図
に最も簡単な場合として予測方式を２種用いる場
合の符号化装置を示す。この場合より有利な方式
が最適予測方式ということになり、他方は第２位
となる。デジタル化された多値画像信号は入力端
子１１を介して減算器１２に供給される。減算器
１２においては予測器１３で作られた２種の予測
信号の中で選択器１４によつて選択された予測信
号を受け、端子１１からの入力多値画像信号との
差がとられる。この差、即ち予測誤差は通常は発
生情報量を低減するために使用レベル数を制限す
る量子化器１５により量子化された後に符号変換
器１６及び加算器１７へそれぞれ供給される。加
算器１７においては選択器１４から供給される予
測信号と量子化器１５より供給された予測誤差信
号との和をとることにより局部復号信号を発生す
る。この局部復号信号を用いて、予測器１３では
複数個の予測信号を発生する。

もし、２種の予測方式として前値予測、画素時
刻前の局部復号信号から予測信号を作る
（DPCM）と、フレーム間予測即ち１フレーム前
の局部復号信号から予測信号を作る予測方式とを
用いる場合は、予測器１３は１画素時刻遅延素子
と、１フレーム遅延素子とを並列に並べた回路に
て実現される。

つぎに選択器１４に対する制御信号の発生方法
について説明する。予測器１３により作られた２
種の予測信号は選択器１４へ供給されると同時に
最適予測方式の決定回路１８にも供給される。こ
の決定回路１８においては２種の予測信号の中で
いずれが加算器１７から供給される多値画像信号
の局部復号値に近いか、即ち差が小さいかを比較
判定し、その結果をこの例の場合は１ビツト信号
として記憶回路１９へ転送する。記憶回路１９は
例えば１〜２ライン（テレビジヨン信号の場合で
は１〜２水平走査線）程度の記憶素子から構成さ
れており、画素時刻ｉにおけるその出力は第２図
の例を用いると前ラインの時刻ｉ−１からｉ＋２
まで、現ラインの時刻ｉ−１，ｉの合計６個の最
適予測方式を示す信号である。すなわちこの例の
場合６ビツトの出力信号が選択信号発生回路２１
へ供給される。

選択信号発生回路２１においては、この最適予
測方式を示す６ビツトの信号と、量子化器１５か
ら供給された予測誤差信号とを用いて選択器１４
の制御信号を発生し、選択器１４における選択を
制御する。

第４図を用いて選択信号発生回路２１の動作例
を説明する。まず選択信号発生回路２１に含まれ
るしきい値発生回路２２におけるしきい値決定の
方法について説明する。記憶回路１９より供給さ
れる最適予測方式の空間的分布を示す６ビツト信
号のうちで例えば多数決をとり圧倒的多数を占め
る予測方式が現時刻での選択器１４の切換信号が
示している予測方式と一致している場合には判定
しきい値を現在より高くして現在の予測方式が選
択され易くする。逆にこれら両者が一致していな
い場合には現在のしきい値よりも低くする。もし
ほゞ同数であればいずれが有利かは決定が困難で
あるので判定しきい値はそのままにしておく。

この判定しきい値の決定には切換信号（この例
では１ビツト）と最適予測方式を示す信号（この
例では６ビツト）の両者を入力アドレスし、予め
種々の画像に対して統計的な判定を行なつた結果
を書き込んだ読出し専用メモリ、いわゆるROM
を用いると便利である。例えば第２図の場合を例
にとつて示す。前ラインの時刻ｉ−１からｉ＋２
までと現ラインのｉ−１，ｉの計６ビツトが前ラ
インの時刻ｉ−１の信号を最上位ビツトとして以
下順に並んでいるとし、また方式（）が符号０
で、方式（）が符号１とする場合、ROMの入
力アドレスには000001と現時刻ｉでの切換信号で
ある符号１との計７ビツトが供給される。ROM
の0000011（最下位ビツトはセレクタ信号）に対応
する位置には判定しきい値として3.5を予め書い
ておく。あとは記憶回路１９からの最適予測信号
のビツトパターンと選択器１４の切換信号を
ROMの入力アドレスに供給すればつぎの画素時
刻での判定しきい値が出力として与えられる。

しきい値発生回路２２のもう一つの機能につい
て説明する。選択器１４の切換信号と記憶回路１
９からのビツトパターンの組合せにおける最適予
測方式を推定し、その結果を線2224を介してカウ
ンタ２４に供給する。すなわち、カウンタ２４に
対し推定された最適予測方式を示す数値をプリセ
ツトする。

量子化器１５から供給される量子化された予測
誤差信号は比較回路２３において線2223を介して
供給されるしきい値発生回路２２の判定しきい値
と比較され、予測誤差信号（厳密には絶対値）が
判定しきい値を超える場合には値１を発生し、そ
うでなければ値０を発生するものとする。

この比較回路２３の出力信号は値１が入力され
る計数値が１増加し、値０では計数値は不変とな
るカウンタ２４に供給される。この実施例の場
合、用いる予測方式は２種であるのでカウンタ２
４は２進カウンタで良い。一般に用いる予測方式
がＮ種ある場合にはＮ進カウンタとし、計数結果
であるから０からＮ−１までのＮ個の数を各予測
方式の優先選択順位に対応させておくと値１が発
生する毎に計数値が１増加するのでこれに対応す
る予測方式を示すことになる。

この実施例では１ビツトのカウンタ２４の出力
は１画素遅延回路２５に供給され、１画素遅延し
た後につぎの画素時刻には選択器１４の切換信号
として出力される。

第３図において符号変換器１６へ供給された予
測誤差信号は不等長符号を用いて情報低減のため
の符号変換を施され、出力端子２６より伝送に送
出され、あるいは記録媒体に記録されるように出
力される。その際に後における復号化する場合に
必要な制御信号を付加して伝送速度あるいは記録
速度との速度整合をとつて出力される。

つぎに第５図を参照しながらこの発明に係る復
号化装置について詳細に説明する。伝送されてき
た、または記録媒体から読み出された符号化され
た多値画像信号は入力端子２７を通じてまず符号
逆変換器２８に供給される。符号逆変換器２８に
おいては符号化された多値画像信号より予測誤差
信号をとり出し、不等長符号の等長符号への逆変
換を行ない以下の復号化に備える。

符号逆変換器２８で等長符号に逆変換された予
測誤差信号は加算器２９及び選択信号発生回路３
１へそれぞれ供給される。加算器２９において
は、予測器３３で作られた２種の予測信号のうち
選択器１４によつて選択された予測信号を受け、
この予測信号と符号逆変換器２８からの予測誤差
信号との加算が行なわれ、再生された多値画像信
号が得られる。この再生された多値画像信号は外
部への画像出力端子３４、予測器３３及び最適予
測方式の決定回路３８へ同時に供給される。

この供給された再生信号を用いて予測器３３は
異なる予測方式により複数個の予測信号を発生す
る。最適予測方式の決定回路３８ではこの復号画
像信号と予測器３３からの複数個の予測信号（こ
の例では２種）とを用いて、符号化装置の最適予
測方式の決定回路１８におけると同一の規則に従
つて最適予測方式を判定し、その結果を記憶回路
３９へ転送する。記憶回路３９は符号化装置にお
いて記憶回路１９がその出力を選択信号発生回路
２１へ供給したと同様に６画素時刻にわたる最適
予測方式を示す６ビツトの情報を選択信号発生回
路３１へ供給する。選択信号発生回路３１におい
ては、符号化装置の選択信号発生回路２１と同一
の規則に従つて切換信号を発生し、選択器３４へ
供給して復号に用いる予測方式を選択する。

なお復号化装置における予測器３３、選択器３
４、最適予測方式の決定回路３８、記憶回路３
９、選択信号発生回路３１の各々の構成、動作規
則はそれぞれ符号化装置における予測器１３、選
択器１４、最適予測方式の決定回路１８、記憶回
路１９、選択信号発生回路２１と同一であり、ま
たこれら相互の接続関係も同様である。

以上に述べた実施例においては判定しきい値の
決定に６画素時刻にわたる最適予測方式を用いた
が、これを任意の数に増減できることは勿論であ
る。用いる予測信号数が２種を超える場合には各
画素時刻における最適予測方式の検出において最
適な方式から順位をつけて上位の数種程度の予測
方式の空間的分布を調べ判定しきい値を決定すれ
ばよい。この時の予測方式の切り換えは量子化さ
れた予測誤差が判定しきい値よりも小さい時は勿
論その予測誤差を与えた予測方式を継続して用い
るが、もし大きい時には予め定められた順序でつ
ぎの予測方式へと遷移する。

すなわち、一般にＮ種の予測方式を用いる場合
には先に述べたように第４図に示した選択信号発
生回路２１内の２進カウンタ２４をＮ進カウンタ
とすれば良い。復号化装置の選択信号発生回路３
１についても同様である。この時Ｎ進カウンタは
推定された最適予測方式を表す数値がプリセツト
されており、値０が入力されるとこのプリセツト
値をそのまゝ出力とし、値１入力されると１だけ
計数値が増すものとしＮ進カウンタの出力計数値
にはＮ種の予測方式が各々対応づけられているも
のとする。

選択信号発生回路（符号化装置の２１、復号化
装置の３１）の他の構成例を説明する。符号化済
みの画素に対応する適性順位付けがされた予測方
式を示す情報と予測誤差信号とを用いて必ずしも
予め定められた順序にとらわれることなく、つぎ
の画素時刻において用いられる予測方式を決定す
ることもできる。第６図にこの場合の選択信号発
生回路２１の一例を示す。量子化器１５からの予
測誤差信号及び記憶回路１９からの予測方式の順
位はいずれも選択信号発生回路２１内の予測決定
回路４１に供給される。この予測決定回路４１に
おいては予測誤差信号の大きさと予測方式の順位
を用いてつぎの画素時刻で用いる予測方式が決定
され、この決定は１画素遅延素子２５で１画素遅
延を受けた後、選択器１４へ切換信号として供給
される。予測決定回路４１は例えば予測誤差信号
の大きさと予測方式の順位とを入力アドレスとす
るROMで構成し入力アドレスに対応するメモリ
内の位置に種々の画像についての統計的測定結果
にもとづき、つぎの画素時刻の予測方式として適
当な方式を予め書き込んでおく。

以上は復号化装置の選択信号発生回路３１につ
いても同様である。用いる予測方式の数はこの例
の場合には何ら制限はない。

この発明の変形例として現ラインの画素時刻ｉ
における最適予測方式をつぎの画素時刻ｉ＋１で
の予測方式決定時に考慮対象から除外する場合が
考えられる。すなわちこの場合には記憶回路１９
の出力信号（６ビツト）のうち時刻ｉに対応する
ビツトを無視すればよい。復号化装置の記憶回路
３９においても同様である。この結果符号化能率
を高く保つたまゝ、許容される演算時間が大幅に
増加するため市販のトランジスタ・トランジス
タ・ロジツク（TTL）ICでこの発明の装置を実
現できるためとくに高速のICを必要とせず構成
が容易となる。

さらに他の実施例として色信号副搬送波をもつ
カラーテレビジヨン信号を符号化・復号化する場
合の予測信号の作り方の一例について説明する。
例えば水平走査線（ライン）525本のNTSCカラ
ーテレビジヨン信号の場合には色信号副搬送波の
位相が各ライン毎に反転しており、１フレームは
525本のラインから成るためフレーム毎にも反転
してとる。そこでこの位相が一致する２ライン
前、１フイールド（262本）前、（１フレーム±１
ライン）前、２フレーム前などを予測信号として
用意し選択器（符号化装置では１４、復号化装置
では３４）に常時供給すればNTSCカラーテレビ
ジヨン信号にも適用できる。すなわち、色信号搬
送波をもつカラーテレビジヨン信号の符号化・復
号化において色信号副搬送波位相が一致する予測
信号を用いればこの発明はそのまま適用できる。

【図面の簡単な説明】

第１図は異なる予測方式による予測誤差の例を
示す図、第２図は各復号化された画素についての
最適予測方式の空間分布の例を示す図、第３図は
この発明の対象となる符号を得るための符号化装
置の一例を示すブロツク図、第４図は第３図中の
選択信号発生回路２１の一例を示すブロツク図、
第５図はこの発明による復号化装置の一例を示す
ブロツク図、第６図は選択信号発生回路２１の他
の例を示すブロツク図である。 １１，２７：入力端子、１２，１７，２９：加
算器、１３，３３，：予測器、１４，３４：選択
器、１５：量子化器、１６：符号変換器、１８，
３８：最適予測方式の決定回路、１９，３９：記
憶回路、２１，３１：選択信号発生回路、２２：
しきい値発生回路、２３：比較回路、２８：符号
逆変換器。

Claims (1)

【特許請求の範囲】
1. １ 画像信号の予測復号化にあたり、供給される
   符号変換された情報より予測誤差信号を得る符号
   逆変換手段と、再生された多値画像信号から異な
   る予測方式により複数個の予測信号を発生する手
   段と、その複数個の予測信号の一つを選択する選
   択手段と、その選択手段で選択された予測信号と
   前記予測誤差信号とを用いて前記多値画像信号を
   再生する手段と、前記複数個の予測信号と前記再
   生された多値画像信号とを比較して前記複数個の
   予測信号を与えた予測方式の適性を順位付けする
   判定手段と、その順位の一部または全部を複数画
   素時刻にわたつて記憶する記憶手段と、その記憶
   手段に記憶されている適性順位と前記予測誤差信
   号とを用いて前記選択手段を制御する切換信号を
   発生する手段とを具備する画像信号の予測復号化
   装置。