JPH0542197B2

JPH0542197B2 -

Info

Publication number: JPH0542197B2
Application number: JP55126127A
Authority: JP
Inventors: Toshio Koga
Original assignee: Nippon Electric Co Ltd
Current assignee: NEC Corp
Priority date: 1980-09-12
Filing date: 1980-09-12
Publication date: 1993-06-25
Also published as: JPS5752283A

Description

【発明の詳細な説明】本発明は画像信号の予測復号化装置に関する。

予測復号化方式は、本来伝えるべき入力信号と
予測値との差を伝送することにより伝送情報量を
低減するという動作原理に基いて開発された方式
である。テレビジヨン等の画像信号伝送方式にお
いて、たとえば、フレーム間符号化では、静止
画、あるいはほとんど動きを含まない準静止画に
対して大きな振巾をもつ予測誤差の発生頻度が低
くなるために、発生する情報量が少なく、動きを
多く含む画像に対しては発生情報量は増加する。
すなわち、フレーム間符号化では動きが少ない程
符号化能率がよい。そこで、動きが含まれている
場合にも能率を高める試みはこれまでにもなされ
てきた。すなわち、テレビジヨン信号に含まれる
動きは平行移動によると見なされる場合が多いの
で、フレーム間における被写体の位置の変化量を
考慮したフレーム間予測を行なうことにより動画
に対しても高い符号化能率を実現しようとするも
のである。

第１図に示すように、ｔ＝t₀なる時刻に座標
（x₀，y₀）付近にあつた図形が１フレーム時間τ
後には（x₁，y₁）に移動したとする。このとき、
通常のフレーム間予測符号化においては１フレー
ム前の画素を予測信号として用いることより、ｔ
＝t₀＋τにおける（x₀，y₀）付近の画素の予測に
はｔ＝t₀における（x₀，y₀）付近の画素が用いら
れる。したがつて、第１図から明らかなように、
ｔ＝t₀＋τでは差分値（予測値等）で零でないも
のは（x₀，y₀）と（x₁，y₁）の両地点の付近に発
生する。ここで、もし何らかの方法で（x₀，y₀）
から（x₁，y₁）への図形の変位量を検出できたと
すると、ｔ＝t₀での（x₀，y₀）近傍の図形を用い
てｔ＝t₀＋τにおける（x₁，y₁）近傍の図形を予
測でき、発生情報量が大巾に減少する。これがい
わゆる「動き補償」の原理である。つまり、ｔ＝
t₀＋τにおける（x₁，y₁）近傍の図形に対する最
適な予測点はｔ＝t₀での（x₀，y₀）近傍にあるこ
とになる。この最適な予測点を時間あるいは空間
座標を用いた関数で表現する時、これを最適予測
関数と呼ぶことにする。通常、この最適予測関数
の判定は複数個の画素からなるブロツク単位に行
なわれ、検出された最適予測関数により予測符号
化し、予測誤差信号とともに最適予測関数を示す
信号が伝送される。

この最適予測関数を判定する方法としては、た
とえばブロツク単位に補償しようとする速度に対
応する範囲全てについてしらみつぶしにかつ限ら
れた時間内に判定を行なうために、並列に予測誤
差量（以下の説明では予測誤差電力を例にとる）
の計算を実行する方法がある。しかし、この方法
は、それを実現する回路規模が非常に大きく、か
つ複雑なものとなり、このために実際のハードウ
エアによつて実現することはほとんど不可能と言
える状態にあつた。

本発明の目的は、上記の問題を解決し、ハード
ウエアが小型に簡易化され、かつ高速に動作する
予測符号化装置を得て、該装置から伝送される予
測符号化された画像信号を簡単な構成で、かつ信
頼性高く受信復号することのできる高能率の予測
復号化装置を提供することにある。

本発明の予測復号化装置は、時系列として入力
される画像信号からｋ画素（水平）×ｌライン
（垂直）なる大きさ（ｋ、ｌはいずれも正整数）
の２次元ブロツクを単位として入力信号とは異な
る時系列に変換した後に、このブロツク毎に複数
個の予測関数のうち最適なものを１個選択して最
適予測符号化を実行し、その結果である少なくと
も該最適予測関数を表わす信号とこれに対する予
測誤差信号とを含んで圧縮符号化された画素信号
を受信してこれを予測復号化する装置であつて、
前記圧縮符号化された画像信号を伸長して少なく
とも前記最適予測関数を表す信号とこれに対する
予測誤差信号とに分離する分離手段と、次のブロ
ツクの予測信号発生のために前記の大きさのブロ
ツクを含みかつこれを中心として前記最適予測関
数を表わす信号が取り得る垂直方向での正負（上
下）のそれぞれ最大値および水平方向に前記ｋ画
素の巾により囲まれる領域内の画素が少なくとも
前記１ブロツク時間内に書込み完了するように復
号化された画像信号の補充を受けつつ、該分離手
段により分離された最適予測関数を表わす信号に
従つて前記２次元ブロツク内の各画素位置に対応
する番地を用いて番地修飾することにより該２次
元ブロツクに対する予測信号を発生する予測信号
発生手段と、該予測信号発生手段を含み、且つこ
の予測信号発生手段から供給される予測信号と前
記分離手段により分離された予測誤差信号とを用
いて前記復号化された画像信号を発生する予測復
号化手段と、該予測復号化手段からの出力をうけ
て前記元の時系列の画像信号に変換する走査逆変
換手段とを具備したことを特徴とする。

ここで、本発明の生れるに至つた根拠ならびに
その特徴について簡単に述べる。まず、補償の対
象とする動きの速さを水平走査線（ライン）方向
（ｘ方向）に±ｍ画素／フレーム、水平走査線に
直角な方向（ｙ方向）に±ｎライン／フレームと
する。この場合、動きの速さと方向を表わす量
（動ベクトル）はｘ方向に（2m＋１）種、ｙ方向
に（2n＋１）種の計Ｎ＝（2m＋１）×（2n＋１）種
ある。この動ベクトルの数だけ予測関数を用意す
れば良い。ｘ方向にV_x画素／フレーム、ｙ方向
にV_y画素／フレームなる速さで動く被写体があ
るとする。ただし、V_x，V_yはともに上記の補償
の対象内にあるものとする。すなわち、 −ｍ≦V_x≦ｍ −ｎ≦V_y≦ｎとする。これによれば、前フレーム内で空間的に
対応する点からｘ方向に−V_xy方向に−V_yずらし
た所からの予測が予測誤差電力Ｐを最小にし、最
適となる。すなわち、（−V_x，−V_y）なるベクト
ルを用いて表現される予測関数が最適予測関数と
なる。

この予測誤差電力Ｐ（差分値の自乗）をブロツ
ク単位で計算し、最適な予測関数を高速で見出す
ためには同時に処理可能な信号については並列に
演算することが有効である。たとえば最適予測関
数の決定のための予測誤差電力Ｐを計算する場合
に、(A)動き補償の対象範囲Ｎについて、および(B)
ブロツク内の画素数Ｍにいての並列演算などが考
えられる。この例を４画素からなるブロツク（Ｍ
＝４）を例にとつて以下に説明する。第２図のａ
には予測されるべき入力画像のブロツクの画素
D₁〜D₄の配置例を、ｂには動き補償を効率良く
行なうために２次元的に配置された予測に使用さ
れる画素の配置をｍ＝ｎ＝１についてそれぞれ示
す。第２図ｂにおける（０，０），（１，０），…，
（−１，−１）等の記号は動ベクトルを表わしてお
り、たとえば（０，０）は丁度１フレーム前の
点、（１，−１）は水平方向には右に１画素、垂直
方向には下方に１ライン下つた点をそれぞれ示
す。他も同様である。たとえば、動ベクトル
（１，−１）に従つて行なわれる上記(A)および(B)の
演算方法について具体的に説明すると、(A)の場合
には、（D₁−X₅）²，（D₁−X₆）²，（D₁−X₇）²，（D₁
−X₉）²，（（D₁−X₁）²，（D₁−X₂）²，（D₁−X₁₀）²
，
（D₁−X₃）²，（D₁−X₄）²の９種についての演算を
同時に行なう。以下同様にD₂，D₃，D₄について
繰り返す。

(B)の場合には、（D₁−X₄）²，（D₂−X₁₂）²，（D₃
−X₁₅）²，（D₄−D₁₆）²の４種の演算を同時に行な
う。同様に他の残り８種の動ベクトルについて繰
り返す。

となる。したがつて、全演算回数は４×９＝36で
(A)および(B)ともに同じである。このように(A)およ
び(B)いずれの場合も最適予測関数を決定するまで
に必要な演算回数はＭ×Ｎとなる。

実際のハードウエアでこの並列演算を実行する
場合を考えると、（D₁−X₅）²，（D₁−X₆）²，…，
あるいは（D₁−X₄）²，（D₂−X₁₂）²，…の中の任
意の１個を１演算ユニツトが計算する。そして、
その計算結果をP_ijとする。ただしｉはブロツク
内の画素、ｊは複数個の予測関数の中の１つを表
わすものとする。(A)の場合には、P_ijを、まずｊ
＝１，２，３，…，Ｎについて並列に計算し、つ
ぎに各ｉについてｉ＝１，２，３，…，Ｍの計算
を行なう。したがつて、各ｊに対して_M 〓ⁱ⁼¹ P_ijを記
憶しておかねばブロツク当りの最小予測誤差電力
の比較、判定はできない。(A)の場合には、Ｎ個の
演算ユニツト、Ｎ個の予測誤差電力を加算記憶す
る累積回路、そしてＮ予測誤差量の比較回路が少
なくとも必要である。(B)の場合には、_M 〓ⁱ⁼¹ P_ij、す
なわちP_ijをｉ＝１，２，３，…，Ｍについてま
ず並列に計算して加算するので、１予測関数に対
するブロツク当りの予測誤差電力が一度に求まる
ことになる。そして、この予測誤差電力を他の予
測関数に対する予測誤差電力と比較してより小さ
な方を判定すれば良く、高々Ｎ回の比較判定で済
ますことができる。すなわちＭ個の演算ユニツト
とＭ入力加算器および比較回路をＮ回繰り返して
使用することができる。一般に同一の演算を大量
に行なう場合には、同一の演算回路を繰り返して
使用するとハードウエア規模を小さくできる。(A)
の場合には、動ベクトルの数Ｎが定まればブロツ
ク内の画素数Ｍだけ繰り返し演算を行なうためハ
ードウエア規模はＮの値でほぼ決まる。動きを含
む代表的な画像信号としてのテレビジヨン信号に
おいては種々の速さをもつた動きが出現するが、
かりに左右に６画素／フレーム、上下に６ライ
ン／フレームの範囲内の動きについて動き補償を
するものとすると、動ベクトルの数Ｎは169とな
る。他方、ブロツク内の画素数Ｍついては、Ｍが
大きくなるほど、とくに垂直方向（ライン方向）
に広がりをもつほど装置規模が大になるため、Ｍ
はできるだけ小さくとるのが都合が良い。比較的
大きなブロツクと考えられる８ライン×16画素の
ブロツクでもＭ＝128であり、Ｍ＜Ｎの関係にな
る。

動き補償を用いる予測符号化装置においては動
き補償の範囲すなわち動ベクトルＮの数はできる
だけ大きく、しかもブロツク内の画素数Ｍはでき
るだけ少なくすることが好ましい。この観点から
見るとき、上記(A)の方法はハードウエア規模がほ
ぼＮの値により決定されるので、動き補償の範囲
を広くとることはハードウエア規模の増大をきた
すため困難となる。この点、(B)の方法は主として
Ｍ個の演算ユニツトをＮ回繰り返して使用するた
め、ハードウエア規模はほぼＭの値により決定さ
れる。すなわち、(B)の方法による方が有利である
ことが判るであろう。

ところで、上記のような２次元ブロツク単位の
処理に際しては、予め走査変換した画像信号を用
いると一段と有利になる。これによれば、複数走
査線間にまたがつた２次元ブロツク内の画素が並
び換えられ、各ブロツク内の画素がブロツク毎に
連続するように走査変換されて２次元ブロツク内
の全画素が直列的に並べられる。したがつて、２
次元ブロツク内の画素について予測符号化する際
に走査線の存在を注意する必要がなくなり、同一
走査線上にあるＭ画素から作られた１次元のブロ
ツクに対すると同様に２次元ブロツクを取り扱う
ことができる。これからわかるように、走査変換
を予め行なえば、２次元ブロツクを用いる予測符
号化は１次元ブロツクを用いる予測符号化と何ら
変りがなくなる。また、本発明によれば、上記(B)
の場合を実現することによつてＭ個の演算ユニツ
トをＮ回繰り返して最適予測関数を決定すること
ができ、そのために、ブロツク内に含まれる画素
数Ｍが小さい場合にはハードウエアを小さくする
ことが可能となる。更にまた、１回の計算で１予
測関数についてのブロツク当りの予測誤差電力が
計算されるために、計算をしながら次に比較する
べき予測関数を選択することが可能となり、最適
予測関数を決定するまでに必ずしもＮ種類全てに
ついての計算をしなくとも済むようにできるとい
う利点がある。

次に、本発明にかかる実施例について図面を参
照して詳しく説明する。

第３図は本発明による予測復号化装置へ信号を
送出するための送信側予測符号化装置の構成例を
ブロツク図により示したものである。この装置に
おいて、入力画像信号は線１００を介して走査変
換回路１に供給され、ここで複数個の画素からな
るブロツクが形成される。ブロツク化された画像
信号は線１０１から分岐した線１０１ａ，１０１
ｂを介してそれぞれ遅延回路２ａ、最適予測関数
判定回路８に供給される。この遅延回路２ａは最
適予測関数の決定に要する時間だけブロツク化さ
れた画像信号を遅延する。遅延時間はブロツク内
に含まれる画素数に対する時間程度である。遅延
回路２ａより減算回路２ｂに供給された画像信号
は予測信号発生回路５の出力線１０５から分岐し
た線１０５ａを介して供給される予測信号との差
がとられ、この差、すなわち予測誤差信号は通常
取り得るレベル数を制限する機能を有する量子化
回路３に供給される。量子化された予測誤差信号
は線１０３から分岐した線１０３ａを介して情報
圧縮回路７に供給される。同時に、予測信号発生
回路５の出力の予測信号は線１０５ｂを介して加
算器４に供給され、線１０３ｂを介して供給され
る量子化された予測誤差との加算により局部復号
信号を発生する。この局部復号信号は引き続く予
測信号の発生に役立てるため線１０４を介して遅
延回路６に供給される。遅延回路６の遅延時間は
用いられる予測関数にもよるが本実施例ではおよ
そ１フレーム時間に設定され、線１０６ａおよび
１０６ｂを介してそれぞれ最適予測信号発生回路
５および最適予測関数判定回路８に局部復号信号
として供給される。予測信号発生回路５では、上
記最適予測関数判定回路８より線１０８から１０
８ａを介して供給される最適予測関数を示す情報
に基づき、線１０６ａを介して供給される遅延し
た局部復号信号を用いて予測信号を発生させる
が、これが前述の最適予測信号と呼ばれるもので
ある。この最適予測信号の判定はブロツク単位で
行なわれ、この結果にしたがつて最適予測信号を
用いた前述の予測符号化が実行される。最適予測
関数判定回路８では、線１０１ｂと線１０６ｂと
によりそれぞれ供給されるブロツク化された入力
画像信号と遅延回路６の出力の遅延した局部復号
信号とを用いて最適な予測関数を決定する。

上記のようにして決定された最適予測関数を示
す情報は線１０８ｂを介して情報圧縮回路７へも
同時に供給される。情報圧縮回路７では、この最
適予測関数を示す情報と、この予測関数を用いた
時の量子化回路３から出力された予測誤差信号と
を復号時に必要な同期信号と共にうけて、できる
だけ少ない符号量で表わせるように圧縮変換を行
なう。この圧縮変換された信号は、線１０７を介
して伝送路、あるいは記録媒体へ送出される。な
お、情報圧縮回路７は圧縮された情報を一定速度
で出力できるように速度整合機能をも有する。

第４図は、第３図における走査変換回路１の具
体的な構成例をブロツク図により示したものであ
る。なお、この例では、画像ブロツクとして第５
図に示すように水平に２画素、垂直に２ラインの
２×２なる２次元ブロツクを用いることにする。
第５図中、a₁₁，a₁₂，a₂₁，a₂₂のように破線で囲
まれた４画素（丸印で表示）によつて１ブロツク
が構成される。通常のテレビジヨンにおける走査
方向は図の左から右へ、たとえばa₁₁，a₁₂，a₁₃，
a₁₄の順で走査され、次の走査線にa₂₁，a₂₂，a₂₃，
a₂₄が含まれることになる。したがつて、第４図
の回路において、画素a₁₁〜a₁₄を含む走査線S₁の
信号をラインメモリ１−１に、a₂₁〜a₂₄を含む走
査線S₂をラインメモリ１−２に順次記憶させる。
ついでつぎのa₃₁〜a₃₄およびa₄₁〜a₄₄の走査線S₃
およびS₄を同様にラインメモリ１−３および１−
４に各々に記憶させている間に、ラインメモリ１
−１および１−２からはブロツク順に、すなわち
a₁₁，a₁₂，a₂₁，a₂₂，a₁₃，a₁₄，a₂₃，a₂₄，…とい
う順序で読み出す。以下の説明ではこのブロツク
順の読み出しを用いるが、他にa₁₁，a₂₁，a₁₂，
a₂₂，a₁₃，a₂₃，a₁₄，a₂₄，…の順序で読み出すこ
ともできる。走査線S₁，S₂をこのような走査変換
した形式で読み終るのに要する時間は、走査変換
しない場合と同じであるから、S₁，S₂を読み終つ
た時にはラインメモリ１−４へのS₄の記憶が終了
する。したがつて、この時点でラインメモリ１−
３，１−４を前述の走査変換した形式で読み出
し、他方ラインメモリ１−１、それから１−２に
対しては、次の走査線S₅，S₆がそれぞれ順番に記
憶されることになる。

このように、ラインメモリ１−１，１−２と１
−３，１−４とを各々対にして記憶と読み出しを
交互に行なうことにより、走査順序を変換した形
式の画像信号、すなわち２次元的にブロツク化さ
れた画像信号が１画素づつ順次出力される。かく
して、読み出しに使用されている１対のラインメ
モリからの２出力中の１つが、マルチプレクサ１
−５によつて選択的に出力される。その出力であ
るブロツク化された画像信号は線１０１を介して
線１０１ａ，１０１ｂに分岐され、各々遅延回路
２ａ、最適予測関数判定回路８へ供給される。こ
の走査変換は、２次元ブロツクを用いた時の予測
符号化回路を複雑なものとしないために有用であ
る。もし、走査変換を行なわずに２次元ブロツク
単位で何等かの演算を行なうとすると、第５図に
おいて画像信号の走査はa₁₁，a₁₂，a₁₃，a₁₄，…
の順となり、a₁₁，a₁₂，a₂₁，a₂₂の４画素からな
る２次元ブロツクについて演算するには次の走査
線上の画素a₂₁，a₂₂，a₂₃，a₂₄，…が来るまで演
算を中断して待たねばならない。そして、その間
には相当な数のブロツクがあるが、これらのブロ
ツク全てについて演算は中断したままとなる。と
ころが、走査変換を行なつた後であれば、画像信
号はa₁₁，a₁₂，a₂₁，a₂₂，a₁₃，a₁₄，a₂₃，a₂₄，…
と並んでいるから、２次元ブロツクについての演
算はa₁₁，a₁₂，a₂₁，a₂₂あるいはa₁₃，a₁₄，a₂₃，
a₂₄というようにわずか４画素、一般的にはＭ画
素時間で終了する。このように走査変換を予め行
なえば、２次元ブロツクについての演算は走査変
換しない時の１次元ブロツク、たとえばa₁₁，
a₁₂，a₁₃，a₁₄からなるブロツクについての演算と
同じになり、演算の制御は非常に容易となる。

第６図は第３図における最適予測関数判定回路
８の具体的な構成例を、また第７図は第６図にお
ける演算ユニツト８−１の具体例をそれぞれブロ
ツクにより示したものである。まず、第６図に見
られるように、例えば、演算ユニツト８−１へ線
１０６ｂを介して供給された遅延回路６の出力信
号は、演算ユニツト８−１内にある予測信号発生
メモリ８−１１ａに一たん記憶される。一方、ブ
ロツク化された入力画像信号は線１０１ｂを介し
て画素展開回路８−６に供給され、ここでブロツ
ク内の全４画素、たとえば第２図ａのD₁，D₂，
D₃，D₄が並列に展開されて同時に出力される。
この４画素並列出力の中の１画素は線１０８−６
ａを介して演算ユニツト８−１内の減算回路８−
１２ａに供給される。以降、この演算ユニツト８
−１で処理される画素のブロツク内での位置を第
２図ａで示したように画素点D₁と呼ぶことにす
る。演算ユニツト８−２〜４についても同様に考
え、演算ユニツト８−１は画素点D₁の演算を、
他の演算ユニツト８−２〜４は各々画素点D₂〜
D₄の演算を受けもつことにすると、計４個の演
算ユニツトを並列に使用することにより１ブロツ
クの演算が並列に実行できる。

以降、演算ユニツトとして８−１を代表的にと
りあげ、第７図を参照して詳細に説明する。図に
示すように、演算ユニツト８−１は大きく分ける
と２次元メモリ８−１１と評価信号発生回路８−
１２とによつて構成される。このうち、２次元メ
モリ８−１１は予測信号発生メモリ８−１１ａ
と、これへの画像信号の書き込みや読み出しの番
地、タイミング等を制御する書き込み制御回路８
−１１ｂ、読み出し制御回路８−１１ｃおよび定
数発生回路８−１１ｄとから構成される。この予
測信号発生メモリ８−１１ａはレジスタ・フアイ
ルやRAM（ランダム・アクセス・メモリ）など
を用いることによつて容易に、かつ小型に構成さ
れる。書き込み制御回路８−１１ｂは予測信号発
生メモリ８−１１ａに遅延回路６の出力信号をつ
ぎのブロツクでの予測信号発生に用いる補充画像
信号として所定の番地に書き込む動作を実行する
が、この番地は第６図の予測関数指示回路８−５
から線１０８−５ａを介して供給される予測選択
信号の中に含まれる動ベクトル（０，０）、すな
わちフレーム間予測に対応する番地を基準として
決定することができる。読み出し制御回路８−１
１ｃは線１０８−５ａを介して供給される予測選
択信号にもとづいて定数発生回路８−１１ｄより
与えられる演算ユニツト８−１〜４の各ユニツト
に付けた互いに異なる固有の値をもつて記憶され
ている画像信号の中から１つを選択して読み出
す。すなわち、線１０８−５ａを介して供給され
た予測選択信号が第２図ｂにおける動ベクトル
（０，０）であつたとすると、演算ユニツト８−
１の２次元メモリ８−１１からはＸ＝X₁が出力
され、演算ユニツト８−２〜４の２次元メモリか
らはそれぞれX₂，X₃，X₄が出力される。これ
は、画像信号を読み出す際に、予測選択信号によ
つて表現される予測信号発生メモリ８−１１ａの
読み出し番地（ｘ，ｙ）に対して、演算ユニツト
８−１では（ｘ，ｙ）、８−２では（ｘ＋１，
ｙ），８−３および８−４では各々（ｘ，ｙ＋１）
および（ｘ＋１，ｙ＋１）となるように、読み出
し番地に修飾を行なうことにより容易に実行され
る。このように、定数発生回路８−１１ｄにおい
て、演算ユニツト８−１〜４について各々（０，
０），（１，０），（０，１），（１，１）なる番地修
飾のための定数ベクトルを設定しておき、同一予
測選択信号を演算ユニツト８−１〜４に与えるこ
とによつて１ブロツク内の全画素についての並列
演算が実行されることになる。これによれば、定
数発生回路８−１１ｄにおける定数値を変えるだ
けで、演算ユニツト８−１〜４のいずれも同一構
成の回路で実現できることが判るであろう。

ここで、ブロツク内に含まれる画素が第５図で
示したように２×２＝４個の２次元的な配列にな
つており、そしてこのブロツクに対する動き補償
の範囲が第２図の説明において用いた動き補償範
囲と同様に水平方向に±１画素／フレーム、垂直
方向に±１ライン／フレームなる速さであるとす
ると、このブロツクについてこの範囲内で動き補
償するためには、第２図ｂに示すように（０，
０）、すなわち１フレーム前で静止している画像
に対して主に用いられるものを始めとして（０，
１），（１，０），…，（−１，−１）の９個の動ベ
クトルに対してX₁〜X₁₆までの16個の予測信号が
必要となる。たとえば、（０，−１）が予測関数と
して用いられる時には、水平方向に０画素、つま
り不変で、垂直方向に１ライン下にずらした所に
できるX₃，X₄，X₁₄，X₁₅と予測されるべきブロ
ツク、たとえば第５図のa₁₁，a₁₂，a₂₁，a₂₂を含
むブロツクなどとの演算を行なうことを意味す
る。また、（１，−１）が予測として用いられた時
には、X₄，X₁₂，X₁₅，X₁₆との演算が行なわれ
る。このように、上記の動き補償範囲については
16種の予測信号が必要となる。

現在予測すべきブロツク、たとえば第５図にお
けるa₁₁，a₁₂，a₂₁，a₂₂のブロツクがX₁，X₂，
X₃，X₄のブロツクと丁度１フレーム時間だけ離
れているものとすると、ブロツクは２×２なる水
平方向に２画素の巾をもつているため、a₁₁，
a₁₂，a₂₁，a₂₂に対する動き補償時の予測信号は
X₁〜X₁₆までの16種となることは前に述べた。つ
ぎのブロツクa₁₃，a₁₄，a₂₃，a₂₄に対する予測信
号は同様に16種であり、その内訳はX₂，X₄，
X₇，X₈，X₁₁，X₁₂，X₁₅，X₁₆とA₁〜A₈である。
したがつて、a₁₁，a₁₂，a₂₁，a₂₂のブロツクのた
めに動き補償を用いた予測符号化を行つている間
に、次のブロツクに必要なA₁〜A₈なる８画素を
補充してやらねばならない。予測信号発生メモリ
８−１１ａに対するA₁〜A₈の補充は遅延回路６
の出力を線１０６ｂを介して与えることによつて
行われる。読み出しと補充のそれぞれのために、
かりにいずれも等しい時間、たとえば４画素時間
が割り当てられるとすると、８画素をこの時間内
に記憶してしまうためには１画素時間に２画素づ
つ並列に補充する必要がある。すなわち、線１０
６ｂは２画素を並列に供給できるように構成され
ていなければならない。この線１０６ｂの並列線
数はブロツク構成する画素数(M)、ブロツクの形
状、動き補償の対象範囲、最適予測信号の判定に
許容される１ブロツク時間(T)により定まる。すな
わち、水平方向にｋ画素で垂直方向にｌラインな
るブロツク（Ｍ＝ｋ×ｌ）があるとする。動き補
償の対象範囲を｜V_x｜≦ｍ，｜V_y｜≦ｎとし、時
間Ｔとしてはブロツク内の全画素数Ｍに等しい時
間しか与えられない。すなわち、入力画像に対し
て実時間にて予測符号化処理を行なう場合を考え
ると、つぎのブロツクの最適予測関数決定のため
に必要な補充画素数ｋ×（2n＋ｌ）は時間Ｔ内に
補充せねばならない。前述の例では、ｋ＝２，ｌ
＝２、かつｍ＝ｎ＝１であつたから、補充画素数
は２×（２×１＋２）＝８画素であつた。そこで、
このｋ×（2n＋ｌ）画素をＴ＝Ｍ画素時間以内に
補充するためには、補充に用いる並列線数として
ｋ×（2n＋ｌ）／Ｍ本、すなわち、２×（２×１
＋２）／（２×２）＝２本が必要となる。他の例
として、例えば、ｋ＝８，ｌ＝４，ｍ＝ｎ＝６の
場合には８×（２×６＋４）／（８×４）＝４本が
必要である。

上記の補充画素に対する予測信号発生メモリ８
−１１ａへの書き込み番地は、現在のブロツクに
対する最適予測関数の判定に必要な画素が記憶さ
れている番地に続いている方が、書き込み、続み
出しに際して制御が容易となる。そのためには、
第７図に示すようにX₁〜X₁₆が記憶されている番
地に続いてA₁〜A₈を書き込むことになる。この
予測信号発生メモリ８−１１ａの記憶容量として
は、前述の記号（ｋ，ｌ，ｍ，ｎ）を用いて表現
すると、現在のブロツクの最適予測関数判定用と
して（2m＋ｋ）×（2n＋ｌ）画素、つぎのブロツ
クでの最適予測関数判定用の補充画素のためにｋ
×（2n＋ｌ）画素が必要であるから、合計すると
２（ｍ＋ｋ）×（2n＋ｌ）画素となる。

さて、予測信号発生メモリ８−１１ａから選択
されて出力された予測信号Ｘと線１０８−６ａを
介して供給された画像信号とは減算回路８−１２
ａにおいて減算され、この差分値は演算回路８−
１２ｂにおいて予測誤差量、たとえば予測誤差電
力で表現する場合には（a₁₁−X₃）²などの自乗の
演算が行なわれ、その演算結果は線１０８−１を
介して出力される。演算ユニツト８−２〜４につ
いても同様に各演算結果はそれぞれ線１０８−
２，１０８−３，１０８−４を介して出力され
る。以下予測誤差量として予測誤差電力を例にと
つて説明する。

再び第６図を参照し、線１０８−５ａを介して
予測関数指示回路８−５から供給される各々演算
ユニツト８−１〜４に対する予測選択信号によつ
て予測信号が選択され、線１０６ｂを介して供給
される画像信号とこれらの予測信号とから差信号
が発生し、その自乗演算結果は１０８−１，１０
８−２，１０８−３，１０８−４によりそれぞれ
加算回路８−７へ供給される。加算回路８−７で
は、この４入力の和、たとえば（０，−１）なる
動ベクトルが用いられた場合には、（a₁₁−X₃）²＋
（a₁₂−X₄）²＋（a₂₁−X₁₄）²＋（a₂₂−X₁₅）²なる和を
とり、その加算結果を予測関数比較回路８−８へ
供給する。この加算結果すなわちブロツク当りの
予測誤差電力は予測関数指示回路８−５から予め
定められた順序に従つて指定された１予測関数
（あるいは動ベクトル）に対するものであるが、
予測関数比較回路８−８においては、この加算結
果と保持されている予測関数に対する加算結果と
の２者比較を行なつて、より小なる加算結果をつ
ぎの予測関数に対する加算結果との比較時まで保
持する。既に保持されている加算結果よりも小さ
な加算結果が予測関数比較回路８−８に供給され
た場合には、この既に保持されている加算結果を
より小さな加算結果に置き換え、同時に置き換え
が発生したことを示す置換信号を予測選択回路８
−９へ供給する。予測選択回路８−９では、この
置換信号が供給されると、予測関数指示回路８−
５から線１０８−５ｂを介して供給されている予
測関数を新たに保持する。予測関数が多数あるた
めに、全予測関数について逐一上記計算を行なう
と演算時間が増加して定められた演算時間内に最
適予測関数の判定が困難な場合には、まず全予測
関数の中のいくつかを選んで上記計算を行なう。
それから、その中での近似的な最適予測関数を定
め、つぎにこの予測関数に対応する動ベクトルに
比較的類似するベクトルをもつ前に用いなかつた
予測関数のいくつかについて同上のことを行な
う。これを必要回数繰り返すことによつて、全予
測関数の中での最適予測関数を少ない演算回数で
求めることができる。近似的な最適予測関数を示
す情報は、このようにして各繰り返し毎に段々精
度が向上していき、線１０８−９により予測関数
指示回路８−５へ帰還される。予測関数指示回路
８−５では、この帰還された近似的な最適予測関
数を用いることによつて、つぎの繰り返しにおい
て比較を行なういくつかの予測関数を順次指定す
る。

第８図は、第３図における予測信号発生回路５
の具体的な構成例をブロツク図により示したもの
である。この図において、２次元メモリ５−１は
前述した演算ユニツト８−１に含まれている２次
元メモリ８−１１とほぼ同じに構成されている。
相違するところは、内蔵されている予測信号発生
メモリ（Ｐメモリと略称する。これは８−１１ａ
に相当する）が最適予測関数を示す情報を１ブロ
ツク時間保持するレジスタ５−２から出力をうけ
たのち、その内容に従つて同じく内蔵されている
８−１１ｃに対応する読み出し制御回路により自
動的にブロツク内の全画素について順次読み出さ
れ、線１０５から出力される点である。２次元メ
モリ５−１に内蔵されている定数発生回路は、第
７図における定数発生回路５−１１ｄと同様に
（０，０）に設定されており、例えば、（０，−１）
が最適予測関数に対応する動ベクトルであるとす
れば、X₃，X₄，X₁₄，X₁₅がその順序で最適予測
信号として線１０５から得られる。そして、この
２次元メモリ５−１は、最適予測信号を出力して
いる間につぎのブロツクに対する最適予測信号を
生成するため、線１０６ａを介して供給される局
部復号信号をＰメモリに補充する必要があるが、
その方法は前述の演算ユニツトにおける予測信号
発生メモリ８−１１ａに対する補充の仕方と同じ
である。したがつて、予測信号発生回路５は演算
ユニツト８−１と比較すると、読み出し制御回路
の機能のみが少し拡大されただけである。

上記の説明において例示した動き補償の対象範
囲、すなわち予測関数の種類やブロツク内に含ま
れる画素数に限定されるものでは勿論無く、たと
えば動き補償の対象範囲が水平、垂直方向につい
てそれぞれ±６画素／フレーム、±６ライン／フ
レーム（予測関数の種類は169種）、さらにブロツ
ク内に含まれる画素数が４ライン×８画素＝32画
素とすると、演算ユニツトを32個用意し、最適予
測関数判定回路８における最適予測関数判定のた
めの繰り返し演算を最高169回行なえば最適予測
関数が求められる。最適予測関数の判定を実時間
で行なう場合には、１ブロツクが32画素からなる
ものとすると、32画素時間以内に実行しなければ
ならない。したがつて、この場合には少し異なつ
た最適予測関数の判定法を用いる必要があるが、
たとえば昭和55年３月の電子通信学会総合全国大
会講演論文集（分冊５）、論文番号1053に記載さ
れている平野氏他による「動き補償フレーム間符
号化方式の検討」において紹介されているような
方法が適用できる。すなわち、169種の動ベクト
ルに対して、第１回目には９個の動ベクトルを選
んで近似的な最適予測関数を求め、第２回目には
第１回目の計算で求められた近似的な最適予測関
数に類似した動ベクトルを９種選び、同様にして
精度が高くなつた近似的な最適予測関数を求め、
第３回目には精度が向上した第２回目の結果であ
る近似的な最適予測関に加えて、これと水平、垂
直いずれの方向にも１画素、あるいは１ラインし
か違わない動ベクトルを計９個用いて同様に計算
すると、最適予測関数を求めることができる。以
上の手法を用いることによつて、169種の予測関
数から最適予測関数を決定するのに27回の演算で
済むことになり、したがつて予測関数が多いにも
かかわらず実時間での実行が可能となる。

第９図は本発明による予測復号化装置の実施例
をブロツク図により示したものである。図におい
て、第３図の予測符号化装置により予測符号化さ
れ、情報圧縮された画像信号が線２００を介して
伝送路、あるいは記録媒体から供給されると、情
報伸長回路１１において、符号化装置側の情報圧
縮回路７によつて挿入された元の画像の復元に必
要な同期信号、最適予測関数を表わす情報、それ
に最適予測関数に対する予測誤差信号をそれぞれ
伸長、分離する。伸長、分離された最適予測関数
を表わす情報と予測誤差信号とはそれぞれ線２１
１−２および２１１−１を介して予測信号発生回
路１２および加算回路１３へ供給される。予測信
号発生回路１２では、最適予測関数を表わす情報
に従つて最適予測信号を発生するが、その機能お
よび構成は予測符号化装置の予測信号発生回路５
と同一である。発生した予測信号は線２１２を介
して加算回路１３へ供給され、線２１１−１を介
して供給される予測誤差信号との和がとられ、再
生された画像信号となる。この再生された画像信
号は線２１３からそれぞれ分岐された線２１３ａ
および２１３ｂにより走査逆変換回路１４および
遅延回路１５へとそれぞれ供給される。

遅延回路１５の遅延時間は予測符号化装置の遅
延回路６と同一のおよそ１フレーム時間である。
遅延回路１５の出力の遅延された再生画像信号は
つぎのブロツクに対して必要な予測信号発生回路
１２における予測信号発生のために、補充用画素
信号として線２１５を介して予測信号発生回路１
２へ供給される。この線２１５は予測符号化装置
の線１０６ａと同じくブロツク内に含まれる画素
数、ブロツクの形状、動き補償の対象範囲および
最適予測関数判定に許容される時間によつて並列
線数が定まる。線２１３ａを介して加算回路１３
から供給された再生画像信号はブロツク化された
ままであるから、このまま通常のモニタやデイス
プレイでは正しく表示できない。そのために、走
査逆変換回路１４に加えられ、元の時系列の画像
信号に戻され、復号された画像信号として線２１
４から取り出される。

上記第３図および第９図における実施例の一変
形例として、NTSCカラーTV信号のようにライ
ン間で色信号位相が反転するような色信号副搬送
波をもつテレビジヨン信号が第３図における走査
変換回路１へ入力画像信号として与えられる場合
には、局部復号信号を遅延させる遅延回路６の遅
延時間をおよそ２フレーム時間に増加する。それ
によつて、およそ２フレーム時間遅延した画像信
号と、遅延回路６の途中にタツプをとつておよそ
１フレームならびにおよそ１フイールド（たとえ
ば走査変換前の262ライン相当）遅延した画像信
号などを線１０６ａおよび１０６ｂを介して予測
信号発生回路５および最適予測関数判定回路８へ
それぞれ供給する。これに伴ない、第９図の予測
復号化装置においても遅延回路６と全く同様に遅
延回路１５を２フレーム時間遅延とし、途中でタ
ツプをとつて前記およそ２フレーム、およそ１フ
レーム、およびおよそ１フイールドの各々遅延し
た画像信号を線２１５を介して予測信号発生回路
１２に供給するように変更する。このように変更
することにより、カラーテレビジヨン信号に対し
ても同一色信号副搬送波位相を示す画素点を用い
て多数の予測関数が生成できるため、色信号副搬
送波をもつカラーテレビジヨン信号に対しても高
い予測符号化能率が得られる。

第３図における構成例においては、最適予測関
数判定回路の演算ユニツト８−１内の２次元メモ
リ８−１１から出力される予測信号は、説明を簡
単にするために内挿などを用いない最も簡単な例
を選んだが、以下にその変形例として内挿を用い
る場合について説明する。予測信号Ｘが画像信号
X₁〜X₁₆を用いてつくられるものであるとする
と、予測信号Ｘは一般に、Ｘ＝₁₆ 〓ⁱ⁼¹ ρ_iX_i で与えられる。ただし、ρ₁〜ρ₁₆はそれぞれ画像
信号X₁〜X₁₆に対する重み係数とする。前記の第
７図においては、予測ベクトル（０，０）に対し
てＸ＝X₁が出力されることにより、ρ₁＝１，他
は全てゼロの場合であつた。しかし、内挿値を用
いる方が予測誤差量が小さい場合も多い。たとえ
ば、動ベクトル（０，０）に対して、Ｘ＝ρ₁・
X₁＋ρ₉X₉、あるいはもつと複雑なものも考えら
れる。ここでは、２画像信号の内挿の場合につい
て説明する。

第１０図は予測信号発生メモリから２つの画像
信号が並列に出力できるように構成された場合の
演算ユニツト８′−１（８′−１〜４を代表する）
の構成例をブロツク図により示したものである。
この図において、動ベクトルが線１０８−５ａを
介して供給されると、読み出し制御回路８′−１
１ｃは読み出すべき２画像信号、たとえばX₁，
X₉の各メモリ内番地を同時に線AD₁，AD₂を介
して予測信号発生メモリ８′−１１ａに供給する。
この２画像信号は同時に読み出され、乗算回路
８′−１１ｅ，８′−１１ｆにおいて、たとえば
各々ρ₁X₁，ρ₉X₉の乗算が行なわれる。この乗算
結果は加算回路８′−１１ｇで加算され、２次元
メモリ８′−１１の出力予測信号Ｘとなる。たと
えば、前述のように動ベクトルが（０，０）であ
つたとすると、内挿可能な演算ユニツト８′−１
の出力信号ＸはＸ＝ρ₁X₁＋ρ₉X₉となる。勿論、
予測信号発生回路５内の２次元メモリも同様な構
成に変えることによつて内挿結果を線１０５から
出力することが可能となる。その他の動作は内挿
の有無に関係なく同じである。

第１１図は、予測信号発生メモリにおいて用い
られるメモリ素子の動作速度が要求される処理速
度に対して充分速い場合に適合する演算ユニツト
８″−１（８″−１〜４を代表する）の構成例をブ
ロツク図により示したものである。たとえば、２
画素を連続して読み出せるほどに高速である場合
を例にすると、図において、まず先に読み出され
た画像信号、たとえばX₁をレジスタ８″−１１ｈ
に記憶し、つぎにX₉を読み出す。そして、レジ
スタ８″−１１ｈの出力がX₁（一般的にはX_a）と
後から読み出されたX₉（一般的にはX_b）とは各各
乗算回路８″−１１ｅおよび８″−１１ｆに供給さ
れ、積ρ₁X₁とρ₉X₉とがそれぞれ出力される。加
算回路８″−１１ｇではＸ＝ρ₁X₁＋ρ₉X₉の加算が
行なわれる。予測信号発生回路５内の２次元メモ
リも同様に高速のメモリにて構成される。他の動
作については第７図における例と同じである。

以上の説明により明らかなように、本発明によ
れば、圧縮されて受信された最適予測関数を表わ
す信号と予測誤差信号とを伸長、分離し、分離さ
れた一方の予測関数を表わす信号により予測信号
を発生して分離された他方の予測誤差信号と加算
したのち、走査逆変換により元の時系列の画像信
号に予測復号化することによつて、簡単な構成で
送信側予測符号化装置から伝送される高速に予測
符号化された画像信号を信頼性高く受けることが
でき、これによつて高速で、かつ経済性の高い画
像信号の予測符号化伝送システムを確立すべく得
られる効果は大である。

【図面の簡単な説明】

第１図は図形に対する動き補償の原理を説明す
る図、第２図ａおよびｂは、並列演算の方法を説
明するための、それぞれ入力画像ブロツクの画素
の配置例および予測に使用される画素の配置例、
第３図は送信側予測符号化装置の構成例を示すブ
ロツク図、第４図は、第３図における走査変換回
路１の具体的な構成例を示すブロツク図、第５図
は走査信号に対するブロツク化の方法を説明する
図、第６図は、第３図における最適予測関数判定
回路８の具体的な構成例を示すブロツク図、第７
図は、第６図における演算ユニツト８−１の具体
的な構成例を示すブロツク図、第８図は、第３図
における予測信号発生回路５の具体的な構成例を
示すブロツク図、第９図は本発明による予測復号
化装置の実施例を示すブロツク図、第１０図は、
第７図の演算ユニツトに代わる他の変形例を示す
ブロツク図、第１１図は、第７図の演算ユニツト
に代わる更に他の変形例を示すブロツク図であ
る。図において、１は走査変換回路、２ａ，６は遅
延回路、２ｂは減算回路、３は量子化回路、４は
加算回路、５は予測信号発生回路、７は情報圧縮
回路、８は最適予測関数判定回路、１−１，１−
２，１−３，１−４はラインメモリ、１−５はマ
ルチプレクサ、５−１は２次元メモリ、５−２は
レジスタ、８−１，８−２，８−３，８−４は演
算ユニツト、８−５は予測関数指示回路、８−６
は画素展開回路、８−７は加算回路、８−８は予
測関数比較回路、８−９は予測選択回路、８−１
１，８′−１１，８″−１１は２次元メモリ、８−
１１ａ，８′−１１ａ，８″−１１ａは予測信号発
生メモリ、８−１１ｂ，８′−１１ｂ，８″−１１
ｂは書き込み制御回路、８−１１ｃ，８′−１１
ｃ，８″−１１ｃは読み出し制御回路、８−１１
ｄ，８′−１１ｄ，８″−１１ｄは定数発生回路、
８′−１１ｅ，８″−１１ｅ，８′−１１ｆ，８″１
１ｆは乗算回路、８′−１１ｇ，８″−１１ｇは加
算回路、８″−１１ｈはレジスタ、８−１２は評
価信号発生回路、８−１２ａ，８′−１２ａ，
８″−１２ａは減算回路、８−１２ｂ，８′−１２
ｂ，８″−１２ｂは演算回路、１１は情報伸長回
路、１２は予測信号発生回路、１３は加算回路、
１４は走査逆変換回路、１５は遅延回路である。

Claims

【特許請求の範囲】

１時系列として入力される画像信号からｋ画素
（水平）×１ライン（垂直）なる大きさ（ｋ、ｌは
いずれも正整数）の２次元ブロツクを単位として
入力信号とは異なる時系列に変換した後に、この
ブロツク毎に複数個の予測関数のうち最適なもの
を１個選択して最適予測符号化を実行し、その結
果である少なくとも該最適予測関数を表す信号と
これに対する予測誤差信号とを含んで圧縮符号化
された画素信号を受信してこれを予測復号化する
装置であつて、前記圧縮符号化された画像信号を
伸長して少なくとも前記最適予測関数を表す信号
とこれに対する予測誤差信号とに分離する分離手
段と、次のブロツクの予測信号発生のために前記
の大きさのブロツクを含みかつこれを中心として
前記最適予測関数を表す信号が取り得る垂直方向
での正負（上下）のそれぞれ最大値および水平方
向に前記ｋ画素の巾により囲まれる領域内の画素
が少なくとも１ブロツクについての最適予測符号
化の許容時間内に書込み完了するように復号化さ
れた画像信号の補充を受けつつ、該分離手段によ
り分離された最適予測関数を表す信号に従つて前
記２次元ブロツク内の各画素位置に対応する番地
を用いて番地修飾することにより該２次元ブロツ
クに対する予測信号を発生する予測信号発生手段
と、該予測信号発生手段を含み、且つこの予測信
号発生手段から供給される予測信号と前記分離手
段により分離された予測誤差信号とを用いて前記
復号化された画像信号を発生する予測復号化手段
と、該予測復号化手段からの出力をうけて前記元
の時系列の画像信号に変換する走査逆変換手段と
を具備したことを特徴とする予測復号化装置。