JPH0340556B2

JPH0340556B2 -

Info

Publication number: JPH0340556B2
Application number: JP55126125A
Authority: JP
Priority date: 1980-09-12
Filing date: 1980-09-12
Publication date: 1991-06-19
Also published as: JPS5752281A

Description

【発明の詳細な説明】本発明は画像信号の予測符号化装置に関する。

予測符号化方式は本来伝えるべき入力信号と予
測値との差を伝送することにより伝送情報量を低
減するという動作原理に基いて開発された方式で
ある。テレビジヨン等の画像信号伝送方式におい
て、たとえば、フレーム間符号化では、静止画、
あるいはほとんど動きを含まない準静止画に対し
て大きな振幅をもつ予測誤差の発生頻度が低くな
るために、発生する情報量が少なく、動きを多く
含む画像に対しては発生情報量は増加する。すな
わち、動きが少ない程符号化能率がよい。そこ
で、動きが含まれている場合にも能率を高める試
みはこれまでにもなされてきた。すなわち、テレ
ビジヨン信号に含まれる動きは平行移動によると
見なされる場合が多いので、フレーム間における
被写体の位置の変化量を考慮したフレーム間予測
を行なうことにより動画に対しても高い符号化能
率を実現しようとするものである。

第１図に示すように、ｔ＝T₀なる時刻に座標
（x₀、y₀）付近にあつた図形が１フレーム時間
（τ）後には（x₁、y₁）に移動したとする。この
とき、通常のフレーム間予測符号化においては１
フレーム前の画素を予測信号として用いることよ
り、ｔ＝t₀＋τにおける（x₀、y₀）付近の画素の
予測にはｔ＝t₀における（x₀、y₀）付近の画素が
用いられる。したがつて、第１図から明らかなよ
うに、ｔ＝t₀＋τでは差分値（予測誤差）で零で
ないものは（x₀、y₀）と（x₁、y₁）の両地点の付
近に発生する。ここで、もし何らかの方法で
（x₀、y₀）から（x₁、y₁）への図形の変位量を検
出できたとすると、ｔ＝t₀での（x₀、y₀）近傍の
図形を用いてｔ＝t₀＋τにおける（x₁、y₁）近傍
の図形を予測でき、発生情報量が大巾に減少す
る。これがいわゆる「動き補償」の原理である。
つまりｔ＝t₀＋τにおける（x₁、y₁）近傍の図形
に対する最適な予測点はｔ＝t₀での（x₀、y₀）近
傍にあることになる。この最適な予測点を時間あ
るいは空間座標を用いた関数で表現する時、これ
を最適予測関数と呼ぶことにする。通常、この最
適予測関数の判定は複数個の画素からなるブロツ
ク単位に行なわれ、検出された最適予測関数によ
り予測符号化し、予測誤差信号とともに最適予測
関数を示す信号が伝送される。

この最適予測関数を判定する方法としては、た
とえばブロツク単位に補償しようとする速度に対
応する範囲全てについてしらみつぶしにかつ限ら
れた時間内に判定を行なうために、並列に予測誤
差量（以下の説明では予測誤差電力を例にとる）
の計算を実行する方法がある。しかし、この方法
は、それを実現する回路規模が非常に大きく、か
つ複雑なものとなり、このために実際のハードウ
エアにて実現することはほとんど不可能と言える
状態にあつた。

本発明の目的は、上記の問題を解決し、ハード
ウエアが小型に簡易化され、かつ高速に画像信号
を予測符号化することのできる高能率の予測符号
化装置を提供することにある。

本発明による画像信号の予測符号化装置は、時
系列として入力される画像信号から複数の走査線
間にまたがるＭ個（Ｍは２以上の整数）の画素か
らなる２次元ブロツクを構成せしめ、入力の時系
列とは異なる順序で画像信号を出力する走査変換
手段と、該走査変換手段の出力画像信号について
局部復号化された画像信号を用いて複数個の予測
関数の各々に対する前記２次元ブロツク当りの予
測誤差量を高々Ｍ個の演算手段の繰り返し使用に
より比較する手段と、該比較手段において予測誤
差量が小さいと判定された最適予測関数に従つて
前記２次元ブロツクに対する予測信号を発生する
手段と、該予測信号発生手段の出力と前記走査変
換手段の出力とをうけて予測誤差信号を発生する
手段と、前記予測信号発生手段の出力と前記予測
誤差信号発生手段の出力とをうけて局部復号化さ
れた画像信号を発生し、前記比較手段および前記
予測信号発生手段へ供給する局部復号化手段と、
少なくとも前記比較手段から得られる最適予測関
数を表わす信号と前記予測誤差信号発生手段から
得られる予測誤差信号とを圧縮符号化する符号変
換手段とを具備したことを特徴とする。

ここで、本発明の生れるに至つた根拠ならびに
その特長について簡単に述べる。まず、補償の対
象とする動きの速さを水平走査線（ライン）方向
（ｘ方向）に±ｍ画素／フレーム、水平走査線に
直角な方向（ｙ方向）に±ｎライン／フレームと
する。この場合、動きの速さと方向を表わす量
（動ベクトル）はｘ方向に（2m＋１）種、ｙ方向
に（2n＋１）種の計Ｎ＝（2m＋１）×（2n＋１）種
ある。この動ベクトルの数だけ予測関数を用意す
れば良い。ｘ方向にV_x画素／フレーム、ｙ方向
にV_y画素／フレームなる速さで動く被写体があ
るとする。ただし、V_x、、V_yはともに上記の補償
の対象内にあるものとする。すなわち、 −ｍ≦V_x≦ｍ −ｎ≦V_y≦ｎとする。これによれば、前フレーム内で空間的に
対応する点からｘ方向に−V_x、ｙ方向に−V_yず
らした所からの予測が予測誤差電力Ｐを最小に
し、最適となる。すなわち、（−V_x、−V_y）なる
ベクトルを用いて表現される予測関数が最適予測
関数となる。

この予測誤差電力Ｐ（差分値の自乗）をブロツ
ク単位で計算し、最適な予測関数を高速で見出す
ためには同時に処理可能な信号については並列に
演算することが有効である。たとえば最適予測関
数の決定のため予測誤差電力Ｐを計算する場合
に、(A)動き補償の対象範囲Ｎについて、および(B)
ブロツク内の画素数Ｍについて、の並列演算など
が考えられる。この例を４画素からなるブロツク
（Ｍ＝４）を例にとつて以下に説明する。第２図
のａには予測されるべき入力画像のブロツクの画
素D₁〜D₄の配置例を、ｂには動き補償を効率良
く行なうために２次元的に配置された予測に使用
される画素の配置をｍ＝ｎ＝１についてそれぞれ
示す。第２図ｂにおける（０、０）、（１、０）、
…、（−１、−１）等の記号は動ベクトルを表わし
ており、たとえば（０、０）は丁度１フレーム前
の点、（１、−１）は水平方向には右に１画素、垂
直方向には下方に１ライン下つた点をそれぞれ示
す。他も同様である。たとえば、動ベクトル
（１、−１）に従つて行なわれる上記(A)および(B)の
演算方法について具体的に説明すると、(A)の場合
には、（D₁−X₅）²、（D₁−X₆）²、（D₁−X₇）²、（D₁
−X₉）²、（D₁−X₁）²、（D₁−X₂）²、（D₁−X₁₀）²、
（D₁−X₃）²、（D₁−X₄）²の９種についての演算を
同時に行なう。以下同様にD₂，D₃，D₄について
繰り返す。

(B)の場合には、（D₁−X₄）²、（D₂−X₁₂）²、（D₃
−X₁₅）²、（D₄−X₁₆）²の４種の演算を同時に行な
う。同様に他の残り８種の動ベクトルについて繰
り返す。

となる。したがつて、全演算回数は４×９＝36
で(A)および(B)とも同じである。このように(A)およ
び(B)いずれの場合も最適予測関数を決定するまで
に必要な演算回数はＭ×Ｎとなる。

実際のハードウエアでこの並列演算を実行する
場合を考えると、（D₁−X₅）²、（D₁−X₆）²、…、
あるいは（D₁−X₄）²、（D₂−X₁₂）²、…の中の任
意の１個を１演算ユニツトが計算する。そして、
その計算結果をP_ijとする。ただし、ｉはブロツ
ク内の画素、ｊは複数個の予測関数の中の１つを
表わすものとする。(A)の場合には、P_ijを、まず
ｊ＝１、２、３、…、Ｎについて並列に計算し、
つぎに各ｉについてｉ＝１、２、３、…、Ｍの計
算を行なう。したがつて、各ｊに対して_M 〓ⁱ⁼¹ P_ijを
記憶しておかねばブロツク当りの最小予測誤差電
力の比較、判定はできない。(A)の場合には、Ｎ個
の演算ユニツト、Ｎ個の予測誤差電力を加算記憶
する累積回路、そしてＮ予測誤差量の比較回路が
少なくとも必要である。(B)の場合には、_M 〓ⁱ⁼¹ P_ij、
すなわちP_ijをｉ＝１、２、３、…、Ｍについて
まず並列に計算して加算するので、１予測関数に
対するブロツク当りの予測誤差電力が一度に求め
られる。そして、この予測誤差電力を他の予測関
数に対する予測誤差電力と比較してより小さな方
を判定すれば良く、高々Ｎ回の比較判定で済ます
ことができる。すなわちＭ個の演算ユニツトとＭ
入力加算器および比較回路をＮ回繰り返して使用
することができる。一般に同一の演算を大量に行
なう場合には、同一の演算回路を繰り返して使用
するとハードウエア規模を小さくできる。(A)の場
合には、動ベクトルの数Ｎが定まればブロツク内
の画素数Ｍだけ繰り返し演算を行なうためハード
ウエア規模はＮの値でほぼ決まる。動きを含む代
表的な画像信号としてのテレビジヨン信号におい
ては種々の速さをもつた動きが出現するが、かり
に左右に６画素／フレーム、上下に６ライン／フ
レームの範囲内の動きについて動き補償をするも
のとすると、動ベクトルの数Ｎは169となる。他
方、ブロツク内の画素数Ｍについては、Ｍが大き
くなるほど、とくに垂直方向（ライン方向）に広
がりをもつほど装置規模が大になるため、Ｍはで
きるだけ小さくとるのが都合が良い。比較的大き
なブロツクと考えられる８ライン×16画素のブロ
ツクでもＭ＝128であり、Ｍ＜Ｎの関係になる。

動き補償を用いる予測符号化装置においては動
き補償の範囲、すなわち動ベクトルＮの数はでき
るだけ大きくし、しかもブロツク内の画素数Ｍは
できるだけ少なくすることが望ましい。この観点
から見るとき、上記(A)の方法はハードウエア規模
がほぼＮの値により決定されるので、動き補償の
範囲を広くとることはハードウエア規模の増大を
きたすため困難となる。この点、(B)の方法は主と
してＭ個の演算ユニツトをＮ回繰り返して使用す
るため、ハードウエア規模はほぼＭの値により決
定される。すなわち、(B)の方法による方が有利で
あることが判るであろう。

ところで、上記のような２次元ブロツク単位の
処理に際しては、予め走査変換した画像信号を用
いると一段と有利になる。これによれば、複数走
査線間にまたがつた２次元ブロツク内の画素が並
び換えられ、各ブロツク内の画素がブロツク毎に
連続するように走査変換されて２次元ブロツク内
の全画素が直列的に並べられる。したがつて、２
次元ブロツク内の画素について予測符号化する際
に走査線の存在を注意する必要がなくなり、同一
走査線上にあるＭ画素から作られた１次元のブロ
ツクに対すると同様に２次元ブロツクを取り扱う
ことができる。これからわかるように、走査変換
を予め行なえば、２次元ブロツクを用いる予測符
号化は１次元ブロツクを用いる予測符号化と何ら
変りがなくなる。また、本発明によれば、上記(B)
の場合を実現することによつてＭ個の演算ユニツ
トをＮ回繰り返して最適予測関数を決定すること
ができ、そのために、ブロツク内に含まれる画素
数Ｍが小さい場合にはハードウエアを小さくする
ことが可能となる。Ｍの値が大きい時には、演算
ユニツト数をＭよりも少なくすることが出来るこ
とは勿論である。更にまた、１回の計算で１予測
関数についてのブロツク当りの予測誤差電力が計
算されるために、計算をしながら次に比較するべ
き予測関数を選択することが可能となり、最適予
測関数を決定するまでに必ずしもＮ種類全てにつ
いての計算をしなくとも済むようにできるという
利点がある。

次に、本発明にかかる実施例について図面を参
照して詳しく説明する。

第３図は本発明による予測符号化装置の実施例
をブロツク図により示したものである。この装置
において、入力画像信号は線１００を介して走査
変換回路１に供給され、ここで複数個の画素から
なるブロツクが形成される。ブロツク化された画
像信号は線１０１から分岐した線１０１ａ，１０
１ｂを介してそれぞれ遅延回路２ａ、最適予測関
数判定回路８に供給される。この遅延回路２ａは
最適予測関数の決定に要する時間だけブロツク化
された画像信号を遅延する。遅延時間はブロツク
内に含まれる画素数に対する時間程度である。遅
延回路２ａより減算回路２ｂに供給された画像信
号は予測信号発生回路５の出力線１０５から分岐
した線１０５ａを介して供給される予測信号との
差がとられ、この差、すなわち予測誤差信号は通
常取り得るレベル数を制限する機能を有する量子
化回路３に供給される。量子化された予測誤差信
号は線１０３から分岐した線１０３ａを介して情
報圧縮回路７に供給される。同時に、予測信号発
生回路５の出力の予測信号は線１０５ｂを介して
加算器４に供給され、線１０３ｂを介して供給さ
れる量子化された予測誤差との加算により局部復
号信号を発生する。この局部復号信号は引き続く
予測信号の発生に役立てるため線１０４を介して
遅延回路６に供給される。遅延回路６の遅延時間
は用いられる予測関数にもよるが本実施例ではお
よそ１フレーム時間に設定され、線１０６ａおよ
び１０６ｂを介してそれぞれ最適予測信号発生回
路５および最適予測関数判定回路８に局部復号信
号として供給される。予測信号発生回路５では、
上記最適予測関数判定回路８より線１０８から１
０８ａを介して供給される最適予測関数を示す情
報に基づき、線１０６ａを介して供給される遅延
した局部復号信号を用いて予測信号を発生させる
が、これが前述の最適予測信号と呼ばれるもので
ある。この最適予測信号の判定はブロツク単位で
行なわれ、この結果にしたがつて最適予測信号を
用いた前述の予測符号化が実行される。最適予測
関数判定回路８では、線１０１ｂと線１０６ｂと
によりそれぞれ供給されるブロツク化された入力
画像信号と遅延回路６の出力の遅延した局部復号
信号とを用いて最適な予測関数を決定する。

上記のようにして決定された最適予測関数を示
す情報は線１０８ｂを介して情報圧縮回路７へも
同時に供給される。情報圧縮回路７では、この最
適予測関数を示す情報と、この予測関数を用いた
時の量子化回路３から出力された予測誤差信号と
を復号時に必要な同期信号と共にうけて、できる
だけ少ない符号量で表わせるように圧縮変換を行
なう。この圧縮変換された信号は、線１０７を介
して伝送路、あるいは記録媒体へ送出される。な
お、情報圧縮回路７は圧縮された情報を一定速度
で出力できるように速度整合機能をも有する。

第４図は、第３図における走査変換回路１の具
体的な構成例をブロツク図により示したものであ
る。なお、本実施例では、画像ブロツクとして第
５図に示すように水平に２画素、垂直に２ライン
の２×２なる２次元ブロツクを用いることにす
る。第５図中、a₁₁，a₁₂，a₂₁，a₂₂のように破線
で囲まれた４画素（丸印で表示）によつて１ブロ
ツクが構成される。通常のテレビジヨンにおける
走査方向は図の左から右へ、たとえばa₁₁，a₁₂，
a₁₃，a₁₄の順で走査され、次の走査線にa₂₁，a₂₂，
a₂₃，a₂₄が含まれることになる。したがつて、第
４図の回路において、画素a₁₁〜a₁₄を含む走査線
S₁の信号をラインメモリ１−１に、a₂₁〜a₂₄を含
む走査線S₂をラインメモリ１−２に順次記憶させ
る。ついでつぎのa₃₁〜a₃₄およびa₄₁〜a₄₄の走査
線S₃およびS₄を同様にラインメモリ１−３および
１−４に各々記憶させている間に、ラインメモリ
１−１および１−２からはブロツク順に、すなわ
ちa₁₁，a₁₂，a₂₁，a₂₂，a₁₃，a₁₄，a₂₃，a₂₄，…と
いう順序で読み出す。以下の説明ではこのブロツ
ク順の読み出しを用いるが、他にa₁₁，a₂₁，a₁₂，
a₂₂，a₁₃，a₂₃，a₁₄，a₂₄，…の順序で読み出すこ
ともできる。走査線S₁，S₂をこのような走査変換
した形式で読み終るのに要する時間は、走査変換
しない場合と同じであるから、S₁，S₂を読み終つ
た時にはラインメモリ１−４へのS₄の記憶が終了
する。したがつて、この時点でラインメモリ１−
３，１−４を前述の走査変換した形式で読み出
し、他方ラインメモリ１−１、それから１−２に
対しては、次の走査線S₅，S₆がそれぞれ順番に記
憶されることになる。

このように、ラインメモリ１−１，１−２と１
−３，１−４とを各々対にして記憶と読み出しを
交互に行なうことにより、走査順序を変換した形
式の画像信号、すなわち２次元的にブロツク化さ
れた画像信号が１画素づつ順次出力される。かく
して、読み出しに使用されている１対のラインメ
モリからの２出力中の１つが、マルチプレクサ１
−５によつて選択的に出力される。その出力であ
るブロツク化された画像信号は線１０１を介して
線１０１ａ，１０１ｂに分岐され、各々遅延回路
２ａ、最適予測関数判定回路８へ供給される。こ
の走査変換は、２次元ブロツクを用いた時の予測
符号化回路を複雑なものとしないために有用であ
る。もし、走査変換を行なわずに２次元ブロツク
単位で何等かの演算を行なうとすると、第５図に
おいて画像信号の走査はa₁₁，a₁₂，a₁₃，a₁₄，…
の順となり、a₁₁，a₁₂，a₂₁，a₂₂の４画素からな
る２次元ブロツクについて演算するには次の走査
線上の画素a₂₁，a₂₂，a₂₃，a₂₄，…が来るまで演
算を中断して待たねばならない。そして、その間
には相当な数のブロツクがあるが、これらのブロ
ツク全てについて演算は中断したままとなる。と
ころが、走査変換を行なつた後であれば、画像信
号はa₁₁，a₁₂，a₂₁，a₂₂，a₁₃，a₁₄，a₂₃，a₂₄，…
と並んでいるから、２次元ブロツクについての演
算はa₁₁，a₁₂，a₂₁，a₂₂、あるいはa₁₃，a₁₄，a₂₃，
a₂₄というようにわずか４画素、一般的にはＭ画
素時間で終了する。このように走査変換を予め行
なえば、２次元ブロツクについての演算は走査変
換しない時の１次元ブロツク、たとえばa₁₁，
a₁₂，a₁₃，a₁₄からなるブロツクについての演算と
同じになり、演算の制御は非常に容易となる。

第６図は第３図における最適予測関数判定回路
８の具体的な構成例を、また第７図は第６図にお
ける演算ユニツト８−１の具体例をそれぞれブロ
ツクにより示したものである。まず、第６図に見
られるように、例えば、演算ユニツト８−１へ線
１０６ｂを介して供給された遅延回路６の出力信
号は、演算ユニツト８−１内にある予測信号発生
メモリ８−１１ａに一たん記憶される。一方、ブ
ロツク化された入力画像信号は線１０１ｂを介し
て画素展開回路８−６に供給され、ここでブロツ
ク内の全４画素、たとえば第２図ａのD₁，D₂，
D₃，D₄が並列に展開されて同時に出力される。

この４画素並列出力の中の１画素は線１０８−
６ａを介して演算ユニツト８−１内の減算回路８
−１２ａに供給される。以降、この演算ユニツト
８−１で処理される画素のブロツク内での位置を
第２図ａで示したように画素点D₁と呼ぶことに
する。演算ユニツト８−２〜４についても同様に
考え、演算ユニツト８−１は画素点D₁の演算を、
他の演算ユニツト８−２〜４は各々画素点D₂〜
D₄の演算を受けもつことにすると計４個の演算
ユニツトを並列に使用することにより１ブロツク
の演算が並列に実行できる。

以降、演算ユニツトとして８−１を代表的にと
りあげ、第７図を参照して詳細に説明する。図に
示すように、演算ユニツト８−１は大きく分ける
と２次元メモリ８−１１と評価信号発生回路８−
１２とによつて構成される。このうち、２次元メ
モリ８−１１は予測信号発生メモリ８−１１ａ
と、これへの画像信号の書き込みや読み出しの番
地、タイミング等を制御する書き込み制御回路８
−１１ｂ、読み出し制御回路８−１１ｃおよび定
数発生回路８−１１ｄとから構成される。この予
測信号発生メモリ８−１１ａはレジスタ・フアイ
ルやRAM（ランダム・アクセス・メモリ）など
を用いることによつて容易に、かつ小型に構成さ
れる。書き込み制御回路８−１１ｂは予測信号発
生メモリ８−１１ａに遅延回路６の出力信号をつ
ぎのブロツクでの予測信号発生に用いる補充画像
信号として所定の番地に書き込む動作を実行する
が、この番地は第６図の予測関数指示回路８−５
から線１０８−５ａを介して供給される予測選択
信号の中に含まれる動ベクトル（０、０）、すな
わちフレーム間予測に対応する番地を基準として
決定することができる。読み出し制御回路８−１
１ｃは線１０８−５ａを介して供給される予測選
択信号にもとづいて定数発生回路８−１１ｄより
与えられる演算ユニツト８−１〜４の各ユニツト
に付けた互いに異なる固有の値をもつて記憶され
ている画像信号の中から１つを選択して読み出
す。すなわち、線１０８−５ａを介して供給され
た予測選択信号が第２図ｂにおける動ベクトル
（０、０）であつたとすると、演算ユニツト８−
１の２次元メモリ８−１１からはＸ＝X₁が出力
され、演算ユニツト８−２〜４の２次元メモリか
らはそれぞれX₂，X₃，X₄が出力される。これ
は、画像信号を読み出す際に、予測選択信号によ
つて表現される予測信号発生メモリ８−１１ａの
読み出し番地（ｘ、ｙ）に対して、演算ユニツト
８−１では（ｘ、ｙ）、８−２では（ｘ＋１、
ｙ）、８−３および８−４では各々（ｘ、ｙ＋１）
および（ｘ＋１、ｙ＋１）となるように、読み出
し番地に修飾を行なうことにより容易に実行され
る。このように、定数発生回路８−１１ｄにおい
て、演算ユニツト８−１〜４について各々（０、
０）、（１、０）、（０、１）、（１、１）なる番地修
飾のための定数ベクトルを設定しておき、同一予
測選択信号を演算ユニツト８−１〜４に与えるこ
とによつて１ブロツク内の全画素についての並列
演算が実行されることになる。これによれば、定
数発生回路８−１１ｄにおける定数値を変えるだ
けで、演算ユニツト８−１〜４のいずれも同一構
成の回路で実現できることが判るであろう。

ここで、ブロツク内に含まれる画素が第５図で
説明したように２×２＝４個の２次元的な配列に
なつており、そしてこのブロツクに対する動き補
償の範囲が第２図の説明において用いた動き補償
範囲と同様に水平方向に±１画素／フレーム、垂
直方向に±１ライン／フレームなる速さであると
すると、このブロツクについてこの範囲内で動き
補償するためには、第２図ｂに示すように（０、
０）、すなわち１フレーム前で静止している画像
に対して主に用いられるものを始めとして（０、
１）、（１、０）、…、（−１、−１）の９個の動ベ
クトルに対してX₁〜X₁₆までの16個の予測信号が
必要となる。たとえば、（０、−１）が予測関数と
して用いられる時には、水平方向に０画素、つま
り不変で、垂直方向に１ライン下にずらした所に
できるX₃，X₄，X₁₄，X₁₅と予測されるべきブロ
ツク、たとえば第５図のa₁₁，a₁₂，a₂₁，a₂₂を含
むブロツクなどとの演算を行なうことを意味す
る。また、（１、−１）が予測として用いられた時
には、X₄，X₁₂，X₁₅，X₁₆との演算が行なわれ
る。このように、上記の動き補償範囲については
16種の予測信号が必要となる。

現在予測すべきブロツク、たとえば第５図にお
けるa₁₁，a₁₂，a₂₁，a₂₂のブロツクがX₁，X₂，
X₃，X₄のブロツクと丁度１フレーム時間だけ離
れているものとすると、ブロツクは２×２なる水
平方向に２画素の巾をもつているため、a₁₁，
a₁₂，a₂₁，a₂₂に対する動き補償時の予測信号は
X₁〜X₁₆までの16種となることは前に述べた。つ
ぎのブロツクa₁₃，a₁₄，a₂₃，a₂₄に対する予測信
号は同様に16種であり、その内訳はX₂，X₄，
X₇，X₈，X₁₁，X₁₂，X₁₅，X₁₆とA₁〜A₈である。
したがつて、a₁₁，a₁₂，a₂₁，a₂₂のブロツクのた
めに動き補償を用いた予測符号化を行つている間
に、次のブロツクに必要なA₁〜A₈なる８画素を
補充してやらねばならない。予測信号発生メモリ
８−１１ａに対するA₁〜A₈の補充は遅延回路６
の出力を線１０６ｂを介して与えることによつて
行われる。読み出しと補充のそれぞれのために、
かりにいずれも等しい時間、たとえば４画素時間
が割り当てられるとすると、８画素をこの時間内
に記憶してしまうためには１画素時間に２画素づ
つ並列に補充する必要がある。すなわち、線１０
６ｂは２画素を並列に供給できるように構成され
ていなければならない。この線１０６ｂの並列線
数はブロツクを構成する画素数（Ｍ）、ブロツク
の形状、動き補償の対象範囲、最適予測信号の判
定に許容される時間（Ｔ）により定まる。すなわ
ち、水平方向にｋ画素で垂直方向にｌラインなる
ブロツク（Ｍ＝ｋ×ｌ）があるとする。動き補償
の対象範囲を｜V_x｜≦ｍ、｜V_y｜≦ｎとし、時間
Ｔとしてはブロツク内の全画素数Ｍに等しい時間
しか与えられない。すなわち、入力画像に対し
て、実時間にて予測符号化処理を行なう場合を考
えると、つぎのブロツクの最適予測関数決定のた
めに必要な補充画素数ｋ×（2n＋ｌ）は時間Ｔ内
に補充せねばならない。前述の例では、ｋ＝２、
ｌ＝２、かつｍ＝ｎ＝１であつたから、補充画素
数は２×（２×１＋２）＝８画素であつた。そこ
で、このｋ×（2n×ｌ）画素をＴ＝Ｍ画素時間以
内に補充するためには、補充に用いる並列線数と
してｋ×（2n×ｌ）／Ｍ本、すなわち、２×（２
×１＋２）／（２×２）＝２本が必要となる。他
の例として、例えば、ｋ＝８、ｌ＝４、ｍ＝ｎ＝
６の場合には８×（２×６＋４）／（８×４）＝４
本が必要である。

上記補充画素に対する予測信号発生メモリ８−
１１ａへの書き込み番地は、現在のブロツクに対
する最適予測関数の判定に必要な画素が記憶され
ている番地に続いている方が、書き込み、読み出
しに際して制御が容易となる。そのためには、第
７図に示すようにX₁〜X₁₆が記憶されている番地
に続いてA₁〜A₈を書き込むことになる。この予
測信号発生メモリ８−１１ａの記憶容量として
は、前述の記号（ｋ、ｌ、ｍ、ｎ）を用いて表現
すると、現在のブロツクの最適予測関数判定用と
して（2m＋ｋ）×（2n＋ｌ）画素、つぎのブロツ
クでの最適予測関数判定用の補充画素のためにｋ
×（2n＋ｌ）画素が必要であるから、合計すると
２（ｍ＋ｋ）×（2n＋ｌ）画素となる。

さて、予測信号発生メモリ８−１１ａから選択
されて出力された予測信号Ｘと線１０８−６ａを
介して供給された面像信号とは減算回路８−１２
ａにおいて減算され、この差分値は演算回路８−
１２ｂにおいて予測誤差量、たとえば予測誤差電
力で表現する場合には（a₁₁−X₃）²などの自乗の
演算が行なわれ、その演算結果は線１０８−１を
介して出力される。演算ユニツト８−２〜４につ
いても同様に各演算結果はそれぞれ線１０８−
２，１０８−３，１０８−４を介して出力され
る。以下予測誤差量として予測誤差電力を例にと
つて説明する。

再び第６図を参照し、線１０８−５ａを介して
予測関数指示回路８−５から供給される各々演算
ユニツト８−１〜４に対する予測選択信号によつ
て予測信号が選択され、線１０６ｂを介して供給
される画像信号とこれらの予測信号とから差信号
が発生し、その自乗演算結果は１０８−１，１０
８−２，１０８−３，１０８−４によりそれぞれ
加算回路８−７へ供給される。加算回路８−７で
は、この４入力の和、たとえば（０、−１）なる
動ベクトルが用いられた場合には、（a₁₁−X₃）²＋
（a₁₂−X₄）²＋（a₂₁−X₁₄）²＋（a₂₂−X₁₅）²なる和を
とり、その加算結果を予測関数比較回路８−８へ
供給する。この加算結果すなわちブロツク当りの
予測誤差電力は予測関数指示回路８−５から予め
定められた順序に従つて指定された１予測関数
（あるいは動ベクトル）に対するものであるが、
予測関数比較回路８−８においては、この加算結
果と保持されている予測関数に対する加算結果と
の２者比較を行なつて、より小なる加算結果をつ
ぎの予測関数に対する加算結果との比較時まで保
持する。既に保持されている加算結果よりも小さ
な加算結果が予測関数比較回路８−８に供給され
た場合には、この既に保持されている加算結果を
より小さな加算結果に置き換え、同時に置き換え
が発生したことを示す置換信号を予測選択回路８
−９へ供給する。予測選択回路８−９では、この
置換信号が供給されると、予測関数指示回路８−
５から線１０８−５ｂを介して供給されている予
測関数を新たに保持する。予測関数が多数あるた
めに、全予測関数について逐一上記計算を行なう
と演算時間が増加して定められた演算時間内に最
適予測関数の判定が困難な場合には、まず全予測
関数の中のいくつかを選んで上記計算を行なう。
それから、その中での近似的な最適予測関数を定
め、つぎにこの予測関数に対応する動ベクトルに
比較的類似するベクトルをもつ前に用いなかつた
予測関数のいくつかについて同上のことを行な
う。これを必要回数繰り返すことによつて、全予
測関数の中での最適予測関数を少ない演算回数で
求めることができる。近似的な最適予測関数を示
す情報は、このようにして各繰り返し毎に段々精
度が向上していき、線１０８−９により予測関数
指示回路８−５へ帰還される。予測関数指示回路
８−５では、この帰還された近似的な最適予測関
数を用ることによつて、つぎの繰り返しにおいて
比較を行なういくつかの予測関数を順次指定す
る。

第８図は、第３図における予測信号発生回路５
の具体的な構成例をブロツク図により示したもの
である。この図において、２次元メモリ５−１は
前述した演算ユニツト８−１に含まれている２次
元メモリ８−１１とほぼ同じに構成されている。
相違するところは、内蔵されている予測信号発生
メモリ（Ｐメモリと略称する。これは８−１１ａ
に相当する）が最適予測関数を示す情報を１ブロ
ツク時間保持するレジスタ５−２から出力をうけ
たのち、その内容に従つて同じく内蔵されている
８−１１ｃに対応する読み出し制御回路により自
動的にブロツク内の全画素について順次読み出さ
れ、線１０５から出力される点である。２次元メ
モリ５−１に内蔵されている定数発生回路は、第
７図における定数発生回路５−１１ｄと同様に
（０、０）に設定されており、例えば、（０、−１）
が最適予測関数に対応する動ベクトルであるとす
れば、X₃，X₄，X₁₄，X₁₅がその順序で最適予測
信号として線１０５から得られる。そして、この
２次元メモリ５−１は、最適予測信号を出力して
いる間につぎのブロツクに対する最適予測信号を
生成するため、線１０６ａを介して供給される局
部復号信号をＰメモリに補充する必要があるが、
その方法は前述の演算ユニツトにおける予測信号
発生メモリ８−１１ａに対する補充の仕方と同じ
である。したがつて、予測信号発生回路５は演算
ユニツト８−１と比較すると、読み出し制御回路
の機能のみが少し拡大されただけである。

本発明は上記の実施例において例示した動き補
償の対象範囲、すなわち予測関数の種類やブロツ
ク内に含まれる画素数に限定されるものでは勿論
無く、たとえば動き補償の対象範囲が水平、垂直
方向についてそれぞれ±６画素／フレーム、±６
ライン／フレーム（予測関数の種類は169種）、さ
らにブロツク内に含まれる画素数が４ライン×８
画素＝32画素とすると、演算ユニツトを32個用意
し、最適予測関数判定回路８における最適予測関
数判定のための繰り返し演算を最高169回行なえ
ば最適予測関数が求められる。最適予測関数の判
定を実時間で行なう場合には、１ブロツクが32画
素からなるものとすると、32画素時間以内に実行
しなければならない。したがつて、この場合には
少し異なつた最適予測関数の判定法を用いる必要
があるが、たとえば昭和55年３月の電子通信学会
総合全国大会講演論文集（分冊５）論文番号1053
に記載されている平野氏他による「動き補償フレ
ーム間符号化方式の検討」において紹介されてい
るような方法が適用できる。すなわち、169種の
動ベクトルに対して、第１回目には９個の動ベク
トルを選んで近似的な最適予測関数を求め、第２
回目には第１回目の計算で求められた近似的な最
適予測関数に類似した動ベクトルを９種選び、同
様にして精度が高くなつた近似的な最適予測関数
を求め、第３回目には精度が向上した第２回目の
結果である近似的な最適予測関数に加えて、これ
と水平、垂直いずれの方向にも１画素、あるいは
１ラインしか違わない動ベクトルを計９個用いて
同様に計算すると、最適予測関数を求めることが
できる。以上の手法を用いることによつて、169
種の予測関数から最適予測関数を決定するのに27
回の演算で済むことになり、したがつて予測関数
が多いにもかかわらず実時間での実行が可能とな
る。

第９図は、第３図の予測符号化装置に対向する
受信側予測復号化装置の構成例をブロツク図によ
り示したものである。図において、第３図の予測
符号化装置により予測符号化され、情報圧縮され
た画像信号が線２００を介して伝送路、あるいは
記録媒体から供給されると、情報伸長回路１１に
おいて、符号化装置側の情報圧縮回路７によつて
挿入された元の画像の復元に必要な同期信号、最
適予測関数を表わす情報、それに最適予測関数に
対する予測誤差信号をそれぞれ伸長、分離する。
伸長、分離された最適予測関数を表わす情報と予
測誤差信号とはそれぞれ線２１１−２および２１
１−１を介して予測信号発生回路１２および加算
回路１３へ供給される。予測信号発生回路１２で
は、最適予測関数を表わす情報に従つて最適予測
信号を発生するが、その機能および構成は予測符
号化装置の予測信号発生回路５と同一である。発
生した予測信号は線２１２を介して加算回路１３
へ供給され、線２１１−１を介して供給される予
測誤差信号との和がとられ、再生された画像信号
となる。この再生された画像信号は線２１３から
それぞれ分岐された線２１３ａおよび２１３ｂに
より走査逆変換回路１４および遅延回路１５へと
それぞれ供給される。

遅延回路１５の遅延時間は予測符号化装置の遅
延回路６と同一のおよそ１フレーム時間である。
遅延回路１５の出力の遅延された再生画像信号は
つぎのブロツクに対して必要な予測信号発生回路
１２における予測信号発生のために、補充用画素
信号として線２１５を介して予測信号発生回路１
２へ供給される。この線２１５は予測符号化装置
の線１０６ａと同じくブロツク内に含まれる画素
数、ブロツクの形状、動き補償の対象範囲および
最適予測関数判定に許容される時間によつて並列
線数が定まる。線２１３ａを介して加算回路１３
から供給された再生画像信号はブロツク化された
ままであるから、このまま通常のモニタやデイス
プレイでは正しく表示できない。そのために、走
査逆変換回路１４に加えられ、元の時系列の画像
信号に戻され、復号された画像信号として線２１
４から取り出される。

上記第３図および第９図における実施例の一変
形例として、NTSCカラーTV信号のようにライ
ン間で色信号位相が反転するような色信号副搬送
波をもつテレビジヨン信号が第３図における走査
変換回路１へ入力画像信号として与えられる場合
には、局部復号信号を遅延させる遅延回路６の遅
延時間をおよそ２フレーム時間に増加する。それ
によつて、およそ２フレーム時間遅延した画像信
号と、遅延回路６の途中にタツプをとつておよそ
１フレームならびにおよそ１フイールド（たとえ
ば走査変換前の262ライン相当）遅延した画像信
号などを線１０６ａおよび１０６ｂを介して予測
信号発生回路５および最適予測関数判定回路８へ
それぞれ供給する。これに伴ない、第９図の予測
復号化装置においても遅延回路６と全く同様に遅
延回路１５を２フレーム時間遅延とし、途中でタ
ツプをとつて前記およそ２フレーム、およそ１フ
レームおよびおよそ１フイールドの各々遅延した
画像信号を線２１５を介して予測信号発生回路１
２に供給するように変更する。このように変更す
ることにより、カラーテレビジヨン信号に対して
も同一色信号副搬送波位相を示す画素点を用いて
多数の予測関数が生成できるため、色信号副搬送
波をもつカラーテレビジヨン信号に対しても高い
予測符号化能率が得られる。

第３図における実施例においては、最適予測関
数判定回路の演算ユニツト８−１内の２次元メモ
リ８−１１から出力される予測信号は、説明を簡
単にするために内挿などを用いない最も簡単な例
を選んだが、以下にその変形例として内挿を用い
る場合について説明する。予測信号Ｘが画像信号
X₁〜X₁₆を用いてつくられるものであるとする
と、予測信号Ｘは一般に、Ｘ＝₁₆ 〓ⁱ⁼¹ ρ_iX_i で与えられる。ただし、ρ₁〜ρ₁₆はそれぞれ画像
信号X₁〜X₁₆に対する重み係数とする。前記の第
７図においては、予測ベクトル（０、０）に対し
てＸ＝X₁が出力されることにより、ρ₁＝１、他
は全てゼロの場合であつた。しかし、内挿値を用
いる方が予測誤差量が小さい場合も多い。たとえ
ば、動ベクトル（０、０）に対して、Ｘ＝ρ₁X₁
＋ρ₉X₉、あるいはもつと複雑なものも考えられ
る。ここでは、２画像信号の内挿の場合について
説明する。

第１０図は予測信号発生メモリから２つの画像
信号が並列に出力できるように構成された場合の
演算ユニツト８′−１（８′−１〜４を代表する）
の構成例をブロツク図により示したものである。
この図において、動ベクトルが線１０８−５ａを
介して供給されると、読み出し制御回路８′−１
１ｃは読み出すべき２画像信号、たとえばX₁，
X₉の各メモリ内番地を同時に線AD₁，AD₂を介
して予測信号発生メモリ８′−１１ａに供給する。
この２画像信号は同時に読み出され、乗算回路
８′−１１ｅ，８′−１１ｆにおいて、たとえば
各々ρ₁X₁，ρ₉X₉の乗算が行なわれる。この乗算
結果は加算回路８′−１１ｇで加算され、２次元
メモリ８′−１１の出力予測信号Ｘとなる。たと
えば、前述の例のように動ベクトルが（０、０）
であつたとすると、内挿可能な演算ユニツト８′
−１の出力信号ＸはＸ＝ρ₁X₁＋ρ₉X₉となる。勿
論、予測信号発生回路５内の２次元メモリも同様
な構成に変えることによつて内挿結果を線１０５
から出力することが可能となる。その他の動作は
内挿の有無に関係なく同じである。

第１１図は、予測信号発生メモリにおいて用い
られるメモリ素子の動作速度が要求される処理速
度に対して充分速い場合に適合する演算ユニツト
８″−１（８″−１〜４を代表する）の構成例をブ
ロツク図により示したものである。たとえば、２
画素を連続して読み出せるほどに高速である場合
を例にすると、図において、まず先に読み出され
た画像信号、たとえばX₁をレジスタ８″−１１ｈ
に記憶し、つぎにX₉を読み出す。そして、レジ
スタ８″−１１ｈの出力X₁（一般的にはX_a）と後
から読み出されたX₉（一般的にはX_b）とは各々乗
算回路８″−１１ｅおよび８″−１１ｆに供給さ
れ、積ρ₁X₁とρ₉X₉とがそれぞれ出力される。加
算回路８″−１１ｇではＸ＝ρ₁X₁＋ρ₉X₉の加算が
行なわれる。予測信号発生回路５内の２次元メモ
リも同様に高速のメモリにて構成される。他の動
作については第７図における例と同じである。

以上の説明により明らかなように、本発明によ
れば、２次元ブロツク単位に予め走査変換した画
像信号を用い、複数の予測関数に対するブロツク
当りの予測誤差量を比較して最適の予測関数を選
び、この最適予測関数を示す情報から最適の予測
信号をつくり、更に上記走査変換された画像信号
との減算により得られた予測誤差信号を上記最適
予測関数を示す情報とともに圧縮符号化すること
によつて、等価的に１次元ブロツクを用いたと同
じに処理速度をあげることができるばかりでな
く、ブロツク内画素数に相当する数の演算ユニツ
トの繰り返し使用により最適予測関数を決定する
ことができるから、ハードウエアの規模の簡易化
による経済性の向上と符号化処理のの高速化が得
られる。

【図面の簡単な説明】

第１図は図形に対する動き補償の原理を説明す
る図、第２図ａおよびｂは、並列演算の方法を説
明するための、それぞれ入力画像ブロツクの画素
の配置例および予測に使用される画素の配置例、
第３図は本発明による予測符号化装置の実施例を
示すブロツク図、第４図は、第３図における走査
変換回路１の具体的な構成例を示すブロツク図、
第５図は走査信号に対するブロツク化の方法を説
明する図、第６図は、第３図における最適予測関
数判定回路８の具体的な構成例を示すブロツク
図、第７図は、第６図における演算ユニツト８−
１の具体的な構成例を示すブロツク図、第８図
は、第３図における予測信号発生回路５の具体的
な構成例を示すブロツク図、第９図は、第３図の
予測符号化装置に対向する受信側予測復号化装置
の構成例を示すブロツク図、第１０図は、第７図
の演算ユニツトに代わる他の変形例を示すブロツ
ク図、第１１図は、第７図の演算ユニツトに代わ
る更に他の変形例を示すブロツク図である。図において、１は走査変換回路、２ａ，６は遅
延回路、２ｂは減算回路、３は量子化回路、４は
加算回路、５は予測信号発生回路、７は情報圧縮
回路、８は最適予測関数判定回路、１−１，１−
２，１−３，１−４はラインメモリ、１−５はマ
ルチプレクサ、５−１は２次元メモリ、５−２は
レジスタ、８−１，８−２，８−３，８−４は演
算ユニツト、８−５は予測関数指示回路、８−６
は画素展開回路、８−７は加算回路、８−８は予
測関数比較回路、８−９は予測選択回路、８−１
１，８′−１１，８″−１１は２次元メモリ、８−
１１ａ，８′−１１ａ，８″−１１ａは予測信号発
生メモリ、８−１１ｂ，８′−１１ｂ，８″−１１
ｂは書き込み制御回路、８−１１ｃ，８′−１１
ｃ，８″−１１ｃは読み出し制御回路、８−１１
ｄ，８′−１１ｄ，８″−１１ｄは定数発生回路、
８′−１１ｅ，８″−１１ｅ，８′−１１ｆ，８″−
１１ｆは乗算回路、８′−１１ｇ，８″−１１ｇは
加算回路、８″−１１ｈはレジスタ、８−１２は
評価信号発生回路、８−１２ａ，８′−１２ａ，
８″−１２ａは減算回路、８−１２ｂ，８′−１２
ｂ，８″−１２ｂは演算回路、１１は情報伸長回
路、１２は予測信号発生回路、１３は加算回路、
１４は走査逆変換回路、１５は遅延回路である。

Claims

【特許請求の範囲】

１時系列として入力される画像信号から複数の
の走査線間にまたがるＭ個（Ｍは２以上の整数）
の画素からなる２次元ブロツクを構成せしめ、入
力の時系列とは異なる順序で画像信号を出力する
走査変換手段と、該走査変換手段の出力画像信号
について局部復号化された画像信号を用いて複数
個の予測関数の各々に対する前記２次元ブロツク
当りの予測誤差量を該２次元ブロツク内の各画素
位置に対応する番地を用いて番地修飾可能な高々
Ｍ個の演算手段の繰り返し使用により比較する手
段と、該比較手段において予測誤差量が小さいと
判定された最適予測関数に従つて、前記２次元ブ
ロツクに対する予測信号を発生する手段と、該予
測信号発生手段の出力と前記走査変換手段の出力
とをうけて予測誤差信号を発生する手段と、前記
予測信号発生手段の出力と前記予測誤差信号発生
手段の出力とをうけて局部復号化された画像信号
を発生し、前記比較手段および前記予測信号発生
手段へ供給する局部復号化手段と、少なくとも前
記比較手段から得られる最適予測関数を表わす信
号と前記予測誤差信号発生手段から得られる予測
誤差信号とを圧縮符号化する符号変換手段とを具
備したことを特徴とする画像信号の予測符号化装
置。