JPH0738897A - 動き内挿回路 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、少ない伝送符号量であっても、主観
評価の優れた内挿画像を作成して表示する動き内挿回路
を提供する。 【構成】本発明は変位ベクトル記憶部と、中心点の変位
ベクトル生成部と、重み乗算部と頂点及び中心点の位置
指定部とから、内挿画像の時刻に応じた動きを持った三
角形を作成し、アフィン変換係数作成部と三角形走査部
と変換実行部とでアフィン変換により点の変換先を求
め、補間演算部と参照される画像の記憶部とからその点
の画素値を求め、これを内挿画素値とする動き内挿回路
である。 【効果】少ない伝送レートの回線であっても、時刻に応
じた動き量を持つ内挿画像を作成し、良好な動画像を再
生することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像を符号化して伝
送する装置の画像再生装置において用いられる動き内挿
回路に関し、特に公衆電話回線等でも伝送可能なほど伝
送符号量を大幅に減らして使用する画像伝送装置の画像
再生装置に用いる動き内挿回路に関する。

【０００２】

【従来の技術】従来、三角形パッチを用いた超低ビット
レートの動画像符号化技術が提案されている（例えば画
像符号化シンポジウム（ＰＣＳＪ）資料、１９９２年、
１２９頁、「動画像の１６ｋｂ／ｓ符号化」）。これ
は、図５のように画像中に三角形パッチを設定し、三角
形の各頂点を変位させ、時刻の古い画像と時刻の新しい
画像間で対応する三角形間の写像を一次変換で行うこと
により、低ビットレートであっても予測性能の優れた動
き補償を可能にしたものである。このように１６ｋｂ／
ｓ程度の回線の使用を目標とする符号化方法において
は、伝送する符号量を少なくするためにフレームレート
を１秒あたり７．５から１０枚程度に設定するため、動
きがぎこちなくなるという問題がある。

【０００３】このような問題に対処する例としては、蓄
積系動画像符号化方式であるＭＰＥＧがある。ＭＰＥＧ
では、フレームを間引いて符号化した場合には、デコー
ダ側では双方向内挿予測画像（以下Ｂピクチャ）と呼ば
れるフレーム間内挿画像を作成して表示する技術が知ら
れている。これは、動き補償と波形符号により再生され
るフレーム間予測符号化画像（以下Ｐピクチャ）の間の
時刻に、二つのＰピクチャから対応する各画素値の線形
内挿値を計算してＢピクチャを作成し、時刻の順に表示
するものである。これにより滑らかな動きが表示される
ようになるが、本発明が対象としているよりも高いフレ
ームレートの動画像において好適な方法である。

【０００４】また従来、時刻に応じて線形内挿するだけ
でなく、動きベクトルによる動き補償についても時間を
考慮した方式が知られている（特許登録１６６８２２
２）。これは、動きベクトルをＶとし、時刻に応じたパ
ラメータをａとして、内挿画像の動きベクトルをａＶに
設定し、前の時刻の画像に対してはａＶによる順方向の
動き補償を行い、新しい時刻の画像に対しては逆向きの
動き補償を−（１−ａ）Ｖにより行い、この二通りの補
償による画素値を線形内挿して双方向の内挿を実行する
ものである。

【０００５】

【発明が解決しようとする課題】しかし従来の三角パッ
チを用いる技術においては、動きベクトルの伝送に全符
号量の約５／８もの符号量を割り当てる必要があり、動
き補償後の予測誤差を波形符号化するための符号量が十
分にとれないという問題がある。これはすなわち、動き
ベクトルの伝送量が回線の伝送レートに比べてまだ多い
ことを示しており、より少ない伝送符号量で高性能な動
き補償を行うことができる符号化方法が必要である。

【０００６】また、従来のＭＰＥＧ方式のＢピクチャの
ような、前後の画像からの単純な線形内挿では、低フレ
ームレートの場合、内挿画像を挿入する効果が十分では
なくなる場合がある。つまり動きが大きい場合、内挿画
像においては内挿画像を表示する時刻に応じた動き量を
もつ必要があるのである。このため従来例に述べたよう
に、内挿画像を作成する際に、それを表示する時刻に応
じた動きベクトルにより動き補償を行う必要がある。し
かし超低符号量を対象とする動画像の復号化装置におい
て、低フレームレートに起因する動きのぎこちなさを改
善するために、このような動き量を考慮した内挿画像を
生成する装置は知られていなかった。

【０００７】

【課題を解決するための手段】本発明は、画像中に配置
した頂点の変位ベクトルを記憶する変位ベクトル記憶部
と、六角形を構成する６個の頂点の変位ベクトルから六
角形の中心点の変位ベクトルを求める中心点の変位ベク
トル生成部と、変位ベクトルを入力とし、内挿画像の時
刻に応じた所定の係数を乗算することにより時刻に応じ
た変位ベクトルを生成する重み乗算部と、画像中に配置
した頂点の画素位置と、６個の頂点が構成する六角形の
中心点の位置を指定する頂点及び中心点の位置指定部
と、頂点及び中心点の変位ベクトルに対して頂点位置あ
るいは中心位置を加算することにより内挿画像における
点の位置を求める加算部と、頂点及び中心点の変位ベク
トルと内挿画像における点の位置のうち三角形に対応す
る３つの変位ベクトルと３つの点の位置から内挿画像の
時刻に応じたアフィン変換係数を作成する変換係数作成
部と、３点がつくる三角形内の画素を順に選択して被内
挿画素位置を出力する三角形走査部と、被内挿画素位置
に対してアフィン変換を実行して変換先の点の位置を求
める変換実行部と、内挿元として参照される画像を記憶
する画像記憶部と、変換先の点の位置を入力とし、画像
記憶部に記憶された画素値を参照して変換先の点の画素
値を生成し、これを被内挿画素位置における画素値とす
ることにより内挿画像を生成する補間演算部とからなる
動き内挿回路である。

【０００８】また本発明は、画像中に配置した頂点の変
位ベクトルを記憶する変位ベクトル記憶部と、六角形を
構成する６個の頂点の変位ベクトルから六角形の中心点
の変位ベクトルを求める中心点の変位ベクトル生成部
と、変位ベクトルを入力とし、内挿画像の時刻に応じた
所定の係数を乗算することにより時刻に応じた変位ベク
トルを生成する重み乗算部と、画像中に配置した頂点の
画素位置と、６個の頂点が構成する六角形の中心点の位
置を指定する頂点及び中心の位置指定部と、頂点及び中
心点の変位ベクトルに対して頂点位置あるいは中心位置
を加算することにより内挿画像における点の位置を求め
る加算部と、頂点及び中心点の変位ベクトルと内挿画像
における点の位置のうち三角形に対応する３つの変位ベ
クトルと３つの点の位置から内挿画像の時刻に応じたア
フィン変換係数を作成する変換係数作成部と、３点がつ
くる三角形内の画素を順に選択して被内挿画素位置を出
力する三角形走査部と、被内挿画素位置に対してアフィ
ン変換を実行して変換先の点の位置を求める変換実行部
と、再生画像を記憶する再生画像記憶部と、前の画像を
記憶する前画像記憶部と、変換先の点の位置を入力と
し、画像記憶部に記憶された画素値を参照して変換先の
点の画素値を生成する補間演算部と、再生画像を参照し
て作成する逆方向内挿画素値と前画像を参照して作成す
る順方向内挿画素値とに、時刻に応じたに所定の係数を
それぞれ乗算し、二つの積を加算し、これを内挿画像の
画素値とすることにより内挿画像を生成する重み付き線
形加算演算部とからなる動き内挿回路である。

【０００９】さらに本発明は、順方向内挿画素値と逆方
向内挿画素値との差を求める減算部を備え、画素値の差
の絶対値が設定値以上の場合に、前の画像の画素値また
は再生画像の画素値を用いて内挿画像を作成する動き内
挿回路である。

【００１０】変位ベクトル記憶部は、画像中に配置した
頂点の変位ベクトルを記憶する記憶回路である。中心点
の変位ベクトル生成部は、六角形を構成する６個の頂点
の変位ベクトルから六角形の中心点の変位ベクトルを求
めるもので、記憶部に記憶された６個の変位ベクトルの
平均のベクトルを求めるものである。重み乗算部は、内
挿画像の時刻に応じた所定の係数を頂点及び中心点の変
位ベクトルに乗算するもので通常の乗算回路を用いるこ
とができるが、変位ベクトルの値の範囲がたかだかプラ
スマイナス７程度であることから、ビットシフト回路と
加算回路により構成することもできる。

【００１１】頂点及び中心点の位置指定部は、画像中に
配置した頂点の画素位置と、６個の頂点が構成する六角
形の中心点の位置を指定するもので、記憶回路により構
成される。また点の配置が規則性を持っていることから
適当な手順で演算を行って位置を生成する回路で構成す
ることもできる。加算部は、重みを乗算された変位ベク
トルに対して頂点位置あるいは中心点位置を加算して内
挿画像における点の位置を求める加算回路である。変換
係数作成部は、変位ベクトルと、内挿画像の三角形の頂
点の位置とから、三角形間の変換を定めるアフィン変換
係数を所定の手順により求める回路である。これは乗
算、加算、わり算を実行するもので、例えばマイクロプ
ロセッサあるいはデジタルシグナルプロセッサを利用し
て構成することができる。

【００１２】三角形走査部は、内挿画像の三角形の頂点
の位置を入力として、三角形内の画素を順に選択して被
内挿画素位置を出力するもので、所定の手順により計算
を行う回路である。これは乗算、加算、大小比較判断を
実行するもので例えばマイクロプロセッサあるいはデジ
タルシグナルプロセッサを利用して構成することができ
る。変換実行部は、変換係数作成部が作成した係数と、
三角形走査部が出力する被予測画素位置を入力として、
アフィン変換を実行して変換先の点の位置を作成するも
のであり、乗算回路と、加算回路と、演算結果を記憶す
るレジスタから構成される。

【００１３】画像記憶部は、内挿元になる画像データを
記憶しておく記憶回路である。補間演算部は、変換先の
点の位置を入力とし、画像記憶部に記憶された画素値を
参照して変換先の点の画素値を生成するものであり、所
定の算式により補間値を計算する回路である。これは、
実数値をとる変換先の点の位置の周囲にある整数座標を
持つ画素の画素値を読み出し、これらを演算することに
より画素値を得る計算手段を用いる。減算部は、二つの
内挿画素値の差を求める回路である。各種の記憶部は、
ランダムアクセスメモリ（ＲＡＭ）を用いることができ
るが、頂点及び中心の指定部は値を更新しない実施例を
作ることもできるため、リードオンリーメモリ（ＲＯ
Ｍ）を用いてもよい。

【００１４】

【作用】変位ベクトル記憶部は、画像中に配置した頂点
の変位ベクトルを記憶する。これは内挿画像を挿入され
る前後の二つの画像の動きを表すものである。中心点の
変位ベクトル生成部は、六角形を構成する６個の頂点の
変位ベクトルから六角形の中心点の変位ベクトルを求め
る。これにより変位ベクトル記憶部には記憶されていな
い中心点に関する変位ベクトルを作成するため、六角形
を６つに分ける三角形の各頂点について変位ベクトルが
求められる。重み乗算部は、内挿画像の時刻に応じた所
定の係数を頂点及び中心点の変位ベクトルに乗算するこ
とにより時刻に応じた動きを表すベクトルを得る。頂点
及び中心点の位置指定部は、画像中に配置した頂点の画
素位置と、６個の頂点が構成する六角形の中心点の位置
を指定する。これは画像中に配置される頂点及び中心点
の初期位置であり、これに対して加算部は重みを乗算し
た変位ベクトルを加算することにより内挿画像における
点の位置を求める。

【００１５】変換係数作成部は変位ベクトルと内挿画像
の三角形の頂点の位置とから、三角形間の変換を定める
アフィン変換係数を求める。三角形の走査部は、内挿画
像の三角形の頂点の位置を入力として、三角形内の画素
を順に選択して被内挿画素位置を出力する。変換実行部
は、変換係数作成部が作成した係数と、三角形走査部が
出力する被内挿画素位置を入力として、アフィン変換を
実行する。画像記憶部は、内挿元になる画像データを記
憶しておく。補間演算部は、変換先の点の位置を入力と
し、画像記憶部に記憶された画素値を参照して変換先の
点の画素値を生成し、これを被内挿画素位置における画
素値とすることにより内挿画像を生成する。

【００１６】

【実施例】以下図面を用いて本発明の実施例を説明す
る。図１は本発明の第１の実施例を示す図である。これ
は動画像の復号化器側にあって、伝送されてくる符号を
復号化し、さらに前の画像と再生画像とから内挿画像を
つくり、順に表示するために画像を出力する回路であ
る。まず、伝送されてきた変位ベクトルは変位ベクトル
記憶部１４に記憶される。また、伝送されてきた符号中
の波形符号の部分は、外部にある波形復号化器により復
号化され、予測誤差画像記憶部４７に記憶される。ま
た、再生画像の一つ前の画像を記憶する前の画像の記憶
部２６には既に復号化された前の画像が記憶されてお
り、この画像を変位ベクトル情報により変形させること
により動き補償を行う。画像中の点の位置及び変位ベク
トル値は画素を単位に数えることができ、行方向と列方
向の一組の整数で点の座標を指定できる。こうして、六
角形を構成する頂点の変位ベクトルを固有の通し番号で
呼び出せるように変位ベクトル記憶部１４は配列に記憶
する。六角形はこの通し番号の６つの組で表され、この
構成情報も固有の通し番号で呼び出すことができるよう
に外部の配列に記憶する。例えば全体を制御する制御部
にこれを行わせる。変位ベクトルは再生画像中に配置さ
れた頂点が変位を受けることによって前の時刻の画像に
近くなるように画像符号化器側によって求められた頂点
の動き量を表すものである。

【００１７】６次元ベクトル記憶部１３には予め求めて
おいた６つの頂点における変位ベクトルの混合割合が、
六角形に含まれる点の数だけ記憶されている。乗算加算
部１５には六角形の頂点の変位ベクトルが入力され、こ
の６つの変位ベクトルを６次元ベクトル記憶部１３に記
憶した値に従って混合する。これは６次元ベクトルの内
積を２回求めることにより実行される。被予測画素位置
指定部１００は、予測される画素の位置を指定するもの
で、変位ベクトル記憶部１４から読み出すべき六角形
と、６次元ベクトル記憶部１３から読み出すべき六角形
内の点の位置とに連動して指定する。そして、被予測画
素位置指定部１００の指定する画素位置に乗算加算部１
５において求めた変位ベクトルを加算部１６において加
算することにより、予測する側の点の位置を得る。これ
はスイッチ１７を介して補間演算部２５に供給され、こ
の点における前の時刻の画像の画素値を補間演算部２５
において求め、被予測画素位置における画素値とするこ
とにより動き補償を行う。

【００１８】補間演算部２５は、内挿画像を作成する場
合と共用されており、次のようにして、実数値で指定さ
れる点の画素値を補間により作成する。いま実数値の座
標を（Ｘ’，Ｙ’）とし、この少数部を切り捨てた座標
を（ｉ，ｊ）とする。また変数（ｐ，ｑ）を（ｐ，ｑ）
＝（Ｘ’，Ｙ’）−（ｉ，ｊ）と定義する。前の時刻の
画像の画素値をＬ（ｘ，ｙ）とすると、補間値は次の式
から求められる。

【００１９】

【数１】

【００２０】すなわち補間演算部２５は前の画像の記憶
部２６へ読み出しアドレスを指示し、４画素の画素値を
読み出す。この読み出し値はスイッチ２０を介して補間
演算部２５へ供給される。こうして生成された補間値は
スイッチ１８を介して加算部４５に供給される。これは
補間値と予測誤差画像の被予測画素位置における画素値
とを加算し、再生画像の画素値を算出する。これは再生
画像の記憶部４６に記憶され、内挿画像の作成に使用さ
れる。このときの書き込みアドレスは被予測画素位置指
定部１００の指定位置がスイッチ１９を介して指示され
る。

【００２１】次に内挿画像の作成について説明する。内
挿画像の作成も六角形を単位に行い、変位ベクトル記憶
部１４から６つの頂点の変位ベクトルが読み出される。
ただし、内挿画像の作成は六角形を６つに分割する３角
形ごとに行うため六角形の中心点の変位ベクトルを中心
点の変位ベクトル生成部２７で求める必要がある。これ
は、６個の値の平均を求める回路である。こうして中心
を含めた７つの点から、三角形を構成する３点を選択
し、三角形ごとに以下の処理を実行する。各頂点及び中
心点の初期位置は頂点及び中心点の位置指定部３１によ
り指定される。これは再生画像中に設定され、この初期
位置の点から作られる三角形を（ｘｆ０，ｙｆ０）から
（ｘｆ２，ｙｆ２）とする。これらを変位ベクトル記憶
部１４に記憶された変位ベクトル及び中心点の変位ベク
トル生成部２７で生成された変位ベクトルで動き補償し
た、前の時刻の画像中に設定される三角形を（ｘｂ０，
ｙｂ０）から（ｘｂ２，ｙｂ２）とすると、これらには
次の関係がある。

【００２２】

【数２】

【００２３】ただし、（△ｘ０，△ｙ０）から（△ｘ
２，△ｙ２）は変位ベクトル記憶部１４に記憶された変
位ベクトルもしくは中心点の変位ベクトル生成部２７に
おいて求められた中心点の変位ベクトルのうち注目して
いる三角形の頂点に関するものである。これらはスイッ
チ２８によって切り換えてアフィン変換係数の作成部２
９へ供給されている。内挿画像を作成するにあたって、
本発明はその挿入時刻に応じた動き量を与えるために、
三角形間のアフィン変換を利用する。このアフィン変換
は内挿画像中の三角形に含まれる画素を走査して、各点
ごとに実行するために、内挿画像中に設定される三角形
の頂点の位置を求める必要がある。この頂点を求めるた
めには変位ベクトルに適当な重みを乗算すればよい。内
挿画像を一枚挿入する場合には、この重みはｔ＝１／２
であり、二枚挿入する場合にはｔ＝１／３及び２／３と
なる。よって内挿画像における三角形の頂点の位置（ｘ
ｉ０，ｙｉ０）から（ｘｉ２，ｙｉ２）は次の式により
定められる。

【００２４】

【数３】

【００２５】変位ベクトル記憶部１４に記憶された変位
ベクトルもしくは中心点の変位ベクトル生成部２７にお
いて求められた中心点の変位ベクトルに対して重み乗算
部３０は重みｔを乗算し、この結果を加算部３２に供給
する。一方、頂点及び中心点の位置指定部３１からそれ
ぞれの点の位置が読み出され、加算部３２に供給され
る。加算部３２は両者を加算して、内挿画像における各
頂点及び中心点の位置を作成する。これらはアフィン変
換係数作成部２９に供給される。アフィン変換係数は、
三角形を構成する３頂点の内挿画像における位置と変換
すべき変位ベクトルから求める。内挿画像に設定された
３頂点（ｘｉ，ｙｉ）を再生画像の（ｘｆ，ｙｆ）に変
換するアフィン変換係数、または３頂点（ｘｉ，ｙｉ）
を前の時刻の（ｘｂ，ｙｂ）に変換するアフィン変換係
数は、三つの頂点を代入して連立方程式を解くことによ
り定められる。

【００２６】

【数４】

【００２７】このように、アフィン変換係数は内挿画像
の頂点位置（ｘｉ，ｙｉ）と、変位ベクトル（△ｘ，△
ｙ）と、内挿画像の時刻に応じた重みとから定められ
る。本発明は内挿画像に設定される三角形を走査して変
換を実行するために内挿画像の頂点位置（ｘｉ，ｙｉ）
が必要である。そして、前の時刻の画像からの順方向の
動き補償と、再生画像からの逆方向の動き補償を同時に
行うために、内挿画像の時刻に応じた重みを−ｔ及び
（１−ｔ）に変えるだけで同じ手順で変換係数が求めら
れることに着目したものである。図４は内挿画像を一枚
挿入する場合を説明する図である。再生画像には基準位
置にある三角形６０が設定され、これは前の画像におけ
る変位ベクトルにより歪んだ三角形６２と対応してい
る。内挿画像上には三角形６１が設定されている。三角
形６０は記号（ｘｆ，ｙｆ）で表され、三角形６２は記
号（ｘｂ，ｙｂ）で表され、三角形６１は記号（ｘｉ，
ｙｉ）で表される。順方向内挿とは前の画像中の三角形
６２の領域を内挿画像中の三角形６１の領域へと持って
来ることであり、逆方向内挿とは再生画像中の三角形６
０の領域を内挿画像中の三角形６１の領域へ持って来る
ことである。このため内挿画像の頂点（ｘｉ，ｙｉ）を
基準にすれば、数４に示したように順方向内挿のために
必要な変位は（１−ｔ）であり、逆方向内挿に必要な変
位は−ｔである。

【００２８】これら内挿画像の頂点位置（ｘｉ，ｙｉ）
と、変位ベクトル（△ｘ，△ｙ）と、内挿画像の時刻に
応じた重みとを入力としてアフィン変換係数を求める計
算手順は種種考えられ、回路構成もそれにより異なりう
るものであるが、この違いは数学的な代数演算が順序を
変えても同一の結果が得られることの反映であり、本発
明の本質に影響するものではない。どのような代数的に
等価な回路構成を使用してもよく、本発明は請求項に記
載された範囲によって判断されるものである。例えばア
フィン変換係数を求めるには３元連立一次方程式を解け
ばよい。これは次の式に示される。

【００２９】

【数５】

【００３０】これを実行する変換係数作成部２９はまず
数６を求め、次に数７を求める。

【００３１】

【数６】

【００３２】

【数７】

【００３３】このように２段階に分けて求めるのは、内
挿画像を挿入する時刻に応じた重みが複数あった場合に
同じ計算を重複して行うことを避けるためである。

【００３４】こうして得られた変換係数を用いて変換実
行部３７は数８の式に従って変換を実行する。ただし
（ｘ，ｙ）は三角形走査部３３が指定する被内挿画素位
置である。

【００３５】

【数８】

【００３６】このように３元連立一次方程式を解くには
ガウスのはきだし法のような所定の手順を実行するため
にマイクロプロセッサあるいはデジタルシグナルプロセ
ッサ等の回路が必要である。

【００３７】アフィン変換係数を求める別の方法は、一
組の頂点の位置をもとに先に平行移動を実行してしま
い、残った２行２列の行列を求めるものである。このア
フィン変換を表す式を数９に示す。

【００３８】

【数９】

【００３９】ただし、（ｘ，ｙ）は三角形走査部３３が
指定する被内挿画素位置であり、（ｘ’，ｙ’）は変換
先の点の位置である。

【００４０】この数９のアフィン変換の式に残りの二つ
の頂点の位置を代入して２元連立方程式を立てると次式
となる。

【００４１】

【数１０】

【００４２】これを解くために２行２列の逆行列を右か
らかければよい。こうして次式のように６個のアフィン
変換係数が求められる。

【００４３】

【数１１】

【００４４】この式の入力を変位ベクトル（△ｘ，△
ｙ）及び内挿画像の頂点位置（ｘｉ，ｙｉ）で表せば次
式となる。

【００４５】

【数１２】

【００４６】つまり変換係数作成部２９はまず数１３に
従って行列ＭとベクトルＮを求め、さらに数１４に従っ
てアフィン変換係数を求める。

【００４７】

【数１３】

【００４８】

【数１４】

【００４９】このように２段階に分けて求めるのは、内
挿画像を挿入する時刻に応じた重みが複数あった場合に
同じ計算を重複して行うことを避けるためである。また
この手順によればガウスのはきだし法のような手順を実
行せずに乗算と加算とわり算により予め定められた演算
回数でアフィン変換係数を求めることができる。こうし
て一つの三角形に対して変換係数は順方向と逆方向の二
通りが求められ変換係数記憶部３４、３５に記憶され
る。三角形走査部３３は三角形の内挿画像の時刻におけ
る３頂点の位置を入力として、その三角形に含まれる整
数値座標をとる画素位置を出力する。これを行うための
手順は簡単には次のようになる。３頂点のｘ座標ｙ座標
の最大値と最小値を求める。これらから三角形を含む最
小の矩形が得られ、この矩形内の点を順に選択しこれが
三角形に含まれるか否かを判定する。この判定は、２頂
点が定める直線に対して判定すべき点が残りの１頂点と
同じ側にあるか否かを判定し、これを３通りの組み合わ
せに対して実行し、すべて同じ側にある場合に、三角形
内にあると判定すればよい。これには乗算と加算と大小
比較を組み合わせて計算手順を作ることができる。また
三角形の境界に位置する画素については、周囲の三角形
でも選択されるため、２重に処理されないようにしてお
くことが好ましい。このためには、第一にｙ座標が最大
値をとる画素はその三角形に所属させない、第二に三角
形のｘ座標の大きい側の境界上にある画素はその三角形
に所属させない、第三にｙ座標が最小値をとる画素が一
つだけの場合、その画素はその三角形に所属させない、
といった条件を実現させればよい。

【００５０】このようにして画素が選択されると、その
画素位置が変換実行部３７及び内挿画像記憶部４４に供
給される。変換実行部３７はスイッチ３６によって変換
係数記憶部３４、３５に記憶された二通りの係数を切り
換えて使用し二通りの変換を実行し、変換先の点の位置
を補間演算部２５に供給する。補間演算部２５は、動き
補償のときに予測画像を作成したときと同様に、実数値
をとる点の位置を入力とし、その周りの整数値をとる画
素位置の画素値を前の画像の記憶部２６もしくは再生画
像の記憶部４６から読みだして、これらを適当に演算し
て画素値を補間により求める。画像記憶部としては順方
向の動きの場合は、前の画像の記憶部２６を用い、逆方
向の動きの場合は再生画像の記憶部４６を用いる。この
ときの読みだしアドレスは補間演算部２５より、前の画
像の記憶部２６へ指示されるか、もしくは補間演算部２
５よりスイッチ１９を介して再生画像の記憶部４６へ指
示される。このように二つの画像から内挿画像を作成し
合成することにより、より画質の優れた内挿画像が出来
るのである。

【００５１】作成された、画素値はスイッチ１８を介し
て重み付き線形加算部１０１に供給される。重み付き線
形加算部は二通り求められた画素値に対して、内挿画像
の時刻に応じた重みを乗算して和を求めるものである。
この重みは、例えば内挿画像を一枚挿入する場合には１
／２ずつにすればよく、また内挿画像を２枚挿入する場
合には、時刻の近い方の画像から作成された画像の方が
信頼性が高いという意味で、一枚目には順方向の画素値
に２／３逆方向の画素値に１／３の重みをつけ、二枚目
には順方向の画素値に１／３逆方向の画素値に２／３の
重みをつければよい。重み付き線形加算部は重み乗算部
４０と結果を保持するレジスタ４２と加算部４３とから
構成される。つまり、変換実行部３７が同一の入力に対
して二通りの変換を順に実行し、補間演算部２５がこれ
らの画素値を順に求めるから、第一の画素値が得られた
ら、重み乗算部４０にて重みを乗算し、これをスイッチ
４１を介してレジスタ４２に記憶する。第二の画素値が
得られたら、重み乗算部４０にて重みを乗算し、この結
果をスイッチ４１を介して加算部４３へ供給し、これと
レジスタ４２の記憶値とを加算部４３にて加算すればよ
い。こうして得られた内挿画素値は、内挿画像の記憶部
４４に記憶される。このとき書き込みアドレスは三角形
走査部３３が指示した被内挿画素位置が用いられる。内
挿画像の作成が完了するとこれをスイッチ２１を介して
ディスプレイに表示する。その後、スイッチ２１を切り
換えて、内挿画像の次にすでに復号化して再生画像の記
憶部４６に記憶されている再生画像をディスプレイに表
示する。再生画像記憶部４６の記憶値は、次の時刻の画
像の再生のために前の画像の記憶部２６に転送される。

【００５２】図２は本発明の第２の実施例である。頂点
及び中心点の位置指定部３１は六角形の中心に対する相
対座標値を出力し、画像中での絶対座標値が必要になっ
た箇所でブロック位置指定部１０が出力する六角形の位
置ベクトルを加算するものである。このように位置ベク
トルを除いてアフィン変換係数を求め、変換を実行して
も最終的に画像中での座標値を作成すれば結果は実施例
１と全く同一となり、またアフィン変換が線形であるこ
とから変換係数作成部２９が求める変換係数も全く同一
となる。伝送されてきた変位ベクトルは、変位ベクトル
記憶部１４に記憶される。また、伝送されてきた符号中
の波形符号の部分は、外部にある波形復号化器により復
号化され、予測誤差画像記憶部４７に記憶される。ま
た、再生画像の一つ前の画像を記憶する前の画像の記憶
部２６には、既に復号化された前の画像が記憶されてお
り、この画像を変位ベクトル情報により変形させて動き
補償を行う。６次元ベクトル記憶部１３には予め求めて
おいた、６つの頂点における変位ベクトルの混合割合
が、六角形に含まれる点の数だけ記憶されている。乗算
加算部１５には六角形の頂点の変位ベクトルが入力さ
れ、この６つの変位ベクトルを６次元ベクトル記憶部に
記憶した値に従って混合する。これは６次元ベクトルの
内積を２回求めることにより実行される。

【００５３】被予測画素位置指定部１００は六角形の中
心点の位置ベクトルを指定するブロック位置指定部１０
と六角形内に含まれる点の中心点に相対的な位置を指定
する相対位置指定部１１と、両者を加算する加算部１２
とから構成されている。これは予測される画素の位置を
指定するもので、変位ベクトル記憶部１４から読み出す
べき六角形と、６次元ベクトル記憶部１３から読み出す
べき六角形内の点の位置とに連動して指定する。そし
て、被予測画素位置指定部１００の指定する画素位置に
乗算加算部１５において求めた変位ベクトルを加算部１
６において加算することにより、予測する側の点の位置
を得る。これはスイッチ１７を介して補間演算部２５に
供給され、この点における前の時刻の画像の画素値を補
間演算部２５において求め、被予測画素位置における画
素値とすることにより動き補償を行う。

【００５４】この回路の動作は第１実施例と同じである
ので説明を省略する。次に内挿画像の作成について説明
する。内挿画像の作成も六角形を単位に行い、変位ベク
トル記憶部１４から６つの頂点の変位ベクトルが読み出
される。一方、内挿画像の作成は六角形を６つに分割す
る３角形ごとに行うため六角形の中心点の変位ベクトル
を中心点の変位ベクトル生成部２７で求める必要があ
る。これは、６個の値の平均を求める回路である。こう
して中心を含めた７つの点から、三角形を構成する３点
を選択し、三角形ごとに以下の処理を実行する。各頂点
及び中心点の相対座標での初期位置は頂点及び中心点の
位置指定部３１により指定される。これは再生画像中に
設定される。これらはスイッチ２８によって切り換えて
アフィン変換係数の作成部２９へ供給されている。また
これらを変位ベクトル記憶部１４に記憶された変位ベク
トルもしくは中心点の変位ベクトル生成部２７で生成さ
れた変位ベクトルで変位させる。ただし内挿画像を作成
するにあたって、本発明はその挿入時刻に応じた動き量
を与えておりこれは数３で表される。

【００５５】変位ベクトル記憶部１４に記憶された変位
ベクトルもしくは中心点の変位ベクトル生成部２７にお
いて求められた中心点の変位ベクトルに対して重み乗算
部３０は重みｔを乗算し、この結果を加算部３２に供給
する。一方、頂点及び中心点の位置指定部３１からそれ
ぞれの点の相対位置が読み出され、加算部３２に供給さ
れる。加算部３２は両者を加算して、内挿画像における
各頂点及び中心点の相対位置を作成する。これらはアフ
ィン変換係数作成部２９に供給される。アフィン変換係
数は、三角形を構成する３頂点の内挿画像における位置
と変換すべき変位ベクトルとから求める。この過程は実
施例１における場合と同じである。こうして一つの三角
形に対して変換係数は順方向と逆方向の二通りが求めら
れ変換係数記憶部３４、３５に記憶される。三角形走査
部３３は三角形の内挿画像の時刻における３頂点の相対
位置を入力として、その三角形に含まれる整数値座標を
とる画素位置を出力する。これも出力が六角形の中心に
相対的な座標で得られるだけで、実施例１と同様であ
る。

【００５６】このようにして画素が選択されると、その
画素位置が変換実行部３７及び加算部３９に供給され
る。変換実行部３７はスイッチ３６によって変換係数記
憶部３４、３５に記憶された二通りの係数を切り換えて
使用し二通りの変換を実行し、結果を加算部３８に供給
する。加算部３８、３９にはブロック位置指定部１０が
指定する位置ベクトルが供給されており、両者を加算し
て変換先の点の位置及び被内挿画素位置を作成する。こ
の変換先の点の位置はスイッチ１７を介して補間演算部
２５に供給する。補間演算部２５は、動き補償のときに
予測画像を作成したときと同様に、実数値をとる点の位
置を入力とし、その周りの整数値をとる画素位置の画素
値を前の画像の記憶部２６もしくは先の画像の記憶部４
６から読みだして、これらを適当に演算して画素値を補
間により求める。画像記憶部としては順方向の動きの場
合は、前の画像の記憶部２６を用い、逆方向の動きの場
合は再生画像の記憶部４６を用いる。このときの読みだ
しアドレスは補間演算部２５よりスイッチ１９を介して
再生画像の記憶部４６へ指示される。このように二つの
画像から内挿画像を作成し合成することにより、より画
質の優れた内挿画像が出来るのである。

【００５７】作成された、画素値はスイッチ１８を介し
て重み付き線形加算部１０１に供給される。重み付き線
形加算部１０１は二通り求められた画素値に対して、内
挿画像の時刻に応じた重みを乗算して和を求めるもので
ある。この重みは、例えば内挿画像を一枚挿入する場合
には１／２ずつにすればよく、また内挿画像を２枚挿入
する場合には、時刻の近い方の画像から作成された画像
の方が信頼性が高いという意味で、一枚目には順方向の
画素値に２／３逆方向の画素値に１／３の重みをつけ、
二枚目には順方向の画素値に１／３逆方向の画素値に２
／３の重みをつければよい。重み付き線形加算部１０１
は重み乗算部４０と結果を保持するレジスタ４２と加算
部４３とから構成される。つまり、変換実行部３７が同
一の入力に対して二通りの変換を順に実行し、補間演算
部２５がこれらの画素値を順に求めるから、第一の画素
値が得られたら、乗算部４０にて重みを乗算し、これを
スイッチ４１を介してレジスタ４２に記憶する。第二の
画素値が得られたら、乗算部４０にて重みを乗算し、こ
の結果をスイッチ４１を介して加算部４３へ供給し、こ
れとレジスタ４２の記憶値とを加算部４３にて加算すれ
ばよい。

【００５８】こうして得られた内挿画素値は内挿画像の
記憶部４４に記憶される。このとき書き込みアドレスは
三角形の走査部３３が指示した画素位置と、ブロック位
置指定部１０が指定する位置ベクトルが加算部３９にお
いて加算され、この結果である被内挿画素位置が用いら
れる。内挿画像の作成が完了するとこれをスイッチ２１
を介してをディスプレイに表示する。その後、スイッチ
２１を切り換えて、内挿画像の次にすでに復号化して再
生画像の記憶部４６に記憶されている再生画像をディス
プレイに表示する。再生画像記憶部４６の記憶値は次の
時刻の画像の再生のために前の画像の記憶部２６に転送
される。

【００５９】図３は本発明の第３の実施例である。これ
は第１実施例にさらに、順方向内挿画素値と逆方向内挿
画素値との差を求める減算部を備え、画素値の差の絶対
値が設定値以上の場合に、動き補償をしない前の画像の
画素値を用いて内挿画像を作成するものである。すなわ
ち、再生画像は次の画像の復号化のために前の画像の記
憶部２６に転送される際に内挿画像記憶部４４へも転送
される。内挿画像を作成する際に、もし順方向内挿画素
値と逆方向内挿画素値との差の絶対値が所定の設定値よ
りも大きい場合には、重み付き線形加算部１０１の出力
を内挿画像記憶部４４に記憶させないようにすることに
より、その画素では前の画像の画素値が使われることに
なる。

【００６０】補間演算部２５から順次出力される順方向
内挿画素値と逆方向内挿画素値は、重み付き線形加算部
１０１に入力される一方、値を保持するレジスタ５２と
二つの値の差を求める減算部４８に入力される。得られ
た差は絶対値回路４９で絶対値を求められ、所定の設定
値と比較部５０で比較される。この比較結果に応じて、
スイッチ５１は重み付き線形加算部１０１の出力を阻止
する。上記で差の絶対値が設定値よりも大きい場合に前
の画像を内挿画素値として使用するという機能は、内挿
画像記憶部４４にあらかじめ記憶しておく画像を再生画
像とすることにより、再生画像を内挿画素値として使用
することもできる。

【００６１】

【効果】本発明によれば、六角形を構成するように画像
中に配置された頂点における変位ベクトルから、内挿画
像の時刻に応じた変位ベクトルを持つ内挿画像を作成す
るために、高画質な内挿画像が得られる。また利用する
データは六角形を構成する６つの頂点だけであるため伝
送符号量を非常に低減させた場合にも優れた画質の動画
像を再生できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す図。

【図２】本発明の第２の実施例を示す図。

【図３】本発明の第３の実施例を示す図。

【図４】内挿画像を１枚挿入する場合の三角形の変形を
示す図。

【図５】従来技術を示す図。

【符号の説明】

１０ ブロック位置指定部 １１ 相対位置指定部 １２、１６、３２、３８、３９、４３、４５ 加算部 １３ ６次元ベクトル記憶部 １４ 変位ベクトル記憶部 １５ 乗算加算部 １７、１８、１９、２０、２１、２８、３６、４１、５
１ スイッチ ２５ 補間演算部 ２６ 前の画像の記憶部 ２７ 変位ベクトル生成部 ２９ アフィン変換係数の作成部 ３０ 重み乗算部 ３１ 頂点及び中心点の位置指定部 ３３ 三角形の走査部 ３４、３５ 変換係数記憶部 ３７ 変換実行部 ４０ 重み乗算部 ４２、５２ レジスタ ４４ 内挿画像の記憶部 ４６ 再生画像の記憶部 ４７ 予測誤差画像の記憶部 ４８ 減算部 ４９ 絶対値回路 ５０ 比較部 １００ 被予測画素位置指定部 １０１ 重み付き線形加算部

Claims (3)

【特許請求の範囲】
1. 【請求項１】画像中に配置した頂点の変位ベクトルを記
   憶する変位ベクトル記憶部と、六角形を構成する６個の
   頂点の変位ベクトルから六角形の中心点の変位ベクトル
   を求める中心点の変位ベクトル生成部と、変位ベクトル
   を入力とし、内挿画像の時刻に応じた所定の係数を乗算
   することにより時刻に応じた変位ベクトルを生成する重
   み乗算部と、画像中に配置した頂点の画素位置と、６個
   の頂点が構成する六角形の中心点の位置を指定する頂点
   及び中心点の位置指定部と、頂点及び中心点の変位ベク
   トルに対して頂点位置あるいは中心位置を加算すること
   により内挿画像における点の位置を求める加算部と、頂
   点及び中心点の変位ベクトルと内挿画像における点の位
   置のうち三角形に対応する３つの変位ベクトルと３つの
   点の位置から内挿画像の時刻に応じたアフィン変換係数
   を作成する変換係数作成部と、３点がつくる三角形内の
   画素を順に選択して被内挿画素位置を出力する三角形走
   査部と、被内挿画素位置に対してアフィン変換を実行し
   て変換先の点の位置を求める変換実行部と、内挿元とし
   て参照される画像を記憶する画像記憶部と、変換先の点
   の位置を入力とし、画像記憶部に記憶された画素値を参
   照して変換先の点の画素値を生成し、これを被内挿画素
   位置における画素値とすることにより内挿画像を生成す
   る補間演算部とからなる動き内挿回路。
2. 【請求項２】画像中に配置した頂点の変位ベクトルを記
   憶する変位ベクトル記憶部と、六角形を構成する６個の
   頂点の変位ベクトルから六角形の中心点の変位ベクトル
   を求める中心点の変位ベクトル生成部と、変位ベクトル
   を入力とし、内挿画像の時刻に応じた所定の係数を乗算
   することにより時刻に応じた変位ベクトルを生成する重
   み乗算部と、画像中に配置した頂点の画素位置と、６個
   の頂点が構成する六角形の中心点の位置を指定する頂点
   及び中心の位置指定部と、頂点及び中心点の変位ベクト
   ルに対して頂点位置あるいは中心位置を加算することに
   より内挿画像における点の位置を求める加算部と、頂点
   及び中心点の変位ベクトルと内挿画像における点の位置
   のうち三角形に対応する３つの変位ベクトルと３つの点
   の位置から内挿画像の時刻に応じたアフィン変換係数を
   作成する変換係数作成部と、３点がつくる三角形内の画
   素を順に選択して被内挿画素位置を出力する三角形走査
   部と、被内挿画素位置に対してアフィン変換を実行して
   変換先の点の位置を求める変換実行部と、再生画像を記
   憶する再生画像記憶部と、前の画像を記憶する前画像記
   憶部と、変換先の点の位置を入力とし、画像記憶部に記
   憶された画素値を参照して変換先の点の画素値を生成す
   る補間演算部と、再生画像を参照して作成する逆方向内
   挿画素値と前画像を参照して作成する順方向内挿画素値
   とに、時刻に応じたに所定の係数をそれぞれ乗算し、二
   つの積を加算し、これを内挿画像の画素値とすることに
   より内挿画像を生成する重み付き線形加算演算部とから
   なる動き内挿回路。
3. 【請求項３】順方向内挿画素値と逆方向内挿画素値との
   差を求める減算部を備え、画素値の差の絶対値が設定値
   以上の場合に、前の画像の画素値または再生画像の画素
   値を用いて内挿画像を作成することを特徴とする請求項
   ２記載の動き内挿回路。