JP2000224593A - フレーム補間方法および装置およびこの方法を記録した記録媒体 - Google Patents
フレーム補間方法および装置およびこの方法を記録した記録媒体Info
- Publication number
- JP2000224593A JP2000224593A JP1928799A JP1928799A JP2000224593A JP 2000224593 A JP2000224593 A JP 2000224593A JP 1928799 A JP1928799 A JP 1928799A JP 1928799 A JP1928799 A JP 1928799A JP 2000224593 A JP2000224593 A JP 2000224593A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- motion vector
- region
- block
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 動きの異なる複数被写体によって実際と異な
る画像の補間フレームが生成されない補償予測符号化・
復号を簡単な補間方法及び装置で実現する。 【解決手段】 まず領域分割部１１０により、復号対象
小ブロックの動き補償フレーム間差分絶対値を画素毎に
閾値と比較し、閾値より小さい画素の第１の領域と大き
い画素の第２の領域に分割する。補間値演算部１１６は
第１の領域の画素値と参照ブロック中の対応画素値を平
均して補間フレームを構成する。補間値演算部１１７
は、第２の領域の復号対象フレームでの遮蔽・出現を判
定し、復号対象ブロック又は参照ブロックの対応領域の
一方を基準領域とし、基準領域が属しないフレームを再
探索参照フレームとする。次いで基準領域と再探索参照
フレーム間で求めた第２の動きベクトルの１／２から定
まる再探索参照フレームの画素値を補間フレームの第２
の領域にコピーして補間フレームを構成する。
る画像の補間フレームが生成されない補償予測符号化・
復号を簡単な補間方法及び装置で実現する。 【解決手段】 まず領域分割部１１０により、復号対象
小ブロックの動き補償フレーム間差分絶対値を画素毎に
閾値と比較し、閾値より小さい画素の第１の領域と大き
い画素の第２の領域に分割する。補間値演算部１１６は
第１の領域の画素値と参照ブロック中の対応画素値を平
均して補間フレームを構成する。補間値演算部１１７
は、第２の領域の復号対象フレームでの遮蔽・出現を判
定し、復号対象ブロック又は参照ブロックの対応領域の
一方を基準領域とし、基準領域が属しないフレームを再
探索参照フレームとする。次いで基準領域と再探索参照
フレーム間で求めた第２の動きベクトルの１／２から定
まる再探索参照フレームの画素値を補間フレームの第２
の領域にコピーして補間フレームを構成する。
Description
【０００１】
【発明の属する技術分野】本発明は、符号化された動画
像信号を再生するにあたって符号化されていないフレー
ムを効率的に補間して、時間あたりの表示フレーム数を
増大させることを目的とした、フレーム補間方法および
装置に関するものである。
像信号を再生するにあたって符号化されていないフレー
ムを効率的に補間して、時間あたりの表示フレーム数を
増大させることを目的とした、フレーム補間方法および
装置に関するものである。
【０００２】
【従来の技術】動画像の符号化においては、時間方向の
相関性の高さを利用した動き補償予測符号化がよく用い
られる。動き補償予測符号化においては、符号化対象フ
レームを小ブロックに分割して、各符号化対象小ブロッ
クに対し、すでに復号済みのフレームから最も類似する
ブロックを検出し、その差分信号を量子化・符号化する
ものである。このとき、類似ブロックが符号化対象小ブ
ロックに対して空間的にどれだけずれているかを示す信
号を、動きベクトルとして符号化する。動きベクトルは
各小ブロックごとに求める。
相関性の高さを利用した動き補償予測符号化がよく用い
られる。動き補償予測符号化においては、符号化対象フ
レームを小ブロックに分割して、各符号化対象小ブロッ
クに対し、すでに復号済みのフレームから最も類似する
ブロックを検出し、その差分信号を量子化・符号化する
ものである。このとき、類似ブロックが符号化対象小ブ
ロックに対して空間的にどれだけずれているかを示す信
号を、動きベクトルとして符号化する。動きベクトルは
各小ブロックごとに求める。
【０００３】このような動き補償予測符号化において
は、定められたビットレート以内に発生情報量を抑える
ために、圧縮率が高くなるとすべてのフレームを符号化
せずに、ある間隔でフレームをスキップして符号化する
ような駒落とし制御が行われる。駒落としが行われて符
号化された情報を再生すると、フレームがスキップされ
ているので動きがなめらかでなく不自然となる。このた
め、再生時にスキップされたフレームを復号フレームか
らの内挿補間によって作成することでフレーム数を増大
させる手法が考えられている。
は、定められたビットレート以内に発生情報量を抑える
ために、圧縮率が高くなるとすべてのフレームを符号化
せずに、ある間隔でフレームをスキップして符号化する
ような駒落とし制御が行われる。駒落としが行われて符
号化された情報を再生すると、フレームがスキップされ
ているので動きがなめらかでなく不自然となる。このた
め、再生時にスキップされたフレームを復号フレームか
らの内挿補間によって作成することでフレーム数を増大
させる手法が考えられている。
【０００４】図４は動き補償予測符号化を用いた場合の
従来のフレーム補間方法を示すものである。ここでは時
間的に中央のフレームが間引かれているものとする。動
き補償予測符号化においては、復号対象小ブロックごと
にすでに復号済みのフレームからの動きベクトルが送ら
れてくるので、時間的に復号済みのフレームと現在復号
中のフレームとの間にあるスキップフレームの画素値
を、復号対象小ブロックと動きベクトルで示される復号
済みフレーム上の類似ブロックとの平均値をもって内挿
するものである。このとき、内挿画素位置は、小ブロッ
クの動きが並行移動しているとみなして、動きベクトル
を半分の大きさにして示される位置としている。
従来のフレーム補間方法を示すものである。ここでは時
間的に中央のフレームが間引かれているものとする。動
き補償予測符号化においては、復号対象小ブロックごと
にすでに復号済みのフレームからの動きベクトルが送ら
れてくるので、時間的に復号済みのフレームと現在復号
中のフレームとの間にあるスキップフレームの画素値
を、復号対象小ブロックと動きベクトルで示される復号
済みフレーム上の類似ブロックとの平均値をもって内挿
するものである。このとき、内挿画素位置は、小ブロッ
クの動きが並行移動しているとみなして、動きベクトル
を半分の大きさにして示される位置としている。
【０００５】図５は従来のフレーム補間方法を実装した
画像符号化・復号装置のブロック図である。
画像符号化・復号装置のブロック図である。
【０００６】符号化側においては、画像信号の符号化対
象ブロック５０１に対し、動きベクトル探索部５０２に
おいてフレームメモリ５１１内の参照画像５１０に対し
て動き検索を行い、動きベクトル５０３を計算する。動
き補償部５０６では、選択された動きベクトル５０３に
対応する参照小ブロック５０５を求め、減算部５０４に
おいて符号化対象ブロック５０１との差を計算し、動き
補償フレーム間差分値５０７を得た後、量子化部５０８
において量子化する。量子化された動き補償フレーム間
差分値５０９を逆量子化部５１３において逆量子化し、
加算部５１５において復元された動き補償フレーム間差
分値５１４と参照小ブロック５０５との和を計算し、局
部復号出力５１２としてフレームメモリ５１１に格納す
る。
象ブロック５０１に対し、動きベクトル探索部５０２に
おいてフレームメモリ５１１内の参照画像５１０に対し
て動き検索を行い、動きベクトル５０３を計算する。動
き補償部５０６では、選択された動きベクトル５０３に
対応する参照小ブロック５０５を求め、減算部５０４に
おいて符号化対象ブロック５０１との差を計算し、動き
補償フレーム間差分値５０７を得た後、量子化部５０８
において量子化する。量子化された動き補償フレーム間
差分値５０９を逆量子化部５１３において逆量子化し、
加算部５１５において復元された動き補償フレーム間差
分値５１４と参照小ブロック５０５との和を計算し、局
部復号出力５１２としてフレームメモリ５１１に格納す
る。
【０００７】復号側では、符号化側から送信されてきた
量子化された動き補償フレーム間差分値５０９を、逆量
子化部５１６において逆量子化し、動き補償フレーム間
差分値５１８を算出する。一方動き補償部５２１では、
伝送された動きベクトル５１７を用いて、フレームメモ
リ５２４に蓄えられた参照画像５２３上の参照画像ブロ
ック５２０を求め、加算部５１９において動き補償フレ
ーム間差分値５１８との和を計算し、復号画像ブロック
５２２を得る。また、平均値演算部５２５において、復
号画像ブロック５２２と参照画像ブロック５２０の画素
値の平均値を求め、ベクトルスケーリング部５２７で１
／２の大きさにスケーリングされた動きベクトル５２８
によって示される補間画像フレームメモリ５２６上のア
ドレスに格納して、補間画像ブロック５２９として出力
する。
量子化された動き補償フレーム間差分値５０９を、逆量
子化部５１６において逆量子化し、動き補償フレーム間
差分値５１８を算出する。一方動き補償部５２１では、
伝送された動きベクトル５１７を用いて、フレームメモ
リ５２４に蓄えられた参照画像５２３上の参照画像ブロ
ック５２０を求め、加算部５１９において動き補償フレ
ーム間差分値５１８との和を計算し、復号画像ブロック
５２２を得る。また、平均値演算部５２５において、復
号画像ブロック５２２と参照画像ブロック５２０の画素
値の平均値を求め、ベクトルスケーリング部５２７で１
／２の大きさにスケーリングされた動きベクトル５２８
によって示される補間画像フレームメモリ５２６上のア
ドレスに格納して、補間画像ブロック５２９として出力
する。
【０００８】
【発明が解決しようとする課題】上記従来の技術では、
小ブロック内に異なる動きを持った複数の被写体が含ま
れる場合に、生成された補間フレーム上で、実際の画像
とは異なる画像が生成されることになる。
小ブロック内に異なる動きを持った複数の被写体が含ま
れる場合に、生成された補間フレーム上で、実際の画像
とは異なる画像が生成されることになる。
【０００９】たとえば図６に示すように２つの領域のう
ち、一方の領域Ｒ1が他方の領域Ｒ2を隠すように動く場
合を考える。図６（３）の復号対象フレーム上の復号対
象ブロックＣが領域Ｒ1とＲ2の境界上にあり、動きベク
トルによって定められる参照フレーム上の参照ブロック
Ａが図６（１）のように求められている場合、図６
（２）における補間ブロックＢの領域Ｂ2における画素
値は、参照ブロック内の領域Ａ2と復号対象ブロック内
の領域Ｃ2における画素値の平均値となり、参照フレー
ムにおける実際の領域であるＢ’の画素値とは全く異な
るものになるという問題点があった。
ち、一方の領域Ｒ1が他方の領域Ｒ2を隠すように動く場
合を考える。図６（３）の復号対象フレーム上の復号対
象ブロックＣが領域Ｒ1とＲ2の境界上にあり、動きベク
トルによって定められる参照フレーム上の参照ブロック
Ａが図６（１）のように求められている場合、図６
（２）における補間ブロックＢの領域Ｂ2における画素
値は、参照ブロック内の領域Ａ2と復号対象ブロック内
の領域Ｃ2における画素値の平均値となり、参照フレー
ムにおける実際の領域であるＢ’の画素値とは全く異な
るものになるという問題点があった。
【００１０】このような問題を解決する方法として、輪
郭適応ワーピング予測とラベリングを用いたフレーム補
間方法が提案されている（輪郭適応ワーピング予測によ
るフレーム補間方式、横山他、第１０回画像符号化シン
ポジウムＰＣＳＪ９５、９−１９、ｐｐ．２０５−２０
６）。
郭適応ワーピング予測とラベリングを用いたフレーム補
間方法が提案されている（輪郭適応ワーピング予測によ
るフレーム補間方式、横山他、第１０回画像符号化シン
ポジウムＰＣＳＪ９５、９−１９、ｐｐ．２０５−２０
６）。
【００１１】ワーピング予測とは、画面上のいくつかの
代表点で動きベクトルを検出し、代表点以外の画素の動
きベクトルを、代表点の動きベクトルを用いて補間する
ことにより、全画素での動き補償フレーム間予測を実現
するものである。このワーピング予測において代表点の
位置を被写体の輪郭線に適合させ、動きベクトルの補間
で参照する代表点をパッチごとに適応選択することによ
り被写体境界部分での不連続な動きに対応できるように
したものを輪郭適応ワーピング予測という。補間画像を
生成する際には、前述の輪郭適応ワーピング予測と、各
パッチにラベルとして持たせた被写体の重なり具合の順
位の比較を行うことにより、補間の方法を時間的に順方
向の外挿・時間的に逆方向の外挿・両方向からの内挿の
３通りからいずれかを選択することにより実現する。こ
れによれば被写体の重なりによる問題を解決し、良好な
補間画像を得ることができる。
代表点で動きベクトルを検出し、代表点以外の画素の動
きベクトルを、代表点の動きベクトルを用いて補間する
ことにより、全画素での動き補償フレーム間予測を実現
するものである。このワーピング予測において代表点の
位置を被写体の輪郭線に適合させ、動きベクトルの補間
で参照する代表点をパッチごとに適応選択することによ
り被写体境界部分での不連続な動きに対応できるように
したものを輪郭適応ワーピング予測という。補間画像を
生成する際には、前述の輪郭適応ワーピング予測と、各
パッチにラベルとして持たせた被写体の重なり具合の順
位の比較を行うことにより、補間の方法を時間的に順方
向の外挿・時間的に逆方向の外挿・両方向からの内挿の
３通りからいずれかを選択することにより実現する。こ
れによれば被写体の重なりによる問題を解決し、良好な
補間画像を得ることができる。
【００１２】しかしながら、上記従来の輪郭適応ワーピ
ング予測とラベリングを用いたフレーム補間方法は、輪
郭を抽出したりあらかじめ被写体の重なり具合を定めて
おかなければならず、処理が複雑になるという問題があ
った。
ング予測とラベリングを用いたフレーム補間方法は、輪
郭を抽出したりあらかじめ被写体の重なり具合を定めて
おかなければならず、処理が複雑になるという問題があ
った。
【００１３】本発明は、上記従来の技術における被写体
の重なりによる問題、すなわち補償予測符号化・復号方
法および装置において、小ブロック内に異なる動きを持
った複数の被写体が含まれる場合に、生成された補間フ
レーム上で、実際の画像とは異なる画像が生成される問
題を、簡単な処理および構成により解決するフレーム補
間方法および装置を提供することを課題とする。
の重なりによる問題、すなわち補償予測符号化・復号方
法および装置において、小ブロック内に異なる動きを持
った複数の被写体が含まれる場合に、生成された補間フ
レーム上で、実際の画像とは異なる画像が生成される問
題を、簡単な処理および構成により解決するフレーム補
間方法および装置を提供することを課題とする。
【００１４】
【課題を解決するための手段】本発明は、上記の課題を
解決するため、以下に述べるような手段を採用してい
る。
解決するため、以下に述べるような手段を採用してい
る。
【００１５】その一手段は、ディジタル動画像信号に対
して、符号化時には、動画像を構成するフレームを符号
化対象フレームと非符号化フレームとに分割し、該符号
化対象フレームの画像データを小ブロックに分割し、該
分割された符号化対象小ブロックに対して、フレームメ
モリに蓄えられている符号化・復号済みの参照フレーム
から第１の動きベクトルを求め、該第１の動きベクトル
により定まる参照ブロックと現フレームの符号化対象小
ブロックとの動き補償フレーム間差分値を算出して、該
第１の動きベクトルとともに符号化して伝送・記録し、
復号時には、復号対象小ブロックに対して、前記伝送・
記録された第１の動きベクトルにより定まるフレームメ
モリ中の参照ブロックと、前記動き補償フレーム間差分
値とを加算することにより復号フレームを構成し、さら
に非符号化フレームを該復号フレームの値および該第１
の動きベクトルを用いて算出される補間ブロックによっ
て補間フレームとして構成する画像符号化および復号方
法において、補間フレームにおける補間ブロックの画素
値を定める際に、復号対象小ブロックの動き補償フレー
ム間差分絶対値を、画素ごとに、定められた閾値と比較
し、該フレーム間差分絶対値が閾値よりも小さい画素か
ら構成される第１の領域と、該フレーム間差分絶対値が
閾値よりも大きい画素から構成される第２の領域に分割
する段階と、該第１の領域については、その領域の画素
値と前記第１の動きベクトルで定められる参照ブロック
中の第１の領域に対応する画素値との重みつき平均値で
補間フレームを構成する段階と、該第２の領域について
は、その領域を構成する画素の分布状態と前記第１の動
きベクトルの方向との関係を算出する段階と、該算出さ
れた関係により復号対象ブロック上あるいは前記第１の
動きベクトルで定められる参照ブロック上の対応する領
域のどちらか一方を基準領域とし、該基準領域が属する
フレームとは異なるフレームを再探索参照フレームとす
る段階と、該基準領域と該再探索参照フレームの間で動
き検出を行って第２の動きベクトルを求める段階と、補
間ブロック中の第２の領域に対し、該第２の動きベクト
ルを実数倍することによって定まる再探索参照フレーム
上の画素値をコピーして補間フレームを構成する段階と
を、有することを特徴とするフレーム補間方法である。
して、符号化時には、動画像を構成するフレームを符号
化対象フレームと非符号化フレームとに分割し、該符号
化対象フレームの画像データを小ブロックに分割し、該
分割された符号化対象小ブロックに対して、フレームメ
モリに蓄えられている符号化・復号済みの参照フレーム
から第１の動きベクトルを求め、該第１の動きベクトル
により定まる参照ブロックと現フレームの符号化対象小
ブロックとの動き補償フレーム間差分値を算出して、該
第１の動きベクトルとともに符号化して伝送・記録し、
復号時には、復号対象小ブロックに対して、前記伝送・
記録された第１の動きベクトルにより定まるフレームメ
モリ中の参照ブロックと、前記動き補償フレーム間差分
値とを加算することにより復号フレームを構成し、さら
に非符号化フレームを該復号フレームの値および該第１
の動きベクトルを用いて算出される補間ブロックによっ
て補間フレームとして構成する画像符号化および復号方
法において、補間フレームにおける補間ブロックの画素
値を定める際に、復号対象小ブロックの動き補償フレー
ム間差分絶対値を、画素ごとに、定められた閾値と比較
し、該フレーム間差分絶対値が閾値よりも小さい画素か
ら構成される第１の領域と、該フレーム間差分絶対値が
閾値よりも大きい画素から構成される第２の領域に分割
する段階と、該第１の領域については、その領域の画素
値と前記第１の動きベクトルで定められる参照ブロック
中の第１の領域に対応する画素値との重みつき平均値で
補間フレームを構成する段階と、該第２の領域について
は、その領域を構成する画素の分布状態と前記第１の動
きベクトルの方向との関係を算出する段階と、該算出さ
れた関係により復号対象ブロック上あるいは前記第１の
動きベクトルで定められる参照ブロック上の対応する領
域のどちらか一方を基準領域とし、該基準領域が属する
フレームとは異なるフレームを再探索参照フレームとす
る段階と、該基準領域と該再探索参照フレームの間で動
き検出を行って第２の動きベクトルを求める段階と、補
間ブロック中の第２の領域に対し、該第２の動きベクト
ルを実数倍することによって定まる再探索参照フレーム
上の画素値をコピーして補間フレームを構成する段階と
を、有することを特徴とするフレーム補間方法である。
【００１６】あるいは、ディジタル動画像信号に対し
て、符号化時には、動画像を構成するフレームを符号化
対象フレームと非符号化フレームとに分割し、該符号化
対象フレームの画像データを小ブロックに分割し、該分
割された符号化対象小ブロックに対して、フレームメモ
リに蓄えられている符号化・復号済みの参照フレームか
ら第１の動きベクトルを求め、該第１の動きベクトルに
より定まる参照ブロックと現フレームの符号化対象小ブ
ロックとの動き補償フレーム間差分値を算出して、該第
１の動きベクトルとともに符号化して伝送・記録し、復
号時には、復号対象小ブロックに対して、前記伝送・記
録された第１の動きベクトルにより定まるフレームメモ
リ中の参照ブロックと、前記動き補償フレーム間差分値
とを加算することにより復号フレームを構成し、さらに
非符号化フレームを該復号フレームの値および該第１の
動きベクトルを用いて算出される補間ブロックによって
補間フレームとして構成する画像符号化および復号装置
において、補間フレームにおける補間ブロックの画素値
を定める際に、復号対象小ブロックの動き補償フレーム
間差分絶対値を、画素ごとに、定められた閾値と比較
し、該フレーム間差分絶対値が閾値よりも小さい画素か
ら構成される第１の領域と、該フレーム間差分絶対値が
閾値よりも大きい画素から構成される第２の領域に分割
する領域分割手段と、該第１の領域については、その領
域の画素値と前記第１の動きベクトルで定められる参照
ブロック中の第１の領域に対応する画素値との重みつき
平均値で補間フレームを構成する補間値演算手段と、該
第２の領域については、その領域を構成する画素の分布
状態と前記第１の動きベクトルの方向との関係を算出す
る遮蔽・出現判定手段と、該算出された関係により復号
対象ブロック上あるいは前記第１の動きベクトルで定め
られる参照ブロック上の対応する領域のどちらか一方を
基準領域とし、該基準領域が属するフレームとは異なる
フレームを再探索参照フレームとする基準領域抽出手段
と、該基準領域と該再探索参照フレームの間で動き検出
を行って第２の動きベクトルを求める第２の動きベクト
ル抽出手段と、補間ブロック中の第２の領域に対し、該
第２の動きベクトルを実数倍することによって定まる該
再探索参照フレーム上の画素値をコピーして補間フレー
ムを構成する領域抽出手段とを、備えることを特徴とす
るフレーム補間方法である。
て、符号化時には、動画像を構成するフレームを符号化
対象フレームと非符号化フレームとに分割し、該符号化
対象フレームの画像データを小ブロックに分割し、該分
割された符号化対象小ブロックに対して、フレームメモ
リに蓄えられている符号化・復号済みの参照フレームか
ら第１の動きベクトルを求め、該第１の動きベクトルに
より定まる参照ブロックと現フレームの符号化対象小ブ
ロックとの動き補償フレーム間差分値を算出して、該第
１の動きベクトルとともに符号化して伝送・記録し、復
号時には、復号対象小ブロックに対して、前記伝送・記
録された第１の動きベクトルにより定まるフレームメモ
リ中の参照ブロックと、前記動き補償フレーム間差分値
とを加算することにより復号フレームを構成し、さらに
非符号化フレームを該復号フレームの値および該第１の
動きベクトルを用いて算出される補間ブロックによって
補間フレームとして構成する画像符号化および復号装置
において、補間フレームにおける補間ブロックの画素値
を定める際に、復号対象小ブロックの動き補償フレーム
間差分絶対値を、画素ごとに、定められた閾値と比較
し、該フレーム間差分絶対値が閾値よりも小さい画素か
ら構成される第１の領域と、該フレーム間差分絶対値が
閾値よりも大きい画素から構成される第２の領域に分割
する領域分割手段と、該第１の領域については、その領
域の画素値と前記第１の動きベクトルで定められる参照
ブロック中の第１の領域に対応する画素値との重みつき
平均値で補間フレームを構成する補間値演算手段と、該
第２の領域については、その領域を構成する画素の分布
状態と前記第１の動きベクトルの方向との関係を算出す
る遮蔽・出現判定手段と、該算出された関係により復号
対象ブロック上あるいは前記第１の動きベクトルで定め
られる参照ブロック上の対応する領域のどちらか一方を
基準領域とし、該基準領域が属するフレームとは異なる
フレームを再探索参照フレームとする基準領域抽出手段
と、該基準領域と該再探索参照フレームの間で動き検出
を行って第２の動きベクトルを求める第２の動きベクト
ル抽出手段と、補間ブロック中の第２の領域に対し、該
第２の動きベクトルを実数倍することによって定まる該
再探索参照フレーム上の画素値をコピーして補間フレー
ムを構成する領域抽出手段とを、備えることを特徴とす
るフレーム補間方法である。
【００１７】あるいは、上記のフレーム補間方法におけ
る段階をコンピュータに実行させるためのプログラム
を、該コンピュータが読み取り可能な記録媒体に記録し
たことを特徴とするフレーム補間方法を記録した記録媒
体である。
る段階をコンピュータに実行させるためのプログラム
を、該コンピュータが読み取り可能な記録媒体に記録し
たことを特徴とするフレーム補間方法を記録した記録媒
体である。
【００１８】本発明では、小ブロック単位よりも細かく
補間のモードを設定できるようにすることにより、オク
ルージョンが発生して物体間に重なりがあるような場合
でも、精度良くフレーム補間することを可能にする。
補間のモードを設定できるようにすることにより、オク
ルージョンが発生して物体間に重なりがあるような場合
でも、精度良くフレーム補間することを可能にする。
【００１９】
【発明の実施の形態】以下、図面により本発明の実施形
態例を詳細に説明する。なお、以下の説明では補間フレ
ームは２枚の復号対象フレームに対して時間的に中央に
あるものとして進める。
態例を詳細に説明する。なお、以下の説明では補間フレ
ームは２枚の復号対象フレームに対して時間的に中央に
あるものとして進める。
【００２０】はじめに、本発明によるフレーム補間方法
の一実施形態例を説明する。
の一実施形態例を説明する。
【００２１】本方法では、補間フレームにおける補間ブ
ロックの画素値を定める際に、復号対象小ブロックの動
き補償フレーム間差分絶対値を、画素ごとに、定められ
た閾値と比較し、フレーム間差分絶対値が閾値よりも小
さい画素から構成される第１の領域と、フレーム間差分
絶対値が閾値よりも大きい画素から構成される第２の領
域に分割する。
ロックの画素値を定める際に、復号対象小ブロックの動
き補償フレーム間差分絶対値を、画素ごとに、定められ
た閾値と比較し、フレーム間差分絶対値が閾値よりも小
さい画素から構成される第１の領域と、フレーム間差分
絶対値が閾値よりも大きい画素から構成される第２の領
域に分割する。
【００２２】第１の領域については、その領域の画素値
と前記第１の動きベクトルで定められる参照ブロック中
の第１の領域に対応する画素値との平均値で補間フレー
ムを構成する。
と前記第１の動きベクトルで定められる参照ブロック中
の第１の領域に対応する画素値との平均値で補間フレー
ムを構成する。
【００２３】一方、第２の領域については、その領域を
構成する画素の分布状態と前記第１の動きベクトルの方
向との関係を算出し、復号対象フレームにおける遮蔽・
出現を判定する。
構成する画素の分布状態と前記第１の動きベクトルの方
向との関係を算出し、復号対象フレームにおける遮蔽・
出現を判定する。
【００２４】これにより復号対象ブロック上あるいは前
記第１の動きベクトルで定められる参照ブロック上の対
応する領域のどちらか一方を基準領域とし、また基準領
域が属するフレームとは異なるフレームを再探索参照フ
レームとする。
記第１の動きベクトルで定められる参照ブロック上の対
応する領域のどちらか一方を基準領域とし、また基準領
域が属するフレームとは異なるフレームを再探索参照フ
レームとする。
【００２５】次いで基準領域と再探索参照フレームの間
で動き検出を行って第２の動きベクトルを求め、補間フ
レーム上の第２の領域に対して、第２の動きベクトルを
１／２の大きさにスケーリングされたベクトルによって
定まる再探索参照フレーム上の画素値をコピーする。
で動き検出を行って第２の動きベクトルを求め、補間フ
レーム上の第２の領域に対して、第２の動きベクトルを
１／２の大きさにスケーリングされたベクトルによって
定まる再探索参照フレーム上の画素値をコピーする。
【００２６】図１に本発明の方法を実施するためのブロ
ック構成の一実施形態例を示すとともに、本発明の方法
の一実施形態例をより詳細に説明する。なお、図２
（ａ）および（ｂ）は、それぞれ図１中の第１の補間値
演算部、第２の補間値演算部の内部ブロック構成を示し
ている。
ック構成の一実施形態例を示すとともに、本発明の方法
の一実施形態例をより詳細に説明する。なお、図２
（ａ）および（ｂ）は、それぞれ図１中の第１の補間値
演算部、第２の補間値演算部の内部ブロック構成を示し
ている。
【００２７】はじめに、符号化側から送信されてきた量
子化された動き補償フレーム間差分値１０１を、逆量子
化部１０３において逆量子化し、動き補償フレーム間差
分値１０４を得る。
子化された動き補償フレーム間差分値１０１を、逆量子
化部１０３において逆量子化し、動き補償フレーム間差
分値１０４を得る。
【００２８】また、動き補償部１０８では、符号化側か
ら伝送された第１の動きベクトル１０２を用いて、フレ
ームメモリ１１１に蓄えられた参照画像１０９上の参照
画像ブロック１０６を求め、加算部１０５において動き
補償フレーム間差分値１０４との和を計算して復号画像
ブロック１０７を得る。
ら伝送された第１の動きベクトル１０２を用いて、フレ
ームメモリ１１１に蓄えられた参照画像１０９上の参照
画像ブロック１０６を求め、加算部１０５において動き
補償フレーム間差分値１０４との和を計算して復号画像
ブロック１０７を得る。
【００２９】一方、補間画像ブロックについては、次の
ような処理を行う。
ような処理を行う。
【００３０】まず、領域分割部１１０において動き補償
フレーム間差分値１０４の絶対値を、ある定められた閾
値と画素ごとに比較し、絶対値が閾値よりも小さい第１
の領域Ｒ1（１１４）と大きい第２の領域Ｒ2（１１５）
とに分割する。
フレーム間差分値１０４の絶対値を、ある定められた閾
値と画素ごとに比較し、絶対値が閾値よりも小さい第１
の領域Ｒ1（１１４）と大きい第２の領域Ｒ2（１１５）
とに分割する。
【００３１】次に、第１の補間値演算部１１６では、平
均値演算部１２２において、復号画像ブロック１０７と
参照画像ブロック１０６との領域Ｒ1に対応する画素値
を抽出し、これらの平均値１１８を計算する。平均値１
１８は、ベクトルスケーリング部１１２で１／２の大き
さにスケーリングされた第１の動きベクトル１１３によ
って示される、補間画像フレームメモリ１２０上のアド
レスに格納される。
均値演算部１２２において、復号画像ブロック１０７と
参照画像ブロック１０６との領域Ｒ1に対応する画素値
を抽出し、これらの平均値１１８を計算する。平均値１
１８は、ベクトルスケーリング部１１２で１／２の大き
さにスケーリングされた第１の動きベクトル１１３によ
って示される、補間画像フレームメモリ１２０上のアド
レスに格納される。
【００３２】また、第２の補間値演算部１１７では、遮
蔽・出現判定部１２３において、第１の動きベクトル１
０２（図１、図２（ｂ）中の矢示Ａ）と復号対象小ブロ
ック内の領域Ｒ2の分布状態との関係により、領域Ｒ2の
復号対象フレームにおける遮蔽・出現関係１２４を判定
する。この関係１２４により、スイッチ１２５を切り替
え、基準領域抽出部１２６は復号対象フレーム１０７上
あるいは参照フレーム１０９（図１中の矢示Ｂ）上の領
域Ｒ2に対応する領域のどちらか一方を動き補償の基準
領域とし、基準領域が属するフレームとは異なるフレー
ムを再探索参照フレーム１３２とする。表１に判定結果
と基準領域および再探索フレームの組み合わせを示す。
蔽・出現判定部１２３において、第１の動きベクトル１
０２（図１、図２（ｂ）中の矢示Ａ）と復号対象小ブロ
ック内の領域Ｒ2の分布状態との関係により、領域Ｒ2の
復号対象フレームにおける遮蔽・出現関係１２４を判定
する。この関係１２４により、スイッチ１２５を切り替
え、基準領域抽出部１２６は復号対象フレーム１０７上
あるいは参照フレーム１０９（図１中の矢示Ｂ）上の領
域Ｒ2に対応する領域のどちらか一方を動き補償の基準
領域とし、基準領域が属するフレームとは異なるフレー
ムを再探索参照フレーム１３２とする。表１に判定結果
と基準領域および再探索フレームの組み合わせを示す。
【００３３】
【表１】
【００３４】上記の組み合わせに従って、第２の補間値
演算部１１７では、第２の動きベクトル抽出部１２８に
おいて、基準領域となるフレーム上の領域Ｒ2（１２
７）に関して再探索フレーム１３２上で動き検出を行っ
て第２の動きベクトル１２９を算出する。
演算部１１７では、第２の動きベクトル抽出部１２８に
おいて、基準領域となるフレーム上の領域Ｒ2（１２
７）に関して再探索フレーム１３２上で動き検出を行っ
て第２の動きベクトル１２９を算出する。
【００３５】続いて、第２の補間値演算部１１７では、
領域抽出部１３３において、ベクトルスケーリング部１
３０で１／２の大きさにスケーリングされた第２の動き
ベクトル１３１と、ベクトルスケーリング部１１２で１
／２の大きさにスケーリングされた第１の動きベクトル
１１３（図１、図２（ｂ）中の矢示Ｃ）とによって示さ
れる再探索参照フレーム１３２上の、補間ブロックの領
域Ｒ2に対応する領域を抽出する。
領域抽出部１３３において、ベクトルスケーリング部１
３０で１／２の大きさにスケーリングされた第２の動き
ベクトル１３１と、ベクトルスケーリング部１１２で１
／２の大きさにスケーリングされた第１の動きベクトル
１１３（図１、図２（ｂ）中の矢示Ｃ）とによって示さ
れる再探索参照フレーム１３２上の、補間ブロックの領
域Ｒ2に対応する領域を抽出する。
【００３６】続いて、抽出された領域の画素値１１９
を、ベクトルスケーリング部１１２で１／２の大きさに
スケーリングされた第１の動きベクトル１１３によって
示される補間画像フレームメモリ１２０上のアドレスに
格納する。
を、ベクトルスケーリング部１１２で１／２の大きさに
スケーリングされた第１の動きベクトル１１３によって
示される補間画像フレームメモリ１２０上のアドレスに
格納する。
【００３７】図３に上記実施形態例における具体的な処
理例を示す。本例は、右に動く背景の上に、左へ動く物
体が重なってくる場合を示している。Ａ（ｉ，ｊ）は復
号対象ブロック、Ｂ（ｉ＋ｘ，ｊ＋ｙ）は参照ブロッ
ク、Ｃは補間されるべきブロックである。（ｘ，ｙ）≡
ｖ1は第１の動きベクトルを示しており、本例ではｘ＝
４，ｙ＝０とする。このとき、動き補償予測誤差値はブ
ロックＥのようにＥ（ｉ，ｊ）＝Ａ（ｉ，ｊ）−Ｂ（ｉ
＋ｘ，ｊ＋ｙ）である。Ｅ（ｉ，ｊ）は符号化側から伝
送されてくるので、再計算する必要は無い。Ｅ（ｉ，
ｊ）の絶対値を閾値Ｔ＝１０で閾値処理すると、閾値よ
り小さい画素値で構成される領域Ｒ1（ブロック右下側
の黒領域）と、大きい画素値で構成される領域Ｒ2（ブ
ロック左上側の白領域）に分割できる。
理例を示す。本例は、右に動く背景の上に、左へ動く物
体が重なってくる場合を示している。Ａ（ｉ，ｊ）は復
号対象ブロック、Ｂ（ｉ＋ｘ，ｊ＋ｙ）は参照ブロッ
ク、Ｃは補間されるべきブロックである。（ｘ，ｙ）≡
ｖ1は第１の動きベクトルを示しており、本例ではｘ＝
４，ｙ＝０とする。このとき、動き補償予測誤差値はブ
ロックＥのようにＥ（ｉ，ｊ）＝Ａ（ｉ，ｊ）−Ｂ（ｉ
＋ｘ，ｊ＋ｙ）である。Ｅ（ｉ，ｊ）は符号化側から伝
送されてくるので、再計算する必要は無い。Ｅ（ｉ，
ｊ）の絶対値を閾値Ｔ＝１０で閾値処理すると、閾値よ
り小さい画素値で構成される領域Ｒ1（ブロック右下側
の黒領域）と、大きい画素値で構成される領域Ｒ2（ブ
ロック左上側の白領域）に分割できる。
【００３８】まず、補間ブロックＣ上のＲ1に対応する
画素については対応するブロックＡとＢの領域Ｒ1の平
均値を取ることで求められる。すなわちＣ（ｉ＋ｘ／
２，ｊ＋ｙ／２）＝（１／２）｛Ａ（ｉ，ｊ）＋Ｂ（ｉ
＋ｘ，ｊ＋ｙ）｝である。
画素については対応するブロックＡとＢの領域Ｒ1の平
均値を取ることで求められる。すなわちＣ（ｉ＋ｘ／
２，ｊ＋ｙ／２）＝（１／２）｛Ａ（ｉ，ｊ）＋Ｂ（ｉ
＋ｘ，ｊ＋ｙ）｝である。
【００３９】一方、領域Ｒ2については第１の動きベク
トルをｖ1とし、以下の処理を行う。領域Ｒ2を構成する
Ｋ個の画素位置をブロックの中心を原点としてベクトル
表現したものをベクトルｕk（ｋ＝１，２，…，Ｋ）と
すれば、 ｃｏｕｎｔｅｒ＝０，（小ブロックごとに０で初期化） すべてのｋに対して ｃｏｕｎｔｅｒ←ｃｏｕｎｔｅｒ＋１ ｉｆ（ｖ1，
ｕk）＞０ ｃｏｕｎｔｅｒ←ｃｏｕｎｔｅｒ−１ ｉｆ（ｖ1，
ｕk）＜０ ｃｏｕｎｔｅｒ＞０ならば出現、ｃｏｕｎｔｅｒ＜０な
らば遮蔽 ここで（ｖ，ｕ）はベクトルｖ，ｕの内積である。本例
の場合、Ｒ2を構成する画素のベクトル表現は、ｕ1＝
（−２，１），ｕ2＝（−１，１），ｕ3＝（−２，
０），ｕ4＝（−１，０），ｕ5＝（−２，−１）となる
ので、 （ｖ1，ｕ1）＝（４，０）・（−２，１）＝−８＜０， （ｖ1，ｕ2）＝（４，０）・（−１，１）＝−４＜０， （ｖ1，ｕ3）＝（４，０）・（−２，０）＝−８＜０， （ｖ1，ｕ4）＝（４，０）・（−１，０）＝−４＜０， （ｖ1，ｕ5）＝（４，０）・（−２，−１）＝−８＜０ となり、ｃｏｕｎｔｅｒ＝−５＜０なので、領域Ｒ2は
遮蔽と判定される。表１から基準領域となるフレームは
復号対象フレーム、再探索参照フレームは参照フレーム
となる。復号対象フレーム中の領域Ｒ2に関して参照フ
レーム上で再動き検出を行った結果、第２の動きベクト
ルｖ2が図３のようにｖ2＝（ｐ，ｑ）と求められたとす
れば、補間ブロックＣ上のＲ2に対応する領域から、ｖ2
の半分の大きさだけ動き補償を行った参照フレーム上の
対応する領域Ｒ2の画素値が領域Ｒ2にコピーされる。す
なわちＣ（ｉ＋ｘ／２，ｊ＋ｙ／２）＝Ｂ（ｉ＋ｘ／２
＋ｐ／２，ｊ＋ｙ／２＋ｑ／２）となる。
トルをｖ1とし、以下の処理を行う。領域Ｒ2を構成する
Ｋ個の画素位置をブロックの中心を原点としてベクトル
表現したものをベクトルｕk（ｋ＝１，２，…，Ｋ）と
すれば、 ｃｏｕｎｔｅｒ＝０，（小ブロックごとに０で初期化） すべてのｋに対して ｃｏｕｎｔｅｒ←ｃｏｕｎｔｅｒ＋１ ｉｆ（ｖ1，
ｕk）＞０ ｃｏｕｎｔｅｒ←ｃｏｕｎｔｅｒ−１ ｉｆ（ｖ1，
ｕk）＜０ ｃｏｕｎｔｅｒ＞０ならば出現、ｃｏｕｎｔｅｒ＜０な
らば遮蔽 ここで（ｖ，ｕ）はベクトルｖ，ｕの内積である。本例
の場合、Ｒ2を構成する画素のベクトル表現は、ｕ1＝
（−２，１），ｕ2＝（−１，１），ｕ3＝（−２，
０），ｕ4＝（−１，０），ｕ5＝（−２，−１）となる
ので、 （ｖ1，ｕ1）＝（４，０）・（−２，１）＝−８＜０， （ｖ1，ｕ2）＝（４，０）・（−１，１）＝−４＜０， （ｖ1，ｕ3）＝（４，０）・（−２，０）＝−８＜０， （ｖ1，ｕ4）＝（４，０）・（−１，０）＝−４＜０， （ｖ1，ｕ5）＝（４，０）・（−２，−１）＝−８＜０ となり、ｃｏｕｎｔｅｒ＝−５＜０なので、領域Ｒ2は
遮蔽と判定される。表１から基準領域となるフレームは
復号対象フレーム、再探索参照フレームは参照フレーム
となる。復号対象フレーム中の領域Ｒ2に関して参照フ
レーム上で再動き検出を行った結果、第２の動きベクト
ルｖ2が図３のようにｖ2＝（ｐ，ｑ）と求められたとす
れば、補間ブロックＣ上のＲ2に対応する領域から、ｖ2
の半分の大きさだけ動き補償を行った参照フレーム上の
対応する領域Ｒ2の画素値が領域Ｒ2にコピーされる。す
なわちＣ（ｉ＋ｘ／２，ｊ＋ｙ／２）＝Ｂ（ｉ＋ｘ／２
＋ｐ／２，ｊ＋ｙ／２＋ｑ／２）となる。
【００４０】なお、本例では補間フレームが２枚の復号
フレームに対して時間的に中央にある場合を想定した
が、補間フレームが２枚の復号フレーム中の、任意の時
間的位置にある場合については、ベクトルのスケーリン
グ値を変更することによって、容易に実現できる。
フレームに対して時間的に中央にある場合を想定した
が、補間フレームが２枚の復号フレーム中の、任意の時
間的位置にある場合については、ベクトルのスケーリン
グ値を変更することによって、容易に実現できる。
【００４１】また、図１、図２で示したブロックの一部
もしくは全部を、コンピュータを用いて機能させること
ができること、あるいは、図１、図２、図３により説明
した処理の段階をコンピュータで実行させることができ
ることは言うまでもなく、コンピュータをその手段とし
て機能させるためのプログラム、あるいは、コンピュー
タでその処理の段階を実行させるためのプログラムを、
そのコンピュータが読み取り可能な記録媒体、例えば、
ＦＤ（フロッピーディスク）や、ＭＯ、ＲＯＭ、メモリ
カード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記
録して提供し、配布することが可能である。
もしくは全部を、コンピュータを用いて機能させること
ができること、あるいは、図１、図２、図３により説明
した処理の段階をコンピュータで実行させることができ
ることは言うまでもなく、コンピュータをその手段とし
て機能させるためのプログラム、あるいは、コンピュー
タでその処理の段階を実行させるためのプログラムを、
そのコンピュータが読み取り可能な記録媒体、例えば、
ＦＤ（フロッピーディスク）や、ＭＯ、ＲＯＭ、メモリ
カード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記
録して提供し、配布することが可能である。
【００４２】
【発明の効果】以上述べたような本発明の方法および装
置によれば、小ブロック単位よりも細かく補間のモード
が設定できるため、オクルージョンが発生して物体間に
重なりがあるような場合でも、精度良くフレーム補間す
ることが可能となる。
置によれば、小ブロック単位よりも細かく補間のモード
が設定できるため、オクルージョンが発生して物体間に
重なりがあるような場合でも、精度良くフレーム補間す
ることが可能となる。
【図１】本発明を実施するためのブロック構成の一実施
形態例を示すとともに、本発明による方法の一実施形態
例を説明するためのブロック図である。
形態例を示すとともに、本発明による方法の一実施形態
例を説明するためのブロック図である。
【図２】（ａ）は上記ブロック図における第１の補間値
演算部を、（ｂ）は同じく第２の補間値演算部を説明す
るブロック図である。
演算部を、（ｂ）は同じく第２の補間値演算部を説明す
るブロック図である。
【図３】上記実施形態例における具体的な処理例を示す
図である。
図である。
【図４】動き補償予測符号化を用いたフレーム補間方法
の概念図である。
の概念図である。
【図５】従来のフレーム補間方法を実装した画像符号化
・復号装置のブロック図である。
・復号装置のブロック図である。
【図６】従来のフレーム補間方法の問題点を示す図であ
る。
る。
１０１…量子化された動き補償フレーム間差分値 １０２…第１の動きベクトル １０３…逆量子化部 １０４…動き補償フレーム間差分値 １０５…加算部 １０６…参照画像ブロック １０７…復号画像ブロック １０８…動き補償部 １０９…参照画像 １１０…領域分割部 １１１…フレームメモリ １１２…ベクトルスケーリング部 １１３…スケーリングされた第１の動きベクトル １１４…領域Ｒ1 １１５…領域Ｒ2 １１６…第１の補間値演算部 １１７…第２の補間値演算部 １１８…画素値の平均値 １１９…抽出された領域の画素値 １２０…補間画像フレームメモリ １２１…補間画像ブロック １２２…平均値演算部 １２３…遮蔽・出現判定部 １２４…遮蔽・出現関係 １２５…スイッチ １２６…基準領域抽出部 １２７…基準領域 １２８…第２の動きベクトル抽出部 １２９…第２の動きベクトル １３０…ベクトルスケーリング部 １３１…スケーリングされた第２の動きベクトル １３２…再探索フレーム １３３…領域抽出部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 八島 由幸 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5C053 FA27 GB19 GB29 GB32 HA33 KA04 KA05 LA11 LA15 5C059 KK01 LB07 LB13 MA05 MD02 NN02 NN28 PP04 RB02 RC16 SS20 TA09 TB08 TC03 TD12 UA02 UA05 UA33 UA38 UA39
Claims (3)
- 【請求項１】 ディジタル動画像信号に対して、 符号化時には、動画像を構成するフレームを符号化対象
フレームと非符号化フレームとに分割し、該符号化対象
フレームの画像データを小ブロックに分割し、該分割さ
れた符号化対象小ブロックに対して、フレームメモリに
蓄えられている符号化・復号済みの参照フレームから第
１の動きベクトルを求め、該第１の動きベクトルにより
定まる参照ブロックと現フレームの符号化対象小ブロッ
クとの動き補償フレーム間差分値を算出して、該第１の
動きベクトルとともに符号化して伝送・記録し、 復号時には、復号対象小ブロックに対して、前記伝送・
記録された第１の動きベクトルにより定まるフレームメ
モリ中の参照ブロックと、前記動き補償フレーム間差分
値とを加算することにより復号フレームを構成し、さら
に非符号化フレームを該復号フレームの値および該第１
の動きベクトルを用いて算出される補間ブロックによっ
て補間フレームとして構成する画像符号化および復号方
法において、 補間フレームにおける補間ブロックの画素値を定める際
に、復号対象小ブロックの動き補償フレーム間差分絶対
値を、画素ごとに、定められた閾値と比較し、該フレー
ム間差分絶対値が閾値よりも小さい画素から構成される
第１の領域と、該フレーム間差分絶対値が閾値よりも大
きい画素から構成される第２の領域に分割する段階と、 該第１の領域については、その領域の画素値と前記第１
の動きベクトルで定められる参照ブロック中の第１の領
域に対応する画素値との重みつき平均値で補間フレーム
を構成する段階と、 該第２の領域については、その領域を構成する画素の分
布状態と前記第１の動きベクトルの方向との関係を算出
する段階と、 該算出された関係により復号対象ブロック上あるいは前
記第１の動きベクトルで定められる参照ブロック上の対
応する領域のどちらか一方を基準領域とし、該基準領域
が属するフレームとは異なるフレームを再探索参照フレ
ームとする段階と、 該基準領域と該再探索参照フレームの間で動き検出を行
って第２の動きベクトルを求める段階と、 補間ブロック中の第２の領域に対し、該第２の動きベク
トルを実数倍することによって定まる再探索参照フレー
ム上の画素値をコピーして補間フレームを構成する段階
とを、 有することを特徴とするフレーム補間方法。 - 【請求項２】 ディジタル動画像信号に対して、 符号化時には、動画像を構成するフレームを符号化対象
フレームと非符号化フレームとに分割し、該符号化対象
フレームの画像データを小ブロックに分割し、該分割さ
れた符号化対象小ブロックに対して、フレームメモリに
蓄えられている符号化・復号済みの参照フレームから第
１の動きベクトルを求め、該第１の動きベクトルにより
定まる参照ブロックと現フレームの符号化対象小ブロッ
クとの動き補償フレーム間差分値を算出して、該第１の
動きベクトルとともに符号化して伝送・記録し、 復号時には、復号対象小ブロックに対して、前記伝送・
記録された第１の動きベクトルにより定まるフレームメ
モリ中の参照ブロックと、前記動き補償フレーム間差分
値とを加算することにより復号フレームを構成し、さら
に非符号化フレームを該復号フレームの値および該第１
の動きベクトルを用いて算出される補間ブロックによっ
て補間フレームとして構成する画像符号化および復号装
置において、 補間フレームにおける補間ブロックの画素値を定める際
に、復号対象小ブロックの動き補償フレーム間差分絶対
値を、画素ごとに、定められた閾値と比較し、該フレー
ム間差分絶対値が閾値よりも小さい画素から構成される
第１の領域と、該フレーム間差分絶対値が閾値よりも大
きい画素から構成される第２の領域に分割する領域分割
手段と、 該第１の領域については、その領域の画素値と前記第１
の動きベクトルで定められる参照ブロック中の第１の領
域に対応する画素値との重みつき平均値で補間フレーム
を構成する補間値演算手段と、 該第２の領域については、その領域を構成する画素の分
布状態と前記第１の動きベクトルの方向との関係を算出
する遮蔽・出現判定手段と、 該算出された関係により復号対象ブロック上あるいは前
記第１の動きベクトルで定められる参照ブロック上の対
応する領域のどちらか一方を基準領域とし、該基準領域
が属するフレームとは異なるフレームを再探索参照フレ
ームとする基準領域抽出手段と、 該基準領域と該再探索参照フレームの間で動き検出を行
って第２の動きベクトルを求める第２の動きベクトル抽
出手段と、 補間ブロック中の第２の領域に対し、該第２の動きベク
トルを実数倍することによって定まる該再探索参照フレ
ーム上の画素値をコピーして補間フレームを構成する領
域抽出手段とを、 備えることを特徴とするフレーム補間方法。 - 【請求項３】 請求項１記載のフレーム補間方法におけ
る段階をコンピュータに実行させるためのプログラム
を、該コンピュータが読み取り可能な記録媒体に記録し
たことを特徴とするフレーム補間方法を記録した記録媒
体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1928799A JP2000224593A (ja) | 1999-01-28 | 1999-01-28 | フレーム補間方法および装置およびこの方法を記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1928799A JP2000224593A (ja) | 1999-01-28 | 1999-01-28 | フレーム補間方法および装置およびこの方法を記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000224593A true JP2000224593A (ja) | 2000-08-11 |
Family
ID=11995242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1928799A Pending JP2000224593A (ja) | 1999-01-28 | 1999-01-28 | フレーム補間方法および装置およびこの方法を記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000224593A (ja) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005006275A (ja) * | 2002-11-22 | 2005-01-06 | Matsushita Electric Ind Co Ltd | 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム |
| JP2005260928A (ja) * | 2004-02-13 | 2005-09-22 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
| US6975681B2 (en) | 2001-05-08 | 2005-12-13 | Nec Corporation | Method and apparatus for coding moving pictures |
| JP2006515977A (ja) * | 2003-01-29 | 2006-06-08 | ソニー インターナショナル （ヨーロッパ） ゲゼルシャフト ミット ベシュレンクテル ハフツング | ビデオ信号処理システム |
| KR100604394B1 (ko) * | 2003-03-28 | 2006-07-25 | 가부시끼가이샤 도시바 | 프레임 보간방법, 장치 및 이를 이용한 화상표시 시스템 |
| US7098959B2 (en) | 2002-09-10 | 2006-08-29 | Kabushiki Kaisha Toshiba | Frame interpolation and apparatus using frame interpolation |
| KR100759617B1 (ko) | 2002-09-12 | 2007-09-17 | 가부시끼가이샤 도시바 | 모션 벡터 검색 방법, 프레임 삽입 이미지 생성 방법, 및디스플레이 시스템 |
| US7343044B2 (en) | 2004-01-15 | 2008-03-11 | Kabushiki Kaisha Toshiba | Interpolation image generating method and apparatus |
| US7375762B2 (en) | 2003-05-30 | 2008-05-20 | Kabushiki Kaisha Toshiba | Frame interpolation method and apparatus, and image display system |
| US7412114B2 (en) | 2003-03-25 | 2008-08-12 | Kabushiki Kaisha Toshiba | Method of generating an interpolation image, an interpolation image generating apparatus, and an image display system using the same |
| JP2009159357A (ja) * | 2007-12-27 | 2009-07-16 | Sony Corp | 撮像装置 |
| JP2009545222A (ja) * | 2006-07-21 | 2009-12-17 | スネル リミテッド | ピクチャ属性割当て |
| US7899122B2 (en) | 2005-03-31 | 2011-03-01 | Kabushiki Kaisha Toshiba | Method, apparatus and computer program product for generating interpolation frame |
| JP2012010381A (ja) * | 2005-09-27 | 2012-01-12 | Qualcomm Inc | より正確な動き情報を用いたフレーム補間 |
| US8139152B2 (en) | 2004-02-13 | 2012-03-20 | Sony Corporation | Image processing apparatus, image processing method and program |
| US8189670B2 (en) | 2002-11-22 | 2012-05-29 | Panasonic Corporation | Device, method and program for generating interpolation frame |
| JP2013165483A (ja) * | 2012-01-11 | 2013-08-22 | Panasonic Corp | 画像処理装置、撮像装置、およびコンピュータブログラム |
| CN114554248A (zh) * | 2022-04-27 | 2022-05-27 | 杭州微帧信息科技有限公司 | 一种基于神经网络的视频插帧方法 |
-
1999
- 1999-01-28 JP JP1928799A patent/JP2000224593A/ja active Pending
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6975681B2 (en) | 2001-05-08 | 2005-12-13 | Nec Corporation | Method and apparatus for coding moving pictures |
| US7098959B2 (en) | 2002-09-10 | 2006-08-29 | Kabushiki Kaisha Toshiba | Frame interpolation and apparatus using frame interpolation |
| US7561621B2 (en) | 2002-09-12 | 2009-07-14 | Kabushiki Kaisha Toshiba | Method of searching for motion vector, method of generating frame interpolation image and display system |
| KR100759617B1 (ko) | 2002-09-12 | 2007-09-17 | 가부시끼가이샤 도시바 | 모션 벡터 검색 방법, 프레임 삽입 이미지 생성 방법, 및디스플레이 시스템 |
| US8483278B2 (en) | 2002-09-12 | 2013-07-09 | Kabushiki Kaisha Toshiba | Method of searching for motion vector, method of generating frame interpolation image and display system |
| US8189670B2 (en) | 2002-11-22 | 2012-05-29 | Panasonic Corporation | Device, method and program for generating interpolation frame |
| JP2005006275A (ja) * | 2002-11-22 | 2005-01-06 | Matsushita Electric Ind Co Ltd | 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム |
| JP2006515977A (ja) * | 2003-01-29 | 2006-06-08 | ソニー インターナショナル （ヨーロッパ） ゲゼルシャフト ミット ベシュレンクテル ハフツング | ビデオ信号処理システム |
| US7412114B2 (en) | 2003-03-25 | 2008-08-12 | Kabushiki Kaisha Toshiba | Method of generating an interpolation image, an interpolation image generating apparatus, and an image display system using the same |
| KR100604394B1 (ko) * | 2003-03-28 | 2006-07-25 | 가부시끼가이샤 도시바 | 프레임 보간방법, 장치 및 이를 이용한 화상표시 시스템 |
| US7375762B2 (en) | 2003-05-30 | 2008-05-20 | Kabushiki Kaisha Toshiba | Frame interpolation method and apparatus, and image display system |
| US7343044B2 (en) | 2004-01-15 | 2008-03-11 | Kabushiki Kaisha Toshiba | Interpolation image generating method and apparatus |
| US7697769B2 (en) | 2004-01-15 | 2010-04-13 | Kabushiki Kaisha Toshiba | Interpolation image generating method and apparatus |
| JP2005260928A (ja) * | 2004-02-13 | 2005-09-22 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
| US8139152B2 (en) | 2004-02-13 | 2012-03-20 | Sony Corporation | Image processing apparatus, image processing method and program |
| US7899122B2 (en) | 2005-03-31 | 2011-03-01 | Kabushiki Kaisha Toshiba | Method, apparatus and computer program product for generating interpolation frame |
| JP2012010381A (ja) * | 2005-09-27 | 2012-01-12 | Qualcomm Inc | より正確な動き情報を用いたフレーム補間 |
| JP2009545222A (ja) * | 2006-07-21 | 2009-12-17 | スネル リミテッド | ピクチャ属性割当て |
| US8462170B2 (en) | 2006-07-21 | 2013-06-11 | Snell Limited | Picture attribute allocation |
| JP2009159357A (ja) * | 2007-12-27 | 2009-07-16 | Sony Corp | 撮像装置 |
| JP2013165483A (ja) * | 2012-01-11 | 2013-08-22 | Panasonic Corp | 画像処理装置、撮像装置、およびコンピュータブログラム |
| CN114554248A (zh) * | 2022-04-27 | 2022-05-27 | 杭州微帧信息科技有限公司 | 一种基于神经网络的视频插帧方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110809887B (zh) | 用于多参考预测的运动矢量修正的方法和装置 | |
| CA2452632C (en) | Method for sub-pixel value interpolation | |
| KR100422389B1 (ko) | 비디오 프레임 속도를 증가시키기 위한 방법 및 장치 | |
| EP1993292B1 (en) | Dynamic image encoding method and device and program using the same | |
| JP2000224593A (ja) | フレーム補間方法および装置およびこの方法を記録した記録媒体 | |
| KR100657261B1 (ko) | 적응적 움직임 보상 보간 방법 및 장치 | |
| JP2005318620A (ja) | 適応時間予測を用いた動きベクトル検出 | |
| JPWO2005107267A1 (ja) | 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法 | |
| JP2011029863A (ja) | 復号化処理方法 | |
| JP2005318297A (ja) | 動画像符号化・復号方法及び装置 | |
| JP4552261B2 (ja) | ディジタル情報変換装置および方法、並びに画像情報変換装置および方法 | |
| JP2006279917A (ja) | 動画像符号化装置、動画像復号装置及び動画像伝送システム | |
| JPH09182077A (ja) | 画像符号化方法および画像符号化装置 | |
| JP5676717B2 (ja) | 画像の復号化装置及び画像の復号化方法 | |
| JP4552263B2 (ja) | ディジタル信号処理装置および方法、並びにディジタル画像信号処理装置および方法 | |
| JP2019201388A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2888152B2 (ja) | ワーピング動き補償を用いた動画像符号化装置 | |
| JPH07203425A (ja) | 動画像の符号化・復号化装置 | |
| KR102245740B1 (ko) | 깊이 영상에서 신축을 이용한 움직임 추정 방법 및 장치 | |
| JP6311086B1 (ja) | 画像の復号化装置および画像の復号化方法 | |
| JPH10210480A (ja) | 動画像符号化方式 | |
| JP6311085B1 (ja) | 画像の復号化装置および画像の復号化方法 | |
| JP6311084B1 (ja) | 画像の復号化装置および画像の復号化方法 | |
| JP6355870B2 (ja) | 画像の復号化装置および画像の復号化方法 | |
| JP4552264B2 (ja) | エラー修整装置および方法 |