JPH08307873A - ビデオ信号符号化方法 - Google Patents
ビデオ信号符号化方法Info
- Publication number
- JPH08307873A JPH08307873A JP20286595A JP20286595A JPH08307873A JP H08307873 A JPH08307873 A JP H08307873A JP 20286595 A JP20286595 A JP 20286595A JP 20286595 A JP20286595 A JP 20286595A JP H08307873 A JPH08307873 A JP H08307873A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- video signal
- current frame
- block
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 客体の動きに従って適応的に特徴点を選択
して、より効果的にビデオ信号を符号化し得る改善され
たビデオ信号符号化方法を提供する。 【解決手段】 本発明のビデオ信号符号化方法は、現
フレームの各画素に対する動きベクトルを検知し、これ
に基づいて、基準フレームからの画素値を得て、現フレ
ームの各画素の画素値から基準フレームからの画素値を
減算した差分画素値を求め、画素単位で差分画素値と閾
値THと比較して、閾値THより大きい差分画素値を有する
画素からなる１つ以上の領域を選択し、選択された領域
内の画素を、各動きベクトルによって指定される位置へ
シフトして得られた領域を得て、基準フレームからエッ
ジ点を検知し、エッジ点の位置とオーバラップするシフ
トされた領域から１つ以上の処理領域を特定し、基準フ
レーム上に第１及び第２グリッドを形成し、これらに基
づいて、基準フレームの画素を特徴点として選択する。
して、より効果的にビデオ信号を符号化し得る改善され
たビデオ信号符号化方法を提供する。 【解決手段】 本発明のビデオ信号符号化方法は、現
フレームの各画素に対する動きベクトルを検知し、これ
に基づいて、基準フレームからの画素値を得て、現フレ
ームの各画素の画素値から基準フレームからの画素値を
減算した差分画素値を求め、画素単位で差分画素値と閾
値THと比較して、閾値THより大きい差分画素値を有する
画素からなる１つ以上の領域を選択し、選択された領域
内の画素を、各動きベクトルによって指定される位置へ
シフトして得られた領域を得て、基準フレームからエッ
ジ点を検知し、エッジ点の位置とオーバラップするシフ
トされた領域から１つ以上の処理領域を特定し、基準フ
レーム上に第１及び第２グリッドを形成し、これらに基
づいて、基準フレームの画素を特徴点として選択する。
Description
【０００１】
【発明の属する技術分野】本発明は、ビデオ信号を符号
化する方法に関し、とくに、物体の動きに従って適応的
に特徴点を選択することによってビデオ信号を効果的に
符号化し得る方法に関する。
化する方法に関し、とくに、物体の動きに従って適応的
に特徴点を選択することによってビデオ信号を効果的に
符号化し得る方法に関する。
【０００２】
【従来の技術】周知のように、ディジタル化された映像
信号の伝送は、アナログ信号の伝送より良好な画質を維
持することができる。一連の映像フレーム（frames）か
らなる映像信号がディジタル形態で表現される時、とく
に、高精細度テレビ（HDTV）の場合、大量のデータが伝
送されなければならない。しかし、従来の伝送チャンネ
ルの使用可能な周波数帯域は制限されているので、その
大量のディジタルデータを伝送するためには、伝送すべ
きデータを圧縮するか、またはその量を減らす必要があ
る。多様な圧縮技法のうち、確率的符号化技法と時間的
／空間的圧縮技法とを組み合わせた、いわゆるハイブリ
ッド符号化（hybrid coding）技法が最も効率的な圧縮
技法として知られている。
信号の伝送は、アナログ信号の伝送より良好な画質を維
持することができる。一連の映像フレーム（frames）か
らなる映像信号がディジタル形態で表現される時、とく
に、高精細度テレビ（HDTV）の場合、大量のデータが伝
送されなければならない。しかし、従来の伝送チャンネ
ルの使用可能な周波数帯域は制限されているので、その
大量のディジタルデータを伝送するためには、伝送すべ
きデータを圧縮するか、またはその量を減らす必要があ
る。多様な圧縮技法のうち、確率的符号化技法と時間的
／空間的圧縮技法とを組み合わせた、いわゆるハイブリ
ッド符号化（hybrid coding）技法が最も効率的な圧縮
技法として知られている。
【０００３】ほとんどのハイブリッド符号化技法は、動
き補償ＤＰＣＭ（差分パルス符号変調）、２次元ＤＣＴ
（離散的コサイン変換）、ＤＣＴ係数の量子化、及びＶ
ＬＣ（可変長符号化）などの技法を用いている。動き補
償ＤＰＣＭは、現フレームとその１つ前のフレーム（前
フレーム）との間の物体の動きを推定し、推定された物
体の動きから現フレームを予測すると共に、現フレーム
とその予測との間の差を表すエラー信号を生成する方法
である。この方法は、例えばStaffan Ericssonによる、
「Fixed and Adaptive Predictors for Hybrid Predict
ive/TransformCoding」、IEEE Transactions on Commu
nications,COM-33,NO.12,(1985年12月)、またはNinomiy
aとOhtsukaとによる「A Motion Compensated Interfram
e Coding Scheme for Television Pictures」、IEEE T
ransactions on Communications,COM-30,NO.1,(1982年1
月)に記載されている。
き補償ＤＰＣＭ（差分パルス符号変調）、２次元ＤＣＴ
（離散的コサイン変換）、ＤＣＴ係数の量子化、及びＶ
ＬＣ（可変長符号化）などの技法を用いている。動き補
償ＤＰＣＭは、現フレームとその１つ前のフレーム（前
フレーム）との間の物体の動きを推定し、推定された物
体の動きから現フレームを予測すると共に、現フレーム
とその予測との間の差を表すエラー信号を生成する方法
である。この方法は、例えばStaffan Ericssonによる、
「Fixed and Adaptive Predictors for Hybrid Predict
ive/TransformCoding」、IEEE Transactions on Commu
nications,COM-33,NO.12,(1985年12月)、またはNinomiy
aとOhtsukaとによる「A Motion Compensated Interfram
e Coding Scheme for Television Pictures」、IEEE T
ransactions on Communications,COM-30,NO.1,(1982年1
月)に記載されている。
【０００４】映像データ間の空間的冗長度を除去する２
次元ＤＣＴにおいては、例えば、８×８画素のディジタ
ル映像データのブロックを１組の変換係数のデータに変
換する。この技法は、例えばChen及びPrattの“Scene A
daptive Coder”,IEEE Transactions on Communication
s,COM-32,No.3(1984年3月)に開示されている。そのよう
な変換係数のデータを量子化器、ジグザグスキャナ及び
VLCにて処理することによって、伝送されるべきデータ
の量を効果的に圧縮することができる。
次元ＤＣＴにおいては、例えば、８×８画素のディジタ
ル映像データのブロックを１組の変換係数のデータに変
換する。この技法は、例えばChen及びPrattの“Scene A
daptive Coder”,IEEE Transactions on Communication
s,COM-32,No.3(1984年3月)に開示されている。そのよう
な変換係数のデータを量子化器、ジグザグスキャナ及び
VLCにて処理することによって、伝送されるべきデータ
の量を効果的に圧縮することができる。
【０００５】詳述すると、動き補償ＤＰＣＭでは、現フ
レームと前フレームとの間で推定された物体の動きに基
づいて、現フレームのデータを対応する前フレームのデ
ータから予測する。このような推定された動きは、前フ
レームと現フレームとの間の画素の変位を表す２次元動
きベクトルによって表される。
レームと前フレームとの間で推定された物体の動きに基
づいて、現フレームのデータを対応する前フレームのデ
ータから予測する。このような推定された動きは、前フ
レームと現フレームとの間の画素の変位を表す２次元動
きベクトルによって表される。
【０００６】ある物体の画素の変位を推定する方法は、
２つの基本的なタイプに分類される。一方はブロック単
位の動き推定であり、他方は画素単位の動き推定であ
る。
２つの基本的なタイプに分類される。一方はブロック単
位の動き推定であり、他方は画素単位の動き推定であ
る。
【０００７】ブロック単位の推定においては、現フレー
ムの各ブロックは、最も良好な一致が得られるまで、そ
の前フレームにおける対応する各ブロックと比較され
る。かくして、現フレームの全ブロックに対するフレー
ム間変位ベクトル（ブロックがフレーム間でどの位移動
したかを表す）が推定される。
ムの各ブロックは、最も良好な一致が得られるまで、そ
の前フレームにおける対応する各ブロックと比較され
る。かくして、現フレームの全ブロックに対するフレー
ム間変位ベクトル（ブロックがフレーム間でどの位移動
したかを表す）が推定される。
【０００８】しかし、ブロック単位の動き推定に於いて
は、ブロック内における全ての画素が一方向へ移動しな
い場合には、不良な推定が行われ、その結果、全体的な
画質が低下する。
は、ブロック内における全ての画素が一方向へ移動しな
い場合には、不良な推定が行われ、その結果、全体的な
画質が低下する。
【０００９】一方、画素単位の動き推定を用いる場合、
変位は全ての画素に対して求められる。この方法は画素
値をより正確に推定することができると共に、スケール
変更（例えば、ズーミングのような映像面に対して鉛直
な動き）も容易に扱うことができる。しかし、画素単位
の方法では、動きベクトルが全ての画素の各々に対して
決定されるので、全ての動きベクトルデータを受信機に
伝送することは実際には不可能である。
変位は全ての画素に対して求められる。この方法は画素
値をより正確に推定することができると共に、スケール
変更（例えば、ズーミングのような映像面に対して鉛直
な動き）も容易に扱うことができる。しかし、画素単位
の方法では、動きベクトルが全ての画素の各々に対して
決定されるので、全ての動きベクトルデータを受信機に
伝送することは実際には不可能である。
【００１０】画素単位の動き推定の結果生じる伝送デー
タ量が過剰となるという問題を解決するために導入され
た技法の１つが、特徴点に基づく動き推定方法がある。
タ量が過剰となるという問題を解決するために導入され
た技法の１つが、特徴点に基づく動き推定方法がある。
【００１１】特徴点に基づく動き推定法においては、１
組の選択された画素（即ち、特徴点）に対する動きベク
トルが受信機へ伝送される。ここで、特徴点とは物体の
動きを表し得る現フレームまたはその前フレームの画素
として定義され、受信端では、特徴点の動きベクトルか
ら現フレームにおける画素に対する全体の動きベクトル
を復元または推定できる。特徴点に基づく動き推定法を
用いた符号化器においては、本特許出願と出願人を同じ
くする係属中の米国特許出願第０８／３６７，５２０号
に「Method and Apparatus for Encoding a Video Sign
al Using Pixel-by-Pixel Motion Estimation」との名
称で開示されており、複数の特徴点が、現フレームに含
まれる全ての画素から最初に選択される。その後、その
選択された特徴点に対する動きベクトルを通常のブロッ
ク整合法を用いて特定するが、ここで各々の動きベクト
ルは、前フレームにおける１つの特徴点と現フレームに
おける対応する整合点（即ち、最も類似な画素）との間
の空間的変位を表す。更に詳述すると、特徴点の各々に
対する整合点は、現フレーム内の探索領域内で検知され
るが、ここで探索領域は対応する特徴点の位置を取り囲
む予め定められた領域として定義される。しかる後、現
フレームにおける全画素に対する全体の動きベクトル
が、特徴点の動きベクトルに基づいて特定される。
組の選択された画素（即ち、特徴点）に対する動きベク
トルが受信機へ伝送される。ここで、特徴点とは物体の
動きを表し得る現フレームまたはその前フレームの画素
として定義され、受信端では、特徴点の動きベクトルか
ら現フレームにおける画素に対する全体の動きベクトル
を復元または推定できる。特徴点に基づく動き推定法を
用いた符号化器においては、本特許出願と出願人を同じ
くする係属中の米国特許出願第０８／３６７，５２０号
に「Method and Apparatus for Encoding a Video Sign
al Using Pixel-by-Pixel Motion Estimation」との名
称で開示されており、複数の特徴点が、現フレームに含
まれる全ての画素から最初に選択される。その後、その
選択された特徴点に対する動きベクトルを通常のブロッ
ク整合法を用いて特定するが、ここで各々の動きベクト
ルは、前フレームにおける１つの特徴点と現フレームに
おける対応する整合点（即ち、最も類似な画素）との間
の空間的変位を表す。更に詳述すると、特徴点の各々に
対する整合点は、現フレーム内の探索領域内で検知され
るが、ここで探索領域は対応する特徴点の位置を取り囲
む予め定められた領域として定義される。しかる後、現
フレームにおける全画素に対する全体の動きベクトル
が、特徴点の動きベクトルに基づいて特定される。
【００１２】しかしながら、上述した特徴点に基づく動
き推定法においては、特徴点が物体間の多様な動きを考
えずに特定されるため、適正な動き推定または正確な映
像の復元が常に可能でないという欠点があった。
き推定法においては、特徴点が物体間の多様な動きを考
えずに特定されるため、適正な動き推定または正確な映
像の復元が常に可能でないという欠点があった。
【００１３】
【発明が解決しようとする課題】従って、本発明の主な
目的は、物体の動きによって適応的に特徴点を選択する
ことによって、ビデオ信号を効率的に符号化できる改善
されたビデオ信号符号化方法を提供することである。
目的は、物体の動きによって適応的に特徴点を選択する
ことによって、ビデオ信号を効率的に符号化できる改善
されたビデオ信号符号化方法を提供することである。
【００１４】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明によると、特徴点に基づく動き推定法によ
って、現フレーム及び基準フレームを含む複数のフレー
ムを有するディジタルビデオ信号を符号化するビデオ信
号符号化器に用いられる、前記現フレームと前記基準フ
レームとの間の物体の動きに従って特徴点を適応的に選
択するビデオ信号符号化方法が、（ａ）前記現フレーム
と前記基準フレームとの間の現フレームにおける各画素
に対する動きベクトルを検知する過程と、（ｂ）前記現
フレームにおける各画素に対する動きベクトルに基づい
て、基準フレームから画素値を提供する過程と、（ｃ）
前記現フレームの各画素の画素値から前記基準フレーム
から提供された画素値を減算することによって、差分画
素値を与える過程と、（ｄ）画素単位で前記差分画素値
と閾値THと比較して、該閾値THより大きい差分画素値を
有する画素からなる、１つまたはそれ以上の領域を選択
する過程と、（ｅ）前記選択された領域内に含まれた画
素をそれらの各々の動きベクトルによって指定される位
置へシフトすることによって、シフトされた領域を供給
する過程と、（ｆ）前記基準フレームからエッジ点を検
知する過程と、（ｇ）前記エッジ点の位置とオーバラッ
プされるシフトされた領域から１つまたはそれ以上の処
理領域を特定する過程と、（ｈ）前記基準フレーム上に
第１グリッドを形成し、かつ前記処理領域の各々に対応
する第２グリッドを形成する過程であって、該第２グリ
ッドが、前記第１グリッドのグリッド点の一部と、前記
第１グリッドに於いて垂直及び水平方向に隣接する一対
のグリッド点の間の中間点に位置する新たに追加された
グリッド点とによって形成される、該過程と、（ｉ）前
記第１及び第２グリッド及び前記エッジに基づいて、前
記基準フレームにおける複数の画素を特徴点として選択
する過程とを有する。
めに、本発明によると、特徴点に基づく動き推定法によ
って、現フレーム及び基準フレームを含む複数のフレー
ムを有するディジタルビデオ信号を符号化するビデオ信
号符号化器に用いられる、前記現フレームと前記基準フ
レームとの間の物体の動きに従って特徴点を適応的に選
択するビデオ信号符号化方法が、（ａ）前記現フレーム
と前記基準フレームとの間の現フレームにおける各画素
に対する動きベクトルを検知する過程と、（ｂ）前記現
フレームにおける各画素に対する動きベクトルに基づい
て、基準フレームから画素値を提供する過程と、（ｃ）
前記現フレームの各画素の画素値から前記基準フレーム
から提供された画素値を減算することによって、差分画
素値を与える過程と、（ｄ）画素単位で前記差分画素値
と閾値THと比較して、該閾値THより大きい差分画素値を
有する画素からなる、１つまたはそれ以上の領域を選択
する過程と、（ｅ）前記選択された領域内に含まれた画
素をそれらの各々の動きベクトルによって指定される位
置へシフトすることによって、シフトされた領域を供給
する過程と、（ｆ）前記基準フレームからエッジ点を検
知する過程と、（ｇ）前記エッジ点の位置とオーバラッ
プされるシフトされた領域から１つまたはそれ以上の処
理領域を特定する過程と、（ｈ）前記基準フレーム上に
第１グリッドを形成し、かつ前記処理領域の各々に対応
する第２グリッドを形成する過程であって、該第２グリ
ッドが、前記第１グリッドのグリッド点の一部と、前記
第１グリッドに於いて垂直及び水平方向に隣接する一対
のグリッド点の間の中間点に位置する新たに追加された
グリッド点とによって形成される、該過程と、（ｉ）前
記第１及び第２グリッド及び前記エッジに基づいて、前
記基準フレームにおける複数の画素を特徴点として選択
する過程とを有する。
【００１５】
【発明の実施の形態】以下、本発明の好適な実施例につ
いて図面を参照しながらより詳しく説明する。
いて図面を参照しながらより詳しく説明する。
【００１６】図１を参照すると、本発明によるビデオ信
号符号化装置１０のブロック図が示されている。入力デ
ィジタルビデオ信号は、ラインＬ１１及びＬ１０を通じ
て減算器１０２及び現フレーム予測ブロック１５０に接
続されている第１フレームメモリ１００内に、現フレー
ム信号として格納されている。
号符号化装置１０のブロック図が示されている。入力デ
ィジタルビデオ信号は、ラインＬ１１及びＬ１０を通じ
て減算器１０２及び現フレーム予測ブロック１５０に接
続されている第１フレームメモリ１００内に、現フレー
ム信号として格納されている。
【００１７】この第１フレーム予測ブロック１５０にお
いては、第１フレームメモリ１００から取り出されたラ
インＬ１０上の現フレーム信号と、第２フレームメモリ
１２４からラインＬ１２上の再構成された前フレーム信
号または基準フレーム信号とを処理して、画素単位で現
フレームを予測する。その後、予測された現フレーム信
号をラインＬ１６上に、特徴点に対する１セットの動き
ベクトルはラインＬ１７上に、そして物体の散発的かつ
局所的な動きが現れる領域において、詳細な動き補償を
要する、領域の位置を示すグリッド情報をラインＬ１８
上に発生する。現フレーム予測ブロック１５０の詳細
は、以降図２及び図９を参照して説明する。
いては、第１フレームメモリ１００から取り出されたラ
インＬ１０上の現フレーム信号と、第２フレームメモリ
１２４からラインＬ１２上の再構成された前フレーム信
号または基準フレーム信号とを処理して、画素単位で現
フレームを予測する。その後、予測された現フレーム信
号をラインＬ１６上に、特徴点に対する１セットの動き
ベクトルはラインＬ１７上に、そして物体の散発的かつ
局所的な動きが現れる領域において、詳細な動き補償を
要する、領域の位置を示すグリッド情報をラインＬ１８
上に発生する。現フレーム予測ブロック１５０の詳細
は、以降図２及び図９を参照して説明する。
【００１８】減算器１０２においては、ラインＬ１６上
の予測された現フレーム信号をラインＬ１１上の現フレ
ーム信号から減算して、その結果のデータ、即ち、現フ
レームと予測された現フレームとの間の差分画素値を表
すエラー信号が映像信号符号化器１０５へ入力される。
ここで、エラー信号は例えば、ＤＣＴ及び公知の量子化
法のうちのいずれかを用いて複数の量子化された変換係
数のセットに符号化される。
の予測された現フレーム信号をラインＬ１１上の現フレ
ーム信号から減算して、その結果のデータ、即ち、現フ
レームと予測された現フレームとの間の差分画素値を表
すエラー信号が映像信号符号化器１０５へ入力される。
ここで、エラー信号は例えば、ＤＣＴ及び公知の量子化
法のうちのいずれかを用いて複数の量子化された変換係
数のセットに符号化される。
【００１９】続いて、その量子化された変換係数は、エ
ントロピー符号化器１０７及び映像信号復号化器１１３
へ伝送される。エントロピー符号化器１０７において、
映像信号符号化器１０５からの量子化された変換係数、
ラインＬ１７上の動きベクトル及びラインＬ１８上のグ
リッド情報は、例えば可変長さ符号化法を用いてそれぞ
れ符号化されると共に、バッファ１０９を通じて一定の
伝送レートで伝送器（図示せず）へ送られて伝送され
る。
ントロピー符号化器１０７及び映像信号復号化器１１３
へ伝送される。エントロピー符号化器１０７において、
映像信号符号化器１０５からの量子化された変換係数、
ラインＬ１７上の動きベクトル及びラインＬ１８上のグ
リッド情報は、例えば可変長さ符号化法を用いてそれぞ
れ符号化されると共に、バッファ１０９を通じて一定の
伝送レートで伝送器（図示せず）へ送られて伝送され
る。
【００２０】一方、映像信号復号化器１１３は、映像信
号符号化器１０５からの量子化された変換係数のセット
を、逆量子化及び逆離散的コサイン変換技法を用いて、
再構成されたエラー信号に再度変換する。
号符号化器１０５からの量子化された変換係数のセット
を、逆量子化及び逆離散的コサイン変換技法を用いて、
再構成されたエラー信号に再度変換する。
【００２１】映像信号復号化器１１３からの再構成され
たエラー信号、及び現フレーム予測ブロック１５０から
のラインＬ１６上の予測された現フレーム信号が、加算
器１１５にて組み合わせられることによって、次のフレ
ームに対する基準フレームとして、第２フレームメモリ
１２４に書き込まれるべき再構成された現フレーム信号
が供給される。符号化器において、受信器における復号
化器の動作をモニターして、復号化器における再構成さ
れた現フレーム信号と符号化器における現フレーム信号
との間に、ずれが生じないようにエラー信号を再構成す
ることが必要である。
たエラー信号、及び現フレーム予測ブロック１５０から
のラインＬ１６上の予測された現フレーム信号が、加算
器１１５にて組み合わせられることによって、次のフレ
ームに対する基準フレームとして、第２フレームメモリ
１２４に書き込まれるべき再構成された現フレーム信号
が供給される。符号化器において、受信器における復号
化器の動作をモニターして、復号化器における再構成さ
れた現フレーム信号と符号化器における現フレーム信号
との間に、ずれが生じないようにエラー信号を再構成す
ることが必要である。
【００２２】図２を参照すると、図１に示した現フレー
ム予測ブロック１５０の動作が詳細に記述されている。
第２フレームメモリ１２４からのラインＬ１２上の基準
フレーム信号は特徴点選択ブロック２１０、特徴点動き
ベクトル検知ブロック２１２及び動き補償ブロック２１
６へ入力されることが示されている。
ム予測ブロック１５０の動作が詳細に記述されている。
第２フレームメモリ１２４からのラインＬ１２上の基準
フレーム信号は特徴点選択ブロック２１０、特徴点動き
ベクトル検知ブロック２１２及び動き補償ブロック２１
６へ入力されることが示されている。
【００２３】特徴点選択ブロック２１０においては、基
準フレーム内に含まれた画素から複数の特徴点が選択さ
れる。それらの特徴点は、フレーム内の物体の動きを代
表できる画素として定義される。
準フレーム内に含まれた画素から複数の特徴点が選択さ
れる。それらの特徴点は、フレーム内の物体の動きを代
表できる画素として定義される。
【００２４】図３を参照すると、図２に示した特徴点選
択ブロック２１０の詳細なブロック図が示されている。
図１に示した第１フレームメモリ１００からのラインＬ
１０上の現フレーム信号は、ブロック単位の動きベクト
ル推定ブロック３１０及び加算器３１２へ入力され、一
方、図１の第２フレームメモリ１２４からのラインＬ１
２上の基準フレーム信号は、ブロック単位の動きベクト
ル推定ブロック３１０、ブロック単位の動き補償ブロッ
ク３１１及びエッジ検知ブロック３１５へ入力される。
択ブロック２１０の詳細なブロック図が示されている。
図１に示した第１フレームメモリ１００からのラインＬ
１０上の現フレーム信号は、ブロック単位の動きベクト
ル推定ブロック３１０及び加算器３１２へ入力され、一
方、図１の第２フレームメモリ１２４からのラインＬ１
２上の基準フレーム信号は、ブロック単位の動きベクト
ル推定ブロック３１０、ブロック単位の動き補償ブロッ
ク３１１及びエッジ検知ブロック３１５へ入力される。
【００２５】ブロック単位の動きベクトル推定ブロック
３１０は、公知のブロック整合技法を用いて、現フレー
ムに対する各探索ブロックと基準フレームにおけるそれ
と最も類似なブロックとの間の空間的変位を表す動きベ
クトルを検知する。かくして、ラインＬ３１を通じてブ
ロック単位の動き補償ブロック３１１、及び領域選択ブ
ロック３１６へ提供する。この際、探索ブロックに対す
る動きベクトルは、その探索ブロック内に含まれている
画素の動きベクトルとして定まる。ブロック単位の動き
補償ブロック３１１は、現フレームにおける全ての画素
に対する動きベクトルを用いて、図１に示した図２フレ
ームメモリ１２４から画素値を取り出すことによって、
これを予測信号として減算器３１２へ提供する。
３１０は、公知のブロック整合技法を用いて、現フレー
ムに対する各探索ブロックと基準フレームにおけるそれ
と最も類似なブロックとの間の空間的変位を表す動きベ
クトルを検知する。かくして、ラインＬ３１を通じてブ
ロック単位の動き補償ブロック３１１、及び領域選択ブ
ロック３１６へ提供する。この際、探索ブロックに対す
る動きベクトルは、その探索ブロック内に含まれている
画素の動きベクトルとして定まる。ブロック単位の動き
補償ブロック３１１は、現フレームにおける全ての画素
に対する動きベクトルを用いて、図１に示した図２フレ
ームメモリ１２４から画素値を取り出すことによって、
これを予測信号として減算器３１２へ提供する。
【００２６】減算器３１２において、その予測信号は現
フレーム信号から減算されて、その結果のデータ、即
ち、現フレーム信号と予測信号との間の差分画素値を表
す差分信号が比較ブロック３１３へ供給される。この比
較ブロック３１３は、差分信号に含まれた差分画素値の
各々と閾値THとを画素単位で比較する。閾値THは予め定
められるか、または図１に示したバッファ１０９に格納
されたデータ量（即ち、バッファの占有度）に従って適
応的に決定される。もし差分画素値が閾値THより小さい
場合、差分画素値は転換値０にセットされ、そうでない
場合は、転換値１にセットされる。これらの転換値は第
３フレームメモリ３１４へ提供される。図４において、
第３フレームメモリ３１４内に格納された転換値により
形成されたエラーフレーム４１が例示的に示されてい
る。エラーフレーム４１には、互いに異なる２つのゾー
ンがあるが、一方は転換値１を有する領域（例えば、
Ａ、Ｂ及びＣ）を、他方は転換値０を有する領域を表
す。
フレーム信号から減算されて、その結果のデータ、即
ち、現フレーム信号と予測信号との間の差分画素値を表
す差分信号が比較ブロック３１３へ供給される。この比
較ブロック３１３は、差分信号に含まれた差分画素値の
各々と閾値THとを画素単位で比較する。閾値THは予め定
められるか、または図１に示したバッファ１０９に格納
されたデータ量（即ち、バッファの占有度）に従って適
応的に決定される。もし差分画素値が閾値THより小さい
場合、差分画素値は転換値０にセットされ、そうでない
場合は、転換値１にセットされる。これらの転換値は第
３フレームメモリ３１４へ提供される。図４において、
第３フレームメモリ３１４内に格納された転換値により
形成されたエラーフレーム４１が例示的に示されてい
る。エラーフレーム４１には、互いに異なる２つのゾー
ンがあるが、一方は転換値１を有する領域（例えば、
Ａ、Ｂ及びＣ）を、他方は転換値０を有する領域を表
す。
【００２７】図３を再度参照すると、エッジ検知ブロッ
ク３１５は当技術分野によく知られているように、通常
のグラディエントオペレーター（gradient operator）
（例えば、ソベルオペレーター（sobel operator）を用
いて、基準フレーム内に存在するエッジ点を検知する。
例えば、画素位置（ｘ，ｙ）において方向グラディエン
ト（即ち、水平及び垂直グラディエントＧｘ（ｘ，ｙ）
及びＧｙ（ｘ，ｙ））は、水平及び垂直ソベルオペレー
ターを用いて計算されて、画素位置（ｘ，ｙ）における
グラディエントの大きさｇ（ｘ，ｙ）は、次式のように
得られる。
ク３１５は当技術分野によく知られているように、通常
のグラディエントオペレーター（gradient operator）
（例えば、ソベルオペレーター（sobel operator）を用
いて、基準フレーム内に存在するエッジ点を検知する。
例えば、画素位置（ｘ，ｙ）において方向グラディエン
ト（即ち、水平及び垂直グラディエントＧｘ（ｘ，ｙ）
及びＧｙ（ｘ，ｙ））は、水平及び垂直ソベルオペレー
ターを用いて計算されて、画素位置（ｘ，ｙ）における
グラディエントの大きさｇ（ｘ，ｙ）は、次式のように
得られる。
【００２８】g(x,y)=｜Gx(x,y)｜+｜Gy(x,y)｜
【００２９】続いて、基準フレームにおけるエッジ点
は、基準フレームの各画素に対するグラディエントの大
きさｇ（ｘ，ｙ）と予め定められた閾値Teとを比較する
ことによって検知される。即ち、ｇ（ｘ，ｙ）がTeより
大きい場合、画素位置（ｘ，ｙ）はエッジ点になる。
は、基準フレームの各画素に対するグラディエントの大
きさｇ（ｘ，ｙ）と予め定められた閾値Teとを比較する
ことによって検知される。即ち、ｇ（ｘ，ｙ）がTeより
大きい場合、画素位置（ｘ，ｙ）はエッジ点になる。
【００３０】しかる後、エッジ点の位置を表すエッジ信
号ｅｇ（ｘ，ｙ）は、領域選択ブロック３１６へ提供さ
れ、各エッジ点に対するグラディエントの大きさｇ
（ｘ，ｙ）は、エッジ信号ｅｇ（ｘ，ｙ）と共に特徴点
定義ブロック３１８へ提供される。
号ｅｇ（ｘ，ｙ）は、領域選択ブロック３１６へ提供さ
れ、各エッジ点に対するグラディエントの大きさｇ
（ｘ，ｙ）は、エッジ信号ｅｇ（ｘ，ｙ）と共に特徴点
定義ブロック３１８へ提供される。
【００３１】ブロック単位の動きベクトル推定ブロック
３１０からの動きベクトルに応じて、領域選択ブロック
３１６は転換値１を有する各画素（即ち、図４に示した
エラーフレーム４１内の領域Ａ、Ｂ及びＣに対応する画
素）をそれらの動きベクトルによって指定された位置に
移動させることによって、移動されたエラーフレーム４
３を生成する。各々の領域Ａ、Ｂ及びＣは、各々領域
Ａ′、Ｂ′及びＣ′へシフトされる。続いて、図５に示
したように、処理領域は転換値１を有する領域Ａ′、
Ｂ′及びＣ′の位置と、エッジ検知ブロック３１５から
与えられるエッジ点の位置との間の位置関係データに基
づいて選択される。例えば、エッジ点の一部とオーバラ
ップする領域Ａ′及びＢ′が領域選択ブロック３１６に
より処理領域として特定される。領域Ｃ′は、基準フレ
ーム上の何れのエッジ点ともオーバラップしないので、
処理領域として選択されない。処理領域の位置を表す処
理領域情報は、グリッド点形成ブロック３１７へ与えら
れる。
３１０からの動きベクトルに応じて、領域選択ブロック
３１６は転換値１を有する各画素（即ち、図４に示した
エラーフレーム４１内の領域Ａ、Ｂ及びＣに対応する画
素）をそれらの動きベクトルによって指定された位置に
移動させることによって、移動されたエラーフレーム４
３を生成する。各々の領域Ａ、Ｂ及びＣは、各々領域
Ａ′、Ｂ′及びＣ′へシフトされる。続いて、図５に示
したように、処理領域は転換値１を有する領域Ａ′、
Ｂ′及びＣ′の位置と、エッジ検知ブロック３１５から
与えられるエッジ点の位置との間の位置関係データに基
づいて選択される。例えば、エッジ点の一部とオーバラ
ップする領域Ａ′及びＢ′が領域選択ブロック３１６に
より処理領域として特定される。領域Ｃ′は、基準フレ
ーム上の何れのエッジ点ともオーバラップしないので、
処理領域として選択されない。処理領域の位置を表す処
理領域情報は、グリッド点形成ブロック３１７へ与えら
れる。
【００３２】更に、図３を参照すると、グリッド点形成
ブロック３１７は、基準フレーム上に第１グリッドを形
成し、そして処理領域の情報に応じて各々の処理領域に
第２グリッドを形成するが、ここで、第２グリッドのグ
リッド点の密度は第１グリッドの密度より大きくなけれ
ばならない。好適な実施例において、基準フレーム上の
全体に六角グリッドが形成され、各々の処理領域上には
三角グリッドが形成されるが、ここで三角グリッドは、
処理領域を適正にカバーし得る最小面積を有し、六角グ
リッドのグリッド点の一部と、六角グリッドの水平また
は垂直方向へ隣接する一対の六角グリッド点の中央に、
新たに加えられる付加グリッド点とにより形成される。
例えば図６に示されたように、処理領域Ａ′及びＢ′に
細かいグリッド（即ち、三角グリッド６１及び６３）が
形成される。そして、各々の三角グリッドに対する位置
データ（例えば、各三角グリッドの左上の画素位置及び
大きさ）を表すグリッド情報は、その後、ラインＬ１８
を通じてエントロピー符号化器１０７及び特徴点定義ブ
ロック３１８へ与えられる。特徴点定義ブロック３１８
において、複数の特徴点が基準フレーム内に含まれた画
素から選択される。
ブロック３１７は、基準フレーム上に第１グリッドを形
成し、そして処理領域の情報に応じて各々の処理領域に
第２グリッドを形成するが、ここで、第２グリッドのグ
リッド点の密度は第１グリッドの密度より大きくなけれ
ばならない。好適な実施例において、基準フレーム上の
全体に六角グリッドが形成され、各々の処理領域上には
三角グリッドが形成されるが、ここで三角グリッドは、
処理領域を適正にカバーし得る最小面積を有し、六角グ
リッドのグリッド点の一部と、六角グリッドの水平また
は垂直方向へ隣接する一対の六角グリッド点の中央に、
新たに加えられる付加グリッド点とにより形成される。
例えば図６に示されたように、処理領域Ａ′及びＢ′に
細かいグリッド（即ち、三角グリッド６１及び６３）が
形成される。そして、各々の三角グリッドに対する位置
データ（例えば、各三角グリッドの左上の画素位置及び
大きさ）を表すグリッド情報は、その後、ラインＬ１８
を通じてエントロピー符号化器１０７及び特徴点定義ブ
ロック３１８へ与えられる。特徴点定義ブロック３１８
において、複数の特徴点が基準フレーム内に含まれた画
素から選択される。
【００３３】図７を参照すると、本発明よる特徴点定義
ブロック３１８で行われる、特徴点選択過程を説明する
ための図解がなされている。グリッド点形成ブロック３
１７からのグリッド情報に応答して、各々のグリッド点
（例えば、Ｇ１乃至Ｇ４）に対して大きさが最大となる
重複しない円形探索領域（例えば、ＳＲ１乃至ＳＲ４）
を設定する。しかる後、エッジ検出ブロック３１５から
のエッジ点の位置を表すエッジ信号及びエッジ点のグラ
ディエントの大きさに基づいて、その中央にエッジ点を
有する、例えば５×５画素のブロックを、探索領域とオ
ーバラップする各エッジ点（例えば、Ｅ１乃至Ｅ９）に
対して設定する。その後、各ブロック内に含まれる画素
のグラディエントの大きさが加算されて、得られた加算
値を各ブロックの中央に位置するエッジ点に対するエッ
ジ値として定められ、探索領域において最大エッジ値を
有するエッジ点がその探索領域の特徴点として選択され
る。そして、最大エッジ値を有するエッジ点が１つまた
はそれ以上存在する場合、グリッド点により近接してい
るエッジ点が特徴点として選択される。また、探索領域
内にエッジ点が存在しない場合（例えば、ＳＲ１または
ＳＲ３）には、グリッド点（例えば、Ｇ１またはＧ３）
自体が特徴点として選択される。
ブロック３１８で行われる、特徴点選択過程を説明する
ための図解がなされている。グリッド点形成ブロック３
１７からのグリッド情報に応答して、各々のグリッド点
（例えば、Ｇ１乃至Ｇ４）に対して大きさが最大となる
重複しない円形探索領域（例えば、ＳＲ１乃至ＳＲ４）
を設定する。しかる後、エッジ検出ブロック３１５から
のエッジ点の位置を表すエッジ信号及びエッジ点のグラ
ディエントの大きさに基づいて、その中央にエッジ点を
有する、例えば５×５画素のブロックを、探索領域とオ
ーバラップする各エッジ点（例えば、Ｅ１乃至Ｅ９）に
対して設定する。その後、各ブロック内に含まれる画素
のグラディエントの大きさが加算されて、得られた加算
値を各ブロックの中央に位置するエッジ点に対するエッ
ジ値として定められ、探索領域において最大エッジ値を
有するエッジ点がその探索領域の特徴点として選択され
る。そして、最大エッジ値を有するエッジ点が１つまた
はそれ以上存在する場合、グリッド点により近接してい
るエッジ点が特徴点として選択される。また、探索領域
内にエッジ点が存在しない場合（例えば、ＳＲ１または
ＳＲ３）には、グリッド点（例えば、Ｇ１またはＧ３）
自体が特徴点として選択される。
【００３４】図２及び図３を再度参照すると、特徴点定
義ブロック３１８からの選択された特徴点の位置を表す
特徴点情報が、特徴点動きベクトル検知ブロック２１２
及び現フレーム動きベクトル検知ブロック２１４へ入力
される。ラインＬ１０上の現フレーム信号及びラインＬ
１２上の基準フレーム信号は、共に特徴点動きベクトル
検知ブロック２１２へ提供される。
義ブロック３１８からの選択された特徴点の位置を表す
特徴点情報が、特徴点動きベクトル検知ブロック２１２
及び現フレーム動きベクトル検知ブロック２１４へ入力
される。ラインＬ１０上の現フレーム信号及びラインＬ
１２上の基準フレーム信号は、共に特徴点動きベクトル
検知ブロック２１２へ提供される。
【００３５】特徴点動きベクトル検知ブロック２１２に
おいては、選択された特徴点に対する第１セットの動き
ベクトルが検知される。第１セットの動きベクトルの各
々は、基準フレームにおける特徴点と、現フレームにお
けるそれに最も類似した画素との間の空間的変位を表
す。全ての特徴点に対する動きベクトルを検知した後、
第１セットの動きベクトルは、ラインＬ１７を通じて現
フレーム動きベクトル検知ブロック２１４及びエントロ
ピー符号化器１０７（図１）へ提供される。
おいては、選択された特徴点に対する第１セットの動き
ベクトルが検知される。第１セットの動きベクトルの各
々は、基準フレームにおける特徴点と、現フレームにお
けるそれに最も類似した画素との間の空間的変位を表
す。全ての特徴点に対する動きベクトルを検知した後、
第１セットの動きベクトルは、ラインＬ１７を通じて現
フレーム動きベクトル検知ブロック２１４及びエントロ
ピー符号化器１０７（図１）へ提供される。
【００３６】現フレーム動きベクトル検知ブロック２１
４においては、特徴点選択ブロック２１０からの特徴点
情報と第１セットの動きベクトルとを用いて、現フレー
ムにおける全ての画素に対する第２セットの動きベクト
ルが特定される。この第２セットの動きベクトルを特定
するために、まず、基準フレーム上の特徴点から第１セ
ットの動きベクトルの分だけシフトされた現フレーム上
の画素点を表す、「準特徴点」に対する１セットの動き
ベクトルが特定される。準特徴点に対する動きベクトル
の大きさは、対応する特徴点の動きベクトルと同一であ
るが、これらの２つのベクトルの方向は互いに反対であ
る。全ての準特徴点に対する動きベクトルを決定した
後、現フレームに残っている「非準特徴点」に対する動
きベクトルが、下記のように特定される。
４においては、特徴点選択ブロック２１０からの特徴点
情報と第１セットの動きベクトルとを用いて、現フレー
ムにおける全ての画素に対する第２セットの動きベクト
ルが特定される。この第２セットの動きベクトルを特定
するために、まず、基準フレーム上の特徴点から第１セ
ットの動きベクトルの分だけシフトされた現フレーム上
の画素点を表す、「準特徴点」に対する１セットの動き
ベクトルが特定される。準特徴点に対する動きベクトル
の大きさは、対応する特徴点の動きベクトルと同一であ
るが、これらの２つのベクトルの方向は互いに反対であ
る。全ての準特徴点に対する動きベクトルを決定した
後、現フレームに残っている「非準特徴点」に対する動
きベクトルが、下記のように特定される。
【００３７】最初に、準特徴点を互いに連結するライン
セグメントにより、重複しない多角形、例えば複数の三
角形が画定される。しかる後、各々の多角形を形成する
準特徴点とそれらに対応する特徴点との間の位置関係に
基づいて、現フレーム上の各々の多角形に含まれる各画
素に対する基準フレーム上の予測位置が決定される。そ
の後、現フレームの各多角形内に含まれた各画素に対す
る動きベクトルが、各画素の位置とその予測位置との間
の変位から決定される。一方、特定された第２セットの
動きベクトルは動き補償ブロック２１６へ与えられて、
画素単位で現フレームを予測する。このような手法は、
本特許出願と出願人を同じくする係属中の米国特許出願
第０８／４３４，８０８号の「METHOD AND APPARATUS F
OR ENCODING/DECOING A VIDEO SIGNAL」との表題で、本
出願に引用例として加えられているものに記載されてい
る。
セグメントにより、重複しない多角形、例えば複数の三
角形が画定される。しかる後、各々の多角形を形成する
準特徴点とそれらに対応する特徴点との間の位置関係に
基づいて、現フレーム上の各々の多角形に含まれる各画
素に対する基準フレーム上の予測位置が決定される。そ
の後、現フレームの各多角形内に含まれた各画素に対す
る動きベクトルが、各画素の位置とその予測位置との間
の変位から決定される。一方、特定された第２セットの
動きベクトルは動き補償ブロック２１６へ与えられて、
画素単位で現フレームを予測する。このような手法は、
本特許出願と出願人を同じくする係属中の米国特許出願
第０８／４３４，８０８号の「METHOD AND APPARATUS F
OR ENCODING/DECOING A VIDEO SIGNAL」との表題で、本
出願に引用例として加えられているものに記載されてい
る。
【００３８】非準特徴点に対する動きベクトルを特定す
るビデオ信号符号化装置の他の例は、本特許出願と出願
人を同じくする、係属中の米国出願第０８／３６７，５
２０号の「METHOD AND APPARATUS FOR ENCODING A VIDE
O SIGNAL USING PIXEL-BY-PIXEL MOTION PREDICTION」
との表題で、本願にやはり引用例として加えられている
ものに記載されている。この引用例において、ビデオ信
号符号化装置は、非準特徴点に対する動きベクトルが、
動きベクトルを求めようとする１つの画素と最も近接し
ている準特徴点を含む予め定められた拡張された半径と
の和によって定義された、半径の円境界内に位置する準
特徴点の動きベクトルを平均することによって、特定さ
れる。
るビデオ信号符号化装置の他の例は、本特許出願と出願
人を同じくする、係属中の米国出願第０８／３６７，５
２０号の「METHOD AND APPARATUS FOR ENCODING A VIDE
O SIGNAL USING PIXEL-BY-PIXEL MOTION PREDICTION」
との表題で、本願にやはり引用例として加えられている
ものに記載されている。この引用例において、ビデオ信
号符号化装置は、非準特徴点に対する動きベクトルが、
動きベクトルを求めようとする１つの画素と最も近接し
ている準特徴点を含む予め定められた拡張された半径と
の和によって定義された、半径の円境界内に位置する準
特徴点の動きベクトルを平均することによって、特定さ
れる。
【００３９】動き補償ブロック２１６は、各々の第２セ
ットの動きベクトルを用いて、第２フレームメモリ１２
４からの予測された現フレームにおける各画素値を取り
出すことによって、予測された現フレーム信号をライン
Ｌ１６を通じて減算器１０２及び加算器１１５（図１）
へ供給する。
ットの動きベクトルを用いて、第２フレームメモリ１２
４からの予測された現フレームにおける各画素値を取り
出すことによって、予測された現フレーム信号をライン
Ｌ１６を通じて減算器１０２及び加算器１１５（図１）
へ供給する。
【００４０】図８を参照すると、図１に示した本発明に
よるビデオ信号符号化装置１０に対応するビデオ信号復
号化装置８００が示されている。ビデオ信号符号化装置
１０から伝送された符号化されたビデオ信号は、バッフ
ァ８１０を通じてエントロピー復号化器８２０へ供給さ
れる。次いで、エントロピー復号化器８２０はその符号
化されたビデオ信号を復号化して、特徴点の動きベクト
ル及びグリッド情報を現フレーム予測ブロック８５０
へ、そして量子化された変換係数を映像信号復号化器８
３０へ供給する。この映像信号復号化器８３０は、ビデ
オ信号符号化装置１０における映像信号復号化器１１３
と同一の機能を行うことによって、再構成されたエラー
信号を加算器８４０へ供給する。現フレーム予測ブロッ
ク８５０は、符号化器１０からの特徴点の動きベクトル
がエントロピー復号化器８２０からブロック８５０に供
給されるため、図２に示された特徴点動きベクトル検知
ブロック２１２のような動き推定器を含まないという点
を除いては、図２に示された現フレーム予測ブロック１
５０と同一の構成を有する。現フレーム予測ブロック８
５０は、現フレーム予測ブロック１５０と関連して説明
された機能と同一の機能を有する特徴点選択ブロック、
現フレーム動きベクトル検知ブロック及び動き補償ブロ
ックを含む。
よるビデオ信号符号化装置１０に対応するビデオ信号復
号化装置８００が示されている。ビデオ信号符号化装置
１０から伝送された符号化されたビデオ信号は、バッフ
ァ８１０を通じてエントロピー復号化器８２０へ供給さ
れる。次いで、エントロピー復号化器８２０はその符号
化されたビデオ信号を復号化して、特徴点の動きベクト
ル及びグリッド情報を現フレーム予測ブロック８５０
へ、そして量子化された変換係数を映像信号復号化器８
３０へ供給する。この映像信号復号化器８３０は、ビデ
オ信号符号化装置１０における映像信号復号化器１１３
と同一の機能を行うことによって、再構成されたエラー
信号を加算器８４０へ供給する。現フレーム予測ブロッ
ク８５０は、符号化器１０からの特徴点の動きベクトル
がエントロピー復号化器８２０からブロック８５０に供
給されるため、図２に示された特徴点動きベクトル検知
ブロック２１２のような動き推定器を含まないという点
を除いては、図２に示された現フレーム予測ブロック１
５０と同一の構成を有する。現フレーム予測ブロック８
５０は、現フレーム予測ブロック１５０と関連して説明
された機能と同一の機能を有する特徴点選択ブロック、
現フレーム動きベクトル検知ブロック及び動き補償ブロ
ックを含む。
【００４１】より詳しく述べると、図９に示したよう
に、現フレーム予測ブロック８５０の詳細が示されてい
るが、ここでエントロピー復号化器８２０からのグリッ
ド情報及びフレームメモリ８６０からの基準フレーム信
号は、特徴点選択ブロック９５２へ入力され複数の特徴
点が選択される。ここで、特徴点選択ブロック９５２
は、符号化器の特徴点選択ブロック２１０を構成するの
と同一のエッジ検知ブロック及び特徴点定義ブロックを
含み、図２に示された特徴点選択ブロック２１０で選択
されたのと同一の複数の特徴点を選択する。特徴点選択
ブロック９５２からの選択された特徴点の位置を表す特
徴点情報、及びエントロピー復号化器８２０からの特徴
点動きベクトルに応答して、現フレーム動きベクトル検
知ブロック９５４は、図２に示した現フレーム動きベク
トル検知ブロック２１４で実施されたのと同一の方法で
現フレームにおける全ての画素に対する動きベクトルを
特定する。動き補償ブロック９５６は、図２に示した動
き補償ブロック２１６と同一の方法で予測された現フレ
ーム信号を供給する。
に、現フレーム予測ブロック８５０の詳細が示されてい
るが、ここでエントロピー復号化器８２０からのグリッ
ド情報及びフレームメモリ８６０からの基準フレーム信
号は、特徴点選択ブロック９５２へ入力され複数の特徴
点が選択される。ここで、特徴点選択ブロック９５２
は、符号化器の特徴点選択ブロック２１０を構成するの
と同一のエッジ検知ブロック及び特徴点定義ブロックを
含み、図２に示された特徴点選択ブロック２１０で選択
されたのと同一の複数の特徴点を選択する。特徴点選択
ブロック９５２からの選択された特徴点の位置を表す特
徴点情報、及びエントロピー復号化器８２０からの特徴
点動きベクトルに応答して、現フレーム動きベクトル検
知ブロック９５４は、図２に示した現フレーム動きベク
トル検知ブロック２１４で実施されたのと同一の方法で
現フレームにおける全ての画素に対する動きベクトルを
特定する。動き補償ブロック９５６は、図２に示した動
き補償ブロック２１６と同一の方法で予測された現フレ
ーム信号を供給する。
【００４２】図８を再度参照すると、現フレーム予測ブ
ロック８５０からの予測された現フレーム信号と、映像
信号復号化器８３０からの再構成されたエラー信号とが
加算器８４０で共に加算されて、再構成された現フレー
ム信号は表示装置（図示せず）及びフレームメモリ部８
６０へ与えられる。再構成された現フレーム信号は復号
化されるべき次フレームに対する基準フレームとして、
フレームメモリ８６０に格納される。
ロック８５０からの予測された現フレーム信号と、映像
信号復号化器８３０からの再構成されたエラー信号とが
加算器８４０で共に加算されて、再構成された現フレー
ム信号は表示装置（図示せず）及びフレームメモリ部８
６０へ与えられる。再構成された現フレーム信号は復号
化されるべき次フレームに対する基準フレームとして、
フレームメモリ８６０に格納される。
【００４３】上記において、本発明の特定の実施例につ
いて説明したが、本発明記載の請求範囲を逸脱すること
なく、当業者は種々の改変をなし得るであろう。
いて説明したが、本発明記載の請求範囲を逸脱すること
なく、当業者は種々の改変をなし得るであろう。
【００４４】
【発明の効果】従って、本発明によれば、上記のような
方法及び装置において、映像の動きに従って適応的に特
徴点を選択することによって、より効果的にビデオ信号
を符号化し、より正確にビデオ信号を復元することがで
きる。
方法及び装置において、映像の動きに従って適応的に特
徴点を選択することによって、より効果的にビデオ信号
を符号化し、より正確にビデオ信号を復元することがで
きる。
【図１】本発明によるビデオ信号符号化装置を示したブ
ロック図である。
ロック図である。
【図２】図１の現フレーム予測ブロックの詳細なブロッ
ク図である。
ク図である。
【図３】図２の特徴点選択ブロックの詳細なブロック図
である。
である。
【図４】動きベクトルに基づく現フレーム信号の移動を
示した図である。
示した図である。
【図５】基準フレームにおけるエッジと比較的大きい差
分画素値を有する領域とのオーバラップを示した図であ
る。
分画素値を有する領域とのオーバラップを示した図であ
る。
【図６】選択された領域における適応的なグリッド形成
過程を示した図である。
過程を示した図である。
【図７】本発明による特徴点選択過程を示した例示的な
図である。
図である。
【図８】本発明によるビデオ信号復号化装置のブロック
図である。
図である。
【図９】図８に示された現フレーム予測ブロックに対す
る詳細なブロック図である。
る詳細なブロック図である。
１００ 第１フレームメモリ １０５ 映像信号符号化器 １０７ エントロピー符号化器 １１３ 映像信号復号化器 １２４ 第２フレームメモリ １５０ 現フレーム予測ブロック ２１０ 特徴点選択ブロック ２１２ 特徴点動きベクトル検知ブロック ２１４ 現フレーム動きベクトル検知ブロック ２１６ 動き補償ブロック ３１０ ブロック単位の動き推定ブロック ３１１ ブロック単位の動き補償ブロック ３１３ 比較ブロック ３１４ 第３フレームメモリ ３１５ エッジ検知ブロック ３１６ 領域選択ブロック ３１７ グリッド点形成ブロック ３１８ 特徴点定義ブロック ８２０ エントロピー復号化器 ８３０ 映像信号復号化器 ８５０ 現フレーム予測ブロック ８６０ フレームメモリ ９５２ 特徴点選択ブロック ９５４ 現フレーム動きベクトル検知ブロック ９５６ 動き補償ブロック
Claims (4)
- 【請求項１】 特徴点に基づく動き推定法によって、
現フレーム及び基準フレームを含む複数のフレームを有
するディジタルビデオ信号を符号化するビデオ信号符号
化器に用いられる、前記現フレームと前記基準フレーム
との間の物体の動きに従って特徴点を適応的に選択する
ビデオ信号符号化方法であって、 （ａ）前記現フレームと前記基準フレームとの間の現フ
レームにおける各画素に対する動きベクトルを検知する
過程と、 （ｂ）前記現フレームにおける各画素に対する動きベク
トルに基づいて、基準フレームから画素値を提供する過
程と、 （ｃ）前記現フレームの各画素の画素値から前記基準フ
レームから提供された画素値を減算することによって、
差分画素値を与える過程と、 （ｄ）画素単位で前記差分画素値と閾値THと比較して、
該閾値THより大きい差分画素値を有する画素からなる、
１つまたはそれ以上の領域を選択する過程と、 （ｅ）前記選択された領域内に含まれた画素をそれらの
各々の動きベクトルによって指定される位置へシフトす
ることによって、シフトされた領域を供給する過程と、 （ｆ）前記基準フレームからエッジ点を検知する過程
と、 （ｇ）前記エッジ点の位置とオーバラップされるシフト
された領域から１つまたはそれ以上の処理領域を特定す
る過程と、 （ｈ）前記基準フレーム上に第１グリッドを形成し、か
つ前記処理領域の各々に対応する第２グリッドを形成す
る過程であって、該第２グリッドが、前記第１グリッド
のグリッド点の一部と、前記第１グリッドに於いて垂直
及び水平方向に隣接する一対のグリッド点の間の中間点
に位置する新たに追加されたグリッド点とによって形成
される、該過程と、 （ｉ）前記第１及び第２グリッド及び前記エッジに基づ
いて、前記基準フレームにおける複数の画素を特徴点と
して選択する過程とを有することを特徴とするビデオ信
号符号化方法。 - 【請求項２】 前記エッジ点検知過程（ｆ）が、 基準フレームにおける各画素に対するグラディエントの
大きさを求める過程を有し、 前記特徴点選択過程（ｉ）が、 （ｉ１）前記第１及び第２グリッドのグリッド点の各々
に、重複しない探索領域を設定する過程と、 （ｉ２）前記エッジ点の各々を含む画素のブロック内に
存在する画素のグラディエントの大きさを合算すること
によって得られるエッジ値を、各々のエッジ点に対する
エッジ値として与える過程と、 （ｉ３）探索領域内においていかなるエッジ点も有しな
い各グリッド点及び探索領域内において１つまたそれ以
上のエッジ点のうち、最も大きいエッジ値を有する各エ
ッジ点を特徴点として特定して提供する過程とを有する
ことを特徴とする請求項１に記載のビデオ信号符号化方
法。 - 【請求項３】 前記動きベクトル検知過程（ａ）が、ブ
ロック整合技法を用いて実施されることを特徴とする請
求項２に記載のビデオ信号符号化方法。 - 【請求項４】 前記第１及び第２グリッドが、各々六角
及び三角グリッドからなることを特徴とする請求項２に
記載のビデオ信号符号化方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1995P10585 | 1995-04-29 | ||
| KR1019950010585A KR0171154B1 (ko) | 1995-04-29 | 1995-04-29 | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화하는 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08307873A true JPH08307873A (ja) | 1996-11-22 |
Family
ID=19413477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20286595A Pending JPH08307873A (ja) | 1995-04-29 | 1995-07-17 | ビデオ信号符号化方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5612743A (ja) |
| JP (1) | JPH08307873A (ja) |
| KR (1) | KR0171154B1 (ja) |
| CN (1) | CN1135148A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005228303A (ja) * | 2004-01-14 | 2005-08-25 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置 |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6124897A (en) | 1996-09-30 | 2000-09-26 | Sigma Designs, Inc. | Method and apparatus for automatic calibration of analog video chromakey mixer |
| KR100235344B1 (ko) * | 1994-12-29 | 1999-12-15 | 전주범 | 영역 분할 부호화 방식의 전경/배경 화상 선택 장치 |
| US5995670A (en) * | 1995-10-05 | 1999-11-30 | Microsoft Corporation | Simplified chain encoding |
| US5764283A (en) * | 1995-12-29 | 1998-06-09 | Lucent Technologies Inc. | Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths |
| US6037988A (en) * | 1996-03-22 | 2000-03-14 | Microsoft Corp | Method for generating sprites for object-based coding sytems using masks and rounding average |
| US5982438A (en) * | 1996-03-22 | 1999-11-09 | Microsoft Corporation | Overlapped motion compensation for object coding |
| KR100501902B1 (ko) * | 1996-09-25 | 2005-10-10 | 주식회사 팬택앤큐리텔 | 영상정보부호화/복호화장치및방법 |
| EP0833516B1 (en) * | 1996-09-25 | 2002-10-30 | Hyundai Curitel, Inc. | Pixel grid moving method and apparatus for video coding |
| US6289112B1 (en) * | 1997-08-22 | 2001-09-11 | International Business Machines Corporation | System and method for determining block direction in fingerprint images |
| US6400831B2 (en) | 1998-04-02 | 2002-06-04 | Microsoft Corporation | Semantic video object segmentation and tracking |
| US6711278B1 (en) | 1998-09-10 | 2004-03-23 | Microsoft Corporation | Tracking semantic objects in vector image sequences |
| US6580812B1 (en) * | 1998-12-21 | 2003-06-17 | Xerox Corporation | Methods and systems for automatically adding motion lines representing motion to a still image |
| US6690834B1 (en) * | 1999-01-22 | 2004-02-10 | Sigma Designs, Inc. | Compression of pixel data |
| US6499060B1 (en) * | 1999-03-12 | 2002-12-24 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
| US7352386B1 (en) * | 1999-06-22 | 2008-04-01 | Microsoft Corporation | Method and apparatus for recovering a three-dimensional scene from two-dimensional images |
| JP3859989B2 (ja) * | 2000-10-30 | 2006-12-20 | 株式会社モノリス | 画像マッチング方法およびその方法を利用可能な画像処理方法と装置 |
| US7346217B1 (en) * | 2001-04-25 | 2008-03-18 | Lockheed Martin Corporation | Digital image enhancement using successive zoom images |
| KR20030041285A (ko) * | 2001-11-19 | 2003-05-27 | 엘지전자 주식회사 | 동영상의 정수단위 모션추정 방법 |
| GB2387056A (en) * | 2002-03-28 | 2003-10-01 | Sony Uk Ltd | Differential encoding and decoding |
| US7817717B2 (en) * | 2002-06-18 | 2010-10-19 | Qualcomm Incorporated | Motion estimation techniques for video encoding |
| US7577198B2 (en) * | 2003-09-07 | 2009-08-18 | Microsoft Corporation | Number of reference fields for an interlaced forward-predicted field |
| US8085844B2 (en) * | 2003-09-07 | 2011-12-27 | Microsoft Corporation | Signaling reference frame distances |
| US20050163221A1 (en) * | 2004-01-14 | 2005-07-28 | Matsushita Electric Industrial Co., Ltd. | Motion vector detecting device |
| US8634413B2 (en) | 2004-12-30 | 2014-01-21 | Microsoft Corporation | Use of frame caching to improve packet loss recovery |
| CN100370808C (zh) * | 2005-06-13 | 2008-02-20 | 北京中星微电子有限公司 | 一种运动检测方法 |
| CN100407795C (zh) * | 2005-09-08 | 2008-07-30 | 上海广电（集团）有限公司中央研究院 | 一种帧场自适应检测方法 |
| KR101270167B1 (ko) * | 2006-08-17 | 2013-05-31 | 삼성전자주식회사 | 저복잡도의 이미지 압축 방법 및 장치, 저복잡도의 이미지복원 방법 및 장치 |
| US20080212895A1 (en) * | 2007-01-09 | 2008-09-04 | Lockheed Martin Corporation | Image data processing techniques for highly undersampled images |
| KR101366093B1 (ko) * | 2007-03-28 | 2014-02-21 | 삼성전자주식회사 | 영상의 부호화, 복호화 방법 및 장치 |
| JP4813517B2 (ja) * | 2008-05-29 | 2011-11-09 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 |
| JP5213613B2 (ja) * | 2008-09-26 | 2013-06-19 | キヤノン株式会社 | 画像処理装置及び画像処理方法及び撮像装置及びプログラム |
| JP2010124397A (ja) * | 2008-11-21 | 2010-06-03 | Toshiba Corp | 高解像度化装置 |
| WO2010087125A1 (ja) * | 2009-01-29 | 2010-08-05 | 日本電気株式会社 | 時間区間代表特徴ベクトル生成装置 |
| CA2860338C (en) | 2012-01-06 | 2022-08-02 | Viomics, Inc. | System and method of detecting rnas altered by cancer in peripheral blood |
| FR3047381A1 (fr) * | 2016-02-02 | 2017-08-04 | Stmicroelectronics (Grenoble 2) Sas | Procede et dispositif d'encodage d'un signal numerique multidimensionnel, en particulier un signal d'image, et procede et dispositif correspondants de decodage |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03125585A (ja) * | 1989-10-11 | 1991-05-28 | Mitsubishi Electric Corp | 画像信号の符号復号化器 |
| US5150432A (en) * | 1990-03-26 | 1992-09-22 | Kabushiki Kaisha Toshiba | Apparatus for encoding/decoding video signals to improve quality of a specific region |
| JPH0813138B2 (ja) * | 1990-11-28 | 1996-02-07 | 松下電器産業株式会社 | 画像符号化装置 |
| JPH05189571A (ja) * | 1992-01-13 | 1993-07-30 | Nikon Corp | パターンマッチング方法及び装置 |
| KR0181063B1 (ko) * | 1995-04-29 | 1999-05-01 | 배순훈 | 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치 |
-
1995
- 1995-04-29 KR KR1019950010585A patent/KR0171154B1/ko not_active Expired - Fee Related
- 1995-07-05 US US08/498,553 patent/US5612743A/en not_active Expired - Fee Related
- 1995-07-13 CN CN95109998A patent/CN1135148A/zh active Pending
- 1995-07-17 JP JP20286595A patent/JPH08307873A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005228303A (ja) * | 2004-01-14 | 2005-08-25 | Matsushita Electric Ind Co Ltd | 動きベクトル検出装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1135148A (zh) | 1996-11-06 |
| US5612743A (en) | 1997-03-18 |
| KR0171154B1 (ko) | 1999-03-20 |
| KR960039997A (ko) | 1996-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH08307873A (ja) | ビデオ信号符号化方法 | |
| JP4180666B2 (ja) | ビデオ信号符号化方法 | |
| KR0171118B1 (ko) | 비디오신호 부호화 장치 | |
| US5673339A (en) | Method for encoding a video signal using feature point based motion estimation | |
| KR0181027B1 (ko) | 화소 단위 움직임 추정을 이용하는 영상처리 시스템 | |
| US5689306A (en) | Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction | |
| US5619281A (en) | Method and apparatus for detecting motion vectors in a frame decimating video encoder | |
| JPH08242453A (ja) | 動きベクトル推定装置 | |
| CN100388793C (zh) | 利用基于特征点的逐象素运动估算的图象处理装置 | |
| US5654761A (en) | Image processing system using pixel-by-pixel motion estimation and frame decimation | |
| KR0178229B1 (ko) | 특징점에 근거한 화소단위 움직임 추정을 이용한 영상 처리 장치 | |
| US5731851A (en) | Method for determining feature points based on hierarchical block searching technique | |
| US6020925A (en) | Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction | |
| EP0731612B1 (en) | Apparatus for encoding a video signal using search grids for motion estimation and compensation | |
| JP3067608B2 (ja) | 映像信号符号化装置 | |
| US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
| KR0174455B1 (ko) | 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치 | |
| EP0720373A1 (en) | Method and apparatus for encoding a video signal using region-based motion vectors | |
| KR100207397B1 (ko) | 영상 부호화 시스템의 움직임 예측장치 및 방법 | |
| EP0720381A1 (en) | Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction | |
| KR0174462B1 (ko) | 프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템 | |
| EP0734179A2 (en) | Method and apparatus for selectively encoding/decoding a video signal | |
| KR0174956B1 (ko) | 픽셀단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치 | |
| KR0174463B1 (ko) | 프레임 데시메이팅 비데오 부호화기의 움직임벡터 검출방법 및 장치 | |
| JPH08205168A (ja) | ビデオ信号の符号化／復号化装置及びその方法 |