JPH0548996B2 - - Google Patents
Info
- Publication number
- JPH0548996B2 JPH0548996B2 JP5461486A JP5461486A JPH0548996B2 JP H0548996 B2 JPH0548996 B2 JP H0548996B2 JP 5461486 A JP5461486 A JP 5461486A JP 5461486 A JP5461486 A JP 5461486A JP H0548996 B2 JPH0548996 B2 JP H0548996B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- motion
- frames
- motion vector
- motion compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【発明の詳細な説明】
（産業上の利用分野）
本発明は、動画像信号のフレーム間処理に係
り、特に動画像信号から動きベクトルを検出し、
これを用いて該当フレームを動き補償する動画像
信号の動き補償方式に関する。
り、特に動画像信号から動きベクトルを検出し、
これを用いて該当フレームを動き補償する動画像
信号の動き補償方式に関する。
（従来の技術）
動画像信号を符号化する技術として、フレーム
間符号化が知られている。これは、画素そのもの
を符号化するのではなく、連続する画像フレーム
の間で画素の差分を計算し、これを符号化するも
のである。フレーム間符号化は、動きの少い画像
に対しては有効であり、高い情報圧縮率を得るこ
とができるが、画像に動きが有る場合には、フレ
ーム間差分の有意な画素が増加し、有効性は失わ
れてしまう。
間符号化が知られている。これは、画素そのもの
を符号化するのではなく、連続する画像フレーム
の間で画素の差分を計算し、これを符号化するも
のである。フレーム間符号化は、動きの少い画像
に対しては有効であり、高い情報圧縮率を得るこ
とができるが、画像に動きが有る場合には、フレ
ーム間差分の有意な画素が増加し、有効性は失わ
れてしまう。
この問題を解決するため、従来、フレーム間に
おける動画像信号の動きベクトルを検出し、これ
を用いてフレーム間で画素をシフトし、この後フ
レーム間差分を計算する動き補償方式が採用され
ている。この方式の原理を第３図を用いて説明す
る。今、フレームｊの画素ブロツクＢを前フレー
ムｉの情報を用いて符号化する際に、例えば、フ
レーム間信号差分とフレーム内信号差分との関係
に基づく逐次方法（「画像動き量検出方式」特開
昭60−158786号）により、フレームｉとｊとの間
における画素ブロツクＢの動きベクトルＶを検出
し、前フレームｉにおいて画素ブロツクＢと同位
置にある画素ブロツクB′から動きベクトルＶだ
け逆に偏位した位置にある画素ブロツクB″を選
択し、この画素ブロツクB″と画素ブロツクＢと
の間で画素の差分を計算し、この差分を符号化す
るものである。このように、画像信号の動き補償
を用いることにより、動きの有る部分が大きい動
画像に対しても、高い情報圧縮率が得られ、有効
な符号化方式を実現している。
おける動画像信号の動きベクトルを検出し、これ
を用いてフレーム間で画素をシフトし、この後フ
レーム間差分を計算する動き補償方式が採用され
ている。この方式の原理を第３図を用いて説明す
る。今、フレームｊの画素ブロツクＢを前フレー
ムｉの情報を用いて符号化する際に、例えば、フ
レーム間信号差分とフレーム内信号差分との関係
に基づく逐次方法（「画像動き量検出方式」特開
昭60−158786号）により、フレームｉとｊとの間
における画素ブロツクＢの動きベクトルＶを検出
し、前フレームｉにおいて画素ブロツクＢと同位
置にある画素ブロツクB′から動きベクトルＶだ
け逆に偏位した位置にある画素ブロツクB″を選
択し、この画素ブロツクB″と画素ブロツクＢと
の間で画素の差分を計算し、この差分を符号化す
るものである。このように、画像信号の動き補償
を用いることにより、動きの有る部分が大きい動
画像に対しても、高い情報圧縮率が得られ、有効
な符号化方式を実現している。
また、動き補償方式は、符号化技術だけでな
く、動画像信号のフレーム内挿技術やテレビジヨ
ン信号のフレームレート変換技術にも適用でき、
極めて重要な技術である。
く、動画像信号のフレーム内挿技術やテレビジヨ
ン信号のフレームレート変換技術にも適用でき、
極めて重要な技術である。
（発明が解決しようとする問題点）
しかしながら、従来技術にあつては、前フレー
ムｉには無かつた画像がフレームｊに新たに現わ
れた場合には、新たに現われた部分は動き補償が
できないため、情報圧縮率が低下するという欠点
がある。例えば、第４図に示すように、フレーム
ｉにおいては重なつていた物体ＡおよびＢが、物
体Ａのみが移動したため、フレームｊでは物体Ｂ
の斜線で示した部分が新たに現われた場合がこれ
に当る。
ムｉには無かつた画像がフレームｊに新たに現わ
れた場合には、新たに現われた部分は動き補償が
できないため、情報圧縮率が低下するという欠点
がある。例えば、第４図に示すように、フレーム
ｉにおいては重なつていた物体ＡおよびＢが、物
体Ａのみが移動したため、フレームｊでは物体Ｂ
の斜線で示した部分が新たに現われた場合がこれ
に当る。
このような場合には、動きベクトルの検出精度
も十分でなく、符号化方式では情報圧縮率の低下
を招き、フレーム内挿方式の場合には、画像劣化
を引き起こす。
も十分でなく、符号化方式では情報圧縮率の低下
を招き、フレーム内挿方式の場合には、画像劣化
を引き起こす。
このような問題点が生起する原因は、動きベク
トルの検出にあたつて、動画像信号の過去の情報
しか利用していないことによる。
トルの検出にあたつて、動画像信号の過去の情報
しか利用していないことによる。
本発明は、従来技術の欠点を解決するためにな
されたもので、動画像信号の動き補償方式におい
て、画像に物体の重なりが有り、物体が見え隠れ
する場合においても、有効に機能し得る動画像の
動き補償方式を提供するものである。
されたもので、動画像信号の動き補償方式におい
て、画像に物体の重なりが有り、物体が見え隠れ
する場合においても、有効に機能し得る動画像の
動き補償方式を提供するものである。
（問題点を解決するための手段）
この目的を達成するために、本発明は、動画像
信号の動き補償方式において、一定数のフレーム
間隔で動きベクトルを検出し、これを用いて該当
フレームを動き補償し、これらのフレームに挟ま
れたフレームは、既に動き補償されている前後両
フレームと該当フレームとの間で動きベクトルを
検出し、このうち、より小さい動き補償誤差を与
える動きベクトルを、当該フレームの動き補償に
用いることを特徴とする。
信号の動き補償方式において、一定数のフレーム
間隔で動きベクトルを検出し、これを用いて該当
フレームを動き補償し、これらのフレームに挟ま
れたフレームは、既に動き補償されている前後両
フレームと該当フレームとの間で動きベクトルを
検出し、このうち、より小さい動き補償誤差を与
える動きベクトルを、当該フレームの動き補償に
用いることを特徴とする。
（発明の原理）
先ず、本発明の原理を説明する。第１図は本発
明の原理を説明する図である。今、第１図ｂのよ
うに一定数のフレーム間隔としてＮフレーム（Ｎ
は２以上の自然数）を考える。本発明ではまずフ
レームｉ＋Ｎを小さな画素部分に分割し、この部
分毎にフレームｉとの間で動きベクトルを検出
し、これを用いてフレームｉ＋Ｎを部分毎に動き
補償する。動きベクトルの検出方法としては、例
えば、前述したフレーム間信号差分とフレーム内
信号差分との関係に基ずく逐次方法（「画像動き
量検出方式」特開昭60−158786号）を用いる。フ
レームｉ＋Ｎの動き補償が完了すると、次にフレ
ームｉ＋１の動きベクトルの検出に進む。この場
合も同様に画素部分毎に動きベクトルの検出を行
うが、第１図ｂに示すようにフレームｉ＋１のあ
る画素部分Ｂについて、フレームｉとの間、およ
びフレームｉ＋Ｎとの間で動きベクトルの検出を
行う。この結果得られたフレームｉとの間の動き
ベクトルをＶ−と表わし、フレームｉ＋Ｎとの間
の動きベクトルをＶ＋と表わすこととする。次
に、これらの動きベクトルを用いて、フレーム間
の誤差を計算する。フレームｉにおいて、フレー
ムｉ＋１の該当部分Ｂと同一の位置から、−Ｖ−
だけ偏位した部分Ｂ−と、フレームｉ＋１の該当
部分Ｂとの誤差Ｅ−を計算する。同様にフレーム
ｉ＋Ｎにおいて、フレームｉ＋１の該当部分Ｂと
同一の位置から−Ｖ＋だけ偏位した部分Ｂ＋とフ
レームｉ＋１の該当部分Ｂとの誤差Ｅ＋を計算す
る。誤差としては、画素部分に含まれる各画素の
フレーム間差分値の絶対値和等が考えられる。次
にこの誤差Ｅ−，Ｅ＋を比較し、この値の小さい
方の動きベクトルを、フレームｉ＋１の該当部分
Ｂにおける動きベクトルＶとする。そしてこの動
きベクトルＶを用いて、これが検出されたフレー
ム（フレームｉないしフレームｉ＋Ｎ）側から、
フレームｉ＋１の該当部分Ｂを動き補償する。
明の原理を説明する図である。今、第１図ｂのよ
うに一定数のフレーム間隔としてＮフレーム（Ｎ
は２以上の自然数）を考える。本発明ではまずフ
レームｉ＋Ｎを小さな画素部分に分割し、この部
分毎にフレームｉとの間で動きベクトルを検出
し、これを用いてフレームｉ＋Ｎを部分毎に動き
補償する。動きベクトルの検出方法としては、例
えば、前述したフレーム間信号差分とフレーム内
信号差分との関係に基ずく逐次方法（「画像動き
量検出方式」特開昭60−158786号）を用いる。フ
レームｉ＋Ｎの動き補償が完了すると、次にフレ
ームｉ＋１の動きベクトルの検出に進む。この場
合も同様に画素部分毎に動きベクトルの検出を行
うが、第１図ｂに示すようにフレームｉ＋１のあ
る画素部分Ｂについて、フレームｉとの間、およ
びフレームｉ＋Ｎとの間で動きベクトルの検出を
行う。この結果得られたフレームｉとの間の動き
ベクトルをＶ−と表わし、フレームｉ＋Ｎとの間
の動きベクトルをＶ＋と表わすこととする。次
に、これらの動きベクトルを用いて、フレーム間
の誤差を計算する。フレームｉにおいて、フレー
ムｉ＋１の該当部分Ｂと同一の位置から、−Ｖ−
だけ偏位した部分Ｂ−と、フレームｉ＋１の該当
部分Ｂとの誤差Ｅ−を計算する。同様にフレーム
ｉ＋Ｎにおいて、フレームｉ＋１の該当部分Ｂと
同一の位置から−Ｖ＋だけ偏位した部分Ｂ＋とフ
レームｉ＋１の該当部分Ｂとの誤差Ｅ＋を計算す
る。誤差としては、画素部分に含まれる各画素の
フレーム間差分値の絶対値和等が考えられる。次
にこの誤差Ｅ−，Ｅ＋を比較し、この値の小さい
方の動きベクトルを、フレームｉ＋１の該当部分
Ｂにおける動きベクトルＶとする。そしてこの動
きベクトルＶを用いて、これが検出されたフレー
ム（フレームｉないしフレームｉ＋Ｎ）側から、
フレームｉ＋１の該当部分Ｂを動き補償する。
この様にしてフレームｉ＋１の動き補償が完了
すると、次に同様にしてフレームｉ＋２の動きベ
クトルの検出及び動き補償を行う。この手順をフ
レーム毎に繰返し、フレームｉ＋Ｎ−１までの処
理を完了すると、今度はフレームｉ＋Ｎとフレー
ムｉ＋2Nの間で動きベクトルの検出を行う。
すると、次に同様にしてフレームｉ＋２の動きベ
クトルの検出及び動き補償を行う。この手順をフ
レーム毎に繰返し、フレームｉ＋Ｎ−１までの処
理を完了すると、今度はフレームｉ＋Ｎとフレー
ムｉ＋2Nの間で動きベクトルの検出を行う。
（実施例）
以下、図面を用いて本発明の実施例について説
明する。説明のため、ここでは一定のフレーム間
隔Ｎを２とする。第２図は本発明の実施例を示す
図である。図において、１はフレーム同期検出
器、２〜５はフレームメモリ、６は動きベクトル
検出器、７は動き補償器、８，９は動きベクトル
検出器、１０，１１は動き補償器、１２は比較
器、１３は動画像信号選択器である。ビデオ信号
はフレーム同期検出器１により、フレーム同期を
検出される。このフレーム同期により、以下の動
作は制御される。
明する。説明のため、ここでは一定のフレーム間
隔Ｎを２とする。第２図は本発明の実施例を示す
図である。図において、１はフレーム同期検出
器、２〜５はフレームメモリ、６は動きベクトル
検出器、７は動き補償器、８，９は動きベクトル
検出器、１０，１１は動き補償器、１２は比較
器、１３は動画像信号選択器である。ビデオ信号
はフレーム同期検出器１により、フレーム同期を
検出される。このフレーム同期により、以下の動
作は制御される。
ビデオ信号はフレームメモリ２に記憶され、フ
レームメモリ３，４，５に伝搬される。今、フレ
ームメモリ２にはフレームｉ＋２が、フレームメ
モリ３にはフレームｉ＋１が、フレームメモリ４
にはフレームｉが、それぞれ記憶されているとす
る。このとき、動きベクトル検出器６により、フ
レームメモリ２とフレームメモリ４を用いて、フ
レームｉ＋２とフレームｉの間の動きベクトルが
検出される。動き補償器７は、この動きベクトル
を用いてフレームｉ＋２を動き補償し、その結果
を動き補償ビデオ信号出力Ａとして出力する。こ
の出力Ａは第１図で示したフレームｉ，ｉ＋Ｎ，
ｉ＋2N，…に相当するフレームの動き補償ビデ
オ信号である。
レームメモリ３，４，５に伝搬される。今、フレ
ームメモリ２にはフレームｉ＋２が、フレームメ
モリ３にはフレームｉ＋１が、フレームメモリ４
にはフレームｉが、それぞれ記憶されているとす
る。このとき、動きベクトル検出器６により、フ
レームメモリ２とフレームメモリ４を用いて、フ
レームｉ＋２とフレームｉの間の動きベクトルが
検出される。動き補償器７は、この動きベクトル
を用いてフレームｉ＋２を動き補償し、その結果
を動き補償ビデオ信号出力Ａとして出力する。こ
の出力Ａは第１図で示したフレームｉ，ｉ＋Ｎ，
ｉ＋2N，…に相当するフレームの動き補償ビデ
オ信号である。
次に、１フレーム時間が経過し、フレームｉ＋
２の動き補償処理が完了して、フレームメモリ２
にはフレームｉ＋３が、フレームメモリ３にはフ
レームｉ＋２が、フレームメモリ４にはフレーム
ｉ＋１が、フレームメモリ５にはフレームｉが、
それぞれ記憶されているとする。この場合は、ま
ず動きベクトル検出器８，９によつて、フレーム
ｉ＋１とフレームｉ＋２及びフレームｉ＋１とフ
レームｉの間の動きベクトルが検出される。動き
補償器１０，１１はこの動きベクトルを用いてフ
レームｉ＋１をフレームｉ＋２及びフレームｉか
ら動き補償する。一方、動きベクトルの補償誤差
は比較器１２において画素部分毎に大小比較され
る。動き補償器１０，１１からの動き補償ビデオ
信号は、動画像信号選択器１３において、時間的
に前後のフレームのうち、より補償誤差の小さい
方のフレームから動き補償されるように、この比
較器１２からの信号により選択され、動き補償ビ
デオ信号出力Ｂとして出力される。この出力Ｂが
第１図で示したフレームｉ−１，ｉ＋１，ｉ＋
２，ｉ＋Ｎ−１，…に相当するフレームの前後フ
レームからの最適動き補償ビデオ信号である。更
に１フレーム時間が経過し、フレームｉ＋１の動
き補償処理が完了すると、フレームメモリ２には
フレームｉ＋４が、フレームメモリ３にはフレー
ムｉ＋３が、フレームメモリ４にはフレームｉ＋
２が、それぞれ記憶され、同様の処理が繰返され
る。
２の動き補償処理が完了して、フレームメモリ２
にはフレームｉ＋３が、フレームメモリ３にはフ
レームｉ＋２が、フレームメモリ４にはフレーム
ｉ＋１が、フレームメモリ５にはフレームｉが、
それぞれ記憶されているとする。この場合は、ま
ず動きベクトル検出器８，９によつて、フレーム
ｉ＋１とフレームｉ＋２及びフレームｉ＋１とフ
レームｉの間の動きベクトルが検出される。動き
補償器１０，１１はこの動きベクトルを用いてフ
レームｉ＋１をフレームｉ＋２及びフレームｉか
ら動き補償する。一方、動きベクトルの補償誤差
は比較器１２において画素部分毎に大小比較され
る。動き補償器１０，１１からの動き補償ビデオ
信号は、動画像信号選択器１３において、時間的
に前後のフレームのうち、より補償誤差の小さい
方のフレームから動き補償されるように、この比
較器１２からの信号により選択され、動き補償ビ
デオ信号出力Ｂとして出力される。この出力Ｂが
第１図で示したフレームｉ−１，ｉ＋１，ｉ＋
２，ｉ＋Ｎ−１，…に相当するフレームの前後フ
レームからの最適動き補償ビデオ信号である。更
に１フレーム時間が経過し、フレームｉ＋１の動
き補償処理が完了すると、フレームメモリ２には
フレームｉ＋４が、フレームメモリ３にはフレー
ムｉ＋３が、フレームメモリ４にはフレームｉ＋
２が、それぞれ記憶され、同様の処理が繰返され
る。
（発明の効果）
本発明により、動画像信号の動き補償方式にお
いて、該当フレームを挟む時間的に前後する両フ
レームのうち、より誤差の少ないフレームとの間
で動きベクトルを検出し、これを用いてより誤差
の少ないフレームから動き補償を行うため、画像
に物体の重なりが有り、物体が見え隠れするよう
な場合においても、有効に機能し得る動画像の動
き補償方式を実現することができる。
いて、該当フレームを挟む時間的に前後する両フ
レームのうち、より誤差の少ないフレームとの間
で動きベクトルを検出し、これを用いてより誤差
の少ないフレームから動き補償を行うため、画像
に物体の重なりが有り、物体が見え隠れするよう
な場合においても、有効に機能し得る動画像の動
き補償方式を実現することができる。
第１図は本発明の原理を説明する図、第２図は
本発明の実施例を示すブロツク図、第３図と第４
図は従来の動き補償方式を説明する図である。 １……フレーム同期検出器、２〜５……フレー
ムメモリ、６……動きベクトル検出器、７……動
き補償器、８，９……動きベクトル検出器、１
０，１１……動き補償器、１２……比較器、１３
……動画像信号選択器。
本発明の実施例を示すブロツク図、第３図と第４
図は従来の動き補償方式を説明する図である。 １……フレーム同期検出器、２〜５……フレー
ムメモリ、６……動きベクトル検出器、７……動
き補償器、８，９……動きベクトル検出器、１
０，１１……動き補償器、１２……比較器、１３
……動画像信号選択器。
Claims (1)
- 【特許請求の範囲】 １ 連続した複数のフレームで構成された画像信
号からフレーム間における動きベクトルを検出
し、該動きベクトルを用いてフレームの動きを補
償する動画像信号の動き補償方式において、 予め定まるフレーム数（Ｎ）隔たつた２つのフ
レームの間で動きベクトルを検出して当該フレー
ムの動き補償を行い、該２つのフレームの間に位
置するフレームについては既に動き補償が終了し
ている前後２つのフレームとの間のそれぞれの動
きベクトルを検出し、得られた２つの動きベクト
ルのうちより小さい動き補償誤差を与える動きベ
クトルを用いて動き補償を行うことを特徴とする
動画像信号の動き補償方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP61054614A JPS62213494A (ja) | 1986-03-14 | 1986-03-14 | 動画像信号の動き補償方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP61054614A JPS62213494A (ja) | 1986-03-14 | 1986-03-14 | 動画像信号の動き補償方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS62213494A JPS62213494A (ja) | 1987-09-19 |
| JPH0548996B2 true JPH0548996B2 (ja) | 1993-07-23 |
Family
ID=12975616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP61054614A Granted JPS62213494A (ja) | 1986-03-14 | 1986-03-14 | 動画像信号の動き補償方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS62213494A (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0260295A (ja) * | 1988-08-25 | 1990-02-28 | Sharp Corp | 動き部分検出方法 |
| JPH07109990B2 (ja) * | 1989-04-27 | 1995-11-22 | 日本ビクター株式会社 | 適応型フレーム間予測符号化方法及び復号方法 |
| DE69033782T2 (de) | 1989-10-14 | 2002-06-20 | Sony Corp., Tokio/Tokyo | Verfahren und Anordnung zum Kodieren/Dekodieren eines Videosignales |
| US7003035B2 (en) | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
| US20040001546A1 (en) | 2002-06-03 | 2004-01-01 | Alexandros Tourapis | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
| US7738554B2 (en) | 2003-07-18 | 2010-06-15 | Microsoft Corporation | DC coefficient signaling at small quantization step sizes |
| US10554985B2 (en) | 2003-07-18 | 2020-02-04 | Microsoft Technology Licensing, Llc | DC coefficient signaling at small quantization step sizes |
-
1986
- 1986-03-14 JP JP61054614A patent/JPS62213494A/ja active Granted
Also Published As
| Publication number | Publication date |
|---|---|
| JPS62213494A (ja) | 1987-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3230263B2 (ja) | 動きベクトル検出回路 | |
| US4202011A (en) | Television signal coder | |
| JPH0714209B2 (ja) | 動画像符号化装置 | |
| JPS61114677A (ja) | 動画像信号の適応予測符号化復号化方式及びその装置 | |
| JPH03217184A (ja) | 動きベクトル検出装置 | |
| US6104439A (en) | Method and apparatus for motion estimation | |
| JPH0548996B2 (ja) | ||
| JP3201079B2 (ja) | インターレース動画像信号の動き補償予測方法、符号化方法及び装置 | |
| JPH0828876B2 (ja) | 動画像信号のリフレッシュ方法 | |
| JPH02914B2 (ja) | ||
| JPH0810937B2 (ja) | 動き補償誤り補正方式 | |
| JPS61201570A (ja) | フレ−ム内フレ−ム間符号化方式 | |
| JP2925046B2 (ja) | 動画像の動き補償予測方法 | |
| JPH05103313A (ja) | 画像情報処理方法及び装置 | |
| JPH047152B2 (ja) | ||
| JP3031638B2 (ja) | 蓄積用動画像符号化方式における補間フレームのベクトル探索方法 | |
| JP3596137B2 (ja) | 画像信号符号化方法及び装置、並びに画像信号復号方法及び装置 | |
| JP3338462B2 (ja) | 動き補償装置 | |
| CN1108061C (zh) | 利用搜索网格对视频信号编码的装置 | |
| JPH04288790A (ja) | インタレース画像信号の予測符号化方法 | |
| JPH0235515B2 (ja) | ||
| JPH06101839B2 (ja) | 画像の動きベクトル信号処理装置 | |
| JP3159364B2 (ja) | 映像信号復号化方法及び映像信号復号化装置 | |
| JP2005354174A (ja) | 動き探索装置 | |
| KR0174462B1 (ko) | 프레임 데시메이션과 화소단위 움직임 추정을 이용하는 영상처리 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| EXPY | Cancellation because of completion of term |