JPH10271508A - 動画像補間装置 - Google Patents

Abstract

(57)【要約】 【課題】受信側で欠落したフレームを正確に再生するこ
とのできる動画像補間装置を実現する。 【解決手段】動画像補間装置は、伝送レートと受信器の
フレーム内挿能力に合わせてフレーム間引きを行うフレ
ーム間引き部１１、間引きされた画像データから動きベ
クトルを求める動き検出部１２、動画像情報を圧縮符号
化する符号化器１３、画像データと動きベクトルデータ
を格納するバッファ１４からなる伝送器１と、バッファ
２１、圧縮された画像データを復元する復号化器２２お
よび受信した動きベクトルから補間フレームの内挿を行
うフレーム内挿部２３からなる受信器２から構成され、
フレーム内挿部２３は、動きベクトルから隣接伝送フレ
ーム間に適切な補間フレームを再構成し、フレームの内
挿処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像圧縮処理等
に用いられる動画像補間装置に係わり、詳細には、送信
側で間引きフレームに対する動き情報を送信し、受信側
で欠落したフレームを動き情報により正確に再生するこ
とのできる動画像補間装置に関する。

【０００２】

【従来の技術】動画像補間装置は、主にテレビ会議など
で使用することが考えられている。従来の動画像処理装
置では、受信側で欠落したフレームを再生する動画像内
挿装置が用いられる。従来のフレーム内挿方式を用いた
装置では、受信したフレーム毎に動きを検出し、内挿す
べきフレームと受信した前後のフレームとの距離の比に
基づいて内挿すべき補間フレームを再構成していた。公
知例として、フレーム間の動きを検出して、この動き情
報を非線形近似して、予測補間し補間フレームを再構成
する特開平７−１７７５１４動画像圧縮装置がある。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の動画像処理装置にあっては、動きベクトルの
検出は、直線または非線形近似による内挿方式であるた
め、移動物体は機械的な動きになり、変則的な動きにな
らない。これは、近似することに起因する。本発明は、
欠落したフレームを正確に再生することのできる動画像
補間装置を提供することを目的とする。

【０００４】

【課題を解決するための手段】本発明は、上記目的を達
成するため、複数のフレーム画像情報と共に各フレーム
間に間引きされたフレームに対する動き情報からなる動
画像情報から各フレーム間のフレーム画像を予測補間す
る動画像補間装置において、動き情報として伝送レート
と受信側のフレーム内挿処理能力に合わせて、間引きさ
れた補間されるべきフレームに対する動きベクトルを内
挿フレーム数分もつことにより、近似処理を行わないよ
うにしている。

【０００５】例えば、テレビ会議等における低レートの
動画像圧縮では、低レートになる要因が通信能力にある
ことが多く、一般的に動画像処理能力は通信能力を上回
る。このような場合、本発明では、送信側で、伝送レー
トと受信側のフレーム内挿処理能力に合わせて、間引か
れたフレームに対して動き情報を構成することにより、
受信側で、動き情報に基づいて間引かれたフレームを再
構成される。したがって、動きに対する近似処理を行わ
ないため、自然な動きを正確に再生することが可能にな
る。

【０００６】

【発明の実施の形態】以下、本発明を図面に基づいて説
明する。

【０００７】図１〜図３は、本発明に係わる動画像補間
装置の一実施例を示す図である。

【０００８】図１は、本発明に係わる動画像補間装置の
構成を示すブロック図であり、この図において、動画像
補間装置は伝送器１と受信器２からなる。

【０００９】図１において、動画像補間装置の伝送器１
は、フレーム間引き部１１、動き検出部１２、符号化器
１３、バッファ１４等から構成される。

【００１０】フレーム間引き部１１は、伝送レートと受
信器２のフレーム内挿能力に合わせてフレーム間引きを
行い、伝送フレームの画像データを符号化器１３に出力
する。一方、入力された画像データのうち、受信器２に
おいて再生すべきフレームの画像データは動き検出部１
２に出力される。

【００１１】動き検出部１２は、再生すべきフレームに
対する動きベクトルを検出し、符号化器に出力する。同
様に複数フレーム間引きされることも可能であり、動き
ベクトルは内挿フレーム数分検出する。これらの動き情
報をバッファに出力する。

【００１２】符号化器１３は、伝送フレームの画像デー
タと動き検出部１２で出力された動きベクトルに基づい
て画像データを符号化し、バッファ１４に出力する。

【００１３】バッファ１４は、符号化器１３および動き
検出部１２から出力された画像データと動き情報データ
を伝送レートに合わせて伝送する。

【００１４】動画像補間装置の受信器２は、バッファ２
１、復号化器２２、フレーム内挿部２３等で構成され
る。

【００１５】伝送されたデータは、バッファ２１に格納
され、符号化された画像データは復号化器２２に出力さ
れる。

【００１６】復号化器２２は、符号化された画像データ
を復号化して、フレーム内挿部２３に出力する。

【００１７】フレーム内挿部２３は、バッファ２１から
動き情報として取得した動きベクトルと復号化器２２か
ら出力された画像データを基づいて隣接伝送フレーム間
に適切な補間フレームを再構成し、フレームの内挿処理
を行う。

【００１８】図２は、本実施例で説明した補間の方法を
示したものである。図中の点線部分は、補間により再構
成された部分を示している。画像データは、円が不規則
に動くものであり、フレームＩ１が伝送された後、動き
ベクトルＶ１１、Ｖ１２とフレームＰ１が伝送される。
動きベクトルＶ１１とフレームＩ１およびフレームＰ１
から内挿フレームＢ１１を再構成する。同様に、動きベ
クトルＶ１１、Ｖ１２を使用して、内挿フレームＢ１２
を再構成する。さらに、動きベクトルＶ２１、Ｖ２２と
フレーム１２が伝送される。動きベクトルＶ２１とフレ
ームＰ１およびフレームＩ１から内挿フレームＢ２１を
再構成する。同様に、動きベクトルＶ２１、Ｖ２２を使
用して、内挿フレームＢ２２を再構成する。以上のよう
に、不規則に動く円を正確に再生することが可能であ
る。

【００１９】図３は、上記図２で説明した内容をフレー
ムで表したものである。伝送レートが低レートであるた
め、途中のＢ１１、Ｂ１２、Ｂ２１、Ｂ２２のフレーム
データを伝送できない場合を示している。フレームＰ１
を伝送するときに、間引きされたフレームＢ１１、Ｂ１
２に対するそれぞれの動きベクトルを動き情報としてフ
レームＰ１の画像データと共に伝送する。それぞれの動
きベクトルに基づいてフレームＢ１１、Ｂ１２を再構成
し内挿する。同様に、フレームＩ１を伝送するときに、
間引きされたフレームＢ２１、Ｂ２２に対するそれぞれ
の動きベクトルを動き情報としてフレーム１２の画像デ
ータと共に伝送する。それぞれの動きベクトルに基づい
てフレームＢ２１、Ｂ２２を再構成し内挿する。

【００２０】図４は、公知例として挙げた特開平７−１
７７５１４動画像圧縮装置の技術を使用して、上記図２
で示した動きをする動画像を再構成した場合を図示した
ものである。点線で示したＢ１１、Ｂ１２、Ｂ２１、Ｂ
２２が動きベクトルＶ１、Ｖ２を使用して非線形近似し
内挿したフレームである。動きに対して近似処理を行う
ため、実際の不規則な動きを表現することができず、滑
らかな曲線運動になる。

【００２１】図２および図３で使用した例は、ＭＰＥＧ
圧縮技術を使用した動画像情報と良く似ている。ＭＰＥ
Ｇ技術では、一般にすべての画像データをもつＩフレー
ム、１つ前のＩフレームの情報を利用して画像を構成す
るＰフレーム、１つの前のＩフレームと１つ後のＰフレ
ーム、または、１つ前のＰフレームと１つ後のＩフレー
ムの情報を利用して画像を構成するＢフレームからな
る。通常、ＭＰＥＧ技術を使用してファイル化された画
像データを低レートで再生する場合、Ｂフレームを間引
くことが多い。つまり、上記図３で説明したように、フ
レームＩ１、Ｐ１、Ｉ２の画像データを伝送し再生す
る。しかし、動画像補間処理を利用することにより、間
引きされたＢフレームを再構成することを考えてみる。
ＢフレームおよびＰフレームは、前後のフレームを利用
するため、動きベクトルを情報として持っている。本発
明では、このＢフレーム、Ｐフレームが持つ動きベクト
ルを内挿フレームの再構成時に利用する。つまり、フレ
ームＩ１を伝送後、フレームＢ１１、Ｂ１２を間引きす
る際、フレームＰ１の情報に、Ｂ１１およびＢ１２が持
つ動きベクトルの情報を付加して伝送する。同様に、フ
レームＢ２１、Ｂ２２を間引きする際、フレームＩ１の
情報に、Ｂ２１およびＢ２２が持つ動きベクトルの情報
を付加して伝送する。以上のように、ＭＰＥＧ技術によ
り、ファイル化された画像データを伝送レートするとき
も、本発明が利用できる。

【００２２】

【発明の効果】本発明によれば、伝送時に間引きされた
フレームに対する動きベクトルを伝送フレームに付加
し、フレーム内挿時に間引きされたフレームに対する動
きベクトルに基づいて補間フレームを予測再構成するこ
とができるため、変則的な動きについても正確に再生す
ることが可能になる。

【図面の簡単な説明】

【図１】本発明に係わる実施例の機能ブロック図であ
る。

【図２】実施例のフレーム内挿説明図である。

【図３】実施例のフレーム内挿説明図である。

【図４】従来の技術でのフレーム内挿説明図である。

【符号の説明】

１…伝送器、 ２…受信器、１１…フレーム間引き
部、１２…動き検出部、１３…符号化器、１４、２１…
バッファ、 ２２…復号化器、２３…フレ
ーム内挿部。

Claims (2)

【特許請求の範囲】
1. 【請求項１】複数のフレーム画像情報と共に各フレーム
   間の動き情報からなる動画像情報から各フレーム間のフ
   レームを予測補間する動画像補間装置において、上記各
   フレーム間に複数の間引きされたフレームに対する動き
   情報に従って予測補間することを特徴とする動画像補間
   装置。
2. 【請求項２】上記フレーム間の動き情報は、伝送レート
   と受信器ののフレーム内挿処理能力に合わせて、間引き
   された補間されるべきフレームに対する動きベクトルを
   内挿フレーム数分もつことを特徴とする請求項１に記載
   の動画像補間装置。