JPH08214318A - ビデオ画像のシーケンスを符号化するための領域ベースアプローチに対する方法及び装置 - Google Patents
ビデオ画像のシーケンスを符号化するための領域ベースアプローチに対する方法及び装置Info
- Publication number
- JPH08214318A JPH08214318A JP7265045A JP26504595A JPH08214318A JP H08214318 A JPH08214318 A JP H08214318A JP 7265045 A JP7265045 A JP 7265045A JP 26504595 A JP26504595 A JP 26504595A JP H08214318 A JPH08214318 A JP H08214318A
- Authority
- JP
- Japan
- Prior art keywords
- region
- motion vector
- pixel
- smaller
- tcs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】 (修正有)
【課題】 伝送或は格納のために、デジタル画像のシー
ケンスを符号化するための方法及びエンコーダを提供す
る。 【解決手段】 フレームが複数のブロックにセグメント
化(120)され、各ブロックに最良の運動ベクトルが
割り当てられる。次に、同一或は類似する運動ベクトル
を持つブロックが併合され、任意形状領域が形成され
る。各領域の形状が符号化(140)され、そして、各
領域からの追加の画像データを3つのモードのどのモー
ドにて符号化すべきかの決定(150)が行なわれる。
第一のインタフレームモードにおいては、領域と関連す
る運動ベクトルの符号化が行なわれる。第二のインタフ
レームモードにおいては、その領域に対する予測エラー
の符号化も行なわれる。イントラフレーム(イントラフ
レーム)モードにおいては、その領域内の各画素の強度
の符号化が行なわれる。
ケンスを符号化するための方法及びエンコーダを提供す
る。 【解決手段】 フレームが複数のブロックにセグメント
化(120)され、各ブロックに最良の運動ベクトルが
割り当てられる。次に、同一或は類似する運動ベクトル
を持つブロックが併合され、任意形状領域が形成され
る。各領域の形状が符号化(140)され、そして、各
領域からの追加の画像データを3つのモードのどのモー
ドにて符号化すべきかの決定(150)が行なわれる。
第一のインタフレームモードにおいては、領域と関連す
る運動ベクトルの符号化が行なわれる。第二のインタフ
レームモードにおいては、その領域に対する予測エラー
の符号化も行なわれる。イントラフレーム(イントラフ
レーム)モードにおいては、その領域内の各画素の強度
の符号化が行なわれる。
Description
【0001】
【産業上の利用分野】本発明は一般的にはビデオシーケ
ンスを符号化するための方法及び装置、より詳細には、
ビデオ画像の任意形状領域を符号化するための領域本位
の方法及び装置に関する。
ンスを符号化するための方法及び装置、より詳細には、
ビデオ画像の任意形状領域を符号化するための領域本位
の方法及び装置に関する。
【0003】
【従来の技術】当分野においては、デジタルビデオ画像
のシーケンスを符号化するための多くのアプローチが知
られている。一つの伝統的なアプローチにおいてはシー
ケンス内の各フレームがマクロブロックとして知られて
いる所定のサイズの正方形ブロックに分割される。次
に、各マクロブロックに前の復号されたフレームに対す
る運動ベクトルが割り当てられる。ここで、この運動ベ
クトルは、現マクロブロックと、最良のマッチングを与
える前に復元されたフレーム内の同一サイズの画素のブ
ロックとの間のオフセットを表わす。この運動ベクトル
がデコーダに伝送され、デコーダは、現フレームを前に
復号されたフレーム、この運動ベクトル及び予測エラー
に基づいて復元する。ただし、このブロックをベースと
する技法は、低ビット速度用途においては、ひずみ、例
えば、ブロッキング及びモスキート効果を引き起こすこ
とがある。
のシーケンスを符号化するための多くのアプローチが知
られている。一つの伝統的なアプローチにおいてはシー
ケンス内の各フレームがマクロブロックとして知られて
いる所定のサイズの正方形ブロックに分割される。次
に、各マクロブロックに前の復号されたフレームに対す
る運動ベクトルが割り当てられる。ここで、この運動ベ
クトルは、現マクロブロックと、最良のマッチングを与
える前に復元されたフレーム内の同一サイズの画素のブ
ロックとの間のオフセットを表わす。この運動ベクトル
がデコーダに伝送され、デコーダは、現フレームを前に
復号されたフレーム、この運動ベクトル及び予測エラー
に基づいて復元する。ただし、このブロックをベースと
する技法は、低ビット速度用途においては、ひずみ、例
えば、ブロッキング及びモスキート効果を引き起こすこ
とがある。
【0004】より複雑な対象本位、或は領域本位のアプ
ローチにおいては、長方形或は正方形のブロックではな
く、任意形状の領域が符号化される。ブロック本位の符
号化技法においては、典型的には、二つのパラメータセ
ット、より具体的には、各ブロックの運動パラメータと
色パラメータが伝送されるが、対象本位のアプローチに
おいては、加えて、その画像の復元のために各領域の形
状を伝送することが要求される。例えば、M.Hotter、
『Object-Oriented Analysis-Synthesis CodingBased O
n Moving Two-Dimensional Objects 』、Signal Proces
sing : Image Communication 、 Vol.2、 pp.409-428 (1
990)において、任意形状の領域を符号化するためのエ
ンコーダが提唱されているが、ここでは、対象がそれら
の運動、形状及び色を定義する3つのパラメータセット
にて記述される。優先制御によって、ある特定の領域に
対する運動推定技法の成否に基づいて二つのモードの内
のどのモードにて符号化された情報が伝送されるべきか
が決定される。上の論文において考慮される形状符号化
技法は、各領域の形状を、多角形の組合わせ及びスプラ
イン表現にて近似する。合衆国特許第5,295,20
1号も対象本位のエンコーダを開示するが、このエンコ
ーダは、任意形状領域の形状を多角形に近似するための
装置を含む。多角形の頂点が決定され、頂点の座標値が
計算され、伝送される。
ローチにおいては、長方形或は正方形のブロックではな
く、任意形状の領域が符号化される。ブロック本位の符
号化技法においては、典型的には、二つのパラメータセ
ット、より具体的には、各ブロックの運動パラメータと
色パラメータが伝送されるが、対象本位のアプローチに
おいては、加えて、その画像の復元のために各領域の形
状を伝送することが要求される。例えば、M.Hotter、
『Object-Oriented Analysis-Synthesis CodingBased O
n Moving Two-Dimensional Objects 』、Signal Proces
sing : Image Communication 、 Vol.2、 pp.409-428 (1
990)において、任意形状の領域を符号化するためのエ
ンコーダが提唱されているが、ここでは、対象がそれら
の運動、形状及び色を定義する3つのパラメータセット
にて記述される。優先制御によって、ある特定の領域に
対する運動推定技法の成否に基づいて二つのモードの内
のどのモードにて符号化された情報が伝送されるべきか
が決定される。上の論文において考慮される形状符号化
技法は、各領域の形状を、多角形の組合わせ及びスプラ
イン表現にて近似する。合衆国特許第5,295,20
1号も対象本位のエンコーダを開示するが、このエンコ
ーダは、任意形状領域の形状を多角形に近似するための
装置を含む。多角形の頂点が決定され、頂点の座標値が
計算され、伝送される。
【0005】対象本位のアプローチにおいて使用される
ための一つのカラー符号化技法がGilge et al., 『Codi
ng of Arbitrarily Shaped Image Segments Based On A
Generalized Orthogonal Transform 』、Signal Proce
ssing: Image Communication、 Vol.1、pp.153-180(198
9)において提唱されている。この論文において開示さ
れる技法によると、各領域の内側の強度関数が符号化さ
れるべき領域の形状に対して垂直なベイシス関数(basi
s functions )の加重総和によって近似される。この技
法は理論的には有効であるが、リアルタイムシステム内
での実現に対しては現実的ではない。
ための一つのカラー符号化技法がGilge et al., 『Codi
ng of Arbitrarily Shaped Image Segments Based On A
Generalized Orthogonal Transform 』、Signal Proce
ssing: Image Communication、 Vol.1、pp.153-180(198
9)において提唱されている。この論文において開示さ
れる技法によると、各領域の内側の強度関数が符号化さ
れるべき領域の形状に対して垂直なベイシス関数(basi
s functions )の加重総和によって近似される。この技
法は理論的には有効であるが、リアルタイムシステム内
での実現に対しては現実的ではない。
【0006】
【発明が解決しようとする課題】対象本位のアプローチ
が持つ潜在的な長所のために、リアルタイムシステム内
での用途に対して簡単に実現できるような方法にて画像
をおのおのが対応する運動ベクトルを持つ複数の任意形
状領域にセグメント化するため、及びセグメント内容を
表現するための強力なスキームを提供する対象本位のエ
ンコーダに対する需要が存在する。また、従来の技術に
よる要件とは対比的に、その内容が事前に知られていな
い画像の、全般的なシーン或はシーケンスを符号化する
ことが可能なエンコーダを入手することが要望される。
さらに、追加の機能、例えば、あるシーケンス内の画像
間で、シーンのある領域から別の領域に移動する対象を
追跡する機能を持つエンコーダを提供することが要望さ
れる。
が持つ潜在的な長所のために、リアルタイムシステム内
での用途に対して簡単に実現できるような方法にて画像
をおのおのが対応する運動ベクトルを持つ複数の任意形
状領域にセグメント化するため、及びセグメント内容を
表現するための強力なスキームを提供する対象本位のエ
ンコーダに対する需要が存在する。また、従来の技術に
よる要件とは対比的に、その内容が事前に知られていな
い画像の、全般的なシーン或はシーケンスを符号化する
ことが可能なエンコーダを入手することが要望される。
さらに、追加の機能、例えば、あるシーケンス内の画像
間で、シーンのある領域から別の領域に移動する対象を
追跡する機能を持つエンコーダを提供することが要望さ
れる。
【0007】
【課題を解決するための手段】本発明は、ビデオフレー
ムのシーケンスを符号化するためのエンコーダを開示す
る。このエンコーダは、セグメント化ユニットを持つ
が、これは、ビデオシーケンス内の現フレームを複数の
任意形状領域にセグメント化する。ここで、これら複数
の任意形状領域のおのおのに運動ベクトルが割り当てら
れる。このエンコーダはさらにビデオシーケンス内の前
に復号されたフレームを格納するための復号フレームメ
モリと、セグメント化ユニット及び復号フレームメモリ
に接続された現フレームの画像データを前に復号された
フレーム及び複数の任意形状領域の一つに割り当てられ
た運動ベクトルに基づいて予測するための予測ユニット
を含む。このエンコーダはさらに任意形状領域のおのお
のの形状を符号化するための領域形状符号化ユニットを
含む。
ムのシーケンスを符号化するためのエンコーダを開示す
る。このエンコーダは、セグメント化ユニットを持つ
が、これは、ビデオシーケンス内の現フレームを複数の
任意形状領域にセグメント化する。ここで、これら複数
の任意形状領域のおのおのに運動ベクトルが割り当てら
れる。このエンコーダはさらにビデオシーケンス内の前
に復号されたフレームを格納するための復号フレームメ
モリと、セグメント化ユニット及び復号フレームメモリ
に接続された現フレームの画像データを前に復号された
フレーム及び複数の任意形状領域の一つに割り当てられ
た運動ベクトルに基づいて予測するための予測ユニット
を含む。このエンコーダはさらに任意形状領域のおのお
のの形状を符号化するための領域形状符号化ユニットを
含む。
【0008】モード決定ユニットによって、複数のモー
ドの中のどのモードにて、複数の任意形状領域のおのお
のからの画像データが符号化されるべきかが決定され
る。これら複数のモードとしては、複数の任意形状領域
の一つと関連する運動ベクトルの符号化が行なわれる第
一のインタフレーム(フレーム相互間)モードと、複数
の任意形状領域の一つと関連する運動ベクトル及び運動
補償された予測エラーの符号化が行なわれる第二のイン
タフレームモードが含まれる。第三のモードは、複数の
任意形状領域の一つの内部の各画素の強度の符号化が行
なわれるイントラフレーム(フレーム内)モードであ
る。次に、モード符号化ユニットによって、複数の任意
領域領域のおのおのが符号化されるべきモードが符号化
される。
ドの中のどのモードにて、複数の任意形状領域のおのお
のからの画像データが符号化されるべきかが決定され
る。これら複数のモードとしては、複数の任意形状領域
の一つと関連する運動ベクトルの符号化が行なわれる第
一のインタフレーム(フレーム相互間)モードと、複数
の任意形状領域の一つと関連する運動ベクトル及び運動
補償された予測エラーの符号化が行なわれる第二のイン
タフレームモードが含まれる。第三のモードは、複数の
任意形状領域の一つの内部の各画素の強度の符号化が行
なわれるイントラフレーム(フレーム内)モードであ
る。次に、モード符号化ユニットによって、複数の任意
領域領域のおのおのが符号化されるべきモードが符号化
される。
【0009】このエンコーダは、複数の任意形状領域と
関連する運動ベクトルを符号化するための運動符号化ユ
ニットを含む。加えて、このエンコーダは、複数の任意
形状領域の一つと関連する運動補償された予測エラー
を、その領域が第二のインタフレームモードにて符号化
されるべきであるときに符号化し、複数の任意形状領域
の一つの内部の各画素の強度を、その領域がイントラフ
レームモードにて符号化されるべきときに符号化するた
めの領域内コーダ(領域インテリアコーダ)を含む。
関連する運動ベクトルを符号化するための運動符号化ユ
ニットを含む。加えて、このエンコーダは、複数の任意
形状領域の一つと関連する運動補償された予測エラー
を、その領域が第二のインタフレームモードにて符号化
されるべきであるときに符号化し、複数の任意形状領域
の一つの内部の各画素の強度を、その領域がイントラフ
レームモードにて符号化されるべきときに符号化するた
めの領域内コーダ(領域インテリアコーダ)を含む。
【0010】バッファがエンコーダと伝送或は記憶媒体
との間の符号化された情報の伝送のためのインタフェー
スとして機能する。最後に、速度コントローラがバッフ
ァから信号を受信する。速度コントローラは、次に、バ
ッファから受信された信号に応答して、セグメント化ユ
ニット、モード決定ユニット、領域内コーダ(ユニッ
ト)及びフレームスキップユニットに制御信号を送信す
る。
との間の符号化された情報の伝送のためのインタフェー
スとして機能する。最後に、速度コントローラがバッフ
ァから信号を受信する。速度コントローラは、次に、バ
ッファから受信された信号に応答して、セグメント化ユ
ニット、モード決定ユニット、領域内コーダ(ユニッ
ト)及びフレームスキップユニットに制御信号を送信す
る。
【0011】本発明の他の特徴及び長所が以下の詳細な
説明及び付録の図面を参照することによって明らかにな
るものである。
説明及び付録の図面を参照することによって明らかにな
るものである。
【0012】
【実施例】図1は任意の形状とサイズの領域を持つビデ
オシーケンスの運動の推定、セグメント化及び符号化を
遂行するためのエンコーダ100のブロック図である。
エンコーダ100は、バッファ105を持つが、これ
は、エンコーダ100と伝送或は記憶媒体との間のイン
タフェースとして機能する。バッファ105は、バッフ
ァ105が一杯であることを示す信号をライン106を
通じて速度コントローラ108に送信する。バッファ1
05から受信された信号に応答して、速度コントローラ
108は、エンコーダ100から伝送或は記憶媒体への
情報の流れの速度を、制御信号をライン109を介して
エンコーダ100の他の要素に提供することによって制
御する。エンコーダ100は、さらに、フレームスキッ
プユニット110を含むが、これは、デジタルビデオフ
レームのシーケンスを入力ライン112から一時に一つ
づつ受信し、シーケンス内の特定のフレームがスキップ
されるべきであるか決定する。
オシーケンスの運動の推定、セグメント化及び符号化を
遂行するためのエンコーダ100のブロック図である。
エンコーダ100は、バッファ105を持つが、これ
は、エンコーダ100と伝送或は記憶媒体との間のイン
タフェースとして機能する。バッファ105は、バッフ
ァ105が一杯であることを示す信号をライン106を
通じて速度コントローラ108に送信する。バッファ1
05から受信された信号に応答して、速度コントローラ
108は、エンコーダ100から伝送或は記憶媒体への
情報の流れの速度を、制御信号をライン109を介して
エンコーダ100の他の要素に提供することによって制
御する。エンコーダ100は、さらに、フレームスキッ
プユニット110を含むが、これは、デジタルビデオフ
レームのシーケンスを入力ライン112から一時に一つ
づつ受信し、シーケンス内の特定のフレームがスキップ
されるべきであるか決定する。
【0013】エンコーダ100内にはセグメント化ユニ
ット120が含まれるが、これは、フレームを任意の形
状及びサイズを持つ複数の領域にセグメント化する。セ
グメント化ユニット120は、現フレームを復号フレー
ムメモリユニット125内に格納された前に復号された
フレームから予測するための各領域と関連する運動ベク
トルを決定する。セグメント化ユニット120の詳細に
ついては、後に説明される。
ット120が含まれるが、これは、フレームを任意の形
状及びサイズを持つ複数の領域にセグメント化する。セ
グメント化ユニット120は、現フレームを復号フレー
ムメモリユニット125内に格納された前に復号された
フレームから予測するための各領域と関連する運動ベク
トルを決定する。セグメント化ユニット120の詳細に
ついては、後に説明される。
【0014】エンコーダ100は、予測ユニット130
を含むが、これは、現フレームのある領域をセグメント
化ユニット120から受信される運動ベクトル及び復号
フレームメモリユニット125から受信される前に復号
されたフレームに基づいて予測する。
を含むが、これは、現フレームのある領域をセグメント
化ユニット120から受信される運動ベクトル及び復号
フレームメモリユニット125から受信される前に復号
されたフレームに基づいて予測する。
【0015】エンコーダ100内には、さらに、現フレ
ームの各領域の形状を符号化するための領域形状符号化
ユニット140が含まれる。エンコーダ100は、さら
に、3つのモードのどのモードにてある領域の画像デー
タが符号化及び伝送されるべきかを決定するためのモー
ド決定ユニット150を含む。これら3つのモードにつ
いては、後に詳細に説明される。エンコーダ100内に
はさらにモード及び運動ベクトル符号化ユニット160
が含まれるが、これは、ある領域に関する情報を送信す
るための特定のモードを符号化するため、及びその領域
と関連する運動ベクトルを符号化するために使用され
る。図1には、単一のユニットとして示されるが、モー
ド及び運動ベクトル符号化ユニット160は、モードを
符号化するための機能と、運動ベクトルを符号化するた
めの機能を、別個に遂行するための別個のユニットから
構成することも可能である。同様に、領域内(インテリ
ア)コーダ170が含まれる。これは後に詳細に説明さ
れるが、その領域が符号化されるべきモードに基づいて
ある特定の領域の予測エラー或は強度値のどちらかを符
号化する機能を持つ。エンコーダ100は、さらに、こ
れら各種の符号化ユニット140、160及び170か
らの符号化された情報をあらかじめ定義された順番でバ
ッファ105にパスするためのマルチプレクサ180を
含む。最後に、コントロールユニット101がエンコー
ダ100のこれら他のユニット間の対話及び情報の流れ
を制御するためのこれら他のユニットに接続される。コ
ントロールユニット101は、例えば、適当にプログラ
ムされたマイクロプロセッサ、或は適当に構成されたハ
ードウエアであることも、或はソフトウエアとして実現
することも考えられる。
ームの各領域の形状を符号化するための領域形状符号化
ユニット140が含まれる。エンコーダ100は、さら
に、3つのモードのどのモードにてある領域の画像デー
タが符号化及び伝送されるべきかを決定するためのモー
ド決定ユニット150を含む。これら3つのモードにつ
いては、後に詳細に説明される。エンコーダ100内に
はさらにモード及び運動ベクトル符号化ユニット160
が含まれるが、これは、ある領域に関する情報を送信す
るための特定のモードを符号化するため、及びその領域
と関連する運動ベクトルを符号化するために使用され
る。図1には、単一のユニットとして示されるが、モー
ド及び運動ベクトル符号化ユニット160は、モードを
符号化するための機能と、運動ベクトルを符号化するた
めの機能を、別個に遂行するための別個のユニットから
構成することも可能である。同様に、領域内(インテリ
ア)コーダ170が含まれる。これは後に詳細に説明さ
れるが、その領域が符号化されるべきモードに基づいて
ある特定の領域の予測エラー或は強度値のどちらかを符
号化する機能を持つ。エンコーダ100は、さらに、こ
れら各種の符号化ユニット140、160及び170か
らの符号化された情報をあらかじめ定義された順番でバ
ッファ105にパスするためのマルチプレクサ180を
含む。最後に、コントロールユニット101がエンコー
ダ100のこれら他のユニット間の対話及び情報の流れ
を制御するためのこれら他のユニットに接続される。コ
ントロールユニット101は、例えば、適当にプログラ
ムされたマイクロプロセッサ、或は適当に構成されたハ
ードウエアであることも、或はソフトウエアとして実現
することも考えられる。
【0016】図2は、本発明の原理に従う画像符号化方
法のステップを示す流れ図である。ステップ205に示
されるように、フレームのシーケンス内の現フレームが
フレームスキップユニットによってライン112を介し
て受信される。ステップ210に示されるように、フレ
ームスキップユニット110が現フレームがスキップさ
れるべきか否かを決定する。現フレームがスキップされ
るべきか否かの判定は、例えば、バッファ105からラ
イン106を介してバッファが一杯であることを示す情
報を受信及び処理する速度コントローラ108からライ
ン111上に受信される制御信号によって決定される。
現フレームがスキップされるべきであるときは、そのシ
ーケンス内の次のフレームがステップ205に戻ること
によって受信される。
法のステップを示す流れ図である。ステップ205に示
されるように、フレームのシーケンス内の現フレームが
フレームスキップユニットによってライン112を介し
て受信される。ステップ210に示されるように、フレ
ームスキップユニット110が現フレームがスキップさ
れるべきか否かを決定する。現フレームがスキップされ
るべきか否かの判定は、例えば、バッファ105からラ
イン106を介してバッファが一杯であることを示す情
報を受信及び処理する速度コントローラ108からライ
ン111上に受信される制御信号によって決定される。
現フレームがスキップされるべきであるときは、そのシ
ーケンス内の次のフレームがステップ205に戻ること
によって受信される。
【0017】現フレームがスキップされるべきでないと
きは、ステップ215によって示されるように、現フレ
ームがおのおのがそれと関連する運動ベクトルを持つ複
数の領域にセグメント化或は分割される。より詳細に
は、これら領域は、事前には知られてない形状及びサイ
ズを持ち、従って、任意形状領域として扱われる。現フ
レームが複数の領域に分割される。つまり、同一或は類
似する強度を持つ隣接する画素が互いにグループ化或は
併合され、或は同一或は類似する運動ベクトルを持つ隣
接する画素が互いにグループ化される。フレームが分割
できる領域の数は、速度コントローラ108から受信さ
れるライン121上の制御信号によって制限或は制御さ
れる。各領域に対して運動ベクトルを決定するために、
セグメント化ユニット120は、前に復号されたフレー
ムをメモリユニット125から入力として受信する。
きは、ステップ215によって示されるように、現フレ
ームがおのおのがそれと関連する運動ベクトルを持つ複
数の領域にセグメント化或は分割される。より詳細に
は、これら領域は、事前には知られてない形状及びサイ
ズを持ち、従って、任意形状領域として扱われる。現フ
レームが複数の領域に分割される。つまり、同一或は類
似する強度を持つ隣接する画素が互いにグループ化或は
併合され、或は同一或は類似する運動ベクトルを持つ隣
接する画素が互いにグループ化される。フレームが分割
できる領域の数は、速度コントローラ108から受信さ
れるライン121上の制御信号によって制限或は制御さ
れる。各領域に対して運動ベクトルを決定するために、
セグメント化ユニット120は、前に復号されたフレー
ムをメモリユニット125から入力として受信する。
【0018】セグメント化ユニット120の出力は、そ
のフレーム内の各画素が帰属する領域を示す記述、及び
各領域に割り当てられた運動ベクトルを示す配列を含
む。フレームが複数の領域にセグメント化され、各領域
に運動ベクトルが割り当てられたら、ステップ220に
おいて全ての領域が処理されたことが示されるまで、各
領域の処理が続行される。現フレーム内の全ての領域が
処理され、符号化されると、ステップ205において、
次のフレームが受信される。現フレーム内の全ての領域
が処理及び符号化されてないことが示された場合は、ス
テップ225に示されるように、このプロセスは、次の
領域の処理及び符号化を続行する。
のフレーム内の各画素が帰属する領域を示す記述、及び
各領域に割り当てられた運動ベクトルを示す配列を含
む。フレームが複数の領域にセグメント化され、各領域
に運動ベクトルが割り当てられたら、ステップ220に
おいて全ての領域が処理されたことが示されるまで、各
領域の処理が続行される。現フレーム内の全ての領域が
処理され、符号化されると、ステップ205において、
次のフレームが受信される。現フレーム内の全ての領域
が処理及び符号化されてないことが示された場合は、ス
テップ225に示されるように、このプロセスは、次の
領域の処理及び符号化を続行する。
【0019】ステップ230に示されるように、各領域
の形状が領域形状符号化ユニット140によって符号化
される。この目的のために、領域形状符号化ユニット1
40は、セグメント化ユニット120から、そのフレー
ム内の各画素が帰属する領域を示す記述を受信する。こ
の記述は、例えば、領域ラベルの単純な配列、境界の二
進配列、一連のチェーンコード、トリー、或は他の適当
なセグメント化表現であり得る。形状符号化ユニット1
40は、この記述を幾つかのロスレス符号化技法の任意
の一つ、例えば、演算符号化技法を使用して符号化す
る。任意形状領域の形状の符号化ステップが、ステップ
220の前に遂行されることに注意する。次に、ステッ
プ235において、現領域に割り当てられた運動ベクト
ルに基づいて予測領域が割り当てられる。この予測領域
は、メモリユニット125から前に復号されたフレーム
を受信する予測ユニット130内で計算される。そのフ
レーム内の各画素が帰属する領域を示す記述及び各領域
に割り当てられた運動ベクトルを示す配列がセグメント
化ユニット120から予測ユニット130にも送信され
る。
の形状が領域形状符号化ユニット140によって符号化
される。この目的のために、領域形状符号化ユニット1
40は、セグメント化ユニット120から、そのフレー
ム内の各画素が帰属する領域を示す記述を受信する。こ
の記述は、例えば、領域ラベルの単純な配列、境界の二
進配列、一連のチェーンコード、トリー、或は他の適当
なセグメント化表現であり得る。形状符号化ユニット1
40は、この記述を幾つかのロスレス符号化技法の任意
の一つ、例えば、演算符号化技法を使用して符号化す
る。任意形状領域の形状の符号化ステップが、ステップ
220の前に遂行されることに注意する。次に、ステッ
プ235において、現領域に割り当てられた運動ベクト
ルに基づいて予測領域が割り当てられる。この予測領域
は、メモリユニット125から前に復号されたフレーム
を受信する予測ユニット130内で計算される。そのフ
レーム内の各画素が帰属する領域を示す記述及び各領域
に割り当てられた運動ベクトルを示す配列がセグメント
化ユニット120から予測ユニット130にも送信され
る。
【0020】ステップ240において、モード決定ユニ
ット150が各領域の画像データが少なくとも3つのモ
ードの中のどのモードにて符号化及び伝送されるべきか
を決定する。これら3つの可能なモードの第一のモード
は、インタフレーム(フレーム相互間)運動補償モード
であり、このモードにおいては、ある特定の領域と関連
する運動ベクトルの符号化が行なわれる。この第一のモ
ードにおいては、予測エラーの符号化は行なわれない。
この場合、デコーダは、その領域の画像を前に復号され
たフレーム及び運動ベクトルを使用して復元することと
なる。第二のモードにおいても、フレーム間で運動の補
償が行なわれる。ただし、その領域内の画像強度の品質
を向上させるために、その領域内の各画素に対して、運
動を補償された予測エラーが、運動ベクトルと共に符号
化される。この予測エラーは、現画像セグメントと予測
ユニット130から得られた運動を補償されたセグメン
トとの間の差を表わす。第三のモードは、イントラフレ
ーム(フレーム内)モードであり、このモードにおいて
は、その領域内の画像データが前に復号或は復元された
フレームとは独立的に扱われる。エンコーダ100によ
って生成される符号化された情報の量を最小にする観点
からは、第一のモードが、符号化されるべき情報の量が
最も少ないために、好ましい。ただし、フレーム間運動
補償モードは、過多な雑音を含んだり、或は、ある状況
においては現フレーム内の領域を正確に予測できない場
合がある。このように状況においては、その領域内の各
画素の強度、換言すれば、輝度とクロミナンスを符号化
することが必要である。
ット150が各領域の画像データが少なくとも3つのモ
ードの中のどのモードにて符号化及び伝送されるべきか
を決定する。これら3つの可能なモードの第一のモード
は、インタフレーム(フレーム相互間)運動補償モード
であり、このモードにおいては、ある特定の領域と関連
する運動ベクトルの符号化が行なわれる。この第一のモ
ードにおいては、予測エラーの符号化は行なわれない。
この場合、デコーダは、その領域の画像を前に復号され
たフレーム及び運動ベクトルを使用して復元することと
なる。第二のモードにおいても、フレーム間で運動の補
償が行なわれる。ただし、その領域内の画像強度の品質
を向上させるために、その領域内の各画素に対して、運
動を補償された予測エラーが、運動ベクトルと共に符号
化される。この予測エラーは、現画像セグメントと予測
ユニット130から得られた運動を補償されたセグメン
トとの間の差を表わす。第三のモードは、イントラフレ
ーム(フレーム内)モードであり、このモードにおいて
は、その領域内の画像データが前に復号或は復元された
フレームとは独立的に扱われる。エンコーダ100によ
って生成される符号化された情報の量を最小にする観点
からは、第一のモードが、符号化されるべき情報の量が
最も少ないために、好ましい。ただし、フレーム間運動
補償モードは、過多な雑音を含んだり、或は、ある状況
においては現フレーム内の領域を正確に予測できない場
合がある。このように状況においては、その領域内の各
画素の強度、換言すれば、輝度とクロミナンスを符号化
することが必要である。
【0021】一つの実施例においては、画像データをど
の特定のモードにて符号化すべきかという決定は、例え
ば、考慮される領域に対する以下によって表わされる差
の絶対値の総和を正規化した二つの値(normalized sum
s of absolute differences、NSAD)の計算値、つ
まり、
の特定のモードにて符号化すべきかという決定は、例え
ば、考慮される領域に対する以下によって表わされる差
の絶対値の総和を正規化した二つの値(normalized sum
s of absolute differences、NSAD)の計算値、つ
まり、
【数4】 に基づいて行なわれる。ここで、Nはその領域内の画素
の総数であり、iはその領域内のある与えられた画素で
あり、そして、Rはその領域内の全ての画素の集合であ
る。さらに、上の式において、Ii は特定の画素iの強
度であり、mはその領域内の全ての画素の強度の平均値
であり、ei は画素iと関連する運動補償予測エラーを
示す。上の目的に対して、モード決定ユニット150
は、予測ユニット130に送られたのと同一のセグメン
ト化及び運動情報を受信する。加えて、モード決定ユニ
ット150は、フレームスキップユニット110から現
フレームを受信し、予測ユニット130から予測領域を
受信する。
の総数であり、iはその領域内のある与えられた画素で
あり、そして、Rはその領域内の全ての画素の集合であ
る。さらに、上の式において、Ii は特定の画素iの強
度であり、mはその領域内の全ての画素の強度の平均値
であり、ei は画素iと関連する運動補償予測エラーを
示す。上の目的に対して、モード決定ユニット150
は、予測ユニット130に送られたのと同一のセグメン
ト化及び運動情報を受信する。加えて、モード決定ユニ
ット150は、フレームスキップユニット110から現
フレームを受信し、予測ユニット130から予測領域を
受信する。
【0022】図3は符号化された画像データが送信され
るべきモードを決定するために使用されるNSADP 対
NSADI の値をプロットする一例としてのグラフであ
る。このグラフは実線によってこれら3つのモードに対
応する3つのセクションに分けられる。NSADP の値
がしきい値cよりも小さなときは第一のモードにて画像
データが符号化及び送信される。NSADP の値がしき
い値cを越え、SNADI よりも少なくともしきい値b
だけ小さい場合は、画像データは、第二のモードにて符
号化及び伝送される。その他の場合は、画像データは、
第三のモードにて符号化及び伝送される。従って、bの
値は、符号化領域をイントラフレームモードと第二のイ
ンタフレームモードとの間で分類するために選択され
る。cの値は第一のインタフレーム運動補償モードにお
いて符号化されるべき領域の数を制御するために選択さ
れる。bとcの値はフレーム内に存在する雑音及び速度
制御ユニット108の状態に依存する。この目的に対し
て、例えば、ライン151上に速度コントローラ108
から制御信号が受信される。モードがいったん決定され
ると、ステップ245によって示されるように選択され
たモードが、モード符号化ユニット160によって二進
符号に符号化される。
るべきモードを決定するために使用されるNSADP 対
NSADI の値をプロットする一例としてのグラフであ
る。このグラフは実線によってこれら3つのモードに対
応する3つのセクションに分けられる。NSADP の値
がしきい値cよりも小さなときは第一のモードにて画像
データが符号化及び送信される。NSADP の値がしき
い値cを越え、SNADI よりも少なくともしきい値b
だけ小さい場合は、画像データは、第二のモードにて符
号化及び伝送される。その他の場合は、画像データは、
第三のモードにて符号化及び伝送される。従って、bの
値は、符号化領域をイントラフレームモードと第二のイ
ンタフレームモードとの間で分類するために選択され
る。cの値は第一のインタフレーム運動補償モードにお
いて符号化されるべき領域の数を制御するために選択さ
れる。bとcの値はフレーム内に存在する雑音及び速度
制御ユニット108の状態に依存する。この目的に対し
て、例えば、ライン151上に速度コントローラ108
から制御信号が受信される。モードがいったん決定され
ると、ステップ245によって示されるように選択され
たモードが、モード符号化ユニット160によって二進
符号に符号化される。
【0023】上に説明された3つのモードとは異なる或
はこれに加えて他のモードも考えられることに注意す
る。さらに、上に説明された3つのモードのおのおのが
他のパラメータを選択することを要求され、或は選択す
ることを許され、結果としてそれらの二次モードが派生
する。例えば、量子化ステップのサイズは、領域内コー
ダ(領域インテリアコーダ)170との関連で後に説明
されるように、調節可能である。これらパラメータ或は
二次モードの設定もモード決定ユニットによって符号化
される。
はこれに加えて他のモードも考えられることに注意す
る。さらに、上に説明された3つのモードのおのおのが
他のパラメータを選択することを要求され、或は選択す
ることを許され、結果としてそれらの二次モードが派生
する。例えば、量子化ステップのサイズは、領域内コー
ダ(領域インテリアコーダ)170との関連で後に説明
されるように、調節可能である。これらパラメータ或は
二次モードの設定もモード決定ユニットによって符号化
される。
【0024】次のステップは、ステップ250によって
示されるように、考慮下の領域に対してイントラフレー
ム符号化モードが選択されたか否かに依存する。イント
ラフレーム符号化モードが選択されなかった場合は、ス
テップ255によって示されるように、その領域の運動
ベクトルも符号化ユニット160によって符号化され
る。次のステップは、ステップ260によって示される
ように、第一のインタフレーム運動補償モードが選択さ
れたか否かに依存する。第一のインタフレーム運動補償
モードが選択されなかった場合は、ステップ265によ
って示されるように、その領域の内側に対する画像デー
タが領域内コーダ170によって符号化される。上に説
明のように、予測エラーを使用するインタフレーム運動
補償モードの場合、内部符号化(インテリア符号化)を
行なうためには、考慮下の領域内の各画素に対する予測
エラーを符号化及び伝送することが要求される。これと
は対比的に、イントラフレームモードの場合の内部符号
化においては、その領域内の各画素の強度を符号化及び
伝送されることが要求される。領域内コーダ170の詳
細、及び領域の内側の画像データを符号化するステップ
については、後に詳細に説明される。
示されるように、考慮下の領域に対してイントラフレー
ム符号化モードが選択されたか否かに依存する。イント
ラフレーム符号化モードが選択されなかった場合は、ス
テップ255によって示されるように、その領域の運動
ベクトルも符号化ユニット160によって符号化され
る。次のステップは、ステップ260によって示される
ように、第一のインタフレーム運動補償モードが選択さ
れたか否かに依存する。第一のインタフレーム運動補償
モードが選択されなかった場合は、ステップ265によ
って示されるように、その領域の内側に対する画像デー
タが領域内コーダ170によって符号化される。上に説
明のように、予測エラーを使用するインタフレーム運動
補償モードの場合、内部符号化(インテリア符号化)を
行なうためには、考慮下の領域内の各画素に対する予測
エラーを符号化及び伝送することが要求される。これと
は対比的に、イントラフレームモードの場合の内部符号
化においては、その領域内の各画素の強度を符号化及び
伝送されることが要求される。領域内コーダ170の詳
細、及び領域の内側の画像データを符号化するステップ
については、後に詳細に説明される。
【0025】領域の形状、選択されたモード、及びその
領域の内側の運動ベクトル及び/或は画像データを含む
考慮下の領域に対する符号化された情報が、次に、ステ
ップ270によって示されるように、マルチプレクサ1
80及びバッファ105を介し、伝送媒体をへてデコー
ダに伝送される。別の方法として、デコーダの所での後
の復号のために、適当なメモリ媒体、例えば、CD−R
OM内に格納しておくこともできる。ステップ230か
ら270が、各領域に対して、現イントラフレームの全
ての領域が符号化及び伝送されるまで遂行される。こう
して、デコーダは、符号化された情報を使用して、現フ
レームを復元することができる。
領域の内側の運動ベクトル及び/或は画像データを含む
考慮下の領域に対する符号化された情報が、次に、ステ
ップ270によって示されるように、マルチプレクサ1
80及びバッファ105を介し、伝送媒体をへてデコー
ダに伝送される。別の方法として、デコーダの所での後
の復号のために、適当なメモリ媒体、例えば、CD−R
OM内に格納しておくこともできる。ステップ230か
ら270が、各領域に対して、現イントラフレームの全
ての領域が符号化及び伝送されるまで遂行される。こう
して、デコーダは、符号化された情報を使用して、現フ
レームを復元することができる。
【0026】図4は、セグメント化ユニット120の一
つの好ましい実施例を示す。ユニット120は、フレー
ムスキップユニット110及び復号フレームメモリユニ
ット125から、それぞれ、ライン401及び402を
介して、現フレームと前に復号されたフレームを受信す
る。こうして受信された現フレームと前に復号されたフ
レームデータは、ライン406上の第一の制御信号に応
答して、スイッチ405を介して、強度セグメント化ユ
ニット420にルートされる。また、場合によっては、
こうして受信された現フレームと前に復号されたデータ
は、ライン406上の第二の制御信号に応答して、スイ
ッチ405を介して、一つの結合された推定及びセグメ
ント化ユニット450にルートされる。これら第一と第
二の制御信号は、制御ユニット101によって生成され
る。強度セグメント化ユニット420は、現フレームを
複数の任意形状を持つ強度領域に分割する。つまり、同
一或は類似する強度特性を持つ画素が互いにグループ化
される。例えば、画像のシーケンス内の最初のフレーム
は、運動の推定及びセグメント化が前に符号化されたフ
レームが存在しないときは適用できないために、常に、
強度セグメント化ユニット420に送られ、イントラフ
レームモードにて符号化される。そのイントラフレーム
の各画素が帰属する領域を示す記述がリード422を介
してスイッチ465に送られる。スイッチ465もライ
ン466上の制御信号によって制御される。このスイッ
チは、そのイントラフレームの各画素が帰属する領域を
示すこの情報が強度セグメント化ユニット420或は結
合された運動推定及びセグメント化ユニット450のい
ずれかからデコーダ100内の他のユニットにパスされ
ることを許すが、これは、ユニット450とユニット4
20のどちらが現フレームを受信したかに依存する。そ
のイントラフレームの各画素が帰属する領域を示すこの
情報は、次に、領域形状符号化ユニット140、予測ユ
ニット130及びモード決定ユニット150に送られ
る。
つの好ましい実施例を示す。ユニット120は、フレー
ムスキップユニット110及び復号フレームメモリユニ
ット125から、それぞれ、ライン401及び402を
介して、現フレームと前に復号されたフレームを受信す
る。こうして受信された現フレームと前に復号されたフ
レームデータは、ライン406上の第一の制御信号に応
答して、スイッチ405を介して、強度セグメント化ユ
ニット420にルートされる。また、場合によっては、
こうして受信された現フレームと前に復号されたデータ
は、ライン406上の第二の制御信号に応答して、スイ
ッチ405を介して、一つの結合された推定及びセグメ
ント化ユニット450にルートされる。これら第一と第
二の制御信号は、制御ユニット101によって生成され
る。強度セグメント化ユニット420は、現フレームを
複数の任意形状を持つ強度領域に分割する。つまり、同
一或は類似する強度特性を持つ画素が互いにグループ化
される。例えば、画像のシーケンス内の最初のフレーム
は、運動の推定及びセグメント化が前に符号化されたフ
レームが存在しないときは適用できないために、常に、
強度セグメント化ユニット420に送られ、イントラフ
レームモードにて符号化される。そのイントラフレーム
の各画素が帰属する領域を示す記述がリード422を介
してスイッチ465に送られる。スイッチ465もライ
ン466上の制御信号によって制御される。このスイッ
チは、そのイントラフレームの各画素が帰属する領域を
示すこの情報が強度セグメント化ユニット420或は結
合された運動推定及びセグメント化ユニット450のい
ずれかからデコーダ100内の他のユニットにパスされ
ることを許すが、これは、ユニット450とユニット4
20のどちらが現フレームを受信したかに依存する。そ
のイントラフレームの各画素が帰属する領域を示すこの
情報は、次に、領域形状符号化ユニット140、予測ユ
ニット130及びモード決定ユニット150に送られ
る。
【0027】他のフレームも同様に、強度セグメント化
ユニット420によって選択及びセグメント化し、イン
トラフレームモードにて伝送することができる。例え
ば、前のイントラフレームに現れていなかったような対
象或は画像領域となるようなシーン変化が発生した場
合、そのフレームを、強度セグメント化ユニット420
に伝送する判定が下される。同様にして、後の時点にお
けるシーケンスの編集を容易にするために、フレーム
が、周期的に、例えば、数秒に1フレームの割合で、強
度セグメント化ユニット420によってセグメント化さ
れる。加えて、ある特定のフレームが強度セグメント化
ユニット420によって、エンコーダ100とデコーダ
とを再同期するためにセグメント化される。
ユニット420によって選択及びセグメント化し、イン
トラフレームモードにて伝送することができる。例え
ば、前のイントラフレームに現れていなかったような対
象或は画像領域となるようなシーン変化が発生した場
合、そのフレームを、強度セグメント化ユニット420
に伝送する判定が下される。同様にして、後の時点にお
けるシーケンスの編集を容易にするために、フレーム
が、周期的に、例えば、数秒に1フレームの割合で、強
度セグメント化ユニット420によってセグメント化さ
れる。加えて、ある特定のフレームが強度セグメント化
ユニット420によって、エンコーダ100とデコーダ
とを再同期するためにセグメント化される。
【0028】インタフレームモードを強度セグメント化
ユニット420を使用して遂行することもできる。この
ような状況においては、領域ベース比較ユニット425
内で長方形或は正方形の領域を採用する周知のブロック
比較技法と類似する領域比較技法を使用して運動ベクト
ルが決定される。換言すれば、各領域が前に復号された
フレームと比較され、その領域に対するトータル予測エ
ラーを最小にする最良のマッチが見つけられる。次に、
運動ベクトルを使用して、現在の領域と前に復号された
イントラフレームの一致が見つけられた領域の間の位置
間の相対的な差が表わされる。次に、この運動ベクトル
が、ライン427を介して、スイッチ475に送られ
る。スイッチ475は、ライン476上の制御信号によ
っても制御されるが、この制御信号は、各領域に割り当
てられた運動ベクトルが、ユニット450と420のど
ちらが現フレームを受信したかに依存して、強度セグメ
ント化ユニット420或は結合された運動推定及びセグ
メント化ユニット450のいずれからデコーダ100内
の他の要素にパスされることを許す。ライン476上の
信号は、従って、ライン406及び466上の制御信号
とも同期される。ライン466及び476上の制御信号
も制御ユニット101から送られ、上に説明のように、
画像データが強度セグメント化ユニット420及び結合
された運動推定及びセグメント化ユニット450からデ
コーダ100内の他のユニットにパスされるのを制御す
る。イントラフレームの各領域と関連する運動ベクトル
を示す情報が予測ユニット130及びモード決定ユニッ
ト150に送られる。
ユニット420を使用して遂行することもできる。この
ような状況においては、領域ベース比較ユニット425
内で長方形或は正方形の領域を採用する周知のブロック
比較技法と類似する領域比較技法を使用して運動ベクト
ルが決定される。換言すれば、各領域が前に復号された
フレームと比較され、その領域に対するトータル予測エ
ラーを最小にする最良のマッチが見つけられる。次に、
運動ベクトルを使用して、現在の領域と前に復号された
イントラフレームの一致が見つけられた領域の間の位置
間の相対的な差が表わされる。次に、この運動ベクトル
が、ライン427を介して、スイッチ475に送られ
る。スイッチ475は、ライン476上の制御信号によ
っても制御されるが、この制御信号は、各領域に割り当
てられた運動ベクトルが、ユニット450と420のど
ちらが現フレームを受信したかに依存して、強度セグメ
ント化ユニット420或は結合された運動推定及びセグ
メント化ユニット450のいずれからデコーダ100内
の他の要素にパスされることを許す。ライン476上の
信号は、従って、ライン406及び466上の制御信号
とも同期される。ライン466及び476上の制御信号
も制御ユニット101から送られ、上に説明のように、
画像データが強度セグメント化ユニット420及び結合
された運動推定及びセグメント化ユニット450からデ
コーダ100内の他のユニットにパスされるのを制御す
る。イントラフレームの各領域と関連する運動ベクトル
を示す情報が予測ユニット130及びモード決定ユニッ
ト150に送られる。
【0029】ただし、典型的には、そのシーケンス内の
初期フレーム以外のフレームは、結合された推定及びセ
グメント化ユニット450によってセグメント化され
る。一つの好ましい実施例においては、この結合された
推定及びセグメント化ユニット450は、ここに参照の
目的で編入される本発明の譲受人に譲渡された『Method
and Apparatus For Motion Field Estimation、 Segment
ation and Coding 』という名称の合衆国特許出願第0
8/271,308号において説明されている方法及び
装置に従って現フレームを複数の領域に分割し、各領域
に運動ベクトルを割り当てる。上に述べられた特許出願
において説明されている運動推定及びセグメント化技法
は、階層アプローチを使用し、このアプローチにおいて
は、フレームが複数の領域に分割され、複数のより小さ
なレベル及びより小さな領域に対して運動ベクトル更新
ルーチンが遂行される。一つの好ましい実施例において
は、この運動ベクトル更新ルーチンは、所定のサイズの
より小さな正方形のブロックに対して遂行される。この
運動ベクトル更新ルーチンは、各より小さなブロックの
運動ベクトルの更新を行なう。つまり、各ブロックに、
そのより小さなブロックに割り当てられている初期運動
ベクトル、隣接するブロックの運動ベクトル、及びその
より小さなブロックに対してブロック比較技法を遂行す
ることによって得られた更新された或は一致が見られた
運動ベクトルの中から選択された最良の運動ベクトルを
割り当てる。第一のセグメント化レベルにおいてこれら
ブロックに割り当てられる初期運動ベクトルは、典型的
には、ゼロであり、一方、続くセグメント化レベルにお
いて各ブロックに割り当てられる初期運動ベクトルは、
それが得られた親ブロックの運動ベクトルである。各ブ
ロックに対する最良の運動ベクトルは、優先スキーム及
びあらかじめ定められたしきい値に従って選択される。
初期フレーム以外のフレームは、結合された推定及びセ
グメント化ユニット450によってセグメント化され
る。一つの好ましい実施例においては、この結合された
推定及びセグメント化ユニット450は、ここに参照の
目的で編入される本発明の譲受人に譲渡された『Method
and Apparatus For Motion Field Estimation、 Segment
ation and Coding 』という名称の合衆国特許出願第0
8/271,308号において説明されている方法及び
装置に従って現フレームを複数の領域に分割し、各領域
に運動ベクトルを割り当てる。上に述べられた特許出願
において説明されている運動推定及びセグメント化技法
は、階層アプローチを使用し、このアプローチにおいて
は、フレームが複数の領域に分割され、複数のより小さ
なレベル及びより小さな領域に対して運動ベクトル更新
ルーチンが遂行される。一つの好ましい実施例において
は、この運動ベクトル更新ルーチンは、所定のサイズの
より小さな正方形のブロックに対して遂行される。この
運動ベクトル更新ルーチンは、各より小さなブロックの
運動ベクトルの更新を行なう。つまり、各ブロックに、
そのより小さなブロックに割り当てられている初期運動
ベクトル、隣接するブロックの運動ベクトル、及びその
より小さなブロックに対してブロック比較技法を遂行す
ることによって得られた更新された或は一致が見られた
運動ベクトルの中から選択された最良の運動ベクトルを
割り当てる。第一のセグメント化レベルにおいてこれら
ブロックに割り当てられる初期運動ベクトルは、典型的
には、ゼロであり、一方、続くセグメント化レベルにお
いて各ブロックに割り当てられる初期運動ベクトルは、
それが得られた親ブロックの運動ベクトルである。各ブ
ロックに対する最良の運動ベクトルは、優先スキーム及
びあらかじめ定められたしきい値に従って選択される。
【0030】図5は結合された移動推定及びセグメント
化ユニット450を示す略ブロック図であるが、ユニッ
ト450は、各正方形ブロックと関連する最良の運動ベ
クトルを生成するため、及び対応する運動ベクトルを持
つ任意形状の領域を生成するために使用される。運動ベ
クトル候補ユニット510は、ある特定の正方形のブロ
ックと関連する最良の運動ベクトルに対する候補として
機能する運動ベクトルを計算及び格納するために使用さ
れる。これら運動ベクトルとしては、各ブロックに割り
当てられた初期運動ベクトル(PV)、最高8個までの
隣接するブロックの運動ベクトル(V0からV7)、及
びそのブロックに対してブロック比較技法を遂行するこ
とによって得られた更新された運動ベクトル(NV)が
含まれる。予測エラー計算ユニット520は、各候補運
動ベクトルに対応する運動補償予測或はマッチングエラ
ーを計算及び格納する。最小予測エラーユニット530
は、予測エラーユニット520によって計算された予測
エラーの中から最小の予測エラー(MIN)を決定す
る。次に、運動ベクトル候補、対応する予測エラー、及
び最小予測エラーが最良運動ベクトル選択ユニット54
0に送られ、ユニット540は、考慮下のブロックに対
する最良の運動ベクトルを選択する。
化ユニット450を示す略ブロック図であるが、ユニッ
ト450は、各正方形ブロックと関連する最良の運動ベ
クトルを生成するため、及び対応する運動ベクトルを持
つ任意形状の領域を生成するために使用される。運動ベ
クトル候補ユニット510は、ある特定の正方形のブロ
ックと関連する最良の運動ベクトルに対する候補として
機能する運動ベクトルを計算及び格納するために使用さ
れる。これら運動ベクトルとしては、各ブロックに割り
当てられた初期運動ベクトル(PV)、最高8個までの
隣接するブロックの運動ベクトル(V0からV7)、及
びそのブロックに対してブロック比較技法を遂行するこ
とによって得られた更新された運動ベクトル(NV)が
含まれる。予測エラー計算ユニット520は、各候補運
動ベクトルに対応する運動補償予測或はマッチングエラ
ーを計算及び格納する。最小予測エラーユニット530
は、予測エラーユニット520によって計算された予測
エラーの中から最小の予測エラー(MIN)を決定す
る。次に、運動ベクトル候補、対応する予測エラー、及
び最小予測エラーが最良運動ベクトル選択ユニット54
0に送られ、ユニット540は、考慮下のブロックに対
する最良の運動ベクトルを選択する。
【0031】前述の特許出願第08/271,308内
に開示される技法に従う各ブロックに対する最良運動ベ
クトルの選択の背後の基本的な考えは、隣接するブロッ
クの一つの運動ベクトル、或は現ブロックに対してブロ
ック比較技法によって得られた更新された運動ベクトル
を、置換の結果としてそのブロックに対するマッチング
或は予測エラーに大きな改善が見られる場合に限って、
代替として使用することである。さらに、隣接するブロ
ックの運動ベクトルの方に、ブロック比較技法から得ら
れた現ブロックの更新された運動ベクトルと比較して優
先が与えられる。
に開示される技法に従う各ブロックに対する最良運動ベ
クトルの選択の背後の基本的な考えは、隣接するブロッ
クの一つの運動ベクトル、或は現ブロックに対してブロ
ック比較技法によって得られた更新された運動ベクトル
を、置換の結果としてそのブロックに対するマッチング
或は予測エラーに大きな改善が見られる場合に限って、
代替として使用することである。さらに、隣接するブロ
ックの運動ベクトルの方に、ブロック比較技法から得ら
れた現ブロックの更新された運動ベクトルと比較して優
先が与えられる。
【0032】図6は、例えば、8個の隣接するブロック
を持つあるブロックに対して最良運動ベクトル選択ユニ
ット540によって最良運動ベクトルを選択する一例と
してのプロセスを示すが、これは、ステップ600から
開始される。図6において、PE、及びE0からE7
は、それぞれ、考慮下のブロックに、運動ベクトルP
V、及びV0からV7を割り当てた結果としての予測エ
ラーを指す。ステップ605において、予測エラー(P
E)と最小の予測エラー(MIN)との間の差の絶対値
があらかじめ定められたしきい値(THR)よりも小さ
いか否か決定される。ステップ605において絶対値が
しきい値よりも小さな場合は、この決定は、運動ベクト
ルV0からV7の任意の一つ、或はNVを代替として使
用しても予測エラーに大きな改善が見られないという指
標として機能する。ステップ610によって示されるよ
うに、従って、運動ベクトルPVが考慮下のブロックに
対する最良の運動ベクトルとして選択される。
を持つあるブロックに対して最良運動ベクトル選択ユニ
ット540によって最良運動ベクトルを選択する一例と
してのプロセスを示すが、これは、ステップ600から
開始される。図6において、PE、及びE0からE7
は、それぞれ、考慮下のブロックに、運動ベクトルP
V、及びV0からV7を割り当てた結果としての予測エ
ラーを指す。ステップ605において、予測エラー(P
E)と最小の予測エラー(MIN)との間の差の絶対値
があらかじめ定められたしきい値(THR)よりも小さ
いか否か決定される。ステップ605において絶対値が
しきい値よりも小さな場合は、この決定は、運動ベクト
ルV0からV7の任意の一つ、或はNVを代替として使
用しても予測エラーに大きな改善が見られないという指
標として機能する。ステップ610によって示されるよ
うに、従って、運動ベクトルPVが考慮下のブロックに
対する最良の運動ベクトルとして選択される。
【0033】ただし、ステップ605において決定され
た差の絶対値がTHRよりも小さくない場合は、プロセ
スはステップ615へと続行する。ステップ615、6
25、635、645、655、665、675及び6
85のおのおのにおいて、MINと予測エラーE0から
E7のおのおのの一つとの間の差の絶対値がTHRより
小さいか否か決定される。ある特定のステップにおける
差の絶対値がTHRよりも小さな場合は、それぞれ、ス
テップ620、630、640、650、660、68
0及び690によって示されるように、その特定の予測
エラーに対応する運動ベクトルが最良の運動ベクトルと
して選択される。ステップ615、625、635、6
45、655、665、675及び685がある最良の
運動ベクトルが選択されるまで順番に遂行される。前述
の絶対値の差のどれもがTHRよりも小さくない場合
は、ステップ695によって示されるように、この決定
は、VNが考慮下のブロックに対する最良の運動ベクト
ルとして使用されるべきであることを示す。
た差の絶対値がTHRよりも小さくない場合は、プロセ
スはステップ615へと続行する。ステップ615、6
25、635、645、655、665、675及び6
85のおのおのにおいて、MINと予測エラーE0から
E7のおのおのの一つとの間の差の絶対値がTHRより
小さいか否か決定される。ある特定のステップにおける
差の絶対値がTHRよりも小さな場合は、それぞれ、ス
テップ620、630、640、650、660、68
0及び690によって示されるように、その特定の予測
エラーに対応する運動ベクトルが最良の運動ベクトルと
して選択される。ステップ615、625、635、6
45、655、665、675及び685がある最良の
運動ベクトルが選択されるまで順番に遂行される。前述
の絶対値の差のどれもがTHRよりも小さくない場合
は、ステップ695によって示されるように、この決定
は、VNが考慮下のブロックに対する最良の運動ベクト
ルとして使用されるべきであることを示す。
【0034】現フレームの各正方形ブロックに対してい
ったん最良の運動ベクトルが得られたら、各正方形のブ
ロックが等しいサイズの4つのより小さな正方形のブロ
ックにセグメント化され、この運動ベクトル更新ルーチ
ンが各より小さなブロックに対して停止条件に到達する
まで反復される。この停止条件は、例えば、この運動ベ
クトル更新ルーチンがそれに対して遂行されるブロック
のサイズの下限、或はこの運動ベクトル更新ルーチンの
サイクルの所定の回数であったりする。
ったん最良の運動ベクトルが得られたら、各正方形のブ
ロックが等しいサイズの4つのより小さな正方形のブロ
ックにセグメント化され、この運動ベクトル更新ルーチ
ンが各より小さなブロックに対して停止条件に到達する
まで反復される。この停止条件は、例えば、この運動ベ
クトル更新ルーチンがそれに対して遂行されるブロック
のサイズの下限、或はこの運動ベクトル更新ルーチンの
サイクルの所定の回数であったりする。
【0035】停止条件に到達し、現セグメントレベルに
おける各正方形ブロックへの最良の運動ベクトルが割り
当てが終了すると、再セグメント化ユニット550が併
合プロセスを遂行する。この併合プロセスは、同一或は
類似する運動ベクトルを持つ隣接する正方形領域を併合
して、セットの重複のない併合領域を形成するが、各併
合された領域は、任意形状を持ち、また、異なる寸法を
持つ。ただし、幾つかの用途においては、併合プロセス
の結果として得られる全ての任意形状の領域は、同一或
は異なる寸法を持つ正方形のブロックとされることに注
意する。
おける各正方形ブロックへの最良の運動ベクトルが割り
当てが終了すると、再セグメント化ユニット550が併
合プロセスを遂行する。この併合プロセスは、同一或は
類似する運動ベクトルを持つ隣接する正方形領域を併合
して、セットの重複のない併合領域を形成するが、各併
合された領域は、任意形状を持ち、また、異なる寸法を
持つ。ただし、幾つかの用途においては、併合プロセス
の結果として得られる全ての任意形状の領域は、同一或
は異なる寸法を持つ正方形のブロックとされることに注
意する。
【0036】再セグメント化ユニット550はまた現イ
ントラフレームの各画素にそれが帰属する領域を示す領
域ラベルを割り当てる。これら領域ラベルが次にライン
452を介してスイッチ465に送られ、各領域と関連
する運動ベクトルがライン457を介してスイッチ47
5に送られる。上に説明されたように、ライン466及
び476上の制御信号によって、これら領域ラベル及び
運動ベクトルがエンコーダ100の他の要素に、その後
の処理及び符号化のためにパスされることが許される。
ントラフレームの各画素にそれが帰属する領域を示す領
域ラベルを割り当てる。これら領域ラベルが次にライン
452を介してスイッチ465に送られ、各領域と関連
する運動ベクトルがライン457を介してスイッチ47
5に送られる。上に説明されたように、ライン466及
び476上の制御信号によって、これら領域ラベル及び
運動ベクトルがエンコーダ100の他の要素に、その後
の処理及び符号化のためにパスされることが許される。
【0037】本発明の一つの好ましい実施例において
は、エンコーダ100の領域内コーダ(170)は、例
えば、本発明の譲受人に譲渡され、ここら参照の目的で
編入された『Block Transform Coder For Arbitrarily
Shaped Image Segments 』という名称の米国特許出願第
08/138,295号において開示されている方法を
実現する。特許出願第08/138,295号において
説明されているこの方法は、任意形状の領域を持つ画像
データを効果的に符号化するために周波数領域をゼロに
し空間領域を強調する動作を持つブロック変換を使用す
る。この方法は、一群の選択された変換係数に対する最
良の値を見つけるために、凸集合上への連続投影(PO
CS)という理論に基づく反復的技法を使用する。
は、エンコーダ100の領域内コーダ(170)は、例
えば、本発明の譲受人に譲渡され、ここら参照の目的で
編入された『Block Transform Coder For Arbitrarily
Shaped Image Segments 』という名称の米国特許出願第
08/138,295号において開示されている方法を
実現する。特許出願第08/138,295号において
説明されているこの方法は、任意形状の領域を持つ画像
データを効果的に符号化するために周波数領域をゼロに
し空間領域を強調する動作を持つブロック変換を使用す
る。この方法は、一群の選択された変換係数に対する最
良の値を見つけるために、凸集合上への連続投影(PO
CS)という理論に基づく反復的技法を使用する。
【0038】上の反復的POCS技法を実現するための
一例としての領域内コーダ170の略ブロック図が図7
に示される。画像外接ユニット710がモード決定ユニ
ット150から任意形状領域802の画像データを受信
する。図8に示されるように、任意形状の領域802の
回りに長方形領域のブロック801が外接される。こう
して、任意形状の領域802内に横たわる元の内側の画
素集合802が定義(区画)される。同様にして、任意
形状の領域802の外側で、かつ、領域ブロック801
内に横たわる外部画素集合804が定義(区画)され
る。挿間器720が、内側画素集合803の画素値の挿
間によって、外側画素集合804の画素値を初期化す
る。挿間方法の一例としては、画素反復、鏡像化、形態
学的拡大などの操作が含まれる。
一例としての領域内コーダ170の略ブロック図が図7
に示される。画像外接ユニット710がモード決定ユニ
ット150から任意形状領域802の画像データを受信
する。図8に示されるように、任意形状の領域802の
回りに長方形領域のブロック801が外接される。こう
して、任意形状の領域802内に横たわる元の内側の画
素集合802が定義(区画)される。同様にして、任意
形状の領域802の外側で、かつ、領域ブロック801
内に横たわる外部画素集合804が定義(区画)され
る。挿間器720が、内側画素集合803の画素値の挿
間によって、外側画素集合804の画素値を初期化す
る。挿間方法の一例としては、画素反復、鏡像化、形態
学的拡大などの操作が含まれる。
【0039】図7に示される変換コーダ170の他の要
素は、画像データに関してPOCS反復ループを遂行す
る。それに関してPOCS反復ループが遂行される画像
データは、領域の画像データを符号化し、伝送或は格納
すべきモードに依存することに注意すべきである。予測
エラーが符号化される第二のインタフレーム運動補償モ
ードにおいては、POCS反復ループによって符号化さ
れる画像データは、考慮下の領域内の画素と関連する予
測エラーである。一方、イントラフレームモードが使用
される場合は、POCS反復ループによって符号化され
る画像データには、考慮下の領域内の各画素の強度が含
まれる。
素は、画像データに関してPOCS反復ループを遂行す
る。それに関してPOCS反復ループが遂行される画像
データは、領域の画像データを符号化し、伝送或は格納
すべきモードに依存することに注意すべきである。予測
エラーが符号化される第二のインタフレーム運動補償モ
ードにおいては、POCS反復ループによって符号化さ
れる画像データは、考慮下の領域内の画素と関連する予
測エラーである。一方、イントラフレームモードが使用
される場合は、POCS反復ループによって符号化され
る画像データには、考慮下の領域内の各画素の強度が含
まれる。
【0040】POCS反復ループは、変換係数を生成す
ることを目的とする順変換ユニット703による順変
換、例えば、離散コサイン変換(DCT)の適用から開
始される。順変換係数の集合(TCS)がTCS生成器
740によって生成されるが、これは、変換係数のエネ
ルギ圧密特性に従って最も高いエネルギを持つ変換係数
を選択及び保持する。残りの変換係数はゼロにセットさ
れる。選択される係数の数は速度コントローラ108に
よって決定されるが、速度コントローラは、例えば、任
意形状領域のサイズに基づいてしきい値エネルギを確立
する。次に、逆変換ユニット750が、計算された画素
値を持つ計算された領域ブロックを生成する目的で、T
CSに関して逆変換を遂行する。内側画素置換ユニット
760によって、修正された計算領域ブロックを形成す
る目的で、内側画素集合に対応する計算された画素が元
の画素値と置換される。修正された計算領域ブロック
(MCRB)に関して順変換が再度遂行され、新たな変
換係数の集合が生成される。
ることを目的とする順変換ユニット703による順変
換、例えば、離散コサイン変換(DCT)の適用から開
始される。順変換係数の集合(TCS)がTCS生成器
740によって生成されるが、これは、変換係数のエネ
ルギ圧密特性に従って最も高いエネルギを持つ変換係数
を選択及び保持する。残りの変換係数はゼロにセットさ
れる。選択される係数の数は速度コントローラ108に
よって決定されるが、速度コントローラは、例えば、任
意形状領域のサイズに基づいてしきい値エネルギを確立
する。次に、逆変換ユニット750が、計算された画素
値を持つ計算された領域ブロックを生成する目的で、T
CSに関して逆変換を遂行する。内側画素置換ユニット
760によって、修正された計算領域ブロックを形成す
る目的で、内側画素集合に対応する計算された画素が元
の画素値と置換される。修正された計算領域ブロック
(MCRB)に関して順変換が再度遂行され、新たな変
換係数の集合が生成される。
【0041】ある特定の変換係数の集合(TCS)が最
適な変換係数(OTC)を表わす場合は、そのTCS
が、例えば、可変長符号化を使用して量子化及び符号化
される。量子化のステップサイズは、例えば、速度コン
トローラ108から受信されるライン171上の信号に
よって決定される。次に、最適の変換係数のこうして符
号化され、量子化された値が、出力としてマルチプレク
サ180に送られる。
適な変換係数(OTC)を表わす場合は、そのTCS
が、例えば、可変長符号化を使用して量子化及び符号化
される。量子化のステップサイズは、例えば、速度コン
トローラ108から受信されるライン171上の信号に
よって決定される。次に、最適の変換係数のこうして符
号化され、量子化された値が、出力としてマルチプレク
サ180に送られる。
【0042】ある特定のTCSは、POCSループの反
復が所定の回数に達したとき、外側画素が変化しないと
き、或は反復間の外側画の差の二乗の平均があらかじめ
定められたしきい値内にあるとき、最適な変換係数を表
わすと考えられる。TCSが最適の変換係数を表さない
場合は、POCSループが最適の変換係数が得られるま
で反復される。復号フレーム記憶装置125或はデコー
ダの所で、その領域に対する画像データを復元するため
に逆量子化プロセス及び逆変換プロセスが適用され、そ
の後、復号された領域が格納される。
復が所定の回数に達したとき、外側画素が変化しないと
き、或は反復間の外側画の差の二乗の平均があらかじめ
定められたしきい値内にあるとき、最適な変換係数を表
わすと考えられる。TCSが最適の変換係数を表さない
場合は、POCSループが最適の変換係数が得られるま
で反復される。復号フレーム記憶装置125或はデコー
ダの所で、その領域に対する画像データを復元するため
に逆量子化プロセス及び逆変換プロセスが適用され、そ
の後、復号された領域が格納される。
【0043】本発明による領域ベースビデオデコーダ1
00は、低ビット速度を使用するシステムに対して特に
有効である。通信用途としては、例えば、ビデオ電話、
パーソナル通信、マルチメディア、教育、娯楽、遠隔セ
ンシングなど、システムの伝送或は記憶容量が限られて
いる所に適用することが考えられる。
00は、低ビット速度を使用するシステムに対して特に
有効である。通信用途としては、例えば、ビデオ電話、
パーソナル通信、マルチメディア、教育、娯楽、遠隔セ
ンシングなど、システムの伝送或は記憶容量が限られて
いる所に適用することが考えられる。
【0044】本発明が特定の実施例との関連で説明され
たが、当業者においては、本発明の精神及び範囲に入る
他の構成が容易に考えられるものであり、従って、本発
明は、特許請求の範囲によってのみ限定されるものであ
る。
たが、当業者においては、本発明の精神及び範囲に入る
他の構成が容易に考えられるものであり、従って、本発
明は、特許請求の範囲によってのみ限定されるものであ
る。
【図1】任意の形状及びサイズの領域を持つビデオシー
ケンスの運動推定、セグメント化及び符号化を遂行する
ためのエンコーダのブロック図である。
ケンスの運動推定、セグメント化及び符号化を遂行する
ためのエンコーダのブロック図である。
【図2】本発明の原理に従う画像符号化方法のステップ
を示す流れ図である。
を示す流れ図である。
【図3】符号化された画像データがどのモードにて伝送
されるべきかを決定するために使用される一例としての
グラフである。
されるべきかを決定するために使用される一例としての
グラフである。
【図4】図1のエンコーダ内で使用されるための運動推
定及びセグメント化ユニットの一つの好ましい実施例を
示す。
定及びセグメント化ユニットの一つの好ましい実施例を
示す。
【図5】任意形状の領域を対応する運動ベクトルと共に
生成するための一つの結合された運動推定及びセグメン
ト化ユニットの一つの実施例を示す略ブロック図であ
る。
生成するための一つの結合された運動推定及びセグメン
ト化ユニットの一つの実施例を示す略ブロック図であ
る。
【図6】正方形ブロックに対する最良の運動ベクトルを
選択するためのステップを示す流れ図である。
選択するためのステップを示す流れ図である。
【図7】図1のエンコーダ内で使用されるための領域内
エンコーダの略ブロック図である。
エンコーダの略ブロック図である。
【図8】長方形ブロックによって外接される一例として
の任意形状領域を示す。
の任意形状領域を示す。
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/30 H04N 7/133 Z (72)発明者 トラッド エブラヒミ スイス国 ヴァウド,エキュブレンズ 1024,ケミン ド ヴェイロード 11 (72)発明者 バリン ジオフリー ハスケル アメリカ合衆国 07724 ニュージャーシ ィ,ティントン フォールズ,グレンウッ ド ドライヴ 82 (72)発明者 キャスパー ホーン アメリカ合衆国 97006 オレゴン,ビー ヴァートン,アパートメント 205,エス. ダブリュ.エスチュアリー ドライヴ 16368
Claims (49)
- 【請求項1】 ビデオフレームのシーケンスを符号化す
るためのエンコーダであって、このエンコーダが、 前記ビデオシーケンス内の現フレームを複数の任意形状
領域に分割するセグメント化ユニットを含み、ここで、
前記複数の任意形状領域のおのおのに運動ベクトルが割
り当てられ、このエンコーダがさらに、 前記ビデオシーケンス内の前に復号されたフレームを格
納するための復号フレームメモリ、 前記セグメント化ユニット及び前記復号フレームメモリ
に接続された、前記現フレームの画像データを、前に復
号されたフレーム及び前記複数の任意形状領域の一つに
割り当てられた運動ベクトルに基づいて予測するための
予測ユニット、 前記任意形状領域のおのおのの形状を符号化するための
領域形状符号化ユニット、及び前記複数の任意形状領域
のおのおのからの画像データを複数のモードのどのモー
ドにて符号化すべきかを決定するためのモード決定ユニ
ットを含み、ここで、これら複数のモードの一つとし
て、イントラフレーム(フレーム内)モードが含まれ、
このモードにおいては前記複数の任意形状領域の一つの
中の各画素の強度の符号化が行なわれ、このエンコーダ
がさらに、 前記複数の任意形状領域のおのおのが符号化されるべき
モードを符号化するためのモード符号化ユニット、 前記複数の任意形状領域と関連する運動ベクトルを符号
化するための運動符号化ユニット、 前記複数の任意形状領域の一つの中の各画素の強度を、
その領域が前記のイントラフレームモードにて符号化さ
れるべきである場合に、符号化するための領域内コー
ダ、 エンコーダからの符号化された情報を伝送するためのイ
ンタフェースとして機能するバッファ、及び前記バッフ
ァから信号を受信する速度コントローラを含み、ここで
この速度コントローラが、前記バッファから受信される
信号に応答して、前記セグメント化ユニット、前記モー
ド決定ユニット、及び前記領域内コーダに制御信号を送
信することを特徴とするエンコーダ。 - 【請求項2】 前記複数のモードがさらに第一のインタ
フレーム(フレーム相互間)モード及び第二のインタフ
レーム(フレーム相互間)モードを含み、第一のインタ
フレームモードにおいては前記複数の任意形状領域の一
つと関連する運動ベクトルの符号化が行なわれ、一方、
第二のインタフレームモードにおいては前記複数の任意
形状領域の一つと関連する運動ベクトル及び運動補償さ
れた予測エラーの符号化が行なわれ、 前記領域内コーダが前記複数の任意形状領域の一つと関
連する運動補償された予測エラーを、その領域が前記第
二のインタフレームモードにて符号化されるべきである
場合に符号化することを特徴とする請求項1のエンコー
ダ。 - 【請求項3】 前記セグメント化ユニットが以下の機
能、つまり(a)前記現フレームをあらかじめ定められ
た形状及びサイズの複数のより小さな領域に分割する機
能、 (b)前記より小さな領域のおのおのに対して、運動ベ
クトル更新ルーチンを遂行する機能、つまり、各より小
さな領域に、そのより小さな領域に割り当てられた初期
運動ベクトル、隣接する領域の運動ベクトル、及びその
より小さな領域に対してブロックマッチング技法を遂行
することによって得られた更新された運動ベクトル、の
中から、優先スキーム及びあらかじめ定められたしきい
値に従って選択された最良運動ベクトルを割り当てる機
能、 (c)前記より小さな領域のおのおのを所定の形状及び
サイズの複数のさらに小さな領域に分割する機能、 (d)ステップ(c)の結果としてのさらに小さな領域
のおのおのに対してステップ(b)を反復する機能、 (e)ステップ(d)の結果としてのさらに小さな領域
のおのおのに対してステップ(c)をあるループ条件に
到達するまで反復して遂行する機能、及び(d)類似す
る運動ベクトルを持つ隣接する領域を併合して前記任意
形状領域を形成する機能、を遂行するための一つの結合
された運動推定及びセグメント化ユニットから構成され
ることを特徴とする請求項1のデコーダ。 - 【請求項4】 前記結合された運動推定及びセグメント
化ユニットが最良運動ベクトル選択ユニットを含み、こ
の最良運動ベクトル選択ユニットが、以下の機能、つま
り最小のマッチングエラーを、それぞれ、より小さな領
域に、以下の運動ベクトル、つまり、 (a)そのより小さな領域に割り当てられた初期運動ベ
クトル、 (b)そのより小さな領域に対してブロックマッチング
技法を遂行することによって得られた更新された運動ベ
クトル、及び(c)そのより小さな領域に隣接する領域
の運動ベクトル、を割り当てることによって得られるマ
ッチングエラーの中から決定する機能、 初期運動ベクトルを、最も小さなマッチングエラーと初
期運動ベクトルを使用して得られたマッチングエラーと
の間の差の絶対値が所定のしきい値よりも小さな場合、
最良運動ベクトルとして選択する機能、 隣接する領域の一つの運動ベクトルを、 (a)最小のマッチングエラーと初期運動ベクトルを使
用して得られたマッチングエラーとの間の差の絶対値が
所定のしきい値よりも小さくない場合、及び(b)最小
のマッチングエラーとそのより小さな領域に隣接する領
域の運動ベクトルを割り当てることによって得られるマ
ッチングエラーとの間の差の絶対値が所定のしきい値よ
りも小さくない場合に、最良運動ベクトルとして選択す
る機能、 ブロックマッチング技法にて更新された(マッチされ
た)運動ベクトルを、 (a)最小のマッチングエラーと初期運動ベクトルを使
用して得られたマッチングエラーとの間の差の絶対値が
所定のしきい値よりも小さくない場合、及び(b)最小
のマッチングエラーとそのより小さな領域に隣接する領
域の一つの運動ベクトルを割り当てることによって得ら
れたマッチングエラーのおのおのとの間の差の絶対値が
所定のしきい値よりも小さくない場合に、最良運動ベク
トルとして選択する機能、を遂行することを特徴とする
請求項3のデコーダ。 - 【請求項5】 前記より小さな領域のおのおのを複数の
さらに小さな領域に分割するステップが前記より小さな
領域のおのおのを同一サイズの4つのさらに小さな正方
形のブロックに分割するステップから成ることを特徴と
する請求項3のエンコーダ。 - 【請求項6】 前記領域内コーダが任意形状の画像を最
適変換係数(OTC)に変換するための周波数領域をゼ
ロにし、空間領域を強調する動作を持つ反復技法を使用
することを特徴とする請求項5のエンコーダ。 - 【請求項7】 前記領域内コーダが、 任意形状領域の画像データを受信し、前記任意形状領域
の回りに長方形のブロックを外接させ、これによって、
元の内部画素集合と外部画素集合を定義(区画)するた
めの画像限定ユニット、 前記内部画素集合の画素値を前記外部画素集合の画素値
を初期化するために挿間するための挿間器、 前記画像を変換係数に変換するための順変換器、及び前
記変換係数から変換係数の集合(TCS)を生成するた
めのTCS生成器を含み、ここで、このTCS生成器が
前記のTCSが前記のOTCとみなされる場合は前記T
CSを出力し、前記TCSが前記OTCとみなされない
場合は前記TCSを逆変換器に送信し、この領域内コー
ダがさらに、 前記TCSを計算された画素値を持つ計算領域ブロック
に変換するための逆変換器、及び前記内部画素集合に対
応する計算された画素値を前記元の画素値と置換するこ
とによって修正された計算領域ブロックを形成するため
のリプレーサを含み、このリプレーサがこうして修正さ
れた計算領域ブロックを再反復のために順変換器に送信
することを特徴とする請求項6のエンコーダ。 - 【請求項8】 前記TCS生成器が、前記TCSを、変
換係数のエネルギ圧密特性に従って高いエネルギを持つ
変換係数を選択及び保持し、全ての選択されなかった変
換係数をゼロにすることによって生成することを特徴と
する請求項7のエンコーダ。 - 【請求項9】 前記フレームのシーケンスを受信し、前
記シーケンス内の各フレームがスキップされるべきか否
かを決定するためのフレームスキップユニットがさらに
含まれることを特徴とする請求項8のエンコーダ。 - 【請求項10】 符号化された情報を、前記領域形状符
号化ユニット、前記のモード符号化ユニット、前記運動
符号化ユニット、及び前記領域内コーダから、所定の順
番にて、前記のバッファにパスするためのマルチプレク
サがさらに含まれることを特徴とする請求項9のエンコ
ーダ。 - 【請求項11】 前記モード決定ユニットが以下のよう
な特定の領域の差の絶対値の総和の正規化された値、つ
まり、 【数1】 に基づいて、前記任意形状領域の特定の一つの画像デー
タを符号化するための複数のモードの一つを決定し、こ
こで、Nはその特定の領域内の画素の総数を表わし、i
はその領域内のある与えられた画素を表わし、Rはその
特定の領域内の全ての画素の集合を表わし、Ii はある
与えられた画素iの強度を表わし、mはその特定の領域
内の全ての画素の平均値を表わし、そしてei はある与
えられた画素iと関連する運動補償された予測エラーを
表わすことを特徴とする請求項2のエンコーダ。 - 【請求項12】 前記セグメント化ユニットがさらに、 あるフレームを複数の任意形状の強度領域に分割するた
め、つまり、類似する強度特性を持つ画素を互いにグル
ープ化するための強度セグメント化ユニット、 前記複数の強度領域の一つと前に復号されたフレーム内
のマッチング技法にて更新された(マッチ)された領域
との間の相対差を示す運動ベクトルを決定するための領
域ベースマッチングユニット、 受信されたフレームを第一の制御信号に応答して、前記
強度セグメント化ユニットに送信し、一方、第二の制御
信号に応答して、前記結合された運動推定及びセグメン
ト化ユニットに送信するためのスイッチ、及び画像デー
タ情報をそれぞれ前記の第一及び第二の制御信号と同期
された制御信号に応答して前記強度セグメント化ユニッ
ト、或は前記結合された運動推定及びセグメント化ユニ
ットにパスするための複数のスイッチを含むことを特徴
とする請求項3のエンコーダ。 - 【請求項13】 前記領域内コーダが周波数領域をゼロ
にし、空間領域を強調する動作を持つ反復技法を使用し
てある任意形状の画像を最適変換係数(OTC)に変換
することを特徴とする請求項1のエンコーダ。 - 【請求項14】 前記の領域内コーダが、 任意形状領域の画像データを受信し、前記任意形状領域
の回りに長方形のブロックを外接させ、これによって、
元の内部画素集合と外部画素集合を定義(区画)するた
めの画像限定ユニット、 前記内部画素集合の画素値を前記の外部画素集合の画素
値を初期化するために挿間するための挿間器、 前記画像を変換係数に変換するための順変換器、及び前
記変換係数から変換係数の集合(TCS)を生成するた
めのTCS生成器を含み、ここで、このTCS生成器が
前記のTCSが前記のOTCとみなされる場合は前記T
CSを出力し、前記TCSが前記OTCとみなされない
場合は前記TCSを逆変換器に送信し、この領域内コー
ダがさらに、 前記TCSを計算された画素値を持つ計算領域ブロック
に変換するための逆変換器、及び前記内部画素集合に対
応する計算された画素値を前記元の画素値と置換するこ
とによって修正された計算領域ブロックを形成するため
のリプレーサを含み、このリプレーサがこうして修正さ
れた計算領域ブロックを再反復のために順変換器に送信
することを特徴とする請求項13のエンコーダ。 - 【請求項15】 前記フレームのシーケンスを受信し、
前記シーケンス内の各フレームがスキップされるべきか
否かを決定するためのフレームスキップユニットがさら
に含まれることを特徴とする請求項1のエンコーダ。 - 【請求項16】 符号化された情報を前記領域形状符号
化ユニット、前記モード符号化ユニット、前記の運動符
号化ユニット、及び前記の領域内コーダから、所定の順
番にて、前記バッファにパスするためのマルチプレクサ
がさらに含まれることを特徴とする請求項15のエンコ
ーダ。 - 【請求項17】 前記速度コントローラが前記バッファ
から受信された信号に応答して制御信号を前記フレーム
スキップユニットに送信することを特徴とする請求項1
5のエンコーダ。 - 【請求項18】 ビデオシーケンス内のフレームを符号
化する方法であって、この方法が、 (a)フレームをおのおのが対応する運動ベクトルを持
つ複数の任意形状領域にセグメント化するステップ、 (b)各任意形状領域の形状を符号化するステップ、及
び(c)各任意形状領域の画像データを複数のモードの
中のどのモードにて符号化すべきかを決定するステップ
を含み、ここで、これら複数のモードとして、ある任意
形状領域に対応する運動ベクトルの符号化が行なわれる
第一のモード、ある任意形状領域に対応する運動ベクト
ルと運動補償された予測エラーの符号化が行なわれる第
二のモード、及びある任意形状領域内の各画素の強度の
符号化が行なわれる第三のイントラフレームモードが含
まれ、この方法がさらに、 (d)前記複数の任意形状領域のおのおのが符号化され
るべきモードを符号化するステップ、 (e)前記複数の任意形状領域の一つと対応する運動ベ
クトルを、その領域が前記第一のモード或は第二のモー
ドのいずれかで符号化されるべきである場合に、符号化
するステップ、 (f)前記複数の任意形状領域の一つの中の各画素の強
度を、その領域が前記の第三のモードにて符号化される
べきである場合に、符号化するステップ、及び(h)ス
テップ(b)、(d)、(e)、(f)及び(g)にて
符号化された情報を格納するステップを含むことを特徴
とする方法。 - 【請求項19】 前記フレームを符号化するステップ
が、 (a)フレームを所定の形状及びサイズを持つ複数のよ
り小さな領域に分割することによって第一のセグメント
化レベルを形成するステップ、 (b)前記複数のより小さな領域のおのおのに初期運動
ベクトルを割り当てるステップ、及び(c)前記複数の
より小さな領域のおのおのに対してそのより小さな領域
の運動ベクトルを更新するための運動ベクトル更新ルー
チンを遂行するステップ、つまり、おのおのに対して、
そのより小さな領域に割り当てられた初期運動ベクト
ル、そのより小さな領域に対してブロックマッチング技
法を遂行することによって得られた更新された運動ベク
トル、及びそのより小さな領域に隣接する領域の運動ベ
クトル、の中から選択される最良運動ベクトルを割り当
てるステップを含み、ここで、この最良運動ベクトルが
優先スキーム及びあらかじめ定められたしきい値に従っ
て選択され、この方法がさらに、 (d)前のセグメント化レベル内の各より小さな領域を
所定の形状及びサイズを持つ複数のさらに小さな領域に
分割することによって次のセグメント化レベルを形成す
るステップ、 (e)この次のセグメント化レベル内の複数のさらに小
さな領域のおのおのにその親領域の運動ベクトルと等し
い初期運動ベクトルを割り当てるステップ、 (f)この次のセグメント化レベル内の前記の複数のさ
らに小さな領域のおのおのに対して運動ベクトル更新ル
ーチンを遂行するステップ、 (g)ステップ(d)、(e)及び(f)を停止条件に
達するまで反復的に遂行するステップ、及び(h)類似
する運動ベクトルを持つ隣接するさらに小さな複数の領
域を併合することによって前述の複数の任意形状領域を
形成するステップを含むことを特徴とする請求項18の
方法。 - 【請求項20】 前記運動ベクトル更新ルーチンが、 最小のマッチングエラーを、それぞれ、より小さな領域
に、以下の運動ベクトル、つまり、 (a)そのより小さな領域に割り当てられた初期運動ベ
クトル、 (b)そのより小さな領域に対してブロックマッチング
技法を遂行することによって得られた更新された運動ベ
クトル、及び(c)そのより小さな領域に隣接する領域
の運動ベクトル、を割り当てることによって得られるマ
ッチングエラーの中から決定するステップ、 初期運動ベクトルを、最も小さなマッチングエラーと初
期運動ベクトルを使用して得られたマッチングエラーと
の間の差の絶対値が所定のしきい値よりも小さな場合、
最良運動ベクトルとして選択するステップ、 隣接する領域の一つの運動ベクトルを、 (a)最小のマッチングエラーと初期運動ベクトルを使
用して得られたマッチングエラーとの間の差の絶対値が
所定のしきい値よりも小さくない場合、及び(b)最小
のマッチングエラーとそのより小さな領域に隣接する領
域の運動ベクトルを割り当てることによって得られるマ
ッチングエラーとの間の差の絶対値が所定のしきい値よ
りも小さくない場合に、最良運動ベクトルとして選択す
るステップ、 ブロックマッチング技法にて更新された(マッチされ
た)運動ベクトルを、 (a)最小のマッチングエラーと初期運動ベクトルを使
用して得られたマッチングエラーとの間の差の絶対値が
所定のしきい値よりも小さくない場合、及び(b)最小
のマッチングエラーとそのより小さな領域に隣接する領
域の一つの運動ベクトルを割り当てることによって得ら
れるマッチングエラーのおのおのとの間の差の絶対値が
所定のしきい値よりも小さくない場合に、最良運動ベク
トルとして選択するステップを含むことを特徴とする請
求項19の方法。 - 【請求項21】 前記予測エラーを符号化するステップ
及び各画素の強度を符号化するステップが、 元の画素値を生成するステップ、つまり、 (a)前記任意形状領域に長方形領域ブロックを外接さ
せ、これによって、前記任意形状画像の内側と前記長方
形領域ブロック内に横たわる内部画素集合、及び前記任
意形状領域の外側に横たわるが、前記長方形領域ブロッ
クの内側に横たわる外部画素集合を作成するサブステッ
プ、及び(b)前記外部画素集合の画素値を前記の内部
画素集合の画素値の外挿によって初期化するサブステッ
プ、 最適変換係数(OTC)を計算するステップ、つまり、 (a)前記領域ブロック内に関して順変換を遂行し変換
係数を生成するサブステップ、 (b)前記変換係数から変換係数の集合(TCS)を生
成するサブステップ、 (c)前記TCSに関して逆変換を遂行し、これによっ
て計算された画素値を持つ計算領域ブロックを生成する
サブステップ、 (d)前記内部画素集合と対応する計算された画素値を
元の画素値と置換することによって修正された計算領域
ブロック(MCRB)を形成するサブステップ、 (e)前記TCSが前記OTCとみなされるか決定する
サブステップ、 (f)前記修正された計算領域ブロック内に関してサブ
ステップ(a)と(b)を反復し、そのTCSがOTC
とみなされる場合、前記TCSを出力するサブステッ
プ、及び(g)前記TCS値がOTCとみなされない場
合、前記修正された計算領域ブロック内に関してサブス
テップ(a)から(g)を反復するサブステップを含む
ことを特徴とする請求項20の方法。 - 【請求項22】 前記順変換を遂行するステップが離散
コサイン変換(DCT)を遂行するステップから成るこ
とを特徴とする請求項21の方法。 - 【請求項23】 前記TCSを生成するステップが前記
変換係数を量子化するステップを含むことを特徴とする
請求項22の方法。 - 【請求項24】 前記TCSを生成するステップがさら
に高いエネルギを持つ変換係数を変換係数のエネルギ圧
密特性に従って選択及び保持するステップ、及び選択さ
れなかった変換係数をゼロにするステップを含むことを
特徴とする請求項23の方法。 - 【請求項25】 前記予測エラーを符号化するステップ
及び各画素の強度を符号化するステップが、 元の画素値を生成するステップ、つまり、 (a)前記任意形状領域に長方形領域ブロックを外接さ
せ、これによって、前記任意形状画像の内側と前記長方
形領域ブロック内に横たわる内部画素集合、及び前記任
意形状領域の外側に横たわるが、前記長方形領域ブロッ
クの内側に横たわる外部画素集合を作成するサブステッ
プ、及び(b)前記外部画素集合の画素値を前記内部画
素集合の画素値の外挿によって初期化するサブステッ
プ、 最適変換係数(OTC)を計算するステップ、つまり、 (a)前記領域ブロック内に関して順変換を遂行し変換
係数を生成するサブステップ、 (b)前記変換係数から変換係数の集合(TCS)を生
成するサブステップ、 (c)前記TCSに関して逆変換を遂行し、これによっ
て計算された画素値を持つ計算領域ブロックを生成する
サブステップ、 (d)前記内部画素集合と対応する計算された画素値を
元の画素値と置換することによって修正された計算領域
ブロック(MCRB)を形成するサブステップ、 (e)前記TCSが前記OTCとみなされるか決定する
サブステップ、 (f)前記修正された計算領域ブロック内に関してサブ
ステップ(a)と(b)を反復し、そのTCSがOTC
とみなされる場合、前記TCSを出力するサブステッ
プ、及び(g)前記TCS値がOTCとみなされない場
合、前記修正された計算領域ブロック内に関してサブス
テップ(a)から(g)を反復するサブステップを含む
ことを特徴とする請求項18の方法。 - 【請求項26】 前記順変換を遂行するステップが離散
コサイン変換(DCT)を遂行するステップから成るこ
とを特徴とする請求項25の方法。 - 【請求項27】 前記TCSを生成するステップが前記
変換係数を量子化するステップを含むことを特徴とする
請求項26の方法。 - 【請求項28】 前記フレームをスキップするか否かを
決定するためのステップがさらに含まれ、この決定ステ
ップが前記のデコーダへのインタフェースとして機能す
るバッファの満杯度に依存することを特徴とする請求項
27の方法。 - 【請求項29】 前記複数のモードのどのモードにて各
任意形状領域の画像データが符号化されるべきかを決定
するためのステップが以下のような特定の領域の差の絶
対値の総和の正規化された値、つまり、 【数2】 に依存し、ここで、Nはその特定の領域内の画素の総数
を表わし、iはその領域内のある与えられた画素を表わ
し、Rはその特定の領域内の全ての画素の集合を表わ
し、Ii はある与えられた画素iの強度を表わし、mは
その特定の領域内の全ての画素の平均値を表わし、そし
てei はある与えられた画素iと関連する運動補償され
た予測エラーを表わすことを特徴とする請求項28の方
法。 - 【請求項30】 特定の領域の画像データがNSADp
の値がしきい値cよりも小さい場合は前記第一のモード
にて符号化され、一方、NSADp の値がしきい値cを
越え、かつ、NSADI の値よりも少なくともしきい値
bだけ小さい場合は前記第二のモードにて符号化される
ことを特徴とする請求項29の方法。 - 【請求項31】 前記しきい値b及びcが前記デコーダ
へのインタフェースとして機能するバッファの満杯度に
依存することを特徴とする請求項30の方法。 - 【請求項32】 選択される変換係数の数が符号化され
る特定の任意形状領域のサイズに依存することを特徴と
する請求項24の方法。 - 【請求項33】 前記変換係数を量子化するステップが
デコーダへのインタフェースとして機能するバッファの
満杯度に依存する量子化ステップサイズを使用すること
を特徴とする請求項23の方法。 - 【請求項34】 ビデオシーケンス内のフレームを符号
化する方法であって、この方法が、 (a)フレームをおのおのが対応する運動ベクトルを持
つ複数の任意形状領域にセグメント化するステップ、 (b)各任意形状領域の形状を符号化するステップ、及
び(c)各任意形状領域の画像データを複数のモードの
中のどのモードにて符号化すべきかを決定するステップ
を含み、これら複数のモードとして、ある任意形状領域
に対応する運動ベクトルの符号化が行なわれる第一のモ
ード、ある任意形状領域に対応する運動ベクトルと運動
補償された予測エラーの符号化が行なわれる第二のモー
ド、及びある任意形状領域内の各画素の強度の符号化が
行なわれる第三のイントラフレームモードが含まれ、こ
の方法がさらに、 (d)前記複数の任意形状領域のおのおのが符号化され
るべきモードを符号化するステップ、 (e)前記複数の任意形状領域の一つと対応する運動ベ
クトルを、その領域が前記第一のモード或は第二のモー
ドのいずれかで符号化されるべきである場合に、符号化
するステップ、 (f)前記複数の任意形状領域の一つの中の各画素の強
度を、その領域が前記の第三のモードにて符号化される
べきである場合に、符号化するステップ、及び(h)ス
テップ(b)、(d)、(e)、(f)及び(g)にて
符号化された情報をデコーダに伝送するステップを含む
ことを特徴とする方法。 - 【請求項35】 前記フレームを符号化するステップ
が、 (a)フレームを所定の形状及びサイズを持つ複数のよ
り小さな領域に分割することによって第一のセグメント
化レベルを形成するステップ、 (b)前記複数のより小さな領域のおのおのに初期運動
ベクトルを割り当てるステップ、及び(c)前記複数の
より小さな領域のおのおのに対してそのより小さな領域
の運動ベクトルを更新するための運動ベクトル更新ルー
チンを遂行するステップ、つまり、おのおのに対して、
そのより小さな領域に割り当てられた初期運動ベクト
ル、そのより小さな領域に対してブロックマッチング技
法を遂行することによって得られた更新された運動ベク
トル、及びそのより小さな領域に隣接する領域の運動ベ
クトルの中から選択される最良運動ベクトルを割り当て
るステップを含み、ここで、この最良運動ベクトルが優
先スキーム及びあらかじめ定められたしきい値に従って
選択され、この方法がさらに、 (d)前のセグメント化レベル内の各より小さな領域を
所定の形状及びサイズを持つ複数のさらに小さな領域に
分割することによって次のセグメント化レベルを形成す
るステップ、 (e)この次のセグメント化レベル内の複数のさらに小
さな領域のおのおのにその親領域の運動ベクトルと等し
い初期運動ベクトルを割り当てるステップ、 (f)この次のセグメント化レベル内の前記の複数のさ
らに小さな領域のおのおのに対して運動ベクトル更新ル
ーチンを遂行するステップ、 (g)ステップ(d)、(e)及び(f)を停止条件に
達するまで反復的に遂行するステップ、及び(h)類似
する運動ベクトルを持つ隣接するさらに小さな複数の領
域を併合することによって前述の複数の任意形状領域を
形成するステップを含むことを特徴とする請求項34の
方法。 - 【請求項36】 前記運動ベクトル更新ルーチンが、 最小のマッチングエラーを、それぞれ、より小さな領域
に、以下の運動ベクトル、つまり、 (a)そのより小さな領域に割り当てられた初期運動ベ
クトル、 (b)そのより小さな領域に対してブロックマッチング
技法を遂行することによって得られた更新された運動ベ
クトル、及び(c)そのより小さな領域に隣接する領域
の運動ベクトル、を割り当てることによって得られるマ
ッチングエラーの中から決定するステップ、 初期運動ベクトルを、最も小さなマッチングエラーと初
期運動ベクトルを使用して得られたマッチングエラーと
の間の差の絶対値が所定のしきい値よりも小さな場合、
最良運動ベクトルとして選択するステップ、 隣接する領域の一つの運動ベクトルを、 (a)最小のマッチングエラーと初期運動ベクトルを使
用して得られたマッチングエラーとの間の差の絶対値が
所定のしきい値よりも小さくない場合、及び(b)最小
のマッチングエラーとそのより小さな領域に隣接する領
域の運動ベクトルを割り当てることによって得られるマ
ッチングエラーとの間の差の絶対値が所定のしきい値よ
りも小さくない場合に、最良運動ベクトルとして選択す
るステップ、 ブロックマッチング技法にて更新された(マッチされ
た)運動ベクトルを、 (a)最小のマッチングエラーと初期運動ベクトルを使
用して得られたマッチングエラーとの間の差の絶対値が
所定のしきい値よりも小さくない場合、及び(b)最小
のマッチングエラーとそのより小さな領域に隣接する領
域の一つの運動ベクトルを割り当てることによって得ら
れるマッチングエラーのおのおのとの間の差の絶対値が
所定のしきい値よりも小さくない場合に、最良運動ベク
トルとして選択するステップを含むことを特徴とする請
求項35の方法。 - 【請求項37】 前記予測エラーを符号化するステップ
及び各画素の強度を符号化するステップが、 元の画素値を生成するステップ、つまり、 (a)前記任意形状領域に長方形領域ブロックを外接さ
せ、これによって、前記任意形状画像の内側と前記長方
形領域ブロック内に横たわる内部画素集合、及び前記任
意形状領域の外側に横たわるが、前記長方形領域ブロッ
クの内側に横たわる外部画素集合を作成するサブステッ
プ、及び(b)前記外部画素集合の画素値を前記内部画
素集合の画素値の外挿によって初期化するサブステッ
プ、 最適変換係数(OTC)を計算するステップ、つまり、 (a)前記領域ブロックに関して順変換を遂行し変換係
数を生成するサブステップ、 (b)前記変換係数から変換係数の集合(TCS)を生
成するサブステップ、 (c)前記TCSに関して逆変換を遂行し、これによっ
て計算された画素値を持つ計算領域ブロックを生成する
サブステップ、 (d)前記内部画素集合と対応する計算された画素値を
元の画素値と置換することによって修正された計算領域
ブロック(MCRB)を形成するサブステップ、 (e)前記TCSが前記のOTCとみなされるか決定す
るサブステップ、 (f)前記修正された計算領域ブロックに関してサブス
テップ(a)と(b)を反復し、そのTCSがOTCと
みなされる場合、前記TCSを出力するサブステップ、
及び(g)前記TCS値がOTCとみなされない場合、
前記修正された計算領域ブロックに関してサブステップ
(a)から(g)を反復するサブステップを含むことを
特徴とする請求項36の方法。 - 【請求項38】 前記順変換を遂行するステップが離散
コサイン変換(DCT)を遂行するステップから成るこ
とを特徴とする請求項37の方法。 - 【請求項39】 前記TCSを生成するステップが前記
の変換係数を量子化するステップを含むことを特徴とす
る請求項38の方法。 - 【請求項40】 前記TCSを生成するステップがさら
に高いエネルギを持つ変換係数を変換係数のエネルギ圧
密特性に従って選択及び保持するステップ、及び選択さ
れなかった変換係数をゼロにするステップを含むことを
特徴とする請求項39の方法。 - 【請求項41】 前記予測エラーを符号化するステップ
及び各画素の強度を符号化するステップが、 元の画素値を生成するステップ、つまり、 (a)前記任意形状領域に長方形領域ブロックを外接さ
せ、これによって、前記任意形状画像の内側と前記長方
形領域ブロック内に横たわる内部画素集合、及び前記任
意形状領域の外側に横たわるが、前記長方形領域ブロッ
クの内側に横たわる外部画素集合を作成するサブステッ
プ、及び(b)前記外部画素集合の画素値を前記内部画
素集合の画素値の外挿によって初期化するサブステッ
プ、 最適変換係数(OTC)を計算するステップ、つまり、 (a)前記領域ブロックに関して順変換を遂行し変換係
数を生成するサブステップ、 (b)前記変換係数から変換係数の集合(TCS)を生
成するサブステップ、 (c)前記TCSに関して逆変換を遂行し、これによっ
て計算された画素値を持つ計算領域ブロックを生成する
サブステップ、 (d)前記内部画素集合と対応する計算された画素値を
元の画素値と置換することによって修正された計算領域
ブロック(MCRB)を形成するサブステップ、 (e)前記TCSが前記のOTCとみなされるか決定す
るサブステップ、 (f)前記修正された計算領域ブロックに関してサブス
テップ(a)と(b)を反復し、そのTCSがOTCと
みなされる場合、前記TCSを出力するサブステップ、
及び(g)前記TCS値がOTCとみなされない場合、
前記修正された計算領域ブロックに関してサブステップ
(a)から(g)を反復するサブステップを含むことを
特徴とする請求項34の方法。 - 【請求項42】 前記順変換を遂行するステップが離散
コサイン変換(DCT)を遂行するステップから成るこ
とを特徴とする請求項41の方法。 - 【請求項43】 前記TCSを生成するステップが前記
変換係数を量子化するステップを含むことを特徴とする
請求項42の方法。 - 【請求項44】 前記フレームをスキップするか否かを
決定するためのステップがさらに含まれ、この決定ステ
ップが前記デコーダへのインタフェースとして機能する
バッファの満杯度に依存することを特徴とする請求項4
3の方法。 - 【請求項45】 前記複数のモードのどのモードにて各
任意形状領域の画像データが符号化されるべきかを決定
するためのステップが以下のような特定の領域の差の絶
対値の総和の正規化された値、つまり、 【数3】 に依存し、ここで、Nはその特定の領域内の画素の総数
を表わし、iはその領域内のある与えられた画素を表わ
し、Rはその特定の領域内の全ての画素の集合を表わ
し、Ii はある与えられた画素iの強度を表わし、mは
その特定の領域内の全ての画素の平均値を表わし、そし
てei はある与えられた画素iと関連する運動補償され
た予測エラーを表わすことを特徴とする請求項44の方
法。 - 【請求項46】 特定の領域の画像データがNSADp
の値がしきい値cよりも小さい場合は前記第一のモード
にて符号化され、一方、NSADp の値がしきい値cを
越え、かつ、NSADI の値よりも少なくともしきい値
bだけ小さい場合は前記第二のモードにて符号化される
ことを特徴とする請求項45の方法。 - 【請求項47】 前記しきい値b及びcが前記デコーダ
へのインタフェースとして機能するバッファの満杯度に
依存することを特徴とする請求項46の方法。 - 【請求項48】 選択される変換係数の数が符号化され
る特定の任意形状領域のサイズに依存することを特徴と
する請求項40の方法。 - 【請求項49】 前記変換係数を量子化するステップが
デコーダへのインタフェースとして機能するバッファの
満杯度に依存する量子化ステップサイズを使用すること
を特徴とする請求項39の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/322893 | 1994-10-13 | ||
| US08/322,893 US5608458A (en) | 1994-10-13 | 1994-10-13 | Method and apparatus for a region-based approach to coding a sequence of video images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH08214318A true JPH08214318A (ja) | 1996-08-20 |
Family
ID=23256900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7265045A Withdrawn JPH08214318A (ja) | 1994-10-13 | 1995-10-13 | ビデオ画像のシーケンスを符号化するための領域ベースアプローチに対する方法及び装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5608458A (ja) |
| EP (1) | EP0707427A3 (ja) |
| JP (1) | JPH08214318A (ja) |
| CA (1) | CA2156944A1 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1997029595A1 (fr) * | 1996-02-07 | 1997-08-14 | Sharp Kabushiki Kaisha | Dispositif de codage et de decodage d'image mouvante |
| WO1998019462A1 (fr) * | 1996-10-31 | 1998-05-07 | Kabushiki Kaisha Toshiba | Codeur d'images et decodeur d'images |
| US6466697B1 (en) | 1997-07-10 | 2002-10-15 | Matsushita Electric Industrial Co., Ltd. | Data structure for image transmission, image coding method, and image decoding method |
| KR100457231B1 (ko) * | 1997-03-20 | 2005-08-09 | 주식회사 팬택앤큐리텔 | 영상신호의모양부호화시이동보상예측결정장치및방법 |
| JP2009147807A (ja) * | 2007-12-17 | 2009-07-02 | Fujifilm Corp | 画像処理装置 |
| US7697611B2 (en) | 2004-07-30 | 2010-04-13 | Industrial Technology Research Institute | Method for processing motion information |
| JP2011507346A (ja) * | 2007-12-05 | 2011-03-03 | オンライブ インコーポレイテッド | 検出されたイントラフレームモーション又はシーンの複雑さに基づいてタイルサイズを調整することによりビデオを圧縮するシステム及び方法 |
| JP2012526311A (ja) * | 2010-03-15 | 2012-10-25 | パナソニック株式会社 | 移動軌跡算出方法およびその装置、ならびに領域分割方法 |
| JP2014103497A (ja) * | 2012-11-19 | 2014-06-05 | Nintendo Co Ltd | データ圧縮装置、データ圧縮プログラム、データ圧縮システム、およびデータ圧縮方法 |
Families Citing this family (112)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5828784A (en) * | 1992-07-13 | 1998-10-27 | Hitachi Denshi Kabushiki Kaisha | Data coding method and apparatus using a plurality of blocks of different length |
| JP3275423B2 (ja) * | 1993-03-04 | 2002-04-15 | キヤノン株式会社 | 記録装置 |
| JP3050736B2 (ja) * | 1993-12-13 | 2000-06-12 | シャープ株式会社 | 動画像符号化装置 |
| US6798834B1 (en) * | 1996-08-15 | 2004-09-28 | Mitsubishi Denki Kabushiki Kaisha | Image coding apparatus with segment classification and segmentation-type motion prediction circuit |
| EP0703710B1 (en) * | 1994-09-21 | 2000-07-26 | Kabushiki Kaisha Toshiba | Image data processing apparatus having functions of dividing the image data, and method of processing image data |
| KR0178231B1 (ko) * | 1995-08-10 | 1999-05-01 | 배순훈 | 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치 |
| US5978514A (en) * | 1994-11-10 | 1999-11-02 | Kabushiki Kaisha Toshiba | Image data coding and decoding system for efficiently compressing information using the shape and position of the image content |
| US5767911A (en) * | 1994-12-20 | 1998-06-16 | Matsushita Electric Industrial Co., Ltd. | Object-based digital image predictive coding transfer method and apparatus, and decoding apparatus |
| KR100235345B1 (ko) * | 1994-12-29 | 1999-12-15 | 전주범 | 분할영역에서의 움직임 추정방법 및 장치 |
| JP3169783B2 (ja) * | 1995-02-15 | 2001-05-28 | 日本電気株式会社 | 動画像の符号化・復号システム |
| EP0731614B1 (en) * | 1995-03-10 | 2002-02-06 | Kabushiki Kaisha Toshiba | Video coding/decoding apparatus |
| JPH08256266A (ja) * | 1995-03-17 | 1996-10-01 | Mitsubishi Electric Corp | 画像符号化方式 |
| KR100249028B1 (ko) * | 1995-03-20 | 2000-03-15 | 전주범 | 정지영상을 가진 영상신호를 부호화/복호화하기 위한 부호화/복호화시스템 |
| KR0171120B1 (ko) * | 1995-04-29 | 1999-03-20 | 배순훈 | 특징점 기반 움직임 보상을 이용한 비디오 신호 부호화에서의 움직임 영역 설정방법 및 장치 |
| US6023301A (en) * | 1995-07-14 | 2000-02-08 | Sharp Kabushiki Kaisha | Video coding device and video decoding device |
| EP0783820B1 (en) * | 1995-08-02 | 2001-10-10 | Koninklijke Philips Electronics N.V. | Method and system for coding an image sequence |
| DE69609702T2 (de) * | 1995-10-25 | 2001-04-12 | Koninklijke Philips Electronics N.V., Eindhoven | Verfahren und system zur kodierung segmentierter bilder sowie entsprechendes dekodierungsverfahren und -system |
| JPH09121358A (ja) * | 1995-10-25 | 1997-05-06 | Matsushita Electric Ind Co Ltd | 画像符号化及び復号化装置と方法 |
| KR100211916B1 (ko) * | 1995-10-26 | 1999-08-02 | 김영환 | 물체 모양정보 부호화에서의 부호화타입과 모드의 결정방법 |
| WO1997033425A1 (en) * | 1996-03-05 | 1997-09-12 | Telefonaktiebolaget Lm Ericsson (Publ) | Progressive image coding |
| US5778097A (en) * | 1996-03-07 | 1998-07-07 | Intel Corporation | Table-driven bi-directional motion estimation using scratch area and offset valves |
| DE19615492A1 (de) * | 1996-04-19 | 1997-10-23 | Philips Patentverwaltung | Verfahren zur Bildsegmentierung |
| US6137920A (en) * | 1996-05-01 | 2000-10-24 | Hughes Electronics Corporation | Method and system for generating image frame sequences using morphing transformations |
| US5719642A (en) * | 1996-05-07 | 1998-02-17 | National Science Council Of R.O.C. | Full-search block matching motion estimation processor |
| EP1120975A3 (en) * | 1996-05-17 | 2005-05-04 | Matsushita Electric Industrial Co., Ltd. | Image encoding apparatus, image decoding apparatus, image encoding method, image decoding method, image encoding program recording medium and image decoding program recording medium |
| DE69718687T2 (de) | 1996-05-28 | 2003-05-22 | Matsushita Electric Industrial Co., Ltd. | Vorrichtung und verfahren zur bildvorhersage und -codierung/ -decodierung. |
| KR100249029B1 (ko) * | 1996-06-12 | 2000-03-15 | 전주범 | 영상신호의 윤곽선 부호화 방법 및 그 장치 |
| JP3474707B2 (ja) * | 1996-07-04 | 2003-12-08 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
| EP1158805B1 (en) | 1996-07-31 | 2003-10-22 | Matsushita Electric Industrial Co., Ltd. | Picture decoder and picture decoding method |
| FR2752474B1 (fr) * | 1996-08-14 | 1998-12-31 | Iona Donescu | Procede de transformation du signal image sur des supports de forme arbitraire |
| KR100235347B1 (ko) * | 1996-09-19 | 1999-12-15 | 전주범 | 윤곽선 영상신호 부호화 방법 및 장치 |
| KR100424678B1 (ko) * | 1996-09-25 | 2004-06-18 | 주식회사 팬택앤큐리텔 | 물체경계블록의합병을이용한영상부호화시합병후의영상에대한최소비트의부호화블럭패턴할당방법 |
| KR100501902B1 (ko) | 1996-09-25 | 2005-10-10 | 주식회사 팬택앤큐리텔 | 영상정보부호화/복호화장치및방법 |
| TW366648B (en) * | 1996-10-24 | 1999-08-11 | Matsushita Electric Industrial Co Ltd | Method of supplementing pixel signal coding device, and pixel signal decoding device |
| US6259738B1 (en) | 1996-10-31 | 2001-07-10 | Kabushiki Kaisha Toshiba | Video encoding apparatus and video decoding apparatus |
| TW358296B (en) * | 1996-11-12 | 1999-05-11 | Matsushita Electric Industrial Co Ltd | Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium |
| GB9623573D0 (en) * | 1996-11-13 | 1997-01-08 | Philips Electronics Nv | Image segmentation |
| US6687405B1 (en) * | 1996-11-13 | 2004-02-03 | Koninklijke Philips Electronics N.V. | Image segmentation |
| US5864372A (en) * | 1996-12-10 | 1999-01-26 | United Microelectronics Corporation | Apparatus for implementing a block matching algorithm for motion estimation in video image processing |
| KR100239309B1 (ko) * | 1997-01-15 | 2000-01-15 | 전주범 | 변형된 정점 부호화를 이용한 윤곽선 부호화 방법 및 그 장치 |
| KR100609249B1 (ko) * | 1997-02-06 | 2006-11-30 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 영상 오브젝트 트랙킹 방법과 대응 시스 |
| US5978034A (en) * | 1997-02-20 | 1999-11-02 | Sony Corporation | Moving picture encoding method and apparatus, moving picture decoding method and apparatus and recording medium |
| US6633611B2 (en) * | 1997-04-24 | 2003-10-14 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for region-based moving image encoding and decoding |
| US6078695A (en) * | 1997-06-13 | 2000-06-20 | Matsushita Electric Industrial Co., Ltd. | Shape coding method and shape decoding method |
| DE69809920T2 (de) * | 1997-07-28 | 2003-10-09 | Idt International Digital Technologies Deutschland Gmbh | Verfahren und vorrichtung zur mehrfachauflösung objektorientierter bewegungsschätzung |
| KR100249223B1 (ko) * | 1997-09-12 | 2000-03-15 | 구자홍 | 엠팩(mpeg)-4의움직임벡터코딩방법 |
| SG116400A1 (en) * | 1997-10-24 | 2005-11-28 | Matsushita Electric Industrial Co Ltd | A method for computational graceful degradation inan audiovisual compression system. |
| US6037987A (en) * | 1997-12-31 | 2000-03-14 | Sarnoff Corporation | Apparatus and method for selecting a rate and distortion based coding mode for a coding system |
| US6058214A (en) * | 1998-01-20 | 2000-05-02 | At&T Corp. | Compression of partially masked still images |
| EP1061749B1 (en) * | 1998-01-27 | 2010-04-07 | Sharp Kabushiki Kaisha | Moving picture decoder |
| US6621932B2 (en) | 1998-03-06 | 2003-09-16 | Matsushita Electric Industrial Co., Ltd. | Video image decoding and composing method and video image decoding and composing apparatus |
| US5838392A (en) * | 1998-03-19 | 1998-11-17 | United Microelectronics Corp. | Adaptive block-matching motion estimator with a compression array for use in a video coding system |
| US6507616B1 (en) * | 1998-10-28 | 2003-01-14 | Lg Information & Communications, Ltd. | Video signal coding method |
| GB2350512A (en) * | 1999-05-24 | 2000-11-29 | Motorola Ltd | Video encoder |
| US6785329B1 (en) * | 1999-12-21 | 2004-08-31 | Microsoft Corporation | Automatic video object extraction |
| EP1279293A1 (en) * | 2000-01-21 | 2003-01-29 | Nokia Corporation | A motion estimation method and a system for a video coder |
| FR2811832B1 (fr) * | 2000-07-13 | 2003-09-26 | Canon Kk | Procedes, dispositifs et appareils d'optimisation adaptative pour la transmission de signaux codes |
| US6842483B1 (en) | 2000-09-11 | 2005-01-11 | The Hong Kong University Of Science And Technology | Device, method and digital video encoder for block-matching motion estimation |
| EP1193978A1 (fr) * | 2000-09-29 | 2002-04-03 | Koninklijke Philips Electronics N.V. | Procédé de rafraíchissement d'écran |
| WO2002071758A2 (en) * | 2001-03-07 | 2002-09-12 | Pts Corporation | Local constraints for motion estimation |
| WO2003005727A1 (en) * | 2001-07-06 | 2003-01-16 | Koninklijke Philips Electronics N.V. | Methods of and units for motion or depth estimation and image processing apparatus provided with such motion estimation unit |
| US7142695B2 (en) * | 2002-11-01 | 2006-11-28 | Pixart Imaging Inc. | Image qualification for optical navigation sensor |
| JP3975188B2 (ja) | 2002-09-30 | 2007-09-12 | 三星電子株式会社 | 色相の空間予測符号化を利用した映像の符号化及び復号化方法及び装置 |
| US9077991B2 (en) | 2002-12-10 | 2015-07-07 | Sony Computer Entertainment America Llc | System and method for utilizing forward error correction with video compression |
| US9138644B2 (en) | 2002-12-10 | 2015-09-22 | Sony Computer Entertainment America Llc | System and method for accelerated machine switching |
| US8949922B2 (en) * | 2002-12-10 | 2015-02-03 | Ol2, Inc. | System for collaborative conferencing using streaming interactive video |
| US8964830B2 (en) * | 2002-12-10 | 2015-02-24 | Ol2, Inc. | System and method for multi-stream video compression using multiple encoding formats |
| US9314691B2 (en) | 2002-12-10 | 2016-04-19 | Sony Computer Entertainment America Llc | System and method for compressing video frames or portions thereof based on feedback information from a client device |
| US20090118019A1 (en) | 2002-12-10 | 2009-05-07 | Onlive, Inc. | System for streaming databases serving real-time applications used through streaming interactive video |
| US9108107B2 (en) * | 2002-12-10 | 2015-08-18 | Sony Computer Entertainment America Llc | Hosting and broadcasting virtual events using streaming interactive video |
| JP4003128B2 (ja) * | 2002-12-24 | 2007-11-07 | ソニー株式会社 | 画像データ処理装置および方法、記録媒体、並びにプログラム |
| WO2005036456A2 (en) * | 2003-05-12 | 2005-04-21 | Princeton University | Method and apparatus for foreground segmentation of video sequences |
| CN1655620B (zh) * | 2004-02-09 | 2010-09-22 | 三洋电机株式会社 | 图像显示装置 |
| JP2005333609A (ja) * | 2004-04-22 | 2005-12-02 | Sanyo Electric Co Ltd | 符号化制御回路及び符号化回路 |
| US8467447B2 (en) * | 2004-05-07 | 2013-06-18 | International Business Machines Corporation | Method and apparatus to determine prediction modes to achieve fast video encoding |
| US7720295B2 (en) * | 2004-06-29 | 2010-05-18 | Sanyo Electric Co., Ltd. | Method and apparatus for coding images with different image qualities for each region thereof, and method and apparatus capable of decoding the images by adjusting the image quality |
| JP2006020095A (ja) * | 2004-07-01 | 2006-01-19 | Sharp Corp | 動きベクトル検出回路、画像符号化回路、動きベクトル検出方法および画像符号化方法 |
| US9532069B2 (en) | 2004-07-30 | 2016-12-27 | Euclid Discoveries, Llc | Video compression repository and model reuse |
| US9578345B2 (en) * | 2005-03-31 | 2017-02-21 | Euclid Discoveries, Llc | Model-based video encoding and decoding |
| US9743078B2 (en) | 2004-07-30 | 2017-08-22 | Euclid Discoveries, Llc | Standards-compliant model-based video encoding and decoding |
| JP2006129248A (ja) * | 2004-10-29 | 2006-05-18 | Sanyo Electric Co Ltd | 画像符号化方法および装置、ならびに画像復号方法および装置 |
| JP4656912B2 (ja) * | 2004-10-29 | 2011-03-23 | 三洋電機株式会社 | 画像符号化装置 |
| US8054882B2 (en) * | 2005-05-13 | 2011-11-08 | Streaming Networks (Pvt.) Ltd. | Method and system for providing bi-directionally predicted video coding |
| DE102005025634A1 (de) * | 2005-06-03 | 2006-12-07 | Micronas Gmbh | Verfahren und Vorrichtung zur Ermittlung von Bewegungsvektoren |
| JP2007206644A (ja) * | 2006-02-06 | 2007-08-16 | Seiko Epson Corp | 画像表示システム,画像表示方法,画像表示プログラム,記録媒体,データ処理装置,画像表示装置 |
| JP4853199B2 (ja) * | 2006-09-25 | 2012-01-11 | 株式会社ニコン | 画像圧縮方法、装置、電子カメラ、およびプログラム |
| KR101365574B1 (ko) * | 2007-01-29 | 2014-02-20 | 삼성전자주식회사 | 영상 부호화 방법 및 장치, 복호화 방법 및 장치 |
| JP2009182623A (ja) * | 2008-01-30 | 2009-08-13 | Panasonic Corp | 画像符号化方法 |
| US20090244388A1 (en) * | 2008-03-27 | 2009-10-01 | Siou-Shen Lin | Motion estimation method and related apparatus for determining target motion vector according to motion of neighboring image blocks |
| JP2009267726A (ja) * | 2008-04-24 | 2009-11-12 | Panasonic Corp | 動画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム |
| KR101517768B1 (ko) * | 2008-07-02 | 2015-05-06 | 삼성전자주식회사 | 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치 |
| MX354869B (es) | 2009-03-23 | 2018-03-23 | Ntt Docomo Inc | Dispositivo de codificación predictiva de imagen, método de codificación predictiva de imagen, programa de codificación predictiva de imagen, dispositivo de descodificación predictiva de imagen, método de descodificación predictiva de imagen y programa de descodificación predictiva de imagen. |
| RS57809B1 (sr) | 2010-07-09 | 2018-12-31 | Samsung Electronics Co Ltd | Metod za dekodiranje video zapisa korišćenjem objedinjavanja blokova |
| KR101484281B1 (ko) * | 2010-07-09 | 2015-01-21 | 삼성전자주식회사 | 블록 병합을 이용한 비디오 부호화 방법 및 그 장치, 블록 병합을 이용한 비디오 복호화 방법 및 그 장치 |
| AU2015201569B2 (en) * | 2010-07-09 | 2016-08-11 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding video by using block merging, and method and apparatus for decoding video by using block merging |
| PL3661211T3 (pl) | 2010-07-20 | 2021-12-13 | Ntt Docomo, Inc. | Sposób predykcyjnego dekodowania obrazu |
| KR101506446B1 (ko) * | 2010-12-15 | 2015-04-08 | 에스케이 텔레콤주식회사 | 움직임정보 병합을 이용한 부호움직임정보생성/움직임정보복원 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
| JP5247793B2 (ja) * | 2010-12-21 | 2013-07-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US9041817B2 (en) | 2010-12-23 | 2015-05-26 | Samsung Electronics Co., Ltd. | Method and apparatus for raster output of rotated interpolated pixels optimized for digital image stabilization |
| KR101832682B1 (ko) | 2011-03-08 | 2018-02-26 | 가부시키가이샤 제이브이씨 켄우드 | 동화상 부호화 장치, 동화상 부호화방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램 |
| CN102685504B (zh) * | 2011-03-10 | 2015-08-19 | 华为技术有限公司 | 视频图像的编解码方法、编码装置、解码装置及其系统 |
| HUE068108T2 (hu) * | 2011-05-31 | 2024-12-28 | Jvckenwood Corp | Mozgókép kódoló eszköz, mozgókép kódolási eljárás és mozgókép kódoló program, valamint mozgókép dekódoló eszköz, mozgókép dekódoló eljárás és mozgókép dekódoló program |
| CN102905123B (zh) * | 2011-07-25 | 2017-04-12 | 乐金电子(中国)研究开发中心有限公司 | 帧内图像预测编码方法及视频编码器 |
| US20140286433A1 (en) * | 2011-10-21 | 2014-09-25 | Dolby Laboratories Licensing Corporation | Hierarchical motion estimation for video compression and motion analysis |
| JP6080277B2 (ja) * | 2012-04-24 | 2017-02-15 | リリカル ラブズ ビデオ コンプレッション テクノロジー、エルエルシー | ビデオ圧縮のためのオブジェクト分析を用いたマクロブロックの区画化及び動き予測、ビデオを符号化する方法、ビデオ符号化コンピューティングシステム及びプログラム |
| US10091507B2 (en) | 2014-03-10 | 2018-10-02 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
| US9621917B2 (en) | 2014-03-10 | 2017-04-11 | Euclid Discoveries, Llc | Continuous block tracking for temporal prediction in video encoding |
| US10097851B2 (en) | 2014-03-10 | 2018-10-09 | Euclid Discoveries, Llc | Perceptual optimization for model-based video encoding |
| EP3364342A1 (en) * | 2017-02-17 | 2018-08-22 | Cogisen SRL | Method for image processing and video compression |
| US11503329B2 (en) | 2018-08-17 | 2022-11-15 | Hfi Innovation Inc. | Method and apparatus of simplified sub-mode for video coding |
| CN112567750A (zh) * | 2018-08-17 | 2021-03-26 | 联发科技股份有限公司 | 用于视频编解码的简化合并候选列表的方法和装置 |
| CN119854508B (zh) * | 2025-01-15 | 2025-12-19 | 杭州萧山国际机场有限公司 | 一种机场监控视频传输方法、装置、存储介质及电子设备 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2512894B2 (ja) * | 1985-11-05 | 1996-07-03 | ソニー株式会社 | 高能率符号化/復号装置 |
| DE3877105D1 (ja) * | 1987-09-30 | 1993-02-11 | Siemens Ag, 8000 Muenchen, De | |
| FR2628864B1 (fr) * | 1988-03-21 | 1990-06-15 | France Etat | Procede de segmentation d'un champ de vecteurs vitesse, notamment de vitesses de deplacement de points d'une image dans une sequence d'images |
| FR2633468B1 (fr) * | 1988-06-24 | 1990-11-09 | France Etat | Procede de codage de donnees d'assistance a la reconstruction d'images electroniques animees sous-echantillonnees |
| DE3933346C1 (ja) * | 1989-10-06 | 1991-04-04 | Ant Nachrichtentechnik Gmbh, 7150 Backnang, De | |
| US5164828A (en) * | 1990-02-26 | 1992-11-17 | Sony Corporation | Video signal transmission and method and apparatus for coding video signal used in this |
| JPH082107B2 (ja) * | 1990-03-02 | 1996-01-10 | 国際電信電話株式会社 | 動画像のハイブリッド符号化方法及びその装置 |
| JP2514114B2 (ja) * | 1991-01-31 | 1996-07-10 | 株式会社グラフィックス・コミュニケーション・テクノロジーズ | 動画像符号化装置 |
| JP2514115B2 (ja) * | 1991-02-15 | 1996-07-10 | 株式会社グラフィックス・コミュニケーション・テクノロジーズ | 画像信号符号化装置 |
| JP3068304B2 (ja) * | 1992-01-21 | 2000-07-24 | 日本電気株式会社 | 動画像符号化方式および復号化方式 |
| US5241383A (en) * | 1992-05-13 | 1993-08-31 | Bell Communications Research, Inc. | Pseudo-constant bit rate video coding with quantization parameter adjustment |
| US5440346A (en) * | 1993-06-16 | 1995-08-08 | Intel Corporation | Mode selection for method and system for encoding images |
| US5422963A (en) * | 1993-10-15 | 1995-06-06 | At&T Corp. | Block transform coder for arbitrarily shaped image segments |
-
1994
- 1994-10-13 US US08/322,893 patent/US5608458A/en not_active Expired - Lifetime
-
1995
- 1995-08-25 CA CA002156944A patent/CA2156944A1/en not_active Abandoned
- 1995-10-03 EP EP95307030A patent/EP0707427A3/en not_active Withdrawn
- 1995-10-13 JP JP7265045A patent/JPH08214318A/ja not_active Withdrawn
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1997029595A1 (fr) * | 1996-02-07 | 1997-08-14 | Sharp Kabushiki Kaisha | Dispositif de codage et de decodage d'image mouvante |
| US6678326B2 (en) | 1996-02-07 | 2004-01-13 | Sharp Kabushiki Kaisha | Motion picture coding and decoding apparatus |
| US6466622B2 (en) | 1996-02-07 | 2002-10-15 | Sharp Kabushiki Kaisha | Motion picture coding and decoding apparatus |
| US6324215B1 (en) | 1996-02-07 | 2001-11-27 | Sharp :Kabushiki Kaisha | Motion picture coding and decoding apparatus |
| US6148030A (en) * | 1996-02-07 | 2000-11-14 | Sharp Kabushiki Kaisha | Motion picture coding and decoding apparatus |
| US6292514B1 (en) | 1996-10-31 | 2001-09-18 | Kabushiki Kaisha Toshiba | Video encoding apparatus and video decoding apparatus |
| US6754269B1 (en) | 1996-10-31 | 2004-06-22 | Kabushiki Kaisha Toshiba | Video encoding apparatus and video decoding apparatus |
| AU713780B2 (en) * | 1996-10-31 | 1999-12-09 | Kabushiki Kaisha Toshiba | Video encoding apparatus and video decoding apparatus |
| US7308031B2 (en) | 1996-10-31 | 2007-12-11 | Kabushiki Kaisha Toshiba | Video encoding apparatus and video decoding apparatus |
| US7215709B2 (en) | 1996-10-31 | 2007-05-08 | Kabushiki Kaisha Toshiba | Video encoding apparatus and video decoding apparatus |
| WO1998019462A1 (fr) * | 1996-10-31 | 1998-05-07 | Kabushiki Kaisha Toshiba | Codeur d'images et decodeur d'images |
| US6122318A (en) * | 1996-10-31 | 2000-09-19 | Kabushiki Kaisha Toshiba | Video encoding apparatus and video decoding apparatus |
| KR100457231B1 (ko) * | 1997-03-20 | 2005-08-09 | 주식회사 팬택앤큐리텔 | 영상신호의모양부호화시이동보상예측결정장치및방법 |
| US6751357B2 (en) | 1997-07-10 | 2004-06-15 | Matsushita Electric Industrial Co., Ltd. | Data structure for image transmission, image coding method, and image decoding method |
| US6735344B2 (en) | 1997-07-10 | 2004-05-11 | Matsushita Electric Industrial Co., Ltd. | Data structure for image transmission, image coding method, and image decoding method |
| US6665445B1 (en) | 1997-07-10 | 2003-12-16 | Matsushita Electric Industrial Co., Ltd. | Data structure for image transmission, image coding method, and image decoding method |
| US6466697B1 (en) | 1997-07-10 | 2002-10-15 | Matsushita Electric Industrial Co., Ltd. | Data structure for image transmission, image coding method, and image decoding method |
| US7697611B2 (en) | 2004-07-30 | 2010-04-13 | Industrial Technology Research Institute | Method for processing motion information |
| JP2011507346A (ja) * | 2007-12-05 | 2011-03-03 | オンライブ インコーポレイテッド | 検出されたイントラフレームモーション又はシーンの複雑さに基づいてタイルサイズを調整することによりビデオを圧縮するシステム及び方法 |
| JP2009147807A (ja) * | 2007-12-17 | 2009-07-02 | Fujifilm Corp | 画像処理装置 |
| JP2012526311A (ja) * | 2010-03-15 | 2012-10-25 | パナソニック株式会社 | 移動軌跡算出方法およびその装置、ならびに領域分割方法 |
| US8948448B2 (en) | 2010-03-15 | 2015-02-03 | Panasonic Corporation | Method and apparatus for trajectory estimation, and method for segmentation |
| JP2014103497A (ja) * | 2012-11-19 | 2014-06-05 | Nintendo Co Ltd | データ圧縮装置、データ圧縮プログラム、データ圧縮システム、およびデータ圧縮方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5608458A (en) | 1997-03-04 |
| CA2156944A1 (en) | 1996-04-14 |
| EP0707427A2 (en) | 1996-04-17 |
| EP0707427A3 (en) | 1997-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5608458A (en) | Method and apparatus for a region-based approach to coding a sequence of video images | |
| CA2124712C (en) | Block transform coder for arbitrarily shaped image segments | |
| Gerken | Object-based analysis-synthesis coding of image sequences at very low bit rates | |
| US4727422A (en) | Method and apparatus for efficiently communicating image sequence having improved motion compensation | |
| EP0316418B1 (en) | Hierarchical encoding method and apparatus for efficiently communicating image sequences | |
| US5995668A (en) | Segmented picture coding method and system, and corresponding decoding method and system | |
| JP4180666B2 (ja) | ビデオ信号符号化方法 | |
| KR0178231B1 (ko) | 계층적인 움직임 추정 기법을 이용하는 움직임 벡터 검출 방법 및 장치 | |
| US6879633B2 (en) | Method and apparatus for efficient video processing | |
| EP0734177A2 (en) | Method and apparatus for encoding/decoding a video signal | |
| EP0740473A2 (en) | Apparatus for encoding a video signal using feature point based motion estimation | |
| EP0771117A2 (en) | Method and apparatus for encoding and decoding a video signal using feature point based motion estimation | |
| JP5130381B2 (ja) | 効率的な映像処理のための方法および装置 | |
| JPH08242453A (ja) | 動きベクトル推定装置 | |
| CA2260578C (en) | Method and apparatus for encoding video shape and texture information | |
| JPH1093972A (ja) | 輪郭符号化方法 | |
| US6363113B1 (en) | Methods and apparatus for context-based perceptual quantization | |
| US5706366A (en) | Apparatus for encoding an image signal having a still object using an image warping technique | |
| KR0159370B1 (ko) | 물체의 경계를 고려한 영상 부호화방법 및 장치 | |
| JP2006518157A (ja) | オブジェクトベースの動き補償の方法及び装置 | |
| KR100212559B1 (ko) | 물체의 윤곽 부호화 시스템 및 그의 움직임 추정방법 | |
| EP1578136A2 (en) | Method and apparatus for encoding video shape and texture information | |
| JPH0746595A (ja) | 動画像符号化器および復号化器 | |
| Sanderson et al. | Image segmentation for compression of images and image sequences | |
| KR0174455B1 (ko) | 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20030107 |