JPH08340535A - フレーム間予測方法 - Google Patents

フレーム間予測方法

Info

Publication number
JPH08340535A
JPH08340535A JP14700795A JP14700795A JPH08340535A JP H08340535 A JPH08340535 A JP H08340535A JP 14700795 A JP14700795 A JP 14700795A JP 14700795 A JP14700795 A JP 14700795A JP H08340535 A JPH08340535 A JP H08340535A
Authority
JP
Japan
Prior art keywords
image
area
region
prediction
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP14700795A
Other languages
English (en)
Inventor
Yutaka Watanabe
裕 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP14700795A priority Critical patent/JPH08340535A/ja
Publication of JPH08340535A publication Critical patent/JPH08340535A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【目的】動画像シーケンスの任意のフレームに含まれる
動物体の領域のセグメンテーションを正確に行うことに
よって,フレーム間予測の効率を改善し,符号化効率の
よい動画像符号化を実現する。 【構成】画像をいくつかの領域に区切り,それぞれの領
域に対して動きまたは変形を表すパラメータを作用させ
て予測画像を生成し,予測誤差を符号化する動画像符号
化を行う際に,画像の輝度信号もしくは色差信号または
この双方による領域分割と,2フレーム間の動きベクト
ルによる領域分割と,エッジ抽出フィルタによる領域分
割と,テクスチャ解析による領域分割のうちの少なくと
もいずれか複数の領域分割を組み合わせて画像を複数の
領域に分割し,各領域毎に動きパラメータを求めて予測
を行う。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は,動画像の高能率符号化
を可能としたフレーム間予測方法に関するものである。
【0002】
【従来の技術】従来,画像の輝度信号による領域分割
(以下,セグメンテーションという)と,色差信号によ
るセグメンテーションと,2フレーム間の動きベクトル
によるセグメンテーションと,エッジ抽出フィルタによ
るセグメンテーションと,テクスチャ解析によるセグメ
ンテーションとをすべて組み合わせて画像を領域に分割
し,フレーム間予測を行う手法は提案されていなかっ
た。
【0003】例えば,輝度信号と色差信号を用いたK−
平均アルゴリズムを用いたセグメンテーションは,しば
しば領域分割に用いられる。しかし,これらは動きベク
トルによる画素毎のセグメンテーションおよびエッジ検
出フィルタによるセグメンテーションと組み合わされる
ことはなかった。
【0004】また,従来の動画像符号化に用いられるセ
グメンテーション手法は,シーンにかかわらず処理アル
ゴリズムが固定されており,シーケンス毎や,フレーム
毎に処理を変更することはできなかった。
【0005】
【発明が解決しようとする課題】従来法のうち,動きベ
クトルだけによるセグメンテーションでは,被写体(オ
ブジェクト)の一部が静止したときに領域として抽出さ
れず,連続した画像のフレームにおいて異なったオブジ
ェクトになり得る。例えば,あるフレームにおいて,前
景の物体の輝度と背景の輝度とが同じであるときには,
前景の物体の輪郭は正確に得られない。
【0006】アフィン変換などの変形パラメータを作用
させる変換は,オブジェクトの形(領域)が正確に得ら
れているときに,領域の変形を記述するパラメータであ
る。従って,オブジェクトの形が崩れた場合,変換のパ
ラメータは正確には得られず,フレーム間予測効率が低
下する。
【0007】また,輝度信号と色差信号を用いたK−平
均アルゴリズムを用いたセグメンテーションでは,動き
の情報が反映されないため,動いていない背景に模様が
ある場合にも,オブジェクトが多数検出される。そのた
め,それぞれの動きパラメータを符号化伝送すると符号
化効率が低下する。
【0008】さらに,エッジ検出フィルタあるいは輪郭
抽出フィルタを用いたセグメンテーションでは,細かな
エッジ検出が可能な反面,オブジェクトの境界がどこで
あるのかを検出することが困難であった。一般にエッジ
検出フィルタは閉領域を決定するものではないため,先
端が途切れた細線が多数出現する。そのため不正確なセ
グメンテーションがなされる欠点があった。
【0009】一方,従来の動画像符号化に用いられるセ
グメンテーション手法は,シーケンスや画像に関係な
く,一意に決定されているため,シーンに応じて,色差
によるセグメンテーションやテクスチャ解析によるセグ
メンテーションを切り替えて用いることができなかっ
た。
【0010】本発明の目的は,動画像シーケンスの任意
のフレームに含まれる動物体の領域のセグメンテーショ
ンを正確に行うことによって,フレーム間予測の効率を
改善し,符号化効率の良い動画像符号化方法を提供する
ことにある。
【0011】
【課題を解決するための手段】以下に本発明を詳細に説
明する。画像のセグメンテーション手法として, ・輝度信号によるセグメンテーション, ・色差信号によるセグメンテーション, ・2フレーム間の動きベクトルによるセグメンテーショ
ン, ・エッジ抽出フィルタによるセグメンテーション, ・テクスチャ解析によるセグメンテーション, などが代表的であるが,本発明では,これらのうちの一
つを選択してセグメント化するのではなく,複数個の処
理を組み合わせて,輪郭抽出の精度を向上させる。複数
の領域分割結果のAND処理により領域の統合ができ,
逆にOR処理により領域の細かな分割が可能である。
【0012】また,ある処理(処理Aとする)を実行し
て得られた領域(以下,セグメントという)のうち,一
定サイズ以上の部分には異なった処理(処理Bとする)
を適用してさらなる領域分割を行うことができる。処理
Aを実行して得られたセグメントのうち一定サイズ以下
の部分は,例えば他の処理Cを適用して得られた結果と
のANDをとり領域統合を行うこともできる。このよう
に,セグメンテーション手法の種類とその領域分割特性
に応じて複数の処理を組み合わせることにより,動画像
に含まれる被写体のセグメンテーションを正確に行うこ
とができる。
【0013】上記の例では,領域分割(すなわち領域の
輪郭抽出)を固定的に行う場合を述べたが,動画像シー
ケンスによっては,シーンによって分割手法を変化させ
た方が正確に輪郭抽出できる場合がある。符号化側と復
号側の双方で,局部復号画像に対して領域分割を行い,
射影変換などの幾何変形を加えて予測画像を生成し,予
測誤差を符号化する動画像符号化では,復号側におい
て,符号化側で求められた輪郭と同じものが必要であ
る。したがって,符号化側でどのような輪郭手法を用い
たかを知る必要がある。
【0014】そこで,セグメント化に用いる処理の種
類,順序,領域分離・統合の手法に対してインデクスを
与え,コードブックに格納し,符号化側ではこのインデ
クスにしたがって輪郭抽出して予測画像を生成すると共
に,インデクスを復号側に伝送する。復号側では同じコ
ードブックを準備しておき,インデクスに応じた輪郭抽
出処理を行う。
【0015】このインデクスを,動画像シーケンス単位
あるいはフレーム単位に伝送することにより,シーケン
スあるいはフレーム毎にセグメンテーションの手法を変
化させることができる。
【0016】セグメント化に用いる処理の種類,順序,
領域分離・統合の手法の選択には,複数の手法を組み合
わせて領域分割,輪郭抽出を行い,さらに領域毎に幾何
変形を施して予測画像を生成し,予測誤差が最小になる
ものを採用するか,あるいは予測誤差の符号化を行い符
号化情報量が最小になるものを採用する手法を用いるこ
とができる。
【0017】ここではセグメンテーション手法として代
表的な5種類を挙げたが,もっと多くの手法を組み合わ
せることもできる。
【0018】
【実施例】以下,本発明の実施例を説明する。図1に本
発明の実施例である一般的なフレーム間予測方法のブロ
ックダイヤグラムを示す。図1において,参照画像2す
なわち予測に用いる画像が,セグメンテーション処理部
3に入力され,輪郭情報4が求められる。輪郭情報4と
参照画像2および入力画像1は,変形処理部5に入力さ
れ,輪郭情報4で規定される領域の参照画像が入力画像
の一部に整合するように,変形パラメータ7が探索され
る。得られた変形パラメータ7を参照画像に作用させて
得られる予測画像6と変形パラメータ7が,変形処理部
5から出力される。
【0019】図2に本発明の実施例であるセグメンテー
ション方法(請求項1)のブロックダイヤグラムを示
す。参照画像11は,それぞれ手法が異なる5種類のセ
グメンテーション手段(A,B,C,D,E)12,1
3,14,15,16によりセグメント化され,領域分
割結果(A,B,C,D,E)17,18,19,2
0,21が出力される。これらの領域分割結果は処理選
択部22に入力され,いくつかの処理結果をもとに画像
が複数の領域に分割され,輪郭情報23が出力される。
【0020】図3に本発明の実施例であるセグメンテー
ション方法(請求項2)のブロックダイヤグラムを示
す。あらかじめセグメンテーションツールの種類35,
ツールの適用順序36,セグメント分割・統合手法の種
類37が記述された処理ツールコードブック34が用意
される。輪郭情報の抽出では,参照画像31が処理手順
選択部32に入力され,セグメンテーションツールの種
類35,ツールの適用順序36,セグメント分割・統合
手法の種類37が記述された処理ツールコードブック3
4の中から一つの処理手順が選択され,処理コード(イ
ンデクス)33が処理ツールコードブック34から処理
手順選択部32に伝えられる。処理手順選択部32で
は,選ばれた処理手順を用いて領域分割が行われ,輪郭
情報38が出力される。また,このときに用いた処理手
順を示す処理コード(インデクス)39が出力される。
【0021】図4に本発明の実施例であるセグメンテー
ション方法(請求項2)を用いた符号化器のブロックダ
イヤグラムを示す。入力画像101は,予測画像107
によって予測され,予測誤差108が計算される。予測
誤差108は,予測誤差符号化部109において量子
化,符号化され,予測誤差符号化データ110が出力さ
れる。予測誤差符号化データ110は,予測誤差復号部
111において予測誤差復号信号112に復号されたの
ち,予測画像107が加算されて符号化画像113が得
られる。符号化画像113はフレームメモリ102に蓄
えられる。
【0022】フレームメモリ102から読み出された局
部復号画像103は,輪郭情報抽出部104に入力さ
れ,数種類のセグメンテーション手法の中から適当な手
法が選ばれて,領域分割される。輪郭情報抽出部104
からは輪郭情報105と処理コード(インデクス)11
5が出力される。射影変換処理部106では,輪郭情報
105と局部復号画像103および入力画像101を用
いて領域の変形が行われ,射影パラメータ114と予測
画像107が出力される。ここで,図4の中の輪郭情報
抽出部104は,図3のブロックダイヤグラム全体に対
応する。
【0023】図5に本発明の実施例であるセグメンテー
ション方法(請求項2)を用いた復号器のブロックダイ
ヤグラムを示す。予測誤差符号化データ121は予測誤
差復号部122に入力され,予測誤差復号信号123が
復号される。予測誤差復号信号123は,予測画像13
0に加算され,符号化画像131が得られる。符号化画
像131は,フレームメモリ124に格納される。
【0024】フレームメモリ124から読み出された局
部復号画像125は,輪郭情報抽出部126に入力され
る。輪郭情報抽出部126では,受信した処理コード
(インデクス)132に対応する処理が,図3に示す処
理ツールコードブック34と同様なコードブックから読
み出され,その処理手順を用いて輪郭情報127が出力
される。輪郭情報127と局部復号画像125および受
信した射影パラメータ128は,射影変換処理部129
に入力され,予測画像130が生成される。
【0025】以上の実施例において,例えば図4に示す
符号化器または符号化器の領域分割に関連する部分を複
数組用意し,セグメント化に用いる処理の種類,順序,
領域分離・統合の手法の選択には,複数の手法を組み合
わせて領域分割,輪郭抽出を行い,さらに領域毎に幾何
変形を施して予測画像を生成し,予測誤差が最小になる
ものを採用するか,あるいは予測誤差の符号化を行い符
号化情報量が最小になるものを採用する手法を用いるこ
とができる。
【0026】
【発明の効果】本発明を用いれば,シーンに応じて,例
えば色差によるセグメンテーションやテクスチャ解析に
よるセグメンテーション等を切り替えて用いることがで
きるため,動画像シーケンスの任意のフレームに含まれ
る動物体の領域のセグメンテーションの精度が向上し,
フレーム間予測の効率が改善され,高能率映像圧縮符号
化を実現できる。
【図面の簡単な説明】
【図1】本発明の実施例である一般的なフレーム間予測
方法のブロックダイヤグラムである。
【図2】本発明の実施例であるセグメンテーション方法
(請求項1)のブロックダイヤグラムである。
【図3】本発明の実施例であるセグメンテーション方法
(請求項2)のブロックダイヤグラムである。
【図4】本発明の実施例であるセグメンテーション方法
(請求項2)を用いた符号化器のブロックダイヤグラム
である。
【図5】本発明の実施例であるセグメンテーション方法
(請求項2)を用いた復号器のブロックダイヤグラムで
ある。
【符号の説明】
1 入力画像 2 参照画像 3 セグメンテーション処理部 4 輪郭情報 5 変形処理部 6 予測画像 7 変形パラメータ 11 参照画像 12 セグメンテーション手段A 13 セグメンテーション手段B 14 セグメンテーション手段C 15 セグメンテーション手段D 16 セグメンテーション手段E 17 領域分割結果A 18 領域分割結果B 19 領域分割結果C 20 領域分割結果D 21 領域分割結果E 22 処理選択部 23 輪郭情報

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 画像をいくつかの領域に区切り,それぞ
    れの領域に対して動きまたは変形を表すパラメータを作
    用させて予測画像を生成し,予測誤差を符号化する動画
    像符号化方法において,画像の輝度信号もしくは色差信
    号またはこの双方による領域分割と,2フレーム間の動
    きベクトルによる領域分割と,エッジ抽出フィルタによ
    る領域分割と,テクスチャ解析による領域分割のうちの
    少なくともいずれか複数の領域分割を組み合わせて画像
    を複数の領域に分割し,各領域毎に動きパラメータを求
    めて予測を行うことを特徴とするフレーム間予測方法。
  2. 【請求項2】 符号化側と復号側の双方で,局部復号画
    像に対して領域分割を行い,幾何変形を加えて予測画像
    を生成し,予測誤差を符号化する動画像符号化方法にお
    いて,数種類の領域分割の手法のうち,使用する領域分
    割手法の種類と,適用する順序と,領域の分離および統
    合の手法とを数種類用意し,どの手法をどのような順序
    で用いるかを表すインデクスが記録されたコードブック
    を準備し,動画像シーケンス単位またはフレーム単位に
    そのインデクスを伝送することにより,符号化側と復号
    側とでシーケンス単位またはフレーム単位に領域分割手
    法を切り替えることを特徴とするフレーム間予測方法。
  3. 【請求項3】 請求項2記載のフレーム間予測方法にお
    いて,符号化側が領域を分割する方法を選出する場合
    に,複数の手法を組み合わせて領域分割を行い,領域毎
    に幾何変形による変換を行って予測画像を生成し,予測
    誤差が最小になるような領域分割手法を選び出すことを
    特徴とするフレーム間予測方法。
  4. 【請求項4】 請求項2記載のフレーム間予測方法にお
    いて,符号化側が領域を分割する方法を選出する場合
    に,複数の手法を組み合わせて領域分割を行い,領域毎
    に幾何変形による変換を行って予測画像を生成し,予測
    誤差の符号化を行い,符号化情報量を計測した後,その
    符号化情報量が最小になるような領域分割手法を選び出
    すことを特徴とするフレーム間予測方法。
JP14700795A 1995-06-14 1995-06-14 フレーム間予測方法 Pending JPH08340535A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP14700795A JPH08340535A (ja) 1995-06-14 1995-06-14 フレーム間予測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14700795A JPH08340535A (ja) 1995-06-14 1995-06-14 フレーム間予測方法

Publications (1)

Publication Number Publication Date
JPH08340535A true JPH08340535A (ja) 1996-12-24

Family

ID=15420458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14700795A Pending JPH08340535A (ja) 1995-06-14 1995-06-14 フレーム間予測方法

Country Status (1)

Country Link
JP (1) JPH08340535A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100536573C (zh) 2004-01-16 2009-09-02 北京工业大学 基于方向的dc预测方法及用于视频编码的帧内预测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100536573C (zh) 2004-01-16 2009-09-02 北京工业大学 基于方向的dc预测方法及用于视频编码的帧内预测方法

Similar Documents

Publication Publication Date Title
KR100365555B1 (ko) 화상부호화/복호화장치
EP1570413B1 (en) Region-of-interest tracking method and device for wavelet-based video coding
KR100327103B1 (ko) 사용자의조력및물체추적에의한영상객체분할방법
KR100422939B1 (ko) 화상 부호화장치, 화상 복호화장치, 화상 부호화방법,화상 복호화방법 및 매체
KR100413153B1 (ko) 화상 부호화 장치, 화상 복호화 장치 및 기록 매체
EP0720377B1 (en) Method for detecting motion vectors for use in a segmentation-based coding system
KR20040028911A (ko) 비디오 프레임간 움직임 추정용 방법 및 장치
US5650828A (en) Method and apparatus for detecting and thinning a contour image of objects
JPH08275180A (ja) 輪郭符号化装置
KR19990008977A (ko) 윤곽선 부호화 방법
JPH06197331A (ja) 動画像のフレーム内挿方式
KR100453222B1 (ko) 카메라 움직임 판별 장치 및 방법
US6263115B1 (en) Method and apparatus for encoding a binary shape signal
JP3120664B2 (ja) 画像符号化装置、画像復号化装置
JPH089379A (ja) 動きベクトル検出方法
JP3537616B2 (ja) ビデオシーケンスの時間的に順次連続する画像の画素に対する、計算機による動き予測方法
KR100265721B1 (ko) 2차원삼각형조각선격자모델을이용한동영상의움직임추정방법
JP3175914B2 (ja) 画像符号化方法および画像符号化装置
JPH08340535A (ja) フレーム間予測方法
CN115037933B (zh) 一种帧间预测的方法及设备
JP3700230B2 (ja) 動画像符号化における動き補償方法
JP5702960B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JPH04117089A (ja) 動画像の動き検出方式
JPH0993612A (ja) 輪郭情報を用いた画像符号化方法
JPH1042300A (ja) 動きベクトル検出装置