JPH09261653A

JPH09261653A - 多視点画像符号化装置

Info

Publication number: JPH09261653A
Application number: JP6126496A
Authority: JP
Inventors: Toshio Nomura; 敏男野村; Ryuji Kitaura; 竜二北浦; Hiroyuki Katada; 裕之堅田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1996-03-18
Filing date: 1996-03-18
Publication date: 1997-10-03

Abstract

(57)【要約】【課題】多視点画像符号化において高い符号化効率で
ありながら、視点数スケーラビリティを実現する符号化
装置を提供することを目的とする。また、補償予測にお
いて、効率的な補償ベクトルの探索を行なうことができ
る符号化装置を提供することを目的とする。【解決手段】基準視点画像の符号化においては、参照
画面を同一視点画像に限定し、基準視点以外の視点の画
像符号化においては、参照画面を同一視点画像及び基準
視点寄りの隣接視点画像に限定するとともに、視差補償
予測及び動視差補償予測を行なう際には、動き補償予測
で得られた動きベクトルと視差ベクトルバッファ内の視
差ベクトルを用いてパターンマッチングの探索範囲を移
動する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像高能率符号化に
おいて、特に動き補償あるいは視差補償予測を用いた多
視点画像の高能率符号化装置に関するものである。

【０００２】

【従来の技術】従来の２眼式立体映像の動き補償及び視
差補償（以後、補償と呼ぶ）方法として、図２０に示す
ような方法がある。図２０においてＶ１は左眼用の動画
像系列（以後、視点Ｖ１と呼ぶ）、Ｖ２は右眼用の動画
像系列（以後、視点Ｖ２と呼ぶ）を表し、図中の矢印は
予測の方向を示す。この場合、視点Ｖ２を符号化する場
合の参照画面が視点Ｖ１の画像に固定されている。

【０００３】これを多視点画像符号化にそのまま適用す
ると、他の画面（例えば符号化画面の１フレーム前の画
面）を参照画面とした方が予測誤差が少なくなる場合に
対応できないため、これを解決するための従来例が特開
平６−９８３１２号公報に開示されている。本従来例に
おける補償方法を図２１に示すが、複数の参照画面のう
ち予測誤差が最も少なくなるものを選択することによ
り、符号化効率を向上させるものである。

【０００４】

【発明が解決しようとする課題】しかしながら、図２１
に示したような補償方法では、参照画面としてどの画像
を用いるかは予測誤差の大小のみによって決定されるた
め、視点数スケーラビリティを実現できない。ここで視
点数スケーラビリティとは、多視点画像から任意の視点
数のみを再生できることを意味する。図２１は３眼式立
体映像の例だが、視点Ｖ２の画像だけを再生したい場合
でも、視点Ｖ１から視点Ｖ３までの全ての画像列を復号
しなければならない。

【０００５】また、視差補償においては、カメラと被写
体の位置関係によって視差が大幅に変化するため、視差
ベクトルの探索範囲（特に水平方向）は一般的な動きベ
クトルの探索範囲よりも広く取る必要がある。

【０００６】従って、本発明は多視点画像符号化におい
て高い符号化効率でありながら、視点数スケーラビリテ
ィを実現する符号化装置を提供することを目的とする。
また、補償予測において、効率的な補償ベクトルの探索
を行なうことができる符号化装置を提供することを目的
とする。

【０００７】

【課題を解決するための手段】本発明は上記目的を達成
するために、符号化画面と参照画面とのパターンマッチ
ングを行なって予測誤差及び補償ベクトルを求める３つ
のパターンマッチング部と、前記予測誤差が最小となる
参照画面の補償ベクトルを選択する最小値選択部と、参
照画面からの予測値と符号化画面との予測誤差を符号化
する符号器と、参照画面を保持しておくための複数のフ
レームメモリとを備えるとともに、基準視点画像を定
め、基準視点画像の符号化においては、参照画面を同一
視点画像に限定し、基準視点以外の視点の画像符号化に
おいては、参照画面を同一視点画像及び基準視点寄りの
隣接視点画像に限定することを特徴とする。

【０００８】また本発明では、前記基準視点画像の符号
化において、参照画面を符号化画面の１フレーム前の画
面のみとし、前記基準視点以外の視点の画像符号化にお
いては、参照画面を符号化画面の１フレーム前の画面
と、符号化画面の基準視点寄り隣接視点の同フレーム画
面と、符号化画面の基準視点寄り隣接視点の１フレーム
前の画面の３つとしてもよい。

【０００９】また本発明では、符号化画面を複数のブロ
ックに分割し、前記パターンマッチング部は、ブロック
単位でパターンマッチングを行なうとともに、前記最小
値選択部は、ブロック単位で参照画面を選択してもよ
い。

【００１０】また本発明では、前記最小値選択部は、フ
レーム単位で参照画面を選択してもよい。

【００１１】また本発明では、前記フレームメモリの数
Ｍは、視点数ｎ（ｎ：自然数）の場合に、Ｍ＝ｎ＋２（ｎ＝２、３、４）Ｍ＝ｎ＋３（ｎ≧５）とすることができる。

【００１２】また本発明では、前記基準視点は、視点数
２ｎ＋１（ｎ：自然数）の場合にはｎ番目の視点、視点
数２ｎ（ｎ：自然数）の場合にはｎ番目もしくはｎ＋１
番目の視点としてもよい。

【００１３】また本発明では、補償予測を行なう順序
を、符号化画面と同一視点の１フレーム前の画面（動き
補償予測）、符号化画面と隣接視点の同フレームの画面
（視差補償予測）、符号化画面と隣接視点の１フレーム
前の画面（動視差補償予測）の順とし、視差補償予測及
び動視差補償予測を行なう際には、動き補償予測で得ら
れた動きベクトルと視差ベクトルバッファ内の視差ベク
トルを用いてパターンマッチングの探索範囲を移動する
ようにしてもよい。

【００１４】また本発明では、視差補償予測を行なう際
には、動き補償予測で得られた動きベクトルと視差ベク
トルバッファ内の視差ベクトルを用いてパターンマッチ
ングの探索範囲を移動し、動視差補償予測を行なう際に
は動き補償予測で得られた動きベクトルと視差補償予測
で得られた視差ベクトルを用いてパターンマッチングの
探索範囲を移動してもよい。

【００１５】また本発明では、前記視差補償予測及び動
視差補償予測を行なう際に、パターンマッチングの探索
範囲を動き補償予測の際の探索範囲よりも狭い領域とし
てもよい。

【００１６】

【発明の実施の形態】本発明の第１の実施の形態につい
て説明する。図１は本実施の形態における補償方法の一
例であり、３眼式の場合を示してある。Ｖ１、Ｖ２、Ｖ
３は異なる視点の動画像系列を表し、Ｖ２が基準となる
中央の視点（以後、視点Ｖ２と呼ぶ）、Ｖ１は左側の視
点（以後、視点Ｖ１と呼ぶ）、Ｖ３は右側の視点（以
後、視点Ｖ３と呼ぶ）である。矢印は予測の方向を示し
ている。本発明では基準視点（図１の場合は視点Ｖ２）
の画像を符号化する際には動き補償のみを行ない、他の
視点の画像は参照しないことを特徴とする。従って、基
準視点画像のみを再生する際に他視点の画像を必要とし
ない。一方、視点Ｖ１を符号化する際には、視点Ｖ１あ
るいはＶ２で既に符号化済の画面を参照画面として符号
化を行なう。視点Ｖ３についても同様である。このよう
にすることにより、視点Ｖ１とＶ２もしくは視点Ｖ２と
Ｖ３の画像列のみを用いることにより、２視点分だけの
再生を行なうことが可能となる。

【００１７】すなわち、再生しようとする画像の視点数
が１、２、３いずれの場合でも、視点数と同じ数の画像
列のみを用いることにより再生が可能であり、視点数ス
ケーラビリティが実現される。

【００１８】本実施の形態における符号化装置のブロッ
ク図を図２に示す。図２は３眼式の場合の例である。符
号化画面Ｐ０と参照画面Ｐ１、Ｐ２、Ｐ３を、３つのパ
ターンマッチング部１０１〜１０３に入力する。本実施
の形態では、符号化画面を複数のブロック（１つのブロ
ックは８×８画素あるいは１６×１６画素で構成され
る）に分割し、パターンマッチング部１０１〜１０３に
おいてブロック単位でマッチングを行ない、マッチング
結果であるところの予測誤差を最小値検出部１０４に出
力する。最小値検出部１０４は３つのパターンマッチン
グ部からの出力のうち、最小のものを選択し、どの参照
画面を選択したかを示す選択フラグを出力する。選択部
１０５は最小値検出部１０４からの選択フラグに対応す
る補償ベクトルを出力する。

【００１９】符号器は、従来から広く知られているもの
を用いることができ、直交変換部１０６、量子化部１０
７、逆量子化部１０８、逆直交変換部１０９、選択部１
１５、１１６、フレームメモリ１１０〜１１４、可変長
符号化部１１７、補償部１１８により構成される。通常
の動画像符号化に用いる符号器では、順方向予測のみの
場合、必要となるフレームメモリは参照画面用と復号画
像書き込み用の２フレーム分であるが、３眼式立体映像
用の符号器である本実施の形態では、５フレーム分のフ
レームメモリが必要となる。この点については後述す
る。

【００２０】選択部１１５は参照画面Ｐ１、Ｐ２、Ｐ３
として用いるべき画像が格納されているフレームメモリ
を選択するとともに、最小値検出部１０４からの選択フ
ラグに基づき、補償予測に用いる画面をブロック単位で
補償部１１８に渡す。この選択部１１５における参照画
面の選択方法が本発明の主要部であり、符号化手順とと
もに後で詳しく説明する。補償部１１８では選択部１０
５から出力された補償ベクトルに基づき、補償予測を行
なう。また、選択部１１６は、逆量子化部１０８及び逆
直交変換部１０９によって生成される局部復号画像を書
き込むフレームメモリをフレーム単位で選択する。な
お、可変長符号化部１１７では量子化部１０７からの出
力である予測誤差とともに、最小値検出部１０４からの
出力である選択フラグと選択部１０５からの出力である
補償ベクトルも併せて符号化される。

【００２１】次に、符号化の手順について図３を用いて
詳しく説明する。図３は図１のような３眼式立体映像を
符号化する場合の、符号化順序と参照画面の関係の一例
を示したものである。まず、基準視点Ｖ２の最初の画面
２１をフレーム内符号化する（ステップ１）。画面２１
は符号化されると同時に、符号化装置内で復号化されて
フレームメモリに蓄えられる。次に画面２１の復号画像
を参照画面として画面１１、画面３１、画面２２を符号
化する（ステップ２、３、４）。本発明ではこのよう
に、参照画面として用いられるのは参照される時点より
も以前に符号化された画面の復号画像であり、これ以
降、参照画面は復号画像（原画像ではない）であること
を特に断らない。

【００２２】次に画面１１、２１、２２を参照して画面
１２を符号化する（ステップ５）。このとき、画面１２
と画面１１、２１、２２との間でブロック単位でパター
ンマッチングを行ない、最も予測誤差が小さくなるもの
を参照画面とする。すなわち、ブロック単位で参照画面
の選択が行なわれる。これ以降は同様の処理を行なえば
よく、視点Ｖ２の符号化の際には参照画面が１つであ
り、視点Ｖ１及びＶ３の符号化の際には参照画面が３つ
となる。また、視点Ｖ２だけを考えると通常の動き補償
予測符号化と同じであり、適当な周期でフレーム内符号
化画面が現れるので、その度に図２の最初に戻って処理
を繰り返せばよい。なお、参照画面の選択はブロック単
位に限らず、フレーム単位で行なってもよい。フレーム
単位の選択を行なう場合は、全てのブロック単位でのパ
ターンマッチングにより得られる予測誤差の２乗和（画
面全体の予測誤差）が最も小さくなるものを参照画面と
する。

【００２３】ここで、必要となるフレームメモリの数に
ついて説明する。図３におけるステップ５の場合を例に
とると、ステップ４が終了した時点でフレームメモリ内
に蓄えられている画像は、画面１１、２１、２２、３１
の４フレームである。ステップ５では画面１２を符号化
するので、ステップ５の処理中は上記４フレーム以外に
画面１２の復号画像を書き込むフレームメモリが１フレ
ーム分必要となり、合計５フレーム分のフレームメモリ
が必要となる。

【００２４】ステップ５終了後には画面１１は不要とな
るため、ステップ５終了後のフレームメモリの内容は画
面１２、２１、２２、３１となる。なお、ステップ５で
は画面３１は不要であるが、ステップ６で必要となるた
めこれを保持しておく必要がある。符号化自体には参照
画面用３フレームと復号画像書き込み用１フレームの合
計４フレーム分のフレームメモリがあればよいのだが、
上述したようにその時点では使用しないが後のステップ
で使用する画面を保持しておくためのフレームメモリが
別途必要となるため、この点を考慮すると、視点数ｎと
必要となるフレームメモリの数Ｍとの関係は、Ｍ＝ｎ＋２（ｎ＝２、３、４）Ｍ＝ｎ＋３（ｎ≧５；ｎは自然数）となる。

【００２５】次に、５眼式の場合の補償方法の例を図４
に示す。この場合、Ｖ３が基準視点となる。

【００２６】また、符号化装置のブロック図は図２に示
したものとほとんど同じであり、必要となるフレームメ
モリの数が８フレーム分となることだけが異なってい
る。なお、本発明では視点数がいくつであっても参照画
面は３つ以下であることから、視点数に関わらずパター
ンマッチング部は３つでよい。

【００２７】図４においてＶ２、Ｖ３、Ｖ４の部分は図
１と同じであり、その外側にＶ１とＶ５が付け加わった
と考えることができる。視点Ｖ１はＶ１自身かＶ２から
のみ参照画面を選択し、視点Ｖ５はＶ５自身かＶ４から
のみ参照画面を選択する。すなわち、本発明では基準視
点以外の視点の画像列Ｖｘを符号化する際には、参照画
面としてＶｘ自身もしくはＶｘよりも１つ基準視点寄り
の画像列を選択することが特徴である。一般に、本発明
における視点Ｖｘのｙ番目の画像Ｐｘｙを符号化する際
の参照画面は、基準視点をＶｘ０とすると図５のように
なる。図４のような参照画面選択により符号化された多
視点画像は、図６に示すような復号画像列の選択により
任意の視点数の再生が可能となる。すなわち、視点数ス
ケーラビリティが実現できる。

【００２８】５眼式の場合の符号化手順を図７に示す。
ステップ１の画面３１はフレーム内符号化である。基準
視点Ｖ３と各視点１番目の画面は参照画面が１つ、それ
以外の画面は参照画面が３つである。図７において、例
えばステップ４で生成された局部復号画像１１はステッ
プ５〜８では参照されず、ステップ９の段階で初めて参
照されるため、この間ずっと保持しておく必要がある。
図７からわかるように、このようにフレームメモリに保
持しておく必要のある画像数は最大７であり、これに書
き込み用の１フレーム分を加えた合計８フレーム分が、
５眼式の場合に必要となるフレームメモリ数となる。

【００２９】同様に、２眼式の場合の補償方法と符号化
手順の例を図８、図９に、４眼式の場合の補償方法と符
号化手順の例を図１０、図１１に示す。また、基準視点
の選び方は、視点数が２ｉ＋１の場合は視点Ｖｉ、視点
数が２ｉの場合は視点ＶｉまたはＶｉ＋１とする。ここ
にｉは自然数である。図８〜図１１の例では、基準視点
をＶｉとしている。

【００３０】なお、これまでは順方向予測のみを用いる
場合について説明してきたが、双方向予測を用いる場合
でも同様の考え方で符号化装置を構成することができ
る。

【００３１】次に、本発明の第２の実施の形態について
説明する。図１２は図１に示した３眼式立体映像を符号
化する場合の、画面３２の符号化を説明する図である。
画面３２を符号化する際には、画面２１、２２、３１と
の間でパターンマッチングを行ない、予測誤差が最小と
なるものを参照画面とする。このパターンマッチングで
は、補償ベクトルを求めているのだが、参照する画面に
よって探索範囲を変化させる必要がある。この点につい
て詳しく説明する。

【００３２】なお、本発明では符号化画面と参照画面の
関係によって３種類の補償予測方法が存在するが、図１
２において符号化画面が画面３２である場合に、画面３
１（符号化画面と同視点の１フレーム前の画面）からの
予測を動き補償予測、画面２２（符号化画面の隣の視点
で同フレームの画面）からの予測を視差補償予測、画面
２１（符号化画面の隣の視点で１フレーム前の画面）か
らの予測を動視差補償予測と呼ぶことにする。また、各
補償予測において求まる補償ベクトルを、それぞれ動き
ベクトル、視差ベクトル、動視差ベクトルと呼ぶ。ま
た、パターンマッチングは、画面３２と画面３１（動き
補償予測）、画面３２と画面２２（視差補償予測）、画
面３２と画面２１（動視差補償予測）の順に行なうもの
とする（ブロック単位もしくはフレーム単位）。

【００３３】動きベクトル探索（例えば画面３２と画面
３１のパターンマッチングを行なう）の場合には、フレ
ーム間での動き量がそれほど大きくないことから、例え
ば水平方向、垂直方向ともに±１５画素というように比
較的狭い正方形領域を探索すればよい。図１２におい
て、画面３２において位置ｄにあるブロックのマッチン
グを行なうには、画面３１上で位置ｄを中心とする適当
な大きさの正方形領域を探索する。ところが、視差ベク
トル探索（例えば画面３２と画面２２のパターンマッチ
ング）の場合には、一般的に視差ベクトルの水平方向成
分が動きベクトルに比べて大きいことから、動きベクト
ルの場合と同様な探索範囲としても正しいパターンマッ
チングが行なえない。

【００３４】図１２で言うと、画面３２における位置ｄ
にあるブロックのマッチングでは、位置ｃ（画面２２
上）が最適解となるべきだが、位置ｃは動きベクトル探
索で設定した探索範囲外となってしまう。これに対応す
るために、視差ベクトルの探索範囲を水平方向に拡大す
ることが考えられる。本実施の形態においても、画像列
の先頭画面（図１２でいうところの画面３１）の符号化
を行なう場合には、水平方向に拡大した長方形の探索範
囲を用いて視差ベクトルを求める。先頭画面では全ての
ブロックについて視差ベクトルが求められるが、本実施
の形態ではこの１画面分の視差ベクトルを視差ベクトル
バッファに記憶する。なお、視差ベクトルは一般的に垂
直成分が小さい（理想的には０）ため、垂直方向の探索
範囲は例えば±５画素というように、動きベクトルの垂
直方向探索範囲よりも小さくてよい。

【００３５】さて、画面３２と画面２２のパターンマッ
チング（視差補償予測）を行なう場合に、マッチングを
行なおうとするブロックを中心とする正方形領域を探索
してもうまくいかないことは前述した通りだが、ここで
視差ベクトルバッファに記憶されている視差ベクトルを
用いる。画面３２のあるブロックｄを考えた場合に、先
に行なった動き補償予測（画面３２と画面３１のパター
ンマッチング）においてこれと最もマッチングするブロ
ックが求められている（この対応を表すものが動きベク
トルである）。求まった動きベクトルによって、ブロッ
クｄは画面３１上のブロックｂと対応することがわかっ
たとすると、画面３１のブロックｂに対応する視差ベク
トルは視差ベクトルバッファに記憶されているので、画
面３２内のマッチング対象ブロックの探索中心を画面３
１上でその視差ベクトルが指す位置に移動し、そこを中
心とする正方形領域を探索する。このようにすると、探
索中心を視差ベクトル分だけ移動した後は通常の動きベ
クトル探索と同様に取り扱うことができる。画面３２と
画面２１のパターンマッチング（動視差補償予測）を行
なう場合も、これと同様に、探索中心を視差ベクトル分
だけ移動し、そこを中心とする正方形領域を探索する。

【００３６】このようにして求めた３種類の補償ベクト
ル（動きベクトル、視差ベクトル、動視差ベクトル）の
うち、最も予測誤差が小さくなるものをそのブロックの
最終的な補償ベクトルとして出力する。また、画面３２
と画面２２のパターンマッチングにより全てのマクロブ
ロックについて新たな視差ベクトルが求まるので、これ
を用いて視差ベクトルバッファの内容を更新する。

【００３７】本実施の形態における符号化装置のブロッ
ク図を図１３に示す。図１３の符号化装置は、図２に示
した符号化装置に２つの視差ベクトルバッファ１２０、
１２１と選択部１２２、１２３を加えたものである。

【００３８】また、図２におけるパターンマッチング部
１０１〜１０３は、図１３では動き補償パターンマッチ
ング部１３１、動視差補償パターンマッチング部１３
２、視差補償パターンマッチング部１３３に置き換えて
ある。図１３の符号化装置は３眼式なので視差ベクトル
バッファは２つ必要になるが、一般に視点数がｉの場
合、必要な視差ベクトルバッファの数はｉ−１となる。
選択部１２２は新たに求まる視差ベクトルを書き込むべ
き視差ベクトルバッファを選択する。本実施の形態にお
ける符号化順序と視差ベクトルバッファの内容の一例を
図１４に示す。図１４ではバッファＡが視点Ｖ１用、バ
ッファＢが視点Ｖ３用となっており、それぞれの視点に
属する画像が符号化されるたびにバッファの内容が更新
されていく。なお、図１４中で１１−２１という表記
は、画面１１から画面２１への視差ベクトルを意味す
る。

【００３９】１画面を符号化する場合、まず動き補償パ
ターンマッチング部１３１において動き補償を行ない、
選択部１２３はその結果に基づいて視差ベクトルバッフ
ァから対応する視差ベクトルを視差補償パターンマッチ
ング部１３３と動視差補償パターンマッチング部１３２
に出力する。視差補償パターンマッチング部１３３と動
視差補償パターンマッチング部１３２では、送られた視
差ベクトル分だけ探索中心を移動してパターンマッチン
グを行なう。

【００４０】なお、本実施の形態では視差補償予測と動
視差補償予測における探索中心は同一であるが、探索範
囲の大きさは同じである必要がない。図１５に両補償予
測において探索範囲の大きさを変える例を示す。図１５
は図１２における画面３２の部分に相当する。視差補償
予測では視差ベクトルの垂直成分が小さいことから、垂
直方向探索範囲を狭めることができ、さらに前フレーム
の視差ベクトルを用いることにより概略の位置の見当が
ついていることから、水平方向についてもそれほど広い
範囲を探索する必要がない。これは探索時間の短縮もし
くは探索結果の高精度化が可能であることを意味する。
もちろん、探索領域が正方形である必要もない。なお、
この場合の動視差補償予測では、前フレームの視差ベク
トルを用いても通常の動き補償と同程度の探索範囲を必
要とする。

【００４１】次に、本発明の第３の実施の形態について
説明する。図１６は図１に示した３眼式立体映像を符号
化する場合の、画面３２の符号化を説明する図である。
図１６は図１２における画面３２の部分に相当し、図１
２に示したのと同様に３種類の補償方法と補償ベクトル
が存在するとともに、パターンマッチングの順序も動き
補償予測、視差補償予測、動視差補償予測の順に行なう
ものとする（ブロック単位もしくはフレーム単位）。

【００４２】図１６においてもまず動き補償予測を行な
い、その後の視差補償予測では前フレームの視差ベクト
ルを用いて探索中心を視差ベクトル分だけ移動してパタ
ーンマッチングを行なう点は図１５で説明したのと同様
である。しかしながら、本実施の形態では動視差補償予
測における探索範囲の設定方法が図１２あるいは図１５
で説明した方法と異なる。図１６において動視差補償予
測を行なう際には、前フレームの視差ベクトル分だけ移
動した視差補償予測の際の探索中心を、既に求めた動き
ベクトル分だけさらに移動した点を探索中心としてパタ
ーンマッチングを行なう。このような探索中心の移動に
より、動視差補償予測においても最適解の概略の位置の
見当がつくことになるため、動視差補償予測における探
索範囲を通常の動き補償で用いられる探索範囲よりも小
さくすることができる。すなわち、探索時間の短縮もし
くは探索結果の高精度化を図ることができる。

【００４３】図１６のような補償方法を実現するための
符号化装置のブロック図を図１７に示す。図１３に示し
た符号化装置との相違は、選択部１２３からの出力（選
択された視差ベクトル）を動視差補償パターンマッチン
グ部１３２に入力する前に、動き補償パターンマッチン
グ部３１からの出力（動きベクトル）を加えている点で
ある。

【００４４】また、図１６においては、動視差補償予測
における探索中心を「前フレームの視差ベクトル＋動き
ベクトル」だけ移動した点としたが、前フレームの視差
ベクトルの代わりに現フレームの視差補償予測において
新たに求めた視差ベクトルを用いることもできる。図１
８はこの方法を説明する図であり、動視差補償予測にお
ける探索中心を、「新たに求めた視差ベクトル＋動きベ
クトル」だけ移動した点とするものである。このように
することにより、動視差補償予測における探索中心をよ
り最適解に近い位置にもっていくことができ、探索範囲
をさらに小さくすることができる。すなわち、より効果
的に探索時間の短縮もしくは探索結果の高精度化を図る
ことができる。

【００４５】図１８のような補償方法を実現するための
符号化装置のブロック図を図１９に示す。図１７に示し
た符号化装置との相違は、動視差補償パターンマッチン
グ部１３２への入力として、視差補償パターンマッチン
グ部１３３の出力（視差ベクトル）に動き補償パターン
マッチング部１３１の出力（動きベクトル）を加えたも
のを与えている点である。図１８の補償方法では、視差
ベクトルバッファに記憶された前フレームの視差ベクト
ルは視差補償予測の際の探索中心を決定するためだけに
用いられ、動視差補償予測では用いない。

【００４６】

【発明の効果】本発明の多視点画像符号化装置によれ
ば、符号化画面と参照画面とのパターンマッチングを行
なって予測誤差及び補償ベクトルを求める３つのパター
ンマッチング部と、前記予測誤差が最小となる参照画面
の補償ベクトルを選択する最小値選択部と、参照画面か
らの予測値と符号化画面との予測誤差を符号化する符号
器と、参照画面を保持しておくための複数のフレームメ
モリとを備えるとともに、基準視点画像を定め、基準視
点画像の符号化においては、参照画面を同一視点画像に
限定し、基準視点以外の視点の画像符号化においては、
参照画面を同一視点画像及び基準視点寄りの隣接視点画
像に限定するようにしたので、高い符号化効率を保ちな
がら視点数スケーラビリティを実現できる。

【００４７】また、ブロック単位で３つの参照画面を選
択するようにしたので、予測誤差をより小さくでき、高
い符号化効率を実現できる。

【００４８】さらに、視差ベクトルバッファを設けると
ともに、補償予測を行なう順序を、動き補償予測、視差
補償予測、動視差補償予測の順とし、視差補償予測及び
動視差補償予測を行なう際には、動き補償予測で得られ
た動きベクトルと視差ベクトルバッファ内の視差ベクト
ルを用いてパターンマッチングの探索範囲を移動するよ
うにしたので、視差ベクトル及び動視差ベクトルを効率
的に探索することができる。

【００４９】さらに、動視差補償予測を行なう際に、動
き補償予測で得られた動きベクトルと視差補償予測で得
られた視差ベクトルを用いてパターンマッチングの探索
範囲を移動したので、動視差ベクトルをより効率的に探
索することができる。

【図面の簡単な説明】

【図１】本発明における３眼式立体映像の補償予測方法
を示す図である。

【図２】図１の補償予測方法を実現する符号化装置のブ
ロック図である。

【図３】図１の補償予測方法の符号化手順と参照画面を
説明する図である。

【図４】本発明における５眼式立体映像の補償予測方法
を示す図である。

【図５】本発明における視点と参照画面の関係を示す図
である。

【図６】本発明における再生視点数と復号画像の関係を
示す図である。

【図７】図４の補償予測方法の符号化手順と参照画面を
説明する図である。

【図８】本発明における２眼式立体映像の補償予測方法
を示す図である。

【図９】図８の補償予測方法の符号化手順と参照画面を
説明する図である。

【図１０】本発明における４眼式立体映像の補償予測方
法を示す図である。

【図１１】図１０の補償予測方法の符号化手順と参照画
面を説明する図である。

【図１２】本発明における３種類の補償予測方法を説明
する図である。

【図１３】図１２の補償予測方法を実現する符号化装置
のブロック図である。

【図１４】図１２の補償予測方法の符号化手順と視差ベ
クトルバッファ内容を説明する図である。

【図１５】図１２の補償予測方法における探索範囲を説
明する図である。

【図１６】動視差補償予測における探索範囲の設定方法
を説明する図である。

【図１７】図１６の補償予測方法を実現する符号化装置
のブロック図である。

【図１８】動視差補償予測における探索範囲の別の設定
方法を説明する図である。

【図１９】図１８の補償予測方法を実現する符号化装置
のブロック図である。

【図２０】従来の２眼式立体映像の補償予測方法を示す
図である。

【図２１】従来の多視点立体映像の補償予測方法を示す
図である。

【符号の説明】

Ｐ０符号化画面Ｐ１、Ｐ２、Ｐ３参照画面Ｖ１、Ｖ２、Ｖ３、Ｖ４、Ｖ５視点１１〜５３フレーム画面１０４最小値検出部１０１、１０２、１０３パターンマッチング部１０５、１１５、１１６、１２２、１２３選択部１０６直交変換部１０７量子化部１０８逆量子化部１０９逆直交変換部１１０〜１１４フレームメモリ１１７可変長符号化部１１８補償部１２０、１２１視差ベクトルバッファ１３１動き補償パターンマッチング部１３２動視差補償パターンマッチング部１３３視差補償パターンマッチング部

Claims

【特許請求の範囲】

【請求項１】符号化画面と参照画面とのパターンマッ
チングを行なって予測誤差及び補償ベクトルを求める３
つのパターンマッチング部と、前記予測誤差が最小とな
る参照画面の補償ベクトルを選択する最小値選択部と、
参照画面からの予測値と符号化画面との予測誤差を符号
化する符号器と、参照画面を保持しておくための複数の
フレームメモリとを備えるとともに、基準視点画像を定め、基準視点画像の符号化において
は、参照画面を同一視点画像に限定し、基準視点以外の
視点の画像符号化においては、参照画面を同一視点画像
及び基準視点寄りの隣接視点画像に限定することを特徴
とする多視点画像符号化装置。
【請求項２】前記基準視点画像の符号化においては、
参照画面を符号化画面の１フレーム前の画面のみとし、
前記基準視点以外の視点の画像符号化においては、参照
画面を符号化画面の１フレーム前の画面と、符号化画面
の基準視点寄り隣接視点の同フレーム画面と、符号化画
面の基準視点寄り隣接視点の１フレーム前の画面の３つ
とすることを特徴とする請求項１に記載の多視点画像符
号化装置。
【請求項３】前記パターンマッチング部は符号化画面
を複数のブロックに分割し、ブロック単位でパターンマ
ッチングを行なうとともに、前記最小値選択部は、ブロ
ック単位で参照画面を選択することを特徴とする請求項
１に記載の多視点画像符号化装置。
【請求項４】前記パターンマッチング部は符号化画面
を複数のブロックに分割し、ブロック単位でパターンマ
ッチングを行なうとともに、前記最小値選択部は、フレ
ーム単位で参照画面を選択することを特徴とする請求項
１に記載の多視点画像符号化装置。
【請求項５】前記フレームメモリの数Ｍは、視点数ｎ
（ｎ：自然数）の場合に、Ｍ＝ｎ＋２（ｎ＝２、３、４）Ｍ＝ｎ＋３（ｎ≧５）であることを特徴とする請求項１に記載の多視点画像符
号化装置。
【請求項６】前記基準視点は、視点数２ｎ＋１（ｎ：
自然数）の場合にはｎ番目の視点、視点数２ｎ（ｎ：自
然数）の場合にはｎ番目もしくはｎ＋１番目の視点とす
ることを特徴とする請求項１に記載の多視点画像符号化
装置。
【請求項７】符号化画面と参照画面とのパターンマッ
チングを行なって予測誤差及び補償ベクトルを求める３
つのパターンマッチング部と、前記予測誤差が最小とな
る参照画面の補償ベクトルを選択する最小値選択部と、
参照画面からの予測値と符号化画面との予測誤差を符号
化する符号器と、参照画面を保持しておくための複数の
フレームメモリと、符号化画面の前フレームで求めた視
差ベクトルを記憶するための視差ベクトルバッファとを
備えるとともに、基準視点画像を定め、基準視点画像の符号化において
は、参照画面を符号化画面の１フレーム前の画面のみと
し、前記基準視点以外の視点の画像符号化においては、
参照画面を符号化画面の１フレーム前の画面と、符号化
画面の基準視点寄り隣接視点の同フレーム画面と、符号
化画面の基準視点寄り隣接視点の１フレーム前の画面の
３つとし、補償予測を行なう順序を、符号化画面と同一
視点の１フレーム前の画面（動き補償予測）、符号化画
面と隣接視点の同フレームの画面（視差補償予測）、符
号化画面と隣接視点の１フレーム前の画面（動視差補償
予測）の順とし、視差補償予測及び動視差補償予測を行
なう際には、動き補償予測で得られた動きベクトルと視
差ベクトルバッファ内の視差ベクトルを用いてパターン
マッチングの探索範囲を移動することを特徴とする多視
点画像符号化装置。
【請求項８】前記視差補償予測を行なう際には、パタ
ーンマッチングの探索範囲を動き補償予測の際の探索範
囲よりも狭い領域とすることを特徴とする請求項７に記
載の多視点画像符号化装置。
【請求項９】符号化画面と参照画面とのパターンマッ
チングを行なって予測誤差及び補償ベクトルを求める３
つのパターンマッチング部と、前記予測誤差が最小とな
る参照画面の補償ベクトルを選択する最小値選択部と、
参照画面からの予測値と符号化画面との予測誤差を符号
化する符号器と、参照画面を保持しておくための複数の
フレームメモリと、符号化画面の前フレームで求めた視
差ベクトルを記憶するための視差ベクトルバッファとを
備えるとともに、基準視点画像を定め、基準視点画像の符号化において
は、参照画面を符号化画面の１フレーム前の画面のみと
し、前記基準視点以外の視点の画像符号化においては、
参照画面を符号化画面の１フレーム前の画面と、符号化
画面の基準視点寄り隣接視点の同フレーム画面と、符号
化画面の基準視点寄り隣接視点の１フレーム前の画面の
３つとし、補償予測を行なう順序を、符号化画面と同一
視点の１フレーム前の画面（動き補償予測）、符号化画
面と隣接視点の同フレームの画面（視差補償予測）、符
号化画面と隣接視点の１フレーム前の画面（動視差補償
予測）の順とし、視差補償予測を行なう際には、動き補
償予測で得られた動きベクトルと視差ベクトルバッファ
内の視差ベクトルを用いてパターンマッチングの探索範
囲を移動し、動視差補償予測を行なう際には動き補償予
測で得られた動きベクトルと視差補償予測で得られた視
差ベクトルを用いてパターンマッチングの探索範囲を移
動することを特徴とする多視点画像符号化装置。
【請求項１０】前記視差補償予測及び動視差補償予測
を行なう際には、パターンマッチングの探索範囲を動き
補償予測の際の探索範囲よりも狭い領域とすることを特
徴とする請求項９に記載の多視点画像符号化装置。