JPH0698312A - 画像高能率符号化方式 - Google Patents

Abstract

(57)【要約】 【目的】 動き補償又は視差補償予測方式を用いて多眼
立体映像に対しても可能な高能率符号化方式を実現す
る。 【構成】 符号化画面と複数のチャネルの時間的又は空
間的参照画面（又は複数参照画面間の重み付け平均値）
とのパターンマッチングを行って各々の誤差及び補償ベ
クトルを求め、該誤差が最小となる参照画面の補償ベク
トルを選択してその選択フラグと共に伝送すると共に、
該選択フラグに基づき参照画面と該符号化画面との予測
誤差を求めて符号化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像高能率符号化方式に
関し、特に動き補償又は視差補償予測方式を用いた多眼
式立体映像の高能率符号化方式に関するものである。

【０００２】図５に多眼式立体映像を作る場合の概念構
成が示されており、まず、静止或いは動いている被写体
１０を、位置をタテおよびヨコに少しづつずらした複数
のカメラ群１１で撮影する。次に、複数のカメラ群１１
から得られた画像データを符号器１２で高能率符号化
し、多重化部１３でマルチプレクスしたのち、伝送路１
４などを介して伝送し、受信側では分離部１４でデマル
チプレクスした後、復号を行い、ディスプレイ１６に映
し出す。

【０００３】この出力側のディスプレイ１６は、一例と
してレンチキュラ・レンズ（ヨコ方向にのみ視差がある
場合）または、ハエの眼レンズ（タテ・ヨコ方向に視差
がある場合）が使用される。

【０００４】一例として、図６に、タコを被写体とした
ときの、タテ５眼、ヨコ５眼の、それぞれのカメラから
の出力をわかりやすく表示した例を示す。この例では、
上下方向にも視差が有る。

【０００５】このように位置をタテおよびヨコに少しづ
つずらした複数のカメラを用いるのは、１つのカメラか
らの出力を片方の眼に対する入力として、両眼視差を形
成して立体視を行えるようにするためであり、また、カ
メラを多数用いた場合、出力系でディスプレイ１６を見
る人間が頭を振っても自然な立体視を行うことができる
ためであり、このような自然な立体映像を与えるシステ
ムが期待されている。

【０００６】

【従来の技術】このような立体映像を符号化する場合、
従来では各カメラ出力に対して個々に行われるだけであ
ったため、多眼立体映像全体としては高能率符号化とは
言えなかった。

【０００７】一方、多眼映像ではないが、二眼式の立体
映像において、左右眼のどちらか一方用の画像（この例
では右眼入力画像）を参照画像として視差補償を行うこ
とにより高能率符号化を実現しようとする試みが成され
ている。

【０００８】即ち、図７に示すように、まず右眼側の入
力画像（原画、あるいは符号化済の再生画）を参照画面
として、左眼側の入力画像とのブロックマッチングをブ
ロックマッチング部２１でとる。この後、視差補償ベク
トル検出部２２で視差補償ベクトルを検出し、符号化部
２３で右眼側の入力画像を符号化した後、視差補償ベク
トルに従って右眼側の符号化済該当ブロックを可変遅延
部２４により切り出して左眼側の入力画像との差分信号
を求め、求まった差分信号に対して符号化部２５で符号
化を行い、可変長符号化部（ＶＬＣ）２６，２７で可変
長符号化を行って伝送する。

【０００９】上記のブロックマッチングと視差補償ベク
トル検出の一連の操作の一例のフローチャートが図８に
示されており、この例では上記の通り右眼入力画像Ｆ_R
を参照画像として左眼入力画像Ｆ_L を視差補償するもの
である。

【００１０】そして、サーチ範囲をｘ方向に対し±Ｓ
ｘ、ｙ方向に対し±Ｓｙとし、ブロックの大きさをｘ方
向に対しＢｘ、ｙ方向に対しＢｙとし（ステップＳ
０）、左右入力画像の差分の絶対値をブロック全体に対
して評価関数を絶対値誤差（二乗誤差でもよい）として
積和した初期値ＳＵＭ１を求め（ステップＳ１）、これ
を各ブロック毎に行うことにより（ステップＳ２）、ス
テップＳ３での比較を行って値を小さくするようなベク
トルを上記のサーチ範囲に渡ってサーチすることにより
上記の視差補償ベクトルを求めている（ステップＳ
４）。

【００１１】

【発明が解決しようとする課題】上記の従来の二眼式の
立体映像に関する視差補償方法においては、参照画面は
常に固定となっているため、参照画面と符号化画面の差
が大きく、他の画面（例えば符号化画面の１フレーム前
の画面）との差の方が少ない場合でも大きい予測誤差を
伝送しなければならず、このまま図５及び図６に示すよ
うな多眼立体映像に対しては使用できず、高能率符号化
の妨げとなっていた。

【００１２】従って本発明は、多眼立体映像に対しても
可能な高能率符号化方式を実現することを目的とする。

【００１３】

【課題を解決するための手段】上記のような問題点を解
決する手段として、本発明に係る画像高能率符号化方式
では、図１に原理的に示すように、符号化画面Ｐ１と複
数のチャネルの時間的又は空間的参照画面Ｐ２〜Ｐｎと
のパターンマッチングを行って各々の誤差及び補償ベク
トルを求めるパターンマッチング部１−１〜１−ｎと、
該誤差が最小となる参照画面の補償ベクトルを選択して
その選択フラグと共に伝送する選択部２と、該選択フラ
グに基づき参照画面に対応する予測値と該符号化画面Ｐ
１の値との予測誤差を求めて伝送する符号器３と、を備
えている。

【００１４】また本発明では、図２に示すように、上記
の複数の参照画面から、それら参照画面の複数の重み付
け平均を取って参照画面を生成する重み付け平均化部４
を設けることができる。

【００１５】更に本発明では、上記の補償ベクトルが動
き補償ベクトル、又は視差補償ベクトルでもよい。

【００１６】

【作用】まず図１において、参照画面Ｐ２〜Ｐｎは複数
のチャネルの時間的に異なる（フレームが別の）画像、
或いは空間的に異なる視差を含む画像のいずれでもよ
く、符号化に際してはパターンマッチング部１−１〜１
−ｎにおいて、これらの参照画面と符号化画面とのパタ
ーンマッチング、即ち動き補償あるいは視差補償を行
い、それらの補償結果として誤差及び補償ベクトルが選
択部２に与えられる。

【００１７】選択部２では、最も誤差が小さくなる参照
画面を選択して受信側に上記の補償ベクトルと共に選択
フラグとして伝送する。また、この選択フラグは符号器
３にも与えられる。

【００１８】符号器３では、選択フラグが示す参照画面
に対応する予測値（参照画面が前フレームの局部復号画
面ならその値、符号化前の現画面なら符号化後の局部復
号値）と符号化画面の値との予測誤差を求めて受信側に
伝送する。

【００１９】このようにして本発明では、多眼立体映像
の時間的又は空間的に異なる任意の画面を参照画面とし
て符号化画面との適応的な補償予測を行うので、多眼立
体映像全体に対する高能率符号化を実現することができ
る。

【００２０】また図２に示す本発明では、上記の複数の
参照画面の中に、それら参照画面の幾つかの重み付け平
均を重み付け平均化部４で取った参照画面を加えて、上
記と同様の適応的な予測を行う。即ち、例えば図１に示
した参照画面Ｐ３は参照画面Ｐ２とＰ４とを用いて重み
付け平均化部４−１により生成される参照画面で代用す
ることができるので不要となり、以て全ての参照画面に
対してフレームメモリ及びカメラを設ける必要が無くな
ると共に同じ数のフレームメモリやカメラを備えたもの
と比較して画質精度の良いものが得られることとなる。

【００２１】

【実施例】本発明に係る画像高能率符号化方式の実施例
（その１〜その３）が図３及び図４にそれぞれ示されて
おり、以下、順次説明する。

【００２２】実施例（その１）：図３ この実施例では、三眼式における中央のチャネルの符号
化を示しており、このため、３つのパターンマッチング
部１−１〜１−３が設けられており、それぞれ共通の原
画面Ｐ１と共に参照画面Ｐ２〜Ｐ４を入力している。
尚、このパターンマッチング部１−１〜１−３はブロッ
クマッチングによる動き補償を行うものとするが、視差
補償を行う場合も同様である。

【００２３】また、図１に示した選択部２はこれらのパ
ターンマッチング部１−１〜１−３で演算した誤差（誤
差二乗和）を入力して最小値を与える参照画面を選択す
るためのフラグを出力する最小値検出部２１と、やはり
パターンマッチング部１−１〜１−３で演算した動き補
償ベクトルを入力し、最小値検出部２１からの選択フラ
グにより対応する補償ベクトルを選択出力するセレクタ
２２とで構成されている。

【００２４】また、符号器３は従来より良く知られたも
のを用いることができ、直交変換器（ＤＣＴ）３１と、
量子化器（Ｑ）３２と、逆量子化器（ＩＱ）３３と、逆
直交変換器（ＩＤＣＴ）３４と、フレームメモリ３５−
１と、セレクタ３６、可変遅延器３７とで構成されてい
る。

【００２５】そして、フレームメモリ３５−１の他に他
のチャネルの参照画面のためのフレームメモリ３５−２
及び３５−３も用意されており、セレクタ３６の入力は
これらのフレームメモリ３５−１〜３５−３からの参照
画面に対応した予測値が最小値検出部２１からの選択フ
ラグにより選択されるようになっている。また、可変遅
延器３７はこのセレクタ３６で選択された予測値をセレ
クタ２２から出力される補償ベクトル分だけ遅延させて
符号化画面である原画面Ｐ１との差分を取るようにして
いる。

【００２６】尚、最小値検出部２１からの選択フラグと
セレクタ２２からの補償ベクトルは量子化器３２から出
力された量子化された予測誤差と共に可変長符号化部
（ＶＬＣ）３８において符号化されて伝送路へ送出され
るようになっている。

【００２７】このような実施例の動作を次に説明する
と、例えば動き補償を行うパターンマッチング部１−１
ではチャネルＣＨ１の原画面（現画面）及びフレームメ
モリ３５−１に記憶された同じチャネルの前フレームを
参照画面Ｐ２とするその局部復号値とのパターンマッチ
ングをブロック単位で行い（図８参照）、その動きベク
トル及び二乗誤差和を出力する。

【００２８】また、パターンマッチング部１−２では、
チャネルＣＨ１の原画面とフレームメモリ３５−２に記
憶されたチャネルＣＨ２の前フレームの参照画面Ｐ３の
局部復号値に対して同様のブロックマッチングを行い、
パターンマッチング部１−３では、チャネルＣＨ１の原
画面とフレームメモリ３５−３に記憶されたチャネルＣ
Ｈ２の前フレームの参照画面Ｐ４の局部復号値に対して
同様のブロックマッチングを行う。

【００２９】このブロックマッチングの結果、３種類の
二乗誤差和は最小値検出部２１に与えられ、最も小さな
値の参照画面を選択するための選択フラグが出力され
る。

【００３０】この選択フラグにより、フレームメモリ３
５−１〜３５−３から読み出された予測値がセレクタ３
６により選択されると共にセレクタ２２においては上記
の３種の動きベクトル値の内の最も小さな値の参照画面
を与えるものを選択して可変遅延器３７に与え、可変遅
延器３７でセレクタ３６からの予測値と原画面との誤差
を求める。

【００３１】得られた誤差信号は直交変換器３１及び量
子化器３２を経由して選択フラグ及び動きベクトルと共
に可変長符号化部３８を経由して符号化される。量子化
器３２での量子化後の値は逆量子化器３３及び逆直交変
換器３４を経て、セレクタ３６からの予測値との加算に
より局部復号値を求め、次画面の符号化のためにフレー
ムメモリ３５−１に記憶される。尚、図では省略してあ
るが、フレームメモリ３５−２及び３５−３においても
同様の構成となっている。

【００３２】実施例（その２）：図４ この実施例では、図３の実施例と同様に３つのフレーム
メモリ３５−１〜３５〜３を用いているが、図２にも示
すように、これらのフレームメモリを２つづつ組合せ、
その予測値に重み付けを行って別の予測値を生成してい
る。

【００３３】即ち、フレームメモリ３５−１の予測値Ｐ
２とフレームメモリ３５−２の予測値Ｐ３とを重み付け
平均化部４−１に入力してこれらの予測値の中間の予測
値Ｐ５を生成し、またフレームメモリ３５−２の予測値
Ｐ３とフレームメモリ３５−３の予測値Ｐ４とを重み付
け平均化部４−２に入力してこれらの予測値の中間の予
測値Ｐ６を生成する。そして、これらの予測値Ｐ５，Ｐ
６をフレームメモリ３５−１〜３５−３の各予測値Ｐ２
〜Ｐ４と共にセレクタ３６に与える。

【００３４】また、重み付け平均化部４−１，４−２か
らの予測値Ｐ５，Ｐ６はそれぞれ、（フレームメモリ３
５−１〜３５−３に対応して設けられたパターンマッチ
ング部１−１〜１−３に加えて設けられた）パターンマ
ッチング部１−４及び１−５に原画面Ｐ１と共に与えら
れる。

【００３５】これらのパターンマッチング部１−４及び
１−５ではパターンマッチング部１−１〜１−３と同様
に動き補償を行って誤差二乗和，と動きベクトル
，とを出力し、誤差二乗和，は最小値検出部２
１に与えられ、動きベクトル，はセレクタ２２に与
えられるようになっている。

【００３６】従って、最小値検出部２１でパターンマッ
チング部１−１〜１−５からの誤差二乗和の内の最小値
を検出することにより選択フラグを出力し、セレクタ２
２ではこの選択フラグに基づいてパターンマッチング部
１−１〜１−５からの動きベクトルを選択出力するよう
になっている。選択された動きベクトルによる符号器３
での動作は図３の場合と同じである。

【００３７】このようにしてフレームメモリ及びカメラ
は３チャネル分で実質的に５チャネル分の動き補償予測
が実現できることとなる。

【００３８】

【発明の効果】以上説明したように、本発明に係る画像
高能率符号化方式によれば、符号化画面と複数のチャネ
ルの時間的又は空間的参照画面とのパターンマッチング
を行って各々の誤差及び補償ベクトルを求め、該誤差が
最小となる参照画面の補償ベクトルを選択してその選択
フラグと共に伝送すると共に、該選択フラグに基づき参
照画面と該符号化画面との予測誤差を求めて符号化する
ように構成したので、従来方法より予測効率を上げ、発
生情報量を少なくすることができる。

【００３９】また、複数参照画面間の重み付け平均値を
それに加えることにより、フレームメモリやカメラの数
を減らすことが可能となり、より小さなハードウェア規
模で装置が実現できる。

【図面の簡単な説明】

【図１】本発明に係る画像高能率符号化方式の原理構成
（その１）を示したブロック図である。

【図２】本発明に係る画像高能率符号化方式の原理構成
（その２）を示したブロック図である。

【図３】本発明に係る画像高能率符号化方式の実施例
（その１）を示したブロック図である。

【図４】本発明に係る画像高能率符号化方式の実施例
（その２）を示したブロック図である。

【図５】多眼式立体映像システムの一般的な構成を示し
たブロック図である。

【図６】多眼式（５眼×５眼）のカメラ出力例を示した
図である。

【図７】従来の視差補償方式を示したブロック図であ
る。

【図８】ブロックマッチングと視差補償ベクトル検出を
説明したフローチャート図である。

【符号の説明】

Ｐ１ 符号化画面（原画面） Ｐ２〜Ｐｎ 参照画面 １−１〜１−ｎ パターンマッチング部 ２ 選択部 ３ 符号器 ４−１，４−２ 重み付け平均化部 図中、同一符号は同一又は相当部分を示す。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 喜一 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 符号化画面(P1)と複数のチャネルの時間
   的又は空間的参照画面(P2 〜Pn) とのパターンマッチン
   グを行って各々の誤差及び補償ベクトルを求めるパター
   ンマッチング部(1-1〜1-n)と、 該誤差が最小となる参照画面の補償ベクトルを選択して
   その選択フラグと共に伝送する選択部(2) と、 該選択フラグに基づき参照画面に対応する予測値と該符
   号化画面(P1)の値との予測誤差を求めて伝送する符号器
   (3) と、 を備えたことを特徴とする画像高能率符号化方式。
2. 【請求項２】 該複数の参照画面から、それら参照画面
   の複数の重み付け平均を取って参照画面を生成する重み
   付け平均化部(4) を設けたことを特徴とする請求項１に
   記載の画像高能率符号化方式。
3. 【請求項３】 該補償ベクトルが動き補償ベクトルであ
   る請求項１又は２に記載の画像高能率符号化方式。
4. 【請求項４】 該補償ベクトルが視差補償ベクトルであ
   る請求項１又は２に記載の画像高能率符号化方式。