JPH06113335A - 画像高能率符号化方式 - Google Patents

Abstract

(57)【要約】 【目的】 視差補償予測方式を用いた多眼式立体映像の
高能率符号化方式に関し、できるだけ正確な視差補償ベ
クトルを検出する。 【構成】 周囲の視差補償ベクトルの情報或いは同時刻
の他の多眼画像の視差補償ベクトルの情報をも参照して
できるだけ正確な視差補償ベクトルを補正ベクトルとし
て得るように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像高能率符号化方式に
関し、特に視差補償予測方式を用いた多眼式立体映像の
高能率符号化方式に関するものである。

【０００２】図１５に多眼式立体映像を作る場合の既に
１９９２年ＮＨＫ技術研究所で公開されたシステムの概
念構成が示されており、まず、静止或いは動いている被
写体（タコ）１０を、位置をタテおよびヨコに少しづつ
ずらした複数のカメラ群１１で撮影する。次に、複数の
カメラ群１１から得られた画像データを符号器１２で高
能率符号化し、多重化部１３でマルチプレクスしたの
ち、伝送路１４などを介して伝送し、受信側では分離部
１４でデマルチプレクスした後、復号を行い、ディスプ
レイ１６に映し出す。

【０００３】この出力側のディスプレイ１６は、一例と
してレンチキュラ・レンズ（ヨコ方向にのみ視差がある
場合）または、ハエの眼レンズ（タテ・ヨコ方向に視差
がある場合）が使用される。

【０００４】一例として、図１６に、タコを被写体とし
たときの、タテ５眼、ヨコ５眼の、それぞれのカメラか
らの出力を分かり易く表示した例を示す。この例では、
上下方向にも視差が有る。

【０００５】このように位置をタテおよびヨコに少しづ
つずらした複数のカメラを用いるのは、１つのカメラか
らの出力を片方の眼に対する入力として、両眼視差を形
成して立体視を行えるようにするためであり、また、カ
メラを多数用いた場合、出力系でディスプレイ１６を見
る人間が頭を振っても自然な立体視を行えるようにする
ためである。このような自然な立体映像を与えるシステ
ムの発展が期待されている。

【０００６】

【従来の技術】このような立体映像を符号化する場合、
従来より、二眼式の立体映像において、左右眼のどちら
か一方用の画像を圧縮対象画像とし、他方の画像を参照
画像として視差補償を行うことにより高能率符号化を実
現しようとする提案が成されており、これを多眼式の立
体映像にまで拡張した形での高能率符号化が考えられて
いる。

【０００７】即ち、図１７に示すように、まず右眼側の
入力画像（原画、あるいは符号化済の画像を再生したロ
ーカルデコード画像）を参照画像として、左眼側の入力
画像とのブロックマッチングをブロックマッチング部２
１でとる。この後、視差補償ベクトル検出部２２で視差
補償ベクトルを検出し、符号化部２３で右眼側の入力画
像を符号化した後、該視差補償ベクトルに従って右眼側
の符号化済該当ブロックを可変遅延部２４により切り出
して左眼側の入力画像との差分信号を求め、求まった差
分信号（予測誤差信号）に対して符号化部２５で符号化
を行い、可変長符号化部（ＶＬＣ）２６、２７で可変長
符号化を行い、多重化部２８で多重化して伝送路へ送出
する。

【０００８】上記のブロックマッチングと視差補償ベク
トル検出の一連の操作の一例のフローチャートが図１８
に示されており、この例では上記の通り右眼入力画像Ｆ
_R を参照画像として左眼入力画像Ｆ_L を視差補償するも
のである。

【０００９】そして、サーチ範囲をｘ方向に対し±Ｓ
ｘ、ｙ方向に対し±Ｓｙとし、ブロックの大きさをｘ方
向に対しＢｘ、ｙ方向に対しＢｙとし（ステップＳ
０）、左右入力画像の差分の絶対値をブロック全体に対
して評価関数を絶対値誤差（二乗誤差でもよい）として
積和した初期値ＳＵＭ１を求め（ステップＳ１）、これ
を各ブロック毎に行うことにより（ステップＳ２）、ス
テップＳ３での比較を行って値が最小となるようなベク
トルを上記のサーチ範囲に渡ってサーチすることにより
上記の視差補償ベクトルＶｘ，Ｖｙを求めている（ステ
ップＳ４）。このブロックマッチングは、高能率符号化
における動き補償予測方式とほぼ同様であり、公知の方
式である。

【００１０】

【発明が解決しようとする課題】上記のような従来の視
差補償方式においては、（上下）左右のカメラの輝度・
色の変化（雑音等を含む）に耐性がなく、正確な視差補
償ベクトルの検出が困難であった。

【００１１】即ち、フリッカ、色や光の写り込み、個々
のカメラ自体の雑音に左右されるため、正確な視差補償
ベクトルの検出が困難となり、二眼式だけでなく多眼式
の立体映像についても高能率符号化の妨げとなってい
た。

【００１２】従って本発明は、できるだけ正確な視差補
償ベクトルを検出できる画像高能率符号化を提供するこ
とを目的とする。

【００１３】

【課題を解決するための手段及び作用】本発明では、ま
ず上記の問題点を解決するため、本発明（その１）：
周囲の視差補償ベクトルの情報をも参照してできるだけ
正確なベクトルを得ること（二眼以上多眼）、本発明
（その２）：同時刻の他の多眼画像の視差補償ベクトル
の情報をも参照してできるだけ正確なベクトルを得るこ
と（３眼以上多眼）：に着目した。

【００１４】言い換えると、従来方式では、正確な視差
補償ベクトルを求めるために、評価パラメータとして、
該当するブロックの周囲のブロックの視差補償ベクトル
を用いることや、過去のフレームの同位置のブロックの
視差補償ベクトルを用いること、あるいは該当する同時
刻の他の多眼画像の視差補償ベクトルを用いる概念自体
が無かったわけである。

【００１５】本発明（その１）：図１ そこで本発明に係る画像高能率符号化（その１）では、
その解決手段として図１に原理的に示すように、同期し
た一対のカメラ画像間で一方の画像を圧縮対象画像とし
他方の画像を参照画像としてブロックマッチング部１か
ら得られたブロックマッチング結果により各画像ブロッ
クの視差補償ベクトルの検出を行う視差補償ベクトル検
出部２と、該視差補償ベクトルを記憶するメモリ３と、
該メモリ３に記憶された視差補償ベクトルの内、該当す
るブロックとその周囲のブロックから最適な特性の補正
ベクトルを求める補正ベクトル検出部４とを備え、該補
正ベクトルにより該参照画像の符号化データのローカル
デコード画像を可変遅延部５で可変遅延させた後、圧縮
対象入力画像との予測誤差を求めて符号化し、更に該参
照画像の符号化データと共に可変長符号化して多重化し
た後、伝送路に送出するように構成している。

【００１６】この図１の構成の動作を説明すると、まず
圧縮対象入力画像（例えば左眼用入力画像）と参照画像
（例えば右眼用入力画像）を同期させてブロックマッチ
ング部１に入力しブロックマッチングを行う。従って、
点線で示すようにブロックマッチング部１に入力するま
でに符号化を行い、参照画像のローカルデコード画像を
参照画像としてもよい。また、この場合、両入力画像の
同期を確保するために適宜遅延部を入れるのが普通であ
る。

【００１７】ブロックマッチング部１から出力されたブ
ロックマッチング結果は、視差補償ベクトル検出部２に
入力される。視差補償ベクトル検出部２では、公知の評
価関数に従って各画像ブロックの視差補償ベクトルを検
出する。

【００１８】これを図２を用いて説明すると、この例で
は、カメラ画像（画面）Ｋ２３を参照画像として得られ
たカメラ画像Ｋ２２の各画像ブロックの視差補償ベクト
ルはベクトル「ア」〜「タ」となる。尚、図示の矢印は
ベクトルであることを示している。

【００１９】このようにして検出した視差補償ベクトル
はメモリ３に蓄えておく。

【００２０】補正ベクトル検出部４は、メモリ３から該
当するブロックおよび該当するブロックの周囲のブロッ
クの視差補償ベクトルと、好ましくは別のメモリ６に記
憶しておいた過去の同位置の該当するブロックおよび該
当するブロックの周囲のブロックの視差補償ベクトルと
を入力し、評価関数に従って最適な特性、即ち正確な視
差補償ベクトルの検出を行う。

【００２１】即ち、図２の例では、例えばカメラ画像Ｋ
２２のベクトル「カ」の視差補償ベクトルの補正ベクト
ルを得るため、その周囲のブロックの視差補償ベクトル
「ア」，「イ」，「ウ」，「オ」，「キ」，「ケ」，
「コ」，「サ」が補正ベクトル検出部４において用いら
れることとなる。

【００２２】そして、検出された補正ベクトルは、好ま
しくはメモリ６に入力されると共に、可変遅延部５に入
力される。可変遅延部５では、入力されたベクトルをも
とに参照画像を遅延させて出力する。出力結果は、圧縮
対象画像に対する予測値となるため、その差分をとるこ
とにより予測誤差を符号化する。この符号化の後、可変
長符号化（ＶＬＣ）を行い、多重化して伝送路に送出す
る。

【００２３】尚、図１では二眼画像を入力画像とする場
合について示しているが、図２に示したように、多眼画
像Ｋ１１〜Ｋ４４が存在する場合においても、その内の
２つの画像間において同様に処理することができる。例
えばカメラ画像Ｋ４４を参照画像そして得られたカメラ
画像Ｋ３４についても同様に、その内のベクトル「こ」
の視差補償ベクトルの補正ベクトルを得るため、その周
囲のブロックの視差補償ベクトル「お」，「か」，
「き」，「け」，「さ」，「す」，「せ」，「そ」が補
正ベクトル検出部４において用いられることとなる。但
し、基本的には二眼画像の処理方式となっている。

【００２４】本発明（その２）：図３ 本発明（その２）は、図３に原理的に示すように、同期
した３つ以上の多眼カメラ画像Ｆ１〜Ｆｎの内の隣接す
る複数組のカメラ画像対の間で一方の画像を圧縮対象画
像とし他方の画像を参照画像として各ブロックマッチン
グ部１−０〜１−ｎから得られたブロックマッチング結
果により該当ブロックの視差補償ベクトルの検出を行う
視差補償ベクトル検出部２−０〜２−ｎと、各視差補償
ベクトル検出部２−０〜２−ｎで得られた同時刻の視差
補償ベクトルを記憶するメモリ３と、該メモリ３の視差
補償ベクトルの内の最適な特性の補正ベクトルを求める
補正ベクトル検出部４とを備え、各補正ベクトルにより
該参照画像の符号化データのローカルデコード画像を各
可変遅延部５−０〜５−ｎで可変遅延させた後、圧縮対
象入力画像との予測誤差を求めて符号化し、更に該参照
画像の符号化データと共に可変長符号化して多重化した
後、伝送路に送出するように構成したものである。

【００２５】次に図３の構成の動作を説明すると、ま
ず、同期した入力画像Ｆ１〜Ｆｎを各ブロックマッチン
グ部１−０〜１−ｎに入力する。参照画像となっている
のは、Ｆ１に対してはＦ２、Ｆ２に対してはＦ３、…、
Ｆｎ−１に対してはＦｎである。入力画像Ｆｎは、圧縮
対象とならない終端の画像である。

【００２６】従って、図１の場合と同様に各ブロックマ
ッチング部１−０〜１−ｎに入力するまでに入力画像Ｆ
ｎで符号化を行い、この入力画像Ｆｎのローカルデコー
ド画像を参照画面としてもよい。更には、入力画像Ｆ１
〜Ｆｎ−1 の中の幾つかを終端画像としてもよい。ま
た、入力画像Ｆ１〜Ｆｎ−１とＦｎとの同期を確保する
ために適宜遅延部を入れることも図１と同様普通のこと
である。

【００２７】各々のブロックマッチング部１−０〜１−
ｎから出力されたブロックマッチング結果は、それぞれ
に対応して設けられている視差補償ベクトル検出部２−
０〜２−ｎに入力され、公知の評価関数に従ってそれぞ
れ視差補償ベクトルを検出する。これらの視差補償ベク
トル検出部２−０〜２−ｎの各検出結果は、まとめてメ
モリ３に蓄えておく。

【００２８】これを図４を用いて説明すると、この例で
は、カメラ画像Ｋ１１〜Ｋ４４が入力画像となってお
り、Ｋ１１に対してはカメラ画像Ｋ１２、Ｋ１２に対し
てはＫ１３、…、Ｋ４３に対してはＫ４４、という関係
になっており、各カメラ画像のブロックの視差補償ベク
トルは図２と同様にして得られるが、図示の状態は図面
を分かりやすくするために各カメラ画像Ｋ１１〜Ｋ４４
の左から２番目で上から２番目のブロックのみの視差補
償ベクトル「ａ」，「ｂ」，…，「ｐ」を示している。
尚、図示の矢印はベクトルであることを示している。

【００２９】このようにして検出した視差補償ベクトル
はメモリ３に蓄えておき、補正ベクトル検出部４は、メ
モリ３から該当するブロックの視差補償ベクトルおよび
周囲のカメラ画像中の該当するブロックの周囲のブロッ
クの視差補償ベクトルと、好ましくは別のメモリ６に記
憶しておいた過去の同位置の該当するブロックおよび周
囲のカメラ画像中の該当するブロックの視差補償ベクト
ルとを入力し、評価関数に従って最適な特性、即ち正確
な視差補償ベクトルの検出を行う。

【００３０】即ち、図４の例では、例えばカメラ画像Ｋ
２２の視差補償ベクトル「ｆ」の補正ベクトルを得るた
め、その水平成分に関しては同じ垂直方向のカメラ画像
Ｋ１２，Ｋ３２，Ｋ４２の視差補償ベクトル「ｂ」，
「ｊ」，「ｎ」を用いると共にその垂直成分に関しては
同じ水平方向のカメラ画像Ｋ２１，Ｋ２３，Ｋ２４の視
差補償ベクトル「ｅ」，「ｇ」，「ｈ」を補正ベクトル
検出部４において用いることとなる。

【００３１】そして、検出された補正ベクトルは、好ま
しくはメモリ６に入力されると共に、可変遅延部５−０
〜５−ｎに入力される。可変遅延部５では、入力された
ベクトルをもとに参照画像を遅延させて出力する。出力
結果は、圧縮対象画像に対する予測値となるため、その
差分をとることにより予測誤差を符号化する。この符号
化の後、可変長符号化（ＶＬＣ）を行い、多重化して伝
送路に送出する。

【００３２】

【実施例】図５乃至図１４は図１及び図３に示した補正
ベクトル検出部４の実施例を示し又は説明するためのも
のであり、以下に各実施例について説明する。但し、以
下の実施例では特に断らない限り図１の補正ベクトル検
出部４の説明とするが、図３の場合も基本的には同様で
ある。

【００３３】実施例（その１）：図５〜図６ まず、図５(a) には１つのカメラ画像中のブロック位置
と視差補償ベクトルとの関係が示されており、該当する
ブロックをＢ２２、周りのブロックをＢ１１〜Ｂ３３と
する。従来方式に従って図１の視差補償ベクトル検出部
２で検出されたブロックＢ１１〜Ｂ３３に対して得られ
た視差補償ベクトルをＳＶ１１（Ｖｘ１１，Ｖｙ１
１）、…、ＳＶ３３（Ｖｘ３３，Ｖｙ３３）とする。
尚、Ｖｘ及びＶｙはそれぞれ水平成分及び垂直成分を示
している。

【００３４】図６は図５に示した画像ブロックに関して
補正ベクトルを検出する補正ベクトル検出部４の実施例
を示したもので、この実施例では、同図(a) に示すフロ
ーチャートにより９個の視差補償ベクトルの水平成分Ｖ
ｘ１１〜Ｖｘ３３の平均値をとっている。この際の回路
ブロック図は同図(b) となる。

【００３５】また、視差補償ベクトルの垂直成分Ｖｙに
ついても図示していないが図６(a)及び(b) と同様にし
て求めることができ、最終的な補正ベクトルとしての視
差補償ベクトルＳｖ（Ｖｘ，Ｖｙ）が得られる。

【００３６】尚、上記の実施例を図３の本発明（その
２）に適用したときは、ブロックＢ１１〜Ｂ３３を図４
に示したブロック（ベクトル「ａ」〜「ｐ」のブロッ
ク）として処理すればよい。これについては図１２及び
図１３で後述する。

【００３７】実施例（その２）：図７ この実施例は、やはり図５に示した画像ブロックに関し
て補正ベクトルを検出する補正ベクトル検出部４の実施
例を示したもので、この実施例も図６の実施例と同様に
９個の視差補償ベクトルの水平成分Ｖｘ１１〜Ｖｘ３３
の平均値をとっているが、但し、図６の実施例と比較し
て、各々の視差補償ベクトルの平均値をとった値Ｖｘ’
（Ｖｙ’も同様）と、該当するブロックの値に、係数α
（０＜α＜１）による重みを付けて加算した点が異なっ
ている。この際の回路ブロック図が図７(b) に示されて
いる。

【００３８】実施例（その３）：図８〜図１０ 図８(a) には１つのカメラ画像中のブロック位置と視差
補償ベクトルとの関係が示されており、この実施例では
図５の実施例より多くのブロックを用い、該当するブロ
ックをＢ３３、周りのブロックをＢ１１〜Ｂ５５とす
る。そして、従来方式に従って図１の視差補償ベクトル
検出部２で検出されたブロックＢ１１〜Ｂ５５に対して
得られた視差補償ベクトルをＳＶ１１（Ｖｘ１１，Ｖｙ
１１）、…、ＳＶ５５（Ｖｘ５５，Ｖｙ５５）とする。

【００３９】また、図１に点線で示したように入力画像
（又はそのローカルデコード画像）そのものを入力する
ので、ブロックの性質（平坦部、エッジ部、細かい模様
部）を示すパラメータを、公知の技術である分散等を用
いて求める。

【００４０】即ち、図８(b) の表に示すように、分散を
Ｈで表した場合、その値が小さければ平坦部、平均的な
値であれば、エッジ部、値が大さければ細かい模様部で
ある。すなわち、Ｈが小さいときは立体映像において、
概ね空等の遠くにある大きい平坦なもの（あるいは、遠
くにある非常に細かい模様がボケたもの）や、近くの平
坦なもの等である。Ｈが平均的な値であれば、概ね模様
の入った物体、あるいは遠近の境界等である。Ｈが大き
い時には、遠くにある大きい模様、あるいは、近くにあ
る細かい模様等を示すこととなる。尚、この分散Ｈは同
図(c) に示す式で表される。

【００４１】このことを考慮して図９に示すフローチャ
ート及び図１０の回路ブロック図によりこの実施例（そ
の３）の補正ベクトル検出部４を説明すると、最適な特
性の補正ベクトルを得るためには、分散Ｈが平均的な値
である場合が多い。

【００４２】そこで、まず、原画Ｂijから平均値Ｂij’
を求めて分散Ｈ（Ｈij）を求めた後、分散Ｈの平均値Ｈ
AVR を求める（ステップＳ１）。次に、各分散Ｈから平
均値ＨAVR との差の絶対値に１を加算した値の逆数を分
散Ｈ’とする（ステップＳ２）。この分散Ｈ’は、平均
値ＨAVR から値が遠ざかるほど小さくなる一種の重みで
ある。そして、この重みを正規化するために、各分散
Ｈ’の平均値をＷAVR とし（ステップＳ３）、更に、Ｈ
／ＷAVR をＷとする正規化を行う（ステップＳ４）。

【００４３】従って、求める水平成分Ｖｘは、各Ｖｘ１
１〜Ｖｘ５５に各Ｗを乗算して得られ（ステップＳ
５）、また垂直成分Ｖｙは、各Ｖｙ１１〜Ｖｙ５５に各
Ｗを乗算して得られる（ステップＳ６）。

【００４４】実施例（その４）：図１１ この実施例では、２フレーム過去の補正ベクトルとして
の視差補償ベクトルをＢ２Ｖ、１フレーム過去の補正ベ
クトルとしての視差補償ベクトルをＢ１Ｖ、現在の補正
ベクトルとしての視差補償ベクトルをＳＶとして（ステ
ップＳ１１）、過去の視差補償ベクトルの変位と比べ、
現在の視差補償ベクトルの変位が著しく異なる場合、ミ
スマッチしている可能性があるので、これを矯正しよう
とするものである。

【００４５】但し、Ｂ１Ｖ，Ｂ２Ｖ，ＳＶのいずれかの
視差補償ベクトルが０の場合（ステップＳ１２）、ブロ
ック内において物体が消えたか或いは新たに現れたとい
う可能性があるため、ＳＶに対し変更を加えず終了する
（ステップＳ１３）。

【００４６】ステップ１２において、いずれかの視差補
償ベクトルが０でない場合、過去の視差補償ベクトルの
変位Ｂ２Ｖ−Ｂ１Ｖ、現在の視差補償ベクトルの変位Ｂ
１Ｖ−ＳＶを計算し（ステップＳ１４）、過去の視差補
償ベクトルの変位の絶対値と現在の視差補償ベクトルの
変位の絶対値との差分の絶対値が閾値ＴＨより小さいか
否かを判定し（ステップＳ１５）、小さければ許容変位
内として、ＳＶに対し変更を加えず終了する（ステップ
Ｓ１６）。

【００４７】そうでない場合には、過去の変位分と１フ
レーム過去の視差補償ベクトルとを加算した値に係数α
を掛けて重み付けを行い、更に現在の視差補償ベクトル
にも係数（１−α）を掛けて重みを付け行い、両者を加
算し（ステップＳ１７）、ミスマッチ時の視差補償ベク
トルの変更を行っている。

【００４８】実施例（その５）：図１２〜図１３ 上述したように上記の実施例（その１）〜（その４）は
それぞれ図３の本発明（その２）にも適用可能である
が、図１２はその最適な適用例を示しており、この実施
例では、カメラの配置によっては、縦一列のカメラのそ
れぞれのブロックのＸ方向の視差補償ベクトルＶｘはほ
ぼ同一であり、横一列のカメラのそれぞれのブロックの
Ｙ方向の視差補償ベクトルＶｙはほぼ同一である、とい
うことに依拠して補正ベクトルである視差補償ベクトル
を検出しようとしている。

【００４９】このため、まず図１２に示すように、各カ
メラ画像Ｋ１１〜Ｋ５５（５×５の２５眼の場合）中の
或る同一位置のブロックをそれぞれＫＢ１１〜ＫＢ５
５、ブロックの視差補償ベクトルＳＶ１１（Ｖｘ１１，
Ｖｙ１１）〜ＳＶ５５（Ｖｘ５５，Ｖｙ５５）とする。

【００５０】そして、縦一列のＳｘijの平均値をＳｘ、
横一列のＳｙijの平均値をＳｙとし、図１３(a) 及び
(b) にそれぞれ示すようにこれらの（Ｓｘ，Ｓｙ）で求
める補正ベクトルとしての視差補償ベクトルとなる。

【００５１】上記の図１３(a) 及び(b) により図３の補
正ベクトル検出部４で演算されて得られる視差補償ベク
トルＳＶは縦方向又は横方向のベクトルが同じであり、
従って図１２における同じ列又は行のカメラ画像間は共
通の視差補償ベクトルとなって図３の可変遅延部５−０
〜５−ｎに与えるが、図１３(c) に示すようにＳｘij、
Ｓｙijの情報を多少残す方法も考えられる。

【００５２】何故なら、カメラの位置が、広い範囲にわ
たる場合、物体の凹凸等の変化によって、視差補償ベク
トルが変わる場合があるからである。

【００５３】実施例（その６）：図１３(c) 即ち、０＜α＜１とし、Ｓｘ×α＋Ｓｘij×（１−α）
を、求めるＸ方向の視差補償ベクトル、Ｓｙ×α＋Ｓｙ
ij×（１−α）を、求めるＹ方向の視差補償ベクトル、
とすることにより全ての視差補償ベクトルを異なった値
にして各可変遅延部５−０〜５−ｎに与えることができ
る。

【００５４】実施例（その７）：図１４ 上記の実施例により得られた視差補償ベクトルをより完
全なものにするために、この実施例では更に、評価関数
を設けて、正しい視差補償ベクトル（本発明による補正
ベクトル）と従来方式で得られた視差補償ベクトル（例
えば、図２のカメラ画像Ｋ２２における視差補償ベクト
ル「カ」）とを比較し、特性の良好な方を選ぼうとする
ものである。これは、符号化自体が高周波成分（インパ
ルス等）を嫌うような、直交変換系の場合に効果があ
る。

【００５５】図１４において、まず、元の視差補償ベク
トルにより得られた予測ブロックと、符号化するべきブ
ロックの差分である予測誤差ブロックをＹＢ１、本発明
に基づき得られた視差補償ベクトルを使って得た予測ブ
ロックと符号化すべきブロックとの差分である予測誤差
ブロックをＹＢ２とする（ステップＳ２１）。

【００５６】そして、予測誤差ブロックＹＢ１内のそれ
ぞれの画素について、画素の絶対値が閾値ＴＨを越えた
個数をＫ１、予測誤差ブロックＹＢ２内のそれぞれの画
素について、画素の絶対値が閾値ＴＨを越えた個数をＫ
２とする（ステップＳ２２）。

【００５７】Ｋ１＞Ｋ２ならば（ステップＳ２３）、本
発明に基づき得られた視差補償ベクトルを用い（ステッ
プＳ２４）、そうでなければ従来方式で得られた視差補
償ベクトルを用いる。

【００５８】

【発明の効果】以上説明したように、本発明に係る画像
高能率符号化方式によれば、周囲の視差補償ベクトルの
情報或いは同時刻の他の多眼画像の視差補償ベクトルの
情報をも参照してできるだけ正確な視差補償ベクトルを
補正ベクトルとして得るように構成したので、従来のよ
うに、符号化画面と参照画面のブロックマッチングをと
るのみではなく、周囲や、他のカメラからの画像の情報
を利用して、比較的正確な視差補償ベクトルを得ること
ができ、そのため符号化効率及び視覚特性を向上させる
ことができる。

【図面の簡単な説明】

【図１】本発明に係る画像高能率符号化方式の原理構成
（その１）を示したブロック図である。

【図２】本発明に係る画像高能率符号化方式の原理構成
（その１）の作用を説明するためのカメラ画像図であ
る。

【図３】本発明に係る画像高能率符号化方式の原理構成
（その２）を示したブロック図である。

【図４】本発明に係る画像高能率符号化方式の原理構成
（その２）の作用を説明するためのカメラ画像図であ
る。

【図５】本発明に用いるカメラ画像のブロック位置と視
差補償ベクトルとの関係を説明するための図である。

【図６】本発明に用いる補正ベクトル検出部の実施例
（その１）を示した図である。

【図７】本発明に用いる補正ベクトル検出部の実施例
（その２）を示した図である。

【図８】本発明に用いるカメラ画像のブロック位置と視
差補償ベクトル並びにその性質との関係を説明するため
の図である。

【図９】本発明に用いる補正ベクトル検出部の実施例
（その３）のフローチャート図である。

【図１０】本発明に用いる補正ベクトル検出部の実施例
（その３）の回路ブロック図である。

【図１１】本発明に用いる補正ベクトル検出部の実施例
（その４）のフローチャート図である。

【図１２】本発明（その２）に用いる多眼カメラ画像と
視差補償ベクトル並びにその性質との関係を説明するた
めの図である。

【図１３】本発明に用いる補正ベクトル検出部の実施例
（その５，その６）のフローチャート図である。

【図１４】本発明に用いる補正ベクトル検出部の実施例
（その７）のフローチャート図である。

【図１５】多眼式立体映像システムの一般的な構成を示
したブロック図である。

【図１６】多眼式（５眼×５眼）のカメラ出力例を示し
た図である。

【図１７】従来の視差補償方式を示したブロック図であ
る。

【図１８】ブロックマッチングと視差補償ベクトル検出
を説明したフローチャート図である。

【符号の説明】

１ ブロックマッチング ２，２−０〜２−ｎ 視差補償ベクトル検出部 ３，６ メモリ ４ 補正ベクトル検出部 ５，５−０〜５−ｎ 可変遅延部 図中、同一符号は同一又は相当部分を示す。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 喜一 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内

Claims (7)

【特許請求の範囲】
1. 【請求項１】 同期した一対のカメラ画像間で一方の画
   像を圧縮対象画像とし他方の画像を参照画像としてブロ
   ックマッチング部(1) から得られたブロックマッチング
   結果により各画像ブロックの視差補償ベクトルの検出を
   行う視差補償ベクトル検出部(2) と、 該視差補償ベクトルを記憶するメモリ(3) と、 該メモリ(3) に記憶された視差補償ベクトルの内、該当
   するブロックとその周囲のブロックから最適な特性の補
   正ベクトルを求める補正ベクトル検出部(4) とを備え、 該補正ベクトルにより該参照画像の符号化データのロー
   カルデコード画像を可変遅延部(5) で可変遅延させた
   後、圧縮対象入力画像との予測誤差を求めて符号化し、
   更に該参照画像の符号化データと共に可変長符号化して
   多重化した後、伝送路に送出することを特徴とした画像
   高能率符号化方式。
2. 【請求項２】 同期した３つ以上の多眼カメラ画像(F1
   〜Fn) の内の隣接する複数組のカメラ画像対の間で一方
   の画像を圧縮対象画像とし他方の画像を参照画像として
   各ブロックマッチング部(1-0〜1-n)から得られたブロッ
   クマッチング結果により該当ブロックの視差補償ベクト
   ルの検出を行う視差補償ベクトル検出部(2-0〜2-n)と、 各視差補償ベクトル検出部(2-0〜2-n)で得られた同時刻
   の視差補償ベクトルを記憶するメモリ(3) と、 該メモリ(3) の視差補償ベクトルの内の最適な特性の補
   正ベクトルを求める補正ベクトル検出部(4) とを備え、 各補正ベクトルにより該参照画像の符号化データのロー
   カルデコード画像を各可変遅延部(5-0〜5-n)で可変遅延
   させた後、圧縮対象入力画像との予測誤差を求めて符号
   化し、更に該参照画像の符号化データと共に可変長符号
   化して多重化した後、伝送路に送出することを特徴とし
   た画像高能率符号化方式。
3. 【請求項３】 該補正ベクトル検出部(4) が、該特性と
   して各視差補償ベクトルの平均値を用いることを特徴と
   した請求項１又は２に記載の画像高能率符号化方式。
4. 【請求項４】 該補正ベクトル検出部(4) が、該特性と
   して分散の平均値を用いることを特徴とした請求項１又
   は２に記載の画像高能率符号化方式。
5. 【請求項５】 該メモリ(3) に加えて、過去の視差補償
   ベクトルを記憶する別のメモリ(6) を設けておき、該補
   正ベクトル検出部(5) が該過去の視差補償ベクトルも該
   補正ベクトルの検出の対象に含めることを特徴とした請
   求項１乃至４のいずれかに記載の画像高能率符号化方
   式。
6. 【請求項６】 該補正ベクトル検出部(4) が、該過去の
   補正ベクトル及び現在の視差補償ベクトルが“０”でな
   く、過去の視差補償ベクトルの変位の絶対値と現在の視
   差補償ベクトルの変位の絶対値との差分の絶対値が閾値
   より大きいときには、過去の補正ベクトルとその変位分
   を加味した補正ベクトルとし、それ以外は現在の視差補
   償ベクトルとすることを特徴とした請求項５に記載の画
   像高能率符号化方式。
7. 【請求項７】 該補正ベクトル検出部(4) が、該補正ベ
   クトルを検出するため、視差補償ベクトルの水平成分を
   求める際は、該当ブロックの垂直方向にあるカメラ画像
   の水平方向の視差補償ベクトルを、視差補償ベクトルの
   垂直成分を求める際は、該当ブロックの水平方向にある
   カメラ画像の垂直方向の視差補償ベクトルの情報を用い
   ることを特徴とした請求項１乃至６のいずれかに記載の
   画像高能率符号化方式。