JPH10257527A - ステレオビデオ符号化のための最適ディスパリティ見積 - Google Patents

ステレオビデオ符号化のための最適ディスパリティ見積

Info

Publication number
JPH10257527A
JPH10257527A JP9222939A JP22293997A JPH10257527A JP H10257527 A JPH10257527 A JP H10257527A JP 9222939 A JP9222939 A JP 9222939A JP 22293997 A JP22293997 A JP 22293997A JP H10257527 A JPH10257527 A JP H10257527A
Authority
JP
Japan
Prior art keywords
window
image
enhancement layer
video signal
pixel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9222939A
Other languages
English (en)
Inventor
Xuemin Chen
スーミン・チェン
Vincent Liu
ビンセント・リュー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arris Technology Inc
Original Assignee
NextLevel Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NextLevel Systems Inc filed Critical NextLevel Systems Inc
Publication of JPH10257527A publication Critical patent/JPH10257527A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

(57)【要約】 （修正有） 【課題】映像品質改善のための、ステレオビデオ信号符
号化における左右の左右画素輝度値間のディスパリティ
見積の方法及び装置を与える。 【解決手段】左右画像のマクロブロック間の最小自乗エ
ラーの最小値を決定し，最小エラーに対応するアフィン
変換係数及びディスパリティベクトルもまた決定され，
右像画像を再構成する際にデコーダにより使用するため
にデータストリーム内に送信される。方法は，マクロブ
ロックレベルにおいては，右像画像内の各個別マクロブ
ロックに対して最小自乗エラー最適化が生じる。この場
合，アフィン変換係数が各マクロブロックに対し与えら
れる。画像レベルでは，右像画像のブロックが左像画像
に一致させられた後に，最小自乗エラーの和が最小化さ
れ，一組の変換係数のみが全右像画像に対し要求され
る。または，最小自乗エラーの和を最小化した後に，ア
フィン変換された左像画像と右像画像の間のブロックマ
ッチングが実行される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は，映像品質を改良す
るためのステレオデジタルビデオ信号の符号化に関す
る。特に，右と左の画素輝度値間のディスパリティ見積
を最適化するための方法及び装置が与えられる。
【０００２】
【従来の技術】最近，モーション・ピクチャー・エキス
パーツ・グループ(MPEG)MPEG-2マルチビュー・プロファ
イル(MVP)システムのようなステレオビデオ送信フォー
マットが提案され，それはここに参考文献として組み込
む，ドキュメント ISO/IEC JTC1/SC29/WG11 N1088,"Pr
oposed Draft Amendment No. 3 to 13818-2(Multi-view
Profile)"，1995年11月，に記載されている。ステレオ
ビデオはより深いフィールドの結合された映像を製造す
るべく同一映像のわずかなオフセット像を与え，それに
よって３次元効果を作成している。そのような装置にお
いて，２つのカメラが約２インチ離れて配置され，２つ
の別々のビデオ信号へイベントを記録する。カメラの間
隔はほぼ人間の左右の目の間隔である。さらに，あるス
テレオビデオカムコーダーに関して，２つのレンズがひ
とつのカムコーダーヘッド内に設置され，したがって例
えば映像を横切ってパンニングする際，それらは同期し
て動く。２つのビデオ信号は，通常の人間視界に対応す
るフィールドの深さを有する映像を生成するべく送信さ
れかつレシーバにおいて再結合される。
【０００３】MPEG MVP装置は多重信号内で送信される２
つのビデオレイヤーを含む。第１に，ベースレイヤーは
３次元物体の左側の像を表す。第２に，強化（例えば，
補助）レイヤーは物体の右側の像を表す。左右の像は同
一の物体のものであり，互いに相対的にわずかにオフセ
ットされているため，通常，ベース及び強化レイヤーの
ビデオイメージの間には大きな相関関係が存在する。こ
の相関関係はベースレイヤーに対して強化レイヤーデー
タを圧縮するために使用され，それによって与えられた
映像品質を維持するために強化レイヤー内に送信される
のに必要なデータ量を減少させることができる。
【０００４】MPEG MVP装置は３つのタイプのビデオ画
像，特に符号化内画像（Ｉ−画像），予測符号化画像
（Ｐ−画像），及び両方向予測符号化画像（Ｂ−画像）
を含む。Ｉ-画像は他の画像を参照することなく単一の
ビデオ画像を完全に表す。ベースレイヤーにおいて，Ｐ
-画像は先行ＩまたはＰ画像に基づいて予測される。Ｂ-
画像は最近の前のＩまたはＰ画像及び最近の後のＩまた
はＰ画像から予測される。ベース層はMPEG-2規格に従っ
て符号化され，その詳細はここに参考文献として組み込
むドキュメント ISO/IEC JTC1/SC29/WG11 N0702,"Infor
mation Technology- Generic Coding of Moving Pictur
es and Associated Audio, RecommendationH.262"1994
年3月25日，に記載されている。
【０００５】強化レイヤーにおいて，Ｐ画像は，画像タ
イプに無関係に強化レイヤー内で最も最近復合化された
画像からか，またはタイプに無関係に表示順に最も最近
のベースレイヤー画像から予測される。さらに，強化レ
イヤー内のＢ画像に関して，前方リファレンス画像は強
化レイヤー内で最も最近に復合化された画像であり，後
方リファレンス画像はベースレイヤー内で表示順に最も
最近の画像である。強化レイヤー内の画像は，ディスパ
リティ予測として知られるクロスレイヤー予測プロセス
においてベースレイヤー内の画像から予測される。ひと
つのレイヤー内でひとつのフレームから他への予測は一
時的予測として知られている。
【０００６】しかし，強化レイヤーフレームのディスパ
リティ予測に関して，ベースと強化レイヤー内の画素の
輝度値の間のインバランスによってエラーがしばしば導
入される。このインバランスはベースと強化レイヤーカ
メラの間の性能の変化によって引き起こされ，ディスパ
リティ見積及び予測処理をより困難にしている。さら
に，該インバランスは，シーン・ディゾルブまたは強い
フラッシュライトのようなシーンにおいて明るさ及び／
またはコントラストの大きな変化によって引き起こされ
る。このクロスチャネルの輝度インバランスの結果とし
て，映像品質は気づく程度に悪化する。
【０００７】クロスチャネル輝度インバランスの効果を
減少させるある方法が開発された。例えば，R.Franich
らによる，ドキュメントISO/IEC JTC1/SC29/WG11 MPEG
96"Balance Compensation for Stereoscopic Image Seq
uences" 1996年3月フィレンツェ，には左側の像のチャ
ネルと同一の輝度平均及び可変条件を得るために右側の
像の映像シーケンスを調節するための線形変換が議論さ
れている。A.PuriらはドキュメントISO/IEC JTC1/SC29/
WG11 MPEG 95/0487"Gain Crrected StereoscopicCoding
Using SBASIC for MPEG-4 Multiple Concurrent Strea
ms"1995年11月ダラス，では右側像をゲイン及びオフセ
ット値で補正することが議論されている。しかし，その
ような方法は輝度インバランスの最小自乗エラーを最小
化しない。
【０００８】
【発明が解決しようとする課題】したがって，明るさま
たはコントラストにおいて大きい変化を伴うシーン及び
カメラ変化によってクロスチャネル輝度インバランスの
効果を最小化するMPEG MVPシステムのようなステレオビ
デオ装置に対し，ディスパリティ見積方法を与えること
が有利である。さらに，該方法は画像レベルで全体的に
実行されるか，マクロブロックレベルで局所的に実行さ
れなければならない。さらにまた，当該方法は，MPEG-2
及び類似の符号化プロトコルのビデオシーケンスの有効
予測とコンパチブルでなければならない。本発明は上記
または他の利点をもたらす。
【０００９】
【課題を解決するための手段】本発明に従って，ステレ
オビデオ信号内の左右の像の画素輝度値の間のディスパ
リティ見積を最適化するための方法及び装置が与えられ
る。右側像画像内の画素データのマクロブロックの輝度
値は，左右像の輝度値間の最小自乗エラーを最小化する
アフィン変換係数a,bに従って調節される。第１の実施
例において，左像リファレンス窓内のマクロブロック数
との比較に基づいて右像サーチ窓内の各マクロブロック
に対して最適化が生じる。この場合において，リファレ
ンス窓内の最適な比較マクロブロックが決定され，対応
する変換係数のセットが決定される。付加的に，最適な
比較マクロブロックの位置を示す対応するディスパリテ
ィベクトルｖ＝（ｖx，ｖy）が決定される。その後，右
像画素データは差分符号化，離散コサイン変換(DCT)，
量子化，ランレングス符号化，及びハフマン符号化を使
って処理される。符号化されたDCT係数，アフィン変換
係数及びディスパリティベクトルは，デコーダにおいて
右像画像を再構成する際に使用するために，その後ステ
レオビデオ信号内で送信される。
【００１０】デコーダ内で，DCT係数は右像差分画素デ
ータを回復するために逆量子化されかつ逆変換される。
さらに，左像画素データ及びディスパリティベクトルは
予測信号を与えるべく使用され，該予測信号が変換係数
を使ってアフィン変換される。変換された左像予測信号
は，右像画素輝度値を回復するべく右像差分データに付
加される。
【００１１】第２の実施例において，最適化は画像レベ
ルで生じ，それぞれの個別右像マクロブロックに対する
最小自乗エラーの和を最小化する変換係数のひとつのセ
ットが決定される。この技術はステレオビデオデータス
トリーム内でオーバーヘッドとして運ばれなければなら
ない変換係数データの量を減少させる。さらに，ブロッ
クマッチング手法を使って左像サーチ窓マクロブロック
が右像リファレンス窓マクロブロックに最初に一致させ
られるため，計算の複雑さが減少される。その後，一致
したマクロブロックに対する最小の最小自乗エラーの和
が決定される。
【００１２】第３の実施例において，最適化はまた画像
レベルで生じる。ここで，右像マクロブロックは，同様
に画像内に配置される左像マクロブロックと比較され
る。その後，各右像マクロブロックに対して，アフィン
変換係数が最小自乗エラーの和を最小化することにより
決定される。次に，ディスパリティベクトルを決定する
べく，右像マクロブロックとアフィン変換された左像マ
クロブロックの間でブロックマッチングが実行される。
【００１３】
【発明の実施の形態】ステレオビデオ信号内の右と左の
像画素輝度値の間のディスパイティ見積を最適化するた
めの方法及び装置が与えられる。
【００１４】図１は，本発明に従うステレオエンコーダ
のブロック図である。そのような符号化手法はMPEG-2時
間測定可能構文(temporal scalability syntax)を使っ
て実行される。エンコーダが符号100で示されている。
ベースレイヤー内で運ばれる左像シーケンスは，従来の
MPEG-2プロファイルに従って符号化される。強化レイヤ
ー内で運ばれる右像シーケンスはMPEG-2時間強化レイヤ
ーコーダーと同じ構文を有する。
【００１５】エンコーダ100の左像フレームバッファ105
はベクトルＸで表されるベースレイヤー画素データを受
信し，一方右像フレームバッファ130はベクトルＹで表
される強化レイヤー画素データを受信する。左右像の画
素データは以下に詳細に説明されるように処理のために
ディスパリティ見積器115へ与えられる。ディスパリテ
ィ見積器115はディスパリティベクトルｖ＝（ｖx，
ｖy）及びディスパリティ見積パラメータa,bを予測器12
0へ与える。
【００１６】特に，ディスパリティ見積器115はアフィ
ン変換を実行し，a,bはアフィン変換係数である。アフ
ィン変換において，有限点が他の有限点にマッピングさ
れる。さらに，係数aはコントラストを示し，係数bは画
素データの明るさを示す。変換係数はデコーダにおいて
強化レイヤー画像を再構成する際に使用するためステレ
オビデオデータストリーム内で運ばれる。ディスパリテ
ィベクトルｖ＝（ｖx，ｖy）はまたコーダー125に与え
られる。ディスパリティベクトルｖx，ｖyは，ベースレ
イヤーと強化レイヤーの画素の対応するマクロブロック
の間の位置の差を示し，またデコーダにおいてディスパ
リティの予測された強化レイヤー画像の再構成用に使用
される。特に，強化レイヤー内のサーチ窓マクロブロッ
ク用の画素座標は（ｘs，ｙs）であり，ベースレイヤー
内の対応するリファレンス窓マクロブロックに対する画
素座標は（ｘr，ｙr）であるとき，ディスパリティベク
トルはｖ＝（ｖx，ｖy）＝（ｘs-ｘr，ｙs-ｙr）であ
る。このように，ディスパリティはサーチ窓とリファレ
ンス窓の間の位置または並進移動の差の度合である。典
型的に，画素のマクロブロックの画素座標はブロックの
最も左と最も上の座標として取られる。ディスパリティ
ベクトルは，デコーダでのディスパリティが予測された
強化レイヤー画像を再構成する際に使用するために右像
チャネルデータストリーム内で送信される。予測器120
は，差分右像画素データを与えるべく加算機140におい
て強化レイヤー画素データYから減算される信号aX+bを
与える。差分右像画素データY-(aX+b)はその後端子142
へ与えられる。
【００１７】ベースレイヤーにおいて，移動補償(MC)及
び離散コサイン変換(DCT)コーダー110が左像画素データ
Xを受信し，かつ従来の符号化を実行する。その後MC/DC
Tコーダー110が移動ベクトル及びDCT係数をコーダー125
へ出力する。また予測器120はMCデータをMC/DCTコーダ
ー110から受信する。コーダー135は右像画素データYを
受信し，移動補償及び／またはI-フレーム符号化を実行
する。その後コーダー135はI-フレーム画素を端子143へ
出力するか若しくは移動ベクトルをコーダー125へ出力
する。スイッチ145はDCTコーダー150に対し，端子142で
差分右像画素データY-(aX+b)=Y-aX-bを与えるか，若し
くは端子143でI-フレーム符号化右像画素データを与え
る。端子143が選択されたとき，ディスパリティ見積処
理が無視される。このことは例えば，最小自乗エラー(L
SE)が所定レベル以上であるとき，または一群の画像配
列がI-画像を要求するときに，所望される。DCTコーダ
ー150は対応する変換係数をコーダー125へ与えるべく画
素データを処理する。
【００１８】コーダー125において，左及び右像移動補
償ベクトル，DCT係数，及びディスパリティベクトル
が，左像チャネル及び右像チャネルデータストリームを
生成するべく差分パルスコード変調(DPCM)，ランレング
ス符号化，及びハフマン符号化を使って符号化される。
続いて，左及び右像チャネルがマルチプレクサ（図示せ
ず）内のディスパリティ見積パラメータa,bに沿って一
緒に多重化され，適当なキャリア信号とともに送信する
ために変調される。
【００１９】本発明にしたがって，ディスパリティ見積
器115は最小自乗エラー基準に従って右像画素輝度デー
タのエラーを最小化する。ここでエラーの語の使用は左
像データがベースラインとしてとられるということのみ
を意味する。したがって，右像データのエラーは単に左
像データに関するインバランスまたはずれである。特
に，ディスパリティ見積器115はエラーE=(abs(Y-aX-b))
2を最小化する。ここでabsとは絶対値を意味する。ディ
スパリティ見積器115は最適アフィン変換及びブロック
マッチング手法を使用するが，ここでブロックマッチン
グはマクロブロックレベルで実行される。例えば，NTSC
フォーマットに関して，ビデオフレームは30枚に分割さ
れ，そのそれぞれは44個のマクロブロックを有する。し
たがって，全NTSCフレームは1,320個のマクロブロック
から成る。PALフォーマットに関して，1,584個のマクロ
ブロックがある。さらに，典型的に，マクロブロックは
画素の16×16ブロックから成り，例えばそれはMPEG-2規
格では４つの８×８画素ブロックから構成されている。
【００２０】サーチ窓は，左像画像のリファレンス窓内
の異なるマクロブロックと比較されるべき右像画像内の
カレントマクロブロックとして定義される。特に，比較
に使用される左像画像は表示順に次の画像または最も最
近の画像である。さらに，検索範囲（例えば，リファレ
ンス窓のサイズ）はステレオカメラの動きにより決定さ
れる。典型的に，水平カメラ移動は垂直移動より大きい
ため，リファレンス窓は幅が高さより大きく設計されて
いる。例えば，サーチ窓は16×16の整数画素であり，リ
ファレンス窓は32×32から64×48までの整数画素の範囲
である。もちろん，さまざまなサイズのサーチ窓及びリ
ファレンス窓が使用可能であり，サーチ窓が特定のマク
ロブロックサイズに対応している必要はない。
【００２１】図２は，本発明に従うマクロブロックレベ
ルの最適化手法を示したものである。この実施例におい
て，ディスパリティ見積器115の最小自乗エラー最適化
処理は右像画像の個別マクロブロックに対して実行され
る。左像画像200はリファレンス窓を有し，右像画像220
はサーチ窓230を有する。ひとつのサーチ窓及びリファ
レンス窓のみが示されているが，全右像画像に対するク
ロスチャネルの輝度インバランスを最小化するために全
右像画像220はサーチ窓に分割されることもできる。こ
の場合において，対応する付加的リファレンス窓は左像
画像内に与えられる。さらに，リファレンス窓が覆うこ
ともできる。yi(i=1から256)は16×16画素サーチ窓230
内の256画素のそれぞれの輝度値（例えば，強度）であ
り，xj,i(i=1から256)はリファレンス窓のj番目の16×1
6マクロブロックの256画素強度である。したがって，添
字jは与えられたリファレンス窓の特定の領域を表し，
添字iは与えられたサーチ窓内の特定の画素を表す。例
えば，16×16画素サーチ窓及び64×48画素リファレンス
窓に関して，サーチ窓は，リファレンス窓内の(64-16+
1)×(48-16+1)＝49×33＝1,617個の異なる16×16領域と
比較される。
【００２２】与えられたリファレンス窓の各j番目領域
に対して，以下の量を最小化するディスパリティ見積パ
ラメータaj及びbjを決定することが可能である。
【００２３】
【数１】 機能240で実行されるこの処理は，コントラストa及び明
るさbを与え，アフィン変換されたxj,i値がyi値からの
最小自乗距離を有するように設定する。aj及びbjについ
ての偏微分がゼロであるときEjが最小になる。すなわ
ち，
【数２】 上記計算は周知の計算技術を使って実行される。最適の
アフィン変換係数a*及びb*（すなわち，すべてのj可能
リファレンス窓ブロックに対するエラーEjを最小化する
係数）並びにリファレンス窓内の最適マッチングブロッ
クx*,1,x*,2,....,x*,256（例えば，x*,i）が以下の条
件から決定される。
【００２４】
【数３】 a>0が要求されると，a=1にセットされる。さらに，16×
16＝256画素マクロブロックに対して，アフィン変換の
後，もし画素X'=aX+b>255であれば，X'=255にセットさ
れ，もし画素X'=aX+b<0であれば，X'=0にセットされ
る。これらのいずれかの場合が生じると，最小自乗エラ
ー計算はabs(Y-X')2<abs(Y-X)2であることがチャックさ
れ，もしabs(Y-X')2≧abs(Y-X)2であれば，a=1及びb=0
にセットされる。
【００２５】ひとたびa*及びb*が与えられたサーチ窓に
対して発見されると（ここで，*は最適条件を示す），
対応するディスパリティベクトル(vx,vy)も上記のよう
に決定される。その後，強化レイヤー画像内においてそ
の処理が各サーチ窓に対して繰り返される。例えば，画
像あたり1,320個のマクロブロックを有するNTSCフォー
マットに関して，1,320個のそれぞれのマクロブロック
に関してEjが最小化される。こうして，強化レイヤー画
像内のマクロブロックのそれぞれに対し，a*，b*及び(v
x,vy)が保存され，右像映像を再構成する際にデコーダ
で使用するためにデータストリーム内で送信される。上
記最小化処理でわかるように，最適ディスパリティベク
トル(vx,vy)は右像内の各サーチ窓に対して得られる。
付加的に，a*及びb*をセットする最適コントラスト及び
明るさが各マクロブロックに対して発見される。
【００２６】この処理の欠点は比較的実行が複雑である
ことである。第１に，付加的計算が実行されるために，
検索アルゴリズムが従来のブロックマッチングアルゴリ
ズムより複雑である点である。第２に係数a*及びb*は各
サーチ窓マクロブロックに対するデータストリーム内の
オーバーヘッドとして運ばれなければならない点である
（図１参照）。最後に，処理はMPEG-2画像レベル構文ま
たはあるユーザ定義構文のユーザデータを要求する点で
ある。
【００２７】計算の複雑さ及び各マクロブロックに対す
るデータオーバーヘッドを減少させるために，最適パラ
メータa*及びb*を決定するためのサーチ窓サイズを増加
することもできる。例えば，一枚のフレームまたはフィ
ールドに対して，またはさまざまなサイズのマクロブロ
ックに対してa*及びb*を決定することができる。このよ
うにして，各強化レイヤー画像に対するデータストリー
ム内で運ばれなければならない係数の総数は減少する。
さらに，フィードバックプロセスにおいて，a*及びb*
は，ターゲットエラーのような所定の基準が得られるま
で再計算され得る。
【００２８】図３は，本発明にしたがってデコーダで使
用される処理を表したものである。ブロック305におい
て，ステレオビデオ信号を通じて受信された符号化され
た左像輝度画素データがメモリ内に保存される。符号化
データは従来の処理を使って，逆ランレングス符号化及
び逆ハフマン符号化される。変換係数及び画素データは
符号化データの逆量子化用にブロック315へ与えられ
る。逆量子化機能315は，例えば，ルックアップテーブ
ルからブロック335を通じて与えられる量子化パラメー
タを使用する。逆量子化された差分右像画素データは，
ブロック320においてメモリに保存され，ブロック325に
おいて未補正差分右像画素データを与えるべく逆DCT関
数で処理される。
【００２９】ブロック340において，左像画像の復合化
リファレンスデータＸは，ステレオビデオ信号からの検
索の後に，メモリ内に保存される。ブロック345におい
て，復合化リファレンスデータＸが予測用に使用され
る。ブロック345はブロック360を通じて与えられたディ
スパリティベクトルに応答する。その後，リファレンス
データＸは機能365を通じて受信されたアフィン変換係
数a及びbに従ってブロック350でアフィン変換される。
ブロック355において，予測された左像リファレンスデ
ータは，メモリ内に保存され，その後本発明に従う輝度
補正された右像画素データバッファを与えるべく未補正
差分右像画素データに加算され，その後ブロック330に
おいて後続の処理及び表示用にデータバッファへ出力さ
れる。
【００３０】図４は本発明に従う画像レベルの最適化手
法を示す。この実施例において，上記最小自乗エラー技
術はブロックマッチングによって使用されている。上記
同様に，左像画像200はリファレンス窓210を含み，右像
画像220はサーチ窓230を含む。再び，ひとつのサーチ窓
及びリファレンス窓のみが示されているが，以下の方法
は，右像画像全体に対してクロスチャネル輝度インバラ
ンスを最小化するために複数のサーチ窓及びリファレン
ス窓に応用可能であることがわかる。
【００３１】従来のブロックマッチングアルゴリズムは
まず，右像画像内のマクロブロックのそれぞれに対しデ
ィスパリティベクトル(vx,vy)を決定するべくブロック4
00で実行される。例えば，NTSCフォーマット画像に関し
てn=1,320である。従来のブロックマッチングアルゴリ
ズムにおいて，一致されるべき画素のブロックは，いず
れの映像内容が最も類似するかを決定するべく他の画素
ブロックと比較される。
【００３２】その後，ブロック410において，各サーチ
窓の最小自乗エラーの和が，左右像画像の間の全体的に
良好なコントラスト及び明るさのマッチング（例えば，
係数a*及びb*）を発見するべく使用される。こうして，
与えられた右像画像に対して，すべてのサーチ窓マクロ
ブロックに対するディスパリティベクトル及び補償され
たブロックが従来のブロックマッチングアルゴリズムを
使って決定される。
【００３３】y1,y2,...yn（例えば，yi（i=1からn））
はn個の右像マクロブロックのそれぞれの値であり，
【数４】 は左像画像200からの対応するディスパリティ補償され
たデータである。
【００３４】
【数４】次に，次の量を最小化する係数a及びbが決定さ
れる（例えば，a*及びb*）。
【００３５】
【数５】 したがって，一対のそれぞれのサーチ窓マクロブロック
に対してではなく全画像に対して一対の係数a*及びb*が
与えられる。
【００３６】このエラー最小化技術はまた，以下のよう
な条件で右像画像に関してアフィン変換された左像画像
の最小自乗エラーを最小化する良好なコントラスト及び
明るさ設定を与える。
【００３７】
【数６】 この実施例に伴う符号化の複雑さ及びオーバーヘッド
は，図２で説明されたように，各個別マクロブロックが
最適化されたときより非常に少ない。特に，パラメータ
a*及びb*が抑制されかつ画像レベルのユーザデータでの
み送信されなければならないため，オーバーヘッドは減
少する。しかし，本符号化手法に関して，係数a及びbを
含むユーザデータは画像データの符号化前にデータスト
リーム内で送信されるため，バッファは係数a及びbが決
定される前にフレーム（またはフィールド）の符号化情
報を保存する必要がある。
【００３８】さらに注意すべきは，本技術は画像レベル
の最適化に対して例えばスライスまたはスライスの一部
分のような他のブロックサイズを与えることができる点
である。
【００３９】図４の最適化手法の復合化は図３の復合化
処理を使って実行され，ここでXは予測された左像リフ
ァレンスデータ
【数７】 である。
【００４０】
【数７】図５は本発明に従う画像レベルの最適化手法の
他の実施例を示すものである。右像画像220は，左像画
像200内のリファレンス領域215の位置に対応する窓235
を含む。窓235は，検索処理が存在しないためサーチと
は呼ばれない。その代わり，窓235は左像画像200のリフ
ァレンス領域215の右像画像への直接移動である。この
実施例では，機能500において，LSE最適パラメータa*及
びb*は右像の各窓に対する最小自乗エラーの和を最小化
することによって，左像画像X及び右像画像Yから直接見
つけられる。次に，機能510において，Y内の各マクロブ
ロックに対するディスパリティベクトル(vx,vy)は，符
号505で示されるアフィン変換された左像画像aX+bと右
像画像Yの間のブロックマッチングを使って決定され
る。有利にも，本発明のこの実施例は送信前の画像デー
タの保存用のバッファを必要としない。
【００４１】ディスパリティベクトル(vx,vy)及び最適
パラメータa*及びb*を得た後に，ディスパリティ見積が
移動見積と同じ方法で実行される。しかし，今回はリフ
ァレンスフレームは右像自身の代わりに復合化された左
像シーケンスからのものであり，最適なディスパリティ
補償ブロックは対応するリファレンスブロックのアフィ
ン変換から得られる。
【００４２】図５の最適化手法の復合化は図３の復合化
プロセスを使って実行され得る。
【００４３】従って，本発明がステレオビデオエンコー
ダ内でディスパリティ見積を最適化するための方法及び
装置を与えることがわかる。ひとつの実施例において，
最小自乗エラー最適化が右像画像内の各マクロブロック
に対して個別的に生じる。他に，右像画像のブロックが
左像画像に一致した後に最適化が与えられてもよい。ま
たは，アフィン変換された左像画像と右像画像の間のブ
ロックマッチングが，最小自乗エラー最適化の後に実行
されることもできる。
【００４４】本発明に関してその他のバリエーションも
可能である。例えば，画像の一部は一つの技術を使って
最適化され，他の部分は他の技術を使って最適化される
ことも可能である。または，選択された技術は，画像タ
イプ，画像の送信若しくは表示順の連続配列，画像複雑
性，画質，帯域幅要求及び量子化レベルのような基準に
依存し得る。
【００４５】更なるバリエーションにおいて，LSE最適
化は，一定のエラーレベルまたはターゲットのエラー範
囲を達成するべく，閉ループシステム内で実行されるこ
ともできる。例えば，最初の反復において，比較的小さ
いサーチ窓が使用され得る。もし結果エラーが所定のレ
ベル以下であれば，最適化はより大きいマクロブロック
サイズで繰り返されることもできる。このようにして，
各画像に対して送信されるべき見積係数の数は，許容可
能なクロスチャネル輝度インバランスを維持しながら減
少し得る。
【００４６】発明は特定の実施例について説明されてき
たが，特許請求の範囲に記載された発明の思想及び態様
から離れることなくさまざまな付加及び修正が可能であ
ることは，当業者の知るところである。
【図面の簡単な説明】
【図１】図１は，本発明に従うステレオエンコーダのブ
ロック図である。
【図２】図２は，本発明に従うマクロブロックレベルの
最適化手法を示す。
【図３】図３は，本発明に従うデコーダにおいて使用さ
れる処理を図示したものである。
【図４】図４は，本発明に従う画像レベルの最適化手法
を示す。
【図５】図５は，本発明に従う画像レベルの最適化手法
の他の実施例を示す。
【符号の説明】
100 エンコーダ 105 左像フレームバッファ 110 離散コサイン変換コーダー 115 ディスパリティ見積器 120 予測器 125 コーダー 130 右像フレームバッファ 135 I-フレームコーダー 140 加算機 142 端子 143 端子 145 スイッチ 150 DCTコーダー

Claims (18)

    【特許請求の範囲】
  1. 【請求項１】ステレオビデオ信号の強化レイヤー画像内
    のクロスチャネル輝度インバランスを減少させるための
    方法であって，前記強化レイヤー画像内の少なくとも一
    部の画素から成るサーチ窓を与える工程と，前記ステレ
    オビデオ信号のベースレイヤーのリファレンス画像内の
    少なくとも一部の画素から成るリファレンス窓を与える
    工程と，前記サーチ窓と前記リファレンス窓の画素の輝
    度値の間の最小自乗エラーを最小化する前記リファレン
    ス窓のアフィン変換係数a,bを決定する工程と，から成
    る方法。
  2. 【請求項２】請求項１に記載の方法であって，さらに前
    記アフィン変換係数a,bを使って前記リファレンス窓画
    素データをアフィン変換する工程と，前記変換されたリ
    ファレンス窓画素データを使って前記サーチ窓画素デー
    タを差分符号化する工程と，前記強化レイヤー画像を再
    構成する際に使用するために前記ステレオビデオ信号と
    伴に前記差分符号化されたサーチ窓画素データを送信す
    る工程と，から成る方法。
  3. 【請求項３】請求項１または２に記載の方法であって，
    さらに少なくとも一つの前記サーチ窓及び前記リファレ
    ンス窓のサイズを調節し，かつ前記最小自乗エラーがタ
    ーゲットエラー範囲内になるまで前記最小化工程を繰り
    返す工程と，から成る方法。
  4. 【請求項４】請求項１から３のいずれかに記載の方法で
    あって，さらに前記強化レイヤー画像を再構成する際に
    使用するために前記ステレオビデオ信号内の前記アフィ
    ン変換係数a,bを送信する工程と，から成る方法。
  5. 【請求項５】請求項１から４のいずれかに記載の方法で
    あって，さらに前記強化レイヤー画像内の画素の各部分
    から成る付加的サーチ窓を与える工程と，前記リファレ
    ンス画像内の画素の各部分から成る対応する付加的リフ
    ァレンス窓を与える工程と，前記付加的サーチ窓のそれ
    ぞれに対し，前記サーチ窓と対応するリファレンス窓の
    画素の輝度値の間の最小自乗エラーを最小化するアフィ
    ン変換係数a,bの組を決定する工程と，から成る方法。
  6. 【請求項６】ステレオビデオ信号の強化レイヤー画像内
    のクロスチャネル輝度インバランスを減少させるための
    方法であって，前記強化レイヤー画像内の画素の各部分
    から成る複数の窓を与える工程と，前記ステレオビデオ
    信号のベースレイヤーのリファレンス画像内の各部分の
    画素から成る対応する複数のリファレンス窓を与える工
    程と，前記強化レイヤー画像窓と前記対応するリファレ
    ンス窓の画素の輝度値の間の最小自乗エラーの和を最小
    化するアフィン変換係数a,bを決定する工程と，から成
    る方法。
  7. 【請求項７】前記複数の強化レイヤー画像窓がサーチ窓
    であるところの請求項６に記載の方法であって，さらに
    前記決定工程の前に，前記複数のサーチ窓を前記対応す
    る複数のリファレンス窓の各領域とマッチングする工程
    と，から成る方法。
  8. 【請求項８】請求項６または７に記載の方法であって，
    さらに複数の変換されたリファレンス窓を与えるべく前
    記アフィン変換係数a,bに従って，前記対応する複数の
    リファレンス窓を変換する工程と，一致した複数の強化
    レイヤー画像窓を与えるべく，前記複数の強化レイヤー
    画像窓を前記変換された複数のリファレンス窓のそれぞ
    れの領域とマッチングする工程と，前記一致した複数の
    強化レイヤー画像窓のそれぞれに対し，一致した強化レ
    イヤー画像窓と対応する変換されたリファレンス窓の間
    の並進移動差を示すディスパリティベクトルを決定する
    工程と，から成る方法。
  9. 【請求項９】請求項８に記載の方法であって，さらに前
    記強化レイヤー画像を再構成する際に使用するために，
    前記ステレオビデオ信号内のディスパリティベクトルを
    送信する工程と，から成る方法。
  10. 【請求項１０】強化レイヤー画像内の減少したクロスチ
    ャネル輝度インバランスを有するステレオビデオ信号を
    復合化するための方法であって，前記ステレオビデオ信
    号からアフィン変換係数a,bを検索する工程と，前記ア
    フィン変換係数がサーチ窓とリファレンス窓の画素の輝
    度値の間の最小自乗エラーを最小化することにより決定
    される工程であって，前記サーチ窓が前記強化レイヤー
    画像内の少なくとも一部の画素から成り，また前記リフ
    ァレンス窓は前記ステレオビデオ信号のベースレイヤー
    のリファレンス画像内の少なくとも一部の画素から成る
    ところの工程と，前記サーチ窓画素データを回復するべ
    く前記アフィン変換係数を使用する工程と，から成る方
    法。
  11. 【請求項１１】前記サーチ窓画素データが差分符号化デ
    ータとして前記ステレオビデオ信号内で運ばれるところ
    の請求項１０に記載の方法であって，さらに前記ステレ
    オビデオ信号から前記リファレンス窓画素データを検索
    する工程と，リファレンス窓画素予測データを与えるべ
    く前記リファレンス窓画素データを使用する工程と，前
    記アフィン変換係数に従い前記リファレンス窓画素予測
    データをアフィン変換する工程と，前記サーチ窓画素デ
    ータを回復するべく，前記アフィン変換されたリファレ
    ンス窓画素予測データを前記差分符号化されたデータに
    加える工程と，から成る方法。
  12. 【請求項１２】ステレオビデオ信号の強化レイヤー画像
    内のクロスチャネル輝度インバランスを減少させるため
    のエンコーダであって，前記強化レイヤー画像内の少な
    くとも一部の画素から成るサーチ窓を与えるための手段
    と，前記ステレオビデオ信号のベースレイヤーのリファ
    レンス窓内の少なくとも一部の画素から成るリファレン
    ス窓を与えるための手段と，前記サーチ窓と前記リファ
    レンス窓の画素の輝度値の間の最小自乗エラーを最小化
    する前記リファレンス窓のアフィン変換係数a,bを決定
    するためのディスパリティ見積器と，から成る装置。
  13. 【請求項１３】請求項１２に記載の装置であって，さら
    に前記ディスパリティ見積器と動作的に付随し，前記ア
    フィン変換係数a,bを使って前記リファレンス窓画素デ
    ータをアフィン変換する際に使用するための予測器と，
    前記変換されたリファレンス窓画素データを使って前記
    サーチ窓画素データを差分符号化する際に使用するため
    の加算機と，前記強化レイヤー画像を再構成する際に使
    用するために前記ステレオビデオ信号に伴う前記差分符
    号化されたサーチ窓画素データを送信するための送信機
    と，から成る装置。
  14. 【請求項１４】請求項１３に記載の装置であって，さら
    に移動補償されたサーチ窓画素データを与えるべく前記
    サーチ窓画素データを処理するための移動補償器と，デ
    コーダにおいて前記サーチ窓画素データを再構成する際
    に使用するために，前記移動補償されたデータ及び前記
    差分符号化されたデータのひとつを選択するためのスイ
    ッチと，から成る装置。
  15. 【請求項１５】ステレオビデオ信号の強化レイヤー画像
    内のクロスチャネル輝度インバランスを減少させるため
    のエンコーダであって，前記強化レイヤー画像内の画素
    の各部分から成る複数の窓を与えるための手段と，前記
    ステレオビデオ信号のベースレイヤーのリファレンス画
    像内の各部分の画素から成る対応する複数のリファレン
    ス窓を与える手段と，前記強化レイヤー画像窓と前記対
    応するリファレンス窓の画素の輝度値の間の最小自乗エ
    ラーの和を最小化するアフィン変換係数a,bを決定する
    ためのディスパリティ見積器と，から成る装置。
  16. 【請求項１６】強化レイヤー画像内の減少したクロスチ
    ャネル輝度インバランスを有するステレオビデオ信号を
    復合化するためのデコーダ装置であって，前記ステレオ
    ビデオ信号からアフィン変換係数a,bを検索する手段
    と，前記アフィン変換係数がサーチ窓とリファレンス窓
    の画素の輝度値の間の最小自乗エラーを最小化すること
    により決定され，前記サーチ窓は前記強化レイヤー画像
    内の少なくとも一部の画素から成り，また前記リファレ
    ンス窓は前記ステレオビデオ信号のベースレイヤーのリ
    ファレンス画像内の少なくとも一部の画素から成るとこ
    ろのアフィン変換係数と，前記サーチ窓画素データを回
    復するべく前記アフィン変換係数を使用するための処理
    手段と，から成る装置。
  17. 【請求項１７】請求項１６に記載の装置であって，前記
    サーチ窓は前記強化レイヤー画像のマクロブロックから
    成るところの装置。
  18. 【請求項１８】前記サーチ窓画素データが差分符号化デ
    ータとして前記ステレオビデオ信号内で運ばれるところ
    の請求項１６または１７に記載の装置であって，さらに
    前記ステレオビデオ信号から前記リファレンス窓画素デ
    ータを検索する手段と，リファレンス窓画素予測データ
    を与えるべく前記リファレンス窓画素データを使用する
    ための予測手段と，前記アフィン変換係数に従い前記リ
    ファレンス窓画素予測データをアフィン変換するための
    変換手段と，前記サーチ窓画素データを回復するべく，
    前記アフィン変換されたリファレンス窓画素予測データ
    を前記差分符号化されたデータに加えるための加算機
    と，から成る装置。
JP9222939A 1996-08-06 1997-08-06 ステレオビデオ符号化のための最適ディスパリティ見積 Pending JPH10257527A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US692630 1996-08-06
US08/692,630 US5652616A (en) 1996-08-06 1996-08-06 Optimal disparity estimation for stereoscopic video coding

Publications (1)

Publication Number Publication Date
JPH10257527A true JPH10257527A (ja) 1998-09-25

Family

ID=24781374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9222939A Pending JPH10257527A (ja) 1996-08-06 1997-08-06 ステレオビデオ符号化のための最適ディスパリティ見積

Country Status (9)

Country Link
US (1) US5652616A (ja)
EP (1) EP0823826B1 (ja)
JP (1) JPH10257527A (ja)
KR (1) KR19980018426A (ja)
CN (1) CN1084568C (ja)
CA (1) CA2212069C (ja)
DE (1) DE69726508T2 (ja)
NO (1) NO973602L (ja)
TW (1) TW404123B (ja)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3539788B2 (ja) * 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
US6144701A (en) * 1996-10-11 2000-11-07 Sarnoff Corporation Stereoscopic video coding and decoding apparatus and method
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
US6693666B1 (en) * 1996-12-11 2004-02-17 Interval Research Corporation Moving imager camera for track and range capture
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JPH10320561A (ja) * 1997-05-21 1998-12-04 Oki Data:Kk 画像処理方法及びその装置
JP3931392B2 (ja) 1997-08-25 2007-06-13 ソニー株式会社 立体画像用ビデオ信号生成装置、立体画像用ビデオ信号送出装置および立体画像用ビデオ信号受信装置
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
US6731811B1 (en) * 1997-12-19 2004-05-04 Voicecraft, Inc. Scalable predictive coding method and apparatus
US6055274A (en) * 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
US6275253B1 (en) 1998-07-09 2001-08-14 Canon Kabushiki Kaisha Stereographic image compression with image moment normalization
US6215825B1 (en) * 1998-07-09 2001-04-10 Canon Kabushiki Kaisha Stereographic image compression with image difference generation and lossy compression
US6456340B1 (en) 1998-08-12 2002-09-24 Pixonics, Llc Apparatus and method for performing image transforms in a digital display system
US6151362A (en) * 1998-10-30 2000-11-21 Motorola, Inc. Joint rate control for stereoscopic video coding
JP3349121B2 (ja) * 1999-09-22 2002-11-20 富士重工業株式会社 ステレオカメラの取付構造
AUPQ887100A0 (en) * 2000-07-19 2000-08-10 Dynamic Digital Depth Research Pty Ltd Image processing and encoding techniques
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6965647B1 (en) * 2000-11-28 2005-11-15 Sony Corporation Robust time domain block decoding
WO2002102048A2 (en) * 2001-06-11 2002-12-19 Thomson Licensing S.A. Motion compensation for fine-grain scalable video
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
US7027515B2 (en) * 2002-10-15 2006-04-11 Red Rock Semiconductor Ltd. Sum-of-absolute-difference checking of macroblock borders for error detection in a corrupted MPEG-4 bitstream
AU2003264580B2 (en) * 2002-11-29 2006-08-10 Canon Kabushiki Kaisha Range Estimation Using Multi-dimensional Segmentation
US20040175057A1 (en) * 2003-03-04 2004-09-09 Thomas Tsao Affine transformation analysis system and method for image matching
KR100565791B1 (ko) * 2003-08-04 2006-03-29 삼성전자주식회사 모션백터 추정장치 및 모션백터 추정방법
KR100524077B1 (ko) * 2003-11-13 2005-10-26 삼성전자주식회사 중간 영상 합성을 위한 시간적 평활화 장치 및 방법
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
CA2557533A1 (en) * 2004-02-27 2005-09-09 Td Vision Corporation S.A. De C.V. Method and system for digital coding 3d stereoscopic video images
KR101177663B1 (ko) * 2004-02-27 2012-09-07 티디비전 코포레이션 에스.에이. 데 씨.브이. 입체적 3ｄ-비디오 이미지 디지털 디코딩 시스템 및 방법
US8204133B2 (en) * 2004-10-12 2012-06-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
KR100775871B1 (ko) * 2004-10-12 2007-11-13 한국전자통신연구원 영상합성기반 다시점 동영상 부호화 및 복호화를 수행하기위한 방법 및 장치
CN101116340A (zh) * 2004-12-10 2008-01-30 韩国电子通信研究院 对多视图视频进行统一编码的装置
KR101199498B1 (ko) * 2005-03-31 2012-11-09 삼성전자주식회사 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
KR100668073B1 (ko) * 2005-07-11 2007-01-11 (주)블루비스 다시점 영상의 왜곡 보정처리 방법
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
CN101166271B (zh) * 2006-10-16 2010-12-08 华为技术有限公司 一种多视点视频编码中的视点差补偿方法
US20080095464A1 (en) * 2006-10-20 2008-04-24 Quvis, Inc. System and Method for Representing Motion Imagery Data
EP2393301A1 (en) * 2007-06-11 2011-12-07 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image
US8471893B2 (en) * 2007-06-26 2013-06-25 Samsung Electronics Co., Ltd. Method and apparatus for generating stereoscopic image bitstream using block interleaved method
EP2229784B1 (de) * 2007-12-27 2019-02-27 psHolix AG Verfahren und vorrichtung zur echtzeit-multiview-erzeugung
WO2009101798A1 (ja) * 2008-02-12 2009-08-20 Panasonic Corporation 複眼撮像装置、測距装置、視差算出方法及び測距方法
US20100246675A1 (en) * 2009-03-30 2010-09-30 Sony Corporation Method and apparatus for intra-prediction in a video encoder
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
WO2011014419A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US8428122B2 (en) * 2009-09-16 2013-04-23 Broadcom Corporation Method and system for frame buffer compression and memory resource reduction for 3D video
CN102783161A (zh) * 2010-03-05 2012-11-14 索尼公司 用于3d tv的视差分布估计
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
KR101708331B1 (ko) * 2010-09-17 2017-02-20 삼성전자 주식회사 디스플레이장치 및 그 제어방법
WO2012061549A2 (en) 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
CN102026013B (zh) * 2010-12-18 2012-05-23 浙江大学 基于仿射变换的立体视频匹配方法
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
ITTO20110414A1 (it) * 2011-05-11 2012-11-12 St Microelectronics Pvt Ltd Procedimento ed apparecchiatura per elaborare segnali video, prodotto informatico e segnale codificato relativi
TWI456975B (zh) 2011-08-23 2014-10-11 Acer Inc 立體影像處理裝置與方法
CN102984538B (zh) * 2011-09-05 2015-02-25 宏碁股份有限公司 立体图像处理装置与方法
TWI465105B (zh) * 2011-10-26 2014-12-11 Syntek Semiconductor Co Ltd 立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體
US9014263B2 (en) 2011-12-17 2015-04-21 Dolby Laboratories Licensing Corporation Multi-layer interlace frame-compatible enhanced resolution video delivery
US20130208809A1 (en) * 2012-02-14 2013-08-15 Microsoft Corporation Multi-layer rate control
WO2013170040A1 (en) 2012-05-11 2013-11-14 Intel Corporation Systems and methods for row causal scan-order optimization stereo matching
TW201409994A (zh) 2012-08-30 2014-03-01 Novatek Microelectronics Corp 立體視訊的編碼方法與編碼裝置
KR102062765B1 (ko) * 2012-09-18 2020-02-11 삼성전자주식회사 이미지 변환 메커니즘을 갖춘 3ｄ 이미지 캡쳐 시스템과 그 사용 방법
US10045014B2 (en) * 2013-07-15 2018-08-07 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3D video coding
CN104539966B (zh) * 2014-09-30 2017-12-22 华为技术有限公司 图像预测方法及相关装置
US10412412B1 (en) 2016-09-30 2019-09-10 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10553029B1 (en) 2016-09-30 2020-02-04 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10609356B1 (en) * 2017-01-23 2020-03-31 Amazon Technologies, Inc. Using a temporal enhancement layer to encode and decode stereoscopic video content
US12184825B2 (en) * 2021-11-26 2024-12-31 Electronics And Telecommunications Research Institute Apparatus and method for transmitting and receiving additional information for 3D image
US12348849B1 (en) 2023-06-29 2025-07-01 Vaultscan360, Llc Stabalized electrical manhole inspection tool

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
NL9201593A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende een eerste encoder voor het coderen van een eerste digitaal signaal, een tweede encoder voor het coderen van een tweede digitaal signaal en ten minste één decoder voor het decoderen van gecodeerde digitale signalen, en encoder en decoder voor toepassing in het systeem.
EP0639031A3 (en) * 1993-07-09 1995-04-05 Rca Thomson Licensing Corp Method and device for encoding stereo image signals.
JP3465988B2 (ja) * 1994-04-27 2003-11-10 松下電器産業株式会社 動き及び奥行き推定方法及びその装置
JP3242529B2 (ja) * 1994-06-07 2001-12-25 松下通信工業株式会社 ステレオ画像対応付け方法およびステレオ画像視差計測方法
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US6144701A (en) * 1996-10-11 2000-11-07 Sarnoff Corporation Stereoscopic video coding and decoding apparatus and method

Also Published As

Publication number Publication date
MX9705999A (es) 1998-07-31
KR19980018426A (ko) 1998-06-05
NO973602D0 (no) 1997-08-05
DE69726508D1 (de) 2004-01-15
CN1179065A (zh) 1998-04-15
CA2212069C (en) 2001-06-12
US5652616A (en) 1997-07-29
EP0823826A3 (en) 1999-04-14
EP0823826A2 (en) 1998-02-11
TW404123B (en) 2000-09-01
CN1084568C (zh) 2002-05-08
NO973602L (no) 1998-02-09
CA2212069A1 (en) 1998-02-06
EP0823826B1 (en) 2003-12-03
DE69726508T2 (de) 2004-09-23
HK1010297A1 (en) 1999-06-17

Similar Documents

Publication Publication Date Title
US5652616A (en) Optimal disparity estimation for stereoscopic video coding
CA2252324C (en) View offset estimation for stereoscopic video coding
KR100481732B1 (ko) 다 시점 동영상 부호화 장치
US8644386B2 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US8774282B2 (en) Illumination compensation method and apparatus and video encoding and decoding method and apparatus using the illumination compensation method
EP0817493B1 (en) Rate control for stereoscopic digital video encoding
EP2923491B1 (en) Method and apparatus for bi-prediction of illumination compensation
US20070104276A1 (en) Method and apparatus for encoding multiview video
JP2007180981A (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム
KR101227601B1 (ko) 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
EP1927250A1 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
Yang et al. An MPEG-4-compatible stereoscopic/multiview video coding scheme
JPH10191393A (ja) 多視点画像符号化装置
JP2007180982A (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
WO2006110007A1 (en) Method for coding in multiview video coding/decoding system
KR100239867B1 (ko) 움직임예측 및 시차예측을 적용하는 경우의 화질열화억제를 위한 입체 동영상의 압축방법
HK1008288A (en) Optimal disparity estimation for stereoscopic video coding
HK1010297B (en) Method of optimal disparity estimation for stereoscopic video coding
MXPA97005999A (en) Optimal disparity estimation for stereoscopic video coding
KR19990011959A (ko) 입체 영상 부호기를 위한 양안차 추정 방법 및 그 회로
Brites et al. Correlation noise modeling for multiview transform domain Wyner-Ziv video coding
MXPA98009262A (en) View offset estimation for stereoscopic video coding
HK1009903A (en) Rate control for stereoscopic digital video encoding
HK1008285A (en) Rate control for stereoscopic digital video encoding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040827

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050203