JPH11262032A - 立体ビデオの符号化のための像オフセット評価 - Google Patents

立体ビデオの符号化のための像オフセット評価

Info

Publication number
JPH11262032A
JPH11262032A JP10316119A JP31611998A JPH11262032A JP H11262032 A JPH11262032 A JP H11262032A JP 10316119 A JP10316119 A JP 10316119A JP 31611998 A JP31611998 A JP 31611998A JP H11262032 A JPH11262032 A JP H11262032A
Authority
JP
Japan
Prior art keywords
image
lower layer
video
enhancement layer
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10316119A
Other languages
English (en)
Inventor
Xuemin Chen
クエミン・チェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arris Technology Inc
Original Assignee
General Instrument Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Instrument Corp filed Critical General Instrument Corp
Publication of JPH11262032A publication Critical patent/JPH11262032A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 【課題】立体ビデオ装置において，ディスパリティ予測
されたエンハンスメントレイヤー映像の符号化効率を改
良するような装置を与える。 【解決手段】下位レイヤー内の下位レイヤー映像を使用
しながら立体ビデオ信号のエンハンスメントレイヤー内
のエンハンスメントレイヤー映像を予測するための方法
であって，(a)前記エンハンスメントレイヤー映像と前
記下位レイヤー映像との画素値の間の最小平均エラー，
及び(b)前記エンハンスメントと前記下位レイヤー映像
の画素値間の最小平均自乗エラー，のひとつに従って前
記エンハンスメントレイヤー映像と前記下位レイヤー映
像との間の最適オフセット値xを決定する工程と，エン
ハンスメントレイヤー映像をディスパリティ予測する際
に使用するための参照映像を得るべく前記最適オフセッ
トに従って前記下位レイヤー映像をシフトする工程と，
から成る方法。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は，立体ビデオデータ
を符号化するための装置及び方法に関する。特に，同一
の時間参照点における右及び左チャネル像のシーンの最
適なオフセットを評価するための装置に関する。当該装
置は符号化効率を改善するべく，ディスパリティ（すな
わち，クロス-チャネル若しくはクロス-レイヤー）予測
に対する移動ベクトル検索範囲を縮小させる。
【０００２】
【従来の技術】デジタル技術は，それがアナログ技術よ
り非常に高い品質の信号を分配することができ，また以
前は得られなかった付加的特徴を与えることができるた
めに，消費者へのビデオ及びオーディオサービスの分配
に大変革をもたらした。特に，デジタル装置はケーブル
テレビネットワークを通じた，若しくはケーブルテレビ
会員への衛星による放送及び/または直接家庭の衛星テ
レビ受信機への信号に対して有利である。そのような装
置において，加入者はオリジナルのビデオ及びオーディ
オ信号を再構成するためにデータをデコンプレス及びデ
コードする受信機/デスクランブラを通じてデジタルデ
ータストリームを受信する。デジタル受信機は，この処
理に必要なマイクロコンピュータ及びメモリ記憶エレメ
ントを有する。
【０００３】高品質のビデオ及びオーディオを与えなが
ら低コストの受信機を与えるニーズは，処理されるデー
タ量が制限されることを要求する。さらに，デジタルデ
ータの送信用の有用な帯域幅は，物理的制限，現存の通
信プロトコル及び政府の規格によって制限され得る。し
たがって，特定のビデオ画像（例えば，フレーム）内の
隣接ピクセル内の空間的相関関係を利用するイントラ-
フレームのデータ圧縮手法が開発された。
【０００４】さらに，インターフレーム圧縮手法は，移
動補償を使うことによって連続するフレームの対応する
領域とブロック一致移動評価アルゴリズムとの間の時間
的相関関係を利用する。この場合，移動ベクトルは，カ
レントブロックに最も類似する先行画像内のブロックを
識別することによって映像のカレント画像における各ブ
ロックに対して決定される。その後，全カレント画像
は，対応する一対を識別するために要求される移動ベク
トルとともに，対応するブロックの一対の間の差を表す
データを送ることによってデコーダにおいて再構成され
る。特に，ブロック一致移動評価アルゴリズムは，離散
コサイン変換(DCT)のようなブロックベースの空間圧縮
技術と組み合わされたとき効果的である。
【０００５】付加的に，提案された立体ビデオ送信フォ
ーマットに関心が高まっている。それはモーション・ピ
クチャー・エキスパート・グループ(MPEG)MPEG-2マルチ
ビュープロファイル(MVP)装置であり，ドキュメントISO
/IEC JTC1/SC29/WG11 N1088(ITU-T勧告H.262)題名"Prop
osed Draft Amendment No.3 to 13818-2 (Multi-viewPr
ofile)"1995年11月発行に記載され，またそれの訂正版3
及びMPEG-4ビデオ検証モデル(VM)第３版はドキュメント
ISO/IEC JTC1/SC29/WG11 N1277, Tampere,フィンランド
1996年７月発行に記載され，両方とも本件に参考文献と
して組み込まれている。
【０００６】立体ビデオは，より深いフィールドが結合
されたイメージを与え，それによって３次元の（３−
Ｄ）効果を作成するために，同一イメージのわずかにオ
フセットされた像を与える。そのような装置において，
２つのカメラは約2.5インチ若しくは65mmだけ離隔さ
れ，一つの事象を２つの別々のビデオ信号で記録する。
カメラの間隔はほぼ人間の目の左右の差とほぼ一致して
いる。さらにまた，いくつかの立体ビデオカメラに関し
て，２つのレンズがひとつのカムコーダヘッド内に装着
され，それによって例えば映像をパンニングするとき同
期して動く。２つのビデオ信号は受信機において送信さ
れかつ再結合され，通常の人間の視野に対応する深さの
フィールドを有する映像を生成する。他の特別の効果も
また与えられる。
【０００７】MPEG MVP装置は多重化された信号内で送信
される２つのビデオレイヤーを含む。最初に，ベース
（すなわち，下位）レイヤーは３次元物体の左像を表
す。第２に，エンハンスメント（例えば，補助，若しく
は上部）レイヤーは物体の右像を表す。左右の像は同一
物体でありかつお互いに関してわずかにオフセットされ
ているため，しばしば，ベースのビデオ画像とエンハン
スメントレイヤーとの間には相当の相関関係が存在す
る。この相関関係はベースレイヤーに関してエンハンス
メントレイヤーデータを圧縮するのに使用され，それに
よって付与の映像品質を維持し，エンハンスメントレイ
ヤー内で送信される必要のあるデータの量を減少させ
る。概して，映像品質はビデオデータの量子化レベルに
対応する。
【０００８】MPEG MVP装置は３つのタイプのビデオ画像
を有する。イントラ-符号化画像（I-画像）予測符号化
画像（P-画像），及び双方向に予測符号化された画像
（B-画像）である。さらに，ベースレイヤーはフレーム
若しくはフィールド構造ビデオシーケンスのいずれかを
収容し，一方エンハンスメントレイヤーはフレーム構造
のみを収容する。I画像は他の画像を参照することな
く，単一ビデオ画像を完全に記述する。改良されたエラ
ー隠蔽に対して，移動ベクトルはI画像に含まれてい
る。ベースレイヤー内のP画像及びB画像は，I画像から
予測されるため，I画像内のエラーは表示されているビ
デオ上により大きな衝撃を与える可能性を有する。さら
にまた，エンハンスメントレイヤー内の画像は，ディス
パリティ予測として知られるクロス-レイヤーの予測処
理において，ベースレイヤー内の画像から予測される。
レイヤー内での一つのフレームから他のフレームを予測
することは時間的予測として知られている。
【０００９】ベースレイヤーにおいて，P画像は先行のI
若しくはP画像に基づいて予測される。より早いI若しく
はP画像から未来のP画像まで参照され，これはフォワー
ド予測として知られる。B画像は，最も近くのより早いI
若しくはP画像から及び最も近くのより遅いI若しくはP
画像から予測される。
【００１０】エンハンスメントレイヤーにおいて，P画
像は(a)エンハンスメントレイヤー内で最も最近復合化
された画像，(b)表示順で，最も最近のベースレイヤ
ー，または(c)表示順で次の下位レイヤー画像から予測
される。表示順で最も最近のベースレイヤーがI画像で
あるとき，しばしば(b)のケースが使用される。
【００１１】さらにまた，エンハンスメントレイヤー内
のB画像は，(d)表示順に，フォワード予測用の最も最近
復合化されたエンハンスメントレイヤー画像及び最も最
近の下位レイヤー画像，(e)表示順に，フォワード予測
用の最も最近復合化されたエンハンスメントレイヤー画
像及びバックワード予測用の次の下位レイヤー画像，ま
たは(f)表示順に，フォワード予測用の最も最近の下位
レイヤー画像及び表示順にバックワード予測用の次の下
位レイヤー画像，を使用しながら予測される。表示順に
最も最近の下位レイヤー画像がI画像であるとき，I画像
のみが予測符号化用に使用される（例えば，フォワード
予測は存在しない）。
【００１２】予測モード(a)，(b)及び(c)のみがMPEG MV
P装置内に包含されることに注意すべきである。MVP装置
はMPEG時間計測可能符号化のサブセットであり，それは
(a)から(f)の各モードを包含する。
【００１３】ひとつの付加的構成において，エンハンス
メントレイヤーはP及びB画像のみを有し，I画像はな
い。未来の画像（すなわち，まだ表示されていない）へ
の参照は，バックワード予測と呼ばれている。エンハン
スメントレイヤー内でバックワード予測は起こらない点
に注意すべきである。したがって，エンハンスメントレ
イヤーは画像はディスプレイ順に送信される。圧縮比が
増加する際にバックワード予測が非常に有用であるよう
な状況がある。例えば，ドアが開くところのシーンにお
いて，カレント画像は，ドアがすでに開かれているとこ
ろの未来の画像に基づいてドアの背後にあるものを予測
してもよい。
【００１４】
【発明が解決しようとする課題】B画像は最高の圧縮を
与えるが最高のエラーも伴う。エラーの伝搬を除去する
ために，B画像はベースレイヤー内の他のベースレイヤ
ーからは予測されない。P画像はより少ないエラー及び
下位圧縮を与える。I画像は最も低い圧縮を与えるが，
ランダムアクセスを与えることができる。
【００１５】ディスパリティ予測に対して，例えば，下
位レイヤーの映像がエンハンスメントレイヤー映像用の
参照映像として単独で若しくはエンハンスメントレイヤ
ーリファレンス参照映像と組み合わされて使用される。
【００１６】エンハンスメントレイヤー映像は予め定義
された検索領域を検索することによって，参照映像内の
最適一致映像を見つけることにより移動補償され，その
後，参照映像の最適一致映像の画素を使用しながらエン
ハンスメントレイヤーの映像の画素を差分的に符号化す
る。最適一致の映像を符号化されたエンハンスメントレ
イヤー領域への相対的置換を画成する移動ベクトルは，
デコーダにおいてエンハンスメントレイヤーの映像が再
構成されるように，差分的に符号化された画素データと
ともに送信される。処理はマクロブロックずつで起きて
もよい。
【００１７】しかし，ディスパリティ予測用の処理及び
メモリ保存要求は移動ベクトルの検索範囲が増加すると
き，高まる。付加的に，ディスパリティベクトルの非能
率的な可変長符号化（例えば，ハフマン符号化）が生じ
る。これはより高く及び/またはより遅い符号化及び復
合化装置を生成する。したがって，立体ビデオ装置にお
いて，ディスパリティ予測されたエンハンスメントレイ
ヤー映像の符号化効率を改良するような装置を有するこ
とが有利である。該装置は，強化レイヤー映像とより近
く一致するシフトされたより下位のレイヤー映像を与え
るべく立体ビデオカメラの両眼間の分離を計量しなけれ
ばならない。当該装置は任意の形状の映像とともに四角
形を含む，さまざまな映像サイズと互換性がなければな
らない。
【００１８】当該装置は，MPEG-1，MPEG-2，MPEG-4，H.
261及びH.263のような現存の及び提案されているビデオ
符号化規格と互換性がなければならない。
【００１９】該装置は参照フレームを再構成する際にデ
コーダによって使用するためのオフセット値の送信用に
与えられる。該装置は，エンコーダにおいて移動ベクト
ル検索範囲を縮小させることによってオフセット値の送
信を許可しないビデオ規格に関して効果的でなければな
らない。この技術は静止画像及び画像シーケンスに対し
て適していなければならない。
【００２０】本願は上記及び他の利点を有する装置を与
える。
【００２１】
【課題を解決するための手段】本発明にしたがって，両
眼間カメラレンズ分離を補償することによって立体ビデ
オ送信装置内で符号化効率を改良するための方法及び装
置が与えられる。
【００２２】下位レイヤー内で下位レイヤー映像を使用
する立体ビデオ信号のエンハンスメントレイヤー内のエ
ンハンスメントレイヤー映像を予測するための方法は，
最小平均エラー若しくは最小平均自乗エラーのいずれか
に従ってエンハンスメントレイヤー映像と下位レイヤー
映像との間の最適なオフセットxを決定する工程と，エ
ンハンスメントレイヤー映像をディスパリティ予測する
際に使用するための参照映像を得るために最適なオフセ
ットに従って下位レイヤー映像をシフトする工程と，か
ら成る。このシフトは，下位レイヤーの映像の最後の
（例えば，一番右）x画素列を消去し，存在前の第１画
素列（すなわち，シフト前の最も左の列）に従って，最
初の（例えば，一番左）x画素列を埋め込むこと，によ
って達成される。
【００２３】エンハンスメントレイヤー映像は移動補償
を使って参照映像からディスパリティ予測され，マクロ
ブロックのような最適一致映像は，シフト無しで下位レ
イヤー映像の検索範囲に関して縮小される検索範囲を使
って参照映像内で得られる。
【００２４】評価されたオフセットは，カメラの焦点パ
ラメータ及び両眼間の分離に従って決定され，その場合
下位レイヤーの映像は最適なオフセットを見つけるよう
評価されたオフセットによって決定される範囲内で検索
される。
【００２５】エンハンスメントレイヤーの映像及び下位
レイヤーの映像はビデオオブジェクトプレーン若しくは
長方形の映像（例えば，フレーム）だけでなく他の任意
の形状の映像から成る。
【００２６】新しい最適オフセットxは，下位レイヤー
映像に対して場面変化が検出されたときに，決定され
る。もし場面変化が検出されないと，下位レイヤー内の
先の映像からのオフセットは最適オフセットxとして使
用される。付加的に，新しい最適オフセットxが下位レ
イヤー内の画像の新しいグループに対して決定される。
【００２７】最適オフセットxは，参照映像を再構成す
る際にデコーダーによって使用されるための立体ビデオ
信号内で送信される。
【００２８】最小平均エラーに対して，最適オフセット
xは以下の値が最小になるように決定される。
【数７】 ここでyL及びyEはそれぞれ下位レイヤー及びエンハンス
メントレイヤーのルミナンス値を表し，i及びjはそれぞ
れ下位レイヤー及びエンハンスメントレイヤー映像の水
平及び垂直のカルテシアン座標であり，hは下位レイヤ
ー映像の高さであり，wは下位レイヤー映像の幅であ
り，下位レイヤー映像は左像映像でありかつエンハンス
メントレイヤー映像は右像映像である。
【００２９】最小平均自乗エラーに対し，最適オフセッ
トは以下の値で決定される。
【数８】 クロミナンスデータに対するオフセットは4:2:0ビデオ
に対して「x/2」である。対応する装置及びデコーダも
また与えられる。
【００３０】
【発明の実施の形態】立体ビデオ装置内で右及び左チャ
ネル像の間の場面の最適なオフセットを評価するための
方法及び装置が与えられる。
【００３１】図１は立体ビデオ用のコーダー/デコーダ
のブロック図である。MPEG MVP規格及び類似装置は，下
位レイヤー及びエンハンスメント若しくは上位レイヤー
を有する，２つのビデオレイヤーの符号化を含む。その
ような応用に対して，下位レイヤーは左像に割り当てら
れるが，エンハンスメントレイヤーは右像に割り当てら
れる。図１のコーダー/デコーダー（例えば，codec）構
造において，下位レイヤー及びエンハンスメントレイヤ
ービデオシーケンスは一時的リマルチプレクサ(remux)1
05によって受信される。時間分割多重化(TDMX)を使いな
がら，エンハンスメントレイヤービデオはエンハンスメ
ントエンコーダ110に与えられるが，ベースレイヤービ
デオは下位エンコーダ115に与えられる。下位レイヤー
ビデオデータはディスパリティ予測のためにエンハンス
メントエンコーダ110へ与えられてもよいことに注意す
べきである。
【００３２】その後，符号化されたエンハンスメント及
びベースレイヤーはデコーダ122に送信するために移送
ストリームとしてマルチプレクサ装置120へ与えられ
る。典型的に送信経路はケーブル装置ヘッドエンドへの
衛星リンク若しくは消費者の家庭への衛星を通じた直接
なものである。デコーダ122において，移送ストリーム
はデマルチプレクサ装置125においてデマルチプレクス
される。符号化されたエンハンスメントレイヤーデータ
はエンハンスメントデコーダ130へ与えられ，一方符号
化された下位レイヤーデータは下位デコーダ135へ与え
られる。好適には，復合化は並列処理構成で下位及びエ
ンハンスメントレイヤーに関して同時に実行される点に
注意すべきである。変形的に，エンハンスメントデコー
ダ130及び下位デコーダ135は共通の処理ハードウエアを
共有してもよく，その場合復合化は一度にひとつの画像
で連続的に実行されてもよい。
【００３３】復合化された下位レイヤーデータは，分離
データストリームとして下位デコーダから出力され，ま
た一時的リマルチプレクサ140へ与えられる。一時的リ
マルチプレクサ140において，復合化されたベースレイ
ヤーデータ及び復合化されたエンハンスメントレイヤー
データは図示されるようにエンハンスメントレイヤー出
力を与えるために組み合わされる。その後エンハンスメ
ント及び下位レイヤー出力信号は視聴用のディスプレイ
装置へ与えられる。
【００３４】図２は立体ビデオカメラモデルの略図であ
る。カメラ装置100は，典型的には65mmである両眼間距
離δ(130)によって分離されているそれぞれの軸125及び
115を有する右像レンズ120及び左像レンズ110を有す
る。軸115及び125はカメラ平面を横切る。カメラ装置10
0は２つの独立のカメラを有し，それぞれがレンズを有
し，その結果ひとつの場面の２つの別々の記録が得られ
る。該カメラは平行軸及び電荷結合装置(CCDs)のような
共角映像センサーによって方向づけされる。したがっ
て，付与の瞬間での場面の２つの映像の置換（ディスパ
リティ）は主に水平であり，またレンズ110及び120の水
平分割により作成される。
【００３５】立体映像装置は，場面の２つの像を与える
ために人間視覚システムの原理を模したものである。見
る人の左及び右目に対応する適当なディスプレイ上に適
正な像を与えることにより，場面の２つのわずかに異な
る透視図は各網膜上に映像化される。その後，脳はこれ
らのイメージを一つの像に融合し，見る者は立体映像
（立体映像）の感覚を体験し，それは改良された深さの
知覚による付加されたリアリズムを与える。
【００３６】立体ビデオデータを効果的に送信するため
に，２つの像の映像の符号化（例えば，圧縮）は効果的
でなければならない。立体ビデオの効果的符号化は非移
動補償ではなく，ディスパリティ（例えば，クロスチャ
ネル若しくはクロスレイヤー）予測に依存する。左右像
の画像間でのディスパリティ予測用の移動ベクトル検索
範囲を縮小させるために，あまり複雑でないエンコーダ
が実行される。これは，同一の時間的参照点において２
つの像の画像間の場面のグローバルロケーションオフセ
ットを最適に評価することによって達成される。
【００３７】ここに与えられる装置は，MPEG-2マルチビ
ュープロファイル(MVP)及び立体ビデオ符号化のディス
パリティ予測用のMPEG-4ビデオ・ベリフィケーション・
モデル(VM)（バージョン3.0及びそれ以上）の実行強化
オプションにおいて使用される。
【００３８】MVP（若しくはMPEG-4 MV 3.0）は２つのレ
イヤー符号化，すなわち下位若しくはベースレイヤー及
びエンハンスメントレイヤーを含む。立体ビデオ符号化
に対して，下位レイヤーは左像に割り当てられ，エンハ
ンスメントレイヤーは右像に割り当てられる。P-及びB-
画像用のMVP内のエンハンスメントレイヤーのディスパ
リティ評価/予測モードはマクロブロックベースのブロ
ック一致技術から成る。MVPデコーダにおいて，これら
の予測モードは図3，4，及び8に示されている。
【００３９】立体ビデオ符号化に関して，各ディスパリ
ティ予測されたマクロブロックに対する水平ディスパリ
ティベクトルは像地点のオフセットのために予期され
る。実際に，これによって，これらのディスパリティベ
クトルの非効果的な可変長（ハフマン）符号化(VLC)が
生じる。本発明は，評価されたディスパリティベクトル
の符号化がより効果的になるように，立体像の水平オフ
セットをいかに決定するかの問題をアドレスする。
【００４０】本発明に従って，オフセットされた左像映
像と右像映像の間での置換が減少するように，左像映像
は適当な数の画素によってオフセットされる。したがっ
て，この新しい映像の一対に基づくディスパリティ予測
はより効果的である。
【００４１】図３はエンハンスメントレイヤー内のP画
像用のディスパリティ予測モードを図示したものであ
る。ここで，エンハンスメントレイヤー内のP画像310は
下位レイヤー内の同時のI-画像300を使ってディスパリ
ティされる。
【００４２】図４はB-画像用のエンハンスメントレイヤ
ー予測モードを図示したものである。ここで，エンハン
スメントレイヤー内のB-画像410は，フォワード予測及
びディスパリティ予測の両方を使って予測される。特定
的に，B-画像410は，最も最近復合化されたエンハンス
メントレイヤー画像である他のB-画像420，及び最も最
近の下位レイヤー画像であるI-画像を使ってフォワード
予測される。
【００４３】図５は本発明に従う左像画像の処理を示し
たものである。本発明のグローバルな水平位置オフセッ
ト技術は現存の符号化規格との互換性を維持しながら，
符号化効率を改良する。グローバルな水平位置オフセッ
ト方法は，シフトされた左像映像と対応する右像イメー
ジとの間の歪みが最小であるように，左像映像の水平位
置シフトを得る。この技術は，MPEG-2 MVP規格内で使用
されるような，例えば，ビデオフレームまたは画像若し
くはそれの部分の長方形映像ばかりではなく，MPEG-4規
格内で議論されたものと同じビデオ・オブジェクト・プ
レーン(VOP)のような任意形状の映像に応用可能であ
る。特定的に，左像映像内のVOPは，VOPの最も左のエッ
ジにおいて，VOP上で垂直に伸長する最も左の画素xを消
去することによって，かつVOPの最も右のエッジにおい
て始まるx画素を詰め込むことによって，右へシフトさ
れる。したがって，最も右のエッジはx画素だけ水平に
伸長する。したがってVOPの位置は，右像映像内の対応
するVOPに関してと同様に，その中に置かれた左像フレ
ームに関してシフトされる。概して，VOPがフレームの
垂直境界に伸長しないことを仮定すれば，左像フレーム
の最も右の及び最も左の位置は変更されない。
【００４４】図５において，左像映像500及び右像映像5
10が示されている。パラメータh及びwは両方の映像に対
する高さ及び幅をそれぞれ示している。例えば，NTSCビ
デオに対して，h=480及びw=704であり，PALビデオに対
して，h=576及びw=704である。パラメータyL(i,j)及びy
R(i,j)は，それぞれ左像（若しくは下位）及び右像映像
のルミナンス画素値を表す。パラメータyR(i,j)は添え
字"E"はエンハンスメントレイヤーを示すところのyE(i,
j)として示されても良い。
【００４５】左像映像が下位レイヤー内にありかつ右像
映像がエンハンスメントレイヤー内にあることを仮定し
て，技術が議論されている。しかし，該技術は右像映像
が下位レイヤー内にありかつ左像映像がエンハンスメン
トレイヤー内にあるところの立体ビデオ装置内での使用
に対し容易に適用可能である。
【００４６】左像映像500は特徴505を含み，一方右像映
像510は同一の特徴515を含むがフレーム内の異なる相対
的位置にある。特定的に，映像500は距離xだけ映像510
の左に相対的にオフセットされる。第１の工程におい
て，x値は決定されるべき水平オフセットであり，割り
当て前若しくは決定前の範囲x，すなわち0≦x≦Xである
ように仮定される。
【００４７】本発明の第１の実施例に従うグローバル水
平位置オフセット技術は，以下の値が最小になるような
水平オフセット整数値x見つけることであり，
【数９】 ここで，yL及びyEはそれぞれ下位及びエンハンスメント
レイヤー映像のルミナンス画素値を表し，下位及びエン
ハンスメントレイヤー映像内でi及びjはそれぞれ水平及
び垂直カルテシアン座標であり，hは各映像の高さでwは
各映像の幅である。この技術はエンハンスメントと下位
レイヤー映像の画素値の間の最小平均自乗エラーを使用
する。h(w-x)は乗算を示し，hの関数ではないことに注
意すべきである。Dist_L2が最小であるように，オフセ
ットxを見つけるべく，0≦x≦Xに対して水平方向に徹底
的な検索が実行される。
【００４８】本発明の他の実施例において，次の値が最
小であるようなオフセット値xが発見される。
【数１０】 エンハンスメントと下位レイヤー映像との画素値の間の
最小平均エラーを使用するこの技術は，減少された計算
要求に関して実行される。
【００４９】本発明の他の実施例において，水平オフセ
ットxestはカメラ焦点パラメータ及び両眼間分離δを使
用することによって評価される。例えば，１０個（例え
ば，+/-5）の画素の評価されたオフセットが使用されて
もよい。その後，Dist_L1(x)若しくはDist_L2(x)が最小
になるようなオフセットxを見つけるためにmax{xest-5,
0}≦i≦{xest+5,0}に対して徹底的な水平検索が実行さ
れる。
【００５０】ディスパリティ評価及び予測用の左像参照
フレームは以下のようにして得られる。エンコーダ内で
水平オフセットxを決定した後で，右像映像のディスパ
リティ評価/予測に対して，オリジナル及び再構成され
た左像映像から参照フレームが構成される。もし，ビデ
オ規格によってオフセット値xがデコーダへ送信される
ことができれば，オフセット値xはデコーダで抽出さ
れ，参照フレームは，右像映像のディスパリティ予測/
補償に対して復合化された左像映像から再構成される。
オフセットは例えば，画像ヘッダのユーザーデータ部分
内で送信されてもよい。
【００５１】ルミナンス画素に対する参照フレームの構
成処理は，第２の工程で，左像映像の最後のx列を消去
することによって達成される。エンコーダにおいて，オ
リジナルの左像映像が使用され，一方デコーダでは，復
合化された左像映像が使用される。左像映像535を参照
すると，映像535の右側において最後の列520が消去され
ている。
【００５２】第３の工程において，左像映像540の各行
に対し行の最初においてx画素は行の最初の画素値で満
たされる。該充填（例えば，埋め込み）処理はMPEG-4規
格内で説明されるように達成される。埋め込まれた領域
530が映像540の左側に示されている。上記工程の結果と
して，対応する右像映像とより近く一致する，オフセッ
トされ若しくはシフトされたイメージ540が得られる。
【００５３】クロミナンス画素データに対して，ディス
パリティ予測のための参照フレームの構成処理は，付与
のステップと同じステップから成るが，水平オフセット
の「x/2」に関して，すなわち，x/2は次の整数に切り捨
てられる。これは4：2：0ビデオフォーマットを仮定し
ている。該オフセットは要求に従って他のフォーマット
用に修正され得る。
【００５４】図６は本発明に従うエンコーダ処理フロー
を示す。図示された処理は水平オフセット値xがデコー
ダへ送信される場合に対応する。水平オフセットが送信
されないような，例えば，MPEG-2 MVP規格を有するよう
な場合に対して，図８及び９との関連で説明されるよう
に，水平オフセット値xはまだエンコーダ内で検索する
ディスパリティベクトルの複雑性を減少させるために使
用される。
【００５５】オフセットxはさまざまなプロトコルに従
って決定されてもよい。例えば，xはビデオシーケンス
内の各連続映像に対して計算されかつ保存される。しか
し，これは計算上厄介でありかつ不必要である。変形的
に，オフセットxは，場面変化が検出されるときはいつ
でも，若しくは新しい画像の集合の始まりにおいて決定
される。画像の集合(GOP)は，他のGOP内の画像を参照せ
ずに復合化されるひとつ若しくはそれ以上の連続的な画
像を示す。オフセットxを再計算するための最適規準の
選択は，実行の複雑性及びビデオ特性に基づいていなけ
ればならない。
【００５６】もし，オフセットxがカレント映像のため
に新規に再計算されないならば，先に保存されたオフセ
ットが使用される。
【００５７】左像映像はブロック610に与えられ，そこ
では場面変化若しくは新しいGOPが検出されたか否かが
決定される。もしそうならば，ブロック620において，
オフセット検索範囲X（ここで，0≦x≦X）が，例えば，
マイクロコンピュータによって使用されるメモリ内へロ
ードされる。もしそうでなければ，ブロック600におい
て，最後の場面から決定された水平オフセットxが使用
される。
【００５８】ブロック630において，オフセットxは最小
平均エラー若しくは上記した最小平均自乗エラーのいず
れかを使って決定される。右像イメージデータがこの手
続きに対して使用される。ブロック640において，リフ
ァレンスフレームは図５との関連で議論された手続きを
使用しながら構成される。右像映像データはまたこの手
続きに対して使用される。
【００５９】ブロック650において，新しく構成された
リファレンスフレームは最適一致するマクロブロックを
決定するために検索される。すなわち，検索範囲は，各
ブロックが，現に符号化されている右像マクロブロック
と最適一致するひとつのリファレンスフレームマクロブ
ロックを決定するために現に符号化されている右像マク
ロブロックと比較されるところの，参照フレーム内で画
成される。参照フレームがオリジナル左像映像に対して
オフセットされているために，それが右像映像により近
似しており，また縮小された検索範囲は最適一致マクロ
ブロックを得るために使用されてもよい。例えば，以下
の図９との関連で議論されるように，検索範囲は64×48
画素から8×8画素へ縮小される。
【００６０】ブロック660において，右像イメージはMVP
規格内で開示されるような周知の技術を使用して符号化
される。ブロック670において，符号化されたデータ及
びオフセットxは，図７との関連で議論されるように，
衛星放送CATVネットワーク内のデコーダへ送信される。
いくつかのビデオ通信規格はオフセット値xの送信を与
えず，その場合オフセットは検索範囲を縮小するために
エンコーダでのみ使用される。
【００６１】図７は本発明に従うデコーダ処理フローを
示す。この場合において，オフセットxは符号化ビット
ストリーム内でビデオデータとともに送信されることが
仮定されている。ブロック700において，水平オフセッ
トは符号化ビットストリームから抽出される。ブロック
710において，左像映像は従来の方法で復合化される。
ブロック720において，参照フレームがオフセットxを使
って構成される。ブロック730において，右像映像は復
合化された右像映像データ及び参照フレームを使ってデ
ィスパリティ予測される。オフセットx及び移動ベクト
ルは参照フレームの最適一致マクロブロックを識別する
よう使用され，また完全な右像映像は最適一致のマクロ
ブロック及び差分的に符号化された右像映像データの画
素データの和を使用して回復される。
【００６２】例えば，MPEG-2 MVP規格に関して，水平オ
フセットが送信されない場合に対して，該水平オフセッ
トはさらに例えば，移動ベクトル検索範囲を縮小させる
ことによってエンコーダ内でのディスパリティベクトル
検索の複雑性を減少させるために使用される。
【００６３】図８は本発明に従うディスパリティ予測及
び移動ベクトル検索を示す。エンハンスメントレイヤー
はP-画像810，B-画像820，及びB-画像830を含み，一方
下位レイヤーはI-画像840，P-画像850，及びP-画像860
を含む。矢印が参照映像から予測映像へ指示すように，
予測は該矢印の方向によって示されている。例えば，P-
画像850内の各マクロブロックは，I-画像840の対応する
最適一致マクロブロックを使って予測される。
【００６４】各マクロブロックに対して，移動ベクトル
(VX,VY)は，最適一致マクロブロックを予測されたマク
ロブロックと相対的に置換することを示す。下位レイヤ
ー予測に対して，評価は各マクロブロックの非オフセッ
ト位置において中心に置かれる。例えば，各予測マクロ
ブロックの左上側の画素は，非オフセット座標(0,0)と
して取られても良い。
【００６５】B-画像820は，下位レイヤー内のP-画像850
を使ってディスパリティ予測されかつエンハンスメント
レイヤー内のP-画像810を使って時間的に予測される。
ディスパリティ予測に対して，説明したように水平オフ
セットxが決定される。次に，B-画像820内のマクロブロ
ックはP-画像850内で最適一致マクロブロックを探すこ
とによってディスパリティ予測され，その場合ディスパ
リティ評価/予測は(0,0)ではなく(x,0)に中心が置かれ
る。すなわち，評価はx画素によって右へシフトされ
る。
【００６６】ディスパリティベクトル(VX,VY)は，ベー
スレイヤーとエンハンスメントレイヤーとの画素の対応
するマクロブロック間の位置的な差を示し，またデコー
ダでのディスパリティ予測されたエンハンスメントレイ
ヤー画像の再構成のために使用される。特に，エンハン
スメントレイヤー内の検索窓マクロブロックに対する画
素座標は(xs,ys)であり，ベースレイヤー内の対応する
参照窓のマクロブロックに対する座標は(xζ,yζ)であ
り，ディスパリティベクトルはv=(vx,vy)=(xs-x ζ，ys-
yζ)である。したがって，ディスパリティベクトルは検
索窓と参照窓との間の位置的な若しくは並進移動の差の
実測である。ディスパリティベクトルは，ディスパリテ
ィ予測されたエンハンスメントレイヤー画像をデコーダ
で再構成する際に使用するために，右像チャネルデータ
ストリーム内で送信される。
【００６７】さらに，P-画像810を使用するB-画像820の
時間的予測は各i番目のマクロブロックに対して(vx,vy)
に中心が置かれる。
【００６８】ディスパリティ予測及び移動ベクトル検索
処理は図９を参照することによってさらに理解される。
【００６９】図９は，本発明に従う移動ベクトル検索を
示す。図８との関連で説明したように，ベクトル(vx,
vy)は，P-画像内のi番目のマクロブロック900に対してI
-画像840内の最適一致マクロブロック920を画成する。
該ベクトルは２つの画像の間の映像の時間的移動量を示
す。検索範囲910は最適一致マクロブロック920を探すた
めに使用される。該検索範囲はトータルサイズで82×64
画素を有し，16×16マクロブロック900に対する変形64
×48に対応する。
【００７０】エンハンスメントレイヤー内のB-画像820
内のマクロブロックのディスパリティ予測に対して，i
番目のマクロブロック930は(x,0)において中心に置か
れ，例えば，16×16マクロブロックに対する8×8変形に
対応する24×24画素のトータルサイズを有する，より狭
い検索範囲940内のマクロブロックと比較される。差分
的に符号化するマクロブロック930に対する最適一致の
マクロブロックはマクロブロック930付近のより狭い隣
接画素の内に存在しそうであるので，オフセット値xに
よってより狭い検索範囲を使用することができる。従っ
て，より速い処理時間及びメモリ要求の減少が実現され
る。
【００７１】付加的に，オフセット値がデコーダに送信
されるとき，各ディスパリティベクトルがより小さいた
め，それによって送信されるべきデータの量が減少する
ことによって，ディスパリティベクトルのより効果的な
可変長符号化（例えば，ハフマン符号化）が生じる。P-
画像850内にマクロブロック900とともにあるB-画像内の
マクロブロックは，ベクトル(vx,vy)によって画成され
るマクロブロック920上で中心に置かれるP-画像810内の
より狭い検索範囲を使用する。例えば，右像映像シーケ
ンスに対する移動ベクトル検索範囲は8×8変形と同じよ
うに縮小される。B-画像820とP-画像810との間の相関関
係はP-画像850及びI-画像840の間の相関関係に類似しや
すいので，これは真実である。
【００７２】図１０は本発明に従うエンハンスメントレ
イヤーデコーダ構成のブロック図である。デコーダ130
は圧縮されたエンハンスメントレイヤーデータを受信す
るための入力端子1005及びデータを分析(parsing)する
ための移送レベルシンタックスパーザー1010を含む。分
析されたデータはメモリマネージャー1030に与えられ，
それは中央演算処理装置から成る。メモリマネージャ10
30はメモリ1020と通信され，それは例えば，ダイナミッ
クランダムアクセスメモリ(DRAM)から成る。水平オフセ
ットxはエンハンスメントレイヤーデータ若しくは立体
ビデオ信号内に与えられた他のものと通信する。参照フ
レームは復合化された下位レイヤーデータ及びオフセッ
トxを使用して構成される。
【００７３】メモリマネージャー1030はまたデコンプレ
ッション/予測プロセッサ1040と通信し，ディスパリテ
ィ予測されたエンハンスメントレイヤー画像を復合化す
る際にプロセッサ1040によって連続使用されるためにメ
モリ1020内に一時的に保存された復合化された下位レベ
ルデータを端子1050を通じて受信する。
【００７４】デコンプレッション/予測プロセッサ1040
は，エラー検出及び訂正，移動ベクトル復合化，逆量子
化，逆離散コサイン変換，ハフマン復合化及び予測計算
のようなさまざまな処理機能を与える。デコンプレッシ
ョン/予測機能1040によって処理された後に，復合化さ
れたエンハンスメントレイヤーデータはメモリマネージ
ャーによって出力される。変形的に，復合化されたデー
タは図示されない手段を通じてデコンプレッション/予
測機能1040から直接出力されてもよい。
【００７５】類似する構成が下位レイヤーに対して使用
されてもよい。さらに，エンハンスメント及び下位レイ
ヤーは共通のハードウエアを共有する。例えば，メモリ
1020及びプロセッサ1040は共有され得る。
【００７６】試験結果は，本発明の像オフセット評価技
術は立体ビデオ信号に対する符号化効果を有効に改良す
ることができることを確証する。オフセット評価技術は
MPEG-2MVP番組内で実行され，ISO/IEC JTC1/SC29/WG11/
MPEG-4のDクラスビデオ試験シーケンス及び他のシーケ
ンスを通じて実行される。X=20画素のオフセット検索範
囲を有する試験結果の例は表１に示されている。ビット
/フレーム内でMVPに渡って符号化効率の改良は2.0から
5.2％の範囲である。PSNRは信号対ノイズ比のピークを
示す。すべての画像タイプはP-画像である。
【表１】 さらに符号化効率の改良は，閾値Tから，圧縮後の残留
マクロブロックのゼロまで，若しくはある高周波数DCT
係数のゼロまでを使用して達成される。
【００７７】見ての通り，本発明は同一時間の参照位置
での右と左のチャネル像の間の場面の最適オフセットx
を評価するためのシステムを与える。該システムは，符
号化効率を改良するようディスパリティ（すわなち，ク
ロスチャネル若しくはクロスレイヤー）予測用の移動ベ
クトル検索範囲を縮小させる。該オフセットは，場面変
化が生じたとき若しくは新しいグループの画像が下位レ
イヤー内に存在するとき，再計算される。
【００７８】エンコーダにおいて，エンハンスメントレ
イヤー映像と下位レイヤー映像との間の最適オフセット
xは，エンハンスメントと下位とのレイヤー映像間の最
小平均エラー，またはエンハンスメントと下位とのレイ
ヤー映像間の最小平均自乗エラーのいずれかに従って決
定される。オフセットxはオフセット検索範囲Xにより制
限されている。下位レイヤー映像の最も右の画素列は消
去され，下位レイヤー映像のxの最も左の列は，エンハ
ンスメントレイヤー映像をディスパリティ予測する際に
使用するために参照映像を得るべく，x画素だけ右へ下
位レイヤーの映像を効果的にシフトするよう埋め込まれ
る。VOPsのような任意形状の映像に対して，左像イメー
ジ内のVOPは，VOP上で垂直に伸長するxの最も左の画素
を消去することによって，またVOPの最も右のエッジに
おいてx画素の埋め込みを開始することによって右方向
へシフトされる。
【００７９】参照フレームは最適一致のマクロブロック
を得るために検索され，また右像データは差分的に符号
化される。デコーダにおいて，ディスパリティ予測用の
参照フレームを再構成するために有用でありかつ使用さ
れれば，オフセット値xは回復される。
【００８０】発明は様々な特定の実施例に関して説明さ
れてきたが，特許請求の範囲に記載された発明の思想及
び態様から離れることなく多くの付加及び修正が可能で
あることは当業者の知るところである。
【図面の簡単な説明】
【図１】図１は立体ビデオ用のコーダー/デコーダー構
造のブロック図である。
【図２】図２は，立体ビデオカメラモデルを略示したも
のである。
【図３】図３は，エンハンスメントレイヤー内のP画像
のためのディスパリティ予測モードを示す。
【図４】図４は，B画像用のエンハンスメントレイヤー
予測モードを示す。
【図５】図５は，本発明に従う左像映像の処理を示す。
【図６】図６は，本発明に従うエンコーダ処理フローを
示す。
【図７】図７は，本発明に従うデコーダーの処理フロー
を示す。
【図８】図８は，本発明に従うディスパリティ予測及び
移動ベクトル検索を示す。
【図９】図９は，本発明に従う移動ベクトル検索を示
す。
【図１０】図１０は，本発明に従うエンハンスメントレ
イヤーデコーダ構造のブロック図である。
【符号の説明】
105 一時的リマルチプレクサ 110 エンハンスメントエンコーダ 115 下位エンコーダ 120 マルチプレクサ装置 122 デコーダ 125 デマルチプレクサ装置 130 エンハンスメントデコーダ 135 下位デコーダ 140 一時的リマルチプレクサ
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成１１年４月６日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正内容】
【００６４】各マクロブロックに対して，移動ベクトル
(vX,vY)は，最適一致マクロブロックを予測されたマク
ロブロックと相対的に置換することを示す。下位レイヤ
ー予測に対して，評価は各マクロブロックの非オフセッ
ト位置において中心に置かれる。例えば，各予測マクロ
ブロックの左上側の画素は，非オフセット座標(0,0)と
して取られても良い。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正内容】
【００６６】ディスパリティベクトル(vX,vY)は，ベー
スレイヤーとエンハンスメントレイヤーとの画素の対応
するマクロブロック間の位置的な差を示し，またデコー
ダでのディスパリティ予測されたエンハンスメントレイ
ヤー画像の再構成のために使用される。特に，エンハン
スメントレイヤー内の検索窓マクロブロックに対する画
素座標は(xs,ys)であり，ベースレイヤー内の対応する
参照窓のマクロブロックに対する座標は(xζ,yζ)であ
り，ディスパリティベクトルはv=(vx,vy)=(xs-x ζ，ys-
yζ)である。したがって，ディスパリティベクトルは検
索窓と参照窓との間の位置的な若しくは並進移動の差の
実測である。ディスパリティベクトルは，ディスパリテ
ィ予測されたエンハンスメントレイヤー画像をデコーダ
で再構成する際に使用するために，右像チャネルデータ
ストリーム内で送信される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正内容】
【００７６】試験結果は，本発明の像オフセット評価技
術は立体ビデオ信号に対する符号化効果を有効に改良す
ることができることを確証する。オフセット評価技術は
MPEG-2 MVP番組内で実行され，ISO/IEC JTC1/SC29/WG11
/MPEG-4のDクラスビデオ試験シーケンス及び他のシーケ
ンスを通じて実行される。X=20画素のオフセット検索範
囲を有する試験結果の例は表１に示されている。ビット
/フレーム内でMVPに渡って符号化効率の改良は2.0から
5.2％の範囲である。PSNRは信号対ノイズ比のピークを
示す。すべての画像タイプはP-画像である。
フロントページの続き (71)出願人 598045380 101 Ｔｏｕｒｎａｍｅｎｔ Ｄｒｉｖｅ Ｈｏｒｓｈａｍ，Ｐｅｎｎｓｙｌｖａｎ ｉａ，Ｔｈｅ Ｕｎｉｔｅｄ Ｓｔａｔｅ ｓ ｏｆ Ａｍｅｒｉｃａ

Claims (40)

    【特許請求の範囲】
  1. 【請求項１】下位レイヤー内の下位レイヤー映像を使用
    しながら立体ビデオ信号のエンハンスメントレイヤー内
    のエンハンスメントレイヤー映像を予測するための方法
    であって，(a)前記エンハンスメントレイヤー映像と前
    記下位レイヤー映像との画素値の間の最小平均エラー，
    及び(b)前記エンハンスメントと前記下位レイヤー映像
    の画素値間の最小平均自乗エラー，のひとつに従って前
    記エンハンスメントレイヤー映像と前記下位レイヤー映
    像との間の最適オフセット値xを決定する工程と，エン
    ハンスメントレイヤー映像をディスパリティ予測する際
    に使用するための参照映像を得るべく前記最適オフセッ
    トに従って前記下位レイヤー映像をシフトする工程と，
    から成る方法。
  2. 【請求項２】請求項１に記載の方法であって，エンハン
    スメントレイヤー映像は移動補償を使って前記参照映像
    からディスパリティ予測され，最適一致映像は前記シフ
    ト無しの前記下位レイヤー映像の検索範囲に比べ，縮小
    された検索範囲を使って前記参照映像内で得られる，と
    ころの方法。
  3. 【請求項３】請求項１または２に記載の方法であって，
    さらにカメラ焦点パラメータ及び両眼間分離の少なくと
    も一つに従って評価されたオフセットを決定する工程
    と，前記最適なオフセットを見つけるために，前記評価
    されたオフセットによって決定された範囲内で前記下位
    レイヤー映像内を検索する工程と，から成る方法。
  4. 【請求項４】請求項１から３のいずれかに記載の方法で
    あって，さらに0≦x≦Xとなるように前記最適オフセッ
    トを見つけるべく水平オフセット範囲X内を検索する工
    程と，から成る方法。
  5. 【請求項５】請求項１から４のいずれかに記載の方法で
    あって，前記エンハンスメントレイヤー映像及び前記下
    位レイヤー映像がビデオオブジェクトプレーンから成
    る，ところの方法。
  6. 【請求項６】請求項１から５のいずれかに記載の方法で
    あって，前記エンハンスメントレイヤー映像及び前記下
    位レイヤー映像が任意の形状を有する，ところの方法。
  7. 【請求項７】請求項６に記載の方法であって，前記シフ
    ト工程がx画素の幅を有するVOPの最も左のエッジ領域を
    消去する工程と，x画素の幅だけ最も右のエッジ部分を
    伸長させるべくVOPの最も右のエッジ部分に埋め込む工
    程と，から成る方法。
  8. 【請求項８】請求項１から６のいずれかに記載の方法で
    あって，前記シフト工程が下位レイヤー映像の最も右の
    画素列xを消去する工程と，下位レイヤー映像の最も左
    の部分にx画素列を埋め込む工程と，から成るところの
    方法。
  9. 【請求項９】請求項１から８のいずれかに記載の方法で
    あって，さらに下位レイヤー映像に対して場面変化が検
    出されるとき，新しい最適オフセットxを決定する工程
    と，もし場面変化が検出されなければ，前記最適オフセ
    ットxとして，前記下位レイヤー内の先行映像からのオ
    フセットを使用する工程と，から成る方法。
  10. 【請求項１０】請求項１から９のいずれかに記載の方法
    であって，新しい最適オフセットxは下位レイヤー内の
    新しい画像グループに対して決定される，ところの方
    法。
  11. 【請求項１１】請求項１から１０のいずれかに記載の方
    法であって，さらに参照映像を再構成する際にデコーダ
    によって使用するために，前記最適オフセットxを前記
    立体ビデオ信号内で送信する工程，から成るところの方
    法。
  12. 【請求項１２】請求項１から１１のいずれかに記載の方
    法であって，前記最小平均エラーに対して，前記最適オ
    フセットxは，以下の値が最小化されるように決定さ
    れ， 【数１】 ここでyL，yEはそれぞれ下位及びエンハンスメントレイ
    ヤー映像のルミナンス画素値を表し，i及びjはそれぞれ
    下位レイヤー及びエンハンスメントレイヤー映像内の水
    平及び垂直カルテシアン座標であり，hは下位レイヤー
    映像の高さであり，wは下位レイヤー映像の幅であり，
    前記下位レイヤー映像は左像映像であり，前記エンハン
    スメントレイヤー映像は右像映像である，ところの方
    法。
  13. 【請求項１３】請求項１２に記載の方法であって，前記
    最小平均エラーに対して，クロミナンス画素値用の最適
    オフセットは「x/2」である，ところの方法。
  14. 【請求項１４】請求項１から１１のいずれかに記載の方
    法であって，前記最小平均自乗エラーに対して，前記最
    適オフセットxは，以下の値が最小になるように決定さ
    れ， 【数２】 ここで，yL及びyEはそれぞれ下位レイヤー及びエンハン
    スメントレイヤー映像のルミナンスデータ値を表し，i
    及びjは下位及びエンハンスメントレイヤー映像内のそ
    れぞれ水平及び垂直カルテシアン座標であり，hは下位
    レイヤー映像の高さを表し，wは下位レイヤー映像の幅
    であり，前記下位レイヤー映像は左像映像でありかつ前
    記エンハンスメントレイヤーは右像映像である，ところ
    の方法。
  15. 【請求項１５】請求項１４に記載の方法であって，前記
    最小平均自乗エラーに対して，クロミナンス画素値用の
    最適オフセットは「x/2」である，ところの方法。
  16. 【請求項１６】下位レイヤー内の下位レイヤー映像を使
    用しながら立体ビデオ信号のエンハンスメントレイヤー
    内のエンハンスメントレイヤー映像を予測するための装
    置であって，(a)前記エンハンスメントレイヤー映像と
    前記下位レイヤー映像との画素値の間の最小平均エラ
    ー，及び(b)前記エンハンスメントレイヤーと前記下位
    レイヤー映像との画素値間の最小平均自乗エラー，のひ
    とつに従って前記エンハンスメントレイヤー映像と前記
    下位レイヤー映像との間の最適オフセット値xを決定す
    る手段と，エンハンスメントレイヤー映像をディスパリ
    ティ予測する際に使用するための参照映像を得るべく前
    記最適オフセットに従って前記下位レイヤー映像をシフ
    トする手段と，から成る装置。
  17. 【請求項１７】請求項１６に記載の装置であって，エン
    ハンスメントレイヤー映像は移動補償を使って前記参照
    映像からディスパリティ予測され，最適一致映像は前記
    シフト無しの前記下位レイヤー映像の検索範囲に比べ，
    縮小された検索範囲を使って前記参照映像内で得られ
    る，ところの装置。
  18. 【請求項１８】請求項１６または１７に記載の装置であ
    って，さらにカメラ焦点パラメータ及び両眼間分離の少
    なくとも一つに従って評価されたオフセットを決定する
    手段と，前記最適なオフセットを見つけるために，前記
    評価されたオフセットによって決定された範囲内で前記
    下位レイヤー映像内を検索する手段と，から成る装置。
  19. 【請求項１９】請求項１６から１８のいずれかに記載の
    方法であって，さらに0≦x≦Xとなるように前記最適オ
    フセットを見つけるべく水平オフセット範囲X内を検索
    する手段と，から成る装置。
  20. 【請求項２０】請求項１６から１９のいずれかに記載の
    装置であって，前記エンハンスメントレイヤー映像及び
    前記下位レイヤー映像がビデオオブジェクトプレーンか
    ら成る，ところの装置。
  21. 【請求項２１】請求項１６から２０のいずれかに記載の
    装置であって，前記エンハンスメントレイヤー映像及び
    前記下位レイヤー映像が任意の形状を有する，ところの
    装置。
  22. 【請求項２２】請求項２１に記載の装置であって，前記
    シフトするための手段は，x画素の幅を有するVOPの最も
    左のエッジ領域を消去し，x画素の幅だけ最も右のエッ
    ジ部分を伸長させるべくVOPの最も右のエッジ部分に埋
    め込む，ところの装置。
  23. 【請求項２３】請求項１６から２１のいずれかに記載の
    装置であって，前記シフトするための手段は，下位レイ
    ヤー映像の最も右の画素列xを消去し，下位レイヤー映
    像の最も左の部分にx画素列を埋め込む，ところの装
    置。
  24. 【請求項２４】請求項１６から２３のいずれかに記載の
    装置であって，さらに(a)下位レイヤー映像に対して場
    面変化が検出されるとき，新しい最適オフセットxを決
    定し，(b)もし場面変化が検出されなければ，前記最適
    オフセットxとして，前記下位レイヤー内の先行映像か
    らのオフセットを使用する，手段から成る装置。
  25. 【請求項２５】請求項１６から２４のいずれかに記載の
    装置であって，新しい最適オフセットxは下位レイヤー
    内の新しい画像グループに対して決定される，ところの
    装置。
  26. 【請求項２６】請求項１６から２５のいずれかに記載の
    装置であって，さらに参照映像を再構成する際にデコー
    ダによって使用するために，前記最適オフセットxを前
    記立体ビデオ信号内で送信する手段と，から成るところ
    の装置。
  27. 【請求項２７】請求項１６から２６のいずれかに記載の
    装置であって，前記最小平均エラーに対して，前記最適
    オフセットxは，以下の値が最小化されるように決定さ
    れ， 【数３】 ここでyL，yEはそれぞれ下位及びエンハンスメントレイ
    ヤー映像のルミナンス画素値を表し，i及びjはそれぞれ
    下位レイヤー及びエンハンスメントレイヤー映像内の水
    平及び垂直カルテシアン座標であり，hは下位レイヤー
    映像の高さであり，wは下位レイヤー映像の幅であり，
    前記下位レイヤー映像は左像映像であり，前記エンハン
    スメントレイヤー映像は右像映像である，ところの装
    置。
  28. 【請求項２８】請求項２７に記載の装置であって，前記
    最小平均エラーに対して，クロミナンス画素値用の最適
    オフセットは「x/2」である，ところの装置。
  29. 【請求項２９】請求項１６から２６のいずれかに記載の
    装置であって，前記最小平均自乗エラーに対して，前記
    最適オフセットxは，以下の値が最小になるように決定
    され， 【数４】 ここで，yL及びyEはそれぞれ下位レイヤー及びエンハン
    スメントレイヤー映像のルミナンスデータ値を表し，i
    及びjは下位及びエンハンスメントレイヤー映像内のそ
    れぞれ水平及び垂直カルテシアン座標であり，hは下位
    レイヤー映像の高さを表し，wは下位レイヤー映像の幅
    であり，前記下位レイヤー映像は左像映像でありかつ前
    記エンハンスメントレイヤーは右像映像である，ところ
    の装置。
  30. 【請求項３０】請求項２９に記載の装置であって，前記
    最小平均自乗エラーに対して，クロミナンス画素値用の
    最適オフセットは「x/2」である，ところの装置。
  31. 【請求項３１】下位レイヤー内の下位レイヤー映像を使
    用しながら立体ビデオ信号のエンハンスメントレイヤー
    内のエンハンスメントレイヤー映像を予測するためのデ
    コーダであって，前記立体ビデオ信号からの前記エンハ
    ンスメントレイヤー映像と前記下位レイヤー映像との間
    の最適オフセットxを回復するための手段と，(a)前記エ
    ンハンスメントレイヤー映像と前記下位レイヤー映像と
    の画素値の間の最小平均エラー，及び(b)前記エンハン
    スメントレイヤー映像と前記下位レイヤー映像の画素値
    間の最小平均自乗エラー，のひとつに従って，エンコー
    ダにおいて前記最適オフセットxが決定され，エンハン
    スメントレイヤー映像をディスパリティ予測する際に使
    用するための参照映像を得るべく前記最適オフセットに
    従って前記下位レイヤー映像をシフトするための手段
    と，から成るデコーダ。
  32. 【請求項３２】請求項３１に記載のデコーダであって，
    エンハンスメントレイヤー映像は移動補償を使って前記
    参照イメージからディスパリティ予測され，最適一致映
    像は前記シフト無しの前記下位レイヤー映像の検索範囲
    に比べ，縮小された検索範囲を使って前記参照映像内で
    得られる，ところのデコーダ。
  33. 【請求項３３】請求項３１及び３２のいずれかに記載の
    デコーダであって，前記エンハンスメントレイヤー映像
    及び前記下位レイヤー映像がビデオオブジェクトプレー
    ンから成る，ところのデコーダ。
  34. 【請求項３４】請求項３１から３３のいずれかに記載の
    デコーダであって，前記エンハンスメントレイヤー映像
    及び前記下位レイヤー映像が任意の形状を有する，とこ
    ろのデコーダ。
  35. 【請求項３５】請求項３４に記載のデコーダであって，
    前記シフトするための手段が，x画素の幅を有するVOPの
    最も左のエッジ領域を消去し，x画素の幅だけ最も右の
    エッジ部分を伸長させるべくVOPの最も右のエッジ部分
    を埋め込む，ところのデコーダ。
  36. 【請求項３６】請求項３１から３４のいずれかに記載の
    デコーダであって，前記シフトするための手段が下位レ
    イヤー映像の最も右の画素列xを消去し，下位レイヤー
    映像の最も左の部分にx画素列を埋め込む，ところのデ
    コーダ。
  37. 【請求項３７】請求項３１から３６のいずれかに記載の
    デコーダであって，前記最小平均エラーに対して，前記
    最適オフセットxは，以下の値が最小化されるように決
    定され， 【数５】 ここでyL，yEはそれぞれ下位及びエンハンスメントレイ
    ヤー映像のルミナンス画素値を表し，i及びjはそれぞれ
    下位レイヤー及びエンハンスメントレイヤー映像内の水
    平及び垂直カルテシアン座標であり，hは下位レイヤー
    映像の高さであり，wは下位レイヤー映像の幅であり，
    前記下位レイヤー映像は左像映像であり，前記エンハン
    スメントレイヤー映像は右像映像である，ところのデコ
    ーダ。
  38. 【請求項３８】請求項３７に記載のデコーダであって，
    前記最小平均エラーに対して，クロミナンス画素値用の
    最適オフセットは「x/2」である，ところのデコーダ。
  39. 【請求項３９】請求項３１から３６のいずれかに記載の
    デコーダであって，前記最小平均自乗エラーに対して，
    前記最適オフセットxは，以下の値が最小になるように
    決定され， 【数６】 ここで，yL及びyEはそれぞれ下位レイヤー及びエンハン
    スメントレイヤー映像のルミナンスデータ値を表し，i
    及びjは下位及びエンハンスメントレイヤー映像内のそ
    れぞれ水平及び垂直カルテシアン座標であり，hは下位
    レイヤー映像の高さを表し，wは下位レイヤー映像の幅
    であり，前記下位レイヤー映像は左像映像でありかつ前
    記エンハンスメントレイヤーは右像映像である，ところ
    のデコーダ。
  40. 【請求項４０】請求項３９に記載のデコーダであって，
    前記最小平均自乗エラーに対して，クロミナンス画素値
    用の最適オフセットは「x/2」である，ところのデコー
    ダ。
JP10316119A 1997-11-07 1998-11-06 立体ビデオの符号化のための像オフセット評価 Pending JPH11262032A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/966,277 US6043838A (en) 1997-11-07 1997-11-07 View offset estimation for stereoscopic video coding
US966277 1997-11-07

Publications (1)

Publication Number Publication Date
JPH11262032A true JPH11262032A (ja) 1999-09-24

Family

ID=25511147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10316119A Pending JPH11262032A (ja) 1997-11-07 1998-11-06 立体ビデオの符号化のための像オフセット評価

Country Status (9)

Country Link
US (1) US6043838A (ja)
EP (1) EP0915433B1 (ja)
JP (1) JPH11262032A (ja)
KR (1) KR19990045067A (ja)
CN (1) CN1226786A (ja)
CA (1) CA2252324C (ja)
DE (1) DE69829931T2 (ja)
NO (1) NO985170L (ja)
TW (1) TW426835B (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003530038A (ja) * 2000-03-31 2003-10-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ２つの互いに関連したデータ列を符号化する方法
KR100565791B1 (ko) * 2003-08-04 2006-03-29 삼성전자주식회사 모션백터 추정장치 및 모션백터 추정방법
JP2008516547A (ja) * 2004-10-12 2008-05-15 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 映像合成基盤の多視点動映像の符号化及び復号化を行うための方法及び装置
JP2011528882A (ja) * 2008-07-21 2011-11-24 トムソン ライセンシング ３ｄビデオ信号の符号化装置
WO2012098890A1 (ja) * 2011-01-21 2012-07-26 パナソニック株式会社 動画像符号化装置および動画像符号化方法
CN109068187A (zh) * 2013-10-11 2018-12-21 华为技术有限公司 实时流量传送系统和方法

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6351563B1 (en) * 1997-07-09 2002-02-26 Hyundai Electronics Ind. Co., Ltd. Apparatus and method for coding/decoding scalable shape binary image using mode of lower and current layers
JP4056154B2 (ja) * 1997-12-30 2008-03-05 三星電子株式会社 ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
US6269175B1 (en) 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
EP1418766A3 (en) * 1998-08-28 2010-03-24 Imax Corporation Method and apparatus for processing images
KR100334722B1 (ko) * 1999-06-05 2002-05-04 강호석 Ｍｐｅｇ 데이터를 이용한 입체영상생성방법 및 그 장치
US8429699B2 (en) * 1999-12-14 2013-04-23 Arturo A. Rodriguez Systems and methods for resource-adaptive processing of scaled video and graphics
US6493387B1 (en) * 2000-04-10 2002-12-10 Samsung Electronics Co., Ltd. Moving picture coding/decoding method and apparatus having spatially scalable architecture and signal-to-noise ratio scalable architecture together
JP2002010251A (ja) * 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
ATE313218T1 (de) * 2000-08-25 2005-12-15 Fuji Photo Film Co Ltd Vorrichtung zur parallaxbildaufnahme und parallaxbildverarbeitung
WO2002043399A2 (en) * 2000-11-23 2002-05-30 Koninklijke Philips Electronics N.V. Videocoding method and corresponding encoder
JP2004532540A (ja) * 2001-03-05 2004-10-21 インタービデオインコーポレイテッド 誤り耐性のある符号化のためのシステム及び方法
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
US7274857B2 (en) * 2001-12-31 2007-09-25 Scientific-Atlanta, Inc. Trick modes for compressed video streams
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
CA2380105A1 (en) * 2002-04-09 2003-10-09 Nicholas Routhier Process and system for encoding and playback of stereoscopic video sequences
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video
US7454123B2 (en) * 2002-06-06 2008-11-18 Intel Corporation Personal video recorder having reduced overscan coding
WO2004014086A1 (en) * 2002-07-31 2004-02-12 Koninklijke Philips Electronics N.V. Method and apparatus for encoding a digital video signal
US7778328B2 (en) * 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
US7966642B2 (en) * 2003-09-15 2011-06-21 Nair Ajith N Resource-adaptive management of video storage
US20050100098A1 (en) * 2003-10-23 2005-05-12 Gong-Sheng Lin Highly integrated mpeg-4 video decoding unit
EP1727091A1 (en) * 2004-02-27 2006-11-29 Tdvision Corporation S.A. DE C.V. Method and system for digital coding 3d stereoscopic video images
JP2007525907A (ja) * 2004-02-27 2007-09-06 ティディヴィジョン コーポレイション エス．エー． デ シー．ヴィ． 立体３ｄビデオイメージディジタルデコーディングのシステムおよび方法
US8600217B2 (en) * 2004-07-14 2013-12-03 Arturo A. Rodriguez System and method for improving quality of displayed picture during trick modes
KR100688383B1 (ko) * 2004-08-13 2007-03-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
US7623682B2 (en) * 2004-08-13 2009-11-24 Samsung Electronics Co., Ltd. Method and device for motion estimation and compensation for panorama image
TWI268715B (en) * 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
KR100636785B1 (ko) * 2005-05-31 2006-10-20 삼성전자주식회사 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
US8217991B2 (en) * 2005-07-05 2012-07-10 Sanyo Electric Co., Ltd. Method, device and program for processing stereoscopic images and recording medium storing the program
WO2007007923A1 (en) * 2005-07-11 2007-01-18 3R Inc. Apparatus for encoding and decoding multi-view image
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US8902977B2 (en) * 2006-01-09 2014-12-02 Thomson Licensing Method and apparatus for providing reduced resolution update mode for multi-view video coding
US8456515B2 (en) * 2006-07-25 2013-06-04 Qualcomm Incorporated Stereo image and video directional mapping of offset
CN101166271B (zh) * 2006-10-16 2010-12-08 华为技术有限公司 一种多视点视频编码中的视点差补偿方法
US20100266042A1 (en) * 2007-03-02 2010-10-21 Han Suh Koo Method and an apparatus for decoding/encoding a video signal
US8155461B2 (en) * 2007-03-27 2012-04-10 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding multi-view image
JP2010525724A (ja) * 2007-04-25 2010-07-22 エルジー エレクトロニクス インコーポレイティド ビデオ信号をデコーディング／エンコーディングする方法および装置
WO2008140190A1 (en) * 2007-05-14 2008-11-20 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
KR101381601B1 (ko) * 2007-05-14 2014-04-15 삼성전자주식회사 다시점 영상 부호화 및 복호화 장치
US20090033791A1 (en) * 2007-07-31 2009-02-05 Scientific-Atlanta, Inc. Video processing systems and methods
US8300696B2 (en) * 2008-07-25 2012-10-30 Cisco Technology, Inc. Transcoding for systems operating under plural video coding specifications
US8300089B2 (en) * 2008-08-14 2012-10-30 Reald Inc. Stereoscopic depth mapping
US9251621B2 (en) * 2008-08-14 2016-02-02 Reald Inc. Point reposition depth mapping
JP5202190B2 (ja) * 2008-08-28 2013-06-05 キヤノン株式会社 画像処理方法及び画像処理装置
US20100079653A1 (en) * 2008-09-26 2010-04-01 Apple Inc. Portable computing system with a secondary image output
US7881603B2 (en) 2008-09-26 2011-02-01 Apple Inc. Dichroic aperture for electronic imaging device
US8610726B2 (en) * 2008-09-26 2013-12-17 Apple Inc. Computer systems and methods with projected display
BRPI0904620A2 (pt) * 2008-09-30 2020-08-18 Panasonic Corporation meio de gravação , dispositivo de reprodução, sistema lsi, método de reprodução,óculos, e dispositivo de exibição para imagens 3d
EP2675175A3 (en) * 2008-10-03 2014-07-23 Real D Inc. Optimal depth mapping
KR20100089705A (ko) * 2009-02-04 2010-08-12 삼성전자주식회사 3차원 영상 부호화/복호화 장치 및 방법
US8428122B2 (en) * 2009-09-16 2013-04-23 Broadcom Corporation Method and system for frame buffer compression and memory resource reduction for 3D video
JP4875127B2 (ja) 2009-09-28 2012-02-15 パナソニック株式会社 三次元画像処理装置
US8619128B2 (en) * 2009-09-30 2013-12-31 Apple Inc. Systems and methods for an imaging system using multiple image sensors
US9602814B2 (en) 2010-01-22 2017-03-21 Thomson Licensing Methods and apparatus for sampling-based super resolution video encoding and decoding
EP2526699A1 (en) 2010-01-22 2012-11-28 Thomson Licensing Data pruning for video compression using example-based super-resolution
US8730301B2 (en) 2010-03-12 2014-05-20 Sony Corporation Service linkage to caption disparity data transport
FR2958824A1 (fr) 2010-04-09 2011-10-14 Thomson Licensing Procede de traitement d'images stereoscopiques et dispositif correspondant
US9544598B2 (en) 2010-09-10 2017-01-10 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
EP2614641A2 (en) * 2010-09-10 2013-07-17 Thomson Licensing Video encoding using motion compensated example-based super-resolution
KR101640404B1 (ko) * 2010-09-20 2016-07-18 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US8538132B2 (en) 2010-09-24 2013-09-17 Apple Inc. Component concentricity
LU91745B1 (en) * 2010-10-15 2012-04-16 Iee Sarl Range image pixel matching method
US20130249874A1 (en) * 2010-12-08 2013-09-26 Thomson Licensing Method and system for 3d display with adaptive disparity
WO2012112142A1 (en) * 2011-02-15 2012-08-23 Thomson Licensing Apparatus and method for generating a disparity map in a receiving device
KR101763944B1 (ko) * 2011-02-18 2017-08-01 엘지디스플레이 주식회사 영상표시장치
JP2012257198A (ja) * 2011-05-17 2012-12-27 Canon Inc 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置
ES2911670T3 (es) 2011-05-27 2022-05-20 Sun Patent Trust Aparato, procedimiento y programa para decodificar imágenes en movimiento
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
WO2012164908A1 (ja) 2011-05-31 2012-12-06 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置
EP2887669A1 (en) 2011-06-28 2015-06-24 Samsung Electronics Co., Ltd Video decoding device using merge information to code SAO offset parameters
CN103718558B (zh) 2011-08-03 2017-04-19 太阳专利托管公司 运动图像编码方法及装置、解码方法及装置和编解码装置
TWI456975B (zh) 2011-08-23 2014-10-11 Acer Inc 立體影像處理裝置與方法
CN102984538B (zh) * 2011-09-05 2015-02-25 宏碁股份有限公司 立体图像处理装置与方法
CN102984548B (zh) * 2011-09-05 2014-12-31 中国移动通信集团公司 3d立体视频编码传输方法及装置
MY180182A (en) 2011-10-19 2020-11-24 Sun Patent Trust Picture coding method,picture coding apparatus,picture decoding method,and picture decoding apparatus
US9098908B2 (en) 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
TWI461066B (zh) * 2011-11-03 2014-11-11 Ind Tech Res Inst 彈性調整估算搜尋範圍的移動估算方法及視差估算方法
WO2013109112A1 (ko) * 2012-01-19 2013-07-25 삼성전자 주식회사 시점 변환을 위한 다시점 비디오 예측 방법 및 그 장치, 시점 변환을 위한 다시점 비디오 예측 복원 방법 및 그 장치
WO2014000154A1 (en) * 2012-06-26 2014-01-03 Intel Corporation Cross-layer cross-channel sample prediction
EP2868078A4 (en) * 2012-06-27 2016-07-27 Intel Corp PREDICTION OF RESIDUES BETWEEN LAYERS AND BETWEEN CHANNELS
KR20140080884A (ko) * 2012-12-20 2014-07-01 주식회사 팬택 계층적 비디오 코딩에서 색차 블록의 화면 내 예측 모드를 복호화하는 방법 및 이러한 방법을 사용하는 장치
US20140241612A1 (en) * 2013-02-23 2014-08-28 Microsoft Corporation Real time stereo matching
US9998750B2 (en) 2013-03-15 2018-06-12 Cisco Technology, Inc. Systems and methods for guided conversion of video from a first to a second compression format
US10045014B2 (en) * 2013-07-15 2018-08-07 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3D video coding
US9356061B2 (en) 2013-08-05 2016-05-31 Apple Inc. Image sensor with buried light shield and vertical gate
CN105215098B (zh) * 2015-10-27 2017-10-13 安徽哈科数控机床制造有限公司 一种折弯机及其使用方法
WO2023020591A1 (en) * 2021-08-19 2023-02-23 Mediatek Inc. Method and apparatus for hardware-friendly template matching in video coding system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
US5652616A (en) * 1996-08-06 1997-07-29 General Instrument Corporation Of Delaware Optimal disparity estimation for stereoscopic video coding
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003530038A (ja) * 2000-03-31 2003-10-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ２つの互いに関連したデータ列を符号化する方法
KR100565791B1 (ko) * 2003-08-04 2006-03-29 삼성전자주식회사 모션백터 추정장치 및 모션백터 추정방법
JP2008516547A (ja) * 2004-10-12 2008-05-15 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 映像合成基盤の多視点動映像の符号化及び復号化を行うための方法及び装置
JP2011528882A (ja) * 2008-07-21 2011-11-24 トムソン ライセンシング ３ｄビデオ信号の符号化装置
WO2012098890A1 (ja) * 2011-01-21 2012-07-26 パナソニック株式会社 動画像符号化装置および動画像符号化方法
JP5085808B2 (ja) * 2011-01-21 2012-11-28 パナソニック株式会社 動画像符号化装置および動画像符号化方法
CN109068187A (zh) * 2013-10-11 2018-12-21 华为技术有限公司 实时流量传送系统和方法

Also Published As

Publication number Publication date
US6043838A (en) 2000-03-28
TW426835B (en) 2001-03-21
CA2252324C (en) 2005-09-27
MX9809262A (es) 2007-02-27
EP0915433B1 (en) 2005-04-27
DE69829931T2 (de) 2006-02-23
CN1226786A (zh) 1999-08-25
NO985170L (no) 1999-05-10
EP0915433A2 (en) 1999-05-12
NO985170D0 (no) 1998-11-05
CA2252324A1 (en) 1999-05-07
EP0915433A3 (en) 2000-02-23
DE69829931D1 (de) 2005-06-02
KR19990045067A (ko) 1999-06-25

Similar Documents

Publication Publication Date Title
CA2252324C (en) View offset estimation for stereoscopic video coding
EP0823826B1 (en) Optimal disparity estimation for stereoscopic video coding
KR100481732B1 (ko) 다 시점 동영상 부호화 장치
US8644386B2 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
EP0817493B1 (en) Rate control for stereoscopic digital video encoding
KR100667830B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
EP0838959B1 (en) Synchronization of a stereoscopic video sequence
EP2384002B1 (en) Moving picture decoding method using additional quantization matrices
US20120224623A1 (en) Method and apparatus for encoding and decoding multi-view video using image stitching
US20070041443A1 (en) Method and apparatus for encoding multiview video
US8704932B2 (en) Method and system for noise reduction for 3D video content
Yang et al. An MPEG-4-compatible stereoscopic/multiview video coding scheme
WO2007035054A1 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
Chen et al. MPEG-2 multiview profile and its application in 3D TV
JP2007180982A (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
MXPA98009262A (en) View offset estimation for stereoscopic video coding
Lim et al. Motion/disparity compensated multiview sequence coding
KR19980028347A (ko) 움직임예측 및 시차예측을 적용하는 경우의 화질열화억제를 위한 입체동영상의 압축방법
HK1008288A (en) Optimal disparity estimation for stereoscopic video coding
HK1010297B (en) Method of optimal disparity estimation for stereoscopic video coding
MXPA97005999A (en) Optimal disparity estimation for stereoscopic video coding
HK1008285A (en) Rate control for stereoscopic digital video encoding
HK1010775B (en) Synchronization of a stereoscopic video sequence