JP2003018604A - 画像信号符号化方法、画像信号符号化装置および記録媒体 - Google Patents

画像信号符号化方法、画像信号符号化装置および記録媒体

Info

Publication number
JP2003018604A
JP2003018604A JP2001203830A JP2001203830A JP2003018604A JP 2003018604 A JP2003018604 A JP 2003018604A JP 2001203830 A JP2001203830 A JP 2001203830A JP 2001203830 A JP2001203830 A JP 2001203830A JP 2003018604 A JP2003018604 A JP 2003018604A
Authority
JP
Japan
Prior art keywords
image
background
sprite
foreground
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001203830A
Other languages
English (en)
Inventor
Takeo Azuma
健夫 吾妻
Kazuo Nobori
一生 登
Kenya Uomori
謙也 魚森
Atsushi Morimura
淳 森村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2001203830A priority Critical patent/JP2003018604A/ja
Priority to US10/167,654 priority patent/US7016411B2/en
Priority to EP20020014810 priority patent/EP1274043A3/en
Priority to KR10-2002-0038106A priority patent/KR100485559B1/ko
Priority to CNB021405751A priority patent/CN100492488C/zh
Publication of JP2003018604A publication Critical patent/JP2003018604A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 前景に背景と異なる動きの被写体がある
場合にも、ぼけのない背景スプライト画像を生成するこ
と。 【解決手段】 レンジファインダ３はカラーカメラ２と
同一視点での距離画像を取得する。階層化部４はその距
離情報を用いて入力画像を前景画像と背景画像に階層化
して分離する。スプライト生成部５は、分離した背景画
像にグローバル動きモデルを当てはめ、グローバル動き
パラメータを推定して背景スプライト画像を生成する。
この結果、入力画像に対して直接グローバル動きモデル
を当てはめてグローバル動きパラメータを推定する場合
と比較して、グローバル動きパラメータを精度良く推定
できるので、ぼけのない背景スプライト画像を生成でき
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は画像信号符号化方法
および装置に関し、動画像からスプライト画像を生成す
る場合に適用し得る。
【０００２】
【従来の技術】近年、ゲームやインターネットでインタ
ラクティブなグラフィックス表示を実現する手法として
スプライト画像が用いられている。動画像からスプライ
ト画像を生成する従来の技術としては、特開２０００−
１４８１３０号公報記載のものがある。
【０００３】その記載によれば、スプライト画像の生成
手順は、図１４に示すようになっている。すなわち、先
ずステップＳＴ１でパン・ズーム等のカメラ操作を含ん
だ動画像を入力し、ステップＳＴ２で動画像からグロー
バル動きパラメータ（画像全体の動きを表すパラメー
タ）を抽出する。続くステップＳＴ３でその動画像中に
スプライト生成時の基準フレームを決定する。
【０００４】次に、ステップＳＴ４においてグローバル
動きパラメータを基準フレーム以外のフレームに作用さ
せて予測画像を生成し、ステップＳＴ５において他の複
数フレームの画素値を用いて標本点の画素値を計算す
る。そして最後に、ステップＳＴ６において上記で計算
した標本点の画素値を用いて基準フレームの背景に対し
て他の複数の予測画像を含むフレームの画像を、絵柄が
連続して接続されるように配置してスプライト画像を生
成する。
【０００５】
【発明が解決しようとする課題】しかしながら上記のよ
うな方法では、前景に背景と異なる動きの被写体がある
場合、画像間のグローバル動きパラメータが正確に推定
できず、結果として、生成される背景スプライト画像が
ぼけたものになるという問題がある。
【０００６】本発明はかかる点に鑑みてなされたもの
で、前景に背景と異なる動きの被写体がある場合でも、
ぼけのない背景スプライト画像を生成する方法および装
置を提供することを目的とする。
【０００７】
【課題を解決するための手段】本発明の画像信号符号化
方法は、符号化する入力画像を入力する画像入力ステッ
プと、入力画像と同一視点での距離画像を取得する距離
画像取得ステップと、距離画像取得ステップで得た距離
画像の距離情報を用いて入力画像を前景画像と背景画像
に階層化する階層化ステップと、前景画像を符号化する
符号化ステップと、背景画像から背景スプライト画像を
生成する背景スプライト生成ステップと、背景スプライ
ト画像を符号化するスプライト符号化ステップとを有す
るようにした。
【０００８】この方法によれば、前景に背景と異なる動
きの被写体がある場合にも、距離情報を用いた階層化に
より前景領域と背景領域とを分離することによって、背
景領域についてのグローバル動きパラメータを精度よく
推定することができ、ぼけのない背景スプライト画像を
生成し得る。
【０００９】また本発明の画像信号符号化方法は、背景
スプライト生成ステップで生成した背景スプライト画像
の背景領域を膨張させる背景スプライト膨張ステップを
有するようにした。
【００１０】この方法によれば、背景スプライト画像に
おいて、前景による遮蔽のために画素値の書き込まれて
いない領域があった場合でも、背景スプライト画像の背
景領域を膨張させるので、復号画像において前景と背景
の境界付近で画素値の書き込まれない画素が発生するこ
とを防ぐことができる。
【００１１】また本発明の画像信号符号化方法は、階層
化ステップにおいて形成した前景領域を膨張させること
により、前景画像と背景画像の領域境界位置を補正する
領域境界補正ステップを有するようにした。
【００１２】この方法によれば、距離情報を用いた階層
化時に、本来前景である領域が誤って背景とされた場合
にも、前景領域を膨張させ前景と背景間の境界位置を補
正することにより、ぼけのない背景スプライト画像を生
成することができる。
【００１３】また本発明の画像信号符号化方法は、符号
化ステップで形成した符号化データをローカル復号する
第１のローカル復号ステップと、スプライト符号化ステ
ップで形成した符号化データをローカル復号する第２の
ローカル復号ステップと、第１及び第２のローカル復号
ステップで得た復号画像と入力画像との残差を求める残
差算出ステップと、残差が大きな画素を前景に編入する
ことにより前景を補正する前景補正ステップとを有する
ようにした。
【００１４】この方法によれば、階層符号化によって生
じる残差が大きな領域を前景に編入して符号化している
ことにより、伝送される画像の画質を改善することがで
きる。
【００１５】また本発明の画像信号符号化方法は、入力
画像との残差が第１のしきい値より大きな領域のうち、
面積が第２のしきい値より小さなものは前景に編入しな
い残差抑圧ステップを有するようにした。
【００１６】この方法によれば、主観的な画質を大きく
損ねることなく、前景補正による前景領域の形状情報の
増加（すなわち符号量の増加）を低減することができ
る。
【００１７】また本発明の画像信号符号化方法は、符号
化ステップにおいて前景画像に対してＶＯＰ符号化処理
を施すようにした。
【００１８】また本発明の画像信号符号化装置は、符号
化する入力画像を入力する画像入力手段と、入力画像と
同一視点での距離画像を取得する距離画像取得手段と、
距離画像の距離情報を用いて入力画像を前景画像と背景
画像に階層化する階層化手段と、前景画像を符号化する
符号化手段と、背景画像から背景スプライト画像を生成
する背景スプライト生成手段と、背景スプライト画像を
符号化するスプライト符号化手段とを具備する構成を採
る。
【００１９】また本発明の記録媒体は、画像信号符号化
プログラムを格納し、コンピュータにより読み取り可能
な記録媒体であって、符号化する入力画像を入力する画
像入力手順と、入力画像と同一視点での距離画像を入力
する距離画像入力手順と、距離画像の距離情報を用いて
入力画像を前景画像と背景画像に階層化する階層化手順
と、前景画像を符号化する符号化手順と、背景画像から
背景スプライト画像を生成する背景スプライト生成手順
と、背景スプライト画像を符号化するスプライト符号化
手順とが記録された構成を採る。
【００２０】さらに本発明のプログラムは、コンピュー
タに、符号化する入力画像を入力する画像入力手順と、
入力画像と同一視点での距離画像を入力する距離画像入
力手順と、距離画像の距離情報を用いて入力画像を前景
画像と背景画像に階層化する階層化手順と、前景画像を
符号化する符号化手順と、背景画像から背景スプライト
画像を生成する背景スプライト生成手順と、背景スプラ
イト画像を符号化するスプライト符号化手順とを実行さ
せる。
【００２１】
【発明の実施の形態】本発明の骨子は、入力画像と同一
視点での距離画像を取得し、その距離情報を用いて入力
画像を前景画像と背景画像に階層化することである。す
なわち距離情報を用いた階層化により前景領域と背景領
域とを分離する。これにより、前景に背景と異なる動き
の被写体がある場合にも、背景領域の画像間のグローバ
ル動きパラメータを正確に推定し、ぼけのない背景スプ
ライト画像を生成することができる。
【００２２】（実施の形態１）図１は本発明の実施の形
態１における画像信号符号化装置の構成を示す。画像信
号符号化装置１は、カラーカメラ２により撮像された入
力カラー画像を階層化部４に入力すると共にレンジファ
インダ３により撮像された距離画像を階層化部４に入力
する。
【００２３】レンジファインダ３は、カラー画像と同一
視点の距離画像（カメラからの奥行き値を画素の階調に
マッピングした画像）を出力する。図２にレンジファイ
ンダ３の構成例を示す。レンジファインダ３は、被写体
Ｈに向けて光源部３Ａから縦に長い線状の近赤外レーザ
光(スリット光)を照射すると共にこの光を横方向に掃引
し、そのときの被写体Ｈからの反射光を狭帯域光学フィ
ルタ（干渉フィルタ）３Ｅおよびレンズ３Ｂを介して近
赤外カメラ３Ｃで撮像する。
【００２４】近赤外カメラ３Ｃの出力は距離計算部３Ｄ
に入力される。上記スリット光の掃引は、掃引角度に応
じて光源の光パワーを制御するか、もしくは、光源の光
パワーは一定で、掃引角度に応じて掃引角度に応じて掃
引速度を制御することにより、パタン光を投影する。２
枚の画像から距離計算を行う濃度勾配法の場合、投射す
るパタン光をフィールド毎に交互に変化させることによ
り、前フィールドの画像と現フィールドの画像から、現
フィールドについての距離画像を計算できる。
【００２５】距離計算部３Ｄは、近赤外カメラ３Ｃの出
力画像中のパタン光を解析し、各画素に光が到達したと
きのスリット光の投影方向θを検出する。次に投影方向
と画素の位置から三角測量の原理で被写体Ｈの３次元位
置を算出する。そして、この３次元位置に基づいて距離
画像（カメラからの奥行き値を画素の階調にマッピング
した画像）を得る。
【００２６】階層化部４は、レンジファインダ３による
距離情報を用いて、カラー画像を前景と背景に分離し階
層化する。ここで図３に同一視点で撮像したカラー画像
(図３(ａ))と距離画像の例を示す。図３（ｂ）の距離画
像は、暗い領域ほどカメラに近く、明るい領域ほどカメ
ラから遠いことを示す。図３（ｂ）では、カメラに近い
前景領域が暗く、カメラから遠い背景が明るくなってい
る。
【００２７】階層化部４は、距離画像を用いた階層化結
果として、図４に示すような画像を形成する。すなわち
図４（ａ）は距離値がしきい値未満の領域として抽出さ
れた前景画像である。因みに図４（ａ）において、距離
値がしきい値以上の領域は黒で示している。図４（ｂ）
は、マスク画像である。図４（ｂ）では、距離値がしき
い値未満の領域を白、距離値がしきい値以上の領域を黒
で示している。図４（ｃ）は、距離値がしきい値以上の
領域として抽出された背景画像である。図４（ｃ）にお
いて、距離値がしきい値未満の領域は黒で示している。
【００２８】このように階層化部４は、カラーカメラ２
から得られた入力画像に対して、距離情報に基づくしき
い値判定を行なうことにより、入力画像を前景画像と背
景画像に分離して階層化する。これにより画像信号符号
化装置１においては、後述する背景領域についてのグロ
ーバル動きパラメータを精度よく推定することができる
ようになされている。
【００２９】ＶＯＰ（Video Object Plane）符号化部６
は、時系列の前景画像を入力として前景画像をＶＯＰ符
号化し、前景ストリームを出力する。すなわちＶＯＰ符
号化部６はビデオ・オブジェクト・プレーン毎に形状情
報とテキスチャ情報を符号化する。ＶＯＰ符号化部６に
おける、前景領域と背景領域の識別は、前景画像中に背
景であることを示す特定の画素値（例えば、（Ｒ，Ｇ，
Ｂ）＝（０，０，０））を書き込んでもよく、また、図
４（ｂ）に示す２値のマスク画像と前景画像の双方をＶ
ＯＰ符号化部６の入力としてもよい。
【００３０】スプライト生成部５は、時系列の背景画像
を入力として背景スプライト画像を生成する。スプライ
ト生成部５は、図５に示すように構成されている。この
スプライト生成部５の構成を、図５および図６を用いて
説明する。スプライト生成部５は背景画像をフィールド
間対応点抽出部５Ａに入力すると、当該フィールド間対
応点抽出部５Ａでフィールド間対応点を抽出する。フィ
ールド間動きパラメータ計算部５Ｂは、隣接フィールド
間の対応関係から、隣接フィールド間の動きパラメータ
（図６ではアフィンパラメータとして図示）を決定す
る。
【００３１】動きパラメータ計算部５Ｃは、基準フィー
ルドと背景スプライト画像との関係、および、基準フィ
ールドと各フィールド間の関係から、各フィールドと背
景スプライト間の関係を決定し、各フィールドからスプ
ライト画像へのマッピングを決定する。画素値計算部５
Ｄは、上記マッピング時の背景スプライト画像への複数
回の画素値の書き込み値から、背景スプライト画像の各
画素値を計算する。
【００３２】すなわちスプライト生成部５は、先ずフィ
ールド間対応点抽出部５Ａにおいて、背景画像シーケン
スの隣接フィールド間で、ブロックマッチング等の手法
により背景領域間の対応点探索を行う。対応点の探索
は、図６に示すように、シーケンス中に設定した基準フ
ィールドから、時間方向に前方向、後ろ方向に向かって
それぞれ行う。基準フィールドとしては、背景スプライ
ト画像を生成するシーケンスに対して、時間的に中央付
近のフィールドを選択すればよい。画像間の対応は次式
に示すＳＳＤで評価する。
【００３３】
【数１】 (１)式において、Ｉ1は基準画像の輝度、Ｉ2は参照画像
の輝度、Ｗ，Ｈは対応点探索に用いたブロック（窓領
域）の幅と高さ、ｘ，ｙは基準画像内に設定したブロッ
クの中心位置の画素座標値である。基準画像内における
ブロックの設定は、ブロック内に一定画素以上の背景画
素が含まれるようにする。基準画像の（ｘ，ｙ）におけ
る動きベクトルは、まず、探索領域内でｕ，ｖを１画素
単位で変化させＳＳＤを計算し、ＳＳＤを最小とする
ｕ，ｖの組（すなわち、画素精度の動きベクトル）とし
て求める。次に、サブピクセル精度の動きベクトル計算
のために、１画素間隔で計算したＳＳＤの最小値近傍で
以下の式によりｕ，ｖを補正する。ＳＳＤの値の空間分
布を（ｘ，ｙ）の近傍でテーラー展開すると、次式
【００３４】
【数２】 と表せる。対応点ではＳＳＤの値が極値をとる条件か
ら、次式
【００３５】
【数３】 となり、基準画像の（ｘ，ｙ）におけるサブピクセル精
度の動きベクトル（ｕ＋Δｕ，ｖ＋Δｖ）を計算する。
以上の手順により、隣接フィールド間で複数の対応点が
計算される。
【００３６】フィールド間動きパラメータ計算手段５Ｂ
は、フィールド間対応点抽出部５Ａによって抽出された
複数の対応点の組に最小二乗法によりグローバル動きモ
デルをあてはめる。ここでは、簡単のためにグローバル
動きモデルをアフィン変換とした場合のフィールド間動
きパラメータ計算部５Ｂの処理について説明する。
【００３７】基準画像中の座標を（ｘ，ｙ）、参照画像
中の座標を（ｘ'，ｙ'）とする時、ｎ組の対応点、（ｘ
0，ｙ0）、（ｘ'0，ｙ'0）．．．（ｘn-1，ｙn-1）、
（ｘ'n -1，ｙ'n-1）に対してアフィンパラメータをあて
はめる。すなわち、次式
【００３８】
【数４】 という関係にもっともふさわしいアフィンパラメータａ
〜ｆを決定する。アフィンパラメータのフィッテイング
は、次式
【００３９】
【数５】 として評価する。上式を最小化するアフィンパラメータ
ａ〜ｆは、次式の条件
【００４０】
【数６】 から、次式
【００４１】
【数７】 を解いて求める。
【００４２】フィールド間対応点抽出部５Ａによる対応
点探索結果に誤対応が含まれていると、上記のアフィン
パラメータの推定誤差が大きくなる。これを改善するた
めに、対応点のはずれ値除去を行う。はずれ値除去は、
複数の対応点（ｘ0，ｙ0），（ｘ'0，ｙ'0）〜（ｘn，
ｙn），（ｘ'n，ｙ'n）と(７)式から計算したアフィン
パラメータの推定値ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを
用いて、次式
【００４３】
【数８】
【００４４】
【数９】
【００４５】として各対応点に対するアフィンパラメー
タのフィッティング精度を評価し、ｒ AVE＋σrをしきい
値としてはずれ値を除去し、残った対応点の組について
アフィンパラメータを再度フィッティングする。ここで
ｒAVEはｒiの平均値、σrはｒiの標準偏差である。
【００４６】動きパラメータ計算部５Ｃは、フィールド
間動きパラメータ計算部５Ｂによって計算された隣接背
景フィールド間のアフィンパラメータと、基準フィール
ドとスプライト画像間のアフィンパラメータ（ここで、
スプライト画像はフレーム画像と考えているため、図６
に示すようにｙ方向に２倍の拡大となる。）とを合成
し、各背景フィールドとスプライト画像間のアフィンパ
ラメータを計算する。
【００４７】画素値計算部５Ｄは、上記各背景フィール
ドと背景スプライト画像間のアフィンパラメータを用い
て、各背景フィールド画像を背景スプライト画像にマッ
ピングする。図６に示すように、各背景フィールドは互
いに重なって背景スプライト画像にマッピングされるた
め、背景スプライト画像の画素値は、この重なりを考慮
した平均値、もしくは、メディアン値として決定する。
【００４８】このような処理を施すことにより、スプラ
イト生成部５は背景画像シーケンスから背景スプライト
画像を生成する。
【００４９】スプライト符号化部７は、スプライト符号
化により、背景スプライト画像と共にスプライトポイン
トと呼ばれる、背景スプライト画像における各フレーム
の切り出し座標値を符号化し、背景ストリームを生成す
る。
【００５０】図７は、画像信号符号化装置１により生成
された前景ストリーム、背景ストリームを復号する復号
装置１０の構成を示す。前景ストリームはＶＯＰ復号化
部１１により復号されると共にスプライトストリームは
スプライト復号化部１２により復号される。復号化され
た各データは合成部１３により合成されることによって
復元画像とされる。
【００５１】以上の構成において、画像信号符号化装置
１は、階層化部４にカラーカメラ２からの入力画像を入
力すると、当該入力画像をレンジファインダ３から得ら
れる距離情報に基づいて前景画像と背景画像に分離して
階層化する。
【００５２】次に画像信号符号化装置１は、スプライト
生成部５において、分離した背景画像を用いて背景スプ
ライト画像を生成する。このときスプライト生成部５
は、背景画像に対して、グローバル動きモデルをあては
め、各パラメータを算出する。
【００５３】このように画像信号符号化装置１において
は、入力画像に対して直接グローバル動きモデルをあて
はめて各パラメータを算出するのではなく、距離情報に
基づく入力画像の階層化により得た背景画像に対してグ
ローバル動きモデルをあてはめて各パラメータを算出す
る。
【００５４】この結果、画像信号符号化装置１において
は、前景に背景と異なる動きの被写体がある場合にも、
背景領域についてのグローバル動きパラメータを精度よ
く推定することができる。画像信号符号化装置１では、
このように精度のよいグローバル動きパラメータを使っ
て、画素値計算部５Ｄにおいて各背景フィールド画像を
背景スプライト画像にマッピングする。
【００５５】このように画像信号符号化装置１において
は、背景画像単独で求めた精度のよいグローバル動きパ
ラメータに基づき背景スプライト画像を生成しているの
で、前景に背景と異なる動きの被写体がある場合でも、
特に前景と背景の境界付近で発生する画像のぼけを抑制
することができる。
【００５６】かくして以上の構成によれば、入力画像と
同一視点での距離画像を取得し、その距離情報を用いて
入力画像を前景画像と背景画像に階層化して分離したこ
とにより、前景に背景と異なる動きの被写体がある場合
にも、背景領域についてのグローバル動きパラメータを
精度よく推定することができるので、ぼけのない背景ス
プライト画像を生成し得る。
【００５７】（実施の形態２）図１との対応部分に同一
符号を付して示す図８は、本発明による実施の形態２の
画像符号化符号化装置３０の構成を示す。画像信号符号
化３０はスプライト生成部５とスプライト符号化部７の
間にスプライト膨張部３１を設けたことを除いて実施の
形態１の画像信号符号化装置１と同様の構成でなる。
【００５８】スプライト膨張部３１は、図９に示すよう
に、背景スプライト画像において、前景による遮蔽のた
めに画素値の書き込まれていない領域に対して、近傍に
画素値が書き込まれている画素がある場合（すなわち、
着目画素が図９Ａに示す領域にある場合）、画素値が書
き込まれている画素における画素値を外挿することによ
り、背景スプライト画像を膨張させる。
【００５９】これにより、背景スプライト画像を１画素
分ないし２画素分膨張させることにより、受信側でスプ
ライト復号化した背景とＶＯＰ復号化した前景の合成時
に、前景と背景の境界付近で画素値の書き込まれない画
素が発生することを防ぐことができる。
【００６０】すなわち、図７に示す復号装置１０による
復号の際、スプライト復号化部１２において、背景スプ
ライト画像の一部の領域を座標変換することにより各フ
レームにおける背景画像を生成し、これに、ＶＯＰ復号
化部１１により復号化された前景画像を重畳して復号画
像を生成すると、前記座標変換時の量子化誤差により、
画素値の書き込まれない画素が、前景と背景の境界付近
で発生する場合がある。そのような場合に、画像信号符
号化装置３０においては、画素値の書き込まれない画素
の発生を防止できる。
【００６１】かくして以上の構成によれば、スプライト
膨張部３１を設けたことにより、背景スプライト画像に
おいて、前景による遮蔽のために画素値の書き込まれて
いない領域に対して、近傍で画素値が書き込まれている
領域を外挿して画素値を書き込むことにより、受信側で
スプライト復号化した背景とＶＯＰ復号化した前景の合
成時に、前景と背景の境界付近で画素値の書き込まれな
い画素が発生することを防ぐことができる。
【００６２】（実施の形態３）図１との対応部分に同一
符号を付して示す図１０は本発明による実施の形態３の
画像符号化装置４０の構成を示す。画像信号符号化装置
４０は階層化部４により得られた前景画像と背景画像を
領域境界補正部４１に入力する。
【００６３】領域境界補正部４１は、一般的な画像処理
技術として行われている膨張処理により前景輪郭を膨張
させ、前景背景間の境界を補正する。図１１は、領域境
界補正処理の説明図である。図１１において（ａ）、
（ｂ）は領域境界補正前の前景画像および背景画像、
（ｃ）、（ｄ）は領域境界補正後の前景画像および背景
画像である。図１１（ａ）、（ｂ）において、領域Ａは
本来前景である領域が誤って背景として階層化された領
域である。一方、領域Ｂは、逆に本来背景である領域が
誤って前景として階層化された領域である。
【００６４】前景領域と背景領域が異なる動きをする
時、領域Ａのような本来前景である領域が誤って背景と
して階層化された領域は、背景スプライト画像のぼけの
原因となる。一方、領域Ｂのような本来背景である領域
が誤って前景として階層化された領域は、背景スプライ
ト画像のぼけの原因とはならない。
【００６５】ここで前景領域をＶＯＰ符号化する場合に
は、領域Ｂのような領域は若干の符号量増加の原因とな
るが、画質には影響を与えない。従って、領域境界補正
部４１の膨張処理により、図１１（ｃ）、（ｄ）に示す
ように、本来前景である領域が誤って背景として階層化
されることを防ぐことができる。
【００６６】因みに、上記前景領域を膨張させる量（画
素数）は、距離情報の精度（すなわち、図１１中の領域
Ａ、Ｂの大きさ）に応じて決定すればよい。
【００６７】かくして以上の構成によれば、距離情報を
用いた階層化時に、本来前景である領域が誤って背景と
された場合にも、前景領域を膨張させ前景と背景間の境
界位置を補正することにより、ぼけのない背景スプライ
ト画像を生成することができる。
【００６８】また領域境界補正部４１において、先に収
縮処理をしてから膨張処理を行うことにより、ノイズ状
の微小な前景領域を消去でき、ＶＯＰ階層化における形
状符号量を低減できる。
【００６９】さらに、図１２に示すように、この実施の
形態３で説明した領域境界補正部４１と、実施の形態２
で上述したスプライト膨張部３１の双方を有する構成と
すれば、ぼけのない背景スプライト画像を生成すること
ができると共に、復号化時に前景と背景の境界付近で画
素値の書き込まれない画素が発生することを防ぐことが
できる画像信号符号化装置５０を実現できる。
【００７０】（実施の形態４）図１との対応部分に同一
符号を付して示す図１３は、本発明による実施の形態４
の画像信号符号化装置６０の構成を示す。
【００７１】画像信号符号化装置６０は、ＶＯＰ符号化
部６およびスプライト符号化部７によりそれぞれ生成さ
れた前景ストリームと背景ストリームをＶＯＰ復号化部
６１およびスプライト復号化部６２にそれぞれ入力させ
る。ＶＯＰ復号化部６１とスプライト復号化部６２はそ
れぞれ前景ストリームと背景ストリームをローカルデコ
ードし、ローカルデコードしたデータを合成部６３に送
出する。
【００７２】合成部６３により合成されたローカルデコ
ードデータは残差算出部６４に送出される。残差算出部
６４は、ローカルデコードデータとカラーカメラ２から
出力される入力画像との残差を算出する。ここで残差と
しては、輝度差の絶対値、輝度差の二乗、ＲＧＢ値の差
の絶対値和、ＲＧＢ値の差の二乗和、ＹＵＶ値の差の絶
対値和、ＹＵＶ値の差の二乗和等の値を算出する。
【００７３】前景補正部６５は、カラーカメラ２からの
入力画像、階層化部４からの前景画像および残差算出部
６４からの残差を入力し、残差が一定のしきい値以上の
領域を前景領域に編入する。ここで上記しきい値は、値
を小さく設定すれば符号量は増加するが伝送される画質
は高画質となり、逆に、値を大きくすれば画質は若干低
下するが符号量を抑えることができる。
【００７４】ＶＯＰ符号化部６６は、前景補正部６５に
よって補正された前景画像をＶＯＰ符号化し、前景スト
リームとして出力する。
【００７５】かくして以上の構成によれば、階層符号化
によって生じる誤差（残差）に応じて、誤差が大きな領
域を前景に編入し前景領域を補正して符号化したことに
より、伝送される画像の画質を改善し得る画像信号符号
化装置６０を実現できる。
【００７６】（他の実施の形態）なお上述した実施の形
態４においては、残差を所定のしきい値と比較し、しき
い値以上の領域を前景に編入する場合について述べた
が、本発明はこれに限らず、単に残差がしきい値以上の
領域を前景領域に編入するのではなく、公知の技術であ
る残差抑圧処理（微小領域除去処理）を行った上で、上
記前景領域への編入を行うようにしてもよい。このよう
にすれば、主観的な画質を大きく損ねることなく、前景
補正による前景領域の形状情報の増加（すなわち符号量
の増加）を低減することができる。
【００７７】また上述した実施の形態においては、前景
画像をＶＯＰ符号化する場合について述べたが、本発明
はこれに限らず、前景画像中に背景であることを示す特
定の画素値（例えば、（Ｒ，Ｇ，Ｂ）＝（０，０，
０））を書き込み、符号化・復号化はＭＰＥＧ２等の形
状情報を用いない方式で行い、前景と背景の合成時に上
記特定の画素値を考慮した前景と背景の合成を行うよう
にすれば、ＶＯＰ符号化に代えて他の符号化処理を行な
った場合でも上述の実施の形態と同様の効果を得ること
ができる。
【００７８】また上述した実施の形態においては、距離
画像取得手段としてレンジファインダを用いた場合につ
いて述べたが、本発明の距離画像取得手段はこれに限ら
ず、ステレオカメラや多視点カメラを用いてもよく、要
はカラー画像と距離画像を同一視点で撮像することがで
きるものであればよい。
【００７９】また上述した実施の形態においては、背景
スプライトを生成する際にアフィン変換を用いた場合に
ついて述べたが、本発明はこれに限らず、透視投影変
換、弱透視投影変換等の他の変換を行なうことにより背
景スプライトを生成するようにしてもよい。
【００８０】さらに上述した実施の形態では、本発明を
装置の形態及び方法の形態で説明したが、本発明は上記
方法をプログラム形式で記録した記録媒体にも適用でき
る。
【００８１】
【発明の効果】以上説明したように、本発明によれば、
入力画像と同一視点での距離画像を取得し、その距離情
報を用いて入力画像を前景画像と背景画像に階層化して
分離した後、分離した背景画像に基づいて背景スプライ
ト画像を生成したことにより、前景に背景と異なる動き
の被写体がある場合でも、ぼけのない背景スプライト画
像を生成し得る画像信号符号化方法および画像信号符号
化装置を実現できる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像信号符号化
装置の構成を示すブロック図
【図２】レンジファインダの構成を示すブロック図
【図３】カラー画像と距離画像の説明に供する略線図
【図４】距離情報を用いた階層化の説明の説明に供する
略線図
【図５】スプライト生成部の構成を示すブロック図
【図６】背景スプライト生成の説明に供する略線図
【図７】復号装置の構成を示すブロック図
【図８】本発明の実施の形態２における画像信号符号化
装置の構成を示すブロック図
【図９】背景スプライト画像の膨張処理の説明に供する
略線図
【図１０】本発明の実施の形態３における画像信号符号
化装置の構成を示すブロック図
【図１１】領域境界補正処理の説明に供する略線図
【図１２】領域境界補正部とスプライト膨張部の両方を
有する画像信号符号化装置の構成を示すブロック図
【図１３】本発明の実施の形態４における画像信号符号
化装置の構成を示す略線図
【図１４】従来のスプライト生成方法の処理手順を示す
フローチャート
【符号の説明】
１、３０、４０、５０、６０ 画像信号符号化装置 ２ カラーカメラ ３ レンジファインダ ４ 階層化部 ５ スプライト生成部 ６ ＶＯＰ符号化部 ７ スプライト符号化部 ３１ スプライト膨張部 ４１ 領域境界補正部 ６１ ＶＯＰ復号化部 ６２ スプライト復号化部 ６３ 合成部 ６４ 残差算出部 ６５ 前景補正部
フロントページの続き (72)発明者 魚森 謙也 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 森村 淳 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5C059 KK01 MA05 MA10 NN03 NN41 PP04 PP15 PP16 PP26 PP28 PP29 SS14 UA02 UA05 UA22

Claims (9)

    【特許請求の範囲】
  1. 【請求項１】 符号化する入力画像を入力する画像入力
    ステップと、 入力画像と同一視点での距離画像を取得する距離画像取
    得ステップと、 距離画像取得ステップで得た距離画像の距離情報を用い
    て前記入力画像を前景画像と背景画像に階層化する階層
    化ステップと、 前記前景画像を符号化する符号化ステップと、 前記背景画像から背景スプライト画像を生成する背景ス
    プライト生成ステップと、 前記背景スプライト画像を符号化するスプライト符号化
    ステップと、 を有することを特徴とする画像信号符号化方法。
  2. 【請求項２】 前記背景スプライト生成ステップで生成
    した背景スプライト画像の背景領域を膨張させる背景ス
    プライト膨張ステップを有することを特徴とする請求項
    １に記載の画像信号符号化方法。
  3. 【請求項３】 前記階層化ステップにおいて形成した前
    景領域を膨張させることにより、前景画像と背景画像の
    領域境界位置を補正する領域境界補正ステップを有する
    ことを特徴とする請求項１又は請求項２に記載の画像信
    号符号化方法。
  4. 【請求項４】 前記符号化ステップで形成した符号化デ
    ータをローカル復号する第１のローカル復号ステップ
    と、 前記スプライト符号化ステップで形成した符号化データ
    をローカル復号する第２のローカル復号ステップと、 前記第１及び第２のローカル復号ステップで得た復号画
    像と前記入力画像との残差を求める残差算出ステップ
    と、 残差が大きな画素を前景に編入することにより前景を補
    正する前景補正ステップと、 を有することを特徴とする請求項１から請求項３のいず
    れかに記載の画像信号符号化方法。
  5. 【請求項５】 入力画像との残差が第１のしきい値より
    大きな領域のうち、面積が第２のしきい値より小さなも
    のは前景に編入しない残差抑圧ステップを有することを
    特徴とする請求項４に記載の画像信号符号化方法。
  6. 【請求項６】 前記符号化ステップでは、前記前景画像
    に対してＶＯＰ符号化処理を施すことを特徴とする請求
    項１から請求項５のいずれかに記載の画像信号符号化方
    法。
  7. 【請求項７】 符号化する入力画像を入力する画像入力
    手段と、 入力画像と同一視点での距離画像を取得する距離画像取
    得手段と、 前記距離画像の距離情報を用いて前記入力画像を前景画
    像と背景画像に階層化する階層化手段と、 前記前景画像を符号化する符号化手段と、 前記背景画像から背景スプライト画像を生成する背景ス
    プライト生成手段と、前記背景スプライト画像を符号化
    するスプライト符号化手段と、 を具備することを特徴とする画像信号符号化装置。
  8. 【請求項８】 画像信号符号化プログラムを格納し、コ
    ンピュータにより読み取り可能な記録媒体であって、符
    号化する入力画像を入力する画像入力手順と、入力画像
    と同一視点での距離画像を入力する距離画像入力手順
    と、距離画像の距離情報を用いて入力画像を前景画像と
    背景画像に階層化する階層化手順と、前景画像を符号化
    する符号化手順と、背景画像から背景スプライト画像を
    生成する背景スプライト生成手順と、背景スプライト画
    像を符号化するスプライト符号化手順とが記録されたこ
    とを特徴とする記録媒体。
  9. 【請求項９】 コンピュータに、符号化する入力画像を
    入力する画像入力手順と、入力画像と同一視点での距離
    画像を入力する距離画像入力手順と、距離画像の距離情
    報を用いて入力画像を前景画像と背景画像に階層化する
    階層化手順と、前景画像を符号化する符号化手順と、背
    景画像から背景スプライト画像を生成する背景スプライ
    ト生成手順と、背景スプライト画像を符号化するスプラ
    イト符号化手順とを実行させるプログラム。
JP2001203830A 2001-07-04 2001-07-04 画像信号符号化方法、画像信号符号化装置および記録媒体 Pending JP2003018604A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2001203830A JP2003018604A (ja) 2001-07-04 2001-07-04 画像信号符号化方法、画像信号符号化装置および記録媒体
US10/167,654 US7016411B2 (en) 2001-07-04 2002-06-13 Image signal coding method, image signal coding apparatus and storage medium
EP20020014810 EP1274043A3 (en) 2001-07-04 2002-07-02 Image signal coding method and apparatus
KR10-2002-0038106A KR100485559B1 (ko) 2001-07-04 2002-07-03 화상 신호 부호화 방법, 화상 신호 부호화 장치 및 기록매체
CNB021405751A CN100492488C (zh) 2001-07-04 2002-07-04 图像信号编码方法、图像信号编码设备和存储媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001203830A JP2003018604A (ja) 2001-07-04 2001-07-04 画像信号符号化方法、画像信号符号化装置および記録媒体

Publications (1)

Publication Number Publication Date
JP2003018604A true JP2003018604A (ja) 2003-01-17

Family

ID=19040395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001203830A Pending JP2003018604A (ja) 2001-07-04 2001-07-04 画像信号符号化方法、画像信号符号化装置および記録媒体

Country Status (5)

Country Link
US (1) US7016411B2 (ja)
EP (1) EP1274043A3 (ja)
JP (1) JP2003018604A (ja)
KR (1) KR100485559B1 (ja)
CN (1) CN100492488C (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006352213A (ja) * 2005-06-13 2006-12-28 Fuji Xerox Co Ltd 符号化装置、復号化装置、符号化方法、復号化方法及びこれらのプログラム
KR100803611B1 (ko) 2006-11-28 2008-02-15 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP2010512039A (ja) * 2006-12-04 2010-04-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像データ及び深度データの組合せを処理する画像処理システム
US7773828B2 (en) 2005-01-13 2010-08-10 Olympus Imaging Corp. Method and device for stabilizing an image by applying an affine transform based on a weighted average of motion vectors
CN101815225A (zh) * 2009-02-25 2010-08-25 三星电子株式会社 生成深度图的方法及其设备
JP2012160838A (ja) * 2011-01-31 2012-08-23 Ricoh Co Ltd Ｔｖ会議システム
CN103208266A (zh) * 2012-01-17 2013-07-17 三星电子株式会社 具有图像转换机制的显示系统及其操作方法
JP2022028431A (ja) * 2020-08-03 2022-02-16 株式会社リコー 画像処理装置および画像処理方法
US12075160B2 (en) 2021-05-26 2024-08-27 Samsung Electronics Co., Ltd. Image signal processor and image processing device

Families Citing this family (96)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7161579B2 (en) * 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7627139B2 (en) * 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US9682319B2 (en) * 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
US7639741B1 (en) * 2002-12-06 2009-12-29 Altera Corporation Temporal filtering using object motion estimation
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US9573056B2 (en) * 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7663689B2 (en) * 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US7657080B2 (en) * 2004-03-01 2010-02-02 Iatia Imaging Pty Ltd Method and apparatus for producing an image containing depth information
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
CN100420295C (zh) * 2004-07-26 2008-09-17 上海乐金广电电子有限公司 Dvd子画面解码时的存储器使用方法
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US7602998B2 (en) * 2004-09-15 2009-10-13 Panasonic Corporation Image signal processing apparatus
JP5431726B2 (ja) * 2005-06-23 2014-03-05 コーニンクレッカ フィリップス エヌ ヴェ 画像および関連データの組み合わされた交換
JP4533824B2 (ja) * 2005-08-30 2010-09-01 株式会社日立製作所 画像入力装置及び校正方法
CN101278314A (zh) * 2005-09-29 2008-10-01 皇家飞利浦电子股份有限公司 用于确定图像拍摄类型的方法和装置
WO2007052612A1 (ja) * 2005-10-31 2007-05-10 Matsushita Electric Industrial Co., Ltd. ステレオ符号化装置およびステレオ信号予測方法
JP4979956B2 (ja) * 2006-02-07 2012-07-18 株式会社沖データ 電子透かし埋め込み装置および電子透かし埋め込み方法
US7477258B2 (en) * 2006-04-26 2009-01-13 International Business Machines Corporation Method and apparatus for a fast graphic rendering realization methodology using programmable sprite control
US20070265075A1 (en) * 2006-05-10 2007-11-15 Sony Computer Entertainment America Inc. Attachable structure for use with hand-held controller having tracking ability
CN100429658C (zh) * 2006-09-07 2008-10-29 北京优纳科技有限公司 大容量快速图像浏览系统
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
JP2009110137A (ja) * 2007-10-29 2009-05-21 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
US8542907B2 (en) * 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
JP5697989B2 (ja) * 2007-12-26 2015-04-08 コーニンクレッカ フィリップス エヌ ヴェ グラフィックスオブジェクトを重ね合わせるための画像プロセッサ
KR101420684B1 (ko) * 2008-02-13 2014-07-21 삼성전자주식회사 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
KR101335346B1 (ko) * 2008-02-27 2013-12-05 소니 컴퓨터 엔터테인먼트 유럽 리미티드 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
KR20100000671A (ko) * 2008-06-25 2010-01-06 삼성전자주식회사 영상 처리 방법
CN101374242B (zh) * 2008-07-29 2010-06-02 宁波大学 一种应用于3dtv与ftv系统的深度图编码压缩方法
CN101374243B (zh) * 2008-07-29 2010-06-23 宁波大学 一种应用于3dtv与ftv系统的深度图编码压缩方法
US8854526B2 (en) * 2008-10-02 2014-10-07 Visera Technologies Company Limited Image sensor device with opaque coating
KR101502372B1 (ko) * 2008-11-26 2015-03-16 삼성전자주식회사 영상 획득 장치 및 방법
KR101497659B1 (ko) * 2008-12-04 2015-03-02 삼성전자주식회사 깊이 영상을 보정하는 방법 및 장치
US8961313B2 (en) * 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
DE102009000810A1 (de) * 2009-02-12 2010-08-19 Robert Bosch Gmbh Vorrichtung zur Segmentierung eines Objektes in einem Bild, Videoüberwachungssystem, Verfahren und Computerprogramm
US8527657B2 (en) * 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
US8342963B2 (en) * 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8142288B2 (en) 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US8393964B2 (en) 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US8320619B2 (en) * 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US8379101B2 (en) * 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
JP2011029998A (ja) * 2009-07-27 2011-02-10 Sony Corp 画像記録装置、画像記録方法、及びプログラム
US9218644B2 (en) 2009-12-17 2015-12-22 Broadcom Corporation Method and system for enhanced 2D video display based on 3D video input
EP2550522B1 (en) * 2010-03-23 2016-11-02 California Institute of Technology Super resolution optofluidic microscopes for 2d and 3d imaging
FI3958573T3 (fi) 2010-04-13 2023-08-23 Ge Video Compression Llc Videokoodaus käyttäen kuvien monipuurakenteen alaosioita
KR101592802B1 (ko) 2010-04-13 2016-02-05 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
KR101529842B1 (ko) 2010-04-13 2015-06-17 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 샘플 배열 멀티트리 세부분할에서 계승
PT3703369T (pt) 2010-04-13 2024-10-29 Ge Video Compression Llc Combinação de regiões de amostras
EP2591602A1 (en) * 2010-07-06 2013-05-15 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
CN101902657B (zh) * 2010-07-16 2011-12-21 浙江大学 一种基于深度图分层的虚拟多视点图像的生成方法
JP5975598B2 (ja) * 2010-08-26 2016-08-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR20120035042A (ko) * 2010-10-04 2012-04-13 삼성전자주식회사 디지털 영상 촬영 장치 및 이의 제어 방법
WO2012058233A2 (en) 2010-10-26 2012-05-03 California Institute Of Technology Scanning projective lensless microscope system
US9569664B2 (en) 2010-10-26 2017-02-14 California Institute Of Technology Methods for rapid distinction between debris and growing cells
US9643184B2 (en) 2010-10-26 2017-05-09 California Institute Of Technology e-Petri dishes, devices, and systems having a light detector for sampling a sequence of sub-pixel shifted projection images
CN102572457A (zh) * 2010-12-31 2012-07-11 财团法人工业技术研究院 前景深度地图产生模块及其方法
TWI469088B (zh) * 2010-12-31 2015-01-11 財團法人工業技術研究院 前景深度地圖產生模組及其方法
KR20140027113A (ko) 2011-03-03 2014-03-06 캘리포니아 인스티튜트 오브 테크놀로지 도광 픽셀
EP2648414B1 (en) * 2012-04-03 2016-03-23 Samsung Electronics Co., Ltd 3d display apparatus and method for processing image using the same
KR101930235B1 (ko) 2012-05-15 2018-12-18 삼성전자 주식회사 디지털 이미지 안정화 방법, 장치 및 시스템
US9014543B1 (en) * 2012-10-23 2015-04-21 Google Inc. Methods and systems configured for processing video frames into animation
US9924142B2 (en) * 2012-11-21 2018-03-20 Omnivision Technologies, Inc. Camera array systems including at least one bayer type camera and associated methods
KR101885088B1 (ko) * 2012-11-22 2018-08-06 삼성전자주식회사 깊이 영상을 이용한 컬러 영상 처리 장치 및 방법
CN104052992B (zh) * 2014-06-09 2018-02-27 联想(北京)有限公司 一种图像处理方法及电子设备
JP6457248B2 (ja) * 2014-11-17 2019-01-23 株式会社東芝 画像復号装置、画像符号化装置および画像復号方法
CN105847793B (zh) 2015-01-16 2019-10-22 杭州海康威视数字技术股份有限公司 视频编解码方法及其装置
CN105847722B (zh) 2015-01-16 2019-04-12 杭州海康威视数字技术股份有限公司 一种视频存储方法和装置、读取方法和装置以及存取系统
CN105847825A (zh) 2015-01-16 2016-08-10 杭州海康威视数字技术股份有限公司 视频编码码流的编码、索引存储和访问方法及相应装置
CN106034237B (zh) 2015-03-10 2020-07-03 杭州海康威视数字技术股份有限公司 一种基于编码切换的混合编码方法和系统
JP2017054337A (ja) * 2015-09-10 2017-03-16 ソニー株式会社 画像処理装置および方法
CN107396138A (zh) * 2016-05-17 2017-11-24 华为技术有限公司 一种视频编解码方法及设备
US11665308B2 (en) 2017-01-31 2023-05-30 Tetavi, Ltd. System and method for rendering free viewpoint video for sport applications
GB201717011D0 (en) * 2017-10-17 2017-11-29 Nokia Technologies Oy An apparatus a method and a computer program for volumetric video
CN108055452B (zh) * 2017-11-01 2020-09-18 Oppo广东移动通信有限公司 图像处理方法、装置及设备
US10796443B2 (en) * 2018-10-17 2020-10-06 Kneron, Inc. Image depth decoder and computing device
CN110365980A (zh) * 2019-09-02 2019-10-22 移康智能科技（上海）股份有限公司 动态调整图像编码区域的方法
JPWO2021182066A1 (ja) * 2020-03-11 2021-09-16
US11847771B2 (en) 2020-05-01 2023-12-19 Samsung Electronics Co., Ltd. Systems and methods for quantitative evaluation of optical map quality and for data augmentation automation
US12028549B1 (en) * 2022-06-02 2024-07-02 Amazon Technologies, Inc. Enhanced video streaming and reference frame synchronization

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06251151A (ja) * 1993-02-25 1994-09-09 Nippon Telegr & Teleph Corp <Ntt> 背景更新をともなう領域の抽出装置
JPH1065923A (ja) * 1996-08-23 1998-03-06 Fuji Photo Film Co Ltd 画像処理方法および装置
JPH11261983A (ja) * 1999-01-18 1999-09-24 Toshiba Corp 動画像復号化装置及び動画像符号化／復号化装置
JP2000230809A (ja) * 1998-12-09 2000-08-22 Matsushita Electric Ind Co Ltd 距離データの補間方法，カラー画像階層化方法およびカラー画像階層化装置
JP2001507541A (ja) * 1996-12-30 2001-06-05 シャープ株式会社 スプライトベースによるビデオ符号化システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05249953A (ja) 1991-12-03 1993-09-28 Toshiba Corp 画像表示装置
DE69328386T2 (de) * 1992-09-30 2000-08-24 Hudson Soft Co. Ltd., Sapporo Bildverarbeitungsgerät
DE69523723D1 (de) 1994-12-15 2001-12-13 Sanyo Electric Co Verfahren zur Umsetzung zweidimensionaler Bilder in dreidimensionale Bilder in einer Videospielkonsole
JPH08182023A (ja) 1994-12-26 1996-07-12 Sanyo Electric Co Ltd ２次元画像を３次元画像に変換する装置
US6301382B1 (en) * 1996-06-07 2001-10-09 Microsoft Corporation Extracting a matte of a foreground object from multiple backgrounds by triangulation
JP3224514B2 (ja) 1996-08-21 2001-10-29 シャープ株式会社 動画像符号化装置および動画像復号装置
KR100501902B1 (ko) 1996-09-25 2005-10-10 주식회사 팬택앤큐리텔 영상정보부호화/복호화장치및방법
JPH10214352A (ja) 1997-01-28 1998-08-11 Namco Ltd 画像生成装置及び画像生成方法
US6249613B1 (en) * 1997-03-31 2001-06-19 Sharp Laboratories Of America, Inc. Mosaic generation and sprite-based coding with automatic foreground and background separation
US5982381A (en) * 1997-07-03 1999-11-09 Microsoft Corporation Method and apparatus for modifying a cutout image for compositing
JP2000032456A (ja) * 1998-07-15 2000-01-28 Nippon Telegr & Teleph Corp <Ntt> スプライト符号化を用いた動画像符号化方法、復号方法、符号化器、復号器および動画像符号化プログラム、動画像復号プログラムを記録した記録媒体
JP2000148130A (ja) 1998-11-05 2000-05-26 Nippon Telegr & Teleph Corp <Ntt> スプライト生成方法、装置及びこの方法を記録した記録媒体
US6873723B1 (en) * 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
US6977664B1 (en) * 1999-09-24 2005-12-20 Nippon Telegraph And Telephone Corporation Method for separating background sprite and foreground object and method for extracting segmentation mask and the apparatus
US6577679B1 (en) * 1999-09-30 2003-06-10 Hewlett-Packard Development Company Lp Method and apparatus for transcoding coded picture signals from object-based coding to block-based coding
US6625310B2 (en) * 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
US6870945B2 (en) * 2001-06-04 2005-03-22 University Of Washington Video object tracking by estimating and subtracting background

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06251151A (ja) * 1993-02-25 1994-09-09 Nippon Telegr & Teleph Corp <Ntt> 背景更新をともなう領域の抽出装置
JPH1065923A (ja) * 1996-08-23 1998-03-06 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2001507541A (ja) * 1996-12-30 2001-06-05 シャープ株式会社 スプライトベースによるビデオ符号化システム
JP2000230809A (ja) * 1998-12-09 2000-08-22 Matsushita Electric Ind Co Ltd 距離データの補間方法，カラー画像階層化方法およびカラー画像階層化装置
JPH11261983A (ja) * 1999-01-18 1999-09-24 Toshiba Corp 動画像復号化装置及び動画像符号化／復号化装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7773828B2 (en) 2005-01-13 2010-08-10 Olympus Imaging Corp. Method and device for stabilizing an image by applying an affine transform based on a weighted average of motion vectors
JP2006352213A (ja) * 2005-06-13 2006-12-28 Fuji Xerox Co Ltd 符号化装置、復号化装置、符号化方法、復号化方法及びこれらのプログラム
KR100803611B1 (ko) 2006-11-28 2008-02-15 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP2010512039A (ja) * 2006-12-04 2010-04-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像データ及び深度データの組合せを処理する画像処理システム
CN101815225A (zh) * 2009-02-25 2010-08-25 三星电子株式会社 生成深度图的方法及其设备
JP2012160838A (ja) * 2011-01-31 2012-08-23 Ricoh Co Ltd Ｔｖ会議システム
CN103208266A (zh) * 2012-01-17 2013-07-17 三星电子株式会社 具有图像转换机制的显示系统及其操作方法
CN103208266B (zh) * 2012-01-17 2017-04-26 三星电子株式会社 具有图像转换机制的显示系统及其操作方法
JP2022028431A (ja) * 2020-08-03 2022-02-16 株式会社リコー 画像処理装置および画像処理方法
US12075160B2 (en) 2021-05-26 2024-08-27 Samsung Electronics Co., Ltd. Image signal processor and image processing device

Also Published As

Publication number Publication date
KR20030004122A (ko) 2003-01-14
US20030012277A1 (en) 2003-01-16
EP1274043A3 (en) 2009-12-02
KR100485559B1 (ko) 2005-04-28
CN1395231A (zh) 2003-02-05
CN100492488C (zh) 2009-05-27
US7016411B2 (en) 2006-03-21
EP1274043A2 (en) 2003-01-08

Similar Documents

Publication Publication Date Title
KR100485559B1 (ko) 화상 신호 부호화 방법, 화상 신호 부호화 장치 및 기록매체
JP3207461B2 (ja) ３次元対象物のトラッキング方法及び装置
US8351685B2 (en) Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
CA2279797C (en) A method for temporal interpolation of an image sequence using object-based image analysis
KR20220137937A (ko) 투영 기반 메시 압축
KR100609249B1 (ko) 영상 오브젝트 트랙킹 방법과 대응 시스
US20030012410A1 (en) Tracking and pose estimation for augmented reality using real features
US20080232716A1 (en) Video Processing Method and Device for Depth Extraction
KR101066550B1 (ko) 가상시점 영상 생성방법 및 그 장치
WO2018225518A1 (ja) 画像処理装置、画像処理方法、プログラム、およびテレコミュニケーションシステム
EP4260554B1 (en) Apparatus and method for processing a depth map
CN118521711A (zh) 一种从单图像中实时恢复三维人体外观的方法
KR101050135B1 (ko) 광류 정보를 이용한 중간 영상 생성 방법
KR20110112143A (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
JPWO2019167760A1 (ja) 画像処理装置、表示装置、画像処理方法、制御プログラム及び記録媒体
EP3809372B1 (en) Method of real-time generation of 3d imaging
JP2017207818A (ja) 画像処理装置、画像処理方法、プログラム
JP2003203237A (ja) 画像マッチング方法と装置、および画像符号化方法と装置
JP6772000B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR100265721B1 (ko) 2차원삼각형조각선격자모델을이용한동영상의움직임추정방법
KR100655465B1 (ko) 실시간 중간 시점 영상 보간 방법
JP2007053621A (ja) 画像生成装置
JP2020077400A (ja) 画像処理装置、画像処理方法、及びプログラム
KR102848376B1 (ko) 볼류메트릭 데이터의 처리 시스템
JP4378801B2 (ja) 画像処理方法および画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100406

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100803