ES2446165B1 - Procedimiento para generar un flujo de vídeo estereoscópico, procedimiento para reconstruir imágenes, dispositivos y flujo de vídeo correspondientes - Google Patents

Procedimiento para generar un flujo de vídeo estereoscópico, procedimiento para reconstruir imágenes, dispositivos y flujo de vídeo correspondientes Download PDF

Info

Publication number
ES2446165B1
ES2446165B1 ES201331307A ES201331307A ES2446165B1 ES 2446165 B1 ES2446165 B1 ES 2446165B1 ES 201331307 A ES201331307 A ES 201331307A ES 201331307 A ES201331307 A ES 201331307A ES 2446165 B1 ES2446165 B1 ES 2446165B1
Authority
ES
Spain
Prior art keywords
procedure
video stream
image
devices
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
ES201331307A
Other languages
English (en)
Other versions
ES2446165A2 (es
ES2446165R1 (es
Inventor
Paolo D'Amato
Giovanni Ballocca
Fedor Bushlanov
Alexey Polyakov
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sisvel SpA
Original Assignee
Sisvel SpA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sisvel SpA filed Critical Sisvel SpA
Publication of ES2446165A2 publication Critical patent/ES2446165A2/es
Publication of ES2446165R1 publication Critical patent/ES2446165R1/es
Application granted granted Critical
Publication of ES2446165B1 publication Critical patent/ES2446165B1/es
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0077Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/003Aspects relating to the "2D+depth" image format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/005Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Procedimiento para generar un flujo de vídeo estereoscópico, procedimiento para reconstruir imágenes, dispositivos y flujo de vídeo correspondientes. El procedimiento para generar dicho flujo comprende imágenes compuestas (C) con información sobre una imagen derecha (R) y una imagen izquierda (L), y un mapa de profundidad. Se seleccionan píxeles de la imagen derecha e izquierda, y se introducen en una imagen compuesta (C) de dicho flujo, estando previsto introducir todos los píxeles de las imágenes derecha e izquierda en la imagen compuesta (C) dejando una de ellas sin cambiar y descomponiendo la otra en regiones (R1, R2, R3) con píxeles, que se introducen en esa región de la imagen compuesta que no está ocupada por píxeles de las imágenes derecha e izquierda. La invención se refiere también a un procedimiento para reconstruir las imágenes derecha e izquierda empezando por una imagen compuesta, y a dispositivos que permiten implementar dichos procedimientos.

Description

imagen1
imagen2
imagen3
imagen4
imagen5
imagen6
imagen7
imagen8
imagen9
imagen10
imagen11
P201331307
05-09-2013
Tras haber decodificado la señalización, el demultiplexador conocerá la posición de la imagen sin cambiar (por ejemplo la imagen izquierda en los ejemplos descritos anteriormente), así como las posiciones de las regiones en las que se desensambló la otra imagen (por ejemplo la imagen derecha en los ejemplos descritos anteriormente) y la
5 posición del mapa de profundidad.
Con esta información, el demultiplexador puede extraer la imagen sin cambiar (por ejemplo la imagen izquierda) y el mapa de profundidad y reconstruir la imagen desensamblada (por ejemplo la imagen derecha).
10 Aunque la presente invención se ha ilustrado hasta ahora con referencia a algunas realizaciones preferidas y ventajosas, queda claro que no se limita a tales realizaciones y que pueden realizarse muchos cambios en la misma por un experto en la materia que quiera combinar en una imagen compuesta dos imágenes relativas a dos perspectivas
15 diferentes (derecha e izquierda) de un objeto o una escena y el mapa de profundidad asociado.
En una posible variante, por ejemplo, en lugar de introducir en el fotograma compuesto C el mapa de profundidad relativo a una de las dos imágenes, se introduce un denominado 20 “mapa de disparidad” o “mapa de desplazamiento”. Bajo las hipótesis adecuadas (filmar con cámaras de vídeo equipadas con una óptica idéntica), puede derivarse fácilmente un mapa de este tipo del mapa de profundidad, con el que puede relacionarse fácilmente. Si las dos imágenes derecha e izquierda se visualizan superpuestas en la misma pantalla y no se utilizan gafas para separarlas, uno puede darse cuenta fácilmente de que para 25 obtener una imagen de la otra es necesario mover los objetos una determinada cantidad. Con más precisión, para obtener la imagen derecha empezando por la imagen izquierda es necesario mover los objetos situados por detrás de la pantalla hacia la derecha una cantidad que aumenta con la profundidad a la que se ubican tales objetos. Los objetos que se ubican exactamente en la pantalla no tienen que moverse, mientras que los
30 objetos ubicados delante de la pantalla tienen que moverse a la izquierda una cantidad que aumenta en función de la distancia de la pantalla.
En las condiciones mencionadas anteriormente, entre la profundidad P y la disparidad D existe una relación del siguiente tipo: 35 D = I*P/(P+P0)
13
imagen12
P201331307
05-09-2013
referencia al caso de mapa único, con variaciones obvias bien conocidas para los expertos en la materia.
Por supuesto, la señalización presente en el flujo de vídeo también debe poder distinguir
5 la presencia de uno o dos mapas. Por consiguiente, dicha señalización debe contener información adaptada para permitir distinguir entre al menos dos de los siguientes tipos de fotogramas compuestos:
1) fotograma compuesto de tipo formato de baldosa sin mapas de profundidad o 10 disparidad (caso de la figura 1a);
2) fotograma compuesto de tipo formato de baldosa con un mapa de profundidad o disparidad (caso de la figura 1b);
15 y posiblemente también:
3) fotograma compuesto de tipo formato de baldosa con dos mapas de profundidad o disparidad en configuración encima y debajo;
20 4) fotograma compuesto de tipo formato de baldosa con dos mapas de profundidad o disparidad en configuración de lado a lado;
5) fotograma compuesto de tipo formato de baldosa con dos mapas de profundidad o disparidad en configuración de formato de baldosa.
25 El receptor comprende preferiblemente uno o más bloques de procesamiento adaptados para llevar a cabo una o más de las siguientes operaciones, basándose en la información de señalización:
30 -reconocer el tipo de fotograma que se recibe, con el fin de reconstruir apropiadamente las dos imágenes derecha e izquierda del contenido de vídeo tridimensional, tal como se describió anteriormente;
-reconocer la presencia de uno o dos mapas de profundidad o disparidad y el tipo de 35 configuración de los mismos;
15
imagen13
imagen14
imagen15

Claims (1)

  1. imagen1
    imagen2
    imagen3
    imagen4
    imagen5
    imagen6
    imagen7
    imagen8
ES201331307A 2012-09-06 2013-09-05 Procedimiento para generar un flujo de vídeo estereoscópico, procedimiento para reconstruir imágenes, dispositivos y flujo de vídeo correspondientes Expired - Fee Related ES2446165B1 (es)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
RU2012138174 2012-09-06
RU2012138174/08A RU2012138174A (ru) 2012-09-06 2012-09-06 Способ компоновки формата цифрового стереоскопического видеопотока 3dz tile format
PCT/IB2013/051782 WO2014037822A1 (en) 2012-09-06 2013-03-06 Method for generating, transmitting and receiving stereoscopic images and relating devices
IB13051782IB 2013-03-06

Publications (3)

Publication Number Publication Date
ES2446165A2 ES2446165A2 (es) 2014-03-06
ES2446165R1 ES2446165R1 (es) 2014-07-11
ES2446165B1 true ES2446165B1 (es) 2015-03-23

Family

ID=48182965

Family Applications (1)

Application Number Title Priority Date Filing Date
ES201331307A Expired - Fee Related ES2446165B1 (es) 2012-09-06 2013-09-05 Procedimiento para generar un flujo de vídeo estereoscópico, procedimiento para reconstruir imágenes, dispositivos y flujo de vídeo correspondientes

Country Status (16)

Country Link
US (1) US9723290B2 (es)
JP (1) JP2015534745A (es)
KR (1) KR20150053774A (es)
CN (1) CN104604222B (es)
AT (1) AT513369A3 (es)
CH (1) CH706886A2 (es)
DE (1) DE102013217826A1 (es)
ES (1) ES2446165B1 (es)
FR (2) FR2995165B1 (es)
GB (1) GB2507844B (es)
IT (1) ITTO20130679A1 (es)
NL (1) NL2011349C2 (es)
PL (1) PL405234A1 (es)
RU (1) RU2012138174A (es)
TW (1) TWI511525B (es)
WO (1) WO2014037822A1 (es)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11277598B2 (en) * 2009-07-14 2022-03-15 Cable Television Laboratories, Inc. Systems and methods for network-based media processing
US9978341B2 (en) * 2014-12-23 2018-05-22 Mediatek Inc. Visual data processing method and visual data processing system which can perform a process operation according to a gazing point
WO2017008125A1 (en) 2015-07-15 2017-01-19 Blinxel Pty Ltd "system and method for image processing"
KR102689919B1 (ko) * 2015-08-18 2024-07-30 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
US11949848B2 (en) 2019-04-01 2024-04-02 Google Llc Techniques to capture and edit dynamic depth images
US11127115B2 (en) 2019-12-13 2021-09-21 NextVPU (Shanghai) Co., Ltd. Determination of disparity
US12361647B2 (en) 2021-10-28 2025-07-15 Samsung Electronics Co., Ltd. System and method for depth and scene reconstruction for augmented reality or extended reality devices
US12489874B2 (en) * 2023-05-31 2025-12-02 Apple Inc. Stereoscopic capture using cameras with different fields of view

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4134027B2 (ja) * 2002-04-25 2008-08-13 シャープ株式会社 画像符号化装置、画像復号装置、及び画像記録装置
WO2004093467A1 (ja) * 2003-04-17 2004-10-28 Sharp Kabushiki Kaisha 3次元画像作成装置、3次元画像再生装置、3次元画像処理装置、3次元画像処理プログラムおよびそのプログラムを記録した記録媒体
US8487982B2 (en) * 2007-06-07 2013-07-16 Reald Inc. Stereoplexing for film and video applications
KR101545009B1 (ko) * 2007-12-20 2015-08-18 코닌클리케 필립스 엔.브이. 스트레오스코픽 렌더링을 위한 이미지 인코딩 방법
KR100950046B1 (ko) * 2008-04-10 2010-03-29 포항공과대학교 산학협력단 무안경식 3차원 입체 tv를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법
BRPI0911447A2 (pt) * 2008-04-25 2018-03-20 Thomson Licensing codificação de sinal de profundidade
CN101668219B (zh) * 2008-09-02 2012-05-23 华为终端有限公司 3d视频通信方法、发送设备和系统
WO2010085361A2 (en) * 2009-01-26 2010-07-29 Thomson Licensing Frame packing for video coding
WO2011039990A1 (ja) * 2009-10-02 2011-04-07 パナソニック株式会社 立体視映像を再生することができる再生装置、集積回路、再生方法、プログラム
IT1397591B1 (it) 2009-12-21 2013-01-16 Sisvel Technology Srl Metodo per la generazione, trasmissione e ricezione di immagini stereoscopiche e relativi dispositivi.
IT1401367B1 (it) * 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
US9571811B2 (en) * 2010-07-28 2017-02-14 S.I.Sv.El. Societa' Italiana Per Lo Sviluppo Dell'elettronica S.P.A. Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content
JPWO2012023330A1 (ja) * 2010-08-16 2013-10-28 富士フイルム株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
EP2426635A1 (en) * 2010-09-01 2012-03-07 Thomson Licensing Method for watermarking free view video with blind watermark detection
IT1402995B1 (it) * 2010-11-12 2013-09-27 Sisvel Technology Srl Metodo di elaborazione di un contenuto video tridimensionale e relativo apparato
WO2012067399A2 (ko) * 2010-11-15 2012-05-24 엘지전자 주식회사 프레임 포맷 전환 방법 및 이러한 방법을 사용하는 장치
IT1404059B1 (it) * 2011-02-14 2013-11-08 Sisvel Technology Srl Metodo per la generazione, trasmissione e ricezione di immagini stereoscopiche e relativi dispositivi.

Also Published As

Publication number Publication date
KR20150053774A (ko) 2015-05-18
PL405234A1 (pl) 2014-03-17
CH706886A2 (it) 2014-03-14
DE102013217826A1 (de) 2014-03-06
US9723290B2 (en) 2017-08-01
ES2446165A2 (es) 2014-03-06
FR3002104B1 (fr) 2017-06-16
TW201415864A (zh) 2014-04-16
JP2015534745A (ja) 2015-12-03
FR3002104A1 (fr) 2014-08-15
NL2011349A (en) 2014-03-10
AT513369A2 (de) 2014-03-15
WO2014037822A1 (en) 2014-03-13
AT513369A3 (de) 2018-08-15
GB2507844B (en) 2017-07-19
ES2446165R1 (es) 2014-07-11
CN104604222B (zh) 2017-03-29
RU2012138174A (ru) 2014-03-27
TWI511525B (zh) 2015-12-01
FR2995165A1 (fr) 2014-03-07
ITTO20130679A1 (it) 2014-03-07
FR2995165B1 (fr) 2017-12-29
NL2011349C2 (en) 2014-05-08
GB201314206D0 (en) 2013-09-25
US20150215599A1 (en) 2015-07-30
CN104604222A (zh) 2015-05-06
GB2507844A (en) 2014-05-14

Similar Documents

Publication Publication Date Title
ES2446165B1 (es) Procedimiento para generar un flujo de vídeo estereoscópico, procedimiento para reconstruir imágenes, dispositivos y flujo de vídeo correspondientes
ES2564937T3 (es) Método para combinar imágenes referentes a un contenido tridimensional
ES2332708T3 (es) Aparato y procedimiento de procesamiento de imagenes estereoscopicas.
KR101626486B1 (ko) 방송 수신기 및 비디오 데이터 처리 방법
CN104904205B (zh) 立体影像编解码装置、立体影像编解码方法、记录有立体影像编解码程序的记录介质
TWI651960B (zh) 編碼/解碼視訊資料信號之方法與編碼器/解碼器及相關之視訊資料信號、視訊資料載體及電腦程式產品
EP2533541A4 (en) STEREO CAMERA
RU2011106338A (ru) Кодирующее устройство для сигналов трехмерного видеоизображения
MX2016012988A (es) Visualizacion estereoscopica.
CN102113324A (zh) 视频编码装置、视频编码方法、视频再现装置、视频再现方法、视频记录介质以及视频数据流
WO2016103024A3 (en) Three dimensional imaging with a single camera
PE20130336A1 (es) Metodo para generar, transmitir y recibir imagenes estereoscopicas, y dispositivos relacionados
WO2014124262A3 (en) Method and apparatus for stereoscopic imaging
NZ602870A (en) Method for generating and rebuilding a stereoscopic-compatible video stream and related coding and decoding devices
PH12015501189B1 (en) Slant lens interlacing
CN102868893A (zh) 一种裸眼3d图像的形成方法、装置及3d显示系统
CN103747236A (zh) 结合人眼跟踪的立体视频处理系统及方法
TW201612853A (en) Method for creating depth map and a multi-lens camera system using the method
TWI540880B (zh) 立體影像顯示方法及立體影像顯示裝置
JP4966941B2 (ja) 3次元映像データ生成方法、3次元映像データ生成システム、及び3次元映像データ生成プログラム
EP2611164A3 (en) Display apparatus and method for providing three dimensional (3D) image
KR20110106708A (ko) 영상 시스템에서 영상 디스플레이 장치 및 방법
JP2012134885A (ja) 画像処理装置及び画像処理方法
US10129537B2 (en) Autostereoscopic 3D display apparatus
ES2308923B1 (es) Procedimiento de television digital en tres dimensiones.

Legal Events

Date Code Title Description
FG2A Definitive protection

Ref document number: 2446165

Country of ref document: ES

Kind code of ref document: B1

Effective date: 20150323

FD2A Announcement of lapse in spain

Effective date: 20210929