ES2307210T3 - Renderizacion de imagenes basandose en segmentacion de imagenes. - Google Patents
Renderizacion de imagenes basandose en segmentacion de imagenes. Download PDFInfo
- Publication number
- ES2307210T3 ES2307210T3 ES05802412T ES05802412T ES2307210T3 ES 2307210 T3 ES2307210 T3 ES 2307210T3 ES 05802412 T ES05802412 T ES 05802412T ES 05802412 T ES05802412 T ES 05802412T ES 2307210 T3 ES2307210 T3 ES 2307210T3
- Authority
- ES
- Spain
- Prior art keywords
- displacement
- field
- edge
- image
- segments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—Three-dimensional [3D] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—Three-dimensional [3D] image rendering
- G06T15/10—Geometric effects
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Editing Of Facsimile Originals (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Picture Signal Circuits (AREA)
- Image Generation (AREA)
Abstract
Procedimiento para proporcionar imágenes renderizadas basándose en segmentación de imágenes con - determinación de un borde dentro de la imagen introducido por límites de segmentos de imagen, - determinación de una región de borde alrededor del borde, - determinación de un primer campo de desplazamiento para los segmentos, - determinación de un segundo campo de desplazamiento para la región de borde, - fusión del primer y el segundo campo de desplazamiento en un tercer campo de desplazamiento que tiene un desplazamiento del primer campo de desplazamiento para los segmentos y un desplazamiento del segundo campo de desplazamiento para la región de borde, de modo que la región de borde es tratada como un objeto independiente con un desplazamiento independiente, y - desplazar los píxeles de imagen según el tercer campo de desplazamiento.
Description
Renderización de imágenes basándose en
segmentación de imágenes.
La invención se refiere en general a un
procedimiento y a un sistema para proporcionar imágenes renderizadas
basándose en segmentación de imágenes con determinación de al menos
un borde dentro de la imagen introducido por límites de segmentos
de imagen.
Por ejemplo, la renderización basada en
desplazamiento se utiliza en aplicaciones de compresión así como en
renderización de datos "imagen+profundidad", tal como datos de
imagen dimensional 2,5 (2,5-D) en visualizaciones
multivista. La renderización basada en desplazamiento puede
aplicarse cuando tienen que generarse nuevas imágenes basándose en
imágenes existentes, cuando, por ejemplo, el punto de vista ha
cambiado ligeramente o el momento de la observación es ligeramente
posterior. La segmentación de imágenes también se aplica, por
ejemplo, cuando se usa estimación de movimiento para comprimir
imágenes. Cuando se segmentan imágenes y los segmentos se desplazan,
necesita tratarse el relleno de huecos y la borrosidad de bordes.
Para renderización basada en desplazamiento, se dispone de los
datos de imagen originales. Además, se proporciona un campo de
desplazamiento, o un mapa de profundidad equivalente. El campo de
desplazamiento o el mapa de profundidad determina para cada píxel,
cuánto debe desplazarse este píxel. Sin embargo, cuando se desplazan
píxeles, en la mayoría de los casos no se desplazan todos el mismo
valor, dando como resultado el problema de relleno de huecos.
Además, debido a borrosidad de bordes, los límites de segmento no
pueden siempre determinarse hasta el nivel de píxel.
Normalmente, el campo de desplazamiento no es el
mismo para todos los píxeles dentro de una imagen. Esta diferencia
en el campo de desplazamiento conduce a ocupaciones dobles en las
que dos píxeles se desplazan a la misma ubicación en la imagen de
salida, así como a huecos, donde dentro de la imagen de salida
determinadas ubicaciones no tienen un píxel asignado. Mientras que
las ocupaciones dobles pueden resolverse de manera relativamente
sencilla, el relleno de huecos requiere calcular nuevos datos de
imagen que pueden usarse para el hueco.
A partir del documento de R.P. Berretty y F.E.
Ernst, "High-quality images from 2.5D video"
Proceedings Eurographics Conference, Granada, España, 2003, se
conoce un procedimiento, que permite usar información de capa
oculta, tal como dentro de datos de imagen 2,5 D, para calcular
nuevos datos de imagen.
La segmentación de imágenes puede basarse en el
hecho de que los cambios en el campo de movimiento normalmente se
producen en los límites de objeto, y los límites de objeto
normalmente coinciden, por ejemplo, con límites de color. Un
posible procedimiento de segmentación de imágenes puede agrupar
píxeles con un color similar. Una posible solución para
segmentación de imágenes se ilustra en la figura 1. Las líneas
continuas dentro de la figura 1 representan límites 2 de segmento y
las regiones con puntos son segmentos 4 de imagen. La segmentación
de imágenes se conoce bien y se dispone de diversos procedimientos.
Por ejemplo, un posible procedimiento de segmentación se conoce de
F. Ernst, P. Wilinski y K. van Overveld: "Dense
structure-from-motion: an approach
based on segment matching", Proc. European Conference on Computer
Vision 2002, Springer Lecture Notes on Computer Science vol. 2531,
Copenhague, págs. II-217 -
II-231.
Desplazar píxeles de segmentos de manera
diferente conduce a problemas con el relleno de huecos. Los límites
de segmento normalmente se producen en discontinuidades, tales como
discontinuidades de color. Por tanto, el procedimiento de
interpolación para relleno de huecos necesita llevarse a cabo en una
región con mucha variación, por ejemplo, variación de color.
Adicionalmente, la interpolación debe llevarse a cabo a menudo
desde un lado del límite, requiriendo el algoritmo de relleno de
hueco conocer lo que está en primer plano y lo que está en segundo
plano dentro de la imagen. Adicionalmente, los límites entre objetos
se emborronan sobre múltiples píxeles debido al sistema de
adquisición. El emborronamiento da como resultado bordes, que no
están bien definidos y nítidos, sino más bien lavados. El
tratamiento inadecuado de esta borrosidad en el procedimiento de
renderización puede conducir a bordes fantasma.
En este sentido la técnica anterior presenta los
problemas de relleno de huecos en límites de objeto que coinciden
con límites de imagen con mucha variación, tales como límites de
color. Además, debe tratarse la borrosidad en los límites de
objeto.
Es un objetivo de la invención proporcionar un
procedimiento para desplazamiento de segmentos que supere estos
problemas. Otro objetivo adicional es proporcionar un procedimiento
para desplazamiento de segmentos que proporcione buenos resultados
incluso sin conocimiento de la ordenación de profundidad de los
límites de objeto. Adicionalmente, un objetivo adicional de la
invención es proporcionar un procedimiento para desplazamiento de
segmentos sin la necesidad de estimar la cantidad de borrosidad en
el límite de objeto.
Estos y otros objetivos se resuelven mediante un
procedimiento para proporcionar imágenes renderizadas basándose en
segmentación de imágenes con determinación de al menos un borde
dentro de la imagen introducido por límites de segmentos de imagen,
determinación de una región de borde alrededor del borde,
determinación de un primer campo de desplazamiento para los
segmentos, determinación de un segundo campo de desplazamiento para
la región de borde, fusión del primer y el segundo campo de
desplazamiento en un tercer campo de desplazamiento que tiene un
desplazamiento del primer campo de desplazamiento para los segmentos
y un desplazamiento del segundo campo de desplazamiento para al
menos parte de la región de borde, de modo que la región de borde es
tratada como un objeto independiente con un desplazamiento
independiente, y desplazamiento de los píxeles de imagen según el
tercer campo de desplazamiento.
El procedimiento de la invención permite un
sencillo procedimiento de relleno de huecos desplazando los huecos
a regiones con menor variación. Adicionalmente, el procedimiento de
la invención resuelve el efecto de borrosidad automáticamente,
puesto que la región con borrosidades de borde se desplaza
independientemente de los segmentos. No se requiere ni la
información de ordenamiento de profundidad ni la información sobre
borrosidad de bordes. Los huecos restantes pueden colocarse dentro
del interior de los objetos y no dentro del interior de los bordes.
Así, el relleno de huecos puede resolverse más fácilmente por
interpolación. Teniendo en cuenta una región de borde, pueden
tratarse los bordes borrosos.
La segmentación de imágenes puede agrupar
píxeles en segmentos que tienen parámetros similares, tales como
luminancia similar o color similar o cualquier otra similitud. Dados
dos segmentos vecinos, pueden definirse regiones de borde entre
estos segmentos. Las regiones de borde pueden definirse de modo que
consisten en todos los píxeles, que están separados a menos de una
determinada distancia, por ejemplo cinco píxeles, del límite de los
dos segmentos.
La estimación del campo de desplazamiento puede
realizarse mediante cualquier procedimiento de estimación de
movimiento conocido. Los procedimientos de estimación de movimiento
normalmente prueban diversos vectores de movimiento
(desplazamiento) candidatos, y seleccionan el que da como resultado
el mejor ajuste. El procedimiento de la invención proporciona
encontrar vectores de movimiento para cada segmento según se define
por la segmentación, así como un vector de movimiento de la región
de borde, que puede o no ser el mismo que el vector de movimiento
de uno de sus segmentos de origen, proporcionando así al menos dos
campos de desplazamiento diferentes.
Según el procedimiento de la invención, los dos
segmentos y la región de borde se tratan como tres objetos
independientes. Por tanto, dos huecos, uno entre un primer segmento
y la región de borde y uno entre la región de borde y un segundo
segmento pueden crearse en lugar de sólo un hueco. Estos dos huecos
pueden ser cada uno más pequeño que un único hueco, haciendo por
tanto la interpolación más sencilla. Como la borrosidad del borde
se desplaza dentro de la región de borde, como si fuera un único
objeto, no es necesario realizar desemborronado/reemborronado o
estimar la cantidad de borrosidad. Los dos huecos entre los
segmentos y las regiones de borde están en partes homogéneas de los
segmentos y por tanto son fáciles de rellenar.
A diferencia de la extensión de segmentos
conocida, el procedimiento de la invención no requiere que el borde
tenga el mismo desplazamiento que uno de los objetos, haciendo que
el procedimiento de la invención sea más robusto respecto a errores
en la estimación del campo de desplazamiento. No se requiere
ordenación de profundidad. Sin embargo, el vector de movimiento del
borde puede dar una clave respecto a la ordenación de
profundidad.
El procedimiento de la invención es aplicable
para renderizar datos adecuados para visualización 3D. Además,
debido al procedimiento de la invención los procedimientos de
compresión de vídeo que se basan en renderización basada en
desplazamiento pueden volverse más robustos.
Se proporciona relleno de huecos según las
reivindicaciones 2 y 3. Este relleno de huecos puede basarse en los
valores de píxel de los píxeles de límite en cada lado de la región
de borde. El relleno de huecos puede llevarse a cabo en una región
que no pertenece directamente al borde. Simplemente extrapolando los
valores de píxel de los segmentos en el límite al hueco, puede
rellenarse el hueco.
Los bordes pueden determinarse por los límites
entre los segmentos de imagen según la reivindicación 4.
Realizaciones según la reivindicación 5 también
proporcionan determinación de regiones de borde asignando a cada
borde todos los píxeles, que están más próximos a dicho borde que un
número de umbral de píxeles. También es posible determinar la
región de borde de modo que se proporcione una extensión suficiente
a ambos lados del borde, o determinar la región de borde de modo
que se extienda de manera suficientemente amplia perpendicularmente
a ambos lados del borde.
Para tener la borrosidad de borde dentro de la
región de borde, se proporcionan las características de la
reivindicación 5 ó 6. Tener en cuenta la región que rodea el límite
puede ser esencial para tratar bordes emborronados. En este
sentido, el borde y su borrosidad se tratan como un objeto
independiente y se desplazan en consecuencia.
Para determinar los campos de desplazamiento
primero y segundo, puede utilizarse la información de profundidad
2,5-D según la reivindicación 7 u 8. Esta
información puede utilizarse para generar el primer campo de
desplazamiento y posiblemente el segundo también. Además, la
segmentación de imágenes puede realizarse sobre información de
profundidad en lugar de la propia imagen. De este modo, los campos
de desplazamiento pueden calcularse desde una fuente externa, a
diferencia de calcularlos por estimación de movimiento. Con una
secuencia 2,5D que comprende imagen y profundidad puede derivarse
el desplazamiento a partir de la profundidad, y la segmentación de
imágenes puede estar basada o bien en profundidad o bien en
imagen.
La estimación de movimiento para determinar el
desplazamiento de los campos de desplazamiento primero y segundo se
proporciona según la reivindicación 9.
Para proporcionar huecos entre la región de
borde y los segmentos, que son cada uno más pequeño que un único
hueco, se proporciona un procedimiento según la reivindicación 11.
El segundo campo de desplazamiento puede tener valores de
desplazamiento, que están entre los valores de desplazamiento de uno
de los segmentos. El desplazamiento es una cantidad 2D con
desplazamiento x e y.
El desplazamiento de los píxeles puede llevarse
a cabo tomando para al menos partes de píxeles en la región de
borde los desplazamientos desde el segundo campo de desplazamiento y
para todos los demás píxeles el desplazamiento desde el primer
campo de desplazamiento.
La estimación de movimiento puede llevarse a
cabo directamente sobre los segmentos y las regiones de borde y por
tanto el tercer campo de desplazamiento puede calcularse
directamente según la reivindicación 13.
En el caso de que los primeros píxeles del
segmento principal se desplacen y posteriormente se desplacen los
píxeles de las regiones de borde, pueden tratarse regiones de
oclusión de manera adecuada según la reivindicación 14.
Estas y otras ventajas pueden también ser
resultado de las otras reivindicaciones dependientes.
Otro aspecto de la invención es un sistema
dispuesto para proporcionar imágenes renderizadas basándose en
segmentación de imágenes que comprende medios de determinación
dispuestos para determinar un borde dentro de la imagen introducido
por límites de segmentos de imagen, para determinar una región de
borde alrededor del borde, para determinar un primer campo de
desplazamiento para los segmentos, y para determinar un segundo
campo de desplazamiento para la región de borde, medios de fusión
dispuestos para fusionar el primer y el segundo campo de
desplazamiento en un tercer campo de desplazamiento que tiene un
desplazamiento del primer campo de desplazamiento para los
segmentos y un desplazamiento del segundo campo de desplazamiento
para la región de borde, de modo que la región de borde es tratada
como un objeto independiente con un desplazamiento independiente, y
medios de desplazamiento dispuestos para desplazar los píxeles de
imagen según el tercer campo de desplazamiento.
Incluso un aspecto adicional de la invención es
un programa informático y un producto de programa informático para
proporcionar imágenes renderizadas basándose en segmentación de
imágenes que puede operarse para hacer que un procesador determine
un borde dentro de la imagen introducido por límites de segmentos de
imagen, determine una región de borde alrededor del borde,
determine un primer campo de desplazamiento para los segmentos,
determine un segundo campo de desplazamiento para la región de
borde, fusione el primer y el segundo campo de desplazamiento en un
tercer campo de desplazamiento que tiene un desplazamiento del
primer campo de desplazamiento para los segmentos y un
desplazamiento del segundo campo de desplazamiento para la región de
borde, de modo que la región de borde es tratada como un objeto
independiente con un desplazamiento independiente, y desplace los
píxeles de imagen según el tercer campo de desplazamiento.
Estos y otros aspectos de la invención serán
evidentes de y se dilucidarán con referencia a las figuras
siguientes. En las figuras muestra:
la figura 1 una imagen segmentada;
la figura 2 esquemas de relleno de un hueco para
segmentación de imágenes;
la figura 3 relleno de un hueco con
desemborronado;
la figura 4 segmentación y desplazamiento de
imágenes según un procedimiento de la invención;
la figura 5 un primer plano de una región de
borde que está segmentándose y desplazándose según un procedimiento
de la invención.
A lo largo de las figuras, los mismos números de
referencia se refieren a elementos similares. El procedimiento
particular de la invención se refiere a renderización basándose en
desplazamiento, por ejemplo utilizada en algoritmos de compresión o
en datos de renderización "imagen+profundidad" en
visualizaciones multivista. El procedimiento particular de la
invención proporciona un enfoque automático para renderizar imágenes
basándose en segmentación de imágenes.
La figura 1 ilustra una imagen que comprende
segmentos 4 que están determinados por límites 2. Los límites 2 son
bordes, que pueden determinarse a partir de discontinuidades de
imagen, por ejemplo discontinuidades en variación de color o,
cuando se disponga de ellas, discontinuidades en un campo de
desplazamiento de un desplazamiento dado o datos de disparidad de
una imagen 2,5-D. Otras discontinuidades son también
posibles, tales como dentro de luminancia, contraste, brillo,
crominancia o cualquier otro valor.
La figura 2a muestra esquemáticamente una
ilustración de una vista transversal a través de una imagen. El eje
horizontal puede interpretarse como la coordenada de la línea de
exploración, y el eje vertical puede interpretarse como el valor de
luminancia de la imagen en la línea de exploración respectiva. Tal
como se representa en la figura 2, la línea de exploración tiene
una discontinuidad en el valor de luminancia y la imagen puede
segmentarse en un segmento 4a izquierdo y un segmento 4b derecho
dividido por un borde 2, que puede estar emborronado.
Para proporcionar desplazamiento los segmentos
mediante un vector de movimiento (no representado), los segmentos
4a, 4b pueden cortarse en dos segmentos separados a través del borde
2. El borde 2 se determina mediante el límite entre los segmentos
4a y 4b.
En la figura 2b se ilustra un esquema de relleno
de hueco por interpolación lineal. El segmento 4a izquierdo se
desplaza hacia la izquierda y el segmento 4b derecho se desplaza
hacia la derecha comenzando desde el borde 2. El relleno 8 de hueco
es una interpolación lineal entre los valores del segmento 4a
izquierdo y el segmento 4b derecho en el borde 2. Esta
interpolación da como resultado una imagen con bordes que tienen un
valor constante en su parte media. Esto puede dar como resultado
visualmente bordes mucho más emborronados y artefactos
indeseables.
La figura 2c ilustra un esquema de relleno de
huecos que proporciona copiar el valor de luminancia desde el
segmento 4b derecho en el hueco, lo que proporciona un borde
fantasma. Tal como puede verse, el valor de luminancia del segmento
4b derecho se copia a un hueco, proporcionando el relleno 8 de
hueco. Esto puede conducir también a artefactos visuales.
La figura 3a ilustra esquemáticamente un esquema
de relleno de huecos según el objeto tal como se describe en el
documento WO 02/51124. Este enfoque proporciona en primer lugar
desplazamiento del segmento 4b derecho mediante un vector de
desplazamiento. En primer lugar, los segmentos 4a y 4b se
desemborronan, proporcionando un borde 2 de etapa. A continuación,
el segmento 4b se desplaza mediante un vector de desplazamiento, tal
como se representa en la figura 3b.
Finalmente, tal como se ilustra en la figura 3c,
el borde 2 se reemborrona y se aplica el relleno 8 de hueco
reemborronado. Este reemborronado tiene lugar utilizando un radio de
borrosidad estimado. Sin embargo estimar el radio de borrosidad es
complicado y puede conducir a resultados erróneos. Adicionalmente,
se requiere conocer cuál es la ordenación de profundidad de los
objetos, puesto que sólo esto permite el reemborronado correcto.
La figura 4a representa la segmentación de una
imagen según una realización de la invención. Alrededor de un borde
2, una región 12 de borde se determina, que comprende la región
emborronada alrededor del borde 2. Además de la región 12 de borde,
se determinan los segmentos 4a y 4b. La región 12 de borde se
considera un objeto independiente con un desplazamiento
independiente.
En la figura 4b se ilustra la imagen después del
desplazamiento. Como puede verse, el segmento 4a se desplaza hacia
la izquierda según un primer vector de desplazamiento. La región 12
de borde se desplaza hacia la izquierda según un segundo vector de
desplazamiento, que es más pequeño que el primer vector de
desplazamiento, y el segmento 4b se desplaza hacia la derecha según
un tercer vector de desplazamiento. Desplazando la región 12 de
borde independientemente de los segmentos 4a y 4b, se proporcionan
dos huecos independientes, que pueden rellenarse con el relleno
14a, 14b de huecos. La borrosidad se resuelve automáticamente puesto
que se desplaza la propia borrosidad de borde, y no se requiere
información de ordenación de profundidad. Los dos huecos están en
las partes homogéneas de los segmentos 4a, 4b y por tanto son
fáciles de rellenar. Además, cada hueco puede ser más pequeño que
un único hueco como en los procedimientos según la figura 2 y la
figura 3. Esto puede hacer más fácil la interpolación. Como la
región de borde no va a desplazarse mediante el mismo vector de
desplazamiento que uno de los segmentos 4a, 4b, el procedimiento
propuesto es más robusto respecto a errores en la estimación del
campo de desplazamiento.
La figura 5a ilustra un primer plano de una
imagen, en la que dos segmentos 4a, 4b están separados mediante un
borde 2. Además, los vectores 10a, y 10b de desplazamiento para los
segmentos 4a, 4b respectivos se muestran en la figura 5a.
En la figura 5b se muestra que el borde 2 está
encerrado en una circunferencia mediante una región 12 de borde,
teniendo en cuenta la borrosidad de borde. La región 12 de borde se
elige de modo que la borrosidad de borde está dentro de esta
región. Ilustrado adicionalmente en la figura 5b están vectores 10a,
y 10b de desplazamiento como en la figura 5a así como un vector 10c
de desplazamiento adicional que indica un desplazamiento de la
región 12 de borde. Estos vectores 10 de desplazamiento pueden
expresarse dentro de un campo de desplazamiento, indicando para
cada región dentro de la imagen un desplazamiento particular.
La figura 5c ilustra la imagen después del
desplazamiento según el procedimiento de la invención. El segmento
4a se desplaza hacia la izquierda según el vector 10a de
desplazamiento. La región 12 de borde se desplaza hacia la derecha
según el vector 10c de desplazamiento y el segmento 4b se desplaza
hacia la derecha según el vector 10b de desplazamiento. Estos tres
diferentes vectores 10 de desplazamiento dan como resultado el
desplazamiento de la región 12 de borde de modo que se proporcionan
huecos entre el segmento 4a, la región 12 de borde así como entre
el segmento 4b y la región 12 de borde. Estos huecos pueden
rellenarse con relleno 14a, 14b de huecos.
El procedimiento de la invención permite
segmentar y renderizar imágenes y rellenar los huecos resultantes
sin la necesidad de desemborronar o reemborronar. Además, se
minimizan los errores debidos al relleno de huecos.
Claims (16)
1. Procedimiento para proporcionar imágenes
renderizadas basándose en segmentación de imágenes con
- -
- determinación de un borde dentro de la imagen introducido por límites de segmentos de imagen,
- -
- determinación de una región de borde alrededor del borde,
- -
- determinación de un primer campo de desplazamiento para los segmentos,
- -
- determinación de un segundo campo de desplazamiento para la región de borde,
- -
- fusión del primer y el segundo campo de desplazamiento en un tercer campo de desplazamiento que tiene un desplazamiento del primer campo de desplazamiento para los segmentos y un desplazamiento del segundo campo de desplazamiento para la región de borde, de modo que la región de borde es tratada como un objeto independiente con un desplazamiento independiente, y
- -
- desplazar los píxeles de imagen según el tercer campo de desplazamiento.
2. Procedimiento según la reivindicación 1, con
relleno de un hueco después de haber desplazado los píxeles con
valores de píxel.
3. Procedimiento según la reivindicación 2, con
cálculo de los valores de píxel para relleno de hueco a partir de
valores de píxel de píxeles que limitan el hueco desde al menos uno
de los segmentos o a partir de valores de píxel de píxeles de la
región de borde que limita el hueco.
4. Procedimiento según una cualquiera de las
reivindicaciones 1 a 3, con determinación del borde detectando
límites entre segmentos de imagen.
5. Procedimiento según una cualquiera de las
reivindicaciones 1 a 4, con determinación de la región de borde
asignando a cada borde todos los píxeles que están más próximos a
dicho borde que un número de umbral de píxeles.
6. Procedimiento según una cualquiera de las
reivindicaciones 1 a 5, con determinación de la región de borde de
modo que la borrosidad de borde está dentro de la región de
borde.
7. Procedimiento según una cualquiera de las
reivindicaciones 1 a 6, con provisión de una señal de imagen
dimensional 2,5 con una información de imagen original y una
información de profundidad original para renderización basada en
desplazamiento.
8. Procedimiento según la reivindicación 7, con
detección de discontinuidades dentro de la información de
profundidad de la imagen dimensional 2,5 para determinar el primer
y/o el segundo campo de desplazamiento.
9. Procedimiento según una cualquiera de las
reivindicaciones 1 a 8, con determinación del primer y/o el segundo
campo de desplazamiento a partir de estimación de movimiento de los
segmentos y/o de las regiones de borde.
10. Procedimiento según una cualquiera de las
reivindicaciones 1 a 9, con determinación del segundo campo de
desplazamiento de modo que únicamente los píxeles dentro de la
región de borde tengan un desplazamiento.
11. Procedimiento según una cualquiera de las
reivindicaciones 1 a 10, con determinación del segundo campo de
desplazamiento de modo que el desplazamiento esté entre los valores
de desplazamiento de los dos segmentos correspondientes.
12. Procedimiento según una cualquiera de las
reivindicaciones 1 a 11, con determinación del tercer campo de
desplazamiento tomando para al menos partes de los píxeles en la
región de borde los desplazamientos desde el segundo campo de
desplazamiento y para todos los demás píxeles el desplazamiento
desde el primer campo de desplazamiento.
13. Procedimiento según una cualquiera de las
reivindicaciones 1 a 12, con determinación del tercer campo de
desplazamiento directamente por estimación de movimiento de los
segmentos y la región de borde.
14. Procedimiento según una cualquiera de las
reivindicaciones 1 a 13, con desplazamiento de los píxeles según el
tercer campo de desplazamiento de modo que los segmentos se
desplacen en primer lugar.
15. Sistema dispuesto para proporcionar imágenes
renderizadas basadas en segmentación de imágenes que comprende:
- -
- medios de determinación dispuestos para determinar un borde dentro de la imagen introducido por límites de segmentos de imagen, para determinar una región de borde alrededor del borde, para determinar un primer campo de desplazamiento para los segmentos, y para determinar un segundo campo de desplazamiento para la región de borde,
- -
- medios de fusión dispuestos para fusionar el primer y el segundo campo de desplazamiento en un tercer campo de desplazamiento que tiene un desplazamiento del primer campo de desplazamiento para los segmentos y un desplazamiento del segundo campo de desplazamiento para la región de borde, de modo que la región de borde es tratada como un objeto independiente con un desplazamiento independiente, y
- -
- medios de desplazamiento para desplazar los píxeles de imagen según el tercer campo de desplazamiento.
16. Producto de programa informático para
proporcionar imágenes renderizadas basándose en segmentación de
imágenes con un programa informático que puede operarse para hacer
que un procesador:
- -
- determine un borde dentro de la imagen introducido por límites de segmentos de imagen,
- -
- determine una región de borde alrededor del borde,
- -
- determine un primer campo de desplazamiento para los segmentos,
- -
- determine un segundo campo de desplazamiento para la región de borde,
- -
- fusione el primer y el segundo campo de desplazamiento en un tercer campo de desplazamiento que tiene un desplazamiento del primer campo de desplazamiento para los segmentos y un desplazamiento del segundo campo de desplazamiento para la región de borde, de modo que la región de borde es tratada como un objeto independiente con un desplazamiento independiente, y
- -
- desplace los píxeles de imagen según el tercer campo de desplazamiento.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP04105793 | 2004-11-16 | ||
| EP04105793 | 2004-11-16 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2307210T3 true ES2307210T3 (es) | 2008-11-16 |
Family
ID=35614669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES05802412T Expired - Lifetime ES2307210T3 (es) | 2004-11-16 | 2005-11-08 | Renderizacion de imagenes basandose en segmentacion de imagenes. |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US7840070B2 (es) |
| EP (1) | EP1815441B1 (es) |
| JP (1) | JP4796072B2 (es) |
| KR (1) | KR20070086283A (es) |
| CN (1) | CN101061519B (es) |
| AT (1) | ATE395670T1 (es) |
| DE (1) | DE602005006836D1 (es) |
| ES (1) | ES2307210T3 (es) |
| WO (1) | WO2006054200A1 (es) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100067818A1 (en) * | 2008-09-15 | 2010-03-18 | Sony Corporation, A Japanese Corporation | System and method for high quality image and video upscaling |
| EP2180449A1 (en) * | 2008-10-21 | 2010-04-28 | Koninklijke Philips Electronics N.V. | Method and device for providing a layered depth model of a scene |
| WO2012153513A1 (ja) * | 2011-05-12 | 2012-11-15 | パナソニック株式会社 | 画像生成装置、及び画像生成方法 |
| US8842909B2 (en) * | 2011-06-30 | 2014-09-23 | Qualcomm Incorporated | Efficient blending methods for AR applications |
| JP5429336B2 (ja) * | 2011-09-16 | 2014-02-26 | 株式会社リコー | 画像処理装置、画像処理方法およびプログラム |
| TWI585715B (zh) | 2015-12-23 | 2017-06-01 | 粉迷科技股份有限公司 | 融入背景圖形的電腦圖案邊緣處理方法與電腦裝置 |
| GB2548558A (en) * | 2016-03-17 | 2017-09-27 | Nokia Technologies Oy | Method and apparatus for processing video information |
| CN109064473B (zh) * | 2018-07-26 | 2022-03-29 | 华南理工大学 | 一种2.5d超声宽景图像分割方法 |
| JP7336773B2 (ja) * | 2018-10-29 | 2023-09-01 | パナソニックＩｐマネジメント株式会社 | 情報提示方法、情報提示装置、及び、情報提示システム |
| WO2021092600A2 (en) * | 2020-12-14 | 2021-05-14 | Innopeak Technology, Inc. | Pose-over-parts network for multi-person pose estimation |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4925294A (en) * | 1986-12-17 | 1990-05-15 | Geshwind David M | Method to convert two dimensional motion pictures for three-dimensional systems |
| JP4065462B2 (ja) * | 1997-12-26 | 2008-03-26 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| EP1048170A1 (en) * | 1998-08-21 | 2000-11-02 | Koninklijke Philips Electronics N.V. | Problem area location in an image signal |
| CN1524249A (zh) * | 2000-09-14 | 2004-08-25 | 用于自动进行二维和三维转换的方法 | |
| JP2002140695A (ja) * | 2000-11-01 | 2002-05-17 | Omron Corp | 検査方法およびその装置 |
| AU2002235252A1 (en) * | 2000-12-19 | 2002-07-01 | Pulsent Corporation | Deblurring and re-blurring image segments |
| US6965379B2 (en) * | 2001-05-08 | 2005-11-15 | Koninklijke Philips Electronics N.V. | N-view synthesis from monocular video of certain broadcast and stored mass media content |
| US7689021B2 (en) * | 2005-08-30 | 2010-03-30 | University Of Maryland, Baltimore | Segmentation of regions in measurements of a body based on a deformable model |
-
2005
- 2005-11-08 EP EP05802412A patent/EP1815441B1/en not_active Expired - Lifetime
- 2005-11-08 DE DE602005006836T patent/DE602005006836D1/de not_active Expired - Lifetime
- 2005-11-08 WO PCT/IB2005/053665 patent/WO2006054200A1/en not_active Ceased
- 2005-11-08 KR KR1020077013590A patent/KR20070086283A/ko not_active Withdrawn
- 2005-11-08 JP JP2007540788A patent/JP4796072B2/ja not_active Expired - Fee Related
- 2005-11-08 US US11/718,917 patent/US7840070B2/en not_active Expired - Fee Related
- 2005-11-08 AT AT05802412T patent/ATE395670T1/de not_active IP Right Cessation
- 2005-11-08 CN CN2005800392261A patent/CN101061519B/zh not_active Expired - Fee Related
- 2005-11-08 ES ES05802412T patent/ES2307210T3/es not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE602005006836D1 (de) | 2008-06-26 |
| JP4796072B2 (ja) | 2011-10-19 |
| US20080187222A1 (en) | 2008-08-07 |
| WO2006054200A1 (en) | 2006-05-26 |
| EP1815441B1 (en) | 2008-05-14 |
| CN101061519B (zh) | 2011-05-18 |
| CN101061519A (zh) | 2007-10-24 |
| US7840070B2 (en) | 2010-11-23 |
| EP1815441A1 (en) | 2007-08-08 |
| JP2008521081A (ja) | 2008-06-19 |
| KR20070086283A (ko) | 2007-08-27 |
| ATE395670T1 (de) | 2008-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6717855B2 (ja) | 画像の深度マップを決定する方法および装置 | |
| RU2504010C2 (ru) | Способ и устройство заполнения зон затенения карты глубин или несоответствий, оцениваемой на основании по меньшей мере двух изображений | |
| Zinger et al. | Free-viewpoint depth image based rendering | |
| CN101395634B (zh) | 图像中的定向孔洞填充 | |
| CN110349132B (zh) | 一种基于光场相机深度信息提取的织物瑕疵检测方法 | |
| US20120169722A1 (en) | Method and apparatus generating multi-view images for three-dimensional display | |
| ES2307210T3 (es) | Renderizacion de imagenes basandose en segmentacion de imagenes. | |
| JP2018205788A (ja) | シルエット抽出装置、方法およびプログラム | |
| Do et al. | Quality improving techniques for free-viewpoint DIBR | |
| CN1468415A (zh) | 用于改进从立体感图像中抽取的对象边界的方法和装置 | |
| US20140092222A1 (en) | Stereoscopic image processing device, stereoscopic image processing method, and recording medium | |
| JP2001118074A (ja) | ３次元画像作成方法、３次元画像作成装置及びプログラム記録媒体 | |
| JP7271115B2 (ja) | 画像処理装置、背景画像の生成方法およびプログラム | |
| US11727629B2 (en) | Un-occluded visualization of focus with depth continuity with context in volume rendering | |
| Schmeing et al. | Superpixel-based disocclusion filling in depth image based rendering | |
| US20140313199A1 (en) | Image processing device, 3d image display apparatus, method of image processing and computer-readable medium | |
| Worby et al. | Establishing visual correspondence from multi-resolution graph cuts for stereo-motion | |
| JPWO2018030519A1 (ja) | 乳房領域検出システム、乳房領域検出方法、及びプログラム | |
| EP2345997A1 (en) | Method and system for estimating motion in video images | |
| Yu et al. | An integrated hole-filling algorithm for view synthesis | |
| Kannan et al. | Image matting based high-quality stereo view synthesis |