BRPI0721452A2 - SYSTEM AND METHOD FOR COMBINING TEXT WITH THREE-CONTENT CONTENT - Google Patents

SYSTEM AND METHOD FOR COMBINING TEXT WITH THREE-CONTENT CONTENT Download PDF

Info

Publication number
BRPI0721452A2
BRPI0721452A2 BRPI0721452-9A BRPI0721452A BRPI0721452A2 BR PI0721452 A2 BRPI0721452 A2 BR PI0721452A2 BR PI0721452 A BRPI0721452 A BR PI0721452A BR PI0721452 A2 BRPI0721452 A2 BR PI0721452A2
Authority
BR
Brazil
Prior art keywords
text
content
maximum depth
depth value
dimensional
Prior art date
Application number
BRPI0721452-9A
Other languages
Portuguese (pt)
Inventor
Izzat Izzat
Dong-Qing Zhang
Yousef Wasef Nijim
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of BRPI0721452A2 publication Critical patent/BRPI0721452A2/en
Publication of BRPI0721452B1 publication Critical patent/BRPI0721452B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/293Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from three-dimensional [3D] object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/003Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Circuits Of Receivers In General (AREA)
  • Image Generation (AREA)
  • Television Systems (AREA)

Abstract

A system (10) and method (52, 60, 72) for combining and/or displaying text with three-dimensional (3D) content. The system (10) and method (52, 60, 72) inserts text at the same level as the highest depth value in the 3D content. One example of 3D content is a two-dimensional image (44) and an associated depth map (46). In this case, the depth value of the inserted text (50) is adjusted to match the largest depth value of the given depth map. Another example of 3D content is a plurality of two-dimensional images and associated depth maps. In this case, the depth value of the inserted text is continuously adjusted to match the largest depth value of a given depth map. A further example of 3D content is stereoscopic content (82) having a right eye image (86) and a left eye image (84). In this case the text (88, 90) in one of the left eye image (84) and right eye image (86) is shifted to match the largest depth value in the stereoscopic image. Yet another example of 3D content is stereoscopic content having a plurality of right eye images and left eye images. In this case the text in one of the left eye images or right eye images is continuously shifted to match the largest depth value in the stereoscopic images. As a result, the system (10) and method (52, 60, 72) of the present disclosure produces text combined with 3D content wherein the text does not obstruct the 3D effects in the 3D content and does not create visual fatigue when viewed by a viewer.

Description

“SISTEMA E MÉTODO PARA COMBINAR TEXTO COM CONTEÚDO TRIDIMENSIONAL” Esse pedido reivindica o benefício de acordo com 35 U.S.C.§ 119 de um pedido provisional 60/918635 depositado nos Estados Unidos em 16 de março de 2007.“SYSTEM AND METHOD FOR MATCHING TEXT WITH THREE-CONTENT CONTENT” This claim claims benefit under 35 U.S.C. 119 of an interim application 60/918635 filed in the United States on March 16, 2007.

Campo técnico da invençãoTechnical Field of the Invention

A presente revelação refere-se genericamente a sistemas de exibição e processa- mento de imagem, e mais particularmente, a um sistema e método para combinar texto com conteúdo tridimensional.The present disclosure relates generally to display and image processing systems, and more particularly to a system and method for combining text with three-dimensional content.

Antecedentes da invençãoBackground of the invention

Há dois tipos de texto que podem ser adicionados a vídeo: legendas para ouvintes e legendas para deficientes auditivos. Dito em termos gerais, legendas são destinadas a audiências que ouvem e legendas para audiências surdas. Legendas para ouvintes podem traduzir o diálogo em um idioma diferente, porém raramente mostram todo o áudio. Por e- xemplo, legendas para deficientes auditivos mostram efeitos de som (por exemplo, “telefone tocando” e “passos”), enquanto legendas para ouvintes não mostram.There are two types of text that can be added to video: subtitles for listeners and subtitles for the hearing impaired. Put generally, subtitles are intended for hearing audiences and subtitles for deaf audiences. Subtitles for listeners may translate the dialogue into a different language, but rarely show all audio. For example, subtitles for the hearing impaired show sound effects (for example, “ringing phone” and “steps”), while subtitles for listeners do not.

Legendas ocultas são legendas que são ocultas em um sinal de vídeo, invisíveis sem um decodificador especial. As legendas ocultas são ocultas, por exemplo, na linha 21 do intervalo de supressão de linha (VBI). Legendas abertas são legendas que foram decodi- ficadas, assim se tornaram parte integral da imagem da televisão, como legendas para ou- vintes em um filme. Em outras palavras, legendas abertas não podem ser desligadas. O termo “legendas abertas” também é utilizado para se referir a legendas para ouvintes cria- das com um gerador de caracteres.Hidden subtitles are subtitles that are hidden in a video signal, invisible without a special decoder. Hidden captions are hidden, for example, at line 21 of the line suppression range (VBI). Open subtitles are subtitles that have been decoded, so they have become an integral part of television image, like subtitles for listeners in a movie. In other words, open subtitles cannot be turned off. The term “open subtitles” is also used to refer to subtitles for listeners created with a character generator.

O uso de texto em vídeo bidimensional 2D é conhecido por aqueles versados na técnica. O interesse atual em filme e vídeo tridimensional 3D criou a necessidade de técni- cas para acrescentar texto ao conteúdo 3D. Portanto, existe uma necessidade por técnicas para otimizar a inserção de texto em conteúdo 3D de tal modo que o texto adicionado não obstrua os efeitos 3D no conteúdo 3D e não crie fadiga visual quando o conteúdo 3D é visto.The use of 2D two-dimensional video text is known to those skilled in the art. The current interest in 3D three-dimensional film and video has created the need for techniques for adding text to 3D content. Therefore, there is a need for techniques to optimize the insertion of text into 3D content such that added text does not obstruct 3D effects in 3D content and does not create visual fatigue when 3D content is viewed.

Sumáriosummary

De acordo com um aspecto da presente revelação, são fornecidos sistema e méto- do para combinar e/ou exibir texto com conteúdo tridimensional 3D. O sistema e método inserem texto no mesmo nível como o valor de profundidade mais elevado no conteúdo 3D. Um exemplo de conteúdo 3D é uma imagem bidimensional e um mapa de profundidade as- sociado. Nesse caso, o valor de profundidade do texto inserido é ajustado para casar com o valor de profundidade maior do mapa de profundidade dado. Outro exemplo de conteúdo de 3D é uma pluralidade de imagens bidimensionais e mapas de profundidade associados. Nesse caso, o valor de profundidade do texto inserido é continuamente ajustado para casar com o valor de profundidade maior de um mapa de profundidade dado. Um exemplo adicio- nal de conteúdo 3D é conteúdo estereoscópico tendo uma imagem de olho direito e uma imagem de olho esquerdo. Nesse caso o texto em uma da imagem de olho esquerdo e ima- gem de olho direito é deslocado para casar com o valor de profundidade maior na imagem estereoscópica. Ainda outro exemplo de conteúdo 3D é conteúdo estereoscópico tendo uma pluralidade de imagens de olho direito e imagens de olho esquerdo. Nesse caso o texto em uma das imagens de olho esquerdo ou imagens de olho direito é continuamente deslocada para casar com o valor de profundidade maior nas imagens estereoscópicas. Como resulta- do, o sistema e método da presente revelação produzem texto combinado com conteúdo 3D onde o texto não obstrui os efeitos 3D no conteúdo 3D e não cria fadiga visual quando visto por um telespectador.In accordance with one aspect of the present disclosure, system and method for combining and / or displaying text with 3D three-dimensional content are provided. The system and method inserts text at the same level as the highest depth value in 3D content. An example of 3D content is a two-dimensional image and an associated depth map. In this case, the depth value of the entered text is adjusted to match the larger depth value of the given depth map. Another example of 3D content is a plurality of two-dimensional images and associated depth maps. In this case, the depth value of the entered text is continuously adjusted to match the largest depth value of a given depth map. An additional example of 3D content is stereoscopic content having a right eye image and a left eye image. In this case the text in one of the left eye image and right eye image is shifted to match the greater depth value in the stereoscopic image. Yet another example of 3D content is stereoscopic content having a plurality of right eye images and left eye images. In this case the text in one of the left eye images or right eye images is continuously shifted to match the greater depth value in the stereoscopic images. As a result, the system and method of the present disclosure produce text combined with 3D content where text does not obstruct 3D effects on 3D content and does not create visual fatigue when viewed by a viewer.

De acordo com outro aspecto da presente revelação, um método para combinar texto com conteúdo de imagem tridimensional que recebe conteúdo de imagem tridimensio- nal, determinar um valor de profundidade máximo para o conteúdo tridimensional, e combi- nar texto com conteúdo de imagem tridimensional no valor máximo de profundidade.According to another aspect of the present disclosure, a method for combining text with three-dimensional image content receiving three-dimensional image content, determining a maximum depth value for three-dimensional content, and combining text with three-dimensional image content in maximum depth value.

De acordo com um aspecto adicional da presente revelação, um método de exibir texto com conteúdo de imagem tridimensional inclui receber conteúdo de imagem tridimen- sional e texto, o conteúdo de imagem tridimensional tendo um valor máximo de profundida- de, exibir o conteúdo de imagem tridimensional e exibir o texto no valor máximo de profundi- dade.According to a further aspect of the present disclosure, a method of displaying text with three-dimensional image content includes receiving three-dimensional image content and text, three-dimensional image content having a maximum depth value, displaying image content. and display the text at maximum depth.

De acordo ainda com outro aspecto da presente revelação, um sistema para com- binar texto com conteúdo de imagem tridimensional inclui meio para receber conteúdo de imagem tridimensional, meio para determinar um valor máximo de profundidade para o con- teúdo tridimensional, e meio para combinar texto com o conteúdo de imagem tridimensional no valor máximo de profundidade.According to yet another aspect of the present disclosure, a system for combining text with three-dimensional image content includes means for receiving three-dimensional image content, means for determining a maximum depth value for three-dimensional content, and means for combining. text with three-dimensional image content at maximum depth value.

De acordo ainda com um aspecto adicional da presente revelação, um sistema para exibir texto com conteúdo de imagem tridimensional inclui meio para receber conteúdo de imagem tridimensional e texto, o conteúdo de imagem tridimensional tendo um valor máximo de profundidade, meio para exibir o conteúdo de imagem tridimensional e meio para exibir o texto no valor máximo de profundidade.According to a further aspect of the present disclosure, a system for displaying text with three-dimensional image content includes means for receiving three-dimensional image content and text, the three-dimensional image content having a maximum depth value, means for displaying image content. three-dimensional image and a half to display the text at maximum depth value.

Breve descrição dos desenhosBrief Description of Drawings

Esses e outros aspectos, características e vantagens da presente revelação serão descritos ou se tornarão evidentes a partir da seguinte descrição detalhada das modalidades preferidas, que deve ser lida com relação aos desenhos em anexo.These and other aspects, features and advantages of the present disclosure will be described or will become apparent from the following detailed description of preferred embodiments, which should be read with reference to the accompanying drawings.

Nos desenhos, onde numerais de referência similares indicam elementos similares em todas as vistas:In drawings, where similar reference numerals indicate similar elements in all views:

A figura 1 é uma ilustração exemplar de um sistema para combinar texto com con- teúdo tridimensional de acordo com um aspecto da presente revelação;Figure 1 is an exemplary illustration of a system for combining text with three-dimensional content according to one aspect of the present disclosure;

A figura 2 ilustra um exemplo de uma imagem 2D e um mapa de profundidade as- sociado à imagem 2D;Figure 2 illustrates an example of a 2D image and a depth map associated with the 2D image;

A figura 3 ilustra um exemplo de texto adicionado à imagem 2D e o mapa de pro- fundidade associado à imagem 2D de acordo com a presente revelação;Figure 3 illustrates an example of text added to the 2D image and the depth map associated with the 2D image in accordance with the present disclosure;

A figura 4 é um fluxograma que ilustra um processo de inserção de legenda para ouvintes off-line de acordo com a presente revelação;Figure 4 is a flowchart illustrating an off-line subtitle insertion process in accordance with the present disclosure;

A figura 5 é um fluxograma que ilustra um processo de inserção de legenda para ouvintes on-line de acordo com a presente revelação;Figure 5 is a flowchart illustrating an online subtitle insertion process according to the present disclosure;

A figura 6 ilustra um processo de inserção e detecção de legenda para ouvintes on- line de acordo com a presente revelação; e A figura 7 ilustra um exemplo de texto combinado com um par estéreo de acordoFigure 6 illustrates an online subtitle insertion and detection process for listeners in accordance with the present disclosure; and Figure 7 illustrates an example of text combined with a stereo pair according to

com a presente revelação.with the present revelation.

Deve ser entendido que o(s) desenho(s) é (são) para fins de ilustrar os conceitos da revelação e não é (são) necessariamente a única configuração possível para ilustrar a reve- lação.It should be understood that the drawing (s) is (s) for the purpose of illustrating the concepts of revelation and is not necessarily the only possible configuration to illustrate the disclosure.

Descrição detalhada de modalidades preferidasDetailed Description of Preferred Modes

Deve ser entendido que os elementos mostrados nas figuras podem ser implemen- tados em várias formas de hardware, software ou combinações dos mesmos. Preferivelmen- te, esses elementos são implementados em uma combinação de hardware e software em um ou mais dispositivos de propósito geral apropriadamente programados, que podem inclu- ir um processador, memória e interfaces de entrada/saída.It should be understood that the elements shown in the figures may be implemented in various forms of hardware, software or combinations thereof. Preferably, these elements are implemented in a combination of hardware and software on one or more appropriately programmed general purpose devices, which may include a processor, memory, and input / output interfaces.

A presente descrição ilustra os princípios da presente revelação. Será desse modo reconhecido que aqueles versados na técnica serão capazes de idealizar vários arranjos que, embora não explicitamente descritos ou mostrados aqui, incorporam os princípios da revelação e são incluídos em seu espírito e escopo.The present description illustrates the principles of the present disclosure. It will thus be appreciated that those skilled in the art will be able to devise various arrangements which, although not explicitly described or shown here, embody the principles of revelation and are included in their spirit and scope.

Todos os exemplos e linguagem condicional mencionados aqui são para fins peda-All examples and conditional language mentioned here are for the purposes of

gógicos para auxiliar o leitor a entender os princípios da revelação e os conceitos contribuí- dos pelo inventor para incrementar a técnica, e devem ser interpretados como sendo sem limitação a tais exemplos e condições especificamente mencionados.to help the reader understand the principles of revelation and the concepts contributed by the inventor to further the technique, and should be construed as being without limitation to such specifically mentioned examples and conditions.

Além disso, todas as afirmações aqui que mencionam princípios, aspectos e moda- 30 Iidades da revelação, bem como exemplos específicos das mesmas, pretendem abranger equivalentes tanto estruturais como funcionais das mesmas. Adicionalmente, pretende-se que tais equivalentes incluam tanto equivalentes atualmente conhecidos como equivalente desenvolvidos no futuro, isto é, quaisquer elementos desenvolvidos que realizem a mesma função, independente de estrutura.In addition, all statements herein that mention principles, aspects, and modes of disclosure, as well as specific examples thereof, are intended to encompass both structural and functional equivalents thereof. Additionally, such equivalents are intended to include both currently known equivalents and future developed equivalents, that is, any developed elements that perform the same function, regardless of structure.

Desse modo, por exemplo, será reconhecido por aqueles versados na técnica queThus, for example, it will be recognized by those skilled in the art who

os diagramas de blocos apresentados aqui representam vistas conceptuais de conjuntos de circuitos ilustrativos que incorporam os princípios da revelação. Similarmente, será reconhe- cido que quaisquer fluxogramas, diagramas de fluxo, diagramas de transição de estado, pseudocódigo, e similar representam vários processos que podem ser substancialmente representados em meios legíveis por computador e desse modo executados por um compu- tador ou processador, quer ou não esse computador ou processador seja explicitamente mostrado.The block diagrams presented herein represent conceptual views of illustrative circuit assemblies incorporating the principles of disclosure. Similarly, it will be recognized that any flowcharts, flow diagrams, state transition diagrams, pseudocode, and the like represent various processes that can be substantially represented on computer readable media and thereby performed by a computer or processor, whether whether or not this computer or processor is explicitly shown.

As funções dos vários elementos mostrados nas figuras podem ser fornecidas atra- vés do uso de hardware dedicado bem como hardware capaz de executar software em as- sociação a software apropriado. Quando fornecido por um processador, as funções podem ser fornecidas por um processador dedicado único, por um processador compartilhado úni- 10 co, ou por uma pluralidade de processadores individuais, alguns dos quais podem ser com- partilhados. Além disso, o uso explícito do termo “processador” ou “controlador” não deve ser interpretado como se referindo exclusivamente a hardware capaz de executar software, e pode incluir implicitamente, sem limitação, hardware de processador de sinais digitais “DSP”, memória somente de leitura “ROM” para armazenar software, memória de acesso 15 aleatório “RAM” e armazenagem não volátil.The functions of the various elements shown in the figures can be provided through the use of dedicated hardware as well as hardware capable of running software in association with appropriate software. When provided by a processor, the functions may be provided by a single dedicated processor, a single shared processor, or a plurality of individual processors, some of which may be shared. In addition, explicit use of the term "processor" or "controller" should not be construed as referring solely to hardware capable of running software, and may implicitly include, without limitation, "DSP" digital signal processor hardware, memory only. “ROM” readout for storing software, random access memory “RAM” and nonvolatile storage.

O outro hardware, convencional e/ou customizado, também pode ser incluído. Simi- larmente, quaisquer comutações mostradas nas figuras são somente conceptuais. Sua fun- ção pode ser realizada através da operação de lógica de programa, através de lógica dedi- cada, através da interação de controle de programa e lógica dedicada, ou mesmo manual- 20 mente, a técnica específica sendo selecionável pelo implementador como entendido mais especificamente a partir do contexto.Other conventional and / or custom hardware may also be included. Similarly, any commutations shown in the figures are conceptual only. Its function can be accomplished through the operation of program logic, through dedicated logic, through program control interaction and dedicated logic, or even manually, the specific technique being selectable by the implementer as best understood. specifically from the context.

Nas reivindicações do presente, qualquer elemento expresso como meio para exe- cutar uma função específica pretende abranger qualquer modo de executar aquela função incluindo, por exemplo, a) uma combinação de elementos de circuito que executa aquela 25 função ou b) software em qualquer forma, incluindo, portanto, firmware, microcódigo ou simi- lar, combinado com conjunto de circuitos apropriado para executar aquele software para realizar a função. A revelação como definido por tais reivindicações reside no fato de que as funcionalidades fornecidas pelos vários meios mencionados são combinadas e unidas no modo que as reivindicações exigem. Desse modo, é considerado que qualquer meio que 30 possa fornecer essas funcionalidades é equivalente àqueles mostrados aqui.In the present claims, any element expressed as a means of performing a specific function is intended to encompass any mode of performing that function including, for example, a) a combination of circuit elements that performs that function or b) software in any form. therefore including firmware, microcode or the like, combined with appropriate circuitry to execute that software to perform the function. The disclosure as defined by such claims resides in the fact that the features provided by the various means mentioned are combined and joined in the manner the claims require. Accordingly, it is considered that any means that can provide these features is equivalent to those shown here.

Com referência agora à figura 1, componentes de sistema exemplares 10, de acor- do com uma modalidade da presente revelação, são mostrados. Um dispositivo de varredu- ra 12 pode ser fornecido para varrer cópias de filme 14, por exemplo, negativos de filme ori- ginal de câmera, em um formato digital, por exemplo, um formato Cineon ou arquivos de 35 Society of Motion Picture and Television Engineers (SMPTE) Digital Picture Exchange (DPX). O dispositivo de varredura 12 pode compreender, por exemplo, um telecine ou qual- quer dispositivo que gerará uma saída de vídeo a partir do filme como, por exemplo, um Arri LocPro™ com saída de vídeo. Alternativamente, arquivos a partir do processo pós-produção ou cinema digital 16 (por exemplo, arquivos já em forma legível por computador) podem ser utilizados diretamente. Fontes em potencial de arquivos legíveis por computador são edito- res AVID™, arquivos DPX, fitas D5, etc. Além disso, o conteúdo 3D (por exemplo, conteúdo estereoscópico ou imagens 2D e mapas de profundidade associados) pode ser fornecido por um dispositivo de captura 18 e arquivos de texto 20 (por exemplo, arquivos de legenda para ouvintes ou legenda para deficientes auditivos) podem ser criados a partir de um script e fornecidos ao sistema pelo supervisor de legenda para ouvintes.Referring now to Figure 1, exemplary system components 10 according to one embodiment of the present disclosure are shown. A scanning device 12 may be provided for scanning film copies 14, for example, camera original film negatives, in a digital format, for example, a Cineon format or 35 Society of Motion Picture and Television files. Engineers (SMPTE) Digital Picture Exchange (DPX). The scanning device 12 may comprise, for example, a telecine or any device that will generate a video output from the movie, such as an Arri LocPro ™ with video output. Alternatively, files from the post-production process or digital cinema 16 (for example, files already in computer readable form) can be used directly. Potential sources of computer readable files are AVID ™ editors, DPX files, D5 tapes, etc. In addition, 3D content (for example, stereoscopic content or associated 2D images and depth maps) can be provided by a capture device 18 and text files 20 (for example, subtitle files for listeners or subtitles for the hearing impaired). can be created from a script and provided to the system by the listener's caption supervisor.

As cópias de filme varridas, imagens de filme digital e/ou conteúdo 3D bem como os arquivos de texto podem ser inseridos em um dispositivo pós-processamento 22, por e- xemplo, um computador. O computador 22 pode ser implementado em qualquer uma das várias plataformas de computador conhecidas tendo hardware como uma ou mais unidades de processamento central (CPU), memória 24 como memória de acesso aleatório (RAM) e/ou memória somente de leitura (ROM) e interface(s) de usuário de entrada/saída (l/O) 26 como um teclado, dispositivo de controle de cursor (por exemplo, um mouse ou manche) e dispositivo de exibição. A plataforma de computador também inclui um sistema operacional e código de instrução micro. Os vários processos e funções descritas aqui podem fazer par- te do código de instrução micro ou parte de um programa de aplicação de software (ou uma combinação dos mesmos) que é executado através do sistema operacional. Além disso, vários outros dispositivos periféricos podem ser conectados à plataforma de computador por várias interfaces e estruturas de barramento, como porta paralela, porta serial ou barramen- to serial universal (USB). Outros dispositivos periféricos podem incluir dispositivos de arma- zenagem adicionais 28 e uma impressora 30. A impressora 30 pode ser empregada para imprimir uma versão revisada do filme 32, por exemplo, uma versão estereoscópica do filme, onde texto foi inserido em uma cena ou uma pluralidade de cenas utilizando as técnicas de inserção de texto descritas abaixo. Adicionalmente, um arquivo digital 34 do vídeo ou filme revisado pode ser gerado e fornecido a um dispositivo de exibição 3D de modo que o conte- údo 3D e texto inserido possam ser vistos por um telespectador. Alternativamente, o arquivo digital 34 pode ser armazenado no dispositivo de armazenagem 28.Scanned movie copies, digital movie images and / or 3D content as well as text files can be inserted into a postprocessing device 22, for example, a computer. Computer 22 may be implemented on any of several known computer platforms having hardware such as one or more central processing units (CPU), memory 24 as random access memory (RAM) and / or read-only memory (ROM) and input / output (I / O) user interface (s) 26 such as a keyboard, cursor control device (for example, a mouse or joystick), and display device. The computer platform also includes an operating system and micro instruction code. The various processes and functions described herein may be part of the micro instruction code or part of a software application program (or a combination thereof) that is run through the operating system. In addition, several other peripheral devices can be connected to the computer platform through various interfaces and bus structures, such as parallel port, serial port, or universal serial bus (USB). Other peripheral devices may include additional storage devices 28 and a printer 30. The printer 30 may be employed to print a revised version of film 32, for example, a stereoscopic version of the film, where text has been inserted into a scene or a plurality of scenes using the text input techniques described below. Additionally, a digital file 34 of the revised video or movie may be generated and provided to a 3D display device so that the 3D content and inserted text can be viewed by a viewer. Alternatively, digital file 34 may be stored in storage device 28.

Um programa de software inclui um módulo de processamento de texto 38 armaze- nado na memória 24 para combinar texto com conteúdo 3D de acordo com a presente reve- lação, como discutido em detalhes adicionais abaixo.A software program includes a word processing module 38 stored in memory 24 for combining text with 3D content in accordance with the present disclosure, as discussed in further detail below.

Há diversas técnicas para apresentar conteúdo 3D. A mais comum é meio de exibi- ção estereoscópico, que requer vidros ativo ou passivo. Meios de exibição auto- estereoscópicos, utilizando, por exemplo, Lenticular, não requerem vidros e estão se tor- nando mais disponíveis para entretenimento tanto em casa como profissional. Muitos des- ses meios de exibição operam no formato 2D + profundidade. Nesse formato, o vídeo 2D e as informações de profundidade são combinados para criar o efeito 3D.There are several techniques for presenting 3D content. The most common is stereoscopic display, which requires active or passive glass. Auto-stereoscopic displays using, for example, Lenticular, require no glass and are becoming more available for both home and professional entertainment. Many of these displays operate in 2D + depth format. In this format, 2D video and depth information are combined to create the 3D effect.

A presente revelação é dirigida a um método para inserir legendas para ouvintes no vídeo 3D para meios de exibição do tipo estéreo e 2D+profundidade. Para meios de exibição 2D+profundidade, o método proposto insere texto de legenda para ouvintes no mesmo nível 5 que o valor de profundidade mais elevado na imagem. Mais especificamente, o valor de pro- fundidade da legenda para ouvintes inserida pode ser ajustado continuamente para casar com o valor de profundidade maior do mapa de profundidade. Para conteúdo estéreo, o mé- todo proposto ajusta o valor de disparidade da legenda para ouvintes na imagem direita. Isso produz legendas para ouvintes mais visualmente agradáveis que não obstruem os efei- 10 tos 3D do vídeo.The present disclosure is directed to a method for inserting subtitles for listeners in 3D video for stereo and 2D + depth display media. For 2D + depth display media, the proposed method inserts caption text for listeners at the same level as the highest depth value in the image. More specifically, the depth value of the inserted listener caption can be continuously adjusted to match the larger depth value of the depth map. For stereo content, the proposed method adjusts the subtitle disparity value for listeners in the right image. This produces subtitles for more visually pleasing listeners that do not obstruct the 3D effects of video.

Legendas para ouvintes podem ser colocadas em um sinal de vídeo em um de dois modos: on-line (ao vivo) ou off-line (pós-produção). Legenda para ouvintes on-line é feita à medida que um evento ocorre. Os exemplos de legenda para ouvintes on-line são progra- mas de notícias de televisão, seminários ao vivo e eventos esportivos. Legendas para ouvin- 15 tes on-line podem ser feitas a partir de um script, ou na realidade criados em tempo real. Legenda para ouvintes off-line é feita “após o fato” em um estúdio. Os exemplos de Iegen- dagem off-line incluem shows de jogos de televisão, videoteipes ou DVDs de filmes, video- teipes de corporações (por exemplo, vídeos de treinamento), filmes fornecidos através de cabo, satélite ou Internet, ou similar. O texto da legenda para ouvintes é criado em um com- 20 putador, e sincronizado com o vídeo utilizando códigos de tempo. O texto e o vídeo são en- tão transferidos para o videoteipe antes do mesmo ser transmitido ou distribuído.Listeners subtitles can be placed on a video signal in one of two ways: online (live) or offline (post production). Captioning for online listeners is made as an event occurs. Examples of subtitles for online listeners are television news programs, live seminars, and sporting events. Online subtitles for listeners can be made from a script, or actually created in real time. Caption for offline listeners is made "after the fact" in a studio. Examples of offline legacy include television game shows, videotapes or DVDs of films, corporate videotapes (eg training videos), films provided via cable, satellite or Internet, or the like. Listener subtitle text is created on a computer and synchronized with the video using timecodes. The text and video are then transferred to the videotape before it is transmitted or distributed.

Na presente revelação, a criação e distribuição de legendas para ouvintes segue, preferivelmente, processos convencionais como conhecidos por aqueles versados na técni- ca. Por exemplo, um processo convencional é criar um arquivo de texto a partir de um script. 25 O arquivo de texto contém três valores (quadro de início, quadro final, e texto). O texto é então repetido em todos os quadros a partir do quadro de início até o quadro final. A presen- te revelação é dirigida ao ajuste do valor de profundidade do local de texto de tal modo que o valor de profundidade do local de texto case com o valor de profundidade maior no quadro de vídeo.In the present disclosure, the creation and distribution of subtitles for listeners preferably follows conventional procedures as known to those skilled in the art. For example, a conventional process is to create a text file from a script. 25 The text file contains three values (start frame, end frame, and text). The text is then repeated on all frames from the start frame to the end frame. The present disclosure is directed to adjusting the depth value of the text location such that the depth value of the text location matches the greater depth value in the video frame.

Há diversos formatos de conteúdo e meios de exibição no mercado incluindo este-There are a variety of content formats and display media on the market including

reoscópico, holográfico, e auto-estereoscópico entre outros. Com referência agora à figurareoscopic, holographic, and auto-stereoscopic among others. Referring now to the figure

2, uma modalidade da presente revelação é dirigida a uma abordagem para inserção de legendas para ouvintes em meios de exibição auto-estereoscópico que operam no formato 2D+profundidade. A figura 2 ilustra um exemplo de formato de conteúdo 2D+profundidade. 35 Mais especificamente, a figura 2 ilustra dois tipos de conteúdos: uma imagem 2D 40 e um mapa de profundidade 42 da imagem 2D. O mapa de profundidade 42 define o valor de pro- fundidade em cada pixel na imagem 2D 40 com pixels claros que representam pontos pró- ximos ao telespectador, e pixels escuros que representam pontos distantes do telespecta- dor.2, one embodiment of the present disclosure is directed to an approach for inserting subtitles for listeners into auto-stereoscopic display media operating in 2D + depth format. Figure 2 illustrates an example of 2D + depth content format. More specifically, Figure 2 illustrates two types of content: a 2D image 40 and a depth map 42 of the 2D image. Depth map 42 defines the depth value for each pixel in the 2D image 40 with light pixels representing points near the viewer and dark pixels representing points distant from the viewer.

Como discutido acima, há dois modos para inserir legendas para ouvintes: inserção on-line para conteúdo ao vivo e inserção off-line para conteúdo pós-produção. Como discu- tido abaixo, os métodos propostos da presente revelação são dirigidos à inserção de legen- da para ouvintes tanto off-line como on-line.As discussed above, there are two ways to insert subtitles for listeners: online insertion for live content and offline insertion for postproduction content. As discussed below, the proposed methods of the present disclosure are directed to subtitling for listeners both offline and online.

Com referência agora à figura 3, um exemplo de uma caixa de texto 50 inserida em um mapa de profundidade 46 e o texto 48 adicionado à imagem 2D 40 é mostrado. A caixa de texto 48 é o texto de legenda para ouvintes, como definido pelo script, por exemplo, en- quanto a caixa de texto 50 representa um valor de profundidade constante em cada ponto da caixa de texto.Referring now to Figure 3, an example of a text box 50 inserted into a depth map 46 and the text 48 added to the 2D image 40 is shown. Text box 48 is the caption text for listeners as defined by the script, for example, while text box 50 represents a constant depth value at each point in the text box.

Com referência agora à figura 4, um processo de inserção off-line 52 da presente revelação é mostrado. Para inserção de legendas para ouvintes off-line, imagens de texto de legenda para ouvintes são criadas e sincronizadas com vídeo 2D utilizando códigos de tem- po em produção posterior. Os valores de profundidade do texto inserido são determinados por varredura, na etapa 54, do vídeo 3D e cálculo do valor max. da profundidade para cada quadro durante a criação de conteúdo. Uma nova caixa de texto é então inserida, na etapaReferring now to Figure 4, an offline insertion process 52 of the present disclosure is shown. For subtitle insertion for offline listeners, subtitle text images for listeners are created and synchronized with 2D video using time codes in later production. The depth values of the entered text are determined by scanning, in step 54, the 3D video and calculating the max value. depth for each frame during content creation. A new text box is then inserted in step

56, no local de legenda para ouvintes com valor de profundidade igual ao valor max. de pro- fundidade do quadro, e na etapa 58, a legenda para ouvintes é adicionada à imagem 2D 44. Esse processo deve ser feito para a duração do intervalo de tempo definido para a legenda para ouvintes. Deve ser observado que as etapas 56 e 58 podem ser realizadas em qual- quer ordem e podem ser executadas preferivelmente simultaneamente.56 at the caption location for listeners with depth value equal to max value. depth, and in step 58, the listener caption is added to the 2D image 44. This process should be done for the duration of the time interval set for the listener caption. It should be noted that steps 56 and 58 may be performed in any order and may preferably be performed simultaneously.

Com referência agora à figura 5, é mostrado um fluxograma da presente revelação que ilustra um processo de inserção on-line 60. No processamento on-line, o local das le- gendas para ouvintes não é sabido antecipadamente e consequentemente o valor de pro- fundidade das legendas para ouvintes não pode ser determinado do mesmo modo como descrito para processamento off-line 52. Assim que o texto de legenda para ouvintes é inse- rido, na etapa 62, o mapa de profundidade do quadro de início de legenda para ouvintes é varrido para determinar o valor max. de profundidade e na etapa 64, o texto de legenda para ouvintes é inserido no valor max. de profundidade e, na etapa 66, a legenda para ouvintes é adicionada à imagem 2D. Deve ser observado que as etapas 64 e 66 podem ser realizadas em qualquer ordem e podem ser preferivelmente realizadas simultaneamente. Posterior- mente, na etapa 68, uma determinação é feita com relação a se existem recursos adicionais de processamento. Dependendo do processamento disponível, a legenda para ouvintes po- de ser fixa, na etapa 70, no valor de profundidade do primeiro quadro quando processamen- to adicional não está disponível ou os valores de profundidade dos quadros seguintes po- dem ser determinados repetindo as etapas de processamento on-line 62-66 quando proces- sarnento adicional está disponível.Referring now to Figure 5, a flowchart of the present disclosure is shown illustrating an online insertion process 60. In online processing, the location of the listener's legends is not known in advance and hence the value of pro- The depth of the subtitles for listeners cannot be determined in the same way as described for offline processing 52. As soon as the subtitle text for listeners is inserted, at step 62, the depth map of the start subtitle frame for listeners is scanned to determine the max value. depth and at step 64, the caption text for listeners is inserted at the max value. depth and at step 66 the listener caption is added to the 2D image. It should be noted that steps 64 and 66 may be performed in any order and may preferably be performed simultaneously. Later, in step 68, a determination is made as to whether additional processing resources exist. Depending on the processing available, the listener caption may be fixed in step 70 to the depth value of the first frame when additional processing is not available or the depth values of the following frames may be determined by repeating the steps. 62-66 online processing when additional processing is available.

Com referência agora à figura 6, é mostrado um fluxograma da presente revelação que ilustra o processamento 72 de imagens 2D tendo legendas para ouvintes inseridas. Há casos onde legendas para ouvintes já estão inseridas na imagem 2D como se o conteúdo 3D fosse convertido do conteúdo 2D. Para esses casos, o local de legendas para ouvintes pode ser identificado, na etapa 74, por detectores de região de legenda para ouvintes, que são capazes de detectar e localizar as regiões de legenda para ouvintes em um quadro utili- zando informações de cor e textura. Detecção de região de legenda para ouvintes tem sido uma direção de pesquisa ativa na pesquisa de processamento de vídeo. De acordo com a literatura atual, para alguns vídeos, como vídeos de notícias, detectores de região de legen- da para ouvintes podem obter precisão de localização acima de 95%. Portanto, detectores de região de legenda para ouvintes devem ser seguros o bastante para inserção de legenda para ouvintes 3D. Após localização da área de legenda para ouvintes (isto é, a coordenada da caixa de texto é determinada), na etapa 74, e o texto de legenda para ouvintes é isolado (isto é, os pixels específicos da legenda para ouvintes são determinados), na etapa 76, a partir da imagem, o mapa de profundidade do quadro de início de legenda para ouvintes é buscado (por exemplo, varrido) para determinar, na etapa 78, o valor max. de profundidade. A seguir, na etapa 80, o texto de legenda para ouvintes é inserido no valor max. de profun- didade. Posteriormente, as etapas de processo de inserção on-line 66-70 mostradas na figu- ra 5, podem ser aplicadas.Referring now to Figure 6, a flowchart of the present disclosure is shown illustrating the processing of 2D images having subtitles for inserted listeners. There are cases where listener captions are already inserted into the 2D image as if 3D content were converted from 2D content. For these cases, the location of listener subtitles can be identified in step 74 by listener subtitle region detectors, which are capable of detecting and locating listener subtitle regions in a frame using color and background information. texture. Subtitle region detection for listeners has been an active search direction in video processing search. According to current literature, for some videos, such as news videos, listener subtitle region detectors can achieve location accuracy above 95%. Therefore, subtitle region detectors for listeners must be safe enough for subtitle insertion for 3D listeners. After locating the listener caption area (that is, the text box coordinate is determined), in step 74, and the listener caption text is isolated (that is, the listener-specific caption pixels are determined), at step 76, from the image, the depth map of the caption start frame for listeners is fetched (e.g. scanned) to determine, at step 78, the max value. deep. Then, in step 80, the caption text for listeners is entered at the max value. in depth. Subsequently, the online insertion process steps 66-70 shown in figure 5 can be applied.

Com referência agora à figura 7, a presente revelação também pode ser estendida para cobrir conteúdo estereoscópico 82. Para conteúdo estereoscópico o texto na imagem de olho esquerdo ou direito é deslocado para casar com o valor de profundidade maior na imagem estereoscópica. Por exemplo, o texto 88 pode ser fixo na imagem de olho esquerdo 25 84 porém ajustado ou variado na imagem de olho direito 86. A variação do texto 90 na ima- gem de olho direito 86 é proporcional à disparidade do par estéreo. O valor de disparidade é inversamente proporcional ao valor de profundidade.Referring now to Figure 7, the present disclosure may also be extended to cover stereoscopic content 82. For stereoscopic content the text in the left or right eye image is shifted to match the largest depth value in the stereoscopic image. For example, the text 88 may be fixed on the left eye image 25 84 but adjusted or varied on the right eye image 86. The variation of the text 90 on the right eye image 86 is proportional to the disparity of the stereo pair. The disparity value is inversely proportional to the depth value.

A variação no olho é um deslocamento na direção horizontal. Um deslocamento negativo (fora do texto da tela) é preferível para a maioria das aplicações. Entretanto a pre- 30 sente revelação permite deslocamentos tanto negativo como positivo do texto. O valor de deslocamento mínimo permitido é igual ao valor positivo máximo visualmente aceitável e o valor de deslocamento máximo permitido é igual ao valor negativo máximo visualmente acei- tável. A figura 7 mostra um exemplo de par estéreo com um valor de deslocamento de 10 pixels para o texto 90 na imagem de olho direito 86.Eye variation is a shift in the horizontal direction. A negative offset (off screen text) is preferable for most applications. However, this revelation allows both negative and positive displacements of the text. The minimum allowable offset value is equal to the visually acceptable maximum positive value and the maximum allowable offset value is equal to the visually acceptable maximum negative value. Fig. 7 shows an example of stereo pair with an offset value of 10 pixels for text 90 in right eye image 86.

Deve ser observado que, de acordo com a presente revelação, é desejável combi-It should be noted that according to the present disclosure it is desirable to combine

nar texto com conteúdo 3D (por exemplo, conteúdo estereoscópico ou imagens 2D e mapas de profundidade associados) de tal modo que o texto seja ocasional ou continuamente posi- cionado no valor máximo de profundidade do conteúdo 3D. Abaixo, várias abordagens para adquirir informações de profundidade a partir do conteúdo 3D são discutidas adicionalmente.Use text with 3D content (for example, stereoscopic content or 2D images and associated depth maps) such that the text is occasionally or continuously positioned at the maximum depth value of the 3D content. Below, various approaches to acquiring in-depth information from 3D content are discussed further.

A aquisição de informações de profundidade pode ser feita utilizando técnicas ativa ou passiva. Abordagens passivas adquirem geometria 3D a partir de imagens ou vídeos feitos sob condições de iluminação regular. A geometria 3D é computada utilizando as ca- racterísticas geométricas ou fotométricas extraídas de imagens e vídeos. Abordagens ativas utilizam fontes de Iuz especial, como laser, Iuz de estrutura ou Iuz infravermelha. Computam a geometria com base na reposta dos objetos e cenas à Iuz especial projetada sobre a su- perfície.Depth information acquisition can be done using active or passive techniques. Passive approaches acquire 3D geometry from images or videos made under regular lighting conditions. 3D geometry is computed using the geometric or photometric features extracted from images and videos. Active approaches use special light sources such as laser, frame light, or infrared light. They compute geometry based on the response of objects and scenes to the special light projected onto the surface.

Abordagens de vista única recuperam geometria 3D utilizando uma imagem tirada de um ponto de vista de câmera única. Os exemplos incluem profundidade e estéreo foto- métrico a partir de desenfoque. Abordagens de múltiplas vistas recuperam geometria 3D a partir de múltiplas imagens tiradas de pontos de vista de câmeras múltiplas, resultadas de movimento de objeto, ou com diferentes posições de fonte de luz. O casamento de estéreo é um exemplo de recuperação 3D de múltiplas vistas por casamento dos pixels na imagem esquerda e imagem direita no par de estéreo para obter as informações de profundidade dos pixels.Single view approaches retrieve 3D geometry using an image taken from a single camera point of view. Examples include depth and photometric stereo from defocus. Multiple view approaches retrieve 3D geometry from multiple images taken from multiple camera viewpoints, resulting from object movement, or with different light source positions. Stereo Matching is an example of multi-view 3D retrieval by matching of the pixels in the left image and right image in the stereo pair to obtain the depth information of the pixels.

Os métodos geométricos recuperam geometria 3D por detectar características ge- ométricas como cantos, linhas ou contornos em imagens única ou múltiplas. A relação es- pacial entre os cantos, linhas ou contornos extraídos pode ser utilizada para inferir as coor- denadas 3D dos pixels em imagens. Os métodos fotométricos recuperam geometria 3D com base no sombreamento ou sombra dos patches de imagem resultados da orientação da su- perfície de cena.Geometric methods retrieve 3D geometry by detecting geometric features such as corners, lines, or contours in single or multiple images. The spatial relationship between the extracted corners, lines or contours can be used to infer the 3D coordinates of the pixels in images. Photometric methods retrieve 3D geometry based on the shading or shadowing of the image patches resulting from the orientation of the scene surface.

Para a aplicação da presente revelação, há três tipos possíveis de conteúdo: con- teúdo gerado por computador, conteúdo estéreo e conteúdo 2D. Para conteúdo gerado por computador, como utilizado em animação, informações de profundidade são disponíveis com processamento muito limitado. Para conteúdo de estéreo, a imagem direita e esquerda pode ser utilizada para gerar a profundidade por casar o pixel na imagem esquerda com aquele na imagem direita. O caso mais complexo é aquele de conteúdo 2D. A maioria das técnicas atuais envolve processamento manual extenso e consequentemente devem ser feitas off-line. Para aplicações de cinema digital, o conteúdo 2D é convertido em par estéreo para reprodução em cinemas digitais. Após aquisição do par estéreo, técnicas de estéreo podem ser utilizadas para obter um mapa de profundidade. Em geral para aplicações de legenda para ouvintes mapas de profundidade altamente precisos e densos não são nor- malmente necessários.For the application of the present disclosure, there are three possible types of content: computer generated content, stereo content, and 2D content. For computer generated content, as used in animation, depth information is available with very limited processing. For stereo content, the right and left image can be used to generate depth by matching the pixel in the left image with that in the right image. The most complex case is that of 2D content. Most current techniques involve extensive manual processing and should therefore be done offline. For digital cinema applications, 2D content is converted to stereo pair for playback in digital cinemas. After acquisition of the stereo pair, stereo techniques can be used to obtain a depth map. In general for subtitle applications for listeners, highly accurate and dense depth maps are not normally required.

Embora as modalidades que incorporam os ensinamentos da presente revelação tenham sido mostradas e descritas em detalhe aqui, aqueles versados na técnica podem facilmente idealizar muitas outras modalidades variadas que ainda incorporam esses ensi- namentos. Tendo descrito modalidades preferidas para um sistema e método para proces- samento de imagem paralela em um ambiente de computação ligado em rede com esque- mas de divisão de dados de imagem ótimos (que pretendem ser ilustrativos e não Iimitado- 5 res). Observa-se que modificações e variações podem ser feitas por pessoas versadas na técnica à Iuz dos ensinamentos acima. Portanto, deve ser entendido que alterações podem ser feitas nas modalidades específicas da revelação revelada que estão compreendidas no escopo da revelação como delineado pelas reivindicações apensas.While embodiments embodying the teachings of the present disclosure have been shown and described in detail herein, those skilled in the art can easily envision many other varied embodiments that still embody those teachings. Having described preferred embodiments for a system and method for parallel image processing in a networked computing environment with optimal image data splitting schemes (which are intended to be illustrative and not limited). It is noted that modifications and variations may be made by persons skilled in the art of the above teachings. Therefore, it should be understood that changes may be made to the specific embodiments of the disclosed disclosure which are within the scope of the disclosure as outlined by the appended claims.

Claims (38)

1. Método para combinar texto com conteúdo de imagem tridimensional, o método sendo CARACTERIZADO pelo fato de que compreende as etapas de: receber (54) conteúdo de imagem tridimensional; determinar (54) um valor máximo de profundidade para o conteúdo tridimensional; e combinar (58) texto com o conteúdo de imagem tridimensional no valor máximo de profundidade.1. Method for combining text with three-dimensional image content, the method being CHARACTERIZED by the fact that it comprises the steps of: receiving (54) three-dimensional image content; determining (54) a maximum depth value for the three-dimensional content; and combining (58) text with the three-dimensional image content at maximum depth value. 2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a etapa de receber conteúdo de imagem tridimensional inclui receber (54) uma imagem bidi- mensional (40) e um mapa de profundidade (42).A method according to claim 1, characterized in that the step of receiving three-dimensional image content includes receiving (54) a two-dimensional image (40) and a depth map (42). 3. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que a etapa de determinar (54) um valor máximo de profundidade inclui detectar qual objeto no mapa de profundidade tem o valor máximo de profundidade.Method according to claim 2, characterized in that the step of determining (54) a maximum depth value includes detecting which object on the depth map has the maximum depth value. 4. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a etapa de combinar (58) texto com o conteúdo tridimensional inclui sobrepor o texto na ima- gem bidimensional e posicionar o texto no mapa de profundidade no valor máximo de pro- fundidade.Method according to claim 1, characterized in that the step of combining (58) text with three-dimensional content includes superimposing the text on the two-dimensional image and placing the text on the depth map at the maximum value of - fundamentality. 5. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o conteúdo de imagem tridimensional inclui uma pluralidade de quadros e as etapas de de- terminar (62) o valor máximo de profundidade e combinar (64, 66) o texto com o conteúdo de imagem tridimensional no valor máximo de profundidade ocorrem para cada quadro.A method according to claim 1, characterized in that the three-dimensional image content includes a plurality of frames and the steps of determining (62) the maximum depth value and combining (64, 66) the text. with the three-dimensional image content at the maximum depth value occur for each frame. 6. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o conteúdo de imagem tridimensional inclui uma pluralidade de quadros e as etapas de de- terminar (62) o valor máximo de profundidade e combinar (64, 66) o texto com o conteúdo de imagem tridimensional no valor máximo de profundidade ocorrem para um número menor do que todos da pluralidade de quadros.A method according to claim 1, characterized in that the three-dimensional image content includes a plurality of frames and the steps of determining (62) the maximum depth value and combining (64, 66) the text. with the three-dimensional image content at maximum depth occur for less than all of the plurality of frames. 7. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que compreende ainda as etapas de: determinar (74) se o conteúdo tridimensional contém texto; isolar (76) o texto a partir do conteúdo tridimensional; e combinar (78, 80) o texto isolado com o conteúdo tridimensional no valor máximo de profundidade.A method according to claim 1, further comprising the steps of: determining (74) whether the three-dimensional content contains text; isolate (76) text from three-dimensional content; and combining (78, 80) the isolated text with the three-dimensional content at maximum depth value. 8. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o texto é um entre legendas para ouvintes, Iegendagem oculta e Iegendagem aberta.Method according to claim 1, characterized by the fact that the text is one between listeners subtitles, hidden legends and open legends. 9. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a etapa de determinar o valor máximo de profundidade para o conteúdo tridimensional inclui detectar o valor máximo de profundidade de um objeto em uma imagem estereoscópica (82), a imagem estereoscópica (82) incluindo uma imagem de olho esquerdo (84) e uma imagem de olho direito (86).A method according to claim 1, characterized in that the step of determining the maximum depth value for three-dimensional content includes detecting the maximum depth value of an object in a stereoscopic image (82), the stereoscopic image. (82) including a left eye image (84) and a right eye image (86). 10. Método, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que a etapa de combinar texto com a imagem tridimensional inclui: sobrepor o texto (88) na imagem de olho esquerdo (84); sobrepor o texto (90) na imagem de olho direito (86); e deslocar o texto (90) na imagem de olho direito (86) de tal modo que o texto de olho direito e olho esquerdo combinado é exibível no valor máximo de profundidade da imagem estereoscópica.A method according to claim 9, characterized in that the step of combining text with the three-dimensional image includes: superimposing the text (88) on the left eye image (84); overlay the text (90) on the right eye image (86); and displacing the text 90 in the right eye image 86 such that the combined right eye and left eye text is displayed at the maximum depth value of the stereoscopic image. 11. Método de exibir texto com conteúdo de imagem tridimensional, o método sen- do CARACTERIZADO pelo fato de que compreende as etapas de: receber (18, 20) conteúdo de imagem tridimensional e texto, o conteúdo de imagem tridimensional tendo um valor máximo de profundidade; exibir (36) o conteúdo de imagem tridimensional; e exibir (36) o texto no valor máximo de profundidade.11. Method of displaying text with three-dimensional image content, the method being characterized by the fact that it comprises the steps of: receiving (18, 20) three-dimensional image content and text, the three-dimensional image content having a maximum value of depth; display (36) the three-dimensional image content; and display (36) the text at the maximum depth value. 12. Método, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que compreende ainda a etapa de: determinar (54) o valor máximo de profundidade do conteúdo de imagem tridimen- sional.A method according to claim 11, characterized in that it further comprises the step of: determining (54) the maximum depth value of the three-dimensional image content. 13. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de que a etapa de determinar (54) compreende detectar qual objeto no conteúdo de imagem tridi- mensional tem o valor máximo de profundidade.A method according to claim 12, characterized in that the determining step (54) comprises detecting which object in the three-dimensional image content has the maximum depth value. 14. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de que o conteúdo de imagem tridimensional inclui uma pluralidade de quadros e as etapas de de- terminar (62) o valor máximo de profundidade e exibir (36) o texto no valor máximo de pro- fundidade ocorrem para cada quadro.A method according to claim 12, characterized in that the three-dimensional image content includes a plurality of frames and the steps of determining (62) the maximum depth value and displaying (36) the text in the value. maximum depth occur for each frame. 15. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de que o conteúdo de imagem tridimensional inclui uma pluralidade de quadros e as etapas de de- terminar (62) o valor máximo de profundidade e exibir (36) o texto no valor máximo de pro- fundidade ocorrem para um número menor do que todos da pluralidade de quadros.A method according to claim 12, characterized in that the three-dimensional image content includes a plurality of frames and the steps of determining (62) the maximum depth value and displaying (36) the text in the value. maximum depth occur for a smaller number than all of the plurality of frames. 16. Método, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que o texto é um entre legendas para ouvintes, Iegendagem oculta e Iegendagem aberta.Method according to claim 11, characterized by the fact that the text is one between listeners subtitles, hidden legends and open legends. 17. Método, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que compreende ainda as etapas de: determinar (74) se o conteúdo tridimensional contém texto; isolar (76) o texto a partir do conteúdo tridimensional; e exibir (36) o texto isolado no valor máximo de profundidade.A method according to claim 11, further comprising the steps of: determining (74) whether the three-dimensional content contains text; isolate (76) text from three-dimensional content; and display (36) the isolated text at the maximum depth value. 18. Método, de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que a etapa de determinar o valor máximo de profundidade para o conteúdo tridimensional inclui detectar o valor máximo de profundidade de um objeto em uma imagem estereoscópica (82), a imagem estereoscópica incluindo uma imagem de olho esquerdo (84) e uma imagem de olho direito (86).A method according to claim 11, characterized in that the step of determining the maximum depth value for three-dimensional content includes detecting the maximum depth value of an object in a stereoscopic image (82), the stereoscopic image. including a left eye image (84) and a right eye image (86). 19. Método, de acordo com a reivindicação 18, CARACTERIZADO pelo fato de que a etapa de combinar texto com a imagem tridimensional inclui: sobrepor texto (88) na imagem de olho esquerdo (84); sobrepor texto (90) na imagem de olho direito (86); e deslocar o texto (90) na imagem de olho direito (86) de tal modo que o texto de olho direito e olho esquerdo combinado é exibível no valor máximo de profundidade da imagem estereoscópica.The method of claim 18, wherein the step of combining text with the three-dimensional image includes: superimposing text (88) on the left eye image (84); overlay text (90) on the right eye image (86); and displacing the text 90 in the right eye image 86 such that the combined right eye and left eye text is displayed at the maximum depth value of the stereoscopic image. 20. Sistema para combinar texto com conteúdo de imagem tridimensional, o siste- ma sendo CARACTERIZADO pelo fato de que compreende: meio para receber (54) conteúdo de imagem tridimensional; meio para determinar (54) um valor máximo de profundidade para o conteúdo tridi- mensional; e meio para combinar (58) texto com o conteúdo de imagem tridimensional no valor máximo de profundidade.20. System for combining text with three-dimensional image content, the system being characterized by the fact that it comprises: means for receiving (54) three-dimensional image content; means for determining (54) a maximum depth value for the three-dimensional content; and a means for combining (58) text with three-dimensional image content at maximum depth value. 21. Sistema, de acordo com a reivindicação 20, CARACTERIZADO pelo fato de que o meio para receber conteúdo de imagem tridimensional inclui meio para receber (54) uma imagem bidimensional (40) e um mapa de profundidade (42).A system according to claim 20, characterized in that the means for receiving three-dimensional image content includes means for receiving (54) a two-dimensional image (40) and a depth map (42). 22. Sistema, de acordo com a reivindicação 21, CARACTERIZADO pelo fato de que o meio para determinar (54) um valor máximo de profundidade inclui meio para detectar qual objeto no mapa de profundidade tem o valor máximo de profundidade.A system according to claim 21, characterized in that the means for determining (54) a maximum depth value includes means for detecting which object on the depth map has the maximum depth value. 23. Sistema, de acordo com a reivindicação 20, CARACTERIZADO pelo fato de que o meio de combinar (58) texto com o conteúdo tridimensional inclui meio para sobrepor o texto na imagem bidimensional e meio para posicionar o texto no mapa de profundidade no valor máximo de profundidade.System according to claim 20, characterized in that the means of combining (58) text with the three-dimensional content includes means for superimposing the text on the two-dimensional image and means for placing the text on the depth map at maximum value. deep. 24. Sistema, de acordo com a reivindicação 20, CARACTERIZADO pelo fato de que o conteúdo de imagem tridimensional inclui uma pluralidade de quadros e o meio para determinar (62) o valor máximo de profundidade e meio para combinar (64, 66) o texto com o conteúdo de imagem tridimensional no valor máximo de profundidade ocorrem para cada quadro.A system according to claim 20, characterized in that the three-dimensional image content includes a plurality of frames and means for determining (62) the maximum depth and medium value for combining (64, 66) the text. with the three-dimensional image content at the maximum depth value occur for each frame. 25. Sistema, de acordo com a reivindicação 20, CARACTERIZADO pelo fato de que o conteúdo de imagem tridimensional inclui uma pluralidade de quadros e o meio para determinar (62) o valor máximo de profundidade e meios para combinar (64, 66) o texto com o conteúdo de imagem tridimensional no valor máximo de profundidade ocorrem para um número menor do que todos da pluralidade de quadros.A system according to claim 20, characterized in that the three-dimensional image content includes a plurality of frames and the means for determining (62) the maximum depth value and means for combining (64, 66) the text. with the three-dimensional image content at maximum depth occur for less than all of the plurality of frames. 26. Sistema, de acordo com a reivindicação 20, CARACTERIZADO pelo fato de que compreende ainda: meio para determinar (74) se o conteúdo tridimensional contém texto; meio para isolar (76) o texto a partir do conteúdo tridimensional; e meios para combinar (78, 80) o texto isolado com o conteúdo tridimensional no va- lor máximo de profundidade.The system of claim 20, further comprising: means for determining (74) whether the three-dimensional content contains text; means for isolating (76) text from three-dimensional content; and means for combining (78, 80) the isolated text with the three-dimensional content at maximum depth value. 27. Sistema, de acordo com a reivindicação 20, CARACTERIZADO pelo fato de que o texto é um entre legendas para ouvintes, Iegendagem oculta e Iegendagem aberta.27. System according to claim 20, characterized by the fact that the text is one between listeners subtitles, hidden legends and open legends. 28. Sistema, de acordo com a reivindicação 20, CARACTERIZADO pelo fato de que o meio para determinar o valor máximo de profundidade para o conteúdo tridimensional inclui meio para detectar o valor máximo de profundidade de um objeto em uma imagem estereoscópica (82), a imagem estereoscópica (82) incluindo uma imagem de olho esquerdo (84) e uma imagem de olho direito (86).System according to claim 20, characterized in that the means for determining the maximum depth value for the three-dimensional content includes means for detecting the maximum depth value of an object in a stereoscopic image (82); stereoscopic image (82) including a left eye image (84) and a right eye image (86). 29. Sistema, de acordo com a reivindicação 28, CARACTERIZADO pelo fato de que a etapa de combinar texto com a imagem tridimensional inclui: meio para sobrepor o texto (88) na imagem de olho esquerdo (84); meio para sobrepor o texto (90) na imagem de olho direito (86); e meio para deslocar o texto (90) na imagem de olho direito (86) de tal modo que o texto de olho direito e olho esquerdo combinado é exibível no valor máximo de profundidade da imagem estereoscópica.The system of claim 28, wherein the step of combining text with the three-dimensional image includes: means for overlaying the text (88) on the left eye image (84); means for overlaying the text (90) on the right eye image (86); and means for displacing text 90 in the right eye image 86 such that the combined right eye and left eye text is displayed at the maximum depth value of the stereoscopic image. 30. Sistema para exibir texto com conteúdo de imagem tridimensional, o sistema sendo CARACTERIZADO pelo fato de que compreende: meio para receber (18, 20) conteúdo de imagem tridimensional e texto, o conteúdo de imagem tridimensional tendo um valor máximo de profundidade; meio para exibir (36) o conteúdo de imagem tridimensional; e meio para exibir (36) o texto no valor máximo de profundidade.30. System for displaying text with three-dimensional image content, the system being characterized by the fact that it comprises: means for receiving (18, 20) three-dimensional image content and text, the three-dimensional image content having a maximum depth value; means for displaying (36) the three-dimensional image content; and a half to display (36) the text at the maximum depth value. 31. Sistema, de acordo com a reivindicação 30, CARACTERIZADO pelo fato de que compreende ainda: meio para determinar (54) o valor máximo de profundidade do conteúdo de imagem tridimensional.A system according to claim 30, further comprising: means for determining (54) the maximum depth value of the three-dimensional image content. 32. Sistema, de acordo com a reivindicação 31, CARACTERIZADO pelo fato de que o meio para determinar (54) compreende meio para detectar qual objeto no conteúdo de imagem tridimensional tem o valor máximo de profundidade.System according to claim 31, characterized in that the means for determining (54) comprises means for detecting which object in the three-dimensional image content has the maximum depth value. 33. Sistema, de acordo com a reivindicação 31, CARACTERIZADO pelo fato de que o conteúdo de imagem tridimensional inclui uma pluralidade de quadros e o meio para determinar (54) o valor máximo de profundidade e meio para exibir (36) o texto no valor má- ximo de profundidade ocorrem para cada quadro.A system according to claim 31, characterized in that the three-dimensional image content includes a plurality of frames and the means for determining (54) the maximum depth and half value for displaying (36) the text in the value. maximum depth occur for each frame. 34. Sistema, de acordo com a reivindicação 31, CARACTERIZADO pelo fato de que o conteúdo de imagem tridimensional inclui uma pluralidade de quadros e o meio para determinar (54) o valor máximo de profundidade e o meio para exibir (36) o texto no valor máximo de profundidade operam em um número menor do que todos da pluralidade de qua- dros.System according to claim 31, characterized in that the three-dimensional image content includes a plurality of frames and the means for determining (54) the maximum depth value and the means for displaying (36) the text on the screen. maximum depth values operate in a smaller number than all of the plurality of frames. 35. Sistema, de acordo com a reivindicação 30, CARACTERIZADO pelo fato de que o texto é um entre legendas para ouvintes, Iegendagem oculta e Iegendagem aberta.35. System according to claim 30, characterized by the fact that the text is one of listeners, hidden legends and open legends. 36. Sistema, de acordo com a reivindicação 30, CARACTERIZADO pelo fato de que compreende ainda: meio para determinar (74) se o conteúdo tridimensional contém texto; meio para isolar (76) o texto a partir do conteúdo tridimensional; e meio para exibir (36) o texto isolado no valor máximo de profundidade.The system of claim 30 further comprising: means for determining (74) whether the three-dimensional content contains text; means for isolating (76) text from three-dimensional content; and a half to display (36) the isolated text at the maximum depth value. 37. Sistema, de acordo com a reivindicação 30, CARACTERIZADO pelo fato de que o meio para determinar o valor máximo de profundidade para o conteúdo tridimensional inclui meio para detectar o valor máximo de profundidade de um objeto em uma imagem estereoscópica (82), a imagem estereoscópica incluindo uma imagem de olho esquerdo (84) e uma imagem de olho direito (86).System according to claim 30, characterized in that the means for determining the maximum depth value for three-dimensional content includes means for detecting the maximum depth value of an object in a stereoscopic image (82). stereoscopic image including a left eye image (84) and a right eye image (86). 38. Sistema, de acordo com a reivindicação 37, CARACTERIZADO pelo fato de que o meio para combinar texto com a imagem tridimensional inclui: meio para sobrepor texto (88) na imagem de olho esquerdo (84); meio para sobrepor texto (90) na imagem de olho direito (86); e meio para deslocar o texto (90) na imagem de olho direito (86) de tal modo que o texto de olho direito e olho esquerdo combinado é exibível no valor máximo de profundidade da imagem estereoscópica.A system according to claim 37, characterized in that the means for combining text with the three-dimensional image includes: means for overlaying text (88) on the left eye image (84); means for overlaying text (90) on the right eye image (86); and means for displacing text 90 in the right eye image 86 such that the combined right eye and left eye text is displayed at the maximum depth value of the stereoscopic image.
BRPI0721452-9A 2007-03-16 2007-12-19 SYSTEM AND METHOD FOR COMBINING TEXT WITH THREE-DIMENSIONAL IMAGE CONTENT BRPI0721452B1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US91863507P 2007-03-16 2007-03-16
US60/918.635 2007-03-16
US60/918,635 2007-03-16
PCT/US2007/025947 WO2008115222A1 (en) 2007-03-16 2007-12-19 System and method for combining text with three-dimensional content

Publications (2)

Publication Number Publication Date
BRPI0721452A2 true BRPI0721452A2 (en) 2014-03-25
BRPI0721452B1 BRPI0721452B1 (en) 2020-03-03

Family

ID=39223104

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0721452-9A BRPI0721452B1 (en) 2007-03-16 2007-12-19 SYSTEM AND METHOD FOR COMBINING TEXT WITH THREE-DIMENSIONAL IMAGE CONTENT

Country Status (11)

Country Link
US (2) US9769462B2 (en)
EP (2) EP2140688B1 (en)
JP (1) JP5132690B2 (en)
KR (1) KR101842622B1 (en)
CN (2) CN105263012A (en)
AT (1) ATE472230T1 (en)
BR (1) BRPI0721452B1 (en)
CA (1) CA2680724C (en)
DE (1) DE602007007369D1 (en)
MX (1) MX2009009871A (en)
WO (1) WO2008115222A1 (en)

Families Citing this family (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR122018004903B1 (en) * 2007-04-12 2019-10-29 Dolby Int Ab video coding and decoding tiling
WO2009083863A1 (en) * 2007-12-20 2009-07-09 Koninklijke Philips Electronics N.V. Playback and overlay of 3d graphics onto 3d video
GB0805924D0 (en) * 2008-04-02 2008-05-07 Hibbert Ralph Animation Storyboard creation system
PL2362671T3 (en) * 2008-07-25 2014-05-30 Koninklijke Philips Nv 3d display handling of subtitles
WO2010046824A1 (en) * 2008-10-21 2010-04-29 Koninklijke Philips Electronics N.V. Method and system for processing an input three dimensional video signal
WO2010058977A2 (en) * 2008-11-21 2010-05-27 Lg Electronics Inc. Recording medium, data recording/reproducing method and data recording/reproducing apparatus
EP2320667A1 (en) 2009-10-20 2011-05-11 Koninklijke Philips Electronics N.V. Combining 3D video auxiliary data
CN102224737B (en) * 2008-11-24 2014-12-03 皇家飞利浦电子股份有限公司 Combining 3D Video and Ancillary Data
WO2010062104A2 (en) * 2008-11-25 2010-06-03 엘지전자(주) Recording medium, method for recording/playing data, and device for recording/playing data
CN102232294B (en) * 2008-12-01 2014-12-10 图象公司 Methods and systems for presenting three-dimensional motion pictures with content adaptive information
CA2745021C (en) 2008-12-02 2014-10-28 Lg Electronics Inc. Method for displaying 3d caption and 3d display apparatus for implementing the same
US8358331B2 (en) * 2008-12-02 2013-01-22 Lg Electronics Inc. 3D caption display method and 3D display apparatus for implementing the same
ES2640869T3 (en) 2008-12-19 2017-11-07 Koninklijke Philips N.V. Method and device for superimposing 3D graphics on 3D video
KR101622691B1 (en) 2009-01-08 2016-05-19 엘지전자 주식회사 3d caption signal transmission method anf 3d caption display method
US10257493B2 (en) * 2009-01-20 2019-04-09 Koninklijke Philips N.V. Transferring of 3D image data
EP2389767A4 (en) * 2009-01-20 2013-09-25 Lg Electronics Inc Three-dimensional subtitle display method and three-dimensional display device for implementing the same
WO2010084803A1 (en) 2009-01-22 2010-07-29 日本電気株式会社 Three-dimensional picture viewing system, display system, optical shutter, and three-dimensional picture viewing method
US8269821B2 (en) * 2009-01-27 2012-09-18 EchoStar Technologies, L.L.C. Systems and methods for providing closed captioning in three-dimensional imagery
US9544569B2 (en) 2009-02-12 2017-01-10 Lg Electronics Inc. Broadcast receiver and 3D subtitle data processing method thereof
BRPI0922899A2 (en) * 2009-02-12 2019-09-24 Lg Electronics Inc Transmitter receiver and 3D subtitle data processing method
KR101659576B1 (en) 2009-02-17 2016-09-30 삼성전자주식회사 Method and apparatus for processing video image
WO2010095838A2 (en) 2009-02-17 2010-08-26 삼성전자 주식회사 Graphic image processing method and apparatus
BRPI1005691B1 (en) * 2009-02-17 2021-03-09 Koninklijke Philips N.V. method of combining three-dimensional image data [3d] and auxiliary graphic data, information carrier comprising three-dimensional image data [3d] and auxiliary graphic data, 3d generation device to combine three-dimensional image data [3d] and auxiliary graphic data , 3D display device to combine three-dimensional image data [3d] and auxiliary graphic data
US8284236B2 (en) * 2009-02-19 2012-10-09 Sony Corporation Preventing interference between primary and secondary content in a stereoscopic display
EP2401870A4 (en) * 2009-02-27 2012-12-26 Deluxe Lab Inc Systems, apparatus and methods for subtitling for stereoscopic content
WO2010122775A1 (en) * 2009-04-21 2010-10-28 パナソニック株式会社 Video processing apparatus and video processing method
JP5400467B2 (en) 2009-05-01 2014-01-29 キヤノン株式会社 VIDEO OUTPUT DEVICE, ITS CONTROL METHOD, AND PROGRAM
JP2011041249A (en) * 2009-05-12 2011-02-24 Sony Corp Data structure, recording medium and reproducing device, reproducing method, program, and program storage medium
KR20100128233A (en) * 2009-05-27 2010-12-07 삼성전자주식회사 Image processing method and device
EP2448273A4 (en) * 2009-06-22 2013-12-25 Lg Electronics Inc Video display device and operating method therefor
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
CN102498720B (en) * 2009-06-24 2015-09-02 杜比实验室特许公司 Method for embedding subtitles and/or graphics overlays in 3D or multiview video data
JP5521486B2 (en) * 2009-06-29 2014-06-11 ソニー株式会社 Stereoscopic image data transmitting apparatus and stereoscopic image data transmitting method
TW201116041A (en) * 2009-06-29 2011-05-01 Sony Corp Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception
JP2011030182A (en) * 2009-06-29 2011-02-10 Sony Corp Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, and three-dimensional image data reception method
JP2011030180A (en) * 2009-06-29 2011-02-10 Sony Corp Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, and three-dimensional image data reception method
KR101596832B1 (en) * 2009-06-30 2016-02-23 엘지전자 주식회사 / / recording medium data recording/reproducing method and data recording/reproducing apparatus
CN102474634B (en) * 2009-07-10 2016-09-21 杜比实验室特许公司 Model amendment $$$$ image is shown for 3-dimensional
US20110012993A1 (en) * 2009-07-14 2011-01-20 Panasonic Corporation Image reproducing apparatus
US8872976B2 (en) 2009-07-15 2014-10-28 Home Box Office, Inc. Identification of 3D format and graphics rendering on 3D displays
JP2011029849A (en) * 2009-07-23 2011-02-10 Sony Corp Receiving device, communication system, method of combining caption with stereoscopic image, program, and data structure
US10021377B2 (en) 2009-07-27 2018-07-10 Koninklijke Philips N.V. Combining 3D video and auxiliary data that is provided when not reveived
EP2282550A1 (en) 2009-07-27 2011-02-09 Koninklijke Philips Electronics N.V. Combining 3D video and auxiliary data
TWI422213B (en) * 2009-07-29 2014-01-01 晨星半導體股份有限公司 Image picture detecting device and method thereof
KR20110018261A (en) * 2009-08-17 2011-02-23 삼성전자주식회사 Text subtitle data processing method and playback device
GB2473282B (en) * 2009-09-08 2011-10-12 Nds Ltd Recommended depth value
JP4733764B2 (en) * 2009-11-10 2011-07-27 パナソニック株式会社 3D image processing apparatus and 3D image processing method
KR20110053159A (en) * 2009-11-13 2011-05-19 삼성전자주식회사 Method and apparatus for generating multimedia stream for three-dimensional reproduction of video additional reproduction information, and method and apparatus for receiving
EP2524510B1 (en) * 2010-01-13 2019-05-01 InterDigital Madison Patent Holdings System and method for combining 3d text with 3d content
US8565516B2 (en) * 2010-02-05 2013-10-22 Sony Corporation Image processing apparatus, image processing method, and program
WO2011105992A1 (en) * 2010-02-24 2011-09-01 Thomson Licensing Subtitling for stereoscopic images
WO2011105993A1 (en) * 2010-02-25 2011-09-01 Thomson Licensing Stereoscopic subtitling with disparity estimation and limitation on the temporal variation of disparity
WO2011104151A1 (en) 2010-02-26 2011-09-01 Thomson Licensing Confidence map, method for generating the same and method for refining a disparity map
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
EP2524513A4 (en) * 2010-03-12 2014-06-25 Sony Corp SERVICE LINK FOR TRANSPORTING DISAPPEARANCE DATA OF SUBTITLES
US8730301B2 (en) * 2010-03-12 2014-05-20 Sony Corporation Service linkage to caption disparity data transport
JP2011216937A (en) * 2010-03-31 2011-10-27 Hitachi Consumer Electronics Co Ltd Stereoscopic image display device
WO2011123178A1 (en) 2010-04-01 2011-10-06 Thomson Licensing Subtitles in three-dimensional (3d) presentation
EP2375761A3 (en) * 2010-04-07 2013-05-29 Sony Corporation Image synthesis apparatus, image synthesis method and program
KR20110115103A (en) * 2010-04-14 2011-10-20 삼성전자주식회사 Method and apparatus for generating broadcast bitstream for digital caption broadcasting, method and apparatus for receiving broadcast bitstream for digital caption broadcasting
JP5143856B2 (en) * 2010-04-16 2013-02-13 株式会社ソニー・コンピュータエンタテインメント 3D image display device and 3D image display method
US20130038611A1 (en) * 2010-04-28 2013-02-14 Panasonic Corporation Image conversion device
CN102511047A (en) * 2010-05-14 2012-06-20 联发科技(新加坡)私人有限公司 Method for eliminating subtitles of a video program, and associated video display system
CA2799704C (en) 2010-05-30 2016-12-06 Jongyeul Suh Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
JP5682149B2 (en) * 2010-06-10 2015-03-11 ソニー株式会社 Stereo image data transmitting apparatus, stereo image data transmitting method, stereo image data receiving apparatus, and stereo image data receiving method
TWI462567B (en) * 2010-06-18 2014-11-21 Realtek Semiconductor Corp Three dimensional processing circuit and processing method
JP5505637B2 (en) * 2010-06-24 2014-05-28 ソニー株式会社 Stereoscopic display device and display method of stereoscopic display device
CA2802668C (en) 2010-06-27 2016-03-29 Lg Electronics Inc. Digital receiver and method for processing caption data in the digital receiver
CN102300106B (en) * 2010-06-28 2014-03-12 瑞昱半导体股份有限公司 Three-dimensional processing circuit and processing method
US20110316972A1 (en) * 2010-06-29 2011-12-29 Broadcom Corporation Displaying graphics with three dimensional video
US9591374B2 (en) * 2010-06-30 2017-03-07 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
JP4996720B2 (en) * 2010-06-30 2012-08-08 株式会社東芝 Image processing apparatus, image processing program, and image processing method
US8917774B2 (en) 2010-06-30 2014-12-23 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US8755432B2 (en) 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
US9699438B2 (en) * 2010-07-02 2017-07-04 Disney Enterprises, Inc. 3D graphic insertion for live action stereoscopic video
KR20120004203A (en) * 2010-07-06 2012-01-12 삼성전자주식회사 Display method and device
CN101902582B (en) * 2010-07-09 2012-12-19 清华大学 Method and device for adding stereoscopic video subtitle
CN103329542A (en) * 2010-07-21 2013-09-25 汤姆森特许公司 Method and device for providing supplementary content in 3D communication system
WO2012010101A1 (en) * 2010-07-21 2012-01-26 Technicolor (China) Technology Co., Ltd. Method and device for providing supplementary content in 3d communication system
KR101809479B1 (en) * 2010-07-21 2017-12-15 삼성전자주식회사 Apparatus for Reproducing 3D Contents and Method thereof
US9571811B2 (en) 2010-07-28 2017-02-14 S.I.Sv.El. Societa' Italiana Per Lo Sviluppo Dell'elettronica S.P.A. Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content
IT1401367B1 (en) 2010-07-28 2013-07-18 Sisvel Technology Srl METHOD TO COMBINE REFERENCE IMAGES TO A THREE-DIMENSIONAL CONTENT.
US8605136B2 (en) 2010-08-10 2013-12-10 Sony Corporation 2D to 3D user interface content data conversion
JP2012044625A (en) * 2010-08-23 2012-03-01 Sony Corp Stereoscopic image data transmission device, stereoscopic image data transmission method, stereoscopic image data reception device and stereoscopic image data reception method
CN103152596B (en) * 2010-08-25 2015-05-06 华为技术有限公司 Control method, equipment and system for graphic text display in three-dimensional television
CN102137264B (en) * 2010-08-25 2013-03-13 华为技术有限公司 A control method, device and system for graphic text display in 3D TV
KR101724704B1 (en) * 2010-08-27 2017-04-07 삼성전자주식회사 Method and apparatus for expressing of three-dimensional image
US8823773B2 (en) * 2010-09-01 2014-09-02 Lg Electronics Inc. Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional display
JP5633259B2 (en) * 2010-09-06 2014-12-03 ソニー株式会社 Stereo image data transmitting device, stereo image data transmitting method, and stereo image data receiving device
KR20120037858A (en) * 2010-10-12 2012-04-20 삼성전자주식회사 Three-dimensional image display apparatus and user interface providing method thereof
US8537201B2 (en) * 2010-10-18 2013-09-17 Silicon Image, Inc. Combining video data streams of differing dimensionality for concurrent display
JP2012120143A (en) * 2010-11-10 2012-06-21 Sony Corp Stereoscopic image data transmission device, stereoscopic image data transmission method, stereoscopic image data reception device, and stereoscopic image data reception method
US10057559B2 (en) 2010-12-03 2018-08-21 Koninklijke Philips N.V. Transferring of 3D image data
CN102487447B (en) * 2010-12-06 2015-10-14 晨星软件研发(深圳)有限公司 The method and apparatus of adjustment object three dimensional depth and the method and apparatus of detection object three dimensional depth
JP4908624B1 (en) * 2010-12-14 2012-04-04 株式会社東芝 3D image signal processing apparatus and method
GB2488746B (en) * 2010-12-23 2016-10-26 Samsung Electronics Co Ltd Improvements to subtitles for three dimensional video transmission
US20130286010A1 (en) * 2011-01-30 2013-10-31 Nokia Corporation Method, Apparatus and Computer Program Product for Three-Dimensional Stereo Display
JP4892105B1 (en) * 2011-02-21 2012-03-07 株式会社東芝 Video processing device, video processing method, and video display device
JP2012174237A (en) 2011-02-24 2012-09-10 Nintendo Co Ltd Display control program, display control device, display control system and display control method
EP2697975A1 (en) 2011-04-15 2014-02-19 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3d images independent of display size and viewing distance
CN102186023B (en) * 2011-04-27 2013-01-02 四川长虹电器股份有限公司 Binocular three-dimensional subtitle processing method
WO2012150100A1 (en) * 2011-05-02 2012-11-08 Thomson Licensing Smart stereo graphics inserter for consumer devices
US20120293636A1 (en) * 2011-05-19 2012-11-22 Comcast Cable Communications, Llc Automatic 3-Dimensional Z-Axis Settings
US9445077B2 (en) * 2011-06-21 2016-09-13 Lg Electronics Inc. Method and apparatus for processing broadcast signal for 3-dimensional broadcast service
KR101975247B1 (en) * 2011-09-14 2019-08-23 삼성전자주식회사 Image processing apparatus and image processing method thereof
FR2982448A1 (en) * 2011-11-07 2013-05-10 Thomson Licensing STEREOSCOPIC IMAGE PROCESSING METHOD COMPRISING AN INCRUSTABLE OBJECT AND CORRESPONDING DEVICE
US9300980B2 (en) * 2011-11-10 2016-03-29 Luca Rossato Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
KR101830656B1 (en) * 2011-12-02 2018-02-21 엘지전자 주식회사 Mobile terminal and control method for the same
KR101899324B1 (en) * 2011-12-28 2018-09-18 삼성전자주식회사 Display apparatus and method for providing three dimensional image
KR101309783B1 (en) * 2011-12-30 2013-09-23 삼성전자주식회사 Apparatus and method for display
JP6029021B2 (en) * 2012-01-27 2016-11-24 パナソニックIpマネジメント株式会社 Image processing apparatus, imaging apparatus, and image processing method
EP2627093A3 (en) 2012-02-13 2013-10-02 Thomson Licensing Method and device for inserting a 3D graphics animation in a 3D stereo content
CN102663665B (en) * 2012-03-02 2014-04-09 清华大学 Display method and edit method of stereo image graphic label with adaptive depth
EP2658266B1 (en) 2012-04-24 2015-05-27 Vestel Elektronik Sanayi ve Ticaret A.S. Text aware virtual view rendering
JP6092525B2 (en) * 2012-05-14 2017-03-08 サターン ライセンシング エルエルシーSaturn Licensing LLC Image processing apparatus, information processing system, image processing method, and program
CN103475831A (en) * 2012-06-06 2013-12-25 晨星软件研发(深圳)有限公司 Caption control method applied to display device and component
US9413985B2 (en) * 2012-09-12 2016-08-09 Lattice Semiconductor Corporation Combining video and audio streams utilizing pixel repetition bandwidth
RU2556451C2 (en) * 2013-06-06 2015-07-10 Общество с ограниченной ответственностью "Триаксес Вижн" CONFIGURATION OF FORMAT OF DIGITAL STEREOSCOPIC VIDEO FLOW 3DD Tile Format
CN103856689B (en) * 2013-10-31 2017-01-18 北京中科模识科技有限公司 Character dialogue subtitle extraction method oriented to news video
CN104581128A (en) * 2014-12-29 2015-04-29 青岛歌尔声学科技有限公司 Head-mounted display device and method for displaying external image information therein
JP2016001476A (en) * 2015-07-10 2016-01-07 任天堂株式会社 Display control program, display control apparatus, display control system, and display control method
JP6391629B2 (en) * 2016-06-27 2018-09-19 トムソン ライセンシングThomson Licensing System and method for compositing 3D text with 3D content
KR20180045609A (en) * 2016-10-26 2018-05-04 삼성전자주식회사 Electronic device and displaying method thereof
EP3610654B1 (en) 2017-04-11 2021-11-17 Dolby Laboratories Licensing Corporation Layered augmented entertainment experiences
KR20180131856A (en) * 2017-06-01 2018-12-11 에스케이플래닛 주식회사 Method for providing of information about delivering products and apparatus terefor
CN108509398B (en) * 2018-03-28 2019-04-12 掌阅科技股份有限公司 Talk with the generation method of novel, calculate equipment and computer storage medium
US12131590B2 (en) * 2018-12-05 2024-10-29 Xerox Corporation Environment blended packaging
KR20240160469A (en) * 2023-05-02 2024-11-11 삼성전자주식회사 Electronic apparatus and controlling method thereof
CN117932764B (en) * 2024-03-15 2024-06-25 中南建筑设计院股份有限公司 MBD-based component three-dimensional text annotation creation method and system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS583056A (en) 1981-06-30 1983-01-08 Fujitsu Ltd Character display processing system in pattern display processing system
US4925294A (en) * 1986-12-17 1990-05-15 Geshwind David M Method to convert two dimensional motion pictures for three-dimensional systems
JPH0744701B2 (en) 1986-12-27 1995-05-15 日本放送協会 Three-dimensional superimpose device
JPH01150981A (en) 1987-12-08 1989-06-13 Hitachi Ltd Three-dimensional graphic display device
AUPN087195A0 (en) 1995-02-01 1995-02-23 Trannys Pty Ltd Three dimensional enhancement
US5784097A (en) * 1995-03-29 1998-07-21 Sanyo Electric Co., Ltd. Three-dimensional image display device
JP2001283247A (en) 2000-03-31 2001-10-12 Mitsubishi Electric Systemware Corp Three-dimensional shape display device, three- dimensional shape display method and computer readable recording medium recording program
JP2001326947A (en) * 2000-05-12 2001-11-22 Sony Corp 3D image display device
AU2002351310A1 (en) * 2001-12-06 2003-06-23 The Trustees Of Columbia University In The City Of New York System and method for extracting text captions from video and generating video summaries
JP2003260265A (en) 2002-03-08 2003-09-16 Square Enix Co Ltd Video game apparatus, recording medium, and program
US6956566B2 (en) 2002-05-23 2005-10-18 Hewlett-Packard Development Company, L.P. Streaming of images with depth for three-dimensional graphics
JP4138747B2 (en) * 2002-08-27 2008-08-27 シャープ株式会社 Content playback device capable of playing content in optimal playback mode
JP2004145832A (en) 2002-08-29 2004-05-20 Sharp Corp Content creation device, content editing device, content playback device, content creation method, content editing method, content playback method, content creation program, content editing program, and mobile communication terminal
AU2002952873A0 (en) * 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd Image encoding system
KR100727513B1 (en) 2002-12-16 2007-06-14 산요덴키가부시키가이샤 3D image generating device and 3D image distribution method
JP2004274125A (en) * 2003-03-05 2004-09-30 Sony Corp Image processing apparatus and method
EP1875440B1 (en) * 2005-04-19 2008-12-03 Koninklijke Philips Electronics N.V. Depth perception
US7586495B2 (en) * 2006-12-29 2009-09-08 Intel Corporation Rendering multiple clear rectangles using a pre-rendered depth buffer
BRPI1005691B1 (en) 2009-02-17 2021-03-09 Koninklijke Philips N.V. method of combining three-dimensional image data [3d] and auxiliary graphic data, information carrier comprising three-dimensional image data [3d] and auxiliary graphic data, 3d generation device to combine three-dimensional image data [3d] and auxiliary graphic data , 3D display device to combine three-dimensional image data [3d] and auxiliary graphic data

Also Published As

Publication number Publication date
CA2680724A1 (en) 2008-09-25
ATE472230T1 (en) 2010-07-15
DE602007007369D1 (en) 2010-08-05
JP2010521738A (en) 2010-06-24
WO2008115222A1 (en) 2008-09-25
EP2157803B1 (en) 2015-02-25
CA2680724C (en) 2016-01-26
US20100238267A1 (en) 2010-09-23
US10200678B2 (en) 2019-02-05
CN101653011A (en) 2010-02-17
KR20090120492A (en) 2009-11-24
EP2140688A1 (en) 2010-01-06
BRPI0721452B1 (en) 2020-03-03
CN105263012A (en) 2016-01-20
EP2140688B1 (en) 2010-06-23
KR101842622B1 (en) 2018-03-27
MX2009009871A (en) 2010-05-19
US20170310951A1 (en) 2017-10-26
US9769462B2 (en) 2017-09-19
JP5132690B2 (en) 2013-01-30
EP2157803A1 (en) 2010-02-24

Similar Documents

Publication Publication Date Title
BRPI0721452A2 (en) SYSTEM AND METHOD FOR COMBINING TEXT WITH THREE-CONTENT CONTENT
EP2524510B1 (en) System and method for combining 3d text with 3d content
CN109479098B (en) Multi-view scene segmentation and propagation
US20110181591A1 (en) System and method for compositing 3d images
US20090322860A1 (en) System and method for model fitting and registration of objects for 2d-to-3d conversion
BR122013001378A2 (en) inserting 3d objects into a stereoscopic image at relative depth
BRPI1100216A2 (en) Method and apparatus for cutting, and, computer program
CA2727397C (en) System and method for marking a stereoscopic film
KR20110021875A (en) System and method for measuring potential icetrain of stereoscopic motion pictures
US20120098856A1 (en) Method and apparatus for inserting object data into a stereoscopic image
US11838594B2 (en) Media resource playing and text rendering method, apparatus and device and storage medium
Woods et al. Case Study: Love Letter to Skating-VR180 Stereoscopic Post-production Workflow
JP6391629B2 (en) System and method for compositing 3D text with 3D content
Devernay Image and geometry processing for 3-D cinematography
Fitter VR and the death of the screen plane
WO2025059356A1 (en) Interactive virtual object placement with consistent physical realism
US20230245259A1 (en) Method for protecting copyright of light field content
Engle Moving in stereo.
MXPA00002201A (en) Image processing method and apparatus

Legal Events

Date Code Title Description
B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06T Formal requirements before examination [chapter 6.20 patent gazette]
B15K Others concerning applications: alteration of classification

Free format text: A CLASSIFICACAO ANTERIOR ERA: H04N 13/00

Ipc: H04N 13/275 (2018.01), H04N 13/156 (2018.01), H04N

B25G Requested change of headquarter approved

Owner name: THOMSON LICENSING (FR)

B25G Requested change of headquarter approved

Owner name: THOMSON LICENSING (FR)

B25A Requested transfer of rights approved

Owner name: INTERDIGITAL CE PATENT HOLDINGS (FR)

B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 03/03/2020, OBSERVADAS AS CONDICOES LEGAIS.