BRPI0808113A2 - Processo de difusão de sequência de dados de áudio e vídeo por um servidor - Google Patents

Processo de difusão de sequência de dados de áudio e vídeo por um servidor Download PDF

Info

Publication number
BRPI0808113A2
BRPI0808113A2 BRPI0808113-1A BRPI0808113A BRPI0808113A2 BR PI0808113 A2 BRPI0808113 A2 BR PI0808113A2 BR PI0808113 A BRPI0808113 A BR PI0808113A BR PI0808113 A2 BRPI0808113 A2 BR PI0808113A2
Authority
BR
Brazil
Prior art keywords
server
client
message
audio
search
Prior art date
Application number
BRPI0808113-1A
Other languages
English (en)
Inventor
Jean Pierre Morard
Original Assignee
Sagem Comm
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sagem Comm filed Critical Sagem Comm
Publication of BRPI0808113A2 publication Critical patent/BRPI0808113A2/pt
Publication of BRPI0808113B1 publication Critical patent/BRPI0808113B1/pt

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6581Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309Transmission or handling of upstream communications
    • H04N7/17318Direct or substantially direct transmission and handling of requests

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)
  • Circuits Of Receivers In General (AREA)
  • Traffic Control Systems (AREA)

Description

Relatório Descritivo da Patente de Invenção para "PROCESSO DE DIFUSÃO DE SEQÜÊNCIAS DE DADOS DE ÁUDIO E VÍDEO POR UM SERVIDOR".
A presente invenção refere-se a um processo de difusão de se5 quências de dados de áudio e vídeo por um servidor. A multiplicidade das mídias no mesmo meio das sedes abre numerosas possibilidades. A presença de uma rede oferece a possibilidade de conectar entre si diferentes elementos de mídia de uma mesma sede. Essa rede se apresenta sob a forma de um dispositivo servidor, ou servidor, geralmente um computador, e 10 de dispositivos clientes, ou clientes, por exemplo, dos decodificadores de vídeo, ligados entre si por uma rede, quer seja sob a forma HDMI, de WIFI, eternet até mesmo por corrente portadora.
Essa configuração permite criar um escritório. Esse escritório comporta uma apresentação sobre uma tela, tipicamente aquela do cliente, 15 de um menu que permite a um usuário do cliente efetuar um comando. Esse escritório é gerado pelo servidor, mas comandado à distância pelo cliente via a rede. Essa configuração permite também a utilização de uma central de mídia à distância nessas mesmas condições.
Uma central de mídia é um dispositivo que comporta, por um 20 lado, um elemento de comando e, por outro lado, um elemento de ação para considerar o comando. Tipicamente, o elemento de comando pode comportar uma afixação sobre uma tela, por exemplo, aquela do escritório, de botões de controle. Esse elemento de comando comporta um dispositivo, por exemplo, um telecomando, para acionar os botões de controle afixados. O 25 elemento de ação da central de mídia gera as ações geradas pelo acionamento dos botões afixados, por exemplo, o fato de montar o som ou ainda de passar de uma seqüência de vídeo para uma outra.
Esse escritório ou central de mídia pode, por exemplo, ser afixado pelo cliente sobre uma tela de televisão de salão ou outro meio de afixação, formando uma interface de usuário. Um software da interface de usuário permite uma afixação de dados. O usuário pode interagir com os dados afixados com o auxílio de um dispositivo de comando, tal como um telecomando, por exemplo. Tipicamente, o elemento de comando de uma central de mídia, tal como definido acima faz também parte da interface de usuário.
A gestão de uma central de mídia por um usuário é feita a nível do cliente. Uma interface de usuário pode se definir como uma árvore de 5 comandos possíveis para o usuário. Assim, o usuário interage com essa interface de usuário, dando ordens de execução, com o auxílio de um telecomando, por exemplo, dentre escolhas possíveis afixadas pela interface de usuário. Essas ordens são recebidas pelo cliente e acarretam a criação de interações de usuários pelo cliente.
Em conseqüência da criação de uma interação de usuário, o
cliente envia uma mensagem de busca ao servidor, a fim de fazer tratar essa interação de usuário. É o servidor que, tratando a mensagem de busca enviada pelo cliente, trata a ordem do usuário. Uma vez essa mensagem de busca tratada, o servidor envia uma resposta a essa mensagem de busca ao 15 cliente. A resposta do servidor é produzida pelo tratamento da interação de usuário e notadamente por uma codificação de dados de vídeo e áudio a difundir pelo cliente, em conseqüência dessa interação de usuário. Essa resposta é recebida e é decodificada pelo cliente que afixa o resultado do tratamento sobre a interface de usuário.
Nesse sistema, o servidor codifica, isto é, comprime, o que di
funde antes de enviá-lo ao cliente. Se o servidor tivesse de afixar sobre uma tela que Ihe é própria as imagens que ele difunde, não Ihe seria necessário comprimi-las. Os elementos de transferência na barra interna da máquina de servidor suportam uma vazão elevada. Para comprimir tipicamente, o servi25 dor efetua uma captura de sua própria afixação, a codifica e a envia via a rede ao cliente, por exemplo, a um endereço IP do cliente para uma rede eternet. A codificação é, portanto, feita a partir de uma imagem definida seqüencialmente ponto por ponto, dita no formato bitmap. Essa imagem definida seqüencialmente ponto por ponto é bem-adaptada a uma afixação sobre 30 um monitor.
A codificação feita pelo servidor é do tipo espaço-temporal, isto é, os dados comprimidos comportam dados de vídeo, áudio e sinalizações, a fim de difundir esses dados corretamente. Essa codificação pode, por exemplo, ser feita segundo a norma H264. Essa codificação por compressão permite transmitir dados de elevado débito sobre uma ligação simplificada, por exemplo, HDMI. O protocolo H264 permite codificar fluxos de vídeo com 5 uma vazão inferior a duas vezes menos que aquela obtida pela norma MPEG2 pela mesma qualidade. A norma H264 dispõe de um modo de compressão em perda. Quando da codificação, uma imagem é desacoplada em macroblocos unitários. Cada macrobloco é codificado.
Em recebimento, o cliente deve decodificar os dados de áudio/vídeo enviados pelo servidor. A decodificação desses dados pelo cliente é geralmente feita por um circuito eletrônico dedicado de um cartão gráfico/seu do cliente. Uma vez os dados decodificados, o cliente os difunde via seus meios de difusão sobre sua própria tela.
Todavia, a codificação dos dados pelo servidor demanda uma 15 potência importante ou a codificação pelo servidor demanda um tempo de realização que não permite uma codificação dos dados em tempo real. Na prática, a codificação demanda ao servidor cinco vezes mais potência do que demanda a decodificação ao cliente. Os servidores clássicos, domésticos, não são capazes da codificação em tempo real.
As centrais de mídia atuais contêm um grande número de ani
mações. Essas animações são, por exemplo, uma animação sobre um botão ou um ícone, um fundo de tela em movimento recorrente ou ainda o desenrolar de um menu que se desenrola. Essas animações são pequenas seqüências de vídeo. Para transmiti-las ao cliente que as demanda, o servidor 25 deve codificá-las e transmiti-las, a fim de serem difundidas via a interface de usuário. Essas seqüências de vídeo são definidas por uma seqüência de imagens difundidas a uma velocidade suficiente para se conseguir uma boa fluidez do vídeo. Um grande número dessas animações ocorre na seqüência de interações de usuários. Todavia, em conseqüência dessas interações de 30 usuários, só uma parte do que é afixado sobre a tela do cliente sofre modificações. Com efeito, por exemplo, para um menu que se desenrola em conseqüência de um clique do usuário sobre um botão do menu afixado, só a parte na qual o menu que se desenrola muda, o resto da imagem permanecendo fixo.
Atualmente, os protocolos de áudio/vídeo codificam apenas imagens plenas. Assim, a codificação é feita sobre as partes da imagem que 5 mudaram em conseqüência de uma interação de usuário, assim como sobre as partes da imagem que não mudaram. Essa codificação global diminui muito o tempo de codificação dos dados de áudio/vídeo a transferir.
Quando de teste, concludentes quanto à função principal de afixação e de gestão à distância, o tempo de afixação dos dados de áu10 dio/vídeo pelo cliente se mostrou excessivamente longo. Esse tempo de afixação era da ordem de alguns segundos para uma única imagem. Esse tempo de afixação não permite, portanto, a utilização dessa função no estado.
O tempo de afixação excessivamente longo se explica por dois 15 fatores: em primeiro lugar, o tempo de transmissão sobre a ligação IP e, em segundo lugar, a duração do tratamento das mensagens de busca. A invenção visa a reduzir os dois tempos. A codificação e a decodificação dos dados de áudio/vídeo são tantos mais longas do que os dados são comprimidos e, portanto, complexas. Atualmente, para fazer decodificação gráfica 20 com esse gênero de aplicações, o decodificador deve integrar uma livraria gráfica, que permite a descompressão dos dados de áudio/vídeo comprimidos.
Uma solução conhecida do técnico para resolver os problemas ligados ao tempo de transmissão dos dados, via uma rede, consiste em re25 duzir o volume dos dados que transitam pela rede. Assim, comprimindo o máximo possível os dados, segundo normas de compressão conhecidas, os dados de áudio/vídeo obtidos são menos volumosos. Essas informações comprimidas transitam, portanto, mais rapidamente via a rede. Todavia, essa solução torna a compressão dos dados de áudio/vídeo mais complexa ainda. 30 Essa complexidade aumenta o tempo de codificação pelo servidor. Essa complexidade aumenta também o tempo necessário ao cliente para decodificar os dados recebidos. Além disso, essa solução é dependente da integração de uma livraria correspondente ao formato de compressão utilizado no cliente. Essa solução fornece, portanto, a vantagem de reduzir o tempo de transferência dos dados pela rede, mas aumenta consideravelmente o tempo de tratamento dos dados de áudio/vídeo pelo servidor e pelo cliente.
Combinando a aplicação TightVNC com o protocolo H264 para
uma captura de tela, por exemplo, o problema de uma codificação completa das imagens plenas pode ser resolvido. Assim, todas as funções de detecção de movimento, de cálculo das imagens etc. são calculadas pela biblioteca H264. Uma imagem plena da tela no vídeo é, então, enviada, comportan10 do unicamente as modificações. Essa imagem tendo uma taxa de compressão elevada. Por outro lado, a duração de codificação de uma imagem varia pouco.
Todavia, com esse método, é necessário retomar totalmente a arquitetura do código de tightVNC servidor. Por outro lado, a duração de co15 dificação pelo servidor corre o risco de ser relativamente longa. Com um servidor que tem um processador binuclear com 2,8 GHz, a codificação, com as opções no mínimo, dura mais de um décimo de segundos por imagem em resolução 352 por 288 para um bitrato a 30,0 Hz de 150 quilo octetos por segundos. Esse método receberia, portanto, ordem do segundo para codifi20 car uma imagem que tem uma resolução de 1280 por 720.
Nenhuma dessas soluções parece resolver, portanto, eficazmente o problema de gestão da transferência dos dados de áudio/vídeo a uma velocidade aceitável em uma rede.
Para resolver esse problema, a invenção prevê reduzir a carga 25 de codificação do servidor de várias maneiras. Por outro lado, a invenção prevê conservar um nível de compressão dos dados elevado. Em uma central de mídia ou em uma afixação de menu, as interações de usuário são frequentemente repetitivas. As animações geradas por essas interações de usuário, portanto, de grandes chances de sobrevirem várias vezes durante 30 uma utilização de uma central de mídia ou de um menu. A fim de reduzir sensivelmente a tarefa de codificação do servidor, a invenção prevê utilizar a memória do servidor, a fim de conservar as seqüências de áudio/vídeo que já foram decodificadas anteriormente. Mais particularmente, a invenção prevê uma etapa durante a qual o servidor pesquisa se a mensagem de busca enviada pelo cliente já foi tratada anteriormente. Se a mensagem enviada pelo cliente jamais tiver sido tratada pelo passado, o servidor enviará uma 5 resposta rápida ao cliente e tratará completamente a mensagem de busca em paralelo. Uma vez, a mensagem de busca completamente tratada, o resultado desse tratamento é salvaguardado na memória pelo servidor. Esse tratamento poderá ser reutilizado na seqüência, se o cliente enviar novamente a mesma mensagem de busca. Se a mensagem já tiver sido tratada pelo 10 servidor anteriormente, o servidor enviará ao cliente o resultado registrado em sua memória do tratamento dessa mensagem de busca.
A invenção prevê também reduzir o esforço de codificação do servidor só efetuando a codificação sobre os dados de áudio/vídeo que sofreu mudanças em conseqüência de uma interação de usuário. Para isso, a 15 invenção calcula as partes fixas da imagem e codifica unicamente os dados que representam animações ou seqüências de vídeo correspondentes às interações de usuários.
Além disso, a invenção trata os dados a nível das imagens brutas, tais como tratadas. A invenção não é, portanto, dependente de um tipo de compressão definida. A invenção pode, portanto, fazer ganhar tempo a nível da codificação, independentemente do tipo de codificação escolhido para comprimir os dados de áudio/vídeo.
A invenção tem, portanto, por objeto um processo de difusão de seqüências de dados de áudio e vídeo, por um servidor que libera sequên25 cias de dados de áudio e vídeo, no qual as seqüências de dados de áudio/vídeo sendo de tipo definido seqüencialmente ponto por ponto circulam via uma rede entre o servidor e um cliente, as seqüências de dados de áudio/vídeo recebidos pelo cliente são difundidas pelo cliente de maneira interativa, um usuário do cliente dá uma ordem de difusão de uma seqüência via 30 uma interface de usuário do cliente, essa ordem gerando a produção e a emissão de pelo menos uma mensagem de busca pelo cliente para o servidor, a mensagem de busca transmitida ao servidor pelo cliente é tratada pelo servidor sob a forma de uma codificação de imagens, segundo um formato comprimido, caracterizado pelo fato de o tratamento da mensagem de busca pelo servidor comportar pelo menos as seguintes etapas:
- uma etapa durante a qual o servidor busca em uma memória, se o tratamento dessa busca já ocorreu e se os dados comprimidos dessa
seqüência de dados estão disponíveis para serem liberados para o cliente;
- se o tratamento dessa mensagem não tiver ocorrido anteriormente:
- o servidor envia uma resposta rápida ao cliente, essa mensagem de resposta rápida comporta uma seqüência de áudio/vídeo que comporta a primeira e a última imagem da seqüência de dados comprimidos;
- o servidor trata essa busca de maneira completa e armazena na memória o resultado do tratamento completo dessa busca, tornando-se assim apto a liberar a resposta posteriormente;
- se o tratamento dessa busca tiver sido realizado anteriormente,
o servidor enviará diretamente os dados da seqüência contida na memória ao cliente.
A invenção será melhor compreendida com a leitura da descrição que se segue e com o exame das figuras que a acompanham. Estas só são apresentadas a título indicativo e de modo nenhum Iimitativo da invenção. As figuras mostram:
- figura 1: uma instalação de um dispositivo de rede, de acordo com a invenção;
- figura 2: um esquema de realização do processo, de acordo com a invenção.
A figura 1 representa uma instalação de um dispositivo de rede, de acordo com a invenção. Essa instalação comporta um servidor 1 ligado via uma rede 2 a um cliente 3. A rede 2 permite fazer circular entre o servidor 1, por exemplo, um computador 1 e o cliente 3, por exemplo, um decodi30 ficador, dados de áudio/vídeo. Um meio 4 de difusão de uma interface 5 de usuário é ligado ao cliente 3. Esse meio 4 de difusão pode, por exemplo, ser um televisor 4 de sala de visitas. O servidor 1 comporta seu próprio meio 6 de difusão, por exemplo, um monitor 6 de computador. Por outro lado, o servidor 1 comporta sua própria memória 7. O servidor 1 pode integrar um protocolo de codificação, tal como o protocolo H264, e uma aplicação do tipo VNC servidor. O usuário pode interagir com a interface 5 de usuário por in5 termédio, por exemplo, de um telecomando 8. Essas interações 11 são recebidas pelo cliente 3 que transmite ao servidor 1 a ordem gerada por essas interações 11 de usuário. O servidor 1 trata a ordem gerada por essas interações 11 de usuário e envia ao cliente 3 os dados de áudio/vídeo correspondentes à execução da ordem dada em conseqüência a essas interações 10 11 de usuário.
Os dados de áudio/vídeo recebidos pelo cliente 3 são restituídos pelo cliente 3 de maneira casual. Isto é, o cliente 3 permite ao usuário interagir sobre os dados. Tipicamente, uma interface 5 de usuário permite ao usuário navegar segundo uma árvore de interações 11 possível. Por exempio, a interface 5 de usuário pode se apresentar sob a forma de um menu 9, no qual o usuário navega acionando botões 10 do menu 9 com o auxílio de um telecomando 8. O acionamento desses botões 10 pode se apresentar sob a forma de uma pequena animação correspondente a uma seqüência de vídeo. Essas animações podem estar, por exemplo, presentes, quando da ativação de um botão 10, a passagem sobre um botão 10, ou ainda sobre um fundo de tela animado. Essas animações são seqüências de vídeo afixadas em função das interações 11 de usuários. Todavia, essas animações só modificam, em geral, apenas uma pequena parte da imagem 12 afixada pela interface 5 de usuário, o resto da imagem 12 não sofre nenhuma modificação.
A figura 12 representa um esquema de realização do processo, de acordo com a invenção. As interações 11 de usuários geram a criação de uma mensagem 13 de busca a nível do cliente 3. Desde que a mensagem de pesquisa tenha sido criada pelo cliente 3, o cliente 3 envia essa mensa30 gem de busca ao servidor 1. Essas mensagens 13 de pesquisa circulam via a rede 2 entre o cliente 3 e o servidor 1. No estado da técnica, o servidor 1 analisa a pesquisa do cliente 3 e codifica a resposta 22, antes de enviar essa resposta 22 ao cliente 3. O cliente 3 decodifica, então, a resposta 22 recebida, antes de difundir as mudanças geradas por essa mensagem de busca via a interface 5 de usuário.
As mensagens 13 de busca enviadas pelo cliente 3 comportam diferentes informações. Essas informações permitem ao servidor 1 tratar os dados contidos nessas mensagens 13 e enviar uma mensagem 22 de resposta ao cliente 3. Essa mensagem 22 de resposta permite uma difusão, por esse cliente 3, via a interface 5 de usuário, dados de áudio/vídeo correspondentes à interação 11 gerada pelo usuário. Uma mensagem 13 de busca comporta, portanto, o endereço 23 ao qual o servidor 1 deve responder, tipicamente o endereço IP 23 do cliente 3, uma ordem 24 a executar em conseqüência de uma interação 11 de usuário e um estado 25 correspondente à afixação atual difundida pelo cliente 3 via a interface 5 de usuário. Esse estado 25 atual permite ao servidor 1 tratar a ordem 24 dada em função da afixação atual da interface 5 de usuário, isto é, codificar a seqüência de dados de áudio/vídeo a afixar via a interface 5 de usuário pelo cliente 3 a partir da afixação atual em conseqüência dessa interação 11 de usuário.
De acordo com a invenção, quando de uma interação 11 de usuário acarretando uma animação, o servidor 1 codifica separadamente a 20 animação e a máscara. Denomina-se máscara o fundo da imagem que permanece fixa durante a animação. Combinando, por exemplo, a aplicação TightVNC com o protocolo H264 a nível da função de envio, o servidor 1 envia unicamente as partes que foram trocadas em conseqüência de uma interação 11 de usuário, assim como a posição na qual é preciso colocar essa 25 seqüência. Essa separação da codificação permite não ter de codificar a integralidade da imagem a afixar, quando de uma animação. O servidor 1 codifica, então, apenas a animação sozinha, sem recodificar, para cada imagem de uma afixação que comporta uma animação, a totalidade da imagem a cada afixação.
Além disso, a invenção prevê que o servidor 1 mantenha na
memória 7 as seqüências 2 de dados comprimidos da seqüência de áudio/vídeo codificada correspondente a essa animação. Se a interação 11 de usuário que acionou essa animação, a partir da mesma máscara, viesse a se reproduzir na seqüência, o servidor 1 não codificaria de novo a animação, mas enviaria diretamente a seqüência 26 de dados já codificada correspondente e já colocada na memória 7. Essa utilização da memória 7 permite 5 alijar o trabalho do servidor 1 e isto qualquer que seja o tipo de codificação escolhido.
Todavia, é necessário, para encontrar a seqüência 26 de dados codificada, correspondente a uma máscara e a uma interação 11 de usuário determinada, poder ir buscar a boa seqüência 26 de dados, para isto um
sistema de indexação das seqüências 26 de dados comprimidos é necessário. De acordo com a invenção, essa indexação 27 é feita sobre a primeira imagem 28 de uma seqüência 26 de áudio/vídeo. Essa indexação 27 que trabalha sobre uma imagem 28 sozinha não é dependente de um tipo de compressão determinado e pode, portanto, ser aplicada com qualquer tipo 15 de codificação de áudio/vídeo.
Para realizar essas etapas, uma mensagem 13 de busca comporta, portanto, a ordem 24 correspondente à interação 11 de usuário, a máscara 29, um índice 30 da máscara e as informações 23 relativas à rede
2. O tratamento das mensagens 13 de busca comporta uma fase de pesqui20 sa e, segundo a necessidade, uma fase de codificação dos dados de áudio/vídeo. Essa codificação pode, por exemplo, ser realizada segundo a norma H264. As seqüências 26 de dados de áudio/vídeo codificadas são as imagens normalmente afixadas pelo servidor 1, isto é, que essas imagens são capturas de tela do servidor 1. Essas imagens são, portanto, de tipo de25 finido seqüencialmente ponto por ponto.
Um estado 25 é definido como comportando uma máscara 29 e um índice 30 da máscara. De acordo com a invenção, os estados 25 são de acesso direto pelos índices 30, a fim de saber rapidamente se, sendo dada uma imagem indexada, ela corresponde a um estado 25 já conhecido ou 30 não. Se o estado 25 já for conhecido, o servidor 1 pesquisa se existe uma transição a partir da máscara 29 correspondente a esse estado 25. Uma máscara 29 é um recorte da imagem que comporta apenas as partes fixadas da imagem. Tipicamente, em uma máscara 29 se acha a imagem afixada, sem as partes animadas, tais como os menus animados ou botões animados da imagem afixada.
Uma transição comporta as interações 11 de usuários, assim 5 como as seqüências 26 vídeo correspondentes a essa interação de usuário. Assim, em conseqüência de uma interação 11 de usuário que acarreta a passagem de um estado um a um estado dois, passa-se por uma transição que comporta uma seqüência de áudio/vídeo que permite passar do estado um ao estado dois. As transições são indexadas sobre a primeira imagem 28 10 da seqüência 26 de dados de áudio/vídeo que elas comportam. Essa indexação 27 permitirá ter um acesso direto a essa seqüência 26, se a interação
11 de usuário e a máscara 29 correspondente ao estado 25 inicial já tiver ocorrido, as máscaras 29 e as transições sendo complementares para formar uma imagem completa.
Quando do primeiro acionamento, o servidor 1 executa várias
etapas. Durante uma primeira etapa, o servidor 1 codifica a integralidade da seqüência de acionamento a afixar e envia diretamente ao cliente 3 essa seqüência de acionamento. Durante uma segunda etapa, o servidor 1 determina a primeira máscara e o primeiro índice correspondente ao estado de 20 acionamento. Enfim, quando de uma terceira etapa, o servidor 1 associa o estado que tem esse índice e a máscara correspondente. Na seqüência, quando de uma mudança de estado em conseqüência de uma interação 11 de usuário, a mensagem de busca 13 conterá o índice do estado associado à afixação atual da interface 5 de usuário. Para isto, o servidor 1 memoriza, 25 por exemplo, em sua memória oculta, o estado e seu índice.
Após o acionamento da instalação, a invenção comporta várias etapas. O servidor 1 já registrou na memória 7 um ou vários estados 25 produzido(s). Quando de uma interação 11 de usuário que gera uma mudança de estado 25, o cliente 3 envia uma mensagem 13 de busca tal como descri30 to mais acima ao servidor 1. O servidor 1 trata, então, imediatamente essa mensagem 13 de busca. Em um primeiro tempo 14, o servidor 1 pesquisará, em sua memória 7, se existe uma transação indexada pela interação 11 de usuário, a partir do estado 25 indexado enviado pelo cliente 3 em sua mensagem 13 de busca.
No caso 15, onde existe na memória 7 essa transição indexada,
0 servidor 1 envia diretamente a seqüência 26 de dados de áudio/vídeo que 5 já foi codificada correspondente. A ausência de obrigação de codificação
permite um ganho de tempo importante para o servidor 1. O servidor 1 que não codificou a seqüência 26 de dados de .áudio/vídeo, o servidor 1 continua disponível para efetuar outras tarefas.
No caso 16, em que não existes na memória 7 de transição inde
xada, o servidor 1 codifica 17 a seqüência de áudio/vídeo. O servidor 1 indexa, em seguida, essa seqüência de áudio/vícíeio e a associa a uma transição. Todavia, para não bloquear o usuário o tempo que o servidor 1 efetua a codificação 17, o servidor 1 efetua uma tareia 18 suplementar em paralelo da codificação 17. Essa tarefa 18 suplementar consiste no envio ao cliente 3 de 15 uma mensagem 31 de resposta rápida. Para fazer com que o servidor 1 ganhe tempo, sem bloquear o usuário, o servidor 1 envia em resposta ao cliente 3 uma seqüência 32 de áudio/vídeo que comporta apenas duas imagens. As duas imagens dessa seqüência 32 de áudio/vídeo são a primeira e a última imagem da seqüência 26 de dados de áudio/vídeo completa. A última 20 imagem de uma seqüência de dados de áudio/vídeo é aquela normalmente afixada diretamente a nível do servidor 1. Esta imagem é, portanto, diretamente acessível para o envio da resposta 31 rápida. Uma vez a codificação 17 da seqüência 26 de dados de áudio/vídeo completa acabada, o servidor 1 mantém na memória 7 a transição correspondente a essa seqüência 26 de 25 dados de áudio/vídeo e essa interação 11 de usuário.
O envio dessa resposta 31 rápida não permite a difusão da seqüência 26 de dados de áudio/vídeo correspondente à interação 11 de usuário, quando da primeira ocorrência dessa interação 11 de usuário. Essa resposta 31 rápida só permite afixar a primeira e a última imagem dessa se30 quência de dados de áudio/vídeo. Todavia, essa resposta 31 rápida do servidor 1 evita ao usuário permanecer bloqueado no tempo em que o servidor
1 efetua a codificação 17 dessa seqüência 2>6 completa. Uma vez a seqüência, ou a resposta 31 rápida emitida pelo servidor 1, conforme o caso, enviada ao cliente 3, o servidor calcula a máscara
19 e o índice 20 da imagem final obtida. Esses elementos permitem criar o novo estado correspondente a essa imagem final. No caso em que nenhuma 5 transição indexada correspondente à interação 11 de usuário não existe a partir do primeiro estado 25, essa transição é indexada por sua primeira imagem 28 e é colocada na memória 7. No caso em que uma transição indexada pela mesma interação 11 de usuário, partindo do primeiro estado 25, já existe e o estado final obtido pela interação 11 de usuário é diferente daque10 Ie em memória 7 obtido por essa transição indexada, a transição já na memória 7 é substituída 21 pela nova transição codificada.
Tipicamente, a máscara e as mudanças são calculadas a cada vez. A cada interação 11 de usuário, a diferença entre a imagem afixada e a última imagem da película armazenada na memória 7 é calculada. Se essas 15 imagens forem diferentes, a transição é recodificada durante a afixação da antiga transição. Em seguida, a imagem correta, isto é, a imagem atual, é afixada, após a difusão da antiga seqüência de áudio/vídeo. Uma interação
11 de usuário só pode gerar uma única seqüência 26 de vídeo indexada para uma imagem de partida da seqüência de áudio/vídeo e uma interação 11 de usuário dados.
Esse processo apresenta a vantagem de ganhar em tempo de execução com uma central de mídia qualquer, considerando-se que esse processo não utiliza tipo de codificação particular. Esse processo de difusão de seqüências de dados de áudio e vídeo por um servidor 1 é, particular25 mente, adaptado para as interfaces 5 de usuário, tais como os menus que se pode encontrar sobre DVD ou outros menus 9 que têm para animações mudanças precisas sobre as quais os usuários só podem passar de um botão 10 para um outro que tem deslocamentos de cursores predefinidos.

Claims (9)

1. Processo de difusão de seqüências de dados de áudio e vídeo por um servidor (1) que libera seqüências de dados de áudio e vídeo, no qual: - as seqüências (26) de dados de áudio e vídeo, sendo de tipo definido seqüencialmente ponto por ponto circulam via uma rede (2) entre o servidor (1) e um cliente (3), - as seqüências (26) de dados de áudio/vídeo recebidos pelo cliente (3) são difundidas pelo cliente (3), de maneira interativa; - um usuário do cliente (3) dá uma ordem (24) de difusão de uma seqüência (26) via uma interface (5) usuário do cliente (3), essa ordem (24) gerando a produção e a emissão de pelo menos uma mensagem (13) de busca pelo cliente (3) para o servidor (1); - a mensagem (13) de busca transmitida ao servidor (1) pelo cliente (3) é tratada pelo servidor (1) sob a forma de uma codificação de imagens segundo um formato comprimido, caracterizado pelo fato de o tratamento da mensagem (13) de busca pelo servidor (1) comportar pelo menos as seguintes etapas: - uma etapa durante a qual o servidor (1) pesquisa, em uma memória (7), se o tratamento dessa busca já ocorreu e se os dados comprimidos dessa seqüência (26) de dados estão disponíveis para serem liberados para o cliente (3); - se o tratamento dessa mensagem não tiver ocorrido anteriormente: -o servidor (1) envia uma mensagem (31) de resposta rápida ao cliente (3), essa mensagem (31) de resposta rápida comporta uma seqüência (32) de áudio/vídeo que comporta a primeira e a última imagem da seqüência (26) de dados comprimidos; - o servidor (1) trata essa busca de maneira completa e armazena na memória (7) o resultado do tratamento completo dessa busca, tornando-se assim apto a liberar a resposta posteriormente; - se o tratamento dessa equipe tiver sido realizado anteriormente, o servidor (1) enviará diretamente os dados da seqüência (26) contida na memória (7) ao cliente (3).
2. Processo, de acordo com a reivindicação 1, caracterizado pelo fato de os dados de áudio e/ou vídeo serem codificados pelo servidor (1), segundo a norma H264.
3. Processo, de acordo com uma das reivindicações 1 a 2, caracterizado pelo fato de se o tratamento da mensagem (13), enviada pelo cliente (3) ao servidor (1), não tiver ocorrido anteriormente, o servidor (1) enviar a mensagem (31) de resposta rápida e tratar a busca de maneira completa em paralelo.
4. Processo, de acordo com uma das reivindicações 1 a 3, caracterizado pelo fato de o tratamento da busca comportar uma etapa de indexação das imagens (28) codificadas de início de seqüência (26) de dados.
5. Processo, de acordo com uma das reivindicações 1 a 4, em que o tratamento da mensagem (13) de busca comporta uma etapa de pesquisa por índice de seqüências (26) comprimidas contidas na memória (7).
6. Processo, de acordo com uma das reivindicações 1 a 5, caracterizado pelo fato de a codificação ser feita apenas sobre zonas modificadas das imagens.
7. Processo, de acordo com uma das reivindicações 1 a 6, caracterizado pelo fato de o tratamento das mensagens (13) de busca comportar: - uma etapa de criação de uma máscara (29) que representa a parte fixa de uma imagem; - uma etapa de indexação dessa máscara; - uma etapa de criação de uma transição que representa uma parte animada da imagem; - uma etapa de indexação dessa transição, os índices sendo conhecidos do cliente (3) e sendo enviados na mensagem (13) de busca.
8. Processo, de acordo com uma das reivindicações 1 a 7, caracterizado pelo fato de uma interação (11) de usuário gerar o envio de uma seqüência (26) vídeo, - essa interação (11) sendo exercida pelo usuário a partir de uma imagem de partida afixada sobre o cliente (3); - essa seqüência de vídeo é parametrada por um estado de uma base de dados de áudio/vídeo do servidor (1) ou pela mensagem (13) de busca.
9. Processo, de acordo com a reivindicação 8, caracterizado pelo fato de, quando o estado da base de dados do servidor (1) muda, o tratamento de uma mensagem (13) de busca comportar uma etapa durante a qual qualquer precedente seqüência correspondente a essa interação (11) de usuário é substituída por uma nova seqüência (26) correspondente a um novo estado da base de dados.
BRPI0808113-1A 2007-02-27 2008-02-26 Processo de difusão de sequências de dados de audio e vídeo por um servidor BRPI0808113B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0753538 2007-02-27
FR0753538A FR2913164B1 (fr) 2007-02-27 2007-02-27 Procede de diffusion de sequences de donnees audio et video par un serveur
PCT/FR2008/050319 WO2008119902A2 (fr) 2007-02-27 2008-02-26 Procede de diffusion de sequences de donnees audio et video par un serveur

Publications (2)

Publication Number Publication Date
BRPI0808113A2 true BRPI0808113A2 (pt) 2014-07-08
BRPI0808113B1 BRPI0808113B1 (pt) 2020-11-17

Family

ID=38596785

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0808113-1A BRPI0808113B1 (pt) 2007-02-27 2008-02-26 Processo de difusão de sequências de dados de audio e vídeo por um servidor

Country Status (10)

Country Link
US (1) US8127044B2 (pt)
EP (1) EP2127384B1 (pt)
CN (1) CN101622873B (pt)
AT (1) ATE475264T1 (pt)
BR (1) BRPI0808113B1 (pt)
CO (1) CO6170398A2 (pt)
DE (1) DE602008001884D1 (pt)
ES (1) ES2349003T3 (pt)
FR (1) FR2913164B1 (pt)
WO (1) WO2008119902A2 (pt)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2482548A1 (en) * 2011-01-21 2012-08-01 Alcatel Lucent A method, a system, a server, a client, a computer program and a computer program product for determining a user guide in a computer network
US9596580B2 (en) * 2014-04-08 2017-03-14 Nexomni, Llc System and method for multi-frame message exchange between personal mobile devices
EP3050302B1 (en) 2014-09-25 2018-01-03 Huawei Technologies Co. Ltd. A server for providing a graphical user interface to a client and a client
CN115865909B (zh) * 2023-01-13 2023-06-02 中科方德软件有限公司 一种基于spice协议的数据传输方法、装置和可读存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3282260B2 (ja) * 1993-01-18 2002-05-13 ソニー株式会社 画像再生装置及び方法
US6484212B1 (en) * 1999-04-20 2002-11-19 At&T Corp. Proxy apparatus and method for streaming media information
US20030058248A1 (en) * 2001-09-21 2003-03-27 Hochmuth Roland M. System and method for communicating graphics over a network
US7171444B2 (en) * 2001-11-14 2007-01-30 Sharp Laboratories Of America, Inc. Remote desktop protocol compression system
US20040010622A1 (en) * 2002-07-11 2004-01-15 O'neill Thomas G. Method and system for buffering image updates in a remote application
US7606314B2 (en) * 2002-08-29 2009-10-20 Raritan America, Inc. Method and apparatus for caching, compressing and transmitting video signals
US7039247B2 (en) * 2003-01-31 2006-05-02 Sony Corporation Graphic codec for network transmission
JP4246528B2 (ja) * 2003-03-26 2009-04-02 富士通コンポーネント株式会社 切替器
EP1623301A2 (en) * 2003-05-15 2006-02-08 Comcast Cable Holdings LLC Method and system for playing video
US7603689B2 (en) * 2003-06-13 2009-10-13 Microsoft Corporation Fast start-up for digital video streams
US7627186B2 (en) * 2003-11-14 2009-12-01 Avocent California Corporation Compression systems and methods
US7430681B1 (en) * 2005-03-30 2008-09-30 Teradici Corporation Methods and apparatus for interfacing a drawing memory with a remote display controller
US20060282855A1 (en) * 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
AU2005202356B2 (en) * 2005-05-31 2008-01-10 Canon Kabushiki Kaisha Frame scattering for video scrubbing
US8112513B2 (en) * 2005-11-30 2012-02-07 Microsoft Corporation Multi-user display proxy server

Also Published As

Publication number Publication date
ES2349003T3 (es) 2010-12-21
CN101622873B (zh) 2012-11-07
EP2127384A2 (fr) 2009-12-02
FR2913164A1 (fr) 2008-08-29
CO6170398A2 (es) 2010-06-18
WO2008119902A2 (fr) 2008-10-09
DE602008001884D1 (de) 2010-09-02
WO2008119902A3 (fr) 2008-11-20
US8127044B2 (en) 2012-02-28
CN101622873A (zh) 2010-01-06
FR2913164B1 (fr) 2009-04-17
US20100115136A1 (en) 2010-05-06
BRPI0808113B1 (pt) 2020-11-17
EP2127384B1 (fr) 2010-07-21
ATE475264T1 (de) 2010-08-15

Similar Documents

Publication Publication Date Title
CN111131851B (zh) 游戏直播控制方法及装置、计算机存储介质、电子设备
US9009216B2 (en) Server device, and method and program for processing on the same
US20090205006A1 (en) Method, apparatus and system for generating and distributing rich digital bookmarks for digital content navigation
CN111447487B (zh) 智慧屏反向投屏方法、系统、智慧屏和可读存储介质
CN112995698A (zh) 一种视频播放方法、客户端、服务平台及智能会议系统
BRPI0808113A2 (pt) Processo de difusão de sequência de dados de áudio e vídeo por um servidor
JP2022531084A (ja) ビデオ処理方法及び装置、端末、及びコンピュータプログラム
CN113424553A (zh) 用于响应于用户选择而推进交互式媒体项目的重放的技术
CN111327910A (zh) 应用程序的操作控制方法、装置、设备及存储介质
CN114040243A (zh) 直播间视频播放方法及装置
CN112532719A (zh) 信息流的推送方法、装置、设备及计算机可读存储介质
CN108574877A (zh) 直播方法、主播端、观众端、设备、系统及存储介质
CN113873316A (zh) 直播间视频播放方法及装置
KR20220136068A (ko) 미디어 제공 서버, 트리거 영역을 통해 다른 컨텐츠로 전환하는 방법 및 컴퓨터 프로그램
CN113556568A (zh) 一种云应用程序运行方法、系统、装置与存储介质
CN105430527B (zh) 一种流媒体提醒方法及终端设备
BRPI0817083B1 (pt) Processo de difusão de sequências de dados de vídeo por um servidor para um terminal de cliente
CN113099238B (zh) 一种用于判断安卓手机播放视频的解码方法
CN115811621A (zh) 一种直播流播放方法、装置、计算机设备及存储介质
CN115767134B (zh) 音视频的处理方法、装置、计算机设备和存储介质
CN119767081A (zh) 直播视频播放方法、装置、设备及存储介质
CN117812370A (zh) 一种多媒体文件的播放方法、装置和电子设备
CN121193999A (zh) 浏览器中视频播放方法、设备以及计算机存储介质
Zou Remote Client of Home Video Surveillance System
CN117834982A (zh) 视频播放处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
B15K Others concerning applications: alteration of classification

Ipc: H04N 7/173 (2011.01), H04N 7/24 (2011.01)

B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B15K Others concerning applications: alteration of classification

Free format text: AS CLASSIFICACOES ANTERIORES ERAM: H04N 7/173 , H04N 7/24

Ipc: H04N 21/2343 (2011.01), H04N 21/431 (2011.01), H04

B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B06A Patent application procedure suspended [chapter 6.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 17/11/2020, OBSERVADAS AS CONDICOES LEGAIS.

B21F Lapse acc. art. 78, item iv - on non-payment of the annual fees in time

Free format text: REFERENTE A 15A ANUIDADE.

B24J Lapse because of non-payment of annual fees (definitively: art 78 iv lpi, resolution 113/2013 art. 12)

Free format text: EM VIRTUDE DA EXTINCAO PUBLICADA NA RPI 2711 DE 20-12-2022 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDA A EXTINCAO DA PATENTE E SEUS CERTIFICADOS, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013.