BRPI0615511A2 - servidor de conferência multiponto, sistema de conferência multiponto, programa a ser executado por um computador e método de conferência multiponto - Google Patents

servidor de conferência multiponto, sistema de conferência multiponto, programa a ser executado por um computador e método de conferência multiponto Download PDF

Info

Publication number
BRPI0615511A2
BRPI0615511A2 BRPI0615511-1A BRPI0615511A BRPI0615511A2 BR PI0615511 A2 BRPI0615511 A2 BR PI0615511A2 BR PI0615511 A BRPI0615511 A BR PI0615511A BR PI0615511 A2 BRPI0615511 A2 BR PI0615511A2
Authority
BR
Brazil
Prior art keywords
video
video stream
terminal
server
terminals
Prior art date
Application number
BRPI0615511-1A
Other languages
English (en)
Inventor
Daisuke Mizuno
Hiroaki Dei
Kazunori Ozawa
Original Assignee
Nec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corp filed Critical Nec Corp
Publication of BRPI0615511A2 publication Critical patent/BRPI0615511A2/pt

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567Multimedia conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/562Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities where the conference facilities are distributed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

SERVIDOR DE CONFERêNCIA MULTIPONTO, SISTEMA DE CONFERêNCIA MULTIPONTO, PROGRAMA A SER EXECUTADO POR UM COMPUTADOR E METODO DE CONFERêNCIA MULTIPONTO. Um servidor de videoconferência multiponto é produzido para rapidamente responder a um pedido de comutação de vídeo a partir de um terminal e um grau de complexidade computacional é tornado mais baixo. Um servidor (300) codifica somente m (1 < m <243> n) correntes de vídeo selecionadas a partir de n terminais e armazena correntes de vídeo que não necessitam ser decodificadas em memórias temporárias. Quando uma instrução para comutar para uma outra corrente é recebida de um terminal, o servidor (300) usa dados acumulados nas memórias temporárias e decodifica a partir do último I-quadro voltando para o passado antes de começar a fornecer um vídeo usando a corrente de vídeo.

Description

"SERVIDOR DE CONFERÊNCIA MULTIPONTO, SISTEMA DECONFERÊNCIA MULTIPONTO, PROGRAMA A SER EXECUTADO POR UMCOMPUTADOR E MÉTODO DE CONFERÊNCIA MULTIPONTO".
Campo técnico
A presente invenção pertence a um sistema de conferênciamultiponto, um método de conferência multiponto, e umprograma, e em particular, a um chamado sistema devideoconferência multiponto que termina uma pluralidadede peças de dados de vídeo e transmite uma corrente devídeo a um terminal, um aparelho usando o mesmo, e ummétodo de videoconferência multiponto.
Técnica anterior
O pedido de patente japonesa em aberto n° 2002-290940(Documento de Patente 1) introduz um sistema devideoconferência no qual um servidor, que é arranjado emuma rede, temporariamente recebe uma corrente de vídeotransmitida a partir de cada terminal e então fornece acorrente de vídeo para todos os terminais. Neste modo, oservidor recebe dados de vídeo a partir de todos osterminais respectivamente e fornece os dados de vídeo acada terminal. Cada terminal decodifica uma pluralidadede correntes de vídeo e exibe-as em um formato deexibição predeterminado para videoconferência tal como umdisplay de tela dividida igualmente e um close-up de quemestá falando.
Também, um modo é conhecido no qual o servidor na rededecodifica todos os dados de vídeo recebidos de cadaterminal, codifica os dados de vídeo após executar onecessário processamento de imagens, e transmite somenteuma corrente de vídeo em resposta a um pedido de cadaterminal. De acordo com este modo, o servidor podeprocessar correntes de vídeo considerando a performancedos terminais e portanto, existe uma vantagem que ométodo de codificação, codificando definições, opções esimilares pode arbitratriamente ser ajustado. Documentode Patente 1: Pedido de patente japonesa em aberto n°2002-290940.Descrição da invenção
Problemas a serem resolvidos pela invenção
Entretanto, mesmo no último mod,o no qual um servidor emuma rede transmite somente as necessárias correntes devídeo, existe um problema que todas as correntes de vídeodevem ser preparadas (decodificadas, por exemplo) emborasomente correntes de vídeo solicitadas sejam realmentenecessárias. Um aumento em recursos computacionais leva arestrições no número de canais processados por cadaservidor e portanto não é desejável, e também existe umasituação na qual a decodificação não pode ser iniciada apartir de qualquer ponto (lugar) mesmo se uma solicitaçãode comutação for feita porque a corrente de vídeo écomprimida em uma direção temporal.
Portanto, um objetivo da presente invenção é prover umsistema de conferência multiponto, um método deconferência multiponto, e um programa com baixacomplexidade computacional que possa rapidamenteresponder a uma solicitação de comutação de correntes devídeo a partir de terminais.
Meios para resolver o problema
Um primeiro aspecto de acordo com a presente invençãoprovê um servidor de conferência multiponto conectado auma pluralidade de terminais transmitindo uma corrente devídeo que codifica uma corrente de vídeo solicitada porcada um dos terminais antes que a corrente de vídeo sejatransmitida a cada um dos terminais, sendo que somentecorrentes de vídeo a serem transmitidas a cada um dosterminais são decodificadas, e outras correntes de vídeocandidatas para comutação são armazenadas em memóriatemporária e, quando a comutação é solicitada, sãodecodificadas voltando no tempo. O servidor deconferência multiponto compreende decodificadores paradecodificar somente correntes de vídeo a seremtransmitidas a cada terminal, memórias temporárias["buffers"] para acumular correntes de vídeo que nãodevem ser transmitidas sem decodificação, e uma parte decontrole de comutação que seleciona uma corrente de vídeoa partir de correntes de vídeo acumuladas nas memóriastemporárias em resposta a um pedido de comutação decorrente de vídeo a partir do terminal, decodifica acorrente de vídeo voltando um tempo predeterminado para opassado, e comuta a corrente de vídeo a ser transmitidapara o terminal.
Um segundo aspecto de acordo com a presente invençãoprovê um programa a ser executado por um computadorconstituindo o servidor de conferência multiponto e umsistema de conferência multiponto que pode serconstituído conectado o servidor de conferênciamultiponto e um grupo de terminais.
Um terceiro aspecto de acordo com a presente invençãoprovê um método de conferência multiponto executadousando o servidor de conferência multiponto caracterizadopor compreender (a) uma etapa de decodif icação, onde oservidor de conferência multiponto decodifica somente umaporção de correntes de vídeo a serem transmitidas paracada um dos terminais; (b) uma etapa de acumulação, ondeo servidor de conferência multiponto acumula correntes devídeo que não devem ser transmitidas em memóriastemporárias sem as decodificar; e (c) uma etapa decomutação, onde, de acordo com um pedido de comutação dacorrente de vídeo a partir do terminal, o servidor deconferência multiponto seleciona uma corrente de vídeoacumulada nas memórias, decodifica a corrente de vídeovoltando um tempo predeterminado para o passado, e comutaa corrente de vídeo a ser transmitida para o terminal.
Efeito da invenção
De acordo com a presente invenção, os recursoscomputacionais de um servidor usado como um servidor deconferência multiponto podem ser controlados sem perderresposta a pedidos de comutação a partir de terminais.Uma vez que o processamento da comutação é executadolevando em conta a compressão de uma corrente de vídeo nadireção temporal, a qualidade da imagem não serádegradada.
Melhor modo para executar a invenção
A seguir., o melhor modo para executar a presente invençãoserá descrito em detalhes com referência aos desenhos. Afig. 1 é um diagrama mostrando a configuração de esboçode um sistema de conferência multiponto de acordo com umaconfiguração da presente invenção. Referência à fig. 1mostra um sistema de conferência multiponto conectando η(daqui por diante, η denota um número inteiro igual a oumaior que 2) terminais 101 a 10n e um servidor deconferência multiponto (daqui por diante, chamadosimplesmente um servidor) 200 via uma rede 500.
A fig. 2 é um diagrama mostrando uma conexão entre cadaterminal e o servidor 200 no sistema de conferênciamultiponto. Um terminal 101 mostrado na fig. 2 executacomunicação com cada uma de uma parte de recepção devídeo 210, uma parte de recepção de sinal de controle220, e uma parte de transmissão de vídeo 290 do servidor200 via a rede 500 para executar a transmissão e recepçãode correntes de vídeo junto com a transmissão e recepçãode sinais de controle predeterminados.
A fig. 3 é um diagrama mostrando uma configuraçãodetalhada quando η terminais são conectados ao servidor200 no sistema de conferência multiponto. Em adição àparte de recepção de sinal de controle 220 e uma parte decontrole 250, o servidor 200 pode se comunicar com cadaum dos terminais 101 a 10n por meio de η partes derecepção de vídeo 211 a 21η, η memórias temporárias 231 a23η, η decodif icadores 241 a 24η, η partes deseleção/composição 261 a 26η, η partes deredimensionamento 291 a 29n para suportar η terminais.
A parte de recepção de sinal de controle 220 é um meiopara receber um sinal de controle a partir dos terminais101 a 10n para transportar o sinal de controle para aparte de controle 250 e a parte de controle 250 é ummeio, em adição ao controle de todo o servidor 200, paradar instruções a cada unidade incluindo osdecodificadores 241 a 24n após determinar as correntes devídeo a serem fornecidas a cada um dos terminais 101 a10n baseado em sinais de controle.
As partes de recepção de vídeo 211 a 21n são meios parareceber pacotes incluindo correntes de vídeo a partir dosterminais 101 a IOn via a rede 500. As memóriastemporárias 231 a 23n são destinos de armazenagemtemporária de correntes de vídeo armazenadas em umamemória do servidor 200.
Os decodificadores 241 a 24n são meios para decodificarcorrentes de vídeo para criar imagens e, como descritodepois, têm um sinalizador ["flag"] indicando se umacorrente de vídeo recebida de cada terminal correntementedeve ou não ser decodificada por meio de ativo/inativo.As partes de seleção/composição 261 a 26n são meios paraselecionar uma saída de imagens dos decodificadores 241 a24n ou uma pluralidade de imagens para combiná-las deacordo com instruções a partir da parte de controle 250.Em adição, as partes de redimensionamento 271 a 27n sãomeios para escalar imagens de saída a partir das partesde seleção/composição 261 a 26n para o ajuste de tamanhopara cada um dos terminais 101 a IOn.
Os codificadores 281 a 28n são meios para codificarimagens de acordo com o método de codificação, definiçõesde codificação, e parâmetros se ajustando a cada um dosterminais 101 a IOn para converter tais imagens em umacorrente de vídeo. As partes de transmissão (de vídeo)2 91 a 29n são meios para transmitir uma corrente de vídeocriada pelos codificadores 281 a 28n para cada um dosterminais combinados 101 a IOn via a rede 500.
Embora não ilustrado para facilitar a compreensão dapresente invenção, o servidor de conferência multiponto200 está equipado com vários meios de processamento paramanipular correntes de voz.
A seguir, uma visão geral das operações do servidor 200será provida usando a fig. 3. Quando cada um dosterminais 101 a IOn transmite uma corrente de vídeo comopacotes para o servidor 200, cada uma das partes derecepção de vídeo 211 a 2 In do servidor 200 recebe eanalisa individualmente pacotes a partir de cada terminalpara extrair correntes de vídeo.
Se for assumido que todas as correntes recebidas sãousadas (todas as correntes recebidas devem sertransmitidas para qualquer um dos terminais), as memóriastemporárias 231 a 23n não são usadas e as correntes sãoindividualmente decodificadas pelos decodificadores 241 a24n para criar uma a η imagens.
Então, as partes de seleção/composição 261 a 26nselecionam/compõem imagens de acordo com as instruções daparte de controle 250 e os codificadores 281 a 28nexecutam processamento de codificação para cada terminal.Uma corrente de vídeo criada por codificação é empacotadaantes de ser individualmente transmitida para osterminais 101 a IOn pelas partes de transmissão (devídeo) 291 a 29n.
Então, os terminais 101 a IOn podem comutar a corrente devídeo recebida do servidor 200 transmitindo um sinal decontrole para a parte de recepção de sinal de controle220 do servidor 200 para transportar um pedido para oservidor 200 .
As operações quando todas as correntes recebidas nãodevem ser transmitidas, nas quais um efeito da presenteinvenção será plenamente aparente, serão descritasabaixo. A operação é a mesma que aquela do casomencionado anteriormente até que as partes de recepção devídeo 211 a 21n do servidor 20 extraiam individualmentecorrentes de vídeo antes de receber e analisar pacotes apartir de cada terminal.
A seguir, os sinalizadores dos decodificadores 241 a 24nsão referenciados. Aqui, se os sinalizadores dosdecodificadores 241 a 24n estão ativos (para seremdecodificados), as correntes de vídeo são decodificadascomo o caso mencionado anteriormente. Se, por outro lado,os sinalizadores dos decodif icadores 241 a 24n estãoinativos (não devem ser decodificados), o processamentopara armazenar temporariamente as correntes de vídeo nasmemórias temporárias 231 a 23n é executado.A fig. 4 é um diagrama de fluxo mostrando as operaçõesdos decodif icadores 241 a 24n quando uma instrução deativação é recebida da parte de controle 250 em um estadoinativo (não deve ser decodificada). Após receber ainstrução de ativação, os decodificadores 241 a 24nchecam se qualquer corrente de vídeo está ou nãoarmazenada nas memórias temporárias 231 a 23n (etapaS001).
Aqui, se qualquer corrente de vídeo está armazenada nasmemórias temporárias 231 a 23n, os decodificadores 241 a24n decodificam os dados armazenados (corrente de dados)(etapa S003) . Com será descrito depois, um intra-quadro(um quadro codificado intra-quadro; daqui por diantereferido como um I-quadro) é sempre armazenado nasmemórias temporárias 231 a 23n, a decodificação começaráa partir do I-quadro.
Uma porção de dados que foi decodificada é eliminada dasmemórias temporárias e se dados ainda estiveremarmazenados nas memórias temporárias 231 a 23n, as etapasacima SOOl e S002 são repetidas. Neste meio tempo, osdecodificadores 241 a 24n ignoram a informação de tempo edecodificam as correntes armazenadas nas memóriastemporárias 231 a 23n de uma vez. A última imagem entreuma pluralidade de imagens geradas por decodificação éusada pelas partes de seleção/composição 261 a 26n.Se, por outro lado, as memórias temporárias 231 a 23n nãocontêm dados mais (N na etapa S001), os decodificadores241 a 24n fazem uma transição para um estado dedecodificação no qual o sinalizador é definido para ativo(para ser decodificado) (etapa S002).
A fig. 5 é um diagrama de fluxo mostrando as operaçõesdos decodif icadores 241 a 24n quando uma instrução deinativação é recebida da parte de controle 250 em umestado ativo (para ser decodificada). Após receber ainstrução de inativação, ao invés de imediatamenteinterromper a decodificação, os decodificadores 241 a 24ndecidem o comportamento baseado em dados recebidos pelaparte de recepção de vídeo.
Se a corrente de vídeo de pacotes recebidos na etapa SlOlnão são dados do I-quadro (N etapa S102), osdecodificadores 241 a 24n executam decodificação como noestado ativo (para ser decodificada) mencionadoanteriormente (etapa S103) .
Se, por outro lado, a corrente de vídeo de pacotesrecebidos são dados do I-quadro (Y etapa S102), osdecodificadores 241 a 24n armazenam os dados nas memóriastemporárias 231 a 23n sem decodificar os dados (etapaSl04) .
Uma vez que o tamanho dos dados no I-quadro é grande,algumas vezes eles são divididos em uma pluralidade depacotes. Assim, os decodificadores 241 a 24n checam se osdados recebidos são ou não os últimos dados do I-quadro(etapa S105) e, se os dados armazenados não são osúltimos dados do I-quadro, retornam para a etapa SlOlpara receber dados subseqüentes divididos do I-quadro.Se por outro lado, os dados recebidos são os últimosdados do I-quadro (Y na etapa S105), os decodificadores241 a 24n interrompem o processo de decodificação e fazemuma transição para um estado de não decodificação no qualo sinalizador é definido para inativo (não para serdecodificado) (etapa S006).
As memórias temporárias 231 a 23n são controladas destamaneira tal que os dados sejam sempre armazenadoscomeçando com o início de um I-quadro e, quando os dadosdo I-quadro devem ser novamente armazenados, os dadosanteriores são eliminados.
A fig. 6 é um diagrama para ilustrar o controle dearmazenagem de estrutura nas memórias temporárias 231 a23n realizado pelo procedimento mencionado anteriormente.Os termos 2 3x_T0 a 23x_T5 no lado esquerdo da fig. 6representam mudanças do estado interno da mesma memóriatemporária 23x de acordo com o fluxo de tempo (TO a T5).Os termos P_T0 a P_T4 no lado direito da fig. 6nr-PPientam dados de corrente de vídeo chegando a cadaponto no tempo. 0 termo Ix (x é a ordem de chegada)representa a corrente de dados de um I-quadro e o termoPx (x é a ordem de chegada) representam dados de correnteoutros que do I-quadro.
A memória temporária está varia no estado 23x_T0 da fig.6 e então os dados P_T0, que não são de um I-quadro,chegam. Uma vez que uma operação de controle é executadapara primeiro armazenar um I-quadro nas memóriastemporárias 231 a 23n, os dados P_T0 são descartadosneste caso.
A memória temporária está vazia no estado 23x_Tl da fig.6 como no ponto anterior no tempo e então, quando osdados P_T1, que são o I-quadro, chegam, os dados P_T1 sãoarmazenados para entrar no estado 23x_T2. Quando os dadosP_T2 chegam adicionalmente no estado 23x_T2 da fig. 6, osdados do I-quadro P_T1 já estão armazenados e portanto osdados P_T2 são subseqüentemente armazenados para entrarno estado 23x_T3. Quando os dados P_T3 adicionalmentechegam no estado 23x_T3 da fig. 6, similarmente os dadosP T3 são subseqüentemente armazenados para entrar noestado 23x_T4 da fig. 6.
Se, no estado 23x_T4 da fig. 6, os dados P_T4, que são umnovo I-quadro, chegam, todos os dados anteriores sãodescartados e os dados P_T4 são armazenados como osprimeiros dados a entrar no estado 23x_T5.
Como já descrito acima, uma vez que os tamanhos dos dadosdo I-quadro se tornam grandes, eles são algumas vezesdivididos em uma pluralidade de pacotes. A fig. 7 é umdiagrama para ilustrar o controle de armazenagem deestrutura quando um I-quadro dividido em uma pluralidadede pacotes chega. Os termos 23x_T10 a 23x_T13 no ladoesquerdo da fig. 7 representam mudanças do estado internoda mesma memória temporária 2 3x de acordo com o fluxo detempo (TIO a T12) . Os termos P_T10 a P_T12 no ladodireito da fig. 7 representam dados de corrente de vídeochegando em cada ponto do tempo. O termo Ixy (x é a ordemde chegada e y é o número de divisão) representa dados decorrente de um I-quadro e Px representam dados outros quedo I-quadro.
Os dados chegando P1_T10 e P2_T10 no estado 23x_T10 dafig. 7 são dados (I2a, I2b) do I-quadro divididos em duaspartes para frente e para trás. Primeiro, os dados P1_T10na primeira metade são armazenados na memória temporáriae, neste estágio, os dados existentes não são descartadosdevido à chegada de um novo I-quadro e entra-se no estado23x_Tll. Então, quando os dados P_T11 na segunda metadesão adicionalmente armazenados no estado 23x_Tll da fig.7, todos os dados antes dos novos dados do I-quadro (I2a,I2b) são descartados para entrar no estado 23x_T12.
Então, no estado 23x_T12 da fig. 7, como já descrito,quando os dados não de I-quadro P_T12 chegam, os dadosP_T12 são subseqüentemente armazenados no estado 23x_T13.
A operação após decodificação pelos decodificadores 241 a24n ser executada será descrita novamente com referênciaà fig. 3. Baseado em instruções da parte de controle 250,as partes de seleção/composição 261 a 26n adquiremimagens codificadas a partir dos decodificadores 241 a24n.
A seguir, de acordo com as definições dos terminais 101 a10η, as partes de seleção/composição 261 a 26n executamprocessamento (processamento de composição) para comporuma pluralidade de imagens horizontalmente everticalmente. Adicionalmente, se o tamanho de uma imagemadquirida ou composta e aquele de uma corrente de vídeotransmitida para os terminais 101 a IOn são diferentes,as partes de redimensionamento 271 a 27n executamprocessamento de escalada da imagem baseado em instruçõesa partir da parte de controle 250.
A seguir, os codificadores 281 a 28n codificam o ajustede imagens a taxas e parâmetros de bits dos terminais dedestino de transmissão 101 a IOn para converter asimagens em uma corrente de vídeo.
Adicionalmente, as partes de transmissão (de vídeo) 291 a29n empacotam a corrente de vídeo convertida paratransmitir pacotes para os terminais 101 a 10n via a rede500.
De acordo com a presente configuração, como descritoacima, é suficiente decodificar m (1 < m < n) correntesde vídeo, que é menor que o número de terminais n, talque se torne possível controlar um aumento emcomplexidade computacional no servidor e para aumentar onúmero de canais que podem ser processados por máquina.Isto é porque um pedido de comutação da corrente de vídeoocorre somente ocasionalmente e portanto, decodificaçãodesnecessária pode ser evitada.
Além disso, de acordo com a presente configuração, emborao sistema de conferência multiponto tenha a configuraçãocapaz de controlar um aumento em complexidadecomputacional, é possível rapidamente responder a umpedido de comutação da corrente de vídeo a partir dosterminais. Isto é porque dados de corrente não usados sãoarmazenados nas memórias temporárias e mantidos em umestado tal que a corrente de dados possa ser decodificadaa qualquer momento. Em adição, quando o pedido decomutação chega, a decodificação é iniciada com um I-quadro, voltando no tempo, inibindo a degradação daqualidade da imagem.
A seguir, uma segunda configuração na qual a presenteinvenção é aplicada a um sistema de conferênciamultiponto baseado em uma corrente de MPEG-4 serádescrita em maiores detalhes com referência aos desenhos.
A fig. 8 é um diagrama mostrando uma configuraçãodetalhada de um servidor 300 do sistema de conferênciamultiponto de acordo com a segunda configuração dapresente invenção.
Referência à fig. 8 mostra que o servidor 300 pode secomunicar em adição a uma parte de recepção de DTMF(Multifreqüência de tom duplo) 32 0 e uma parte decontrole 350, η partes de recepção de RTP (Protocolo detransporte em Tempo Real) 311 a 31η, η memóriashomnnrárí== Tii a Tin η He^^d"1 ficadores de MPEG-4 341 a34η, η partes de seleção/composição 361 a 36η, η partesde redimensionamento 371 a 37η, η codificadores de MPEG-4381 a 38n, e η partes de transmissão de RTP 391 a 39npara suportar η terminais.
A parte de recepção de DTMF 32 0 é um meio correspondenteà parte de recepção de sinal de controle 220 na primeiraconfiguração e um meio para receber um sinal de DTMF decada terminal e transportar o sinal de DTMF para a partede controle 350. A parte de controle 350 é um meio, emadição ao controle de todo o servidor 3 00, paradeterminar correntes de MPEG-4 a serem fornecidas a cadaterminal baseado no sinal de DTMF e dar instruções a cadaunidade incluindo os decodificadores de MPEG-4 341 a 34n.As partes de recepção de RTP 311 a 3 In são meioscorrespondentes às partes de recepção de vídeo 211 a 2Inna primeira configuração e meios para receber/analisarpacotes de RTP incluindo correntes de MPEG-4 a partir determinais via a rede 500 para extrair as correntes deMPEG-4. As memórias temporárias 331 a 33n são destinos dearmazenagem temporária de correntes de vídeo em umamemória do servidor 300.
Os decodificadores de MPEG-4 341 a 34n são meioscorrespondentes aos decodificadores 241 a 24n na primeiraconfiguração e meios para decodificar correntes de vídeopara criar imagens. Como a primeira configuraçãomencionada anteriormente, os decodificadores de MPEG-4341 a 34n têm um sinalizador indicando se uma corrente devídeo recebida de cada terminal deve ou não correntementeser decodificada por meio de ativo/inativo.As partes de seleção/composição 361 a 36n são meios paraselecionar, de acordo com instruções da parte de controle350, uma saída de imagem a partir dos decodificadores deMPEG-4 341 a 34n ou uma pluralidade de imagens a partirdos decodificadores de MPEG-4 341 a 34n para composiçãoem um estado no qual as imagens são dispostasverticalmente e horizontalmente. Em adição, as partes deredimensionamento 371 a 37n são meios para escalarimagens emitidas a partir das partes deseleção/composição 361 a 36n para o tamanho ajustado acada terminal.
Os codificadores de MPEG-4 381 a 38n são meioscorrespondentes aos codificadores 281 a 28n na primeiraconfiguração e são meios para codificar imagens de acordocom o método de codificação, definições de codificação, eparâmetros se ajustando a cada terminal para convertertais imagens em uma corrente de MPEG-4.
As partes de transmissão de RTP 391 a 39n são meioscorrespondentes às partes de transmissão (de vídeo) 291 a29n na primeira configuração e são meios para empacotarem RTP uma corrente de MPEG-4 criada pelos codificadores381 a 38n para transmitir pacotes a cada um dos terminaiscombinados 101 a 10n via a rede 500.
Embora não ilustrado para facilitar a compreensão dapresente invenção, o servidor de conferência multiponto300 é equipado com vários meios de processamento paramanipular correntes de voz.
A seguir, as operações do servidor 300 serão descritascom referência à fig. 8. Quando cada terminal transmiteuma corrente de MPEG-4 como pacotes de RTP para oservidor 300, cada uma das partes de recepção de RTP 311a 31n do servidor 300 recebe e analisa individualmentepacotes a partir de cada terminal para extrair correntesde MPEG-4.
Os decodificadores de MPEG-4 341 a 34n mudam sua operaçãodependendo de o sinal izador de retenção está ou nãoativo, como mostrado abaixo. Os decodificadores de MPEG-4341 a 34n no estado ativo decodificam correntes de MPEG-4para criar imagens transmitidas a partir de cadaterminal.
Se o sinalizador é alterado de ativo para inativo, aoinvés de interromper imediatamente a decodificação, osdecodificadores de MPEG-4 341 a 34n continuam oprocessamento de decodificação até que um I-quadrochegue; depois que o I-quadro chega, reescrevem osinalizador para fazer uma transição para o estado não dedecodificação.
Após fazer uma transição para o estado não dedecodificação, os decodificadores de MPEG-4 341 a 34narmazenam dados de corrente de MPEG-4 no I-quadro quechegou nas memórias temporárias 331 a 33n. Como aprimeira configuração mencionada anteriormente, oconteúdo das memórias temporárias 331 a 33n é retido atéque um novo I-quadro completo chegue (se o I-quadro estádividido, os últimos dados são aguardados) e é limpadoquando o novo I-quadro chega.
Se o sinalizador é alterado de inativo para ativo, osdecodificadores MPEG-4 341 a 34n decodificam o conteúdovoltando para a última estrutura (I-estrutura) acumuladanas memórias temporárias.
Por outro lado, após as partes de seleção/composição 361a 36n selecionarem/comporem imagens de acordo com asinstruções da parte de controle 350 e as partes deredimensionamento 371 a 37n executarem processamento deescalada, os codificadores de MPEG-4 381 a 38n executamprocessamento de codificação para cada terminal. Umacorrente de MPEG-4 criada por codificação é empacotada emRTP pelas partes de transmissão de RTP 3 91 a 3 9n antes deser individualmente transmitida para os terminais.Os terminais também podem comutar o vídeo recebido doservidor 3 00 transmitindo um sinal de controle como umsinal de DTMF para a parte de recepção de DTMF 320 doservidor 3 00 para transportar um pedido para o servidor300 .
Na segunda configuração descrita acima, um exemplo de usodo sinal de DTMF como um sinal de controle foi descrito,mas ao contrário do sinal de DTMF, SIP (Protocolo deInício de Sessão), RTSP (Protocolo de formação decorrente em tempo real) ou similares também podem serusados.
Além disso, cada uma das configurações acima foi descritaaaaiimí nHn rrno o servidor retenha os dados após o últimoI-quadro em sua memória temporária, quando um pedido decomutação é feito, decodifique a partir do início damemória temporária (isto é, o último I-quadro).Entretanto, a presente invenção pode naturalmente serexecutada em várias modificações e substituições sem sedesviar do espírito da presente invenção, nominalmenteaté onde correntes de vídeo sejam armazenadas na memóriatemporária e, quando um pedido de comutação é feito, adecodificação é executada voltando um tempopredeterminado para o passado. Por exemplo, aparte dalógica de atualização da memória temporária, a lógica deleitura da memória temporária (pesquisa de I-quadro) podenaturalmente ser provida.
Descrição resumida dos desenhos
A fig. 1 é um diagrama mostrando uma configuração deesboço de um sistema de conferência multiponto de acordocom uma configuração da presente invenção.
A fig. 2 é um diagrama mostrando uma conexão entre cadaterminal e um servidor no sistema de conferênciamultiponto de acordo com uma configuração da presenteinvenção.
A fig. 3 é um diagrama mostrando uma configuraçãodetalhada de um servidor de conferência multiponto deacordo com uma configuração da presente invenção.
A fig. 4 é um diagrama para ilustrar as operações doservidor de conferência multiponto de acordo com umaconfiguração da presente invenção.
A fig. 5 é um diagrama para ilustrar as operações doservidor de conferência multiponto de acordo com umaconfiguração da presente invenção.
A fig. 6 é um diagrama para ilustrar a transição deestado da memória temporária do servidor de conferênciamultiponto de acordo com uma configuração da presenteinvenção.A fig. 7 é um outro diagrama para ilustrar a transição deestado da memória temporária do servidor de conferênciamultiponto de acordo com uma configuração da presenteinvenção.
A fig. 8 é um diagrama para ilustrar as operações de umservidor de conferência multiponto de acordo com umasegunda configuração da presente invenção.Explanação dos numerais de referência101 a IOn: Terminais200, 300: Servidor de conferência multiponto (Servidor)500: Rede
210, 211 a 2In: Parte de recepção de vídeo220: Parte de recepção do sinal de controle.231 a 23n, 331 a 33n: Memória temporária23x_T0 a 23x_T5, 23x_T10 a 2 3x_T13: memória temporária241 a 24n: Decodificador250, 350: Parte de controle
261 a 26n, 361 a 36n: Parte de seleção/composição271 a 27n, 371 a 37n: Parte de redimensionamento281 a 28n: Codificador
290, 291 a 29n: Parte de transmissão de vídeo (Parte detransmissão)
311 a 3ln: Parte de recepção de RTP320: Parte de recepção de DTMF341 a 34n: Decodificador de MPEG-4381 a 38n: Codificador de MPEG-4391 a 39n: Parte de transmissão de RTP
P_T0 a P_T4, P1_T10, P2_T10, P_T11, P_T12: Dados decorrente de vídeo

Claims (13)

1. Servidor de conferência multiponto, conectado a umapluralidade de terminais transmitindo uma corrente devídeo que codifica uma corrente de vídeo solicitada porcada um dos terminais antes da corrente de vídeo sertransmitida para cada um dos terminais, caracterizadopelo fato de compreender:decodificadores que decodificam somente uma porção decorrentes de vídeo a serem transmitidas a cada um dosterminais;memórias temporárias que acumulam correntes de vídeo anão serem transmitidas começando com um intra-quadro semdecodificá-las; euma parte de controle de comutação que, de acordo com umpedido de comutação da corrente de vídeo a partir doterminal, seleciona uma corrente de vídeo acumulada nasmemórias temporárias, decodifica a corrente de vídeocomeçando com o intra-quadro voltando um tempopredeterminado para um passado, e comuta a corrente devídeo a ser transmitida para o terminal.
2. Servidor, de acordo com a reivindicação 1,caracterizado pelo fato de:a parte de controle de comutação executar decodificaçãovoltando para um último intra-quadro acumulado na memóriatemporária.
3. Servidor, de acordo com qualquer uma dasreivindicações 1 ou 2, caracterizado pelo fato deadicionalmente compreender:um meio de atualização da memória temporária paraeliminar conteúdo acumulado na memória temporária cadavez que um intra-quadro é alimentado.
4. Servidor, de acordo com qualquer uma dasreivindicações 1 a 3, caracterizado pelo fato deadicionalmente compreender:uma parte de seleção/composição que liga uma pluralidadede correntes de vídeo solicitadas a partir do terminalpara compor uma corrente de vídeo para transmissão.
5. Sistema de conferência multiponto, caracterizado pelofato de compreender:conectar o servidor de conferência multiponto comoidentificado em qualquer uma das reivindicações 1 a 3 euma pluralidade de terminais para trocar correntes devídeo com o servidor de conferência multiponto.
6. Programa a ser executado por um computador,constituindo um servidor de conferência multiponto que éconectado a uma pluralidade de terminais transmitindo umacorrente de vídeo que codifica uma corrente de vídeosolicitada por cada um dos terminais antes da corrente devídeo ser transmitida para cada um dos terminais,caracterizado pelo fato de fazer o computador executar:processamento de decodificação, entre correntes de vídeorecebidas de cada um dos terminais, selecionando umaporção de correntes de vídeo a serem transmitidas paracada um dos terminais,processamento de acumulação de correntes de vídeo a nãoserem transmitidas para cada um dos terminais começandocom um intra-quadro em memórias temporárias semdecodificá-las, eprocessamento, de acordo com um pedido de comutação dacorrente de vídeo a partir do terminal, de seleção de umacorrente de vídeo acumulada nas memórias temporárias,decodificando a corrente de vídeo começando com o intra-quadro voltando um tempo predeterminado para um passado,e comutando a corrente de vídeo a ser transmitida para oterminal.
7. Programa, de acordo com a reivindicação 6,caracterizado pelo fato de compreender:transmitir a corrente de vídeo voltando para um últimointra-quadro acumulado na memória temporária paradecodificação no processamento de comutação da correntede vídeo a ser transmitida para o terminal.
8. Programa, de acordo com qualquer uma dasreivindicações 6 ou 7, caracterizado pelo fato deadicionalmente fazer o computador executar processamentode eliminação de conteúdo acumulado na memória temporáriacada vez que um intra-quadro é alimentado.
9. Programa,- de acordo com qualquer uma dasreivindicações 6 a 8, caracterizado pelo fato deadicionalmente fazer o computador executar processamentode ligação de uma pluralidade de correntes de vídeosolicitadas a partir do terminal para compor uma correntede vídeo para transmissão.
10. Método de conferência multiponto, executado usandouma pluralidade de terminais transmitindo uma corrente devídeo e um servidor de conferência multiponto quecodifica uma corrente de vídeo solicitada a partir decada um dos terminais antes da corrente de vídeo sertransmitida para cada um dos terminais, caracterizadopelo fato de compreender:uma etapa de decodificação, onde o servidor deconferência multiponto decodifica somente uma porção decorrentes de vídeo a serem transmitidas a cada um dosterminais;uma etapa de acumulação, onde o servidor de conferênciamultiponto acumula correntes de vídeo a não seremtransmitidas começando com um intra-quadro em memóriastemporárias sem decodificá-las; euma etapa de comutação, onde, de acordo com um pedido decomutação da corrente de vídeo a partir do terminal, oservidor de conferência multiponto seleciona uma correntede vídeo acumulada nas memórias temporárias, decodifica acorrente de vídeo começando com um intra-quadro voltandoum tempo predeterminado para um passado, e comuta acorrente de vídeo a ser transmitida para o terminal.
11. Método, de acordo com a reivindicação 10,caracterizado pelo fato de na etapa de comutar a correntede vídeo a ser transmitida para o terminal, o servidor deconferência multiponto executar decodificação voltandopara um último intra-quadro acumulado na memóriatemporária e transmitir a corrente de vídeo para oterminal.
12. Método, de acordo com qualquer uma das reivindicações 10 ou 11, caracterizado pelo fato de o servidor deconferência multiponto adicionalmente compreender umaetapa de eliminar o conteúdo acumulado na memóriatemporária cada vez que um intra-quadro é alimentado.
13. Método, de acordo com qualquer uma das reivindicações 10 a 12, caracterizado pelo fato de o servidor deconferência multiponto adicionalmente compreender umaetapa de ligar uma pluralidade de correntes de vídeosolicitadas a partir do terminal para compor uma correntede vídeo para transmissão.
BRPI0615511-1A 2005-07-12 2006-06-08 servidor de conferência multiponto, sistema de conferência multiponto, programa a ser executado por um computador e método de conferência multiponto BRPI0615511A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005-202965 2005-07-12
JP2005202965 2005-07-12
PCT/JP2006/311549 WO2007007496A1 (ja) 2005-07-12 2006-06-08 多地点会議システム、多地点会議方法及びプログラム

Publications (1)

Publication Number Publication Date
BRPI0615511A2 true BRPI0615511A2 (pt) 2011-05-17

Family

ID=37636895

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0615511-1A BRPI0615511A2 (pt) 2005-07-12 2006-06-08 servidor de conferência multiponto, sistema de conferência multiponto, programa a ser executado por um computador e método de conferência multiponto

Country Status (8)

Country Link
US (1) US8253775B2 (pt)
EP (1) EP1909497A4 (pt)
JP (1) JP4952581B2 (pt)
KR (1) KR100953457B1 (pt)
CN (1) CN101258748B (pt)
BR (1) BRPI0615511A2 (pt)
RU (1) RU2008105035A (pt)
WO (1) WO2007007496A1 (pt)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080109557A1 (en) * 2006-11-02 2008-05-08 Vinay Joshi Method and system for reducing switching delays between digital video feeds using personalized unicast transmission techniques
CN101647276A (zh) * 2007-04-04 2010-02-10 日本电气株式会社 内容递送系统、内容递送方法及其中使用的转换装置
US20100261454A1 (en) * 2009-04-14 2010-10-14 Research In Motion Limited Retrieving additional content based on data within a mobile code
GB0916765D0 (en) * 2009-09-24 2009-11-04 Powers David A Mosaic - web based audio and video stream regulation process
KR101234495B1 (ko) * 2009-10-19 2013-02-18 한국전자통신연구원 화상회의 시스템을 위한 단말, 중계 노드 및 스트림 처리 방법
KR101583088B1 (ko) * 2009-11-11 2016-01-07 엘지전자 주식회사 화상 회의 시스템에서 데이터를 공유하는 방법 및 장치
CN102131071B (zh) * 2010-01-18 2013-04-24 华为终端有限公司 视频画面切换的方法和装置
CN102695036B (zh) * 2011-03-25 2015-01-21 鸿富锦精密工业(深圳)有限公司 视讯会议系统及其使用方法
US9787738B2 (en) 2012-06-19 2017-10-10 Circle Technology, Inc. Closed network video presentation
US8898449B2 (en) 2012-06-19 2014-11-25 Circle Technology, Inc. Closed network presentation
US9167040B2 (en) 2012-06-19 2015-10-20 Circle Technology, Inc. Closed network presentation with external router
KR101220948B1 (ko) * 2012-09-11 2013-01-11 (주)리얼허브 화상 회의 시스템을 위한 매트릭스 형태의 화면 출력 방법
JP5908419B2 (ja) * 2013-02-08 2016-04-26 日本電信電話株式会社 遠隔映像配信方法及び遠隔映像配信システム
CN104581200B (zh) * 2015-02-06 2018-01-02 网易传媒科技(北京)有限公司 切片转码的方法和设备
CN106850649A (zh) * 2017-02-21 2017-06-13 杭州迈可行通信股份有限公司 一种视频会议终端的实现方法
CN107277430A (zh) * 2017-07-27 2017-10-20 福建星网智慧科技股份有限公司 一种视频会议系统的视频流轮播方法
CN111901680B (zh) * 2020-05-10 2022-06-21 天地阳光通信科技(北京)有限公司 多媒体数据处理方法、装置及服务器

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61263385A (ja) * 1985-05-17 1986-11-21 Fujitsu Ltd マルチポイントテレビ信号伝送方式
JPH02125588A (ja) * 1988-11-04 1990-05-14 Nippon Telegr & Teleph Corp <Ntt> 多地点画像表示装置
JPH05328344A (ja) * 1992-05-27 1993-12-10 Mitsubishi Electric Corp 映像交換分配システム
US5390177A (en) * 1993-03-24 1995-02-14 At&T Corp. Conferencing arrangement for compressed information signals
JP2550860B2 (ja) * 1993-06-15 1996-11-06 日本電気株式会社 画像復号化装置
US5440336A (en) * 1993-07-23 1995-08-08 Electronic Data Systems Corporation System and method for storing and forwarding audio and/or visual information on demand
JP3404808B2 (ja) * 1993-07-30 2003-05-12 ソニー株式会社 復号方法と復号装置
JPH07264580A (ja) * 1994-03-17 1995-10-13 Toshiba Corp 映像信号伝送方法並びに映像信号送信装置及び映像信号受信装置
JPH07298257A (ja) * 1994-04-25 1995-11-10 Sony Corp 画像データの伝送方法及び復号化装置
US5495291A (en) * 1994-07-22 1996-02-27 Hewlett-Packard Company Decompression system for compressed video data for providing uninterrupted decompressed video data output
JPH08107553A (ja) * 1994-10-04 1996-04-23 Canon Inc 画像処理装置およびその方法
JP2820630B2 (ja) * 1994-12-07 1998-11-05 株式会社グラフィックス・コミュニケーション・ラボラトリーズ 画像復号装置
EP0783817B1 (en) * 1995-07-19 2000-05-10 Koninklijke Philips Electronics N.V. Method and device for decoding digital video bitstreams and reception equipment including such a device
JPH09219851A (ja) * 1996-02-09 1997-08-19 Nec Corp 多地点ビデオ会議制御方法及び装置
JP3469705B2 (ja) * 1996-03-12 2003-11-25 三洋電機株式会社 多重映像信号の復号回路
JP3097736B2 (ja) 1996-11-29 2000-10-10 日本電気株式会社 多画面伝送式多地点テレビ会議システム
JP2000078552A (ja) * 1998-09-02 2000-03-14 Nec Corp テレビ会議システム
JP2000174909A (ja) * 1998-12-08 2000-06-23 Nec Corp 会議端末制御装置
JP2001045495A (ja) * 1999-08-02 2001-02-16 Nec Eng Ltd 画面合成装置
EP1323308B1 (en) * 2000-08-15 2014-08-20 Polycom Israel Ltd. Delay reduction for transmission and processing of video data
US7266091B2 (en) * 2001-02-28 2007-09-04 The Trustees Of Columbia University In City Of New York System and method for conferencing in inter/intranet telephony
JP2002290940A (ja) 2001-03-23 2002-10-04 Nec Eng Ltd テレビ会議システム
JP3788260B2 (ja) * 2001-04-09 2006-06-21 日本電気株式会社 配信システムとその配信方法、及び配信プログラム
CN1422078A (zh) * 2001-11-22 2003-06-04 丽台科技股份有限公司 视频会议系统
AU2002329160A1 (en) 2002-08-13 2004-02-25 Nanyang Technological University Method of increasing speech intelligibility and device therefor
KR100463876B1 (ko) 2003-02-07 2005-01-03 주식회사 시스캠퍼스 화상회의 제어 방법
RU2240657C1 (ru) 2003-12-29 2004-11-20 Дмитриев Григорий Гемфриевич Способ и система осуществления видеоконференций
JP2005244898A (ja) * 2004-02-27 2005-09-08 Fujitsu Ltd ビデオ符号化データ合成装置

Also Published As

Publication number Publication date
US20090207232A1 (en) 2009-08-20
RU2008105035A (ru) 2009-08-20
KR20080017096A (ko) 2008-02-25
CN101258748B (zh) 2010-12-08
WO2007007496A1 (ja) 2007-01-18
JP4952581B2 (ja) 2012-06-13
EP1909497A4 (en) 2013-10-30
KR100953457B1 (ko) 2010-04-19
CN101258748A (zh) 2008-09-03
EP1909497A1 (en) 2008-04-09
JPWO2007007496A1 (ja) 2009-01-29
US8253775B2 (en) 2012-08-28

Similar Documents

Publication Publication Date Title
BRPI0615511A2 (pt) servidor de conferência multiponto, sistema de conferência multiponto, programa a ser executado por um computador e método de conferência multiponto
US10397295B2 (en) Processing continuous multi-period content
US8094667B2 (en) RTP video tunneling through H.221
ES2606754T3 (es) Aparato de procesamiento de servicio multimedia de difusión en flujo continuo
US8335172B2 (en) Switchable conference multicast streaming with dynamic asymmetry
US8760490B2 (en) Techniques for a rate-adaptive video conference bridge
MXPA05013542A (es) Conmutacion de flujo basada en regeneracion gradual de decodificador.
CN111510759B (zh) 视频显示方法、装置及可读存储介质
CN111131743A (zh) 基于浏览器的视频通话方法、装置、电子设备及存储介质
KR20250072957A (ko) 네트워크 중단에 응답하여 비디오 콘텐츠의 자동 생성
CN105657448B (zh) 一种编码视频流的转发方法、装置及系统
US12395538B2 (en) Signaling media timing information from a media application to a network element
JP2000307637A (ja) マルチメディア端末装置及び網間接続装置
US7535995B1 (en) System and method for volume indication during a communication session
Basso et al. Beyond 3G Video Mobile Conversational Services: An overview of 3G-324M based messaging and streaming
MX2008000117A (es) Sistema de conferencia de multipunto, metodo de conferencia de multipunto, y programa.
Wenger et al. RFC 6190: RTP Payload Format for Scalable Video Coding
BR112016016434B1 (pt) Método de transmissão adaptativa dinâmica através de http, dispositivo para receber, a partir de um dispositivo de servidor, dados relacionados a dados de mídia de transmissão contínua dash, método e dispositivo de sinalização

Legal Events

Date Code Title Description
B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]

Free format text: REFERENTE A 6A ANUIDADE.

B08K Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette]

Free format text: NAO APRESENTADA A GUIA DE CUMPRIMENTO DE EXIGENCIA. REFERENTE A 6A ANUIDADE.