BRPI0809627B1

BRPI0809627B1 - Método, aparelho e meio legível por computador para aperfeiçoar uma imagem de vídeo por remoção dos efeitos da vibração da câmera.

Info

Publication number: BRPI0809627B1
Application number: BRPI0809627-9A
Authority: BR
Inventors: Chien-Min Huang; Farzin Aghdasi
Original assignee: Pelco, Inc.
Priority date: 2007-03-26
Filing date: 2008-03-26
Publication date: 2019-04-16
Also published as: BRPI0809627A2; CN101681084B; EP2126627A1; US20100214425A1; KR20100014543A; US8269844B2; EP2126627A4; EP2126627B1; CN101681084A; ES2525701T3; KR101308845B1; WO2008118987A1

Abstract

método, aparelho e meio legível por computador para aperfeiçoar uma imagem de vídeo por remoção dos efeitos da vibração da câmera a invenção refere-se a um método para aperfeiçoar uma imagem de vídeo por remoção dos efeitos da vibração da câmera, que compreende as etapas de: obter um quadro de referência, receber um quadro de entrada, determinar o vetor de translação de quadro para o quadro de entrada, transladar o quadro de entrada para gerar um quadro realinhado, realizar um filtro passa-baixa no domínio espacial em pixels no quadro realinhado, realizar um filtro passa-baixa no domínio espacial em pixels no quadro de referência, determinar a diferença absoluta entre os pixels filtrados no quadro de referência e os pixels filtrados no quadro realinhado, realizar um filtro passa-baixa no domínio temporal nos pixels no quadro realinhado para gerar o quadro de saída, se a diferença absoluta for de menos do que um limiar predeterminado, e fornecer o quadro realinhado como o quadro de saída, se a diferença absoluta for maior do que o limiar predeterminado.

Description

[001] A presente invenção refere-se, em geral, a sistemas de vigilância e, em particular, a um método e a um aparelho para aperfeiçoar as imagens de vídeo de uma câmera de vídeo, por remoção dos efeitos de vibração da câmera.

[002] Quando uma câmera está montada em uma plataforma fixa e a câmera está com o zoom ajustado para uma ampliação grande, muito frequentemente, as imagens geradas pela câmera são de baixa qualidade, devido à vibração da câmera. Quanto maior o grau de ampliação, mais evidente se torna a vibração e mais se deteriora a qualidade da imagem. A causa da vibração é porque a plataforma ou o objeto ao qual a câmera está liga está efetivamente vibrando, ainda que isso possa não ser óbvio para um usuário que olha para a instalação da câmera. Dependendo da aplicação e do meio, a quantidade de vibração pode ser significativa e pode dar um resultado incômodo no vídeo gerado pela câmera. Consequentemente, a indústria de segurança há muito tempo vem sentindo a necessidade de um método e aparelho para eliminar o efeito de vibração e, desse modo, aperfeiçoar as imagens de vídeo da câmera de vídeo.

SUMÁRIO DA INVENÇÃO [003] De acordo com a presente invenção, é posto à disposição um método para aperfeiçoar uma imagem de vídeo por remoção dos efeitos de vibração da câmera, que compreende as etapas de obter um quadro de referência, receber um quadro de entrada, determinar o vetor de translação do quadro para o quadro de entrada, transladar o quadro de entrada, para gerar um quadro realinhado, realizar um filtro

Petição 870180139745, de 10/10/2018, pág. 5/32

2/18 passa-baixa no domínio espacial em pixels no quadro realinhado, realizar um filtro passa-baixa no domínio espacial em pixels no quadro de referência, determinar a diferença absoluta entre os pixels filtrados no quadro de referência e os pixels filtrados no quadro realinhado, realizar um filtro passa-baixa no domínio temporal nos pixels no quadro realinhado, para gerar o quadro de saída, se a diferença absoluta for de menos do que um limiar predeterminado, e fornecer o quadro realinhado como o quadro de saída, se a diferença absoluta for maior do que o limiar predeterminado.

[004] Em outro aspecto da presente invenção, é posto à disposição um aparelho para aperfeiçoar uma imagem de vídeo por remoção dos efeitos de vibração da câmera, que compreende uma memória para armazenar uma pluralidade de quadros que contém imagens de vídeo, e um processador ligado à memória e que está programado para obter um quadro de referência da pluralidade de quadros, receber um quadro de entrada da referida memória, determinar o vetor de translação de quadro para o quadro de entrada, transladar o quadro de entrada, para gerar um quadro realinhado, realizar um filtro passabaixa no domínio espacial em pixels no quadro realinhado, realizar um filtro passa-baixa do domínio espacial em pixels no quadro de referência, determinar a diferença absoluta entre os pixels filtrados no quadro de referência e os pixels filtrados no quadro realinhado, realizar um filtro passa-baixa no domínio temporal nos pixels no quadro realinhado, para geral um quadro de saída, se a diferença absoluta for menor do que um limiar predeterminado, e fornecer o quadro realinhado como o quadro de saída, se a diferença absoluta for maior do que o limiar predeterminado.

[005] Em um outro aspecto da invenção, é posto à disposição um método, tal como descrito acima, no qual a imagem de vídeo é uma imagem de vídeo entrelaçada, com um primeiro campo e um segundo

Petição 870180139745, de 10/10/2018, pág. 6/32

3/18 campo, e o método compreende, ainda, as etapas de dividir o quadro de referência no primeiro e no segundo campos e dividir o quadro de entrada recebido no primeiro e no segundo campos e sendo que a etapa de determinar o vetor de translação de quadro compreende determinar o vetor de translação para o primeiro campo e para o segundo campo, sendo que a etapa de transladar o quadro de entrada, para gerar um quadro realinhado, compreende as etapas de transladar o primeiro campo e o segundo campo, para gerar o primeiro e o segundo campos realinhados, sendo que a etapa de realizar um filtro passabaixa no domínio espacial em pixels no primeiro e no segundo campos realinhados, sendo que a etapa de realizar um filtro passa-baixa no domínio espacial em pixels no quadro de referência compreende realizar um filtro passa-baixa no domínio espacial em pixels no primeiro e no segundo campo no quadro de referência, sendo que a etapa de determinar a diferença absoluta entre os pixels filtrados no quadro de referência e os pixels filtrados no quadro realinhado compreende determinar a diferença absoluta entre os pixels filtrados no primeiro campo no quadro de referência e os pixels filtrados no primeiro campo realinhado e determinar a diferença absoluta entre os pixels filtrados no segundo campo no quadro de referência e os pixels filtrados no segundo campo realinhado, e a etapa de realizar um filtro passa-baixa no domínio temporal nos pixels no quadro realinhado, para gerar o quadro de saída, se a diferença absoluta for menor do que um limiar predeterminado e fornecer o quadro realinhado como o quadro de saída, se a diferença absoluta for maior do que o limiar predeterminado, realizar um filtro passa-baixa no domínio temporal nos pixels no primeiro campo realinhado, para gerar o primeiro campo de saída, se a diferença absoluta for menor do que um limiar predeterminado, realizar um filtro passa-baixa no domínio temporal nos pixels no segundo campo realinhado, para gerar o segundo campo de saída, se a diferença absoluta

Petição 870180139745, de 10/10/2018, pág. 7/32

4/18 for maior do que um limiar predeterminado e fornecer o primeiro campo e o segundo campo realinhados como o quadro de saída, se a diferença absoluta for maior do que o limiar predeterminado.

[006] Em um outro aspecto da presente invenção, é posto à disposição um meio legível por computador, que compreende instruções que, quando executadas por um computador, fazem com que o computador seja adaptado para realizar o método da presente invenção. [007] Outras vantagens e aplicações da presente invenção evidenciam-se da descrição detalhada abaixo da modalidade preferida da invenção.

BREVE DESCRIÇÃO DAS DIVERSAS VISTAS DOS DESENHOS [008] A figura 1 é um diagrama de bloco de um sistema de vigilância por vídeo, que utiliza a presente invenção.

[009] A figura 2 é um diagrama de bloco de uma fonte de vídeo exemplificada no sistema de vigilância por vídeo mostrado na figura 1. [0010] A figura 3 é um diagrama de bloco de uma estação de trabalho exemplificada no sistema de vigilância por vídeo mostrado na figura 1.

[0011] A figura 4 é um diagrama de bloco, que mostra a operação lógica de uma modalidade da presente invenção.

[0012] A figura 5 é um diagrama de bloco, que mostra a operação lógica de uma modalidade da presente invenção para vídeo entrelaçado.

DESCRIÇÃO DETALHADA DA INVENÇÃO [0013] Com referência à figura 1, um sistema de vigilância por vídeo 10 tem uma rede 12, que pode ser uma rede fechada, rede de área local ou rede de área ampla, tal como a Internet. Uma pluralidade de fontes de vídeo 14, 16, 18 e 20, que podem ser, por exemplo, câmeras de vídeo, gravadores ou servidores de vídeo digitais, está conectada à rede 12, para ter correntes de vídeo em tempo real, tal coPetição 870180139745, de 10/10/2018, pág. 8/32

5/18 mo correntes de vídeo de MPEG. A estação de trabalho 22, que pode ser, por exemplo, um ponto de controle no sistema de vigilância 10, um computador pessoal ou um usuário conectado ao sistema de vigilância 10 por meio de um computador de laptop, está conectada à rede 12. As fontes 14, 16, 18 e 20 fornecem corrente de vídeo de MPEG à estação de trabalho 22 por meio da rede 12.

[0014] Uma fonte de vídeo exemplificada está ilustrada na figura 2 em forma de um diagrama de bloco. A câmera 24 fornece sua saída ao codificador 26, que contém um processador e uma memória. O codificador 26 fornece uma corrente de vídeo de MPEG ao modem 28 para transmissão à rede 12. Deve ser entendido que embora a câmera 24, o codificador 26 e o modem 28 tenham sido mostrados como dispositivo separado, suas funções podem ser postas à disposição em um único dispositivo ou em dois dispositivos, em vez de em três dispositivos separados, tal como ilustrado.

[0015] Com referência à figura 3, uma estação de trabalho exemplificada da presente invenção é mostrada em forma de diagrama de bloco. A estação de trabalho 22 tem um processador 30, que está conectado a um buffer de entrada 32, ROM 34, RAM 36, dispositivo de exibição 38, drive de disco e dispositivo de entrada do usuário 42. O processador 30 pode ser uma unidade de processamento central ou um processador de sinais digital, ou ambos. O dispositivo de entrada de usuário 42 pode ser um teclado, mouse, controlador ou outro dispositivo de entrada apropriado. O processador 30 executa algoritmos e programas, que estão armazenados na ROM 34 ou no drive de disco 40, em resposta à entrada do usuário pelo dispositivo de entrada de usuário 42 e fornece sinais de saída ao dispositivo de exibição 38. O modem 44 está conectado à rede 12 e recebe as correntes de vídeo de MPEG das fontes 14, 16, 18 e 20 n figura 1. O modem 44 fornece as correntes de vídeo de MPEG ao buffer de entrada 32. Os dados da

Petição 870180139745, de 10/10/2018, pág. 9/32

6/18 corrente de vídeo podem ser armazenados em uma partição do drive de disco 40, de acordo com o método da presente invenção. A porta de entrada 45, que pode ser, por exemplo, uma porta USB ou uma porta FireWire, também pode fornecer correntes de vídeo ao buffer de entrada 32. Alternativamente, o processador 30 pode ter seus próprios buffers de entrada, ou uma parte da RAM 36 pode ser usada como um buffer de entrada.

[0016] O módulo de software de antivibração para executar a presente invenção pode ser utilizado em numerosos locais no sistema de vigilância por vídeo 10. Por exemplo, o módulo de antivibração pode estar localizado em uma das fontes 14, 16, 18, 20, que podem ser, por exemplo, câmeras de vídeo, codificadores conectados a câmeras de vídeo, gravadores ou servidores de vídeo digitais. Além disso, o módulo de antivibração pode estar armazenado no ROM 34, RAM 36 ou drive de disco 40 da estação de trabalho 22. O codificador 26 pode armazenar os algoritmos em sua memória e utilizar seu processador para analisar as imagens de vídeo geradas pela câmera 24, para remover os efeitos de vibração, antes de as imagens da câmera 24 serem comprimidas para uma corrente de vídeos, tal como MPEG-4, para transmissão na rede 12. Obviamente, o módulo de antivibração pode ser armazenado e usado em mais de uma peça de equipamento conectada à rede 12. Cada uma das fontes descritas acima compreende um processador e uma memória e pode executar o módulo de software de antivibração. Um único processador ou processadores múltiplos, que operam em paralelo e/ou que não operam em paralelo ou dois ou mais computadores conectados um ao ouro por intermédio de uma rede, para transmitir ou receber informações entre os computadores, podem executar o módulo de antivibração.

[0017] O módulo de software de antivibração pode ser armazenado em um meio legível por computador, que se refere a qualquer disPetição 870180139745, de 10/10/2018, pág. 10/32

7/18 positivo de armazenamento usado para armazenar dados acessíveis por um computador. Exemplos de um meio legível por computador incluem um disco rígido magnético, um disco flexível, um disco óptico, tal como um CD-ROM ou um DVD, uma fita magnética, um chip de memória e uma onda portadora usada para levar dados eletrônicos, legíveis por computador, tais como os usados para transmitir e receber e-mail ou para acessar uma rede.

[0018] Primeiramente, o sistema precisa captar um quadro de referência, que pode ser um quadro único ou uma média de diversos quadros consecutivos. O quadro de referência pode ser atualizado periodicamente para refletir mudanças de cena lentas, tais como sombras, veículos estacionados que se moveram para dentro da cena e assim por diante. Um método é reiniciar o algoritmo e revelar periodicamente um novo quadro de referência. Mas, também é possível re-revelar o quadro de referência continuamente e combinar uma percentagem dos quadros mais recentes com o quadro de referência original. Dessa maneira, o quadro de referência gradualmente acompanha a cena em mutação e atualiza-se automaticamente.

[0019] O vetor de translação de quadro para um quadro de entrada pode ser encontrado usando um algoritmo de combinação de bloco ou busca de correlação. Presume-se que o bloco do quadro de referência e uma janela de busca no quadro de entrada sejam dados. A janela de busca do quadro de entrada está na área circundante da mesma coordenada do bloco de referência no quadro de referência. O bloco de referência é comparado com cada bloco na janela de busca, para encontrar o bloco que é mais semelhante ao bloco de referência. O vetor de translação é a diferença entre a coordenada do bloco de referência e a do bloco com a melhor combinação encontrada no quadro de entrada. Muitas medições de similaridade diferentes podem ser usadas para medir quão próximos estão os dois blocos. Em geral, as

Petição 870180139745, de 10/10/2018, pág. 11/32

8/18 normas L1 e L2 são usadas e descritas pelas equações, tal como segue:

Min ^DA^x>y)= Yj\u(ij)-v(x + i.,y +j}\

Min ^D2^y)= Z[ií(L./)-Ax+b>^,+,/)]² onde u(ij)'. pixels no bloco de referência, v(i,j): pixels no bloco do quadro de entrada,

I/1Z; conjunto de coordenadas na janela de busca, β conjunto de pixels no bloco, (x,y): o vetor de translação.

[0020] O algoritmo encontra o vetor de translação que tem a diferença de bloco mínima. Esse método é chamado de busca exaustiva. A área central do quadro de referência é comparada com a parte central do novo quadro e a similaridade observada da equação. O novo quadro é depois movido por um pixel ou menos de um pixel (subpixel) e a comparação é repetida. O novo quadro é novamente movido em uma busca de espiral expandida, até ser encontrada a combinação mais próxima. Essa é a quantidade pela qual o novo quadro se moveu. Alternativamente, o bloco de referência e a janela de busca no quadro de entrada podem ser trocados, isto é, o bloco do quadro de entrada pode ser usado para encontrar o bloco mais semelhante no quadro de referência. Deve ser observado que o mesmo resultado pode ser obtido em um domínio de frequência espacial, se for usada a norma L2. [0021] Para encontrar o vetor de translação correto, deve ser usado um bloco grande. Quanto maior for o bloco, tanto menor é a chance de encontrar uma translação errada, mas tanto mais alta é a computação necessária. Uma maneira para eliminar o dilema é usar um bloco decimado, que cobre quase todo o tamanho da imagem. Por exemplo, se o tamanho total da imagem é de 240x360, um bloco de três quartos

Petição 870180139745, de 10/10/2018, pág. 12/32

9/18 do original tanto na direção horizontal como na vertical, isto é, de 180x270 pode ser usado. Essa é a área central. O bloco de 180x270 de tamanho é decimado por um fator de quatro nas duas direções. Depois o tamanho de bloco efetivo usado é de apenas 45x67, mas representa três quartos da área de imagem. O algoritmo de antivibração da presente invenção muda de modo adaptivo o limite de busca, para obter o melhor desempenho. O algoritmo do limite de busca adaptivo é descrito do seguinte modo:

Deixe os limites de busca na direção x e y ser, em cada caso, [sx0,sx1] e [sy0,sy1] respectivamente;

x e y ser, em cada caso, os valores da translação na direção x e y;

min_y e max_y ser, em cada caso, as translações mínimas e máximas na direção x;

min_x e max_x ser, em cada caso, as translações mínimas e máximas na direção y.

1. Inicialmente, dados [sx0, sx1] e [sy1,sy1];

deixe o contador=0 e min_x=max_x+min-y=max_y=0;

2. Para cada quadro, processe o algoritmo de antivibração, min-x = Min)x,min_x); max_x = Max(x,max_x); min_y = Min(y,min_y); max_y = Max(y,max_y); contador=contador+1; se (contador=N) então sx0=min_x-1;

sx1=max_x+1;

sy0=min_y-1;

Petição 870180139745, de 10/10/2018, pág. 13/32

10/18 sy1=max_y+1;

contador=0;

min_x=max_x=min_y=max_y=0.

[0022] Tal como descrito acima, algumas informações no limite são perdidas. Pode ser usado um preprocessamento para reduzir tanto o limite de busca como a perda de informações. Reduzir o limite de busca pode reduzir a complexidade de computação. O préprocessmento é idêntico a todo o método antivibração, mas ele registra apenas o limite dos vetores de translação em um período de tempo curto e computa a média dos vetores de translação. Um quadro de entrada futuro, que tem um vetor de translação muito próximo ao vetor médio, é usado para substituir o quadro de referência. A substituição do quadro de referência não pode ser feito frequentemente demais, de outro modo, ela irá gerar outro artefato de vibração.

[0023] Quando o vetor de translação (x,y) tiver sido encontrado para a imagem de entrada, a translação de quadro move cada pixel do quadro de entrada da coordenada (i,j) para a coordenada (i-x,j-y). Deixe o tamanho do quadro ser de NxM pixels, da coordenada (0,0) para a coordenada (N-1,M-1). Se tanto x como y não forem zero, então colunas x e fileiras y de informações de limite serão perdidas. As fileiras e colunas de limite perdidas podem ser prolongadas, em cada caso, pela fileira e coluna mais próximas ou elas podem ser enchidas com zeros. Se o quadro realinhado for usado como o quadro de saída, pode haver muitas descontinuidades no domínio temporal. Essas descontinuidades são muito incômodas para olhos humanos e são causadas por duas razões. Primeiramente, a resolução do vetor de translação é limitada, devido ao aspecto prático da capacidade de computação permitida. Por exemplo, a resolução de meio pixel é melhor do que a de um pixel único, mas aumenta a complexidade. Em segundo lugar, a quantidade de translação para cada pixel no quadro não é necessaPetição 870180139745, de 10/10/2018, pág. 14/32

11/18 riamente a mesma, devido a distorções de imagem e movimento de objetos dentro do quadro, que não podem ser descritos pelo mesmo vetor como o plano de fundo.

[0024] A filtração temporal passa-baixa reduz significativamente os artefatos causados pelas descontinuidades descritas acima. Mas, se a filtração temporal passa-baixa for aplicada a cada pixel no quadro, então ela borra os quadros quando há objetos em movimento na cena. A fim de reduzir o problema, o quadro realinhado é comparado com o quadro de referência, pixel por pixel. Se a diferença for acima de um limiar predeterminado, então a filtração passa-baixa não é aplicada ao pixel. O filtro passa-baixa temporal, adaptivo, pode ser descrito matematicamente do seguinte modo:

1. Realizar um filtro passa-baixa no domínio espacial em u(i,j), o quadro de referência, para obter p(i,j),

2. Realizar um filtro passa-baixa no domínio espacial em s(i,j), o quadro realinhado, para obter q(i,j),

3. Se |p(i,j)-q(i,j)|>e (limiar), então não realize filtração passa-baixa s(i,j) no domínio temporal e atualize imediatamente u(i,j) para s(i,j);

4. Se |p(i,j)-q(i,j)|<e (limiar), então realize filtração passabaixa s(i,j) no domínio temporal e atualize imediatamente u(i,j) para o valor do pixel filtrado.

[0025] Tal como descrito acima, a quantidade de translação para cada pixel no mesmo quadro não é idêntica. Filtração passa-baixa temporal pode reduzir o artefato causado pelas translações diferentes, mas também irá remover alguns componentes de alta frequência. Outro método é usar um algoritmo de busca de translação baseado em pexel. Nesse algoritmo, a translação para cada pixel é encotrada usando o mesmo algortimo de combinação de bloco. Mas, esse método requer potência de CPU significativa e pode ser complexo demais

Petição 870180139745, de 10/10/2018, pág. 15/32

12/18 para aplicações simples. Deixe v(i,j) ser o pixel do quadro de entrada e u(i,j) ser o pixel do quadro de referência.

1. Para cada u(i,j) no quadro de referência, tome um bloco de (2n+1)x(2m+1) pixels do quadro de referência centralizado na coordenada (i,j) e faça uma busca de combinação de bloco no quadro de entrada para encontrar o vetor de translação.

2. Compute a média da vetores de translação de pixels encontrados na etapa 1.

3. Para um pixel na coordenada (i,j), compute a distância de seu vetor de translação de pixels para o vetor de translação médio. Se estiver acima do limiar, então substitua o pixel de referência u(i,j) com o pixel de entrada v(i,j);

ou então,

a. filtre em passa-baixa o vetor de translação em domínio espacial;

b. use o vetor filtrado para obter o pixel do quadro de entrada, depois filtre em passa-baixa o pixel em domínio temporal

c. use o pixel filtrado para substituir o pixel de referência. [0026] Um função de ponderação pode ser usada no algoritmo de combinação de bloco. O valor de ponderação depende da posição do pixel no bloco. Quanto mais próximo o pixel estiver do centro, tanto mais alta a função de ponderação aplicada. Tanto o quadro de referência como o de entrada são prolongados por enchimento com os valores de pixels mais próximos. Tanto o limite esquerdo como o direito são prolongados por n colunas e tanto o limite superior como o inferior são prolongados por m fileiras.

[0027] Foi verificado que ao usar o algoritmo de antivibração, o vídeo pode parecer irregular quando a câmera é movida lentamente.

Petição 870180139745, de 10/10/2018, pág. 16/32

13/18

As razões que causam a irregularidade podem ser explicadas do seguinte modo. No início do movimento da câmera, o algoritmo de antivibração pode encontrar uma boa combinação. Os quadros de entrada são realinhados, de modo que o vídeo parece parado. Quando o limite de movimento está acima do limite de busca e o algoritmo não pode encontrar uma boa combinação, ele atualiza o quadro de referência com o quadro de entrada novo. O vídeo é subitamente transladado à distância. O algoritmo encontra uma boa combinação depois da atualização do quadro de referência e o vídeo fica novamente parado. Quando o movimento é sobre a distância de busca, ocorre novamente um salto súbito. Esso fenômeno se repete e o vídeo parece irregular e incômodo. Uma solução é ligar o movimento da câmera com o algoritmo de antivibração. Quando a câmera está se movendo, ela pode desligar o processo de antivibração.

[0028] Um segundo método é usar um integrador, para integrar a translação do movimento do último período de tempo determinado. Quando a câmera está se movendo constantemente em uma determinada direção, o tamanho da saída do integrador está próximo a um valor constante e o valor depende da velocidade do movimento. Quanto mais alta for a velocidade, tanto maior é o tamanho. Quando a câmara está parada, o movimento da câmera, gerado da vibração, está em um determinado limite, isto é, de uma posição negativa constante a uma posição positiva constante. Desse modo, o tamanho está próximo a zero. Portanto, o movimento gerado da vibração e o movimento efetivo da câmera podem ser diferenciados.

[0029] Quando o integrador está ligado e a câmera está parada, o vídeo pode parecer que está saltando, de vez em quando. Como o quadro de referência nem sempre está localizado no centro do limite de vibração e a vibração é periódica, o tamanho da saída do integrador é desenvolvida. O pior caso é quando a frequência de vibração

Petição 870180139745, de 10/10/2018, pág. 17/32

14/18 dominante está próxima a um múltiplo de frequência de quadro (ou campo). Esse problema pode ser eliminado, aumentando o limiar, reduzindo o período de integração, movendo gradualmente o quadro de referência para o centro do limite de vibração, ou desligando o integrador.

[0030] A figura 4 é um diagrama de bloco que mostra a operação lógica de uma modalidade da presente invenção, usando a técnica de filtração passa-baixa temporal, adaptiva. Um quadro de referência é obtido, tal como descrito acima, e armazenado no buffer de quadro

102. Um quadro de entrada, isto é, o quadro de entrada a ser analisado, é fornecido ao bloco 104, junto com o quadro de referência do buffer de quadro 102. No bloco 104, o vetor de translação de quadro é determinado, por exemplo, por combinação de bloco, e é fornecido ao bloco 106, onde é realizada a translação de quadro do quadro de entrada. O quadro realinhado é fornecido ao bloco 108, junto com o quadro de referência do buffer de quadro 102 e o método de filtração passa-baixa temporal, adaptivo, do presente método é realizado, tal como descrito acima, para gerar o quadro de saída apropriado, com os efeitos de vibração removidos e para atualizar o buffer de quadro, tal como descrito acima.

[0031] O método de antivibração da presente invenção aplicado ao vídeo progressivo na figura 4, também pode ser aplicado a um vídeo entrelaçado. Sistemas de vigilância por vídeo geralmente usam o método de entrelaçamento de exibição de imagens, para economizar a largura de banda de vídeo e ainda obter uma imagem uniforme. Em exibições entrelaçadas, o dispositivo de exibição alterna entre desenhar o campo par, que consiste nas linhas com números pares, e o campo ímpar, que consiste nas linhas com números ímpares, de cada quadro. Um quadro entrelaçado consiste em um campo par e ímpar e refere-se a uma das imagens paradas, que constituem o vídeo em

Petição 870180139745, de 10/10/2018, pág. 18/32

15/18 movimento. De modo similar, as câmeras de vigilâncias usadas nesses sistemas entrelaçados captam apenas metade das linhas de cada quadro, isto é, um campo a cada vez. Os padrões de campos de cada quadro são observados ao mesmo tempo, dando a aparência de um quadro completo, devido à persistência da visão. Cada quadro de vídeo entrelaçado tem dois campos, e cada campo é captado a ocasiões diferentes. Na situação de uma câmera não-estabilizada, os dois campos captados em um quadro têm translações diferentes. Portanto, cada quadro precisa ser processado separadamente. Mas, os vetores de translação encontrados para cada campo podem não ser os melhores, devido ao algoritmo de busca rápida. Devido a essa razão, resulta uma combinação inadequada entre os dois campos e a combinação inadequada deteriora o vídeo. A solução mais simples é omitir um campo, mas isso reduz a resolução do vídeo a um nível inaceitável. O método da presente invenção interpola a referência para o campo 2 do campo 1, uma vez que o campo 2 é, conceitualmente, as linhas entre cada par de linhas no campo 1. Dois algoritmos de interpolações para executar a presente invenção são apresentados tal como segue:

[0032] Algoritmo de Interpolação do Campo 1:

para a fileira i, i=1 a H/2-1 para o pixel j na fileira i, j=1 a W f2[i][j]=(f1[i][j] + f1[i+1][j]/2;

onde

H e W são, em cada caso, a altura e a largura do quadro; f1 é o pixel do campo 1 e f2 é o pixel interpolado para o campo 2.

Algoritmo de Interpolação do Campo 2: para a fileira i, i=1 a H/2-1 para o pixel j na fileira i, j=2 a W-1 f2[i][j]=Média(f1[i][j-1] + f1[i][j], f1[1][j+1], f1[i+1][j-1], f1[i+1][j], f1[i+1][j+1]);

Petição 870180139745, de 10/10/2018, pág. 19/32

16/18 onde

Média é encontrar duas médias de seis valores de pixel, depois usar a média das duas médias como o valor interpolado. Algoritmo 2 requer um grande dispêndio de tempo, um método simplificado é relacionado tal como se segue;

dif = |f1[i][j] - f1[i+1][j]| se (dif<20), f2[i][j] = (f1[i][j] + f1[i+1][j]/2; ou f2[i][j] = Média(f1[i][j-1], f1[i][j], f1[i][j+1], f1[i+1][j-1], f1[i+1][j], f1[i+1][j+1]).

[0033] Mas, como a maioria dos pixels adjacentes são muito semelhantes, a média pode ser usada como a interpolada, desse modo, a complexidade de computação é reduzida significativamente. Por exemplo, a média de linha da linha 1 e da linha 3 do campo 1 pode ser usada para obter o valor interpolado para a linha 2 do campo 2, e a média de linha da linha 3 e da linha 5 do campo 1 pode ser usada para obter o valor interpolado para a linha 4 do campo 2.

[0034] A figura 5 é um diagrama de bloco mostrando a operação lógica de uma modalidade da presente invenção, para uso em um sistema de vídeo entrelaçado. Um quadro de referência é obtido tal como descrito acima e armazenado no buffer de quadro 202. O quadro de referência do buffer de quadro 202 é dividido em dois campos, para Campo1 e Campo2 no bloco 218. Um quadro de entrada, isto é, o quadro de vídeo entrelaçado de entrada, a ser analisado, é fornecido ao bloco 204, onde o quadro é dividido em dois campos, a saber, Campo1 e Campo2. O Campo1 é fornecido ao bloco 206, junto com a referência do Campo1 do bloco 218. No bloco 206, o vetor de translação de campo para o Campo1 é determinado, usando as mesmas técnicas, tais como descritas previamente, em relação a um quadro inteiPetição 870180139745, de 10/10/2018, pág. 20/32

17/18 ro de um vídeo progressivo. O Campol do quadro de entrada e o vetor de translação de campo para o Campo1 são fornecidos ao bloco 210, onde a translação do Campo1 é realizada. O Campo1 transladado junto com o Campo1 de referência são fornecidos ao bloco 214, onde a técnica de filtração passa-baixa temporal, adaptiva, é realizada, tal como descrito acima. A saída do bloco 214 é fornecida ao bloco 222 para atualizar o quadro de referência armazenado no buffer de quadro 202 e também ao bloco 220, onde o valor interpolado para o Campo2 é calculado do Campo1, tal como descrito acima. O valor interpolado para o Campo2 e o Campo2 do quadro 204 são fornecidos ao bloco 208, para determinação do vetor de translação de campo para o Campo2. O vetor de translação de campo do bloco 208 e o Campo2 do bloco 204 são fornecidos ao bloco 212, para gerar o Campo2 realinhado. O Campo2 realinhado é fornecido ao bloco 216, junto com o valor interpolado para o Campo2 e a filtração passa-baixa temporal, adaptiva, da presente invenção é realizada. A saída do bloco 216 é fornecida ao bloco 222, onde ela é fundida com a saída do bloco 214, para gerar o quadro entrelaçado de saída, que contém o Campo1 e o Campo com os efeitos de vibração removidos. A saída do bloco 222 também é fornecida ao buffer de quadro 202, para atualizar o quadro de referência. [0035] Um modo alternativo de desenvolver uma referência de modo de mistura Gaussiana é criar um conjunto de pixels com três ou mais blocos de memória por pixel, sendo que cada bloco contém um nível de vídeo de monograma candidato para esse pixel e um contador, que indica o número de vezes que ocorreu o vídeo para esse pixel dentro de um limite de variação definido do nível armazenado no momento.

[0036] A cada vez que um quadro novo é apresentado para processamento, cada pixel é examinado para verificar se ele está dentro do limite de variação do pixel que previamente teve a média calculada.

Petição 870180139745, de 10/10/2018, pág. 21/32

18/18

Caso positivo, o contador é aumentado positivamente e o valor do pixel tem a média calculada com os valores de pixel que tiveram a média calculada previamente. Se o valor do pixel for diferente (fora do limite de variação), então esse novo valor é colocado na segunda memória para esse pixel e seu contador é aumentado em um.

[0037] No quadro seguinte, ou o vídeo combina com o primeiro ou o segundo vídeo com a média calculada na memória, dentro das variações permitidas, ou o novo vídeo tem a média calculada com o anterior e seu contador é aumentado. Se o vídeo não combinar nem com os primeiros nem com os segundos valores armazenados dentro de seu limite de variação permitido, ele é então colocado em uma terceira memória para esse determinado pixel e seu contador é aumentado. [0038] Se um pixel contiver um valor de amplitude de vídeo diferente dos três locais de memória prévios, então o local com a contagem mais baixa é substituído pelo novo valor de vídeo e o contador é reajustado para um. O resultado final é com conjunto de pixels com três escolhas para cada um. O quadro de plano de fundo torna-se uma combinação de todos os pixels individuais com as contagens de memória mais altas.

[0039] A vantagem desse método é que pixels significativamente diferentes dos planos de fundo candidato são jogados fora ou colocados no terceiro depósito e não incluídos no processo de cálculo de média em andamento.

[0040] Deve ser entendido que variações e modificações da presente invenção podem ser feitas sem afastar-se do escopo da invenção. Também deve ser entendido que o escopo da invenção não deve ser interpretado como limitado às modalidades específicas descritas no presente, mas apenas de acordo com as reivindicações anexas, quando lidas à luz da descrição precedente.

Claims

REIVINDICAÇÕES

1. Método para aperfeiçoar uma imagem de vídeo por remoção dos efeitos da vibração da câmera, que compreende as etapas de:

obter um quadro de referência (u); receber um quadro de entrada (v), determinar o vetor de translação de quadro (x, y) para o quadro de entrada (104);

transladar o quadro de entrada para gerar um quadro realinhado (106), realizar um filtro passa-baixa no domínio espacial em pixels no quadro realinhado, realizar um filtro passa-baixa no domínio espacial em pixels no quadro de referência;

caracterizado pelo fato de que compreende ainda: determinar a diferença absoluta entre os pixels filtrados no quadro de referência e os pixels filtrados no quadro realinhado, realizar um filtro passa-baixa no domínio temporal nos pixels no quadro realinhado para gerar o quadro de saída se a diferença absoluta for de menos do que um limiar predeterminado; e fornecer o quadro realinhado como o quadro de saída se a diferença absoluta for maior do que o limiar predeterminado.
2. Método de acordo com a reivindicação 1, caracterizado pelo fato de que compreende, ainda, a etapa de atualizar os pixels no quadro de referência, calculando o valor de pixel médio da soma do valor do pixel de referência e o valor do pixel do quadro realinhado, depois da filtração passa-baixa no domínio temporal, se a diferença absoluta for menos do que o limiar predeterminado.
3. Método de acordo com a reivindicação 1, caracterizado pelo fato de que compreende, ainda, a etapa de atualizar os pixels no

Petição 870180139745, de 10/10/2018, pág. 23/32

2/5 quadro de referência com os pixels no quadro realinhado, se a diferença absoluta for maior do que o limiar predeterminado.
4. Método de acordo com a reivindicação 2, caracterizado pelo fato de que compreende, ainda, a etapa de atualizar os pixels no quadro de referência com os pixels no quadro realinhado, se a diferença absoluta for maior do que o limiar predeterminado.
5. Método de acordo com a reivindicação 1, caracterizado pelo fato de que a referida imagem de vídeo é uma imagem de vídeo entrelaçada, com um primeiro campo e um segundo campo, e sendo que o referido método compreende, ainda, as etapas de dividir o quadro de referência no primeiro e no segundo campos (218) e dividir o quadro de entrada recebido no primeiro e no segundo campos (204) e, sendo que a referida etapa de determinar o vetor de translação de quadro compreende determinar o vetor de translação para o primeiro campo e para o segundo campo (206, 208), em que a referida etapa de transladar o quadro de entrada para gerar um quadro realinhado compreende as etapas de transladar o primeiro campo e o segundo campos, para gerar o primeiro e o segundo campos realinhados (210, 212), em que a referida etapa de realizar um filtro passa-baixa do domínio espacial em pixels no quadro realinhado compreende as etapas de realizar um filtro passa-baixa no domínio espacial em pixels no primeiro e no segundo campos realinhados, em que a referida etapa de realizar um filtro passa-baixa no domínio espacial em pixels no quadro de referência compreende as etapas de realizar um filtro passa-baixa no domínio espacial em pixels no primeiro e no segundo campos no quadro de referência, em que a referida etapa de determinar a diferença absoluta entre os pixels filtrados no quadro de referência e os pixels filtrados no quadro realinhado compreende determinar a diferença absoluta entre os pixels filtrados no primeiro campo no quadro de referência e os pixels filtrados no primeiro campo realinhado e determinar

Petição 870180139745, de 10/10/2018, pág. 24/32

3/5 a diferença absoluta entre os pixels filtrados no segundo campo no quadro de referência e os pixels filtrados no segundo campo realinhado, e a referida etapa de realizar um filtro passa-baixa no domínio temporal nos pixels no quadro realinhado, para gerar o quadro de saída, se diferença absoluta for menos do que um limiar predeterminado e fornecer o quadro realinhado como o quadro de saída, se a diferença absoluta for maior do que o limiar predeterminado, compreende realizar um filtro passa-baixa no domínio temporal nos pixels no primeiro campo realinhado, para gerar o primeiro campo de saída, se a diferença absoluta for menos do que um limiar predeterminado, realizar um filtro passa-baixa no domínio temporal nos pixels no segundo campo realinhado, para gerar o segundo campo de saída, se a diferença absoluta for maior do que um limiar predeterminado e fornecer o primeiro campo e o segundo campo realinhados como o quadro de saída, se a diferença absoluta for maior do que o limiar predeterminado.
6. Método de acordo com a reivindicação 5, caracterizado pelo fato de que a referida etapa de determinar o vetor de translação para o segundo campo compreende determinar um campo de referência para o segundo campo, por interpolação do primeiro campo.
7. Aparelho para aperfeiçoar uma imagem de vídeo por remoção dos efeitos de vibração da câmera, que compreende:

uma memória para armazenar uma pluralidade de quadros que contêm imagens de vídeo; e um processador (30) conectado à referida memória e que está programado para obter um quadro de referência (u) da referida pluralidade de quadros, receber um quadro de entrada (v) da referida memória, determinar o vetor de translação (x, y) de quadro para o quadro de entrada (104), transladar o quadro de entrada para gerar um quadro realinhado (106), realizar um filtro passa-baixa no domínio espacial em pixels no quadro realinhado, realizar um filtro passa-baixa

Petição 870180139745, de 10/10/2018, pág. 25/32

4/5 no domínio espacial em pixels no quadro de referência, caracterizado pelo fato de que o processador ainda determina a diferença absoluta entre os pixels filtrados no quadro de referência e os pixels filtrados no quadro realinhado, realiza um filtro passa-baixa no domínio temporal nos pixels no quadro realinhado para gerar um quadro de saída se a diferença absoluta for menos do que um limiar predeterminado, e fornece o quadro realinhado como o quadro de saída, se a diferença absoluta for maior do que o limiar predeterminado.
8. Aparelho de acordo com a reivindicação 7, caracterizado pelo fato de que o referido processador (30) está programado ainda para atualizar os pixels no quadro de referência, calculando o valor de pixel médio da soma do valor de pixel de referência e do valor do pixel do quadro realinhado, depois de filtração passa-baixa no domínio temporal, se a diferença absoluta for menos do que o limiar predeterminado.
9. Aparelho de acordo com a reivindicação 7, caracterizado pelo fato de que o referido processador (30) está programado ainda para atualizar os pixels no quadro de referência com os pixels no quadro realinhado, se a diferença absoluta for maior do que o limiar predeterminado.
10. Aparelho de acordo com a reivindicação 8, caracterizado pelo fato de que o referido processador (30) está programado ainda para atualizar os pixels no quadro de referência com os pixels no quadro realinhado, se a diferença absoluta for maior do que o limiar predeterminado.
11. Meio legível por computador (40), caracterizado pelo fato de que compreende instruções que, quando executadas por um computador, fazem com que o computador esteja adaptado para realizar o método como definido na reivindicação 1.
12. Meio legível por computador (40) de acordo com a reiPetição 870180139745, de 10/10/2018, pág. 26/32

5/5 vindicação 11, caracterizado pelo fato de que compreende, ainda, instruções que, quando executadas por um computador, fazem com que o computador esteja adaptado para atualizar os pixels no quadro de referência, calculando o valor de pixel médio da soma do valor do pixel de referência e do valor do pixel do quadro realinhado, depois de filtração passa-baixa no domínio temporal, se a diferença absoluta for menos do que o limiar predeterminado.
13. Meio legível por computador (40) de acordo com a reivindicação 11, caracterizado pelo fato de que compreende, ainda, a etapa de atualizar os pixels no quadro de referência com os pixels no quadro realinhado, se a diferença absoluta for maior do que o limiar predeterminado.