BRPI0302988B1 - Real-time personal counting system based on computation vision - Google Patents

Abstract

"sistema para contagem de pessoas em tempo real baseado em visão computacional". a presente invenção descreve um sistema baseado em análise de seqüência de imagens, capaz de contabilizar o número de pessoas que fluem através de regiões de interesse em ambientes internos e externos, bem como estimar as direções de movimento das mesmas. as principais características da invenção aqui descrita são: baixo custo computacional e financeiro; alta confiabilidade diante de variações ambientais, tais como flutuações de luminosidade e sombras; capacidade de contar pessoas andando lado a lado em regiões abertas e que estejam seguindo direções arbitrárias; independência de instalação de infra-estruturas físicas na região através da qual as pessoas se movimentam; alta confiabilidade no processo de identificação de objetos móveis, contabilizando-se apenas pessoas e desprezando-se, por exemplo, animais que estejam eventualmente transitando sob o campo de visão da câmera; alta confiabilidade em relação ao número de pedestres presentes na cena, sendo o sistema capaz de contabilizar pessoas presentes em um grande grupo; alta confiabilidade em condições críticas de operação do sistema de aquisição de imagens, tais como presença de ruídos no sistema.

Description

"MÉTODO PARA CONTAGEM DE PESSOAS EM TEMPO REAL BASEADO EM VISÃO COMPUTACIONAL" A presente invenção refere-se a um sistema capaz de estimar em tempo real o fluxo de pessoas em regiões abertas, sendo o mesmo composto por um software responsável pela análise da seqüência de imagens adquirida a partir de uma câmera digital e fornecida a um microcomputador responsável pela execução do software. O sistema contabiliza o número de pessoas que circulam na região observada bem como suas correspondentes direções de movimento. A necessidade de se conceber sistemas confiáveis capazes de obter tais dados surgiu a partir de recentes avanços tecnológicos no estudo e monitoramento do tráfego de pedestres em áreas urbanas. Estas informações são bastante úteis para o projeto e controle do fluxo de trânsito bem como para o estabelecimento do crescimento ordenado dos centros metropolitanos. Além disso, o problema de contagem de pessoas é de grande importância em aplicações de automação comercial como, por exemplo, planejamento dos serviços fornecidos por cinemas, shoppings e companhias de ônibus, funcionando como uma ferramenta gerencial capaz de auxiliar nas decisões de marketing e operação dos empreendimentos. Várias patentes já foram depositadas sobre dispositivos de contagem de pessoas. Em muitas situações, principal mente aquelas nas quais o fluxo de pessoas se faz em regiões limitadas, tais invenções realizam a contagem de pessoas por meio de sensores fotoelétricos, sensores de pressão ou mesmo roletas mecânicas. Pouco trabalho tem utilizado as potencialidades fornecidas pelo processamento digital de imagens da cena na qual as pessoas circulam.

Dentre as diversas soluções propostas e depositadas como patentes pode-se identificar quatro grupos, os quais se diferenciam pela tecnologia na qual se baseiam. O maior destes grupos é constituído por soluções baseadas na tecnologia de sensores fotoelétricos. Tais sistemas são constituídos por um ou mais transmissores e receptores, sendo que a contagem quase sempre está vinculada à ruptura do feixe de luz ou radiação eletromagnética que esteja sendo utilizada» como por exemplo, o infravermelho. Entretanto» estas soluções devem ser utilizadas conjuntamente com outras estruturas físicas que permitam a instalação dos diversos sensores a serem empregados. Isto leva a uma limitação do ambiente por onde fluem as pessoas forçando-as a se deslocarem através da estrutura física projetada. Geralmente, este fato restringe a utilização destes dispositivos a ambientes como corredores e portas» uma vez ser inviável suas utilizações em áreas abertas e não estruturadas como, por exemplo, cruzamentos de vias públicas ou mesmo em pontos internos a uma loja quando se deseja determinar, por exemplo, qual seção é a mais visitada e, portanto, de maior interesse para os clientes.

Além disso, estas propostas trazem ainda inconvenientes como desconforto para os fregueses e funcionários do estabelecimento» uma vez que o fluxo de pessoas toma-se restringido, podendo representar um sério problema em situações de emergência como incêndio. Deve-se ressaltar que algumas arquiteturas destes sistemas são bastante ineficazes, principal mente quando o fluxo nio é regular e diversas pessoas passam simultaneamente. Nestes sistemas» qualquer objeto móvel pode ser contabilizado levando a interrupções espúrias do feixe, como as causadas por oscilação de objetos transportados por pessoas, implicando em erros na contagem final. Como exemplo de patentes que se enquadram nesta categoria pode-se citar: JP59060586, WO9722089, DE4212G26, GB2278437, W00124118, US4799243 e CH670905. 0 segundo maior grupo de soluções patenteadas para o problema de contagem de pessoas, baseia-se na utilização de sensores de pressão que são ativados pelo peso das pessoas que se movimentam sobre eles. Estes sistemas também requerem a instalação de uma infra-estrutura física na região por onde as pessoas fluem, o que limita a sua utilização em vias públicas onde passam diversos tipos de veículos. Sendo assim, esses dispositivos acabam tendo suas aplicações limitadas a ambientes internos. Grande parte das arquiteturas propostas são capazes de estimar o fluxo de pessoas somente em uma direção, por exemplo, norte-sul ou leste-oeste, não sendo capazes de fazê-lo simultaneamente em ambas as direções, Além destes problemas, muitas vezes é extremamente difícil para estes sistemas contabilizar pessoas quando estas fluem em blocos e andam muito próximas umas ás outras. Neste caso, pessoas diferentes podem ativar simultaneamente um mesmo sensor invalidando o processo de contagem. Como exemplo de patentes que se enquadram nesta categoria pode-se citar: US5946368, US5656801 e US4175446.

Neste contexto, a análise de sequências de imagens surge ramo uma alternativa interessante para a correta discriminação e contabilização de indivíduos que estejam caminhando em uma determinada região. Pode-se, assim, identificar um terceiro grupo de soluções híbridas baseadas na utilização de sensores de pressão ou fotoelétricos ou mesmo de radiação térmica juntamente com softwares para análise de sequência de imagens. Seguindo-se esta linha pode-se citar as seguintes patentes: EP0992949, WO9840719 e JP11219437.

As idéias propostas em EP0992949 e W09640719 utilizam uma matriz de células sensoríais de pressão que geram uma imagem composta pelas pegadas das pessoas que estejam se movimentando na região. A partir da análise destas imagens no tempo, identifica-se o número de pessoas bem como o sentido de seus deslocamentos. Tais soluções não são apropriadas para ambientes externos onde fluem não somente pessoas como também veículos e outros objetos móveis pesados, uma vez que a infra-estrutura sensorial a ser instalada no solo não suportaria seus pesos e, além disso, podería efetuar a contagem errônea de falsos padrões criados pelos objetos móveis. Alguns dos sérios problemas a serem resolvidos por estes sistemas relacionam-se com a definição da resolução espacial apropriada da matriz sensorial, bem como o tamanho de cada célula da matriz, as variabilidades das marcas proporcionadas pelas pegadas segundo o calçado utilizado, o tamanho dos pés, o peso e ainda com a velocidade na qual a pessoa se movimenta. Enfim, uma série de fatores que acabam contribuindo para aumentar a complexidade computacional destas soluções» sem ganho significativo na exatidão da contagem, Na solução proposta em JP11219437» utiliza-se um sensor de temperatura e câmeras de infravermelho. Neste caso, o sensor é utilizado para definir um limiar a partir do qual as pessoas serão segmentadas nas imagens e posteriormente contabilizadas, Esta solução não é adequada para ambientes nos quais a variação de temperatura é significativa, como em ambientes externos de uma forma geral. Além disso, o método descrito por aquela patente não propõe uma solução para s# determinar o sentido de movimento das pessoas, servindo apenas para estimar o número de indivíduos em um ambiente.

Final mente pode-se citar o quarto grupo de soluções patenteadas baseadas apenas na análise de sequência de imagens. Tais sistemas sâo constituídos por uma câmera e um microcomputador onde rodam programas responsáveis pela interpretação das imagens e a consequente estimação do fluxo. Sâo conhecidas as seguintes patentes pertencentes a este grupo; US4922093, GB2294114 e US4303851.

Os trabalhos propostos em US4922093 e GB2294114 baseiam-se na subtração do quadro atual em relação a um quadro de referência e, portanto, são extremamente sensíveis a variações de luminosidade do ambiente bem como ruídos dos sistemas de aquisição. Além disso, estes dois trabalhos nào sugerem uma maneira de se identificar o sentido no qual as pessoas presentes na cena se movimentam, apresentam sérios problemas de oclusâo entre diferentes indivíduos devido ao posicionamento da câmera e apresentam complexidade computacional elevada na medida em que toda a imagem deve ser examinada para se determinar o número de pessoas presentes na cena. Fínalmente» a idéia proposta em US4303851 baseia-se no constante monitoramento de apenas duas faixas da cena, as quais são utilizadas para se determinar o sentido de movimento da pessoa, representando uma idéia semelhante àquela sugerida neste documento. Porém, o sistema proposto em US4303851 é composto por duas câmeras, sendo uma para cada faixa monitorada. Tal sistema é capaz de estimar o fluxo presente na cena somente em uma direção, por exemplo, norte-sul ou leste-oeste e não é robusto em ambientes externos, onde há variações de luminosidade e o fundo da cena é nio-uniforme apresentando uma distribuição de brilho bastante heterogênea, A presente invenção se enquadra no quarto grupo mencionado acima, o qual é composto por metodologias baseadas exclusivamente na interpretação de sequência de imagens, tendo como objetivo evitar os inconvenientes das soluções descritas anteriormente. O sistema aqui descrito é composto por uma simples câmera monocromática e um microcomputador. As imagens adquiridas são analisadas por um algoritmo responsável pela identificação das pessoas na cena, contabilização e estimação de suas respectivas direções d# movimento. Para isso, informações referentes aos movimentos das pessoas na cena e características específicas do ser humano como largura média corporal e velocidade média sio amplamente utilizadas. A invenção descrita neste documento atende os seguintes requisitos para um sistema de contagem de pessoas; A. baixo custo, o qual é alcançado limitando-se a complexidade computacional do algoritmo utilizado para se contar pessoas em tempo real, o que garante ampla aplicabilidade; B. alta confiabilidade em condições críticas de operação do sistema de aquisição de imagens, tais conto presença de ruídos no sistema; C. alta confiabilidade diante de variações nas condições ambientais, tais como variações de luminosidade e vibrações mecânicas na câmera digital ocasionada por ventos; D. alta confiabilidade no processo de identificação de objetos móveis, contabilizando-se apenas pessoas e desprezando-se, por exemplo, animais que estejam eventualmente transitando sob o campo de visão da câmera; E. alta confiabilidade diante dos comportamentos imprevisíveis de pedestres, evitando-se influências negativas no processo de contagem, como eventuais paradas no campo de visão da câmera ou passagens rápidas de pessoas na cena; F. alta confiabilidade em relação ao número de pedestres presentes na cena, devendo o sistema ser capaz de contabilizar pessoas presentes em um grande grupo; O sistema de contagem de pessoas aqui descrito é complementarmente compreendido pelas figuras anexas, onde a Fig, 1 representa o ambiente típico para o qual o sistema de contagem proposto foi projetado, A regíio sob observação pode ser interna a um estabelecimento ou uma área externa. 0 campo de visão obtido pela câmera (1) ilustrada na Fig. 2 é justamente aquele exibido na Fig. 1. Nota-se assim que a câmera deve ser colocada a uma altura (H*), representada na Fig. 2, a qual é definida durante a cal br ação do sistema. É importante observar que o eixo ótico da câmera deve ser perpendicular ao solo. Dessa forma, é possível minimizar problemas de oclusáo, comuns em situações nas quais muitas pessoas estejam se movimentando pela região observada. Este procedimento busca fazer com que o requisito F expresso acima seja respeitado.

Para diminuir a complexidade computacional do algoritmo utilizado, obtendo-se um menor tempo de execução para o sistema de software correspondente, a cena foi dividida em cinco regiões principais representadas na Fig. 1 pelos números (1), (2), (3), (4) e (5). As regiões monitoradas pelo sistema e utilizadas durante todo o processo computacional são apenas as regiões laterais de (1) a (4). Dessa forma, consegue-se economizar o esforço computacional que a região central (5) podería requerer. Além disso, cada uma das regiões principais de (1) a (4) é subdividida em duas subregiões que serão utilizadas para se identificar o sentido de movimentação das pessoas. A definição das larguras destas regiões, bem como de suas respectivas subregiões são estabelecidas durante a calíbração do sistema, única fase na qual ocorre intervenção humana. Estes valores são definidos utilizando-se o modelo geométrico mais comum de câmeras, conhecido como Modelo Perspectivo, representado na Fig. 3. Para este modelo, o processo de formação de imagens é completamente determinado escolhendo-se um centro de projeção (C) e um plano (W), conhecido como Plano Refinai, A projeção de um ponto (M) na cena é então obtida através da interseção do eixo ótico (1), representado na Fig. 3» com o Plano Retinal (9t), devendo o eixo ótico passar pelo ponto (m) e o centro de projeção (C). Definiu-se a largura de cada subregião como sendo a projeção (waj no plano de imagem da largura corporal (Wz) de um ser humano, representada nas Fig. 4 e Fig. 5. Dessa forma, diminui-se o número de situações nas quais as duas subregiões poderíam ser ativadas ao mesmo tempo durante o caminhar do pedestre, como lustrado na Fig. 6, o que dificulta a determinação do sentido no qual a pessoa se movimenta, Além disso, diminuí-se a probabilidade de que duas pessoas andando muito próximas uma atrás da outra sejam Interpretadas como sendo uma única pessoa, Todas as subregiões são do mesmo tamanho e cada região apresenta uma largura cujo valor é o dobro do valor de (wn). ilustrado na Fig. 5, Por sua vez, os valores (Wi) e (Wj), ilustrados na Fig. 4» baseiam-se, sem restringir, nos valores propostos pela edição 2000 do Highway Capadty Manual (HCM), uma publicação da Diretoria Norte-Americana de Pesquisas em Transporte, a qual pertence ao órgão norte-americano National Research CoundL

Neste manual são relatados estudos referentes a características de pedestres, os quais provêm uma base consistente para o projeto de sistemas eficientes de tráfego urbano, Embora os dados tenham sido obtidos segundo características corporais da população norte-americana, os mesmos servem como boa aproximação para se estudar as características dos pedestres brasileiros. A Fig. 5 ilustra a utilização do Modelo Perspectivo para a estimação das projeções no plano de imagem dos valores (Wi) e (Wa), De acordo com este modelo, tem-se que: ÍD (2) onde; '(W,): 0.6 m {Fonte :HCM) (W2); 0.5 m (Fonte :HCM) ■ (F): distância focai medida durante calibraçâo (wN),(wB): projeções das medidas reais (W, ou W2) no plano de imagem (H2); altura da câmera até a cabeça da pessoa Como se pode observar pela Fig. 5, (¾) = (Ha) - (Ht). Segundo o último censo realizado pelo Instituto Brasileiro de Geografia e Estatística (IBGE), o valor médio de (H-ι) para pessoas na fase adulta é 1,70m para homens e 1,65m para mulheres. De uma forma geral, tem-se pedestres cujas alturas variam de 0,6m, crianças começando a andar, até pouco mais de 2,0m. Pessoas com alturas em tomo de 2,0m constituem um caso pouco frequente na população brasileira, o que pode ser verificado através dos dados do IBGE (Instituto Brasileiro de Geografia e Estatística). Entretanto, de forma a tomar o sistema de contagem mais confiável em relação â ampla variabilidade da estrutura corporal humana, o valor (HO =2,0m é utilizado durante a calibraçâo do sistema. Tal valor corresponde ao pior caso em termos de custo computacional do algoritmo aqui descrito, uma vez que quanto maior for a altura (Hi), menor será a altura (Ha) e, consequentemente, maiores serão os valores para (wn) e (wB), tomando mais extensas as subregiões (1.1) a (4.2), representadas na Fig. 1 Com o objetivo de se determinar um período de amostragem apropriado para o sistema de contagem, dois parâmetros são utilizados; velocidade média dos pedestres e larguras das subregiões monitoradas. Como exemplo, sem restringir, suponha que a velocidade média dos pedestres seja 1 m/s e que a iargura de cada subregião seja 0,25m, Estes valores implicam em um período de amostragem de 0,25s ou uma taxa de quadras igual a 4 quadros por segundo.

Existem diversos estudos no estado da técnica que procuram estimar de maneira confiável a velocidade média de pedestres. Vários fatores são considerados nestes estudos como, por exemplo, localização da região monitorada {interna ou externa a um estabelecimento), sexo, idade, tipo de calçados utilizados, características do piso, condições climáticas, porte ou não de objetos e horário do dia. O valor de velocidade utilizado pelo sistema de contagem na invenção aqui descrita baseia-se, sem restringir, nos valores de velocidade recomendados pela edição 2000 do Highway Capadty Manual (HCM) e nos estudos presentes no artigo Field Studies of Pedestrian Walking Speed and StartAJp Time, publicado em 1996, pela Diretoria Norte-Americana de Pesquisas em Transporte. Este último trabalho, diferentemente da edição 2000 do HCM, realiza uma comparação entre velocidades de pedestres mais jovens com velocidades de pedestres mais idosos. Os experimentos mostraram que jovens pedestres andam em média a uma velocidade de 1,501m/s, enquanto pedestres idosos (acima de 65 anos) andam a 1,253m/s, No caso dos estudos propostos na edição 2000 do HCM, não é feita a análise da velocidade do pedestre com base na idade, mas sim com base na densidade de pedestres (pedestres/m2) na região monitorada. Trata-se, portanto, de uma informação que tenta modelar o fluxo global de pedestres em uma dada região.

De uma forma geral, a edição 2000 do HCM sugere três valores: • velocidade de 1,5m/s em condições de fluxo livre (baixa densidade de pedestres); • velocidade de 1,0m/s se mais de 20% da população for composta por idosos; • velocidade de 0)8m/s em condições de alta densidade de pedestres;

Para o sistema de contagem de pessoas descrito nesta invenção, uma das possíveis soluções seria adotar 1,5m/s como sendo o valor de velocidade média (VmJ a ser considerado, A escolha deste valor pode ser justificada pelo fato de o mesmo constituir o pior caso dos valores de velocidade, uma vez que pessoas mais velozes exigem uma maior taxa de quadros por segundo para serem detectadas e, segundo dados do IBGE, a maior parte da população brasileira é constituída por jovens e, portanto, pessoas que se locomovem mais rapidamente.

Dimensionando-se o sistema de contagem para o pior caso (velocidades elevadas), o qual é comum em ambientes abertos como cruzamentos em centros urbanos, o mesmo estará adequado para ambientes nos quais as pessoas se movem mais lentamente. É importante ressaltar que o valor de velocidade média de pedestre utilizado na invenção aqui apresentada é parametrizado, de forma a eliminar restrições de configuração estática.

Com base nos valores definidos: velocidade média igual a (Vm) e largura da subregíâo igual a (Wa), valor este representado na Flg. 4, pode-se concluir que o período mínimo de amostragem a ser utilizado ê (Tmm) ou analogamente a taxa mínima de quadros deve ser de (Q) quadros por segundo. Abaixo deste valor podem ocorrer dois problemas principais: as duas subregiões podem ser ativadas simultaneamente, ou apenas uma das subregiões é ativada. Estas situações podem dificultar ou mesmo impedir a definição do sentido no qual a pessoa se locomove.

Tendo-se apresentado as informações necessárias para a cal i br ação do sistema bem como para o processo de aquisição das imagens, será apresentada a seguir a metodologia empregada para a análise da sequência de imagens adquiridas e consequente estimação do fluxo de pedestres, O problema de contagem do número de pessoas em uma imagem é uma instância do problema mais genérico de contagem do número de objetos presentes na cena, Com o objetivo de se contar objetos, suas presenças devem ser detectadas e registradas. O que se requer do sistema de visão para contagem é que o mesmo seja capaz de identificar a presença de alguns objetos que normalmente não estão presentes na cena, sendo capaz de estimar o número de objetos individuais bem como suas respectivas direções άθ movimento. Pessoas são objetos heterogêneos, uma vez que existem pessoas gordas, magras, altas, baixas, negras e brancas. Além disso, existem as influências das roupas utilizadas e das características de não-rigidez do corpo humano. Todos estes fatores dificultam bastante o desenvolvimento de um modelo robusto para pessoas em movimento, o qual possa ser utilizado para se identificar pessoas na cena e seguir seus movimentos. De forma a superar tais dificuldades, esta invenção propõe que cada pessoa seja considerada com sendo um simples objeto com três características bem definidas: • velocidade média (Vm): este parâmetro é utilizado para se definir o período de amostragem do sistema; • largura corporal (W2), ilustrada na Fig. 4: utilizada para se determinar as larguras das subregiões e 0 período de amostragem do sistema; • largura corporal (Wi), ilustrada na Fig. 4: utilizada para se identificar o número correto de pedestres em situações de grande densidade (pedestres/m2).

Estes parâmetros juntamente com uma abordagem baseada na estimação de movimento, a qual será apresentada posteriormente, garantem a discriminação de pessoas na cena em relação a outros objetos móveis como caminhos de bebê ou mesmo animais como cachorros e gatos, Para se estimar o fluxo de pessoas em uma dada região, não é necessário o constante rastreamento dos indivíduos que entram e saem da cena. Além disso, essa operação pode apresentar um custo computacional elevado devido aos comportamentos imprevisíveis dos pedestres que circulam pelo campo de visão por trajetória aleatórias durante um período de tempo indefinido. Suponha, por exemplo, o pedestre rotulado pela letra (A) na Fig. 1. Este pedestre está entrando na cena e poderá seguir qualquer uma das três trajetórias (Τι), (T2) e (Tj), ou ainda retornar.

Neste contexto, a solução apresentada nesta invenção, estabelece que 0 fluxo global seja estimado segundo a seguinte premissa: 0 número de pessoas que entram na cena é obrigatoriamente igual ao número de pessoas que saem após um período de tempo ÁT, suficiente para que as pessoas que tenham entrado possam ter completado sua passagem pela região sob observação. Com base nesta hipótese, pode-se então estabelecer a seguinte equação: (3) onde: (Rit: número de pessoas entrando na cena pela região /> onde/ = 1,,.4 R^: número de pessoas saindo da cena pela regilo i, onde/ = 1,..4 Utilizando-se esta premissa é possível definir após um período de tempo ΔT, quantas pessoas fluíram em uma determinada direção através de uma determinada região. Por exemplo, pode-se dizer que após ΔΤ segundos, R1e pessoas entraram na cena e Ri» pessoas saíram através da Região {1), ilustrada na Fig. 1. Estes mesmos tipos de informações podem ser extraídas nas outras regiões.

Para se identificar a presença de pessoas entrando ou saindo da cena, esta invenção propõe a utilização de uma abordagem baseada na estimação e na interpretação espacial-temporal do movimento. 0 movimento de um objeto é uma importante característica que pode ser utilizada para diferenciá-lo do restante do ambiente. A Fig. 10 apresenta uma visão geral do sistema de contagem. O primeiro passo consiste naturalmente em capturar imagens da cena monitorada pela câmara digital (1). De posse de pelo menos duas imagens da cena, uma técnica para se estimar movimento é então aplicada, gerando um campo de velocidades (2). Após a realização do cálculo do campo de velocidades, uma análise espaço-temporal é realizada (3), fornecendo informações sobre direções de movimento dos pedestres e permitindo a diferenciação entre momentos nos quais a contagem deve ser realizada e momentos em que a mesma é inapropriada. Final mente, baseando-se nas informações extraídas na análise espaço-temporal, realiza-se a contagem das pessoas (4).

Diversas metodologias são encontradas na literatura para se estimar movimento em uma cena a partir da análise de sequência de imagens, Uma técnica computacional bastante conhecida e que será usada, sem restringir, para se esclarecer a proposta desta invenção é a conhecida por Fluxo Óptico. Esta técnica baseia-se nas mudanças de intensidade no plano de imagem e é responsável pela definição de uma campo aproximado de velocidades dos objetos móveis presentes na cena. Portanto, o campo de velocidades definido por esto técnica difere da projeção em perspectiva do movimento 3D de um objeto. Contudo, a estimação de um campo de velocidades aproximado, tal como o Fluxo Óptico, pode ser muito útil para aplicações como contagem de pessoas, onde não se exige um grau de precisão elevado no que se refere ao módulo da velocidade estimada.

Para melhor compreensão deste método, considere o pixel (m) no plano de imagem (1), representado na Flg, 7, de coordenadas (x,y) pertencente à uma imagem em tons de cinza, e que apresenta o nível de intensidade l(xfy,t) no instante de tempo t Este pixel corresponde à imagem de um ponto (M) móvel pertencente a um objeto 3D presente na cena. Considere que o ponto (M) se mova com uma velocidade VM e que sua projeção no plano de imagem (m) se mova com velocidade vm =[u,v]r. Tem-se que: (4) (5) Generalizando-se, para cada pixel na imagem correspondente a um ponto pertencente ao objeto móvel na cena, tem-se duas componentes de velocidade: u e v. Derivando-se l(x,y,t) com respeito ao tempo, tem-se: (6) Ou ainda: (7) A equação (7) não envolve qualquer tipo de aproximação» mas envolve a grandeza: dljdt, que não pode ser computada simplesmente a partir de uma sequência de imagens. De fato» com o objetivo de se computar dljdt, ê preciso se introduzir modelos de reflectância da cena.

Uma abordagem comum encontrada na literatura é supor dljdt = 0, ou seja, os brilhos de todos os pontos de cada objeto móvel ou estático na cena não variam com o tempo. Utilizando-se esta hipótese obtém-se a Equação (8), conhecida na literatura como Equação de Restrição do Fluxo Óptico: m As componentes u e v do Fluxo Óptico, respectivamente nas direções x e y, constituem as duas variáveis procuradas na Equação (8). Como se pode observar, existem duas incógnitas para apenas uma equação. Neste contexto, são propostas na literatura várias abordagens para se computar o Fluxo Óptico a partir da Equação (8). A presente invenção utiliza a abordagem proposta por Lucas e Kanade, a qual se baseia na suposição de que todos os pixels de uma vizinhança (2) de tamanho (N), onde (N) £ 2, em um plano de imagem (1), representados na Fig. 8, apresentam a mesma velocidade e, portanto, os mesmos valores para u e v. Este fato leva à definição de um Sistema Sobredeterminado contendo N2 equações como apresentado a seguir: d) {N2) para todo 1(1 J) e (2).

Utilízando-se esta técnica, um grande valor para N leva a uma maior suavização do campo de velocidades obtido» porém a uma consequente perda de resolução no processo de estimação dos vetores de velocidade.

Representando-se de forma matricial as equações do sistema acima e considerando-se a utilização de uma máscara Gaussiana Wt como proposto por Lucas e Kanade, tem-se: (9) onde: Utilizando-se o Método dos Mínimos Quadrados» ou de forma equivalente utilizando-se a técnica da Matriz Pseudo-lnversa, tem-se a partir da Equação (9): (10) A partir da Equação (10), pode-se estabelecer: (11) Este sistema pode ser resolvido utilizando-se técnicas tradicionais como Decomposição LU e Gauss Jordan. Porém como o sistema na Equação vetorial (11) é composto de duas equações algébricas em duas incógnitas» a solução direta é a mais apropriada.

Utilizando-se a Equação vetorial (11) para se estimar as componentes de velocidade u e v em cada pixel pertencente às regiões (1), (2), (3) e (4), representadas na Fig.1, pode-se obter informações quanto ao fluxo de pessoas que entram e saem da cena. Observe que para que o cálculo presente na Equação (11) seja realizado» são necessários 2 quadros representantes da cena» sejam eles consecutivos no tempo ou nâo.

Considere por exemplo a Fig. 9, na qual se tem uma única pessoa entrando na cena pela Região (1). Esta figura ilustra dois quadros adquiridos nos instantes de tempo (ti) e (½) e o campo aproximado de velocidades calculado a partir dos mesmos (2), Verifica-se que pessoas que estejam andando numa direção paralela ao eixo X» apresentam seu movimento predominantemente descrito pela componente de velocidade «(31, uma vez que: Por outro lado, para pessoas que andam numa paralela ao eixo Y, tem-se: Sendo assim, pessoas que estejam entrando ou saindo da cena através das Regiões (11 e (2), ilustradas na Fig. 1, terão seus movimentos descritos pela componente de velocidade u de cada pixel (3), representada na Flg, 9. Similarmente, pessoas que estiverem fluindo pelas Regiões (3) e (4), ilustradas na Fig. 1, serio descritas pela componente v (3), Ilustrada na Fig. 9, Nesta invenção, a identificação da presença de uma pessoa que esteja entrando ou saindo na cena consiste primeiramente em definir valores de velocidades resultantes para cada linha das Regiões (1) e (2), e analogamente para cada coluna das Regiões (3) e ¢4) estando todas estas regiões (11, (21, (3) e (4) ilustradas na Flg. 1 Suponha por exemplo o caso ilustrado na Fíg. 9, no qual uma única pessoa esteja entrando na cena através da Região (1), Para cada linha i do campo de velocidades referente à Região (11, deve-se definir uma velocidade resultante (Vr) como a seguir: (12) onde C corresponde ao número de colunas da imagem e (wu) corresponde a largura da subregíâo.

Dessa forma, tem-se para o caso representado na Fig. 9, um vetor de velocidades resultantes de tamanho igual ao número de linhas da imagem, Este vetor representa o fluxo de pessoas que atravessam num dado instante a Região (11, definindo uma função cujo esboço é representado na Flg. 11. Verifica-se nesta figura um conjunto de picos formando uma elevação (1), a qual indica a presença de uma pessoa na cena. A altura e a largura desta elevação, bem como sua forma estão íntima mente relacionados com as características físicas da pessoa, suas roupas, sua velocidade de locomoção, as condições ambientais e o tamanho (N) da vizinhança (2) representada na Fig i Essa mesma abordagem utilizada ao longo da Região (1) presente nas Fig. 1 e Fig. 9, é empregada nas outras regiões (2), {3) e {4), sendo que para a Região (2), também representada na Fig. 1t utiliza-se o mesmo somatório presente na Equação (12}, mudando-se apenas seus limites. No caso das Regiões (3) e (4), utiliza-se um somatório semelhante ao apresentado em (12), porém realizado com a componente de velocidade v de cada pixel pertencente a tais regiões. Sendo assim, tem-se uma função de velocidades resultantes para cada Região, cujo comportamento é variável no tempo de acordo com o fluxo de pessoas que passam por ela. A situação presente na Fig. 11, ilustra o fluxo de uma única pessoa. No caso em que várias pessoas estejam atravessando a região tem-se uma função (Vr) com vários picos. Para se identificar cada pessoa individualmente na cena são definidos dois limiares (Ti) e (T2), como representados na Fig. 11. A definição de dois limiares está vinculada à adoção de uma abordagem baseada em curvas de histemse, a qual confere ao sistema maior confiabilidade no processo de segmentação de cada pessoa. Obtém-se mediante a utilização dos limiares uma nova função (P«), como ilustrado na Fig. 12, no formato de um trem de pulsos, onde cada pulso corresponde a uma pessoa que esteja atravessando a região Os limiares (Tf) e (Ta), representados na Fig.11, são definidos durante a calíbraçio do sistema, sendo funções diretas da taxa de quadros por segundo, na qual o sistema adquire imagens e da largura das subregiões. Como a largura de cada subregíão é definida de acordo com a Equação (2), tem-se então que: (13) onde: TQ: toa de quadros por segundo W2~ 0.5 m (Fonte: HCM) * F: distância focal medida durante calibração H2· altura da câmera até a cabeça da pessoa Com base na metodologia acima descrita para se identificar a presença de uma pessoa na cena, a presente invenção determina o sentido no qual ela se movimenta a partir de sua detecção nas subregiões ilustradas na Flg. 1. Dessa forma, tem-se: • pessoa entrando na cena: sua presença é primeiramente detectada na subregíâo mais externa e posteriormente na subregião mais interna; • pessoa saindo na cena: sua presença i primeiramente detectada na subregião mais interna e posteriormente na subregião mais externa;

Entretanto, a simples contagem de pulsos definidos após um processo de limiarízação não é suficiente para se contabilizar correta mente o número de pessoas que fluem através da área sob observação pelo sistema. Vários problemas devem ainda ser solucionados, como por exemplo: 1. uma pessoa pode ser detectada mais de uma vez pelo sistema durante o seu caminhar definindo um pulso várias vezes no tempo. Portanto, deve-se identificar quando a pessoa realmente deixou a região, para que a mesma seja contabilizada uma única vez; 2, pessoas andando lado a lado muito próximas umas às outras podem levar à definição de um único pulso para representá-las; 3. duas pessoas andando muito próximas uma atrás da outra podem ser contabilizadas como sendo uma única pessoa; 4, uma pessoa que resolva parar de andar durante um certo tempo e retome a se mover posteriormante pode ser contada duas vezes; 5, uma pessoa que esteja andando muito rapidamente pode ser identificada ao mesmo tempo nas duas subregiões dificultando-se a estimação de sua direção de movimento; 6, devido a característica de nio-rigidez do corpo humano, a qual faz com que diferentes partes do corpo se movam com velocidades diferentes e sentidos diferentes, uma mesma pessoa pode acabar sendo representada por mais de um pulso.

Para que se possa tratar todos os problemas mencionados acima e compreender o que as pessoas estio realmente fazendo quando estão atravessando o campo de visão, é necessário analisar, não somente espacialmente como também temporal mente, os trens de pulsos obtidos durante o funcionamento do sistema.

Neste contexto, define-se um mapa espacial-temporal, o qual é constantemente analisado pelo sistema de contagem. Este mapa contém para cada instante de tempo o trem de pulsos obtido, definindo-se padrões correspondentes aos pedestres. Considere, por exemplo, a Fig, 13, onde é representado o fluxo de quatro pedestres {1), {21, (3) e (4), através da Região (11, ilustrada na FIg. 1, para cinco instantes de tempo distintos (t1), (t2), (13), (t4) e (t5). Para este exemplo, o correspondente mapa espacial-temporal é ilustrado na Fig, 14» onde as pessoas ilustradas na Fig, 13, são representadas por padrões escuros (1), (2), (3) e (4). Pode-se observar a partir destes padrões que uma mesma pessoa pode ser detectada mais de uma vez pelo sistema nas duas subregiões (1,1) e (1.2). Além disso, observa-» que um mesmo pedestre pode definir pulsos de larguras diferentes no tempo (T). Os padrões escuros, resultantes dos pulsos obtidos, podem ser imaginados como apresentando o valor 1, enquanto as regiões claras no mapa, onde não há fluxo de pedestres, apresentam o valor 0. Para se contabilizar corretamente uma pessoa e identificar seu sentido de movimento analisa-se o comportamento de seu correspondente padrão identificador no mapa espacial-temporal. Suponha, por exemplo, a pessoa identificada pelo número (4) na Fig. 13, Seu padrão identificador aparece pela primeira vez na Subregião (1.1) no instante (ti) na Fig. 14, indicando a necessidade de se contabilizar a presença de uma nova pessoa. Observe que esta pessoa é novamente identificada nesta mesma subregião por outros dois pulsos nos instantes (t*) e (tj) e que somente no instante (t*) ela alcança a Subregião (1,2). Estas informações permitem inferir que o momento adequado para se contar a pessoa identificada pelo número (4) é o instante (ti) e que seu sentido de movimento é para fora do campo de visão. Analisando-se assim o conjunto de pulsos obtidos no tempo, pode-se solucionar os problemas 1, 3, 4 e 5 mencionados anteriormente neste texto.

Para cada pulso identificado nas duas subregiões extrai-se duas características: linha média do pulso, representada por (Li), (La) e (Ls) na Fig, 15, e largura do pulso, ilustrada na Fig. 15 por (WO, (Wa) e (W3). O valor de linha média é utilizado para definir o momento adequado no qual a presença de uma nova pessoa deve ser contabilizada. De posse do valor de linha média de um pulso P em uma dada subregião no instante t, verifica-se a ocorrência de um outro pulso P‘ neste mesmo instante na outra subregião e ainda, no instante t-1 nas duas subregiões. Caso a diferença entre os valores de linha média destes pulsos seja menor do que uma constante ξ pré-definída conclui-se que tais pulsos são pertencentes à mesma pessoa ou que há duas pessoas andando muito próximas, uma atrás da outra. Pode-se estabelecer assim uma tabela verdade, a qual é consultada pelo sistema de contagem. A Tab. 1 ilustra, sem restringir, uma das possíveis tabelas verdades com 16 possibilidades. Com base na consulta a esta tabela e analisando-se temporalmente os pulsos, realiza-se todo 0 processo de contagem e definição dos sentidos de movimentos das pessoas que se movem pela cena.

Fina Imente, utilizando-se as informações das larguras dos pulsos obtidos, pode-se reduzir os problemas 2 e 6 mencionados anteriormente, uma vez que tais informações permitem identificar situações nas quais várias pessoas são contadas como uma única entidade pelo sistema, ou uma mesma pessoa é identificada por mais de um pulso num mesmo instante. Estas análises se baseiam no valor de |Wt), representado na Fig. 4, 0 qual é um valor médio de referência para uma única pessoa, fornecido pelo manual norte-americano HCM (Highwây Capadty Manual). Valores de pulso com largura (Lp) inferior a Pmin% de representado na Fig, 5, não sâo considerados como representantes de uma pessoa» mas sim parte de um pulso mais largo que represente realmente um indivíduo se movendo ou qualquer outra informação ruidosa (R)> como representado na Fig. 16, Devido às variabilidades corporais dos seres humanos, uma tolerância de Ptoi% deve ser usada para se estimar o número real de pessoas representadas por um único pulso» como representado na Fig, 16, Sendo assim, para qualquer pulso cuja largura esteja na faixa [Pm!n,{1+Ptoi)]*wn, o mesmo será interpretado como uma única pessoa. Generalizando-se esta regra» quaisquer pulsos com largura [{N-Ρω),{N+Pt<x)]*Wii, N > 1. serão interpretados como (N) pessoas cruzando lado a lado a região de interesse monitorada pelo sistema de contagem.

REIVINDICAÇÕES

Claims (2)

1. “MÉTODO PARA CONTAGEM DE PESSOAS EM TEMPO REAL BASEADO EM VISÃO COMPUTACIONAL", caracterizado por compreender as seguintes etapas: a) Monitoramento restrito às regiões laterais das imagens adquiridas, sendo cada região lateral dividida em duas sub-regiões, cujas larguras são iguais à projeção no plano de imagem da largura média corporal (W2); b) Processamento e cálculo de campos vetor ia is de velocidade para cada sub-região lateral da imagem, utilizando-se um algoritmo de estimação de movimento; c) Cálculo de um valor de velocidade resultante (VR) para cada linha ou coluna da imagem, computado de acordo com a seguinte equação, onde C corresponde ao número de colunas da imagem e {wj2) corresponde à largura da sub-região; Em que as variáveis apresentadas na equação (12) são: VR = Velocidade Resultante i = Linha do Campo de Velocidades t = Tempo j = Coluna do Campo de Velocidades C= Número de Colunas da imagem Wi2 = Largura da Sub-Região ~u = Componente de Velocidade no Eixo Y d) Definição de pulsos para cada sub região, mediante um processo de limiarização, a partir das curvas de velocidades resultantes obtidas no terceiro passo acima descrito, os quais são potenciais representações de pessoas que se encontram movendo pela cena; e) Extração de duas características para cada pulso: sua largura e seu ponto médio (linha média ou coluna média); f) Análise temporal-espacial das características dos pulsos mencionadas no quinto passo acima descrito, para cada região lateral da imagem, resultando na contagem e estimação da direção de movimento da pessoa.

2. “MÉTODO PARA CONTAGEM DE PESSOAS EM TEMPO REAL BASEADO EM VISÃO COMPUTACIONAL”, de acordo com a reivindicação 1, caracterizado por prover os seguintes serviços: a) Automação comercial, mediante instalação do sistema nas entradas e saídas dos estabelecimentos comerciais, podendo o mesmo fornecer um dimensionamento do fluxo de clientes que procuram o estabelecimento; b) Reestruturação de ambientes, mediante instalação do sistema em todo o interior de grandes estabelecimentos comerciais, permitindo mapear e estudar o fluxo de clientes em seus interiores, tomar decisões quanto às melhores formas de se alocar os produtos dentro do recinto e quanto ao layout básico do mesmo; c) Auxílio no planejamento do crescimento de grandes centros urbanos, visando evitar o desenvolvimento desordenado comum aos grandes centros metropolitanos, permitindo um melhor direcionamento para a estruturação das vias públicas, e racionalização dos centros comerciais;d) Controle de tráfego urbano, através do dimensionamento do fluxo de pessoas e da detecção de suas direções de movimento, estabelecendo-se um melhor controle dos semáforos e, conseqüentemente, do tráfego urbano.