BRPI0710701A2

BRPI0710701A2 - anotação por pesquisa

Info

Publication number: BRPI0710701A2
Application number: BRPI0710701-3A
Authority: BR
Inventors: Zhang Lei; Wang Xin-Jing; Jing Feng; Ma Wei-Ying
Original assignee: Microsoft Corporation
Priority date: 2006-05-19
Filing date: 2007-05-17
Publication date: 2011-08-23
Also published as: MX2008013657A; BRPI0710701B1; KR20090012243A; WO2007136861A2; RU2439686C2; BRPI0710701A8; US20070271226A1; CN101449271B; US8341112B2; JP5346279B2; JP2009537901A; WO2007136861A3; EP2021959A2; EP2021959A4; RU2008145584A; KR101354755B1; CN101449271A

Abstract

ANOTAçAO POR PESQUISA Anotação por pesquisa é descrita. Em um aspecto, um armazenamento de dados é pesquisado por imagens que estão semanticamente relacionadas a uma anotação de linha base de uma imagem dada e visualmente similar à imagem dada. A imagem dada é depois anotada com conceitos comuns de anotações associadas a pelo menos um subconjunto das imagens semântica e visualmente relacionadas.

Description

"ANOTAÇAO POR PESQUISA"

ANTECEDENTES

Um método tradicional para anotar imagens digitais é manualmente anotar cadaimagem digital com uma ou mais palavras-chaves semanticamente relacionadas. Tais pala-vras-chaves são freqüentemente usadas para facilitar a pesquisa de imagem com base empalavra-chave e operações de recuperação em ambientes de pesquisa com base em com-putador (por exemplo, ao longo de dispositivos de computação, bases de dados, a Internet,etc.). Por causa do número muito grande de imagens digitais que em geral existem em taisambientes de pesquisa, anotação manual de imagens digitais para facilitar a pesquisa deimagem e operações de recuperação representa um trabalho muito intensivo e tarefa moro-sa.

SUMÁRIO

Anotação por pesquisa é descrita. Em um aspecto, um armazenamento de dados épesquisado para imagens que são semanticamente relacionadas a uma anotação de linhabase de uma imagem dada e visualmente similares à imagem dada. A imagem dada é de-pois anotada com conceitos comuns de anotações associadas a pelo menos um subconjun-to das imagens semântica e visualmente relacionadas.

Este Sumário é fornecido para introduzir uma seleção de conceitos em uma formasimplificada que é também descrita abaixo na descrição detalhada. Este Sumário não é in-tencionado identificar características relevantes ou essenciais do assunto reivindicado, nemé intencionado ser usado como uma ajuda em determinar o escopo do assunto reivindicado.

BREVE DESCRIÇÃO DOS DESENHOS

Nas Figuras, o dígito mais à esquerda de um número de referência do componenteidentifica a Figura particular em que o componente aparece primeiro.

Fig. 1 mostra um sistema exemplar para anotação por pesquisa, de acordo comuma modalidade.

Fig. 2 mostram um procedimento exemplar para anotação por pesquisa, de acordocom uma modalidade.

Fig. 3 mostra uns dados exemplares e fluxo de processo para anotação por pesqui-sa, de acordo com uma modalidade.

DESCRIÇÃO DETALHADA

VISÃO GERAL

Sistemas e métodos para anotação por pesquisa são descritos. Os sistemas e mé-todos executam uma pesquisa baseada em palavra-chave de base(s) de dados local(is)e/ou remota(s) para localizar imagens digitais que são semanticamente relacionadas a umaanotação de linha base de imagem dada. Os sistemas e métodos medem similaridade visualde cada uma das imagens semanticamente relacionadas à imagem dada. Estas medições

PI0710701-3de similaridade visual são usadas para selecionar imagens que são mais relevantes no es-paço visual à imagem dada que outras das imagens semanticamente relacionadas. Estasimagens selecionadas são similares em texto e espaço visual à imagem dada. Anotaçõescomplementares candidatas associadas às imagens selecionadas são extraídas dos respec- tivos contextos das imagens selecionadas. As anotações extraídas são agrupadas. Cadaagrupamento inclui anotações com conceito(s) comum(ns) ou relacionado(s). Por exemplo,um agrupamento de anotações associadas a uma imagem de uma abelha em uma rosa po-de conter anotações relacionadas a uma abelha, uma rosa, etc. Os sistemas e métodosclassificam relevância dos conceitos usando um ou mais critérios de classificação para iden-tificar um conjunto de conceitos de classificação máxima. Os sistemas e métodos anotam aimagem dada com pelo menos um subconjunto da informação fornecida pelos conceitos declassificação máxima.

Estes e outros aspectos dos sistemas e métodos para anotação por pesquisa sãoagora descritos em maior detalhe.

UM SISTEMA EXEMPLAR

Embora não requerido, sistemas e métodos para anotação por pesquisa são descri-tos no contexto geral de instruções executáveis por computador executadas por um disposi-tivo de computação tal como um computador pessoal. Módulos de programa em geral inclu-em rotinas, programas, objetos, componentes, estruturas de dados, etc., que executam tare-fas particulares ou implementam tipos de dados de resumo particulares. Embora os siste-mas e métodos sejam descritos no contexto precedente, ações e operações descritas dora-vante podem também ser implementadas em hardware.

Fig. 1 mostra um sistema 100 exemplar para anotar imagens, de acordo com umamodalidade. Sistema 100 inclui, por exemplo, um dispositivo de computação 102. Dispositi-vo de computação 102 representa qualquer tipo de dispositivo de computação tal como umdispositivo de computação de propósito geral, um servidor, um laptop, um dispositivo decomputação móvel, etc. Dispositivo de computação 102 inclui um ou mais processadores104 acoplados à memória do sistema 106. A memória do sistema 106 inclui memória volátil(por exemplo, RAM) e memória não-volátil (por exemplo, ROM, Instantânea, disco rígido,óptico, etc.). Memória do sistema 106 inclui módulos de programa de computador 108 e da-dos de programa 110. Processador(es) 104 irá(ão) buscar e executar instruções de progra-ma de computador dos respectivos módulos de programa 108. Módulos de programa 108incluem, por exemplo, módulo de anotação 112 para automaticamente anotar uma imagemdada 114 com anotações relevantes e complementares 116 de vocabulário ilimitado. Módu-los de programa 108 também incluem, por exemplo, outros módulos de programa 118 taiscomo um sistema operacional para fornecer um ambiente de tempo de execução, uma apli-cação de pesquisa baseada em palavra-chave, uma comparação de imagem e aplicação declassificação, uma aplicação de agrupamento de texto/documento, uma aplicação de raste-jador de rede, e/ou assim por diante.

Para identificar anotações relevantes e complementares 116, o módulo de anotação112 executa uma pesquisa baseada em palavra-chave padrão da(s) base(s) de dados remo-ta(s) 119 e/ou base(s) de dados local(is) para localizar um conjunto de imagens digitais (istoé, imagens minadas 120) que são semanticamente relacionadas a uma anotação de linhabase 122 da imagem dada 114. Em uma implementação, anotação de linha base 122 repre-senta uma localização, um nome de evento, um nome de pasta, uma descrição, etc. associ-ado à imagem dada 114, texto circundando a imagem dada 114 em uma página de rede,texto associado a outras imagens relacionadas (por exemplo, em uma mesma página derede, em uma mesma pasta, etc.) com a imagem dada 114, entrada de consulta recebida deum usuário, e/ou assim por diante. As bases de dados locais e/ou remotas representamqualquer tipo de armazenamento de dados para imagens digitais. Por exemplo, o(s) arma-zenamento(s) de dados pode(m) ser um ou mais de um CD, disco flexível e/ou em qualqueroutro meio de armazenamento removível, um disco rígido, etc. Para propósitos de ilustraçãoexemplar, base(s) de dados local(is) é/são mostrada(s) como uma respectiva porção de "ou-tros dados de programa" 124. Em uma implementação, as bases de dados locais e/ou remo-tas foram povoadas com imagens digitais anotadas por um módulo de programa de rasteja-dor, transferidas por indivíduos, e/ou assim por diante. Nesta implementação, base de dadosremota 119 é mostrada acoplada ao dispositivo de computação 102 na rede 123. Rede 123pode incluir qualquer combinação de uma rede local (LAN) e uns ambientes de comunica-ção gerais de rede de longa distância (WAN), tais como aqueles que são comuns em escri-tórios, redes de computador de grandes empresas, intranets, e a Internet.

MEDIÇÃO DE SIMILARIDADE VISUAL

As operações de pesquisa com base em palavra-chave descritas retornam imagensminadas 120 que são semanticamente relacionadas à anotação de linha base 122. Porém,vocabulários usados por autores de conteúdo podem variar grandemente, e a maioria daspalavras na linguagem natural tem ambigüidade inerente. Como resultado, palavras-chavesnão são sempre descritores bons de conteúdos de documento relevantes. Tal ambigüidadefreqüentemente resulta em problemas de disparidade do termo palavra-chave/documento depesquisa com base em palavra-chave. Porque as palavras-chaves representando anotaçõespodem ser ambíguas, o módulo de anotação 112 também avalia as imagens minadas 120para identificar a(s) imagem(ns) que é/são também pelo menos conceitualmente relaciona-da(s) em espaço visual à imagem dada 114 (a(s) imagem(ns) identificada(s)) poderia(m)também ser duplicada(s) e/ou de modo substancial visualmente similar(es) à imagem dada114). Mais particularmente, o módulo de anotação 112 compara as características visuaisdas imagens minadas 120 às características visuais da imagem dada 114 para gerar medi-ções de similaridade visual (isto é, classificações) para identificar as imagens que estão nãoapenas relacionadas em espaço de texto (isto é, semanticamente relacionadas), mas tam-bém em espaço visual à imagem dada 114. (As medições de similaridade visual são mos-tradas como uma respectiva porção de "outros dados de programa" 124). Há muitas técni-cas conhecidas para comparar similaridade visual entre imagens digitais.

Nesta implementação, por exemplo, o módulo de anotação 112 codifica as caracte-rísticas visuais da imagem dada 114 e imagens minadas 120 para gerar as respectivas as-sinaturas de valores hash para cada imagem digital como segue. Nesta implementação, omódulo de anotação 112 cria os respectivos vetores de característica para imagem dada114 e cada imagem minada 120 usando operações com base em correlograma de cor de N-caixa bem conhecida (por exemplo, uma caixa 36). Outras técnicas conhecidas, além da-quelas com base em um correlograma de cor, podem também ser usadas para gerar os ve-tores de característica. Módulo de anotação 112 multiplica os vetores de característica gera-dos com um modelo de transformação de PCA gerado de um número grande de imagensdigitais (por exemplo, milhões de imagens) para quantização subseqüente em bits bináriospara comparação. Por exemplo, se um elemento de um vetor de característica for maior queuma média do vetor Eigen maior associado ao modelo de transformação de PCA, o módulode anotação 112 quantiza (codifica) o elemento para 1, do contrário o elemento é codificadopara 0. Estas codificações binárias representam as respectivas assinaturas valores hash.

Módulo de anotação 112 usa a assinatura de valores hash de cada imagem minada120 e a assinatura de valores hash da imagem dada 114 para medir uma similaridade visualentre cada imagem minada 120 e imagem dada 114. O módulo de anotação 120 pode usaruma ou mais técnicas conhecidas para medir tal similaridade visual. Por exemplo, o módulode anotação 112 pode implementar uma ou mais de múltiplas técnicas de medição de dis-tância de espaço visual de imagem digital tal como de-duplicação de código de valores hashmais distância Euclidiana, distância de código valores hash, distância ponderada de códigode valores hash, ou outras técnicas podem ser usadas para medir similaridade visual. Emuma implementação, por exemplo, o módulo de anotação 112 usa de-duplicação de códigode valores hash mais distância Euclidiana para medir a similaridade visual entre uma ima-gem minada 120 e a imagem dada 114. Neste exemplo, o módulo de anotação 112 utilizafragmentos de η bits mais altos da assinatura de valores hash da imagem dada 114 comoum índice para medir a similaridade visual. (Bits mais altos correspondem aos valores Eigenmaiores que a distância média maior no espaço visual). Módulo de anotação 112 calcula adistância Euclidiana com base nos correlogramas associados às imagens semanticamenterelacionadas.

Em outro exemplo, o módulo de anotação 112 usa distância de código de valoreshash para medir a similaridade visual entre uma imagem minada 120 e a imagem dada 114.Por exemplo, em uma implementação o modelo de anotação 112 utiliza a distância deHamming para medir o número de bits diferentes entre as duas respectivas imagens e de-termina uma medida de similaridade de imagem. Com respeito em usar distância ponderadade código de valores hash, e porque os bits mais altos são em geral considerados ser maissignificativos que os bits mais baixos, o módulo de anotação 112 fornece a diferença entreos bits mais altos (associados às imagens sendo comparadas) com mais peso que a dife-rença entre os bits mais baixos. O módulo de anotação 112 separa uniformemente as assi-naturas de valores hash em caixas (por exemplo, códigos de valores hash de 32-bits em 8caixas), e pondera a I0 caixa por 288"', 1 <i <8. Esta equação pode ser modificada para ajus-tar-se aos melhores resultados. Por exemplo, se o número de caixas não for igual a oito, aequação é ajustada para representar o número de caixas sendo usadas. Desta maneira, adistância visual (classificação) entre uma primeira imagem e uma segunda imagem é a dis-tância de Hamming ponderada.

Módulo de anotação 112 identifica N imagens de classificação máxima 126 das i-magens minadas 120 com base nas medições de similaridade visual entre as respectivasdas imagens minadas 120 e imagem dada 114. Nesta implementação, o parâmetro N é con-figurável com base na implementação particular do sistema 100. Por exemplo, em uma im-plementação, N é igual a 2000, embora N possa também ser um valor diferente.

PREDICÃO DE ANOTAÇÃO EXEMPLAR

Módulo de anotação 112 recupera ou extrai outras anotações associadas à(s) ima-gem(ns) de classificação máxima 126. Estas outras anotações são mostradas como anota-ção(ões) extraída(s) 128. Estes outras anotações são recuperadas pelo módulo de anotação(ou de um módulo de programa diferente tal como um módulo rastejador de rede) do(s) con-texto(s) da(s) imagem(ns) de classificação máxima 126 em suas respectivas localizaçõesnas bases de dados locais e/ou remotas. Tais contextos incluem, por exemplo, um título deum recurso (uma imagem de classificação máxima 126), um nome de uma pasta de diretórioassociado ao recurso, uma descrição do recurso, texto em associação com o recurso emuma página de rede ou em um documento, texto associado a outras imagens em relação(por exemplo, em uma mesma página de rede, em uma mesma pasta, documento, etc.) aorecurso, um Identificador de Recurso Universal (URI) especificando uma localização do re-curso, uma categoria do recurso, e/ou assim por diante.

Módulo de anotação 112 agrupa as anotações extraídas 128 (isto é, trata cada umadas anotações extraídas 128 como um respectivo documento) para identificar conceitos declassificação máxima (por exemplo, palavras e/ou frases) das anotações extraídas 128. Pa-ra propósitos de ilustração exemplar, tais agrupamentos e conceitos são mostrados comorespectivas porções de "outros dados de programa" 124. Em uma implementação, por e-xemplo, o módulo de anotação 112 identifica estes conceitos implementando (ou do contrá-rio acessando de "outros módulos de programa" 118) operações de agrupamento tais comoaquelas descritas em "Learning to Cluster Web Search Results", Zeng1 H. J., He1 Q. C.,Chen1 Z., e Ma1 W.-Y, 27a Annual International Conference on Research and Development inInformation Retrieval1 Sheffield1 Reino Unido1 (julho de 2004), págs. 210-217, embora dife-rentes técnicas de agrupamento possam também ser usadas. As operações de agrupamen-to geram vários agrupamentos, cada agrupamento sendo atribuído a um respectivo conceitocomum (ou frase relevante).

Para obter um conceito comum para cada agrupamento (um nome de agrupamen-to), as operações de agrupamento extraem frases (η-gramas) das anotações extraídas 128,e calcula uma ou mais propriedades para cada frase extraída (por exemplo, freqüências defrase, freqüências de documento (isto é, freqüências de frase-para-anotação), etc.). As ope-rações de agrupamento aplicam um modelo de regressão pré-configurado para combinar aspropriedades calculadas em uma classificação de relevância simples para cada agrupamen-to. Usando a classificação de relevância, as operações de agrupamento usam as frases declassificação máxima como os conceitos comuns (nomes) de agrupamentos candidatos.Estes agrupamentos candidatos são também fundidos de acordo com seus documentoscorrespondentes (isto é, imagens digitais associadas) para atribuir uma classificação de re-levância final a cada agrupamento.

Nesta implementação, e para cada agrupamento, um limiar é usado para fundir (fil-trar) imagens candidato de classificação máxima 126 para o agrupamento (outras técnicaspodem também ser usadas para fundir imagens com os respectivos agrupamentos). O limiaré igual a um peso de similaridade de imagem * uma classificação de similaridade visual mé-dia. Nesta implementação, o peso de similaridade é selecionado de uma faixa de 0,8-1,6com base na implementação da operação de agrupamento específica, embora outras faixaspossam ser usadas também. Por exemplo, nesta implementação, o peso de similaridade éigual a 1,2 (quando o peso de similaridade for igual a 1,6 imagens não suficientes foram u-sadas para o agrupamento, enquanto que quando o peso de similaridade foi ajustado em0,08, quase todas imagens foram usadas para o agrupamento). A classificação de similari-dade visual de imagem média é igual à SOMA da similaridade visual de imagem i para aimagem dada 114 (isto é, produzida pelas operações acima descritas de palavra-chave e defiltração visual) dividido pelo número de imagens minadas 120.

A classificação de relevância final de um agrupamento pode ser determinada usan-do vários critérios. Por exemplo, classificações de relevância dos agrupamentos podem serdeterminadas usando critério de tamanho de agrupamento máximo, critério de classificaçãomédia de imagem de membro, etc. Com respeito ao critério de tamanho de agrupamentomáximo que é estimação de Maximum a Posteriori (MAP), este critério assume que concei-tos comuns com a maior relevância para imagem dada 114 são frases de conceitos domi-nantes das imagens de membro de agrupamento. Desse modo, de acordo com esta técnica,a classificação de relevância final de um agrupamento é igual ao número de suas imagensde membro. Nesta implementação, por exemplo, o critério de tamanho de agrupamento má-ximo é utilizado e os 3 agrupamentos maiores (e nomes de agrupamento associados) sãoselecionados.

Com respeito em usar critério de classificação média de imagem de membro paraatribuir classificações de relevância aos agrupamentos, esta técnica usa uma média de simi-laridade de imagem de membro como a classificação de um agrupamento. Se todas as ima-gens em um agrupamento forem as mais relevantes para anotação de linha base 122, oconceito comum deste agrupamento provavelmente representa o da imagem dada 114. Pa-ra este fim, um limiar (ou outros critérios) é usado como um intervalo para determinar seagrupamentos de classificação mais baixa serão omitidos do conjunto final de agrupamentos.Nesta implementação, o limiar é fixado de acordo com o seguinte: 0,95 * (classificação doagrupamento que classificou /'-1), em que /' representa uma classificação de um agrupamen-to atual. Se a classificação do agrupamento atual (isto é, o agrupamento que classificou í)for menor que este limiar, o agrupamento atual e todos os outros agrupamentos de variaçãomais baixa não são usados. Se mais que um número particular de agrupamentos (por e-xemplo, 3 ou algum outro número de agrupamentos) exceder este limiar, apenas o númeroparticular de classificação máxima (por exemplo, 3 ou algum outro número) de agrupamen-tos será usado para identificar os conceitos extraídos finais.

Nesta implementação, o módulo de anotação 112 gera anotações relevantes ecomplementares 116 removendo palavras-chaves duplicadas, termos, etc., dos conceitoscomuns (nomes de agrupamento) associados aos agrupamentos que têm classificações derelevância finais (classificações) que excedem o limiar. Módulo de anotação 112 anota aimagem dada 114 com anotações relevantes e complementares 116.

UM PROCEDIMENTO EXEMPLAR

Fig. 2 mostra um procedimento exemplar 200 para anotação por pesquisa, de acor-do com uma modalidade. Para propósitos de ilustração e descrição exemplares, as opera-ções de procedimento 200 são descritas com respeito aos componentes da Fig. 1. No bloco202, um conjunto de imagens digitais (isto é, imagens minadas 120) que são semanticamen-te relacionadas a uma anotação de linha base 122 de uma imagem dada 114 são identifica-das. Como um exemplo, o módulo de anotação 112 executa uma pesquisa baseada em pa-lavra-chave de base(s) de dados local(is) e/ou remota(s) para localizar um conjunto de ima-gens digitais (isto é, imagens minadas 120) que estão semanticamente relacionadas a umaanotação de linha base 122 da imagem dada 114. Em uma implementação, a imagem dada114 e anotação de linha base 122 representam uma consulta de pesquisa (mostrada em"outros dados de programa" 124) de um usuário do dispositivo de computação 102. Um u-suário pode entrar os comandos e informação no computador 102 por meio de dispositivosde entrada (não mostrados) tais como teclado, dispositivo de apontamento, reconhecimentode voz, etc. Em outra implementação, a imagem dada 114 e anotação de linha base 122representam uma consulta de pesquisa 130 de um usuário do dispositivo de computaçãoremoto 132 que está acoplado ao dispositivo de computação 102 na rede 123. Por exemplo,um usuário do dispositivo de computação remoto 130.

No bloco 204, similaridade visual de cada uma da imagem minada 120 à imagemdada 114 é medida (classificada). Em uma implementação, por exemplo, o módulo de ano-tação 112 mede a similaridade visual de cada imagem minada 120 à imagem dada 114. E-xistem múltiplas possíveis técnicas para medir similaridade visual entre cada imagem mina-da 120 à imagem dada 114. Tais técnicas incluem, por exemplo, de-duplicação de código devalores hash mais distância Euclidiana, distância de código de valores hash, distância pon-derada de código de valores hash, etc.

No bloco 206, as imagens de classificação máxima 126 das imagens minadas 120que são visualmente similares à imagem dada 114 são identificadas (derivadas). Em umexemplo, o módulo de anotação 112 identifica as imagens de classificação máxima 126 dasimagens minadas 120 com base nas medições de similaridade visual (isto é, as classifica-ções de similaridade visual) entre as respectivas das imagens minadas 120 e imagem dada114. Nesta implementação, o número de imagens de classificação máxima 126 é configurá-vel com base na implementação particular do sistema 100. No bloco 208, outras anotações(isto é, anotação(ões) extraída(s) 128) associadas às imagem(ns) de classificação máxima126 são dos contextos de imagens de classificação máxima 126. Tais contextos incluem,por exemplo, um título de um recurso (uma imagem de classificação máxima 126), um nomede uma pasta de diretório associada ao recurso, uma descrição do recurso, texto em asso-ciação com o recurso em uma página de rede ou em um documento, texto associado a ou-tras imagens em relação (por exemplo, em uma mesma página de rede, em uma mesmapasta, documento, etc.) ao recurso, um Identificador de Recurso Universal (URI) especifi-cando uma localização do recurso, uma categoria do recurso, e/ou assim por diante. Em umexemplo, o módulo de anotação 112 recupera ou extrai outras anotações (isto é, anota-ção(ões) extraída(s) 128) associadas à(s) imagem(ns) de classificação máxima 126.

No bloco 210, as anotações extraídas 128 são agrupadas para identificar conceitoscomuns de classificação máxima (por exemplo, palavras e/ou frases que compreendem ano-tações relevantes e complementares 116) das anotações extraídas 128. Estes conceitoscomuns de classificação máxima são mostrados como anotações relevantes e complemen-tares 116. Em uma implementação, o módulo de anotação 112 agrupa as anotações extraí-das 128 para identificar as anotações relevantes e complementares 116. No bloco 212, ima-gem dada 114 (suplementada) é anotada com pelo menos um subconjunto de anotaçõesrelevantes e complementares 116. Por exemplo, em uma implementação, palavras-chavesduplicadas, termos, etc. são removidos das anotações relevantes e complementares 116antes de anotar a imagem dada 114 com anotações relevantes e complementares 116. Emuma implementação, o módulo de anotação 112 anota a imagem dada 114 com pelo menosum subconjunto de anotações relevantes e complementares 116.

Fig. 3 mostra estrutura exemplar 300 de dados e fluxo de processo para anotaçãopor pesquisa do sistema 100, de acordo com uma modalidade. Para propósitos de descriçãoe referência exemplares, aspectos de estrutura 300 são descritos com respeito aos compo-nentes e/ou operações das Figs. 1 e 2. Na descrição, o numerai mais à esquerda de umnúmero de referência indica a primeira figura em que o componente ou operação é apresen-tada.

Referindo à Fig. 3, estrutura 300 mostra três estágios para anotação por pesquisa,incluindo um estágio de pesquisa baseado em palavra-chave (mostrado pelo numerai (1)),um estágio de pesquisa de característica visual (mostrado pelo numerai (2)), e um agrupa-mento de anotação, ou estágio de aprendizagem (mostrado por numerai (3)). Dados 302representam uma consulta associada a uma imagem 304 (isto é, imagem dada 114) e umalegenda 306 (isto é, anotação de linha base 122). Em uma implementação, a consulta 302 éuma consulta de pesquisa recebida de um usuário do dispositivo de computação 102 oudispositivo de computação remoto 132 (por exemplo, por favor vide consulta 130 da Fig. 1).Neste exemplo, imagem de consulta 304 é uma paisagem incluindo pelo menos um lago,nuvens, e árvores. Pode ser apreciado, que imagem de consulta 304 possa representarqualquer tipo de imagem. Neste exemplo, a legenda 306 indica a palavra "pôr-do-sol" paraanotar a imagem de consulta 304.

Operação 308, usando a legenda 306 ("pôr-do-sol"), executa uma pesquisa basea-da em palavra-chave da base de dados 310 para identificar um conjunto de imagens 312(isto é, imagens minadas 120) que estão semanticamente relacionadas à imagem de consul-ta. Base de dados 310 representa qualquer combinação de bases de dados de imagem lo-cais e/ou remotas do sistema 100 da Fig. 1. Fluxo de dados de informação associada à Ie-genda 306 é mostrado na Fig. 3 com linhas sólidas. Operação 309 gera os respectivos ma-pas/assinaturas de valores hash 314 para cada uma da imagem de consulta 304 e imagenssemanticamente relacionadas 312 para operações de pesquisa de similaridade subseqüen-tes. Fluxo de dados de informação associada à imagem dada 114 é mostrado na Fig. 3 comlinhas tracejadas.

Operação 316 classifica (isto é, mede) similaridade visual de imagens semantica-mente relacionadas 312 à imagem de consulta 304 usando a respectiva assinatura de valo-res hash 314 de cada imagem 312 e a assinatura de valores hash 314 da imagem de con-sulta 304. Há várias técnicas para medir esta similaridade visual (ou distância) com assina-turas de valores hash 314. Tais técnicas incluem, por exemplo, de-duplicação de código devalores hash mais distância Euclidiana, distância de código de valores hash, distância pon-derada de código de valores hash, etc. Estrutura 300 usa as classificações de similaridadevisual para selecionar um número configurável das imagens 312 que são visualmente maissimilares à imagem de consulta 304 que outra das imagens 312. Estas imagens visualmentemais similares 312 são mostradas como imagens 318 de classificação máxima (318-1 a318-N). Imagens de classificação máxima 318 representam imagens de classificação máxi-ma 126 da Fig. 1.

Estrutura 300 extrai anotações de contextos associados às imagens de classificação máxima 318. Como debatido acima, tais contextos incluem, por exemplo, um título deuma imagem 318, um nome de uma pasta de diretório associado a uma imagem 318, umadescrição de uma imagem 318, texto em associação com uma imagem 318 em uma páginade rede ou em um documento, texto associado a outras imagens em relação (por exemplo,em uma mesma página de rede, em uma mesma pasta, documento, etc.) a uma imagem318, um Identificador de Recurso Universal (URI) especificando uma localização de umaimagem 318, uma categoria de uma imagem 318, e/ou assim por diante. Estas anotaçõesextraídas são mostradas como anotações extraídas 320 (isto é, anotações extraídas 128 daFig. 1). Fluxo de dados associado às anotações extraídas 320 é mostrado com linhas trace-jadas e pontilhadas associadas ao estágio (3).

No bloco 322, a estrutura 300 executa as operações de agrupamento de resultadode pesquisa (isto é, agrupamento) para identificar os conceitos comuns de classificação má-xima (por exemplo, anotações complementares 324-1 a 324-N) dos agrupamentos (por e-xemplo, agrupamentos 326-1 326-N) das anotações extraídas 320. Nesta implementação,estes conceitos comuns são determinados usando as operações descritas em "Learning toCIusterWeb Search Results", Zeng, H J., He, Q. C., Chen, Z., e Ma, W.,-Y1 27th Annual In-ternational Conference on Research and Developlment in Information Retrieval, Sheffield,Reino Unido, (julho de 2004), págs. 210-217, embora técnicas de agrupamento diferentespudessem também ser usadas.

Embora cada agrupamento 326 seja ilustrado com um respectivo conjunto de ima-gens e um conceito comum subjacente 324, os agrupamentos 326 não contêm imagens. Docontrário, cada agrupamento 326 inclui certas anotações extraídas 320. Esta ilustração deimagens em um agrupamento é meramente simbólica para mostrar a relação de cada con-ceito comum 324 a cada imagem de classificação máxima 318 associada a uma ou maisdas respectivas anotações extraídas 320. Estrutura 300 remove palavras-chaves duplicadas,termos, e/ou assim por diante, dos conceitos comuns 324 para gerar anotações complemen-tares 328. Anotações complementares 328 representam anotações relevantes e comple-mentares 116 da Fig. 1. Nas operações 330, a estrutura 300 anota a imagem de consulta304 com anotações complementares 328.

Em uma implementação, as operações descritas da estrutura 300 são executadaspor um respectivo módulo de programa 108 da Fig. 1. Por exemplo, em uma implementação,módulo de anotação 112 implementa as operações de estrutura 300.

CONCLUSÃO

Embora os sistemas e métodos para anotação por pesquisa tenham sido descritosem linguagem específica às características estruturais e/ou operações ou ações metodoló-gicas, é entendido que as implementações definidas nas reivindicações em anexo não ne-cessariamente são limitadas às características ou ações específicas descritas acima. Porexemplo, embora o sistema 100 tenha sido descrito como identificando primeiro imagenssemanticamente relacionadas e depois determinando similaridade visual das imagens se-manticamente relacionadas para gerar imagens de classificação máxima 126, em outra im-plementação, o sistema 100 gera imagens de classificação máxima 126 usando apenas umde: (a) as operações de pesquisa por palavra-chave descritas; ou (b) uma pesquisa de ba-ses de dados locais e/ou remotas para imagens visualmente similares. Quando as imagensde classificação máxima 126 são geradas de apenas imagens visualmente similares, a ima-gem dada 114 pode ser entrada como uma imagem de consulta independente da anotaçãode linha base 122. Em outro exemplo, em uma implementação o dispositivo de computação102 fornece uma anotação através de serviço de pesquisa aos dispositivos de computaçãoremotos 132 na rede 123. Em vista do acima, as características e operações específicas dosistema 100 são reveladas como formas exemplares de implementar o assunto reivindicado.

Claims

1. Meio de armazenamento legível por computador, CARACTERIZADO pelo fatode que compreende instruções de programa de computação executáveis por um processa-dor, as instruções de programa de computação incluindo instruções para:pesquisar um ou mais armazenamentos de dados para imagens que são semanti-camente relacionadas a uma anotação de linha base de uma imagem dada e visualmentesimilares à imagem dada; eanotar a imagem dada com conceitos comuns de anotações associadas a pelo me-nos um subconjunto das imagens.

2. Meio de armazenamento legível por computador, de acordo com a reivindicação-1, CARACTERIZADO pelo fato de que as instruções de programa de computador adicio-nalmente compreendem instruções para remover termos duplicados dos conceitos comunsantes de anotar a imagem dada.

3. Meio de armazenamento legível por computador, de acordo com a reivindicação-1, CARACTERIZADO pelo fato de que as instruções de programa de computador adicio-nalmente compreendem instruções para receber uma consulta de pesquisa que compreen-de a imagem dada e a anotação de linha base.

4. Meio de armazenamento legível por computador, de acordo com a reivindicação-1, CARACTERIZADO pelo fato de que as instruções de programa de computação adicio-nalmente compreendem instruções para:medir similaridade visual das imagens semanticamente relacionadas à imagem dada; eem que o pelo menos um subconjunto de imagens compreende certas imagens de-terminadas serem mais visualmente similares à imagem dada que outras das imagens.

5. Meio de armazenamento legível por computador, de acordo com a reivindicação-4, CARACTERIZADO pelo fato de que as instruções de programa de computação adicio-nalmente compreendem instruções para:calcular propriedades para frases extraídas das respectivas das anotações, as ano-tações sendo agrupadas em um respectivo agrupamento de agrupamentos múltiplos;combinar, para cada agrupamento, as associadas das propriedades para gerar umaclassificação de relevância para o agrupamento; eem que os conceitos comuns são associados aos agrupamentos tendo classifica-ções de relevância mais altas quando comparadas às classificações de relevância associa-das aos outros dos agrupamentos.

6. Método implementado por computador, CARACTERIZADO pelo fato de quecompreende:pesquisar por um primeiro conjunto de imagens que são semanticamente relacio-nadas a uma anotação de linha base de uma imagem dada;avaliar cada imagem no primeiro conjunto de imagens para identificar um segundoconjunto de imagens que são pelo menos conceitualmente relacionadas à imagem dada;identificar anotações associadas ao segundo conjunto de imagens;determinar conceitos comuns ao longo das respectivas das anotações; eanotar a imagem dada com pelo menos um subconjunto dos conceitos como anota-ções complementares.

7. Método, de acordo com a reivindicação 6, CARACTERIZADO pelo fato de queadicionalmente compreende receber entrada compreendendo a imagem dada e a anotaçãode linha base.

8. Método, de acordo com a reivindicação 6, CARACTERIZADO pelo fato de que apesquisa adicionalmente compreende correlatar a anotação de linha base com textos asso-ciados ao primeiro conjunto de imagens.

9. Método, de acordo com a reivindicação 6, CARACTERIZADO pelo fato de que aavaliação adicionalmente compreende comparar características visuais codificadas de assi-natura de valores hash da imagem dada com as respectivas características visuais codifica-das de assinatura de valores hash de cada imagem no primeiro conjunto de imagens.

10. Método, de acordo com a reivindicação 6, CARACTERIZADO pelo fato de quea avaliação adicionalmente compreende:medir similaridade visual de cada imagem no primeiro conjunto de imagens à ima-gem dada;identificar, com base nas medições de similaridade visual determinadas na medição,um conjunto de imagens de classificação máxima que estão mais visualmente relacionadasà imagem dada que outras imagens do primeiro conjunto de imagens; eem que o segundo conjunto de imagens são as imagens de classificação máxima.

11. Método, de acordo com a reivindicação 6, CARACTERIZADO pelo fato de quea identificação das anotações adicionalmente compreende extrair texto dos contextos dosegundo conjunto de imagens.

12. Método, de acordo com a reivindicação 6, CARACTERIZADO pelo fato de quea determinação dos conceitos adicionalmente compreende:agrupar as anotações de modo que cada agrupamento dos agrupamentos estejaassociado a um conceito relevante do agrupamento;determinar as classificações de relevância para cada conceito relevante de concei-tos relevantes múltiplos associados aos agrupamentos;selecionar um conjunto de conceitos de relevância de classificação máxima dosconceitos relevantes múltiplos com base nas respectivas das classificações de relevância; eem que pelo menos um subconjunto dos conceitos de relevância de classificaçãomáxima são as anotações complementares.

13. Dispositivo de computação, CARACTERIZADO pelo fato de que compreende:um processador; euma memória acoplada ao processador, a memória compreendendo instruções deprograma de computador que, quando executadas pelo processador, desempenham opera-ções de:receber uma consulta de pesquisa que compreende uma imagem dada e uma ano-tação de linha base da imagem dada; esuplementar a imagem dada com anotações adicionais associadas a um primeiroconjunto de imagens, cada imagem no primeiro conjunto de imagens sendo visualmentesimilar à imagem dada e associada às anotações que estão semanticamente relacionadas àanotação de linha base.

14. Dispositivo de computação, de acordo com a reivindicação 13,CARACTERIZADO pelo fato de que as anotações adicionais representam conceitos co-muns dos respectivos grupos de anotações.

15. Dispositivo de computação, de acordo com a reivindicação 13,CARACTERIZADO pelo fato de que as anotações adicionais representam um ou mais deum título, uma descrição, uma categoria, informação de uma página de rede, um nome depasta, pelo menos uma porção de um Identificador de Recurso Uniforme, e texto em associ-ação com uma imagem diferente que não está no primeiro conjunto de imagens.

16. Dispositivo de computação, de acordo com a reivindicação 13,CARACTERIZADO pelo fato de que o primeiro conjunto de imagens é um subconjunto deum conjunto maior de imagens, cada imagem no conjunto maior de imagens estando se-manticamente relacionada à anotação de linha base e independente da similaridade visual àimagem dada.

17. Dispositivo de computação, de acordo com a reivindicação 13,CARACTERIZADO pelo fato de que as instruções de programa de computador adicional-mente compreendem instruções para derivar o primeiro conjunto de imagens de um segun-do conjunto de imagens minadas de uma ou mais bases de dados de imagem, cada imagemno segundo conjunto de imagens sendo minada com base no texto associado à imagemdada.

18. Dispositivo de computação, de acordo com a reivindicação 13,CARACTERIZADO pelo fato de que as instruções de programa de computador adicional-mente compreendem instruções para:executar uma pesquisa com base em palavra-chave para localizar um segundoconjunto de imagens que estão semanticamente relacionadas à anotação de linha base;pesquisar o segundo conjunto de imagens por uma ou mais imagens que têm simi-Iaridade visual substancial à imagem dada;extrair texto de um ou mais contextos da uma ou mais imagens; eem que o texto compreende pelo menos as anotações adicionais.

19. Dispositivo de computação, de acordo com a reivindicação 18,CARACTERIZADO pelo fato de que as instruções de programa de computador adicional-mente compreendem instruções para:identificar frases no texto;atribuir classificações de relevância às frases com base nas respectivas proprieda-des de frase; eem que as anotações adicionais compreendem pelo menos uma porção do textocom classificações de relevância mais altas quando comparadas às classificações de rele-vância associadas às outras porções do texto.

20. Dispositivo de computação, de acordo com a reivindicação 19,CARACTERIZADO pelo fato de que as respectivas propriedades de frase compreendemuma ou mais de freqüências de frase e freqüências de frase-para-anotação.