BRPI0708330A2 - treinamento de uma função de classificação usando releváncia propagada de documentos - Google Patents

treinamento de uma função de classificação usando releváncia propagada de documentos Download PDF

Info

Publication number
BRPI0708330A2
BRPI0708330A2 BRPI0708330-0A BRPI0708330A BRPI0708330A2 BR PI0708330 A2 BRPI0708330 A2 BR PI0708330A2 BR PI0708330 A BRPI0708330 A BR PI0708330A BR PI0708330 A2 BRPI0708330 A2 BR PI0708330A2
Authority
BR
Brazil
Prior art keywords
component
relevance
documents
document
algorithm
Prior art date
Application number
BRPI0708330-0A
Other languages
English (en)
Inventor
Jue Wang
Mingjing Li
Wei-Ying Ma
Zhiwel Li
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of BRPI0708330A2 publication Critical patent/BRPI0708330A2/pt

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

TREINAMENTO DE UMA FUNçãO DE CLASSIFICAçãO USANDO RELEVáNCIA PROPAGADA DE DOCUMENTOS Um método e sistema para propagar a relevância de documentos rotulados para uma consulta para documentos não rotulados são fornecidos. O sistema de propagaçao fornece dados de treinamento que inclui consultas, documentos rotulados com sua relevância para as consultas, e documentos não rotulados. O sistema de propagação então calcula a similaridade entre pares de documentos nos dados de treinamento. O sistema de propagação então propaga a relevância dos documentos rotulados para documentos similares, mas não rotulados. O sistema de propagação pode propagar iterativamente rótulos dos documentos até que os rótulos convirjam para uma solução. Os dados de treinamento com asrelevâncias propagadas podem então ser usados para treinar uma função de classificação.

Description

"TREINAMENTO DE UMA FUNÇÃO DE CLASSIFICAÇÃO USANDO RELEVÂN-CIA PROPAGADA DE DOCUMENTOS"
ANTECEDENTES DA INVENÇÃO
Muitos serviços de motor de busca, tais como Google e Overture1 fornecem pesqui-sa de informação que é acessível via Internet. Estes serviços de motor de busca permitemque os usuários pesquisem páginas de exibição, tais como páginas da rede, que podem serde interesse para os usuários. Após um usuário apresentar uma solicitação de busca (isto é,uma consulta) que inclui termos de busca, o serviço de motor de busca identifica as páginasda rede que podem estar relacionadas àqueles termos de busca. Para identificar rapidamen-te páginas da rede relacionadas, os serviços de motor de busca podem manter um mapea-mento de palavras-chaves para as páginas da rede. Este mapeamento pode ser gerado por"arrastar" a rede (isto é, a World Wide Web) para identificar as palavras-chaves de cada pá-gina da rede. Para arrastar a rede, um serviço de motor de busca pode usar uma lista depáginas da rede de raiz para identificar todas as páginas da rede que estão acessíveis atra-vés daquelas páginas da rede de raiz. As palavras-chaves de qualquer página da rede parti-cular podem ser identificadas usando várias técnicas de recuperação de informação bastan-te conhecidas, tais como identificar as palavras de um título, as palavras fornecidas nos me-tadados da página da rede, as palavras que estão destacadas, e assim por diante. O serviçode motor de busca identifica páginas da rede que podem estar relacionadas à solicitação depesquisa baseada em como as palavras-chaves de uma página da rede se encaixam comas palavras da consulta. O serviço do motor de busca então exibe para os usuários linkspara as páginas da rede identificadas em uma ordem que é baseada em uma classificaçãoque pode ser determinada pela sua relevância para a consulta, popularidade, importância,e/ou alguma outra medida.
Três técnicas bastante conhecidas para a classificação de páginas da rede são Pa-geRank, HITS ("Pesquisa de Tópicos induzida por Hiperlink") e DirectHIT. A PageRank ébaseada no princípio de que páginas da rede terão links (isto é, "links de saída") para pági-nas da rede importantes. Deste modo, a importância de uma página da rede é baseada nonúmero e importância de outras páginas da rede que se conectam àquela página da rede(isto é, "links de entrada"). Em uma forma simples, os links entre páginas da rede podem serrepresentados pela matriz de adjacência A, onde Aij representa o número de links de saídada página da rede /' para a página da rede j. A marcação de importância Wj para a página darede j pode ser representada pela seguinte equação:
<formula>formula see original document page 2</formula>
Esta equação pode ser resolvida pelos cálculos iterativos baseados na seguinteequação:
<formula>formula see original document page 2</formula>onde wéo vetor de marcações de importância para as páginas da rede e o eigen-vetor principal de At.
A técnica HITS é baseada adicionalmente no princípio de que uma página da redeque tem muitos links com outras páginas da rede importantes, pode ela mesma ser impor-tante. Deste modo, a HITS divide "importância" de páginas da rede em dois atributos rela-cionados: "hub" e "autoridade". "Hub" é medida pela marcação de "autoridade" das páginasda rede com a qual uma página da rede se conecta, e "autoridade" é medida pela marcaçãoda "hub" das páginas da rede que se conectam a página da rede. Em contraste com a Pa-geRank, que calcula a importância de páginas da rede independentemente da consulta, aHITS calcula a importância baseada nas páginas da rede do resultado e páginas da redeque estão relacionadas às páginas da rede do resultado pelos seguintes links de entrada esaída. A HITS apresenta uma consulta para um serviço de motor de busca e usa as páginasda rede do resultado como o conjunto inicial de páginas da rede. A HITS adiciona ao conjun-to àquelas páginas da rede que são as destinações de links de entrada e aquelas páginasda rede que são as fontes de links de saída das páginas da rede do resultado. A HITS entãocalcula a marcação da hub e da autoridade de cada página da rede usando um algoritmoiterativo. As marcações da hub e da autoridade podem ser representadas pelas seguintesequações:
A(p)=lh(q)e h(p)=la(q)q~~*p p^q
onde a(p) representa a marcação de autoridade para a página da rede ρ e h(p) re-presenta a marcação da hub para a página da rede ρ. A HITS usa uma matriz de adjacência
A para representar os links. A matriz de adjacência é representada pela seguinte equação:b/j= { 1 se a página i tiver um link com a página j,{ 0 de outro modo
Os vetores a e h correspondem às marcações de hub e autoridade, respectivamen-te, de todas as páginas da rede no conjunto e podem ser representados pelas seguintesequações:
a = Ath e h =Aa
Deste modo, a e h são eigenvetores de matrizes AtA e AA7. A HITS também podeser modificada para fator na popularidade de uma página da rede como medido pelo númerode visitas. Baseado em uma análise de dados através do clique, ò,y da matriz de adjacênciapode ser aumentado sempre que um usuário se move da página da rede /' para a página darede j.
A DirectHit classifica páginas da rede com base na história passada do usuário comresultados e consultas similares. Por exemplo, se usuários que apresentam consultas simila-res tipicamente selecionaram primeiro a terceira página da rede do resultado, então a histó-ria deste usuário seria uma indicação de que a terceira página da rede deveria ser classifi-cada mais alta. Como um outro exemplo, se usuários que apresentam consultas similarespassam tipicamente a maior parte do tempo vendo a quarta página da rede do resultado,então a história deste usuário seria uma indicação de que a quarta página da rede deveriaser classificada mais alta. A DirectHIT é derivada de histórias de usuários de análise de da-dos através do clique.
Algumas técnicas de classificação usam algoritmos de aprendizagem de máquinaspara aprender uma função de classificação de dados de treinamento que inclui consultas,vetores de características representando páginas, e para cada consulta, uma classificaçãopara cada página. Uma função de classificação serve como um mapeamento de caracterís-ticas de uma página para sua classificação para uma dada consulta. A aprendizagem deuma função de classificação tem sido considerada por alguns como um problema de regres-são para aprender o mapeamento de um vetor de característica para um membro de umconjunto ordenado de classificações numéricas. Algumas técnicas baseadas em regressãotentam fornecer uma marcação de relevância absoluta que pode ser usada para classificarpáginas. Uma função de classificação, entretanto, não precisa fornecer uma marcação derelevância absoluta, mas antes precisa somente fornecer uma classificação relativa das pá-ginas. Deste modo, estas técnicas baseadas em regressão resolvem um problema que émais difícil do que necessário.
Algoritmos de aprendizagem de máquinas para uma função de classificação usamconsultas, vetores de características, marcações de relevância rotuladas pelo usuário comodados de treinamento. Para gerar os dados de treinamento, consultas podem ser apresen-tadas a um motor de busca que gera as páginas do resultado de pesquisa. Os algoritmosentão geram os vetores de característica para as páginas e entrada de um usuário das mar-cações de relevância para cada página. Uma dificuldade com tal abordagem é que um mo-tor de busca pode retornar centenas de páginas como seu resultado de pesquisa. Pode serbem caro para um usuário rotular todas as páginas de um resultado de pesquisa. Além dis-so, pode ser difícil para um usuário avaliar precisamente a relevância de um número tãogrande de páginas. Embora um usuário pudesse rotular somente uma pequena porção daspáginas, a aprendizagem baseada em tal porção pequena pode não fornecer uma função declassificação precisa.
SUMÁRIO
Um método e sistema para propagar a relevância de documentos rotulados parauma consulta em relação à relevância de documentos não rotulados são fornecidos. O sis-tema de propagação provê dados de treinamento que incluem consultas, documentos rotu-lados com sua relevância para as consultas e documentos não rotulados. O sistema de pro-pagação então calcula a similaridade entre pares de documentos nos dados de treinamento.O sistema de propagação então propaga a relevância dos documentos rotulados para do-cumentos similares, mas não rotulados. O sistema de propagação pode propagar iterativa-mente rótulos dos documentos até que os rótulos convirjam para uma solução. Os dados detreinamento com as relevâncias reproduzidas podem então ser usados para treinar umafunção de classificação.
Este Sumário é fornecido para apresentar uma seleção de conceitos de uma formasimplificada que são ainda descritos abaixo na Descrição Detalhada. Este sumário não pre-tende identificar características chaves ou características essenciais do assunto reivindica-do, nem pretende ser usado como uma ajuda na determinação do escopo do assunto reivin-dicado.
BREVE DESCRIÇÃO DOS DESENHOS
A figura 1 é um diagrama que ilustra uma porção de um gráfico de documentos.
A figura 2 é um diagrama de blocos que ilustra componentes do sistema de propa-gação em uma modalidade.
A figura 3 é um diagrama de fluxo que ilustra o processamento do componente decriar função de classificação do sistema de propagação em uma modalidade.
A figura 4 é um diagrama de fluxo que ilustra o processamento do componente depropagar relevância do sistema de propagação em uma modalidade.
A figura 5 é um diagrama de fluxo que ilustra o processamento do componente deconstruir gráfico do sistema de propagação em uma modalidade.
A figura 6 é um diagrama de fluxo que ilustra o processamento do componente degerar pesos para gráfico do sistema de propagação em uma modalidade.
A figura 7 é um diagrama de fluxo que ilustra o processamento do componente denormalizar pesos de gráfico do sistema de propagação em uma modalidade.
A figura 8 é um diagrama de fluxo que ilustra o processamento do componente depropagar relevância baseada em gráfico do sistema de propagação em uma modalidade.
DESCRIÇÃO DETALHADA
Um método e sistema para propagar relevância de documentos rotulados para umaconsulta a documentos não rotulados são fornecidos. Em uma modalidade, o sistema depropagação fornece dados de treinamento que incluem consultas, documentos (representa-dos por vetores de características) rotulados com sua relevância para as consultas, e docu-mentos não rotulados. Por exemplo, o sistema de propagação pode apresentar uma consul-ta a um motor de busca e usar o resultado da pesquisa como os documentos (por exemplo,páginas da rede). O sistema de propagação pode então induzir um usuário a rotular algunsdos documentos do resultado da pesquisa baseado em sua relevância para a consulta. Osistema de propagação então calcula a similaridade entre pares de documentos nos dadosde treinamento. Por exemplo, o sistema de propagação pode representar cada documentopor um vetor de características e pode calcular a similaridade entre documentos baseado nadistância Euclidiana no espaço de características ou baseado em uma métrica de similari-dade de co-seno. O sistema de propagação então propaga a relevância dos documentosrotulados para documentos similares, mas não rotulados. O sistema de propagação podepropagar iterativamente rótulos dos documentos até que os rótulos convirjam em uma solu-ção. Os dados de treinamento com as relevâncias propagadas podem então ser usadospara treinar uma função de classificação. Deste modo, o sistema de propagação pode au-tomaticamente aumentar dados de treinamento com dados de treinamento adicionais base-ados nas similaridades entre documentos.
Em uma modalidade, o sistema de propagação representa os documentos usandoum gráfico de documento com cada nó representando um documento e cada borda repre-sentando similaridade entre os documentos representados pelos nós conectados. O sistemade propagação pode representar o gráfico como uma matriz quadrada com uma linha e co-luna para cada documento no qual cada valor não-zero indica uma borda entre o nó da linhae o nó da coluna. O sistema de propagação pode definir bordas para o gráfico usando váriastécnicas. Por exemplo, o sistema de propagação pode considerar que o gráfico esteja total-mente conectado em cujo caso cada nó tem uma borda para nós alternados. Como um ou-tro exemplo, o sistema de propagação pode considerar os nós a serem conectados por meiode uma árvore de cobertura mínima. Em uma modalidade, o sistema de propagação consi-dera os nós a serem conectados usando um algoritmo vizinho mais próximo de k. Em parti-cular, o sistema de propagação identifica os vizinhos mais próximos de k para cada nó eadiciona uma borda daquele nó para cada um dos seus vizinhos mais próximos de k. O sis-tema de propagação então calcula pesos para as bordas, baseado na similaridade entre osdocumentos representados pelas bordas conectadas. O sistema de propagação pode usarvárias técnicas para determinar a similaridade entre documentos. Em uma modalidade, osistema de propagação usa uma métrica de distância Euclidiana baseada na representaçãodo vetor de características dos documentos em um espaço de características. O sistema depropagação armazena a similaridade como os valores da matriz quadrada resultando emuma matriz de afinidade ou similaridade. O sistema de propagação pode também normalizara matriz de similaridade. O sistema de propagação pode também definir os valores diago-nais para 0 para evitar auto-reforço durante a propagação de relevância.
Após gerar a matriz de similaridade, o sistema de propagação propaga a relevânciados documentos rotulados para os documentos não rotulados usando um algoritmo de pro-pagação baseado em classificação de tubulação. Um algoritmo baseado em classificação detubulação é descrito em He, J., Li, M., Zhang, H.J, e outros, "Manifold-Ranking Based ImageRetrieval", Proc. da 12a Conferência Internacional ACM Anual sobre Multimídia, 2004. Osistema de propagação define inicialmente a relevância dos documentos rotulados para amarcação de relevância fornecida pelo usuário e a relevância dos documentos não rotuladospara 0. O sistema de propagação então dispersa a relevância dos documentos rotuladospara os seus documentos não rotulados conectados reduzindo a fatores na similaridade co-mo indicado pela matriz de similaridade. O sistema de propagação dispersa iterativamente amarcação de relevância até que as marcações de relevância convirjam em uma solução. Asmarcações de relevância resultantes dos documentos não rotulados estarão em proporção àprobabilidade que eles são relevantes para a mesma consulta que os documentos rotulados.Um documento não rotulado que é muito similar a muitos documentos rotulados com marca-ções de alta relevância terá deste modo uma marcação de alta relevância. De modo inverso,um documento não rotulado que não é muito similar a quaisquer documentos rotulados teráuma marcação de baixa relevância.
O sistema de propagação pode representar similaridade usando um núcleo Lapla-ce, que pode ser representado pela seguinte equação:
Μ*'<*/)=Π^®χΡ(-|*« "*;/|/σ,) (1)
Onde Xij e Xji representam a dimensão f de xi e Xj respectivamente, /' representa adimensionalidade do espaço de características, e o, representa um parâmetro positivo quereflete os pesos de dimensões diferentes no cálculo da similaridade. Deste modo, o sistemade propagação representa o peso das bordas pela seguinte equação:
wu = K *,) = Π exP (-K ~χβ\/σ>) (2)
Onde Wij representa a similaridade entre os documentos i e j. O sistema de propa-gação pode omitir o coeficiente constante Vkr, já que seu efeito sobre a matriz de similarida-de W será neutralizado pela normalização da matriz. O sistema de propagação normaliza amatriz de similaridade como representado pela seguinte equação:
S = DmWD-1'2 (3)
onde S representa a matriz de similaridade normalizada e D representa uma matrizdiagonal onde (i,i) é igual à soma da P linha da matriz de similaridade W. A normalizaçãonormaliza as similaridades para serem relativas à similaridade dos documentos conectados.
O sistema de propagação pode representar cada documento como um vetor χ decaracterísticas de dimensão t que forma um ponto no espaço Euclidiano. Para uma consul-ta, o sistema de propagação recebe o conjunto de resultados de documentos
X = {■*/!» */2» ·-· Xlm· xuf Xu-X,-.. *„„} C=O ' .
Os primeiros pontos m (no espaço de características) representam documentos ro-tulados pelo usuário, e os últimos pontos η (no espaço de características) representam do-cumentos não rotulados. O sistema de propagação também recebe um vetor de rótulos cor-respondente r=[ylt.y,z.....y,m. o.o.....of.Os últimos rótulos η têm o valor de 0 para representar documentos não rotulados. Osistema de propagação também pode permitir a especificação de rótulos negativos, em vezde somente rótulos positivos, para representar exemplos negativos de relevância. O sistemade propagação representa distância entre documentos no espaço de características comod:X*X—»□, que atribui a cada par de pontos xi, e Xj uma distância d(xi,xj), e representa umafunção de classificação dos documentos como f:χ—»□, que atribui para cada ponto x, umamarcação de classificação fi. O problema da aprendizagem da função de classificação éaprender f:χ—»□ de um conjunto de consultas com as características X = {Xq} e os rótulosY={Yq}. O sistema de propagação representa o limite da propagação de relevância pela se-guinte equação:
f* = (1-α)(1-αS)ˉ1y (4)
onde f* representa o limite da relevância, y representa os rótulos iniciais, e α repre-senta um fator de decomposição. Como é difícil em termos de computação calcular o inver-so da matriz de similaridade normalizada S, o sistema de propagação aproxima f* usandouma expansão da série de Taylor. O sistema de propagação pode representar a expansãoda série de Taylor pela seguinte equação:
f* = (I αS)ˉ1y= (I+αS+ α2 S2 + ...)y= y+ αSy + αS(αSy) +... (5)
O sistema de propagação resolve iterativamente para f* até que ele convirja emuma solução ou em um número fixo de iterações.
Após propagação das relevâncias, o sistema rotulado de propagação pode usar osconjuntos de dados de treinamento (consulta e vetores de características rotulados) paratreinar uma função de classificação. Uma função de classificação pode ser implementadacomo uma máquina de vetor de suporte, um classificador de intensificação adaptável, umclassificador de rede neural, e assim por diante. Uma máquina de vetor de suporte operapelo encontro de uma hiper-superfícíe no espaço de entradas possíveis. A hiper-superfícietenta dividir os exemplos positivos a partir dos exemplos negativos maximizando a distânciaentre os exemplos negativos e positivos mais próximos para a hiper-superfície. Isto permitea classificação correta de dados que são similares, mas não idênticos aos dados de treina-mento. Várias técnicas podem ser usadas para treinar uma máquina de vetor de suporte.Uma técnica usa um algoritmo de otimização mínima seqüencial que divide o problema deprogramação quadrática grande em uma série de problemas de programação quadráticapequenos que podem ser resolvidos analiticamente. (Veja Otimização Mínima seqüencial,em http://reaearch. Microsoft.com/~iplatt/smo.html.)
A intensificação adaptável é um processo iterativo que roda testes múltiplos emuma coleção de dados de treinamento. A intensificação adaptável transforma um algoritmode aprendizagem fraco (um algoritmo que realiza em um nível somente um pouco melhor doque ocorre eventualmente) em um algoritmo de aprendizagem forte (um algoritmo que exibeuma taxa de erros baixa). O algoritmo de aprendizagem fraca é rodado em subconjuntosdiferentes dos dados de treinamento. O algoritmo se concentra mais e mais naqueles exem-pios onde seus predecessores tenderam a mostrar erros. O algoritmo corrige os erros come-tidos por aprendizes fracos anteriores. O algoritmo é adaptável porque ele se ajusta às taxasde erro de seus predecessores. A intensificação adaptável combina normas práticas apro-ximadas e moderadamente imprecisas para criar um algoritmo de alto desempenho. A in-tensificação adaptável combina os resultados de cada teste conduzido separadamente emum único classificador muito preciso.
Um modelo de rede neural tem três componentes principais: arquitetura, função decusto, e algoritmo de busca. A arquitetura define a forma funcional relacionando as entradasàs saídas (em termos de topologia de rede, conectividade de unidade, e funções de ativa-ção). A busca em espaço de peso para um conjunto de pesos que minimiza a função objeti-va é o processo de treinamento. Um modelo de rede neural pode usar uma rede de funçãode base radial ("RBF") e um declínio de gradiente padrão como sua técnica de busca.
A figura 1 é um diagrama que ilustra um gráfico de documentos retornados como oresultado da busca de uma consulta. Neste exemplo, o sub-gráfico 100 representa uma por-ção dos documentos retornados no resultado da busca. Os nós 101-112 representam 12documentos do resultado da busca. Os nós 101 e 106 representam documentos rotulados.O documento representado pelo nó 101 foi rotulado com a marcação de relevância de .75, eo documento representado pelo nó 106 foi rotulado com a marcação de relevância de .6. osistema de propagação gerou as bordas entre os nós usando um algoritmo vizinho maispróximo. Neste exemplo, os nós 102, 103, e 104 são cada um dos vizinhos mais próximosde K para o nó 101, mas os nós 106-112 não são um dos vizinhos mais próximos de Κ. Osistema de propagação então calculou a similaridade entre nós conectados usando um algo-ritmo de marcação de similaridade. Por exemplo, o nó 101 é conectado ao nó 102 com umaborda com o peso de .8, que indica a similaridade entre os nós conectados.
A figura 2 é um diagrama de bloco que ilustra componentes do sistema de propa-gação em uma modalidade. O sistema de propagação 230 é conectado ao armazenamentode documentos 210 (por exemplo, sites da rede) por meio de links de comunicações 220(por exemplo, a Internet). O sistema de propagação inclui um componente de coletar dadosde treinamento 231, um armazenamento de dados de treinamento 232, e um índice de do-cumentos 233. O índice de documentos contém um índice de documentos (por exemplo,páginas da rede) nos armazenamentos de documentos. O índice de documentos pode sergerado por um arrastador da rede. O índice de documentos pode incluir um vetor de carac-terísticas para cada documento que é usado para treinar uma função de classificação. Osvetores de características podem representar muitos tipos diferentes de características dedocumentos tais como freqüência de documentos inversa, palavras-chaves, tamanho dafonte, e assim por diante. O componente de coletar dados de treinamento apresenta consul-tas a um motor de busca (não mostrado), e recebe documentos que correspondem às con-sultas. O motor de busca pode ser independente do sistema de propagação. Em tal caso, osistema de propagação pode gerar vetores de características dinamicamente dos resultadosdas buscas. O componente de coletar dados de treinamento pode induzir um usuário a rotu-lar a relevância de alguns dos documentos que correspondem às consultas. O componentede coletar dados de treinamento armazena as consultas, resultados das buscas (por exem-plo, vetores de características), e rótulos no armazenamento de dados de treinamento. Osistema de propagação também inclui um componente de propagar relevância 235, umcomponente de construir gráfico 236, um componente de gerar pesos para gráfico 237,componente de normalizar pesos de gráfico 238 e um componente de propagar relevânciabaseada no componente gráfico 239. O componente de propagar relevância propaga a rele-vância dos documentos rotulados para os documentos não rotulados que estão armazena-dos no armazenamento de dados de treinamento. O componente de propagar relevânciachama o componente de construir gráfico para construir um gráfico incluindo bordas repre-sentando os documentos de um resultado da busca. O componente de propagar relevânciaentão chama o componente de gerar pesos para gráfico para gerar os pesos iniciais paraas bordas do gráfico. O componente de propagar relevância chama o componente de nor-malizar pesos de gráfico para normalizar os pesos gerados. O componente de propagar re-levância então chama o componente de propagar relevância com base em gráfico para exe-cutar a propagação real da relevância dos documentos rotulados em relação aos documen-tos não rotulados. O sistema de propagação também inclui um componente de criar funçãode classificação 241 e uma função de classificação 242. A função de criar classificação usaos dados de treinamento com a relevância propagada para criar uma função de classificação.
Os dispositivos de computação nos quais o sistema de propagação pode ser im-plementado podem incluir uma unidade de processamento central, memória, dispositivos deentrada (por exemplo, teclado e dispositivos de indicação), dispositivos de saída (por exem-plo, dispositivos de exibição), e dispositivos de armazenamento (por exemplo, unidades dedisco). Os dispositivos de memória e armazenamento são meios legíveis por computadorque pode conter instruções que implementam o sistema de propagação. Além do mais, asestruturas de dados e estruturas de mensagens podem ser armazenadas ou transmitidas viaum meio de transmissão de dados, tal como um sinal em um link de comunicações. Várioslinks de comunicações podem ser usados, tais como a Internet, uma rede de área local, umarede remota, ou uma conexão de discagem de ponto a ponto.O sistema de propagação pode fornecer serviços para vários sistemas ou dispositi-vos de computação incluindo computadores pessoais, computadores servidores, dispositi-vos de Iaptop ou de mão, sistemas de multiprocessadores, sistemas baseados em micro-processadores, eletrônica de consumidor programável, PCs de rede, minicomputadores,computadores de grande porte, ambientes de computação distribuídos que incluem quais-quer dos sistemas ou dispositivos acima, e similares.
O sistema de propagação pode ser descrito no contexto geral de instruções execu-táveis por computador, tais como módulos de programa, executadas por um ou mais compu-tadores ou outros dispositivos. Geralmente, módulos de programas incluem rotinas, progra-mas, objetos, componentes, estruturas de dados, e outros que realizam tarefas particularesou implementam tipos de dados abstratos particulares. Tipicamente, a funcionalidade dosmódulos dos programas pode ser combinada ou distribuída como desejado em várias mo-dalidades.
A figura 3 é um diagrama de fluxo que ilustra o processamento do componente decriar função de classificação do sistema de propagação em uma modalidade. O componentede criar função de classificação coleta dados de treinamento, propaga a relevância de do-cumentos rotulados para documentos não rotulados, e então treina uma função de classifi-cação. No bloco 301, o componente coleta os dados de treinamento. No bloco 302, o com-ponente entra com rótulos para um subconjunto dos dados de treinamento. No bloco 303, ocomponente chama o componente de propagar relevância para propagar a relevância dosdocumentos rotulados para os documentos não rotulados. No bloco 304, o componente trei-na a função de classificação usando relevâncias propagadas.
A figura 4 é um diagrama de fluxo que ilustra o processamento do componente depropagar relevância do sistema de propagação em uma modalidade. O componente é supri-do com dados de treinamento e propaga a relevância dos documentos rotulados para osdocumentos não rotulados. No bloco 401, o componente chama o componente de construirgráfico para construir o gráfico inicial que inclui bordas. No bloco 402, o componente chamao componente de gerar pesos para gráfico para gerar pesos indicando a similaridade entredocumentos representados pelos nós conectados. No bloco 403, o componente chama ocomponente de normalizar pesos de gráfico para normalizar os pesos do gráfico. No bloco404, o componente chama o componente de propagar relevância com base em gráficopara realizar a propagação da relevância. O componente depois retorna.
A figura 5 é um diagrama de fluxo que ilustra o processamento do componente deconstruir gráfico do sistema de propagação em uma modalidade. O componente cria umamatriz quadrada com cada linha e coluna representando um documento. O componente en-tão identifica e adiciona uma conexão entre cada nó e seus vizinhos mais próximos de K(porexemplo, K=10). No bloco 501, o componente seleciona o próximo documento /'. No bloco dedecisão 502, se todos os documentos /' já tiverem sido selecionados, então o componenteretorna, caso contrário o componente continua no bloco 503. No bloco 503, o componenteseleciona o próximo documento j. No bloco de decisão 504, se todos os documentos j para odocumento selecionado /'já tiverem sido selecionados, então o componente continua no blo-co 506, caso contrário o componente continua no bloco 505. No bloco 505, o componentecalcula a distância entre o documento selecionado /' e o documento selecionado j e então areverte para o bloco 503 para selecionar o próximo documento j. No bloco 505, o componen-te seleciona os 10 documentos j com a menor distância para um documento /' (isto é, os vizi-nhos mais próximos) e então reverte para o bloco 501 para selecionar o próximo documento
A figura 6 é um diagrama de fluxo que ilustra o processamento do componente degerar pesos para gráfico do sistema de propagação em uma modalidade. O componentecalcula a similaridade entre documentos conectados baseado em uma métrica de Manhat-tan. No bloco 601, o componente seleciona o próximo documento /'. No bloco de decisão602, se todos os documentos /'já tiverem sido selecionados, então o componente retorna,caso contrário o componente continua no bloco 603. No bloco 603, o componente inicializa asimilaridade do documento para si mesmo para 0. No bloco 604, o componente seleciona odocumento seguinte j mais próximo (isto é, um documento conectado) para o documentoselecionado /'. No bloco de decisão 605, se todos os documentos j mais próximos ao docu-mento selecionado /'já tiverem sido selecionados, então o componente reverte para o bloco601 para selecionar o próximo documento /', caso contrário o componente continua no bloco606. No bloco 606, o componente inicializa a similaridade entre o documento selecionado /'eo documento selecionado j para 1. Nos blocos 607-609, o componente reverte calculando amétrica de distância. No bloco 607, o componente seleciona a próxima dimensão /' do vetorde características. No bloco de decisão 606, se todas as dimensões já tiverem sido selecio-nadas, então o componente reverte para o bloco 604 para selecionar o próximo documento jmais próximo, caso contrário o componente continua no bloco 609. No bloco 609, o compo-nente estabelece a similaridade entre o documento selecionado /' e o documento seleciona-do j para a sua similaridade atual multiplicada por uma função da diferença entre a caracte-rística selecionada / do documento selecionado /' e o documento selecionado j de acordocom a Equação 2. O componente então reverte para o bloco 607 para selecionar a próximadimensão.
A figura 7 é um diagrama de fluxo que ilustra o processamento do componente denormalizar pesos de gráfico do sistema de propagação em uma modalidade. O componentenormaliza os pesos da matriz de similaridade. No bloco 701, o componente seleciona a pró-xima linha /' da matriz de similaridade. No bloco de decisão 702, se todas as linhas já tiveremsido selecionadas, então o componente continua no bloco 706, caso contrário o componentecontinua no bloco 703. Nos blocos 703-705, o componente calcula o valor para a matriz dia-gonal D para a linha selecionada. No bloco 703 o componente seleciona a próxima coluna jda matriz de similaridade. No bloco de decisão 704, se todas as colunas já tiverem sido se-lecionadas, então o componente reverte para o bloco 701 para selecionar a próxima linha,caso contrário o componente continua no bloco 705. No bloco 705, o componente adicionaos pesos da linha selecionada /' a coluna selecionada j para o elemento diagonal para a linhaselecionada /'. O componente então reverte para o bloco 703 para selecionar a próxima co-luna j para a linha selecionada /'. No bloco 706, o componente normaliza a matriz de similari-dade de acordo coma a Equação 3.
A figura 8 é um diagrama de fluxo que ilustra o processamento do componente depropagar relevância baseada em gráfico do sistema de propagação em uma modalidade. Ocomponente calcula iterativamente a expansão da série de Taylor da Equação 5 até que elaconvirja em uma solução. No bloco 801, o componente inicializa o índice /' para zero. Nobloco 802, o componente inicializa o vetor de solução para 0. Nos blocos 803-805, o com-ponente reverte até que ele convirja para uma solução. No bloco 803, o componente calculao valor para a próxima iteração baseado no valor da iteração anterior mais o próximo fatorda expansão da série de Taylor. No bloco de decisão 804, se os valores convergem parauma solução, então o componente retorna, caso contrário o componente continua no bloco805. No bloco 805, o componente incrementa o índice para a próxima iteração e reverte pa-ra o bloco 803 para realizar a próxima iteração.
Embora o assunto tenha sido descrito em linguagem específica para característicasestruturais e/ou atos metodológicos, deve ser entendido que o assunto definido nas reivindi-cações anexadas não está necessariamente limitado às características ou atos específicosdescritos acima. Antes, as características e atos específicos descritos acima são reveladoscomo formas de exemplo de implementação das reivindicações. O sistema de propagaçãopode ser usado para aumentar resultados de busca. Por exemplo, um motor de busca podegerar um resultado de busca baseado em certo corpo de documentos. A relevância dos do-cumentos do resultado da busca pode então ser propagada para documentos de um corpodiferente usando o sistema de propagação. Os documentos do corpo diferente com a rele-vância mais alta podem então ser adicionados ao resultado da busca. O sistema de propa-gação pode ser usado para propagar a relevância de documentos rotulados com sua rele-vância para uma consulta única a documentos não rotulados (propagação intraconsulta) oude documentos rotulados com sua relevância a consultas múltiplas para documentos nãorotulados (propagação inter-consulta). O componente de propagação treina o componentede treinamento separadamente para cada consulta com propagação intra-consulta e simul-taneamente para consultas múltiplas com propagação inter-consultas. Consequentemente, ainvenção não é limitada exceto pelas reivindicações anexadas.

Claims (20)

1. Sistema para treinar um componente de classificação de documentos,CARACTERIZADO por compreender:Um armazenamento de dados de treinamento (232) que contém dados de treina-mento incluindo representações de documentos e, para cada consulta de uma pluralidadede consultas, uma rotulação de alguns documentos com relevância dos documentos para aconsulta;Um componente de propagar relevância (235) que propaga a relevância dos docu-mentos rotulados para os documentos não rotulados baseados na similaridade entre docu-mentos; eUm componente de treinamento (241) que treina um componente de classificaçãode documentos para classificar a relevância de documentos para consultas baseado na re-levância propagada dos documentos dos dados de treinamento.
2. Sistema de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que ocomponente de classificação de documentos implementa um algoritmo de classificação se-lecionado de um grupo consistindo em um algoritmo de rede neural, um algoritmo de intensi-ficação adaptável, e um algoritmo de máquina de vetor de suporte.
3. Sistema de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que ocomponente de classificação de documentos implementa um algoritmo baseado em regres-são.
4. Sistema de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que ocomponente de propagar relevância propaga a relevância separadamente para cada consul-ta e o componente de treinamento treina o componente de classificação de documentosusando as relevâncias propagadas separadamente.
5. Sistema de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que ocomponente de propagar relevância propaga a relevância simultaneamente para consultasmúltiplas e o componente de treinamento treina o componente de classificação de documen-tos usando as relevâncias propagadas simultaneamente.
6. Sistema de acordo com a reivindicação 1 CARACTERIZADO por incluir umcomponente gráfico que cria um gráfico com os documentos representados como nós co-nectados por bordas representando a similaridade entre documentos.
7. Sistema de acordo com a reivindicação 6, CARACTERIZADO pelo fato de que ocomponente gráfico inclui:Um componente de construir gráfico que constrói um gráfico no qual nós represen-tando documentos similares são conectados por meio de bordas; eUm componente de gerar pesos que gera pesos para as bordas baseado na simila-ridade dos documentos representados pelos nós conectados.
8. Sistema de acordo com a reivindicação 7, CARACTERIZADO pelo fato de que ocomponente de construir gráfico estabelece bordas entre nós usando um algoritmo vizinhomais próximo.
9. Sistema de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que ocomponente de propagar relevância propaga a relevância usando um algoritmo baseado emclassificação de tubulação.
10. Meio legível por computador contendo instruções para controlar um sistema decomputador para treinar um componente de classificação de documentos, por um métodoCARACTERIZADO por compreender:Fornecer (232) representações de documentos junto com uma rotulação de algunsdos documentos que indica relevância de um documento para uma consulta,Criar (236) um gráfico com os documentos representados como nós sendo conec-tados por bordas representando a similaridade entre documentos representados pelos nósconectados;Propagar (239) a relevância dos documentos rotulados para os documentos não ro-tulados baseado na similaridade entre documentos como é indicado pelo gráfico criado ebaseado em um algoritmo baseado em classificação múltipla; eTreinar (241) um componente de classificação de documentos para classificar a re-levância de documentos para consultas baseada na relevância propagada dos documentos.
11. Meio legível por computador de acordo com a reivindicação 10,CARACTERIZADO pelo fato de que o componente de classificação de documentos imple-menta um algoritmo de classificação selecionado de um grupo consistindo em um algoritmode rede Bayes, um algoritmo de intensificação adaptável, e um algoritmo de máquina devetor de suporte.
12. Meio legível por computador de acordo com a reivindicação 10,CARACTERIZADO pelo fato de que o componente de classificação de documentos imple-menta um algoritmo de classificação baseado em regressão.
13. Meio legível por computador de acordo com a reivindicação 10,CARACTERIZADO pelo fato de que a propagação da relevância propaga a relevância sepa-radamente para cada consulta e o treinamento do componente de classificação de docu-mentos treina o uso da relevância propagada separadamente.
14. Meio legível por computador de acordo com a reivindicação 10,CARACTERIZADO pelo fato de que o componente de propagar relevância propaga a rele-vância [propagação inter-consulta],
15. Meio legível por computador de acordo com a reivindicação 10,CARACTERIZADO pelo fato de que a criação de um gráfico inclui:Construir um gráfico no qual nós representando documentos similares são conecta-dos por meio de bordas; eGerar pesos para as bordas com base na similaridade dos documentos representa-dos pelos nós conectados.
16. Sistema para treinar um componente de classificação de documentos,CARACTERIZADO por compreender:Um componente (231) que fornece representações de documentos junto com umarotulação de alguns dos documentos que indica a relevância dos documentos para consul-tas;Um componente (236) que cria um gráfico com os documentos representados comonós sendo conectados por bordas representando similaridade entre documentos represen-tados pelos nós conectados;Um componente (239) que propaga a relevância dos documentos rotulados para osdocumentos não rotulados baseado na similaridade entre documentos como indicado pelográfico criado; eUm componente que gera um componente de classificação de documentos paraclassificar a relevância de documentos para consultas baseado na relevância propagadados documentos.
17. Sistema de acordo com a reivindicação 16, CARACTERIZADO pelo fato de queo componente que propaga relevância propaga relevância baseado em um algoritmo base-ado em classificação múltipla.
18. Sistema de acordo com a reivindicação 17, CARACTERIZADO pelo fato de queo componente que propaga relevância propaga relevância simultaneamente para consultasmúltiplas e o componente que gera o componente de classificação de documentos gera ocomponente usando a relevância propagada simultaneamente.
19. Sistema de acordo com a reivindicação 16, CARACTERIZADO pelo fato de queo componente que cria um gráfico constrói um gráfico, gera pesos para as bordas baseadona similaridade dos documentos representados pelos nós conectados.
20. Sistema de acordo com a reivindicação 16, CARACTERIZADO pelo fato de queo componente de classificação de documentos implementa um algoritmo de classificaçãobaseado em regressão.
BRPI0708330-0A 2006-02-27 2007-02-27 treinamento de uma função de classificação usando releváncia propagada de documentos BRPI0708330A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/364.576 2006-02-27
US11/364,576 US8001121B2 (en) 2006-02-27 2006-02-27 Training a ranking function using propagated document relevance
PCT/US2007/005141 WO2007100844A1 (en) 2006-02-27 2007-02-27 Training a ranking function using propagated document relevance

Publications (1)

Publication Number Publication Date
BRPI0708330A2 true BRPI0708330A2 (pt) 2011-05-24

Family

ID=38445261

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0708330-0A BRPI0708330A2 (pt) 2006-02-27 2007-02-27 treinamento de uma função de classificação usando releváncia propagada de documentos

Country Status (11)

Country Link
US (2) US8001121B2 (pt)
EP (1) EP1999653A4 (pt)
JP (1) JP2009528627A (pt)
KR (1) KR101377341B1 (pt)
CN (1) CN101390096B (pt)
AU (1) AU2007221013A1 (pt)
BR (1) BRPI0708330A2 (pt)
CA (1) CA2640230A1 (pt)
NO (1) NO20083363L (pt)
RU (1) RU2008134901A (pt)
WO (1) WO2007100844A1 (pt)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12061966B2 (en) 2015-03-20 2024-08-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Relevance score assignment for artificial neural networks

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8019763B2 (en) * 2006-02-27 2011-09-13 Microsoft Corporation Propagating relevance from labeled documents to unlabeled documents
US7752198B2 (en) * 2006-04-24 2010-07-06 Telenor Asa Method and device for efficiently ranking documents in a similarity graph
US8340957B2 (en) * 2006-08-31 2012-12-25 Waggener Edstrom Worldwide, Inc. Media content assessment and control systems
US8126881B1 (en) 2007-12-12 2012-02-28 Vast.com, Inc. Predictive conversion systems and methods
US7814108B2 (en) * 2007-12-21 2010-10-12 Microsoft Corporation Search engine platform
US8407214B2 (en) * 2008-06-25 2013-03-26 Microsoft Corp. Constructing a classifier for classifying queries
US8255412B2 (en) * 2008-12-17 2012-08-28 Microsoft Corporation Boosting algorithm for ranking model adaptation
WO2010075408A1 (en) * 2008-12-22 2010-07-01 The Trustees Of Columbia University In The City Of New York System and method for annotating and searching media
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
US20100191734A1 (en) * 2009-01-23 2010-07-29 Rajaram Shyam Sundar System and method for classifying documents
US20100293175A1 (en) * 2009-05-12 2010-11-18 Srinivas Vadrevu Feature normalization and adaptation to build a universal ranking function
WO2010134363A1 (ja) * 2009-05-18 2010-11-25 株式会社東芝 携帯端末
JP5211000B2 (ja) * 2009-09-09 2013-06-12 日本電信電話株式会社 ランキング関数生成装置、ランキング関数生成方法、ランキング関数生成プログラム
EP2759941A1 (en) 2010-04-10 2014-07-30 Hewlett-Packard Development Company, L.P. Injection of data into a software application
US20110295845A1 (en) * 2010-05-27 2011-12-01 Microsoft Corporation Semi-Supervised Page Importance Ranking
JP5519406B2 (ja) * 2010-05-28 2014-06-11 株式会社Ｎｔｔドコモ サーバ装置、ジャンルスコア算出方法およびプログラム
US9449282B2 (en) 2010-07-01 2016-09-20 Match.Com, L.L.C. System for determining and optimizing for relevance in match-making systems
US8407211B1 (en) 2010-12-16 2013-03-26 Google Inc. Determining relevance scores for locations
US8478740B2 (en) * 2010-12-16 2013-07-02 Microsoft Corporation Deriving document similarity indices
JP5432936B2 (ja) * 2011-02-17 2014-03-05 日本電信電話株式会社 ランキングモデル選択機能を有する文書検索装置、ランキングモデル選択機能を有する文書検索方法およびランキングモデル選択機能を有する文書検索プログラム
US8583669B2 (en) * 2011-05-30 2013-11-12 Google Inc. Query suggestion for efficient legal E-discovery
US9529915B2 (en) * 2011-06-16 2016-12-27 Microsoft Technology Licensing, Llc Search results based on user and result profiles
US8589408B2 (en) 2011-06-20 2013-11-19 Microsoft Corporation Iterative set expansion using samples
JP5700566B2 (ja) * 2012-02-07 2015-04-15 日本電信電話株式会社 スコアリングモデル生成装置、学習データ生成装置、検索システム、スコアリングモデル生成方法、学習データ生成方法、検索方法及びそのプログラム
US8805767B1 (en) * 2012-05-23 2014-08-12 Amazon Technologies, Inc. Machine learning memory management and distributed rule evaluation
US9536338B2 (en) * 2012-07-31 2017-01-03 Microsoft Technology Licensing, Llc Animating objects using the human body
JP5881048B2 (ja) * 2012-09-18 2016-03-09 株式会社日立製作所 情報処理システム、及び、情報処理方法
CN103020116B (zh) * 2012-11-13 2015-12-16 中国科学院自动化研究所 在社交媒体网络上自动筛选有影响力用户的方法
US9104718B1 (en) 2013-03-07 2015-08-11 Vast.com, Inc. Systems, methods, and devices for measuring similarity of and generating recommendations for unique items
US10007946B1 (en) 2013-03-07 2018-06-26 Vast.com, Inc. Systems, methods, and devices for measuring similarity of and generating recommendations for unique items
US9465873B1 (en) 2013-03-07 2016-10-11 Vast.com, Inc. Systems, methods, and devices for identifying and presenting identifications of significant attributes of unique items
US9830635B1 (en) 2013-03-13 2017-11-28 Vast.com, Inc. Systems, methods, and devices for determining and displaying market relative position of unique items
US9858534B2 (en) 2013-11-22 2018-01-02 California Institute Of Technology Weight generation in machine learning
US9953271B2 (en) 2013-11-22 2018-04-24 California Institute Of Technology Generation of weights in machine learning
US10558935B2 (en) * 2013-11-22 2020-02-11 California Institute Of Technology Weight benefit evaluator for training data
US10535014B2 (en) 2014-03-10 2020-01-14 California Institute Of Technology Alternative training distribution data in machine learning
US10127596B1 (en) 2013-12-10 2018-11-13 Vast.com, Inc. Systems, methods, and devices for generating recommendations of unique items
US20170316012A1 (en) * 2016-04-29 2017-11-02 DynAgility LLC Systems and methods for ranking electronic content using topic modeling and correlation
US9558265B1 (en) * 2016-05-12 2017-01-31 Quid, Inc. Facilitating targeted analysis via graph generation based on an influencing parameter
US10068666B2 (en) * 2016-06-01 2018-09-04 Grand Rounds, Inc. Data driven analysis, modeling, and semi-supervised machine learning for qualitative and quantitative determinations
US11157829B2 (en) 2017-07-18 2021-10-26 International Business Machines Corporation Method to leverage similarity and hierarchy of documents in NN training
KR102410825B1 (ko) * 2017-08-14 2022-06-20 삼성전자주식회사 문장의 도메인 판단 방법 및 장치
US10268704B1 (en) 2017-10-12 2019-04-23 Vast.com, Inc. Partitioned distributed database systems, devices, and methods
CN110009113B (zh) * 2018-01-02 2021-05-11 中国移动通信有限公司研究院 物联网设备自主学习方法、装置、设备、存储介质
US10846290B2 (en) * 2018-01-30 2020-11-24 Myntra Designs Private Limited System and method for dynamic query substitution
US20220027400A1 (en) * 2018-05-21 2022-01-27 State Street Corporation Techniques for information ranking and retrieval
CN110535892B (zh) * 2018-05-24 2021-12-24 株洲中车时代电气股份有限公司 轨道交通车载数据快速转储系统、方法及状态监测方法
WO2020033559A1 (en) * 2018-08-07 2020-02-13 Walmart Apollo, Llc System and method for structure and attribute based graph partitioning
US11651016B2 (en) * 2018-08-09 2023-05-16 Walmart Apollo, Llc System and method for electronic text classification
RU2019128026A (ru) * 2019-09-05 2021-03-05 Общество С Ограниченной Ответственностью «Яндекс» Способ и система для ранжирования множества цифровых документов
US12106358B1 (en) 2020-07-24 2024-10-01 Vast.com, Inc. Systems, methods, and devices for unified e-commerce platforms for unique items
CN112733040B (zh) * 2021-01-27 2021-07-30 中国科学院地理科学与资源研究所 一种旅游行程推荐方法
CN112906388A (zh) * 2021-01-28 2021-06-04 武汉纺织大学 一种基于流形排序的未登录词处理方法、装置及存储介质
US12475357B2 (en) * 2021-06-08 2025-11-18 Microsoft Technology Licensing, Llc Dynamic utility functions for inference in machine-learned models
KR102837271B1 (ko) * 2022-11-18 2025-07-22 메이저맵 주식회사 진로진학 언어모델 생성 장치 및 방법과, 진로진학 정보 추천 장치
US12406093B2 (en) * 2023-08-21 2025-09-02 Capital One Services, Llc Systems and methods for preventing sensitive data leakage during label propagation

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9220404D0 (en) * 1992-08-20 1992-11-11 Nat Security Agency Method of identifying,retrieving and sorting documents
EP0615201B1 (en) * 1993-03-12 2001-01-10 Kabushiki Kaisha Toshiba Document detection system using detection result presentation for facilitating user's comprehension
US5619709A (en) * 1993-09-20 1997-04-08 Hnc, Inc. System and method of context vector generation and retrieval
US5600831A (en) * 1994-02-28 1997-02-04 Lucent Technologies Inc. Apparatus and methods for retrieving information by modifying query plan based on description of information sources
US5724567A (en) * 1994-04-25 1998-03-03 Apple Computer, Inc. System for directing relevance-ranked data objects to computer users
US6314420B1 (en) * 1996-04-04 2001-11-06 Lycos, Inc. Collaborative/adaptive search engine
US5897639A (en) * 1996-10-07 1999-04-27 Greef; Arthur Reginald Electronic catalog system and method with enhanced feature-based search
US6272507B1 (en) * 1997-04-09 2001-08-07 Xerox Corporation System for ranking search results from a collection of documents using spreading activation techniques
US6738678B1 (en) * 1998-01-15 2004-05-18 Krishna Asur Bharat Method for ranking hyperlinked pages using content and connectivity analysis
US6286018B1 (en) * 1998-03-18 2001-09-04 Xerox Corporation Method and apparatus for finding a set of documents relevant to a focus set using citation analysis and spreading activation techniques
US6038574A (en) * 1998-03-18 2000-03-14 Xerox Corporation Method and apparatus for clustering a collection of linked documents using co-citation analysis
AU5460299A (en) * 1998-07-24 2000-02-14 Jarg Corporation Distributed computer database system and method for performing object search
US6691108B2 (en) * 1999-12-14 2004-02-10 Nec Corporation Focused search engine and method
US20020049705A1 (en) * 2000-04-19 2002-04-25 E-Base Ltd. Method for creating content oriented databases and content files
US7024418B1 (en) * 2000-06-23 2006-04-04 Computer Sciences Corporation Relevance calculation for a reference system in an insurance claims processing system
AUPR208000A0 (en) * 2000-12-15 2001-01-11 80-20 Software Pty Limited Method of document searching
CN1375786A (zh) * 2001-03-20 2002-10-23 非常网科技股份有限公司 在网站上提供使用者命理分析评比的方法和系统
US6944609B2 (en) * 2001-10-18 2005-09-13 Lycos, Inc. Search results using editor feedback
WO2003067497A1 (en) 2002-02-04 2003-08-14 Cataphora, Inc A method and apparatus to visually present discussions for data mining purposes
US7555485B2 (en) * 2002-08-22 2009-06-30 Yahoo! Inc. System and method for conducting an auction-based ranking of search results on a computer network
EP1411448A3 (en) * 2002-10-17 2007-12-05 Matsushita Electric Industrial Co., Ltd. Data searching apparatus
US7107520B2 (en) 2002-11-18 2006-09-12 Hewlett-Packard Development Company, L.P. Automated propagation of document metadata
US7197497B2 (en) * 2003-04-25 2007-03-27 Overture Services, Inc. Method and apparatus for machine learning a document relevance function
US7281005B2 (en) * 2003-10-20 2007-10-09 Telenor Asa Backward and forward non-normalized link weight analysis method, system, and computer program product
US7305389B2 (en) * 2004-04-15 2007-12-04 Microsoft Corporation Content propagation for enhanced document retrieval
EP1782278A4 (en) * 2004-06-23 2012-07-04 Plain Sight Systems Inc SYSTEM AND METHOD FOR DOCUMENT ANALYSIS, PROCESSING AND INFORMATION EXTRACTION

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12061966B2 (en) 2015-03-20 2024-08-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Relevance score assignment for artificial neural networks

Also Published As

Publication number Publication date
NO20083363L (no) 2008-09-04
CN101390096A (zh) 2009-03-18
US20070203908A1 (en) 2007-08-30
KR101377341B1 (ko) 2014-03-25
AU2007221013A1 (en) 2007-09-07
RU2008134901A (ru) 2010-03-10
EP1999653A4 (en) 2010-03-24
US20110264659A1 (en) 2011-10-27
CN101390096B (zh) 2011-06-08
WO2007100844A1 (en) 2007-09-07
US8001121B2 (en) 2011-08-16
JP2009528627A (ja) 2009-08-06
EP1999653A1 (en) 2008-12-10
KR20080106190A (ko) 2008-12-04
CA2640230A1 (en) 2007-09-07

Similar Documents

Publication Publication Date Title
BRPI0708330A2 (pt) treinamento de uma função de classificação usando releváncia propagada de documentos
BRPI0708074A2 (pt) propagação de releváncia de documentos rotulados para documentos não rotulados
Kolda et al. Higher-order web link analysis using multilinear algebra
Ostrowski et al. Solving inverse heat conduction problems using trained POD-RBF network inverse method
Monroe et al. Evaluating structural equation models for categorical outcomes: A new test statistic and a practical challenge of interpretation
Tsai et al. Frank: a ranking method with fidelity loss
Savu et al. Hierarchies of Archimedean copulas
Zanghi et al. Clustering based on random graph model embedding vertex features
Goel et al. An efficient page ranking approach based on vector norms using sNorm (p) algorithm
Mohammed et al. Estimation based on progressive first-failure censoring from exponentiated exponential distribution
Branisavljevic et al. Fuzzy approach in the uncertainty analysis of the water distribution network of Becej
US20080147669A1 (en) Detecting web spam from changes to links of web sites
Shukla et al. Gradient method for identification of isomorphism of planar kinematic chains
Nathan et al. Approximating personalized Katz centrality in dynamic graphs
Mansour Five classes of pattern avoiding inversion sequences under one roof: generating trees
Malgaonkar et al. Automatically generating taxonomy for grouping app reviews—a study of three apps
Mannseth et al. On the application of improved symplectic integrators in Hamiltonian Monte Carlo
US12505112B2 (en) Content relevance based table query answering
Misale et al. A survey on recommendation system for technical paper reviewer assignment
Zhang Effective and Efficient Random Walk Proximity Measures for Graph Analytics
Jiang et al. Discussion of “a wavelet network model for short-term traffic volume forecasting” by Yuanchang Xie and Yunlong Zhang
Lee et al. Improving context awareness information retrieval with online social networks
Bose et al. and Interpretation of Topical
MX2008010485A (en) Training a ranking function using propagated document relevance
Bode et al. Creating a Thesaurus

Legal Events

Date Code Title Description
B11A Dismissal acc. art.33 of ipl - examination not requested within 36 months of filing
B11Y Definitive dismissal acc. article 33 of ipl - extension of time limit for request of examination expired