BRPI0620830A2 - sistema e método de uso de qualidades de anúncio estimadas para filtração, classificação e promoção de anúncios e meio legìvel em computador - Google Patents

Abstract

SISTEMA E MéTODO DE USO DE QUALIDADES DE ANúNCIO ESTIMADAS PARA FILTRAçãO, CLASSIFICAçãO E PROMOçãO DE ANúNCIOS E MEIO LEGìVEL EM COMPUTADOR. Um sistema obtém um primeiro parãmetro (QP1) associado a uma qualidade de um anúncio entre múltiplos anúncios, em queo primeiro parâmetro de qualidade (QP1) não inclui um dique através de taxa (CTR). O sistema combina funcionalmente o primeiro parâmetro de qualidade (QP1) com pelo menos outro parâmetro e usa a combinação funcional para filtrar, classificar ou promover o anúncio entre os múltiplos anúncios.

Description

"Sistema e Método de Uso de Qualidades de Anúncio Estimadas Para Filtração, Classificação e Promoção de Anúncios e Meio Legível em Computador"

Relatório Descritivo

Antecedentes

Campo da Invenção

As implementações aqui descritas relacionam-se em geral a anúncios online e, mais particularmente, ao uso de qualidades de anúncio estimadas para filtrar, classificar e promover anúncios online.

Descrição da Técnica Correlata

Os sistemas de publicidade online hospedam anúncios que podem fazer a publicidade de vários serviços e/ou produtos. Esses anúncios podem ser apresentados a usuários que acessam documentos hospedados pelo sistema de publicidade ou a usuários que geram questões de busca para buscar um corpo de documentos. Um anúncio pode incluir um "criativo," que inclui texto, gráficos e/ou imagens associados ao serviço e/ou produto anunciado. O anúncio pode ainda incluir um link para um "documento de aterrissagem" do anúncio que contém detalhes adicionais sobre o(s) serviço(s) e/ou produto(s) anunci- ado(s). Quando um particular criativo parece ser de interesse para o usuário, o usuário pode selecionar (ou clicar) o criativo e o link associa- do faz que o browser da Web do usuário visite o "documento de aterris- sagem" associado ao criativo e o link associado. Esta seleção de uma criativo de publicidade e link associado pelo usuário é referido em seguida como um "clique".

Os sistemas de publicidade online rastreiam freqüentemen- te os cliques de anúncios para faturamento e com outros propósitos. Um propósito de não faturamento para rastreamento de cliques de anúncios é tentar averiguar qualidade do anúncio. A taxa através de cliques (CTR) é uma medida usada para determinar a qualidade de anúncios. CTR representa a fração de vezes que um dado anúncio é "clicado", quando um certo anúncio for apresentado aos usuários. O CTR de um anúncio, porém, é uma medida imperfeita da qualidade do anúncio visto que enfoca sobre o criativo do anúncio em lugar do objetivo daquele anúncio, que é o documento de aterrissagem. O usuário precisa clicar sobre um anúncio, a fim de determinar se um anúncio é bom ou ruim e, portanto, a ocorrência/não ocorrência de um clique é insuficiente para determinar a qualidade de um anúncio. Alguns anúncios recebem muitos cliques, porque têm um bom criativo, mas o documento de aterrissagem é completamente insatisfatório ou irrelevante para o usuário. Outros anúncios recebem muito poucos cliques (por exemplo, devido a que o criativo do anúncio é deficiente), mas cada clique leva a um usuário satisfeito. As determinações exis- tentes de CTR associadas com anúncios online proporcionam, deste modo, medidas imperfeitas de qualidade do anúncio.

Além disso, em sistemas de publicidade online existentes, os anúncios que são exibidos aos usuários e o ordenamento dos anún- cios exibidos aos usuários são somente com base no CTR de um anún- cio e o máximo "custo por clique" (CPC) que um anunciante está dispos- to a ofertar para ter o seu anúncio exibido. O CPC é a quantidade que um anunciante está disposto a pagar a uma editora de anúncios e é com base em várias seleções (por exemplo, cliques) que um anúncio específico recebe. Na medida em que o CTR está sendo usado como substituto da qualidade do anúncio, é insuficiente, pelas razões já apontadas. Os mecanismos existentes para determinar que anúncios exibir e para a classificação dos anúncios usam, deste modo, uma medida imperfeita de qualidade do anúncio que pode não proporcionar os anúncios de qualidade mais elevada para os usuários.

Sumário

De acordo com um aspecto, um método pode incluir obter um primeiro parâmetro associado com uma qualidade de um anúncio dentre anúncios múltiplos, em que o primeiro parâmetro de qualidade não inclui uma taxa através de cliques. O método pode ainda incluir combinar funcionalmente o primeiro parâmetro de qualidade com pelo menos outro parâmetro e usar a combinação funcional para filtrar, classificar ou promover o anúncio dentre a pluralidade de anúncios.

De acordo com outro aspecto, um método pode incluir obter avaliações associadas a um primeiro grupo de anúncios, em que as avaliações indicam uma qualidade do primeiro grupo de anúncios. O método pode ainda incluir observar ações múltiplas de usuário diferen- tes associadas à seleção de usuário de anúncios do primeiro grupo de anúncios e derivar um modelo estatístico usando as ações do usuário observado e as avaliações obtidas. O método pode também incluir usar o modelo estatístico para estimar pontuações de qualidade associadas a um segundo grupo de anúncios e proporcionar um subconjunto de anúncios do segundo grupo de anúncios ao usuário com base nas pontuações de qualidade estimadas.

De acordo ainda com um aspecto, um método pode incluir determinar pontuações de qualidade associadas a um conjunto de anúncios usando um modelo estatístico em que as pontuações de qualidade não incluem uma taxa através de cliques (CTR). O método pode também incluir desabilitar um primeiro subconjunto de anúncios do conjunto de anúncios com base nas pontuações de qualidade deter- minadas e proporcionar um segundo subconjunto do conjunto de anúncios ao usuário, em que o segundo subconjunto do conjunto de anúncios compreende o primeiro conjunto de anúncios menos o primei- ro subconjunto de anúncios.

De acordo com um aspecto adicional, um método pode incluir determinar pontuações de qualidade associadas a um conjunto de anúncios usando um modelo estatístico, em que as pontuações de qualidade não incluem uma taxa através de cliques (CTR). O método pode ainda incluir classificar anúncios do conjunto de anúncios com base nas pontuações de qualidade determinadas para determinar uma ordem classificada.

De acordo com outro aspecto, um método pode incluir determinar pontuações de qualidade associadas a um grupo de anún- cios usando um modelo estatístico, em que as pontuações de qualidade não incluem uma taxa através de cliques (CTR). O método pode ainda inclui promover um ou mais anúncios do grupo de anúncios com base nas pontuações de qualidade determinadas, posicionando aquele promovido ou mais anúncios do grupo de anúncios numa posição proeminente num documento, e posicionando anúncios não promovidos do grupo de anúncios numa posição menos proeminentes no documen- to do que o anúncio promovido ou mais.

Breve Descrição dos Desenhos

Os desenhos anexos, que são incorporados e constituem uma parte deste Relatório Descritivo, ilustram uma ou mais modalida- des da invenção e, juntos com a descrição, explicam a invenção. Nos desenhos,

as Figuras 1 e 2 são diagramas exemplificativos de uma avaliação de uma implementação em que o comportamento do usuário observado e as avaliações de qualidade conhecidas associadas a um conjunto de anúncios são usados para construir um modelo estatístico que pode ser usado para estimar a qualidade do anúncio e os anúncios podem, então, ser filtrados, classificados ou promovidos com base na qualidade de anúncio estimada;

a Figura 3 é um diagrama exemplificativo de uma rede em que podem ser implementados sistemas e métodos consistentes com os princípios da invenção;

a Figura 4 é um diagrama exemplificativo de um cliente ou servidor da Figura 3, de acordo com uma implementação consistente com os princípios da invenção;

a Figura 5 é um fluxograma de um processo exempli- ficativo para construir um modelo de comportamento de usuário asso- lo ciado às seleções de anúncios múltiplos online, de acordo com uma implementação consistente com os princípios da invenção;

as Figuras 6-13 ilustram várias características de sessão exempliflcativas, correspondendo a ações de usuário observadas ou anotadas, que podem ser usadas para construir um modelo estatís- tico para predizer a qualidade do anúncio;

a Figura 14 é um fluxograma de um processo exem- plificativo para determinar valores preditivos relativos à qualidade de um anúncio, de acordo com uma implementação consistente com os princípios da invenção;

a Figura 15 é um diagrama que ilustra graficamente o processo exemplificativa da Figura 14 consistente com um aspecto da invenção;

a Figura 16 é um diagrama de uma estrutura de dados exemplificativa para armazenar os valores preditivos determina- dos na Figura 14;

as Figuras 17 e 18 são fluxogramas de um processo exemplificativo para estimar as chances de qualidades boas ou ruins associadas a anúncios usando os valores preditivos determinados no processo exemplificativo da Figura 14 consistentes com princípios da invenção;

a Figura 19 é um fluxograma de um processo exem- plificativo para predizer a qualidade de anúncios, de acordo com uma implementação consistente com os princípios da invenção;

a Figura 20 é um diagrama que ilustra graficamente o processo exempliflcativo da Figura 19 consistente com um aspecto da invenção;

a Figura 21 é um fluxograma de um processo exem- pliflcativo para filtrar, classificar e/ou promover anúncios, de acordo com uma implementação consistente com princípios da invenção;

as Figuras 22-24 ilustram vários exemplos de filtra- ção de anúncios consistentes com aspectos da invenção;

as Figuras 25 e 26 ilustram exemplos de classifica- ções de anúncios consistentes com aspectos da invenção;

as Figuras 27-29 ilustram exemplos de promoção de anúncios consistente com aspectos da invenção; e

a Figura 30 ilustra um documento de resultado de busca exemplificativo que inclui anúncios filtrados, classificados e/ou promovidos, consistentes com um aspecto da invenção.

Descrição Detalhada

A descrição detalhada seguinte da invenção refere-se aos desenhos anexos. Os mesmos números de referência em desenhos diferentes podem identificar os mesmos elementos ou semelhantes. Também a descrição detalhada seguinte não limita a invenção. Os sistemas e métodos consistentes com aspectos da invenção podem usar observações múltiplas do comportamento do usuário (por exemplo, observações em tempo real ou observações a partir de logs registrados do usuário) associadas com a seleção do usuário de anúncios online para estimar com mais precisão a qualidade do anúncio em comparação com determinações convencionais com base somente em CTR. As avaliações de qualidade associadas a anúncios avaliados conhecidos e correspondente comportamento do usuário medido observado associado com as seleções (por exemplo, "clique") daqueles anúncios avaliados conhecidos, podem ser usados para cons- truir um modelo estatístico. O modelo estatístico pode ser usado subseqüentemente para estimar qualidades associadas a anúncios com base no comportamento observado do usuário e/ou características do anúncio selecionado ou uma questão usada para recuperar o anúncio, associadas a seleções dos anúncios. As qualidades estimadas associa- das a anúncios podem ser usadas para determinar que anúncios pro- porcionar aos usuários, para classificar os anúncios e/ou para promo- ver os anúncios dentre os selecionados para uma posição proeminente num documento fornecido aos usuários.

Um "documento", como o termo é aqui usado, deve ser interpretado amplamente de forma a incluir qualquer produto de traba- lho legível pela máquina e armazenável em máquina. Um documento pode incluir, por exemplo, um correio eletrônico, uma página ou sítio da Web, uma lista de negócios, um arquivo, uma combinação de arquivos, um ou mais arquivos com links embutidos para outros arquivos, a colocação de um grupo de notícias, um blog, um anúncio online etc. Os documentos incluem freqüentemente informações textuais e podem incluir informações embutidas (tais como meta informações, imagens, hiperlinks etc.) e/ou instruções embutidas (como JavaScript etc.). Um "link", como o termo é aqui usado, deve ser interpretado amplamente de maneira a incluir qualquer referência para/a partir de um documento a partir de/para outro documento ou outra parte do mesmo documento.

Visão Geral

As Figuras 1 e 2 ilustram uma visão global exemplificativa de uma implementação da invenção em que o comportamento observa- do do usuário pode ser usado para estimar qualidades de anúncios online e, então, as qualidades estimadas podem ser usadas para filtrar, classificar e/ou promover os anúncios selecionados.

Conforme mostrado na Figura 1, cada um dos anúncios múltiplos avaliados 100-1 até 100-N (coletivamente aqui referidos como anúncio 100) podem ser associados a um documento correspondente 105-1 até 105-N (coletivamente aqui referidos como documento 105). Cada documento 105 pode incluir um conjunto de resultados de busca resultantes a partir de uma busca executada por um motor de busca com base numa questão de busca proporcionada por um usuário e pode ainda incluir um ou mais anúncios além de um anúncio avaliado 100. Cada anúncio 100 pode ser associado a dados de avaliações 120 pro- porcionados por classificadores humanos que classificaram uma quali- dade de cada anúncio avaliado 100. Cada anúncio 100 pode anunciar vários produtos ou serviços.

Em resposta ao recebimento de um anúncio 100, o usuário receptor pode, com base no "criativo" exibido no anúncio, selecionar 110 o anúncio (por exemplo, "clique" no anúncio exibido usando, por exemplo, um mouse). Depois da seleção do anúncio 110, pode ser provido um documento de aterrissagem de anúncio 115 para o usuário selecionar por um servidor que hospeda o anúncio usando um link embutido no anúncio 100. O documento de aterrissagem do anúncio 115 pode prover detalhes do(s) produto(s) e/ou serviço(s) anunciado(s) no anúncio correspondente 100.

Antes, durante e/ou depois de cada seleção de anúncio 110 pelo usuário, as características de sessão 125 associadas a cada seleção de anúncio 110 durante uma "sessão" podem ser medidas em tempo real ou anotadas em memória ou em disco. Uma sessão pode incluir um agrupamento de ações do usuário que acontecem sem uma inter- rupção mais longa do que um período especificado de tempo (por exem- plo, um grupo de ações do usuário que ocorrem sem uma interrupção mais longa do que três horas).

As características de sessão medidas 125 podem incluir qualquer tipo de comportamento ou ações observados do usuário. Por exemplo, as características de sessão 125 podem incluir uma duração da seleção do anúncio 110 (por exemplo, uma duração do "clique" no anúncio 100), o número de seleções de outros anúncios antes e/ou depois de uma dada seleção de anúncio, o número de seleções de resultados de busca antes e/ou depois de uma dada seleção de anún- cio, o número de seleções em outros tipos de resultados (por exemplo, imagens, notícias, produtos etc.) antes e/ou depois de uma seleção de um dado anúncio, várias vistas de documento (por exemplo, vistas de páginas) antes e/ou depois de uma dada seleção de anúncio (por exem- plo, vistas da página de resultados de busca antes e/ou depois da seleção do anúncio), o número de questões de busca antes e/ou depois de uma dada seleção de anúncio, o número de questões associadas a uma sessão de usuário que mostra anúncios, o número de seleções de repetição num mesmo anúncio dado ou uma indicação sobre se uma dada seleção de anúncio era a última seleção numa sessão, a última seleção de anúncio numa sessão, a última seleção para uma dada questão de busca ou a última seleção de anúncio para uma dada questão de busca. Outros tipos de comportamento de usuário observa- do associados com uma seleção de anúncio, não descrita acima, podem ser usados, consistente com aspectos da invenção.

Usando as características de sessão medidas 125 e dados de avaliações de anúncio 120, associados a cada seleção de anúncio 110 de um anúncio avaliado correspondente 100, pode ser construído ura modelo estatístico 130 (como ainda descrito abaixo). O modelo estatístico pode incluir um modelo de probabilidade derivada usando técnicas estatísticas. Essas técnicas podem incluir, por exemplo, regressão logística, árvores de regressão, stumps impulsionados ou qualquer outra técnica de modelagem estatística. O modelo estatístico 130 pode proporcionar um valor preditivo que estima a probabilidade de que um dado anúncio seja bom dadas as características de sessão medidas associadas a uma seleção de usuário do anúncio (por exemplo, P (bom anúncioI seleção de anúncio)=fg(características de sessão)).

Subseqüentemente à construção do modelo estatístico 130, podem ser preditos os valores de qualidade de anúncio de anúncios selecionados por um ou mais usuários. Um anúncio 135, associado a um documento 140 e hospedado por um servidor numa rede, pode ser provido a um usuário de acesso. As características de sessão 155 associadas à seleção do usuário 145 do anúncio 135 podem ser medi- das ou anotadas na memória ou em disco e as medições podem ser fornecidas como entradas no modelo estatístico 130. O modelo estatís- tico 130 pode determinar uma probabilidade de que o anúncio 135 seja um bom anúncio, dadas as características de sessão medidas, e pode predizer um(uns) valor(es) de qualidade de anúncio(s) 160 para o anún- cio 135. Embora a Figura 1 represente a predição de uma qualidade de valor associada a um anúncio único 135, os valores de qualidade de anúncio 160 podem ser estimados para cada anúncio 135 selecionado por múltiplos usuários para produzir múltiplos valores de qualidade de anúncio preditos 160.

Como mostrado na Figura 2, os valores de qualidade predi- tos 160 que resultam de múltiplas seleções de anúncio podem ser agregados e processados 200 (como descrito abaixo com respeito às Figuras 14-20) para proporcionar ainda parâmetros de qualidade de anúncio 210 que indicam que cada anúncio respectivo é um bom anúncio ou um anúncio ruim. Os parâmetros de qualidade de anúncio 210 podem ser usados para filtrar, classificar e/ou promover anúncios selecionados dos anúncios associados aos parâmetros de qualidade de anúncio 210. Um conjunto de anúncios 220 pode ser primeiro deter- minado ser relevante para uma questão de busca 224 emitida por um usuário. Um anúncio pode ser determinado ser relevante para a ques- tão de busca 224, por exemplo, com base numa comparação do conteú- do do anúncio com os termos da questão de busca 224. O conjunto de anúncios 220 pode, então, ser filtrado 230 com base no(s) parâmetro(s) de qualidade de anúncio 210, só ou em combinação com CTR, associa- dos a cada um dos anúncios. Filtrar o conjunto de anúncios 220 pode desabilitar os anúncios selecionados dos anúncios de tal forma que não são providos ao usuário que emitiu a questão de busca 224. Várias técnicas, que usam as qualidades de anúncio estimadas, podem ser usadas para filtrar anúncios selecionados do conjunto de anúncios relevantes 210, como melhor descrito abaixo.

O conjunto de anúncios relevantes 220 pode, então, ser classificado 240 com base no(s) parâmetro(s) de qualidade de anúncio 210. O conjunto de anúncios relevantes 220 pode ser classificado 240 subseqüentemente (ou antes) à filtração 230 ou sem que a filtração 230 seja realizada. A classificação 240 do conjunto de anúncios relevantes 220 determina uma ordem selecionada para prover cada um dos anún- cios relevantes 220 ao usuário que emitiu a questão de busca 224.

Um ou mais anúncios do conjunto de anúncios relevantes 220 podem ainda ser promovidos 250 com base no(s) parâmetro(s) de qualidade de anúncio 210. A promoção de um anúncio pode incluir posicionar o anúncio promovido num local diferente num documento em relação a anúncios não promovidos. Por exemplo, os anúncios promovidos podem ser colocados numa posição em destaque (mais proeminente) num documento (por exemplo, na parte superior de um documento ou uma parte inferior do documento), enquanto os anúncios não promovidos podem ser colocados numa posição diferente, não destacada ou menos proeminente no documento. O conjunto de anún- cios relevantes 220 pode ser promovido 250 subseqüentemente à flltração 230 e classificação 240, subseqüentemente apenas à classifi- cação 240 ou sem que a filtração 230 nem a classificação 240 sejam realizadas.

Os anúncios filtrados, classificados e/ou promovidos podem ser providos ao usuário que emitiu a questão de busca 224. Em algumas implementações, os anúncios filtrados, classificados e/ou promovidos podem ser incluídos num ou mais documentos fornecidos ao usuário que incluem resultados de busca resultantes da execução da questão de busca emitida 224 pelo usuário por um motor de busca.

Configuração de Rede Exemplificativa

A Figura 3 é um diagrama exemplificativo de uma rede 300 em que podem ser implementados sistemas e métodos consistentes com os princípios da invenção. A rede 300 pode incluir clientes múltiplos 310 conectados a um ou mais servidores 320-330 via uma rede 340. Dois clientes 310 e dois servidores 320-330 foram ilustrados como conectados à rede 340 para simplicidade. Na prática, pode haver mais ou menos clientes e servidores. Também, em alguns casos, um cliente pode realizar uma função de um servidor e um servidor pode realizar uma função de um cliente.

Os clientes 310 podem incluir entidades clientes. Uma entidade pode ser definida como um dispositivo, tal como um computa- dor pessoal, um telefone sem fio, um assistente digital pessoal (PDA), um laptop ou outro tipo de dispositivo de computação ou de comunica- ção, uma thread ou processo que corre num destes dispositivos e/ou um objeto executável por um destes dispositivos. Um ou mais usuários podem ser associados a cada cliente 310. Os servidores 320 e 330 podem incluir entidades de servidor que acessam, buscam, agregam, processam, buscam e/ou mantêm documentos de uma maneira consis- tente com os princípios da invenção. Os clientes 310 e servidores 320 e 330 podem conectar a rede 340 via conexões com fio, sem fio e/ou ópticas.

Numa implementação consistente com os princípios da invenção, o servidor 320 pode incluir um sistema de motor de busca 325 utilizável por usuários nos clientes 310. O servidor 320 pode implementar um serviço de agregação de dados arrastando um corpo de documentos (por exemplo, documentos da web), indexando os docu- mentos e armazenando informações associadas aos documentos num repositório de documentos. O serviço de agregação de dados pode ser implementado de outros modos, tais como por acordo com o(s) opera- dores) de servidor(es) de dados 330 para distribuir os seus documentos hospedados via o serviço de agregação de dados. Em algumas imple- mentações, o servidor 320 pode hospedar anúncios (por exemplo, criativos, documentos de aterrissagem de anúncio) que podem ser fornecidos a usuários nos clientes 310. O sistema de motor de busca 325 pode executar uma questão, recebida a partir de um usuário num cliente 310, no corpo de documentos armazenados no repositório de documentos, e pode prover um conjunto de resultados de busca para o usuário que é relevante para a questão executada. Além do conjunto de resultados de busca, o servidor 320 pode proporcionar um ou mais criativos de anúncios, associados a resultados da busca executada, para o usuário no cliente 310.

O(s) servidor(es) 330 pode(m) armazenar ou manter docu- mentos que podem ser arrastados pelo servidor 320. Esses documentos podem incluir dados relacionados a histórias de notícias publicadas, produtos, imagens, grupos de usuários, áreas geográficas ou qualquer outro tipo de dados. Por exemplo, o(s) servidor(es) 330 pode(m) arma- zenar ou manter histórias de notícias a partir de qualquer tipo de fonte de notícias, tal como, por exemplo, o Washington Post, o New York Times, a revista Time ou Newsweek. Como outro exemplo, o(s) servi- dor(es) 330 pode(m) armazenar ou manter dados relacionados a produ- tos específicos, tais como dados de produto proporcionados por um ou mais fabricantes de produtos. Ainda outro exemplo, o(s) servidor(es) 330 pode(m) armazenar ou manter dados relacionados a outros tipos de documentos da Web, tais como páginas de sítios da Web. Os servi- dor(es) 330 pode(m) ainda hospedar anúncios, tais como criativos de anúncios e documentos de aterrissagem de anúncios.

A rede 340 pode incluir uma ou mais redes de qualquer tipo, incluindo uma rede de área local (LAN), uma rede de área ampla (WAN), uma rede de área metropolitana (MAN), uma rede de telefones, tal como a Rede de Telefones Públicos Comutados (PSTN) ou uma Rede Móvel Pública (PLMN), uma intranet, a Internet, um dispositivo de memória ou uma combinação de redes. O(s) PLMN(s) pode(m) ainda incluir uma sub-rede de pacote comutados, tal como, por exemplo, Serviço Geral de Rádio de Pacotes (GPRS), os Dados de Pacote Digital Celular (CDPD) ou sub-rede IP Móvel.

Embora os servidores 320-330 sejam mostrados como entidades separadas, pode ser possível que um dos servidores 320-330 realize uma ou mais das funções dos outros servidores 320-330. Por exemplo, pode ser possível que os servidores 320 e 330 sejam imple- mentados como um servidor único. Pode também ser possível que um único dos servidores 320 e 330 seja implementado como dois ou mais dispositivos separados (e, possivelmente, distribuídos).

Arquitetura de Cliente/

Servidor Exemplificativa

A Figura 4 é um diagrama exemplificativo de um cliente ou entidade de servidor (adiante chamada "entidade de cliente/servidor"), que pode corresponder a um ou mais clientes 310 e/ou servidores 320- 330, de acordo com uma modalidade consistente com os princípios da invenção. A entidade de cliente/servidor pode incluir um barramento 410, um processador 420, uma memória principal 430, uma memória de leitura (ROM) 440, um dispositivo de armazenamento 450, um dispositivo de entrada 460, um dispositivo de saída 470 e uma interface de comunicação 480. O barramento 410 pode incluir um trajeto que permite a comunicação entre os elementos da entidade de clien- te/ servidor.

O processador 420 pode incluir um processador, um mi- croprocessador ou lógica de processamento que pode interpretar e executar instruções. A memória principal 430 pode incluir uma memó- ria de acesso aleatório (RAM) ou outro tipo de dispositivo de armazena- mento dinâmico que possa armazenar informações e instruções para execução pelo processador 420. A ROM 440 pode incluir um dispositivo de ROM ou outro tipo do dispositivo de armazenamento estático que possa armazenar informações e instruções estáticas para uso pelo processador 420. O dispositivo de armazenamento 450 pode incluir um meio de gravação magnética e/ou óptica e seu drive correspondente.

O dispositivo de entrada 460 pode incluir um mecanismo que permita que um operador introduza informações na entidade de cliente/servidor, tal como um teclado, um mouse, uma caneta, reco- nhecimento de voz e/ou mecanismos biométricos etc. O dispositivo de saída 470 pode incluir um mecanismo que dá saída a informações para o operador, incluindo uma tela, uma impressora, um alto-falante etc. A interface de comunicação 480 pode incluir qualquer mecanismo tal como um transceptor que habilita a entidade de cliente/servidor a comunicar-se com outros dispositivos e/ou sistemas. Por exemplo, a interface de comunicação 480 pode incluir mecanismos para comunica- ção com outro dispositivo ou sistema via uma rede, tal como a rede 340. A entidade de cliente/servidor, consistente com os princí- pios da invenção, pode realizar certas operações ou processos, como será descrito em detalhe abaixo. A entidade de cliente/servidor pode realizar estas operações em resposta à execução pelo processador 420 de instruções de software contidas num meio legível em computador, tal como a memória 430. Um meio legível em computador pode ser defini- do como um dispositivo de memória física ou lógica e/ou uma onda portadora.

As instruções de software podem ser lidas para a memória 430 a partir de outro meio legível em computador, tal como um disposi- tivo de armazenamento de dados 450 ou a partir de outro dispositivo via a interface de comunicação 480. As instruções de software contidas na memória 430 podem fazer que o processador 420 realize operações ou processos que serão descritos mais adiante. Alternativamente, podem ser usados circuitos de ilação em lugar ou em combinação com instru- ções de software para implementar processos consistentes com os princípios da invenção. Deste modo, as modalidades consistentes com os princípios da invenção não são limitadas a nenhuma combinação específica de circuitos de hardware nem software.

Processo Exemplificativo de Construção de Modelo Estatístico de Comportamento do Usuário

Associado a Seleções de Anúncios

A Figura 5 é um fluxograma de um processo exemplificativo para construir um modelo estatístico de comportamento do usuário associado a seleções de múltiplos anúncios online. Como uma pessoa qualificada na técnica observará, o processo exemplificado pela Figura 5 pode ser implementado em software e armazenado numa memória legível em computador, tal como a memória principal 430, ROM 440 ou um dispositivo de armazenamento 450 do servidor 320, o servidor 330 ou um cliente 310, conforme apropriado.

0 processo exemplificativo pode começar com a obtenção de dados de avaliações associados a anúncios avaliados (bloco 500). Os dados de avaliações podem incluir dados gerados pelo homem que classificam a qualidade de cada um dos anúncios avaliados (por exem- plo, uma maneira de avaliação de um anúncio é classificar quão rele- vante é o anúncio em relação à questão emitida). As características de sessão associadas a cada seleção de um anúncio avaliado podem, então, ser obtidas (bloco 510). As características de sessão podem ser obtidas em tempo real observando o comportamento do usuário real durante uma dada sessão de usuário, que aconteceu antes, durante e depois da apresentação de cada impressão de anúncio para um usuário ou pode ser obtida de Iogs registrados de características de sessão (isto é, o comportamento e ações do usuário) que foram armazenados numa estrutura de dados antes, durante e/ou depois da apresentação de cada impressão de anúncio para um usuário. As características de sessão obtida 125 podem incluir qualquer tipo de comportamento do usuário observado. Cada uma das características de sessão 125 pode corres- ponder a uma medida indireta da satisfação do usuário com um dado anúncio. Certas das características de sessão 125 podem ser fatores para determinar como usuários diferentes têm valores diferentes para outras das características de sessão 125 (por exemplo, usuários com conexões discadas podem ter durações de seleção de anúncio mais longas do que usuários que têm conexões de Internet de elevada veloci- dade).

As características de sessão 125 podem incluir, mas sem limitação, uma duração de uma seleção de anúncios (por exemplo, uma duração do "clique" após o anúncio), várias seleções de outros anúncios antes e/ou depois de uma dada seleção de anúncio, várias seleções de resultados de busca antes e/ou depois de uma dada seleção de anún- cio, várias seleções de outros resultados antes e/ou depois de uma dada seleção de anúncio, várias vistas de documento (por exemplo, vistas de páginas) antes e/ou depois de uma dada seleção de anúncio, várias questões de busca antes e/ou depois de uma dada seleção de anúncio, várias questões de busca associadas a uma sessão de usuário que mostra anúncios, vários seleções de repetição num mesmo anúncio dado ou uma indicação sobre se uma dada seleção de anúncio foi a última seleção numa sessão, a última seleção de anúncios numa ses- são, uma última seleção para uma dada questão de busca ou a última seleção de anúncio para uma dada questão de busca. As Figuras 6-13 abaixo representam vários tipos exemplificativos de comportamento do usuário, consistentes com aspectos da invenção, que podem ser medi- dos como características de sessão.

A Figura 6 ilustra a medida de uma duração de uma sele- ção de anúncio como uma característica de sessão 600. Como mostra- is do na Figura 6, um anúncio 605, que está associado a um documento 610, pode ser fornecido a um usuário. Em resposta ao recebimento do anúncio 605, o usuário pode selecionar o anúncio 615 de 605 e um documento de aterrissagem de anúncio 620 pode ser fornecido ao usuário. Uma duração 625 da seleção de anúncio (por exemplo, o período do tempo de seleção do anúncio até à próxima ação do usuário, tal como clicar em outro anúncio, introduzir uma nova questão etc.) pode ser medida como uma característica de sessão 600.

A Figura 7 ilustra a medida de várias outras seleções de anúncio antes e/ou depois de uma seleção de anúncio particular como uma característica de sessão 700. Dada uma seleção particular 705 de um anúncio N 710 e o fornecimento de um documento de aterrissagem de anúncio 715 em resposta à seleção de anúncio 705, podem ser medidas várias uma ou mais seleções de anúncio anteriores 720 de anúncios N-x 725, correspondendo ao fornecimento de documentos de aterrissagem de anúncio anterior 730. Adicional ou alternativamente, dada uma seleção particular 705 de um anúncio N 710, podem ser medidas várias uma ou mais seleções de anúncios subseqüentes 735 de anúncios N+x 740, correspondendo ao fornecimento de documentos de aterrissagem de anúncios subseqüentes 745. O número de outras seleções de anúncio antes e/ou depois de uma seleção de anúncio particular pode ser medido como uma característica da sessão 700.

A Figura 8 ilustra a medida de várias seleções de resultados de busca antes e/ou depois de uma seleção de anúncio particular como uma característica da sessão 800. Dada uma seleção particular 805 de um anúncio N 810 e o fornecimento de um documento de aterrissagem de anúncio 815 em resposta à seleção de anúncio 805, podem ser medidos vários documentos de resultados de busca 820 vistos pelo usuário antes da seleção de anúncio 805 como uma característica da sessão 800. Os documentos de resultados de busca podem ser providos ao usuário com base na execução de uma busca usando uma questão de busca emitida pelo usuário. Adicional ou alternativamente, vários documentos de resultados de busca 825 vistos pelo usuário depois da seleção de anúncio 805 podem ser medidos como uma característica de sessão 800.

A Figura 9 ilustra a medida de vários documentos vistos por um usuário antes e/ou depois de uma seleção de anúncio particu- lar como uma característica de sessão 900. Dada uma seleção particu- lar 905 de um anúncio 910 e o fornecimento de um documento de aterrissagem de anúncio 915 em resposta à seleção de anúncio 905, vários documentos 920 vistos por um usuário (por exemplo, vistas de páginas) antes da seleção de anúncio 905 podem ser medidos como uma característica de sessão 900. Adicional ou alternativamente, vários documentos 925 vistos por um usuário (por exemplo, vistas de páginas) depois da seleção do anúncio 905 podem ser medidos como uma característica de sessão 900.

A Figura 10 ilustra a medida de várias questões de busca emitidas por um usuário antes e/ou depois de uma seleção de anúncio particular como uma característica de sessão 1000. Dada uma seleção particular 1005 de um anúncio 1010 e o fornecimento de um documen- to de aterrissagem de anúncio 1015 em resposta ã seleção de anúncio 1005, várias questões de busca 1020 emitidas por um usuário antes da seleção de anúncio 1005 podem ser medidas como uma característica de sessão 1000. Adicional ou alternativamente, várias questões de busca 1025 emitidas por um usuário depois da seleção de anúncio 1005 podem ser medidas como uma característica de sessão 1000.

A Figura 11 ilustra a medida de várias questões de busca, numa sessão que inclui uma seleção de anúncio particular, que resulta na exibição de um anúncio como uma característica de sessão 1100. Dada uma sessão que inclui uma seleção de anúncio particular, podem ser medidas várias questões de busca 1105 que resultam na exibição de um anúncio correspondente de 1110-1 até 1110-N. O número de questões de busca pode ser medido como uma característica de sessão 1100. O número de questões de busca 1105 que resultam na exibição de um anúncio pode indicar a natureza comercial de uma dada sessão de usuário.

A Figura 12 ilustra a medida de várias seleções de repetição do mesmo anúncio por um usuário como uma característica de sessão 1200. Como mostrado na Figura 12, um anúncio 1205, que pode ser associado a documentos múltiplos de 1210-1 até 1210-N, pode ser fornecido a um usuário uma ou mais vezes. Em resposta a cada rece- bimento do anúncio 1205, o usuário pode selecionar 1215 o anúncio 1205 e um documento de aterrissagem de anúncio 1220 pode ser fornecido ao usuário para cada uma das seleções de usuário repetidas. O número de seleções de repetição do mesmo anúncio pelo usuário pode ser medido como uma característica da sessão 1200.

A Figura 13 ilustra a determinação sobre se uma seleção de anúncio é a última seleção de anúncio para uma dada questão de busca ou se a seleção de anúncio é a última seleção de anúncio para uma sessão de usuário como característica de sessão 1300. Como mostrado na Figura 13, um usuário pode emitir uma questão de busca 1305 durante uma sessão dada 1310 e um ou mais anúncios 1315 podem ser providos ao usuário subseqüente para emissão de questão de busca 1305. Em resposta a cada recebimento do(s) anúncio(s) 1315, o usuá- rio pode selecionar 1320 o anúncio 1315 e um documento de aterrissa- gem de anúncio 1325 pode ser proporcionado ao usuário. Uma deter- minação pode ser feita se a seleção de anúncio 1320 é a última seleção de anúncio para a questão de busca 1305. Deste modo, se foram selecionados anúncios múltiplos pelo usuário que emitiu a questão de busca 1305, então só a última seleção de anúncio para a questão de busca 1305 pode ser identificada. Uma determinação pode também ser feita se a seleção de anúncio 1320 fosse a última seleção de anúncio para a sessão 1310. Portanto, se tiverem sido feitas pelo usuário múltiplas seleções de anúncio durante uma dada sessão, então só a última seleção de anúncio para a sessão pode ser identificada.

Outros tipos de comportamento de usuário, não mostrados nas Figuras 6-13, podem ser usados como características de sessão consistentes com princípios da invenção. O seguinte lista numerosos exemplos de outras características de sessão exemplificativas:

1) em vez de uma duração de seleção de anúncio, uma relação de dada duração de seleção de anúncio em relação à duração média de seleção de anúncio para um dado usuário pode ser usada como característica de sessão;

2) uma relação de uma dada duração de seleção de anúncio em relação a todas as seleções (por exemplo, seleções de resultados de busca ou seleções de anúncio); 3) quantas vezes um usuário seleciona um dado anúncio numa dada sessão;

4) uma duração de tempo, a partir de uma seleção de resultado de anúncio, até que o usuário emita outra questão de busca.

Isto pode incluir tempo gasto em outras páginas (alcançadas via um clique de resultado de busca ou clique de anúncio) subseqüente a um dado clique de anúncio;

5) uma relação do tempo, a partir de uma dada seleção de resultado de anúncio até que o usuário emita outra questão de busca, em comparação com todos os outros tempos a partir de seleções de resultados de anúncios até que o usuário emita outra questão de busca.

6) o tempo gasto, dada uma seleção de resultado de anúncio, ao ver outros resultados para a questão de busca, mas não no resultado de anúncio dado;

7) uma relação do tempo gasto em 6) acima (isto é, o tempo gasto sobre outros resultados em vez da duração do clique) para uma média do tempo gasto em 6) através de todas as questões;

8) quantas buscas (isto é, uma questão de busca única emitida) que acontece numa sessão dada antes de um dado resultado de busca ou seleção de anúncio;

9) quantas buscas que acontecem numa dada sessão, depois de um dado resultado de busca ou seleção de anúncio;

10) em lugar de buscas, quantas vistas de páginas de resultados que acontecem para uma dada questão de busca antes de uma dada seleção. Isto pode ser computado dentro da questão (isto é, para uma única questão) ou para a sessão inteira; 11) em lugar de buscas, quantas vistas de resultados de busca que acontecem para uma dada questão de busca depois desta seleção. Isto pode ser computado dentro da questão (isto é, para a questão única) ou para a sessão inteira;

12) o número total de vistas de página que acontece na sessão;

13) o número de vistas da página na sessão que mostra anúncios;

14) a relação do número de vistas da página na sessão que mostra anúncios para o número total de vistas da página que acontecem na sessão;

15) o número total de impressões de anúncio mostra- das na sessão;

16) o número médio de anúncios mostrados por questão que mostram anúncios, outra medida da comerciabilidade da sessão;

17) o tempo de varredura da questão - quanto tempo a partir de quando o usuário vir os resultados de uma questão até quando o usuário fizer qualquer outra coisa (clicar num anúncio, resultado de busca, próxima página, nova questão etc.);

18) a relação entre um dado tempo de varredura da questão e todos os outros tempos de varredura da questão;

19) o número total de seleções (por exemplo, cliques) que ocorreram numa dada busca. Estas seleções incluem todos os tipos de seleções (por exemplo, busca, caixa, anúncios) em lugar de apenas seleções de anúncio; 20) o número total de seleções que ocorreram numa busca antes uma dada seleção de anúncio;

21) o número total de seleções que ocorreram numa busca depois de uma dada seleção de anúncio;

22) o número total de seleções de anúncio que ocor- reram numa busca. Pode necessitar de ser normalizado pelo número de anúncios na página;

23) o número total de seleções de anúncio que acon- teceram numa busca antes uma dada seleção de anúncio;

24) o número total de seleções de anúncio que acon- teceram numa busca depois de uma dada seleção de anúncio;

25) o número total de seleções de anúncio, que aconteceram numa busca, cujas posições de anúncio em um documen- to foram localizadas acima de uma posição de um anúncio dado no documento;

26) o mero total de seleções de anúncio que acontece- ram numa busca, cujas posições de anúncio em um documento foram zadas abaixo de uma posição de um dado anúncio no documento;

27) o mero total de seleções de anúncio que acontece- ram numa busca que não estão em um dado anúncio;

28) o mero total de seleções de resultados de busca que aconteceram numa busca;

29) o número total de seleções de busca que aconte- ceram numa busca antes uma dada seleção de anúncio;

30) o número total de seleções de resultados de busca que aconteceram numa busca depois de uma dada seleção de anúncio;

31) o número total de seleções de resultados de busca de uma duração longa que aconteceram na sessão;

32) o número total de seleções de resultados de busca de uma duração pequena que aconteceram na sessão;

33) o número total de seleções de resultados de busca que são as últimas aquela acontecidas na sessão. Um dado usuário pode terminar uma sessão clicando num resultado de busca, sem ações subseqüentes, ou o usuário pode terminar uma sessão de algum outro modo (por exemplo, resultado de cliques de anúncio, emissão de uma questão e sem clicar etc.);

34) o número total de resultados de não busca e seleções de não anúncio que aconteceram numa busca;

35) uma indicação sobre se houve uma conversão desta seleção de anúncio;

36) uma indicação da velocidade de conexão do usuário (por exemplo, ligação discada, cabo, DSL);

37) uma indicação do país em que o usuário está localizado. As culturas diferentes poderiam levar a usuários reagindo diferentemente ao mesmo anúncio ou tendo reações culturais diferentes ou ficando em locais diferentemente;

38) uma indicação de qual região do mundo (por exemplo, APAC = Ásia Pacífico) em que o usuário está localizado;

39) foi a palavra-chave para um dado anúncio uma coincidência exata para a questão de busca (isto é, tem todos os mes- mos termos que a questão) ou está faltando uma palavra, mais de uma palavra ou tem de reescrever os termos. Freqüentemente, a qualidade de um anúncio pode variar (quanto mais exata a coincidência, mais elevada a qualidade) e a coincidência da palavra-chave pode ser um caminho razoável para segmentar anúncios e predizer se um anúncio é bom ou ruim separadamente para diferentes tipos de coincidências;

40) uma indicação de um clique estimado por taxa (CTR) para um dado anúncio;

41) que custo por clique (CPC) pagou o anunciante por uma dada seleção de anúncio? A probabilidade de que um anúncio seja bom pode depender de quanto o anunciante pagou (mais é quali- dade mais elevada);

42) que CPC estava o anunciante disposto a pagar? Num leilão de anúncios, pode ser usada a licitação de anunciante para ajustar a classificação de anúncio e o anúncio/anunciante classificado mais baixo do que um dado anúncio/anunciante ajusta o preço que é efetivamente pago pelo anúncio/anunciante próximo classificado mais elevado;

43) CPC efetivo * CTR predito; ou

44) oferta CPC * CTR predito.

O acima descreve exemplos numerosos de características de sessão que podem ser usadas para o modelo estatístico. Todavia, uma pessoa qualificada na técnica reconhecerá que podem ser usadas outras características de sessão, alternativamente ou em conjunto com quaisquer das características de sessão acima descritas.

Retornando à Figura 5, um modelo estatístico pode, então, ser derivado o qual determina a probabilidade de que cada anúncio selecionado seja um anúncio de boa qualidade dadas as características de sessão medidas associadas com a seleção de anúncio (bloco 520). Uma técnica estatística existente, tal como, por exemplo, regressão logística pode ser usada para derivar o modelo estatístico consistente com princípios da invenção. A regressão envolve achar uma função que relacione uma variável de resultado (variável dependente y) com um ou mais preditores (variáveis independentes x1, X2 etc.). A regressão linear simples assume uma função da forma:

<formula>formula see original document page 28</formula>

e acha os valores de co, C1, C2 etc. (co é chamado o "interceptador" ou "termo constante"). No contexto da presente invenção, cada variável preditora xi, X2, X3-..etc. corresponde a uma característica de sessão diferente medida durante a seleção do anúncio. A regressão logística é uma variação de regressão ordinária, útil quando o resultado observado for restringido a dois valores, que normalmente representam a ocorrên- cia ou não ocorrência de algum evento de resultado, (normalmente codificado como 1 ou 0, respectivamente), tal como um anúncio bom ou um anúncio ruim no contexto da presente invenção.

A regressão logística produz uma fórmula que prediz a probabilidade da ocorrência como função das variáveis independentes preditoras. A regressão logística ajusta uma curva especial conformada em S tomando a regressão linear (Eqn. (1) acima), que poderia produzir qualquer valor y entre menos infinito e mais infinito e transformando-a com a função:

P = exp(y) / (1 + exp (y)) Eqn. (2)

que produz valores P entre 0 (à medida que y tende para menos infinito) e 1 (ã medida que y tende para mais infinito). Substituindo Eqn. (1) na Eqn. (2), a probabilidade de um bom anúncio torna-se, deste modo, a seguinte: P(bom anúncio/seleção de anúncio) = fg(características de sessão X1, X2, X3...) =

<formula>formula see original document page 29</formula>

onde Cg0 é a constante da equação e Cgn é o coeficiente da característica de sessão variável preditora xn. A probabilidade de um anúncio ruim pode, de modo semelhante, ser determinada pela seguinte:

P(mau anúncio/seleção de anúncio)= fb (características de sessão x1, X2, X3...) =

<formula>formula see original document page 29</formula>

onde Cb0 é a constante da equação e Cbn é o coeficiente das variáveis preditoras de característica de sessão preditor xn.

Um ajuste do modelo estatístico pode ser testado para determinar que características de sessão estão correlacionadas com anúncios de qualidade boa ou ruim. Se for usada uma técnica de regressão logística para determinar o modelo estatístico, a meta de regressão logística corretamente é predizer o resultado para casos individuais usando o modelo mais parcimonioso. Para realizar esta meta, é criado um modelo que inclui todas as variáveis preditoras (por exemplo, características de sessão) que são úteis para predizer o resul- tado da variável dependente y. Para construir o modelo estatístico, a regressão logística pode testar o ajuste do modelo depois de cada coefi- ciente (cn) ser adicionado ou apagado, chamada de regressão passo a passo. Por exemplo, pode ser usada a regressão reversa passo a passo, em que a construção de modelo começa com um modelo total ou satu- rado e as variáveis preditoras e seus coeficientes são eliminados do modelo num processo iterativo. O ajuste do modelo é testado depois da eliminação de cada variável para assegurar que o modelo ainda ade- quadamente se ajusta aos dados. Quando variáveis preditoras não mais puderem ser eliminadas do modelo, a construção do modelo foi completada. As variáveis preditoras que são deixadas no modelo, cada uma correspondendo a uma característica de sessão medida, identifi- cam as características de sessão que são correlacionadas com anúncios bons ou ruins. A regressão logística pode, deste modo, proporcionar conhecimento das relações e forças entre as diferentes variáveis predito- ras. O processo pelo qual os coeficientes e suas correspondentes variáveis preditoras são testados quanto à significância para inclusão ou eliminação a partir do modelo pode envolver várias técnicas conheci- das diferentes. Essas técnicas podem incluir o teste de WaId, o teste de da Probabilidade de Relação ou o teste do Ajuste de Perfeição de Hos- mer-Lemshow. Estas técnicas de teste de coeficientes são conhecidas na técnica e não são ainda aqui descritas. Em outras implementações, podem ser usadas as técnicas existentes para validação cruzada e treinamento independente em vez de técnicas de estimativa clássica e teste de coeficientes de regressão, como descrito acima.

Outras técnicas estatísticas existentes, em vez de ou além da regressão logística, podem ser usadas para derivar um modelo estatístico consistente com os princípios da invenção. Por exemplo, um "modelo de stumps", usando técnicas de "impulsionamento" (boosting) pode ser usado para derivar o modelo estatístico. Como uma pessoa qualificada na técnica reconhecerá, "impulsionamento" é uma técnica de aprendizado de máquina para construir um modelo estatístico melhorando sucessivamente um modelo estatístico de outra forma fraco. A idéia básica é aplicar repetidamente o mesmo algoritmo para um conjunto inteiro de dados de treinamento, mas pesar diferencial- mente os dados de treinamento em cada fase. Os pesos são tais que os casos que são bem ajustados pelo modelo através da fase k recebem pesos relativamente pequenos na fase k+1, enquanto os casos que são mal ajustados pelo modelo através da fase k recebem pesos relativa- mente grandes na fase k+1.

Os stumps são um modelo estatístico fraco que pode ser aplicado em cada fase. Um stwnp é uma árvore de classificação de 2 folhas consistindo num nodo de raiz e uma regra binária que divide os casos em dois subconjuntos mutuamente exclusivos (isto é, os nodos de folha). Uma regra poderia assumir a forma "ClickDuration (duração de clique)< 120s" e todos os casos com ClickDuration que satisfazem à regra entram num nodo de folha e aqueles que não satisfazem a regra entram no outro nodo de folha. Outra regra poderia assumir a forma " AdSelection was the Iast ad selection" (AdSelection foi a última seleção de anúncio) e todos os casos com AdSelection que satisfaz o regra entram num nodo de folha e aqueles que não satisfazem a regra entram no outro nodo de folha.

Vários algoritmos podem ser usados para ajustar o modelo "stump impulsionado" incluindo, por exemplo, métodos com base em gradiente. Esses algoritmos podem atuar como se segue: dado um conjunto de pesos, entre todas as decisões binárias possíveis derivadas de características de sessão que particionam os casos em duas folhas, escolha aquele que minimiza a função de perda (pesada) associada ao algoritmo. Alguns exemplos de funções de perda são "Perda de Ber- noulli", correspondente a um método de probabilidade máxima, e "perda exponencial", correspondente ao conhecido método ADABoost. Depois de escolher a melhor regra de decisão binária nesta fase, os pesos podem ser recomputados e o processo pode ser repetido por meio do que é escolhida a melhor regra binária que minimiza a nova função de perda (pesada). Este processo pode ser repetido muitas vezes (por exemplo, várias centenas a vários milhares) e pode ser usada uma técnica de reamostragem (tal como validação cruzada) para definir uma regra de parada, a fim de impedir sobreajuste.

Os stumps impulsionados foram mostrados aproximarem- se de modelos aditivos de regressão logística por meio dos quais cada característica faz uma contribuição aditiva não linear (sobre a escala logística) ao modelo ajustado. A seqüência de stumps define a relação entre características de sessão e a probabilidade de que um anúncio seja avaliado como "bom". A seqüência pode ser expressa pelo modelo estatístico:

<formula>formula see original document page 32</formula>

Eqn (5)

onde Bk(x) = 1, se a característica de sessão χ satisfizer a regra binária de ordem k, ou Bk(x) = O, se característica de sessão χ não satisfizer a regra binária de ordem k. Os coeficientes cr, k = 1,..., são um subpro- duto do algoritmo e relacionam-se com as chances de um bom anúncio na regra binária de ordem k. Na prática, dada uma característica de sessão x, cada regra binária pode ser avaliada e os coeficientes corres- pondentes acumulados para obter a probabilidade predita de um bom anúncio. Um modelo estatístico, semelhante à Eqn. (5) acima, pode ser derivado de modo semelhante o qual define a relação entre a caracterís- ticas de sessão e a probabilidade de que um anúncio seja avaliado como "ruim".

Embora a regressão logística e stumps impulsionados tenham sido descritos acima como técnicas exemplificativas para construir um modelo estatístico, uma pessoa qualificada na técnica reconhecerá que outras técnicas estatísticas existentes, tais como, por exemplo, árvores de regressão podem ser usadas para derivar o modelo estatístico consistente com princípios da invenção.

Processo Bxemplificativo de Determinação de Valores Preditivos

Relacionados à Qualidade do Anúncio

A Figura 14 é um fluxograma de um processo exemplificati- vo para determinar valores preditivos relativos à qualidade de um anúncio de acordo com uma implementação consistente com os princí- pios da invenção. Como uma pessoa qualificada na técnica observará, o processo exemplificado através da Figura 14 pode ser implementado em software e armazenado numa memória legível em computador, como a memória principal 430, ROM 440 ou dispositivo de armazenamento 450 de servidores 320 ou 330 ou cliente 310, conforme apropriado.

O processo exemplificativo pode começar com o recebimen- to de uma questão de busca (bloco 1400). Um usuário pode emitir a questão de busca para o servidor 320 para execução pelo sistema de motor de busca 325. Um conjunto de anúncios que combina a questão de busca recebida pode ser obtido pelo sistema de motor de busca 325 (bloco 1405). O sistema de motor de busca 325 pode executar uma busca, com base na questão de busca recebida, averiguar o conjunto de anúncios e outros documentos que combinam com a questão de busca. O sistema de motor de busca 325 pode proporcionar o conjunto de anúncios e uma lista dos outros documentos, para o usuário que emitiu a questão de busca.

As características de sessão associadas à seleção de um anúncio a partir do conjunto de anúncios podem ser obtidas (bloco 1410). As características de sessão podem ser medidas em tempo real durante a seleção de anúncios do usuário ou podem ser obtidas a partir de logs de comportamento de usuário registrados associados à seleção de anúncio. Como mostrado na Figura 15, um usuário pode selecionar 1500 um anúncio 1505 associado a um documento 1510 (por exemplo, um documento que contém resultados de busca e anúncios relevantes).

Um documento de aterrissagem de anúncio 1515 pode ser proporciona- do ao usuário em resposta à seleção do anúncio 1505. Como mostrado na Figura 15, podem ser medidas as características de sessão 1520 associadas ã seleção 1500 de anúncio 1505. As características de sessão medidas podem incluir qualquer tipo de comportamento de usuário associado à seleção de um anúncio, tal como aqueles descritos acima com respeito ao bloco 510 (Figura 5).

O modelo estatístico, derivado no bloco 520 acima, e as características de sessão obtidas podem ser usadas para determinar valores preditivos 1530 de que o anúncio é um bom anúncio e/ou um anúncio ruim (bloco 1415). Os valores preditivos podem incluir um valor de probabilidade (por exemplo, derivado usando a Eqn. (3) ou (5) acima) que indicam a probabilidade de um bom anúncio, dadas as características de sessão associadas à seleção do usuário daquele anúncio. Os valores preditivos podem também incluir um valor de probabilidade (Eqn. (4) acima) que indica a probabilidade de um anún- cio ruim, dadas as características de sessão associadas à seleção do usuário daquele anúncio. Portanto, os valores de característica de sessão podem ser introduzidos na Eqn. (3), (4) e/ou (5) para obter um(uns) valor(es) preditivo(s) de que o anúncio selecionado é bom ou ruim. Por exemplo, os valores para as características de sessão χι, X2, X3 e X4 podem ser entrados na Eqn. (3) para obter um valor de probabi- lidade para P (anúncio bom/características de sessão Xl) χ2> χ3...). Como mostrado na Figura 15, as características de sessão medidas 1520 podem ser entrada no modelo estatístico 130 e o modelo estatísti- co 130 pode dar saída a valores preditivos 1530 para o anúncio 1505.

As características de anúncio/questão associadas à seleção do anúncio podem ser obtidas (bloco 1420). Como mostrado na Figura 15, características do anúncio/questão 1535 podem ser obtidas em associação com a seleção 1500 do anúncio 1505. As características do anúncio/questão 1535 podem incluir um identificador associado ao anunciante do anúncio 1505 (por exemplo, um localizador de recursos uniformes visível (URL) do anunciante), uma palavra-chave que o anúncio 1505 visa, palavras na questão de busca emitida pelo usuário que o anúncio 1505 não atingiu e/ou uma palavra na questão de busca emitida pelo usuário que o anúncio não atingiu, mas que é semelhante a uma palavra visada pelo anúncio 1505. Outros tipos de característi- cas de anúncio ou de questão, não descritos acima, podem ser usados consistentes com princípios da invenção. Por exemplo, qualquer das características de anúncio/questão acima descritas observadas em combinação (por exemplo, um emparelhamento de duas características de anúncio/questão) pode ser usada como uma característica única de anúncio / questão.

Para cada característica de anúncio/questão obtida (isto é, obtida no bloco 1420 acima), os valores preditivos determinados podem ser somados aos valores armazenados que correspondem à característi- ca de anúncio/questão (bloco 1425). Os valores preditivos determina- dos podem ser somados a valores armazenados numa estrutura de dados, tal como, por exemplo, estrutura de dados 1600 mostrada na Figura 16. Como mostrado na Figura 16, a estrutura de dados 1600 pode incluir múltiplas característica de anúncio/questão 1610-1 até 1610-N, com um "número total de seleções de anúncio" 1620, um valor preditivo total "bom" 1630 e um valor preditivo total "ruim" 1640 sendo associado a cada característica de anúncio/questão 1610. Cada valor preditivo determinado no bloco 1405 pode ser somado a um valor atual armazenado nas entradas 1630 ou 1640 que corresponde a cada carac- terística de anúncio /questão 1610 que é ainda associada ao anúncio e à questão em causa. Como exemplo, suponha-se que um anúncio para "1800flowers.com" é provido ao usuário em resposta à questão de busca "flores para o dia da mãe". As características de sessão associadas ã seleção do anúncio retornam uma probabilidade P (bom anúncio/ seleção de anúncio) de 0,9. Três características de anúncio/questão estão associadas ao anúncio e questão: o comprimento da questão (o número de termos na questão), o URL visível do anúncio e o número de palavras que estão na questão, mas não na palavra-chave que é associ- ada ao anúncio. Para cada uma das três características de anún- cio/questão, um valor correspondente "número total de seleções de anúncio" na entrada 1620 é incrementado de um e 0,9 é adicionado a cada valor armazenado no valor preditivo bom total 1630 que corres- ponde a cada uma das características do anúncio/questão.

Como mostrado na Figura 15, cada um dos valores prediti- vos determinados 1530 pode ser somado a um valor atual na estrutura de dados 1600. O bloco 1400 até 1425 pode ser seletivamente repetido para cada seleção de anúncio, por um ou mais usuários, para preen- cher a estrutura de dados 1600 com numerosos valores preditivos somados que são associados a uma ou mais características de anún- cio/questão.

Processo Exemplificativo de Estimativa das Chances

As Figuras 17 e 18 são fluxogramas de um processo exem- plificativo de estimativa das chances de qualidades boas ou ruins associadas a anúncios usando os valores preditivos totais 1630 ou 1640 determinados no bloco 1425 da Figura 14. Como uma pessoa qualifi- cada na técnica observará, o processo exemplificado pelas Figuras 17 e 18 pode ser implementado em software e armazenado numa memória legível em computador, tal como a memória principal 430, ROM 440 ou o dispositivo de armazenamento 450 dos servidores 320 ou 330 ou cliente 310, conforme apropriado.

As chances estimadas que um dado anúncio seja bom ou ruim é uma função das chances anteriores de que o dado anúncio era bom ou ruim e um ou mais parâmetros de modelo associados à caracte- rística de anúncio/questão associadas à seleção do anúncio dado. Os parâmetros de modelo podem ser calculados usando um processo iterativo que tenta resolver os valores de parâmetros que produzem o melhor ajuste das chances preditas de um anúncio bom ou ruim para os dados históricos reais usados para treinamento.

Os parâmetros de modelo associados a cada característica de anúncio/questão podem consistir num parâmetro único, tal como um multiplicador sobre a probabilidade ou chances de um bom anúncio ou um anúncio ruim. Alternativamente, cada característica de anún- cio/questão pode ter vários parâmetros de modelo associados a ela que podem afetar a probabilidade predita de um anúncio bom ou ruim de maneiras mais complexas.

Na descrição seguinte, são usadas várias chances e proba- bilidades. As chances de que ocorra um evento e a probabilidade de um evento acontecer são relacionadas pela expressão: Probabilidade = chances/(chances+1). Por exemplo, se as chances de um evento aconte- cer são 1/2 (isto é, as chances são "1:2" como é freqüentemente escrito), a probabilidade correspondente do evento acontecer é de 1/3. De acordo com esta convenção, chances e probabilidades podem ser consi- deradas intercambiáveis. É conveniente expressar os cálculos em termos de chances em lugar de probabilidades, porque as chances podem assumir qualquer valor não negativo, enquanto as probabilida- des devem estar entre 0 e 1. Todavia, deve ficar entendido que a se- guinte implementação pode ser realizada usando exclusivamente pro- babilidades ou usando alguma outra representação semelhante tal como log(chances), apenas com mudanças mínimas para a descrição abaixo.

A Figura 17 é um diagrama de fluxos que ilustra uma implementação de um modelo de predição para gerar uma estimativa das chances de que um dado anúncio seja bom ou ruim com base em características de anúncio/questão associadas à seleção do anúncio. De acordo com uma implementação dos princípios da invenção, as chances de um anúncio bom ou ruim podem ser calculadas multipli- cando as chances anteriores (qo) de um anúncio bom ou um anúncio ruim por um parâmetro de modelo (mj) associado a cada característica de anúncio/questão (kj), daqui em diante chamado de multiplicador de chances. Essa solução pode ser expressa como:

Q = qo.m1.m2-m3....mm.

Em essência, o multiplicador de chances m para cada característica de anúncio/questão k pode ser uma representação estatística do poder de predição desta característica de anúncio/ ques- tão em determinar se sim ou não um anúncio é bom ou ruim.

Numa implementação consistente com princípios da inven- ção, os parâmetros de modelo descrito acima podem ser continuamente modificados para refletir a influência relativa de cada característica de anúncio/questão k sobre as chances estimadas de que um anúncio seja bom ou ruim. Essa modificação pode ser realizada comparando as chances preditas médias de que anúncios com esta característica de questão/anúncio sejam bons ou ruins, desconsiderando a característica dada de anúncio/questão, para uma estimativa da qualidade histórica de anúncios com esta característica de anúncio/questão. Desta manei- ra, o valor relativo da característica analisada k de anúncio/questão pode ser identificado e refinado.

Voltando especificamente para a Figura 17, para cada característica de anúncio/questão selecionada (kj), uma probabilidade média auto-excludente (Pj) pode ser inicialmente calculada ou identifi- cado (ato 1700). Numa implementação, a probabilidade auto- excludente (Pj) é um valor representativo da relevância da característica selecionada de anúncio/questão e pode medir as chances resultantes de que um anúncio seja bom ou ruim, quando o parâmetro de modelo (mj) da característica selecionada de anúncio/questão for removido do cálculo de chances estimadas. Para a característica de anúncio/ questão 3, por exemplo, isto pode ser expresso como:

P3n + ((qo.mi.m2.m3....mn)/m3/(((qo.mi.m2.m3....mn)/m3 + 1).

Numa modalidade, a probabilidade auto-excludente para cada característica de anúncio/questão pode ser mantida como uma média móvel, para assegurar que a probabilidade auto-excluindo identi- ficada convirja mais depressa a seguir à identificação de um parâmetro de modelo para cada característica de anúncio/questão selecionada. Essa média móvel pode ser expressa como:

Pin(avg) = <XPi(n-l)(avg) + (l-(X)Pin,

onde (X é uma variável estatisticamente definida muito perto de 1 (por exemplo, 0,999) usada para controlar a meia-vida da média móvel. Como mostrado na expressão acima, o valor de Pj para o número atual de seleções de anúncio (n) (por exemplo, um valor atual para o "número total de seleções de anúncio" 1620 para a característica de anún- cio/questão kj é ponderado e tem a a média calculada pelo valor de Pj, como determinado na seleção de anúncio prévio (por exemplo, n-1).

A seguir, a probabilidade média auto-excludente, (Pj(avg)), pode ser comparada com informações históricas relativas ao número de seleções de anúncio observadas e as chances de um anúncio bom ou ruim observado para as seleções observadas (ato 1710). O parâmetro de modelo mj associado à característica de anúncio/questão seleciona- da kj pode então ser gerado ou modificado com base na comparação de ato 1710 (ato 1720) (como ainda descritos abaixo com respeito ao bloco 1820 e 1830 da Figura 18).

A Figura 18 é um diagrama de fluxos que ilustra uma implementação exemplificativa de blocos 1710-1720 da Figura 17. Inicialmente, pode ser determinado um intervalo de confiança relativo às chances de um bom anúncio ou um anúncio ruim (ato 1800). Usar uma técnica de intervalo de confiança possibilita estimativas mais precisas e estáveis quando são usadas características do anúncio/ questão k tendo quantidades menores de dados históricos. Numa implementação, o intervalo de confiança inclui um valor mais baixo Lj e um valor superior Ui e é baseado no número de seleções de anúncio (n_j) (por exemplo, um valor atual em "número total de seleções de anúncio" 1620 na estrutura de dados 1600 para a característica de anúncio/ questão kj) e total perfeição/erro (jj) observada para a característica de anúncio/questão selecionada (por exemplo, um valor preditivo total corrente "bom" 1630 ou valor preditivo total ruim 1640 na estrutura de dados 1600 para a característica de anúncio/questão kj). Por exemplo, o intervalo de confiança pode ser um intervalo de confiança de 80% [Li,Ui] calculado de uma maneira convencional com base no número de seleções de anúncio (por exemplo, um valor atual em "número total de seleções de anúncio" 1620 na estrutura de dados 1600 para a caracte- rística de anúncio/questão kj) e perfeição ou erro totais observados (por exemplo, um valor preditivo total atual "bom" 1630 ou valor preditivo total "ruim" 1640 na estrutura de dados 1600 para a característica de anúncio/questão kj. A seguir ao cálculo do intervalo de confiança, pode, então, ser determinado se a probabilidade média auto-excludente (Pj(avg)) cai dentro do intervalo (ato 1810). Nesse caso, pode ser deter- minado que a característica de anúncio/questão selecionada (kj) não tem nenhum efeito sobre as chances de um bom anúncio ou anúncio ruim e o seu parâmetro de modelo (mj) pode ser fixado em 1, removen- do-o eficazmente do cálculo de chances estimadas (ato 1820). Todavia, se for determinado que Pj(avg) cai fora do intervalo de confiança, então, o parâmetro de modelo (m.j) para a característica de anúncio/questão kj selecionada pode ser ajustada no ajuste mínimo necessário para trazer a probabilidade média auto-excludente (Pj(avg)) para dentro do intervalo de confiança (ato 1830). Este cálculo pode ser matematicamente ex- presso como:

mi - [L-,(l-P-,(avg))]/[Pi(avg)(l-Li)]

Retornando, agora, para a Figura 17, uma vez que o parâ- metro de modelo mj para a característica selecionada de anún- cio/questão kj esteja calculado, pode ser determinado se as caracterís- ticas de anúncio/questão adicionais (por exemplo, de características de anúncio/questão 1610-1 até 16IO-N da Figura 16) permanecem para serem processadas (isto é, se Kj < km, onde m é igual ao número total de características de anúncio/questão na estrutura de dados 1600) (ato 1730). Se características de anúncio/questão adicionais permanecem para ser processadas, a variável de contador i pode ser incrementada (ato 1740) e o processo pode retornar ao ato 1700 para processar a próxima característica de anúncio/questão kj. Uma vez que parâmetros de modelo para todas as característica de anúncio/questão tenham sido calculados ou modificados, as chances de um bom anúncio ou anúncio ruim podem ser estimadas usando a equação q = qo.m1.m2.m3....mm (ato 1750). As chances estimadas de um bom anúncio (por exemplo, CHANCES(característica de bom anúncio/questão de anúncio)) podem ser armazenadas em uma entrada de chances "boas" de anúncio 1650 da estrutura de dados 1600 que corresponde à característica de anún- cio/questão 1610. As chances estimadas de um anúncio ruim (por exemplo, CHANCES(característica de anúncio ruim/ questão de anún- cio)) podem ser armazenadas em entrada de chances de anúncio "ruim" 1660 da estrutura de dados 1600 que corresponde à característica de anúncio/questão 1610. Numa implementação consistente com princípios da inven- ção, o modelo de predição de chances pode ser treinado por dados de log de processamento à medida que chegam e acumulando as estatísti- cas mencionadas acima (por exemplo, seleções de anúncio, perfeição ou erros totais, probabilidades auto-includentes etc.). À medida que mais seleções de anúncio acontecem, os intervalos de confiança associados a cada característica de anúncio/questão podem encolher e as estimati- vas de parâmetros podem tornar-se mais precisas. Numa implementa- ção adicional, o treinamento pode ser acelerado reprocessando dados de log antigos. Quando se reprocessa dados de log, as chances estimadas de um bom anúncio ou anúncio ruim podem ser recalculadas usando os valores mais recentes de parâmetro ou de multiplicador de chances. Isto permite que o modelo de predição convirja mais depressa.

Processo Bxemplificativo de Predição de Qualidade de Anúncio

A Figura 19 é um fluxograma de um processo exempliflcati- vo para predizer a qualidade de anúncios de acordo com uma imple- mentação consistente com os princípios da invenção. Como uma pessoa qualificada na técnica observará, o processo exemplificado pela Figura 19 pode ser implementado em software e armazenado numa memória legível em computador, tal como a memória principal 430, ROM 440 ou dispositivo de armazenamento 450 de servidores 320 ou 330 ou cliente 310, conforme apropriado.

O processo exempliflcativo pode começar com o recebimen- to de uma questão de busca a partir de um usuário (bloco 1900). O usuário pode emitir a questão de busca para o servidor 320 para execu- ção pelo sistema de motor de busca 325. Um conjunto de anúncios que coincide com a questão de busca recebida pode ser obtido pelo sistema de motor de busca 325 (bloco 1910). O sistema de motor de busca 325 pode executar uma busca, com base na questão de busca recebida, para assegurar que o conjunto de anúncios e outros documentos coincidem com a questão de busca. Para cada anúncio do conjunto de anúncios, toda a característica de anúncio /questão que corresponde à questão de busca recebida e o anúncio pode ser determinada (bloco 1920). As características do anúncio/questão para cada questão de busca e par de anúncios podem incluir um identificador associado ao anunciante (por exemplo, um localizador visível de recursos uniformes (URL) do anunciante), uma palavra-chave que o anúncio visa, palavras na questão de busca emitida pelo usuário que anúncio não fez objetivo, e/ou uma palavra na questão de busca emitida pelo usuário que o anúncio não fez visa, mas que é semelhante a uma palavra almejada pelo anúncio. Outros tipos de anúncio ou características de questão, não descritos acima, podem ser usados consistentes com princípios da invenção. Por exemplo, qualquer das características de anún- cio/questão acima descritas observadas em combinação (por exemplo, um emparelhamento de duas características de anúncio/questão) pode ser usada como uma característica única de anúncio/questão.

Para cada anúncio do conjunto de anúncios, ODDSj arma- zenado (por exemplo, CHANCES (bom anúncio/característica de anún- cio/questão) 1650, CHANCES (anúncio ruim/característica de anún- cio/questão) 1660), para cada uma das características determinadas do anúncio/questão i podem ser recuperadas a partir da estrutura de dados 1600 (bloco 1930). Como mostrado na Figura 20, a estrutura de dados 1600 pode ser indexada com características de anúncio/questão 2000 que correspondem à questão de busca e o anúncio para recuperar um ou mais ODDSj 2010 associados a cada característica de anún- cio/questão. Por exemplo, como mostrado na Figura 16, um valor "boas" chances de anúncio 1650 que corresponde a cada característica de anúncio/questão 1610 pode ser recuperado. Como outro exemplo, segundo mostrado na Figura 16, um valor de "más" chances de anúncio 1660 que corresponde a cada característica de anúncio/questão 1610 pode ser recuperado.

Para cada anúncio do conjunto de anúncios, as CHANCES recuperadasi para cada característica de anúncio/questão i podem ser multiplicadas em conjunto (bloco 1940) para produzir um valor total de de CHANCES (ODDSt):

ODDSt = ODDS1*ODDS2*ODDS3*... Eqn. (6)

Por exemplo, os valores de "boas" chances de anúncio 1650 para cada característica de anúncio/questão podem ser multiplicados em conjun- ta para produzir um valor total de boas chances de anúncio ODDSt_good ad. COMO outro exemplo, os valores de chances de anúncio "ruim" 1660 para cada característica de anúncio/questão podem ser multipli- cados em conjunta para produzir um valor total de chances de anúncio ruim ODDSt RUM AD. Como mostrado na Figura 20, as CHANCES 2010 recuperadas a partir da estrutura de dados 1600 podem ser multiplica- das em conjunto para produzir um valor total de chances ODDSt 2020.

Para cada anúncio do conjunto de anúncios, pode ser determinado um parâmetro de qualidade que pode incluir uma probabi- lidade de que o anúncio seja bom (Pgoodad) e/ou de que o anúncio seja ruim (Pbadad) (bloco 1950):

PGOOD AD = ODDSt good ad/ (1 +ODDSt_GooD ad) Eqn. (7)

PBAD AD = ODDSt_BADAD/ (1+ODDSt_BAD AD) Eqn. (8)

Como mostrado na Figura 20, o valor das chances totais ODDSt 1820 e as equações (7) ou (8) podem ser usados para derivar um parâmetro de qualidade (P) 2030.

Processo Exemplificativo de Filtração, Classificação e Promoção do Anúncio

A Figura 21 é um fluxograma de um processo exemplificati- vo de filtração, classificação e/ou promoção de anúncios de acordo com uma implementação consistente com os princípios da invenção. Como uma pessoa qualificada na técnica observará, o processo exemplificado pela Figura 21 pode ser implementado em software e armazenado numa memória legível em computador, tal como a memória principal 430, ROM 440 ou dispositivo de armazenamento 450 de servidores 320 ou 330 ou cliente 310, conforme apropriado.

O processo exemplificativo pode começar com a determina- ção de anúncios que são relevantes para uma questão de busca (bloco 2100). Um usuário pode introduzir uma questão de busca num docu- mento de questão de busca e o conteúdo de anúncios hospedados por um anunciante de anúncios pode ser comparado com a questão de busca introduzida para determinar que anúncios são relevantes para a questão de busca. Por exemplo, anúncios tendo conteúdo com o termo "SUV" podem ser considerados relevantes para a questão de busca "SU V".

Podem ser obtidos um ou mais parâmetros de qualidade associados aos anúncios relevantes (bloco 2110). O(s) parãmetro(s) de qualidade pode(m) incluir, por exemplo, o(s) parâmetro(s) da qualidade determinada no bloco 1950 acima. O(s) parâmetro(s) de qualidade pode(m), porém, incluir qualquer outro tipo de parâmetro que seja indicativo de uma qualidade de um anúncio, além de uma taxa por clique (CTR).

Os anúncios determinados serem relevantes podem ser filtrados com base no(s) parâmetro(s) de qualidade obtido(s) (bloco opcional 2120). A filtração pode desativar (por exemplo, cancelar a seleção) anúncios selecionados entre os anúncios relevantes de forma que não serão providos (isto é, não mostrados) ao usuário que emitiu a questão de busca ou que acessaram o conteúdo do documento ou local particular. Os anúncios relevantes podem ser filtrados com base em um ou mais parâmetros de qualidade obtidos no bloco 2110 acima ou com base em qualquer outro tipo de parâmetro de qualidade de anún- cio, além de um CTR. Os anúncios relevantes podem ser filtrados com base numa combinação funcional dos parâmetros de qualidade obti- do(s) e outros parâmetros (por exemplo, CTR). Por exemplo, os parâme- tros de qualidade obtido(s) (QP) pode(m) ser multiplicado(s) por CTR (isto é, QP*CTR) para filtrar os anúncios relevantes. CTR mede a fração de impressões de anúncio que resultam em cliques de anúncio. Por exemplo, se uma impressão de anúncio dentre 100 resultar num clique de anúncio, então o CTR daquele anúncio é 1/100 ou 1%. CTR pode ser estimado, como descrito no Pedido US pendente 11/167.581 (Pasta de Advogado N0 0026-0145), intitulado "Accurately Estimating Adverti- sement Performance" e aqui incorporado por referência. Numa imple- mentação, o parâmetro de qualidade QP pode incluir Pgood ad determi- nado no bloco 1950 acima.

Como exemplo, a combinação funcional Pgood ad*CTR pode ser usada como uma regra de desativação. Por exemplo, se Pgood ad* CTR for baixo (por exemplo, menos do que um valor limite), então o anúncio será desativado e, deste modo, não provido ao usuário. A Figura 22 ilustra um exemplo da filtração de anúncios múltiplos 2200-1 até 2200-N consistente com um aspecto da invenção. Para cada anún- cio 2200, pode ser determinado um valor 2210 para Pgood ad*CTR e comparado com um valor limite (T) 2220. Os anúncios com valores 2210 menores do que o limite T 2220 pode ser desativados 2230 e anúncios tendo valores 2210 iguais ou maiores do que o limite T 2220 pode ser providos 2240 (por exemplo, mostrados) ao usuário.

Noutra implementação, o parâmetro de qualidade QP pode incluir o valor Pbad ad determinado no bloco 1950 acima e Pbad ad pode ser multiplicado por CTR. Por exemplo, se PBAD AD*CTR for alto (por exemplo, maior que um valor limite), então, o anúncio será desativado e, deste modo, não proporcionado ao usuário. A Figura 23 ilustra um exemplo da filtração de anúncios múltiplos 2300-1 até 2300-N. Para cada anúncio 2300, pode ser determinado um valor 2310 para PBAD AD*CTR e comparado com um valor limite (T) 2320. Os anúncios tendo valores 2310 maiores do que ou iguais ao limite T 2020 podem ser desativados 2130 e anúncios tendo valores 2310 menores do que o limite T 2320 pode ser providos 2340 (por exemplo, mostrados) ao usuário.

Ainda noutra implementação, a relação PGOOD ad/PBAD ad pode ser usada como uma regra de desativação. Por exemplo, se P PGOOD ad/PBAD ad for menor do que um valor limite, indicando que a probabilidade de que um anúncio seja bom é mais baixa do que a probabilidade de que o anúncio seja ruim, então o anúncio será desati- vado e, deste modo, não provido ao usuário. A Figura 24 ilustra um exemplo da filtração de anúncios múltiplos 2400-1 até 2400-N. Para cada anúncio 2400, pode ser determinado um valor 2410 para PGOOD ad/PBAD ad e comparado com um valor limite (T) 2420. Os anúncios tendo valores 2410 menores do que o limite T 2420 podem ser desativa- - dos 2430 e os anúncios tendo valores 2410 maiores do que ou iguais ao limite T 2420 podem ser providos 2440 (por exemplo, mostrados) ao usuário.

Os anúncios determinados serem relevantes podem ser classificados com base no(s) parâmetro(s) de qualidade obtido(s) (bloco opcional 2130). Os anúncios relevantes podem ser classificados com base em um ou mais parâmetros de qualidade obtidos no bloco 2110 acima ou com base em qualquer outro tipo de parâmetro de qualidade de anúncio, diferente ou além de um CTR. Os anúncios relevantes podem ser classificados com base numa combinação funcional do(s) parâmetro(s) de qualidade obtida e outros parâmetros (por exemplo, CTR). Numa implementação, o parâmetro de qualidade QP pode incluir o valor Pgood ad, determinado no bloco 1950 acima. Em outras imple- mentações, o parâmetro de qualidade QP pode incluir o valor Pbad ad.

A combinação funcional do parâmetro de qualidade obtida QP e outros parâmetros podem tentar maximizar valor para o anúncio publicando entidade, os anunciantes e os usuários. Numa implementa- ção, os anúncios podem ser classificados usando a seguinte função:

RANKadx = Pgood ad_adx* CPCadx Eqn. (9)

onde CTR é a taxa através de cliques e CPC é o "custo por clique" para aquele anúncio. CPC representa o valor de um clique de anúncio para um dado anunciante. A Figura 25 ilustra um exemplo da classificação de anúncios múltiplos 2500-1 até 2500-N. Para cada anúncio 2500, pode ser determinado um valor 2510 para Pgood ad * CTR * CPC. Um valor 2510 para cada anúncio no conjunto de anúncios relevantes pode ser comparado de forma que os anúncios possam ser reordenados numa ordem classificada 2520. A ordem classificada 2520 pode, por exemplo, conforme mostrado na Figura 25, classificar os anúncios 2500 em ordem ascendente, com o anúncio 2500-1 tendo o valor mais eleva- do 2510-1 sendo classificado em primeiro e os anúncios 2500-2 até 2500-N tendo valores 2510 menores do que o valor 2510-1 sendo classificado em ordem descendente.

Noutra implementação, os anúncios podem ser classifica- dos usando a função seguinte:

RANKadx = CTRadx*CPCadx+ValueOfGoodAdToUser (Valor de Bom Anúncio Para o Usuário)*pg00d ad_adx*CTRadx Eqn. (10)

CostofBadAdToUser (Custo do Mau Anúncio Para o Cliente)*PBAD AD- ADx*CTRadx onde o CTR é a taxa através de clique, CPC é o custo por clique para aquele anúncio, ValueOfGoodAdToUser é o ganho incrementai na renda que uma editora de anúncios pode receber a partir da exibição de um bom anúncio e CostOfBadAdToUser é a perda incrementai na renda a longo prazo que a editora de anúncios pode sustentar a partir de prover um anúncio ruim ao usuário. O valor CTR*CPC representa a renda a curto prazo que um anúncio pode receber.

Os valores ValueOfGoodAdToUser e CostOfBadAdToUser podem ser estimados de vários modos diferentes. Numa técnica, podem ser processados experimentos de fatores humanos, em que aos usuá- rios é mostrada uma série de documentos tendo apenas bons anúncios e, então, aos usuários pode ser proporcionada uma tarefa comporta- mental para ver qual a probabilidade que eles têm de usar os anúncios. A um conjunto diferente de usuários pode ser mostrada uma série de documentos tendo apenas anúncios ruins e, depois, a este conjunto de usuários pode ser proporcionado uma tarefa comportamental para ver qual a probabilidade de que eles usem os anúncios. Isto pode, então, ser refinado para ver quantos documentos leva para mudar a probabili- dade de clicar em anúncios na tarefa comportamental e como a variação da mistura (por exemplo, uma mistura de anúncios bons e ruins) mudará a probabilidade. Noutra técnica, os dados de sessão podem ser usados para observar as seqüências de cliques que um usuário apre- senta dentro de uma sessão e determinar (por medição empírica) a probabilidade de cliques de anúncio adicionais depois de ver um anún- cio ruim (e o mesmo para um bom anúncio).

Em qualquer uma das técnicas descritas acima, a probabi- lidade aumentada de um clique de usuário num anúncio (se ao usuário são mostrados bons anúncios) ou a probabilidade diminuída de que um usuário clique num anúncio (se ao usuário forem mostrados anúncios ruins) pode ser estimada. Para derivar o valor ValueOfGoodAdToUser, o aumento incrementai pode ser multiplicado pelo valor médio de um clicar, enquanto o valor CostOfBadAdToUser pode ser derivado multipli- cando a diminuição incrementai por um valor médio de um clique. Em algumas implementações, os valores ValueOfGoodAdToUser e CostOf- BadAdToUser podem ser ajustados para customizar o custo de um clique por país ou por negócio (por exemplo, viagem, finanças, bens de consumio etc.) de tal modo que os valores ValueOfGoodAdToUser e CostOfBadAdToUser têm um custo diferente por clique dependendo do país, do idioma e/ou o negócio.

A Figura 26 ilustra um exemplo da classificação de anún- cios múltiplos 2600-1 até 2600-N. Para cada anúncio 2600, pode ser determinado um valor 2610 usando a Eqn. (9) acima. Os valores 2610 para cada anúncio no conjunto de anúncios relevantes pode ser compa- rado de forma que os anúncios podem ser reordenados numa ordem classificada 2620. A ordem classificada 2620 pode, por exemplo, como mostrado na Figura 26, classificar os anúncios 2600 em ordem ascen- dente, com o anúncio 2600-1 com o valor mais elevado 2610-1 sendo classificado em primeiro lugar e os anúncios 2600-2 até 2600-N tendo valores 2610 menores 2610-1 sendo classificados em ordem descenden- te.

Os anúncios selecionados dentre os anúncios determinados serem relevantes podem ser promovidos (bloco opcional 2140). A seleção de quais anúncios serem promovidos pode ser com base em um ou mais parâmetros de qualidade obtidos no bloco 2110 acima ou com base em qualquer outro tipo de parâmetro de qualidade de anúncio, além de um CTR. Os anúncios podem ser promovidos com base numa combinação funcional dos parâmetros de qualidade obtidos e outros parâmetros (por exemplo, CTR). Numa implementação, o parâmetro de qualidade QP pode incluir o valor Pgood ad determinado no bloco 1950 acima. Noutras implementações, o parâmetro de qualidade QP pode incluir o valor Pbad ad determinado no bloco 1950 acima. Numa imple- mentação, por exemplo, se Pgood ad*CTR for alto (por exemplo, maior do que um limite) ou se Pgood ad/ Pbad ad for alto (por exemplo, maior do que um limite), então o anúncio pode ser promovido.

A Figura 27 ilustra um exemplo da promoção de um anún- cio dentre anúncios múltiplos 2700-1 até 2700-N. Para cada anúncio 2700, pode ser determinado um valor 2710 para PGOOD AD* CTR e com- parado com um valor limite (T) 2720. Os anúncios com valores 2710 maiores do que ou iguais ao limite T 2720 podem ser promovidos 2730 e os anúncios tendo valores 2710 menores do que o limite T 2720 podem não ser promovidos 2740.

A Figura 28 ilustra outro exemplo da promoção de um anúncio dentre anúncios múltiplos 2800-1 até 2800-N. Para cada anúncio 2800, um valor 2810 para Pgood ad/Pbad ad pode ser determi- nado e comparado com um valor limite (T) 2820. Os anúncios tendo valores 2810 maiores do que ou iguais ao limite T 2820 podem ser promovidos 2840 e os anúncios tendo valores 2810 menores do que o limite T 2820 podem não ser promovidos 2840.

Noutra implementação, a função descrita na Eqn. (9) acima pode ser usada alternativamente, com o valor CostOfBadAdToUser sendo fixado mais alto do que o valor usado na Eqn. (9) acima para classificar anúncios. Ajustar o valor de CostOfBadAdToUser mais elevado do que o valor usado na Eqn. (9) acima indica que é mais caro promover um anúncio ruim do que apenas mostrar um anúncio ruim. A Figura 29 ilustra um exemplo adicional da promoção de um anúncio dentre anúncios múltiplos 2900-1 até 2900-N. Para cada anúncio 2900, pode ser determinado um valor 2910 para a Eqn. (9) acima e comparado com um valor limite (T) 2920. Os anúncios tendo valores 2910 maiores do que ou igual ao limite T 2920 pode ser promovidos 2930 e anúncios tendo valores 2910 menores do que o limite T 2920 podem não ser promovidos 2940. Certo dos anúncios determinados serem relevantes podem ser seletivamente proporcionados a um usuário com base na filtração, classificação e/ou promoção realizadas nos blocos 2120, 2130 e/ou 2140 (bloco 2150). Anúncios relevantes, que não foram desativados no bloco 2120, podem ser providos ao usuário. Anúncios relevantes, que não incluem os anúncios desativados, podem ainda ser proporcionados ao usuário numa ordem determinada pela função de classificação no bloco 2130. Um ou mais dos anúncios relevantes, que podem não incluir os anúncios desativados, podem ser promovidos como determi- nado no bloco 2140. A Figura 30 ilustra um documento de resultados de buscas 3000 em que os resultados de busca 3010 são providos a um usuário que emitiu uma questão de busca. Os anúncios classificados 3020, listados em ordem classificada, podem ainda ser incluídos no documento dos resultados de busca 3000. Os anúncios classificados 3020 podem incluir, por exemplo, links para documentos de aterrissa- gem de anúncios que proporcionam detalhes adicionais sobre o produto ou serviço sendo que está sendo anunciado. Os anúncios promovidos 3030, colocados em posição proeminente ou destacada, podem ser adicionalmente incluídos no documento dos resultados de busca 3000.

Conclusão

A descrição precedente de modalidades preferidas da presente invenção proporciona ilustração e descrição, mas não se pretende que seja exaustiva nem limite a invenção à forma precisa descrita. As modificações e variações são possíveis levando em conta os ensinamentos acima ou podem ser adquiridos a partir da prática da invenção. Por exemplo, embora séries de atos tenham sido descritas no que se relaciona às Figuras 5, 14, 17, 18, 19 e 21, a ordem dos atos pode ser modificada em outras implementações consistentes com os princípios da invenção. Além disso, atos não dependentes podem ser realizados em paralelo. Além das características de sessão descritas acima com respeito à Figura 5, o rastreamento da conversão pode ser opcionalmen- te usado em algumas implementações para derivar uma calibração direta entre os valores preditivos e a satisfação do usuário. Uma con- versão acontece quando uma seleção de um anúncio leva diretamente ao comportamento de usuário (por exemplo, uma compra do usuário) que o anunciante julga valioso. Um anunciante ou um serviço que hospeda o anúncio para o anunciante pode rastrear se uma conversão acontece para cada seleção de anúncio. Por exemplo, se um usuário seleciona um anúncio do anunciante e, depois, faz uma compra online de um produto mostrado no documento de aterrissagem do anúncio que é proporcionado ao usuário em resposta à seleção do anúncio, então, o anunciante ou o serviço que hospeda o anúncio pode notar a conversão para aquela seleção de anúncio. Os dados de rastreamento da conver- são podem ser associados às seleções de anúncio identificado. Uma técnica estatística, como, por exemplo, a regressão logística, árvores de regressão, stumps impulsionados etc., pode ser usada para derivar uma calibração direta entre valores preditivos e a felicidade de usuário conforme medida pela conversão.

Será evidente para uma pessoa de capacidade ordinária na técnica que aspectos da invenção, como descrita acima, podem ser implementados de muitas formas diferentes de software, firmware e hardware nas implementações ilustradas nas Figuras. O código de software real ou hardware de controle especializado usado para imple- mentar aspectos consistentes com os princípios da invenção não é limitativo da invenção. Deste modo, a operação e o comportamento dos aspectos foram descritos sem referência ao código de software específi- co, ficando entendido que uma pessoa de capacidade ordinária na técnica poderia projetar software e controlar hardware para implemen- tar os aspectos com base na presente descrição.

Nenhum elemento, ato ou instrução usado no presente pedido deve ser interpretado como crítico ou essencial para a invenção, a menos que explicitamente descrito como tal. Também, conforme aqui usado, pretende-se que o artigo "um", "uma" inclua um ou mais artigos. Nos casos em que apenas um artigo é pretendido, é usado o termo "um" ou linguagem semelhante. Ainda, pretende-se que a frase "com base em" signifique "com base, pelo menos em parte, em", a menos que explicitamente declarado de outra forma.

Claims (19)

"Sistema e Método de Uso de Qualidades de Anúncio Estimadas Para Filtração, Classificação e Promoção de Anúncios e Meio Legível em Computador"

1. Meio Legível em Computador, que armazena instruções executá- veis em computador, caracterizado por que compreende: instruções para obter um primeiro parâmetro (QPl) associ- ado a uma qualidade de um anúncio entre uma pluralidade de anún- cios, em que o primeiro parâmetro de qualidade (QPl) compreende uma probabilidade de que o anúncio seja de uma certa medida de qualidade; instruções para combinar funcionalmente o primeiro parâmetro de qualidade (QPl) com uma classificação através de cliques (CTR) e um clique por custo (CPC) associado ao anúncio; e instruções para usar a combinação funcional do primeiro parâmetro de qualidade (QPl), o CTR e o clique por custo (CPC) para filtrar, classificar ou promover o anúncio entre a pluralidade de anún- cios.

2. Meio Legível em Computador, de acordo com a Reivindicação 1, caracterizado por que a probabilidade de que o anúncio seja de uma certa medida de qualidade compreende uma probabilidade de que o anúncio seja de uma medida baixa de qualidade ou de uma medida alta de qualidade.

3. Meio Legível eiji Computador, de acordo com a Reivindicação 1, caracterizado por que filtrar o anúncio compreende impedir que o anúncio seja proporcionado a um usuário.

4. Meio Legível em Computador, de acordo com a Reivindicação 1, caracterizado por que as instruções para combinar funcionalmente o primeiro parâmetro de qualidade (QP1) com o CTR e o CPC compreen- dem: instruções para multiplicar o primeiro parâmetro de quali- dade (QP1) pelo CTR: QP1*CTR.

5. Meio Legível em Computador, de acordo com a Reivindicação 4, caracterizado por que as instruções para usar a combinação de função para filtrar o anúncio compreendem: instruções para comparar QP1*CTR com um patamar para determinar se é de filtrar o anúncio.

6. Meio Legível em Computador, de acordo com a Reivindicação 4, caracterizado por que as instruções para usar a combinação funcional para promover o anúncio entre a pluralidade de anúncios compreen- dem: instruções para comparar QPi*CTR com um patamar para determinar se é de promover o anúncio entre a pluralidade de anúncios.

7. Meio Legível em Computador, de acordo com a Reivindicação 1, caracterizado por que as instruções para combinar funcionalmente o primeiro parâmetro de qualidade (QP1) com o CTR e o CPC compreen- dem: instruções para multiplicar o primeiro parâmetro de quali- dade (QP1) por CTR e por CPC: QP1*CPC*CTR.

8. Meio Legível em Computador, de acordo com a Reivindicação 7, caracterizado por que as instruções para usar a combinação funcional para classificar o anúncio compreendem: instruções para classificar o anúncio entre a pluralidade de anúncios usando QP*CPC*CTR.

9. Meio Legível em Computador, de acordo com a Reivindicação 6, caracterizado por que compreende ainda: instruções para obter um segundo parâmetro (QP2) associ- ado a uma qualidade do anúncio; e instruções para combinar funcionalmente o segundo parâ- metro de qualidade (QP2) com o primeiro parâmetro de qualidade (QPl) e pelo menos o outro parâmetro.

10. Meio Legível em Computador, de acordo com a Reivindicação 9, caracterizado por que combinar funcionalmente o segundo parâmetro de qualidade (QP2) com o primeiro parâmetro de qualidade (QPl) e o CTR e o CPC compreende: CTR*CPC + K1*QP1*CTR - K2*QP2*CTR, em que K1 e K2 são constantes.

11. Meio Legível em Computador, de acordo com a Reivindicação 10, caracterizado por que as instruções para usar a combinação funcional para promover o anúncio entre a pluralidade de anúncios compreendem: instruções para comparar CTR*CPC+K1*QP1*CTR- K2*QP2*CTR com um patamar para determinar se é de promover o anúncio entre a pluralidade de anúncios.

12. Método de Uso de Qualidades de Anúncio Estimadas Para Filtração, Classificação e Promoção de Anúncios, caracterizado por que compreende: obter avaliações associadas a um primeiro grupo de anún- cios, em que as avaliações indicam uma qualidade do primeiro grupo de anúncios; observar diferentes ações múltiplas de usuário associadas à seleção de usuário de anúncios do primeiro grupo de anúncios; derivar um modelo de probabilidade usando as ações de usuário observadas e as avaliações obtidas; usar o modelo de probabilidade para estimar pontuações de qualidade associadas a um segundo grupo de anúncios; calcular uma combinação das pontuações de qualidade es- timadas e clicar através de classificações associadas a anúncios no segundo grupo de anúncios; filtrar o segundo grupo de anúncios com base numa com- paração da combinação das pontuações de qualidade estimadas e clicar através de classificações para um patamar para gerar um subconjunto de anúncios do segundo grupo de anúncios; e proporcionar, para um usuário, o subconjunto de anúncios a partir do segundo grupo de anúncios.

13. Método de Uso de Qualidades de Anúncio Estimadas Para Filtração, Classificação e Promoção de Anúncios, de acordo com a Reivindicação 1, caracterizado por que derivar o modelo de probabili- dade compreende: usar pelo menos uma dentre a regressão logística, árvores de regressão ou pontas impulsionadas (boosted stumps) para gerar o modelo de probabilidade.

14. Método de Uso de Qualidades de Anúncio Estimadas Para Filtração, Classificação e Promoção de Anúncios, de acordo com a Reivindicação 12, caracterizado por que calcular a combinação das pontuações de qualidade estimadas e clicar através de classificações- compreende ainda: calcular uma combinação das pontuações de qualidade estimadas, os cliques através das classificações e o custo por clique (CPC) associados aos anúncios no segundo grupo de anúncios; compreendendo ainda: classificar os anúncios do subconjunto de anúncios com base na combinação calculada das pontuações de qualidade estimadas, o clique através de classificações e o CPC para ordenar o subconjunto de anúncios.

15. Método de Uso de Qualidades de Anúncio Estimadas Para Filtração, Classificação e Promoção de Anúncios, de acordo com a Reivindicação 14, caracterizado por que compreende ainda: proporcionar o subconjunto de anúncios na ordem classifi- cada para o usuário.

16. Método de Uso de Qualidades de Anúncio Estimadas Para Filtração, Classificação e Promoção de Anúncios, de acordo com a Reivindicação 14, caracterizado por que compreende ainda: promover um ou mais dos subconjuntos de anúncios com base na combinação calculada das pontuações de qualidade estimadas e cliques através de classificações.

17. Método de Uso de Qualidades de Anúncio Estimadas Para Filtração, Classificação e Promoção de Anúncios, de acordo com a Reivindicação 16, caracterizado por que compreende ainda: posicionar o anúncio ou mais anúncios promovidos do sub- conjunto de anúncios numa posição proeminente num documento; e posicionar anúncios não promovidos do segundo grupo de anúncios numa posição menos proeminente sobre o documento do que o anúncio ou mais anúncios promovidos.

18. Método de Uso de Qualidades de Anúncio Estimadas Para Filtração, Classificação e Promoção de Anúncios, de acordo com a Reivindicação 17, caracterizado por que proporcionar o subconjunto de anúncios a um usuário compreende: proporcionar o documento ao usuário.

19. Sistema de Uso de Qualidades de Anúncio Estimadas Para Filtração, Classificação e Promoção de Anúncios, caracterizado por que compreende: meios para obter avaliações associadas a um primeiro grupo de anúncios, em que as avaliações indicam uma qualidade do primeiro grupo de anúncios; meios para observar diferentes ações múltiplas do usuário associadas á seleção pelo usuário de anúncios do primeiro grupo de anúncios; meios para derivar um modelo de probabilidade usando as ações de usuário observadas e as avaliações obtidas, em que os meios para derivar um modelo de probabilidade ainda compreendem: meios para usar pelo menos uma dentre a regressão logística, árvores de regressão ou pontas impulsionadas para gerar o modelo de probabilidade; meios para usar o modelo de probabilidade para estimar pontuações de qualidade associadas a um segundo grupo de anúncios; meios para calcular uma combinação das pontuações de qualidade estimadas e clicar através de classificações associadas com anúncios no segundo grupo de anúncios; meios para filtrar o segundo grupo de anúncios com base numa comparação da combinação das pontuações de qualidade esti- madas e clicar através de classificações até um patamar para gerar um subconjunto de anúncios do segundo grupo de anúncios; e meios para proporcionar a um usuário o subconjunto de anúncios a partir do segundo grupo de anúncios.