ES2296403T3 - Sistema y procedimiento para analizar archivos de registro de un servidor web. - Google Patents
Sistema y procedimiento para analizar archivos de registro de un servidor web. Download PDFInfo
- Publication number
- ES2296403T3 ES2296403T3 ES99942121T ES99942121T ES2296403T3 ES 2296403 T3 ES2296403 T3 ES 2296403T3 ES 99942121 T ES99942121 T ES 99942121T ES 99942121 T ES99942121 T ES 99942121T ES 2296403 T3 ES2296403 T3 ES 2296403T3
- Authority
- ES
- Spain
- Prior art keywords
- data
- requests
- server
- request
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/10015—Access to distributed or replicated servers, e.g. using brokers
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Debugging And Monitoring (AREA)
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
- Handling Of Cut Paper (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Un procedimiento para analizar datos de tráfico generados por una pluralidad de servidores web (10) conectados a través de una red (13) a una pluralidad de dispositivos informáticos (12) que comprende: (a) generar una pluralidad de peticiones de datos de tráfico (11) para cada acceso por parte de un usuario remoto a uno de los servidores web (10), correspondiendo cada una de dichas peticiones (11) a un paquete de datos intercambiado entre uno de los servidores web (10) y uno de los dispositivos informáticos (12); (b) asociar las peticiones de datos de tráfico (11) con sus respectivos servidores (10); caracterizado porque el procedimiento comprende también: (c) leer una primera petición de datos (11) de cada servidor (10); (d) comparar la petición de datos de tráfico (11) leída desde un servidor con la petición de datos de tráfico (11) leída desde otro servidor de la pluralidad de servidores web (10); (e) pasar la petición de datos más antigua (11); (f) leer la siguiente petición de datos (11) desde el servidor (10) desde el que se leyó la petición de datos (11) pasada; (g) repetir las etapas (d) a (e) hasta que se hayan leído todos las peticiones de datos (11); y (h) analizar las peticiones de datos (11) pasadas.
Description
Sistema y procedimiento para analizar archivos
de registro de un servidor web.
Esta invención se refiere generalmente al
análisis de datos de tráfico de servidores web y, más
particularmente, a un sistema y a un procedimiento para analizar
archivos de registro de un servidor web.
La malla mundial (en lo sucesivo, "web") se
está convirtiendo rápidamente en uno de los medios de publicación
más importantes de la actualidad. El motivo es simple: los
servidores web interconectados por Internet proporcionan el acceso
a un público potencialmente mundial con una inversión mínima en
tiempo y recursos para construir un sitio web. El servidor web
proporciona la posibilidad de obtener y enviar una gran variedad de
medios en diversos formatos, incluidos audio, vídeo y el
tradicional de texto y gráficos. Y la facilidad con la que se crea
un sitio web hace que la posibilidad de llegar a este público
mundial sea una realidad para todo tipo de usuarios, desde
compañías a empresas de reciente creación, organizaciones e
individuos.
A diferencia de otros tipos de medios, los
sitios web son interactivos y el servidor web puede recopilar
pasivamente información de acceso relativa a cada usuario mediante
la observación y el registro de los paquetes de datos de tráfico
intercambiados entre el servidor web y el usuario. Se pueden
determinar datos importantes relativos a los usuarios de forma
directa o por deducción mediante el análisis de los datos de tráfico
y el contexto de la petición (o "hit"). Además, los datos de
tráfico recopilados a lo largo de un periodo de tiempo pueden
proporcionar información estadística, como, por ejemplo, el número
de usuarios que visitan el sitio cada día, los países, estados o
ciudades desde los que se conectan los usuarios, y el día u hora de
la semana más activos. Esta información estadística resulta útil
para diseñar estrategias de mercadotecnia o de gestión adaptadas
para coincidir mejor con las necesidades aparentes del público. Cada
petición está cifrada además con la fecha y la hora del acceso.
Debido a que virtualmente toda la información estadística de interés
está relacionada con periodos de tiempo, es de vital importancia
efectuar un seguimiento preciso de la hora en que se produce cada
petición.
Para optimizar el uso de esta información
estadística, el análisis del tráfico del servidor web debe
realizarse en el momento oportuno. Sin embargo, no es algo
extraordinario que un servidor web procese miles de usuarios
diariamente. La información de acceso resultante registrada por el
servidor web alcanza los megabytes de datos de tráfico. Algunos
servidores web generan gigabytes de datos de tráfico diarios. El
análisis de los datos de tráfico, incluso para un único día, para
identificar tendencias o generar estadísticas, requiere un gran
poder de cálculo y mucho tiempo. Además, el tiempo de procesamiento
necesario para analizar los datos de tráfico durante varios días,
semanas o meses aumenta linealmente a medida que aumenta el marco
temporal de interés.
El problema que supone efectuar un análisis del
tráfico eficaz y oportuno no es exclusivo de los servidores web.
Más bien, el análisis de los datos de tráfico resulta posible
siempre que los datos de tráfico puedan observarse y registrarse de
modo uniforme, como por ejemplo en una base de datos distribuida, un
sistema de cliente-servidor u otro entorno de
acceso remoto.
En la patente de EE.UU. nº 5.600.632, a nombre
de Schulman, concedida el 4 de febrero de 1997, se describe un
procedimiento y un aparato para realizar un seguimiento del
rendimiento usando analizadores de red sincronizados. En
particular, de acuerdo con el presente documento, se combinan una
pluralidad de analizadores de red para dar lugar a una herramienta
de análisis del rendimiento de la red para analizar redes complejas
y ampliamente distribuidas, estando cada uno de los analizadores
sincronizado con los otros para proporcionar uniformidad a los
paquetes que atraviesan la red.
Algunos servidores web están tan ocupados, es
decir, manejan tanto tráfico, que requieren múltiples servidores
para manejar todo el tráfico. Otros usuarios pueden necesitar el uso
de múltiples servidores debido al gran tamaño del sitio web. Los
sitios críticos, es decir, los que no pueden permitirse estar
inactivos debido a algún problema con el servidor, también pueden
escoger la opción de desplegar su sitio en múltiples servidores.
Estos múltiples servidores se denominan a veces granja de
servidores. Las granjas de servidores proporcionan un acceso
fiable de banda ancha a los sitios web.
Hay varias topologías que se pueden usar en una
granja de servidores, pero las más importantes dividen la granja en
grupos de servidores. El sitio web está duplicado en cada servidor
perteneciente al grupo. Un hardware especial recibe todo el tráfico
que entra en el sitio web y distribuye cada petición a uno de
los servidores. Algunos sistemas proporcionan un preciso equilibrio
de cargas, ya que todas las peticiones rotan consecutivamente entre
cada uno de los servidores. Pero otros asignan cada petición
procedente de una nueva fuente a un servidor, y los posteriores
accesos al sitio procedentes de esa fuente se dirigen al servidor
asignado. Esto se logra asignando un periodo de tiempo
predeterminado, por ejemplo 30 minutos, durante el cual todos los
futuros accesos desde una misma fuente se consideran parte de una
única sesión desde esa fuente. Tal como se describe anteriormente,
éste enfoque permite, en cierta medida, el análisis de los archivos
de registro, lo cual no es posible usando la técnica de equilibrio
de cargas.
Las granjas de servidores, aunque proporcionan
equilibrio de cargas y redundancia, presentan problemas en el
análisis de los archivos de registro generados por los servidores.
Los sistemas para analizar archivos de registro de servidores web
de la técnica anterior pueden manejar múltiples archivos de
registro, pero estos archivos se generan de forma consecutiva, es
decir, los paquetes de datos contenidos en cada archivo de registro
guardan un orden cronológico y los propios archivos de registro
corresponden a periodos de tiempo que contienen paquetes de datos
pertenecientes a los periodos. En otras palabras, los archivos de
registro también se generan de forma consecutiva. No obstante, los
archivos de registro contenidos en servidores de una granja de
servidores se generan de forma simultánea. Cada archivo de registro
cubre o se solapa con el mismo periodo de tiempo. En las granjas de
servidores que rotan las peticiones entre cada servidor, los
programas de análisis de archivos de registro no generan
información útil. Existe la posibilidad de emplear soluciones de
fuerza bruta, tales como clasificar todos los archivos de registro
y crear un nuevo archivo único, o copiar todas las peticiones de
cada archivo de registro en una gran base de datos, que pueda
clasificar y analizar los datos. Estas soluciones poseen graves
inconvenientes: requieren un enorme poder de cálculo y la creación
de grandes archivos nuevos, y se realizan sólo cuando los archivos
de registro están completos, es decir, no sobre la marcha cuando aún
se está completando el archivo de registro.
Las granjas de servidores que asignan a un único
usuario peticiones procedentes de una nueva fuente pueden ejecutar
en cada servidor programas de análisis de registro de la técnica
anterior y sumar los resultados. Sin embargo, esto no resulta
completamente preciso y presenta inconvenientes debido a que
requiere la generación de distintos informes, cada uno de los
cuales debe consultarse o manipularse para obtener información
aplicable a toda la granja de servidores.
Por consiguiente, existe una necesidad de
disponer de un sistema y un procedimiento para analizar archivos de
registro de servidores web que se generen simultáneamente, tales
como los generados por una granja de servidores.
Existe también la necesidad de tal sistema y
procedimiento que pueda analizar los archivos de registro
básicamente en tiempo real.
Existe también además la necesidad de tal
sistema que pueda analizar los archivos de registro sin generar
grandes archivos nuevos y sin la necesidad de añadir un poder de
cálculo sustancial.
También existe la necesidad de tal sistema que
pueda analizar los archivos de registro tanto si se han generado de
forma simultánea como consecutiva.
La presente invención comprende un procedimiento
para analizar archivos de registro que contienen una pluralidad de
paquetes de datos en secuencia, que comprende: (a) seleccionar el
primer paquete de datos de cada archivo de registro; (b) comparar
los paquetes de datos seleccionados; (c) pasar el más antiguo de los
paquetes de datos seleccionados a un analizador de archivos de
registro; (d) seleccionar el siguiente paquete de datos del archivo
de registro en el que se seleccionó el paquete de datos pasado; y
(e) repetir las etapas (b) a (d) hasta que se hayan pasado todos
los paquetes de datos de los archivos de registro.
Las anteriores y otras características y
ventajas de la invención se apreciarán con mayor facilidad tras la
siguiente descripción detallada de una forma de realización
preferida de la invención, que hace referencia a los dibujos
adjuntos.
La fig. 1 es un diagrama de bloques funcional
de un sistema de la técnica anterior para analizar datos de tráfico
en un entorno de computación distribuida de acuerdo con la presente
invención.
la fig. 2 es un diagrama de flujo de un
procedimiento de la técnica anterior para analizar los datos de
tráfico en un entorno de computación distribuida de acuerdo con la
presente invención, usando el sistema de la fig. 1.
la fig. 3A muestra un formato de la técnica
anterior usado en el almacenamiento de una "petición" de datos
de tráfico recibida por el servidor de la fig. 1.
la fig. 3B muestra, a modo de ejemplo, una
"petición" de datos de tráfico formateados recibida por el
servidor de la fig. 1.
la fig. 4 es un diagrama esquemático de una
granja de servidores, que incluye múltiples servidores como el que
se muestra y describe en la fig. 1.
la fig. 5 es un diagrama esquemático que
ilustra el funcionamiento de la granja de servidores de la fig.
4.
la fig. 6 es un diagrama esquemático que
ilustra la presente invención incorporada en la granja de servidores
de la fig. 4.
la fig. 7 es un diagrama esquemático similar a
la fig. 6, pero que ilustra el funcionamiento de la presente
invención con archivos de registro consecutivos.
la fig. 8 es un diagrama de flujo de una rutina
para incorporar la presente invención.
La fig. 1 es un diagrama de bloques funcional de
un sistema de la técnica anterior para analizar datos de tráfico en
un entorno de computación distribuida 9. Se describe de forma
completa en el documento "WebTrends Installation and User
Guide", versión 2.2, octubre de 1996, y en la solicitud de
patente de EE.UU. nº 08/801.707, cuyas descripciones se incorporan
en la presente memoria descriptiva a modo de referencia. WebTrends
es una marca comercial perteneciente a Webtrends Corporation,
Portland, Oregón.
Un servidor 10 proporciona a usuarios remotos
sitios web y servicios relacionados. A modo de ejemplo, los
usuarios remotos pueden acceder al servidor 10 desde un sistema
informático remoto 12 interconectado con el servidor 10 a través de
una conexión de red 13, como por ejemplo Internet o una red de tipo
intranet, una conexión de marcado telefónico (o de punto a punto)
14 o una conexión directa (dedicada) 17. También son posibles otros
tipos de conexiones de acceso remoto.
Cada acceso al servidor 10 realizado por un
usuario remoto da lugar a una "petición" de datos de tráfico en
bruto 11. Más adelante se describe el formato usado al almacenar
cada petición de datos de tráfico 11 y un ejemplo de
petición de datos de tráfico 11, haciendo referencia a las
figs. 3A y 3B respectivamente. El servidor 10 almacena
preferentemente cada petición de datos de tráfico 11 en un archivo
de registro 15, aunque se puede usar una base de datos 16 u otra
estructura de almacenamiento.
Para analizar los datos de tráfico, el servidor
10 examina cada petición de datos de tráfico 11 y almacena
la información de acceso obtenida a partir de los datos de tráfico
como resultados del análisis 18A a C. Se muestran cinco fuentes de
datos de tráfico 11 (sistema remoto 12, conexión de marcado
telefónico 14, archivo de registro 15, base de datos 16 y conexión
directa 17). También son posibles otras fuentes. Las peticiones de
datos de tráfico 11 pueden originarse a partir de cualquier fuente
individual o a partir de una combinación de estas fuentes. Mientras
el servidor 10 recibe las peticiones de datos de tráfico 11 de forma
continua, se almacenan diferentes conjuntos de resultados de los
análisis 18A a C para cada periodo de información discreto,
denominado fracción de tiempo. Los resultados de los análisis 18A a
C se usan para generar resúmenes 19A a C de la información de
acceso.
En la forma de realización descrita, el servidor
10 es típicamente un sistema informático basado en Intel Pentium,
provisto de un procesador, memoria, interfaces de entrada/salida, un
interfaz de red, un dispositivo de almacenamiento secundario y una
interfaz de usuario, preferentemente tal como un teclado y una
pantalla. El servidor 10 funciona típicamente bajo el control de un
sistema operativo Microsoft Windows NT o Unix y ejecuta un software
de Microsoft Internet Information Server o NetScape Communications
Server. Pentium, Microsoft, Windows, Windows NT, Unix, NetScape y
NetScape Communications Server son marcas comerciales de sus
respectivos propietarios. No obstante, también son posibles otras
configuraciones del servidor 10 con diferente hardware, tal como
plataformas compatibles con DOS, Apple Macintosh, Sun Workstation y
otras, sistemas operativos, tales como MS-DOS, Unix
y otros, y software de red. Apple, Macintosh, Sun y
MS-DOS son marcas registradas de sus respectivos
propietarios.
La fig. 2 es un diagrama de flujo de un
procedimiento 20 para analizar datos de tráfico en un entorno de
computación distribuida de acuerdo con la presente invención,
usando el sistema de la fig. 1. Su objeto es de el recopilar y
resumir continuamente la información de acceso a partir de
peticiones de datos de tráfico 11 al tiempo que permite los
análisis ad hoc cuando se soliciten. El procedimiento 20
consiste en dos rutinas. La información de acceso se recopila a
partir de peticiones de datos de tráfico 11 y es resumida por el
servidor 10 para dar lugar a los resultados del análisis 18A a C
(bloque 21). La información de acceso se analiza por separado para
generar los resúmenes 19A a C que identifican las tendencias,
estadísticas y otras informaciones (bloque 22). El servidor 10
lleva a cabo de forma continua la recopilación y el resumen de la
información de acceso (bloque 21) mientras que el análisis de la
información de acceso (bloque 22) se lleva a cabo de forma ad
hoc mediante el servidor 10 o una estación de trabajo diferente
(que no se muestra).
El procedimiento 20 se incorpora preferentemente
en forma de programa informático ejecutado por el servidor 10 y
materializado en un medio de almacenamiento que comprende un código
legible por ordenador. En la forma de realización descrita, el
procedimiento 20 está escrito en el lenguaje de programación C,
aunque otros lenguajes programación resultan igualmente adecuados.
Funciona en un entorno de Microsoft Windows y puede analizar
formatos de archivo de registro Common Log File, Combined Log File
y de propietario desde servidores web estándar en la industria,
tales como los autorizados por NetScape, NCSA, O'Reilly WebSite,
Quarterdeck, C-Builder, Microsoft, Oracle, EMWAC, y
otros servidores web Windows 3.x, Windows NT 95, Unix y Macintosh.
Los resultados de los análisis 18A a C pueden almacenarse en una
base de datos 16 de propietario o estándar (que se muestra en la
fig. 1), tal como SQL, BTRIEVE, ORACLE, INFORMIX y otras. El
procedimiento 20 usa los resultados de los análisis 18A a C de las
peticiones de datos de tráfico 11 según se recopilan en el archivo
de registro 15 o la base de datos 16 para elaborar resúmenes de
actividad, geográficos, demográficos u otros 19A a C, tales como los
que figuran en la siguiente tabla 1. También son posibles otros
resúmenes 19A a C.
Además, los resultados de los análisis 18A a C
se pueden usar para producir automáticamente informes y resúmenes
que incluyan información estadística y gráficos que muestren, a modo
de ejemplo, la actividad del usuario por mercado, nivel de interés
en páginas o servicios web específicos, qué productos son más
populares, si un visitante es de origen local, nacional o
internacional, e información similar. En la forma de realización
descrita, los resúmenes 19A a C pueden generarse como informes en
diversos formatos. Entre estos formatos se incluyen archivos en
lenguaje de marcas de hipertexto (HTML) compatibles con la mayor
parte de los navegadores web populares, formatos de archivo de
propietario para su uso con programas de procesamiento de textos,
hoja de cálculo, base de datos y otros, tales como archivos de
Microsoft Word, de Microsoft Excel, ASCII y otros formatos
diversos. Word y Excel son marcas comerciales de Microsoft
Corporation, Redmond, Virginia.
La figura 3A muestra un formato usado en el
almacenamiento de una "petición" de datos de tráfico en
bruto 11 recibida por el servidor de la fig. 1. Una petición
de datos de tráfico en bruto 11 no se encuentra en el formato que
se muestra en la fig. 3A. En lugar de ello, el contenido de cada
campo del formato se determina a partir de los paquetes de datos
intercambiados entre el servidor 10 y la fuente de la
petición de datos de tráfico 11 y la información extraída de
los paquetes de datos se almacena en un registro de datos usando el
formato de la fig. 3A antes de almacenarla en el archivo de registro
15 (que se muestra en la fig. 1) o procesarla.
Cada petición de datos de tráfico 11 es
una cadena formateada de datos ASCII. El formato está basado en el
formato estándar de archivo de registro creado por la National
Computer Security Association (NCSA), el formato estándar de
registro usado por la mayor parte de servidores web. El formato
consiste en los siguientes siete campos:
- \underbar{Nombre del campo}
- \underbar{Descripción}
- Dirección de usuario (30):
- Dirección de protocolo de Internet (IP) o nombre de dominio del usuario que accede al sitio.
- RFC931 (31):
- Campo obsoleto que se suele dejar en blanco, pero que cada vez más usan muchos servidores web para almacenar el nombre de dominio del ordenador principal para archivos de registro con más de una conexión a red (multi-homed).
- Autenticación de usuario (32):
- Intercambia el nombre de usuario si se requiere para el acceso al servidor web.
- Fecha/hora (33):
- Fecha y hora del acceso y la diferencia horaria con respecto al GMT
- Solicitud (34):
- Una instrucción GET (una solicitud de página) o POST (un envío de un formulario)
- Código de retorno (35):
- Estado de retorno de la solicitud que especifica si la transferencia se realizó de forma satisfactoria.
- Tamaño de la transferencia (36):
- Número de bytes transferidos para la solicitud del archivo, es decir, el tamaño del archivo.
\vskip1.000000\baselineskip
Además, se pueden emplear los siguientes tres
campos opcionales:
- \underbar{Nombre del campo}
- \underbar{Descripción}
- Sitio de referencia (37):
- URL usada para obtener información del sitio web para efectuar la "petición".
- Agente (38):
- Versión del navegador, incluidos la marca, modelo o número de versión y sistema operativo.
- Cookie (39):
- Identificador único usado con permiso para identificar a un usuario en particular.
También son posibles otros formatos de
peticiones de datos de tráfico 11, incluidos formatos de propietario
que contienen campos adicionales, tales como tiempo para
transmitir, tipo de funcionamiento del servicio y otros. Además,
constantemente se producen modificaciones y adiciones a los formatos
de peticiones de datos de tráfico en bruto 11 y un experto en la
materia conocería las extensiones requeridas por la presente
invención para manejar tales variaciones de los formatos.
La fig. 3B muestra, a modo de ejemplo, una
"petición" de datos de tráfico en bruto recibida por el
servidor de la fig. 1. El campo de la dirección de usuario 30 es
"tarpon.gulf.net", que indica que el usuario procede de un
dominio llamado "gulf.net" que reside en una máquina llamada
"tarpon". Los campos de RFC931 31 y de autorización de usuario
32 son "-", que indica entradas en blanco. El campo de
Fecha/Hora 33 es "12/JAN/1996:20:38:17 +0000", que indica un
acceso el 12 de enero de 1996 a las 8:38:17 p.m. GMT. El campo de
solicitud 34 es "GET/general.htm http/1.0", que indica que el
usuario solicitó la página "general.htm". Los campos de código
de retorno 35 y tamaño de transferencia 36 son 200 y 3599,
respectivamente, que indican una transferencia satisfactoria de
3599 bytes.
Atendiendo ahora a la fig. 4, una granja de
servidores construida de acuerdo con la presente invención se
indica generalmente mediante el número 40. En ella se incluyen dos
grupos de servidores 42, 44, cada uno de los cuales incluye los
servidores 46, 48, 50 y los servidores 50, 52 y 54, respectivamente.
Cada uno de los servidores de los grupos 42, 44 es sustancialmente
idéntico al servidor 10 de la fig. 1. En la presente forma de
realización, el grupo de servidores 42 alberga un primer sitio web,
que está duplicado en cada uno de los servidores del grupo, en una
única dirección de protocolo de Internet (IP) identificada. Los
servidores pertenecientes al grupo 44 albergan un segundo sitio
web, que está duplicado en cada uno de los servidores del grupo, en
una segunda dirección de IP identificada.
Cada uno de los servidores de los grupos 42, 44
está conectado a través de un cable, como el cable 58, a un
redirector 60, El redirector recibe a su vez una entrada procedente
de una conexión de red 62, que en la presente forma de realización
es una conexión de Internet. El redirector 60 es un dispositivo de
hardware de la técnica anterior que recibe una fuente de peticiones
de datos de tráfico -en el presente caso, a través de la conexión
62- y las distribuye a los servidores de los grupos 42, 44.
En la presente puesta en práctica, el redirector
60 distribuye las peticiones de datos de tráfico dentro de cada uno
de los grupos 42, 44. En otras palabras, las peticiones de datos de
tráfico generados a consecuencia del acceso al sitio web publicado
en el grupo 42, se distribuyen entre los servidores 46, 48, 50.
Igualmente, las peticiones de datos de tráfico producidas por el
acceso al sitio web alojado en el grupo 44 se distribuyen entre los
servidores 52, 54, 56. Cisco Systems fabrica un dispositivo adecuado
para funcionar como redirector, vendido con el nombre de
LocalDirector. Los expertos en la materia apreciarán que otros
dispositivos de hardware conocidos pueden realizar la función del
redirector 60.
Atendiendo ahora a la fig. 5, cada uno de los
archivos de registro 46A, 48B y 50C se almacena en el servidor
correspondiente al número usado para indicar el archivo de registro.
Estos archivos de registro se generan y se almacenan del modo
descrito en relación con el servidor de la fig. 1. En la fig. 5, las
peticiones se numeran consecutivamente, de la petición número 1 a
la petición número 13 en el orden cronológico en que se generó cada
petición de datos de tráfico. En la representación de la fig. 5, aún
se sigue completando cada uno de los archivos de registro 46A, 48B,
50C. Es decir, en el archivo de registro 46A, por ejemplo, la
petición número 1 es la petición de datos almacenada en primer
lugar, y la petición número 5 es la petición de datos almacenada a
continuación, almacenándose después, consecutivamente, las
peticiones número 6 y 12. Debido a que el archivo de registro 46A
no está aún completo y permanece abierto, se pueden almacenar más
peticiones consecutivamente tras la petición número 12. El caso es
el mismo para los archivos de registro 48B, 50C.
Atendiendo ahora a la fig. 6, en ella se incluye
un clasificador 64, que examina las peticiones consecutivamente en
cada uno de los archivos de registro y las pasa -en el orden
cronológico en que se generó cada petición- a un analizador de
archivos de registro 66. El analizador de archivos de registro
funciona generalmente de modo descrito en relación con el servidor
representado en la fig. 1. Por lo tanto, los resultados del análisis
se pasan a los resultados de los análisis 18A a C, también del modo
descrito en relación con la fig. 1.
El funcionamiento del clasificador 64 puede
entenderse mejor haciendo referencia a la siguiente tabla 2 y al
diagrama de flujo representado en la fig. 8.
En primer lugar, en el bloque 68 de la fig. 8,
se selecciona el primer registro recibido en cada archivo de
registro 46A, 48B, 50C. Esta selección se ilustra en la tabla 2,
línea 1, en la que las peticiones 1, 2 y 4 aparecen en la columna
de Comparar. En el bloque 70, el clasificador 64 compara cada
una de las peticiones 1, 2, y 4 y pasa el registro más antiguo (en
el tiempo), concretamente la petición 1 (bloque 72). La rutina
determina a continuación, en el bloque 74, si todos los registros en
todos los archivos de registro se han seleccionado, comparado y
pasado. Si es así, la rutina termina en el bloque 76. Si no, en el
bloque 78, la rutina selecciona el siguiente registro del archivo
de registro que contiene el registro que se pasó en el bloque 72.
En el ejemplo que se está considerando en este momento, el siguiente
registro es la petición número 5 del archivo de registro 46A. A
continuación -en referencia a la línea 2 de la tabla 2-, en el
bloque 70, se comparan las peticiones 5, 2 y 4, y se pasa la
petición 2, al ser la más antigua (en el tiempo) de las tres que se
comparan.
Debido a que la rutina funciona en un orden de
primero en entrar, primero en salir (FIFO) en cada uno de los
archivos de registro, conserva la capacidad de procesamiento
mientras los archivos permanecen abiertos y continúan recibiendo
más peticiones en orden.
En el ejemplo de la fig. 7, los archivos de
registro 80, 82, 84 se ponen en funcionamiento mediante el
clasificador 64. Es preciso observar que estos archivos de registro
incluyen peticiones que se encuentran en un orden cronológico
consecutivo. Lo que es más, cada uno de los archivos de registro se
genera en orden cronológico. Así, el archivo de registro 80
representa un periodo de tiempo identificado, que varía entre la
hora asociada a la petición 1 y la hora de la petición 4; el
archivo de registro 82, entre las horas de las peticiones 5 y 8; y
el archivo de registro 84, entre las peticiones 9 y 12. Volviendo a
hacer referencia a la fig. 8 y a la tabla 3, que ilustra las
comparaciones secuenciales realizadas con los registros de los
archivos de registro en la fig. 7, las peticiones 1, 5 y 9 se
seleccionan en el bloque 68 y se comparan en el bloque 70. La
petición 1, el registro más antiguo, se pasa en el bloque 72 y el
siguiente registro en entrar, la petición número 2, se selecciona
en el bloque 78. Esta secuencia continúa hasta que se pasan todas
las peticiones de la 1 a la 12, pasándose primero en orden las
peticiones 1 a 4 del archivo de registro 80, pasándose a
continuación en orden las peticiones 5 a 8 del archivo de registro
82, y finalmente las peticiones 9 a 12 en orden del archivo de
registro 84.
Por consiguiente, la presente invención
clasifica correctamente las peticiones de datos de tráfico en
archivos generados simultáneamente o generados consecutivamente.
Esto resulta ventajoso, ya que obvia la necesidad de rutinas
separadas o de configurar un programa dependiendo de si los archivos
de registro son consecutivos o simultáneos. Además, la presente
invención es capaz de clasificar archivos de registro mientras éstos
continúan recibiendo y almacenando nuevas peticiones de datos de
tráfico. Este análisis sobre la marcha proporciona a los usuarios
datos estadísticos e informes casi en tiempo real.
Claims (10)
1. Un procedimiento para analizar datos de
tráfico generados por una pluralidad de servidores web (10)
conectados a través de una red (13) a una pluralidad de
dispositivos informáticos (12) que comprende:
(a) generar una pluralidad de peticiones de
datos de tráfico (11) para cada acceso por parte de un usuario
remoto a uno de los servidores web (10), correspondiendo cada una de
dichas peticiones (11) a un paquete de datos intercambiado entre
uno de los servidores web (10) y uno de los dispositivos
informáticos (12);
(b) asociar las peticiones de datos de tráfico
(11) con sus respectivos servidores (10);
caracterizado porque el procedimiento
comprende también:
(c) leer una primera petición de datos (11) de
cada servidor (10);
(d) comparar la petición de datos de tráfico
(11) leída desde un servidor con la petición de datos de tráfico
(11) leída desde otro servidor de la pluralidad de servidores web
(10);
(e) pasar la petición de datos más antigua
(11);
(f) leer la siguiente petición de datos (11)
desde el servidor (10) desde el que se leyó la petición de datos
(11) pasada;
(g) repetir las etapas (d) a (e) hasta que se
hayan leído todos las peticiones de datos (11); y
(h) analizar las peticiones de datos (11)
pasadas.
2. El procedimiento de la reivindicación 1, en
el que las etapas (b) y (c) se realizan de forma sustancialmente
simultánea.
3. El procedimiento de la reivindicación 1, en
el que la etapa (b) se realiza antes de la etapa (c).
4. El procedimiento de la reivindicación 1, en
el que dichos servidores web (10) se duplican unos a otros.
5. El procedimiento de la reivindicación 1, en
el que dichas peticiones de datos de tráfico (11) se generan en
orden cronológico y en el que diferentes archivos de registro (15)
contienen peticiones de datos correspondientes a peticiones de
datos de tráfico (11) generadas en un mismo periodo de tiempo.
6. Un procedimiento para analizar archivos de
registro (15) que contienen una pluralidad de peticiones de datos
en orden, cada una de las cuales corresponde a una petición de datos
de tráfico (11) generada por un servidor web (10), generándose unas
peticiones de datos de tráfico (11) para cada acceso de un usuario
remoto al servidor web (10), comprendiendo dicho procedimiento:
(a) seleccionar una primera petición de datos
(11) en cada archivo de registro (15);
(b) comparar las primeras peticiones de datos
(11) seleccionadas de un archivo de registro (15) con la primera
petición de datos (11) seleccionada de otro archivo de registro
(15);
caracterizado por las etapas de:
(c) pasar la más antigua de las peticiones de
datos (11) a un analizador de archivos de registro (66);
(d) seleccionar la siguiente petición de datos
(11) del archivo de registro (15) del que se seleccionó la petición
de datos (11) pasada; y
(e) repetir las etapas (b) a (d) hasta que se
hayan pasado todas las peticiones de datos (11) de los archivos de
registro (15).
7. El procedimiento de la reivindicación 6 en el
que cada una de dichas peticiones de datos (11) está asociada a una
hora única y en la que el último registro de un archivo de registro
(15) está asociado a una hora posterior a la del primer registro en
otro archivo de registro (15).
8. El procedimiento de la reivindicación 6 en el
que cada uno de dichos archivos de registro (15) está asociado a un
período de tiempo único y en el que la hora de cada petición de
datos (11) está dentro del periodo para su archivo de registro
(15).
\newpage
9. El procedimiento de la reivindicación 6 en el
que uno de dichos archivos de registro (15) lo genera un servidor
web (10) y en el que otro de dichos archivos de registro (15) lo
genera otro servidor web.
10. Un sistema para analizar archivos de
registro de servidor web (15) que comprende:
una fuente (12, 14, 15, 16, 17) de peticiones de
datos de tráfico (11) generadas por un servidor web (10) para cada
acceso por parte de un usuario remoto a los servidores web (10);
estando asociada cada una de dichas peticiones de datos (11) a una
hora única;
un archivo de registro (15) que contiene las
peticiones de datos (11) en orden;
caracterizado por:
un clasificador (64) para clasificar las
peticiones de datos (11) de una pluralidad de archivos de registro
(15) en orden cronológico; y
un analizador (66) para analizar las peticiones
de datos (11) clasificadas.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US132287 | 1998-08-11 | ||
| US09/132,287 US6317787B1 (en) | 1998-08-11 | 1998-08-11 | System and method for analyzing web-server log files |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2296403T3 true ES2296403T3 (es) | 2008-04-16 |
Family
ID=22453317
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES99942121T Expired - Lifetime ES2296403T3 (es) | 1998-08-11 | 1999-08-11 | Sistema y procedimiento para analizar archivos de registro de un servidor web. |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US6317787B1 (es) |
| EP (1) | EP1131725B1 (es) |
| AT (1) | ATE374970T1 (es) |
| AU (2) | AU769816B2 (es) |
| CA (1) | CA2340109C (es) |
| DE (1) | DE69937249T2 (es) |
| DK (1) | DK1131725T3 (es) |
| ES (1) | ES2296403T3 (es) |
| WO (1) | WO2000010093A1 (es) |
Families Citing this family (123)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5781449A (en) * | 1995-08-10 | 1998-07-14 | Advanced System Technologies, Inc. | Response time measurement apparatus and method |
| US6108637A (en) | 1996-09-03 | 2000-08-22 | Nielsen Media Research, Inc. | Content display monitor |
| US6112238A (en) * | 1997-02-14 | 2000-08-29 | Webtrends Corporation | System and method for analyzing remote traffic data in a distributed computing environment |
| US6643696B2 (en) | 1997-03-21 | 2003-11-04 | Owen Davis | Method and apparatus for tracking client interaction with a network resource and creating client profiles and resource database |
| US6925442B1 (en) | 1999-01-29 | 2005-08-02 | Elijahu Shapira | Method and apparatus for evaluating vistors to a web server |
| US6574627B1 (en) * | 1999-02-24 | 2003-06-03 | Francesco Bergadano | Method and apparatus for the verification of server access logs and statistics |
| US6529952B1 (en) * | 1999-04-02 | 2003-03-04 | Nielsen Media Research, Inc. | Method and system for the collection of cookies and other information from a panel |
| US6789115B1 (en) * | 1999-07-09 | 2004-09-07 | Merrill Lynch & Company | System for collecting, analyzing, and reporting high volume multi-web server usage |
| AUPQ206399A0 (en) | 1999-08-06 | 1999-08-26 | Imr Worldwide Pty Ltd. | Network user measurement system and method |
| US6760763B2 (en) | 1999-08-27 | 2004-07-06 | International Business Machines Corporation | Server site restructuring |
| US7610289B2 (en) | 2000-10-04 | 2009-10-27 | Google Inc. | System and method for monitoring and analyzing internet traffic |
| US6792458B1 (en) * | 1999-10-04 | 2004-09-14 | Urchin Software Corporation | System and method for monitoring and analyzing internet traffic |
| US7035926B1 (en) * | 1999-11-30 | 2006-04-25 | International Business Machines Corporation | Real-time monitoring of web activities |
| US7523190B1 (en) * | 1999-12-23 | 2009-04-21 | Bickerstaff Cynthia L | Real-time performance assessment of large area network user experience |
| CA2396565A1 (en) | 2000-01-12 | 2001-07-19 | Jupiter Media Metrix, Inc. | System and method for estimating prevalence of digital content on the world-wide-web |
| US6477483B1 (en) | 2000-01-17 | 2002-11-05 | Mercury Interactive Corporation | Service for load testing a transactional server over the internet |
| US6771289B1 (en) * | 2000-03-02 | 2004-08-03 | Microsoft Corporation | Cluster-based visualization of user traffic on an internet site |
| US6728932B1 (en) | 2000-03-22 | 2004-04-27 | Hewlett-Packard Development Company, L.P. | Document clustering method and system |
| JP4403335B2 (ja) * | 2000-04-17 | 2010-01-27 | ソニー株式会社 | ビデオ処理機器の保守支援システム |
| US7020709B1 (en) | 2000-06-30 | 2006-03-28 | Intel Corporation | System and method for fault tolerant stream splitting |
| US7318107B1 (en) | 2000-06-30 | 2008-01-08 | Intel Corporation | System and method for automatic stream fail-over |
| US6785666B1 (en) * | 2000-07-11 | 2004-08-31 | Revenue Science, Inc. | Method and system for parsing navigation information |
| CA2432344C (en) * | 2000-08-21 | 2010-10-26 | Netiq Corporation | Data tracking using ip address filtering over a wide area network |
| US20040236673A1 (en) | 2000-10-17 | 2004-11-25 | Eder Jeff Scott | Collaborative risk transfer system |
| US6904461B1 (en) * | 2000-10-19 | 2005-06-07 | Unitel Technologies, Inc. | Method for making time-sensitive determinations of traffic intensity for a visitable site |
| US6850944B1 (en) * | 2000-11-20 | 2005-02-01 | The University Of Alabama | System, method, and computer program product for managing access to and navigation through large-scale information spaces |
| CA2327211A1 (en) * | 2000-12-01 | 2002-06-01 | Nortel Networks Limited | Management of log archival and reporting for data network security systems |
| US7305622B2 (en) | 2000-12-05 | 2007-12-04 | Clickfox, Llc | Graphical user interface and web site evaluation tool for customizing web sites |
| AU2002230735A1 (en) * | 2000-12-11 | 2002-06-24 | Phlair, Inc. | System and method for detecting and reporting online activity using real-time content-based network monitoring |
| US6564170B2 (en) * | 2000-12-29 | 2003-05-13 | Hewlett-Packard Development Company, L.P. | Customizable user interfaces |
| US20020143925A1 (en) * | 2000-12-29 | 2002-10-03 | Ncr Corporation | Identifying web-log data representing a single user session |
| US6654699B2 (en) * | 2000-12-29 | 2003-11-25 | Microsoft Corporation | Computer network testing system and method using client playback of edited network information |
| US6651141B2 (en) | 2000-12-29 | 2003-11-18 | Intel Corporation | System and method for populating cache servers with popular media contents |
| US7003565B2 (en) * | 2001-04-03 | 2006-02-21 | International Business Machines Corporation | Clickstream data collection technique |
| US20040205575A1 (en) * | 2001-04-12 | 2004-10-14 | Martin Wattenberg | Method and system for incorporating a value in a document |
| US6968341B2 (en) * | 2001-05-25 | 2005-11-22 | International Business Machines Corporation | System and method for post-analyzing, and sequentially visualizing plurality of predefined metrics in a stored dynamic data values associated identifiers within determined time range |
| US20020188868A1 (en) * | 2001-06-12 | 2002-12-12 | Budka Kenneth C. | Method for protecting use of resources in a network |
| US6763321B2 (en) * | 2001-06-22 | 2004-07-13 | Sun Microsystems, Inc. | Method and apparatus to facilitate measurement of quality-of-service performance of a network server |
| US20030018584A1 (en) * | 2001-07-23 | 2003-01-23 | Cohen Jeremy Stein | System and method for analyzing transaction data |
| US7278161B2 (en) | 2001-10-01 | 2007-10-02 | International Business Machines Corporation | Protecting a data processing system from attack by a vandal who uses a vulnerability scanner |
| US20030105958A1 (en) * | 2001-12-05 | 2003-06-05 | International Business Machines Corporation | Command script instrumentation for logging command execution and the protection of sensitive information |
| US20080027841A1 (en) * | 2002-01-16 | 2008-01-31 | Jeff Scott Eder | System for integrating enterprise performance management |
| GB2385953A (en) * | 2002-01-25 | 2003-09-03 | Robert Andrew Hurst | A web page reporting tool for reporting activity on a web page |
| US9167036B2 (en) | 2002-02-14 | 2015-10-20 | Level 3 Communications, Llc | Managed object replication and delivery |
| US8280873B1 (en) * | 2002-04-17 | 2012-10-02 | Teradata Us, Inc. | System for capturing a business context of a user's interaction with a website and method for the same |
| US7590724B1 (en) * | 2002-04-29 | 2009-09-15 | Williams Robert D | Auto instrumentation system |
| US7970640B2 (en) * | 2002-06-12 | 2011-06-28 | Asset Trust, Inc. | Purchasing optimization system |
| US6931357B2 (en) * | 2002-07-18 | 2005-08-16 | Computer Network Technology Corp. | Computer network monitoring with test data analysis |
| US8271778B1 (en) | 2002-07-24 | 2012-09-18 | The Nielsen Company (Us), Llc | System and method for monitoring secure data on a network |
| US7254784B2 (en) * | 2002-09-11 | 2007-08-07 | Peter H. Chang | User-driven menu generation system with multiple submenus |
| US8381091B2 (en) * | 2002-09-16 | 2013-02-19 | International Business Machines Corporation | Real-time method, system and program product for collecting web form data |
| US7853684B2 (en) * | 2002-10-15 | 2010-12-14 | Sas Institute Inc. | System and method for processing web activity data |
| JP4098610B2 (ja) | 2002-12-10 | 2008-06-11 | 株式会社日立製作所 | アクセス中継装置 |
| US7401057B2 (en) * | 2002-12-10 | 2008-07-15 | Asset Trust, Inc. | Entity centric computer system |
| US7792827B2 (en) * | 2002-12-31 | 2010-09-07 | International Business Machines Corporation | Temporal link analysis of linked entities |
| US7603373B2 (en) * | 2003-03-04 | 2009-10-13 | Omniture, Inc. | Assigning value to elements contributing to business success |
| US9081863B2 (en) * | 2005-06-03 | 2015-07-14 | Adobe Systems Incorporated | One-click segmentation definition |
| US7991732B2 (en) * | 2005-06-03 | 2011-08-02 | Adobe Systems Incorporated | Incrementally adding segmentation criteria to a data set |
| US7320007B1 (en) * | 2003-12-12 | 2008-01-15 | Peter Hon-You Chang | Dynamic generation of target files from template files and tracking of the processing of target files |
| US8346803B2 (en) * | 2003-12-12 | 2013-01-01 | Knapp Investment Company Limited | Dynamic generation of target files from template files and tracking of the processing of target files |
| US8782654B2 (en) | 2004-03-13 | 2014-07-15 | Adaptive Computing Enterprises, Inc. | Co-allocating a reservation spanning different compute resources types |
| US9558042B2 (en) | 2004-03-13 | 2017-01-31 | Iii Holdings 12, Llc | System and method providing object messages in a compute environment |
| US7792954B2 (en) * | 2004-04-02 | 2010-09-07 | Webtrends, Inc. | Systems and methods for tracking web activity |
| US20070266388A1 (en) | 2004-06-18 | 2007-11-15 | Cluster Resources, Inc. | System and method for providing advanced reservations in a compute environment |
| US8176490B1 (en) | 2004-08-20 | 2012-05-08 | Adaptive Computing Enterprises, Inc. | System and method of interfacing a workload manager and scheduler with an identity manager |
| US8583472B2 (en) * | 2004-09-10 | 2013-11-12 | Fmr Llc | Measuring customer service levels |
| US7624176B2 (en) * | 2004-10-14 | 2009-11-24 | International Business Machines Corporation | Method and system for programmatically generating synthetic transactions to monitor performance and availability of a web application |
| US8271980B2 (en) | 2004-11-08 | 2012-09-18 | Adaptive Computing Enterprises, Inc. | System and method of providing system jobs within a compute environment |
| US8863143B2 (en) | 2006-03-16 | 2014-10-14 | Adaptive Computing Enterprises, Inc. | System and method for managing a hybrid compute environment |
| US8631130B2 (en) | 2005-03-16 | 2014-01-14 | Adaptive Computing Enterprises, Inc. | Reserving resources in an on-demand compute environment from a local compute environment |
| US9015324B2 (en) | 2005-03-16 | 2015-04-21 | Adaptive Computing Enterprises, Inc. | System and method of brokering cloud computing resources |
| US9231886B2 (en) | 2005-03-16 | 2016-01-05 | Adaptive Computing Enterprises, Inc. | Simple integration of an on-demand compute environment |
| US8713025B2 (en) | 2005-03-31 | 2014-04-29 | Square Halt Solutions, Limited Liability Company | Complete context search system |
| US8782120B2 (en) | 2005-04-07 | 2014-07-15 | Adaptive Computing Enterprises, Inc. | Elastic management of compute resources between a web server and an on-demand compute environment |
| CA2603577A1 (en) | 2005-04-07 | 2006-10-12 | Cluster Resources, Inc. | On-demand access to compute resources |
| US7941394B2 (en) * | 2005-06-03 | 2011-05-10 | Adobe Systems Incorporated | User interface providing summary information or a status pane in a web analytics tool |
| US9122715B2 (en) | 2006-06-29 | 2015-09-01 | International Business Machines Corporation | Detecting changes in end-user transaction performance and availability caused by changes in transaction server configuration |
| US8869066B2 (en) | 2006-07-06 | 2014-10-21 | Addthis, Llc | Generic content collection systems |
| US8056092B2 (en) | 2006-09-29 | 2011-11-08 | Clearspring Technologies, Inc. | Method and apparatus for widget-container hosting and generation |
| US20080222232A1 (en) * | 2007-03-06 | 2008-09-11 | Allen Stewart O | Method and Apparatus for Widget and Widget-Container Platform Adaptation and Distribution |
| US9009728B2 (en) | 2007-03-06 | 2015-04-14 | Addthis, Inc. | Method and apparatus for widget and widget-container distribution control based on content rules |
| US8266274B2 (en) | 2007-03-06 | 2012-09-11 | Clearspring Technologies, Inc. | Method and apparatus for data processing |
| US8166157B2 (en) * | 2007-03-23 | 2012-04-24 | Fmr Llc | Enterprise application performance monitors |
| JP2008293299A (ja) * | 2007-05-24 | 2008-12-04 | Fuji Xerox Co Ltd | 情報処理装置及び制御プログラム |
| US8990378B2 (en) * | 2007-07-05 | 2015-03-24 | Interwise Ltd. | System and method for collection and analysis of server log files |
| US8041773B2 (en) | 2007-09-24 | 2011-10-18 | The Research Foundation Of State University Of New York | Automatic clustering for self-organizing grids |
| US8209378B2 (en) | 2007-10-04 | 2012-06-26 | Clearspring Technologies, Inc. | Methods and apparatus for widget sharing between content aggregation points |
| US20100281389A1 (en) * | 2007-10-29 | 2010-11-04 | Hutchinson Kevin P | System for measuring web traffic |
| US7752308B2 (en) * | 2007-10-30 | 2010-07-06 | Hutchinson Kevin P | System for measuring web traffic |
| US20090112976A1 (en) * | 2007-10-29 | 2009-04-30 | Hutchinson Kevin P | Method for measuring web traffic |
| US7822850B1 (en) * | 2008-01-11 | 2010-10-26 | Cisco Technology, Inc. | Analyzing log files |
| JP4521038B2 (ja) * | 2008-02-07 | 2010-08-11 | 富士通株式会社 | ストレージ装置、中継装置および動作状態制御方法 |
| US10924573B2 (en) | 2008-04-04 | 2021-02-16 | Level 3 Communications, Llc | Handling long-tail content in a content delivery network (CDN) |
| WO2009123868A2 (en) | 2008-04-04 | 2009-10-08 | Level 3 Communications, Llc | Handling long-tail content in a content delivery network (cdn) |
| US9762692B2 (en) | 2008-04-04 | 2017-09-12 | Level 3 Communications, Llc | Handling long-tail content in a content delivery network (CDN) |
| US20090286550A1 (en) * | 2008-05-15 | 2009-11-19 | Brane Wolrd Ltd. | Tempo Spatial Data Extraction From Network Connected Devices |
| US8935382B2 (en) * | 2009-03-16 | 2015-01-13 | Microsoft Corporation | Flexible logging, such as for a web server |
| US20100306363A1 (en) * | 2009-05-26 | 2010-12-02 | Erwien Saputra | Determining completion of a web server download session at a database server |
| US9305105B2 (en) * | 2009-05-26 | 2016-04-05 | Google Inc. | System and method for aggregating analytics data |
| US8549019B2 (en) * | 2009-05-26 | 2013-10-01 | Google Inc. | Dynamically generating aggregate tables |
| US8386498B2 (en) * | 2009-08-05 | 2013-02-26 | Loglogic, Inc. | Message descriptions |
| US8751544B2 (en) * | 2009-09-02 | 2014-06-10 | Google Inc. | Method and system for pivoting a multidimensional dataset |
| US8543591B2 (en) * | 2009-09-02 | 2013-09-24 | Google Inc. | Method and system for generating and sharing dataset segmentation schemes |
| US8583584B2 (en) * | 2009-10-20 | 2013-11-12 | Google Inc. | Method and system for using web analytics data for detecting anomalies |
| US20110119100A1 (en) * | 2009-10-20 | 2011-05-19 | Jan Matthias Ruhl | Method and System for Displaying Anomalies in Time Series Data |
| US10877695B2 (en) | 2009-10-30 | 2020-12-29 | Iii Holdings 2, Llc | Memcached server functionality in a cluster of data processing nodes |
| US11720290B2 (en) | 2009-10-30 | 2023-08-08 | Iii Holdings 2, Llc | Memcached server functionality in a cluster of data processing nodes |
| US20110209067A1 (en) * | 2010-02-19 | 2011-08-25 | Bogess Keandre | System and Method for Website User Valuation |
| US20110225288A1 (en) * | 2010-03-12 | 2011-09-15 | Webtrends Inc. | Method and system for efficient storage and retrieval of analytics data |
| US20110225287A1 (en) * | 2010-03-12 | 2011-09-15 | Webtrends Inc. | Method and system for distributed processing of web traffic analytics data |
| US8549201B2 (en) | 2010-06-30 | 2013-10-01 | Intel Corporation | Interrupt blocker |
| US8352444B1 (en) | 2011-07-11 | 2013-01-08 | Peter Hon-You Chang | User-driven menu generation system with dynamic generation of target files with placeholders for persistent change or temporary security change over cloud computing virtual storage from template files |
| US8819224B2 (en) * | 2011-07-28 | 2014-08-26 | Bank Of America Corporation | Health and welfare monitoring of network server operations |
| US9183200B1 (en) * | 2012-08-02 | 2015-11-10 | Symantec Corporation | Scale up deduplication engine via efficient partitioning |
| US8793236B2 (en) | 2012-11-01 | 2014-07-29 | Adobe Systems Incorporated | Method and apparatus using historical influence for success attribution in network site activity |
| EP2973039B1 (en) * | 2013-03-15 | 2020-09-16 | Factual Inc. | Apparatus, systems, and methods for grouping data records |
| US9219928B2 (en) | 2013-06-25 | 2015-12-22 | The Nielsen Company (Us), Llc | Methods and apparatus to characterize households with media meter data |
| US9277265B2 (en) | 2014-02-11 | 2016-03-01 | The Nielsen Company (Us), Llc | Methods and apparatus to calculate video-on-demand and dynamically inserted advertisement viewing probability |
| US10219039B2 (en) | 2015-03-09 | 2019-02-26 | The Nielsen Company (Us), Llc | Methods and apparatus to assign viewers to media meter data |
| US9848224B2 (en) | 2015-08-27 | 2017-12-19 | The Nielsen Company(Us), Llc | Methods and apparatus to estimate demographics of a household |
| US10140200B2 (en) * | 2015-10-15 | 2018-11-27 | King.Dom Ltd. | Data analysis |
| US10791355B2 (en) | 2016-12-20 | 2020-09-29 | The Nielsen Company (Us), Llc | Methods and apparatus to determine probabilistic media viewing metrics |
| US11275716B2 (en) | 2020-05-26 | 2022-03-15 | International Business Machines Corporation | Cognitive disparate log association |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0822403A (ja) | 1994-07-11 | 1996-01-23 | Fujitsu Ltd | 計算機システムの監視装置 |
| US5706436A (en) * | 1995-02-01 | 1998-01-06 | Cabletron Systems, Inc. | Apparatus and method for evaluation network traffic performance |
| US5729742A (en) * | 1995-02-27 | 1998-03-17 | International Business Machines Corporation | System and method for enabling multiple computer systems to share a single sequential log |
| US5600632A (en) * | 1995-03-22 | 1997-02-04 | Bell Atlantic Network Services, Inc. | Methods and apparatus for performance monitoring using synchronized network analyzers |
| US5675510A (en) | 1995-06-07 | 1997-10-07 | Pc Meter L.P. | Computer use meter and analyzer |
| US5892917A (en) * | 1995-09-27 | 1999-04-06 | Microsoft Corporation | System for log record and log expansion with inserted log records representing object request for specified object corresponding to cached object copies |
| US5898837A (en) * | 1996-02-23 | 1999-04-27 | Bay Networks, Inc. | Method and apparatus for monitoring a dedicated communications medium in a switched data network |
| US5787253A (en) * | 1996-05-28 | 1998-07-28 | The Ag Group | Apparatus and method of analyzing internet activity |
| US5727129A (en) | 1996-06-04 | 1998-03-10 | International Business Machines Corporation | Network system for profiling and actively facilitating user activities |
| US5774660A (en) * | 1996-08-05 | 1998-06-30 | Resonate, Inc. | World-wide-web server with delayed resource-binding for resource-based load balancing on a distributed resource multi-node network |
| WO1998011702A1 (en) * | 1996-09-10 | 1998-03-19 | Accrue Software, Inc. | Apparatus and methods for capturing, analyzing and viewing live network information |
| US5870559A (en) * | 1996-10-15 | 1999-02-09 | Mercury Interactive | Software system and associated methods for facilitating the analysis and management of web sites |
| US5796942A (en) * | 1996-11-21 | 1998-08-18 | Computer Associates International, Inc. | Method and apparatus for automated network-wide surveillance and security breach intervention |
| US5913041A (en) * | 1996-12-09 | 1999-06-15 | Hewlett-Packard Company | System for determining data transfer rates in accordance with log information relates to history of data transfer activities that independently stored in content servers |
| US5732218A (en) | 1997-01-02 | 1998-03-24 | Lucent Technologies Inc. | Management-data-gathering system for gathering on clients and servers data regarding interactions between the servers, the clients, and users of the clients during real use of a network of clients and servers |
| US5968125A (en) * | 1997-01-21 | 1999-10-19 | Net. Roi | Process for optimizing the effectiveness of a hypertext element |
| US6112238A (en) * | 1997-02-14 | 2000-08-29 | Webtrends Corporation | System and method for analyzing remote traffic data in a distributed computing environment |
| US6023744A (en) * | 1997-03-07 | 2000-02-08 | Microsoft Corporation | Method and mechanism for freeing disk space in a file system |
| US5796952A (en) * | 1997-03-21 | 1998-08-18 | Dot Com Development, Inc. | Method and apparatus for tracking client interaction with a network resource and creating client profiles and resource database |
| US5878223A (en) | 1997-05-07 | 1999-03-02 | International Business Machines Corporation | System and method for predictive caching of information pages |
| US6055572A (en) * | 1998-01-20 | 2000-04-25 | Netscape Communications Corporation | System and method for creating pathfiles for use to predict patterns of web surfaces |
| US6098079A (en) * | 1998-04-02 | 2000-08-01 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | File version reconciliation using hash codes |
| US6175838B1 (en) * | 1998-04-29 | 2001-01-16 | Ncr Corporation | Method and apparatus for forming page map to present internet data meaningful to management and business operation |
-
1998
- 1998-08-11 US US09/132,287 patent/US6317787B1/en not_active Expired - Lifetime
-
1999
- 1999-08-11 WO PCT/US1999/018282 patent/WO2000010093A1/en not_active Ceased
- 1999-08-11 ES ES99942121T patent/ES2296403T3/es not_active Expired - Lifetime
- 1999-08-11 EP EP99942121A patent/EP1131725B1/en not_active Expired - Lifetime
- 1999-08-11 DK DK99942121T patent/DK1131725T3/da active
- 1999-08-11 AU AU55568/99A patent/AU769816B2/en not_active Ceased
- 1999-08-11 AT AT99942121T patent/ATE374970T1/de not_active IP Right Cessation
- 1999-08-11 CA CA002340109A patent/CA2340109C/en not_active Expired - Fee Related
- 1999-08-11 DE DE69937249T patent/DE69937249T2/de not_active Expired - Lifetime
-
2004
- 2004-05-05 AU AU2004201868A patent/AU2004201868B2/en not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| AU2004201868A1 (en) | 2004-05-27 |
| DK1131725T3 (da) | 2008-02-04 |
| AU5556899A (en) | 2000-03-06 |
| CA2340109C (en) | 2003-04-22 |
| ATE374970T1 (de) | 2007-10-15 |
| DE69937249T2 (de) | 2008-07-03 |
| US6317787B1 (en) | 2001-11-13 |
| EP1131725A1 (en) | 2001-09-12 |
| AU2004201868B2 (en) | 2007-04-05 |
| EP1131725A4 (en) | 2005-06-15 |
| WO2000010093A1 (en) | 2000-02-24 |
| AU769816B2 (en) | 2004-02-05 |
| EP1131725B1 (en) | 2007-10-03 |
| CA2340109A1 (en) | 2000-02-24 |
| DE69937249D1 (de) | 2007-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2296403T3 (es) | Sistema y procedimiento para analizar archivos de registro de un servidor web. | |
| ES2297879T3 (es) | Sistema y metodo para analizar datos de trafico rem,otos en un entorno informatico distribuido. | |
| US10229175B2 (en) | High-throughput extract-transform-load (ETL) of program events for subsequent analysis | |
| US8135827B2 (en) | Distributed capture and aggregation of dynamic application usage information | |
| CN102801559B (zh) | 智能化局域网数据采集方法 | |
| US20150263914A1 (en) | Modeling Interactions with a Computer System | |
| US20020052937A1 (en) | Method and apparatus for verifying the contents of a global configuration file | |
| US20070282859A1 (en) | Method for collecting online visit activity | |
| US7716632B2 (en) | Automated software robot generator | |
| CN102546668A (zh) | 一种独立访问者的统计方法、装置及系统 | |
| CN105260447A (zh) | 一种网页数据分析方法及系统 | |
| KR20170047856A (ko) | 로그 데이터 분석 방법 및 장치 | |
| Uramová et al. | Packet capture infrastructure based on Moloch | |
| Kodavali et al. | Adaptation of blockchain using Ethereum and IPFS for fog based E-Healthcare activity recognition system | |
| US11316832B1 (en) | Computer network data center with reverse firewall and encryption enabled gateway for security against privacy attacks over a multiplexed communication channel | |
| Jipping et al. | Using Java to teach networking concepts with a programmable network sniffer | |
| Bhuvaneswari et al. | A comparative study of different log analyzer tools to analyze user behaviors | |
| CN114840275A (zh) | 接口管理方法、系统、计算机设备和存储介质 | |
| Cigas | An introductory course in network administration | |
| CN111401832A (zh) | 一种基于区块链的智慧校园管理平台 | |
| CN111596910A (zh) | 一种Mock服务平台及方法 | |
| Mao et al. | MOT: Memory online tracing of Web information system | |
| Parichha | Performance Analysis of Process using Loadable Kernel Module (LKM) | |
| Chergarova et al. | Accelerating FIU’s science research and education towards discovery and innovation by leveraging FIU’s Science DMZ | |
| Schneider | Analysis of new trends in the web from a network perspective |